ES2963646T3 - Orientador de productos - Google Patents

Orientador de productos Download PDF

Info

Publication number
ES2963646T3
ES2963646T3 ES19767294T ES19767294T ES2963646T3 ES 2963646 T3 ES2963646 T3 ES 2963646T3 ES 19767294 T ES19767294 T ES 19767294T ES 19767294 T ES19767294 T ES 19767294T ES 2963646 T3 ES2963646 T3 ES 2963646T3
Authority
ES
Spain
Prior art keywords
product
stem
manipulator
flower
apple
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19767294T
Other languages
English (en)
Inventor
Russ Mitchell
Brandon Evers
Brian Dunne
Daniel Nelson
Mason Mcinnis
David Bullock
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Atlas Pacific Engineering Co
Original Assignee
Atlas Pacific Engineering Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Atlas Pacific Engineering Co filed Critical Atlas Pacific Engineering Co
Application granted granted Critical
Publication of ES2963646T3 publication Critical patent/ES2963646T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23NMACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N4/00Machines for stoning fruit or removing seed-containing sections from fruit, characterised by their stoning or removing device
    • A23N4/12Machines for stoning fruit or removing seed-containing sections from fruit, characterised by their stoning or removing device for coring fruit
    • A23N4/14Machines for stoning fruit or removing seed-containing sections from fruit, characterised by their stoning or removing device for coring fruit for apples, pears or the like
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23NMACHINES OR APPARATUS FOR TREATING HARVESTED FRUIT, VEGETABLES OR FLOWER BULBS IN BULK, NOT OTHERWISE PROVIDED FOR; PEELING VEGETABLES OR FRUIT IN BULK; APPARATUS FOR PREPARING ANIMAL FEEDING- STUFFS
    • A23N7/00Peeling vegetables or fruit
    • A23N7/02Peeling potatoes, apples or similarly shaped vegetables or fruit
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0045Manipulators used in the food industry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/02Gripping heads and other end effectors servo-actuated
    • B25J15/0206Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • B25J15/022Gripping heads and other end effectors servo-actuated comprising articulated grippers actuated by articulated links
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • B25J15/12Gripping heads and other end effectors having finger members with flexible finger members
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • G01N33/025Fruits or vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

Se proporciona un método para orientar automáticamente productos agrícolas simétricos y asimétricos, como por ejemplo manzanas. Los productos individuales se manipulan mediante un manipulador programable dentro de la vista de una o más cámaras de imágenes de profundidad. Las caracterizaciones digitales tridimensionales de la superficie de los productos son generadas por la cámara o cámaras de imágenes de profundidad y son utilizadas por una computadora conectada a la cámara o cámaras de imágenes de profundidad para ubicar el tallo y la flor de cada producto. Los productos agrícolas asimétricos, como manzanas con hombros caídos, así como los productos agrícolas simétricos, se pueden orientar y procesar correctamente de forma automática. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Orientador de productos
Referencia cruzada a la solicitud relacionada
La presente solicitud reivindica el beneficio y la prioridad de la solicitud provisional de los Estados Unidos. Núm. de Serie 62/761.243 presentada el 14 de marzo de 2018.
Antecedentes
La presente invención se refiere en general a la orientación automática de productos agrícolas, de modo que esos productos posteriormente puedan ser procesados automáticamente mediante peladoras, dispositivos de descorazonado y rebanadoras, por ejemplo. La siguiente descripción y dibujos mostrarán y describirán la invención principalmente tal como se utiliza para orientar automáticamente las manzanas. Sin embargo, debe entenderse que la invención se puede aplicar a otros productos agrícolas tales como melocotones, peras y albaricoques, por ejemplo.
En el caso de la orientación automática de manzanas, la técnica anterior se ha concentrado típicamente en localizar la hendidura del tallo, en la que se encuentra el tallo, o la hendidura de la flor, en la que se encuentra la flor, de la manzana, y a continuación supone que el cuerpo de la manzana es simétrico a lo largo de un eje desde la hendidura de la flor hasta la hendidura del tallo, es decir, que el tallo y la flor están alineados verticalmente. Esta suposición es válida para algunas manzanas, pero no para todas. Muchas manzanas (5% en algunas variedades) no son simétricas a lo largo de un eje que va desde la flor hasta el tallo. Además, los cambios en las variedades de manzanas, las prácticas de cultivo y el clima han dado lugar a un aumento en el porcentaje de manzanas con "resaltes caídos", que son asimétricas. Cuando una manzana asimétrica de este tipo se transfiere ya sea por la hendidura de la flor o por la hendidura del tallo hacia abajo a un tubo de descorazonado automático común montado verticalmente, el tubo de descorazonado entra en la manzana en un punto alejado de la hendidura más superior y no elimina todo el corazón de la manzana, y las semillas y otros materiales indeseables del corazón no se eliminan. Esa manzana asimétrica no se puede utilizar y, para empeorar la situación, hay que separarla y desecharla. El resultado es la pérdida de la manzana, el esfuerzo y el gasto necesarios para detectar y separar esa manzana, y el gasto añadido de deshacerse de los restos de esa manzana. Si no se detecta y separa una manzana asimétrica, las semillas y el material del corazón no deseados pueden reducir la calidad y/o usabilidad de una gran cantidad de manzanas procesadas.
La presente invención, conocida por primera vez por los solicitantes, proporciona un sistema para localizar automáticamente el tallo y la flor de una manzana, con independencia de la forma de la manzana. Una vez que el tallo y la flor se ubican automáticamente, la manzana se manipula automáticamente para alinearla de modo que el descorazonado automático de la manzana elimine con éxito todas las semillas no deseadas y otro material indeseable del corazón de la manzana.
La presente invención reduce el desperdicio causado de otro modo por el uso de aparatos de orientación automática típicos de la técnica anterior, elimina el esfuerzo y el gasto de localizar y separar manzanas asimétricas y elimina el gasto de eliminar los restos de manzanas que no han sido descorazonadas con éxito o que de otro modo no han sido procesadas con éxito.
En la Patente U.S. 4.746.001 de Tichy se muestra un típico orientador de manzanas de la técnica anterior. Las manzanas son transportadas individualmente a un receptáculo en el que las manzanas son rotadas mediante ruedas dispuestas debajo de la manzana hasta que la hendidura de la flor o la hendidura del tallo pierdan contacto con las ruedas y la manzana descansa en la base del receptáculo. A continuación se supone que la manzana está orientada y se transfiere a una máquina de descorazonado vertical. Sin embargo, si la manzana es asimétrica con respecto a un eje que se extiende desde su flor hasta su tallo, no se le podrá descorazonar con éxito, lo que provocará las pérdidas y los gastos adicionales que se han mencionado más arriba.
La Patente US 5.544.731 de Ross et al., y la Patente U.S 4,169,528 de Amstad enseñan orientadores de manzanas que agitan o rotan las manzanas hasta que cualquiera de los extremos de la manzana se detiene en la base de un receptáculo. Estos dispositivos también transfieren la manzana a un tubo de descorazonado accionado verticalmente, suponiendo que el extremo superior de la manzana esté alineado verticalmente con el extremo inferior de la manzana. Como se ha hecho notar más arriba, el descorazonado de manzanas asimétricas con estos orientadores no tiene éxito.
La Patente U.S. 5.855.270 a Throop at al.muestra un dispositivo de orientación de manzanas u otros productos agrícolas que utiliza un par de rodillos opuestos sobre ejes horizontales para hacer que el tallo y la flor se orienten sobre un eje horizontal. Este sistema tampoco orienta adecuadamente las manzanas asimétricas.
La técnica anterior incluye máquinas orientadoras de peras descritas en los documentos de Patente U.S. número 4.907.687 a Meissner et al; Patente U.S número 4.766.990 a Colombo, Patente U.S número 4.487.307 a Meissner et al, Patente U.S. número 4.010.842 a Smith y Paterson, Patente US número 5.413.206 et al, todos los cuales utilizan diversas técnicas de transporte para colocar los extremos del tallo de las peras en la parte más baja para transferirlos a las máquinas descorazonadoras.
El documento US 2017/245540 A1 describe cómo determinar el tallo y la región inferior de productos agrícolas en base a imágenes de cámara.
La técnica anterior descrita más arriba sitúa el extremo del tallo o el extremo de la flor del producto y supone que la manzana (o la pera) es simétrica con respecto a un eje que se extiende desde el tallo hasta la flor, y que el tallo y la flor están alineados verticalmente.
Lo que se necesita en esta técnica es un sistema para orientar productos que sea capaz de orientar los citados artículos que son asimétricos alrededor de un eje entre el tallo y la flor.
La presente invención consigue ese resultado y evita los gastos y desperdicios causados por productos asimétricos como se ha descrito más arriba.
Breve sumario de la invención
La presente invención es un cambio y una mejora significativos con respecto a la técnica anterior. Se utilizan una o más cámaras de imágenes de profundidad junto con un manipulador robótico programable para crear una "caracterización" tridimensional actual de la superficie de una manzana (u otro producto vegetal) que se va a orientar. En un primer ejemplo no cubierto por el alcance de las reivindicaciones, la "caracterización" tridimensional es un modelo tridimensional de la superficie de la manzana actual. A continuación, ese modelo actual se compara automáticamente con una biblioteca almacenada digitalmente de modelos tridimensionales de manzanas (u otros productos agrícolas) simétricas y asimétricas correctamente orientadas para localizar la coincidencia más cercana. A continuación, el manipulador programable se activa automáticamente para corregir la orientación de la manzana actual.
En este primer ejemplo, si la manzana actual tiene un "resalte caído", el modelo tridimensional de esa manzana actual se comparará con modelos tridimensionales de "resalte caído" correctamente orientados y almacenados en una biblioteca digital a la que puede acceder la cámara por medio de una computadora para localizar una coincidencia. El modelo de coincidencia se determina mediante un algoritmo de punto más cercano iterativo (ICP). A continuación se acciona el manipulador programable para corregir la orientación de la manzana actual.
En una realización, preferida para su uso con manzanas, se utiliza un algoritmo de Eje Principal de Curvatura (PAC) junto con una computadora, un manipulador programable y una o más cámaras de imágenes de profundidad para crear un mapa tridimensional de la inclinación para cada punto de la superficie. de la manzana. Las hendiduras del tallo y de la flor de las manzanas tienen el grupo más alto de inclinaciones altas, y al ubicar esos grupos localizan las hendiduras del tallo y la flor, y los tallos y las flores. Una vez situadas las hendiduras del tallo y la flor, se acciona el manipulador para corregir la orientación de la manzana. Esta realización no requiere una biblioteca digital de modelos tridimensionales almacenados.
Por primera vez conocida por los solicitantes, las manzanas (u otros productos) asimétricas y simétricas pueden orientarse automáticamente a una posición deseada de acuerdo con lo que sea necesario para el procesamiento automático posterior tal como descorazonado, pelado, etc.
Otro aspecto de la invención es que las manzanas (u otros productos) magulladas inaceptables para el procesamiento pueden identificarse y separarse mediante el uso de cámaras de imágenes de profundidad sensibles al color.
Un objetivo primario de la invención es proporcionar un procedimiento para orientar automáticamente manzanas y otros productos agrícolas tanto asimétricos como simétricos, tales como melocotones, peras y albaricoques, para su posterior procesamiento, tal como descorazonar, pelar o quitar el hueso (en el caso de los melocotones y albaricoques).
Otro objeto de la invención es reducir la cantidad de residuos y el gasto que supone tratar los residuos que se producen en el procesamiento automático de manzanas y otros productos.
Otro objeto es aumentar el rendimiento en el procesamiento automático de manzanas y otros productos.
Otro objeto es proporcionar un procedimiento automático para localizar y separar manzanas magulladas que no son aptas para el procesamiento antes de que haya comenzado cualquier procesamiento.
Estos y otros objetos y ventajas resultarán evidentes a partir de la descripción que sigue y de los dibujos.
Breve descripción de los dibujos
La figura 1 es una ilustración esquemática en sección transversal de una manzana simétrica;
la figura 2 es una ilustración esquemática en sección transversal de una manzana asimétrica que tiene un "resalte caído";
la figura 3 es una ilustración esquemática en sección transversal de una manzana asimétrica que tiene un "resalte caído" según la orientación adecuada por la presente invención;
la figura 4A ilustra una manzana asimétrica que tiene un "resalte caído" tal como se presenta a un manipulador;
la figura 4B ilustra la manzana de la figura 4A correctamente orientada de acuerdo con la invención;
la figura 5 es una vista en perspectiva más detallada del manipulador mostrado en las figuras 4A y 4B con una modificación en los soportes de las juntas pivotantes;
la figura 6 es un diagrama de bloques del sistema de control de un primer ejemplo de la invención;
las figuras 7A y 7B son vistas en perspectiva de un manipulador alternativo;
la figura 8 es una vista en perspectiva de otro manipulador alternativo;
la figura 9 es una representación esquemática de una realización de la invención; y
la figura 10 ilustra el uso preferido de 4 cámaras de formación de imágenes de profundidad.
Descripción detallada de los dibujos
La figura 1 es una representación esquemática en sección transversal de una manzana simétrica 10 que tiene un tallo 14 en el extremo superior 11 con una hendidura 13 del tallo y un extremo 12 de flor con una hendidura 15 de flor y una flor 16. La hendidura superior 13 contiene el tallo 14. La hendidura 15 de flor contiene la flor 16. El eje 18 se extiende verticalmente desde el tallo 14 hasta la flor 16 y es el eje correcto a lo largo del cual se mueven los tubos de descorazonado para eliminar la celda de semilla indeseable 19. La manzana 10 es simétrica con respecto al eje 18.
La figura 2 es una representación esquemática en sección transversal de la manzana asimétrica 30, puesto que la manzana 30 no es simétrica con respecto al eje 38, que se extiende a través del tallo 34 y de la flor 36. La hendidura 33 del tallo está situada en el "resalte caído" 31. Cuando la manzana 30 entra en un orientador de la técnica anterior, el extremo de flor relativamente plano 32 con la hendidura 35 se coloca como se muestra en la figura 2. Los orientadores de la técnica anterior ubican la hendidura 35 y alinean la manzana 30 como se muestra en la figura 2, con el eje vertical 37 que no se extiende a través de tallo 34 y de celda de semilla 39. Una máquina de descorazonado extrae un corazón cilíndrico a lo largo del eje 37, pero pasa por alto la celda de semilla 39 por completo. Este problema se supera con la presente invención.
La figura 3 es una ilustración de la manzana asimétrica 30 de la figura 2 correctamente orientada mediante la invención y colocada en un dispositivo de descorazonado vertical 40.
Las figuras 4A-4B son diagramas esquemáticos del concepto de la invención. El equipo de alimentación y separación actual (no mostrado) se utiliza para transportar automáticamente productos individuales tales como la manzana 105 al manipulador programable 100 como se muestra en la figura 4A. El manipulador 100 agarrará la manzana 105 con independencia de su orientación y la presentará a una cámara de imágenes de profundidad, preferiblemente una cámara RGB-D 200. La cámara RGB-D 200 toma imágenes de cada producto tal como la manzana 105, repetidamente a medida que el producto es manipulado y recopila información de color (rojo, verde y azul) para cada punto de la superficie de la manzana 105, así como la distancia de cada punto desde la cámara. El manipulador seguirá automáticamente un patrón preestablecido y programable para manipular la manzana 105 para presentar toda la superficie de la manzana 105 a la cámara 200. La posición del manipulador se rastrea usando codificadores conocidos (no mostrados).
Como se muestra en la figura 4A, la manzana 105 tiene un resalte caído 107 y es asimétrica con respecto a un eje entre su tallo 106 y la flor 108. El corazón 139 de la manzana se muestra entre el tallo 106 y la flor 108. El eje 138, que se extiende desde el tallo 106 hasta la flor 108, es el eje adecuado para orientarse verticalmente para la transferencia al equipo de descorazonado y otros equipos de procesamiento, como se señaló anteriormente. El eje 137 representa un eje ubicado incorrectamente por los orientadores típicos de la técnica anterior que se han descrito más arriba. La hendidura 133 del tallo incluye el tallo 106. La flor 108 está situada en la hendidura 135 de la flor. La parte inferior 132 de la manzana 105 es relativamente plana.
El manipulador 100 tiene una base 90 generalmente en forma de Y que incluye un manguito de soporte 91 que gira alrededor del eje x-x a medida que gira el eje de soporte 110. El eje de soporte es accionado por medios de accionamiento neumáticos no mostrados. El manguito 91 está formado integralmente y lleva los resaltes 92 y 93, que a su vez llevan los brazos 101 y 102 de forma pivotante, en los pasadores 103 y 104. El eje de soporte 110 también está conectado, lleva y acciona un sistema de articulación de cuatro barras que incluye brazos pivotantes 101 y 102 y brazos de articulación 94 y 95. Los brazos de articulación 94 y 95 están conectados de manera pivotante a los brazos 101 y 102 mediante pasadores 96 y 97 y transportados por la base de soporte de articulación 96, que a su vez es llevada por el extremo superior 110a del eje 110 (mostrado en líneas discontinuas). A medida que el eje 110 avanza hacia arriba en la figura 4A por medio de medios neumáticos u otros, el sistema de articulación de cuatro bases hace que los brazos 101 y 102 se extiendan, extendiendo las copas 121 y 122. A medida que el eje 110 se retrae hacia abajo, preferiblemente mediante acción neumática, la articulación de cuatro barras hace que los brazos 101 y 102 se acerquen para provocar que las copas de soporte 121, 122 entren en contacto con la manzana 105 sin aplastarla. A medida que el eje 110 gira alrededor del eje x-x, todo el manipulador 100 y la manzana 105 rotan al unísono. La rotación del eje 110 alrededor del eje x-x y la rotación de los ejes 111 y 112 alrededor del eje y-y permiten que el manipulador 100 presente toda la superficie de la manzana 105 a la cámara 200. Las juntas pivotantes 131 y 132 están soportadas por los ejes 111 y 112. Las juntas pivotantes llevan copas de soporte 121 y 122. Los soportes 141 y 142 del eje se llevan en los extremos de los brazos 101 y 102, y los ejes de soporte 121 y 122. Un pequeño servomotor 143 está soportado por el soporte de eje 142. El servomotor 143 acciona ambos ejes 111 y 112, puesto que los ejes 111 y 112 solo giran juntos cuando el manipulador 100 transporta una manzana.
Una vez que el tallo 106 y la flor 108 se han situado como se ha descrito más arriba, se acciona el manipulador 100 para orientar el tallo 106 verticalmente con respecto a la flor 108.
La figura 4B ilustra la orientación adecuada del tallo 106 alineado verticalmente con la flor 108. Debe entenderse que la manzana 105 puede orientarse adecuadamente con el tallo 106 verticalmente sobre la flor 108 como se muestra en la figura 4B, o el tallo 106 puede estar verticalmente debajo de la flor 108.
Para orientar la manzana 105 desde la posición mostrada en la figura 4A hasta su orientación adecuada mostrada en la figura 4B, se gira el manipulador 100 alrededor del eje x-x hasta que el tallo 106 y la flor 108 se encuentran en un plano que incluye el eje x y el eje z (como mejor se muestra en la figura 5), en el que el eje z es perpendicular al plano que incluye los ejes x e y. Una vez que el tallo 106 y la flor 108 se encuentran en el plano que incluye los ejes x y z, las copas 121 y 122 se giran alrededor del eje y-y para alcanzar la orientación adecuada que se muestra en la figura 4B. Una vez que se logra la orientación adecuada, las copas 121 y 122 son separadas por medio del eje de soporte 110 que se mueve hacia arriba en la figura 4B mediante un accionamiento neumático (no mostrado) para liberar la manzana orientada a un aparato de transferencia conocido para su posterior procesamiento.
Se debe entender que en las figuras 4A y 4B, la cámara 200 y el manipulador 100 están conectados a una computadora que no se muestra para mayor claridad. El mecanismo de accionamiento para el manipulador 100 tampoco se muestra para mayor claridad.
En un primer ejemplo de la invención, se utilizan imágenes de la cámara 200 para crear un modelo 3D de la superficie de la manzana 105. Este modelo 3D es una "caracterización tridimensional digital" de la superficie del producto, la manzana 105, que se está manipulando. Se utiliza un algoritmo de punto más cercano iterativo (ICP) para comparar el modelo generado con una biblioteca digital preexistente creada previamente de una pluralidad de modelos 3D de manzanas simétricas y asimétricas (u otros productos agrícolas) correctamente orientadas para localizar la coincidencia más cercana entre el modelo generado actualmente y los modelos almacenados digitalmente. Se calculan los movimientos necesarios para corregir la orientación de la manzana desde su estado actual a un estado preferido. A continuación, el manipulador 100 lleva a cabo esos movimientos para producir una manzana correctamente orientada como se muestra en la figura 4B. El algoritmo del punto más cercano iterativo (ICP) es conocido en la técnica y está fácilmente disponible.
La figura 5 es una vista en perspectiva y más detallada del manipulador preferido 100 mostrado en las figuras 4A y 4B, en la que los ejes 111, 112 mostrados en las figuras 4A y 4B se han acortado, de modo que las juntas pivotantes 131 y 132 son soportadas por los soportes 141 y 142 del eje. Como se ha señalado más arriba, un pequeño servomotor 143 (figura 4A) es soportado por el soporte 142 del eje y no es visible en la figura 5. Como se ha señalado más arriba, el manipulador 100 tiene brazos 101 y 102 sostenidos por el eje 110 que gira alrededor del eje x-x. Las copas de soporte 121 y 122 están sostenidas por juntas pivotantes 131, 132 sostenidas por los ejes 111 y 112. Las copas de soporte 121, 122 se utilizan para contactar y manipular la manzana 105 para lograr la orientación correcta.
La figura 6 es un diagrama de bloques del sistema de control para el citado primer ejemplo que se muestra generalmente como 50. Se acciona un sistema de alimentación conocido 51 para transportar una manzana al manipulador 100. El manipulador 100 se acciona para girar la manzana en una secuencia preprogramada. almacenada en 52. Una o más cámaras de imágenes de profundidad 200 se accionan para escanear la manzana repetidamente a medida que el manipulador 100 la hace girar.
El modelo tridimensional 250 de la manzana actual que se está escaneando se introduce en el ordenador 300. Se utiliza un algoritmo 260 de punto más cercano iterativo (ICP) para comparar el modelo 250 con una biblioteca digital 320 de modelos digitales tridimensionales de manzanas simétricas y asimétricas correctamente orientadas. para determinar la coincidencia más cercana y la postura adecuada para la manzana actual. Los movimientos del manipulador para orientar adecuadamente la manzana actual se calculan en 330 y se alimentan al manipulador en 340. El manipulador se acciona en 350 para orientar adecuadamente la manzana actual, y a continuación la manzana se transfiere para descorazonar o pelar en 360.
Las figuras 7A y 7B muestran un manipulador alternativo 400 que agarra la manzana usando el efecto de radio de aleta. Las aletas 410 y 420 están soportadas por brazos 401 y 402, que a su vez están soportados por un eje de soporte 405 que gira alrededor del eje x-x, de manera similar al manipulador 100 mostrado en las figuras 4A, 4B y 5. Las aletas 410 y 420 agarran el producto como se muestra en la figura 7B, como es conocido en la técnica de los manipuladores.
La figura 8 muestra otro manipulador 500 basado en una copa de orientación 520 con 2 ruedas 530, 540 descentradas en lugar de una rueda pivotante en el centro. La copa de orientación 520 tiene una abertura (no visible en la figura 8) formada en su parte inferior, como se conoce en la técnica. La manzana 505 se gira mediante ruedas descentradas 530 y 540 de modo que toda la superficie de la manzana 505 pueda ser captada repetidamente por una o más cámaras de imágenes de profundidad (no mostradas en la figura 8). Cuando se ha captado toda la superficie de la manzana 505, se acciona una o ambas ruedas 530, 540 para orientar adecuadamente la manzana 505.
La figura 9 es un diagrama esquemático que representa una realización de la invención mostrada generalmente como 700. Cuatro cámaras de imágenes de profundidad 711-714 están espaciadas alrededor del manipulador 740 y están generando imágenes repetidamente de una manzana asimétrica 720 que tiene un tallo 734 en la hendidura 733 del tallo y una flor 736 la hendidura 735 de flor mientras se manipula la manzana 720. A medida que la manzana 720 es manipulada por el manipulador 740 (tal como el manipulador 100 mostrado y descrito encima de las hendiduras) 733 y 736 se presentan a las cámaras 711-714 junto con toda la superficie de la manzana 720. A medida que la manzana continúa girando, una imagen de tres dimensiones de la superficie de la manzana 720 es alimentada por las cámaras 711-714 a la computadora 760. La computadora 760 está conectada a la unidad 770 para el manipulador 740. La computadora 760 utiliza el conocido algoritmo del Eje Principal de Curvatura (PAC) para crear un mapa tridimensional. de la inclinación para cada punto en la superficie de la manzana 720. La hendidura 733 del tallo y la hendidura 735 de la flor tienen los grupos más altos de inclinaciones altas, grupos que se utilizan para localizar las hendiduras. Cuando se ubican las hendiduras, se conoce la ubicación del tallo 734 y de la flor 736 y el manipulador 740 es accionado por la computadora 760 para orientar adecuadamente la manzana 720 para su procesamiento como se ha descrito más arriba. La orientación normal para las manzanas alinea el tallo 734 verticalmente con la flor 736, estando el tallo por encima o por debajo de la flor. Al utilizar el algoritmo PAC, no se requiere ninguna biblioteca digital. Aunque en la figura 10 se muestran 4 cámaras de imágenes de profundidad, se pueden lograr resultados aceptables con una sola cámara. Un diagrama de bloques del sistema de control para esta realización es el mismo que el diagrama de la figura 6, excepto que la imagen 3D en 250 es de las inclinaciones para cada punto en la superficie de la manzana, el algoritmo en 310 es el PAC en lugar de que ICP, y la biblioteca digital que se muestra en 320 no es utilizada con el algoritmo PAC.
El algoritmo del Eje Principal de Curvatura (PAC) es conocido y no se describe en detalle aquí. Los dos pasos básicos del algoritmo PAC son:
1. Representar la nube de puntos de manzana segmentados en términos de curvatura multiplicando la normal a la superficie por la magnitud de la curvatura. El resultado es una nube de puntos que representa la magnitud de los cambios de superficie con respecto a la dirección. Esto traduce la mayor curvatura alrededor del tallo y las hendiduras de la flor en una nube de puntos que es alargada a lo largo del eje tallo-flor.
2. Estimar el eje principal de la representación de la curvatura de la manzana utilizando una versión robusta del PCA. El eje principal es el eje de máxima variabilidad. El eje principal, o primer componente principal, representa el eje estimado de la manzana. Realizar algunas iteraciones de estimación del eje principal con eliminación de valores atípicos.
Como se muestra en el diagrama de la figura 10, la realización más preferida de la invención utiliza cuatro cámaras RGB-D 810, 820, 830 y 840 colocadas alrededor del manipulador 100, como se muestra en las figuras 4A, 4B y 5. La computadora 860 está conectada al manipulador 100 y a las cuatro cámaras 810, 820, 830 y 840.
Se pueden utilizar una o más cámaras de imágenes de profundidad. Se prefieren las cámaras RGB-D, ya que también proporcionan información de color. La información de color se utiliza para detectar regiones oscuras o descoloridas en la superficie de manzanas magulladas que no son apropiadas para el descorazonado o pelado automático. Estas manzanas magulladas se separan y se descartan o se procesan por medios alternativos.
Tal como se utiliza en la presente memoria descriptiva y en las reivindicaciones, la frase "caracterización digital tridimensional de la superficie" se refiere a cualquier descripción, modelo o representación digital útil de la forma de la superficie o de cualquier característica de la superficie tal como la inclinación.
Tal como se usa en la presente memoria descriptiva y en las reivindicaciones, la frase "cámara de profundidad de imágenes " se refiere a cualquier cámara capaz de generar imágenes tridimensionales o caracterizaciones de la superficie de un objeto dentro de la vista de la citada cámara.
Debe entenderse que la localización del tallo y la flor se realiza en la mayoría de las instancias en el caso de las manzanas localizando la hendidura del tallo y/o la hendidura de la flor usando el algoritmo PCA y asumiendo que el tallo y la flor están ubicados en el centro de cada hendidura respectiva. Por consiguiente, tal como se usa en la presente memoria descriptiva y en las reivindicaciones, la frase "localizar el tallo y la flor" se usa de manera amplia para incluir la ubicación de la hendidura del tallo y de la hendidura de la flor. Además, para muchas variedades de melocotones, peras y albaricoques en los que las hendiduras del tallo y/o la flor pueden ser demasiado pequeñas para usar el algoritmo PCA, la primera realización que utiliza una biblioteca digital y el algoritmo ICP sería el procedimiento apropiado.
En el caso de melocotones y albaricoques, se requiere una orientación adecuada para retirar las semillas o el hueso. La presente invención puede utilizarse para localizar no sólo los tallos y las flores de melocotones y albaricoques, sino también la "línea de sutura" de estos artículos. La orientación adecuada de la línea de sutura es importante para eliminar la semilla o el hueso, como se sabe en la técnica.
La descripción anterior de la invención se ha presentado con fines de ilustración y descripción y no pretende ser exhaustiva ni limitar la invención a la forma precisa revelada.

Claims (11)

REIVINDICACIONES
1. Un procedimiento para orientar automáticamente productos vegetales (105), en el que cada producto vegetal tiene un tallo (106) y una flor (108), que comprende los pasos de:
- transportar productos individuales (105) a un manipulador programable (100),
- manipular cada producto (105),
- obtener imágenes de cada producto (105) repetidamente con una o más cámaras de imágenes de profundidad (200), a medida que se manipula el citado producto (105),
- crear una caracterización tridimensional digital de la superficie del citado artículo (105) que se está manipulando,
- utilizar la citada caracterización tridimensional digital de la superficie del citado producto (105) que está siendo manipulado para localizar el citado tallo (106) y la citada flor (108) usando un eje principal de curvatura, PAC, un algoritmo, y
- accionar el citado manipulador (100) para corregir la orientación del citado producto (105) a una orientación adecuada, en la que una vez que se han localizado el tallo (106) y la flor (108), se acciona el manipulador (100) para orientar el tallo (106) verticalmente con respecto a la flor (108) girando el manipulador (100) alrededor de un primer eje hasta que el tallo (106) y la flor (108) se encuentran en un plano que incluya el primer eje y un segundo eje, en el que el segundo eje es perpendicular a un plano que incluye el primer eje y un tercer eje, y rotar las copas de soporte (121, 122) del manipulador alrededor del tercer eje para alcanzar la orientación adecuada, en el que las copas de soporte (121,122) se utilizan para hacer contacto y manipular el citado producto (105).
2. El procedimiento de la reivindicación 1, en el que el citado producto es una manzana (105) que tiene una hendidura de tallo (133) en la que está situado el citado tallo (106) y una hendidura de flor (135) en la que está situada la citada flor (108) y en el que el algoritmo del eje principal de curvatura se utiliza para localizar la citada hendidura del tallo (133) y la citada hendidura de flor (135).
3. El procedimiento de la reivindicación 1, en el que el citado manipulador (100) sujeta el citado producto (105) utilizando el efecto de radio de aleta.
4. El procedimiento de la reivindicación 1, en el que el citado manipulador (500) utiliza una copa de orientación (520) con dos ruedas motrices descentradas (530, 540) debajo de la citada copa de orientación (520) para hacer que el citado producto (505) gire para presentar toda la superficie del citado producto (505) a la citada cámara de imágenes de profundidad.
5. El procedimiento de la reivindicación 1, en el que la citadas una o más cámaras de imágenes de profundidad (200) son cámaras RGB-D.
6. El procedimiento de la reivindicación 1, en el que se utilizan dos o más cámaras de imágenes de profundidad (200, 711,712, 713, 714) para obtener imágenes del citado producto (105, 720) que se está manipulando.
7. El procedimiento de la reivindicación 1, en el que se colocan cuatro cámaras RGB-D (711, 712, 713, 714) alrededor del citado producto (720) que se está manipulando, y cada cámara (711, 712, 713, 714) genera un modelo tridimensional. del producto (720) que se está manipulando.
8. El procedimiento de la reivindicación 1, en el que el citado manipulador (100, 700) sigue un patrón de movimiento preestablecido para presentar toda la superficie del producto (105, 720) a la cámara (200, 711,712, 713, 714).
9. El procedimiento de la reivindicación 1, en el que la posición del citado manipulador (100, 700) se rastrea utilizando codificadores.
10. El procedimiento de la reivindicación 1, en el que los citados productos agrícolas son manzanas (105, 720).
11. El procedimiento de la reivindicación 1, en el que se utilizan una o más cámaras RGB-D (200, 711,712, 713, 714) para detectar el color de cualquier contusión en los citados artículos (105, 720) que requieren que el artículo (105, 720) sea separado para un procesamiento especial o sea descartado.
ES19767294T 2018-03-14 2019-03-08 Orientador de productos Active ES2963646T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862761243P 2018-03-14 2018-03-14
PCT/US2019/000008 WO2019177680A1 (en) 2018-03-14 2019-03-08 Produce orientor

Publications (1)

Publication Number Publication Date
ES2963646T3 true ES2963646T3 (es) 2024-04-01

Family

ID=67904475

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19767294T Active ES2963646T3 (es) 2018-03-14 2019-03-08 Orientador de productos

Country Status (8)

Country Link
US (2) US11246333B2 (es)
EP (1) EP3764818B1 (es)
AR (1) AR114695A1 (es)
AU (1) AU2019234203B2 (es)
BR (1) BR112020015628A2 (es)
CA (1) CA3086766A1 (es)
ES (1) ES2963646T3 (es)
WO (1) WO2019177680A1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111713708B (zh) * 2020-06-29 2023-07-28 南京农业大学 一种基于机器视觉的鲜莲子去芯机
EP4305971A1 (en) * 2022-07-12 2024-01-17 Tomra Sorting Limited Control of a peeling system

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3586151A (en) * 1969-01-02 1971-06-22 Atlas Pacifik Eng Co Device for orienting apples
US3586081A (en) * 1969-06-16 1971-06-22 Atlas Pacifik Eng Co Machine for automatically peeling and coring apples fed from a bulk supply
US3610303A (en) * 1969-09-26 1971-10-05 Atlas Pacifik Eng Co Machine for automatically peeling and coring apples fed from a bulk supply
US4706797A (en) * 1986-03-11 1987-11-17 Carlson Richard L Apple orientation apparatus and method
IL101612A0 (en) * 1992-04-16 1992-12-30 Electro Optics Ind Ltd Apparatus and method for inspecting articles such as agricultural produce
US5250311A (en) * 1992-08-24 1993-10-05 Del Monte Corporation Apparatus and method for peeling and coring perishable produce
US5855270A (en) * 1995-06-19 1999-01-05 Cornell Research Foundation, Inc. Fruit orienting device
US7133572B2 (en) * 2002-10-02 2006-11-07 Siemens Corporate Research, Inc. Fast two dimensional object localization based on oriented edges
JP4301791B2 (ja) * 2002-10-04 2009-07-22 三菱重工業株式会社 Cadシステム及びcadプログラム
US8014569B2 (en) * 2006-10-30 2011-09-06 The Regents Of The University Of California Method and apparatus for performing qualitative and quantitative analysis of produce (fruit, vegetables) using spatially structured illumination
US7899156B2 (en) * 2008-07-16 2011-03-01 L-3 Communications Security And Detection Systems, Inc. Irradiation system including an electron-beam scanner
US10650608B2 (en) * 2008-10-08 2020-05-12 Strider Labs, Inc. System and method for constructing a 3D scene model from an image
CN101425187A (zh) * 2008-12-05 2009-05-06 清华大学 一种曲面主曲率信息的获取方法和装置
US10033979B2 (en) * 2012-03-23 2018-07-24 Avigilon Fortress Corporation Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
US9364020B2 (en) * 2013-03-15 2016-06-14 California Strawberry Commission Automated fruit and vegetable calyx or stem removal machine
DE102013107972A1 (de) * 2013-07-25 2015-02-19 Karl Storz Gmbh & Co. Kg Medizinisches Greifwerkzeug
US9552530B2 (en) * 2013-11-15 2017-01-24 Samsung Electronics Co., Ltd. Method and system to detect objects in multimedia using non-textural information within segmented region
US9562771B2 (en) * 2013-12-18 2017-02-07 Sharper Shape Ltd Analysis of sensor data
WO2015136420A1 (en) * 2014-03-10 2015-09-17 Food Machinery Crescenzo S.R.L. Machine for recognizing and orienting fruits and method
JP6483832B2 (ja) * 2014-08-29 2019-03-13 トヨタ モーター ヨーロッパ Rgb−dセンサを使用して物体を走査する方法とシステム
US20170245540A1 (en) * 2014-08-29 2017-08-31 Fal-Ross Limited Produce preparation
EP3197298A1 (en) * 2014-09-26 2017-08-02 Turatti S.r.l. Automatic machine for cleaning up and cutting fruit, particularly strawberries or radishes
US9959628B2 (en) * 2014-11-21 2018-05-01 Christopher M. MUTTI Imaging system for object recognition and assessment
GB201504360D0 (en) * 2015-03-16 2015-04-29 Univ Leuven Kath Automated quality control and selection system
CN105759648B (zh) * 2016-02-26 2018-09-07 京东方科技集团股份有限公司 一种削皮方法和设备
JP2017164007A (ja) * 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
WO2017168469A1 (ja) * 2016-03-28 2017-10-05 パナソニックIpマネジメント株式会社 外観検査装置と外観検査方法
US20180374144A1 (en) * 2016-04-04 2018-12-27 Eyepick Llc On-line shopping system and method for fresh food shopping
FR3050665B1 (fr) * 2016-04-28 2018-04-20 Maf Agrobotic Procede et dispositif d'orientation d'un fruit ombilique notamment en vue de son emballage
US20190156558A1 (en) * 2016-08-31 2019-05-23 Factualvr, Inc. Virtual reality system
DK3537867T3 (da) * 2016-11-08 2023-11-06 Dogtooth Tech Limited Robotfrugtplukkesystem
US10373369B2 (en) * 2017-03-16 2019-08-06 Qualcomm Technologies, Inc. Three-dimensional pose estimation of symmetrical objects
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
US11049236B2 (en) * 2017-11-17 2021-06-29 Kodak Alaris Inc. Automated in-line object inspection
US11295532B2 (en) * 2018-11-15 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus for aligning 3D model

Also Published As

Publication number Publication date
EP3764818A4 (en) 2021-11-24
EP3764818A1 (en) 2021-01-20
US20220142219A1 (en) 2022-05-12
WO2019177680A1 (en) 2019-09-19
AR114695A1 (es) 2020-10-07
CA3086766A1 (en) 2019-09-19
AU2019234203A1 (en) 2020-07-09
AU2019234203B2 (en) 2023-11-23
US20190281879A1 (en) 2019-09-19
US11246333B2 (en) 2022-02-15
EP3764818B1 (en) 2023-09-06
BR112020015628A2 (pt) 2021-01-05
US11707081B2 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
ES2963646T3 (es) Orientador de productos
ES2436441T3 (es) Cosechadora
US11766006B2 (en) Apparatus and method for placing bulbs
US9661800B2 (en) Independently automated mechanical transplanter
US20230371445A1 (en) Apparatus and method for planting plant cuttings
ES2875514T3 (es) Método de deshuesado y corte de frutas y máquina de múltiples carriles correspondiente
BR102015010189A2 (pt) sistema para corte e preparação de sementes e processo de uso
ES2136672T3 (es) Metodo y aparato para elaborar las peras.
WO2015121809A1 (es) Equipo portátil para la cosecha selectivacon identificación de frutos por color
ES2608888T3 (es) Aparato para la separación de productos agrícolas
ES2947222T3 (es) Procedimiento automatizado de selección y de recolección de frutas y equipo mecánico que pone en práctica el procedimiento
BR102015010171A2 (pt) sistema para preparação de semente e processo de uso
US20200187410A1 (en) Apparatus and methods: planter meter for orienting seed and in soil seed placement
BR112019017518A2 (pt) Sistemas e métodos para determinar o período de colheita para a matéria vegetal dentro de uma cápsula de cultivo
NL2022385B1 (en) Apparatus and Method for Placing Bulbs
JP3941685B2 (ja) 球根類植付装置
JP3025619B2 (ja) 仮植装置
NL2025857B1 (nl) Inrichting en werkwijze voor het opplanten van bloembollen
US20170094934A1 (en) Milking device
WO2021255316A1 (es) Método para cosechar y máquina cosechadora
KR20230036807A (ko) 농작물 재배트레이 및 이를 이용한 농작물 재배 장치
NL2007947C2 (nl) Inspectie- en manipulatiesysteem voor het inspecteren van natuurlijke producten en werkwijze daarvoor.
CN105660003A (zh) 一种玉米定向播种机
BR102020019472A2 (pt) Sistema para automatização de máquina colhedora de café
KR20220117733A (ko) 마늘종구 정립 공급장치