ITUA20164758A1 - Apparato di rilevamento di prodotti ortofrutticoli. - Google Patents

Apparato di rilevamento di prodotti ortofrutticoli.

Info

Publication number
ITUA20164758A1
ITUA20164758A1 ITUA2016A004758A ITUA20164758A ITUA20164758A1 IT UA20164758 A1 ITUA20164758 A1 IT UA20164758A1 IT UA2016A004758 A ITUA2016A004758 A IT UA2016A004758A IT UA20164758 A ITUA20164758 A IT UA20164758A IT UA20164758 A1 ITUA20164758 A1 IT UA20164758A1
Authority
IT
Italy
Prior art keywords
product
interest
way
products
fruit
Prior art date
Application number
ITUA2016A004758A
Other languages
English (en)
Inventor
Stefano Crociani
Enrico Prosapio
Roberto Prosapio
Matteo Roffilli
Original Assignee
Ser Mac S R L
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ser Mac S R L filed Critical Ser Mac S R L
Priority to ITUA2016A004758A priority Critical patent/ITUA20164758A1/it
Priority to PCT/IB2017/053869 priority patent/WO2018002841A1/en
Publication of ITUA20164758A1 publication Critical patent/ITUA20164758A1/it

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • G01N33/025Fruits or vegetables
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8466Investigation of vegetal material, e.g. leaves, plants, fruits
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Food-Manufacturing Devices (AREA)

Description

“APPARATO DI RILEVAMENTO DI PRODOTTI ORTOFRUTTICOLI”
Il presente trovato si riferisce ad un apparato di rilevamento di prodotti ortofrutticoli, in particolare di prodotti ortofrutticoli difettosi.
Anche se nel prosieguo della presente descrizione si farà riferimento espressamente alla rivelazione di difetti superficiali o interni in immagini digitali, resta inteso che gli insegnamenti della presente invenzione possono essere applicati, mutatis mutandis, alla analisi ed alla elaborazione di qualsivoglia immagine digitale proveniente da qualsivoglia metodo di indagine superficiale o interna, come, per esempio, analisi NIR (Near Infra-Red), SWIR (Short Wave Infra-Red), MIR (Mid-range Infra-Red), con camera RGB, camera multi-spettrale, camera iper-spettrale, camera InGaAs, Risonanza Magnetica Nucleare, X-ray, termografia, ecografia, TAC e/o altri metodi di indagine superficiale o interna di prodotti in genere.
Sono noti degli apparati per il rilevamento di prodotti ortofrutticoli, in particolare di rilevamento del calibro, del colore e di eventuali difetti presenti in rispettivi prodotti, i quali sono disposti entro ad una linea o impianto di convogliamento e di selezione dei detti prodotti ortofrutticoli, ed i quali comprendono dei rispettivi mezzi di supporto del prodotto che sono mobili lungo una rispettiva linea di convogliamento dei prodotti.
Detti apparati per prodotti ortofrutticoli già noti comprendono, quindi, dei mezzi di rilevamento di immagini digitali del rispettivo prodotto disposto sui detti mezzi di supporto o di convogliamento, e dei mezzi a processore che sono atti ad elaborare dette immagini digitali del rispettivo prodotto e che sono atti a definire una specifica condizione o caratteristica del rispettivo prodotto, in particolare in modo tale da consentire di comandare una successiva operazione sul detto prodotto, in particolare una operazione di scarico del medesimo prodotto dai detti mezzi di supporto del prodotto, in particolare in corrispondenza di una rispettiva stazione di imballaggio del prodotto.
Tuttavia, detti apparati per il rilevamento di prodotti ortofrutticoli già noti utilizzano degli algoritmi di calcolo che operano confrontando meramente l’immagine rilevata con l’immagine precostituita di un rispettivo prodotto difettoso e sono dunque poco efficienti nel rintracciare corrispondenti prodotti difettosi e richiedono oltretutto l’impiego di notevoli risorse hardware per la loro implementazione.
Peraltro, in molti casi gli oggetti di interesse in un’immagine digitale sottoposta ad analisi presentano caratteristiche, quali forma e dimensioni, variabili e non ben definibili. D’altra parte molti degli algoritmi finora utilizzati per la ricerca automatica di oggetti in un’immagine hanno la necessità che vengano ben specificate proprio le caratteristiche dell’oggetto da rivelare: questa specificazione viene compiuta con un apposito lavoro di un operatore esperto del settore. Per superare i problemi nella definizione delle caratteristiche ed evitare o ridurre il lavoro necessario dell’esperto del settore, si sono messi a punto negli ultimi anni sistemi di rivelazione automatica che invece non necessitano di una specificazione a priori delle suddette caratteristiche e che apprendono in modo automatico da molti esempi degli oggetti da classificare.
Allo stato dell’arte, i risultati migliori con tali sistemi “ad apprendimento automatico” si sono ottenuti con sistemi costituiti dai classificatori Support Vector Machine (SVM) o Relevance Vector Machine (RVM) addestrati a riconoscere una classe di oggetti utilizzando l’immagine originale, costituita dai livelli di grigio o colore di tutti i suoi pixel, o una sua rappresentazione mediante trasformate quali ad esempio le wavelet o le ranklet.
A tal proposito si vedano i brevetti:
- R. Campanini, M. Roffilli, N. Lanconelli: United States Patent Application 10/231,800 “Method, and corresponding apparatus, for automatic detection of regions of interest in digital images of biological tissue”;
- M. Roffilli, E. Iampieri, E. Angelini, M. Masotti, Brevetto Italiano n. BO2006A200, “Metodo, e relativa apparecchiatura, per la ricerca automatica di zone di interesse in immagini digitali”.
Questi sistemi, basati come detto su rappresentazione degli oggetti a livelli di grigio o colore o su rappresentazione wavelet o ancora su filtri di convoluzione, e quindi su classificatori SVM o RVM, presentano tuttavia alcuni problemi sia generali sia specifici per il rispettivo prodotto.
Esistono problemi connessi alla rappresentazione degli oggetti mediante livelli di grigio o di colore che si propagano anche alla trasformata wavelet. Tali problemi sono dovuti al fatto che alcuni fattori possono portare a variazioni nei livelli di grigio delle immagini degli oggetti e quindi nei valori dei coefficienti della loro rappresentazione wavelet. Ad esempio, tali fattori possono essere il rumore dovuto alla strumentazione che produce l’immagine o i valori dei parametri di acquisizione di questa strumentazione oppure l’utilizzo di strumentazioni che differiscono tra loro seppur di poco. Queste variazioni, anche piccole nei valori, possono portare a modifiche nella classificazione dell’oggetto da parte dei classificatori. Una nota causa di variabilità è data dai dispositivi di illuminazione che vengono utilizzati industrialmente per illuminare i prodotti. Questi possono essere lampade alogene o LED a lunghezza d’onda singola o composita usati come fonte di luce diretta, riflessa o trasmessa.
Si possono poi avere variazioni tra le immagini digitali dello stesso prodotto ottenute con diverse camere digitali oppure tra l’immagine ottenuta con una camera digitale e quella ottenuta con un’altra equipaggiata con sensore diverso. Queste variazioni nei livelli di grigio e nei valori dei coefficienti wavelet possono portare ad una serie di conseguenze negative per l’utilizzo dei sopra citati metodi “ad apprendimento automatico”, in quanto i parametri del modello trovato sono numericamente dipendenti da quelli delle immagini in ingresso.
Un esempio chiarificatore è il seguente. Per apprendere a riconoscere i difetti di superficie di un prodotto, ad esempio ammaccature, il classificatore automatico ha bisogno di essere addestrato con un elevato numero di esempi di prodotti che presentano tali anomalie superficiali. Il reperimento di un’elevata quantità di prodotti con tale difetto comporta notevole impegno di lavoro e di costo ed è intrinsecamente limitato alla specificità dell’evento che ha causato il danno. D’altro canto, esistono da tempo, a disposizione gratuitamente sulla rete Internet, database di immagini, acquisite con svariate metodologie che contemplano prodotti rovinati, ovvero ammaccati. Sicuramente porterebbe un notevole vantaggio la possibilità di utilizzare questi database per addestrare un classificatore, utilizzabile poi per la rivelazione automatica di difetti da ammaccature di rispettivi prodotti. La mancanza di tale possibilità comporta attualmente la necessità che l’insieme di immagini disponibili per l’addestramento venga prodotto con lo stesso tipo di setup, camera e sensore che verrà poi utilizzato per produrre le immagini su cui opererà il classificatore stesso per l’aiuto alla rivelazione dei difetti.
Un altro problema, sempre connesso alla rappresentazione mediante livelli di grigio e alla rappresentazione wavelet, è costituito dal fatto che uno stesso sistema di rivelazione automatica che opera in un ambiente geografico diverso (ad esempio Nord Europa e Sud America) può incontrare difficoltà ad operare a livelli costanti di sensibilità e specificità a causa di condizioni al contorno molto eterogenee quali temperatura, luminosità, umidità.
La trasformata ranklet, riportando i valori assoluti a valori di ordinamento, risolve in parte le questioni sopra proposte per i pixel e le wavelet, ma al contempo ne propone altre, derivanti proprio dalla esclusione del valore reale di intensità numerica acquisita che può rendere rassomiglianti immagini anche molto diverse in origine. A ciò si aggiunga una alta complessità computazionale che limita l'utilizzo della trasformata ranklet a contesti non real time.
Ulteriori problemi specifici derivano dalla difficoltà a recuperare un numero congruo di campioni delle aree interessanti. Pensiamo ad esempio ad anomalie in immagini di prodotti con produzioni limitate e concentrate in lassi temporali molto ridotti: la loro reperibilità è spesso limitata dalla oggettiva difficoltà a trovare numerosi prodotti con tali anomalie specifiche, che spesso sono rare o rarissime e impossibili da riprodurre sperimentalmente per la complessa natura dei processi che le hanno prodotte. Lo stesso vale per qualsiasi anomalia di tipo biologico (esempio infezione batterica o attacco da parassiti) che sia poco diffusa ma proprio per questo molto importante da riconoscere in modo automatico. E’ invece altresì facile reperire campioni di prodotti normali o sani in quanto ciò rappresenta la normalità del campionamento. Si ha quindi necessità di avere un classificatore che generalizzi bene nel riconoscere le anomalie anche con pochi esempi rappresentativi di queste ma al contempo sia in grado di trarre vantaggio dai milioni di esempi disponibili della normalità. Un metodo per superare queste difficoltà di reperibilità dei campioni è rappresentato dall'utilizzo di una procedura chiamata “data augmentation”. Questa procedura consiste nel ricavare nuovi esempi, a partire dalle immagini native, tramite trasformazioni spaziali e colorimetriche. Purtroppo questa procedura non è utilizzabile con le SVMs e le RVMs in quanto porta minimale beneficio a causa del loro metodo di funzionamento.
Un ulteriore problema dei detti metodi concerne il rischio che i medesimi raggiungano il limite della capacità di calcolo del sistema che li implementa, con il rischio che periodicamente un rispettivo prodotto sfugga completamente al rilevamento da parte del sistema.
Infine, i metodi citati richiedono una fase di taratura impegnativa dal punto di vista operativo, in quanto va ricercata, per via manuale, la combinazione migliore dei parametri operativi.
Inoltre, detti apparati di rilevamento di prodotti ortofrutticoli già noti utilizzano una luce pulsata che, in particolare, si propaga nelle immediate vicinanze dell’apparato, e risulta essere fastidiosa o addirittura dannosa per il personale addetto.
Inoltre, detti apparati di rilevamento di prodotti ortofrutticoli presentano dimensioni rilevanti e sono quindi eccessivamente ingombranti e poco agevoli da installare.
Con il presente trovato si vuole proporre una soluzione nuova ed alternativa alle soluzioni finora note ed in particolare ci si propone di ovviare ad uno o più degli inconvenienti o problemi sopra riferiti, e/o di soddisfare ad una o più esigenze avvertite nella tecnica, ed in particolare evincibili da quanto sopra riferito.
Viene, quindi, provvisto un apparato di rilevamento di prodotti ortofrutticoli, in particolare di prodotti ortofrutticoli difettosi, preferibilmente all’interno di un impianto o linea di convogliamento e di opportuno trattamento, in particolare di selezione, dei detti prodotti ortofrutticoli; comprendente dei mezzi di supporto dei prodotti, in particolare sotto forma di mezzi di supporto mobili lungo una rispettiva linea di convogliamento dei medesimi prodotti; dei mezzi di rilevamento di una o più immagini, in particolare digitali, del rispettivo prodotto disposto sui detti mezzi di supporto; e dei mezzi a processore che sono atti ad elaborare dette immagini, in particolare digitali, del rispettivo prodotto, e che sono atti a definire una specifica condizione o caratteristica del rispettivo prodotto, in particolare in modo tale da consentire di comandare una successiva operazione sul detto prodotto, in particolare una operazione di scarico del medesimo prodotto, in special modo dai detti mezzi di supporto del prodotto; caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale da effettuare una ricerca automatica di zone di interesse nell’ immagine digitale rilevata, in particolare di zone di interesse corrispondenti a difettosità, in special modo superficiali del rispettivo prodotto, provvedendo, attraverso l’utilizzo di almeno un classificatore non lineare denominato Convolutional Neural Network (CNN), per la rispettiva zona dell’immagine digitale, un valore numerico che è rappresentativo della probabilità di contenere una zona di interesse.
In questo modo, è possibile ottenere un’elevata efficacia nel rintracciamento di zone di interesse, in particolare di difetti, in special superficiali, nel rispettivo prodotto.
In particolare, è altresì possibile ridurre in massimo grado l’impiego di attrezzatura hardware.
In special modo, è così possibile conoscere con precisione le caratteristiche del sistema informatico che serve per implementare lo specifico processo industriale, e non si corre quindi il rischio che un qualche prodotto fra quelli che sono alimentati lungo una rispettiva linea di lavoro industriale, sfugga al rispettivo sistema di rilevamento.
Questo ed altri aspetti innovativi, o specifiche realizzazioni vantaggiose, sono, comunque, esposti nelle rivendicazioni sotto riportate, le cui caratteristiche tecniche sono riscontrabili nella seguente descrizione dettagliata, illustrante una preferita e vantaggiosa forma di realizzazione che è tuttavia da considerarsi come puramente esemplificativa e non limitativa del trovato; detta descrizione venendo fatta con riferimento ai disegni allegati, in cui:
- la figura 1 illustra una vista schematica a blocchi di una realizzazione preferita di impianto per prodotti ortofrutticoli utilizzante l’apparato di rilevamento secondo il presente trovato;
- la figura 2 illustra una vista schematica blocchi della realizzazione preferita dell’apparato di rilevamento secondo il presente trovato;
- la figura 3 illustra una vista schematica in prospettiva della realizzazione preferita del tunnel o box di rilevamento di prodotti ortofrutticoli secondo il presente trovato;
- la figura 4 illustra una vista schematica in sezione trasversale della realizzazione preferita di tunnel rilevamento di prodotti ortofrutticoli secondo il presente trovato;
- la figura 5 illustra una vista frontale della sezione dell’impianto impiegante la realizzazione preferita di apparato per il rilevamento di prodotti ortofrutticoli secondo il presente trovato;
- la figura 6 illustra una vista in prospettiva della realizzazione preferita di tunnel di rilevamento secondo il presente trovato;
- la figura 7 illustra una vista frontale della realizzazione preferita di tunnel di rilevamento di prodotti ortofrutticoli secondo il presente trovato;
- la figura 8 illustra una vista in pianta dall’alto della realizzazione preferita di tunnel di rilevamento di prodotti ortofrutticoli secondo il presente trovato; - la figura 9 illustra una vista laterale della realizzazione preferita di detto tunnel di rilevamento di prodotti ortofrutticoli secondo il presente trovato; - la figura 10 illustra una vista laterale presa dal lato opposto a quello della figura 9 della realizzazione preferita di tunnel secondo il presente trovato; - la figura 11 illustra una vista in sezione trasversale presa secondo la linea A-A della figura 9 della realizzazione preferita di tunnel secondo il presente trovato;
- la figura 12 illustra una vista in sezione longitudinale presa secondo la linea B-B della figura 8 della realizzazione preferita di tunnel secondo il presente trovato;
- la figura 13 illustra una vista schematica di una videata provvista in corrispondenza dei mezzi di interfaccia con l’utente della realizzazione preferita di apparato secondo il presente trovato;
- la figura 14 illustra un diagramma di flusso relativo ad una forma di attuazione preferita del metodo di ricerca automatica utilizzato nella presente realizzazione preferita di apparato secondo il presente trovato. Nelle figure allegate, viene illustrata una realizzazione preferita 10 di apparato di rilevamento di prodotti ortofrutticoli; in particolare di prodotti ortofrutticoli difettosi, preferibilmente all’interno di una linea o impianto 11 di convogliamento e di opportuno trattamento, in particolare di selezione, dei detti prodotti ortofrutticoli.
In particolare, come illustrato, detto apparato 10 comprende dei mezzi 12 di supporto dei prodotti, in particolare sotto forma di mezzi di supporto mobili lungo una rispettiva linea di convogliamento dei medesimi prodotti 11, e dei mezzi 14 di rilevamento di una o più immagini, in particolare digitali, del rispettivo prodotto disposto sui detti mezzi di supporto.
In particolare, come illustrato, l’apparato 10 comprende dei mezzi a processore 16 che sono atti ad elaborare dette immagini digitali del rispettivo prodotto, e che sono atti a definire una specifica condizione o caratteristica del rispettivo prodotto, in particolare in modo tale da consentire di comandare un successiva operazione sul detto prodotto, in special modo una operazione di scarico del medesimo prodotto dai detti mezzi di supporto del prodotto 12, in corrispondenza di un’opportuna posizione o stazione delle linea ovvero preferibilmente in corrispondenza di una rispettiva stazione di imballaggio del prodotto.
Vantaggiosamente, detti mezzi a processore 16 sono configurati in modo tale da effettuare una ricerca automatica di zone di interesse nell’ immagine digitale rilevata del prodotto ortofrutticolo, le quali zone di interesse sono in particolare relative a corrispondenti difettosità, in special modo superficiali, del rispettivo prodotto.
Tipicamente, i mezzi a processore 16 potrebbero essere sotto forma di un elaboratore elettronico che comprende una memoria, e dei mezzi di elaborazione, preferibilmente comprendente una CPU (Central Processing Unit) ed una GPU (Graphics Processing Unit), e funzionante sotto il controllo di rispettive istruzioni alloggiate in detta memoria, ed in collegamento con dei mezzi di interfaccia con l’ambiente esterno, in particolare con l’utente, ad esempio sotto forma di un display.
I mezzi a processore 16 comprendono quindi dei corrispondenti mezzi di input, in particolare tastiera, mouse e analoghi, e di output di segnali, in particolare sonori, luminosi e/o visivi, quali il detto display.
In particolare, i mezzi a processore 16, sono altresì opportunamente in collegamento con il sistema di rilevamento delle immagini, e/o con la linea di convogliamento dei prodotti, ovvero con attuatori o altro presenti nella medesima linea.
Ricercando specifiche zone di interesse, in particolare zone difettose del prodotto ortofrutticolo, è quindi possibile implementare una procedura particolarmente rapida ed efficace dell’identificazione di prodotti aventi rispettive difettosità, in particolare superficiali.
È previsto che detti mezzi a processore 16, eseguendo rispettive istruzioni di programma, siano configurati in modo tale, da essere in grado di apprendere a riconoscere zone di interesse, in particolare difetti, in special modo superficiali, che presenti sull’immagine del rispettivo prodotto.
In particolare, vantaggiosamente, per apprendere a riconoscere le zone di interesse o i difetti, in particolare superficiali, presenti sull’immagine del rispettivo prodotto, i mezzi processore 16 sono configurati in modo tale da poter essere sottoposti ad un set di apprendimento, in particolare in cui analizzano corrispondenti immagini, in particolare digitali, di prodotti aventi rispettive difettosità.
In pratica, detti mezzi a processore 16 sono configurati in modo tale da effettuare una ricerca automatica di zone di interesse nella immagine digitale rilevata, in particolare corrispondenti a difettosità superficiali del rispettivo prodotto, provvedendo una conveniente rappresentazione matematica della rispettiva zona di detta immagine digitale.
Vantaggiosamente è previsto che detti mezzi a processore 16 siano configurati, o programmati, in modo tale da effettuare una ricerca automatica di zone di interesse nella immagine digitale rilevata, in particolare corrispondenti a difettosità superficiali del rispettivo prodotto, detti mezzi a processore 16 sono configurati in modo tale da effettuare una ricerca automatica di zone di interesse nell’ immagine digitale rilevata, in particolare di zone di interesse corrispondenti a difettosità, in special modo superficiali del rispettivo prodotto, provvedendo, attraverso l’utilizzo di almeno un classificatore non lineare denominato Convolutional Neural Network (CNN), per la rispettiva zona dell’immagine digitale, un valore numerico che è rappresentativo della probabilità di contenere una zona di interesse, in particolare corrispondente ad un difetto, in special modo ad un difetto superficiale, del prodotto.
Vantaggiosamente, detti mezzi a processore sono configurati in modo tale da provvedere una implementazione del classificatore non lineare denominato Convolutional Neural Network (CNN) attraverso l’utilizzo sinergico di CPU e GPU, in particolare detta CPU controllando il flusso di lavoro del rispettivo prodotto e trasferendo alla GPU il compito di eseguire i calcoli matematici del classificatore.
Vantaggiosamente, detti mezzi a processore 16 sono configurati in modo tale da evidenziare, o meno, detta zona di detta immagine digitale sulla base di detto valore numerico.
Vantaggiosamente, detti mezzi a processore 16 sono configurati in modo tale da provvedere ad addestrare il classificatore lineare denominato Convolutional Neural Network (CNN) attraverso un insieme di esempi di zone di interesse.
Vantaggiosamente, detti mezzi a processore 16 sono configurati in modo tale da procedere alla selezione delle finestre con maggiore possibilità di contenere l'oggetto o zona di interesse.
Vantaggiosamente, detti mezzi a processore 16 sono configurati in modo tale che, per procedere alla selezione delle finestre con maggiore possibilità di contenere l'oggetto o zona di interesse, per ogni finestra provvedono a definire un gruppo di vicini, scegliendo le finestre spazialmente vicine; all'interno di questo gruppo venendo eletto un candidato, ovvero la finestra con la più alta possibilità di contenere l'oggetto o zona di interesse.
In particolare, vantaggiosamente, detta immagine digitale rappresenta la superficie esterna del prodotto.
In particolare, vantaggiosamente, detta immagine digitale rappresenta la parte interna del prodotto.
In particolare, vantaggiosamente, dette zone di interesse rappresentano difetti superficiali.
In particolare, vantaggiosamente, dette zone di interesse rappresentano difetti interni al prodotto.
In particolare, come riferito, detta immagine digitale è l’immagine di un prodotto ortofrutticolo.
Le CNNs integrano in un unico algoritmo sia la rappresentazione sia la classificazione delle immagini e cercano di risolvere il problema della variabilità di rappresentazione spostandolo verso il problema della quantità di immagini disponibili. Infatti, avendo a disposizione non migliaia bensì milioni o centinaia di milioni di campioni è possibile superare per via statistica molte delle problematiche della variabilità nella distribuzione dei campioni. L’utilizzo in cascata di più livelli di rappresentazione (da cui il termine di architettura profonda o “deep”, che le CNNs implementano) infatti riesce a mitigare la variabilità pur esaltando le differenze significative, in un contesto di non linearità.
Come sopra riferito, il contraltare della dimensione del dataset campionario sta nella difficoltà e spesso impossibilità da parte del classificatore di elaborare tutta la mole di dati in gioco.
Le Artificial Neural Networks (ANNs), e quindi le CNNs, risolvono il problema utilizzando algoritmi sequenziali di elaborazione quali l’Error Back Propagation, che non hanno, per loro natura sequenziale, limiti ai dati in ingresso ma al contempo non producono sempre il medesimo risultato, che non è quindi ottimale ma solo approssimato. In questo comunque, riproducono il comportamento fisiologico degli esseri umani in quanto un medesimo dataset di addestramento produrrà risultati diversi in persone diverse ed anche nella medesima persona quando applicato in tempi diversi. L’approssimazione quindi non è uno svantaggio di per sé quando è associata alla robustezza del risultato.
Con le risorse di calcolo attualmente disponibili in commercio le ANNs possono processare dataset di milioni di esempi, SVM, nella versione non lineare, si limita a centinaia di migliaia di esempi e RVM a decine di migliaia.
In particolare, SVM è limitato dal fatto che la soluzione, nel caso non lineare, è ottenuta mediante l'utilizzo interno di una trasformata non lineare denominata kernel, di solito nella variante gaussiana che non può essere ottimizzata efficientemente oltre un certo limite. Il risultato è che il problema di ottimizzazione necessita di essere risolto nella sua forma alternativa, definita duale (in contrasto con la forma nativa definita primale), in cui la complessità del problema è correlata al numero di campioni invece che al numero di feature (caratteristiche del campione raggruppate in un vettore numerico). Da qui derivano le limitazione sul numero di campioni utilizzabili in addestramento.
Va inoltre notato che la dimensione del modello prodotto da SVM o RVM cresce con l’aumentare del numero di esempi di addestramento in quanto, al crescere della rappresentatività statistica, sempre più esempi saranno scelti come vettori di supporto o vettori di rilevanza. Nel caso delle CNNs invece, la dimensione del modello, denominata architettura, è scelta a priori dal progettista in base a considerazioni sul dominio specifico di applicazione. La dimensione del modello è direttamente correlata col tempo di calcolo necessario al fine di ottenere un risultato di classificazione dal modello stesso.
Un ulteriore vantaggio delle CNNs contro il problema della reperibilità dei dati è rappresentata dalla possibilità di usare un addestramento a due fasi dette “pre-training” e “fine tuning”. Questa combinazione fornisce la possibilità di pre-addestrare la rete su un dataset ausiliario di natura diversa rispetto al problema che si vuole risolvere ma che contenga un numero elevato di esempi, e poi rifinire l'addestramento sui dati relativi al problema specifico. Il primo passo permette di configurare i filtri dei primi strati della rete che rispondono a pattern generici (schemi visivi), quali bordi e angoli; il secondo è responsabile dell'addestramento dei filtri agli ultimi livelli che sono più specifici e rispondono quindi a pattern caratteristici del tipo di problema che si affronta. A questo si aggiunga che le CNNs accettano favorevolmente la procedura di “data augmentation” che è in grado di rendere il modello prodotto robusto alle variazioni di illuminazione e di colore.
Un altro vantaggio delle CNNs consiste nel fatto che manipolano nativamente dati multi-dimensionali, senza doverne fare il “flattening”, ossia un ri-arrangiamento unidimensionale. Questo le rende particolarmente adatte al trattamento di immagini multi-spettrali e iperspettrali, i cui valori numerici sono disposti lungo tre dimensioni: larghezza, ampiezza e profondità (di spettro).
Un vantaggio accessorio delle CNNs rispetto ad SVM consiste poi nel fatto che le CNNs permettono di trattare nativamente problemi di classificazione con un numero arbitrario di classi in uscita, permettendo quindi una classificazione mirata sia dell’oggetto sia delle sue varianti o varietà.
Le CNNs permettono inoltre l’utilizzo di un approccio al calcolo denominato “fully-convolutional” che consiste nella trasformazione degli strati di tipo fully-connected di una CNNs in strati di convoluzione. Questo metodo dà risultati numerici identici a quelli ottenuti con l’approccio denominato “sliding window” ma, a differenza di quest’ultimo, è computazionalmente più efficiente. Mentre con la sliding window prima si estraggono le patch dall'immagine e poi si processano singolarmente, con l’approccio fully-convolutional si processa in una unica passata tutta l'immagine sfruttando il fatto che le patch sono tra di loro sovrapposte, ed evitando così molte operazioni ridondanti. La differenza tra i due metodi è che mentre usando la sliding window si ha il controllo sul valore dello step di scorrimento ma a scapito di un maggior tempo di elaborazione, con l'approccio fully-convolutional lo step è determinato dalla struttura della rete e quindi ottimizzabile a priori con sensibile risparmio di tempo di calcolo.
Infine, le CNNs restituiscono un valore probabilistico sulla confidenza del risultato che è molto utile per la composizione statistica di lotti di prodotti. Lo sfruttamento sinergico della peculiari caratteristiche delle CNNs consente di ottenere un modello di riconoscimento molto efficace che viene eseguito in un tempo di calcolo prefissato in quanto è l’architettura della rete profonda di tipo feed forward ad imporre il numero di operazioni algebriche da effettuare e non la complessità del modello, come avviene invece nelle SVMs o RVMs. Questo comportamento permette di definire a priori la potenza di calcolo necessaria ad ottenere un flusso continuo di lavoro esprimibile in numero di prodotti al secondo, proprietà fondamentale nelle linee di avanzamento industriale.
La stessa architettura delle CNNs inoltre è intrinsecamente parallelizzabile con la positiva conseguenza che i calcoli possono essere effettuati all’interno di apposite unità di elaborazione ad alta efficienza denominate Graphics Processing Units (GPUs). Accoppiando quindi le CNNs con le GPUs si può ottenere un sistema molto efficace ed efficiente a dei costi di produzione molto più bassi rispetto a quanto si otterrebbe con sistemi alternativi basati su Central Processing Units (CPUs).
In particolare, detta CPU controlla il flusso di lavoro del rispettivo prodotto e trasferisce alla GPU il compito di eseguire i calcoli matematici del classificatore.
In pratica, in conformità ad una realizzazione preferita, detti mezzi a processore 16 dell’apparato, per la ricerca automatica di zone di interesse in una immagine digitale, implementano un metodo che preferibilmente comprende le seguenti fasi:
- provvedere una rappresentazione di una zona di detta immagine digitale, detta rappresentazione essendo una rappresentazione mediante Convolutional Neural Network; e
- provvedere, per detta zona dell’immagine digitale, a partire da detta rappresentazione della medesima zona digitale, un valore numerico, che è rappresentativo della possibilità di contenere una zona interesse, utilizzando almeno un classificatore denominato Convolutional Neural Network, addestrato e operante in modo integrato su immagini digitali. Preferibilmente, secondo il metodo implementato, dai detti mezzi a processore 16 dell’apparato, si provvede ad una selezione di detti valori numerici che sono rappresentativi della possibilità di contenere una zona di interesse al fine di evidenziare su detta immagine digitale solo le zone di maggior interesse.
Secondo il presente metodo si provvede altresì una implementazione altamente efficace ed efficiente basata sull’utilizzo sinergico di CPU e GPU allo scopo di ottenere un flusso di lavoro continuo in grado di elaborare almeno 30 prodotti al secondo su dispositivi industriali di tipo commerciale.
In particolare, come si evince dalla Figura 14, il metodo implementato dai detti mezzi a processore 16 dell’apparato, funziona in questo modo: una finestra di dimensione fissa scansiona l'immagine muovendosi da sinistra a destra e dall'alto in basso con passo di circa 1/10 delle sue dimensioni lineari. Per ogni finestra individuata in questo modo è estratta la porzione di immagine contenuta nella finestra.
La porzione di immagine è riportata alle dimensioni di riferimento, impostate in fase di addestramento del classificatore, mediante un’ interpolazione e quindi rappresentata e classificata mediante una CNN. La procedura è ripetuta variando la dimensione della finestra di scansione che viene sempre riportata alla dimensione di riferimento mediante interpolazione (in lingua inglese “upsampling” o “downsampling” o “warping”). Alternativamente è processata direttamente, con l’approccio fully convolutional, tutta l’immagine ridimensionata.
In pratica, in un contesto di classificazione binaria, la rete CNN è stata precedentemente addestrata con un insieme di esempi scelti in modo tale che essa restituisca nella uscita per la classe A un valore numerico vicino a 1 nel caso gli sia presentato in input un vettore rappresentativo della classe A, detta anche “classe positiva”, che corrisponde a porzioni di prodotti normali, e un valore vicino a 1 nella uscita per la classe B nel caso di input della classe B o “classe negativa”, corrispondente a difetti esterni o interni. Si procede in modo analogo nella versione di CNN a più classi. Perciò tale classificatore CNN restituisce per il vettore in input un valore di appartenenza alla zona di interesse.
In un'altra forma di attuazione si possono usare in opportuna combinazione le risposte di più classificatori CNN per assegnare al vettore in input tale valore di appartenenza.
Si procede quindi alla selezione delle finestre con maggiore possibilità di contenere l'oggetto o zona di interesse, in questo caso il difetto. A tal scopo, per ogni finestra è definito un gruppo di vicini, scegliendo le finestre spazialmente vicine in un raggio euclideo r prefissato. All'interno di questo gruppo viene eletto un candidato, ovvero la finestra con il più alto valore numerico rappresentativo di più alta possibilità.
Tutte le finestre elette sono memorizzate in una lista mentre tutte le finestre non elette vengono scartate. L'intero procedimento è ripetuto per diverse dimensioni della finestra di scansione per cercare zone di interesse o difetti di diverse dimensioni. In questo modo sono prodotte tante liste contenenti finestre elette quante sono le dimensioni cercate. Le finestre contenute in queste liste sono inserite in un'unica lista, ordinate in senso decrescente in base al valore numerico loro associato. Tale valore è utilizzato come ordinamento in probabilità da 1 a 0. Tra dette finestre quelle con probabilità inferiore ad una soglia prefissata t sono scartate. A questo punto sono scelte le prime n finestre, dove n è un valore prefissato. Queste finestre residue sono le finestre che a tutte le dimensioni di ricerca hanno ottenuto il maggior valore di probabilità di contenere una zona di interesse o difetto.
Si procede ora ad un successivo passo di selezione di queste finestre residue: si cerca nell'intorno geometrico di ogni finestra se ve ne sono altre. Nel caso la finestra in esame risulti isolata viene scartata. Nel caso invece ve ne siano altre, tutte queste più la finestra in esame sono raggruppate in un'unica nuova finestra a cui viene associato come centro il centroide delle finestre componenti, come dimensione la dimensione media delle finestre componenti e come valore di probabilità una combinazione di probabilità delle componenti: tale procedura prende il nome di “non-maximum suppression”.
Queste nuove finestre sono quindi inserite in una nuova lista, ordinate in modo decrescente secondo il loro valore di probabilità. Infine solo le prime q finestre di questa nuova lista, con q parametro prefissato, sono trasmesse a stadi successivi del processo di elaborazione e/o visualizzate, sovrapponendole graficamente all'immagine originale. La sovraimpressione del bordo della finestra permette di cogliere visivamente il centro e la dimensione della zona di interesse o difetto, mentre il colore utilizzato per la sovraimpressione è associato al valore di probabilità.
In pratica, come ben si evince dal diagramma di flusso della Figura 14, una realizzazione preferita del presente metodo, implementato dai detti mezzi a processore 16 dell’apparato, prevede dunque le seguenti fasi: a) sottoporre o aver preventivamente sottoposto il classificatore CNN ad un corrispondente set di addestramento,
b) immettere l’immagine (immagine in input),
c) fissare la dimensione della finestra di scansione dell’immagine, d) ritagliare e ridimensionare ciascuna finestra scansionata dall’immagine, e) classificare il vettore con il classificatore CNN,
f) ripetere le dette operazioni da c) a e) con finestre di scansione aventi dimensioni diverse,
g) selezionare dei ritagli di interesse per tutte le scale,
h) creare un’immagine in uscita (immagine in output con eventuali zone evidenziate) o restituire i valori in formato digitale per ulteriori elaborazioni. Inoltre, in detto diagramma di flusso viene altresì evidenziata la evidenziata fase e’) di memorizzazione degli esiti della rispettiva classificazione ottenuta tramite CNN.
Il presente apparato è atto ad utilizzare un’immagine digitale proveniente da uno qualsiasi dei seguenti metodi di indagine: NIR (Near Infra-Red), SWIR (Short Wave Infra-Red), MIR (Mid-range Infra-Red), con camera RGB, camera multi-spettrale, camera iper-spettrale, camera InGaAs, Risonanza Magnetica Nucleare, X-ray, termografia, ecografia, TAC e/o da altri.
In particolare, come illustrato, detti mezzi di rilevamento 14 del presente apparato comprendono dei mezzi 20 che definiscono una camera 21 di rilevamento del prodotto.
Vantaggiosamente, come si evince dalle corrispondenti figure, detti mezzi 20 definenti una camera 21 di rilevamento del prodotto comprendono una base o parete di fondo 201, in particolare che si prolunga lateralmente, e preferibilmente in corrispondenza di ambo i lati trasversali, rispetto ai detti mezzi 12 di supporto del prodotto.
In particolare, come illustrato, detti mezzi 20 definenti la camera 21 di rilevamento del prodotto definiscono dei mezzi a tunnel 20 di passaggio dei prodotti aventi una apertura 20i di ingresso dei prodotti entro al tunnel, o box di visione, 20 ed una apertura 20u di uscita dei prodotti dai detti mezzi a tunnel 20, preferibilmente provviste in corrispondenza di estremità longitudinali dei medesimi mezzi a tunnel 20.
Vantaggiosamente, detti mezzi 20 definenti la camera di rilevamento del prodotto comprendono una parete di copertura 202, in particolare sotto forma di una parete angolarmente estesa, preferibilmente circonferenzialmente estesa, ed in special modo le cui estremità laterali 202a, 202b si prolungano dalla, e/o sono collegate alla, detta base o parete di fondo 201.
Vantaggiosamente, detti mezzi 20 definenti la camera 21 di rilevamento del prodotto comprendono una prima ed una seconda opposte pareti trasversali 203, 204, preferibilmente in corrispondenza delle quali sono provviste rispettive aperture di ingresso 20i e di uscita 20u, in particolare sboccanti in corrispondenza del bordo inferiore della rispettiva parete trasversale 203, 204.
In particolare, come illustrato, detti mezzi di rilevamento 14 comprendono dei mezzi a videocamera 24, 24.
Vantaggiosamente, detti mezzi a videocamera comprendono almeno una, in particolare una prima ed una seconda, videocamera 24, 24.
Vantaggiosamente, detti mezzi a videocamera 24, 24 sono all’esterno dei mezzi di copertura o a tunnel e rilevano il prodotto all’interno della copertura attraverso dei rispettivi mezzi apertura 26, 26, che sono provvisti in corrispondenza dei mezzi 20 definenti la camera 21 di rilevamento, in particolare in corrispondenza della parete di copertura 202 di questi.
Vantaggiosamente, detti mezzi apertura 26, 26 sono provvisti in corrispondenza della mezzeria longitudinale della parete di copertura 202, ed in special modo sono previste una prima ed una seconda aperture 26, 26 angolarmente estese, le quali sono disposte, o si prolungano, in corrispondenza delle zone laterali della detta parete di copertura 202.
Vantaggiosamente, detti mezzi a videocamera 24, 24 presentano una posizione regolabile rispetto al prodotto da rilevare.
Vantaggiosamente, detti mezzi a videocamera 24, 24 presentano una posizione regolabile secondo una direzione periferica o circonferenziale rispetto al prodotto da rilevare.
Vantaggiosamente, detti mezzi a videocamera 24, 24 presentano una posizione regolabile radialmente rispetto al prodotto da rilevare.
In particolare, detti mezzi a videocamera 24, 24 presentano una posizione regolabile secondo una direzione periferica o circonferenziale rispetto al prodotto da rilevare e regolabile radialmente rispetto al prodotto da rilevare.
Vantaggiosamente, sono previsti dei mezzi 25 di sostegno dei mezzi a video camera 24, 24.
Vantaggiosamente, detti mezzi 25 di sostegno dei mezzi a video camera sono all’esterno dei mezzi o parete di copertura 202.
Vantaggiosamente, detti mezzi 25 di sostegno dei mezzi a videocamera comprendono una staffa 27 di supporto di una rispettiva videocamera 24, la quale è estesa, in particolare radialmente rispetto prodotto o ai mezzi di supporto del medesimo prodotto, in modo tale da definire diverse posizioni di fissaggio per la medesima videocamera 24.
Vantaggiosamente, detti mezzi 25 di sostegno dei mezzi a video camera sono all’esterno dei mezzi o parete di copertura 202 e preferibilmente sono sotto forma di corrispondenti mezzi configurati ad arco, in particolare estendentesi lungo l’intera o sostanzialmente l’intera estensione dei mezzi o parete di copertura 202, i quali preferibilmente presentano una pluralità di punti 29 di attacco per dei corrispondenti mezzi a videocamera 24, 24 in corrispondenti posizioni angolari.
Vantaggiosamente, detti mezzi 25 di sostegno dei mezzi videocamera 24 sono in corrispondenza o radialmente all’esterno dei detti mezzi apertura 26.
Vantaggiosamente, detti mezzi 25 di sostegno configurati ad arco sono definiti da una corrispondente barra arcuata, che presenta in particolare una pluralità fori 29 di attacco per dei corrispondenti mezzi a videocamera 24, 24, in particolare la corrispondente staffa 27 di supporto di questi, i quali sono angolarmente distanziati tra di loro per definire detti punti 27 di attacco per i detti mezzi a videocamera 24, 24.
Vantaggiosamente, detti punti 29 di attacco dei mezzi a videocamera 24, 24 sono distribuiti, in corrispondenza di ciascun lato dei mezzi a tunnel, o dei mezzi o parete di copertura 202, lungo un’estensione angolare compresa tra 20° e 80° rispetto all’orizzontale o alla parete di base o di fondo 201 dei mezzi a tunnel 20.
Vantaggiosamente, in modo preferito, detti punti di attacco 29 sono distanziati angolarmente dagli adiacenti punti di attacco 29 di un intervallo angolare pari, sostanzialmente pari a, 5°.
Vantaggiosamente, detti mezzi di rilevamento 14 comprendono dei rispettivi mezzi 28, 28 di illuminazione del prodotto.
Vantaggiosamente, detti mezzi 28, 28 di illuminazione del prodotto sono sotto forma di mezzi di illuminazione a LED.
Vantaggiosamente, detti mezzi di illuminazione del prodotto emettono 28, 28 una luce continua.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 sono ad orientamento regolabile, in particolare ad orientamento regolabile angolarmente, in particolare secondo un piano trasversale alla direzione longitudinale di sviluppo dei mezzi a tunnel, e/o alla direzione di avanzamento del prodotto o di avanzamento dei mezzi 14 di supporto di questo.
Preferibilmente, detti mezzi di illuminazione 28, 28 sono supportati su un corrispondente supporto 30, 30, che è girevole rispetto a corrispondenti mezzi di attacco 31, 31.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 sono orientati in modo tale da dirigere l’illuminazione, in particolare prevalentemente, verso i mezzi o parete copertura 202 dei mezzi 20 definente la detta camera di rilevamento 21, ovvero verso la superficie interna dei detti mezzi o parete copertura 202.
Vantaggiosamente, detti mezzi di illuminazione comprendono dei primi e dei secondi mezzi di illuminazione 28, 28, in particolare disposti ai lati del prodotto, ovvero dei mezzi 12 di supporto del prodotto, in particolare tra detti mezzi 12 di supporto del prodotto e la corrispondente parete 202 dei mezzi a tunnel 20.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 sono disposti di fianco al prodotto da rilevare, in particolare di fianco ai mezzi 12 di supporto del medesimo prodotto.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 comprendono almeno una striscia luminosa a LED, ovvero composta da una pluralità di LED tra di loro allineati.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 sono posizionati sulla detta base o parete di fondo 201 dei mezzi a tunnel 20.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 emettono una luce bianca.
Vantaggiosamente, detti mezzi di illuminazione 28, 28 emettono una radiazione corrispondente a quella del prodotto da rilevare.
In particolare, qualora si volesse rilevare un prodotto, ad esempio una mela, di colore rosso, o di prevalente colore rosso, detti mezzi di illuminazione potrebbero emettere una radiazione rossa e così facilitare la visualizzazione del medesimo prodotto.
Vantaggiosamente, detti mezzi 20 definenti la camera 21 di rilevamento del prodotto, in particolare detti mezzi o parete copertura 202, sono rivestiti o verniciati internamente in modo tale da definire dei mezzi di diffusione della luce.
In particolare, come si evince dalle corrispondenti figure, detti mezzi di illuminazione 28, 28 sono atti a indirizzare la radiazione emessa almeno parzialmente, o prevalentemente, verso l’alto.
Vantaggiosamente, è previsto che i detti mezzi di supporto 12 siano atti a movimentare, o a far ruotare, il prodotto nella posizione di rilevamento, ovvero siano tali da consentire ai detti mezzi a videocamera 24, 24 di riprendere sostanzialmente ogni punto della superficie esterna del medesimo prodotto.
Vantaggiosamente, nel presente impianto o linea di trattamento o di convogliamento dei prodotti, i mezzi di supporto 12 sono atti eseguire un movimento di ribaltamento che consente di scaricare il prodotto dai medesimi mezzi di supporto 12.
Vantaggiosamente, è altresì previsto che detti mezzi a processore 16 siano configurati in modo tale da rilevare il calibro e/o il colore del prodotto ortofrutticolo.
In particolare, come illustrato, detti mezzi a processore 16 comprendono dei mezzi di interfaccia con l’utente, in particolare sotto forma di mezzi di interfaccia visiva, i quali sono in special modo definiti da un corrispondente display 18.
Vantaggiosamente, come si evince dalla corrispondente figura, detti mezzi di interfaccia 18 comprendono, o visualizzano, dei mezzi, o sezione, 181 di controllo dell’apparato, i quali sono attivi durante il funzionamento dell’apparato, ovvero durante le fasi di rilevamento dei prodotti.
Vantaggiosamente, come si evince dalla corrispondente figura, detti mezzi di interfaccia 18 comprendono, o visualizzano, dei mezzi, o sezione, 182 di analisi dei risultati del rilevamento, i quali non sono attivi durante il normale funzionamento dell’apparato, ovvero durante le fasi di rilevamento dei prodotti.
Il trovato così concepito è suscettibile di evidente applicazione industriale. Il tecnico del ramo potrà, inoltre, immaginare numerose varianti e/o modifiche da apportare al trovato illustrato nella specifica realizzazione preferita, pur rimanendo nell’ambito del concetto inventivo, come ampiamente esposto. Inoltre, si possono immaginare ulteriori realizzazioni preferite del trovato che comprendano una o più delle sopra illustrate caratteristiche. Deve essere, inoltre, inteso che tutti i dettagli possono essere sostituiti da elementi tecnicamente equivalenti.

Claims (22)

  1. RIVENDICAZIONI 1. Apparato (10) di rilevamento di prodotti ortofrutticoli, in particolare di prodotti ortofrutticoli difettosi, preferibilmente all’interno di un impianto o linea (11) di convogliamento e di opportuno trattamento, in particolare di selezione, dei detti prodotti ortofrutticoli; comprendente dei mezzi (12) di supporto dei prodotti, in particolare sotto forma di mezzi di supporto mobili lungo una rispettiva linea di convogliamento dei medesimi prodotti (11); dei mezzi (14) di rilevamento di una o più immagini, in particolare digitali, del rispettivo prodotto disposto sui detti mezzi di supporto; e dei mezzi a processore (16) che sono atti ad elaborare dette immagini, in particolare digitali, del rispettivo prodotto, e che sono atti a definire una specifica condizione o caratteristica del rispettivo prodotto, in particolare in modo tale da consentire di comandare una successiva operazione sul detto prodotto, in particolare un’operazione di scarico del medesimo prodotto, in special modo dai detti mezzi di supporto del prodotto (12); caratterizzato dal fatto che detti mezzi a processore (16) sono configurati in modo tale da effettuare una ricerca automatica di zone di interesse nell’immagine digitale rilevata, in particolare di zone di interesse corrispondenti a difettosità, in special modo superficiali del rispettivo prodotto, provvedendo, attraverso l’utilizzo di almeno un classificatore non lineare denominato Convolutional Neural Network (CNN), per la rispettiva zona dell’immagine digitale, un valore numerico che è rappresentativo della probabilità di contenere una zona di interesse.
  2. 2. Apparato secondo la rivendicazione 1, caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale da provvedere una implementazione del classificatore non lineare denominato Convolutional Neural Network (CNN) attraverso l’utilizzo sinergico di CPU e GPU, in particolare detta CPU controlla il flusso di lavoro del rispettivo prodotto e trasferisce alla GPU il compito di eseguire i calcoli matematici del classificatore.
  3. 3. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale da evidenziare, o meno, detta zona di detta immagine digitale sulla base di detto valore numerico.
  4. 4. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale da provvedere ad addestrare il classificatore lineare denominato Convolutional Neural Network (CNN) attraverso un insieme di esempi di zone di interesse.
  5. 5. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale da procedere alla selezione delle finestre con maggiore possibilità di contenere l'oggetto o zona di interesse.
  6. 6. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale che, per procedere alla selezione delle finestre con maggiore possibilità di contenere l'oggetto o zona di interesse, per ogni finestra provvedono a definire un gruppo di vicini, scegliendo le finestre spazialmente vicine; all'interno di questo gruppo venendo eletto un candidato, ovvero la finestra con la più alta possibilità di contenere l'oggetto o zona di interesse.
  7. 7. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detta immagine digitale rappresenta la superficie esterna del prodotto.
  8. 8. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detta immagine digitale rappresenta la parte interna del prodotto.
  9. 9. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che dette zone di interesse rappresentano difetti superficiali.
  10. 10. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che dette zone di interesse rappresentano difetti interni.
  11. 11. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi a processore sono configurati in modo tale da implementare le seguenti fasi: a) sottoporre o aver preventivamente sottoposto il classificatore CNN ad un corrispondente set di addestramento, b) immettere l’immagine (immagine in input), c) fissare la dimensione della finestra di scansione dell’immagine, d) ritagliare e ridimensionare ciascuna finestra scansionata dall’immagine, e) classificare il vettore con il classificatore CNN, f) ripetere le dette operazioni da c) a e) con finestre di scansione aventi dimensioni diverse, g) selezionare dei ritagli di interesse per tutte le scale, h) creare un’immagine in uscita (immagine in output con eventuali zone evidenziate) o restituire i valori in formato digitale per ulteriori elaborazioni.
  12. 12. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi di rilevamento (14) comprendono dei mezzi (20) definenti una camera o box (21) di rilevamento, o di visione, del prodotto.
  13. 13. Apparato secondo la rivendicazione 12, caratterizzato dal fatto che detti mezzi definenti la camera (21) di rilevamento del prodotto definiscono dei mezzi a tunnel (20) di passaggio dei prodotti aventi una apertura (20i) di ingresso dei prodotti entro ai medesimi mezzi a tunnel (20) ed una apertura (20u) di uscita dei prodotti dai detti mezzi a tunnel (20), preferibilmente provviste in corrispondenza di estremità longitudinali dei medesimi mezzi a tunnel (20); e/o dal fatto che detti mezzi (20) definenti la camera (21) di rilevamento del prodotto comprendono una parete di copertura (202), in particolare sotto forma di una parete angolarmente estesa, preferibilmente circonferenzialmente estesa, ed in special modo le cui estremità laterali (202a, 202b) si prolungano dalla, e/o sono collegate alla, detta base o parete di fondo (201).
  14. 14. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi di rilevamento (14) comprendono dei mezzi a videocamera (24, 24); in special modo detti mezzi a videocamera comprendendo almeno una, in particolare una prima ed una seconda, videocamera (24, 24); preferibilmente detti mezzi a videocamera (24, 24) presentando una posizione regolabile rispetto al prodotto da rilevare.
  15. 15. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi di rilevamento (14) comprendono dei rispettivi mezzi (28, 28) di illuminazione del prodotto.
  16. 16. Apparato secondo la rivendicazione 15, caratterizzato dal fatto che detti mezzi (28, 28) di illuminazione del prodotto sono sotto forma di mezzi di illuminazione a LED; in particolare comprendendo almeno una striscia luminosa a LED, ovvero composta da una pluralità di LED tra di loro allineati.
  17. 17. Apparato secondo una qualsiasi delle rivendicazioni precedenti 15 e 16, caratterizzato dal fatto che detti mezzi di illuminazione del prodotto emettono (28, 28) una luce continua; in particolare detti mezzi di illuminazione (28, 28) emettendo una luce bianca o una radiazione corrispondente a quella del prodotto da rilevare.
  18. 18. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi di supporto (12) sono atti a movimentare, o a far ruotare, il prodotto nella posizione di rilevamento; e/o dal fatto che detti mezzi di supporto (12) sono atti eseguire un movimento di ribaltamento che consente di scaricare il prodotto dai medesimi mezzi di supporto (12).
  19. 19. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che detti mezzi a processore (16) sono configurati modo tale da rilevare il calibro e/o il colore del prodotto ortofrutticolo.
  20. 20. Apparato secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che l’immagine digitale è rilevabile attraverso uno qualsiasi dei seguenti metodi di indagine: NIR (Near Infra-Red), SWIR (Short Wave Infra-Red), MIR (Mid-rage Infra-Red), camera RGB, camera InGaAs, Risonanza Magnetica Nucleare, X-ray, termografia, ecografia, TAC e/o altri.
  21. 21. Metodo per il rilevamento di prodotti ortofrutticoli; in particolare di prodotti ortofrutticoli difettosi, come esposto in una qualsiasi delle corrispondenti rivendicazioni precedenti.
  22. 22. Apparato, metodo e impianto, ciascuno rispettivamente caratterizzato dal fatto di essere come previsto in una qualsiasi delle corrispondenti rivendicazioni precedenti e/o secondo quanto descritto e illustrato con riferimento alle figure degli uniti disegni.
ITUA2016A004758A 2016-06-29 2016-06-29 Apparato di rilevamento di prodotti ortofrutticoli. ITUA20164758A1 (it)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ITUA2016A004758A ITUA20164758A1 (it) 2016-06-29 2016-06-29 Apparato di rilevamento di prodotti ortofrutticoli.
PCT/IB2017/053869 WO2018002841A1 (en) 2016-06-29 2017-06-28 An apparatus for detecting damaged fruit and vegetable products

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ITUA2016A004758A ITUA20164758A1 (it) 2016-06-29 2016-06-29 Apparato di rilevamento di prodotti ortofrutticoli.

Publications (1)

Publication Number Publication Date
ITUA20164758A1 true ITUA20164758A1 (it) 2017-12-29

Family

ID=57750453

Family Applications (1)

Application Number Title Priority Date Filing Date
ITUA2016A004758A ITUA20164758A1 (it) 2016-06-29 2016-06-29 Apparato di rilevamento di prodotti ortofrutticoli.

Country Status (2)

Country Link
IT (1) ITUA20164758A1 (it)
WO (1) WO2018002841A1 (it)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020005773A1 (en) * 2018-06-26 2020-01-02 Walmart Apollo, Llc Food quality image classification
US10223614B1 (en) * 2018-09-04 2019-03-05 StradVision, Inc. Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
CN109827965A (zh) * 2019-03-19 2019-05-31 湖州灵粮生态农业有限公司 一种水果表面腐烂自动化识别方式
CN109827971B (zh) * 2019-03-19 2021-09-24 湖州灵粮生态农业有限公司 一种无损检测水果表面缺陷的方法
CN111325764B (zh) * 2020-02-11 2022-05-31 广西师范大学 一种果实图像轮廓识别方法
CN111220496A (zh) * 2020-03-11 2020-06-02 中国农业科学院农业信息研究所 一种苹果品质检测仪及检测方法
CN111862083B (zh) * 2020-07-31 2023-09-19 中国矿业大学 一种基于视觉-电磁检测的钢丝绳状态综合监测系统及方法
CN113624759A (zh) * 2021-08-09 2021-11-09 西安工程大学 一种基于机器学习的苹果无损检测方法
EP4137813A1 (de) * 2021-08-20 2023-02-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und verfahren zur automatischen qualitätsprüfung von obst und gemüse und anderen lebensmitteln
FR3130377B1 (fr) 2021-12-09 2024-05-17 Univ Reims Champagne Ardenne Procédé d’estimation automatique de la qualité d’un produit agricole

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04364449A (ja) * 1991-06-11 1992-12-16 Sumitomo Heavy Ind Ltd 果実の欠陥検出装置
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04364449A (ja) * 1991-06-11 1992-12-16 Sumitomo Heavy Ind Ltd 果実の欠陥検出装置
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法

Also Published As

Publication number Publication date
WO2018002841A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
ITUA20164758A1 (it) Apparato di rilevamento di prodotti ortofrutticoli.
US20240020951A1 (en) Automated plant detection using image data
Wu et al. Rapid prediction of moisture content of dehydrated prawns using online hyperspectral imaging system
Serranti et al. The development of a hyperspectral imaging method for the detection of Fusarium-damaged, yellow berry and vitreous Italian durum wheat kernels
Esquerre et al. Suppressing sample morphology effects in near infrared spectral imaging using chemometric data pre-treatments
Serranti et al. Classification of oat and groat kernels using NIR hyperspectral imaging
Yu et al. Identification of crack features in fresh jujube using Vis/NIR hyperspectral imaging combined with image processing
Zhang et al. Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: A review
Mollazade et al. Analysis of texture-based features for predicting mechanical properties of horticultural products by laser light backscattering imaging
Guo et al. Hyperspectral image-based multi-feature integration for TVB-N measurement in pork
Huang et al. Detection of insect-damaged vegetable soybeans using hyperspectral transmittance image
Hamdani et al. Detection of oil palm leaf disease based on color histogram and supervised classifier
WO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
Kaya et al. Towards a real-time sorting system: Identification of vitreous durum wheat kernels using ANN based on their morphological, colour, wavelet and gaborlet features
Dacal-Nieto et al. Non–destructive detection of hollow heart in potatoes using hyperspectral imaging
Guzmán et al. Infrared machine vision system for the automatic detection of olive fruit quality
Najeeb et al. Dates maturity status and classification using image processing
Przybył et al. The recognition of potato varieties using of neural image analysis method
CN111239142A (zh) 膏体外观缺陷检测设备及方法
Park et al. Line-scan imaging analysis for rapid viability evaluation of white-fertilized-egg embryos
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
Banus et al. A deep-learning based solution to automatically control closure and seal of pizza packages
De Ketelaere et al. A fresh look at computer vision for industrial quality control
Karadağ et al. Non-destructive robotic sorting of cracked pistachio using deep learning
Mishra Deep generative neural networks for spectral image processing