DE102016100134B4 - Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen - Google Patents

Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen Download PDF

Info

Publication number
DE102016100134B4
DE102016100134B4 DE102016100134.1A DE102016100134A DE102016100134B4 DE 102016100134 B4 DE102016100134 B4 DE 102016100134B4 DE 102016100134 A DE102016100134 A DE 102016100134A DE 102016100134 B4 DE102016100134 B4 DE 102016100134B4
Authority
DE
Germany
Prior art keywords
new image
line segments
extracted
pixels
light intensities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016100134.1A
Other languages
English (en)
Other versions
DE102016100134A1 (de
Inventor
Jaewoong Kim
Sukhan Lee
Jianying Shi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sungkyunkwan University Foundation for Corporate Collaboration
GM Global Technology Operations LLC
Original Assignee
Sungkyunkwan University Foundation for Corporate Collaboration
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sungkyunkwan University Foundation for Corporate Collaboration, GM Global Technology Operations LLC filed Critical Sungkyunkwan University Foundation for Corporate Collaboration
Publication of DE102016100134A1 publication Critical patent/DE102016100134A1/de
Application granted granted Critical
Publication of DE102016100134B4 publication Critical patent/DE102016100134B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2129Recording in, or reproducing from, a specific memory area or areas, or recording or reproducing at a specific moment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Ein System zum maschinellen Sehen mit einer digitalen Kamera kann verwendet werden, um ein Objekt in einem Sichtfeld zu untersuchen, was umfasst, dass ein ursprüngliches digitales Bild aufgenommen wird, das eine Vielzahl von Pixeln und zugehörigen Lichtintensitäten für das Sichtfeld, das das Objekt enthält, umfasst. Es wird eine Bitmap-Bilddatei erzeugt und es werden ein Mittelwert und eine Standardabweichung der Lichtintensitäten der Vielzahl von Pixeln der Bitmap-Bilddatei für das ursprüngliche digitale Bild dynamisch ermittelt. Es werden neue Bilddateien erzeugt, die jeweils einen Teil der Vielzahl von Pixeln mit zugehörigen Lichtintensitäten innerhalb eines vorgeschriebenen Bereichs von Lichtintensitäten enthalten, der durch den Mittelwert und die Standardabweichung definiert wird. Aus jeder der neuen Bilddateien werden Liniensegmente extrahiert und die aus den neuen Bilddateien extrahierten Liniensegmente werden zusammengeführt und gruppiert, um auf der Grundlage dessen integrierte Linien zu erzeugen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft Systeme zum maschinellen Sehen.
  • HINTERGRUND
  • Bildgebungssysteme werden in Produktionsumgebungen verwendet, um stehende Komponenten automatisch zu untersuchen. Bildgebungssysteme streben danach, dreidimensionale Informationen (3D-Informationen) über ein Objekt in einem Sichtfeld für Qualitätsuntersuchungen, Nachbauten, Robotik und ähnliche Systeme zu ermitteln. Derartige Systeme setzen eine Strukturbeleuchtung als Teil eines Stereo-Bildgebungssystems ein, um Licht auf ein Sichtfeld zu projizieren, digitale Bilder eines Objekts in dem Sichtfeld aufzunehmen und um geometrische Verfahren und Dekodierungstechniken anzuwenden, um Bildtiefen bzw. Tiefenschärfen unter Verwendung der digitalen Bilder zu berechnen.
  • Die Druckschrift „A Novel Approach for Edge Detection of Images“ in International Conference on Computer and Automation Engineering, 2009, 49-53 offenbart einen K-Means-Algorithmus zur Kantenerkennung von Graustufenbildern unter Verwendung von künstlichen Bildattributen wie etwa Mittelwert und Standardabweichung von Pixelintensitätswerten.
  • In der Druckschrift US 7 254 268 B2 ist eine Objektextraktion offenbart, bei der aus einer Videosequenz ein oder mehrere Objekte extrahiert werden, die verwendet werden, um eine neue Videosequenz zu erstellen, wobei die Objekte in einen gewählten Hintergrund integriert werden und/oder eine gewählte Audioaufzeichnung hinzugefügt wird, um die neue Videosequenz zu erstellen.
  • Die Druckschrift „A Comparative Analysis of Thresholding and Edge Detection Segmentation Techniques“ in International Journal of Computer Applications, 39, 2012, 15, 29-34 vergleicht Techniken zur Erkennung von Schwellenwerten und Kanten zur Bildsegmentierung.
  • In der Druckschrift „Local Threshold and Boolean Function Based Edge Detection“ in IEEE Transactions on Consumer Electronics, 45, 1999, 3, 674-679 werden zwei Techniken zur Kantenerkennung in Bildern kombiniert, um durch Rauschen verursachte Kanten aus den detektierten Kanten zu entfernen.
  • ZUSAMMENFASSUNG
  • Ein System zum maschinellen Sehen, das eine digitale Kamera enthält, kann verwendet werden, um ein Objekt in einem Sichtfeld zu untersuchen. Ein Verfahren zum Untersuchen des Objekts umfasst, dass mithilfe der digitalen Kamera ein ursprüngliches digitales Bild aufgenommen wird, das eine Vielzahl von Pixeln und zugehörigen Lichtintensitäten für das Sichtfeld umfasst, welches das Objekt enthält. Es wird eine Bitmap-Bilddatei für das ursprüngliche digitale Bild erzeugt, welche die Vielzahl von Pixeln und die zugehörigen Lichtintensitäten für das Blickfeld umfasst, welches das Objekt enthält. Unter Verwendung eines Controllers werden ein Mittelwert und eine Standardabweichung der Lichtintensitäten der Vielzahl von Pixeln der Bitmap-Bilddatei für das ursprüngliche digitale Bild dynamisch ermittelt. Es werden neue Bilddateien erzeugt, wobei jede neue Bilddatei einen Teil der Vielzahl von Pixeln mit zugehörigen Lichtintensitäten innerhalb eines vorgeschriebenen Bereichs von Lichtintensitäten enthält, der durch den Mittelwert und die Standardabweichung definiert ist. Aus jeder der neuen Bilddateien werden Liniensegmente extrahiert und die aus den neuen Bilddateien extrahierten Liniensegmente werden zusammengeführt und gruppiert, um auf deren Grundlage integrierte Linien zu erzeugen.
  • Die vorstehenden Merkmale und Vorteile und andere Merkmale und Vorteile der vorliegenden Lehren ergeben sich leicht aus der folgenden genauen Beschreibung einiger der besten Arten und anderer Ausführungsformen, um die vorliegenden Lehren auszuführen, wie sie in den beigefügten Ansprüchen definiert sind, wenn sie in Verbindung mit den beiliegenden Zeichnungen gelesen wird.
  • Figurenliste
  • Es werden nun eine oder mehrere Ausführungsformen anhand von Beispielen mit Bezug auf die beiliegenden Zeichnungen beschrieben, in denen:
    • 1 ein beispielhaftes System zum maschinellen Sehen in Übereinstimmung mit der Offenbarung schematisch veranschaulicht, welches einen Bilddetektor (eine Kamera), einen Kameracontroller und einen analytischen Controller umfasst;
    • 2 eine Bildmerkmals-Erkennungsroutine in Übereinstimmung mit der Offenbarung schematisch zeigt, um Merkmale eines Objekts aus Bildern eines Sichtfelds (FOV) zu erkennen, die unter Verwendung einer Ausführungsform des mit Bezug auf 1 beschriebenen Systems zum maschinellen Sehen aufgenommen wurden;
    • 3-1 ein Beispiel für ein digitales Bild, das aus einer Bitmap-Bilddatei für ein ursprüngliches digitales Bild, das von einem Objekt in einem FOV aufgenommen wurde, in Übereinstimmung mit der Offenbarung schematisch zeigt;
    • 3-2 ein neues digitales Bild zeigt, das eine erste Bilddatei visuell anzeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild, das für das mit Bezug auf 3-1 gezeigte Objekt erzeugt wurde, in Übereinstimmung mit der Offenbarung hergeleitet wurde;
    • 3-3 ein weiteres neues digitales Bild zeigt, das eine zweite Bilddatei visuell anzeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild, das für das mit Bezug auf 3-1 gezeigte Objekt erzeugt wurde, in Übereinstimmung mit der Offenbarung hergeleitet wurde;
    • 3-4 ein weiteres neues digitales Bild zeigt, das eine dritte Bilddatei visuell anzeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild, das für das mit Bezug auf 3-1 gezeigte Objekt erzeugt wurde, in Übereinstimmung mit der Offenbarung hergeleitet wurde;
    • 3-5 ein weiteres neues digitales Bild zeigt, das eine vierte Bilddatei visuell anzeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild, das für das mit Bezug auf 3-1 gezeigte Objekt erzeugt wurde, in Übereinstimmung mit der Offenbarung hergeleitet wurde;
    • 3-6 ein weiteres neues digitales Bild zeigt, das eine fünfte Bilddatei visuell anzeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild, das für das mit Bezug auf 3-1 gezeigte Objekt erzeugt wurde, in Übereinstimmung mit der Offenbarung hergeleitet wurde;
    • 3-7 die Bitmap-Bilddatei für das ursprüngliche digitale Bild zeigt, das für das mit Bezug auf 3-1 gezeigte Objekt erzeugt wurde, die eine Vielzahl von zusammengeführten und gruppierten Liniensegmenten enthält, die aus jedem der Bilder in 3-2 bis 3-6 in Übereinstimmung mit der Offenbarung extrahiert wurden;
    • 4 ein erstes Liniensegment, das aus dem Bild extrahiert wurde, das mit Bezug auf 3-2 gezeigt ist, und ein zweites Liniensegment, das aus dem Bild extrahiert wurde, das mit Bezug auf 3-3 gezeigt ist, graphisch zeigt, um einen Verarbeitungsschritt des Zusammenführens von sich nicht schneidenden Liniensegmenten in Übereinstimmung mit der Offenbarung zu erläutern, wenn die Liniensegmente proximal und bis zu einem gewissen Grad parallel sind; und
    • 5 ein drittes Liniensegment, das aus dem Bild extrahiert wurde, das mit Bezug auf 3-2 gezeigt wurde, und ein viertes Liniensegment, das aus dem Bild extrahiert wurde, das mit Bezug auf 3-3 gezeigt wurde, graphisch zeigt, um einen Verarbeitungsschritt des Gruppierens von sich schneidenden Liniensegmenten in Übereinstimmung mit der Offenbarung zu erläutern.
  • GENAUE BESCHREIBUNG
  • Mit Bezug nun auf die Zeichnungen, bei denen die Darstellungen nur zur Veranschaulichung bestimmter beispielhafter Ausführungsformen und nicht zur Begrenzung derselben dienen, veranschaulicht 1 auf schematische Weise ein beispielhaftes System 100 zum maschinellen Sehen mit einer Bildaufzeichnungsvorrichtung (einer Kamera) 10, die mit einem analytischen Controller 60 signaltechnisch verbunden ist.
  • Die Kamera 10 ist vorzugsweise eine Aufzeichnungsvorrichtung für digitale Bilder, die zum Aufnehmen eines zweidimensionalen Bilds (2D-Bilds) 15 eines Sichtfelds (FOV) 35 in der Lage ist. Als Definition ist ein Bild eine beliebige visuell wahrnehmbare Darstellung, die ein Sichtfeld repräsentiert. Ein Bild kann in einer Ausführungsform das gesamte oder einen Teil des reflektierten Lichts in dem Sichtfeld aus einem Spektrum des sichtbaren Lichts umfassen, einschließlich einer Grauskala-Reflektion, einer Rot-Grün-Blau-Reflektion (RGB-Reflektion), einer Schwarz-Weiß-Reflektion oder einer beliebigen anderen geeigneten oder wünschenswerten Reflektion. Vorzugsweise wird ein Bild aufgenommen und in einem nicht vorübergehenden Speichermedium aufgezeichnet, etwa in einem nicht vorübergehenden digitalen Datenspeichermedium oder einem fotografischen Film. Die Kamera 10 arbeitet in Ansprechen auf ein Auslösesignal und öffnet ihre Blende für eine voreingestellte Blendenzeit, die einer bevorzugten Belichtungszeit zugeordnet ist. In einer Ausführungsform kann das Auslösesignal eine Impulsbreite von mindestens 1 µs aufweisen. Die Blendengeschwindigkeit der Kamera enthält eine Verzögerungszeit in der Größenordnung von kleiner als 10 µs. Die voreingestellte Blendenzeit wird für eine geeignete Belichtungszeit eingestellt. Nachdem die Kamera 10 die Blende geschlossen hat, kann es eine Verzögerung in der Größenordnung 1 ms zur Aufnahme von Daten geben, nach welcher die Daten an den analytischen Controller 60 übertragen werden. Die Datenübertragungszeit an den analytischen Controller 60 beträgt etwa 30 ms und sie ist mit Bezug auf das Kameramodell, welches eine vorbestimmte Bildaufnahme- und Übertragungsrate bzw. -geschwindigkeit (Rahmen pro Sekunde) aufweist, eine festgelegte Größe. Daher beträgt bei einer Ausführungsform die Gesamtzykluszeit vom Starten des Auslösers bis zum Ende der Datenübertragung weniger als 40 ms.
  • Die Kamera 10 kann sich relativ zu dem FOV 35 an einer beliebigen Position und in einer beliebigen Orientierung befinden. In einer Ausführungsform umfasst das FOV 35 ein Objekt 40, das auf einer beweglichen Ebene 45 orientiert ist, die sich bei einer vorbestimmten Distanz 22 von der Kamera 10 befindet. Das Objekt 40 ist eine strukturelle Entität mit Merkmalen, die unter anderem beispielsweise räumliche Dimensionen, Materialien und Oberflächenausführungen, die eine Reflektivität angeben, enthalten. In einer Ausführungsform kann das Objekt 40 eine Komponente oder eine Fläche auf einem Fahrzeug in einer Montageanlage sein.
  • In einer Ausführungsform ist das auf der beweglichen Ebene 45 orientierte Objekt 40 an einem ersten Transportsystem 42 montiert, das das Objekt 40 in einem linearen Pfad 41 mit einer bekannten Geschwindigkeitsrate transportiert und die Kamera 10 ist an einem zweiten Transportsystem 12 montiert, das diese in einem entsprechenden linearen Pfad mit der bekannten Geschwindigkeitsrate über eine festgelegte Distanz befördert. Der lineare Pfad 41, in welchem das Objekt 40 und die Kamera 10 transportiert werden, enthält das FOV 35.
  • In einer Ausführungsform ist das 2D-Bild 15 ein von der Kamera 10 aufgenommenes Grauskala-Bild in einer Bitmap-Bilddatei, die eine Vielzahl von Pixeln enthält, wobei jedes Pixel einen 8-Bit-Wert aufweist, der einen Grauskalawert repräsentiert. Die Bitmap-Bilddatei repräsentiert das FOV 35. Andere Ausführungsformen des 2D-Bilds 15 können ein 2D-Farbbild umfassen, das durch eine Hue-Saturation-Intensity (HSI-Triplets) oder Rot-, Grün- und Blau-Primärfarben (RGB-Primärfarben) des FOV 35 oder durch andere Bildrepräsentationen ohne Einschränkung dargestellt ist. Die Kamera 10 enthält einen Bildaufnahmesensor, der mit dem Kameracontroller 20 signaltechnisch verbunden ist, welcher eine digitale Signalverarbeitung (DSP) auf dem 2D-Bild 15 ausführt. Der Bildaufnahmesensor nimmt eine Vielzahl von Pixeln in dem FOV 35 mit einer vorbestimmten Auflösung auf und der Kameracontroller 20 erzeugt eine Bitmap-Bilddatei 25 des FOV 5, beispielsweise eine 8-Bit-Bitmap der Pixel, die das FOV 35 repräsentieren, mit einer vordefinierten Auflösung, welche an den analytischen Controller 60 übermittelt wird. Die Bitmap-Bilddatei 25 ist eine codierte Datendatei, die in einer Ausführungsform in einem nicht vorübergehenden digitalen Datenspeichermedium gespeichert wird. Die Bitmap-Bilddatei 25 enthält eine digitale Repräsentation des 2D-Bilds 15, die ein oder eine Vielzahl von Objekten 40 enthalten kann und ein ursprüngliches Bild des FOV 35 repräsentiert, das mit der ursprünglichen Auflösung der Kamera 10 aufgenommen wurde. Der Bildaufnahmesensor der Kamera 10 nimmt das 2D-Bild 15 des FOV 35 als eine Vielzahl von Pixeln mit einer Standarddefinitions-Nennauflösung auf, beispielsweise mit 640x480 Pixel. Alternativ kann der Bildaufnahmesensor der Kamera 10 das 2D-Bild 15 mit einer Hochdefinitions-Nennauflösung aufnehmen, beispielsweise mit 1440x1024 Pixel oder mit einer anderen geeigneten Auflösung. Der Bildaufnahmesensor der Kamera 10 nimmt vorzugsweise das 2D-Bild 15 in der Form eines oder mehrerer Standbilder mit der vorbestimmten Bildaufnahme- und Übertragungsrate der Kamera 10 auf. Das 2D-Bild 15 wird zur Speicherung und Analyse in dem analytischen Controller 60 in die Bitmap-Bilddatei 25 umgewandelt.
  • Controller, Steuerungsmodul, Modul, Steuerung, Steuerungseinheit, Prozessor und ähnliche Begriffe bezeichnen eine beliebige oder verschiedene Kombinationen aus einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), elektronischen Schaltungen, zentralen Verarbeitungseinheiten (vorzugsweise Mikroprozessoren) mit zugehörigem Arbeitsspeicher und Massenspeicher (Festwertspeicher, programmierbarer Festwertspeicher, Speicher mit wahlfreiem Zugriff, Festplattenlaufwerk usw.), die ein oder mehrere Software- oder Firmwareprogramme oder Routinen ausführen, kombinatorischen Logikschaltungen, Eingabe/Ausgabe-Schaltungen und Vorrichtungen, geeigneten Signalaufbereitungs- und Pufferschaltungen und anderen Komponenten zum Bereitstellen der beschriebenen Funktionalität, die Datenspeicherung und Datenanalyse umfasst. Software, Firmware, Programme, Anweisungen, Routinen, Code, Algorithmen und ähnliche Begriffe bezeichnen beliebige von einem Controller ausführbare Anweisungssätze mit Kalibrierungen und Nachschlagetabellen.
  • 2 zeigt auf schematische Weise eine Bildmerkmals-Erkennungsroutine 200 zum Erkennen von Merkmalen eines Objekts aus Bildern, die unter Verwendung einer Ausführungsform des Systems 100 zum maschinellen Sehen, das mit Bezug auf 1 beschrieben ist, aufgenommen wurden, welches eine Bildaufzeichnungsvorrichtung (eine Kamera) 10 enthält, die mit einem analytischen Controller 60 signaltechnisch verbunden ist, um Bilder eines Objekts 40 aufzunehmen. Tabelle 1 wird als Schlüssel bereitgestellt, wobei die numerisch beschrifteten Blöcke und die entsprechenden Funktionen entsprechend der Bildmerkmals-Erkennungsroutine 200 wie folgt offengelegt werden. Tabelle 1
    BLOCK BLOCKINHALTE
    210 Ursprüngliches digitales Bild des FOV mit einem Objekt aufnehmen
    212 Durchschnittliche Lichtintensität µ und Standardabweichung α für das ursprüngliche digitale Bild berechnen
    214 Mehrere neue Bilddateien erzeugen, wobei jede neue Bilddatei einem Behälter zugeordnet ist, wobei Behälter (k) = µ + k*x*α für
    k = -n bis n
    216 Liniensegmente in jeder der neuen Bilddateien extrahieren
    218 Extrahierte Liniensegmente in den neuen Bilddateien zusammenführen, um integrierte Linien für das ursprüngliche digitale Bild zu erzeugen
    220 Extrahierte Liniensegmente in den neuen Bilddateien gruppieren, um integrierte Linien für das ursprüngliche digitale Bild zu erzeugen
    222 Integrierte Linien exportieren
  • Die Bildmerkmals-Erkennungsroutine 200 wird wie folgt ausgeführt, um ein oder mehrere visuell unterscheidbare physikalische Merkmale aus einem ursprünglichen digitalen Bild, das ein interessierendes Objekt enthält, zu erkennen und digital zu extrahieren. Die Bildmerkmals-Erkennungsroutine 200 und Elemente derselben werden vorzugsweise periodisch ausgeführt, um Merkmale eines Objekts aus Bildern zu erkennen, die unter Verwendung einer Ausführungsform des Systems 100 zum maschinellen Sehen aufgenommen wurden. In einer Ausführungsform wird die Bildmerkmals-Erkennungsroutine 200 mit einer Rate bzw. Geschwindigkeit periodisch ausgeführt, die kleiner als 1 Sekunde ist. Die Begriffe dynamisch und auf dynamische Weise beschreiben, so wie sie hier verwendet werden, Schritte oder Prozesse, die in Echtzeit ausgeführt werden und die sich dadurch auszeichnen, dass Zustände von Parametern überwacht oder auf andere Weise ermittelt werden und die Zustände der Parameter während der Ausführung einer Routine oder zwischen Iterationen des Ausführens der Routine regelmäßig oder periodisch aktualisiert werden.
  • Ein ursprüngliches digitales Bild des FOV 35, das das Objekt enthält, wird mit der Bildaufnahme- und Übertragungsrate der Kamera 10 aufgenommen (210). 3-1 zeigt auf schematische Weise ein Beispiel für ein ursprüngliches digitales Bild 302, das aus einer Bitmap-Bilddatei erzeugt wurde, die von einem Objekt 304 in einem FOV 300 aufgenommen wurde. Das FOV 300 ist analog zu dem FOV 35, das mit Bezug auf 1 beschrieben wurde. Die Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 entspricht der Bitmap-Bilddatei 25, die mit Bezug auf 1 erzeugt wurde.
  • Wieder mit Bezug auf 2 liegt die Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 des FOV 300, das das Objekt 304 enthält, in der Form eines Grauskalenbilds mit 8-Bit mit einer Standarddefinitions-Auflösung des FOV 300 vor, z.B. mit 640x480 Pixel. Daher enthält die Bitmap-Bilddatei einen 8-Bit-Datenpunkt für jedes Pixel, der eine Lichtintensität repräsentiert, die auf einer Grauskala mit 8 Bit gemessen wurde, wobei ein Datenpunkt mit einem numerischen Wert zur Basis 10 von 0 oder mit einem binären Wert von 00000000 eine minimale Lichtintensität repräsentiert und ein Datenpunkt mit einem numerischen Wert zur Basis 10 von 255 oder mit einem binären Wert von 11111111 eine maximale Lichtintensität repräsentiert.
  • Die Daten in der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 werden statistisch analysiert, um eine durchschnittliche Lichtintensität µ und eine Standardabweichung α der Lichtintensität für die Pixel zu berechnen (212). Vorzugsweise wird diese statistische Analyse dynamisch ausgeführt, beispielsweise für jede Bitmap-Bilddatei, die von der Kamera 10 aufgenommen wird. Mehrere neue Bilddateien werden auf der Grundlage der statistischen Analyse der Lichtintensitätsdaten erzeugt, die in der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 enthalten sind, welche die durchschnittliche Lichtintensität µ und die Standardabweichung α umfassen, wobei jede der neuen Bilddateien einen Teil der Daten enthält, der auf der Grundlage einer Amplitude der Lichtintensität separiert wurde (214). Dies kann umfassen, dass eine Menge von n neuen Bildern erzeugt wird, wobei jedes der neuen Bilder Pixeln in der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 zugeordnet ist, die innerhalb eines vordefinierten Bereichs der Lichtintensität in Übereinstimmung mit der folgenden Gleichung liegen. BEH A ¨ LTER ( k ) = μ + k ( x ) α
    Figure DE102016100134B4_0001
  • Für k = -n bis k = n
    wobei k eine ganze Zahl ist und wobei x ein skalarer Faktor kleiner oder gleich 1,0 ist und kalibrierbar ist.
  • Dieser analytische Prozess wird verwendet, um 2n+1 neue digitale Bilder zu erzeugen, indem die Lichtintensitätsdaten in der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 in eine Vielzahl von Behältern BEHÄLTER(k) unter Verwendung eines Histogrammprozesses oder eines anderen geeigneten Datenanalyseprozesses aufgeteilt werden. Folglich erzeugt der analytische Prozess eine Vielzahl einseitiger Behälter. Bei einer Analyse von n=2 für +/-2 Standardabweichungen der Lichtintensität kann folglich ein erster Behälter (BIN(k= -2) denjenigen Teil der Lichtintensitätsdaten in der Bitmap-Bilddatei enthalten, der alle Pixel mit einer Lichtintensität enthält, die größer als ein Schwellenwert von µ - 2*x*α ist, ein zweiter Behälter BEHÄLTER(k= -1) kann denjenigen Teil der Bitmap-Bilddatei enthalten, der alle Pixel mit einer Lichtintensität enthält, die größer als ein Schwellenwert von µ - 1*x*a ist, usw. In jeder der neuen Bitmap-Bilddateien werden die Pixel in dem ursprünglichen digitalen Bild 302, die herausfallen, d.h. die kleiner als der entsprechende Schwellenwert sind, auf einen Wert von 0 verändert, d.h. geschwärzt. Es ist festzustellen, dass der skalare Faktor x ein beliebiger wählbarer, kalibrierbarer Wert sein kann, und dass die Anzahl der neuen digitalen Bilder, die erzeugt und analysiert werden, darauf beruht.
  • 3-2 bis 3-6 zeigen jeweils ein neues digitales Bild, das aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 hergeleitet wurde, welches für das mit Bezug auf 3-1 gezeigte Objekt 304 erzeugt wurde, wobei jedes der neuen Bilder Pixeln in der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 zugeordnet ist, die innerhalb eines vordefinierten Bereichs der Lichtintensität liegen, wie mit Bezug auf Schritt 114 beschrieben ist. Als Beispiel sind fünf Bilder gezeigt für k= - 2, k= -1, k = 0, k = 1 und k = 2.
  • 3-2 zeigt ein neues digitales Bild 322, das eine erste Bilddatei visuell zeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 hergeleitet wurde, welches für das mit Bezug auf 3-1 gezeigte Objekt 304 erzeugt wurde, die alle Pixel mit einer Lichtintensität enthält, die größer als µ - 2*x*α ist. Extrahierte Liniensegmente 324, die aus diesem neuen digitalen Bild 322 hergeleitet wurden, sind darauf überlagert.
  • 3-3 zeigt ein weiteres neues digitales Bild 332, das eine zweite Bilddatei visuell zeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 hergeleitet wurde, welches für das mit Bezug auf 3-1 gezeigte Objekt 304 erzeugt wurde, die alle Pixel mit einer Intensität enthält, die größer als µ - 1*x*α ist. Aus diesem neuen digitalen Bild 332 hergeleitete extrahierte Liniensegmente 334 sind darauf überlagert.
  • 3-4 zeigt ein weiteres neues digitales Bild 342, das eine dritte Bilddatei visuell zeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 hergeleitet wurde, welches für das mit Bezug auf 3-1 gezeigte Objekt 304 erzeugt wurde, die alle Pixel mit einer Lichtintensität enthält, die größer als µ ist. Extrahierte Liniensegmente 344, die aus diesem neuen digitalen Bild 342 hergeleitet wurden, sind darauf überlagert.
  • 3-5 zeigt ein weiteres neues digitales Bild 352, das eine vierte Bilddatei visuell zeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 hergeleitet wurde, welches für das mit Bezug auf 3-1 gezeigte Objekt 304 erzeugt wurde, die alle Pixel mit einer Lichtintensität enthält, die größer als µ + 1 *x*α ist. Extrahierte Liniensegmente 354, die aus diesem neuen digitalen Bild 352 hergeleitet wurden, sind darauf überlagert.
  • 3-6 zeigt ein weiteres neues digitales Bild 362, das eine fünfte Bilddatei visuell zeigt, die aus der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 hergeleitet wurde, das für das mit Bezug auf 3-1 gezeigte Objekt 304 erzeugt wurde, die alle Pixel mit einer Lichtintensität enthält, die größer als µ + 2*x*α ist. Extrahierte Liniensegmente 364, die aus diesem neuen digitalen Bild 362 hergeleitet wurden, sind darauf überlagert. Der skalare Faktor x, der einer Änderung der Lichtintensität zugeordnet ist, um die neuen Bilddateien zu erzeugen, kann anwenderdefiniert sein oder automatisch so eingestellt werden, dass er ein Drittel der Standardabweichung von der durchschnittlichen Intensität beträgt. In einer Ausführungsform werden insgesamt 5 oder 7 Bilder mit einem variierenden Lichtintensitätswert erzeugt, was die Extraktion einer großen Gruppe von Linien ermöglicht, die verwendet werden können, um lange Begrenzungslinien und kurze markante Merkmale des Objekts zu erkennen, das durch die Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 angezeigt ist.
  • Wieder mit Bezug auf 2 werden Liniensegmente aus jedem der neuen Bilder unter Verwendung bekannter Kantendetektionstechniken extrahiert (216). Bekannte Kantendetektionstechniken umfassen ein auf Gradienten beruhendes Verfahren wie etwa einen Laplace-Operator, einen Canny-Kantendetektor und eine Euklidische Distanz sowie einen Vektorwinkel zur Kantendetektion in Farbbildern. Jedes Liniensegment ist mit einer Kante aus dem Kantendetektionsschritt verbunden. Die extrahierten Liniensegmente repräsentieren Kanten des Objekts in jedem der neuen Bilder. Aufgrund von rauschbehafteten und verschiedenen Lichtintensitätsniveaus können die Start- und Endpositionen eines jeden Liniensegments in jedem der Bilder leicht unterschiedlich sein. Wenn alle Bilder zusammengeführt werden, gibt es viele parallele Liniensegmente. Wenn daher ein Liniensegment eines der Liniensegmente 324 ist, die aus dem Bild 322 in 3-2 extrahiert wurden, ist es wahrscheinlich, dass ein analoges Liniensegment an einer ähnlichen Position in den Liniensegmenten 334, 344 und 354 gefunden werden kann, die aus den Bildern 332, 342 und 352 extrahiert wurden, welche mit Bezug auf 3-3, 3-4 bzw. 3-5 gezeigt sind.
  • Wieder mit Bezug auf 2 werden diejenigen extrahierten Liniensegmente 324, 334, 344, 354 und 364, die aus den Bildern 322, 332, 342, 352 und 362 hergeleitet wurden, die mit Bezug auf 3-2 bis 3-6 gezeigt sind, welche sich überlappen, quasi-parallel oder proximal zueinander sind, ohne sich zu schneiden, einer Zusammenführung unterzogen (218), indem die erkannten Liniensegmente kombiniert werden, um integrierte Liniensegmente mit höherer Pixeldichte zu erzeugen, welche der Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 zugeordnet sind. Wenn alle Bilder zusammengeführt sind, kann es viele parallele Liniensegmente geben. Wenn beispielsweise ein Liniensegment im Bild 322 erkannt wird, ist es wahrscheinlich, dass analoge Liniensegmente an ähnlichen Positionen in den Bildern 332, 342, 352 und 362 erkannt werden können.
  • 4 zeigt auf graphische Weise ein erstes Liniensegment L1 410 und ein zweites Liniensegment L2 420 zur Erläuterung des Zusammenführens von sich nicht schneidenden Liniensegmenten, wenn die Liniensegmente proximal zueinander und bis zu einem bestimmten Grad parallel sind. Das erste Liniensegment L1 410 ist eines der Liniensegmente 324, die aus dem mit Bezug auf 3-2 gezeigten Bild 322 extrahiert wurden, und das zweite Liniensegment L2 420 ist eines der Liniensegmente 334, die aus dem mit Bezug auf 3-3 gezeigten Bild 332 extrahiert wurden. Das Liniensegment L1 weist zwei Endpunkte (P1 422, P2 412) auf und das Liniensegment L2 420 ist analog durch zwei Endpunkte (P3 421, P4 422) positioniert.
  • Es können vier Euklidische Distanzwerte d1 401, d2 402, d3, 403 und d4 404 zwischen Paaren der zwei Endpunkte (P1 411, P3 421), (P1 411, P4 422), (P2 412, P3 421), (P2 412, P4 422) berechnet werden, aus denen die zwei Liniensegmente L1 410 und L2 420 berechnet werden. Eine Distanz Dparallel paralleler Linien kann wie folgt berechnet werden. D parallel = ½ ( min ( d 1 , d 2 ) + min ( d 3 , d 4 ) )
    Figure DE102016100134B4_0002
  • Die Distanz Dparallel paralleler Linien ist eine durchschnittliche Distanz von zwei minimalen Distanzen von zwei der Endpunkte. Zusätzlich kann ein Minimalwert min(d3, d4) als vorheriger Distanzmesswert am Endpunkt P2 411 der Linie L1 410 berechnet werden. Wenn sich die zwei Linien L1 410 und L2 420 exakt überlagern, dann ist die Distanz Dparallel zwischen parallelen Linien gleich Null. Wenn sich die zwei Linien nicht überlagern, dann ist die Distanz viel größer als bei dem überlagerten Fall, wenn sie eine ziemlich ähnliche Länge aufweisen. Diese Eigenschaft kann leicht erkannt werden, wenn die zwei Linien parallel sind. Wenn die Distanz Dparallel paralleler Linien kleiner als 10 % der Länge des kleineren der zwei Liniensegmente ist, werden das Liniensegment L1 410 und das Liniensegment L2 420 zusammengeführt, um ein einziges Liniensegment zu bilden (218). Wenn die Distanz Dparallel zwischen parallelen Linien kleiner als 50 % der Länge des kleineren der zwei Liniensegmente ist, d.h. parallel benachbarte Liniensegmente, wird das Liniensegment L1 410 verlängert und mit dem Liniensegment L2 420 zusammengeführt, um ein einziges Liniensegment zu bilden. Das Zusammenführen paralleler Linien wird auf rekursive Weise durchgeführt.
  • Wieder mit Bezug auf 2 werden extrahierte Liniensegmente 324, 334, 344 und 354, die aus den Bildern 322, 332, 342 und 352 hergeleitet wurden, welche mit Bezug auf 3-2 bis 3-5 gezeigt sind, die sich schneiden oder überlappen, einer Gruppierung unterzogen (220) um integrierte Linien für die Bitmap-Bilddatei für das ursprüngliche digitale Bild 302 zu erzeugen.
  • 5 zeigt auf graphische Weise ein drittes Liniensegment L3 510 und ein viertes Liniensegment L4 520, um das Gruppieren von sich schneidenden Liniensegmenten zu erläutern. Das dritte Liniensegment L3 510 ist eines der Liniensegmente 324, die aus dem Bild 322 extrahiert wurden, das mit Bezug auf 3-2 gezeigt ist, und das vierte Liniensegment L4 520 ist eines der Liniensegmente 334, die aus dem Bild 332 extrahiert wurden, das mit Bezug auf 3-3 gezeigt ist. Das dritte Liniensegment L3 510 weist zwei Endpunkte (P1 511, P2 512) auf, und das vierte Liniensegment L4 520 ist analog durch zwei Endpunkte (P3 521, P4 522) positioniert. Für das dritte Liniensegment L3 510 und das vierte Liniensegment L4 520 kann ein Schnittpunkt Pc 525 berechnet werden und ein neues gruppiertes Liniensegment 530, das aus den Punkten P1 511, Pc 525 und P3 521 besteht, kann erzeugt werden, wie in 5 gezeigt ist. Die Gruppierung von Liniensegmenten wird auf rekursive Weise ausgeführt, bis alle sich schneidenden Linien miteinander gruppiert, verbunden und zusammengefasst sind. Auf diese Weise werden viele kleine Liniensegmente, die sich schneiden, so kombiniert werden, dass sie lange gruppierte und verbundene Liniensegmente sind, die integrierte Liniensegmente genannt werden. Integrierte Liniensegmente können zum Erkennen von markanten Merkmalen an dem Objekt verwendet werden.
  • 3-7 zeigt ein digitales Bild 372, das das ursprüngliche digitale Bild 302 enthält, das für das Objekt 304 erzeugt wurde, das mit Bezug auf 3-1 gezeigt ist, wobei die extrahierten Liniensegmente 324, 334, 344, 354 und 364, die aus den Bildern hergeleitet wurden, die mit Bezug auf 3-2 bis 3-6 gezeigt sind, darauf überlagert sind. Dichte Liniensegmente entstehen aus den überlagerten extrahierten Liniensegmenten 324, 334, 344, 354 und 364, die eine Begrenzungslinie für das Objekt anzeigen und außerdem markante Merkmale anzeigen. Das Detektieren von Kanten in einer Reihe von Bildern mit variierenden Lichtintensitätsniveaus erleichtert die Kantenextraktion. Die überlagerten extrahierten Liniensegmente 324, 334, 344, 354 und 364 wurden einem Zusammenführen und Gruppieren unterzogen.
  • Wieder mit Bezug auf 2 können die integrierten Linien exportiert werden (222) zur Verwendung durch andere Steuerungsroutinen und Algorithmen, welche Untersuchungsroutinen umfassen. Die integrierten Linien können verwendet werden, um Begrenzungslinien und markante Merkmale an dem Objekt zu erkennen, wodurch das Objekt detektiert wird, indem seine Gestalt und Qualität nachgezeichnet werden. Markante Merkmale umfassen diejenigen Merkmale in den Bildern, die weniger empfindlich für Variationen bei der Lichtintensität sind, d.h. unter variierenden Lichtbedingungen sichtbar sind. Folglich sind markante Merkmale diejenigen Merkmale, die in einer Vielzahl von Bildern mit variierender Lichtintensität konsistent vorhanden sind. Markante Merkmale können verwendet werden, um Komponentenbegrenzungslinien, Kanten oder andere Elemente zu erkennen, die verwendet werden können, um eine Komponente in dem FOV zu lokalisieren und sie zu bewerten. Als Beispiel können erkannte Objektmerkmale verwendet werden, um die Gestalt eines Symbols und die Qualität eines Symbols zu erkennen und zu unterscheiden. Es hat sich gezeigt, dass das Zusammenführen und Gruppieren von integrierten Liniensegmenten in der Lage ist, technische Probleme mit Bezug auf unsichere Lokalisierungen von Merkmalen zu überwinden, welche durch signaltechnisch verrauschte Bilder verursacht werden können. Die Ergebnisse des Zusammenführens und Gruppierens können die Robustheit der Merkmalserkennung erhöhen, ohne dass eine massive Berechnungszeit anfällt. In einer Ausführungsform betrug die Gesamtberechnungszeit zum Verarbeiten von drei Bildern weniger als 700 ms. Dieses Verfahren wird in Echtzeitanwendungen verwendet werden, um markante Merkmale und Umrisse für zuverlässige Untersuchungsergebnisse zu erkennen.
  • Die genaue Beschreibung und die Zeichnungen oder Figuren unterstützen und beschreiben die vorliegenden Lehren, aber der Umfang der vorliegenden Lehren wird nur durch die Ansprüche definiert. Obwohl einige der besten Arten und andere Ausführungsformen zum Ausführen der vorliegenden Lehren im Detail beschrieben wurden, existieren verschiedene alternative Konstruktionen und Ausführungsformen, um die vorliegenden Lehren, die in den beigefügten Ansprüchen definiert sind, in die Praxis umzusetzen.

Claims (10)

  1. Verfahren (200) zum Untersuchen eines Objekts (40, 304) in einem Sichtfeld (35, 300) unter Verwendung eines Systems (100) zum maschinellen Sehen, das eine digitale Kamera (10) enthält, wobei das Verfahren (200) umfasst, dass: mithilfe der digitalen Kamera (10) ein ursprüngliches digitales Bild (302) aufgenommen wird, das eine Vielzahl von Pixeln und zugehörigen Lichtintensitäten für das Sichtfeld (35, 300), welches das Objekt (40, 304) enthält, umfasst; eine Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) erzeugt wird, die die Vielzahl von Pixeln und zugehörigen Lichtintensitäten für das Sichtfeld (35, 300), welches das Objekt (40, 304) enthält, umfasst; unter Verwendung eines Controllers (60) ein Mittelwert (µ) und eine Standardabweichung (α) der Lichtintensitäten der Vielzahl von Pixeln der Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) auf dynamische Weise ermittelt werden; mehrere neue Bilddateien (322, 332, 342, 352, 362) erzeugt werden, wobei jede neue Bilddatei (322, 332, 342, 352, 362) einen Teil der Vielzahl von Pixeln enthält, der zugehörige Lichtintensitäten in einem vorgeschriebenen Bereich von Lichtintensitäten aufweist, wobei der Bereich durch den Mittelwert (µ) und die Standardabweichung (α) definiert ist; aus jeder der neuen Bilddateien (322, 332, 342, 352, 362) Liniensegmente (324, 334, 344, 354, 364) extrahiert werden; die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahierten Liniensegmente (324, 334, 344, 354, 364) zusammengeführt werden; die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahierten Liniensegmente (324, 334, 344, 354, 364) gruppiert werden; und integrierte Linien für das Objekt (40, 304) auf der Grundlage der zusammengeführten und gruppierten Liniensegmente (324, 334, 344, 354, 364), die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahiert wurden, erzeugt werden.
  2. Verfahren (200) nach Anspruch 1, wobei das Erzeugen mehrerer neuer Bilddateien (322, 332, 342, 352, 362) umfasst, dass eine erste neue Bilddatei (322) erzeugt wird, die einen Teil der Pixel der Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) enthält, die Lichtintensitäten aufweisen, die größer als der Mittelwert (µ) sind.
  3. Verfahren (200) nach Anspruch 1, wobei das Erzeugen mehrerer neuer Bilddateien (322, 332, 342, 352, 362), wobei jede neue Bilddatei (322, 332, 342, 352, 362) einen Teil der Vielzahl von Pixeln der Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) enthält, umfasst, dass eine zweite neue Bilddatei (332) erzeugt wird, die einen Teil der Pixel der Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) enthält, die Lichtintensitäten aufweisen, die größer als der Mittelwert (µ) plus ein erster Wert sind, der auf der Grundlage der Standardabweichung (α) bestimmt wird.
  4. Verfahren (200) nach Anspruch 3, wobei das Erzeugen mehrerer neuer Bilddateien (322, 332, 342, 352, 362)umfasst, dass eine dritte neue Bilddatei (342) erzeugt wird, die einen Teil der Pixel der Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) enthält, die Lichtintensitäten aufweisen, die größer als der Mittelwert (µ) plus ein zweiter Wert sind, der auf der Grundlage der Standardabweichung (α) ermittelt wird.
  5. Verfahren (200) nach Anspruch 1, wobei das Extrahieren von Liniensegmenten aus jeder der neuen Bilddateien (322, 332, 342, 352, 362) umfasst, dass eine Kantendetektion verwendet wird, um die Liniensegmente aus jeder der neuen Bilddateien (322, 332, 342, 352, 362) zu extrahieren.
  6. Verfahren (200) nach Anspruch 1, wobei das Zusammenführen der extrahierten Liniensegmente (324, 334, 344, 354, 364) aus den neuen Bilddateien (322, 332, 342, 352, 362) umfasst, dass proximale, sich nicht schneidende Liniensegmente, die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahiert werden, kombiniert werden.
  7. Verfahren (200) nach Anspruch 1, wobei das Gruppieren der Liniensegmente (324, 334, 344, 354, 364), die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahiert werden, umfasst, dass sich schneidende Liniensegmente, die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahiert werden, kombiniert werden.
  8. Verfahren (200) nach Anspruch 1, das ferner umfasst, dass eine Gestalt des Objekts (40, 304) in dem Sichtfeld (35, 300) skizziert wird, indem Begrenzungslinien und markante Merkmale an dem Objekt (40, 304) erkannt werden.
  9. Verfahren (200) nach Anspruch 8, wobei das Erkennen von Begrenzungslinien und markanten Merkmalen an dem Objekt (40, 304) umfasst, dass diejenigen Merkmale erkannt werden, die in allen neuen Bilddateien (322, 332, 342, 352, 362), die mit variierenden Lichtintensitäten verbunden sind, vorhanden sind.
  10. System (100) zum maschinellen Sehen zum Untersuchen eines Objekts (40, 304) in einem Sichtfeld (35, 300), umfassend: eine digitale Kamera (10); und einen analytischen Controller (60), wobei der analytische Controller (60) eine Bildmerkmals-Erkennungsroutine (200) ausführt, die umfasst, dass: mithilfe der digitalen Kamera (10) ein ursprüngliches digitales Bild (302) aufgenommen wird, das eine Vielzahl von Pixeln und zugehörigen Lichtintensitäten für das Sichtfeld (35, 300), das das Objekt (40, 304) enthält, umfasst, eine Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) erzeugt wird, die die Vielzahl von Pixeln und zugehörigen Lichtintensitäten für das Sichtfeld (35, 300), das das Objekt (40, 304) enthält, umfasst, unter Verwendung eines Controllers (60) ein Mittelwert (µ) und eine Standardabweichung (α) der Lichtintensitäten der Vielzahl von Pixeln der Bitmap-Bilddatei (25) für das ursprüngliche digitale Bild (302) dynamisch ermittelt werden, mehrere neue Bilddateien (322, 332, 342, 352, 362) erzeugt werden, wobei jede neue Bilddatei (322, 332, 342, 352, 362) einen Teil der Vielzahl von Pixeln enthält, die zugehörige Lichtintensitäten in einem vorbeschriebenen Bereich von Lichtintensitäten aufweisen, der durch den Mittelwert (µ) und die Standardabweichung (α) definiert wird, Liniensegmente (324, 334, 344, 354, 364) aus jeder der neuen Bilddateien (322, 332, 342, 352, 362) extrahiert werden, die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahierten Liniensegmente (324, 334, 344, 354, 364) zusammengeführt werden, die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahierten Liniensegmente (324, 334, 344, 354, 364) gruppiert werden, und integrierte Linien für das Objekt (40, 304) auf der Grundlage der zusammengeführten und gruppierten Liniensegmente (324, 334, 344, 354, 364), die aus den neuen Bilddateien (322, 332, 342, 352, 362) extrahiert wurden, erzeugt werden.
DE102016100134.1A 2015-01-08 2016-01-05 Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen Active DE102016100134B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/592,135 2015-01-08
US14/592,135 US9628659B2 (en) 2015-01-08 2015-01-08 Method and apparatus for inspecting an object employing machine vision

Publications (2)

Publication Number Publication Date
DE102016100134A1 DE102016100134A1 (de) 2016-07-14
DE102016100134B4 true DE102016100134B4 (de) 2023-05-17

Family

ID=56233959

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016100134.1A Active DE102016100134B4 (de) 2015-01-08 2016-01-05 Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen

Country Status (3)

Country Link
US (1) US9628659B2 (de)
CN (1) CN105787429B (de)
DE (1) DE102016100134B4 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017215347A1 (de) * 2017-09-01 2019-03-07 Conti Temic Microelectronic Gmbh Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera
CN110166648A (zh) * 2019-06-06 2019-08-23 杭州国翌科技有限公司 一种基于光学成像的摄像头探测锁定方法及装置
CN112288040B (zh) * 2020-01-10 2021-07-23 牧今科技 执行用于物体识别的图像分类的方法和系统
CN111507390B (zh) * 2020-04-11 2023-07-04 华中科技大学 一种基于轮廓特征的仓储箱体识别与定位方法
CN112907526B (zh) * 2021-02-07 2022-04-19 电子科技大学 基于lbf的卫星望远镜镜片表面疵病检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254268B2 (en) 2002-04-11 2007-08-07 Arcsoft, Inc. Object extraction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697497B1 (en) * 1998-12-22 2004-02-24 Novell, Inc. Boundary identification and characterization through density differencing
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
US20070115464A1 (en) * 2005-11-21 2007-05-24 Harding Kevin G System and method for inspection of films
US8749548B2 (en) * 2011-09-01 2014-06-10 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
US8750567B2 (en) * 2012-04-09 2014-06-10 GM Global Technology Operations LLC Road structure detection and tracking
US8705110B2 (en) 2012-06-25 2014-04-22 Yoldas Askan Method of generating a smooth image from point cloud data
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254268B2 (en) 2002-04-11 2007-08-07 Arcsoft, Inc. Object extraction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Comparative Analysis of Thresholding and Edge Detection Segmentation Techniques. In: International Journal of Computer Applications , 39, 2012, 15, 29-34. https://www.researchgate.net/profile/Sunil-Agrawal-3/publication/258650697_A_Comparative_Analysis_of_Thresholding_and_Edge_Detection_Segmentation_Techniques/links/5806f81008aeb85ac85f5c96/A-Comparative-Analysis-of-Thresholding-and-Edge-Detection-Segmentat [abgerufen am 18.11.2022]
A Novel Approach for Edge Detection of Images. In: International Conference on Computer and Automation Engineering, 2009, 49-53. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4804486&tag=1 [abgerufen am 18.11.2022]
Local Threshold and Boolean Function Based Edge Detection. In: IEEE Transactions o n Consumer Electronics, 45, 1999, 3, 674-679. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=793567 [abgerufen am 18.11.2022]

Also Published As

Publication number Publication date
DE102016100134A1 (de) 2016-07-14
CN105787429B (zh) 2019-05-31
CN105787429A (zh) 2016-07-20
US9628659B2 (en) 2017-04-18
US20160205283A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
Sezer et al. Detection of solder paste defects with an optimization‐based deep learning model using image processing techniques
DE102016100134B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE69027616T2 (de) Gerät und Verfahren zum Bestimmen von Konturen und Linien
DE102015121339B4 (de) Systeme und verfahren zum ermitteln eines zustands einer fahrbahn
DE102016100101A1 (de) System zum maschinellen sehen und analytisches verfahren zur segmentierung planarer oberflächen
DE69519980T2 (de) Verfahren und Gerät zur Detektion und Interpretation von Untertiteln in digitalen Videosignalen
EP3454298A1 (de) Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
EP2555160B1 (de) Erzeugung eines in interessante und uninteressante Bereiche vorsegmentierten Bildes
DE102017220752B4 (de) Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm
DE69618913T2 (de) Eichung eines interaktiven Bürosystems
DE112020004301T5 (de) Objekterkennungsvorrichtung
DE112021003356T5 (de) Inspektionsvorrichtung, Einheitsauswahlvorrichtung, Inspektionsverfahren und Inspektionsprogramm
EP3123393B1 (de) Verfahren zur optischen erkennung von zeichen
DE102015122116A1 (de) System und Verfahren zur Ermittlung von Clutter in einem aufgenommenen Bild
DE102018109276A1 (de) Bildhintergrundsubtraktion für dynamische beleuchtungsszenarios
DE102016100132B4 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE102021201124A1 (de) Trainieren von bildklassifizierernetzen
DE102013005489B4 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
DE212022000040U1 (de) Logistikmanagementsystem auf der Basis eines zweidimensionalen Codes
EP2064672A2 (de) Verfahren und vorrichtung zur bildverarbeitung
DE112022005406T5 (de) KI-basierte Produktoberflächeninspektionsvorrichtung und Verfahren
DE102022107144A1 (de) Komponentenprüfsystem und -verfahren auf produktionsgeschwindigkeit
DE112022001773T5 (de) Systeme und Verfahren zur Bestimmung eines adaptiven Bereichs von Interesse (ROI) für die Berechnung von Bildmetriken
DE102006060741A1 (de) Verfahren und Vorrichtung zur optischen Prüfung von Objekten
WO2021180547A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MANITZ FINSTERWALD PATENT- UND RECHTSANWALTSPA, DE

Representative=s name: MANITZ, FINSTERWALD & PARTNER GBR, DE

Representative=s name: MANITZ FINSTERWALD PATENTANWAELTE PARTMBB, DE

R083 Amendment of/additions to inventor(s)
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009030000

Ipc: G06V0030120000

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030120000

Ipc: G06V0010440000

R018 Grant decision by examination section/examining division
R020 Patent grant now final