DE112021007225T5 - Bildverarbeitungsvorrichtung - Google Patents

Bildverarbeitungsvorrichtung Download PDF

Info

Publication number
DE112021007225T5
DE112021007225T5 DE112021007225.0T DE112021007225T DE112021007225T5 DE 112021007225 T5 DE112021007225 T5 DE 112021007225T5 DE 112021007225 T DE112021007225 T DE 112021007225T DE 112021007225 T5 DE112021007225 T5 DE 112021007225T5
Authority
DE
Germany
Prior art keywords
unit
recognition
matching degree
parameter
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021007225.0T
Other languages
English (en)
Inventor
Shoutarou Ogura
Yuta Namiki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of DE112021007225T5 publication Critical patent/DE112021007225T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung, für die Erkennungsparameter leicht eingestellt werden können, umfasst: eine Modellspeichereinheit, die ein Modellmuster speichert; eine Charakteristikpunktentnahmeeinheit, die charakteristische Punkte aus einem fotografierten Bild entnimmt; eine Ursprungsabgleichungsgradberechnungseinheit die den Abgleichungsgrad zwischen dem Modellmuster und der Anordnung der charakteristischen Punkte berechnet; eine Objekterkennungseinheit, die ein Objekt in dem fotografierten Bild erkennt, indem sie den Abgleichungsgrad mit einem Erkennungsschwellenwert vergleicht; eine Parametereinstellungseinheit, die Erkennungsparameter einstellt, die mindestens den Erkennungsschwellenwert enthalten; eine Erkennungsinformationsspeichereinheit, die für charakteristische Punkte des von der Zielobjekterkennungseinheit erkannten Objekts Erkennungsinformationen speichert, die mindestens die Positionen der charakteristischen Punkte enthalten; und eine Einfachabgleichungsgradberechnungseinheit, die, wenn die Erkennungsparameter geändert werden, den Abgleichgrad auf der Grundlage der geänderten Erkennungsparameter und der in der Erkennungsinformationsspeichereinheit gespeicherten Erkennungsinformationen berechnet.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung.
  • STAND DER TECHNIK
  • In einem System zum Aufheben von zufällig bereitgestellten Zielobjekten wird zum Beispiel häufig eine Bildverarbeitungstechnik zur Spezifizierung der Positionen von Zielobjekten durch Analyse eines von einer Bildaufnahmevorrichtung (Kamera) erfassten Bildes benutzt. Im Allgemeinen werden bei einer solchen Bildverarbeitungstechnik charakteristische Punkte in dem aufgenommenen Bild entnommen, und es wird bestimmt, dass die Zielobjekte in dem Bild vorhanden sind, wenn der Abgleichungsgrad zwischen dem Anordnungsmuster einer Vielzahl von extrahierten charakteristischen Punkten und einem im Voraus gespeicherten Modellmuster hoch ist, d.h. wenn der numerische Wert des Abgleichungsgrads gleich oder größer als eine Schwelle ist.
  • Wenn die Schwelle des Abgleichungsgrades zu niedrig ist, kommt es zu einer Falscherkennung, die fälschlicherweise andere Objekte als die zu erkennenden Zielobjekte erkennt. Ist die Schwelle des Abgleichungsgrades hingegen zu hoch, sind die zu erkennenden Zielobjekte nicht als Zielobjekte erkennbar. Daher ist es notwendig, dass der Benutzer die Schwelle des Abgleichungsgrades so einstellt, dass die Falscherkennung reduziert oder verhindert wird, dass sie nicht erkennbar ist, während die Erkennungsergebnisse in einer Vielzahl erfasster Bilder bestätigt werden.
  • Der Luminanzgradient des erfassten Bildes kann mit der Umgebungshelligkeit und anderen Faktoren variieren. Daher wird vorgeschlagen, den Satz des Luminanzgradienten durch statistische Verarbeitung der Verteilung des Luminanzgradienten in der erfassten Bildaufnahme einzustellen und charakteristische Punkte auf der Grundlage eines Durchschnittswertes und einer Standardabweichung davon zu entnehmen (siehe Patentdokument 1).
  • Patentdokument 1: Japanische ungeprüfte Patentanmeldung, Publikations-Nr. 2017-91079
  • OFFENBARUNG DER ERFINDUNG
  • Von der Erfindung zu lösenden Probleme
  • In einem Fall, in dem eine Vielzahl von Erkennungsparametern wie eine Schwelle des Abgleichungsgrades und eine Schwelle des Luminanzgradienten eingestellt werden müssen, ist die Optimierung dieser Parameter eine sehr komplizierte, mühsame Aufgabe. Wenn die Entnahmeschwelle der charakteristischen Punkte statistisch bestimmt wird, kann die Entscheidung des Benutzers, die in einem Einstellungsbetrieb erforderlich ist, leicht gemacht werden. Wenn jedoch der Erkennungsparameter geändert wird, erfordert die Einstellung des Erkennungsparameters einen substantiellen Zeitaufwand, da die statistische Verarbeitung erneut durchgeführt, die charakteristischen Punkte erneut entnommen und dann der Abgleichungsgrad berechnet werden muss. Daher soll eine Technik bereitgestellt werden, mit der sich ein Erkennungsparameter der Bildverarbeitungsvorrichtung einfach einstellen lässt.
  • Mittel zum Lösen der Probleme
  • Eine Bildverarbeitungsvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung ist auf eine Bildverarbeitungsvorrichtung zum Erkennen eines Zielobjekts in einem erfassten Bild einer Bildaufnahmevorrichtung gerichtet, wobei die Bildverarbeitungsvorrichtung umfasst: eine Modellspeichereinheit, die ein Modellmuster speichert; eine Charakteristikpunktentnahmeeinheit, die einen charakteristischen Punkt aus dem erfassten Bild entnimmt; eine Ursprungsabgleichungsgradberechnungseinheit die einen Abgleichungsgrad zwischen dem Modellmuster und einer Anordnung des charakteristischen Punktes berechnet; eine Zielobjekterkennungseinheit, die das Zielobjekt in dem erfassten Bild auf der Grundlage eines Vergleichs zwischen dem Abgleichungsgrad und einer Erkennungsschwelle erkennt; eine Parametereinstellungseinheit, die einen Erkennungsparameter einstellt, der mindestens die Erkennungsschwelle enthält; eine Erkennungsinformationsspeichereinheit, die Erkennungsinformationen speichert, die mindestens eine Position des charakteristischen Punktes in Bezug auf den charakteristischen Punkt des Zielobjekts umfassen, das von der Zielobjekterkennungseinheit erkannt wird; und eine Einfachabgleichungsgradberechnungseinheit, die, wenn der Erkennungsparameter geändert worden ist, den Abgleichungsgrad auf der Grundlage des geänderten Erkennungsparameters und der in der Erkennungsinformationsspeichereinheit gespeicherten Erkennungsinformationen errechnet.
  • Wirkungen der Erfindung
  • Gemäß der vorliegenden Offenbarung ist es möglich, eine Bildverarbeitungsvorrichtung bereitzustellen, die in der Lage ist, einen Erkennungsparameter einfach einzustellen.
  • Kurze Beschreibung der Zeichnungen
    • 1 ist ein Blockdiagramm, das die Anordnung einer Bildverarbeitungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung anordnet;
    • 2 ist ein Blockdiagramm, das die Anordnung einer Bildverarbeitungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung anordnet; und
    • 3 stellt ein Diagramm dar, das einen Anzeigebildschirm einer Benutzerschnittstelleneinheit der Bildverarbeitungsvorrichtung in 2 zeigt.
  • BEVORZUGTER MODUS ZUM AUSFÜHREN DER ERFINDUNG
  • Ausführungsformen der vorliegenden Erfindung werden nun unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. 1 ist ein Blockdiagramm, das die Anordnung einer Bildverarbeitungsvorrichtung 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung anordnet.
  • Die Bildverarbeitungsvorrichtung 1 erfasst Daten eines von einer Bildaufnahmevorrichtung C aufgenommenen Bildes und erkennt ein Zielobjekt in dem aufgenommenen Bild. Die Bildaufnahmevorrichtung C erfasst ein Bild eines Objekts innerhalb eines vorbestimmten Sichtfeldbereichs davon. Bei der Bildaufnahmevorrichtung C kann es sich um einen visuellen Sensor zum Erfassen sichtbarer Bilder oder um einen Infrarot-Bildsensor, einen Abstandssensor oder einen Sensor zum Erfassen eines Punktwolkenbildes handeln.
  • Die Bildverarbeitungsvorrichtung 1 umfasst eine Modellspeichereinheit 11, eine Charakteristikpunktentnahmeeinheit 12, eine Charakteristikpunktausschließungseinheit 13, eine Ursprungsabgleichungsgradberechnungseinheit 14, eine Zielobjekterkennungseinheit 15, eine Parametereinstellungseinheit 16, eine Erkennungsinformationsspeichereinheit 17, eine Einfachabgleichungsgradberechnungseinheit 18, und eine Parameteränderungseinheit 19.
  • Die Bildverarbeitungsvorrichtung 1 kann realisiert werden, indem ein geeignetes Programm über eine oder eine Vielzahl von Computervorrichtungen ausgeführt wird, die eine Eingabe, eine CPU und eine Eingabe-Ausgabe (E/A) Schnittstelle umfassen. Jede Komponente der oben beschriebenen Bildverarbeitungsvorrichtung 1 ist eine Kategorie der Funktionen des Bildverarbeitungssystems 1 und muss hinsichtlich der physikalischen und programmatischen Konfiguration nicht klar unterscheidbar sein.
  • Die Modellspeichereinheit 11 speichert ein Modellmuster, das durch Konvertierung der Kontur des Zielobjekts in Daten erhalten wird. Das Modellmuster kann beispielsweise theoretisch aus Formdaten des Zielobjekts erzeugt werden, oder es kann aus Konturdaten des Zielobjekts, die in der tatsächlich vom Zielobjekt erfassten Bildaufnahme spezifiziert sind, oder aus Koordinaten der charakteristischen Punkte erzeugt werden.
  • Die Charakteristikpunktentnahmeeinheit 12 entnimmt aus dem erfassten Bild charakteristische Punkte, die sich zwischen nebeneinander liegenden Bildbereichen diskontinuierlich verändern und somit eine Kontur des Zielobjekts bilden können. Genauer gesagt ist die Charakteristikpunktentnahmeeinheit 12 konfiguriert, um als charakteristische Punkte Punkte Punkte zu entnehmen, bei denen die Attributwerte der Pixel gleich oder größer als eine Entnahmeschwelle sind, oder Punkte, bei denen die Attributwerte der Pixel in einen Entnahmebereich fallen. Die Entnahmeschwelle und der Bereich der Entnahme werden von der Parametereinstellungseinheit 16 eingestellt. Es ist wünschenswert, dass der Attributwert zur Identifizierung der charakteristischen Punkte mindestens eine Auswahl aus der Farbe, der Luminanz sowie der Größe und der Richtung des Luminanzgradienten der charakteristischen Punkte umfasst. Es ist zu beachten, dass der Luminanzgradient die Differenz in der Luminanz zwischen benachbarten Pixeln oder Bereichen angibt, d.h. die Änderungsrate der Luminanz relativ zu den Positionen, und die Richtung des Luminanzgradienten die Richtung der maximalen Luminanzänderung zwischen benachbarten Pixeln oder Bereichen angibt. Unter Nutzung dieser Attributwerte als Indikatoren ist es möglich, Punkte aus dem Bild zu entnehmen, bei denen es sich wahrscheinlich um die Kontur eines Objekts oder Musters handelt. Insbesondere bei Punkten mit großen Luminanzgradienten handelt es sich wahrscheinlich um Objektkonturen.
  • Die Charakteristikpunktausschließungseinheit 13 schließt charakteristische Punkte aus, deren Abstand zu einem Modellmuster die Ursprungsabgleichungsgradberechnungseinheit 14 die Abstandsschwelle zum Ziel überschreitet. Mit einer solchen Konfiguration ist es möglich, die Genauigkeit des Erkennens des Zielobjekts zu verbessern, indem Rauschen ausgeschlossen wird, das den Umriss des Zielobjekts nicht eindeutig bildet.
  • Die Ursprungsabgleichungsgradberechnungseinheit 14 berechnet den Abgleichsgrad zwischen dem Modellmuster und der Anordnung der charakteristischen Punkte. Als spezifisches Beispiel wird das Modellmuster so angeordnet, dass die Summe der Quadrate der Abstände oder Distanzen zum Modellmuster aller charakteristischen Punkte mit Ausnahme derjenigen, die von der Charakteristikpunktausschließungseinheit 13 ausgeschlossen wurden, am kleinsten ist, und der Abgleichsgrad der charakteristischen Punkte mit dem Modellmuster wird quantifiziert. Das Verfahren zur Berechnung des Abgleichungsgrades kann das gleiche sein, wie es in den konventionellen Bildverarbeitungsvorrichtungen benutzt wird.
  • Die Zielobjekterkennungseinheit 15 erkennt das Zielobjekt in dem aufgenommenen Bild auf der Grundlage des Vergleichs zwischen dem von der Ursprungsabgleichungsgradberechnungseinheit 14 berechneten Abgleichungsgrad und der von der Parametereinstellungseinheit eingestellten Erkennungsschwelle. Mit anderen Worten, die Zielobjekterkennungseinheit 15 bestimmt, dass die charakteristischen Punkte der Kontur des Zielobjekts entsprechen, wenn der Abgleichsgrad gleich oder größer als die Erkennungsschwelle ist, und bestimmt, dass irgendein Zielobjekt nicht erkennbar ist, wenn der Abgleichsgrad unter der Erkennungsschwelle liegt.
  • Die Parametereinstellungseinheit 16 stellt einen Erkennungsparameter einschließlich der Erkennungsschwelle ein, der zumindest von der Zielobjekterkennungseinheit 15 zu verwenden ist. Mit anderen Worten, die Parametereinstellungseinheit 16 führt eine anfängliche Einstellung des Erkennungsparameters durch und speichert einen Wert des anfänglich eingestellten Erkennungsparameters oder einen Wert des Erkennungsparameters, der durch die Parameteränderungseinheit 19 nach der anfänglichen Einstellung geändert wurde. Die Parametereinstellungseinheit 16 der vorliegenden Ausführungsform setzt nicht nur den Abstand, sondern auch die von der Charakteristikpunktentnahmeeinheit 12 zu verwendende Entnahmeschwelle und die von der Zielobjekterkennungseinheit 15 zu verwendende Erkennungsschwelle. Die Parametereinstellungseinheit 16 kann den initialisierten Wert des Erkennungsparameters auf einen vorbestimmten Wert einstellen, oder den Anfangswert auf einen Wert einstellen, der vom Benutzer nach der Benutzereingabe eingegeben werden soll.
  • Der von der Parametereinstellungseinheit 16 einzustellende Initialwert der Entnahmeschwelle ist vorzugsweise hinreichend niedrig oder auf einen Wert eingestellt, der einen breiten Bereich abdeckt, d.h. einen Wert, der mehr charakteristische Punkte entnimmt als die entsprechende Satzzahl an charakteristischen Punkten. Mit einer solchen Konfiguration ist es der Erkennungsinformationsspeichereinheit 17 erlaubt, eine ausreichende Anzahl von Teilen der Erkennungsinformationen der charakteristischen Punkte zu speichern, und es ist der Einfachabgleichungsgradberechnungseinheit 18 möglich, den Abgleichsgrad nach der Änderung des Erkennungsparameters relativ genau zu berechnen. Darüber hinaus kann die Parametereinstellungseinheit 16 die Charakteristikpunktentnahmeeinheit 12 veranlassen, die charakteristischen Punkte unter Verwendung des erfassten Bildes zu entnehmen und nach einem Wert zu suchen, bei dem eine bestimmte Satzzahl von charakteristischen Punkten entnommen wird, um den Wert als einen Anfangswert für die Entnahmeschwelle einzustellen.
  • Die Erkennungsinformationsspeichereinheit 17 speichert die Erkennungsinformationen einschließlich mindestens der Position des charakteristischen Punktes in Bezug auf die charakteristischen Punkte des Zielobjekts, die von der Charakteristikpunktentnahmeeinheit 12 entnommen wurden. Damit die Erkennungsinformationsspeichereinheit 17 der Einfachabgleichungsgradberechnungseinheit 18 ermöglicht, den Abgleichungsgrad entsprechend der Änderung der Entnahmeschwelle erneut zu berechnen, enthält die in der Erkennungsinformationsspeichereinheit 17 gespeicherte Erkennungsinformation vorzugsweise ferner den Attributwert des charakteristischen Punktes, der mit der Entnahmeschwelle zu vergleichen ist.
  • Wenn der Erkennungsparameter durch die Parameteränderungseinheit 19 geändert wurde, berechnet die Einfachabgleichungsgradberechnungseinheit 18 den Abgleichungsgrad auf der Grundlage des geänderten Erkennungsparameters und der in der Erkennungsinformationsspeichereinheit 17 gespeicherten Erkennungsinformation. Mit einer solchen Konfiguration ist es möglich, leicht zu bestimmen, ob die Änderung des Erkennungsparameters angemessen ist, da die Einfachabgleichungsgradberechnungseinheit 18 den Abgleichungsgrad erneut berechnet, wenn der Erkennungsparameter geändert wurde. Da es außerdem möglich ist, den Abgleichsgrad nach der Änderung des Erkennungsparameters zu bestätigen, ohne charakteristische Punkte mit hohem Rechenaufwand zu entnehmen, indem die Einfachabgleichungsgradberechnungseinheit 18 den Abgleichsgrad aus den Erkennungsinformationen berechnet, ist es möglich, den Erkennungsparameter in kurzer Zeit zu optimieren.
  • Die Parameteränderungseinheit 19 ändert den Erkennungsparameter, um den von der Einfachabgleichungsgradberechnungseinheit 18 auf der Grundlage der Erkennungsinformationen berechneten Abgleichungsgrad zu erhöhen. Mit anderen Worten, die Parameteränderungseinheit 19 optimiert den Erkennungsparameter automatisch, so dass Nicht-Erkennung seltener wird.
  • Genauer gesagt ist die Parameteränderungseinheit 19 konfiguriert, um den Erkennungsparameter vorübergehend zu ändern und veranlasst die Einfachabgleichungsgradberechnungseinheit 18, den Abgleichungsgrad erneut zu berechnen, um einen Wert des Erkennungsparameters zu bestätigen, der einen ausreichend hohen Abgleichungsgrad aufweist, wodurch der Wert des Erkennungsparameters bestimmt wird. Die Parameteränderungseinheit 19 kann konfiguriert werden, um den Erkennungsparameter auf eine Vielzahl von voreingestellten Werten zu ändern, um den Abgleichungsgrad zu bestätigen, und schließlich den Wert mit dem maximalen Abgleichungsgrad zu wählen. Darüber hinaus kann die Parameteränderungseinheit 19 konfiguriert werden, um nach den Werten von Erkennungsparametern zu suchen, die den Grad der Übereinstimmung basierend auf einem beliebigen Algorithmus, wie dem binären Suchverfahren, dem Bergsteigerverfahren usw., ausreichend erhöhen können.
  • Wie oben beschrieben, verwendet die Parameteränderungseinheit 19 in der Bildverarbeitungsvorrichtung 1 die Einfachabgleichungsgradberechnungseinheit 18, die den Abgleichungsgrad erneut auf der Grundlage der in der Erkennungsinformationsspeichereinheit 17 gespeicherten Erkennungsinformationen berechnet, und optimiert den Erkennungsparameter, ohne die von der Charakteristikpunktentnahmeeinheit 12 durchgeführte wiederholte Extraktion der charakteristischen Punkte, die eine große Rechenlast erfordert, wodurch es möglich ist, den Erkennungsparameter zeitnah auf einen optimierten Wert zu setzen.
  • 2 ist ein Blockdiagramm, das die Konfiguration einer Bildverarbeitungsvorrichtung 1A gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt. Für die Bildverarbeitungsvorrichtung 1A in 2 können für Komponenten, die denen der Bildverarbeitungseinheit 1 in 1 ähnlich sind, die gleichen Bezugsziffern benutzt werden, und redundante Erläuterungen können ausgelassen werden.
  • Die Bildverarbeitungsvorrichtung 1A erfasst Daten eines von der Bildaufnahmevorrichtung C aufgenommenen Bildes und erkennt ein Zielobjekt in dem aufgenommenen Bild. Darüber hinaus empfängt die Bildverarbeitungsvorrichtung 1A eine Eingabe durch eine Eingabevorrichtung E von einem Benutzer und zeigt dem Benutzer Informationen durch eine Anzeigevorrichtung D an. In der Bildverarbeitungsvorrichtung 1A der vorliegenden Ausführungsform ist es möglich, dass der Benutzer einen Wert des Erkennungsparameters proaktiv einstellt.
  • Als Eingabevorrichtung E können eine oder mehrere Vorrichtungen, wie z.B. eine Tastatur oder eine Maus, benutzt werden. Als Anzeigevorrichtung D kann jede Bildanzeigevorrichtung benutzt werden, die in der Lage ist, das von der Bildaufnahmevorrichtung C erfasste Bild anzuzeigen, wie z.B. eine CRT, ein Flüssigkristallpanel oder ein organisches EL-Panel.
  • Die Bildverarbeitungsvorrichtung 1A umfasst eine Modellspeichereinheit 11, eine Charakteristikpunktentnahmeeinheit 12, eine Charakteristikpunktausschließungseinheit 13, eine Ursprungsabgleichungsgradberechnungseinheit 14, eine Zielobjektentnahmeeinheit 15, eine Parametereinstellungseinheit 16A, eine Erkennungsinformationsspeichereinheit 17, eine Einfachabgleichungsgradberechnungseinheit 18, eine Parameteränderungseinheit 19A und eine Benutzerschnittstelleneinheit 20.
  • Die Parametereinstellungseinheit 16A stellt einen Erkennungsparameter in Übereinstimmung mit einer Eingabe des Benutzers über die Benutzerschnittstelleneinheit 20 ein. Es ist zu beachten, dass die Parametereinstellungseinheit 16A konfiguriert sein kann, um einen Anfangswert des Erkennungsparameters basierend auf einem voreingestellten Anfangs-Einstellwert oder einem Einstellwert in der Vergangenheit einzustellen.
  • Die Parameteränderungseinheit 19A ändert den Erkennungsparameter in Übereinstimmung mit der Eingabe des Benutzers über die Benutzerschnittstelleneinheit 20.
  • Die Benutzerschnittstelleneinheit 20 zeigt das von der Bildaufnahmevorrichtung C aufgenommene Bild, den von der Ursprungsabgleichungsgradberechnungseinheit 14 berechneten Abgleichungsgrad, ein Erkennungsergebnis von der Zielobjekterkennungseinheit 15, den in der Parametereinstellungseinheit 16A eingestellten Erkennungsparameter und den von der Einfachabgleichungsgradberechnungseinheit 18 berechneten Abgleichungsgrad auf der Anzeigevorrichtung D je nach Bedarf einzeln oder kombiniert an. Darüber hinaus zeigt die Benutzerschnittstelleneinheit 20 zusammen mit den oben genannten ein Bild eines Textfeldes usw. an, das den Benutzer auffordert, einen Einstellwert des Erkennungsparameters über die Eingabevorrichtung E auf der Anzeigevorrichtung D einzustellen.
  • 3 stellt ein Beispiel für einen Anzeigebildschirm der Anzeigevorrichtung D dar, der von der Benutzerschnittstelleneinheit 20 durchgeführt wird. Der Anzeigebildschirm umfasst ein Gebiet zur Anzeige des aufgenommenen Bildes (oben links), ein Gebiet zur Durchführung der Anzeige für den Benutzer, um den Erkennungsparameter einzustellen (Mitte rechts), und ein Gebiet zur Anzeige der Charakteristikpunktentnahmeeinheit 12, der Ursprungsabgleichungsgradberechnungseinheit 14 und des Erkennungsergebnisses durch die Einfachabgleichungsgradberechnungseinheit 18 (unten). In der Anzeige wird der Abgleichungsgrad als „Score“, die Erkennungsschwelle als „Schwelle des Scores“ und die Erkennungsschwelle des Luminanzgradienten als „Schwelle des Kontrasts“ dargestellt. In dem erfassten Bild werden die von der Charakteristikpunktentnahmeeinheit 12 entnommenen charakteristischen Punkte farbcodiert oder farblich unterschieden und mit den von der Charakteristikpunktentnahmeeinheit 13 ausgeschlossenen und nicht ausgeschlossenen Punkten überlagert.
  • In der Bildverarbeitungsvorrichtung 1A, wenn der Benutzer den Erkennungsparameter auf dem Bildschirm ändert, berechnet die Einfachabgleichungsgradberechnungseinheit 18 erneut den Abgleichungsgrad auf der Grundlage der Erkennungsinformationen, die in der Erkennungsinformationsspeichereinheit 17 gespeichert sind, ohne die charakteristischen Punkte durch die Charakteristikpunktentnahmeeinheit 12 zu entnehmen. Dafür variieren die Farbe der charakteristischen Punkte und der Wert des Abgleichungsgrades (Score) ohne Zeitverzögerung. Daher ist es für den Benutzer möglich, nicht nur den numerischen Wert des Abgleichungsgrades, sondern auch die entsprechende Beziehung zwischen dem erfassten Bild und den charakteristischen Punkten, die für den Abgleichungsgrad verwendet werden, zu bestätigen, wodurch ein geeigneterer Erkennungsparameter eingestellt wird.
  • Obwohl die vorliegenden Offenbarung beschrieben wurde, ist die vorliegende Erfindung nicht auf die oben beschriebene Ausführungsform beschränkt. Die in den vorliegenden Ausführungsformen beschriebenen vorteilhaften Wirkungen sind nur eine Aufzählung der in der vorliegenden Erfindung besonders bevorzugten Wirkungen, und die vorteilhaften Wirkungen der vorliegenden Erfindung sind nicht auf die in der vorliegenden Ausführungsform beschriebenen Wirkungen zu beschränken.
  • Beispielsweise kann in der Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung die Parameteränderungseinheit sowohl die Funktion der automatischen Änderung des Erkennungsparameters wie in der ersten Ausführungsform als auch die Funktion der Änderung des Erkennungsparameters gemäß der Eingabe des Benutzers wie in der zweiten Ausführungsform in einer umschaltbaren Weise umfassen.
  • BESCHREIBUNG DER BEZUGSZEICHEN
  • 1, 1A
    Bildverarbeitungsvorrichtung
    11
    Modellspeichereinheit
    12
    Charakteristikpunktentnahmeeinheit
    13
    Charakteristikpunktausschließungseinheit
    14
    Ursprungsabgleichungsgradberechnungseinheit
    15
    Zielobjekterkennungseinheit
    16, 16A
    Parametereinstellungseinheit
    17
    Erkennungsinformationsspeichereinheit
    18
    Einfachabgleichungsgradberechnungseinheit
    19, 19A
    Parameteränderungseinheit
    20
    Benutzerschnittstelleneinheit
    C
    Bildaufnahmevorrichtung
    D
    Anzeigevorrichtung
    E
    Eingabevorrichtung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 201791079 [0005]

Claims (5)

  1. Bildverarbeitungsvorrichtung, die ein Zielobjekt in einem erfassten Bild einer Bildaufnahmevorrichtung erkennt, wobei die Bildverarbeitungsvorrichtung umfasst eine Modellspeichereinheit, die ein Modellmuster speichert; eine Charakteristikpunktentnahmeeinheit, die einen charakteristischen Punkt aus dem erfassten Bild entnimmt; eine Ursprungsabgleichungsgradberechnungseinheit, die einen Abgleichungsgrad zwischen dem Modellmuster und einer Anordnung des charakteristischen Punktes berechnet; eine Zielobjekterkennungseinheit, die das Zielobjekt in dem erfassten Bild auf der Grundlage eines Vergleichs zwischen dem Abgleichungsgrad und einer Erkennungsschwelle erkennt; eine Parametereinstellungseinheit, die einen Erkennungsparameter einstellt, der mindestens die Erkennungsschwelle umfasst; eine Erkennungsinformationsspeichereinheit, die Erkennungsinformationen speichert, die mindestens eine Position des charakteristischen Punktes in Bezug auf den charakteristischen Punkt des Zielobjekts umfassen, das von der Zielobjekterkennungseinheit erkannt wird; und eine Einfachabgleichungsgradberechnungseinheit, die, wenn der Erkennungsparameter geändert worden ist, den Abgleichungsgrad auf der Grundlage des geänderten Erkennungsparameters und der in der Erkennungsinformationsspeichereinheit gespeicherten Erkennungsinformationen berechnet.
  2. Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Charakteristikpunktentnahmeeinheit als den charakteristischen Punkt einen Punkt entnimmt, in dem ein Attributwert gleich oder größer als eine Entnahmeschwelle ist, der durch die Parametereinstellungseinheit einzustellende Erkennungsparameter die Entnahmeschwelle umfasst, und die in der Erkennungsinformationsspeichereinheit gespeicherte Erkennungsinformation den Attributwert umfasst.
  3. Bildverarbeitungsvorrichtung nach Anspruch 2, wobei der Attributwert mindestens einen aus Farbe, Luminanz, Größe eines Luminanzgradienten und Richtung des Luminanzgradienten des charakteristischen Punktes ausgewählten Wert umfasst.
  4. Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 3 ferner umfassend eine Parameteränderungseinheit, die den Erkennungsparameter ändert, um den von der Einfachabgleichungsgradberechnungseinheit auf der Grundlage der Erkennungsinformationen berechneten Abgleichungsgrad zu erhöhen.
  5. Bildverarbeitungsvorrichtung nach Anspruch 1 ferner umfassend eine Benutzerschnittstelleneinheit, die den von der Einfachabgleichungsgradberechnungseinheit berechneten Abgleichungsgrad anzeigt.
DE112021007225.0T 2021-05-13 2021-05-13 Bildverarbeitungsvorrichtung Pending DE112021007225T5 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018278 WO2022239202A1 (ja) 2021-05-13 2021-05-13 画像処理装置

Publications (1)

Publication Number Publication Date
DE112021007225T5 true DE112021007225T5 (de) 2024-01-18

Family

ID=84028056

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021007225.0T Pending DE112021007225T5 (de) 2021-05-13 2021-05-13 Bildverarbeitungsvorrichtung

Country Status (6)

Country Link
US (1) US20240221352A1 (de)
JP (1) JPWO2022239202A1 (de)
CN (1) CN117203665A (de)
DE (1) DE112021007225T5 (de)
TW (1) TW202244779A (de)
WO (1) WO2022239202A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091079A (ja) 2015-11-06 2017-05-25 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6557943B2 (ja) * 2014-01-15 2019-08-14 オムロン株式会社 画像照合装置、画像センサ、処理システム、画像照合方法
JP6767811B2 (ja) * 2016-08-31 2020-10-14 キヤノン株式会社 位置検出方法、位置検出装置、リソグラフィ装置および物品製造方法
JP7186128B2 (ja) * 2019-04-24 2022-12-08 株式会社日立製作所 物品認識システムおよび物品認識方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091079A (ja) 2015-11-06 2017-05-25 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法

Also Published As

Publication number Publication date
JPWO2022239202A1 (de) 2022-11-17
US20240221352A1 (en) 2024-07-04
WO2022239202A1 (ja) 2022-11-17
TW202244779A (zh) 2022-11-16
CN117203665A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
DE69604481T2 (de) Verfahren und gerät zum trennen des vordergrunds und hintergrunds in textenthaltenden bildern
DE69626208T2 (de) Verfahren und System zur Erkennung von Handgesten
DE102014214448B4 (de) Vorrichtung und Verfahren zur Erkennung eines Verkehrszeichens
DE102015121339B4 (de) Systeme und verfahren zum ermitteln eines zustands einer fahrbahn
DE102018119682A1 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und nicht-vorübergehendes computerlesbares speichermedium
DE60109278T2 (de) Verfahren und Gerät zur Lokalisierung von Schriftzeichen in Bildern aus einer Digitalkamera
DE102016120775A1 (de) System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE102018102688A1 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsprogramm und Bildverarbeitungssystem
DE102017220307A1 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE112018004661T5 (de) Schattenerkennungsverfahren für ein Überwachungsvideobild, System davon undSchattenentfernungsverfahren
DE60303138T2 (de) Vergleichen von mustern
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE102013217569A1 (de) Videoverfolgung zur videobasierten geschwindigkeitskontrolle
EP2787485B1 (de) Verfahren und Vorrichtung zur automatischen Fehlerstellenerkennung bei biegeschlaffen Körpern
EP2590141B1 (de) Verfahren und Vorrichtung zur Detektion bewegter Objekte in einer Videobildsequenz
WO2015143471A1 (de) Verfahren zur optischen erkennung von zeichen
DE102005025220B4 (de) Gerät, Verfahren und Programm zum Beseitigen von Poren
DE69813416T2 (de) Vorrichtungen zur Linienrichtungsbestimmung, Bildschrägeerfassung und Bildschrägekorrektur.
DE102006059659A1 (de) Vorrichtung, Verfahren und Computerprogramm zur Erkennung von Schriftzeichen in einem Bild
DE69728469T2 (de) Gerät und Verfahren zur Ermittlung der Zeichenlinie mittels vereinfachter Projektionsinformation; Zeichenerkennungsgerät und Verfahren
DE102015205524B4 (de) Verfahren und Vorrichtung zum Klassifizieren eines Objekts, beispielsweise eines Verkehrsschildes, in einem Bild
DE102019127622B4 (de) Abwehrgenerator, Verfahren zur Verhinderung eines Angriffs auf eine KI-Einheit und computerlesbares-Speichermedium
DE69129284T2 (de) Gerät und Verfahren zur Bildverarbeitung
DE112021007225T5 (de) Bildverarbeitungsvorrichtung