-
Stand der Technik
-
Die Erfindung geht aus von einer Vorrichtung und einem Verfahren zur Bildverarbeitung, insbesondere zur visuellen Erkennung. Ein Bilderkennungsverfahren ist beispielsweise aus der
WO 2015/083199 A1 bekannt. Für eine Objekterkennung wird in einer Bildverarbeitung geprüft, ob ein zu erkennendes Objekt mit einem bekannten Ursprungsobjekt übereinstimmt. Die Objekterkennung wird mit Objekten in optimalem neuwertigem Zustand angelernt.
-
Sollen bei einer derartigen visuellen Erkennung als Objekte Bauteile in einem benutzten oder beschädigten Zustand erkannt werden, ist es wünschenswert, dass diese trotz Veränderung gegenüber dem Ursprungsobjekt erkennbar sind.
-
Offenbarung der Erfindung
-
Dies wird durch den Gegenstand der unabhängigen Ansprüche erreicht.
-
Das Verfahren zur Bildverarbeitung sieht vor, dass ein erstes Bild bereitgestellt wird, in dem ein Objekt dargestellt ist, wobei falls erkannt wird, dass das Objekt im ersten Bild mit einem Objekterkennungsverfahren nicht erkennbar ist, ein gegenüber dem ersten Bild verändertes zweites Bild für das Objekterkennungsverfahren bereitgestellt wird, in dem das Objekt dargestellt ist, und wobei mit einem Objekterkennungsverfahren geprüft wird, ob das Objekt ein bekanntes Objekt ist, wobei sich eine erste Darstellung des Objekts im ersten Bild von einer zweiten Darstellung des Objekts im zweiten Bild unterscheidet, aufgrund unterschiedlicher Lichtverhältnisse bei der Aufnahme der Bilder, unterschiedlicher Spiegelungen bei der Aufnahme der Bilder, unterschiedlicher Beleuchtungsverhältnisse bei der Aufnahme der Bilder, unterschiedlicher Darstellung von Verschmutzungsgraden des dargestellten Objekts, unterschiedlicher Darstellung von Beschädigungen des dargestellten Objekts, unterschiedlicher Darstellung von Fremdkörpern, und/oder unterschiedlicher Maskierung des Objekts. Das Objekt im ersten Bild ist beispielsweise nicht mehr als Ursprungsobjekt erkennbar, da die Objekterkennung nur für Objekte im optimalen neuwertigen Zustand angelernt wurde. Die Varianz der möglichen neuen Zustände im Falle einer Beschädigung ist nicht simulier- und antrainierbar. Selbst durch Farbänderungen z.B. durch Rost oder bauliche Änderungen wie Bohrungen zur Befestigung gibt es unzählige Varianten eines Objektes. Die Umgebung und folglich auch das Licht hat enormen Einfluss auf Farbe und Objekterkennung an sich. In der Bildverarbeitung kann für die Objekterkennung durch Hinzufügen der einfachen Änderungen zwischen dem ersten Bild und dem zweiten Bild ein signifikant besseres Erkennungsergebnis erzielt werden.
-
Besonders gute Ergebnisse sind erzielbar, wenn abhängig vom ersten Bild mit dem Objekterkennungsverfahren geprüft wird, ob das Objekt ein bekanntes Objekt ist, wobei wenn festgestellt wird, dass das Objekt kein bekanntes Objekt ist, das zweite Bild bereitgestellt wird und mit dem Objekterkennungsverfahren geprüft wird, ob das Objekt das bekannte Objekt ist.
-
In einem Aspekt unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Lichtverhältnisse bei der Aufnahme der Bilder mit einer Kamera insbesondere eines mobilen Endgeräts, wobei für eine Aufnahme des zweiten Bildes eine interne oder externe Lichtquelle, insbesondere bei einer Verwendung einer Rückkamera des mobilen Endgeräts eine LED oder ein Blitz, oder bei einer Verwendung einer Vorderkamera des mobilen Endgeräts dessen Display, das Objekt ausleuchtet. Damit wird beispielsweise bei der Verwendung eines Mobiltelefons ein besonders gutes Ergebnis erzielt.
-
In einem anderen Aspekt unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Spiegelungen bei der Aufnahme der Bilder, die durch unterschiedliche Aufnahmewinkel definiert sind, wobei wenigstens ein weißer Bildpunkte, der innerhalb einer ansonsten homogenen Farbcharakteristik eine Spiegelung im ersten Bilde definiert, im zweiten Bild durch wenigstens einen Bildpunkt mit dem Farbwert der homogenen Farbcharakteristik ersetzt wird. Durch Nutzerinteraktion sind die Aufnahmewinkel und damit die Spiegelungen für die Objekterkennung günstig wählbar.
-
Vorzugsweise unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Beleuchtungsverhältnisse bei der Aufnahme der Bilder, wobei die Beleuchtungsverhältnisse zur Reduktion von Reflexionen im zweiten Bild durch unterschiedliche Intensität einer Leuchtstärke, Farbe, Frequenz und oder einer Taktung der Leuchtstärke insbesondere pulsierend mit einem Stroboskop verändert werden. Durch Nutzerinteraktion ist eine Reduktion oder Steigerung der Leuchtstärke zur Verbesserung der Objekterkennung günstig wählbar.
-
Vorzugsweise unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Darstellung von Verschmutzungsgraden des dargestellten Objekts, wobei ein verschmutzter Bereich des Objekts im zweiten Bild aufgrund einer Markierung insbesondere durch einen Nutzer für die Objekterkennung unberücksichtigt bleibt oder wobei für die Aufnahme verschiedene Kameras, insbesondere eine interne Kamera und eine Schwanenhals-Kamera, verwendet werden. Durch Nutzerinteraktion sind damit verschmutze Bereiche, die zur Verbesserung der Objekterkennung unberücksichtigt bleiben sollen markierbar. Sollte das Objekt zu stark verdeckt sein wird der verdreckte Bereich entfernt. Wenn das Objekt für ein Foto nicht direkt zugänglich ist, kann bei einem Mobiltelefon auch eine externe Hardware verwendet werden.
-
Vorzugsweise unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Darstellung von Beschädigungen des dargestellten Objekts, wobei die Darstellung des Objekts im zweiten Bild aus den Darstellungen mehrerer Einzelteile eines in mehrere Einzelteile zerfallenen Objekts zusammengesetzt ist. Ist ein Objekt zerstört in dem es in mehrere Teile zerfallen können die Teile einzeln abgescannt oder fotografiert werden. Die einzelnen Teile können einzeln identifiziert und durch eine Software wieder zu einem Objekt zusammengesetzt werden.
-
Vorzugsweise ist vorgesehen, dass die Darstellung des Objekts im zweiten Bild zusätzlich zu den Darstellungen von Einzelteilen wenigstens ein Zeichnungselement umfasst das diese zum Objekt ergänzt, wobei das Zeichnungselement durch die Eingabe einer Freihandzeichnung durch einen Nutzer oder aus einer Datenbank für CAD Abbilder oder Explosionszeichnungen des Objekts generiert wird. Mittels weiterer Sensorik z. B. Tiefensensor kann man auch ein 3D Abbild der Teile erschaffen. Das 3D Abbild kann mittels seiner Umrisskanten mit bestehenden Mustern z.B. aus CAD Modellen oder Explosionszeichnungen, die in einer Datenbank hinterlegt sind, verglichen werden. Fehlende Teile werden abhängig vom Ergebnis des Vergleichs identifiziert und für die Objekterkennung ergänzt. Es ist auch möglich, Freihandzeichnung zu verwenden, um die fehlenden Teile durch haptische User Interaktion z. B. mit den Fingern selbst nachzuzeichnen und für die Objekterkennung zu ergänzen. Um diesen Prozess zu vereinfachen, werden beispielsweise geometrische Grundformen verwendet. Das gezeichnete wird beispielsweise mittels einer Software interpretiert und mit bestehenden Mustern verglichen. Eine Freihandzeichnung wird z. B. mit einem CAD Modell oder einer Explosionszeichnung aus der Datenbank verglichen. Eine mögliche Abweichung oder Erkennungstoleranz, die dem Nutzer für das Zeichnen oder Ergänzen der Objekte gewährt wird, kann dabei frei eingestellt werden.
-
Vorzugsweise ist vorgesehen, dass sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Darstellung von Fremdkörpern unterscheidet, wobei ein Fremdkörper aus dem ersten Bild mittels einer Nutzereingabe entfernt wird, durch die der Fremdkörper markiert und entfernt wird, oder wobei ein Fremdkörper aus dem ersten Bild aufgrund wenigstens einer wiederkehrenden Eigenschaft des Objekts oder mittels eines Filters erkannt und entfernt wird. Wenn sich unerwünschte Objekte z. B. Hände des Nutzers, welche durch das Halten des Objektes in der Hand entstehen, auf dem Bild befinden, werden diese entfernt. Dazu kann eine Nutzereingabe in Form einer Radiergummi-Funktion vorgesehen sein. Dies ist eine Funktion, welche das Bild in einem weiteren Schritt mittels eines Radierers von ungewünschten Objekten freistellt, die durch den Nutzer markiert werden. Es kann auch eine Subtraktionsmethode verwendet werden, durch die vorher angelernte Merkmale und Objekte durch wiederkehrende Eigenschaften erkannt und von der Objekterkennung ausgeschlossen werden. Das bedeutet, dass z. B: Hände, Holzmuster von Tischen/Tischplatten, Karopapier, Werkzeuge, etc. nicht mit in die Erkennung mit einfließt. Es kann auch vorgesehen sein, einen Filter für gewisse Gegenstände oder Muster einzusetzen. Damit ist beispielsweise erkennbar, wenn sich vor einem bestimmten Maschinentyp ein bestimmter Tisch befindet. Dadurch wird erkannt, dass es sich wahrscheinlich um ein Objekt handelt welches in Verbindung mit dem Tisch und somit auch mit dem Maschinentyp steht.
-
In einem weiteren Aspekt unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Maskierung des Objekts, wobei eine manuelle, teilautomatisierte oder vollautomatisierte Maske anhand von geschlossenen Konturen des Objekts im ersten Bild erkannt wird, und wobei das zweite Bild durch entfernen der Bildpunkte des ersten Bildes außerhalb der Maske definiert ist. Damit wird eine Freistellung der Bildpunkte erreicht, die für die Objekterkennung zu verwenden sind.
-
Eine Vorrichtung zur Bildverarbeitung sieht vor, dass die Vorrichtung eine Recheneinrichtung und einen Speicher für Instruktionen umfasst, bei deren Ausführung durch die Recheneinrichtung das Verfahren abläuft.
-
Die Vorrichtung umfasst vorzugsweise eine Kamera, die ausgebildet ist, ein Bild eines Objekts zu erfassen, wobei die Vorrichtung ein Display umfasst, das ausgebildet ist das Bild des Objekts anzuzeigen, und wobei die Vorrichtung eine Eingabeeinrichtung umfasst, die ausgebildet ist, eine Nutzereingabe zu erfassen und das Bild abhängig von der Nutzereingabe zu verändern. Damit kann das Verfahren zumindest Teilweise auf einem Mobiltelefon ablaufen.
-
Weitere vorteilhafte Ausführungsformen ergeben sich aus der folgenden Beschreibung und der Zeichnung. In der Zeichnung zeigt
- 1 eine schematische Darstellung einer Vorrichtung zur Bildverarbeitung,
- 2 ein Flussdiagramm mit Schritten eines Verfahrens zur Bildverarbeitung.
-
1 stellt eine Vorrichtung 100 zur Bildverarbeitung dar. Die Vorrichtung 100 umfasst eine Recheneinrichtung 102 und einen Speicher 104 für Instruktionen, bei deren Ausführung durch die Recheneinrichtung 102 das im Folgenden anhand der 2 beschriebenen Verfahren abläuft. Die Vorrichtung 100 umfasst eine Kamera 106, die ausgebildet ist, ein Bild 108 eines Objekts 110 zu erfassen. Die Vorrichtung umfasst ein Display 112, das ausgebildet ist das Bild 108 des Objekts 110 anzuzeigen. Die Vorrichtung 100 umfasst eine Eingabeeinrichtung 114, die ausgebildet ist, eine Nutzereingabe 116 zu erfassen und das Bild 110 abhängig von der Nutzereingabe 116 zu verändern.
-
Beispielsweise ist die Vorrichtung 100 ein mobiles Endgerät, z.B. ein Mobiltelefon mit einem Touchdisplay, das als Eingabeeinrichtung 114 und Display 112 ausgebildet ist.
-
Die Recheneinrichtung 102 ist beispielsweise ein Mikroprozessor in den der Speicher 104 integriert ist. Es kann auch ein separater Speicher vorgesehen sein. Zumindest Teile des im Folgenden beschriebenen Verfahrens laufen auf dem Mobiltelefon ab.
-
Das Verfahren beginnt beispielsweise, wenn eine entsprechende Nutzeroberfläche auf dem Mobiltelefon geöffnet wird. Das Verfahren endet beispielsweise bei einer erfolgreichen Erkennung des Objekts oder bei einer fehlgeschlagenen Erkennung des Objekts durch Anzeige der Nutzeroberfläche.
-
In einem Schritt 202 wird ein erstes Bild bereitgestellt. Bereitstellen bedeutet in diesem Kontext, beispielsweise dass das Bild aus einem Speicher gelesen wird. Das Bereitstellen kann die Aufnahme des Bildes mit einer Kamera umfassen, wobei das erste Bild in den Speicher geschrieben wird.
-
Im Beispiel ist das erste Bild ein Bild 108 des Objekts 110. Es kann auch ein komplexeres Objekt, beispielsweise bestehend aus mehreren Teilen aufgenommen und dargestellt werden.
-
Anschließend wird in einem Schritt 204 abhängig vom ersten Bild geprüft, ob das erste Bild für ein Objekterkennungsverfahren ungeeignet ist. Falls erkannt wird, dass das erste Bild für das Objekterkennungsverfahren ungeeignet ist, wird ein Schritt 206 ausgeführt. Anderenfalls wird ein Schritt 210 ausgeführt. Insbesondere wird im Beispiel mit dem Objekterkennungsverfahren geprüft, ob das Objekt 110 ein bekanntes Objekt ist. Im Beispiel wird das erste Bild mit einer Vielzahl bekannter Objekte aus einer Datenbank abgeglichen. Wenn das Objekt 110 ein bekanntes Objekt ist, wird in diesem Beispiel festgestellt, dass das Objekt 110 für das Objekterkennungsverfahren geeignet ist. Wenn das Objekt 110 kein bekanntes Objekt ist, wird in diesem Beispiel festgestellt, dass das Objekt 110 für das Objekterkennungsverfahren ungeeignet ist.
-
Wenn festgestellt wird, dass im ersten Bild kein bekanntes Objekt ist, wird der Schritt 206 ausgeführt. Anderenfalls wird der Schritt 210 ausgeführt.
-
Im Schritt 206 wird ein zweites Bild bereitgestellt. Bereitstellen bedeutet in diesem Kontext, dass beispielsweise das Bild aus dem Speicher gelesen wird. Das Bereitstellen kann die Aufnahme des zweiten Bildes mit der Kamera oder einer anderen Kamera umfassen, wobei das zweite Bild in den Speicher geschrieben wird. Das Bereitstellen des zweiten Bildes kann auch eine Veränderung des ersten Bildes durch eine der im Folgenden näher beschriebenen Maßnahmen umfassen, durch die das zweite Bild ohne eine erneute Aufnahme aus dem ersten Bild erzeugt wird. Beispielsweise wird ein Bildverarbeitungsprogramm eingesetzt, um aus dem ersten Bild ein zweites Bild zu erzeugen.
-
Im Beispiel ist das zweite Bild ein weiteres Bild 108 des Objekts 110. Das zweite Bild ist gegenüber dem ersten Bild verändert.
-
Eine erste Darstellung des Objekts im ersten Bild unterscheidet sich von einer zweiten Darstellung des Objekts im zweiten Bild, aufgrund unterschiedlicher Lichtverhältnisse bei der Aufnahme der Bilder, unterschiedlicher Spiegelungen bei der Aufnahme der Bilder, unterschiedlicher Beleuchtungsverhältnisse bei der Aufnahme der Bilder, unterschiedlicher Darstellung von Verschmutzungsgraden des dargestellten Objekts, unterschiedlicher Darstellung von Beschädigungen des dargestellten Objekts, unterschiedlicher Darstellung von Fremdkörpern, und/oder unterschiedlicher Maskierung des Objekts.
-
Beispielsweise unterscheidet sich die erste Darstellung des Objekts 110 im ersten Bild in einem Aspekt von der zweiten Darstellung des Objekts 110 im zweiten Bild aufgrund unterschiedlicher Lichtverhältnisse bei der Aufnahme der Bilder mit der Kamera 106. Für eine Aufnahme des zweiten Bildes wird beispielsweise eine interne oder externe Lichtquelle eingeschaltet, die das Objekt 110 für eine Aufnahme des zweiten Bildes ausleuchtet. Beispielsweise wird dazu bei einer Verwendung einer Rückkamera eines mobilen Endgeräts, beispielsweise eines Mobiltelefons, eine LED oder ein Blitz eingeschaltet. Beispielsweise wird bei einer Verwendung einer Vorderkamera des mobilen Endgeräts dazu dessen Display eingeschaltet.
-
Die erste Darstellung des Objekts 110 im ersten Bild unterscheidet sich in einem weiteren Aspekt beispielweise von der zweiten Darstellung des Objekts 110 im zweiten Bild aufgrund unterschiedlicher Spiegelungen bei der Aufnahme der Bilder. Die unterschiedlichen Spiegelungen sind durch unterschiedliche Aufnahmewinkel definiert. Beispielsweise wird wenigstens ein weißer Bildpunkt, der innerhalb einer ansonsten homogenen Farbcharakteristik eine Spiegelung im ersten Bilde definiert, im zweiten Bild durch wenigstens einen Bildpunkt mit dem Farbwert der homogenen Farbcharakteristik ersetzt.
-
Die erste Darstellung des Objekts 110 im ersten Bild kann sich von der zweiten Darstellung des Objekts 110 im zweiten Bild aufgrund unterschiedlicher Beleuchtungsverhältnisse bei der Aufnahme der Bilder unterscheiden. Die Beleuchtungsverhältnisse werden beispielsweise mittels einer internen oder externen Lichtquelle zur Reduktion von Reflexionen im zweiten Bild durch unterschiedliche Intensität einer Leuchtstärke, Farbe, Frequenz und oder einer Taktung der Leuchtstärke insbesondere pulsierend mit einem Stroboskop verändert.
-
Die erste Darstellung des Objekts 110 im ersten Bild kann sich von der zweiten Darstellung des Objekts 110 im zweiten Bild aufgrund unterschiedlicher Darstellung von Verschmutzungsgraden des dargestellten Objekts 110 unterscheiden. Ein verschmutzter Bereich des Objekts 110 bleibt im zweiten Bild beispielsweise aufgrund einer Markierung für die Objekterkennung unberücksichtigt. Die Markierung kann beispielsweise vom Nutzer auf einer Darstellung des Objekts 110 im ersten Bild angebracht werden. Für die Aufnahme können auch verschiedene Kameras, insbesondere eine interne Kamera des mobilen Endgeräts und eine Schwanenhals-Kamera, verwendet werden. Dadurch wird das Objekt 110 in den beiden Bildern unterschiedlich dargestellt.
-
In einem weiteren Aspekt unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Darstellung von Beschädigungen des dargestellten Objekts. Die Darstellung des Objekts im zweiten Bild ist beispielsweise aus den Darstellungen mehrerer Einzelteile eines in mehrere Einzelteile zerfallenen Objekts zusammengesetzt.
-
In diesem Aspekt kann vorgesehen sein, dass die Darstellung des Objekts im zweiten Bild zusätzlich zu den Darstellungen von Einzelteilen wenigstens ein Zeichnungselement umfasst das diese Einzelteile zum Objekt ergänzt. Das Zeichnungselement kann beispielsweise durch die Eingabe einer Freihandzeichnung durch einen Nutzer oder aus einer Datenbank für CAD Abbilder oder Explosionszeichnungen des Objekts generiert werden.
-
In einem weiteren Aspekt unterscheidet sich die erste Darstellung des Objekts im ersten Bild von der zweiten Darstellung des Objekts im zweiten Bild aufgrund unterschiedlicher Darstellung von Fremdkörpern. Ein Fremdkörper wird beispielsweise aus dem ersten Bild mittels einer Nutzereingabe entfernt, durch die der Fremdkörper markiert und entfernt wird. Ein Fremdkörper kann auch aus dem ersten Bild aufgrund wenigstens einer wiederkehrenden Eigenschaft des Objekts oder mittels eines Filters erkannt und entfernt werden.
-
Vorzugsweise unterscheidet sich die erste Darstellung des Objekts 110 im ersten Bild von der zweiten Darstellung des Objekts 110 im zweiten Bild aufgrund unterschiedlicher Maskierung des Objekts 110. Eine manuelle, teilautomatisierte oder vollautomatisierte Maske kann anhand von geschlossenen Konturen des Objekts 110 im ersten Bild erkannt werden. Das zweite Bild ist in diesem Beispiel durch entfernen der Bildpunkte des ersten Bildes außerhalb der erkannten Maske definiert.
-
Anschließend wird in einem Schritt 208 geprüft, ob das zweite Bild für das Objekterkennungsverfahren geeignet ist. Beispielsweise wird mit dem Objekterkennungsverfahren geprüft, ob das Objekt ein bekanntes Objekt ist.
-
Wenn das Objekt für die Erkennung mit dem Objekterkennungsverfahren geeignet ist, wird der Schritt 210 ausgeführt. Anderenfalls wird ein Schritt 212 ausgeführt.
-
Im Schritt 210 wird ein Ergebnis des Objekterkennungsverfahrens bestimmt. Sofern die Objekterkennung bereits im Schritt 204 oder 208 durchgeführt wurde, wird deren Ergebnis beispielsweise ausgegeben. Anderenfalls wird die Objekterkennung mit dem für das Objekterkennungsverfahren geeignetsten Bild durchgeführt. Dies kann das erste Bild sein, wenn dies bereits geeignet ist. Anderenfalls wird das zweite Bild verwendet.
-
Anschließend endet das Verfahren.
-
Im Schritt 212 ist weder das erste Bild noch das zweite Bild als für die Objekterkennung geeignet erkannt worden. Anschließend endet das Verfahren.
-
Es kann vorgesehen sein, den Nutzer im Schritt 212 darüber zu informieren, dass keines der Bilder geeignet ist. Es kann vorgesehen sein, im Schritt 212 weitere Bilder bereitzustellen, und wie beschrieben der Objekterkennung zuzuführen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
