-
Die Erfindung betrifft die Erkennung eines Lebewesens, insbesondere eines Menschen, auf Basis von Kamera-Bilddaten. Insbesondere betrifft die Erfindung eine Vorrichtung und ein entsprechendes Verfahren zur Bereitstellung von Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems zur Erkennung von Lebewesen.
-
Bei der Montage bzw. der Fertigung eines Produktes, z.B. eines Fahrzeugs, kooperieren vermehrt Menschen mit Robotern. Beispielsweise kann ein Roboter dazu genutzt werden, ein relativ schweres Bauteil von einer Lagerposition an eine Montageposition zu bewegen und dort zu halten. Ein menschlicher Monteur kann dann das Bauteil an dem zu fertigenden Produkt montieren (z.B. anschrauben). So können durch Mensch-Roboter-Kooperation (MRK) die Belastung für einen Menschen reduziert und/oder die Montage eines Produkts optimiert werden.
-
Eine MRK-Umgebung kann durch zumindest eine Kamera überwacht werden, wobei die Kamera eingerichtet ist, Kamera-Bilddaten, insbesondere Videodaten, in Bezug auf den kooperierenden Roboter und Menschen zu erfassen. Die Bilddaten können ausgewertet werden, insbesondere um zu ermitteln, wie der Mensch relativ zu dem Roboter angeordnet ist. Die Bewegung des Roboters kann dann in Abhängigkeit von der Anordnung des Menschen gesteuert werden, insbesondere um Zusammenstöße zwischen dem Roboter und dem Menschen zu vermeiden, und um so eine sichere Kooperation zwischen dem Menschen und dem Roboter zu ermöglichen.
-
Zur Ermittlung der Position des Menschen und insbesondere zur Ermittlung der Anordnung von einzelnen Körperteilen des Menschen kann ein Maschinen-erlerntes Bildverarbeitungs-System verwendet werden, das z.B. ein oder mehrere künstliche neuronale Netzwerke umfasst. Die Güte eines Maschinen-erlernten Bildverarbeitungs-Systems hängt dabei typischerweise mit der Menge und der Qualität der Trainingsdaten ab, die zum Anlernen des Bildverarbeitungs-Systems verwendet werden.
-
Das Bereitstellen von Trainingsdaten erfordert typischerweise das manuelle Labeln von Bilddaten, um den Menschen und/oder um einzelne Körperteile des Menschen zu markieren bzw. zu labeln. Dieser Labelling-Prozess ist meist relativ zeitaufwändig und fehleranfällig, wodurch die Menge und die Güte der verfügbaren Trainingsdaten begrenzt werden.
-
Das vorliegende Dokument befasst sich mit der technischen Aufgabe, in effizienter Weise relativ große Mengen an qualitativ hochwertigen Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems bereitzustellen, um das Bildverarbeitungs-System zu befähigen, auf Basis von Bilddaten ein Lebewesen, insbesondere einen Menschen, zu detektieren und innerhalb der Bilddaten zu lokalisieren.
-
Die Aufgabe wird durch jeden einzelnen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Gemäß einem Aspekt wird eine Vorrichtung zur Ermittlung von Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems beschrieben. Das Bildverarbeitungs-System kann z.B. ein künstliches neuronales Netz umfassen. Das Anlernen des Bildverarbeitungs-Systems kann darauf ausgerichtet sein, das Bildverarbeitungs-System zu befähigen, ein sich innerhalb einer bestimmten Umgebung (insbesondere einer MRK-Umgebung) bewegendes Lebewesen (insbesondere einen Menschen) aus Bilddaten zumindest einer die Umgebung erfassenden Kamera zu identifizieren. Insbesondere kann dabei das Bildverarbeitungs-System befähigt werden, einzelne Körperteile des Lebewesens (wie z.B. Arme, Beine, den Kopf, den Rumpf, etc.) zu identifizieren.
-
Die Umgebung kann ein Mensch-Roboter-Kooperations-, kurz MRK, System sein, das zumindest einen Roboter umfasst, mit dem der Mensch kooperiert. Das angelernte Bildverarbeitungs-System kann dazu genutzt werden, auf Basis der Kamera-Bilddaten der ein oder mehreren Kameras zu ermitteln, wie der Mensch, insbesondere wie einzelne Körperteile des Menschen, relativ zu dem Roboter angeordnet sind, z.B. um Zusammenstöße zwischen dem Menschen und dem Roboter zu verhindern. So kann die Sicherheit eines MRK-Systems erhöht werden.
-
Die Trainingsdaten können gelabelte Kamera-Bilddaten umfassen. Dabei können durch Label bzw. Markierungen die einzelnen Körperteile des Lebewesens angezeigt werden. Insbesondere kann ein Label anzeigen, um welchen Körperteil es sich handelt und in welchem Teilbereich der Bilddaten der Körperteil angeordnet ist. Dies kann z.B. durch einen Farbcode angezeigt werden. Die Vorrichtung kann eingerichtet sein, die Kamera-Bilddaten der ein oder mehreren Kameras in effizienter und präziser Weise mit Labeln für die einzelnen Körperteile des Lebewesens zu versehen.
-
Die Vorrichtung ist eingerichtet, die zumindest eine Kamera zu veranlassen, Kamera-Bilddaten in Bezug auf das Lebewesen zu erfassen. Dabei können die Kamera-Bilddaten eine zeitliche Sequenz von Kamera-Bildern für eine entsprechende Sequenz von Zeitpunkten umfassen (z.B. mit einer Abtastfrequenz von 10Hz oder mehr, oder von 30Hz oder mehr, oder von 50Hz oder mehr). Die zumindest eine Kamera kann eine Stereo- und/oder dreidimensionale (3D) Kamera umfassen. Die Bilddaten können somit ggf. Tiefeninformation bzw. räumliche Information in Bezug auf das Lebewesen anzeigen.
-
In einem bevorzugten Beispiel werden mehrere Kameras verwendet, um Kamera-Bilddaten in Bezug auf das Lebewesen aus unterschiedlichen Perspektiven zu erfassen. Die Kamera-Bilddaten aus den unterschiedlichen Kameras können z.B. dazu verwendet werden, Schatteneffekte aus den Kamera-Bilddaten einer Kamera zu eliminieren bzw. zu entfernen. So kann die Güte der Auswertung der Kamera-Bilddaten erhöht werden.
-
Des Weiteren ist die Vorrichtung eingerichtet, anhand von Bewegungserfassungselementen an dem Lebewesen Bewegungsdaten in Bezug auf eine Bewegung des Lebewesens zu ermitteln. Die Bewegungserfassungselemente können z.B. Reflektoren und/oder markante Punkte umfassen, die in zuverlässiger und präziser Weise innerhalb der Kamera-Bilddaten erkannt werden können. Alternativ oder ergänzend können die Bewegungserfassungselemente Bewegungssensoren umfassen. Die Bewegungserfassungselemente können an unterschiedlichen Körperteilen des Lebewesens angeordnet sein. Die Bewegungsdaten (die z.B. durch Analyse der Kamera-Bilddaten ermittelt werden) können somit die Bewegung von einzelnen Körperteilen des Lebewesens anzeigen.
-
Die Vorrichtung kann eingerichtet sein, Bewegungsdaten zu ermitteln, die zeitlich mit den Kamera-Bilddaten synchronisiert sind. Die Bewegungsdaten können z.B. eine zeitliche Sequenz von Datensätzen für die Sequenz von Zeitpunkten umfassen. Dabei kann jeder Datensatz die Bewegung des Lebewesens an einem bestimmten Zeitpunkt aus der Sequenz von Zeitpunkten beschreiben. Der Datensatz für einen Zeitpunkt kann zeitlich mit dem Kamera-Bild für den Zeitpunkt synchronisiert sein. Dies kann für alle Datensätze und Kamera-Bilder der Fall sein.
-
Die Vorrichtung ist ferner eingerichtet, im Rahmen einer Computersimulation einen Avatar des Lebewesens auf Basis der Bewegungsdaten zu animieren, um simulierte Bilddaten zu ermitteln. Die simulierten Bilddaten können dabei eine Sequenz von simulierten Bildern umfassen, welche der zeitlichen Sequenz von Kamera-Bildern entspricht. Insbesondere kann für jedes Kamera-Bild im Rahmen der Computersimulation ein entsprechendes simuliertes Bild ermittelt werden. Die Computersimulation kann zu diesem Zweck eine virtuelle Nachbildung der von der Kamera erfassten Umgebung des Lebewesens umfassen. Die simulierten Bilddaten können eine entsprechende (insbesondere eine gleiche) Perspektive auf die virtuelle Nachbildung der Umgebung haben, wie die Kamera-Bilddaten auf die tatsächliche Umgebung.
-
Die simulierten Bilddaten, insbesondere die zeitliche Sequenz von simulierten Bildern, kann derart auf Basis der Bewegungsdaten ermittelt werden, dass die simulierten Bilddaten zeitlich mit den Kamera-Bilddaten synchronisiert sind. Ein simuliertes Bild kann somit einem (insbesondere genau einem) Kamera-Bild entsprechen. Dabei kann die Computersimulation derart ausgebildet sein, dass der Avatar in dem simulierten Bild im Wesentlichen die gleiche Haltung aufweist wie das Lebewesen in dem entsprechenden Kamera-Bild. Bei Verwendung einer Mehrzahl von Kameras können auf Basis der Computersimulation simulierte Bilder für die Kamera-Bilder der unterschiedlichen Kameras bereitgestellt werden.
-
Wie bereits oben dargelegt, können die Bewegungsdaten die Bewegung eines bestimmten Körperteils des Lebewesens anzeigen. Die Vorrichtung kann eingerichtet ist, auf Basis der Bewegungsdaten Koordinaten für den entsprechenden bestimmten Körperteil des Avatars innerhalb eines simulierten Bildes der simulierten Bilddaten zu ermitteln. Mit anderen Worten, es kann auf Basis der Bewegungsdaten ermittelt werden, wie der bestimmte Körperteil des Avatars zu einem bestimmten Zeitpunkt innerhalb der virtuellen Umgebung angeordnet ist. Die Vorrichtung kann somit, aufgrund der Computersimulation, in präziser Weise ermitteln, in welchem Teilbereich der bestimmte Körperteil innerhalb eines simulierten Bildes angeordnet ist.
-
Die Vorrichtung kann ferner eingerichtet sein, auf Basis der simulierten Bilddaten eine Maske für einen (bestimmten) Körperteil des Lebewesens zu ermitteln. Dabei kann die Maske für den bestimmten Körperteil in besonders effizienter und präziser Weise auf Basis der Koordinaten ermittelt werden, die dazu verwendet wurden, den bestimmten Körperteil innerhalb der virtuellen Umgebung zu platzieren.
-
Außerdem kann die Vorrichtung eingerichtet sein, anhand der Maske den (bestimmten) Körperteil des Lebewesens innerhalb der Kamera-Bilddaten zu identifizieren. Insbesondere kann eine Maske für den bestimmten Körperteil auf Basis eines bestimmten simulierten Bildes ermittelt werden. Diese Maske kann dann in dem Kamera-Bild, welches dem simulierten Bild entspricht, dazu verwendet werden, den bestimmten Körperteil innerhalb des Kamera-Bildes zu lokalisieren. Dabei kann der durch die Maske angezeigte Teilbereich des Kamera-Bildes dem bestimmten Körperteil entsprechen.
-
Die Vorrichtung kann somit eingerichtet sein, die Maske für den bestimmten Körperteil auf Basis eines simulierten Bildes aus der Sequenz von simulierten Bildern zu ermitteln. Die Maske kann dann auf das entsprechende Kamera-Bild aus der Sequenz von Kamera-Bildern angewendet werden, um den Teilbereich innerhalb des entsprechenden Kamera-Bildes zu identifizieren, an dem der Körperteil angeordnet ist. In entsprechender Weise kann für jedes simulierte Bild jeweils eine Maske ermittelt werden, die dann auf das entsprechende Kamera-Bild angewendet wird, um den bestimmten Körperteil zu identifizieren.
-
Die ein oder mehrere identifizierten Teilbereiche können dann jeweils mit einem Label versehen werden, wobei der Label anzeigt, wo der Körperteil innerhalb der Kamera-Bilddaten dargestellt ist. Des Weiteren kann der Label ggf. anzeigen, um welchen Körperteil des Lebewesens es sich handelt. Die gelabelten Kamera-Bilddaten können dann als Trainingsdaten zum Anlernen des Bilderkennungs-Systems verwendet werden. Insbesondere kann die Vorrichtung eingerichtet sein, das Bildverarbeitungs-System anhand der Trainingsdaten anzulernen.
-
Das angelernte Bildverarbeitungs-System kann z.B. während des Betriebs eines MRK-Systems dazu verwendet werden, die Haltung und/oder die Anordnung eines Menschen zu ermitteln. Der Roboter kann dann in Abhängigkeit von der erkannten Haltung und/oder Anordnung des Menschen betrieben werden, insbesondere um zu vermeiden, dass der Roboter mit einem Körperteil des Menschen zusammenstößt. So kann die Sicherheit des MRK-Systems erhöht werden.
-
Die auf Basis der Computersimulation ermittelte Maske kann einen Teilbereich innerhalb eines simulierten Bildes der simulierten Bilddaten anzeigen, an dem der Körperteil des Avatars angeordnet ist. Die Vorrichtung kann eingerichtet sein, die Maske mit einem Kamera-Bild der Kamera-Bilddaten zu überlagern, um den Teilbereich innerhalb des Kamera-Bildes zu identifizieren, an dem der Körperteil des Lebewesens dargestellt ist. So kann in besonders präziser und effizienter Weise ein Labeln der Kamera-Bilddaten bewirkt werden.
-
Die auf Basis der Computersimulation ermittelte Maske kann ggf. dem Teilbereich des Körperteils des Avatars plus einem Toleranzband an ein oder mehreren Kanten des Körperteils des Avatars entsprechen. Die Maske kann somit ggf. (leicht) größer als der Teilbereich des Körperteils des Avatars sein. Das Toleranzband kann z.B. eine Breite von 20cm oder weniger, oder von 10cm oder weniger aufweisen. Mit anderen Worten, die Maske kann eine Fläche aufweisen, die um einen bestimmten Toleranzwert über die Fläche des Körperteils des Avatars innerhalb eines simulierten Bildes hinausgeht. Der Toleranzwert kann z.B. 20% oder weniger oder 10% oder weniger sein. Durch die Berücksichtigung eines Toleranzbandes können Abweichungen in der Haltung und/oder Anordnung des Lebewesens zwischen der tatsächlichen Situation auf dem Kamera-Bild und der simulierten Situation auf dem entsprechenden simulierten Bild berücksichtigt werden.
-
Die Vorrichtung kann eingerichtet sein, die Maske mit einem Kamera-Bild zu überlagern. Des Weiteren kann die Vorrichtung eingerichtet sein, innerhalb des durch die Maske definierten Teilbereichs des Kamera-Bildes anhand von ein oder mehreren Bildverarbeitungsalgorithmen (z.B. anhand eines Kanten-Detektors) die Konturen des Körperteils des Lebewesens zu identifizieren. So können in besonders robuster, präziser und effizienter Weise ein oder mehrere unterschiedliche Körperteile eines Lebewesens innerhalb von Kamera-Bilddaten identifiziert und gelabelt werden.
-
Mit anderen Worten, die Vorrichtung kann eingerichtet sein, die Maske für den Körperteil des Lebewesens derart auf Basis der simulierten Bilddaten zu ermitteln, dass die Maske ein dem Körperteil entsprechendes virtuelles Körperteil des Avatars des Lebewesens und einen zusätzlichen Toleranzbereich umfasst. Dabei kann der Toleranzbereich einen Bereich von 20% oder weniger, oder von 10% oder weniger zusätzlich zu der Fläche des virtuellen Körperteils des Avatars umfassen, wobei der Toleranzbereich an ein oder mehreren Kanten des virtuellen Körperteils des Avatars angeordnet sein kann. So können in zuverlässiger Weise Abweichungen zwischen den Kamera-Bilddaten und den simulierten Bilddaten berücksichtigt werden.
-
Des Weiteren kann die Vorrichtung eingerichtet sein, anhand der Maske einen Teilbereich innerhalb der Kamera-Bilddaten zu ermitteln, in dem der Körperteil des Lebewesens angeordnet ist. Zu diesem Zweck kann die Maske mit einem Kamera-Bild überlagert werden. Es kann dann anhand von ein oder mehreren Bildverarbeitungs-Algorithmen eine Kontur des Körperteils des Lebewesens innerhalb des ermittelten Teilbereichs identifiziert werden. So kann das Körperteil des Lebewesens in präziser Weise identifiziert und gelabelt werden.
-
Die Bewegungsdaten können die Bewegung einer Mehrzahl von unterschiedlichen Körperteilen des Lebewesens anzeigen. Die Vorrichtung kann eingerichtet sein, auf Basis der Bewegungsdaten im Rahmen der Computersimulation die Mehrzahl von unterschiedlichen Körperteilen des Avatars derart zu animieren, dass die Bewegung der Mehrzahl von unterschiedlichen Körperteilen des Avatars der Bewegung der Mehrzahl von unterschiedlichen Körperteilen des Lebewesens entspricht. Des Weiteren kann die Vorrichtung eingerichtet sein, auf Basis der simulierten Bilddaten eine Mehrzahl von Masken für die Mehrzahl von unterschiedlichen Körperteilen des Lebewesens zu ermitteln. Die unterschiedlichen Masken für die unterschiedlichen Körperteile können dann dazu verwendet werden, die unterschiedlichen Körperteile innerhalb der Kamera-Bilddaten zu identifizieren und zu labeln. So können die Güte der ermittelten Trainingsdaten und damit die Güte des angelernten Bilderkennungs-Systems weiter erhöht werden.
-
Die Vorrichtung kann eingerichtet sein, Kontrolldaten in Bezug auf eine Steuerung einer Bewegung des Roboters innerhalb des MRK-Systems zu ermitteln. Die Kontrolldaten können mit den Bewegungsdaten zeitlich synchronisiert sein. Des Weiteren kann die Vorrichtung eingerichtet sein, im Rahmen der Computersimulation eine Repräsentation des Roboters auf Basis der Kontrolldaten zu animieren, um die simulierten Bilddaten zu ermitteln. Es kann dann auf Basis der simulierten Bilddaten eine Maske für einen bestimmten Teil des Roboters ermittelt werden. Des Weiteren kann anhand der Maske der bestimmte Teil des Roboters innerhalb der Kamera-Bilddaten identifiziert und gelabelt werden. So können Trainingsdaten bereitgestellt werden, die das Bildverarbeitungs-System befähigen, die Stellung des Roboters in einem MRK-System zu detektieren.
-
Gemäß einem weiteren Aspekt wird ein MRK-System mit mindestens einem Roboter beschrieben. Das MRK-System umfasst dabei das durch die beschriebene Vorrichtung angelernte Bildverarbeitungs-System. Des Weiteren umfasst das MRK-System eine Steuereinheit, die eingerichtet ist, den Roboter in Abhängigkeit von der anhand des Bildverarbeitungs-Systems erkannten räumlichen Anordnung des Menschen des MRK-Systems zu betreiben, insbesondere um Kollisionen zu vermeiden.
-
Gemäß einem weiteren Aspekt wird ein Verfahren zur Ermittlung von Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems beschrieben, um das Bildverarbeitungs-System zu befähigen, ein sich innerhalb einer Umgebung bewegendes Lebewesen innerhalb von Kamera-Bilddaten einer die Umgebung erfassenden Kamera zu identifizieren.
-
Das Verfahren umfasst das Erfassen von Kamera-Bilddaten in Bezug auf das Lebewesen mittels der Kamera, sowie das Ermitteln von Bewegungsdaten in Bezug auf eine Bewegung des Lebewesens. Das Verfahren umfasst ferner das Animieren eines Avatars des Lebewesens im Rahmen einer Computersimulation auf Basis der Bewegungsdaten, sowie das Ermitteln von simulierten Bilddaten auf Basis des animierten Avatars. Des Weiteren umfasst das Verfahren das Ermitteln einer Maske für einen Körperteil des Lebewesens auf Basis der simulierten Bilddaten, sowie das Identifizieren des Körperteils des Lebewesens innerhalb der Kamera-Bilddaten anhand der Maske. Außerdem umfasst das Verfahren das Labeln der Kamera-Bilddaten mit einem Label, der anzeigt, wo der Körperteil innerhalb der Kamera-Bilddaten dargestellt ist, wobei die Trainingsdaten die Kamera-Bilddaten mit dem Label umfassen.
-
Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
-
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
-
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
- 1 ein Bockdiagramm eines beispielhaften MRK-Systems;
- 2 ein beispielhaftes Kamera-Bild, das von einer Kamera des MRK-Systems erfasst wurde;
- 3 ein beispielhaftes simuliertes Bild; und
- 4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Ermittlung von Trainingsdaten.
-
Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten Bereitstellung von qualitativ hochwertigen Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems, das insbesondere in einem MRK-System dazu genutzt werden kann, die Position von einzelnen Körperteilen eines in dem MRK-System arbeitenden Menschen zu detektieren.
-
1 zeigt ein beispielhaftes MRK-System 100. Das MRK-System umfasst einen Roboter 110, der z.B. einen Arm 112 aufweist, der über ein oder mehrere Gelenke 111 durch elektrische Aktuatoren (nicht dargestellt) bewegt werden kann. Der Roboter 110 kann im Rahmen der Montage eines Bauteils 101 eingesetzt werden. Beispielsweise kann der Roboter 110 dazu verwendet werden, ein zu montierendes Bauteil 101 zu bewegen und/oder zu tragen. Als Teil des MRK-Systems 100 führt zumindest ein Mensch 120 ein oder mehrere manuelle Tätigkeiten bzw. Prozessschritte aus. Beispielsweise kann der Mensch 120 ein zu montierendes Bauteil 101 an einem zu fertigenden Produkt fixieren.
-
Das MRK-System 100 umfasst zumindest einen Bildkamera 130 (insbesondere zumindest eine dreidimensionale (3D) Kamera bzw. eine Stereokamera), die eingerichtet ist, Bilddaten 132 in Bezug auf das MRK-System 100, insbesondere in Bezug auf den Menschen 120 und/oder in Bezug auf den Roboter 110 zu erfassen. Die Bilddaten 130 können eine zeitliche Sequenz von Kamera-Bildern umfassen, wobei jedes Bild den Menschen 120 und ggf. den Roboter 110 anzeigt.
-
Der Mensch 120 kann einen Motion-Capture-Anzug, bzw. einen Bewegungserfassungsanzug, mit einer Mehrzahl von Bewegungssensoren 123 und/oder Markern an einer Mehrzahl von unterschiedlichen Körperteilen 121 des Menschen 120 aufweisen. Die Bewegungssensoren 123 können eingerichtet sein, Bewegungsdaten 122 in Bezug auf die Bewegung des Menschen 120 zu erfassen und bereitzustellen.
-
2 zeigt ein beispielhaftes Kamera-Bild 200 der Bilddaten 132. Das Bild 200 umfasst eine bildliche Darstellung 220 des Menschen 120 mit unterschiedlichen Teilbereichen 221 für unterschiedliche Körperteile 121 des Menschen 120. Des Weiteren umfasst das Bild 200 ggf. eine bildliche Darstellung 201 des Bauteils 101 und ggf. eine bildliche Darstellung 210 des Roboters 110.
-
Eine Verarbeitungs- und/oder Steuereinheit 131 (in diesem Dokument auch als Vorrichtung bezeichnet) kann eingerichtet sein, auf Basis der Bewegungsdaten 122 in Bezug auf die Bewegung der unterschiedlichen Körperteile 121 des Menschen 120 und ggf. auf Basis von Bewegungsdaten in Bezug auf eine Bewegung des Roboters 110 die tatsächliche Situation in dem MRK-System 100 mittels einer Computersituation, z.B. innerhalb eines sogenannten Gaming Engines, zu simulieren. Innerhalb der Computersimulation kann der Mensch 120 durch einen Avatar repräsentiert werden, wobei sich die unterschiedlichen Körperteile des Avatars so bewegen, wie dies durch die Bewegungsdaten 122 des Menschen 120 angezeigt wird. Ein innerhalb der Computersimulation repräsentierter Roboter 110 kann sich dabei derart bewegen, wie durch die Bewegungsdaten (z.B. durch die Kontrolldaten zur Ansteuerung des Roboters 110) beschrieben.
-
Auf Basis der Computersimulation kann, wie in 3 dargestellt, eine Sequenz von simulierten Bildern 300 erzeugt werden, wobei die Sequenz von simulierten Bildern 300 der in den Bilddaten 132 enthaltenen Sequenz von Kamera-Bildern 200 entspricht. Insbesondere kann für ein Kamera-Bild 200 ein entsprechendes simuliertes Bild 300 bereitgestellt werden. Das simulierte Bild 300 umfasst eine bildliche Darstellung bzw. einen Avatar 320 des Menschen 120. Dabei ist innerhalb des simulierten Bildes 300 bekannt, in welchen Teilbereichen 321 die einzelnen Körperteile 121 des Avatars 320 angeordnet sind. Des Weiteren ist bekannt, um welchen Typ von Körperteil 121 es sich jeweils handelt. Folglich weisen die einzelnen Körperteile 121 des simulierten Bildes 300 bereits Label 322 auf, die anzeigen, um welchen Körperteil 121 es sich jeweils handelt. Die unterschiedlichen Label 322 sind in 3 durch unterschiedliche Schraffierungen dargestellt. Des Weiteren kann das simulierte Bild 300 eine graphische Darstellung bzw. Repräsentation 310 des Roboters 110 umfassen.
-
Der durch ein bestimmtes Körperteil 121 innerhalb des simulierten Bildes 300 belegte Teilbereich 321 des simulierten Bildes 300 kann als Maske 323 für diesen Körperteil 121 verwendet werden. Die Maske 323 aus dem simulierten Bild 300 kann mit dem (zeitlich) entsprechenden Kamera-Bild 200 überlagert werden, um innerhalb des Kamera-Bildes 200 den Teilbereich zu identifizierten, der dem bestimmten Körperteil 121 entspricht. Des Weiteren kann dem identifizierten Teilbereich innerhalb des Kamera-Bildes 200 der Label 322 der Maske 323 zugeordnet werden. Somit kann durch Übertragung von Masken 323 für unterschiedliche Körperteile 121 aus dem simulierten Bild 300 auf das Kamera-Bild 200 ein gelabeltes Kamera-Bild 200 mit Labeln 322 bereitgestellt werden. Das gelabelte Kamera-Bild 200 kann dann als Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems verwendet werden.
-
Im Rahmen einer Computersimulation kann somit eine Eins-zu-Eins Abbildung des tatsächlichen MRK-Systems 100 inklusive der ein oder mehreren Kameras 130 simuliert werden. Die Computersimulation kann dabei mit Messdaten aus dem tatsächlichen MRK-System 100 gespeist werden, insbesondere mit den Bewegungsdaten 122 in Bezug auf die Bewegung des Menschen 120 und/oder mit Bewegungs- bzw. Kontrolldaten in Bezug auf die Bewegung des Roboters 110. Innerhalb der Computersimulation kann dann in effizienter und präziser Weise eine Objekt-Maske 323 für ein zu identifizierendes Objekt 121 (insbesondere für ein Körperteil) innerhalb der Bilddaten 132 des tatsächlichen MRK-Systems 100 ermittelt werden. Beispielsweise können durch unterschiedliche Einfärbung von unterschiedlichen Teilbereichen 321 eines simulierten Bildes 300 aus der Computersimulation Objekt-Masken 323 für unterschiedliche Objekte 121 erstellt werden.
-
Die ein oder mehreren Objekt-Masken 323 können dann mit den Bilddaten 132 der Kamera 130 (und ggf. mit einer Sequenz von simulierten bzw. virtuellen Bildern 300) überlagert werden, um die Bilddaten 132 zu labeln und dann als Trainingsdaten bereitzustellen.
-
Die Trainingsdaten können dazu verwendet werden, ein Maschinen-erlerntes Bildverarbeitungs-System anzulernen, und dadurch zu befähigen, auf Basis der Bilddaten 132 einer Kamera 130 des MRK-Systems 100 die Position des Menschen 120 und ggf. die Position von ein oder mehreren Körperteilen 121 des Menschen 120 zu identifizieren und zu lokalisieren. Der Roboter 110 kann dann durch die Steuereinheit 131 in Abhängigkeit von der ermittelten Position des Menschen 120 bzw. der Position der ein oder mehreren Körperteile 121 des Menschen 120 betrieben werden, insbesondere um eine Kollision zwischen dem Roboter 110 und dem Menschen 120 zu vermeiden. So kann die Sicherheit eines MRK-System 100 erhöht werden.
-
4 zeigt ein Ablaufdiagramm eines beispielhaften (Computer-implementierten) Verfahrens 400 zur Ermittlung von Trainingsdaten zum Anlernen eines Bildverarbeitungs-Systems. Durch das Anlernen kann das Bildverarbeitungs-System befähigt werden, ein sich innerhalb einer Umgebung 100 (insbesondere innerhalb eines MRK-Systems) bewegendes Lebewesen 120 (insbesondere einen Menschen) innerhalb von Kamera-Bilddaten 132 einer die Umgebung 100 erfassenden Kamera 130 zu identifizieren. Die Kamera 130 kann eine Stereo- und/oder 3D-Kamera umfassen.
-
Das Verfahren 400 umfasst das Erfassen 401 von Kamera-Bilddaten 132 in Bezug auf das Lebewesen 120 mittels der Kamera 130. Die Kamera-Bilddaten 132 können eine zeitliche Sequenz von Kamera-Bildern 200 umfassen (z.B. mit einer zeitlichen Abfolge von 30 Bildern oder mehr pro Sekunde).
-
Des Weiteren kann das Verfahren 400 das Ermitteln 402 von Bewegungsdaten 122 in Bezug auf eine Bewegung des Lebewesens 120 umfassen. Insbesondere können die Bewegungsdaten 122 die Bewegung eines bestimmten Körperteils 121 des Lebewesens 120 anzeigen. Die Bewegungsdaten 122 können dabei anhand von Bewegungserfassungselementen 123 (z.B. mittels eines Motion Capture Suits) an dem Lebewesen 120 erfasst werden. Dabei können die Bewegungsdaten 122 zeitlich mit den Kamera-Bilddaten 132 synchronisiert sein, insbesondere derart, dass die Bewegung des Lebewesens 120, die zwischen zwei Kamera-Bildern 200 der Kamera-Bilddaten 132 erfolgt, durch einen Datensatz der Bewegungsdaten 122 beschrieben wird, der zeitlich mit den beiden Kamera-Bildern 200 synchronisiert ist (z.B. der den gleichen Zeitstempel aufweist wie zumindest eine der beiden Kamera-Bilder 200).
-
Des Weiteren umfasst das Verfahren 400 das Animieren 403 eines Avatars 320 des Lebewesens 120 im Rahmen einer Computersimulation auf Basis der Bewegungsdaten 122. Die Computersimulation kann dabei eine Simulation bzw. eine virtuelle Kopie der Umgebung 100 darstellen, in der sich das Lebewesen 120 bewegt. Der Avatar 320 des Lebewesens 120 kann dann anhand der Bewegungsdaten 122 innerhalb der virtuellen Kopie der Umgebung 100 entsprechend der Bewegung des Lebewesens 120 in der tatsächlichen Umgebung 100 bewegt werden.
-
Das Verfahren 400 umfasst ferner das Ermitteln 404 von simulierten Bilddaten auf Basis des animierten Avatars 320 und/oder auf Basis der Computersimulation. Dabei können mittels einer virtuellen Kamera, die eine der tatsächlichen Perspektive der tatsächlichen Kamera 130 entsprechende virtuelle Perspektive auf die virtuelle Kopie der Umgebung 100 aufweist, simulierte Bilddaten ermittelt werden, die den Kamera-Bilddaten 132 entsprechen. Insbesondere können die simulierten Bilddaten eine zeitliche Sequenz von simulierten Bildern 300 umfassen, die der zeitlichen Sequenz von Kamera-Bildern 200 entspricht, insbesondere gemäß einer Eins-zu-Eins Zuordnung zwischen einem Kamera-Bild 200 und einem simulierten Bild 300.
-
Außerdem umfasst das Verfahren 400 das Ermitteln 405 einer Maske 323 für einen Körperteil 121 des Lebewesens 120 auf Basis der simulierten Bilddaten. Die Position eines virtuellen Körperteils des Avatars 320 innerhalb der virtuellen Kopie der Umgebung 100 ist typischerweise innerhalb der Computersimulation bekannt. Somit kann in zuverlässiger Weise der Teilbereich 321 innerhalb eines simulierten Bildes 300 ermittelt werden, in dem sich der virtuelle Körperteil des Avatars 320 befindet. Dieser Teilbereich 321 kann dann als Maske 323 für das tatsächliche Körperteil 121 innerhalb des entsprechenden Kamera-Bildes 200 verwendet werden. In entsprechender Weise können für die Sequenz von simulierten Bildern 300 eine Sequenz von Masken 323 für die Sequenz von Kamera-Bildern 200 ermittelt werden.
-
Das Verfahren 400 umfasst ferner das Identifizieren 406 des Körperteils 121 des Lebewesens 120 innerhalb der Kamera-Bilddaten 132 anhand der Maske 323. Zu diesem Zweck kann die Maske 323 mit einem Kamera-Bild 200 überlagert werden. Insbesondere kann der Teilbereich des Kamera-Bildes 200, der der Maske 323 entspricht, als der Teilbereich identifiziert werden, in dem der Körperteil 121 des Lebewesens dargestellt ist. In entsprechender Weise kann durch die Sequenz von Masken 323 der Körperteil 121 in der Sequenz von Kamera-Bildern 200 identifiziert werden.
-
Wie bereits oben dargelegt, kann die Maske 323 für ein Körperteil 121 des Lebewesens 120 ggf. um einen bestimmten Toleranzwert größer sein als die eigentliche Fläche des virtuellen Körperteils des Avatars 320 in einem simulierten Bild 300. Die Maske 323 mit dem Toleranzbereich (z.B. mit 5%-15% zusätzlicher Fläche zu der eigentlichen Fläche des virtuellen Körperteils) kann dann mit dem entsprechenden Kamera-Bild 200 überlagert werden, so dass der Teilbereich des Kamera-Bildes 200 identifiziert werden kann, in dem der Körperteil 121 des Lebewesens 120 angeordnet ist. Es kann dann ein Bildverarbeitungsalgorithmus angewendet werden, um innerhalb des identifizierten Teilbereichs die Konturen des Körperteils 121 des Lebewesens 120 zu detektieren und basierend darauf in präziser Weise den Körperteil 121 innerhalb des Kamera-Bildes 200 zu labeln. Durch die Verwendung einer Maske 323 mit Toleranzbereich und durch die Anwendung von ein oder mehreren Bildverarbeitungsalgorithmen innerhalb der Maske 323 können Abweichungen zwischen dem simulierten Bild 300 und dem Kamera-Bild 200 in zuverlässiger Weise berücksichtigt und kompensiert werden. So kann die Güte des Labelling bzw. der Markierung der Kamera-Bilddaten 132 weiter erhöht werden.
-
Des Weiteren umfasst das Verfahren 400 das Labeln 407 der Kamera-Bilddaten 132 mit einem Label 322, der anzeigt, wo der Körperteil 121 innerhalb der Kamera-Bilddaten 132 dargestellt ist. Des Weiteren kann der Label 322 anzeigen, um welches Körperteil 121 es sich handelt. Diese Information kann über die Maske 323 bereitgestellt und aus der Computersimulation extrahiert werden. Die Trainingsdaten für das Bilderkennungs-System können dann die Kamera-Bilddaten 132 mit dem Label 322 umfassen.
-
Durch die Verwendung einer Computersimulation mit einem Avatar 320, der entsprechend der Bewegung eines tatsächlichen Lebewesens 120 innerhalb der Computersimulation bewegt wird, können in effizienter und präziser Weise Kamera-Bilddaten 132 in Bezug auf das tatsächliche Lebewesen 120 gelabelt werden, was es ermöglicht, große Mengen an qualitativ hochwertigen Trainingsdaten für ein Maschinen-erlerntes Bilderkennungs-System bereitzustellen.
-
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
