DE102022213773A1

DE102022213773A1 - Objektdetektionsvorrichtung, Objektdetektionsverfahren und computerlesbares Speichermedium

Info

Publication number: DE102022213773A1
Application number: DE102022213773.6A
Authority: DE
Inventors: Satoshi Lio; Kiichi Sugimoto; Kenta Nakao
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2021-12-22
Filing date: 2022-12-16
Publication date: 2023-06-22
Also published as: US20230196773A1; JP2023093167A

Abstract

Eine Objektdetektionsvorrichtung umfasst: eine Bilderfassungseinheit, die so konfiguriert ist, dass sie ein Bild zu einem vorbestimmten Zeitintervall erfasst; eine erste Bildverarbeitungseinheit, die so konfiguriert ist, dass sie ein Objekt aus dem erfassten Bild extrahiert; eine zweite Bildverarbeitungseinheit, die so konfiguriert ist, dass sie eine Vielzahl von Kandidatenbereichen des Objekts auf einem Bildschirm auf Grundlage einer Position des Objekts, das in einem vorhergehenden Frame des Bildes erfasst wurde, extrahiert; eine Vergleichseinheit, die so konfiguriert ist, dass sie das von der ersten Bildverarbeitungseinheit extrahierte Objekt und die Kandidatenbereiche mit einem Objekt vergleicht, das aus einem Bild in dem vorhergehenden Frame des Bildes extrahiert wurde; und eine Angabe-Einheit, die so konfiguriert ist, dass sie einen Kandidatenbereich eines aktuellen Frames, der mit dem aus dem Bild in dem vorhergehenden Frame extrahierten Objekt übereinstimmt, aus den Kandidatenbereichen auf Grundlage eines Vergleichsergebnisses der Vergleichseinheit angibt.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Objektdetektionsvorrichtung, ein Objektdetektionsverfahren und ein computerlesbares Speichermedium.
Hintergrund
Es gibt eine Objektdetektionsvorrichtung, die ein von einer Kamera oder dergleichen aufgenommenes Bild analysiert und ein Objekt in dem Bild detektiert. Die Objektdetektionsvorrichtung umfasst eine Vorrichtung, die eine Vielzahl von Objekten detektiert und jedes der Objekte verfolgt.
Patentliteratur 1 offenbart ein Objektverfolgungssystem mit einer Vielzahl von Detektionseinheiten, die jeweils ein Objekt aus einem erfassten Bild detektieren und ein Detektionsergebnis ausgeben, und einer integrierten Verfolgungseinheit, die auf Grundlage der von jeder der Detektionseinheiten ausgegebenen Detektionsergebnisse Positionsinformationen über ein in einem gemeinsamen Koordinatensystem dargestelltes Objekt berechnet. Die integrierte Verfolgungseinheit gibt die berechneten Positionsinformationen des Objekts in dem gemeinsamen Koordinatensystem aus. Die Detektionseinheit wandelt die Positionsinformationen des Objekts in dem gemeinsamen Koordinatensystem in Positionsinformationen um, die in einem individuellen Koordinatensystem dargestellt sind, das nur für die Kamera gilt, die ein Bild ausgibt, von dem ein Objekt detektiert werden soll, verfolgt das Objekt in dem individuellen Koordinatensystem, detektiert das Objekt auf Grundlage der in dem individuellen Koordinatensystem dargestellten Positionsinformationen und wandelt die Positionsinformationen des auf Grundlage der in dem individuellen Koordinatensystem dargestellten Positionsinformationen detektierten Objekts in die in dem gemeinsamen Koordinatensystem dargestellten Positionsinformationen um.
Liste der Entgegenhaltungen
Patentliteratur
Patentliteratur 1: Japanische Patentanmeldung Offenlegungsnummer 2020-107349
Darstellung der Erfindung
Technisches Problem
In einem Fall, in dem ein Objekt detektiert wird, besteht bei einem Detektionsfehler des Objekts in einem bestimmten Frame die Möglichkeit, dass dasselbe Objekt nicht angemessen bestimmt wird und dasselbe Objekt als ein anderes Objekt detektiert wird. Selbst wenn zum Beispiel ein mobiles Gerät mit einer Objektdetektionsvorrichtung so eingestellt ist, dass für dasselbe Objekt (ein bereits detektiertes Objekt) keine Warnung ausgegeben werden soll, wird eine Warnung ausgegeben, wenn dasselbe Objekt als ein anderes Objekt detektiert wird, in der Annahme, dass ein neues Objekt detektiert wird. Wenn die Detektionsgenauigkeit desselben Objekts gering ist, wird daher die Arbeitseffizienz verringert, da ein Prozess zur Beseitigung der Warnung erzeugt wird oder die Arbeit durch den Alarm vorübergehend unterbrochen wird.
Zumindest eine Ausführungsform der vorliegenden Offenbarung wurde entwickelt, um die oben beschriebenen Probleme zu lösen, und ein Ziel der vorliegenden Offenbarung ist es, eine Objektdetektionsvorrichtung, ein Objektdetektionsverfahren und ein computerlesbares Speichermedium bereitzustellen, die einen Erfassungsfehler eines Objekts verhindern und dasselbe Objekt mit hoher Genauigkeit zuordnen können.
Lösung des Problems
Eine Objektdetektionsvorrichtung gemäß der vorliegenden Offenbarung umfasst: eine Bilderfassungseinheit, die so konfiguriert ist, dass sie ein Bild zu einem vorbestimmten Zeitintervall erfasst; eine erste Bildverarbeitungseinheit, die so konfiguriert ist, dass sie ein Objekt aus dem erfassten Bild extrahiert; eine zweite Bildverarbeitungseinheit, die so konfiguriert ist, dass sie eine Vielzahl von Kandidatenbereichen des Objekts in dem Bild extrahiert, basierend auf einer Position des Objekts, das in einem vorherigen Frame des Bildes erfasst wurde; eine Vergleichseinheit, die so konfiguriert ist, dass sie das von der ersten Bildverarbeitungseinheit extrahierte Objekt und die Kandidatenbereiche mit einem Objekt vergleicht, das aus einem Bild in dem vorhergehenden Frame des Bildes extrahiert wurde; und eine Angabe-Einheit, die so konfiguriert ist, dass sie einen Kandidatenbereich eines aktuellen Frames, der mit dem aus dem Bild in dem vorhergehenden Frame extrahierten Objekt übereinstimmt, aus den Kandidatenbereichen auf Grundlage eines Vergleichsergebnisses der Vergleichseinheit angibt.
Ein Objektdetektionsverfahren gemäß der vorliegenden Offenbarung umfasst: Erfassen eines Bildes zu einem vorbestimmten Zeitintervall; Extrahieren eines Objekts aus dem erfassten Bild; Extrahieren einer Vielzahl von Kandidatenbereichen des Objekts in dem Bild, basierend auf einer Position des Objekts, das in einem vorherigen Frame des Bildes erfasst wurde; Vergleichen des extrahierten Objekts und der Kandidatenbereiche mit einem Objekt, das aus einem Bild in dem vorherigen Frame des Bildes extrahiert wurde; und Angeben eines Kandidatenbereichs eines aktuellen Frames, der mit dem Objekt übereinstimmt, das aus dem Bild in dem vorherigen Frame extrahiert wurde, aus den Kandidatenbereichen, basierend auf einem Ergebnis des Vergleichs.
Ein nichtflüchtiges computerlesbares Speichermedium gemäß der vorliegenden Offenbarung speichert ein Programm, um einen Computer zu veranlassen, Folgendes auszuführen: Erfassen eines Bildes zu einem vorbestimmten Zeitintervall; Extrahieren eines Objekts aus dem erfassten Bild; Extrahieren einer Vielzahl von Kandidatenbereichen des Objekts in dem Bild, basierend auf einer Position des Objekts, das in einem vorherigen Frame des Bildes erfasst wurde; Vergleichen des extrahierten Objekts und der Kandidatenbereiche mit einem Objekt, das aus einem Bild in dem vorherigen Frame des Bildes extrahiert wurde; und Angeben eines Kandidatenbereichs eines aktuellen Frames, der mit dem Objekt übereinstimmt, das aus dem Bild in dem vorherigen Frame extrahiert wurde, aus den Kandidatenbereichen, basierend auf einem Ergebnis des Vergleichs.
Vorteilhafte Wirkungen der Erfindung
Die oben beschriebene Konfiguration kann vorteilhaft einen Detektionsfehler eines Objekts verhindern und dasselbe Objekt mit hoher Genauigkeit zuordnen.
Figurenliste

1 ist ein Blockdiagramm, das ein Beispiel für eine Objektdetektionsvorrichtung zeigt.
2 ist ein Ablaufdiagramm, das ein Beispiel für einen Prozess der Objektdetektionsvorrichtung zeigt.
3 ist ein erläuterndes Diagramm, das schematisch ein Beispiel für ein zu verarbeitendes Bild darstellt.
4 ist ein erklärendes Diagramm zur Erläuterung eines Beispiels für einen Prozess einer ersten Bildverarbeitungseinheit.
5 ist ein erklärendes Diagramm zur Erläuterung eines Beispiels für einen Prozess einer zweiten Bildverarbeitungseinheit.
6 ist ein erklärendes Diagramm zur Erläuterung eines Beispiels für einen Prozess einer Bildkorrektureinheit.

Beschreibung von Ausführungsformen
Nachfolgend wird eine Ausführungsform gemäß der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben. Es wird angemerkt, dass die Erfindung nicht auf diese Ausführungsform beschränkt ist. Darüber hinaus umfassen die Komponenten in der folgenden Ausführungsform Komponenten, die von einem Fachmann leicht ersetzt werden können, oder Komponenten, die im Wesentlichen gleich sind. Darüber hinaus können die nachfolgend beschriebenen Komponenten in geeigneter Weise miteinander kombiniert werden. Darüber hinaus können bei mehreren Ausführungsformen die Ausführungsformen auch miteinander kombiniert werden.
Objektdetektionsvorrichtung
1 ist ein Blockdiagramm, das ein Beispiel für eine Objektdetektionsvorrichtung zeigt. Eine Objektdetektionsvorrichtung 10 gemäß der vorliegenden Ausführungsform erfasst ein Bild und detektiert ein Objekt aus dem erfassten Bild. Die Objektdetektionsvorrichtung 10 detektiert wiederholt ein Objekt in dem Bild, das in einer bestimmten Zeiteinheit erhalten wird, und gibt unter einer Vielzahl von Objekten, die in Bildern zu verschiedenen Zeiten (verschiedenen Frames) enthalten sind, dasselbe Objekt an. Die Objektdetektionsvorrichtung 10 ist zum Beispiel in einem mobilen Körper, wie etwa einem Fahrzeug oder einem fliegenden Fahrzeug, oder in einem Gebäude installiert. Darüber hinaus ist das Objekt nicht konkret eingeschränkt und kann Objekte verschiedener Kategorien sein, wie etwa Menschen, Maschinen, Hunde, Katzen, Fahrzeuge und Pflanzen.
Wie in 1 dargestellt, umfasst die Objektdetektionsvorrichtung 10 eine Kameraeinheit 12, eine Verarbeitungseinheit 14 und eine Speichereinheit 16. Die Objektdetektionsvorrichtung 10 kann auch eine Eingabeeinheit, eine Ausgabeeinheit, eine Kommunikationseinheit und ähnliches umfassen. In diesem Beispiel ist die Ausgabeeinheit eine Anzeige, welche die Analyseergebnisse eines Bildes anzeigt, und ein Lautsprecher, eine lichtemittierende Vorrichtung, eine Anzeige oder ähnliches, der bzw. die einen Alarm auf Grundlage des Detektionsergebnisses ausgibt.
Die Kameraeinheit 12 erfasst ein Bild, das in einem Abbildungsbereich enthalten ist. Die Kameraeinheit 12 erfasst ein Bild in einem vorbestimmten Zeitintervall. Die Kameraeinheit 12 kann kontinuierlich Bilder mit einer vorbestimmten Bildrate bzw. Framerate erfassen bzw. aufnehmen oder ein Bild erfassen, das durch einen bestimmten Prozess ausgelöst wird.
Die Verarbeitungseinheit 14 umfasst einen integrierten Schaltkreis (Prozessor) wie etwa eine Zentraleinheit (CPU) und eine Grafikverarbeitungseinheit (GPU) sowie einen Speicher, der als Arbeitsbereich dient. Die Verarbeitungseinheit 14 führt verschiedene Prozesse aus, indem sie verschiedene Computerprogramme unter Verwendung dieser Hardwareressourcen ausführt. Insbesondere führt die Verarbeitungseinheit 14 verschiedene Prozesse aus, indem sie ein in der Speichereinheit 16 gespeichertes Computerprogramm liest, das Computerprogramm in einem Speicher entwickelt und den Prozessor veranlasst, die in dem im Speicher entwickelten Computerprogramm enthaltenen Anweisungen auszuführen. Die Verarbeitungseinheit 14 umfasst eine Bilderfassungseinheit (Bilddatenerfassungseinheit) 26, eine Bildkorrektureinheit 28, eine erste Bildverarbeitungseinheit 30, eine zweite Bildverarbeitungseinheit 31, eine Vergleichseinheit 32 und eine Angabe-Einheit 34. Bevor die Einheiten der Verarbeitungseinheit 14 beschrieben werden, wird die Speichereinheit 16 beschrieben.
Die Speichereinheit 16 enthält eine nichtflüchtige Speichervorrichtung, wie etwa eine magnetische Speichervorrichtung und eine Halbleiterspeichervorrichtung, und speichert verschiedene Computerprogramme und Daten. Die Speichereinheit 16 enthält ein Detektionsprogramm 36, ein Bildkorrekturprogramm 37, ein erstes Bildverarbeitungsprogramm 38, ein zweites Bildverarbeitungsprogramm 39, ein Vergleichsprogramm 40 und Verarbeitungsdaten 42.
Außerdem enthalten die in der Speichereinheit 16 gespeicherten Daten die Verarbeitungsdaten 42. Die Verarbeitungsdaten 42 umfassen Bilddaten, die von der Kameraeinheit 12 erfasst wurden, und die Position, die Größe, das Vergleichsergebnis oder ähnliches des Objekts, das aus den Bilddaten extrahiert wurde. Die Verarbeitungsdaten 42 können gemäß den Positionen der Objekte klassifiziert und gespeichert werden. Außerdem können die Verarbeitungsdaten 42 teilweise verarbeitete Daten enthalten. Darüber hinaus werden die Verarbeitungsbedingungen der einzelnen Computerprogramme und dergleichen in der Speichereinheit 16 gespeichert.
Die in der Speichereinheit 16 gespeicherten Computerprogramme umfassen das Detektionsprogramm 36, das Bildkorrekturprogramm 37, das erste Bildverarbeitungsprogramm 38, das zweite Bildverarbeitungsprogramm 39 und das Vergleichsprogramm 40. Das Detektionsprogramm 36 integriert die Operationen des Bildkorrekturprogramms 37, des ersten Bildverarbeitungsprogramms 38, des zweiten Bildverarbeitungsprogramms 39 und des Vergleichsprogramms 40 und führt einen Objektdetektionsprozess aus. Das Detektionsprogramm 36 führt einen Prozess des Detektierens eines Objekts aus einem Bild, des Vergleichens des Objekts und des Angebens jedes Objekts aus. Außerdem führt das Detektionsprogramm 36 einen Benachrichtigungsprozess auf Grundlage des Detektionsergebnisses aus.
Das Bildkorrekturprogramm 37 führt eine Bildverarbeitung an einem von der Kameraeinheit 12 erfassten Bild durch. Die Bildverarbeitung umfasst verschiedene Prozesse, die die Extraktionsgenauigkeit eines Objekts verbessern, wie etwa einen Verzerrungsprozess.
Das erste Bildverarbeitungsprogramm 38 führt eine Bildverarbeitung an dem von der Kameraeinheit 12 erfassten Bild durch und extrahiert ein in dem Bild enthaltenes Objekt. Als erstes Bildverarbeitungsprogramm 38 können verschiedene Programme verwendet werden, und es kann ein gelerntes Programm verwendet werden, das gelernt hat, ein Objekt mit einem Deep-Learning-Modell zu extrahieren. Das Deep-Learning-Modell kann detektieren, ob ein Objekt in einem Bild enthalten ist, indem es Begrenzungsboxen oder so genannte Anker für ein Bild festlegt und die Merkmalsmenge in jedem der Anker auf Grundlage der Einstellung verarbeitet. Das zu verwendende Deep-Learning-Modell umfasst Bereiche mit Faltungsneuronalen Netzen (R-CNN), You only look once (YOLO), Single-Shot-Multibox-Detektor (SSD) und dergleichen. Das erste Bildverarbeitungsprogramm 38 kann auch ein Objekt durch Mustervergleich oder ähnliches extrahieren. Das erste Bildverarbeitungsprogramm 38 berechnet Informationen über den Bereich, der die Position angibt, an der das Objekt extrahiert wurde, sowie Informationen, die die Merkmale innerhalb des Bereichs angeben. Das erste Bildverarbeitungsprogramm 38 speichert die extrahierten Informationen in den Verarbeitungsdaten 42.
Das zweite Bildverarbeitungsprogramm 39 bestimmt eine Vielzahl von Kandidatenbereichen auf Grundlage der Informationen über die Position des Objekts, die durch die Verarbeitung extrahiert werden, die an dem Bild vorgenommen wird, das aus dem vorherigen Frame (dem vorherigen Zeitpunkt) des von der Kameraeinheit 12 erfassten Bildes gewonnen wurde. Jeder der Kandidatenbereiche ist ein Bereich, der als ein Bereich extrahiert wurde, in dem sich das Objekt befinden könnte. Das zweite Bildverarbeitungsprogramm 39 bestimmt die Kandidatenbereiche auf Grundlage der Positionsinformationen des vorherigen Frames und der Bewegungsgeschwindigkeit des Objekts. Darüber hinaus bestimmt das zweite Bildverarbeitungsprogramm 39 die Kandidatenbereiche, die durch Kombination mehrerer Bewegungsgeschwindigkeiten und mehrerer Bewegungsrichtungen berechnet werden, wobei die Änderung der Bewegungsgeschwindigkeit, die Änderung der Bewegungsrichtung, die Änderung der Bereichsgröße und die Änderung des Seitenverhältnisses berücksichtigt werden. Auf Grundlage der Positionsinformationen des Objekts in dem vorherigen Frame schätzt das zweite Bildverarbeitungsprogramm 39 die Position des Objekts in dem Frame, indem es eine Verarbeitung mit einem Kalman-Filter durchführt.
Das Vergleichsprogramm 40 vergleicht das in dem vorherigen Frame berechnete Objekt mit dem vom ersten Bildverarbeitungsprogramm 38 verarbeiteten und berechneten Objekt und den vom zweiten Bildverarbeitungsprogramm 39 berechneten Informationen über den Kandidatenbereich. Das Vergleichsprogramm 40 gibt dann an, ob das gleiche Objekt aus den Frames extrahiert wird, und gibt die Identität jedes Objekts an.
Das Detektionsprogramm 36, das erste Bildverarbeitungsprogramm 38, das zweite Bildverarbeitungsprogramm 39 und das Vergleichsprogramm 40 können in der Speichereinheit 16 installiert werden, indem das Detektionsprogramm 36, das Bildkorrekturprogramm 37, das erste Bildverarbeitungsprogramm 38, das zweite Bildverarbeitungsprogramm 39 und das Vergleichsprogramm 40 gelesen werden, die in einem (nichtflüchtigen) computerlesbaren Medium gespeichert sind. Das Detektionsprogramm 36, das erste Bildverarbeitungsprogramm 38, das zweite Bildverarbeitungsprogramm 39 und das Vergleichsprogramm 40 können auch in der Speichereinheit 16 installiert werden, indem das Detektionsprogramm 36, das erste Bildverarbeitungsprogramm 38, das zweite Bildverarbeitungsprogramm 39 und das Vergleichsprogramm 40 gelesen werden, die über das Netzwerk bereitgestellt werden.
Nun werden die Funktionen der Einheiten der Verarbeitungseinheit 14 beschrieben. Jede der Einheiten der Verarbeitungseinheit 14 führt eine Funktion durch, indem sie das in der Speichereinheit 16 gespeicherte Computerprogramm verarbeitet. Die Bilderfassungseinheit 26 erfasst die Daten des von der Kameraeinheit 12 erfassten Bildes. Die Bildkorrektureinheit 28 führt eine Korrekturverarbeitung an dem von der Bilderfassungseinheit 26 erfassten Bild durch. Die erste Bildverarbeitungseinheit 30 verarbeitet und führt das erste Bildverarbeitungsprogramm 38 aus. Die erste Bildverarbeitungseinheit 30 extrahiert ein Objekt aus einem Bild, das von der Bilderfassungseinheit 26 erfasst und von der Bildkorrektureinheit 28 korrigiert worden ist.
Die zweite Bildverarbeitungseinheit 31 verarbeitet und führt das zweite Bildverarbeitungsprogramm 39 aus. Die zweite Bildverarbeitungseinheit 31 berechnet die Kandidatenbereiche auf Grundlage der Informationen über die Position des Objekts, die in dem vorherigen Frame berechnet wurden, und der Informationen über die eingestellte Bewegungsrichtung, Bewegungsgeschwindigkeit, Bereichsgröße und das Seitenverhältnis.
Die Vergleichseinheit 32 wird durch Ausführen des Prozesses des Vergleichsprogramms 40 implementiert. Die Vergleichseinheit 32 vergleicht das Detektionsergebnis des vorherigen Frames mit den von der ersten Bildverarbeitungseinheit 30 verarbeiteten Informationen und den Informationen innerhalb der von der zweiten Bildverarbeitungseinheit 31 festgelegten Kandidatenbereiche und gibt die Informationen über das Vergleichsergebnis aus. Die Vergleichseinheit 32 berechnet die Ähnlichkeit zwischen dem Objekt in dem vorherigen Frame, das verglichen wurde, und jeder der von der ersten Bildverarbeitungseinheit 30 verarbeiteten Informationen und den Informationen innerhalb der von der zweiten Bildverarbeitungseinheit 31 festgelegten Kandidatenbereiche. In der vorliegenden Ausführungsform wird die Ähnlichkeit anhand von Werten zwischen Null und Eins berechnet. Je näher der Wert bei Eins liegt, desto größer ist die Ähnlichkeit, d.h. es besteht eine hohe Wahrscheinlichkeit, dass es sich bei den Objekten um dasselbe Objekt handelt. Der Wertebereich für die Ähnlichkeit ist lediglich ein Beispiel und kann gleich oder größer als Eins oder kleiner als Eins sein. In diesem Beispiel berechnet die Vergleichseinheit 32 die Ähnlichkeit auf Grundlage der Musterübereinstimmung der Bilder in dem Bereich, des Ausmaßes der Veränderung in dem Bereich, der durch Filterverarbeitung erhaltenen Informationen über das Ausmaß der Merkmale und dergleichen. Insbesondere kann die Vergleichseinheit 32 die Zwischenmerkmalmenge des Deep-Learning-Modells für jeden der zu vergleichenden Bereiche berechnen und den Kehrwert der Differenz zwischen den euklidischen Abständen der Merkmalmenge als Ähnlichkeit verwenden. Alternativ kann die Vergleichseinheit 32, wie in einem Siamesischen Netzwerk oder dergleichen, direkt den Abstand zwischen den beiden Bereichen durch das Deep-Learning-Modell berechnen und den Kehrwert des berechneten Abstands als Ähnlichkeit verwenden. Darüber hinaus kann die Vergleichseinheit 32 die Ähnlichkeit auf Grundlage der Musterübereinstimmung der Bilder in dem Bereich, des Ausmaßes der Veränderung in dem Bereich, der durch Filterverarbeitung erhaltenen Informationen über das Ausmaß der Merkmale und dergleichen berechnen.
Die Angabe-Einheit 34 wird durch Ausführen des Prozesses des Vergleichsprogramms 40 implementiert. Auf Grundlage des Vergleichsergebnisses der Vergleichseinheit 32 gibt die Angabe-Einheit 34 das gleiche Objekt (das gleiche Subjekt) in den Frames an. Auf Grundlage des Vergleichsergebnisses der Vergleichseinheit 32 bestimmt die Angabe-Einheit 34 den Kandidatenbereich in dem aktuellen Frame, der mit dem aus dem Bild in dem vorherigen Frame extrahierten Objekt übereinstimmt, aus den Kandidatenbereichen. Die Angabe-Einheit 34 ordnet das Objekt in dem vorherigen Frame dem
Objekt in dem aktuellen Frame, das von der ersten Bildverarbeitungseinheit 30 detektiert wurde, und den Kandidatenbereichen des aktuellen Frames, die von der zweiten Bildverarbeitungseinheit 31 berechnet wurden, zu, d.h. die Angabe-Einheit 34 bestimmt den Bereich in dem aktuellen Frame, in dem das gleiche Objekt wie in dem vorherigen Frame erfasst wurde. Um das gleiche Objekt zu bestimmen, kann eine Zuordnungstechnik wie der ungarische Algorithmus verwendet werden, und das Objekt mit der größten Ähnlichkeit (oder dem kürzesten Abstand, wenn der Abstand zwischen den oben beschriebenen Merkmalsmengen als Ähnlichkeit verwendet wird) kann ausgewählt werden, wenn die gesamte Kombination berücksichtigt wird. Wenn der Abstand gleich oder größer als ein Schwellenwert ist, kann bei der Ermittlung der optimalen Kombination außerdem davon ausgegangen werden, dass es kein ähnliches Merkmal gibt, und der Kandidat wird ausgeschlossen.
Eine Benachrichtigungsverarbeitungseinheit 35 wird implementiert, indem sie den Prozess des Detektionsprogramms 36 ausführt. Die Benachrichtigungsverarbeitungseinheit 35 führt den Benachrichtigungsprozess auf Grundlage des Angabeergebnisses der Angabe-Einheit 34 aus. Die Benachrichtigungsverarbeitungseinheit 35 führt einen Prozess der Benachrichtigung des Benutzers über das angegebene Ergebnis durch, und wenn das Angabeergebnis die Kriterien der Benachrichtigung erfüllt, führt sie einen Prozess der Benachrichtigung des Benutzers über das Angabeergebnis und dergleichen durch. Zu den Kriterien der Benachrichtigung gehört, wenn das Objekt innerhalb des eingestellten Bereichs liegt oder wenn ein neues Objekt detektiert wird. Außerdem kann eingestellt werden, dass der Benutzer nicht benachrichtigt wird, wenn das Objekt, das in der Vergangenheit angegeben wurde und das von dem zu benachrichtigenden Objekt ausgeschlossen ist, in den festgelegten Bereich eintritt. Es wird angemerkt, dass in der vorliegenden Ausführungsform zwar die Benachrichtigungsverarbeitungseinheit 35 vorgesehen ist, die Objektdetektionsvorrichtung 10 aber auch eine Vorrichtung sein kann, die die Benachrichtigungsverarbeitungseinheit 35 nicht enthält und den Erfassungsprozess durchführt.
Nachfolgend wird unter Bezugnahme auf 2 bis 6 ein Beispiel für den Prozess der Objektdetektionsvorrichtung 10 beschrieben. 2 ist ein Ablaufdiagramm, das ein Beispiel für einen Prozess der Objektdetektionsvorrichtung darstellt. 3 ist ein erläuterndes Diagramm, das schematisch ein Beispiel für ein zu verarbeitendes Bild darstellt. 4 ist ein erklärendes Diagramm zur Erläuterung eines Beispiels für einen Prozess einer ersten Bildverarbeitungseinheit. 5 ist ein erklärendes Diagramm zur Erläuterung eines Beispiels für einen Prozess einer zweiten Bildverarbeitungseinheit. 6 ist ein erklärendes Diagramm zur Erläuterung eines Beispiels für einen Prozess einer Bildkorrektureinheit. Im Folgenden wird davon ausgegangen, dass das Objekt ein Mensch ist.
Die Objektdetektionsvorrichtung 10 erfasst Bilddaten, die von der Kameraeinheit 12 durch die Bilderfassungseinheit 26 erfasst werden (Schritt S12). In der vorliegenden Ausführungsform wird, wie in 3 dargestellt, ein Bild 100 in dem vorherigen Frame erfasst, und dann wird ein Bild 100a in dem zu verarbeitenden Frame erfasst. In dem Bild 100 des vorherigen Frames befindet sich eine Person 102 in einem Bereich 104. In dem Bild 100a des zu verarbeitenden Frame hat sich die Person 102 an die Position einer Person 102a bewegt. Außerdem ist eine Person 101 in dem Bild 100 die Position der Person 102 in dem Bild des vorletzten Frames.
Die Objektdetektionsvorrichtung 10 führt einen Verzerrungskorrekturprozess durch die Bildkorrektureinheit 28 durch (Schritt S14). In der vorliegenden Ausführungsform ist der von der Bildkorrektureinheit 28 ausgeführte Prozess nicht auf die Verzerrungskorrektur beschränkt, obwohl der Verzerrungskorrekturprozess als Beispiel ausgeführt wird. Die Objektdetektionsvorrichtung 10 überträgt das Bild, auf das die Bildverarbeitung angewendet wird, an die erste Bildverarbeitungseinheit 30 und die zweite Bildverarbeitungseinheit 31. Die Objektdetektionsvorrichtung 10 führt die Verarbeitung der ersten Bildverarbeitungseinheit 30 und die Verarbeitung der zweiten Bildverarbeitungseinheit 31 parallel durch.
Die Objektdetektionsvorrichtung 10 extrahiert ein Objekt durch die erste Bildverarbeitungseinheit 30 (Schritt S16). Wie in 4 dargestellt, führt die Objektdetektionsvorrichtung 10 im Fall des Bildes 100a eine Verarbeitung des Bildes 100a durch und extrahiert einen Bereich 110, in dem die Person 102a angezeigt wird.
Die Objektdetektionsvorrichtung 10 extrahiert die von der zweiten Bildverarbeitungseinheit 31 detektierten Kandidatenbereiche (Schritt S18). Wie in 5 dargestellt, extrahiert die Objektdetektionsvorrichtung 10 im Fall des Bildes 100a auf Grundlage des Bereichs 104, der auf der Basis des Objekts 102 im Bild 100 des vorherigen Frames extrahiert wurde, eine Vielzahl von Kandidatenbereichen 120a, 120b, 120c, 120d, 120e und 120f. Die zweite Bildverarbeitungseinheit 31 verarbeitet die Informationen über das Bild, denen die Position des Objekts in Zeitreihen zugeordnet ist, unter Verwendung eines Kalman-Filters und schätzt die Bewegungsgeschwindigkeit des Objekts. Darüber hinaus berechnet die zweite Bildverarbeitungseinheit 31 auf Grundlage der geschätzten Bewegungsgeschwindigkeit mehrere Bewegungsgeschwindigkeiten, wenn die Bewegungsgeschwindigkeit geändert wird. Auf Grundlage des Bereichs 104 berechnet die zweite Bildverarbeitungseinheit 31 mehrere Bewegungsrichtungen. Die zweite Bildverarbeitungseinheit 31 kombiniert jede der berechneten Bewegungsgeschwindigkeiten und jede der Bewegungsgeschwindigkeiten und berechnet die Kandidatenbereiche auf Grundlage der Position des Bereichs 104. In der vorliegenden Ausführungsform gibt es sechs Kandidatenbereiche. Die Anzahl der Kandidatenbereiche ist jedoch nicht darauf beschränkt. Wenn die geschätzte Geschwindigkeit größer als ein Schwellenwert ist, kann die zweite Bildverarbeitungseinheit 31 den Kandidatenbereich durch Einstellung mehrerer Geschwindigkeiten festlegen. Wenn die geschätzte Geschwindigkeit gleich oder kleiner als ein Schwellenwert ist, kann die zweite Bildverarbeitungseinheit 31 den Kandidatenbereich festlegen, indem sie anstelle der Geschwindigkeit einen festen Fehler an der Position festlegt.
Die Objektdetektionsvorrichtung 10 führt unter Verwendung des Detektionsergebnisses der ersten Bildverarbeitungseinheit 30 durch die zweite Bildverarbeitungseinheit 31 einen Überlappungsentfernungsprozess durch (Schritt S20). Die zweite Bildverarbeitungseinheit 31 detektiert, ob es unter den Kandidatenbereichen einen Bereich gibt, der sich mit dem Bereich des Objekts 102a überschneidet, der in dem Bild 100a von der ersten Bildverarbeitungseinheit 30 detektiert wurde. Die zweite Bildverarbeitungseinheit 31 entfernt dann den Bereich, der sich mit dem Bereich des von der ersten Bildverarbeitungseinheit 30 detektierten Objekts überschneidet, aus den Kandidatenbereichen. Im Fall des in 5 dargestellten Bildes 100 bestimmt die zweite Bildverarbeitungseinheit 31, dass sich der Kandidatenbereich 120f weitgehend mit dem Bereich 110 überlappt, und entfernt den Kandidatenbereich 120f aus den Kandidatenbereichen. Zusätzlich zu dem Fall, dass der Bereich des Objekts 102a vollständig mit dem Kandidatenbereich übereinstimmt, kann die zweite Bildverarbeitungseinheit 31 feststellen, dass der Bereich mit dem Kandidatenbereich übereinstimmt, wenn sich der Bereich mit dem Kandidatenbereich in einem Verhältnis überlappt, das gleich oder größer als der Schwellenwert ist. Der Schwellenwert ist das Verhältnis, das bestimmt, ob der Bestimmungsprozess für dasselbe Objekt durchgeführt wird.
Die Objektdetektionsvorrichtung 10 extrahiert eine Merkmalsmenge des Bereichs, in dem eine Person detektiert wird, und jedes der Kandidatenbereiche, durch die Vergleichseinheit 32 (Schritt S22). Die Objektdetektionsvorrichtung 10 extrahiert Informationen über die Merkmalsmenge, die als Basis für den Vergleich dient, für den Bereich 110 in dem Bild 100a und die Bereiche, die den Kandidatenbereichen 120a, 120b, 120c, 120d, 120e und 120f in dem Bild 100a entsprechen.
Die Objektdetektionsvorrichtung 10 vergleicht das Ergebnis mit dem vergangenen Detektionsergebnis durch die Vergleichseinheit (Schritt S24). In der vorliegenden Ausführungsform vergleicht die Objektdetektionsvorrichtung 10 die Merkmalsmenge des Bereichs 104 im Bild 100 mit der Merkmalsmenge des Bereichs 110 im Bild 100a und jedem der Bereiche, die den Kandidatenbereichen 120a, 120b, 120c, 120d, 120e und 120f in dem Bild 100a entsprechen.
Auf Grundlage des Vergleichsergebnisses gibt die Objektdetektionsvorrichtung 10 die Bewegung einer Person an und verwaltet die Person in dem Bild auf Grundlage der Bewegung durch die Angabe-Einheit 34 (Schritt S26). Auf Grundlage des von der Vergleichseinheit 32 berechneten Vergleichsergebnisses gibt die Angabe-Einheit 34 die Ähnlichkeit zwischen dem Objekt in dem Bild 100 und dem Objekt in dem Bild 100a an, und gibt die Bewegung des Objekts an, um die Bewegung der Position des Objekts oder der Person in der vorliegenden Ausführungsform anzugeben. Die Angabe-Einheit 34 bestimmt, ob die Person in dem vorherigen Frame in dem aktuellen Frame ist oder ob eine neue Person im aktuellen Frame ist. Insbesondere vergleicht die Angabe-Einheit 34 die Ähnlichkeit des Personenbereichs im vorherigen Frame mit dem Personenbereich im aktuellen Frame und den Personenbereichskandidaten, erhält die Kombination mit der höchsten Ähnlichkeit und berechnet, ob die Person im vorherigen Frame mit dem Personenbereich im aktuellen Frame oder einem der Personenbereichskandidaten verbunden ist. Wenn der Personenbereich im vorherigen Frame nichts zugeordnet ist bzw. werden kann, bestimmt die Angabe-Einheit 34, dass sich die Person hinter etwas im aktuellen Bildframe versteckt oder dass die Person aus dem Bild herausgetreten ist. Wenn der Personenbereich im aktuellen Frame nichts zugeordnet werden kann, bestimmt die Angabe-Einheit 34, dass eine neue Person erschienen ist. Wenn die Kandidaten für den Personenbereich im aktuellen Frame nichts zugeordnet werden können, bestimmt die Angabe-Einheit 34, dass es sich bei dem Bereich nicht um den Personenbereich handelt, und entfernt den Bereich.
Die Objektdetektionsvorrichtung 10 aktualisiert die Daten auf Grundlage des Angabeergebnisses (Schritt S28). Insbesondere aktualisiert die Objektdetektionsvorrichtung 10 während des nächsten Prozesses die Informationen über den Bereich des Objekts in dem Bild 100a, der dem vorherigen Frame entspricht. Darüber hinaus aktualisiert die Objektdetektionsvorrichtung 10 die Informationen über die Bewegungsgeschwindigkeit und die Bewegungsrichtung auf Grundlage der Einstellungen.
Die Objektdetektionsvorrichtung 10 führt auf Grundlage des Detektionsergebnisses durch die Benachrichtigungsverarbeitungseinheit 35 einen Benachrichtigungsprozess durch (Schritt S30).
Die Objektdetektionsvorrichtung 10 extrahiert ein Objekt durch die erste Bildverarbeitungseinheit 30, extrahiert eine Vielzahl von Kandidatenbereichen, zu denen sich das Objekt auf Grundlage des Detektionsergebnisses des vorherigen Frames durch die zweite Bildverarbeitungseinheit 31 bewegt haben könnte, und führt einen Prozess der Bestimmung durch, ob es das gleiche Objekt wie das im vorherigen Frame für jedes der Extraktionsergebnisse gibt. Folglich ist es möglich, einen Detektionsfehler des gleichen Objekts zu verhindern und das gleiche Objekt mit hoher Genauigkeit zu detektieren. Das heißt, selbst wenn das gleiche Objekt nicht von der ersten Bildverarbeitungseinheit 30 extrahiert werden kann, ist es möglich, das gleiche Objekt aus den Kandidatenbereichen zu bestimmen. Darüber hinaus ist es möglich, durch die Extraktion der Kandidatenbereiche durch die zweite Bildverarbeitungseinheit 31 die Möglichkeit eines Detektionsfehlers weiter zu verringern.
Wenn sich das durch die Bildverarbeitung extrahierte Objekt mit dem Kandidatenbereich überschneidet, kann die Objektdetektionsvorrichtung 10 den Kandidatenbereich entfernen. Dementsprechend ist es möglich, die Kandidatenbereiche zu verringern, in denen die Merkmalsmengenberechnung und die Ähnlichkeitsberechnung durchgeführt werden müssen, und den Berechnungsprozess zu verringern bzw. zu verschlanken. Es wird angemerkt, dass zur Verringerung des Berechnungsaufwands der Überlappungsentfernungsprozess in Schritt S20 in 2 bevorzugt durchgeführt wird, der Entfernungsprozess aber auch nicht durchgeführt werden kann.
Darüber hinaus kann die Objektdetektionsvorrichtung 10 so konfiguriert sein, dass sie die Historie der Identitätsbestimmungsergebnisse speichert (ob ein aktuelles Objekt als Objekt oder im Kandidatenbereich extrahiert wurde), und kann so konfiguriert sein, dass sie keine Zuordnung als dasselbe Objekt durchführt, wenn angenommen wird, dass sich kein Objekt in dem detektierten Bereich befindet und die Merkmale des Hintergrunds detektiert werden, wenn die Zuordnung auf Grundlage des Kandidatenbereichs für eine bestimmte Anzahl von Malen (z.B. zweimal) oder mehr fortgesetzt wird.
Durch die Durchführung des Verzerrungskorrekturprozesses als Bildkorrekturprozess kann die Objektdetektionsvorrichtung 10 die Detektionsgenauigkeit erhöhen. Insbesondere ist es, wie in 6 dargestellt, durch Ausführen des Verzerrungskorrekturprozesses an einem Bild 140, das einen sich bewegenden Körper 150 und Personen 152 und 154 enthält, und durch Erzeugen eines Bildes 140a möglich, die durch die Eigenschaften der Kameraeinheit 12 erzeugte Verzerrung zu korrigieren und zu verhindern, dass ein sich bewegender Körper 150a und Personen 152a und 154a durch die Sichtwinkelposition verzerrt werden. Folglich ist es zum Beispiel selbst in einem Bild, das von der Kameraeinheit 12 unter Verwendung eines Fischaugenobjektivs oder eines Weitwinkelobjektivs aufgenommen wurde und in dem der Unterschied in der Verzerrung durch die Position vergrößert wird, möglich, das gleiche Objekt in dem Bild mit einer hohen Genauigkeit zu detektieren. Das heißt, es ist möglich, die Veränderung der Form des Objekts durch die Position auf dem Bild zu unterdrücken und die Detektionsgenauigkeit und die Genauigkeit der Angabe des gleichen Objekts durch die erste Bildverarbeitungseinheit 30 zu erhöhen.
Bezugszeichenliste

10: Objektdetektionsvorrichtung
12: Kameraeinheit
14: Verarbeitungseinheit
16: Speichereinheit
26: Bilderfassungseinheit
28: Bildkorrektureinheit
30: erste Bildverarbeitungseinheit
31: zweite Bildverarbeitungseinheit
32: Vergleichseinheit
34: Angabe-Einheit
36: Detektionsprogramm
37: Bildkorrekturprogramm
38: erstes Bildverarbeitungsprogramm
39: zweites Bildverarbeitungsprogramm
40: Vergleichsprogramm
42: Verarbeitungsdaten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2020107349 [0004]

Claims

Objektdetektionsvorrichtung, umfassend: eine Bilderfassungseinheit, die konfiguriert ist, dass sie ein Bild zu einem vorbestimmten Zeitintervall erfasst; eine erste Bildverarbeitungseinheit, die konfiguriert ist, dass sie ein Objekt aus dem erfassten Bild extrahiert; eine zweite Bildverarbeitungseinheit, die konfiguriert ist, dass sie eine Vielzahl von Kandidatenbereichen des Objekts in dem Bild auf Grundlage einer Position des Objekts extrahiert, das in einem vorhergehenden Frame des Bildes erfasst wurde; eine Vergleichseinheit, die konfiguriert ist, dass sie das von der ersten Bildverarbeitungseinheit extrahierte Objekt und die Kandidatenbereiche mit einem Objekt vergleicht, das aus einem Bild in dem vorhergehenden Frame des Bildes extrahiert wurde; und eine Angabe-Einheit, die konfiguriert ist, dass sie einen Kandidatenbereich eines aktuellen Frames, der mit dem aus dem Bild in dem vorherigen Frame extrahierten Objekt übereinstimmt, aus den Kandidatenbereichen auf Grundlage eines Vergleichsergebnisses der Vergleichseinheit angibt.
Objektdetektionsvorrichtung nach Anspruch 1, wobei die erste Bildverarbeitungseinheit konfiguriert ist, dass sie ein Objekt durch ein erlerntes Programm extrahiert, das maschinelles Lernen durchgeführt hat.
Objektdetektionsvorrichtung nach Anspruch 1, wobei die zweite Bildverarbeitungseinheit konfiguriert ist, auf Grundlage der Position des Objekts, das in dem vorherigen Frame des Bildes erfasst wurde, eine Position als einen Kandidatenbereich zu extrahieren, der auf Grundlage von Informationen über die vergangene Bewegungshistorie erstellt wurde.
Objektdetektionsvorrichtung nach Anspruch 3, wobei die zweite Bildverarbeitungseinheit konfiguriert ist, dass sie die Informationen über die vergangene Bewegungshistorie unter Verwendung eines Kalman-Filters verarbeitet, eine Bewegungsgeschwindigkeit schätzt und den Kandidatenbereich auf Grundlage der geschätzten Bewegungsgeschwindigkeit bestimmt.
Objektdetektionsvorrichtung nach einem der Ansprüche 1 bis 4, ferner umfassend eine Bildkorrektureinheit, die konfiguriert ist, dass sie eine Verzerrungskorrektur an dem von der Bilderfassungseinheit erfassten Bild vornimmt.
Objektdetektionsvorrichtung nach einem der Ansprüche 1 bis 5, wobei die zweite Bildverarbeitungseinheit konfiguriert ist, dass sie einen Kandidatenbereich, der sich mit der Position des von der ersten Bildverarbeitungseinheit extrahierten Objekts überschneidet, aus einem zu verarbeitenden Objekt entfernt.
Objektdetektionsverfahren, umfassend: Erfassen eines Bildes zu einem vorbestimmten Zeitintervall; Extrahieren eines Objekts aus dem erfassten Bild; Extrahieren einer Vielzahl von Kandidatenbereichen des Objekts in dem Bild auf Grundlage einer Position des Objekts, das in einem vorhergehenden Frame des Bildes erfasst wurde; Vergleichen des extrahierten Objekts und der Kandidatenbereiche mit einem Objekt, das aus einem Bild im vorherigen Frame des Bildes extrahiert wurde; und Angeben eines Kandidatenbereichs eines aktuellen Frames, der mit dem aus dem Bild in dem vorherigen Frame extrahierten Objekt übereinstimmt, aus den Kandidatenbereichen auf Grundlage eines Ergebnisses des Vergleichs.
Nichtflüchtiges, computerlesbares Speichermedium, das ein Programm speichert, um einen Computer zu veranlassen, Folgendes auszuführen: Erfassen eines Bildes zu einem vorbestimmten Zeitintervall; Extrahieren eines Objekts aus dem erfassten Bild; Extrahieren einer Vielzahl von Kandidatenbereichen des Objekts in dem Bild auf Grundlage einer Position des Objekts, das in einem vorhergehenden Frame des Bildes erfasst wurde; Vergleichen des extrahierten Objekts und der Kandidatenbereiche mit einem Objekt, das aus einem Bild im vorherigen Frame des Bildes extrahiert wurde; und Angeben eines Kandidatenbereichs eines aktuellen Frames, der mit dem aus dem Bild in dem vorherigen Frame extrahierten Objekt übereinstimmt, aus den Kandidatenbereichen auf Grundlage eines Ergebnisses des Vergleichs.