DE112021005703T5 - Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren - Google Patents

Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren Download PDF

Info

Publication number
DE112021005703T5
DE112021005703T5 DE112021005703.0T DE112021005703T DE112021005703T5 DE 112021005703 T5 DE112021005703 T5 DE 112021005703T5 DE 112021005703 T DE112021005703 T DE 112021005703T DE 112021005703 T5 DE112021005703 T5 DE 112021005703T5
Authority
DE
Germany
Prior art keywords
area
feature
inertia
information processing
feature area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112021005703.0T
Other languages
English (en)
Inventor
Chao Zhang
Masaru Usunami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of DE112021005703T5 publication Critical patent/DE112021005703T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Eine Informationsverarbeitungseinrichtung enthält einen Detektor, der einen Merkmalsbereich mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild erfasst, und einen Separator, der den Merkmalsbereich entlang einer Hauptträgheitsachse des Merkmalsbereichs trennt.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Trennen eines Bereichs, der von einem aufgenommenen Bild erfasst wird.
  • Hintergrund der Erfindung
  • Bei der Erfassung eines vorbestimmten Objekts, wie z. B. eines Menschen, aus einem aufgenommenen Bild kann ein Bereich, der größer ist als der Bereich des vorbestimmten Objekts, erfasst werden, anstatt dass das vorbestimmte Objekt genau erfasst wird. Beispielsweise wird ein Bereich mit Bewegungen erfasst, und ein in dem erfassten Bereich enthaltenes Objekt wird als Mensch oder als anderes Objekt identifiziert. In diesem Fall kann ein Bereich einschließlich des Objekts und seines Schattens erfasst werden. Für den erfassten Bereich, der das Objekt und seinen Schatten enthält, kann der Schatten die Genauigkeit bei der Identifizierung des Objekts als Mensch oder als anderes Objekt verringern.
  • In der Patentliteratur 1 wird ein Verfahren zum Entfernen eines Schattens aus einem Hintergrundsubtraktionsbild (ein Bild, das ein Zielobjekt und seinen Schatten enthält) auf der Grundlage eines vorbestimmten Referenzluminanzwerts beschrieben.
  • Literaturverzeichnis
  • Patentliteratur
  • Patentliteratur 1: Japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr. 2008-245063
  • Zusammenfassung der Erfindung
  • Technisches Problem
  • Ein Bild, das in einer dunklen Umgebung oder mit Gegenlicht aufgenommen wurde, kann ein Objekt (Zielobjekt) enthalten, dessen Luminanzwert nahe am Luminanzwert seines Schattens liegt, so dass das in der Patentliteratur 1 beschriebene Verfahren den Schatten möglicherweise nicht genau entfernen kann (oder zumindest einen Teil des Objekts entfernen kann). Mit anderen Worten: Das in der Patentschrift 1 beschriebene Verfahren kann den Bereich, der ein Objekt und seinen Schatten enthält, nicht genau in einen Objektbereich und einen Schattenbereich unterteilen (trennen).
  • Als Reaktion auf die obigen Umstände sind ein oder mehrere Aspekte der vorliegenden Erfindung auf ein Verfahren zur richtigen Trennung eines erfassten Bereichs von einem aufgenommenen Bild gerichtet.
  • Lösung des Problems
  • Das Verfahren gemäß einem oder mehreren Aspekten der vorliegenden Erfindung weist die folgende Struktur auf.
  • Eine Informationsverarbeitungseinrichtung gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst einen Detektor, der einen Merkmalsbereich mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild erfasst, und einen Separator, der den Merkmalsbereich entlang einer Hauptträgheitsachse des Merkmalsbereichs trennt.
  • In vielen Fällen erstrecken sich zwei zu teilende (zu trennende) Objekte in unterschiedliche Richtungen. So erstreckt sich beispielsweise eine auf dem Boden stehende Person in einer Richtung, die im Wesentlichen senkrecht zum Boden verläuft, und der Schatten der Person erstreckt sich entlang des Bodens. Die obige Struktur trennt den erfassten Merkmalsbereich entlang einer Hauptträgheitsachse des Merkmalsbereichs. Dies ermöglicht eine richtige Aufteilung des Merkmalsbereichs (in zwei getrennte Bereiche, die den jeweils vorgesehenen zwei Objekten entsprechen).
  • Der Merkmalsbereich weist zwei Hauptträgheitsachsen auf und kann möglicherweise je nach der für die Trennung verwendeten Hauptträgheitsachse nicht richtig getrennt werden. Wenn sich also ein Schwerpunkt des Merkmalsbereichs in einem ersten Quadranten oder einem dritten Quadranten von vier Quadranten befindet, die mit einer horizontalen Achse und einer vertikalen Achse, die einen Mittelpunkt eines den Merkmalsbereich umschreibenden Rechtecks einschließt, erhalten werden, kann der Separator den Merkmalsbereich entlang einer von zwei Hauptträgheitsachsen des Merkmalsbereichs, einer Hauptträgheitsachse mit einer kleineren Deklination von der horizontalen Achse, trennen. Wenn der Schwerpunkt des Merkmalsbereichs in einem zweiten Quadranten oder einem vierten Quadranten der vier Quadranten liegt, kann der Separator den Merkmalsbereich entlang, von den zwei Hauptträgheitsachsen des Merkmalsbereichs, einer Hauptträgheitsachse mit einer größeren Deklination von der horizontalen Achse, trennen. Dies ermöglicht eine richtigere (und zuverlässigere) Trennung des Merkmalsbereichs.
  • Die Verwendung einer Hauptträgheitsachse kann z. B. bei der Trennung eines erfassten Merkmalsbereichs, der im Wesentlichen einem Bereich eines nicht zu trennenden Objekts entspricht, ungeeignet sein. Ein solcher Merkmalsbereich neigt dazu, einen großen Anteil eines Rechtecks einzunehmen, das den Merkmalsbereich umschreibt. Daher kann die Informationsverarbeitungseinrichtung weiterhin einen Bestimmer enthalten, der bestimmt, ob zwei getrennte Bereiche, die durch Trennen des Merkmalsbereichs mit dem Separator erhalten wurden, verwendet werden oder der Merkmalsbereich verwendet wird. Wenn ein Bewertungswert, der einem Anteil des Merkmalsbereichs entspricht, der ein den Merkmalsbereich umschreibendes Rechteck einnimmt, kleiner als ein vorbestimmter Schwellenwert ist, kann der Bestimmer bestimmen, dass die beiden getrennten Bereiche verwendet werden. Wenn der Bewertungswert größer oder gleich dem vorbestimmten Schwellenwert ist, kann der Bestimmer bestimmen, dass der Merkmalsbereich verwendet wird. Dies ermöglicht eine genauere Trennung des Merkmalsbereichs (Verwendung der resultierenden getrennten Bereiche, wenn der Merkmalsbereich getrennt werden soll, und Verwendung des Merkmalsbereichs anstelle der resultierenden getrennten Bereiche, wenn der Merkmalsbereich nicht getrennt werden soll).
  • Der Bewertungswert kann ein Anteil einer Gesamtfläche der Rechtecke, die die beiden getrennten Bereiche umschreiben, zu einer Fläche des Rechtecks sein, das den Merkmalsbereich umschreibt. Der Bewertungswert kann ein Anteil einer logischen Summe der Flächen der Rechtecke, die die beiden getrennten Bereiche umschreiben, zu einer Fläche des Rechtecks, das den Merkmalsbereich umschreibt, sein.
  • Die Informationsverarbeitungseinrichtung kann ferner einen Identifikator enthalten, der ein Objekt identifiziert, das in einem Rechteck enthalten ist, das einen Bereich umschreibt, der als ein vorbestimmtes Objekt oder ein anderes Objekt verwendet werden soll. Wenn die beiden getrennten Bereiche verwendet werden sollen, kann der Identifikator ein Objekt, das in einem Rechteck enthalten ist, das jeden der beiden getrennten Bereiche umschreibt, als das vorbestimmte Objekt oder ein anderes Objekt identifizieren. Dies ermöglicht eine genaue Identifizierung (Erfassung) des vorbestimmten Objekts. Zum Beispiel wird der Merkmalsbereich, der das vorbestimmte Objekt enthält, in separate Bereiche aufgeteilt, die dem Bereich des vorbestimmten Objekts ähnlich sind. Dies ermöglicht eine genauere Identifizierung (Erfassung) des Objekts, das in dem Rechteck enthalten ist, das die resultierenden getrennten Bereiche umschreibt, als das vorgegebene Objekt, als wenn das Rechteck verwendet wird, das den Merkmalsbereich umschreibt.
  • Das vorbestimmte Objekt kann ein Mensch sein. Dies ermöglicht die genaue Identifizierung (Erfassung) eines Menschen.
  • Der Detektor kann einen Bereich mit einer Bewegung als Merkmalsbereich erfassen. Der Detektor kann einen Bereich mit einem Pixelwert innerhalb eines vorbestimmten Bereichs als den Merkmalsbereich erfassen. Der Detektor kann einen Bereich, der von einer Kante umgeben ist, als den Merkmalsbereich erfassen.
  • Ein Informationsverarbeitungsverfahren gemäß einem zweiten Aspekt der vorliegenden Erfindung umfasst ein Erfassen eines Merkmalsbereichs mit einem vorbestimmten Merkmal aus einem erfassten Bild und das Trennen des Merkmalsbereichs entlang einer Hauptträgheitsachse des Merkmalsbereichs.
  • Ein oder mehrere Aspekte der vorliegenden Erfindung können auf ein Informationsverarbeitungssystem, eine Personendetektionseinrichtung oder ein Personendetektionssystem gerichtet sein, das zumindest einen Teil der oben genannten Struktur oder Funktionen enthält. Ein oder mehrere Aspekte der vorliegenden Erfindung können auch auf ein Informationsverarbeitungsverfahren, ein Personendetektionsverfahren, ein Verfahren zur Steuerung eines Informationsverarbeitungssystems oder eines Personendetektionssystems, das mindestens einen der oben genannten Prozesse umfasst, ein Programm, das einen Computer veranlasst, ein solches Verfahren durchzuführen, oder ein nichttransitorisches computerlesbares Aufzeichnungsmedium, das ein solches Programm speichert, gerichtet sein. Die vorliegende Erfindung kann durch die Kombination der oben genannten Strukturen und Verfahren in jeder möglichen Weise umgesetzt werden, sofern sich kein technischer Widerspruch ergibt.
  • Vorteilhafte Wirkungen der Erfindung
  • Das Verfahren gemäß den oben genannten Aspekten der vorliegenden Erfindung ermöglicht eine geeignete Trennung eines Bereichs, der aus einem aufgenommenen Bild erkannt wurde.
  • Figurenliste
    • [1] 1 ist ein Blockdiagramm einer Informationsverarbeitungseinrichtung gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung, das ein Strukturbeispiel zeigt.
    • [2] 2 ist ein Blockdiagramm einer Kamera (Informationsverarbeitungseinrichtung) gemäß einer ersten Ausführungsform der vorliegenden Erfindung und zeigt ein Strukturbeispiel.
    • [3] 3 ist ein Flussdiagramm eines Beispielprozesses, der von der Kamera gemäß der ersten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
    • [4] 4 ist ein Diagramm, das ein spezifisches Betriebsbeispiel der Kamera gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
    • [5] 5 ist ein Diagramm, das ein spezifisches Betriebsbeispiel der Kamera gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
    • [6] 6 ist ein Diagramm eines Beispiels für eine Anzeige in der ersten Ausführungsform der vorliegenden Erfindung.
    • [7] 7 ist ein Blockdiagramm einer Kamera (Informationsverarbeitungseinrichtung) gemäß einer zweiten Ausführungsform der vorliegenden Erfindung und zeigt ein Strukturbeispiel.
    • [8] 8 ist ein Flussdiagramm eines Beispielprozesses, der von der Kamera gemäß der zweiten Ausführungsform der vorliegenden Erfindung durchgeführt wird.
    • [9] 9 ist ein Diagramm, das ein spezifisches Betriebsbeispiel der Kamera gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt.
    • [10] Die 1 0A bis 10C sind Diagramme von Beispielen getrennter Bereiche.
  • Beschreibung der Ausführungsformen
  • <Anwendungsbeispiel>
  • Es wird ein Beispiel für die Anwendung einer Verfahren gemäß einer oder mehrerer Ausführungsformen der vorliegenden Erfindung beschrieben.
  • Ein bekanntes Verfahren kann ein vorbestimmtes Objekt wie einen Menschen ungenau erfassen, indem es aus einem aufgenommenen Bild einen Bereich erfasst, der größer ist als der Bereich des vorbestimmten Objekts. So wird z. B. ein Bereich mit Bewegungen erfasst, und ein in dem erfassten Bereich enthaltenes Objekt wird als Mensch oder als ein anderes Objekt identifiziert. In diesem Fall kann ein Bereich einschließlich des Objekts und seines Schattens erfasst werden. Für den erfassten Bereich, der das Objekt und seinen Schatten enthält, kann der Schatten die Genauigkeit bei der Identifizierung des Objekts als Mensch oder als anderes Objekt verringern.
  • Ein bekanntes Verfahren zur Trennung eines erfassten Bereichs auf der Grundlage eines Luminanzwerts trennt den Bereich möglicherweise nicht richtig. Beispielsweise kann ein Bild, das in einer dunklen Umgebung oder mit Gegenlicht aufgenommen wurde, ein Objekt enthalten, dessen Luminanzwert nahe am Luminanzwert seines Schattens liegt, so dass die Verfahren den Bereich einschließlich des Objekts und seines Schattens möglicherweise nicht genau in einen Objektbereich und einen Schattenbereich aufteilt (trennt).
  • 1 ist ein Blockdiagramm einer Informationsverarbeitungseinrichtung 100 gemäß einer Ausführungsform der vorliegenden Erfindung, das ein Strukturbeispiel zeigt. Die Informationsverarbeitungseinrichtung 100 umfasst einen Bereichsdetektor 101 und einen Bereichsseparator 102. Der Bereichsdetektor 101 detektiert einen Merkmalsbereich mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild. Der Bereichsseparator 102 trennt den Merkmalsbereich entlang einer Hauptträgheitsachse des durch den Bereichsdetektor 101 erfassten Merkmalsbereichs. Der Bereichsdetektor 101 ist ein Beispiel für einen Detektor in einem Aspekt der vorliegenden Erfindung. Der Bereichsseparator 102 ist ein Beispiel für einen Separator in einem Aspekt der vorliegenden Erfindung. Der Merkmalsbereich kann z. B. ein Bereich mit Bewegungen, ein Bereich mit Pixelwerten (z. B. RGB-Werten oder Luminanzwerten) innerhalb eines vorgegebenen Bereichs oder ein von Kanten umgebener Bereich sein. Mit anderen Worten: Der Bereich mit dem vorgegebenen Merkmal umfasst beispielsweise einen Bereich mit Bewegungen, einen Bereich mit Pixelwerten innerhalb eines vorgegebenen Bereichs und einen von Kanten umgebenen Bereich. Der vorbestimmte Bereich ist zum Beispiel ein Bereich möglicher Pixelwerte eines vorbestimmten Objekts, wie zum Beispiel eines Menschen. Eine Bildumgebung (z. B. Sonnenlicht oder Licht von einer Beleuchtungseinrichtung) ändert sich mit der Zeit. Daher kann sich der vorgegebene Bereich mit der Zeit ändern.
  • In vielen Fällen erstrecken sich zwei zu trennende Objekte in unterschiedliche Richtungen. So erstreckt sich beispielsweise eine auf dem Boden stehende Person in einer Richtung, die im Wesentlichen senkrecht zum Boden verläuft, und der Schatten der Person erstreckt sich entlang des Bodens. Die obige Struktur trennt den erfassten Merkmalsbereich entlang einer Hauptträgheitsachse des Merkmalsbereichs. Dies ermöglicht eine richtige Aufteilung des Merkmalsbereichs (in zwei getrennte Bereiche, die den jeweils vorgesehenen zwei Objekten entsprechen).
  • <Erste Ausführungsform>
  • Eine erste Ausführungsform der vorliegenden Erfindung wird beschrieben.
  • 2 ist ein Blockdiagramm einer Kamera 200 (Informationsverarbeitungseinrichtung) gemäß der ersten Ausführungsform, das ein Strukturbeispiel zeigt. Die Kamera 200 umfasst einen Bildgeber 210, einen Controller 220, einen Speicher 230 und eine Anzeige 240.
  • Obwohl das Verfahren in der ersten Ausführungsform für eine Kamera verwendet wird, ist die vorliegende Erfindung auf jede andere Informationsverarbeitungseinrichtung anwendbar. Zum Beispiel ist die vorliegende Erfindung auf einen Personal Computer (PC) getrennt von der Kamera (Bildgeber 210) anwendbar. Die Anzeige 240 kann eine von der Informationsverarbeitungseinrichtung getrennte Anzeigeeinrichtung (Monitor) gemäß einer Ausführungsform der vorliegenden Erfindung sein. Die von der Kamera getrennte Informationsverarbeitungseinrichtung gemäß einer Ausführungsform der vorliegenden Erfindung kann an einem beliebigen Ort installiert werden. Beispielsweise kann die Informationsverarbeitungseinrichtung im selben Raum wie die Kamera installiert sein oder auch nicht. Der oben genannte PC kann ein Cloud-Computer oder ein beliebiges Endgerät wie ein Smartphone oder ein Tablet sein.
  • Der Bildgeber 210 nimmt ein Bild auf und gibt das Bild an den Controller 220 aus. In der ersten Ausführungsform nimmt der Bildgeber 210 ein Video auf. Der Bildgeber 210 nimmt Einzelbilder eines Videos auf und gibt die Einzelbilder dann an den Controller 220 aus. Der Bildgeber 210 kann ein Standbild aufnehmen und dann an den Controller 220 (z.B. ein Steuergerät) ausgeben.
  • Der Controller 220 umfasst beispielsweise eine Zentraleinheit (CPU), einen Direktzugriffsspeicher (RAM) und einen Festwertspeicher (ROM), um jede Einheit zu steuern und verschiedene Informationsprozesse durchzuführen.
  • Der Speicher 230 speichert Programme, die von dem Controller 220 ausgeführt werden können, und verschiedene Datensätze, die in dem Controller 220 verwendet werden sollen. Bei dem Speicher 230 handelt es sich beispielsweise um ein zusätzliches Speichergerät wie ein Festplattenlaufwerk oder ein Solid-State-Laufwerk.
  • Auf der Anzeige 240 werden die vom Controller 220 ausgegebenen Informationen angezeigt.
  • Der Controller 220 wird im Folgenden näher beschrieben. Der Controller 220 umfasst einen Bereichsdetektor 221, einen Hauptträgheitsachsenrechner 222, einen Bereichsseparator 223, einen Bereichsselektor 224 und einen Personen-Identifikator 225.
  • Der Bereichsdetektor 221 erfasst einen Merkmalsbereich mit einem vorbestimmten Merkmal aus einem mit dem Bildgeber 210 aufgenommenen Bild. Der Bereichsdetektor 221 gibt das mit dem Bildgeber 210 aufgenommene Bild und Informationen, die den erfassten Merkmalsbereich angeben, an den Hauptträgheitsachsenrechner 222 aus. Der Merkmalsbereich kann z. B. ein Bereich mit Bewegungen, ein Bereich mit Pixelwerten (z. B. RGB-Werten oder Luminanzwerten) innerhalb eines vorgegebenen Bereichs oder ein von Kanten umgebener Bereich sein. Mit anderen Worten, der Bereich mit dem vorgegebenen Merkmal umfasst beispielsweise einen Bereich mit Bewegungen, einen Bereich mit Pixelwerten innerhalb eines vorgegebenen Bereichs und einen von Kanten umgebenen Bereich. Der vorbestimmte Bereich ist z. B. ein Bereich möglicher Pixelwerte eines vorbestimmten Objekts (in der ersten Ausführungsform ein Mensch). Eine bildgebende Umgebung (z. B. Sonnenlicht oder Licht von einer Beleuchtungseinrichtung) ändert sich mit der Zeit. Daher kann der vorgegebene Bereich mit der Zeit variieren. Der Bereichsdetektor 221 ist ein Beispiel für einen Detektor in einem Aspekt der vorliegenden Erfindung.
  • Der Merkmalsbereich kann mit einem der verschiedenen bekannten Verfahren (z. B. einem Verfahren zur Bestimmung, ob der Bereich Bewegungen enthält, oder einem Verfahren zur Erfassung von Kanten) erfasst werden. Die Bestimmung, ob der Bereich Bewegungen enthält oder nicht, kann durch Hintergrundsubtraktion oder Interframe-Subtraktion erfolgen. Beispielsweise erfasst das Hintergrundsubtraktionsverfahren als ein Pixel mit einer Bewegung in einem aufgenommenen Bild ein Pixel, das eine Differenz (einen absoluten Wert) größer oder gleich einem vorbestimmten Schwellenwert zu einem Pixelwert eines vorbestimmten Hintergrundbildes aufweist. Beispielsweise erfasst das Interframe-Subtraktionsverfahren als Pixel mit Bewegung in einem erfassten aktuellen Bild (in einem aktuellen Frame) ein Pixel, das eine Differenz von einem Pixelwert eines erfassten vergangenen Bildes (eines vergangenen Frames) aufweist, die größer als oder gleich einem vorbestimmten Schwellenwert ist. Das Interframe-Subtraktionsverfahren kann als das vergangene Bild ein Bild verwenden, das einer vorbestimmten Anzahl von Bildern vor dem aktuellen Bild vorausgeht. Die vorbestimmte Anzahl ist größer oder gleich 1. Die vorbestimmte Anzahl von Frames (die Anzahl von Frames zwischen dem aktuellen Frame und dem vergangenen Frame) kann auf der Grundlage der Frame-Rate der von dem Controller 220 durchgeführten Verarbeitung und der Frame-Rate der mit dem Bildgeber 210 durchgeführten Bildgebung bestimmt werden.
  • Der Hauptträgheitsachsenrechner 222 berechnet eine Hauptträgheitsachse des Merkmalsbereichs auf der Grundlage von Informationen, die den vom Bereichsdetektor 221 erfassten Merkmalsbereich angeben. Der Hauptträgheitsachsenrechner 222 gibt dann das mit dem Bildgeber 210 aufgenommene Bild, die Informationen, die die vom Bereichsdetektor 221 erfasste Merkmalsfläche angeben, und die Informationen, die die berechnete Hauptträgheitsachse angeben, an den Bereichsseparator 223 aus. Die Hauptträgheitsachse kann mit jedem der bekannten Verfahren berechnet werden.
  • Der Bereichsseparator 223 erhält zwei getrennte Bereiche, indem er den vom Bereichsdetektor 221 erfassten Merkmalsbereich entlang der Hauptträgheitsachse trennt, die von dem Hauptträgheitsachsenrechner 222 berechnet wird. Der Bereichsseparator 223 gibt dann das mit dem Bildgeber 210 aufgenommene Bild, die Informationen, die den vom Bereichsdetektor 221 erfassten Merkmalsbereich angeben, und die Informationen, die die beiden resultierenden getrennten Bereiche angeben, an den Bereichsselektor 224 aus. Der Bereichsseparator 223 ist ein Beispiel für einen Separator in einem Aspekt der vorliegenden Erfindung.
  • Der Bereichsselektor 224 bestimmt, ob die beiden getrennten Bereiche, die durch den Bereichsseparator 223 erhalten wurden, oder der durch den Bereichsdetektor 221 erfasste Merkmalsbereich verwendet werden soll (wählt den zu verwendenden Bereich aus). Der Bereichsselektor 224 ist ein Beispiel für einen Bestimmer in einem Aspekt der vorliegenden Erfindung.
  • Die Verwendung einer Hauptträgheitsachse kann z. B. bei der Trennung eines erfassten Merkmalsbereichs, der im Wesentlichen einer Fläche eines nicht zu trennenden Objekts entspricht, ungeeignet sein. Ein solcher Merkmalsbereich neigt dazu, einen großen Anteil eines Rechtecks einzunehmen, das den Merkmalsbereich umschreibt. Wenn ein Bewertungswert, der dem Anteil des Merkmalsbereichs entspricht, der das den Merkmalsbereich umschreibende Rechteck einnimmt, kleiner als ein vorbestimmter Schwellenwert ist, bestimmt der Bereichsselektor 224, die beiden getrennten Bereiche zu verwenden. Wenn der Bewertungswert größer oder gleich dem vorbestimmten Schwellenwert ist, bestimmt der Bereichsselektor 224, den Merkmalsbereich zu verwenden. Dies ermöglicht eine genauere Trennung des Merkmalsbereichs (Verwendung der resultierenden getrennten Bereiche, wenn der Merkmalsbereich getrennt werden soll, und Verwendung des Merkmalsbereichs anstelle der resultierenden getrennten Bereiche, wenn der Merkmalsbereich nicht getrennt werden soll).
  • In der ersten Ausführungsform berechnet der Bereichsselektor 224 das Rechteck, das den Merkmalsbereich umschreibt, auf der Grundlage der Informationen, die den Merkmalsbereich angeben, der durch den Bereichsdetektor 221 erfasst wurde. Der Bereichsselektor 224 berechnet auch die Rechtecke, die die zwei getrennten Bereiche umschreiben, basierend auf den Informationen, die die zwei getrennten Bereiche anzeigen, die durch den Bereichsseparator 223 erhalten wurden. Der Bereichsselektor 224 berechnet dann als Bewertungswert den Anteil der Gesamtfläche der die beiden getrennten Bereiche umschreibenden Rechtecke zu der Fläche des den Merkmalsbereich umschreibenden Rechtecks (die Anzahl der Pixel in dem umschriebenen Rechteck).
  • Als Bewertungswert kann der Anteil (d. h. das Verhältnis) der Fläche der logischen Summe der Rechtecke, die die beiden getrennten Bereiche umschreiben, zur Fläche des Rechtecks, das den Merkmalsbereich umschreibt, berechnet werden. Auf diese Weise kann ein Bewertungswert berechnet werden, der näher an dem Anteil des Merkmalsbereichs liegt, der das den Merkmalsbereich umschreibende Rechteck einnimmt, so dass bestimmt werden kann, ob der Bereich sinnvoller genutzt wird. Der Anteil der Merkmalsfläche, der das die Merkmalsfläche umschreibende Rechteck einnimmt, oder mit anderen Worten, der Anteil der Merkmalsfläche zu der Fläche des die Merkmalsfläche umschreibenden Rechtecks kann als Bewertungswert berechnet werden.
  • Nach der Auswahl des zu verwendenden Bereichs gibt der Bereichsselektor 224 das mit dem Bildgeber 210 aufgenommene Bild und Informationen, die das den ausgewählten Bereich umschreibende Rechteck angeben, an den Personen-Identifikator 225 aus.
  • Der Personen-Identifikator 225 identifiziert ein Objekt, das in dem Rechteck enthalten ist, das den ausgewählten Bereich umschreibt, als einen Menschen (vorbestimmtes Objekt), basierend auf den Informationen (Bild, das mit dem Bildgeber 210 aufgenommen wurde, und den Informationen, die das Rechteck anzeigen, das den ausgewählten Bereich umschreibt), die von dem Bereichsselektor 224 ausgegeben werden. Wenn die beiden getrennten Bereiche ausgewählt sind, identifiziert der Personen-Identifikator 225 das Objekt, das in dem Rechteck enthalten ist, das jeden der beiden getrennten Bereiche umschreibt, als einen Menschen oder als ein anderes Objekt. Dies ermöglicht die genaue Identifizierung (Erfassung) eines Menschen. Zum Beispiel wird der Merkmalsbereich, der einen Menschen enthält, in separate Bereiche unterteilt, die dem menschlichen Bereich ähnlicher sind. Das Objekt, das in dem Rechteck enthalten ist, das jeden der resultierenden separaten Bereiche umschreibt, kann genauer als Mensch identifiziert (erfasst) werden, als wenn das Rechteck verwendet wird, das den Merkmalsbereich umschreibt. Der Personen-Identifikator 225 ist ein Beispiel für einen Identifikator in einem Aspekt der vorliegenden Erfindung.
  • Nach der Identifizierung des Menschen gibt der Personen-Identifikator 225 das mit dem Bildgeber 210 aufgenommene Bild und das Ergebnis der Menschen- d. h. Personenidentifizierung an die Anzeige 240 aus. Die Anzeige 240 kann somit das Ergebnis der Personenidentifizierung zusammen mit dem aufgenommenen Bild anzeigen. Das Ergebnis der Personenidentifizierung enthält beispielsweise Informationen über das Rechteck, das den ausgewählten Bereich umschreibt, und Informationen darüber, ob es sich bei dem in dem umschriebenen Rechteck enthaltenen Objekt um eine Person handelt. Die Anzeige 240 überlagert dann das Rechteck, das den ausgewählten Bereich umschreibt, mit dem aufgenommenen Bild und zeigt das resultierende Bild an. Die Eigenschaften des umschriebenen Rechtecks (z. B. Linientyp, Luminanz und Farbe) sind veränderbar, je nachdem, ob es sich bei dem im umschriebenen Rechteck enthaltenen Objekt um einen Menschen handelt.
  • Der Personen-Identifikator 225 kann das Ergebnis der Personenidentifizierung auf einem Speichermedium in einer Weise aufzeichnen, die mit dem aufgenommenen Bild verbunden ist. Das Speichermedium kann ein Teil der Kamera 200 sein oder auch nicht.
  • Zur Personenidentifizierung durch den Personen-Identifikator 225 kann jeder beliebige Algorithmus verwendet werden. Beispielsweise kann ein Identifikator verwendet werden, der ein Bildmerkmal wie das Histogramm der orientierten Gradienten (HoG) oder ein Haar-ähnliches Merkmal und Boosting kombiniert. Es kann ein trainiertes Modell verwendet werden, das durch bekanntes maschinelles Lernen erzeugt wurde, oder speziell ein trainiertes Modell, das durch Deep Learning erzeugt wurde. So können beispielsweise ein regionenbasiertes neuronales Faltungsnetzwerk (R-CNN), Fast R-CNN, You only look once (YOLO) oder ein Single Shot Multibox Detector (SSD) verwendet werden.
  • 3 ist ein Flussdiagramm eines Beispielprozesses, der von der Kamera 200 durchgeführt wird. Die Kamera 200 führt den Prozess in 3 wiederholt durch. Obwohl die Bildrate (Wiederholungszyklus bzw. Framerate) bei der von dem Controller 220 durchgeführten Verarbeitung nicht beschränkt ist, ist die Bildrate gleich der Bildrate (z. B. 30 fps) der von dem Bildgeber 210 in der ersten Ausführungsform durchgeführten Bildgebung.
  • Der Bildgeber 210 nimmt zunächst ein Bild auf (Schritt S301). Der Bereichsdetektor 221 erfasst einen Merkmalsbereich mit einem vorbestimmten Merkmal aus dem in Schritt S301 aufgenommenen Bild (Schritt S302). Der Hauptträgheitsachsenrechner 222 berechnet dann eine Hauptträgheitsachse des in Schritt S302 erfassten Merkmalsbereichs (Schritt S303). Der Bereichsseparator 223 trennt dann den in Schritt S302 erfassten Merkmalsbereich entlang der in Schritt S303 berechneten Hauptträgheitsachse in zwei getrennte Bereiche (Schritt S304).
  • Die Bereichsselektor 224 berechnet dann einen Bewertungswert auf der Grundlage des in Schritt S302 erfassten Merkmalsbereichs und der beiden in Schritt S304 erhaltenen separaten Bereiche, um festzustellen, ob der berechnete Bewertungswert unter dem vorgegebenen Schwellenwert liegt (Schritt S305). Wenn festgestellt wird, dass der Bewertungswert kleiner als der vorgegebene Schwellenwert ist (Ja in Schritt S305), wird die Verarbeitung mit Schritt S306 fortgesetzt. Wenn festgestellt wird, dass der Bewertungswert größer oder gleich dem vorgegebenen Schwellenwert ist (Nein in Schritt S305), wird mit Schritt S307 fortgefahren.
  • In Schritt S306 identifiziert der Personen-Identifikator 225 ein Objekt, das in dem Rechteck enthalten ist, das jeden der beiden in Schritt S304 erhaltenen separaten Bereiche umschreibt, als einen Menschen oder ein anderes Objekt. In Schritt S307 identifiziert der Personen-Identifikator 225 ein Objekt, das in dem Rechteck enthalten ist, das den in Schritt S302 erfassten Merkmalsbereich umschreibt, als eine Person oder ein anderes Objekt. Nach der Verarbeitung in Schritt S306 oder Schritt S307 geht die Verarbeitung zu Schritt S308 über. In Schritt S308 zeigt die Anzeige 240 das Ergebnis der Verarbeitung in den Schritten S301 bis S307 an.
  • Ein spezifisches Betriebsbeispiel der Kamera 200 wird unter Bezugnahme auf 4 beschrieben. Im Beispiel von 4 wird ein Merkmalsbereich 401, der einen Menschen und seinen Schatten enthält, erfasst (Schritt S302). Um einen Menschen genau zu identifizieren, muss der Merkmalsbereich 401 in einen Menschenbereich und einen Schattenbereich unterteilt werden. Der Hauptträgheitsachsenrechner 222 berechnet einen Schwerpunkt 402 des Merkmalsbereichs 401 und eine Hauptträgheitsachse 403 des Merkmalsbereichs 401 einschließlich des Schwerpunkts 402 (Schritt S303). Der Bereichsseparator 223 trennt dann den Merkmalsbereich 401 entlang der Hauptträgheitsachse 403 in zwei separate Bereiche 404 und 405 (Schritt S304). Wie in 4 dargestellt, entspricht der getrennte Bereich 404 dem Menschen und der getrennte Bereich 405 dem Schatten. Die getrennten Bereiche 404 und 405 sind somit für die Identifizierung von Personen/Menschen zu verwenden. Der Bereichsselektor 224 berechnet ein umschriebenes Rechteck 406 des Merkmalsbereichs 401, ein umschriebenes Rechteck 407 des separaten Bereichs 404 und ein umschriebenes Rechteck 408 des separaten Bereichs 405. Der Bereichswähler 224 berechnet dann als Bewertungswert das Verhältnis der Summe der Flächen (Gesamtfläche) der umschriebenen Rechtecke 407 und 408 zur Fläche des umschriebenen Rechtecks 406. Wie in 4 gezeigt, wird ein relativ niedriger Wert (ein Wert, der unter dem vorbestimmten Schwellenwert liegt) als Bewertungswert erhalten (Ja in Schritt S305). Die getrennten Bereiche 404 und 405 werden somit zur Identifizierung des Menschen verwendet (Schritt S306).
  • Ein weiteres spezifisches Betriebsbeispiel der Kamera 200 wird unter Bezugnahme auf 5 beschrieben. In dem Beispiel von 5 wird ein Merkmalsbereich 501, der im Wesentlichen einem menschlichen Bereich entspricht, erfasst (Schritt S302). Um den Menschen genau zu identifizieren, darf der Merkmalsbereich 501 nicht getrennt werden. Der Hauptträgheitsachsen-Rechner 222 berechnet einen Schwerpunkt 502 des Merkmalsbereichs 501 und eine Hauptträgheitsachse 503 des Merkmalsbereichs 501 einschließlich des Schwerpunkts 502 (Schritt S303). Der Bereichsseparator 223 trennt dann den Merkmalsbereich 501 entlang der Hauptträgheitsachse 503 in zwei separate Bereiche/Flächen 504 und 505 (Schritt S304). Wie in 5 dargestellt, entspricht der getrennte Bereich 504 einer oberen Körperhälfte des Menschen, und der getrennte Bereich 505 entspricht einer unteren Körperhälfte des Menschen. Bei der Personenidentifizierung mit Hilfe der getrennten Bereiche 504 und 505 wird möglicherweise kein Mensch oder nur ein Teil eines Menschen erkannt/erfasst. Die Personenidentifikation soll daher mit Hilfe des Merkmalsbereichs 501 anstelle der separaten Bereiche 504 und 505 durchgeführt werden. Der Bereichsselektor 224 berechnet ein umschriebenes Rechteck 506 des Merkmalsbereichs 501, ein umschriebenes Rechteck 507 des separaten Bereichs 504 und ein umschriebenes Rechteck 508 des separaten Bereichs 505. Der Bereichsselektor 224 berechnet dann als Bewertungswert das Verhältnis der Summe der Flächen (Gesamtfläche) der umschriebenen Rechtecke 507 und 508 zur Fläche des umschriebenen Rechtecks 506. Wie in 5 gezeigt, wird ein relativ großer Wert (ein Wert, der größer oder gleich dem vorbestimmten Schwellenwert ist) als Bewertungswert erhalten (Nein in Schritt S305). Die Personenidentifikation kann somit unter Verwendung des Merkmalsbereichs 501 anstelle der separaten Bereiche 504 und 505 durchgeführt werden (Schritt S306).
  • 6 ist ein Diagramm einer Beispielanzeige, die von der Anzeige 240 ausgeführt wird. In 6 enthält das aufgenommene Bild einen Menschen 601, ein Auto 602 und deren Schatten. Der Mensch 601 hat einen Bewertungswert, der unter dem Schwellenwert liegt. Die Anzeige 240 zeigt daher einen Rahmen 603 (ein Rechteck, das den separaten Bereich umschreibt) mit dem Menschen 601 und einen Rahmen 604 (ein Rechteck, das den separaten Bereich umschreibt) mit dem Schatten des Menschen 601 an. Das Auto 602 hat einen Bewertungswert, der größer oder gleich dem Schwellenwert ist. Die Anzeige 240 zeigt daher ein Bild 605 (Rechteck, das den Merkmalsbereich umschreibt) an, das das Auto 602 und seinen Schatten enthält. Ein im Rahmen 603 enthaltenes Objekt wird als Mensch identifiziert, und ein in jedem der Rahmen 604 und 605 enthaltenes Objekt wird nicht als Mensch identifiziert. Der Rahmen 603 wird somit mit einer durchgezogenen Linie angezeigt, und die Rahmen 604 und 605 werden mit gestrichelten Linien angezeigt.
  • Wie oben beschrieben, trennt die Struktur gemäß der ersten Ausführungsform den Merkmalsbereich entlang einer Hauptträgheitsachse der Merkmalsbereiche. Dies ermöglicht eine geeignetere Aufteilung des Merkmalsbereichs (in zwei getrennte Bereiche, die den jeweils vorgesehenen zwei Objekten entsprechen). Die Struktur bestimmt auch, ob die zwei getrennten Bereiche, die durch das Trennen des Merkmalsbereichs erhalten wurden, verwendet werden sollen oder ob der Merkmalsbereich auf der Grundlage des Bewertungswerts verwendet werden soll, der dem Anteil des Merkmalsbereichs entspricht, der das den Merkmalsbereich umschreibende Rechteck einnimmt. Dies ermöglicht eine genauere Trennung des Merkmalsbereichs (Verwendung der resultierenden getrennten Bereiche, wenn der Merkmalsbereich getrennt werden soll, und Verwendung des Merkmalsbereichs anstelle der resultierenden getrennten Bereiche, wenn der Merkmalsbereich nicht getrennt werden soll).
  • <Zweite Ausführungsform>
  • Es wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. Der Merkmalsbereich hat zwei Hauptträgheitsachsen und kann je nach der für die Trennung verwendeten Hauptträgheitsachse möglicherweise nicht richtig getrennt werden. Die Struktur gemäß der zweiten Ausführungsform wählt die Hauptträgheitsachse aus, die verwendet wird, um den Merkmalsbereich geeigneter und zuverlässiger zu trennen.
  • 7 ist ein Blockdiagramm einer Kamera 700 (Informationsverarbeitungseinrichtung) gemäß der zweiten Ausführungsform. Die Kamera 700 umfasst einen Bildgeber 210, einen Controller 720, einen Speicher 230 und eine Anzeige 240. Der Controller 720 hat die gleiche Funktion wie der Controller 220 (2). Der Controller 720 umfasst einen Bereichsdetektor 221, einen Hauptträgheitsachsenrechner 222, einen Hauptträgheitsachsenselektor 721, einen Bereichsseparator 223, einen Bereichsselektor 224 und einen Personen-Identifikator 225.
  • Der Hauptträgheitsachsenrechner 222 gibt ein mit dem Bildgeber 210 aufgenommenes Bild, Informationen, die einen vom Bereichsdetektor 221 erfassten Merkmalsbereich angeben, und Informationen, die die berechnete Hauptträgheitsachse oder die Hauptträgheitsachsen angeben, an den Hauptträgheitsachsenselektor 721 aus. In der zweiten Ausführungsform kann der Hauptträgheitsachsenrechner 222 zwei Hauptträgheitsachsen des Merkmalsbereichs berechnen oder auch nicht. Beispielsweise kann der Hauptträgheitsachsenrechner 222 eine der beiden Hauptträgheitsachsen berechnen, und der Hauptträgheitsachsenselektor 721 kann die entlang des Hauptträgheitsachsenrechners 222 berechnete Hauptträgheitsachse entsprechend korrigieren, um die andere der beiden Hauptträgheitsachsen zu erhalten.
  • Der Hauptträgheitsachsenselektor 721 wählt eine der beiden Hauptträgheitsachsen des Merkmalsbereichs aus. Wenn der Schwerpunkt des Merkmalsbereichs im ersten oder dritten Quadranten der vier Quadranten liegt, die sich aus den horizontalen und vertikalen Achsen ergeben, die den Mittelpunkt des den Merkmalsbereich umschreibenden Rechtecks einschließen, wird die Hauptträgheitsachse mit einer kleineren Deklination von der horizontalen Achse (horizontale Richtung) der beiden Hauptträgheitsachsen ausgewählt. Wenn der Schwerpunkt des Merkmalsbereichs im zweiten oder vierten Quadranten der vier Quadranten liegt, wird die Hauptträgheitsachse mit einer größeren Deklination von der horizontalen Achse (horizontale Richtung) der beiden Hauptträgheitsachsen gewählt. Der Hauptträgheitsachsenselektor 721 gibt dann das mit dem Bildgeber 210 aufgenommene Bild, die Information, die den vom Bereichsdetektor 221 erfassten Merkmalsbereich angibt, und die Information, die die ausgewählte Hauptträgheitsachse angibt, an den Bereichsseparator 223 aus. Der Bereichsseparator 223 trennt den vom Bereichsdetektor 221 erfassten Merkmalsbereich entlang der Hauptträgheitsachse, die mit dem Hauptträgheitsachsenselektor 721 ausgewählt wurde. Dies ermöglicht eine richtigere (und zuverlässigere) Trennung des Merkmalsbereichs.
  • 8 ist ein Flussdiagramm eines Beispielprozesses, der von der Kamera 700 durchgeführt wird. Die Kamera 700 führt den Prozess in 8 wiederholt durch. Obwohl die Bildrate (Wiederholungszyklus) bei der von dem Controller 720 durchgeführten Verarbeitung nicht begrenzt ist, ist die Bildrate gleich der Bildrate (z. B. 30 fps) der von dem Bildgeber 210 in der zweiten Ausführungsform durchgeführten Bildgebung.
  • Bei dem Verfahren in 8 wird die Verarbeitung in Schritt S800 zwischen der Verarbeitung in den Schritten S303 und S304 durchgeführt. In Schritt S800 wählt der Hauptträgheitsachsenselektor 721 eine der beiden in Schritt S303 berechneten Hauptträgheitsachsen aus. In Schritt S304 trennt der Bereichsseparator 223 den in Schritt S302 erfassten Merkmalsbereich entlang der in Schritt S800 ausgewählten Hauptträgheitsachse.
  • Ein spezifisches Betriebsbeispiel der Kamera 200 wird unter Bezugnahme auf 9 beschrieben.
  • Im Beispiel von 9 wird ein Merkmalsbereich 901, der einen Menschen und seinen Schatten enthält, erfasst (Schritt S302). Um einen Menschen genau zu identifizieren, muss der Merkmalsbereich 901 in einen Menschenbereich und einen Schattenbereich unterteilt werden. Der Hauptträgheitsachsenrechner 222 berechnet einen Schwerpunkt 902 des Merkmalsbereichs 901 und die Hauptträgheitsachsen 903 und 904 des Merkmalsbereichs 901 einschließlich des Schwerpunkts 902 (Schritt S303). Ein Deklinationswinkel θ1 aus der horizontalen Richtung zur Hauptträgheitsachse 903 ist kleiner als ein Deklinationswinkel θ2 aus der horizontalen Richtung zur Hauptträgheitsachse 904. Wenn die Hauptträgheitsachse 903 und die Hauptträgheitsachse 904 orthogonal zueinander stehen, ist der Deklinationswinkel θ2 somit ein Deklinationswinkel θ1 + 90°.
  • Der Hauptträgheitsachsenselektor 721 wählt eine der Hauptträgheitsachsen 903 und 904 aus (Schritt S800). Wie in 9 gezeigt, kann der Merkmalsbereich 901 nicht in einen menschlichen Bereich und einen Schattenbereich entlang der Hauptträgheitsachse 903 aufgeteilt werden, und kann in einen menschlichen Bereich und einen Schattenbereich entlang der Hauptträgheitsachse 904 aufgeteilt werden. Der Hauptträgheitsachsenselektor 721 wählt daher die Hauptträgheitsachse 904 aus.
  • Der Hauptträgheitsachsenselektor 721 berechnet den Schwerpunkt 902 des Merkmalsbereichs 901 und einen Mittelpunkt 905 des den Merkmalsbereich 901 umschreibenden Rechtecks auf der Grundlage der Informationen, die den vom Bereichsdetektor 221 erfassten Merkmalsbereich angeben. Der Hauptträgheitsachsenselektor 721 bestimmt dann den Quadranten, der den Schwerpunkt 902 der vier Quadranten enthält, die mit den horizontalen und vertikalen Achsen erhalten wurden, die den Mittelpunkt 905 enthalten, basierend auf den Koordinaten des Schwerpunkts 902 und den Koordinaten des Mittelpunkts 905. In 9 kann die horizontale Koordinate (horizontale Positionskoordinate) in Richtung des als horizontale Achse angegebenen Pfeils ansteigen, und die vertikale Koordinate (vertikale Positionskoordinate) kann in Richtung des als vertikale Achse angegebenen Pfeils ansteigen. Wenn in diesem Fall die horizontale Koordinate des Schwerpunkts 902 größer ist als die horizontale Koordinate des Mittelpunkts 905 und die vertikale Koordinate des Schwerpunkts 902 größer ist als die vertikale Koordinate des Mittelpunkts 905, wird der Schwerpunkt 901 als im ersten Quadranten liegend bestimmt. Wenn die horizontale Koordinate des Schwerpunkts 902 kleiner ist als die horizontale Koordinate des Mittelpunkts 905 und die vertikale Koordinate des Schwerpunkts 902 größer ist als die vertikale Koordinate des Schwerpunkts 905, wird der Schwerpunkt 901 als im zweiten Quadranten befindlich bestimmt. Wenn die horizontale Koordinate des Schwerpunkts 902 kleiner ist als die horizontale Koordinate des Mittelpunkts 905 und die vertikale Koordinate des Schwerpunkts 902 kleiner ist als die vertikale Koordinate des Mittelpunkts 905, wird der Schwerpunkt 901 als im dritten Quadranten befindlich bestimmt. Wenn die horizontale Koordinate des Schwerpunkts 902 größer ist als die horizontale Koordinate des Mittelpunkts 905 und die vertikale Koordinate des Schwerpunkts 902 kleiner ist als die vertikale Koordinate des Mittelpunkts 905, wird der Schwerpunkt 901 als im vierten Quadranten befindlich bestimmt.
  • Der Hauptträgheitsachsenselektor 721 wählt eine der Hauptträgheitsachsen 903 und 904 basierend auf dem Bestimmungsergebnis des Quadranten, der den Schwerpunkt 902 enthält. Wenn der Schwerpunkt 902 im ersten Quadranten oder im dritten Quadranten liegt, wählt der Hauptträgheitsachsenselektor 721 die Hauptträgheitsachse 903 mit einer kleineren Deklination von der horizontalen Achse (horizontale Richtung) der Hauptträgheitsachsen 903 und 904. Wenn sich der Schwerpunkt 902 im zweiten oder vierten Quadranten befindet, wählt der Hauptträgheitsachsenselektor 721 die Hauptträgheitsachse 904 mit einer größeren Deklination von der horizontalen Achse der Hauptträgheitsachsen 903 und 904. In 9 ermöglicht der Schwerpunkt 902, der sich im vierten Quadranten befindet, dem Hauptträgheitsachsenselektor 721 die Auswahl der Hauptträgheitsachse 904. Auf diese Weise kann der Merkmalsbereich 901 in den menschlichen Bereich und den Schattenbereich unterteilt werden.
  • Wie oben beschrieben, wählt die Struktur in der zweiten Ausführungsform die zu verwendende Hauptträgheitsachse auf der Grundlage des Quadranten, der den Schwerpunkt des Merkmalsbereichs der vier Quadranten enthält, die mit der horizontalen Achse und der vertikalen Achse, die den Mittelpunkt des den Merkmalsbereich umschreibenden Rechtecks enthält, erhalten wurden. Dies ermöglicht eine richtigere und zuverlässigere Trennung des Merkmalsbereichs.
  • <Sonstiges>
  • Die obigen Ausführungsformen beschreiben beispielhafte Strukturen gemäß einem oder mehreren Aspekten der vorliegenden Erfindung. Die vorliegende Erfindung ist nicht auf die oben beschriebenen spezifischen Ausführungsformen beschränkt, sondern kann im Rahmen der technischen Grundgedanken der Erfindung auf verschiedene Weise modifiziert werden. Beispielsweise kann das vorgegebene Objekt, das identifiziert werden soll, ein Auto, ein Gebäude, ein Finger, ein Arm, ein Torso und ein Tier anstelle eines Menschen sein. In den Ausführungsformen ist der Merkmalsbereich in den menschlichen Bereich und den Schattenbereich unterteilt. Die Aufteilung des Merkmalsbereichs kann jedoch auch auf andere Weise erfolgen. In einigen Ausführungsformen der vorliegenden Erfindung wird ein Merkmalsbereich in zwei Gebäude unterteilt (zwei Bereiche, die den beiden Gebäuden entsprechen), wie in 10A gezeigt. Wie in 10B dargestellt, kann ein Merkmalsbereich in einen Versorgungsmastbereich und seinen Schattenbereich unterteilt werden. Wie in 10C dargestellt, kann ein Merkmalsbereich in einen Daumenbereich und einen Zeigefingerbereich unterteilt werden. Ein Merkmalsbereich (menschlicher Bereich) kann in einen Rumpfbereich und einen Armbereich unterteilt werden. Wie oben beschrieben, kann das Verfahren gemäß den Ausführungsformen der vorliegenden Erfindung verschiedene Anwendungen haben.
  • <Anhang 1 >
  • Informationsverarbeitungseinrichtung (100, 200, 700), umfassend:
    • einen Detektor (101, 221), der so konfiguriert ist, dass er einen Merkmalsbereich mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild erfasst; und
    • einen Separator (102, 223), der so konfiguriert ist, dass er den Merkmalsbereich entlang einer Hauptträgheitsachse des Merkmalsbereichs trennt.
  • <Anhang 2>
  • Informationsverarbeitungsverfahren, umfassend:
    • (S302) Erfassen eines Merkmalsbereichs mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild; und
    • (S304) Trennen des Merkmalsbereichs entlang einer Hauptträgheitsachse des Merkmalsbereichs.
  • Bezugszeichenliste
  • 100
    Informationsverarbeitungseinrichtung
    101
    Bereichsdetektor
    102
    Bereichsseparator
    200
    Kamera (Informationsverarbeitungseinrichtung)
    210
    Bildgeber
    220
    Controller
    230
    Speicher
    240
    Anzeige
    221
    Bereichsdetektor
    222
    Hauptträgheitsachsenrechner
    223
    Bereichsseparator
    224
    Bereichsselektor
    225
    Personen-Identifikator
    700
    Informationsverarbeitungseinrichtung
    720
    Controller
    721
    Hauptträgheitsachsenselektor
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2008245063 [0004]

Claims (12)

  1. Informationsverarbeitungseinrichtung, umfassend: einen Detektor, der so konfiguriert ist, dass er einen Merkmalsbereich mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild erfasst; und einen Separator, der so konfiguriert ist, dass er den Merkmalsbereich entlang einer Hauptträgheitsachse des Merkmalsbereichs trennt.
  2. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei wenn ein Schwerpunkt des Merkmalsbereichs in einem ersten Quadranten oder einem dritten Quadranten von vier Quadranten liegt, die mit einer horizontalen Achse und einer vertikalen Achse, die einen Mittelpunkt eines den Merkmalsbereich umschreibenden Rechtecks einschließt, erhalten werden, der Separator den Merkmalsbereich entlang, von zwei Hauptträgheitsachsen des Merkmalsbereichs, einer Hauptträgheitsachse mit einer kleineren Deklination von der horizontalen Achse trennt, und wenn der Schwerpunkt des Merkmalsbereichs in einem zweiten Quadranten oder einem vierten Quadranten der vier Quadranten liegt, der Separator den Merkmalsbereich entlang, von den zwei Hauptträgheitsachsen des Merkmalsbereichs, einer Hauptträgheitsachse mit einer größeren Deklination zur horizontalen Achse trennt.
  3. Informationsverarbeitungseinrichtung nach Anspruch 1 oder Anspruch 2, ferner umfassend: einen Bestimmer, der so konfiguriert ist, dass er bestimmt, ob zwei getrennte Bereiche, die durch Trennen des Merkmalsbereichs mit dem Separator erhalten werden, verwendet werden oder der Merkmalsbereich verwendet wird, wobei, wenn ein Bewertungswert, der einem Anteil des Merkmalsbereichs entspricht, der ein den Merkmalsbereich umschreibendes Rechteck einnimmt, kleiner als ein vorbestimmter Schwellenwert ist, der Bestimmer bestimmt, die zwei getrennten Bereiche zu verwenden, und wenn der Bewertungswert größer oder gleich dem vorgegebenen Schwellenwert ist, der Bestimmer bestimmt, den Merkmalsbereich zu verwenden.
  4. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei der Bewertungswert ein Verhältnis zwischen einer Gesamtfläche von Rechtecken, die die zwei getrennten Bereiche umschreiben, und der Fläche des Rechtecks, das den Merkmalsbereich umschreibt, ist.
  5. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei der Bewertungswert ein Verhältnis einer logischen Summe von Flächen der Rechtecke, die die zwei getrennten Bereiche umschreiben, zu einer Fläche des Rechtecks, das den Merkmalsbereich umschreibt, ist.
  6. Informationsverarbeitungseinrichtung nach einem der Ansprüche 3 bis 5, ferner umfassend: einen Identifikator, der so konfiguriert ist, dass er ein Objekt identifiziert, das in einem Rechteck enthalten ist, das einen Bereich umschreibt, der als ein vorgegebenes Objekt oder ein anderes Objekt verwendet werden soll, wobei, wenn die zwei getrennten Bereiche verwendet werden sollen, der Identifikator ein Objekt, das in einem Rechteck enthalten ist, das jeden der beiden getrennten Bereiche umschreibt, als das vorbestimmte Objekt oder ein anderes Objekt identifiziert.
  7. Informationsverarbeitungseinrichtung nach Anspruch 6, wobei das vorbestimmte Objekt ein Mensch ist.
  8. Informationsverarbeitungseinrichtung nach einem der Ansprüche 1 bis 7, wobei der Detektor einen Bereich mit einer Bewegung als den Merkmalsbereich erfasst.
  9. Informationsverarbeitungseinrichtung nach einem der Ansprüche 1 bis 7, wobei der Detektor einen Bereich mit einem Pixelwert innerhalb eines vorbestimmten Bereichs als den Merkmalsbereich erfasst.
  10. Informationsverarbeitungseinrichtung nach einem der Ansprüche 1 bis 7, wobei der Detektor einen Bereich, der von einer Kante umgeben ist, als Merkmalsbereich erfasst.
  11. Informationsverarbeitungsverfahren, umfassend: Erfassen eines Merkmalsbereichs mit einem vorbestimmten Merkmal aus einem aufgenommenen Bild; und Trennung des Merkmalsbereichs entlang einer Hauptträgheitsachse des Merkmalsbereichs.
  12. Programm, das einen Computer veranlasst, Operationen auszuführen, die in der Informationsverarbeitungseinrichtung nach Anspruch 11 enthalten sind.
DE112021005703.0T 2020-10-27 2021-09-03 Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren Pending DE112021005703T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020179823A JP7524713B2 (ja) 2020-10-27 2020-10-27 情報処理装置および情報処理方法
JP2020-179823 2020-10-27
PCT/JP2021/032490 WO2022091577A1 (ja) 2020-10-27 2021-09-03 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
DE112021005703T5 true DE112021005703T5 (de) 2023-08-17

Family

ID=81384022

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112021005703.0T Pending DE112021005703T5 (de) 2020-10-27 2021-09-03 Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren

Country Status (5)

Country Link
US (1) US20230419500A1 (de)
JP (1) JP7524713B2 (de)
CN (1) CN116261742A (de)
DE (1) DE112021005703T5 (de)
WO (1) WO2022091577A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2022167586A (ja) * 2021-04-23 2022-11-04 オムロン株式会社 情報処理装置、情報処理方法、及び制御プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245063A (ja) 2007-03-28 2008-10-09 Saxa Inc 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105371A (ja) * 1993-10-04 1995-04-21 Hitachi Ltd 手形状認識方法
JP5468332B2 (ja) * 2009-08-20 2014-04-09 Juki株式会社 画像特徴点抽出方法
JP5647459B2 (ja) * 2010-08-13 2014-12-24 セコム株式会社 移動物体検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008245063A (ja) 2007-03-28 2008-10-09 Saxa Inc 画像処理装置

Also Published As

Publication number Publication date
WO2022091577A1 (ja) 2022-05-05
US20230419500A1 (en) 2023-12-28
JP7524713B2 (ja) 2024-07-30
CN116261742A (zh) 2023-06-13
JP2022070648A (ja) 2022-05-13

Similar Documents

Publication Publication Date Title
DE102017111203B4 (de) Videoverarbeitungsvorrichtung, videoverarbeitungsverfahren und programm
DE602004005358T2 (de) Objektdetektion in bildern
EP3058556B1 (de) Verfahren und vorrichtung zur automatisierten waldbrandfrüherkennung mittels optischer detektion von rauchwolken
AT506928B1 (de) Verfahren zur videoanalyse
DE112017001311T5 (de) System und Verfahren zum Trainieren eines Objektklassifikators durch maschinelles Lernen
DE69707886T2 (de) Verfahren und gerät zum lokalisieren einer sich bewegenden zone und bestimmung der schnellheit und richtung der bewegung eines gebietes von relativer bewegung in einer szene
DE19634768A1 (de) Vorrichtung und Verfahren zur Erfassung eines Gesichts in einem Videobild
DE112014001658T5 (de) Nachverfolgungsverarbeitungsvorrichtung und Nachverfolgungsverarbeitungssystem, das damit ausgestattet ist, und Nachverfolgungsverarbeitungsverfahren
DE102015206654A1 (de) Bildverarbeitungsvorrichtung
DE602004002837T2 (de) Objekterkennung
WO1995004977A1 (de) Verfahren zur erkennung der räumlichen lage und drehlage von in geeigneter weise markierten objekten in digitalen bildfolgen
DE112021005703T5 (de) Informationsverarbeitungseinrichtung und informationsverarbeitungsverfahren
DE112020001202T5 (de) Objektverfolgungsvorrichtung und Objektverfolgungsverfahren
DE102010016251A1 (de) Erkennungsverfahren für ein bewegliches Objekt und das der Erkennung des beweglichen Objekts zugrunde liegende Befehlseingabeverfahren
DE112021005070T5 (de) Multi-hop-transformer für räumlich-zeitliches denken und lokalisierung
DE112017004394T5 (de) Gestenbeurteilungseinrichtung, Gestenbedienungseinrichtung und Gestenbeurteilungsverfahren
DE102009048739B3 (de) Verfahren und Vorrichtung zur automatischen Waldbranderkennung
WO2011039351A1 (de) Verfahren und vorrichtung zum erkennen einer fehldetektion eines objekts in einem bild
DE102020117543A1 (de) System und methode zur bestimmung potenziell gefährlicher situationen durch videodaten
DE69233637T2 (de) Bildanalysator
DE102018201909A1 (de) Verfahren und Vorrichtung zur Objekterkennung
DE102018127738B4 (de) Kamerablockadeerfassung für autonome Fahrsysteme
DE102015003537B4 (de) Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras
WO2021180547A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern
EP3685352B1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed