DE112020004823T5

DE112020004823T5 - Bildverarbeitungsvorrichtung und nicht-vorübergehendes computerlesbares Medium

Info

Publication number: DE112020004823T5
Application number: DE112020004823.3T
Authority: DE
Inventors: Hisamitsu Harada; Yasunori Tsukahara; Motoki Kajita; Tadashi SEKIHARA; Erina KITAHARA; Yasutoshi FUKAYA
Original assignee: NEC Solution Innovators Ltd; Tokai Rika Co Ltd
Current assignee: Tokai Rika Denki Seisakusho Jp KK
Priority date: 2019-10-07
Filing date: 2020-09-23
Publication date: 2022-06-23
Also published as: JP2021060815A; CN114450723A; WO2021070611A1; JP7312079B2; US20230034307A1

Abstract

Eine Bildverarbeitungsvorrichtung umfasst eine Empfangsschnittstelle und einen Prozessor. Die Empfangsschnittstelle empfängt Bilddaten, die einem Bild (I) entsprechen, in dem ein Subjekt (30) erfasst wird. Der Prozessor detektiert, basierend auf den Bilddaten, einen Linke-Schulter-Merkmalspunkt (LU1) und einen Rechte-Schulter-Merkmalspunkt (RU1) der Person. Der Prozessor schätzt einen verborgenen Körperteil der Person, der aufgrund einer Verdeckung durch einen anderen Körperteil der Person in dem Bild (I) nicht erfasst wird, basierend auf einer Entfernung zwischen dem Linke-Schulter-Merkmalspunkt (LU1) und dem Rechte-Schulter-Merkmalspunkt (RU1).

Description

Gebiet
Der vorliegende offenbarte Gegenstand bezieht sich auf eine Bildverarbeitungsvorrichtung und ein nicht-vorübergehendes computerlesbares Medium, das ein Computerprogramm aufgezeichnet hat, das durch einen Prozessor der Bildverarbeitungsvorrichtung ausführbar ist.
Hintergrund
Es ist zum Beispiel, wie in der japanischen Patentoffenlegungsschrift Nr. 2017-091377 A offenbart, eine Technik bekannt, in der ein Skelettmodell, das einen menschlichen Körper simuliert, auf ein Subjekt angewandt wird, das in einem durch eine Bildgebungsvorrichtung aufgenommenen Bild erfasst wird, wodurch das Skelett, die Haltung bzw. Körperhaltung und dergleichen des Subjekts unterschieden werden.
Kurzfassung
Technisches Problem
Es ist gefordert, die Genauigkeit einer Unterscheidung eines Subjekts zu verbessern, das in einem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wird/ist.
Problemlösung
Um die vorstehend dargelegte Anforderung zu erfüllen, stellt ein veranschaulichender Aspekt des vorliegend offenbarten Gegenstands eine Bildverarbeitungsvorrichtung bereit, mit:

einer Empfangsschnittstelle, die konfiguriert ist zum Empfangen von Bilddaten, die einem Bild entsprechen, in dem eine Person erfasst wird/ist; und
einem Prozessor, der konfiguriert ist zum Schätzen, basierend auf den Bilddaten, eines verborgenen Körperteils der Person, der aufgrund einer Verdeckung durch einen anderen Körperteil der Person in dem Bild nicht erfasst wird/ist,
wobei der Prozessor konfiguriert ist zum:
- Detektieren, basierend auf den Bilddaten, von zumindest einem ersten Merkmalspunkt, der einem in einer linken Gliedmaße der Person umfassten charakteristischen Teil entspricht, und zumindest einem zweiten Merkmalspunkt, der einem in einer rechten Gliedmaße der Person umfassten charakteristischen Teil entspricht; und
- Schätzen des verborgenen Körperteils basierend auf einer Entfernung zwischen dem ersten Merkmalspunkt und dem zweiten Merkmalspunkt.

Um die vorstehend dargelegte Anforderung zu erfüllen, stellt ein veranschaulichender Aspekt des vorliegend offenbarten Gegenstands ein nicht-vorübergehendes computerlesbares Medium bereit, das ein Computerprogramm gespeichert hat, das angepasst ist, durch einen Prozessor einer Bildverarbeitungsvorrichtung ausgeführt zu werden, wobei das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung zum:

Empfangen von Bilddaten, die einem Bild entsprechen, in dem eine Person erfasst wird/ist;
Detektieren, basierend auf den Bilddaten, von zumindest einem Merkmalspunkt, der einem in einer linken Gliedmaße der Person umfassten charakteristischen Teil entspricht, und zumindest einem zweiten Merkmalspunkt, der einem in einer rechten Gliedmaße der Person umfassten charakteristischen Teil entspricht; und
Schätzen eines verborgenen Körperteils der Person, der aufgrund einer Verdeckung durch einen anderen Körperteil der Person in dem Bild nicht erfasst wird/ist, basierend auf einer Entfernung zwischen dem ersten Merkmalspunkt und dem zweiten Merkmalspunkt.

Die Person als das Subjekt, das in dem durch die Bildgebungsvorrichtung aufgenommenen Bild zu erfassen ist, ist nicht immer einer Front bzw. Vorderseite der Bildgebungsvorrichtung zugewandt. Abhängig von der Haltung bzw. Körperhaltung der Person kann es einen verborgenen Körperteil geben, der durch einen Teil des Körpers der Person abgeschirmt ist und in dem Bild nicht erscheint. Gemäß der Verarbeitung, wie sie vorstehend beschrieben ist, kann ein solcher verborgener Körperteil geschätzt werden, sodass es möglich ist, die Unterscheidungsgenauigkeit des Subjekts zu verbessern, das in dem durch die Bildgebungsvorrichtung aufgenommenen Bild erfasst wird/ist.
Die Bildverarbeitungsvorrichtung kann derart konfiguriert sein, dass der Prozessor konfiguriert ist zum:

Schätzen einer Richtung eines Gesichts der Person basierend auf den Bilddaten; und
Schätzen des verborgenen Körperteils basierend auf der Entfernung und der Richtung des Gesichts.

Das computerlesbare Medium kann derart konfiguriert sein, dass das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung zum:

Die Bildverarbeitungsvorrichtung kann derart konfiguriert sein, dass der Prozessor konfiguriert ist zum:

Schätzen einer Richtung eines Gesichts der Person basierend auf den Bilddaten;
Erzeugen eines ersten Bereichs, sodass er den zumindest einen Merkmalspunkt umfasst;
Erzeugen eines zweiten Bereichs, sodass er zumindest einen zweiten Merkmalspunkt umfasst; und
Schätzen des verborgenen Körperteils basierend auf der Richtung des Gesichts und einem Überlappungsgrad zwischen dem ersten Bereich und dem zweiten Bereich.

Die Richtung des Gesichts einer Person steht in hohem Maße in Beziehung zu der Richtung, in die die Front bzw. Vorderseite des Torsos der Person zeigt. Dementsprechend ist es mit der Verarbeitung, wie sie vorstehend beschrieben ist, möglich, die Schätzgenauigkeit des verborgenen Körperteils zu verbessern, der gemäß der Haltung bzw. Körperhaltung der Person als das Subjekt auftreten würde.
Die Bildverarbeitungsvorrichtung kann derart konfiguriert sein, dass der Prozessor konfiguriert ist, wenn ein geschätztes Ergebnis des verborgenen Körperteils, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird, verschieden ist von einem geschätzten Ergebnis des verborgenen Körperteils, das erhalten wird, ohne dass sich auf die Richtung des Gesichts gestützt wird, das geschätzte Ergebnis des verborgenen Körperteils einzusetzen, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird.
Das computerlesbare Medium kann derart konfiguriert sein, dass das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung, wenn ein geschätztes Ergebnis des verborgenen Körperteils, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird, verschieden ist von einem geschätzten Ergebnis des verborgenen Körperteils, das erhalten wird, ohne dass sich auf die Richtung des Gesichts gestützt wird, das geschätzte Ergebnis des verborgenen Körperteils einzusetzen, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird.
Gemäß der Verarbeitung, wie sie vorstehend beschrieben ist, ist es möglich, die Schätzgenauigkeit des verborgenen Körperteils zu verbessern, da das Schätzergebnis basierend auf der Richtung des Gesichts, die eine relativ hohe Relevanz bzw. Bedeutung für die Richtung des Torsos der Person hat, priorisiert wird/ist.
Die Bildverarbeitungsvorrichtung kann derart konfiguriert sein, dass der Prozessor konfiguriert ist zum:

Schätzen einer Körperdrehrichtung der Person basierend auf den Bilddaten; und
Schätzen des verborgenen Körperteils basierend auf der Körperdrehrichtung.

Ein verborgener Körperteil kann auch in einem Fall aufgetreten sein, in dem eine Person als ein Subjekt eine Haltung bzw. Körperhaltung einnimmt, die eine Ver-/Drehung des Körpers involviert. Gemäß der Verarbeitung, wie sie vorstehend beschrieben ist, kann auch ein verborgener Körperteil, der durch eine Ver-/Drehung des Körpers aufgetreten sein würde, zu einem zu schätzenden Element hinzugefügt werden/sein.
Figurenliste

1 veranschaulicht eine funktionale Konfiguration eines Bildverarbeitungssystems gemäß einem Ausführungsbeispiel.
2 veranschaulicht einen Fall, in dem das Bildverarbeitungssystem von 1 in einem Fahrzeug installiert ist.
3 veranschaulicht ein in dem Bildverarbeitungssystem von 1 verwendetes Skelettmodell.
4 veranschaulicht einen Fall, in dem das Skelettmodell von 3 auf Subjekte angewandt wird.
5 veranschaulicht eine beispielhafte Art und Weise zum Bestimmen eines Zentrums eines menschlichen Körpers und eines Zentrumsbereichs in dem Skelettmodell von 3.
6 veranschaulicht eine beispielhafte Art und Weise zum Bestimmen eines Zentrums eines menschlichen Körpers und eines Zentrumsbereichs in dem Skelettmodell von 3.
7 veranschaulicht einen Ablauf einer Verarbeitung zum Anwenden des Skelettmodells von 3 auf ein Subjekt.
8 veranschaulicht einen Ablauf einer Verarbeitung zum Anwenden des Skelettmodells von 3 auf ein Subjekt.
9 veranschaulicht einen Ablauf einer Verarbeitung zum Anwenden des Skelettmodells von 3 auf ein Subjekt.
10 veranschaulicht einen Ablauf einer Verarbeitung zum Anwenden des Skelettmodells von 3 auf ein Subjekt.
11 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
12 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
13 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
14 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
15 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
16 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
17 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.
18 ist eine Darstellung zur Erläuterung einer Verarbeitung zum Schätzen eines verborgenen Körperteils einer Person als das Subjekt.

Beschreibung von Ausführungsbeispielen
Nachstehend werden Beispiele von Ausführungsbeispielen unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. 1 veranschaulicht eine funktionale Konfiguration eines Bildverarbeitungssystems 10 gemäß einem Ausführungsbeispiel. Das Bildverarbeitungssystem 10 umfasst eine Bildgebungsvorrichtung 11 und eine Bildverarbeitungsvorrichtung 12.
Die Bildgebungsvorrichtung 11 ist eine Vorrichtung zum Aufnehmen bzw. Erfassen eines Bilds eines vorgegebenen Bildgebungsbereichs. Beispiele der Bildgebungsvorrichtung 11 umfassen eine Kamera und einen Bildsensor. Die Bildgebungsvorrichtung 11 ist konfiguriert zum Ausgeben von Bilddaten DI, die dem aufgenommenen bzw. erfassten Bild entsprechen. Die Bilddaten DI können analoge Daten oder digitale Daten sein.
Die Bildverarbeitungsvorrichtung 12 umfasst eine Empfangsschnittstelle 121, einen Prozessor 122 und eine Ausgangsschnittstelle 123.
Die Empfangsschnittstelle 121 ist als eine Schnittstelle zum Empfangen der Bilddaten DI konfiguriert. In einem Fall, in dem die Bilddaten DI analoge Daten sind, umfasst die Empfangsschnittstelle 121 eine geeignete Umwandlungsschaltung, die einen A/D-Wandler umfasst.
Der Prozessor 122 ist konfiguriert zum Verarbeiten der Bilddaten DI in Form von digitalen Daten. Die Einzelheiten der durch den Prozessor 122 durchgeführten Verarbeitung werden nachstehend beschrieben. Basierend auf dem Ergebnis der Verarbeitung ermöglicht der Prozessor 122 die Ausgabe von Steuerdaten DC von der Ausgangsschnittstelle 123. Die Steuerdaten DC sind Daten zur Steuerung des Betriebs von verschiedenen gesteuerten Vorrichtungen. Die Steuerdaten DC können digitale Daten oder analoge Daten sein. In einem Fall, in dem die Steuerdaten DC analoge Daten sind, umfasst die Ausgangsschnittstelle 123 eine geeignete Umwandlungsschaltung, die einen D/A-Wandler umfasst.
Das Bildverarbeitungssystem 10 kann zum Beispiel in einem Fahrzeug 20 installiert sein, wie es in 2 veranschaulicht ist. In diesem Fall umfassen Beispiele der gesteuerten Vorrichtungen, deren Betrieb durch die vorgenannten Steuerdaten DC zu steuern ist, eine Türöffnungs-/-schließvorrichtung, eine Türverriegelungs- bzw. Türschlossvorrichtung, eine Klimaanlage, eine Beleuchtungsvorrichtung und eine audiovisuelle Ausrüstung in dem Fahrzeug 20.
Die Bildgebungsvorrichtung 11 ist an einer geeigneten Position in dem Fahrzeug 20 gemäß einem gewünschten Bildgebungsbereich angeordnet. Die Bildverarbeitungsvorrichtung 12 ist an einer geeigneten Position in dem Fahrzeug 20 angeordnet. In diesem Fall ist die Bildgebungsvorrichtung 11 an einem Teil auf der rechten Seite des Fahrzeugs 20 angeordnet, und definiert sie einen Bildgebungsbereich A auf der rechten Seite des Fahrzeugs 20. Mit anderen Worten erfasst die Bildgebungsvorrichtung 11 ein Bild des Bildgebungsbereichs A.
Verschiedene Subjekte 30 können in den Bildgebungsbereich A eintreten/ -dringen. Wenn das Subjekt 30 in den Bildgebungsbereich A eintritt/-dringt, wird das Subjekt 30 in einem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild erfasst bzw. aufgenommen bzw. festgehalten. Das in dem Bild erfasste Subjekt 30 wird in den Bilddaten DI widergespiegelt.
Das Bildverarbeitungssystem 10 hat eine Funktion zum Schätzen des Skeletts bzw. Knochengerüsts der Person, wenn das Subjekt 30 ein Mensch ist.
Um die vorgenannte Funktion zu verwirklichen, ist der Prozessor 122 konfiguriert zum Durchführen einer Verarbeitung, mit Bezug auf die Bilddaten DI, zum Anwenden eines Skelettmodells auf das Subjekt 30, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild erfasst wird.
Im Speziellen wird das in 3 veranschaulichte Skelettmodell M eingesetzt. Das Skelettmodell M umfasst einen Zentrumsbereich CA, der einen Zentrumsmerkmalspunkt C umfasst, der dem Zentrum des Modellmenschenkörpers entspricht. Das Skelettmodell M umfasst eine Linke-obere-Gliedmaße-Gruppe LU, eine Rechte-obere-Gliedmaße-Gruppe RU, eine Linke-untere-Gliedmaße-Gruppe LL und eine Rechte-untere-Gliedmaße-Gruppe RL.
Die Linke-obere-Gliedmaße-Gruppe LU umfasst eine Vielzahl von Merkmalspunkten, die einer Vielzahl von charakteristischen Teilen in der linken oberen Gliedmaße des Modellmenschenkörpers entsprechen. Im Speziellen umfasst die Linke-obere-Gliedmaße-Gruppe LU einen Linke-Schulter-Merkmalspunkt LU1, einen Linker-Ellbogen-Merkmalspunkt LU2 und einen Linkes-Handgelenk-Merkmalspunkt LU3. Der Linke-Schulter-Merkmalspunkt LU1 ist ein Punkt, der der linken Schulter des Modellmenschenkörpers entspricht. Der Linker-Ellbogen-Merkmalspunkt LU2 ist ein Punkt, der dem linken Ellbogen des Modellmenschenkörpers entspricht. Der Linkes-Handgelenk-Merkmalspunkt LU3 ist ein Punkt, der dem linken Handgelenk des Modellmenschenkörpers entspricht.
Die Rechte-obere-Gliedmaße-Gruppe RU umfasst eine Vielzahl von Merkmalspunkten, die einer Vielzahl von charakteristischen Teilen in der rechten oberen Gliedmaße des Modellmenschenkörpers entsprechen. Im Speziellen umfasst die Rechte-obere-Gliedmaße-Gruppe RU einen Rechte-Schulter-Merkmalspunkt RU1, einen Rechter-Ellbogen-Merkmalspunkt RU2 und einen Rechtes-Handgelenk-Merkmalspunkt RU3. Der Rechte-Schulter-Merkmalspunkt RU1 ist ein Punkt, der der rechten Schulter des Modellmenschenkörpers entspricht. Der Rechter-Ellbogen-Merkmalspunkt RU2 ist ein Punkt, der dem rechten Ellbogen des Modellmenschenkörpers entspricht. Der Rechtes-Handgelenk-Merkmalspunkt RU3 ist ein Punkt, der dem rechten Handgelenk des Modellmenschenkörpers entspricht.
Die Linke-untere-Gliedmaße-Gruppe LL umfasst eine Vielzahl von Merkmalspunkten, die einer Vielzahl von charakteristischen Teilen in der linken unteren Gliedmaße des Modellmenschenkörpers entsprechen. Im Speziellen umfasst die Linke-untere-Gliedmaße-Gruppe LL einen Linke-Hüfte-Merkmalspunkt LL1, einen Linkes-Knie-Merkmalspunkt LL2 und einen Linker-Knöchel-Merkmalspunkt LL3. Der Linke-Hüfte-Merkmalspunkt LL1 ist ein Punkt, der dem linken Teil der Hüften des Modellmenschenkörpers entspricht. Der Linkes-Knie-Merkmalspunkt LL2 ist ein Punkt, der dem linken Knie des Modellmenschenkörpers entspricht. Der Linker-Knöchel-Merkmalspunkt LL3 ist ein Punkt, der dem linken Knöchel des Modellmenschenkörpers entspricht.
Die Rechte-untere-Gliedmaße-Gruppe RL umfasst eine Vielzahl von Merkmalspunkten, die einer Vielzahl von charakteristischen Teilen in der rechten unteren Gliedmaße des Modellmenschenkörpers entsprechen. Im Speziellen umfasst die Rechte-untere-Gliedmaße-Gruppe RL einen Rechte-Hüfte-Merkmalspunkt RL1, einen Rechtes-Knie-Merkmalspunkt RL2 und einen Rechter-Knöchel-Merkmalspunkt RL3. Der Rechte-Hüfte-Merkmalspunkt RL1 ist ein Punkt, der dem rechten Teil der Hüften des Modellmenschenkörpers entspricht. Der Rechtes-Knie-Merkmalspunkt RL2 ist ein Punkt, der dem rechten Knie des Modellmenschenkörpers entspricht. Der Rechter-Knöchel-Merkmalspunkt RL3 ist ein Punkt, der dem rechten Knöchel des Modellmenschenkörpers entspricht.
Die Linke-obere-Gliedmaße-Gruppe LU ist mit dem Zentrumsbereich CA über eine linke obere Skelettlinie LUS verbunden. Die Rechte-obere-Gliedmaße-Gruppe RU ist mit dem Zentrumsbereich CA über eine rechte obere Skelettlinie RUS verbunden. Die Linke-untere-Gliedmaße-Gruppe LL ist mit dem Zentrumsbereich CA über eine linke untere Skelettlinie LLS verbunden. Die Rechte-untere-Gliedmaße-Gruppe RL ist mit dem Zentrumsbereich CA über eine rechte untere Skelettlinie RLS verbunden. Das heißt, dass in dem Skelettmodell M eine Vielzahl von Merkmalspunkten, die den Gliedmaßen des Modellmenschenkörpers entsprechen, mit dem Zentrumsmerkmalspunkt C des Modellmenschenkörpers verbunden sind.
Im Speziellen umfasst das Skelettmodell M einen Gesichtsmerkmalspunkt F und einen Nackenmerkmalspunkt NK. Der Gesichtsmerkmalspunkt F ist ein Punkt, der dem Gesicht des Modellmenschenkörpers entspricht. Der Nackenmerkmalspunkt NK ist ein Punkt, der dem Nacken bzw. Hals des Modellmenschenkörpers entspricht. Der Gesichtsmerkmalspunkt F, die Linke-obere-Gliedmaße-Gruppe LU und die Rechte-obere-Gliedmaße-Gruppe RU sind mit dem Zentrumsbereich CA über den Nackenmerkmalspunkt NK verbunden. Der Gesichtsmerkmalspunkt F kann durch einen Kopfmerkmalspunkt H ersetzt werden. Der Kopfmerkmalspunkt H ist ein Punkt, der dem Kopfzentrum des Modellmenschenkörpers entspricht.
Wie hierin verwendet, meint/bedeutet der Ausdruck „Verarbeitung zum Anwenden eines Skelettmodells“ eine Verarbeitung zum Detektieren einer Vielzahl von Merkmalspunkten, die in dem Skelettmodell definiert sind, in einem Subjekt, das in einem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild erfasst wird, und Verbinden der Merkmalspunkte mit einer Vielzahl von Skelettverbindungslinien, die in dem Skelettmodell definiert sind.
4 veranschaulicht ein Beispiel, in dem das Skelettmodell M auf eine Vielzahl von Personen 31 und 32 als das Subjekt 30, das in einem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird, angewandt wird.
Durch Einsatz des Skelettmodells M, in dem die Merkmalspunkte, die den Gliedmaßen des menschlichen Körpers entsprechen, mit dem Zentrumsmerkmalspunkt C, der dem Zentrum des menschlichen Körpers entspricht, verbunden sind, wie es vorstehend beschrieben ist, wird eine Schätzung eines realistischeren menschlichen Skeletts ermöglicht. In einem Fall, in dem eine Haltung bzw. Körperhaltung und/oder eine Bewegung einer in dem Bild I erfassten Person zu schätzen ist, ist es zum Beispiel basierend auf der Tatsache, dass das realistischere Skelett geschätzt wird, möglich, ein Schätzergebnis mit höherer Genauigkeit bereitzustellen. Dementsprechend ist es möglich, die Genauigkeit einer Unterscheidung des Subjekts 30 zu verbessern, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird.
Wie es in 5 veranschaulicht ist, wird die Position des Zentrumsmerkmalspunkts C des Modellmenschenkörpers basierend auf den Positionen der Merkmalspunkte bestimmt, die den Gliedmaßen des Modellmenschenkörpers entsprechen. Im Speziellen kann die Position des Zentrumsmerkmalspunkts C durch den folgenden Vorgang bestimmt werden.
In einem Fall, in dem die Links-Rechts-Richtung und die Oben-Unten-Richtung in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I als die X-Richtung und die Y-Richtung definiert sind, wird ein Rechteck R definiert, das durch eine kurze Seite mit einer Dimension bzw. Größe X1 und eine lange Seite mit einer Dimension bzw. Größe Y1 gebildet ist. Die Dimension bzw. Größe X1 entspricht einer Entfernung zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1 entlang der X-Richtung. Die Dimension bzw. Größe Y1 entspricht einer Entfernung zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Linke-Hüfte-Merkmalspunkt LL1 (oder zwischen dem Rechte-Schulter-Merkmalspunkt RU1 und dem Rechte-Hüfte-Merkmalspunkt RL1) entlang der Y-Richtung. Nachfolgend wird eine Kreuzung bzw. ein Schnittpunkt einer geraden Linie, die in der Y-Richtung durch den Mittelpunkt der kurzen Seite des Rechtecks R verläuft, und einer geraden Linie, die in der X-Richtung durch den Mittelpunkt der langen Seite des Rechtecks R verläuft, als die Position des Zentrumsmerkmalspunkts C bestimmt.
Gemäß einer solchen Konfiguration kann die Position des Zentrumsmerkmalspunkts C basierend auf den den Gliedmaßen entsprechenden Merkmalspunkten bestimmt werden, die relativ einfach zu detektieren sind. Mit anderen Worten ist es nicht notwendig, die Position des Zentrumsmerkmalspunkts C als einen Merkmalspunkt zu detektieren, um das Skelettmodell M anzuwenden, das zum Verbessern der Unterscheidungsgenauigkeit im Stande ist, wie es vorstehend beschrieben ist. Dementsprechend ist es möglich, die Unterscheidungsgenauigkeit des Subjekts 30 zu verbessern, während eine Erhöhung der Verarbeitungslast der Bildgebungsvorrichtung 12 unterbunden wird.
Es sollte beachtet werden, dass die in der Y-Richtung verlaufende gerade Linie, die zum Bestimmen der Position des Zentrumsmerkmalspunkts C verwendet wird, nicht notwendigerweise den Mittelpunkt der kurzen Seite des Rechtecks R durchlaufen muss. Gleichermaßen muss die in der X-Richtung verlaufende gerade Linie, die zum Bestimmen der Position des Merkmalspunkts C verwendet wird, nicht notwendigerweise den Mittelpunkt der langen Seite des Rechtecks R durchlaufen. Die Punkte, an denen diese geraden Linien die kurze Seite und die lange Seite des Rechtecks R kreuzen bzw. schneiden, können auf geeignete Weise geändert werden.
Der Nackenmerkmalspunkt NK kann auch basierend auf den Positionen der Merkmalspunkte bestimmt werden, die den Gliedmaßen entsprechen. Zum Beispiel kann der Nackenmerkmalspunkt NK als ein Mittelpunkt einer geraden Linie bestimmt werden, die den Linke-Schulter-Merkmalspunkt LU1 und den Rechte-Schulter-Merkmalspunkt RU1 verbindet. Das heißt, dass es nicht notwendig ist, den Nackenmerkmalspunkt NK zu detektieren, wenn das Skelettmodell M angewandt wird. Als Folge hiervon ist es möglich, eine Erhöhung der Verarbeitungslast der Bildverarbeitungsvorrichtung 12 zu unterbinden.
Wie es in 6 veranschaulicht ist, kann der Zentrumsmerkmalspunkt C ohne Verwendung des in 5 veranschaulichten Rechtecks R bestimmt werden. In diesem Fall wird ein Viereck Q mit Ecken definiert, die dem Linke-Schulter-Merkmalspunkt LU1, dem Rechte-Schulter-Merkmalspunkt RU1, dem Linke-Hüfte-Merkmalspunkt LL1 und dem Rechte-Hüfte-Merkmalspunkt RL1 entsprechen. Nachfolgend wird ein Schwerpunkt des Vierecks Q als die Position des Zentrumsmerkmalspunkts C bestimmt.
Gemäß einer solchen Konfiguration ist es möglich, die Einschränkung bzw. Bedingung in Bezug auf die Haltung bzw. Körperhaltung des Subjekts 30 abzuschwächen, wenn der Zentrumsmerkmalspunkt C bestimmt wird.
Wie es in 5 veranschaulicht ist, wird die Größe des Zentrumsbereichs CA des Modellmenschenkörpers basierend auf der Entfernung zwischen Merkmalspunkten bestimmt, die den Gliedmaßen des Modellmenschenkörpers entsprechen. In diesem Fall hat der Zentrumsbereich CA eine rechteckige Form. Eine Dimension bzw. Größe X2 der kurzen Seite des Zentrumsbereichs CA ist eine Hälfte der Dimension bzw. Größe X1 der kurzen Seite des Rechtecks R. Die Dimension bzw. Größe Y2 der langen Seite des Zentrumsbereichs CA ist eine Hälfte der Dimension bzw. Größe Y1 der langen Seite des Rechtecks R.
Es sollte beachtet werden, dass das Verhältnis der Dimension bzw. Größe X2 zu der Dimension bzw. Größe X1 und das Verhältnis der Dimension bzw. Größe Y2 zu der Dimension bzw. Größe Y1 individuell und zweckdienlich bestimmt werden können.
Der Zentrumsmerkmalspunkt C, der wie vorstehend beschrieben bestimmt wird, befindet sich in dem Torso bzw. Rumpf einer Person als das Subjekt 30, das in dem Bild I erfasst wird. Der Zentrumsbereich CA hat eine Fläche, die das Maß/ Ausmaß bzw. die Ausdehnung des tatsächlichen Torsos bzw. Rumpfs der Person als das Subjekt 30 widerspiegelt. Durch den Zentrumsbereich CA, der den Zentrumsmerkmalspunkt C umfasst, zusätzlich zu der Bestimmung der Position des Zentrumsmerkmalspunkts C ist es möglich, ein Skelettmodell, das für einen menschlichen Körper beschreibend bzw. darstellend ist, mit höherer Realität bereitzustellen. Dementsprechend ist es möglich, die Genauigkeit einer Unterscheidung des Subjekts 30, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird, weiter zu verbessern.
Da der tatsächliche Torso ein Maß/Ausmaß bzw. eine Ausdehnung hat, würde es zum Beispiel abhängig von der Haltung bzw. Körperhaltung der Person als das Subjekt 30 einen verborgenen Körperteil geben, der durch den Torso verdeckt bzw. verstellt ist und in dem Bild I nicht erfasst wird. Basierend auf der Positionsbeziehung zwischen dem detektierten Merkmalspunkt und dem Zentrumsbereich CA ist es möglich, die Schätzgenauigkeit eines solchen verborgenen Körperteils zu verbessern.
Wie es in 6 veranschaulicht ist, muss der Zentrumsbereich CA des menschlichen Körpers nicht notwendigerweise rechteckförmig sein. In diesem Beispiel hat der Zentrumsbereich CA eine elliptische Form. In diesem Fall können die Dimension bzw. Größe X2 entlang der X-Richtung und die Dimension bzw. Größe Y2 entlang der Y-Richtung der elliptischen Form basierend auf der Größe des vorher bestimmten Vierecks Q (oder des in 5 veranschaulichten Rechtecks R) zweckdienlich bestimmt werden.
Der Körperteil, der mit den Merkmalspunkten in Zusammenhang steht, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, und die Anzahl der Merkmalspunkte können auf geeignete Weise bestimmt werden. Der Zentrumsmerkmalspunkt C und der Merkmalspunkt, der als Bezugspunkt zum Definieren des Zentrumsbereichs CA dient, können auf geeignete Weise bestimmt werden. Es ist jedoch bevorzugt, dass die Linke-obere-Gliedmaße-Gruppe LU den Linke-Schulter-Merkmalspunkt LU1 umfasst. Dies ist deshalb so, da der Linke-Schulter-Merkmalspunkt LU1 ein Merkmalspunkt ist, der ungeachtet des Zustands bzw. der Lage der linken oberen Gliedmaße mit relativ hoher Stabilität detektiert werden kann. Aus dem gleichen Grund ist es bevorzugt, den Linke-Schulter-Merkmalspunkt LU1 als Bezugspunkt zum Definieren des Zentrumsmerkmalspunkts C und des Zentrumsbereichs CA zu verwenden.
Der Körperteil, der mit den Merkmalspunkten in Zusammenhang steht, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, und die Anzahl der Merkmalspunkte können auf geeignete Weise bestimmt werden. Der Zentrumsmerkmalspunkt C und der Merkmalspunkt, der als Bezugspunkt zum Definieren des Zentrumsbereichs CA dient, können auf geeignete Weise bestimmt werden. Es ist jedoch bevorzugt, dass die Rechte-obere-Gliedmaße-Gruppe RU den Rechte-Schulter-Merkmalspunkt RU1 umfasst. Dies ist deshalb so, da der Rechte-Schulter-Merkmalspunkt RU1 ein Merkmalspunkt ist, der ungeachtet des Zustands bzw. der Lage der rechten oberen Gliedmaßen mit relativ hoher Stabilität detektiert werden kann. Aus dem gleichen Grund ist es bevorzugt, den Rechte-Schulter-Merkmalspunkt RU1 als Bezugspunkt zum Definieren des Zentrumsmerkmalspunkts C und des Zentrumsbereichs CA zu verwenden.
Der Körperteil, der mit den Merkmalspunkten in Zusammenhang steht, die in der Linke-untere-Gliedmaße-Gruppe LL umfasst sind, und die Anzahl der Merkmalspunkte können auf geeignete Weise bestimmt werden. Der Zentrumsmerkmalspunkt C und der Merkmalspunkt, der als Bezugspunkt zum Definieren des Zentrumsbereichs CA dient, können auf geeignete Weise bestimmt werden. Es ist jedoch bevorzugt, dass die Linke-untere-Gliedmaße-Gruppe LL den Linke-Hüfte-Merkmalspunkt LL1 umfasst. Dies ist deshalb so, da der Linke-Hüfte-Merkmalspunkt LL1 ein Merkmalspunkt ist, der ungeachtet des Zustands bzw. der Lage des linken Beins mit relativ hoher Stabilität detektiert werden kann. Aus dem gleichen Grund ist es bevorzugt, den Linke-Hüfte-Merkmalspunkt LL1 als Bezugspunkt zum Definieren des Zentrumsmerkmalspunkts C und des Zentrumsbereichs CA zu verwenden.
Der Körperteil, der mit den Merkmalspunkten in Zusammenhang steht, die in der Rechte-untere-Gliedmaße-Gruppe RL umfasst sind, und die Anzahl der Merkmalspunkte können auf geeignete Weise bestimmt werden. Der Zentrumsmerkmalspunkt C und der Merkmalspunkt, der als Bezugspunkt zum Definieren des Zentrumsbereichs CA dient, können auf geeignete Weise bestimmt werden. Es ist jedoch bevorzugt, dass die Rechte-untere-Gliedmaße-Gruppe RL den Rechte-Hüfte-Merkmalspunkt RL1 umfasst. Dies ist deshalb so, da der Rechte-Hüfte-Merkmalspunkt RL1 ein Merkmalspunkt ist, der ungeachtet des Zustands bzw. der Lage des rechten Beins mit relativ hoher Stabilität detektiert werden kann. Aus dem gleichen Grund ist es bevorzugt, den Rechte-Hüfte-Merkmalspunkt RL1 als Bezugspunkt zum Definieren des Zentrumsmerkmalspunkts C und des Zentrumsbereichs CA zu verwenden.
Bezugnehmend auf 7 bis 10 wird eine beispielhafte Verarbeitung zum Anwenden des Skelettmodells M auf das Subjekt 30 beschrieben, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird.
Der Prozessor 122 der Bildverarbeitungsvorrichtung 12 führt eine Verarbeitung zum Detektieren eines Objekts, das eine hohe Wahrscheinlichkeit dafür aufweist, ein in dem Bild I erfasster Mensch zu sein, basierend auf den durch die Empfangsschnittstelle 121 empfangenen Bilddaten DI aus. Da die Verarbeitung unter Verwendung eines wohlbekannten Verfahrens zweckdienlich durchgeführt werden kann, werden ausführliche Erläuterungen für die Verarbeitung ausgelassen. Ein Rahmen F0 in 7 stellt einen Bereich dar, der ein Objekt enthält, das in dem Bild I dahingehend identifiziert bzw. erkannt wird, dass es eine hohe Wahrscheinlichkeit dafür aufweist, ein Mensch zu sein.
Nachfolgend detektiert der Prozessor 122 eine Vielzahl von realen Merkmalspunkten basierend auf der Annahme, dass das Subjekt 30 ein Mensch ist. Da die Verarbeitung zum Detektieren einer Vielzahl von realen Merkmalspunkten, die einer Vielzahl von charakteristischen Körperteilen entsprechen, aus dem in dem Bild I erfassten Subjekt 30 unter Verwendung einer wohlbekannten Technik zweckdienlich durchgeführt werden kann, werden ausführliche Erläuterungen für die Verarbeitung ausgelassen.
In diesem Beispiel werden, zusätzlich zu dem Linke-Schulter-Merkmalspunkt LU1, dem Linker-Ellbogen-Merkmalspunkt LU2, dem Linkes-Handgelenk-Merkmalspunkt LU3, dem Rechte-Schulter-Merkmalspunkt RU1, dem Rechter-Ellbogen-Merkmalspunkt RU2, dem Rechtes-Handgelenk-Merkmalspunkt RU3, dem Linke-Hüfte-Merkmalspunkt LL1, dem Linkes-Knie-Merkmalspunkt LL2, dem Linker-Knöchel-Merkmalspunkt LL3, dem Rechte-Hüfte-Merkmalspunkt RL1, dem Rechtes-Knie-Merkmalspunkt RL2 und dem Rechter-Knöchel-Merkmalspunkt RL3, die vorstehend beschrieben sind, ein Linkes-Auge-Merkmalspunkt LY, ein Rechtes-Auge-Merkmalspunkt RY, ein Nasenmerkmalspunkt NS, ein Mundmerkmalspunkt MS, ein Linkes-Ohr-Merkmalspunkt LA und ein Rechtes-Ohr-Merkmalspunkt RA detektiert. Der Linkes-Auge-Merkmalspunkt LY ist ein Merkmalspunkt, der dem linken Auge des menschlichen Körpers entspricht. Der Rechtes-Auge-Merkmalspunkt RY ist ein Merkmalspunkt, der dem rechten Auge des menschlichen Körpers entspricht. Der Nasenmerkmalspunkt NS ist ein Merkmalspunkt, der der Nase des menschlichen Körpers entspricht. Der Mundmerkmalspunkt MS ist ein Merkmalspunkt, der dem Mund des menschlichen Körpers entspricht. Der Linkes-Ohr-Merkmalspunkt LA ist ein Merkmalspunkt, der dem linken Ohr des menschlichen Körpers entspricht. Der Rechtes-Ohr-Merkmalspunkt RA ist ein Merkmalspunkt, der dem rechten Ohr des menschlichen Körpers entspricht.
Nachfolgend, wie es in 8 veranschaulicht ist, klassifiziert der Prozessor 122 die detektierten realen Merkmalspunkte in eine Vielzahl von Gruppen, die in dem Skelettmodell M definiert sind. Mit anderen Worten werden eine Vielzahl von Gruppen derart gebildet, dass vorgegebene reale Merkmalspunkte in jeder Gruppe umfasst sind.
In diesem Beispiel wird die Linke-obere-Gliedmaße-Gruppe LU so gebildet, dass sie den Linke-Schulter-Merkmalspunkt LU1, den Linker-Ellbogen-Merkmalspunkt LU2 und den Linkes-Handgelenk-Merkmalspunkt LU3 umfasst. Die Rechte-obere-Gliedmaße-Gruppe RU1 wird so gebildet, dass sie den Rechte-Schulter-Merkmalspunkt RU, den Rechter-Ellbogen-Merkmalspunkt RU2 und den Rechtes-Handgelenk-Merkmalspunkt RU3 umfasst. Die Linke-untere-Gliedmaße-Gruppe LL wird so gebildet, dass sie den Linke-Hüfte-Merkmalspunkt LL1, den Linkes-Knie-Merkmalspunkt LL2 und den Linker-Knöchel-Merkmalspunkt LL3 umfasst. Die Rechte-untere-Gliedmaße-Gruppe RL wird so gebildet, dass sie den Rechte-Hüfte-Merkmalspunkt RL1, den Rechtes-Knie-Merkmalspunkt RL2 und den Rechter-Knöchel-Merkmalspunkt RL3 umfasst.
Außerdem führt der Prozessor 122 eine Verarbeitung zum Verbinden der in jeder Gruppe umfassten realen Merkmalspunkte mit einer Skelettlinie durch.
Zusätzlich wird der Gesichtsmerkmalspunkt F basierend auf dem Linkes-Auge-Merkmalspunkt LY, dem Rechtes-Auge-Merkmalspunkt RY, dem Nasenmerkmalspunkt NS, dem Mundmerkmalspunkt MS, dem Linkes-Ohr-Merkmalspunkt LA und dem Rechtes-Ohr-Merkmalspunkt RA bestimmt. Zusätzlich oder alternativ kann der Kopfmerkmalspunkt H bestimmt werden. Der Gesichtsmerkmalspunkt F kann Informationen in Bezug auf die Position und Richtung des Gesichts bereitstellen. Der Kopfmerkmalspunkt H kann eine geschätzte Position des Zentrums des Kopfs darstellen. Da die Verarbeitung zum Definieren des Gesichtsmerkmalspunkts F und des Kopfmerkmalspunkts H basierend auf dem Linkes-Auge-Merkmalspunkt LY, dem Rechtes-Auge-Merkmalspunkt RY, dem Nasenmerkmalspunkt NS, dem Mundmerkmalspunkt MS, dem Linkes-Ohr-Merkmalspunkt LA und dem Rechtes-Ohr-Merkmalspunkt RA des menschlichen Körpers unter Verwendung einer wohlbekannten Technik zweckdienlich durchgeführt werden kann, werden ausführliche Beschreibungen für die Verarbeitung ausgelassen.
Als nächstes, wie es in 9 veranschaulicht ist, führt der Prozessor 122 eine Verarbeitung zum Definieren des Zentrumsmerkmalspunkts C durch. In diesem Beispiel wird das unter Bezugnahme auf 5 beschriebene Rechteck R verwendet. Zusätzlich führt der Prozessor 122 eine Verarbeitung zum Definieren des Nackenmerkmalspunkts NK durch. In diesem Beispiel wird der Mittelpunkt der geraden Linie, die den Linke-Schulter-Merkmalspunkt LU1 und den Rechte-Schulter-Merkmalspunkt RU1 verbindet, als der Nackenmerkmalspunkt NK bestimmt.
Als nächstes, wie es in 10 veranschaulicht ist, führt der Prozessor 122 eine Verarbeitung zum Definieren des Zentrumsbereichs CA durch. In diesem Beispiel wird die unter Bezugnahme auf 5 beschriebene Technik verwendet.
Nachfolgend führt der Prozessor 122 eine Verarbeitung zum Verbinden von jeder der Gruppen, die dem Zentrumsmerkmalspunkt C und den Gliedmaßen entsprechen, mit Skelettlinien durch. Im Speziellen werden der Linke-Schulter-Merkmalspunkt LU1 und der Rechte-Schulter-Merkmalspunkt RU1 über den Nackenmerkmalspunkt NK mit dem Zentrumsmerkmalspunkt C verbunden. Jeder des Linke-Hüfte-Merkmalspunkts LL1 und des Rechte-Hüfte-Merkmalspunkts RL1 wird direkt mit dem Zentrumsmerkmalspunkt C verbunden. Zumindest einer des Gesichtsmerkmalspunkts F und des Kopfmerkmalspunkts H wird mit dem Nackenmerkmalspunkt NK verbunden.
In einem Fall, in dem es unmöglich ist, zumindest eine der Detektion eines vorgegebenen realen Merkmalspunkts, der Klassifikation der detektierten realen Merkmalspunkte in die Gruppen und der Verbindung der realen Merkmalspunkte mit den Skelettlinien durchzuführen, kann es vorkommen, dass es eine bestimmte Skelettlinie gibt, die die realen Merkmalspunkte nicht verbinden kann. In einem Fall, in dem ein Verhältnis der Anzahl von Skelettlinien, die die Verbindung nicht durchführen bzw. leisten können, zu der Gesamtzahl von Skelettlinien einen Schwellenwert überschreitet, kann der Prozessor 122 bestimmen, dass das Skelettmodell M nicht mit dem Subjekt 30 zusammenpasst bzw. übereinstimmt. Der Schwellenwert für das Verhältnis kann zweckdienlich bestimmt werden/sein. Das heißt, dass der Prozessor 122 basierend darauf, ob das Skelettmodell M mit den realen Merkmalspunkten zusammenpasst bzw. übereinstimmt, bestimmen kann, ob das Subjekt 30 ein Mensch ist.
Gemäß einer derartigen Konfiguration ist es möglich, eine Möglichkeit zu unterbinden, dass eine unnötige Verarbeitung basierend auf dem Skelettmodell M auf dem Subjekt 30, das kein Mensch ist, durchgeführt wird.
Dementsprechend ist es möglich, die Genauigkeit einer Unterscheidung des Subjekts 30 weiter zu verbessern und eine Erhöhung der Verarbeitungslast der Bildverarbeitungsvorrichtung 12 zu unterbinden.
Die Person als das Subjekt 30, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird, ist nicht immer einer Front bzw. Vorderseite der Bildgebungsvorrichtung 11 zugewandt. Der Prozessor 122 der Bildverarbeitungsvorrichtung 12 ist konfiguriert zum Schätzen des Vorhandenseins oder Nichtvorhandenseins einer Ver-/Drehung in dem Körper der in dem Bild I erfassten Person basierend auf den durch die Empfangsschnittstelle 121 empfangenen Bilddaten DI.
Im Speziellen, wie es in 11 veranschaulicht ist, erfasst bzw. erhält der Prozessor 122 eine Entfernung D1 zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Gesichtsmerkmalspunkt F entlang der X-Richtung und eine Entfernung D2 zwischen dem Rechte-Schulter-Merkmalspunkt RU1 und dem Gesichtsmerkmalspunkt F entlang der X-Richtung. Der Linke-Schulter-Merkmalspunkt LU1 ist ein Beispiel des ersten Merkmalspunkts. Der Rechte-Schulter-Merkmalspunkt RU1 ist ein Beispiel des zweiten Merkmalspunkts. Der Gesichtsmerkmalspunkt F ist ein Beispiel des dritten Merkmalspunkts. Die Entfernung D1 ist ein Beispiel des ersten Werts. Die Entfernung D2 ist ein Beispiel des zweiten Werts.
Nachfolgend schätzt der Prozessor 122 das Vorhandensein oder Nichtvorhandenseins der Ver-/Drehung in dem Körper der in dem Bild I erfassten Person basierend auf einem Verhältnis zwischen der Entfernung D1 und der Entfernung D2. Im Speziellen wird geschätzt, dass der Körper ver-/gedreht ist, wenn eine Differenz zwischen dem Verhältnis und 1 einen Schwellenwert überschreitet. Wenn eine Person als das Subjekt 30 der Bildgebungsvorrichtung 11 zugewandt ist, ist es hochwahrscheinlich, dass der Linke-Schulter-Merkmalspunkt LU1 und der Rechte-Schulter-Merkmalspunkt RU1 mit Bezug auf den Gesichtsmerkmalspunkt F in der Links-Rechts-Richtung (X-Richtung) symmetrisch liegen. Dementsprechend nähert sich das Verhältnis zwischen der Entfernung D1 und der Entfernung D2 1. Mit anderen Worten ist, umso kleiner als 1 das Verhältnis ist, die Wahrscheinlichkeit umso höher, dass die Front bzw. Vorderseite des Gesichts und die Front bzw. Vorderseite des Oberkörpers in unterschiedliche Richtungen zeigen bzw. gewandt sind.
Dementsprechend ist es mit der Verarbeitung, wie sie vorstehend beschrieben ist, möglich, das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung zwischen dem Gesicht und dem Oberkörper der Person als das Subjekt 30 zu schätzen. Als Folge hiervon ist es möglich, die Unterscheidungsgenauigkeit des Subjekts 30 zu verbessern, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird.
Wie es in 11 veranschaulicht ist, können, wenn das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung in dem Körper geschätzt wird, eine Entfernung D1' zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Gesichtsmerkmalspunkt F und eine Entfernung D2' zwischen dem Rechte-Schulter-Merkmalspunkt RU1 und dem Gesichtsmerkmalspunkt F erfasst bzw. erhalten werden, und kann das Verhältnis dieser Werte direkt erhalten werden. In diesem Fall ist die Entfernung D1' ein Beispiel des ersten Werts, und ist die Entfernung D2' ein Beispiel des zweiten Werts.
Die Merkmalspunkte, die zum Erfassen bzw. Erhalten der Entfernung zu dem Gesichtsmerkmalspunkt F verwendet werden, sind nicht auf den Linke-Schulter-Merkmalspunkt LU1 und den Rechte-Schulter-Merkmalspunkt RU1 beschränkt. Solange der Punkt einem charakteristischen Teil entspricht, das in der linken oberen Gliedmaße der Person als das Subjekt 30 umfasst ist, kann ein geeigneter Punkt als der erste Merkmalspunkt eingesetzt werden. Gleichermaßen kann, solange der Punkt einem charakteristischen Teil entspricht, das in der rechten oberen Gliedmaße der Person als das Subjekt 30 umfasst ist, ein geeigneter Punkt als der zweite Merkmalspunkt eingesetzt werden. Es sollte beachtet werden, dass es, wie der Linke-Ellbogen-Merkmalspunkt LU1 und der Rechte-Ellbogen-Merkmalspunkt RU2, notwendig ist, zwei Punkte auszuwählen, die mit Bezug auf den Gesichtsmerkmalspunkt F relativ zu der Links-Rechts-Richtung symmetrisch liegen, wenn eine Person als das Subjekt 30 der Front der Bildgebungsvorrichtung 11 zugewandt ist.
Da die Positionen des Linke-Schulter-Merkmalspunkts LU1 und des Rechte-Schulter-Merkmalspunkts RU1 ungeachtet des Zustands bzw. der Lage von beiden oberen Gliedmaßen relativ stabil sind und sich nahe dem Gesichtsmerkmalspunkt F befinden, ist es jedoch vorteilhaft, den Linke-Schulter-Merkmalspunkt LU1 und den Rechte-Schulter-Merkmalspunkt RU1 als den ersten Merkmalspunkt und den zweiten Merkmalspunkt einzusetzen, um das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung in dem Gesicht und dem Oberkörper genau zu schätzen.
Solange er einem charakteristischen Teil entspricht, das in dem Gesicht der Person als das Subjekt 30 umfasst ist, kann ein anderer Merkmalspunkt als der Gesichtsmerkmalspunkt F als der dritte Merkmalspunkt eingesetzt werden. Es sollte jedoch beachtet werden, dass es, wie der Nasenmerkmalspunkt NS und der Mundmerkmalspunkt MS, notwendig ist, einen Punkt auszuwählen, der eine Symmetriebeziehung mit Bezug auf den ersten Merkmalspunkt und den zweiten Merkmalspunkt relativ zu der Links-Rechts-Richtung aufweist, wenn eine Person als das Subjekt 30 der Front der Bildgebungsvorrichtung 11 zugewandt ist.
Basierend darauf, ob das Verhältnis der Entfernung D1 und der Entfernung D2 mit Bezug auf 1 größer oder kleiner ist, kann der Prozessor 122 eine Drehrichtung bzw. Ver-/Drehungsrichtung des Körpers der Person als das Subjekt 30 schätzen.
Im Speziellen, wie es in 11 veranschaulicht ist, schätzt der Prozessor 122 in einem Fall, in dem das Verhältnis größer als 1 ist (in einem Fall, in dem D1 größer als D2 ist), dass das Gesicht relativ zu dem Oberkörper nach links ver-/ gedreht ist. In einem Fall, in dem das Verhältnis kleiner als 1 ist (in einem Fall, in dem D2 größer als D1 ist), schätzt der Prozessor 122, dass das Gesicht relativ zu dem Oberkörper nach rechts ver-/gedreht ist.
Gemäß einer solchen Verarbeitung kann nicht nur das Vorhandensein oder Nichtvorhandensein der Ver-/Drehung des Körpers geschätzt werden, sondern auch die Richtung der Ver-/Drehung, sodass die Haltung bzw. Körperhaltung der Person als das Subjekt 30 mit hoher Genauigkeit bestimmt werden kann.
Wie es in 11 veranschaulicht ist, erfasst der Prozessor 122 einen Wert, der der Breite über die Schultern der Person als das Subjekt 30 entspricht. In diesem Fall wird die Entfernung D3 zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1 entlang der X-Richtung als ein Wert erfasst bzw. erhalten, der der Breite über die Schultern entspricht. Zusätzlich erfasst bzw. erhält der Prozessor 122 eine Entfernung D4 zwischen dem Linke-Hüfte-Merkmalspunkt LL1 und dem Rechte-Hüfte-Merkmalspunkt RL1 entlang der X-Richtung. Der Linke-Hüfte-Merkmalspunkt LL1 ist ein Beispiel des ersten Merkmalspunkts. Der Rechte-Hüfte-Merkmalspunkt RL1 ist ein Beispiel des zweiten Merkmalspunkts. Die Entfernung D3 ist ein Beispiel des ersten Werts. Die Entfernung D4 ist ein Beispiel des zweiten Werts.
Nachfolgend schätzt der Prozessor 122 das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung in dem Körper der Person, die in dem Bild I erfasst wird, basierend auf dem Verhältnis der Entfernung D3 und der Entfernung D4. Im Speziellen, wenn das Verhältnis der Entfernung D3 zu der Entfernung D4 nicht in einen vorgegebenen Schwellenbereich fällt, wird geschätzt, dass der Körper ver-/gedreht ist. Zum Beispiel wird/ist der Schwellenbereich eingestellt als ein Wert, der nicht kleiner als 1 und nicht größer als 2 ist. In einem Fall, in dem eine Person als das Subjekt 30 der Front der Bildgebungsvorrichtung 11 zugewandt ist, ist die Entfernung D3, die der Breite über die Schultern entspricht, größer als die Entfernung D4, die der Breite über die Hüften entspricht. Dementsprechend fällt das Verhältnis der Entfernung D3 zu der Entfernung D4 in den vorgenannten Schwellenbereich. Andererseits kann in einem Fall, in dem die Front des Oberkörpers und die Front bzw. Vorderseite des Unterkörpers der Person als das Subjekt 30 in unterschiedliche Richtungen orientiert bzw. ausgerichtet sind, die Entfernung D3, die der Breite über die Schultern entspricht, kleiner sein als die Entfernung D4, die der Breite über die Hüften entspricht. Andernfalls kann die Entfernung D3, die der Breite über die Schultern entspricht, die Entfernung D4, die der Breite über die Hüften entspricht, stark überschreiten. Das heißt, dass es hochwahrscheinlich ist, dass die Front des Oberkörpers und die Front des Unterkörpers in unterschiedliche Richtungen orientiert bzw. ausgerichtet sind, wenn das Verhältnis nicht in den vorgenannten Schwellenbereich fällt.
Dementsprechend ist es mit der Verarbeitung, wie sie vorstehend beschrieben ist, möglich, das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung zwischen dem Oberkörper und dem Unterkörper der Person als das Subjekt 30 zu schätzen. Als Folge hiervon ist es möglich, die Unterscheidungsgenauigkeit des Subjekts 30 zu verbessern, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird.
Wie es in 11 veranschaulicht ist, können, wenn das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung des Körpers geschätzt wird, eine Entfernung D3' zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1 und eine Entfernung D4' zwischen dem Linke-Hüfte-Merkmalspunkt LL1 und dem Rechte-Hüfte-Merkmalspunkt RL1 erfasst bzw. erhalten werden, und kann das Verhältnis dieser Werte direkt bestimmt werden. In diesem Fall ist die Entfernung D3' ein Beispiel des ersten Werts, und ist die Entfernung D4' ein Beispiel des zweiten Werts.
Die Merkmalspunkte, die zum Vergleich mit der Breite über die Schultern verwendet werden, sind nicht auf den Linke-Hüfte-Merkmalspunkt LL1 und den Rechte-Hüfte-Merkmalspunkt RL1 beschränkt. Solange der Punkt einem charakteristischen Teil entspricht, das in der linken unteren Gliedmaße der Person als das Subjekt 30 umfasst ist, kann ein geeigneter Punkt als der erste Merkmalspunkt eingesetzt werden. Gleichermaßen kann, solange der Punkt einem charakteristischen Teil entspricht, das in der rechten unteren Gliedmaße der Person als das Subjekt 30 umfasst ist, ein geeigneter Punkt als der zweite Merkmalspunkt eingesetzt werden. Es sollte beachtet werden, dass es, wie der Linkes-Knie-Merkmalspunkt LL2 und der Rechtes-Knie-Merkmalspunkt RL2, notwendig ist, zwei Punkte auszuwählen, die mit Bezug auf eine Mittelachse des Körpers relativ zu der Links-Rechts-Richtung symmetrisch liegen, wenn eine Person als das Subjekt 30 der Front der Bildgebungsvorrichtung 11 zugewandt ist.
Da die Positionen des Linke-Hüfte-Merkmalspunkts LL1 und des Rechte-Hüfte-Merkmalspunkts RL1 ungeachtet des Zustands bzw. der Lage von beiden unteren Gliedmaßen relativ stabil sind, ist es jedoch vorteilhaft, den Linke-Hüfte-Merkmalspunkt LL1 und den Rechte-Hüfte-Merkmalspunkt RL1 als den ersten Merkmalspunkt und den zweiten Merkmalspunkt einzusetzen, um das Vorhandensein oder Nichtvorhandensein einer Ver-/Drehung in dem Oberkörper und dem Unterkörper genau zu schätzen.
Wie es vorstehend beschrieben ist, ist die Person als das Subjekt 30, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I zu erfassen ist, nicht immer der Front der Bildgebungsvorrichtung 11 zugewandt. Abhängig von der Haltung bzw. Körperhaltung der Person kann es einen verborgenen Körperteil geben, der durch einen Teil des Körpers der Person abgeschirmt ist und in dem Bild I nicht erscheint. In einem in 12 veranschaulichten Beispiel werden die rechte obere Gliedmaße und der linke Teil der Hüften der Person als das Subjekt 30 in dem Bild I nicht erfasst, sodass der Rechte-Schulter-Merkmalspunkt RU1, der Rechter-Ellbogen-Merkmalspunkt RU2, der Rechtes-Handgelenk-Merkmalspunkt RU3 und der Linke-Hüfte-Merkmalspunkt LL1 nicht detektiert werden. Es ist auch wichtig, verborgene Körperteile genau zu erkennen, wenn die Haltung bzw. Körperhaltung einer Person durch die Anwendung des Skelettmodells geschätzt wird.
In den letzten Jahren hat sich eine Technik zum Detektieren der Merkmalspunkte, die das Skelettmodell bilden, unter Verwendung von Deep Learning oder dergleichen verbreitet. Gemäß einer solchen Technik würde es einen Fall geben, in dem der Merkmalspunkt detektiert wird, als ob er ein unverborgener Körperteil wäre, der in einem Bild erfasst wird, ohne durch einen anderen Körperteil verdeckt bzw. verstellt zu werden, selbst wenn er tatsächlich ein verborgener Körperteil ist, der aufgrund einer Verdeckung bzw. Verstellung durch einen anderen Körperteil nicht erfasst wird. In dem in 13 veranschaulichten Bild I sind der Rechte-Schulter-Merkmalspunkt RU1, der Rechter-Ellbogen-Merkmalspunkt RU2, der Rechtes-Handgelenk-Merkmalspunkt RU3 und der Linke-Hüfte-Merkmalspunkt LL1 einer Person als das Subjekt 30 detektiert.
Der Prozessor 122 der Bildverarbeitungsvorrichtung 12 ist konfiguriert zum Schätzen eines verborgenen Körperteils der in dem Bild I erfassten Person basierend auf den durch die Empfangsschnittstelle 121 empfangenen Bilddaten DI.
Im Speziellen erfasst bzw. erhält der Prozessor 122 eine Entfernung zwischen einem in einer linken Gliedmaße umfassten Merkmalspunkt und einem in einer rechten Gliedmaße einer Person als das Subjekt 30 umfassten Merkmalspunkt. Zum Beispiel wird eine Entfernung zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1 entlang der X-Richtung erfasst bzw. erhalten. In einem Fall, in dem die Entfernung kleiner als ein Schwellenwert ist, führt der Prozessor 122 eine Verarbeitung zum Schätzen eines verborgenen Körperteils aus. Der Schwellenwert wird/ist als ein geeigneter Wert bestimmt, der kleiner ist als die Entfernung zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1, wenn eine Person der Front der Bildgebungsvorrichtung 11 zugewandt ist. Der Linke-Schulter-Merkmalspunkt LU1 ist ein Beispiel des ersten Merkmalspunkts. Der Rechte-Schulter-Merkmalspunkt RU1 ist ein Beispiel des zweiten Merkmalspunkts.
In einem Fall, in dem die Front bzw. Vorderseite des Torsos der Person mit Bezug auf die Bildgebungsvorrichtung 11 seitwärts orientiert bzw. ausgerichtet ist, besteht eine Tendenz dazu, dass ein verborgener Körperteil aufgetreten ist. Zu dieser Zeit tendiert die Entfernung zwischen dem in der linken Gliedmaße umfassten Merkmalspunkt und dem in der rechten Gliedmaße umfassten Merkmalspunkt dazu, kürzer zu sein als in einem Fall, in dem der Torso der Person der Front der Bildgebungsvorrichtung 11 zugewandt ist. Dementsprechend ist es in einem Fall, in dem die Entfernung zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1 entlang der X-Richtung kleiner als der Schwellenwert ist, hochwahrscheinlich, dass einer des Linke-Schulter-Merkmalspunkts LU1 und des Rechte-Schulter-Merkmalspunkts RU1 in dem verborgenen Körperteil umfasst ist.
In einem Fall, in dem ein Merkmalspunkt eines menschlichen Körpers durch Deep Learning oder dergleichen detektiert wird, ist es üblich, Daten, die für eine Wahrscheinlichkeit bezeichnend sind, dem Merkmalspunkt zuzuordnen. Die Wahrscheinlichkeit ist ein Index, der für die Sicherheit bzw. Gewissheit der Detektion bezeichnend ist. Da die Wahrscheinlichkeit unter Verwendung einer wohlbekannten Technik zweckdienlich erhalten werden kann, werden ausführliche Erläuterungen ausgelassen.
Wenn die Entfernung zwischen dem Linke-Schulter-Merkmalspunkt LU1 und dem Rechte-Schulter-Merkmalspunkt RU1 entlang der X-Richtung kleiner als der Schwellenwert ist, vergleicht der Prozessor 122 die dem Linke-Schulter-Merkmalspunkt LU1 zugeordnete Wahrscheinlichkeit und die dem Rechte-Schulter-Merkmalspunkt RU1 zugeordnete Wahrscheinlichkeit, und schätzt er, dass der Merkmalspunkt, dem die kleinere Wahrscheinlichkeit zugeordnet ist, in dem verborgenen Körperteil umfasst ist. In dem in 13 veranschaulichten Beispiel ist die dem Linke-Schulter-Merkmalspunkt LU1 zugeordnete Wahrscheinlichkeit 220 und ist die dem Rechte-Schulter-Merkmalspunkt RU1 zugeordnete Wahrscheinlichkeit 205. Dementsprechend schätzt der Prozessor 122, dass der Rechte-Schulter-Merkmalspunkt RU1 in dem verborgenen Körperteil umfasst ist.
Zusätzlich oder alternativ kann eine Entfernung zwischen einem weiteren Merkmalspunkt, der in der linken oberen Gliedmaße umfasst ist, und einem weiteren Merkmalspunkt, der in der rechten oberen Gliedmaße umfasst ist, erfasst bzw. erhalten werden. Es sollte beachtet werden, dass eine Entfernung zwischen Merkmalspunkten erfasst bzw. erhalten wird, die mit Bezug auf eine Mittelachse des Körpers relativ zu der Links-Rechts-Richtung symmetrisch liegen, wenn eine Person der Front der Bildgebungsvorrichtung 11 zugewandt ist. Zum Beispiel wird zumindest eine der Entfernung zwischen dem Linker-Ellbogen-Merkmalspunkt LU2 und dem Rechter-Ellbogen-Merkmalspunkt RU2 und der Entfernung zwischen dem Linkes-Handgelenk-Merkmalspunkt LU3 und dem Rechtes-Handgelenk-Merkmalspunkt RU3 erfasst bzw. erhalten. Jeder des Linker-Ellbogen-Merkmalspunkts LU2 und des Linkes-Handgelenk-Merkmalspunkts LU3 ist ein Beispiel des ersten Merkmalspunkts. Jeder des Rechter-Ellbogen-Merkmalspunkts RU2 und des Rechtes-Handgelenk-Merkmalspunkts RU3 ist ein Beispiel des zweiten Merkmalspunkts.
In dem in 13 veranschaulichten Beispiel ist die dem Linker-Ellbogen-Merkmalspunkt LU2 zugeordnete Wahrscheinlichkeit 220 und ist die dem Rechter-Ellbogen-Merkmalspunkt RU2 zugeordnete Wahrscheinlichkeit 200. Dementsprechend schätzt der Prozessor 122, dass der Rechter-Ellbogen-Merkmalspunkt RU2 in dem verborgenen Körperteil umfasst ist. Gleichermaßen ist die dem Linkes-Handgelenk-Merkmalspunkt LU3 zugeordnete Wahrscheinlichkeit 220 und ist die dem Rechtes-Handgelenk-Merkmalspunkt RU3 zugeordnete Wahrscheinlichkeit 210. Dementsprechend schätzt der Prozessor 122, dass der Rechtes-Handgelenk-Merkmalspunkt RU3 in dem verborgenen Körperteil umfasst ist.
In einem Fall, in dem geschätzt wird, dass einer der Merkmalspunkte, die zu der gleichen Gruppe gehören, in dem verborgenen Körperteil umfasst ist, kann der Prozessor 122 schätzen, dass ein anderer Merkmalspunkt, der zu der gleichen Gruppe gehört, auch in dem verborgenen Körperteil umfasst ist. Zum Beispiel kann in einem Fall, in dem geschätzt wird, dass der Rechte-Schulter-Merkmalspunkt RU1 unter dem Rechte-Schulter-Merkmalspunkt RU1, dem Rechter-Ellbogen-Merkmalspunkt RU2 und dem Rechtes-Handgelenk-Merkmalspunkt RU3, die zu der Rechte-obere-Gliedmaße-Gruppe RU gehören, in dem verborgenen Körperteil umfasst ist, der Prozessor 122 schätzen, dass der Rechter-Ellbogen-Merkmalspunkt RU2 und der Rechtes-Handgelenk-Merkmalspunkt RU3 auch in dem verborgenen Körperteil umfasst sind. In diesem Fall ist es bevorzugt, dass der Linke-Schulter-Merkmalspunkt LU1 und der Rechte-Schulter-Merkmalspunkt RU1 als Bezugspunkte verwendet werden. Dies ist deshalb so, da die Entfernung zwischen diesen Merkmalspunkten die Richtung der Front des Torsos ungeachtet des Zustands bzw. der Lage der oberen Gliedmaßen mit relativ hoher Stabilität widerspiegeln.
Das vorgenannte Schätzergebnis wird widergespiegelt, wie es in 14 veranschaulicht ist. In diesem Beispiel sind die Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, durch weiße Kreise dargestellt. Danach führt der Prozessor 122 eine Verarbeitung zum Verbinden der Merkmalspunkte mit den Skelettlinien durch. Die Skelettlinien umfassen eine verborgene Skelettlinie, die einem verborgenen Körperteil entspricht, und eine unverborgene Skelettlinie, die einem unverborgenen Körperteil entspricht. In 14 sind die verborgenen Skelettlinien durch gestrichelte Linien angegeben und sind die unverborgenen Skelettlinien durch durchgezogene Linien angegeben. In einem Fall, in dem zumindest einer von zwei Merkmalspunkten, die durch eine Skelettlinie verbunden sind, in einem verborgenen Körperteil umfasst ist, verbindet der Prozessor 122 die zwei Merkmalspunkte mit der verborgenen Skelettlinie. Mit anderen Worten werden/sind nur in einem Fall, in dem beide Merkmalspunkte, die durch eine Skelettlinie verbunden sind, in einem unverborgenen Körperteil umfasst sind, die zwei Merkmalspunkte durch die unverborgene Skelettlinie verbunden.
In dem in 14 veranschaulichten Beispiel sind der Rechte-Schulter-Merkmalspunkt RU1 und der Rechter-Ellbogen-Merkmalspunkt RU2, für die beide geschätzt wird, dass sie dem verborgenen Körperteil entsprechen, durch die verborgene Skelettlinie verbunden. In diesem Fall wird geschätzt, dass der rechte Oberarm ein verborgener Körperteil ist. Gleichermaßen sind der Rechter-Ellbogen-Merkmalspunkt RU2 und der Rechtes-Handgelenk-Merkmalspunkt RU3, für die beide geschätzt wird, dass sie dem verborgenen Körperteil entsprechen, durch die verborgene Skelettlinie verbunden. In diesem Fall wird geschätzt, dass der rechte Unterarm ein verborgener Körperteil ist.
Dementsprechend ist es mit der Verarbeitung, wie sie vorstehend beschrieben ist, möglich, einen verborgenen Körperteil zu schätzen, der gemäß der Haltung bzw. Körperhaltung der Person als das Subjekt 30 auftreten würde. Als Folge hiervon ist es möglich, die Unterscheidungsgenauigkeit des Subjekts 30 zu verbessern, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird.
Die vorstehenden Beschreibungen unter Bezugnahme auf 13 und 14 können gleichermaßen angewandt werden auf den Linke-Hüfte-Merkmalspunkt LL1, den Linkes-Knie-Merkmalspunkt LL2 und den Linker-Knöchel-Merkmalspunkt LL3, die zu der Linke-untere-Gliedmaße-Gruppe LL gehören, ebenso wie den Rechte-Hüfte-Merkmalspunkt RL1, den Rechtes-Knie-Merkmalspunkt RL2 und den Rechter-Knöchel-Merkmalspunkt RL3, die zu der Rechte-untere-Gliedmaße-Gruppe RL gehören. Das heißt, dass jeder des Linke-Hüfte-Merkmalspunkts LL1, des Linkes-Knie-Merkmalspunkts LL2 und des Linker-Knöchel-Merkmalspunkts LL3 ein Beispiel des ersten Merkmalspunkts sein kann. Gleichermaßen kann jeder des Rechte-Hüfte-Merkmalspunkts RL1, des Rechtes-Knie-Merkmalspunkts RL2 und des Rechter-Knöchel-Merkmalspunkts RL3 ein Beispiel des zweiten Merkmalspunkts sein.
15 veranschaulicht eine weitere beispielhafte Verarbeitung, die durch den Prozessor 122 durchgeführt werden kann, um einen verborgenen Körperteil einer in dem Bild I erfassten Person zu schätzen.
In diesem Beispiel schätzt der Prozessor 122 die Richtung des Gesichts einer Person als das Subjekt 30. Die Schätzung kann zum Beispiel basierend auf der Position des Gesichtsmerkmalspunkts F durchgeführt werden.
Zusätzlich erzeugt der Prozessor 122 einen Rahmen F1, der der Linke-obere-Gliedmaße-Gruppe LU entspricht, und einen Rahmen F2, der der Rechte-obere-Gliedmaße-Gruppe RU entspricht. Der Rahmen F1 wird erzeugt, sodass er den Linke-Schulter-Merkmalspunkt LU1, den Linker-Ellbogen-Merkmalspunkt LU2 und den Linkes-Handgelenk-Merkmalspunkt LU3 umfasst. Der Rahmen F1 ist ein Beispiel des ersten Bereichs. Der Rahmen F2 wird erzeugt, sodass er den Rechte-Schulter-Merkmalspunkt RU1, den Rechter-Ellbogen-Merkmalspunkt RU2 und den Rechtes-Handgelenk-Merkmalspunkt RU3 umfasst. Der Rahmen F2 ist ein Beispiel des zweiten Bereichs.
Zum Beispiel wird/ist die obere Kante des Rahmens F1 so definiert, dass sie mit einem Merkmalspunkt, der sich an der obersten Position befindet, unter den in der Linke-obere-Gliedmaße-Gruppe LU umfassten Merkmalspunkten überlappt/ -schneidet. Die untere Kante des Rahmens F1 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der untersten Position befindet, unter den in der Linke-obere-Gliedmaße-Gruppe LU umfassten Merkmalspunkten überlappt/ -schneidet. Die linke Kante des Rahmens F1 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz linken Position befindet, unter den in der Linke-obere-Gliedmaße-Gruppe LU umfassten Merkmalspunkten überlappt/ -schneidet. Die rechte Kante des Rahmens F1 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz rechten Position befindet, unter den in der Linke-obere-Gliedmaße-Gruppe LU umfassten Merkmalspunkten überlappt/-schneidet.
Gleichermaßen wird/ist die obere Kante des Rahmens F2 so definiert, dass sie mit dem Merkmalspunkt, der sich an der obersten Position befindet, unter den in der Rechte-obere-Gliedmaße-Gruppe RU umfassten Merkmalspunkten überlappt/ -schneidet. Die untere Kante des Rahmens F2 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der untersten Position befindet, unter den in der Rechte-obere-Gliedmaße-Gruppe RU umfassten Merkmalspunkten überlappt/ -schneidet. Die linke Kante des Rahmens F2 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz linken Position befindet, unter den in der Rechte-obere-Gliedmaße-Gruppe RU umfassten Merkmalspunkten überlappt/ -schneidet. Die rechte Kante des Rahmens F2 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz rechten Position befindet, unter den in der Rechte-obere-Gliedmaße-Gruppe RU umfassten Merkmalspunkten überlappt/-schneidet.
Nachfolgend erfasst bzw. erhält der Prozessor 122 einen/ein Überlappungsgrad/ -verhältnis zwischen dem Rahmen F1 und dem Rahmen F2. Zum Beispiel kann der/das Überlappungsgrad/-verhältnis als ein Verhältnis einer Fläche des Teils bzw. Abschnitts, in dem sich der Rahmen F1 und der Rahmen F2 überlappen, zu einer Fläche von dem kleineren des Rahmens F1 und des Rahmens F2 berechnet werden. In einem Fall, in dem der/das Überlappungsgrad/-verhältnis größer als ein Schwellenwert ist, führt der Prozessor 122 eine Verarbeitung zum Schätzen eines verborgenen Körperteils aus.
In einem Fall, in dem die Front des Torsos der Person mit Bezug auf die Bildgebungsvorrichtung 11 seitwärts orientiert bzw. ausgerichtet ist, besteht eine Tendenz dazu, dass ein verborgener Körperteil aufgetreten ist. Zu dieser Zeit tendiert die Entfernung zwischen dem in der linken Gliedmaße umfassten Merkmalspunkt und dem in der rechten Gliedmaße umfassten Merkmalspunkt dazu, kürzer zu sein als in einem Fall, in dem der Torso der Person der Front der Bildgebungsvorrichtung 11 zugewandt ist. Wenn sich ein in der linken Gliedmaße umfasster Merkmalspunkt und ein in der rechten Gliedmaße umfasster Merkmalspunkt einander nähern, tendieren der Rahmen F1 und der Rahmen F2 dazu, einander zu überlappen. Dementsprechend ist es in einem Fall, in dem der/das Überlappungsgrad/-verhältnis zwischen dem Rahmen F1 und dem Rahmen F2 größer als der Schwellenwert ist, hochwahrscheinlich, dass eine der dem Rahmen F1 entsprechende Linke-obere-Gliedmaße-Gruppe LU und der dem Rahmen F2 entsprechenden Rechte-obere-Gliedmaße-Gruppe RU dem verborgenen Körperteil entspricht.
In einem Fall, in dem der/das Überlappungsgrad/-verhältnis des Rahmens F1 und des Rahmens F2 größer als der Schwellenwert ist, nimmt der Prozessor 122 auf die vorher geschätzte Richtung des Gesichts Bezug, um zu schätzen, welche der Linke-obere-Gliedmaße-Gruppe LU und der Rechte-obere-Gliedmaße-Gruppe RU dem verborgenen Körperteil entspricht.
Im Speziellen schätzt in einem Fall, in dem geschätzt wird, dass das Gesicht nach links zeigt, der Prozessor 122, dass die Rechte-obere-Gliedmaße-Gruppe RU dem verborgenen Körperteil entspricht, wie es in 15 veranschaulicht ist. Als Folge hiervon, wie es in 14 veranschaulicht ist, wird geschätzt, dass der Rechter-Schulter-Merkmalspunkt RU1, der Rechte-Ellbogen-Merkmalspunkt RU2 und der Rechtes-Handgelenk-Merkmalspunkt RU3, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, in dem verborgenen Körperteil umfasst sind, sodass diese Merkmalspunkte durch die verborgenen Skelettlinien verbunden werden/sind. In einem Fall, in dem geschätzt wird, dass das Gesicht nach rechts zeigt, schätzt der Prozessor 122, dass die Linke-obere-Gliedmaße-Gruppe LU dem verborgenen Körperteil entspricht.
Die Richtung des Gesichts einer Person steht in hohem Maße in Beziehung zu der Richtung, in die die Front des Torsos der Person zeigt. Dementsprechend ist es mit der Verarbeitung, wie sie vorstehend beschrieben ist, möglich, die Schätzgenauigkeit des verborgenen Körperteils zu verbessern, der gemäß der Haltung bzw. Körperhaltung der Person als das Subjekt 30 auftreten würde. In diesem Fall ist es nicht wesentlich, auf die jedem Merkmalspunkt zugeordnete Wahrscheinlichkeit Bezug zu nehmen.
Die vorstehend beschriebene Verarbeitung in Bezug auf die Schätzung des verborgenen Körperteils muss nicht notwendigerweise auf dem Überlappungsgrad/-verhältnis zwischen dem Rahmen F1 und dem Rahmen F2 basieren. Zum Beispiel kann der verborgene Körperteil unter Bezugnahme auf die Richtung des Gesichts in einem Fall geschätzt werden, in dem eine Entfernung zwischen einem repräsentativen Punkt in dem Rahmen F1 und einem repräsentativen Punkt in dem Rahmen F2 kleiner als ein Schwellenwert ist. Zum Beispiel können ein Mittelpunkt des Rahmens F1 entlang der X-Richtung und ein Mittelpunkt des Rahmens F2 entlang der X-Richtung als die repräsentativen Punkte eingesetzt werden. Die Entfernung zwischen dem repräsentativen Punkt in dem Rahmen F1 und dem repräsentativen Punkt in dem Rahmen F2 kann ein Beispiel der Entfernung zwischen dem ersten Merkmalspunkt und dem zweiten Merkmalspunkt sein.
Die vorstehende Beschreibung unter Bezugnahme auf 15 kann gleichermaßen angewandt werden auf den Linke-Hüfte-Merkmalspunkt LL1, den Linkes-Knie-Merkmalspunkt LL2 und den Linker-Knöchel-Merkmalspunkt LL3, die zu der Linke-untere-Gliedmaße-Gruppe LL gehören, ebenso wie den Rechte-Hüfte-Merkmalspunkt RL1, den Rechtes-Knie-Merkmalspunkt RL2 und den Rechter-Knöchel-Merkmalspunkt RL3, die zu der Rechte-untere-Gliedmaße-Gruppe RL gehören.
Das heißt, dass der Prozessor 122 einen Rahmen F3, der der Linke-untere-Gliedmaße-Gruppe LL entspricht, und einen Rahmen F4, der der Rechte-untere-Gliedmaße-Gruppe RL entspricht, erzeugt. Der Rahmen F3 wird so erzeugt, dass er den Linke-Hüfte-Merkmalspunkt LL1, den Linkes-Knie-Merkmalspunkt LL2 und den Linker-Knöchel-Merkmalspunkt LL3 umfasst. Der Rahmen F3 ist ein Beispiel des ersten Bereichs. Der Rahmen F4 wird so erzeugt, dass er den Rechte-Hüfte-Merkmalspunkt RL1, den Rechtes-Knie-Merkmalspunkt RL2 und den Rechter-Knöchel-Merkmalspunkt RL3 umfasst. Der Rahmen F4 ist ein Beispiel des zweiten Bereichs.
Zum Beispiel wird/ist die obere Kante des Rahmens F3 so definiert, dass sie mit einem Merkmalspunkt, der sich an der obersten Position befindet, unter den in der Linke-untere-Gliedmaße-Gruppe LL umfassten Merkmalspunkten überlappt/ -schneidet. Die untere Kante des Rahmens F3 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der untersten Position befindet, unter den in der Linke-untere-Gliedmaße-Gruppe LL umfassten Merkmalspunkten überlappt/ -schneidet. Die linke Kante des Rahmens F3 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz linken Position befindet, unter den in der Linke-untere-Gliedmaße-Gruppe LL umfassten Gliedmaßen überlappt/ -schneidet. Die rechte Kante des Rahmens F3 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz rechten Position befindet, unter den in der Linke-untere-Gliedmaße-Gruppe LL umfassten Merkmalspunkten überlappt/-schneidet.
Gleichermaßen wird/ist die obere Kante des Rahmens F4 so definiert, dass sie mit einem Merkmalspunkt, der sich an der obersten Position befindet, unter den in der Rechte-untere-Gliedmaße-Gruppe RL umfassten Merkmalspunkten überlappt/-schneidet. Die untere Kante des Rahmens F4 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der untersten Position befindet, unter den in der Rechte-untere-Gliedmaße-Gruppe RL umfassten Merkmalspunkten überlappt/-schneidet. Die linke Kante des Rahmens F4 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz linken Position befindet, unter den in der Rechte-untere-Gliedmaße-Gruppe RL umfassten Merkmalspunkten überlappt/-schneidet. Die rechte Kante des Rahmens F4 wird/ist so definiert, dass sie mit einem Merkmalspunkt, der sich an der ganz rechten Position befindet, unter den in der Rechte-untere-Gliedmaße-Gruppe RL umfassten Merkmalspunkten überlappt/-schneidet.
Nachfolgend erfasst der Prozessor 122 einen/ein Überlappungsgrad/-verhältnis zwischen dem Rahmen F3 und dem Rahmen F4. Zum Beispiel kann der/das Überlappungsgrad/-verhältnis als ein Verhältnis einer Fläche des Teils bzw. Abschnitts, in dem der Rahmen F3 und der Rahmen F4 überlappen, zu einer Fläche von dem kleineren des Rahmens F3 und des Rahmens F4 berechnet werden. In einem Fall, in dem der/das Überlappungsgrad/-verhältnis größer als ein Schwellenwert ist, führt der Prozessor 122 eine Verarbeitung zum Schätzen eines verborgenen Körperteils aus.
In einem Fall, in dem der/das Überlappungsgrad/-verhältnis des Rahmens F3 und des Rahmens F4 nicht größer als der Schwellenwert ist, nimmt der Prozessor 122 auf die vorher geschätzte Richtung des Gesichts Bezug, um zu schätzen, welche der Linke-untere-Gliedmaße-Gruppe LL und der Rechte-untere-Gliedmaße-Gruppe RL dem verborgenen Körperteil entspricht.
Im Speziellen schätzt in einem Fall, in dem geschätzt wird, dass das Gesicht nach links zeigt, der Prozessor 122, dass die Rechte-untere-Gliedmaße-Gruppe RL dem verborgenen Körperteil entspricht. In einem Fall, in dem geschätzt wird, dass das Gesicht nach rechts zeigt, schätzt der Prozessor 122, dass die Linke-untere-Gliedmaße-Gruppe LL dem verborgenen Körperteil entspricht.
Die vorstehend beschriebene Verarbeitung in Bezug auf die Schätzung des verborgenen Körperteils muss nicht notwendigerweise auf dem Überlappungsgrad/-verhältnis zwischen dem Rahmen F3 und dem Rahmen F4 basieren. Zum Beispiel kann der verborgene Körperteil unter Bezugnahme auf die Richtung des Gesichts in einem Fall geschätzt werden, indem eine Entfernung zwischen einem repräsentativen Punkt in dem Rahmen F3 und einem repräsentativen Punkt in dem Rahmen F4 kleiner als ein Schwellenwert ist. Zum Beispiel können ein Mittelpunkt des Rahmens F3 entlang der X-Richtung und ein Mittelpunkt des Rahmens F4 entlang der X-Richtung als die repräsentativen Punkte eingesetzt werden. Die Entfernung zwischen dem repräsentativen Punkt in dem Rahmen F3 und dem repräsentativen Punkt in dem Rahmen F4 kann ein Beispiel der Entfernung zwischen dem ersten Merkmalspunkt und dem zweiten Merkmalspunkt sein.
Der Prozessor 122 kann sowohl die unter Bezugnahme auf 13 beschriebene Verarbeitung als auch die unter Bezugnahme auf 15 beschriebene Verarbeitung durchführen und die durch beide Verarbeitungen erhaltenen Schätzergebnisse vergleichen. In einem Fall, in dem die zwei Ergebnisse verschieden voneinander sind, setzt der Prozessor 122 ein Schätzergebnis ein, das durch eine Verarbeitung basierend auf der Richtung des Gesichts erhalten wird.
Zum Beispiel wird in dem in 12 veranschaulichten Beispiel der Rechte-Hüfte-Merkmalspunkt RL1 nicht detektiert. In diesem Fall ist in der in 13 veranschaulichten Verarbeitung die Entfernung zwischen dem Linke-Hüfte-Merkmalspunkt LL1 und dem Rechte-Hüfte-Merkmalspunkt RL1 kleiner als der Schwellenwert, sodass geschätzt wird, dass der Rechte-Hüfte-Merkmalspunkt RL1, dem eine niedrigere Wahrscheinlichkeit zugeordnet ist, dem verborgenen Körperteil entspricht.
Andererseits haben in der in 15 veranschaulichten Verarbeitung der der Linke-untere-Gliedmaße-Gruppe LL entsprechende Rahmen F3 und der der Rechte-untere-Gliedmaße-Gruppe RL entsprechende Rahmen F4 einen/ein niedrigen/niedrigeres Überlappungsgrad/-verhältnis. Dementsprechend werden der Rechte-Hüfte-Merkmalspunkt RL1, der Rechtes-Knie-Merkmalspunkt RL2 und der Rechter-Knöchel-Merkmalspunkt RL3, die in der Rechte-untere-Gliedmaße-Gruppe RL umfasst sind, als unverborgene Körperteile geschätzt, und werden sie durch die unverborgenen Skelettlinien verbunden, wie es in 14 veranschaulicht ist. In diesem Fall wird geschätzt, dass der Rechte-Hüfte-Merkmalspunkt RL1 dem unverborgenen Körperteil entspricht.
Mit anderen Worten wird in einem Fall, in dem das Schätzergebnis, das durch die Verarbeitung erhalten wird, die auf der Gesichtsrichtung beruht bzw. gestützt ist, und das Schätzergebnis, das durch die Verarbeitung erhalten wird, die nicht auf der Gesichtsrichtung beruht bzw. gestützt ist, verschieden voneinander sind, das Erstere eingesetzt. Dementsprechend wird in dem veranschaulichten Fall geschätzt, dass der Rechte-Hüfte-Merkmalspunkt RL1 ein verborgener Körperteil ist.
Gemäß einer solchen Konfiguration ist es möglich, die Schätzgenauigkeit des verborgenen Körperteils zu verbessern, da das Schätzergebnis, das durch die Verarbeitung erhalten wird, die auf der Richtung des Gesichts beruht bzw. gestützt ist, welche eine relativ hohe Relevanz bzw. Bedeutung für die Richtung des Torsos der Person aufweist, priorisiert wird/ist.
Die Verarbeitung zum Schätzen der Drehrichtung bzw. Ver-/Drehungsrichtung des Körpers, die unter Bezugnahme auf 11 beschrieben ist, kann zum Schätzen eines verborgenen Körperteils verwendet werden. Wie es in 16 veranschaulicht ist, besteht in einem Fall, in dem der Körper derart ver-/gedreht ist, dass die Richtung, in die die Front des Gesichts zeigt, und die Richtung, in die die Front des Torsos zeigt, in relativ hohem Maße verschieden sind, eine Tendenz dazu, dass ein verborgener Körperteil aufgetreten ist.
Basierend auf der unter Bezugnahme auf 11 beschriebenen Verarbeitung wird geschätzt, dass in dem in 16 veranschaulichten Beispiel das Gesicht relativ zu dem Oberkörper nach links ver-/gedreht ist. In diesem Fall schätzt der Prozessor 122, dass die obere Gliedmaße in der der Drehrichtung bzw. Ver-/ Drehungsrichtung entgegengesetzten Richtung dem verborgenen Körperteil entspricht. In diesem Beispiel wird geschätzt, dass die rechte obere Gliedmaße der Person als das Subjekt 30 dem verborgenen Körperteil entspricht.
In einem Fall, in dem eine Person als das Subjekt 30 die in 16 veranschaulichte Haltung bzw. Körperhaltung einnimmt, würde es einen Fall geben, in dem ein verborgener Körperteil durch die unter Bezugnahme auf 13 beschriebene Verarbeitung oder die unter Bezugnahme auf 15 beschriebene Verarbeitung nicht korrekt geschätzt werden kann. Dies ist deshalb so, da die Richtung der Front des Torsos relativ nahe der Front der Bildgebungsvorrichtung 11 ist, sodass die Entfernung zwischen dem in der linken oberen Gliedmaße umfassten Merkmalspunkt und dem in der rechten oberen Gliedmaße umfassten Merkmalspunkt relativ groß wird. Gemäß der Verarbeitung, wie sie vorstehend beschrieben ist, kann ein verborgener Körperteil, der durch eine Ver-/Drehung des Körpers aufgetreten sein würde, auch zu einem zu schätzenden Element hinzugefügt werden/sein.
In einem Fall, in dem eine Person als das Subjekt 30 eine in 17 veranschaulichte Haltung bzw. Körperhaltung einnimmt, das heißt in einem Fall, in dem der Rücken der Person der Front der Bildgebungsvorrichtung 11 zugewandt ist, besteht eine Möglichkeit, dass die oberen Gliedmaßen durch den Torso teilweise verdeckt bzw. verstellt sind, sodass ein verborgener Körperteil aufgetreten ist. Auch in diesem Fall würde es einen Fall geben, in dem der verborgene Körperteil in keiner der unter Bezugnahme auf 13 bis 16 beschriebenen Verarbeitungen korrekt geschätzt werden kann, da die Entfernung zwischen dem in der linken unteren Gliedmaße umfassten Merkmalspunkt und dem in der rechten oberen Gliedmaße umfassten Merkmalspunkt relativ groß ist und der Körper nicht ver-/gedreht ist.
In einem Fall, in dem geschätzt wird, dass der Rücken der Person als das Subjekt 30 der Front der Bildgebungsvorrichtung 11 zugewandt ist, bestimmt der Prozessor 122 der Bildverarbeitungsvorrichtung 12, ob sich zumindest einer des Linker-Ellbogen-Merkmalspunkts LU2 und des Linkes-Handgelenk-Merkmalspunkts LU3 in dem Zentrumsbereich CA des unter Bezugnahme auf 3 beschriebenen Skelettmodells M befindet. Gleichermaßen bestimmt der Prozessor 122, ob sich zumindest einer des Rechter-Ellbogen-Merkmalspunkts RU2 und des Rechtes-Handgelenk-Merkmalspunkts RU3 in dem Zentrumsbereich CA befindet. Der Prozessor 122 schätzt, dass der Merkmalspunkt, für den bestimmt wird, dass er sich in dem Zentrumsbereich CA befindet, in dem verborgenen Körperteil umfasst ist.
In dem in 17 veranschaulichten Beispiel befindet sich der Linkes-Handgelenk-Merkmalspunkt LU3 in dem Zentrumsbereich CA. Dementsprechend wird geschätzt, dass der Linkes-Handgelenk-Merkmalspunkt LU3 dem verborgenen Körperteil entspricht. Basierend auf der vorstehend beschriebenen Verbindungsregel wird eine verborgene Skelettlinie als die Skelettlinie verwendet, die den Linkes-Handgelenk-Merkmalspunkt LU3 und den Linker-Ellbogen-Merkmalspunkt LU2 verbindet. Als Folge hiervon wird geschätzt, dass der Linker-Unterarm-Teil der Person als das Subjekt 30 der verborgene Körperteil ist.
Gemäß einer solchen Verarbeitung ist es möglich, die Schätzgenauigkeit des verborgenen Körperteils zu verbessern, der durch den Torso der Person verdeckt bzw. verstellt wird/ist, deren Rücken der Front der Bildgebungsvorrichtung 11 zugewandt ist.
Wie es unter Bezugnahme auf 13 beschrieben ist, würde es als Folge einer Schätzung des verborgenen Körperteils unter Bezugnahme auf die jedem Merkmalspunkt zugeordnete Wahrscheinlichkeit einen Fall geben, in dem das Vorhandensein des verborgenen Körperteils sowohl für die Linke-obere-Gliedmaße-Gruppe LU als auch die Rechte-obere-Gliedmaße-Gruppe RU geschätzt wird, wie es in 18 veranschaulicht ist. Basierend auf der Verbindungsregel der Skelettlinien, die vorstehend beschrieben ist, wird das Vorhandensein des verborgenen Körperteils sowohl in der linken oberen Gliedmaße als auch der rechten oberen Gliedmaße, die sich an relativ nahen Positionen befinden, geschätzt. Eine solche Haltung bzw. Körperhaltung ist nicht realistisch.
In einem Fall, in dem geschätzt wird, dass zumindest einer der Merkmalspunkte, die zu der Linke-obere-Gliedmaße-Gruppe LU gehören, in einem verborgenen Körperteil umfasst ist und zumindest einer der Merkmalspunkte, die zu der Rechte-obere-Gliedmaße-Gruppe RU gehören, in einem verborgenen Körperteil umfasst ist, behandelt der Prozessor 122 der Bildverarbeitungsvorrichtung 12 alle Merkmalspunkte, die zu einer der zwei Gruppen gehören, als die Merkmalspunkte, die in einem verborgenen Körperteil umfasst sind, und alle Merkmalspunkte, die zu der anderen gehören, als die Merkmalspunkte, die in einem unverborgenen Körperteil umfasst sind. Die Merkmalspunkte, die zu der Linke-obere-Gliedmaße-Gruppe LU gehören, sind ein Beispiel der ersten Merkmalspunkte. Die Merkmalspunkte, die zu der Rechte-obere-Gliedmaße-Gruppe RU gehören, sind ein Beispiel der zweiten Merkmalspunkte.
In dem in 18 veranschaulichten Beispiel werden alle Merkmalspunkte, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, als die Merkmalspunkte behandelt, die in dem unverborgenen Körperteil umfasst sind. Als Folge hiervon werden/sind alle Merkmalspunkte, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, durch die unverborgenen Skelettlinien verbunden. Andererseits werden alle Merkmalspunkte, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, als die Merkmalspunkte behandelt, die in dem verborgenen Körperteil umfasst sind. Als Folge hiervon werden/sind alle Merkmalspunkte, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, durch die verborgenen Skelettlinien verbunden.
Der vorstehend beschriebene Wechsel des Schätzergebnisses in Bezug auf den verborgenen Körperteil kann zum Beispiel durch Erfassen eines repräsentativen Werts der jedem Merkmalspunkt zugeordneten Wahrscheinlichkeit durchgeführt werden. Beispiele des repräsentativen Werts umfassen einen Durchschnitts- bzw. Mittelwert, einen Zwischenwert, einen Modalwert und einen Gesamtwert. Der Prozessor 122 vergleicht einen repräsentativen Wert der Wahrscheinlichkeiten, die den in der Linke-obere-Gliedmaße-Gruppe LU umfassten Merkmalspunkten zugeordnet sind, mit einem repräsentativen Wert der Wahrscheinlichkeiten, die den in der Rechte-obere-Gliedmaße-Gruppe RU umfassten Merkmalspunkten zugeordnet sind. Der Prozessor 122 behandelt alle Merkmalspunkte, die in der Gruppe umfasst sind, die mit dem kleineren repräsentativen Wert in Zusammenhang steht, als die Merkmalspunkte, die in dem verborgenen Körperteil umfasst sind. Der Prozessor 122 behandelt alle Merkmalspunkte, die in der Gruppe umfasst sind, der mit dem größeren repräsentativen Wert in Zusammenhang steht, als die Merkmalspunkte, die in dem unverborgenen Körperteil umfasst sind.
In dem in 18 veranschaulichten Beispiel wird ein Durchschnitts- bzw. Mittelwert der Wahrscheinlichkeiten für jede der Linke-obere-Gliedmaße-Gruppe LU und der Rechte-obere-Gliedmaße-Gruppe RU erfasst bzw. erhalten. Der Durchschnitts- bzw. Mittelwert der Wahrscheinlichkeiten in der Linke-obere-Gliedmaße-Gruppe LU ist ein Beispiel des ersten repräsentativen Werts. Der Durchschnitts- bzw. Mittelwert der Wahrscheinlichkeiten in der Rechte-obere-Gliedmaße-Gruppe RU ist ein Beispiel des zweiten repräsentativen Werts. Der Durchschnitts- bzw. Mittelwert der Wahrscheinlichkeiten in der Linke-obere-Gliedmaße-Gruppe LU ist größer als der Durchschnitts- bzw. Mittelwert der Wahrscheinlichkeiten in der Rechte-obere-Gliedmaße-Gruppe RU. Dementsprechend werden alle Merkmalspunkte, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, als die Merkmalspunkte behandelt, die in dem unverborgenen Körperteil umfasst sind, und werden alle Merkmalspunkte, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, als die Merkmalspunkte behandelt, die in dem verborgenen Körperteil umfasst sind.
Alternativ kann der vorstehend beschriebene Wechsel des Schätzergebnisses in Bezug auf den verborgenen Körperteil durch Zählen der Anzahl der Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, in jeder Gruppe durchgeführt werden. Der Prozessor 122 vergleicht die Anzahl der Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, unter den Merkmalspunkten, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, mit der Anzahl von Merkmalspunkten, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, unter den Merkmalspunkten, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind. Die Anzahl der Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, unter den Merkmalspunkten, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, ist ein Beispiel des ersten Werts. Die Anzahl der Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, unter den Merkmalspunkten, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, ist ein Beispiel des zweiten Werts.
Der Prozessor 122 behandelt alle Merkmalspunkte, die in einer Gruppe mit einer größeren Anzahl von Merkmalspunkten umfasst sind, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, als die Merkmalspunkte, die in dem verborgenen Körperteil umfasst sind. Der Prozessor 122 behandelt alle Merkmalspunkte, die in der Gruppe mit einer kleineren Anzahl von Merkmalspunkten umfasst sind, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, als die Merkmalspunkte, die in dem unverborgenen Körperteil umfasst sind.
In dem in 18 veranschaulichten Beispiel ist die Anzahl von Merkmalspunkten, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, in der Linke-obere-Gliedmaße-Gruppe LU kleiner als die Anzahl von Merkmalspunkten, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, in der Rechte-obere-Gliedmaße-Gruppe RU. Dementsprechend werden alle Merkmalspunkte, die in der Linke-obere-Gliedmaße-Gruppe LU umfasst sind, als die Merkmalspunkte behandelt, die in dem unverborgenen Körperteil umfasst sind, und werden alle Merkmalspunkte, die in der Rechte-obere-Gliedmaße-Gruppe RU umfasst sind, als die Merkmalspunkte behandelt, die in dem verborgenen Körperteil umfasst sind.
Gemäß der Verarbeitung, wie sie vorstehend beschrieben ist, ist es möglich, ein unnatürliches Schätzergebnis in Bezug auf den verborgenen Körperteil zu korrigieren. Dementsprechend ist es möglich, die Genauigkeit einer Unterscheidung des Subjekts 30 zu verbessern, das in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild erfasst wird.
Diese zwei Verarbeitungen können in Kombination durchgeführt werden. Zum Beispiel wird die Verarbeitung basierend auf der Anzahl von Merkmalspunkten, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, zuerst durchgeführt, und kann die Verarbeitung basierend auf dem repräsentativen Wert der Wahrscheinlichkeit in einem Fall durchgeführt werden, in dem die Zählergebnisse von beiden Gruppen gleich sind. Durch Kombination einer Verarbeitung mit einer relativ geringen Last und einer Verarbeitung mit einer relativ hohen Genauigkeit ist es möglich, die Schätzung in Bezug auf den verborgenen Körperteil effizient durchzuführen.
Der vorstehend beschriebene Wechsel des Schätzergebnisses in Bezug auf den verborgenen Körperteil kann basierend auf der Richtung des Gesichts der Person als das Subjekt 30 durchgeführt werden. Zum Beispiel können in einem Fall, in dem das Gesicht einer Person, die in dem durch die Bildgebungsvorrichtung 11 aufgenommenen Bild I erfasst wird, nach links zeigt, alle Merkmalspunkte, die in der rechten oberen Gliedmaße der Person umfasst sind, als die Merkmalspunkte behandelt werden, die in dem verborgenen Körperteil umfasst sind.
Die vorstehende Beschreibung, die unter Bezugnahme auf 18 beschrieben ist, kann gleichermaßen angewandt werden auf die Merkmalspunkte, die in der Linke-untere-Gliedmaße-Gruppe LL umfasst sind, und die Merkmalspunkte, die in der Rechte-untere-Gliedmaße-Gruppe RL umfasst sind. In diesem Fall sind die Merkmalspunkte, die in der Linke-untere-Gliedmaße-Gruppe LL umfasst sind, ein Beispiel der ersten Merkmalspunkte. Die Merkmalspunkte, die in der Rechte-untere-Gliedmaße-Gruppe RL umfasst sind, sind ein Beispiel der zweiten Merkmalspunkte. Der repräsentative Wert, der für die Wahrscheinlichkeiten in der Linke-untere-Gliedmaße-Gruppe LL erhalten wird, ist ein Beispiel des ersten repräsentativen Werts. Der repräsentative Wert, der für die Wahrscheinlichkeiten in der Rechte-untere-Gliedmaße-Gruppe RL erhalten wird, ist ein Beispiel des zweiten repräsentativen Werts. Die Anzahl der Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, unter den Merkmalspunkten, die in der Linke-untere-Gliedmaße-Gruppe LL umfasst sind, ist ein Beispiel des ersten Werts. Die Anzahl der Merkmalspunkte, für die geschätzt wird, dass sie in dem verborgenen Körperteil umfasst sind, unter den Merkmalspunkten, die in der Rechte-untere-Gliedmaße-Gruppe RL umfasst sind, ist ein Beispiel des zweiten Werts.
Der Prozessor 122, der jede Funktion aufweist, die vorstehend beschrieben ist, kann implementiert werden/sein durch einen Universalmikroprozessor, der in Kooperation mit einem Universalspeicher arbeitet. Beispiele des Universalmikroprozessors umfassen eine CPU, eine MPU und eine GPU. Beispiele des Universalspeichers umfassen einen ROM und einen RAM. In diesem Fall kann ein Computerprogramm zum Ausführen der vorstehend beschriebenen Verarbeitung in dem ROM gespeichert werden/sein. Der ROM ist ein Beispiel eines nicht-vorübergehenden computerlesbaren Mediums, das ein Computerprogramm gespeichert bzw. aufgezeichnet hat. Der Universalmikroprozessor bezeichnet bzw. bestimmt zumindest einen Teil des in dem ROM gespeicherten Programms, lädt das Programm auf/in den RAM und führt die vorstehend beschriebene Verarbeitung in Kooperation mit dem RAM aus. Das vorgenannte Computerprogramm kann in einem Universalspeicher vorinstalliert werden/sein oder kann von einem externen Speicher über ein Computernetzwerk heruntergeladen und dann in dem Universalspeicher installiert werden/sein. In diesem Fall ist der externe Server ein Beispiel des nicht-vorübergehenden computerlesbaren Mediums, das ein Computerprogramm gespeichert bzw. aufgezeichnet hat.
Der Prozessor 122 kann implementiert werden/sein durch eine exklusive integrierte Schaltung, die zum Ausführen des vorstehend beschriebenen Computerprogramms im Stande ist, wie etwa einen Mikrocontroller, einen ASIC und einen FPGA. In diesem Fall wird/ist das vorstehend beschriebene Computerprogramm in einem Speicherelement, das in der exklusiven integrierten Schaltung umfasst ist, vorinstalliert. Das Speicherelement ist ein Element eines nicht-vorübergehenden computerlesbaren Mediums, das ein Computerprogramm gespeichert bzw. aufgezeichnet hat. Der Prozessor 122 kann implementiert werden/sein durch eine Kombination des Universalmikroprozessors und der exklusiven integrierten Schaltung.
Die vorstehend dargelegten Ausführungsbeispiele sind lediglich veranschaulichend, um ein Verständnis des Kerns des vorliegend offenbarten Gegenstands zu erleichtern. Die Konfiguration gemäß jedem der vorstehend dargelegten Ausführungsbeispiele kann auf geeignete Weise modifiziert oder geändert werden, ohne von dem Kern des vorliegend offenbarten Gegenstands abzuweichen.
Das Bildverarbeitungssystem 10 kann in einer mobilen Einheit bzw. Instanz abgesehen von dem Fahrzeug 20 installiert werden/sein. Beispiele der mobilen Einheit bzw. Instanz umfassen Eisenbahnen, Flugzeuge und Schiffe. Die mobile Einheit bzw. Instanz kann keinen Fahrer erfordern. Der Bildgebungsbereich A der Bildgebungsvorrichtung 11 kann innerhalb der mobilen Einheit bzw. Instanz definiert sein.
Das Bildverarbeitungssystem 10 muss nicht in einer mobilen Einheit bzw. Instanz wie etwa dem Fahrzeug 20 installiert werden/sein. Das Bildverarbeitungssystem 10 kann verwendet werden, um einen Betrieb einer Überwachungsvorrichtung, einer Schließ- bzw. Verriegelungsvorrichtung, einer Klimaanlage, einer Beleuchtungsvorrichtung, einer audiovisuellen Ausrüstung und dergleichen, die in einem Haus oder einer Einrichtung bzw. Anlage eingerichtet bzw. ausgerüstet ist, zu steuern.
Die vorliegende Anmeldung basiert auf der am 7. Oktober 2019 eingereichten japanischen Patentanmeldung Nr. 2019-184712 , deren gesamter Inhalt hierin durch Bezugnahme eingebunden wird.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019184712 [0147]

Claims

Bildverarbeitungsvorrichtung mit: einer Empfangsschnittstelle, die konfiguriert ist zum Empfangen von Bilddaten, die einem Bild entsprechen, in dem eine Person erfasst wird; und einem Prozessor, der konfiguriert ist zum Schätzen, basierend auf den Bilddaten, eines verborgenen Körperteils der Person, der aufgrund einer Verdeckung durch einen anderen Körperteil der Person in dem Bild nicht erfasst wird, wobei der Prozessor konfiguriert ist zum: Detektieren, basierend auf den Bilddaten, von zumindest einem ersten Merkmalspunkt, der einem in einer linken Gliedmaße der Person umfassten charakteristischen Teil entspricht, und zumindest einem zweiten Merkmalspunkt, der einer in einer rechten Gliedmaße der Person umfassten charakteristischen Teil entspricht; und Schätzen des verborgenen Körperteils basierend auf einer Entfernung zwischen dem ersten Merkmalspunkt und dem zweiten Merkmalspunkt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei der Prozessor konfiguriert ist zum: Schätzen einer Richtung eines Gesichts der Person basierend auf den Bilddaten; und Schätzen des verborgenen Körperteils basierend auf der Entfernung und der Richtung des Gesichts.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei der Prozessor konfiguriert ist zum: Schätzen einer Richtung eines Gesichts der Person basierend auf den Bilddaten; Erzeugen eines ersten Bereichs, sodass er den zumindest einen ersten Merkmalspunkt umfasst; Erzeugen eines zweiten Bereichs, sodass er den zumindest einen zweiten Merkmalspunkt umfasst; und Schätzen des verborgenen Körperteils basierend auf der Richtung des Gesichts und einem Überlappungsgrad zwischen dem ersten Bereich und dem zweiten Bereich.
Bildverarbeitungsvorrichtung gemäß Anspruch 2 oder 3, wobei der Prozessor konfiguriert ist, wenn ein geschätztes Ergebnis des verborgenen Körperteils, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird, verschieden ist von einem geschätzten Ergebnis des verborgenen Körperteils, das erhalten wird, ohne dass sich auf die Richtung des Gesichts gestützt wird, das geschätzte Ergebnis des Körperteils einzusetzen, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei der Prozessor konfiguriert ist zum: Schätzen einer Körperdrehrichtung der Person basierend auf den Bilddaten; und Schätzen des verborgenen Körperteils basierend auf der Körperdrehrichtung.
Nicht-vorübergehendes computerlesbares Medium, das ein Computerprogramm gespeichert hat, das angepasst ist, durch einen Prozessor einer Bildverarbeitungsvorrichtung ausgeführt zu werden, wobei das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung zum: Empfangen von Bilddaten, die einem Bild entsprechen, in dem eine Person erfasst wird; Detektieren, basierend auf den Bilddaten, von zumindest einem Merkmalspunkt, der einem in einer linken Gliedmaße der Person umfassten charakteristischen Teil entspricht, und zumindest einem zweiten Merkmalspunkt, der einem in einer rechten Gliedmaße der Person umfassten charakteristischen Teil entspricht; und Schätzen eines verborgenen Körperteils der Person, der aufgrund einer Verdeckung durch einen anderen Körperteil der Person in dem Bild nicht erfasst wird, basierend auf einer Entfernung zwischen dem ersten Merkmalspunkt und dem zweiten Merkmalspunkt.
Computerlesbares Medium gemäß Anspruch 6, wobei das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung zum: Schätzen einer Richtung eines Gesichts der Person basierend auf den Bilddaten; und Schätzen des verborgenen Körperteils basierend auf der Entfernung und der Richtung des Gesichts.
Computerlesbares Medium gemäß Anspruch 6, wobei das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung zum: Schätzen einer Richtung eines Gesichts der Person basierend auf den Bilddaten; Erzeugen eines ersten Bereichs, sodass er den zumindest einen ersten Merkmalspunkt umfasst; Erzeugen eines zweiten Bereichs, sodass er den zumindest einen zweiten Merkmalspunkt umfasst; und Schätzen des verborgenen Körperteils basierend auf der Richtung des Gesichts und einem Überlappungsgrad zwischen dem ersten Bereich und dem zweiten Bereich.
Computerlesbares Medium gemäß Anspruch 7 oder 8, wobei das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung, wenn ein geschätztes Ergebnis des verborgenen Körperteils, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird, verschieden ist von einem geschätzten Ergebnis des verborgenen Körperteils, das erhalten wird, ohne dass sich auf die Richtung des Gesichts gestützt wird, das geschätzte Ergebnis des Körperteils einzusetzen, das erhalten wird, indem sich auf die Richtung des Gesichts gestützt wird.
Computerlesbares Medium gemäß einem der Ansprüche 6 bis 9, wobei das Computerprogramm konfiguriert ist, wenn es ausgeführt wird, zum Veranlassen der Bildverarbeitungsvorrichtung zum: Schätzen einer Körperdrehrichtung der Person basierend auf den Bilddaten; und Schätzen des verborgenen Körperteils basierend auf der Körperdrehrichtung.