DE102016105891A1

DE102016105891A1 - Handgehaltene Vorrichtung, Objektpositionierungsverfahren und computerlesbares Aufzeichnungsmedium

Info

Publication number: DE102016105891A1
Application number: DE102016105891.2A
Authority: DE
Inventors: Chun-Yih Wu; Ta-Chun Pu; Yen-Liang Kuo
Original assignee: HTC Corp
Current assignee: HTC Corp
Priority date: 2015-06-24
Filing date: 2016-03-31
Publication date: 2016-12-29
Anticipated expiration: 2036-04-01
Also published as: US20160377712A1; CN106291523A; TW201701659A; TWI535265B; CN106291523B; DE102016105891B4; US9778353B2

Abstract

Es wird eine handgehaltene Vorrichtung, ein Objektpositionierungsverfahren davon und ein computerlesbares Aufzeichnungsmedium bereitgestellt. Die handgehaltene Vorrichtung umfasst einen Radarsensor, einen Bildsensor und eine Steuereinheit. Der Radarsensor emittiert eine Detektionswelle und empfängt eine reflektierte Welle, erzeugt von einem Objekt durch das Reflektieren der Detektionswelle. Jedes Objekt erzeugt eine der reflektierten Wellen. Der Bildsensor erfasst ein Bild. Das Bild umfasst eine Untermenge der Objekte. Die Steuereinheit extrahiert eine Wellenformsignatur jeder reflektierten Welle, erkennt die Wellenformsignatur in einem Zeitbereich und einem Frequenzbereich, um einen ersten Typ jedes Objekts zu bestimmen, erhält eine erste Position des Objekts gemäß der reflektierten Welle, erhält einen zweiten Typ und eine zweite Position jedes Objekts gemäß dem ersten Bild und führt Objekt-Mapping durch, um die erste Position und die zweite Position des Objekts zu kombinieren oder zu vergleichen.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die Erfindung bezieht sich auf eine Positionierungsmethode und insbesondere bezieht sie sich auf eine handgehaltene Vorrichtung, ein Objektpositionierungsverfahren und ein nicht transitorisches computerlesbares Aufzeichnungsmedium.
Beschreibung verwandter Techniken
Es gibt viele Anwendungen für dreidimensionale Szenen (3D-Szenen), zum Beispiel virtuelle Realität oder erneutes Scharfstellen einer Vielzahl von Objekten in einem Bild, und diese Anwendungen erfreuen nach und nach größere Beliebtheit bei handgehaltenen Vorrichtungen wie etwa Smartphones etc. und diese Anwendungen erfordern alle das Detektieren oder Berechnen von Positionen einer Vielzahl von Objekten in einem 3D-Raum.
Ein Radar kann zum Detektieren einer Position eines Objekts im 3D-Raum verwendet werden, allerdings wird in einem Radardetektionssystem mit einer einzigen Richtantenne eine relative Position eines bestimmten Objekts innerhalb eines wirksamen Strahlungsbereichs der Antenne lediglich gemäß einer Ankunftszeit (Time of Arrival, TOA) abgeleitet. Soll eine Position eines bestimmten Objekts, zum Beispiel einer Person, eines Fahrzeugs, eines Gebäudes etc., in dem 3D-Raum erhalten werden, muss zum Durchführen von Strahlabtastung eine Gruppenantenne verwendet werden. Unabhängig von dem Antennenentwurf oder der Back-End-Betriebsverarbeitung ist die Implementierung des obigen Verfahrens in den handgehaltenen Vorrichtungen schwierig.
Manche hochwertigen handgehaltenen Vorrichtungen weisen zwei Bildsensoren auf, die zur Simulation der menschlichen Augen zum Erfassen von Stereobildern verwendet werden können. Diese handgehaltenen Vorrichtungen können die Stereobilder analysieren, indem ein Bildverarbeitungsalgorithmus verwendet wird, um eine allgemeine Situation des 3D-Raums zu deduzieren. Allerdings ist es im Falle einer komplexen Umgebung, zum Beispiel bei zu vielen ähnlichen Objekten in den Bildern oder wenn zu monotone Bilder ohne besondere Merkmale erfasst werden oder wenn ein charakteristisches Objekt, das verglichen werden soll, in einem der Bilder aufgrund unterschiedlicher Sichtwinkel verdeckt ist, schwierig, ein korrektes Schätzungsergebnis gemäß dem obigen Verfahren zu erhalten.
ZUSAMMENFASSUNG DER ERFINDUNG
Die Erfindung richtet sich auf eine handgehaltene Vorrichtung, ein Objektpositionierungsverfahren und ein computerlesbares Aufzeichnungsmedium. In der Erfindung wird eine vollständige und genaue Positionierung eines Objekts oder einer Vielzahl von Objekten im dreidimensionalen (3D) Raum in einer handgehaltenen Vorrichtung implementiert
Die Erfindung stellt eine handgehaltene Vorrichtung bereit, die mindestens einen Radarsensor, einen Bildsensor und eine Steuereinheit umfasst. Der Radarsensor emittiert eine Detektionswelle und empfängt mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt durch das Reflektieren der Detektionswelle. Jedes des mindestens einen Objekts erzeugt eine der mindestens einen reflektierten Welle. Der Bildsensor erfasst ein Bild. Das Bild umfasst eine Untermenge des mindestens einen Objekts. Die Steuereinheit ist an den Radarsensor und den Bildsensor gekoppelt. Die Steuereinheit extrahiert eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle und erkennt jeweils die Wellenformsignatur in einem Zeitbereich und einem Frequenzbereich, um einen ersten Typ von jedem von dem mindestens einen Objekt zu bestimmen, die Steuereinheit erhält eine erste Position von jedem von dem mindestens einen Objekt gemäß der mindestens einen reflektierten Welle, erhält einen zweiten Typ und eine zweite Position von jedem von dem mindestens einen Objekt gemäß dem Bild und führt einen Mapping-Vorgang basierend auf dem ersten Typ, dem zweiten Typ, der ersten Position und der zweiten Position von jedem von dem mindestens einen Objekt durch, um die erste Position und die zweite Position des mindestens einen Objekts zu kombinieren oder zu vergleichen.
Die Erfindung stellt ein Objektpositionierungsverfahren bereit, das die folgenden Schritte beinhaltet. Eine Detektionswelle wird emittiert und mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt durch das Reflektieren der Detektionswelle, wird empfangen, wobei jedes von dem mindestens einen Objekt eine der mindestens einen reflektierten Welle erzeugt. Ein Bild wird erfasst, wobei das Bild eine Untermenge des mindestens einen Objekts umfasst. Eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle wird extrahiert und die Wellenformsignatur wird jeweils in einem Zeitbereich und einem Frequenzbereich erkannt, um einen ersten Typ von jedem von dem mindestens einen Objekt zu bestimmen. Eine erste Position von jedem von dem mindestens einen Objekt wird gemäß der mindestens einen reflektierten Welle erhalten. Ein zweiter Typ und eine zweite Position von jedem von dem mindestens einen Objekt werden gemäß dem Bild erhalten. Ein Mapping-Vorgang wird basierend auf dem ersten Typ, dem zweiten Typ, der ersten Position und der zweiten Position von jedem von dem mindestens einen Objekt durchgeführt, um die erste Position und die zweite Position des mindestens einen Objekts zu kombinieren oder zu vergleichen.
Die Erfindung stellt ein nicht transitorisches computerlesbares Aufzeichnungsmedium, auf dem ein Computerprogramm gespeichert ist, bereit. Nachdem eine handgehaltene Vorrichtung das Computerprogramm lädt und ausführt, wird das oben erwähnte Objektpositionierungsverfahren implementiert.
Gemäß den obigen Beschreibungen werden der einfache Radarsensor und Bildsensor zusammen verwendet, um eine vollständige und genaue Positionierung eines Objekts oder einer Vielzahl von Objekten im 3D-Raum in der handgehaltenen Vorrichtung zu implementieren.
Um die zuvor erwähnten und andere Merkmale und Vorteile der Erfindung verständlich zu machen, sind nachfolgend mehrere, von Figuren begleitete, beispielhafte Ausführungsformen detailliert beschrieben.
KURZBESCHREIBUNG DER FIGUREN
Die begleitenden Zeichnungen sind beigefügt, um ein tieferes Verständnis der Erfindung bereitzustellen und sind in diese Patentschrift mit aufgenommen und stellen einen Teil derselben dar. Die Zeichnungen veranschaulichen Ausführungsformen der Erfindung und dienen zusammen mit der Beschreibung der Erläuterung der Grundsätze der Erfindung.
1 ist eine schematische Darstellung einer handgehaltenen Vorrichtung gemäß einer Ausführungsform der Erfindung.
2 ist eine schematische Darstellung von Tiefen und Azimuten einer Vielzahl von Objekten gemäß einer Ausführungsform der Erfindung.
3 bis 5 sind Ablaufdiagramme, die Objektpositionierungsverfahren gemäß einer Vielzahl von Ausführungsformen der Erfindung veranschaulichen.
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
1 ist eine schematische Darstellung einer handgehaltenen Vorrichtung 100 gemäß einer Ausführungsform der Erfindung. Die handgehaltene Vorrichtung 100 kann eine handgehaltene elektronische Vorrichtung wie etwa ein Smartphone, einen Tablet Personal Computer (PC) etc. sein. Die handgehaltene Vorrichtung 100 umfasst einen Radarsensor 120, einen Bildsensor 140 und eine Steuereinheit 160. Die Steuereinheit 160 ist an den Radarsensor 120 und den Bildsensor 140 gekoppelt.
Der Radarsensor 120 kann eine Detektionswelle emittieren, zum Beispiel emittiert er eine Detektionswelle in Form einer kontinuierlichen Impulsfolge 125. Die Detektionswelle kann eine elektromagnetische Welle oder eine Ultraschallwelle sein. Die handgehaltene Vorrichtung 100 kann von einem Objekt oder einer Vielzahl von Objekten umgeben sein. Der Radarsensor 120 kann mindestens eine reflektierte Welle, erzeugt von dem mindestens einen Objekt durch das Reflektieren der Detektionswelle, empfangen. Jedes der Objekte kann eine reflektierte Welle erzeugen. Ist die handgehaltene Vorrichtung 100 ein Smartphone, kann der Radarsensor 120 durch eine Antenne der handgehaltenen Vorrichtung 100 implementiert sein.
Der Bildsensor 140 kann ein Bild erfassen und das Bild umfasst eine Untermenge der oben erwähnten Objekte. Eingeschränkt durch ein Sichtfeld (Field of View, FOV) des Bildsensors 140 kann die Untermenge alle oben erwähnten Objekte umfassen oder einen Teil der oben erwähnten Objekte umfassen oder keines der Objekte umfassen.
Die Steuereinheit 160 kann einen ersten Typ T₁ und eine erste Position P₁ jedes Objekts gemäß den reflektierten Wellen der oben erwähnten Objekte erhalten. Die Steuereinheit 160 kann auch einen zweiten Typ T₂ und eine zweite Position P₂ jedes Objekts gemäß dem erfassten Bild erhalten. Dann führt die Steuereinheit 160 ein Objekt-Mapping durch. Das sogenannte „Objekt-Mapping“ dient dazu, einen Mapping-Vorgang basierend auf dem ersten Typ T₁, dem zweiten Typ T₂, der ersten Position P₁ und der zweiten Position P₂ jedes Objekts durchzuführen, um die erste Position P₁ und die zweite Position P₂ des Objekts zu kombinieren oder zu vergleichen.
Zum Beispiel kann die erste Position P₁ eine Tiefe (d. h. ein Abstand) des Objekts relativ zu der handgehaltenen Vorrichtung 100 sein und die zweite Position P₂ kann ein Azimut des Objekts relativ zu der handgehaltenen Vorrichtung 100 sein. 2 ist eine Ansicht der sich vor der handgehaltenen Vorrichtung 100 befindenden Objekte 201–204 gemäß einer Ausführungsform der Erfindung von oben. Die Objekte 201–204 weisen die entsprechenden Tiefen D1–D4 und Azimute θ1–θ4 auf.
Die handgehaltene Vorrichtung 100 kann eine Wellenformsignaturdatenbank umfassen. Die Wellenformsignaturdatenbank speichert eine Vielzahl von Wellenformsignaturen und einen Objekttyp, der jeder der Wellenformsignaturen entspricht. Die Steuereinheit 160 kann eine Wellenformsignatur der reflektierten Welle von jedem der Objekte extrahieren und erkennt jeweils die Wellenformsignatur in einem Zeitbereich und einem Frequenzbereich gemäß der Wellenformsignaturdatenbank, um den ersten Typ T₁ jedes Objekts zu bestimmen. Der erste Typ T₁ kann ein Mensch, Fahrzeug oder Gebäude etc. sein. Zudem kann die Steuereinheit 160 die Tiefe P₁ jedes Objekts gemäß einer Ankunftszeit der reflektierten Welle des Objekts berechnen. Auf diese Weise werden die erhaltenen ersten Typen T₁ und die Tiefen P₁ als folgende Tabelle gezeigt.

Objekt 201 202 203 204

Erster Typ T₁ A B C D

Tiefe P₁ D2 D4 D3 D1
Die handgehaltene Vorrichtung 100 kann auch eine Bildsignaturdatenbank umfassen. Die Bildsignaturdatenbank speichert eine Vielzahl von Bildsignaturen und einen jeder Bildsignatur entsprechenden Objekttyp. Die Steuereinheit 160 kann ein Schwellenwertverfahren und eine Kantendetektion hinsichtlich jedes Objekts in dem Bild durchführen, um die Bildsignatur des Objekts zu extrahieren. Dann identifiziert die Steuereinheit 160 die Bildsignatur gemäß der Bildsignaturdatenbank, um den zweiten Typ T₂ jedes Objekts zu bestimmen. Der zweite Typ T₂ kann ein Mensch, Fahrzeug oder Gebäude etc. sein. Zudem kann die Steuereinheit 160 den Azimut P₂ jedes Objekts gemäß der Position des Objekts in dem Bild erhalten. Auf diese Weise werden die erhaltenen zweiten Typen T₂ und die Azimute P₂ als folgende Tabelle gezeigt.

Objekt 201 202 203 204

Zweiter Typ T₂ A B C D

Azimut P₂ θ1 θ2 θ3 θ4
Falls die Bestimmungsergebnisse des ersten Typs T₁ und des zweiten Typs T₂ jedes Objekts dieselben sind, kann das Objekt-Mapping durchgeführt werden, um die Tiefe P₁ und den Azimut P₂ des Objekts zu kombinieren, um eine vollständige Raumposition jedes Objekts zu erhalten, die in der folgenden Tabelle gezeigt ist.

Objekt 201 202 203 204

Tiefe P₁ D2 D4 D3 D1

Azimut P₂ θ1 θ2 θ3 θ4
3 ist ein Ablaufdiagramm, das ein Objektpositionierungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei der vorliegenden Ausführungsform ist die erste Position P₁ jedes Objekts eine Tiefe des Objekts relativ zu der handgehaltenen Vorrichtung 100, und die zweite Position P₂ jedes Objekts ist ein Azimut des Objekts relativ zu der handgehaltenen Vorrichtung 100. In Schritt 305 emittiert der Radarsensor 120 eine Detektionswelle und empfängt reflektierte Wellen der Objekte. In Schritt 310 extrahiert die Steuereinheit 160 eine Wellenformsignatur der reflektierten Welle jedes Objekts. In Schritt 315 erkennt die Steuereinheit 160 die Wellenformsignatur gemäß der Wellenformsignaturdatenbank, um den ersten Typ T₁ des Objekts zu bestimmen. In Schritt 320 berechnet die Steuereinheit 160 eine Tiefe jedes Objekts gemäß einer Ankunftszeit der reflektierten Welle des Objekts.
Andererseits erfasst in Schritt 325 der Bildsensor 140 ein Bild. In Schritt 330 korrigiert die Steuereinheit 160 das Bild, d. h. sie beseitigt die durch einen Erfassungswinkel verursachte Bildverzerrung. In Schritt 335 identifiziert die Steuereinheit 160 das Bild, d. h. sie extrahiert eine Bildsignatur und identifiziert die Bildsignatur gemäß der Bildsignaturdatenbank, um den zweiten Typ T₂ des Objekts zu bestimmen. In Schritt 340 bestimmt die Steuereinheit 160 einen Azimut des Objekts im Hinblick darauf, ob das Objekt in dem Bild vorhanden ist. Bei der vorliegenden Ausführungsform weisen die Azimute zwei Typen auf, die einer Situation, bei der das Objekt in dem Bild vorhanden ist, bzw. einer Situation, bei der das Objekt nicht in dem Bild vorhanden ist, entsprechen.
Dann führt in Schritt 345 die Steuereinheit 160 ein Objekt-Mapping durch, um die Tiefe und den Azimut des Objekts auf eine in 2 gezeigte Weise zu kombinieren. In Schritt 350 überprüft die Steuereinheit 160, ob der erste Typ T₁ und der zweite Typ T₂ des Objekts ein bestimmter Typ sind und die Tiefe und der Azimut des Objekts innerhalb eines bestimmten Bereichs liegen. Der bestimmte Typ kann der Typ Mensch oder ein anderes Tier mit physiologischen Bewegungsabläufen wie etwa Atmen, Herzschlag etc. sein. Der bestimmte Bereich bezieht sich darauf, dass sich das Objekt in dem Bild befindet und die Tiefe des Objekts innerhalb eines zuvor bestimmten Bereichs (zum Beispiel 1,3–1,7 Meter) liegt, der zum Messen der physiologischen Bewegungsabläufe geeignet ist.
Wenn der Prüfvorgang von Schritt 350 ein negatives Ergebnis liefert, kehrt der Ablauf zu den Schritten 305 und 325 zurück. Wenn der Prüfvorgang von Schritt 350 ein positives Ergebnis liefert, steuert in Schritt 355 die Steuereinheit 160 den Radarsensor 120, um eine weitere Detektionswelle zu emittieren und reflektierte Wellen des Objekts zu empfangen. Sowohl die Detektionswelle in Schritt 305 als auch die in Schritt 355 umfassen eine Vielzahl von Impulsen und ein Impulsintervall der Detektionswelle von Schritt 305 ist größer als ein Impulsintervall der Detektionswelle von Schritt 344. Zum Beispiel wird in Schritt 305 die Detektionswelle mit dem Impulsintervall von 1 ms emittiert und in Schritt 355 wird die Detektionswelle mit dem Impulsintervall von 0,1 ms emittiert. Die Detektionswelle von Schritt 305 kann zum Bestimmen einer Objektposition verwendet werden. In Schritt 360 kann die Steuereinheit 160 die Detektionswelle von Schritt 355 verwenden, um fast unmerkliche physiologische Bewegungsabläufe wie etwa Atmen oder Herzschlag etc. zu detektieren. Die vorliegende Ausführungsform kann für die medizinische Überwachung älterer Menschen, von Kleinkindern, verletzten Personen oder Patienten angewendet werden.
4 ist ein Ablaufdiagramm, das ein Objektpositionierungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei der vorliegenden Ausführungsform ist die erste Position P₁ jedes Objekts eine Tiefe des Objekts relativ zu der handgehaltenen Vorrichtung 100, und die zweite Position P₂ jedes Objekts ist ein Azimut des Objekts relativ zu der handgehaltenen Vorrichtung 100. Die Schritte 405–420 sind dieselben wie die Schritte 305–320. Die Schritte 425 bzw. 430 sind dieselben wie die Schritte 325 bzw. 330. Die Schritte 435 und 440 werden in der Ausführungsform von 2 eingeführt.
Dann erhält in Schritt 445 die Steuereinheit 160 einen Azimut jedes Objekts gemäß dem von dem Bildsensor 140 erfassten Bild. Genauer gesagt kann die Steuereinheit 160 das Bild in eine Vielzahl von Bereiche unterteilen und sie weist jedem Bereich einen entsprechenden Azimut zu und legt dann den Azimut jedes Objekts als den Azimut fest, welcher dem Bereich entspricht, einschließlich dem Objekt in den Bereichen. Der oben erwähnte Azimut kann ein eindimensionaler oder zweidimensionaler Azimut sein.
Dann führt in Schritt 450 die Steuereinheit 160 ein Objekt-Mapping durch, um die Tiefe und den Azimut jedes Objekts zu kombinieren. Auf diese Weise wird eine vollständige Position jedes Objekts in dem 3D-Raum erhalten, die zum Konstruieren eines 3D-Bilds oder einer Szene der virtuellen Realität angewendet werden kann oder zum erneuten Scharfstellen einer Vielzahl der Objekte angewendet werden kann.
5 ist ein Ablaufdiagramm, das ein Objektpositionierungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei der vorliegenden Ausführungsform sind die erste Position P₁ und die zweite Position P₂ jedes Objekts alles Tiefen des Objekts relativ zu der handgehaltenen Vorrichtung 100 und die zwei Tiefen werden von dem Radarsensor 120 bzw. dem Bildsensor 140 erhalten. Der Bildsensor 140 der vorliegenden Ausführungsform kann das menschliche Auge simulieren, um gleichzeitig zwei Bilder zu erfassen, die einem linken Auge bzw. einem rechten entsprechen, so dass die Objekte in beiden Bildern vorhanden sind.
Die Schritte 505–520 sind dieselben wie die Schritte 305–320. In Schritt 525 erfasst der Bildsensor 140 zwei Bilder. In Schritt 530 korrigiert die Steuereinheit 160 jeweils die zwei Bilder und in Schritt S535 extrahiert die Steuereinheit 160 Bildsignaturen der Objekte in den zwei Bildern. In Schritt 540 identifiziert die Steuereinheit 160 die Bildsignaturen gemäß der Bildsignaturdatenbank, um den zweiten Typ T₂ jedes Objekts zu bestimmen. In Schritt 545 erhält die Steuereinheit 160 unter Verwendung einer Bildsignaturübereinstimmung der zwei Bilder eine Ungleichheit und wandelt die Ungleichheit in die Tiefe des Objekts um.
Dann führt in Schritt 550 die Steuereinheit 160 ein Objekt-Mapping durch, um die Tiefe des Objekts, berechnet gemäß der reflektieren Radarwelle, und die Tiefe, berechnet gemäß dem Bild, zu vergleichen, und in Schritt 555 überprüft die Steuereinheit 160, ob die zwei Tiefen gleich sind. Sind die zwei Tiefen gleich, erzeugt in Schritt 560 die Steuereinheit 160 Tiefeninformationen der Objekte gemäß den zwei Tiefen. Die Tiefeninformationen können zum Konstruieren eines 3D-Bilds oder einer Szene der virtuellen Realität angewendet werden oder zum erneuten Scharfstellen einer Vielzahl der Objekte angewendet werden.
Sind die zwei Tiefen nicht gleich, passt in Schritt 565 die Steuereinheit 160 die Bildsignatur des Objekts an und der Ablauf kehrt zu Schritt 545 zurück, um die von der Bildsignatur herrührende Tiefe des Objekts erneut zu berechnen und das Objekt-Mapping von Schritt 550 erneut durchzuführen. Die Anpassung von Schritt 565 ist das Vernachlässigen der Bildsignatur entsprechend der ungleichen Tiefe oder das erneute Auswählen der Bildsignatur des Objekts entsprechend der ungleichen Tiefe.
Bei der vorliegenden Ausführungsform wird der Radar verwendet, um dabei zu helfen, die korrekte Objekttiefe zu erhalten. Ist das Bild zu komplex oder zu monoton, ist die lediglich gemäß dem Bild geschätzte Tiefe vermutlich ungenau und falls die gemäß der Radardetektion erzeugte Tiefe zum Vergleich hinzugenommen wird, kann das oben erwähnte Problem gelöst werden.
Die Erfindung stellt auch ein nicht transitorisches computerlesbares Aufzeichnungsmedium bereit, und das Aufzeichnungsmedium kann eine physische Speichervorrichtung wie etwa ein Speicher, eine Magnetplatte oder eine CD sein. Auf dem Aufzeichnungsmedium kann ein Computerprogramm gespeichert sein. Wenn die handgehaltene Vorrichtung das Computerprogramm lädt und ausführt, wird das zuvor erwähnte Objektpositionierungsverfahren implementiert.
Zusammenfassend ausgedrückt werden in der Erfindung der Radarsensor und der Bildsensor gleichzeitig verwendet, um die Tiefen und die Azimute der Objekte zu schätzen, um eine vollständige Objektposition zu erhalten. In der Erfindung werden durch die Kollaboration und das Mapping der von dem Radarsensor und dem Bildsensor erhaltenen Informationen die korrekten Objekttiefen und Objektpositionen erhalten. Auf diese Weise wird eine korrekte Bildverarbeitung erzielt und es wird ein besserer 3D-Bild-Anwendungseffekt umgesetzt.
Fachleuten wird es offensichtlich sein, dass an der Struktur der Erfindung verschiedene Abwandlungen und Variationen vorgenommen werden können, ohne von dem Umfang oder Wesen der Erfindung abzuweichen. Im Hinblick auf das Vorhergenannte wird beabsichtigt, dass die Erfindung Abwandlungen und Variationen dieser Erfindung abdeckt, vorausgesetzt, sie fallen in den Umfang der nachfolgenden Patentansprüche und ihrer Äquivalente.

Claims

Eine handgehaltene Vorrichtung, die Folgendes beinhaltet: einen Radarsensor, der eine erste Detektionswelle emittiert und mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt durch das Reflektieren der ersten Detektionswelle, empfängt, wobei jedes von dem mindestens einen Objekt eine der mindestens einen reflektierten Welle erzeugt; einen Bildsensor, der ein erstes Bild erfasst, wobei das erste Bild eine Untermenge des mindestens einen Objekts beinhaltet; und eine an den Radarsensor und den Bildsensor gekoppelte Steuereinheit, die eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle extrahiert, die Wellenformsignatur jeweils in einem Zeitbereich und einem Frequenzbereich erkennt, um einen ersten Typ von jedem von dem mindestens einen Objekt zu bestimmen, eine erste Position von jedem von dem mindestens einen Objekt gemäß der mindestens einen reflektierten Welle erhält, einen zweiten Typ und eine zweite Position von jedem von dem mindestens einen Objekt gemäß dem ersten Bild erhält und einen Mapping-Vorgang basierend auf dem ersten Typ, dem zweiten Typ, der ersten Position und der zweiten Position von jedem von dem mindestens einen Objekt durchführt, um die erste Position und die zweite Position zu kombinieren oder zu vergleichen.
Handgehaltene Vorrichtung gemäß Anspruch 1, wobei die Steuereinheit eine Bildsignatur von jedem von dem mindestens einen Objekt in dem ersten Bild extrahiert und die Bildsignatur identifiziert, um den zweiten Typ von jedem von dem mindestens einen Objekt zu bestimmen.
Handgehaltene Vorrichtung gemäß Anspruch 1, wobei die erste Position von jedem von dem mindestens einen Objekt eine Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts, und die zweite Position von jedem von dem mindestens einen Objekt ein Azimut des mindestens einen Objekts ist, bestimmt im Hinblick darauf, ob das mindestens eine Objekt in dem ersten Bild vorhanden ist, und die Steuereinheit den Mapping-Vorgang durchführt, um die Tiefe und den Azimut von jedem von dem mindestens einen Objekt zu kombinieren.
Handgehaltene Vorrichtung gemäß Anspruch 3, wobei die Steuereinheit den Radarsensor steuert, um eine zweite Detektionswelle zu emittieren, um einen physiologischen Bewegungsablauf des mindestens einen Objekts zu detektieren, wenn sowohl der erste Typ als auch der zweite Typ des mindestens einen Objekts ein bestimmter Typ sind und die Tiefe und der Azimut des mindestens einen Objekts alle in einem bestimmten Bereich liegen.
Handgehaltene Vorrichtung gemäß Anspruch 4, wobei die erste Detektionswelle eine Vielzahl von Impulsen beinhaltet und die zweite Detektionswelle eine Vielzahl von Impulsen beinhaltet; wobei ein Impulsintervall der ersten Detektionswelle größer ist als ein Impulsintervall der zweiten Detektionswelle.
Handgehaltene Vorrichtung gemäß Anspruch 1, wobei die erste Position von jedem von dem mindestens einen Objekt eine Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts, das erste Bild eine Vielzahl von Bereichen beinhaltet, wobei jeder Bereich einem Azimut entspricht, und die zweite Position von jedem von dem mindestens einen Objekt der Azimut ist, der dem Bereich entspricht, welcher das mindestens eine Objekt in den Bereichen beinhaltet, und die Steuereinheit den Mapping-Vorgang durchführt, um die Tiefe und den Azimut von jedem von dem mindestens einen Objekt zu kombinieren.
Handgehaltene Vorrichtung gemäß Anspruch 1, wobei die erste Position von jedem von dem mindestens einen Objekt eine erste Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts, der Bildsensor ferner ein zweites Bild erfasst, wobei sowohl das erste Bild als auch das zweite Bild das mindestens eine Objekt beinhalten, die zweite Position von jedem von dem mindestens einen Objekt eine zweite Tiefe des mindestens einen Objekts ist, berechnet gemäß einer Bildsignatur des mindestens einen Objekts in dem ersten Bild und dem zweiten Bild, und die Steuereinheit den Mapping-Vorgang durchführt, um die erste Tiefe und die zweite Tiefe des mindestens einen Objekts zu vergleichen.
Handgehaltene Vorrichtung gemäß Anspruch 7, wobei, wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts gleich sind, die Steuereinheit Tiefeninformationen des mindestens einen Objekts gemäß der ersten Tiefe und der zweiten Tiefe erzeugt.
Handgehaltene Vorrichtung gemäß Anspruch 7, wobei, wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts nicht gleich sind, die Steuereinheit die Bildsignatur entsprechend der nicht gleichen Tiefe vernachlässigt, die zweite Tiefe erneut berechnet und den Mapping-Vorgang erneut durchführt.
Handgehaltene Vorrichtung gemäß Anspruch 7, wobei, wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts nicht gleich sind, die Steuereinheit die Bildsignatur des mindestens einen Objekts entsprechend der nicht gleichen Tiefe erneut auswählt, die zweite Tiefe erneut berechnet und den Mapping-Vorgang erneut durchführt.
Ein Objektpositionierungsverfahren, das Folgendes beinhaltet: Emittieren einer ersten Detektionswelle und Empfangen mindestens einer reflektierten Welle, erzeugt von mindestens einem Objekt durch das Reflektieren der ersten Detektionswelle, wobei jedes von dem mindestens einen Objekt eine der mindestens einen reflektierten Welle erzeugt; Erfassen eines ersten Bilds, wobei das erste Bild eine Untermenge des mindestens einen Objekts beinhaltet; Extrahieren einer Wellenformsignatur von jeder der mindestens einen reflektierten Welle und jeweils Erkennen der Wellenformsignatur in einem Zeitbereich und einem Frequenzbereich, um einen ersten Typ von jedem von dem mindestens einen Objekt zu bestimmen; Erhalten einer ersten Position von jedem von dem mindestens einen Objekt gemäß der mindestens einen reflektierten Welle; Erhalten eines zweiten Typs und einer zweiten Position von jedem von dem mindestens einen Objekt gemäß dem ersten Bild; und Durchführen eines Mapping-Vorgangs basierend auf dem ersten Typ, dem zweiten Typ, der ersten Position und der zweiten Position von jedem von dem mindestens einen Objekt, um die erste Position und die zweite Position zu kombinieren oder zu vergleichen.
Objektpositionierungsverfahren gemäß Anspruch 11, das ferner Folgendes beinhaltet: Extrahieren einer Bildsignatur von jedem von dem mindestens einen Objekt in dem ersten Bild und Identifizieren der Bildsignatur, um den zweiten Typ von jedem von dem mindestens einen Objekt zu bestimmen.
Objektpositionierungsverfahren gemäß Anspruch 11, wobei die erste Position von jedem von dem mindestens einen Objekt eine Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts, und die zweite Position von jedem von dem mindestens einen Objekt ein Azimut des mindestens einen Objekts ist, bestimmt im Hinblick darauf, ob das mindestens eine Objekt in dem ersten Bild vorhanden ist, und der Mapping-Vorgang durchgeführt wird, um die Tiefe und den Azimut von jedem von dem mindestens einen Objekt zu kombinieren.
Objektpositionierungsverfahren gemäß Anspruch 13, das ferner Folgendes beinhaltet: Emittieren einer zweiten Detektionswelle, um einen physiologischen Bewegungsablauf des mindestens einen Objekts zu detektieren, wenn sowohl der erste Typ als auch der zweite Typ des mindestens einen Objekts ein bestimmter Typ sind und die Tiefe und der Azimut des mindestens einen Objekts alle in einem bestimmten Bereich liegen.
Objektpositionierungsverfahren gemäß Anspruch 14, wobei die erste Detektionswelle eine Vielzahl von Impulsen beinhaltet und die zweite Detektionswelle eine Vielzahl von Impulsen beinhaltet; wobei ein Impulsintervall der ersten Detektionswelle größer ist als ein Impulsintervall der zweiten Detektionswelle.
Objektpositionierungsverfahren gemäß Anspruch 11, wobei die erste Position von jedem von dem mindestens einen Objekt eine Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts, das erste Bild eine Vielzahl von Bereichen beinhaltet, wobei jeder Bereich einem Azimut entspricht, und die zweite Position von jedem von dem mindestens einen Objekt der Azimut ist, der dem Bereich entspricht, welcher das mindestens eine Objekt in den Bereichen beinhaltet, und wobei der Mapping-Vorgang durchgeführt wird, um die Tiefe und den Azimut von jedem von dem mindestens einen Objekt zu kombinieren.
Objektpositionierungsverfahren gemäß Anspruch 11, wobei die erste Position von jedem von dem mindestens einen Objekt eine erste Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts, und das Objektpositionierungsverfahren ferner Folgendes beinhaltet: Erfassen eines zweiten Bilds, wobei sowohl das erste Bild als auch das zweite Bild das mindestens eine Objekt beinhalten, die zweite Position von jedem von dem mindestens einen Objekt eine zweite Tiefe des mindestens einen Objekts ist, berechnet gemäß einer Bildsignatur des mindestens einen Objekts in dem ersten Bild und dem zweiten Bild, und der Mapping-Vorgang durchgeführt wird, um die erste Tiefe und die zweite Tiefe des mindestens einen Objekts zu vergleichen.
Objektpositionierungsverfahren gemäß Anspruch 17, das ferner Folgendes beinhaltet: wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts gleich sind, Erzeugen von Tiefeninformationen des mindestens einen Objekts gemäß der ersten Tiefe und der zweiten Tiefe.
Objektpositionierungsverfahren gemäß Anspruch 17, das ferner Folgendes beinhaltet: wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts nicht gleich sind, Vernachlässigen der Bildsignatur entsprechend der nicht gleichen Tiefe, erneutes Berechnen der zweiten Tiefe und erneutes Durchführen des Mapping-Vorgangs.
Objektpositionierungsverfahren gemäß Anspruch 17, das ferner Folgendes beinhaltet: wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts nicht gleich sind, erneutes Auswählen der Bildsignatur des mindestens einen Objekts entsprechend der nicht gleichen Tiefe, erneutes Berechnen der zweiten Tiefe und erneutes Durchführen des Mapping-Vorgangs.
Ein nicht transitorisches computerlesbares Aufzeichnungsmedium, auf dem ein Computerprogramm gespeichert ist, wobei nach dem Laden und Ausführen des Computerprogramms durch die handgehaltene Vorrichtung das Objektpositionierungsverfahren gemäß Anspruch 11 implementiert wird.