DE102016105891B4 - Handgehaltene Vorrichtung, Objektpositionierungsverfahren und computerlesbares Aufzeichnungsmedium - Google Patents

Handgehaltene Vorrichtung, Objektpositionierungsverfahren und computerlesbares Aufzeichnungsmedium Download PDF

Info

Publication number
DE102016105891B4
DE102016105891B4 DE102016105891.2A DE102016105891A DE102016105891B4 DE 102016105891 B4 DE102016105891 B4 DE 102016105891B4 DE 102016105891 A DE102016105891 A DE 102016105891A DE 102016105891 B4 DE102016105891 B4 DE 102016105891B4
Authority
DE
Germany
Prior art keywords
image
depth
control unit
type
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102016105891.2A
Other languages
English (en)
Other versions
DE102016105891A1 (de
Inventor
Chun-Yih Wu
Ta-Chun Pu
Yen-Liang Kuo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of DE102016105891A1 publication Critical patent/DE102016105891A1/de
Application granted granted Critical
Publication of DE102016105891B4 publication Critical patent/DE102016105891B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/10Systems for measuring distance only using transmission of interrupted, pulse modulated waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Electromagnetism (AREA)

Abstract

Eine handgehaltene Vorrichtung (100), die Folgendes beinhaltet:einen Radarsensor (120), der eine erste Detektionswelle emittiert und mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt (201-204) durch das Reflektieren der ersten Detektionswelle, empfängt, wobei jedes von dem mindestens einen Objekt (201-204) eine der mindestens einen reflektierten Welle erzeugt;einen Bildsensor (140), der ein erstes Bild erfasst, wobei das erste Bild eine Untermenge des mindestens einen Objekts (201-204) beinhaltet; undeine an den Radarsensor (120) und den Bildsensor (140) gekoppelte Steuereinheit (160), die eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle extrahiert, die Wellenformsignatur jeweils in einem Zeitbereich und einem Frequenzbereich erkennt, um einen ersten Typ (T1) von jedem von dem mindestens einen Objekt (201-204) zu bestimmen, eine erste Position (P1) von jedem von dem mindestens einen Objekt (201-204) gemäß der mindestens einen reflektierten Welle erhält, einen zweiten Typ (T2) undeine zweite Position (P2) von jedem von dem mindestens einen Objekt (201-204) gemäß dem ersten Bild erhält und einen Mapping-Vorgang basierend auf dem ersten Typ (T1), dem zweiten Typ (T2), der ersten Position (P1) und der zweiten Position (P2) von jedem von dem mindestens einen Objekt (201-204) durchführt, um die erste Position (P1) und die zweite Position (P2) zu kombinieren oder zu vergleichen.

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die Erfindung bezieht sich auf eine Positionierungsmethode und insbesondere bezieht sie sich auf eine handgehaltene Vorrichtung, ein Objektpositionierungsverfahren und ein nicht transitorisches computerlesbares Aufzeichnungsmedium.
  • Beschreibung verwandter Techniken
  • Es gibt viele Anwendungen für dreidimensionale Szenen (3D-Szenen), zum Beispiel virtuelle Realität oder erneutes Scharfstellen einer Vielzahl von Objekten in einem Bild, und diese Anwendungen erfreuen nach und nach größere Beliebtheit bei handgehaltenen Vorrichtungen wie etwa Smartphones etc. und diese Anwendungen erfordern alle das Detektieren oder Berechnen von Positionen einer Vielzahl von Objekten in einem 3D-Raum.
  • Ein Radar kann zum Detektieren einer Position eines Objekts im 3D-Raum verwendet werden, allerdings wird in einem Radardetektionssystem mit einer einzigen Richtantenne eine relative Position eines bestimmten Objekts innerhalb eines wirksamen Strahlungsbereichs der Antenne lediglich gemäß einer Ankunftszeit (Time of Arrival, TOA) abgeleitet. Soll eine Position eines bestimmten Objekts, zum Beispiel einer Person, eines Fahrzeugs, eines Gebäudes etc., in dem 3D-Raum erhalten werden, muss zum Durchführen von Strahlabtastung eine Gruppenantenne verwendet werden. Unabhängig von dem Antennenentwurf oder der Back-End-Betriebsverarbeitung ist die Implementierung des obigen Verfahrens in den handgehaltenen Vorrichtungen schwierig.
  • Manche hochwertigen handgehaltenen Vorrichtungen weisen zwei Bildsensoren auf, die zur Simulation der menschlichen Augen zum Erfassen von Stereobildern verwendet werden können. Diese handgehaltenen Vorrichtungen können die Stereobilder analysieren, indem ein Bildverarbeitungsalgorithmus verwendet wird, um eine allgemeine Situation des 3D-Raums zu deduzieren. Allerdings ist es im Falle einer komplexen Umgebung, zum Beispiel bei zu vielen ähnlichen Objekten in den Bildern oder wenn zu monotone Bilder ohne besondere Merkmale erfasst werden oder wenn ein charakteristisches Objekt, das verglichen werden soll, in einem der Bilder aufgrund unterschiedlicher Sichtwinkel verdeckt ist, schwierig, ein korrektes Schätzungsergebnis gemäß dem obigen Verfahren zu erhalten.
  • US 2006/0140449 A1 offenbart eine Fahrzeugerkennungsvorrichtung mit einen Klassifikator, der Merkmale eines Bildes empfängt und beurteilt, ob das Bild ein Fahrzeug ist. Die aus dem aufgenommenen Bild extrahierten Merkmale werden dem Klassifikator zugeführt, so dass beurteilt werden kann, ob es sich bei dem Bild um das Fahrzeug handelt. Wenn das Urteilsergebnis und das Ergebnis vom Radar nicht übereinstimmen, wird das aufgenommene Bildmuster in den Lerndaten registriert. Der Klassifikator wird durch Lernen aus den Lerndaten aktualisiert.
  • In der US 2010/0214154 A1 wird ein System und Verfahren zur Erkennung von Zielen offenbart. Ein Sender kann ein erstes Invers-Transformations-Signal senden, wobei das erste Invers-Transformations-Signal von einem Referenzbild eines ersten Referenzziels unter einem ersten Blickwinkel abgeleitet ist. Ein Empfänger kann ein von einer Szene reflektiertes Rücksignal empfangen. Ein Detektor kann basierend auf dem Rücksignal bestimmen, ob ein Objekt, das dem ersten Ziel unter dem ersten Blickwinkel ähnlich ist, innerhalb der Szene erkannt wird.
  • Die Veröffentlichung „Range Doppler Detection for automotive FMCW Radars“ von Volker Winkler in „Proceedings of the 37th European Microwave Conference“, 2007, S. 1445 - 1448, ISBN 978-2-87487-001-9 befasst sich im Allgemeinen mit dem FMCW-Radar-Prinzip und dessen Anwendung in automotiven Radar-Systemen.
  • Die US 2002/0003488 A1 offenbart ein Fahrzeugkommunikationssystem mit einem kombinierten Radar- und drahtlosen Kommunikationssystem, das eine Vielzahl von Fahrzeugen koppelt. Vorzugsweise enthält das System auch eine Vielzahl von Zugangspunkten, die zur drahtlosen Kommunikation mit den Fahrzeugen gekoppelt sind. Es wird auch ein Verfahren zur Fahrzeugkommunikation gezeigt, dass die Kopplung einer Vielzahl von Fahrzeugen mittels eines kombinierten Radar- und drahtlosen Kommunikationssystems einschließt.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die Erfindung richtet sich auf eine handgehaltene Vorrichtung,. In der Erfindung wird eine vollständige und genaue Positionierung eines Objekts oder einer Vielzahl von Objekten im dreidimensionalen (3D) Raum in einer handgehaltenen Vorrichtung implementiert
  • Die Erfindung stellt eine handgehaltene Vorrichtung bereit, die mindestens einen Radarsensor, einen Bildsensor und eine Steuereinheit umfasst. Der Radarsensor emittiert eine Detektionswelle und empfängt mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt durch das Reflektieren der Detektionswelle. Jedes des mindestens einen Objekts erzeugt eine der mindestens einen reflektierten Welle. Der Bildsensor erfasst ein Bild. Das Bild umfasst eine Untermenge des mindestens einen Objekts. Die Steuereinheit ist an den Radarsensor und den Bildsensor gekoppelt. Die Steuereinheit extrahiert eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle und erkennt jeweils die Wellenformsignatur in einem Zeitbereich und einem Frequenzbereich, um einen ersten Typ von jedem von dem mindestens einen Objekt zu bestimmen, die Steuereinheit erhält eine erste Position von jedem von dem mindestens einen Objekt gemäß der mindestens einen reflektierten Welle, erhält einen zweiten Typ und eine zweite Position von jedem von dem mindestens einen Objekt gemäß dem Bild und führt einen Mapping-Vorgang basierend auf dem ersten Typ, dem zweiten Typ, der ersten Position und der zweiten Position von jedem von dem mindestens einen Objekt durch, um die erste Position und die zweite Position des mindestens einen Objekts zu kombinieren oder zu vergleichen.
  • Die vorliegende Offenbarung betrifft weiterhin ein Objektpositionierungsverfahren, das die folgenden Schritte beinhaltet. Eine Detektionswelle wird emittiert und mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt durch das Reflektieren der Detektionswelle, wird empfangen, wobei jedes von dem mindestens einen Objekt eine der mindestens einen reflektierten Welle erzeugt. Ein Bild wird erfasst, wobei das Bild eine Untermenge des mindestens einen Objekts umfasst. Eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle wird extrahiert und die Wellenformsignatur wird jeweils in einem Zeitbereich und einem Frequenzbereich erkannt, um einen ersten Typ von jedem von dem mindestens einen Objekt zu bestimmen. Eine erste Position von jedem von dem mindestens einen Objekt wird gemäß der mindestens einen reflektierten Welle erhalten. Ein zweiter Typ und eine zweite Position von jedem von dem mindestens einen Objekt werden gemäß dem Bild erhalten. Ein Mapping-Vorgang wird basierend auf dem ersten Typ, dem zweiten Typ, der ersten Position und der zweiten Position von jedem von dem mindestens einen Objekt durchgeführt, um die erste Position und die zweite Position des mindestens einen Objekts zu kombinieren oder zu vergleichen.
  • Schließlich betrifft die vorliegende Offenbarung auch ein nicht transitorisches computerlesbares Aufzeichnungsmedium, auf dem ein Computerprogramm gespeichert ist, bereit. Nachdem eine handgehaltene Vorrichtung das Computerprogramm lädt und ausführt, wird das oben erwähnte Objektpositionierungsverfahren implementiert.
  • Gemäß den obigen Beschreibungen werden der einfache Radarsensor und Bildsensor zusammen verwendet, um eine vollständige und genaue Positionierung eines Objekts oder einer Vielzahl von Objekten im 3D-Raum in der handgehaltenen Vorrichtung zu implementieren.
  • Um die zuvor erwähnten und andere Merkmale und Vorteile der Erfindung verständlich zu machen, sind nachfolgend mehrere, von Figuren begleitete, beispielhafte Ausführungsformen detailliert beschrieben.
  • Figurenliste
  • Die begleitenden Zeichnungen sind beigefügt, um ein tieferes Verständnis der Erfindung bereitzustellen und sind in diese Patentschrift mit aufgenommen und stellen einen Teil derselben dar. Die Zeichnungen veranschaulichen Ausführungsformen der Erfindung und dienen zusammen mit der Beschreibung der Erläuterung der Grundsätze der Erfindung.
    • 1 ist eine schematische Darstellung einer handgehaltenen Vorrichtung gemäß einer Ausführungsform der Erfindung.
    • 2 ist eine schematische Darstellung von Tiefen und Azimuten einer Vielzahl von Objekten gemäß einer Ausführungsform der Erfindung.
    • 3 bis 5 sind Ablaufdiagramme, die Objektpositionierungsverfahren gemäß einer Vielzahl von Ausführungsformen der Erfindung veranschaulichen.
  • BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
  • 1 ist eine schematische Darstellung einer handgehaltenen Vorrichtung 100 gemäß einer Ausführungsform der Erfindung. Die handgehaltene Vorrichtung 100 kann eine handgehaltene elektronische Vorrichtung wie etwa ein Smartphone, einen Tablet Personal Computer (PC) etc. sein. Die handgehaltene Vorrichtung 100 umfasst einen Radarsensor 120, einen Bildsensor 140 und eine Steuereinheit 160. Die Steuereinheit 160 ist an den Radarsensor 120 und den Bildsensor 140 gekoppelt.
  • Der Radarsensor 120 kann eine Detektionswelle emittieren, zum Beispiel emittiert er eine Detektionswelle in Form einer kontinuierlichen Impulsfolge 125. Die Detektionswelle kann eine elektromagnetische Welle oder eine Ultraschallwelle sein. Die handgehaltene Vorrichtung 100 kann von einem Objekt oder einer Vielzahl von Objekten umgeben sein. Der Radarsensor 120 kann mindestens eine reflektierte Welle, erzeugt von dem mindestens einen Objekt durch das Reflektieren der Detektionswelle, empfangen. Jedes der Objekte kann eine reflektierte Welle erzeugen. Ist die handgehaltene Vorrichtung 100 ein Smartphone, kann der Radarsensor 120 durch eine Antenne der handgehaltenen Vorrichtung 100 implementiert sein.
  • Der Bildsensor 140 kann ein Bild erfassen und das Bild umfasst eine Untermenge der oben erwähnten Objekte. Eingeschränkt durch ein Sichtfeld (Field of View, FOV) des Bildsensors 140 kann die Untermenge alle oben erwähnten Objekte umfassen oder einen Teil der oben erwähnten Objekte umfassen oder keines der Objekte umfassen.
  • Die Steuereinheit 160 kann einen ersten Typ T1 und eine erste Position P1 jedes Objekts gemäß den reflektierten Wellen der oben erwähnten Objekte erhalten. Die Steuereinheit 160 kann auch einen zweiten Typ T2 und eine zweite Position P2 jedes Objekts gemäß dem erfassten Bild erhalten. Dann führt die Steuereinheit 160 ein Objekt-Mapping durch. Das sogenannte „Objekt-Mapping“ dient dazu, einen Mapping-Vorgang basierend auf dem ersten Typ T1, dem zweiten Typ T2, der ersten Position P1 und der zweiten Position P2 jedes Objekts durchzuführen, um die erste Position P1 und die zweite Position P2 des Objekts zu kombinieren oder zu vergleichen.
  • Zum Beispiel kann die erste Position P1 eine Tiefe (d. h. ein Abstand) des Objekts relativ zu der handgehaltenen Vorrichtung 100 sein und die zweite Position P2 kann ein Azimut des Objekts relativ zu der handgehaltenen Vorrichtung 100 sein. 2 ist eine Ansicht der sich vor der handgehaltenen Vorrichtung 100 befindenden Objekte 201-204 gemäß einer Ausführungsform der Erfindung von oben. Die Objekte 201-204 weisen die entsprechenden Tiefen D1-D4 und Azimute θ1-θ4 auf.
  • Die handgehaltene Vorrichtung 100 kann eine Wellenformsignaturdatenbank umfassen. Die Wellenformsignaturdatenbank speichert eine Vielzahl von Wellenformsignaturen und einen Objekttyp, der jeder der Wellenformsignaturen entspricht. Die Steuereinheit 160 kann eine Wellenformsignatur der reflektierten Welle von jedem der Objekte extrahieren und erkennt jeweils die Wellenformsignatur in einem Zeitbereich und einem Frequenzbereich gemäß der Wellenformsignaturdatenbank, um den ersten Typ T1 jedes Objekts zu bestimmen. Der erste Typ T1 kann ein Mensch, Fahrzeug oder Gebäude etc. sein. Zudem kann die Steuereinheit 160 die Tiefe P1 jedes Objekts gemäß einer Ankunftszeit der reflektierten Welle des Objekts berechnen. Auf diese Weise werden die erhaltenen ersten Typen T1 und die Tiefen P1 als folgende Tabelle gezeigt.
    Objekt 201 202 203 204
    Erster Typ T1 A B C D
    Tiefe P1 D2 D4 D3 D1
  • Die handgehaltene Vorrichtung 100 kann auch eine Bildsignaturdatenbank umfassen. Die Bildsignaturdatenbank speichert eine Vielzahl von Bildsignaturen und einen jeder Bildsignatur entsprechenden Objekttyp. Die Steuereinheit 160 kann ein Schwellenwertverfahren und eine Kantendetektion hinsichtlich jedes Objekts in dem Bild durchführen, um die Bildsignatur des Objekts zu extrahieren. Dann identifiziert die Steuereinheit 160 die Bildsignatur gemäß der Bildsignaturdatenbank, um den zweiten Typ T2 jedes Objekts zu bestimmen. Der zweite Typ T2 kann ein Mensch, Fahrzeug oder Gebäude etc. sein. Zudem kann die Steuereinheit 160 den Azimut P2 jedes Objekts gemäß der Position des Objekts in dem Bild erhalten. Auf diese Weise werden die erhaltenen zweiten Typen T2 und die Azimute P2 als folgende Tabelle gezeigt.
    Objekt 201 202 203 204
    Zweiter Typ T2 A B C D
    Azimut P2 θ1 θ2 θ3 θ4
  • Falls die Bestimmungsergebnisse des ersten Typs T1 und des zweiten Typs T2 jedes Objekts dieselben sind, kann das Objekt-Mapping durchgeführt werden, um die Tiefe P1 und den Azimut P2 des Objekts zu kombinieren, um eine vollständige Raumposition jedes Objekts zu erhalten, die in der folgenden Tabelle gezeigt ist.
    Objekt 201 202 203 204
    Tiefe P1 D2 D4 D3 D1
    Azimut P2 θ1 θ2 θ3 θ4
  • 3 ist ein Ablaufdiagramm, das ein Objektpositionierungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei der vorliegenden Ausführungsform ist die erste Position P1 jedes Objekts eine Tiefe des Objekts relativ zu der handgehaltenen Vorrichtung 100, und die zweite Position P2 jedes Objekts ist ein Azimut des Objekts relativ zu der handgehaltenen Vorrichtung 100. In Schritt 305 emittiert der Radarsensor 120 eine Detektionswelle und empfängt reflektierte Wellen der Objekte. In Schritt 310 extrahiert die Steuereinheit 160 eine Wellenformsignatur der reflektierten Welle jedes Objekts. In Schritt 315 erkennt die Steuereinheit 160 die Wellenformsignatur gemäß der Wellenformsignaturdatenbank, um den ersten Typ T1 des Objekts zu bestimmen. In Schritt 320 berechnet die Steuereinheit 160 eine Tiefe jedes Objekts gemäß einer Ankunftszeit der reflektierten Welle des Objekts.
  • Andererseits erfasst in Schritt 325 der Bildsensor 140 ein Bild. In Schritt 330 korrigiert die Steuereinheit 160 das Bild, d. h. sie beseitigt die durch einen Erfassungswinkel verursachte Bildverzerrung. In Schritt 335 identifiziert die Steuereinheit 160 das Bild, d. h. sie extrahiert eine Bildsignatur und identifiziert die Bildsignatur gemäß der Bildsignaturdatenbank, um den zweiten Typ T2 des Objekts zu bestimmen. In Schritt 340 bestimmt die Steuereinheit 160 einen Azimut des Objekts im Hinblick darauf, ob das Objekt in dem Bild vorhanden ist. Bei der vorliegenden Ausführungsform weisen die Azimute zwei Typen auf, die einer Situation, bei der das Objekt in dem Bild vorhanden ist, bzw. einer Situation, bei der das Objekt nicht in dem Bild vorhanden ist, entsprechen.
  • Dann führt in Schritt 345 die Steuereinheit 160 ein Objekt-Mapping durch, um die Tiefe und den Azimut des Objekts auf eine in 2 gezeigte Weise zu kombinieren. In Schritt 350 überprüft die Steuereinheit 160, ob der erste Typ T1 und der zweite Typ T2 des Objekts ein bestimmter Typ sind und die Tiefe und der Azimut des Objekts innerhalb eines bestimmten Bereichs liegen. Der bestimmte Typ kann der Typ Mensch oder ein anderes Tier mit physiologischen Bewegungsabläufen wie etwa Atmen, Herzschlag etc. sein. Der bestimmte Bereich bezieht sich darauf, dass sich das Objekt in dem Bild befindet und die Tiefe des Objekts innerhalb eines zuvor bestimmten Bereichs (zum Beispiel 1,3-1,7 Meter) liegt, der zum Messen der physiologischen Bewegungsabläufe geeignet ist.
  • Wenn der Prüfvorgang von Schritt 350 ein negatives Ergebnis liefert, kehrt der Ablauf zu den Schritten 305 und 325 zurück. Wenn der Prüfvorgang von Schritt 350 ein positives Ergebnis liefert, steuert in Schritt 355 die Steuereinheit 160 den Radarsensor 120, um eine weitere Detektionswelle zu emittieren und reflektierte Wellen des Objekts zu empfangen. Sowohl die Detektionswelle in Schritt 305 als auch die in Schritt 355 umfassen eine Vielzahl von Impulsen und ein Impulsintervall der Detektionswelle von Schritt 305 ist größer als ein Impulsintervall der Detektionswelle von Schritt 344. Zum Beispiel wird in Schritt 305 die Detektionswelle mit dem Impulsintervall von 1 ms emittiert und in Schritt 355 wird die Detektionswelle mit dem Impulsintervall von 0,1 ms emittiert. Die Detektionswelle von Schritt 305 kann zum Bestimmen einer Objektposition verwendet werden. In Schritt 360 kann die Steuereinheit 160 die Detektionswelle von Schritt 355 verwenden, um fast unmerkliche physiologische Bewegungsabläufe wie etwa Atmen oder Herzschlag etc. zu detektieren. Die vorliegende Ausführungsform kann für die medizinische Überwachung älterer Menschen, von Kleinkindern, verletzten Personen oder Patienten angewendet werden.
  • 4 ist ein Ablaufdiagramm, das ein Objektpositionierungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei der vorliegenden Ausführungsform ist die erste Position P1 jedes Objekts eine Tiefe des Objekts relativ zu der handgehaltenen Vorrichtung 100, und die zweite Position P2 jedes Objekts ist ein Azimut des Objekts relativ zu der handgehaltenen Vorrichtung 100. Die Schritte 405-420 sind dieselben wie die Schritte 305-320. Die Schritte 425 bzw. 430 sind dieselben wie die Schritte 325 bzw. 330. Die Schritte 435 und 440 werden in der Ausführungsform von 2 eingeführt.
  • Dann erhält in Schritt 445 die Steuereinheit 160 einen Azimut jedes Objekts gemäß dem von dem Bildsensor 140 erfassten Bild. Genauer gesagt kann die Steuereinheit 160 das Bild in eine Vielzahl von Bereiche unterteilen und sie weist jedem Bereich einen entsprechenden Azimut zu und legt dann den Azimut jedes Objekts als den Azimut fest, welcher dem Bereich entspricht, einschließlich dem Objekt in den Bereichen. Der oben erwähnte Azimut kann ein eindimensionaler oder zweidimensionaler Azimut sein.
  • Dann führt in Schritt 450 die Steuereinheit 160 ein Objekt-Mapping durch, um die Tiefe und den Azimut jedes Objekts zu kombinieren. Auf diese Weise wird eine vollständige Position jedes Objekts in dem 3D-Raum erhalten, die zum Konstruieren eines 3D-Bilds oder einer Szene der virtuellen Realität angewendet werden kann oder zum erneuten Scharfstellen einer Vielzahl der Objekte angewendet werden kann.
  • 5 ist ein Ablaufdiagramm, das ein Objektpositionierungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei der vorliegenden Ausführungsform sind die erste Position P1 und die zweite Position P2 jedes Objekts alles Tiefen des Objekts relativ zu der handgehaltenen Vorrichtung 100 und die zwei Tiefen werden von dem Radarsensor 120 bzw. dem Bildsensor 140 erhalten. Der Bildsensor 140 der vorliegenden Ausführungsform kann das menschliche Auge simulieren, um gleichzeitig zwei Bilder zu erfassen, die einem linken Auge bzw. einem rechten entsprechen, so dass die Objekte in beiden Bildern vorhanden sind.
  • Die Schritte 505-520 sind dieselben wie die Schritte 305-320. In Schritt 525 erfasst der Bildsensor 140 zwei Bilder. In Schritt 530 korrigiert die Steuereinheit 160 jeweils die zwei Bilder und in Schritt S535 extrahiert die Steuereinheit 160 Bildsignaturen der Objekte in den zwei Bildern. In Schritt 540 identifiziert die Steuereinheit 160 die Bildsignaturen gemäß der Bildsignaturdatenbank, um den zweiten Typ T2 jedes Objekts zu bestimmen. In Schritt 545 erhält die Steuereinheit 160 unter Verwendung einer Bildsignaturübereinstimmung der zwei Bilder eine Ungleichheit und wandelt die Ungleichheit in die Tiefe des Objekts um.
  • Dann führt in Schritt 550 die Steuereinheit 160 ein Objekt-Mapping durch, um die Tiefe des Objekts, berechnet gemäß der reflektieren Radarwelle, und die Tiefe, berechnet gemäß dem Bild, zu vergleichen, und in Schritt 555 überprüft die Steuereinheit 160, ob die zwei Tiefen gleich sind. Sind die zwei Tiefen gleich, erzeugt in Schritt 560 die Steuereinheit 160 Tiefeninformationen der Objekte gemäß den zwei Tiefen. Die Tiefeninformationen können zum Konstruieren eines 3D-Bilds oder einer Szene der virtuellen Realität angewendet werden oder zum erneuten Scharfstellen einer Vielzahl der Objekte angewendet werden.
  • Sind die zwei Tiefen nicht gleich, passt in Schritt 565 die Steuereinheit 160 die Bildsignatur des Objekts an und der Ablauf kehrt zu Schritt 545 zurück, um die von der Bildsignatur herrührende Tiefe des Objekts erneut zu berechnen und das Objekt-Mapping von Schritt 550 erneut durchzuführen. Die Anpassung von Schritt 565 ist das Vernachlässigen der Bildsignatur entsprechend der ungleichen Tiefe oder das erneute Auswählen der Bildsignatur des Objekts entsprechend der ungleichen Tiefe.
  • Bei der vorliegenden Ausführungsform wird der Radar verwendet, um dabei zu helfen, die korrekte Objekttiefe zu erhalten. Ist das Bild zu komplex oder zu monoton, ist die lediglich gemäß dem Bild geschätzte Tiefe vermutlich ungenau und falls die gemäß der Radardetektion erzeugte Tiefe zum Vergleich hinzugenommen wird, kann das oben erwähnte Problem gelöst werden.
  • Die Erfindung stellt auch ein nicht transitorisches computerlesbares Aufzeichnungsmedium bereit, und das Aufzeichnungsmedium kann eine physische Speichervorrichtung wie etwa ein Speicher, eine Magnetplatte oder eine CD sein. Auf dem Aufzeichnungsmedium kann ein Computerprogramm gespeichert sein. Wenn die handgehaltene Vorrichtung das Computerprogramm lädt und ausführt, wird das zuvor erwähnte Objektpositionierungsverfahren implementiert.
  • Zusammenfassend ausgedrückt werden in der Erfindung der Radarsensor und der Bildsensor gleichzeitig verwendet, um die Tiefen und die Azimute der Objekte zu schätzen, um eine vollständige Objektposition zu erhalten. In der Erfindung werden durch die Kollaboration und das Mapping der von dem Radarsensor und dem Bildsensor erhaltenen Informationen die korrekten Objekttiefen und Objektpositionen erhalten. Auf diese Weise wird eine korrekte Bildverarbeitung erzielt und es wird ein besserer 3D-Bild-Anwendungseffekt umgesetzt.
  • Fachleuten wird es offensichtlich sein, dass an der Struktur der Erfindung verschiedene Abwandlungen und Variationen vorgenommen werden können, ohne von dem Umfang oder Wesen der Erfindung abzuweichen. Im Hinblick auf das Vorhergenannte wird beabsichtigt, dass die Erfindung Abwandlungen und Variationen dieser Erfindung abdeckt, vorausgesetzt, sie fallen in den Umfang der nachfolgenden Patentansprüche und ihrer Äquivalente.

Claims (10)

  1. Eine handgehaltene Vorrichtung (100), die Folgendes beinhaltet: einen Radarsensor (120), der eine erste Detektionswelle emittiert und mindestens eine reflektierte Welle, erzeugt von mindestens einem Objekt (201-204) durch das Reflektieren der ersten Detektionswelle, empfängt, wobei jedes von dem mindestens einen Objekt (201-204) eine der mindestens einen reflektierten Welle erzeugt; einen Bildsensor (140), der ein erstes Bild erfasst, wobei das erste Bild eine Untermenge des mindestens einen Objekts (201-204) beinhaltet; und eine an den Radarsensor (120) und den Bildsensor (140) gekoppelte Steuereinheit (160), die eine Wellenformsignatur von jeder der mindestens einen reflektierten Welle extrahiert, die Wellenformsignatur jeweils in einem Zeitbereich und einem Frequenzbereich erkennt, um einen ersten Typ (T1) von jedem von dem mindestens einen Objekt (201-204) zu bestimmen, eine erste Position (P1) von jedem von dem mindestens einen Objekt (201-204) gemäß der mindestens einen reflektierten Welle erhält, einen zweiten Typ (T2) und eine zweite Position (P2) von jedem von dem mindestens einen Objekt (201-204) gemäß dem ersten Bild erhält und einen Mapping-Vorgang basierend auf dem ersten Typ (T1), dem zweiten Typ (T2), der ersten Position (P1) und der zweiten Position (P2) von jedem von dem mindestens einen Objekt (201-204) durchführt, um die erste Position (P1) und die zweite Position (P2) zu kombinieren oder zu vergleichen.
  2. Handgehaltene Vorrichtung (100) gemäß Anspruch 1, wobei die Steuereinheit (160) eine Bildsignatur von jedem von dem mindestens einen Objekt (201-204) in dem ersten Bild extrahiert und die Bildsignatur identifiziert, um den zweiten Typ (T2) von jedem von dem mindestens einen Objekt (201-204) zu bestimmen.
  3. Handgehaltene Vorrichtung (100) gemäß Anspruch 1, wobei die erste Position (P1) von jedem von dem mindestens einen Objekt (201-204) eine Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts (201-204), und die zweite Position (P2) von jedem von dem mindestens einen Objekt (201-204) ein Azimut des mindestens einen Objekts (201-204) ist, bestimmt im Hinblick darauf, ob das mindestens eine Objekt (201-204) in dem ersten Bild vorhanden ist, und die Steuereinheit (160) den Mapping-Vorgang durchführt, um die Tiefe und den Azimut von jedem von dem mindestens einen Objekt (201-204) zu kombinieren.
  4. Handgehaltene Vorrichtung (100) gemäß Anspruch 3, wobei die Steuereinheit (160) den Radarsensor (120) steuert, um eine zweite Detektionswelle zu emittieren, um einen physiologischen Bewegungsablauf des mindestens einen Objekts (201-204) zu detektieren, wenn sowohl der erste Typ (T1) als auch der zweite Typ (T2) des mindestens einen Objekts (201-204) ein bestimmter Typ sind und die Tiefe und der Azimut des mindestens einen Objekts (201-204) alle in einem bestimmten Bereich liegen.
  5. Handgehaltene Vorrichtung (100) gemäß Anspruch 4, wobei die erste Detektionswelle eine Vielzahl von Impulsen beinhaltet und die zweite Detektionswelle eine Vielzahl von Impulsen beinhaltet; wobei ein Impulsintervall der ersten Detektionswelle größer ist als ein Impulsintervall der zweiten Detektionswelle.
  6. Handgehaltene Vorrichtung (100) gemäß Anspruch 1, wobei die erste Position (P1) von jedem von dem mindestens einen Objekt (201-204) eine Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts (201-204), das erste Bild eine Vielzahl von Bereichen beinhaltet, wobei jeder Bereich einem Azimut entspricht, und die zweite Position (P2) von jedem von dem mindestens einen Objekt (201-204) der Azimut ist, der dem Bereich entspricht, welcher das mindestens eine Objekt (201-204) in den Bereichen beinhaltet, und die Steuereinheit (160) den Mapping-Vorgang durchführt, um die Tiefe und den Azimut von jedem von dem mindestens einen Objekt (201-204) zu kombinieren.
  7. Handgehaltene Vorrichtung (100) gemäß Anspruch 1, wobei die erste Position von jedem von dem mindestens einen Objekt (201-204) eine erste Tiefe ist, berechnet gemäß einer Ankunftszeit der mindestens einen reflektierten Welle des mindestens einen Objekts (201-204), der Bildsensor (140) ferner ein zweites Bild erfasst, wobei sowohl das erste Bild als auch das zweite Bild das mindestens eine Objekt (201-204) beinhalten, die zweite Position (P2) von jedem von dem mindestens einen Objekt (201-204) eine zweite Tiefe des mindestens einen Objekts (201-204) ist, berechnet gemäß einer Bildsignatur des mindestens einen Objekts (201-204) in dem ersten Bild und dem zweiten Bild, und die Steuereinheit (160) den Mapping-Vorgang durchführt, um die erste Tiefe und die zweite Tiefe des mindestens einen Objekts (201-204) zu vergleichen.
  8. Handgehaltene Vorrichtung (100) gemäß Anspruch 7, wobei, wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts (201-204) gleich sind, die Steuereinheit (160) Tiefeninformationen des mindestens einen Objekts (201-204) gemäß der ersten Tiefe und der zweiten Tiefe erzeugt.
  9. Handgehaltene Vorrichtung (100) gemäß Anspruch 7, wobei, wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts (201-204) nicht gleich sind, die Steuereinheit (160) die Bildsignatur entsprechend der nicht gleichen Tiefe vernachlässigt, die zweite Tiefe erneut berechnet und den Mapping-Vorgang erneut durchführt.
  10. Handgehaltene Vorrichtung (100) gemäß Anspruch 7, wobei, wenn die erste Tiefe und die zweite Tiefe des mindestens einen Objekts (201-204) nicht gleich sind, die Steuereinheit (160) die Bildsignatur des mindestens einen Objekts (201-204) entsprechend der nicht gleichen Tiefe erneut auswählt, die zweite Tiefe erneut berechnet und den Mapping-Vorgang erneut durchführt.
DE102016105891.2A 2015-06-24 2016-03-31 Handgehaltene Vorrichtung, Objektpositionierungsverfahren und computerlesbares Aufzeichnungsmedium Active DE102016105891B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/749,617 2015-06-24
US14/749,617 US9778353B2 (en) 2015-06-24 2015-06-24 Handheld device, object positioning method and computer-readable recording medium

Publications (2)

Publication Number Publication Date
DE102016105891A1 DE102016105891A1 (de) 2016-12-29
DE102016105891B4 true DE102016105891B4 (de) 2021-06-24

Family

ID=56509424

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016105891.2A Active DE102016105891B4 (de) 2015-06-24 2016-03-31 Handgehaltene Vorrichtung, Objektpositionierungsverfahren und computerlesbares Aufzeichnungsmedium

Country Status (4)

Country Link
US (1) US9778353B2 (de)
CN (1) CN106291523B (de)
DE (1) DE102016105891B4 (de)
TW (1) TWI535265B (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
KR102327044B1 (ko) 2015-04-30 2021-11-15 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US20170016986A1 (en) * 2015-07-17 2017-01-19 Thales-Raytheon Systems Company Llc System and method for providing remote target identification using optical tagging
US10724861B2 (en) * 2015-08-03 2020-07-28 Commonwealth Scientific And Industrial Research Organisation Monitoring systems and methods
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
EP3612858A4 (de) * 2017-04-21 2021-05-26 TLC Millimeter Wave Products, Inc. Fortschrittliches millimeterwellensystemnetzwerk zur bedrohungsdetektion
TWI641857B (zh) 2018-02-09 2018-11-21 宏碁股份有限公司 電子裝置以及定位方法
CN110609274B (zh) * 2018-06-15 2022-07-01 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统
US12093470B2 (en) * 2021-08-31 2024-09-17 Htc Corporation Virtual image display system and calibration method for pointing direction of controller thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020003488A1 (en) * 2000-02-13 2002-01-10 Hexagon System Engineering Ltd. Vehicle communication network
US20060140449A1 (en) * 2004-12-27 2006-06-29 Hitachi, Ltd. Apparatus and method for detecting vehicle
US20100214154A1 (en) * 2009-02-20 2010-08-26 Birdsong Jr Frank A Mirror Image Target Detection and Recognition

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
EP2506234A4 (de) * 2010-03-17 2013-09-18 Honda Motor Co Ltd Vorrichtung zur überwachung von fahrzeugumgebungen
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
CN102114809A (zh) * 2011-03-11 2011-07-06 同致电子科技(厦门)有限公司 一体式视觉化倒车雷达影像辅助系统及信号的叠加方法
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
US9830523B2 (en) 2012-05-31 2017-11-28 Korea Institute Of Science And Technology Method and apparatus for recognizing object material using spatial image and spatial radar information
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
DE102013113054B4 (de) * 2012-12-03 2022-01-27 Denso Corporation Zielerfassungsvorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem durch einen an dem Fahrzeug montierten Sensor erfassten Ziel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020003488A1 (en) * 2000-02-13 2002-01-10 Hexagon System Engineering Ltd. Vehicle communication network
US20060140449A1 (en) * 2004-12-27 2006-06-29 Hitachi, Ltd. Apparatus and method for detecting vehicle
US20100214154A1 (en) * 2009-02-20 2010-08-26 Birdsong Jr Frank A Mirror Image Target Detection and Recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WINKLER, V: Range Doppler Detection for automotive FMCW Radars. In: European Microwave Conference, 2007. S. 1445–1448. - ISBN 978-2-87487-001-9 *

Also Published As

Publication number Publication date
US9778353B2 (en) 2017-10-03
TWI535265B (zh) 2016-05-21
CN106291523B (zh) 2019-04-05
CN106291523A (zh) 2017-01-04
TW201701659A (zh) 2017-01-01
DE102016105891A1 (de) 2016-12-29
US20160377712A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
DE102016105891B4 (de) Handgehaltene Vorrichtung, Objektpositionierungsverfahren und computerlesbares Aufzeichnungsmedium
DE102016107959B4 (de) Auf strukturiertem Licht basierende Multipfadlöschung bei ToF-Bilderzeugung
DE102013021729B4 (de) Verbesserung der Nadelvisualisierung in der diagnostischen Ultraschallbildgebung
CN104865562B (zh) 基于混合模型的雷达非合作目标的识别方法
CN110609281B (zh) 一种区域检测方法及装置
CN109949254B (zh) 穿刺针超声图像增强方法及装置
CN110087550B (zh) 一种超声图像显示方法、设备及存储介质
DE102013102153A1 (de) Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
Seng et al. Probabilistic fuzzy image fusion approach for radar through wall sensing
US8900147B2 (en) Performing image process and size measurement upon a three-dimensional ultrasound image in an ultrasound system
EP2823331A1 (de) Verfahren und vorrichtung zum erfassen von objekten in einer umgebung eines fahrzeugs
DE102015115789B4 (de) An einem computer realisiertes verfahren und system zur verarbeitung eines bilds
US20220148238A1 (en) Data processing method, apparatus, device and storage medium
US20110137168A1 (en) Providing a three-dimensional ultrasound image based on a sub region of interest in an ultrasound system
US20130100131A1 (en) Method for 3D reconstruction of an object in a scene
DE112020002256T5 (de) Systeme und verfahren zur steuerung des volumendurchsatzes
DE102019200177B4 (de) Verfahren zur Identifizierung eines Lebewesens
KR101546697B1 (ko) 표적 식별 정보 데이터베이스 구축 장치 및 방법
Isaev et al. Analysis of Radar Frame Quality Indicators Properties
CN106405531B (zh) 基于图像处理技术的被动毫米波辐射成像系统测距方法
CN116660897B (zh) 基于空间语义的sar成像获取方法、装置、计算机设备
DE112021007089B4 (de) Objekterfassungsvorrichtung, objekterfassungsverfahren und objekterfassungsprogramm
DE102022116738A1 (de) System, Verfahren, Computerprogramm und computerlesbares Medium
CN118642110A (zh) 物体的成像方法、电子设备及计算机可读存储介质
CN116188726A (zh) 一种毫米波与图像融合的人体3d网格模型构建方法及系统

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative

Representative=s name: WAGNER & GEYER PARTNERSCHAFT MBB PATENT- UND R, DE