DE112019000869T5

DE112019000869T5 - Bedienungsdetektionsvorrichtung und Bedienungsdetektionsverfahren

Info

Publication number: DE112019000869T5
Application number: DE112019000869.2T
Authority: DE
Inventors: Takayoshi Mochizuki
Original assignee: Murakami Corp
Current assignee: Murakami Corp
Priority date: 2018-02-19
Filing date: 2019-02-05
Publication date: 2020-11-05
Also published as: US11380000B2; CN111788544A; JPWO2019159759A1; US20210035311A1; JP7286612B2; WO2019159759A1

Abstract

Eine Bedienungsdetektionsvorrichtung gemäß einer Ausführungsform ist eine Bedienungsdetektionsvorrichtung, welche ein Objekt detektiert, welches sich einer Bedienungseinheit annähert. Die Bedienungsdetektionsvorrichtung weist auf: einen Sensor, welche eine Entfernung von dem Objekt als Vielzahl von Pixeln detektiert; und eine Objektdetektionseinheit, welche das Objekt detektiert. Die Objektdetektionseinheit gibt ein erstes Pixel entsprechend der Entfernung, welche die kürzeste ist, aus der Vielzahl von Pixeln vor, tastet eine Vielzahl von zweiten Pixeln ab, welche sich um das erste Pixel herum befinden, und detektiert das Objekt, wenn die Anzahl an zweiten Pixeln, für welche eine Differenz zwischen einer Entfernung entsprechend jedem der zweiten Pixel und der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln gleich oder größer als eine vorbestimmte Anzahl ist.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft eine Bedienungsdetektionsvorrichtung und ein B edienungsdetektionsverfahren.
Technischer Hintergrund
Patentliteratur 1 offenbart eine Benutzerschnittstellenvorrichtung, welche einen Entfernungsbildsensor verwendet. Die Benutzerschnittstellenvorrichtung weist auf eine transparente Anzeige, welche ein Bild anzeigt, einen Entfernungsbildsensor, welcher ein Entfernungsbild zur Messung einer Entfernung von einem Objekt erlangt, und eine Entfernungsbildanalyseeinheit, welche das Entfernungsbild analysiert, um einen Eingabevorgang eines Nutzers zu detektieren. In der Benutzerschnittstellenvorrichtung erkennt der Entfernungsbildsensor den Schwerpunkt eines Objekts in einer nahen Entfernung in gewissem Maße als Punktposition und die Entfernungsbildanalyseeinheit detektiert den Eingabevorgang des Nutzers auf Grundlage der erkannten Punktposition.
Liste der Entgegenhaltungen
Patentliteratur
Patentliteratur 1: japanische ungeprüfte Patentoffenlegungsschrift Nr. 2012-3585
Kurzdarstellung der Erfindung
Technisches Problem
Im Übrigen detektiert der Sensor in der Bedienungsdetektionsvorrichtung, welche wie oben beschrieben ein Objekt durch Erlangen des Entfernungsbilds detektiert, die Entfernung von dem Objekt als Vielzahl von Pixeln. Jedes durch den Sensor erlangte Pixel wird der Entfernung zwischen jedem Punkt auf der Oberfläche des Objekts und dem Sensor zugeordnet. Die Bedienungsdetektionsvorrichtung detektiert ein Objekt durch Vorgeben eines der durch den Sensor erlangten Vielzahl von Pixeln als Pixel, welches angibt, dass die Entfernung von dem Objekt kurz ist.
Dieser Typ von Bedienungsdetektionsvorrichtung kann jedoch ein Pixel, welches angibt, dass die Entfernung von dem Objekt kurz ist, obwohl kein Objekt vorhanden ist, fehlerhaft detektieren, und dieses Pixel kann Rauschen werden. Das heißt, da das durch den Sensor detektierte Pixel Rauschen aufweist, besteht die Möglichkeit, dass fehlerhafterweise ein Objekt detektiert wird, obwohl kein Objekt vorhanden ist. Daher besteht Verbesserungspotenzial bei der Genauigkeit des Detektierens des Objekts. Außerdem gilt beim Berechnen des Schwerpunkts eines Objekts wie in der oben beschriebenen Benutzerschnittstellenvorrichtung die Annahme, dass das Erlangen der Form des Objekts notwendig ist. In diesem Fall kann, da die Last einer Rechenverarbeitung und dergleichen zunimmt, ein Problem auftreten, welches darin besteht, dass es eine gewisse Zeit dauert, das Objekt zu detektieren.
Eine Aufgabe der vorliegenden Offenbarung besteht in der Bereitstellung einer Bedienungsdetektionsvorrichtung und eines Bedienungsdetektionsverfahrens, welche imstande sind, ein Objekt mit hoher Genauigkeit und hoher Geschwindigkeit zu detektieren.
Lösung des Problems
Eine Bedienungsdetektionsvorrichtung gemäß einer Ausführungsform ist eine Bedienungsdetektionsvorrichtung, welche ein Objekt detektiert, welches sich einer Bedienungseinheit annähert. Die Bedienungsdetektionsvorrichtung weist auf: einen Sensor, welcher eine Entfernung von dem Objekt als Vielzahl von Pixeln detektiert; und eine Objektdetektionseinheit, welche das Objekt detektiert. Die Objektdetektionseinheit gibt ein erstes Pixel entsprechend der Entfernung, welche die kürzeste ist, aus der Vielzahl von Pixeln vor, tastet eine Vielzahl von zweiten Pixeln ab, welche sich um das erste Pixel herum befinden, und detektiert das Objekt, wenn die Anzahl an zweiten Pixeln, für welche eine Differenz zwischen einer Entfernung entsprechend jedem der zweiten Pixel und der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln gleich oder größer als eine vorbestimmte Anzahl ist.
Ein Bedienungsdetektionsverfahren gemäß einer Ausführungsform ist ein Bedienungsdetektionsverfahren zur Detektion eines Objekts, welches sich einer Bedienungseinheit annähert, unter Verwendung eines Sensors. Das Bedienungsdetektionsverfahren umfasst: einen Schritt des Detektierens einer Entfernung von dem Objekt zu dem Sensor als Vielzahl von Pixeln; einen Schritt des Vorgebens eines ersten Pixels entsprechend der Entfernung, welche die kürzeste ist, aus der Vielzahl von Pixeln; und einen Schritt des Abtastens einer Vielzahl von zweiten Pixeln, welche sich um das erste Pixel herum befinden, und des Detektierens des Objekts, wenn die Anzahl an zweiten Pixeln, für welche eine Differenz zwischen einer Entfernung entsprechend jedem der zweiten Pixel und der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln gleich oder größer als eine vorbestimmte Anzahl ist.
In der Bedienungsdetektionsvorrichtung und bei dem Bedienungsdetektionsverfahren, welche oben beschrieben sind, detektiert der Sensor die Entfernung von dem Objekt als Vielzahl von Pixeln und die Objektdetektionseinheit gibt das erste Pixel entsprechend der kürzesten Entfernung von dem Objekt vor. Die Objektdetektionseinheit tastet die Vielzahl von zweiten Pixeln ab, welche sich um das vorgegebene erste Pixel herum befinden, und detektiert das Objekt, wenn die Anzahl an zweiten Pixeln entsprechend einer Entfernung, deren Differenz von der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von abgetasteten zweiten Pixeln gleich oder größer als eine vorbestimmte Anzahl ist. Andererseits detektiert die Objektdetektionseinheit das Objekt nicht, wenn die Anzahl an zweiten Pixeln entsprechend der Entfernung, deren Differenz von der kürzesten Entfernung gleich oder kleiner als der vorbestimmte Wert ist, aus der Vielzahl von abgetasteten zweiten Pixeln kleiner als die vorbestimmte Anzahl ist. Auf diese Weise kann durch Nichtdetektieren des Objekts, wenn die Anzahl an zweiten Pixeln kleiner als die vorbestimmte Anzahl ist, bestimmt werden, dass das vorgegebene erste Pixel Rauschen ist. Folglich kann das Objekt mit hoher Genauigkeit detektiert werden, da der Einfluss von Rauschen unterdrückt werden kann und eine fehlerhafte Detektion des Objekts unterbunden werden kann. Außerdem ist es in der Bedienungsdetektionsvorrichtung und bei dem Bedienungsdetektionsverfahren möglich, die Verarbeitungslast zu reduzieren, um die Verarbeitungsgeschwindigkeit zu erhöhen, da der Prozess des Erlangens der Form des Objekts beim Detektieren des Objekts nicht notwendig ist. Daher kann das Objekt mit hoher Geschwindigkeit detektiert werden.
Die oben beschriebene Bedienungsdetektionsvorrichtung kann ferner eine Bestimmungseinheit aufweisen, welche bestimmt, ob ein Bedienvorgang an der Bedienungseinheit durch das durch die Objektdetektionseinheit detektierte Objekt erfolgt ist oder nicht. Da die oben beschriebene Bedienungsdetektionsvorrichtung die Bestimmungseinheit aufweist, kann bestimmt werden, ob ein Bedienvorgang an der Bedienungseinheit erfolgt ist oder nicht.
Die Bedienungseinheit kann als virtuelles Bild angezeigt werden. Wenn die Bedienungseinheit als virtuelles Bild angezeigt wird, kann die Bedienungseinheit angezeigt werden, als ob die Bedienungseinheit schwebt, sodass die Sichtbarkeit der Bedienungseinheit verbessert werden kann. Wenn die Bedienungseinheit als virtuelles Bild angezeigt wird, kann es zu einer Veränderung der durch den Nutzer erkannten Position der Bedienungseinheit kommen. Dementsprechend wird angenommen, dass der Druckbedienvorgang an der Bedienungseinheit nicht ordnungsgemäß erfolgt. Selbst in einem solchen Fall ist es in der Bedienungsdetektionsvorrichtung und bei dem Bedienungsdetektionsverfahren möglich, eine fehlerhafte Detektion des Objekts zu unterbinden. Daher kann das Objekt gemäß der Bedienungsdetektionsvorrichtung und dem Bedienungsdetektionsverfahren mit hoher Genauigkeit detektiert werden.
Vorteilhafte Wirkungen der Erfindung
Gemäß der vorliegenden Offenbarung ist es möglich, ein Objekt mit hoher Genauigkeit und hoher Geschwindigkeit zu detektieren.
Figurenliste

1 ist ein Ausgestaltungsschaubild zur Veranschaulichung einer Bedienungsdetektionsvorrichtung gemäß einer Ausführungsform.
2 ist ein konzeptionelles Schaubild zur Veranschaulichung eines virtuellen Bilds, welches durch eine Anzeigeeinheit der in 1 veranschaulichten Bedienungsdetektionsvorrichtung angezeigt wird.
3 ist ein Schaubild zur Veranschaulichung eines Beispiels einer als virtuelles Bild angezeigten Bedienungseinheit.
4 ist ein funktionelles Blockdiagramm einer Steuereinheit der in 1 veranschaulichten Bedienungsdetektionsvorrichtung.
5 ist ein Schaubild zur Veranschaulichung eines Beispiels von Entfernungsbilddaten, welche durch einen Sensor der in 1 veranschaulichten Bedienungsdetektionsvorrichtung ausgegeben werden.
6 ist ein Schaubild zur Veranschaulichung eines Beispiels eines ersten Pixels von Entfernungsbilddaten und eines zweiten Pixels, welches sich um das erste Pixel herum befindet.
7 ist ein Flussdiagramm zur Veranschaulichung eines Beispiels der Funktionsweise der in 1 veranschaulichten Bedienungsdetektionsvorrichtung.
8 ist ein Flussdiagramm zur ausführlichen Veranschaulichung einiger der Schritte des in 7 veranschaulichten Flussdiagramms.

Beschreibung der Ausführungsformen
Im Folgenden werden Ausführungsformen einer Bedienungsdetektionsvorrichtung und eines Bedienungsdetektionsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Schaubilder ausführlich beschrieben. In der Beschreibung der Schaubilder sind dieselben Elemente durch dieselben Bezugszeichen gekennzeichnet und auf die wiederholte Beschreibung davon wird zweckentsprechend verzichtet.
1 ist ein Ausgestaltungsschaubild zur Veranschaulichung einer Bedienungsdetektionsvorrichtung 1 der vorliegenden Ausführungsform. Die Bedienungsdetektionsvorrichtung 1 ist zum Beispiel eine Bedienungsdetektionsvorrichtung, welche eine HMI (Mensch-Maschine-Schnittstelle) zwischen einem Fahrzeug und einem Insassen (Nutzer) des Fahrzeugs erstellt. Die Bedienungsdetektionsvorrichtung 1 zeigt eine Bedienungseinheit 2 in der Luft als virtuelles Bild 3 bei Betrachtung von dem Nutzer aus auf der Vorderseite an und detektiert ein Objekt 4, welches sich der Bedienungseinheit 2 annähert. Die Bedienungseinheit 2 ist zum Beispiel ein Abschnitt, welcher imstande ist, jede in dem Fahrzeug montierte Vorrichtung (zum Beispiel eine an dem Fahrzeug montierte Rückkamera, eine Klimaanlage oder dergleichen) zu bedienen, und ist zum Beispiel eine Schaltfläche wie etwa ein als das virtuelle Bild 3 angezeigter Schalter. Das Objekt 4 dient der Bedienung der Bedienungseinheit 2, um die Vorrichtung zu bedienen, und ist zum Beispiel ein Finger eines Nutzers oder ein stabförmiges Objekt wie etwa ein Stift.
Die Bedienungsdetektionsvorrichtung 1 detektiert einen Bedienvorgang an der Bedienungseinheit 2 durch das Objekt 4 auf Grundlage der detektierten Position des Objekts 4 und bedient jede Vorrichtung auf Grundlage des detektierten Bedienvorgangs. Beispiele des Bedienvorgangs umfassen eine Druckbedienung, eine Tipp-Bedienung oder eine Gleitbedienung und dergleichen der Bedienungseinheit 2 durch das Objekt 4, der Typ der Bedienung ist jedoch nicht konkret beschränkt. In der vorliegenden Ausführungsform ist ein Druckbedienvorgang als Bedienvorgang an der Bedienungseinheit 2 beispielhaft dargestellt. Der Druckbedienvorgang umfasst sowohl einen Bedienvorgang des Hinunterdrückens der Bedienungseinheit 2 als auch einen Bedienvorgang des Hochdrückens der Bedienungseinheit 2.
Wie in 1 veranschaulicht weist die Bedienungsdetektionsvorrichtung 1 eine Anzeigeeinheit 10, einen Tiefensensor 20 (Sensor) und eine Steuereinheit 30 auf. Die Anzeigeeinheit 10 zeigt die Bedienungseinheit 2 als das virtuelle Bild 3 in der Luft an. Die Anzeigeeinheit 10 weist eine AI-Platte (Luftbildgebungsplatte) 11 (eingetragenes Markenzeichen), welche ein Element ist, welches ein Luftbild bildet, und eine Flüssigkristalltafel 12 auf. Die AI-Platte 11 wird zum Beispiel unter Verwendung einer in dem japanischen Patent Nr. 4865088 beschriebenen Technik hergestellt.
Die Flüssigkristalltafel 12 ist zum Beispiel eine Anzeige eines PCs (Personal Computers), eines Tablet-Endgeräts oder eines mobilen Endgeräts wie etwa eines Mobiltelefons. Die Flüssigkristalltafel 12 ist zum Beispiel so angeordnet, dass ihre Anzeigefläche annähernd horizontal ist. Die AI-Platte 11 ist in Bezug auf die Flüssigkristalltafel 12 (horizontale Richtung) geneigt. Der Neigungswinkel der AI-Platte 11 in Bezug auf die Flüssigkristalltafel 12 kann variabel sein. Die Flüssigkristalltafel 12 zeigt auf Grundlage des von der Steuereinheit 30 ausgegebenen Signals ein Bild an.
2 ist ein konzeptionelles Schaubild zur Veranschaulichung des durch die Anzeigeeinheit 10 angezeigten virtuellen Bilds 3. Wie in 2 veranschaulicht wird das auf der Flüssigkristalltafel 12 angezeigte Bild durch die AI-Platte 11 als das virtuelle Bild 3 an einer Position auf einer Seite eines Nutzers U in Bezug auf die AI-Platte 11 und die Flüssigkristalltafel 12 angezeigt. Zum Beispiel wird Licht L1, welches von der Flüssigkristalltafel 12 nach oben emittiert wird und auf die AI-Platte 11 einfällt, durch die AI-Platte 11 zweifach reflektiert und das virtuelle Bild 3 wird bei Betrachtung von dem Nutzer U aus in einem Raum auf der Vorderseite der Anzeigeeinheit 10 gebildet.
3 ist ein Beispiel der als das virtuelle Bild 3 angezeigten Bedienungseinheit 2. Wie in 3 veranschaulicht ist die Bedienungseinheit 2 zum Beispiel ein Bedienungsbildschirm, auf welchem eine an dem Fahrzeug montierte Rückkamera bedient werden kann, und kann die Abbildungsposition der an dem Fahrzeug montierten Rückkamera durch Drücken jeder Schaltfläche der Bedienungseinheit 2 umschalten. Als Beispiel weist die Bedienungseinheit 2 eine erste virtuelle Bildschaltfläche 2A zum Abbilden der linken Seite des Fahrzeugs, eine zweite virtuelle Bildschaltfläche 2B zum Abbilden der Rückseite des Fahrzeugs und eine dritte virtuelle Bildschaltfläche 2C zum Abbilden der rechten Seite des Fahrzeugs auf.
Auf 1 wird erneut Bezug genommen. Der Tiefensensor 20 ist auf einer dem Objekt 4 gegenüberliegenden Seite bereitgestellt, wobei die Bedienungseinheit 2 dazwischen angeordnet ist. In einem Beispiel ist der Tiefensensor 20 auf einer virtuellen geraden Linie bereitgestellt, welche die Bedienungseinheit 2 und das Objekt 4 miteinander verbindet. Der Tiefensensor 20 erlangt Entfernungsbilddaten, aufweisend Informationen der Position (zweidimensionalen Position) des Objekts 4 auf einer senkrecht zu der virtuellen geraden Linie liegenden Ebene und Informationen einer Entfernung D1 von dem Tiefensensor 20 zu dem Objekt 4. Die Entfernungsbilddaten werden zum Beispiel als 640 × 480 Pixel erlangt. Der Tiefensensor 20 gibt die erlangten Entfernungsbilddaten in vorbestimmten Zeiträumen (zum Beispiel 1/30 Sekunde) an die Steuereinheit 30 aus.
Konkret emittiert der Tiefensensor 20 einen Lichtstrahl (zum Beispiel einen Infrarotstrahl) zu jedem Punkt auf einem Objekt, welches in dem Abbildungsbereich, aufweisend das Objekt 4, vorhanden ist, und empfängt den von jedem Punkt auf dem Objekt reflektierten Lichtstrahl. Dann misst der Tiefensensor 20 eine Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt auf Grundlage des empfangenen Lichtstrahls und gibt die gemessene Entfernung für jedes Pixel aus.
Die Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt wird zum Beispiel durch ein Lichtcodierungsverfahren gemessen. Bei diesem Verfahren emittiert der Tiefensensor 20 einen Lichtstrahl zu jedem Punkt auf dem Objekt, welches in dem Abbildungsbereich, aufweisend das Objekt 4, vorhanden ist, in einem zufälligen Punktmuster. Dann empfängt der Tiefensensor 20 den von jedem Punkt auf dem Objekt reflektierten Lichtstrahl und detektiert die Verzerrung des Musters des reflektierten Lichtstrahls, um die Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt zu messen. Der Tiefensensor 20 detektiert die Informationen der zweidimensionalen Position jedes Punkts auf dem Objekt und die Informationen der Entfernung von dem Tiefensensor 20 zu jedem Punkt auf dem Objekt als Vielzahl von Pixeln und gibt die Vielzahl von detektierten Pixeln an die Steuereinheit 30 aus.
Die Steuereinheit 30 kann mit dem Tiefensensor 20 und der Flüssigkristalltafel 12 kommunizieren. Die Steuereinheit 30 weist zum Beispiel eine CPU 31 (zentrale Verarbeitungseinheit), welche ein Programm ausführt, eine Speichereinheit 32 wie etwa einen ROM (Festwertspeicher) und einen RAM (Direktzugriffsspeicher), eine Eingabe- und Ausgebeeinheit 33 und einen Treiber 34 auf. Die durch jede funktionelle Komponente der Steuereinheit 30 durchgeführte Funktion wird durch Bedienen der Eingabe- und Ausgabeeinheit 33 und Lesen und Schreiben von Daten in der Speichereinheit 32 unter der Steuerung der CPU 31 verwirklicht. Die Form und Position der Steuereinheit 30 sind nicht konkret beschränkt.
4 ist ein funktionelles Blockdiagramm der Steuereinheit 30. Wie in 4 veranschaulicht weist die Steuereinheit 30 eine Bildausgabeeinheit 40, eine Objektdetektionseinheit 41, eine Bedienungsbestimmungseinheit 42 und eine Signalausgabeeinheit 43 als funktionelle Komponenten auf. Die Bildausgabeeinheit 40 gibt Bilddaten eines auf der Flüssigkristalltafel 12 angezeigten Bilds an die Flüssigkristalltafel 12 aus. Das auf der Flüssigkristalltafel 12 angezeigte Bild ist nicht auf den in 3 veranschaulichten Bedienungsbildschirm beschränkt. Die Flüssigkristalltafel 12 kann auf Grundlage der Bilddaten von der Bildausgabeeinheit 40 verschiedene Arten von Bildern anzeigen.
Die Objektdetektionseinheit 41 detektiert das Objekt 4 durch Vorgeben eines Pixels, welches angibt, dass die Entfernung zwischen dem Tiefensensor 20 und dem Objekt 4 kurz ist, aus der Vielzahl von Pixeln, welche in von dem Tiefensensor 20 ausgegebenen Entfernungsbilddaten enthalten sind. 5 ist ein Schaubild zur schematischen Veranschaulichung von Entfernungsbilddaten D, welche von dem Tiefensensor 20 ausgegeben werden. Wenn die Entfernungsbilddaten D von dem Tiefensensor 20 eingegeben werden, legt die Objektdetektionseinheit 41 einen Abtastbereich R1 für die Entfernungsbilddaten D fest.
Der Abtastbereich R1 ist zum Beispiel ein in den Entfernungsbilddaten D abzutastender Bereich. Die Objektdetektionseinheit 41 legt zum Beispiel einen Bereich, aufweisend die Mitte der Entfernungsbilddaten D, als den Abtastbereich R1 fest. Wie oben beschrieben legt die Objektdetektionseinheit 41 den Bereich, aufweisend die Mitte der Entfernungsbilddaten D (das heißt einen Bereich unter Ausschluss eines Endabschnitts der Entfernungsbilddaten D), als den Abtastbereich R1 fest, sodass die Geschwindigkeit des Detektierens des Objekts 4 erhöht werden kann. Die Objektdetektionseinheit 41 kann die gesamten Entfernungsbilddaten D als den Abtastbereich R1 festlegen. Die Objektdetektionseinheit 41 legt einen vorübergehenden Bezugswert T1 als Wert fest, welcher die kürzeste Entfernung von den Entfernungen zwischen dem Tiefensensor 20 und jeweiligen Punkten auf dem Objekt 4 angibt. Der vorübergehende Bezugswert T1 beträgt zum Beispiel 300 mm, kann jedoch zweckentsprechend verändert werden.
Zum Beispiel legt die Objektdetektionseinheit 41 die Position eines Pixels EA an einer Ecke auf der Diagonale des rechteckigen Abtastbereichs R1 aus einer Vielzahl von Pixeln E in dem Abtastbereich R1 als Abtastanfangsposition fest und legt die Position eines Pixels EB an der anderen Ecke als Abtastendposition fest und tastet das Pixel EA zu dem Pixel EB für jedes Pixel E in dem Abtastbereich R1 nacheinander ab. Informationen der Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt werden jedem Pixel E zugeordnet. Die Objektdetektionseinheit 41 bestimmt für jedes Pixel E, ob die Entfernung entsprechend dem Pixel E geringer als der vorübergehende Bezugswert T1 ist oder nicht. Wenn bestimmt wird, dass die Entfernung geringer als der vorübergehende Bezugswert T1 ist, gibt die Objektdetektionseinheit 41 das Pixel E entsprechend der Entfernung als erstes Pixel vor. Das erste Pixel ist das Pixel E entsprechend der kürzesten Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt 4 aus der Vielzahl von Pixeln E in dem Abtastbereich R1.
In einem in 6 veranschaulichten Beispiel ist das Pixel E, bei welchem die Entfernung zwischen dem Objekt 4 und dem Tiefensensor 20 kurz ist, in einer dunklen Farbe dargestellt und das Pixel E, bei welchem die Entfernung zwischen dem Objekt 4 und dem Tiefensensor 20 lang ist, ist in einer hellen Farbe dargestellt. Wenn die Objektdetektionseinheit 41 bestimmt, dass das Pixel E ein erstes Pixel E1 entsprechend der Entfernung ist, welche geringer als der vorübergehende Bezugswert T1 ist, legt die Objektdetektionseinheit 41 einen Umgebungsbereich R2 mit dem ersten Pixel E1 als dessen Mitte fest und tastet eine Vielzahl von zweiten Pixeln E2 in dem Umgebungsbereich R2 ab. Der Umgebungsbereich R2 ist zum Beispiel ein Bereich mit einer Größe (Bereich) entsprechend der Größe des Objekts 4. In der vorliegenden Ausführungsform ist der Umgebungsbereich R2 zum Beispiel ein rechteckiger Bereich, aufweisend 7 × 7 Pixel, mit dem ersten Pixel E1 als dessen Mitte. Die zweiten Pixel E2 sind zum Beispiel sämtliche Pixel E außer dem ersten Pixel E1 in dem Umgebungsbereich R2. In dem in 6 veranschaulichten Beispiel sind die zweiten Pixel E2 48 Pixel E, welche sich um das erste Pixel E1 herum befinden.
Die Objektdetektionseinheit 41 bestimmt, ob die Anzahl an zweiten Pixeln E21, für welche die Differenz zwischen der Entfernung entsprechend jedem zweiten Pixel E2 und der Entfernung entsprechend dem ersten Pixel E1 gleich oder kleiner als ein vorbestimmter Wert (zum Beispiel 10 mm) ist, aus der Vielzahl von zweiten Pixeln E2 in dem Umgebungsbereich R2 gleich oder größer als eine vorbestimmte Anzahl ist oder nicht. Die „vorbestimmte Anzahl“ beträgt zum Beispiel die Hälfte oder die Gesamtanzahl an zweiten Pixeln E2 oder 70% der Gesamtanzahl an zweiten Pixeln E2, kann jedoch zweckentsprechend verändert werden.
In der vorliegenden Ausführungsform bestimmt die Objektdetektionseinheit 41, ob die Anzahl an zweiten Pixeln E21, für welche die Differenz zwischen der Entfernung entsprechend jedem zweiten Pixel E2 und der Entfernung entsprechend dem ersten Pixel E1 gleich oder kleiner als 10 mm ist, aus der Gesamtheit von 48 zweiten Pixeln E2 gleich oder größer als 35 ist oder nicht. In dem in 6 veranschaulichten Beispiel ist das zweite Pixel E21 in einer helleren Farbe als das erste Pixel E1 dargestellt und das zweite Pixel E22, für welches die Differenz von der oben beschriebenen Entfernung nicht gleich oder kleiner als 10 mm ist, ist in einer helleren Farbe als das zweite Pixel E21 dargestellt.
Wenn bestimmt wird, dass die Anzahl an zweiten Pixeln E21 gleich oder größer als 35 ist, aktualisiert die Objektdetektionseinheit 41 den vorübergehenden Bezugswert T1 mit der Entfernung entsprechend dem ersten Pixel E1 und zeichnet die zweidimensionale Position des Objekts 4 auf. Andererseits bestimmt die Objektdetektionseinheit 41, wenn bestimmt wird, dass die Anzahl an zweiten Pixeln E21 nicht gleich oder größer als 35 ist, dass das erste Pixel E1 Rauschen ist, und aktualisiert den vorübergehenden Bezugswert T1 nicht.
Nach Abtasten sämtlicher Pixel E in dem Abtastbereich R1 legt die Objektdetektionseinheit 41 das erste Pixel E1 entsprechend der kürzesten Entfernung, welche als der vorübergehende Bezugswert T1 aufgezeichnet ist, als Pixel fest, welches angibt, dass die Entfernung zwischen dem Tiefensensor 20 und dem Objekt 4 kurz ist. Die Objektdetektionseinheit 41 detektiert das Objekt 4 durch Vorgeben des ersten Pixels E1 als Pixel, welches angibt, dass die Entfernung zwischen dem Tiefensensor 20 und dem Objekt 4 kurz ist. Wenn das Objekt 4 detektiert wird, gibt die Objektdetektionseinheit 41 Positionsdaten, welche die Position des Objekts 4 angeben, an die Bedienungsbestimmungseinheit 42 aus.
Auf 4 wird erneut Bezug genommen. Die Bedienungsbestimmungseinheit 42 bestimmt auf Grundlage der von der Objektdetektionseinheit 41 ausgegebenen Positionsdaten, ob der Bedienvorgang des Drückens der Bedienungseinheit 2 durch das Objekt 4 erfolgt ist oder nicht. Wie in 1 veranschaulicht bestimmt die Bedienungsbestimmungseinheit 42, ob die Entfernung D1 zwischen dem Tiefensensor 20 und dem Objekt 4, das heißt die kürzeste Entfernung entsprechend dem durch die Objektdetektionseinheit 41 vorgegebenen ersten Pixel E1, gleich oder kleiner als ein vorbestimmter Schwellwert T2 ist. Der Schwellwert T2 beträgt zum Beispiel 100 mm, kann jedoch zweckentsprechend verändert werden. Dann bestimmt die Bedienungsbestimmungseinheit 42, wenn bestimmt wird, dass die Entfernung D1 gleich oder kleiner als der Schwellwert T2 ist, dass das Objekt 4 eine virtuelle Druckbestimmungsfläche S erreicht hat und der Druckbedienvorgang an der Bedienungseinheit 2 erfolgt ist.
Die Druckbestimmungsfläche S ist eine virtuelle Fläche, welche in einem Teil ausgebildet ist, in dem die Entfernung von einem Tiefensensor 20 gleichbleibend ist, und ist an einer Position nahe der Bedienungseinheit 2 bereitgestellt. Die Position der Druckbestimmungsfläche S kann mit der Position der Bedienungseinheit 2 übereinstimmen oder kann eine Position sein, welche um eine vorbestimmte Entfernung von der Bedienungseinheit 2 getrennt ist. In der vorliegenden Ausführungsform stimmt die Position der Druckbestimmungsfläche S mit der Position der Bedienungseinheit 2 überein.
Wenn die Bedienungsbestimmungseinheit 42 bestimmt, dass der Druckbedienvorgang an der Bedienungseinheit 2 erfolgt ist, erzeugt die Signalausgabeeinheit 43 auf Grundlage des Druckbedienvorgangs auf der Bedienungseinheit 2 ein Steuersignal. Die Signalausgabeeinheit 43 gibt das erzeugte Steuersignal an eine Vorrichtung wie etwa die oben beschriebene an dem Fahrzeug montierte Rückkamera aus und die Vorrichtung ist durch Empfangen des Steuersignals von der Signalausgabeeinheit 43 in Betrieb. In dem in 3 veranschaulichten Beispiel gibt die Signalausgabeeinheit 43 ein Steuersignal an die an dem Fahrzeug montierte Rückkamera aus, wenn die Bedienungsbestimmungseinheit 42 bestimmt, dass der Druckbedienvorgang an der ersten virtuellen Bildschaltfläche 2A, der zweiten virtuellen Bildschaltfläche 2B oder der dritten virtuellen Bildschaltfläche 2C erfolgt ist. Die an dem Fahrzeug montierte Rückkamera zeigt auf Grundlage des eingegebenen Steuersignals ein Bild der linken Seite des Fahrzeugs, ein Bild der Rückseite des Fahrzeugs oder ein Bild der rechten Seite des Fahrzeugs an.
Als nächstes wird die Funktionsweise der Bedienungsdetektionsvorrichtung 1 beschrieben. Der Betrieb der Bedienungsdetektionsvorrichtung 1 erfolgt zum Beispiel durch die CPU 31, welche das in der Speichereinheit 32 gespeicherte Programm liest und ausführt. 7 ist ein Flussdiagramm zur Veranschaulichung eines Beispiels der Funktionsweise der Bedienungsdetektionsvorrichtung 1. Zuerst erlangt der Tiefensensor 20 die Entfernungsbilddaten D, aufweisend Informationen der zweidimensionalen Position des Objekts 4 und Informationen der Entfernung D1 von dem Tiefensensor 20 zu dem Objekt 4, und gibt die erlangten Entfernungsbilddaten D an die Steuereinheit 30 aus. Die Objektdetektionseinheit 41 detektiert das Objekt 4 auf Grundlage der eingegebenen Entfernungsbilddaten D (Schritt P1). Einzelheiten des Schritts P1 werden nachstehend beschrieben. Wenn das Objekt 4 detektiert wird, gibt die Objektdetektionseinheit 41 Positionsdaten, welche die Position des Objekts 4 angeben, an die Bedienungsbestimmungseinheit 42 aus.
Dann bestimmt die Bedienungsbestimmungseinheit 42 auf Grundlage der von der Objektdetektionseinheit 41 ausgegebenen Positionsdaten, ob der Druckbedienvorgang an der Bedienungseinheit 2 erfolgt ist oder nicht (Schritt P2). Konkret bestimmt die Bedienungsbestimmungseinheit 42 wie in 1 veranschaulicht, ob die Entfernung D1 zwischen dem Tiefensensor 20 und dem Objekt 4 gleich oder kleiner als der Schwellwert T2 ist oder nicht. Wenn bestimmt wird, dass die Entfernung D1 gleich oder kleiner als der Schwellwert T2 ist (JA in Schritt P2), bestimmt die Bedienungsbestimmungseinheit 42, dass das Objekt 4 die virtuelle Druckbestimmungsfläche S erreicht hat und der Druckbedienvorgang an der Bedienungseinheit 2 erfolgt ist. Andererseits bestimmt die Bedienungsbestimmungseinheit 42, wenn bestimmt wird, dass die Entfernung D1 nicht gleich oder kleiner als der Schwellwert T2 ist (NEIN in Schritt P2), dass das Objekt 4 die Druckbestimmungsfläche S nicht erreicht hat und der Druckbedienvorgang an der Bedienungseinheit 2 nicht erfolgt ist. Wenn bestimmt wird, dass der Druckbedienvorgang an der Bedienungseinheit 2 nicht erfolgt ist, kehrt der Prozess zu dem Schritt P1 zurück, um den Schritt P1 des Detektierens des Objekts 4 fortlaufend auszuführen.
Wenn die Bedienungsbestimmungseinheit 42 bestimmt, dass der Druckbedienvorgang an der Bedienungseinheit 2 erfolgt ist (JA in Schritt P2), erzeugt die Signalausgabeeinheit 43 auf Grundlage des Druckbedienvorgangs auf der Bedienungseinheit 2 ein Steuersignal. Die Signalausgabeeinheit 43 gibt das erzeugte Steuersignal an eine Vorrichtung wie etwa die oben beschriebene an dem Fahrzeug montierte Rückkamera aus und die Vorrichtung ist durch Empfangen des Steuersignals von der Signalausgabeeinheit 43 in Betrieb (Schritt P3). Dann ist eine Reihe von Schritten vollendet.
Hierbei wird der Schritt PI, in welchem die Objektdetektionseinheit 41 das Objekt 4 detektiert, ausführlich beschrieben. Außerdem wird das Bedienungsdetektionsverfahren der vorliegenden Ausführungsform beschrieben. 8 ist ein Flussdiagramm zur ausführlichen Veranschaulichung des Schritts P1 des in 7 veranschaulichten Flussdiagramms. Zuerst detektiert der Tiefensensor 20 die Entfernungsbilddaten D, aufweisend die Informationen der zweidimensionalen Position jedes Punkts auf dem Objekt und die Informationen der Entfernung von dem Tiefensensor 20 zu jedem Punkt auf dem Objekt, als Vielzahl von Pixeln E und gibt die Vielzahl von detektieren Pixeln E an die Steuereinheit 30 aus (Schritt P11).
Dann legt die Objektdetektionseinheit 41 den Abtastbereich R1 für die von dem Tiefensensor 20 eingegebenen Entfernungsbilddaten D fest (Schritt P12). Zum Beispiel legt die Objektdetektionseinheit 41 die Position des Pixels EA an einer Ecke auf der Diagonale des rechteckigen Abtastbereichs R1 als die Abtastanfangsposition fest. Danach legt die Objektdetektionseinheit 41 den vorübergehenden Bezugswert T1 als Wert fest, welcher die kürzeste Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt 4 angibt (Schritt P13).
Dann tastet die Objektdetektionseinheit 41 die jeweiligen Pixel E in dem Abtastbereich R1 ausgehend von dem Pixel EA nacheinander ab und bestimmt, ob die Entfernung entsprechend dem Pixel E geringer als der vorübergehende Bezugswert T1 ist oder nicht (Schritt P14). Wenn bestimmt wird, dass die Entfernung geringer als der vorübergehende Bezugswert T1 ist (JA in Schritt P14), gibt die Objektdetektionseinheit 41 das Pixel E entsprechend der Entfernung als das erste Pixel E1 vor (Schritt P15). Andererseits gibt die Objektdetektionseinheit 41, wenn bestimmt wird, dass die Entfernung entsprechend dem Pixel E nicht geringer als der vorübergehende Bezugswert T1 ist (NEIN in Schritt P14), das Pixel E entsprechend der Entfernung nicht als das erste Pixel E1 vor und tastet das nächste Pixel E in dem Abtastbereich R1 ab (Schritt P19).
Nach Bestimmen, dass die Entfernung entsprechend dem Pixel E geringer als der vorübergehende Bezugswert T1 ist, und Vorgeben des ersten Pixels E1 legt die Objektdetektionseinheit 41 den Umgebungsbereich R2 mit dem vorgegebenen ersten Pixel E1 als Mitte fest und tastet eine Vielzahl von zweiten Pixeln E2 in dem Umgebungsbereich R2 ab (Schritt P16). Danach bestimmt die Objektdetektionseinheit 41, ob die Anzahl an zweiten Pixeln E21, für welche die Differenz zwischen der Entfernung entsprechend jedem zweiten Pixel E2 und der Entfernung entsprechend dem ersten Pixel E1 gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln E2 in dem Umgebungsbereich R2 gleich oder größer als eine vorbestimmte Anzahl ist oder nicht (Schritt P17). In der vorliegenden Ausführungsform bestimmt die Objektdetektionseinheit 41, ob die Anzahl an zweiten Pixeln E21, für welche die Differenz zwischen der Entfernung entsprechend jedem zweiten Pixel E2 und der Entfernung entsprechend dem ersten Pixel E1 gleich oder kleiner als 10 mm ist, gleich oder größer als 35 ist oder nicht.
Wenn bestimmt wird, dass die Anzahl an zweiten Pixeln E21 35 oder mehr beträgt (JA in Schritt P17), aktualisiert die Objektdetektionseinheit 41 den vorübergehenden Bezugswert T1 mit der Entfernung entsprechend dem ersten Pixel E1 (Schritt P18). Zu dieser Zeit zeichnet die Objektdetektionseinheit 41 die zweidimensionale Position des Objekts 4 auf. Dann tastet die Objektdetektionseinheit 41 das nächste Pixel E in dem Abtastbereich R1 ab (Schritt P19). Andererseits bestimmt die Objektdetektionseinheit 41, wenn bestimmt wird, dass die Anzahl an zweiten Pixeln E21 nicht gleich oder größer als 35 ist (NEIN in Schritt P17), dass das erste Pixel E1 Rauschen ist, und aktualisiert den vorübergehenden Bezugswert T1 nicht. Dann wird Schritt P19 ausgeführt.
Nach Abtasten des nächsten Pixels E in dem Abtastbereich R1 bestimmt die Objektdetektionseinheit 41, ob das Pixel E das Pixel EB entsprechend der Abtastendposition ist oder nicht (Schritt P20). Wenn bestimmt wird, dass das Pixel E das Pixel EB ist (JA in Schritt P20), detektiert die Objektdetektionseinheit 41 das Objekt 4 durch Vorgeben des ersten Pixels E1 entsprechend der kürzesten Entfernung, welche als der vorübergehende Bezugswert T1 aufgezeichnet ist, als Pixel, welches angibt, dass die Entfernung zwischen dem Tiefensensor 20 und dem Objekt 4 kurz ist (Schritt P21). Wenn das Objekt 4 detektiert wird, gibt die Objektdetektionseinheit 41 Positionsdaten, aufweisend Informationen der Position des Objekts 4, an die Bedienungsbestimmungseinheit 42 aus und dann wird Schritt P2 ausgeführt. Andererseits kehrt der Prozess zu Schritt P14 zurück, wenn die Objektdetektionseinheit 41 bestimmt, dass das Pixel E nicht das Pixel EB ist (NEIN in Schritt P20).
Als nächstes werden durch die Bedienungsdetektionsvorrichtung 1 und das Bedienungsdetektionsverfahren der vorliegenden Ausführungsform erlangte Wirkungen beschrieben. In der vorliegenden Ausführungsform detektiert wie in 6 veranschaulicht der Tiefensensor 20 die Entfernung von dem Objekt 4 als Vielzahl von Pixeln E und die Objektdetektionseinheit 41 gibt das erste Pixel E1 entsprechend der kürzesten Entfernung vor, dessen Entfernung von dem Objekt 4 die kürzeste ist. Dann tastet die Objektdetektionseinheit 41 die Vielzahl von zweiten Pixeln E2 ab, welche sich um das vorgegebene erste Pixel E1 herum befinden, und detektiert das Objekt 4, wenn die Anzahl an zweiten Pixeln E21 entsprechend einer Entfernung, deren Differenz von der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von abgetasteten zweiten Pixeln E2 gleich oder größer als eine vorbestimmte Anzahl ist. Andererseits detektiert die Objektdetektionseinheit 41 das Objekt 4 nicht, wenn die Anzahl an zweiten Pixeln E21 entsprechend der Entfernung, deren Differenz von der kürzesten Entfernung gleich oder kleiner als der vorbestimmte Wert ist, aus der Vielzahl von abgetasteten zweiten Pixeln E2 kleiner als die vorbestimmte Anzahl ist. Auf diese Weise kann durch Nichtdetektieren des Objekts 4, wenn die Anzahl an zweiten Pixeln E21 kleiner als die vorbestimmte Anzahl ist, bestimmt werden, dass das vorgegebene erste Pixel E1 Rauschen ist. Folglich kann das Objekt 4 mit hoher Genauigkeit detektiert werden, da der Einfluss von Rauschen unterdrückt werden kann und eine fehlerhafte Detektion des Objekts 4 unterbunden werden kann. Außerdem ist es in der Bedienungsdetektionsvorrichtung 1 und bei dem Bedienungsdetektionsverfahren möglich, die Verarbeitungslast zu reduzieren, um die Verarbeitungsgeschwindigkeit zu erhöhen, da der Prozess des Erlangens der Form des Objekts 4 beim Detektieren des Objekts 4 nicht notwendig ist. Daher kann das Objekt 4 mit hoher Geschwindigkeit detektiert werden.
Die Objektdetektionseinheit 41 detektiert das Objekt 4, wenn die Anzahl an zweiten Pixeln E21 entsprechend der Entfernung, deren Differenz von der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln E2 in dem Umgebungsbereich R2 gleich oder größer als die Hälfte oder 70% der Gesamtanzahl an zweiten Pixeln E2 ist. Daher ist es möglich, das Objekt 4 mit höherer Genauigkeit zu detektieren, da es möglich ist, eine fehlerhafte Detektion des Objekts 4 aufgrund von Rauschen zuverlässiger zu unterbinden. Außerdem weist der durch die Objektdetektionseinheit 41 festgelegte Umgebungsbereich R2 eine Größe entsprechend der Größe des Objekts 4 auf. Daher kann zum Beispiel eine fehlerhafte Detektion eines Nichtobjekts, welches kleiner als das Objekt 4 ist, unterbunden werden, sodass das Objekt 4 mit höherer Genauigkeit detektiert werden kann.
Die Bedienungsdetektionsvorrichtung 1 weist die Bedienungsbestimmungseinheit 42 auf. Daher ist es möglich, zu bestimmen, ob ein Druckbedienvorgang an der Bedienungseinheit 2 erfolgt ist oder nicht.
Die Bedienungseinheit 2 wird als das virtuelle Bild 3 angezeigt. Wenn die Bedienungseinheit 2 als das virtuelle Bild 3 angezeigt wird, kann die Bedienungseinheit 2 angezeigt werden, als ob die Bedienungseinheit 2 schwebt, sodass die Sichtbarkeit der Bedienungseinheit 2 verbessert werden kann. Wenn die Bedienungseinheit 2 als das virtuelle Bild 3 angezeigt wird, kann es zu einer Veränderung der durch den Nutzer U erkannten Position der Bedienungseinheit 2 kommen. Dementsprechend wird angenommen, dass der Druckbedienvorgang an bzw. auf der Bedienungseinheit 2 nicht ordnungsgemäß erfolgt. Selbst in einem solchen Fall ist es in der Bedienungsdetektionsvorrichtung 1 und bei dem Bedienungsdetektionsverfahren der vorliegenden Ausführungsform möglich, eine fehlerhafte Detektion des Objekts 4 zu unterbinden. Daher kann das Objekt 4 gemäß der Bedienungsdetektionsvorrichtung 1 und dem Bedienungsdetektionsverfahren der vorliegenden Ausführungsform mit hoher Genauigkeit detektiert werden.
Die Ausführungsformen der Bedienungsdetektionsvorrichtung und des Bedienungsdetektionsverfahrens gemäß der vorliegenden Offenbarung wurden im Vorangehenden beschrieben. Die vorliegende Offenbarung ist jedoch nicht auf die oben beschriebenen Ausführungsformen beschränkt und kann modifiziert oder auf andere Dinge angewendet werden, ohne vom in den Ansprüchen beschriebenen Rahmen abzuweichen. Das heißt, der Inhalt und die Reihenfolge jedes Schritts des Bedienungsdetektionsverfahrens und die Ausgestaltung jeder Einheit der Bedienungsdetektionsvorrichtung können zweckentsprechend verändert werden, ohne vom Rahmen der Ansprüche abzuweichen.
Zum Beispiel misst in den oben beschriebenen Ausführungsformen der Tiefensensor 20 die Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt unter Anwendung des Lichtcodierungsverfahrens, die Messung ist jedoch nicht auf dieses Verfahren beschränkt. Zum Beispiel kann der Tiefensensor 20 die Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt unter Anwendung eines TOF-Verfahrens (Laufzeitverfahrens) messen. Bei dem TOF-Verfahren berechnet der Tiefensensor 20 die Laufzeit (das heißt Verzögerungszeit) eines Lichtstrahls, bis der Lichtstrahl an jedem Punkt auf dem Objekt reflektiert wird und den Tiefensensor 20 erreicht, und die Entfernung zwischen dem Tiefensensor 20 und jedem Punkt auf dem Objekt wird ausgehend von der berechneten Laufzeit und der Lichtgeschwindigkeit gemessen. Selbst in einer solchen Form kann dieselbe Wirkung wie die der oben beschriebenen Ausführungsformen erlangt werden.
In den oben beschriebenen Ausführungsformen bestimmt die Objektdetektionseinheit 41, ob die Anzahl an zweiten Pixeln E21 aus der Gesamtheit von 48 zweiten Pixeln E2 gleich oder größer als 35 ist oder nicht. Die Gesamtanzahl an zweiten Pixeln E2 ist jedoch nicht auf 48 beschränkt und kann zweckentsprechend verändert werden. Die Anzahl an zweiten Pixeln E21 als Bestimmungskriterium ist nicht auf 35 beschränkt und kann zweckentsprechend verändert werden. Die Form und der Anzeigemodus jedes Pixels E sind nicht konkret beschränkt und können zweckentsprechend verändert werden. In den oben beschriebenen Ausführungsformen wurden der Abtastbereich R1 und der Umgebungsbereich R2 jeweils mit einer rechteckigen Form beschrieben. Die Formen und Anzeigemodi dieser Bereiche sind jedoch nicht konkret beschränkt.
In den oben beschriebenen Ausführungsformen wurde ein Beispiel beschrieben, in welchem die Bedienungseinheit 2 die erste virtuelle Bildschaltfläche 2A, die zweite virtuelle Bildschaltfläche 2B und die dritte virtuelle Bildschaltfläche 2C aufweist. Die Gestaltung und der Typ der Bedienungseinheit können jedoch zweckentsprechend verändert werden. Die Bedienungsdetektionsvorrichtung kann eine Vorrichtung sein, welche einen Vorgang zur Bedienung jeder Vorrichtung außer dem Fahrzeug detektiert, und die Bedienungsdetektionsvorrichtung und das Bedienungsdetektionsverfahren können auf verschiedene Vorrichtungen außer das Fahrzeug angewendet werden.
Bezugszeichenliste

1: Bedienungsdetektionsvorrichtung,
2: Bedienungseinheit,
3: virtuelles Bild,
4: Objekt,
10: Anzeigeeinheit,
20: Tiefensensor,
30: Steuereinheit,
41: Objektdetektionseinheit,
42: Bedienungsbestimmungseinheit,
E: Pixel,
E1: erstes Pixel,
E2, E21, E22: zweites Pixel.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 4865088 [0016]

Claims

Bedienungsdetektionsvorrichtung zur Detektion eines Objekts, welches sich einer Bedienungseinheit annähert, aufweisend: einen Sensor, welcher eine Entfernung von dem Objekt als Vielzahl von Pixeln detektiert; und eine Objektdetektionseinheit, welche das Objekt detektiert, wobei die Objektdetektionseinheit ein erstes Pixel entsprechend der Entfernung, welche die kürzeste ist, aus der Vielzahl von Pixeln vorgibt, eine Vielzahl von zweiten Pixeln abtastet, welche sich um das erste Pixel herum befinden, und das Objekt detektiert, wenn die Anzahl an zweiten Pixeln, für welche eine Differenz zwischen einer Entfernung entsprechend jedem der zweiten Pixel und der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln gleich oder größer als eine vorbestimmte Anzahl ist.
Bedienungsdetektionsvorrichtung nach Anspruch 1, ferner aufweisend: eine Bestimmungseinheit, welche bestimmt, ob ein Bedienvorgang an der Bedienungseinheit durch das durch die Objektdetektionseinheit detektierte Objekt erfolgt ist oder nicht.
Bedienungsdetektionsvorrichtung nach Anspruch 1 oder 2, wobei die Bedienungseinheit als virtuelles Bild angezeigt wird.
Bedienungsdetektionsverfahren zur Detektion eines Objekts, welches sich einer Bedienungseinheit annähert, unter Verwendung eines Sensors, wobei das Verfahren umfasst: einen Schritt des Detektierens einer Entfernung von dem Objekt zu dem Sensor als Vielzahl von Pixeln; einen Schritt des Vorgebens eines ersten Pixels entsprechend der Entfernung, welche die kürzeste ist, aus der Vielzahl von Pixeln; und einen Schritt des Abtastens einer Vielzahl von zweiten Pixeln, welche sich um das erste Pixel herum befinden, und des Detektierens des Objekts, wenn die Anzahl an zweiten Pixeln, für welche eine Differenz zwischen einer Entfernung entsprechend jedem der zweiten Pixel und der kürzesten Entfernung gleich oder kleiner als ein vorbestimmter Wert ist, aus der Vielzahl von zweiten Pixeln gleich oder größer als eine vorbestimmte Anzahl ist.