JP2020052875A - ジェスチャ入力装置 - Google Patents
ジェスチャ入力装置 Download PDFInfo
- Publication number
- JP2020052875A JP2020052875A JP2018183549A JP2018183549A JP2020052875A JP 2020052875 A JP2020052875 A JP 2020052875A JP 2018183549 A JP2018183549 A JP 2018183549A JP 2018183549 A JP2018183549 A JP 2018183549A JP 2020052875 A JP2020052875 A JP 2020052875A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- unit
- sight
- line
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
【課題】ジェスチャの負荷を増やすことなく、対象物を正確に特定できるジェスチャ入力装置を提供する。【解決手段】車両に搭載され、操作者に対して相対的に移動して視認される車外の対象物A、Bに対応する操作者の手差しジェスチャ操作に基づいて、指し示された前記対象物Aを特定するジェスチャ入力装置において、手差しジェスチャ操作を検出する手動作検出部110と、操作者の対象物に対する視線を検出する視線検出部120と、手差しジェスチャ操作によって指し示された領域に対象物が複数あると、視線検出部によって得られた視線の移動ベクトルと同等の相対的な移動を伴う対象物を、手差しジェスチャ操作によって指し示された対象物として特定する特定部144と、を備える。【選択図】図1
Description
本発明は、操作者のジェスチャによる入力を可能とするジェスチャ入力装置に関するものである。
従来のジェスチャ入力装置として、例えば、特許文献1に記載されたものが知られている。特許文献1のジェスチャ入力装置(対象物特定装置)は、車両の周囲を撮像する撮像部、ユーザが手を用いて指し示した指示方向を検知する指差し方向検知部、情報を表示する表示部、および制御部等を備えている。制御部は、ユーザが指差しをした方向の対象物(例えば、建物や施設等)を、撮像部にて撮像された画像内から抽出するようになっており、更に、抽出した対象物の情報(例えば、施設名、位置、案内ルート、ホームページ等)が表示部に表示されるようになっている。
しかしながら、上記特許文献1のように、ジェスチャを用いた入力装置において、対象物に対する指差しの要領には個人差があり、また、車両においては、走行時の車両振動も発生することから、指差しによる誤差やズレは大きくなる。よって、指差しを行う方向に複数の対象物がある場合であると、ユーザがどの対象物を特定しようとしているのか判定するのが更に難しくなる。よって、指差しによる対象物を正確に特定するために、更に異なるジェスチャを加える等の対応(指差し+ワンアクション等)が必要となり、ジェスチャ入力の負荷が増えてしまう。
本発明の目的は、上記問題に鑑み、ジェスチャの負荷を増やすことなく、対象物を正確に特定できるジェスチャ入力装置を提供することにある。
本発明は上記目的を達成するために、以下の技術的手段を採用する。
第1の発明では、車両に搭載され、操作者に対して相対的に移動して視認される車外の対象物(A、B)に対応する操作者の手差しジェスチャ操作に基づいて、指し示された対象物(A)を特定するジェスチャ入力装置において、
手差しジェスチャ操作を検出するジェスチャ検出部(110)と、
操作者の対象物に対する視線を検出する視線検出部(120)と、
手差しジェスチャ操作によって指し示された領域に対象物が複数あると、視線検出部によって得られた視線の移動ベクトルと同等の相対的な移動を伴う対象物を、手差しジェスチャ操作によって指し示された対象物として特定する特定部(144)と、を備えることを特徴としている。
手差しジェスチャ操作を検出するジェスチャ検出部(110)と、
操作者の対象物に対する視線を検出する視線検出部(120)と、
手差しジェスチャ操作によって指し示された領域に対象物が複数あると、視線検出部によって得られた視線の移動ベクトルと同等の相対的な移動を伴う対象物を、手差しジェスチャ操作によって指し示された対象物として特定する特定部(144)と、を備えることを特徴としている。
第1の発明によれば、手差しジェスチャによって指し示された対象物の相対的な移動は、視線の移動ベクトルと同等のものとなるので、操作者による手差しジェスチャに対して、視線の移動ベクトルの条件を加えることによって、正確に対象物を特定することが可能となる。よって、ジェスチャの負荷を増やすことなく、対象物を正確に特定することができる。
また、第2の発明では、車両に搭載され、操作者に対して相対的に移動して視認される車外の対象物(A、B)に対応する操作者の手差しジェスチャ操作に基づいて、指し示された対象物(A)を特定するジェスチャ入力装置において、
手差しジェスチャ操作を検出するジェスチャ検出部(110)と、
手差しジェスチャ操作によって指し示された領域に対象物が複数あると、対象物と共に移動される手差しジェスチャの移動方向と同等の相対的な移動を伴う対象物を、手差しジェスチャ操作によって指し示された対象物として特定する特定部(144)と、を備えることを特徴としている。
手差しジェスチャ操作を検出するジェスチャ検出部(110)と、
手差しジェスチャ操作によって指し示された領域に対象物が複数あると、対象物と共に移動される手差しジェスチャの移動方向と同等の相対的な移動を伴う対象物を、手差しジェスチャ操作によって指し示された対象物として特定する特定部(144)と、を備えることを特徴としている。
第2の発明によれば、手差しジェスチャによって指し示された対象物の相対的な移動は、手差しジェスチャの移動方向と同等のものとなるので、操作者による手差しジェスチャに対して、手差しジェスチャの移動方向の条件を加えることによって、正確に対象物を特定することが可能となる。よって、ジェスチャの負荷を増やすことなく、対象物を正確に特定することができる。
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
(第1実施形態)
第1実施形態のジェスチャ入力装置100について図1〜図4を用いて説明する。本実施形態のジェスチャ入力装置100は、車両に搭載され、運転者(操作者)に対して相対的に移動して視認される車外の対象物に対応する運転者の手差しジェスチャ操作に基づいて、指し示された対象物を特定する装置となっている。ここで言う対象物は、例えば、道路脇や上部に設定される各種看板、道路標識、あるいは道路に沿って建てられた各種建物、施設等である。以下、本実施形態では、対象物として、各種看板(後述するA、B、C等)を代表例として説明する。ジェスチャ入力装置100は、図1に示すように、手動作検出部110、視線検出部120、車外情報取得部130、制御部140、およびデータベース150等を備えている。
第1実施形態のジェスチャ入力装置100について図1〜図4を用いて説明する。本実施形態のジェスチャ入力装置100は、車両に搭載され、運転者(操作者)に対して相対的に移動して視認される車外の対象物に対応する運転者の手差しジェスチャ操作に基づいて、指し示された対象物を特定する装置となっている。ここで言う対象物は、例えば、道路脇や上部に設定される各種看板、道路標識、あるいは道路に沿って建てられた各種建物、施設等である。以下、本実施形態では、対象物として、各種看板(後述するA、B、C等)を代表例として説明する。ジェスチャ入力装置100は、図1に示すように、手動作検出部110、視線検出部120、車外情報取得部130、制御部140、およびデータベース150等を備えている。
手動作検出部110は、運転者の体の特定部位の動き(ジェスチャ)を検出するジェスチャ検出部となっている。手動作検出部110は、運転者の体の特定部位を例えば画像によって検知し、時間経過に対する画像の変化から、運転者の体の特定部位の動きを検出するようになっている。手動作検出部110は、検知した画像(ジェスチャ)のデータを後述する制御部140に出力するようになっている。
運転者の体の特定部位としては、例えば、運転者の手の指、手の平、腕等とすることができる。本実施形態では、入力操作における対象物を選択確定(特定)するために、運転者の体の特定部位として、主に、手の指を用いるものとしている。よって、手差しジェスチャの事例としては、具体的には、指差しジェスチャとなっている。
手動作検出部110としては、2次元画像、あるいは3次元画像を形成するカメラを用いることができる。カメラは、例えば、複数の方向から同時に撮影して奥行方向の情報も記録できるステレオカメラ、あるいは、ToF(Time of Flight)方式を用いて対象物を立体的に撮影するToFカメラ等とすることができる。尚、カメラに代えて、例えば、近赤外線を用いた近赤外線センサ、あるいは遠赤外線を用いた遠赤外線センサ等を用いてもよい。手動作検出部110は、例えば、車両天井に取付けされており、運転者の指(指差しジェスチャ操作の指先)が車外のどの方向(どの対象物)に向けられているかを検出するようになっている。
視線検出部120は、例えば、手動作検出部110と同様のカメラ等が用いられて、運転者の視線の移動ベクトル(主に、視線の方向と移動長さ)を計測するものとなっている。視線検出部120は、例えば、車両インストルメントパネルの運転席前に配置されるコンビネーションメータの上部に取付けされており、運転者の顔の位置、顔の向きに対する瞳の位置から視線方向を計測するようになっている。視線検出部120は、計測した運転者の視線方向の信号を後述する制御部140に出力するようになっている。
尚、運転者の視線方向が、手動作検出部110(カメラ)によって、指差しジェスチャと共に、検出できる場合は、視線検出部120(カメラ)は、手動作検出部110と兼用されるものとしてもよい。また、視線検出部120としては、上記カメラに限らず、眼電位センサ等を用いてもよい。
車外情報取得部130は、車両前方における景色を捉えることで、車両前方に存在する各種対象物を取得するものであり、例えば、手動作検出部110と同様のカメラが用いられている。車外情報取得部130は、例えば、車両天井の前方部で、ルームミラーと併設されるようにして、車外前方に向けて取付けされた前方カメラとなっている。車外情報取得部130によって、取得された各種対象物の画像データは、後述する制御部140に出力されるようになっている。
制御部140は、手動作検出部110によって検出された指差しジェスチャと、視線検出部120によって検出された視線の移動ベクトルと、車外情報取得部130によって取得された車外の対象物とを関連付けて、複数の対象物のうち、指差しジェスチャによって指し示され、且つ、視線の向けられた対象物を選択確定(特定)するようになっている。制御部140は、選択確定した対象物を、後述するデータベース150(地図データに係る記憶媒体やクラウドの記憶部等)に出力し、蓄積(記憶)させて、例えば、カーナビゲーション装置に関する地図データを更新していくようになっている。制御部140は、指示動作判定部141、指示領域判定部142、視線追従判定部143、および指示対象特定部144等を有している。
指示動作判定部141は、手動作検出部110で検出された指差しジェスチャの画像データから、運転者が対象物を特定するための指差しジェスチャを行ったか否かを判定する部位となっている。指示動作判定部141は、判定した結果を指示対象特定部144に出力するようになっている。
指示領域判定部142は、手動作検出部110で検出された手差しジェスチャの画像データと、車外情報取得部130によって検出された対象物の画像データとの対応をとって、運転者が車両前方のどの領域(どの対象物)を指差ししたかを判定する部位となっている。指示領域判定部142は、判定した結果を指示対象特定部144に出力するようになっている。
視線追従判定部143は、視線検出部120で検出された視線方向の信号(視線のベクトル信号)と、車外情報取得部130によって検出された対象物の画像データとの対応をとって、運転者の視線が車両前方のどの領域(どの対象物)に沿って移動しているかを判定する部位となっている。視線追従判定部143は、判定した結果を指示対象特定部144に出力するようになっている。
指示対象特定部144は、指示動作判定部141、指示領域判定部142、および視線追従判定部143からの信号やデータを基に、運転者の指差しした対象物を特定する部位(本発明の特定部)となっている。特定されたデータ(対象物)は、後述するデータベース150に出力されて、データベース150におけるデータが更新されるようになっている。例えば、新たに特定された対象物(看板等)が、カーナビゲーション装置(システム)用の地図データに追加され、更新された(アップデートされた)地図データが、順次、運転者によって使用されるようになっている。
データベース150は、例えば、カーナビゲーション装置(システム)に係る各種データ(地図データ)を記憶する部位であり、地図用記憶ディクス、あるいはクラウドの地図データ記憶部等となっている。
本実施形態のジェスチャ入力装置100の構成は、以上のようになっており、以下、図2〜図4を加えて、その作動および作用効果について説明する。
図2において、まず、ステップS100にて、制御部140(指示動作判定部141)は、手動作検出部110からのジェスチャの画像データに基づいて、運転者による手の動作を検出する。そして、ステップS110で、制御部140(指示動作判定部141)は、運転者による指差しジェスチャがあったか否かを判定する。ステップS110で、否定判定すると、本制御を終了する。
一方、ステップS110で肯定判定すると、ステップS120で、制御部140(指示領域判定部142)は、まず、ジェスチャの画像と、車両前方の対象物の画像データとから、車両前方画像のうち、どの領域(エリア)に指差しが行われたかを判定して、指差しされた点を基に指示エリアを抽出する。
車両に搭載されたジェスチャ入力装置100においては、個人ごとの指差しの要領や、走行時の車両振動等を踏まえると、運転者は運転操作をしながら、所望する対象物を正確に指差すことは、難しい面がある。よって、ここでは、まず、指差しによる指示エリアを抽出するようにしている。
図3は、例えば、運転者に対して前方の右側方に見える景色(看板A、B)をイメージした図となっている。指示エリアとは、指差しされた点(図3中の×印)を中心とする部分領域(破線の四角形で囲まれた領域)であり、ステップS120は、車両前方景色の全体の領域の中で、運転者は、右側の領域なのか、左側の領域なのか、あるいは中央側の領域なのか、どの領域を指さしたかを、まず明確にするステップとなっている。
次に、ステップS130で、制御部140(指示領域判定部142)は、指示エリア内に、対象物は複数あるか否かを判定する。図3、図4では、対象物が、複数ある場合(例えば、看板A、看板B)を示している。ステップS130で対象物が複数あると判定すると、ステップS140に進む。尚、ステップS130で対象物が単数であると判定すると、ステップS160に進む。
ステップS140では、制御部140(視線追従判定部143)は、運転者の視線の移動ベクトルを抽出する。例えば、図4において、車両前方の対象物(看板A、B)は、車両の動きに対して、相対的に、車両に近づくように移動してくる。この場合、ある時点からT秒後の対象物の移動ベクトルは、車外情報取得部130による対象物の画像データより、各看板A、Bの位置関係によって、看板Aでは、AA´、看板BではBB´となり、両看板A、Bの移動ベクトルは異なる。
このとき、運転者は、特定したい対象物として看板Aを視認していたとすると、視線の移動ベクトルの方向は、看板Aの移動ベクトルの方向と同等のものとなる。このように、本実施形態では、視線の移動ベクトルの方向が考慮されるようになっている。
よって、ステップS150では、制御部140(指示対象特定部144)は、対象物の移動ベクトルの方向と、視線の移動ベクトルの方向とが同等となる対象物、この場合、看板Aを特定すべき対象物として対象選別処理を行う。図4の事例においては、両対象物の移動ベクトルの方向が明らかに異なることから、視線の移動ベクトルとしては、その移動ベクトルの方向をもって対象物の移動ベクトルの方向と比較するようにすればよい。尚、視線の移動ベクトルの長さも加味するようにしてもよい。
そして、制御部140(指示対象特定部144)は、ステップS160で、データ処理を行う。即ち、指示対象特定部144は、特定した対象物(看板A)のデータをデータベース150に蓄積させる。上記で説明したように、特定されたデータ(対象物)は、データベース150に出力されて、データ更新される。例えば、新たに特定された対象物(看板A)が、カーナビゲーション装置(システム)用の地図データに追加され、更新された(アップデートされた)地図データが、順次、運転者によって使用される。つまり、更新された新しい地図データでは、看板Aが記された地図データが使用され、走行中に近くを通ると、看板Aが表示され、看板Aの情報を見ることが可能となる。
以上のように、本実施形態では、手差しジェスチャによって指し示された対象物の相対的な移動は、視線の移動ベクトルと同等のものとなるので、操作者による手差しジェスチャに対して、視線の移動ベクトルの条件を加えることによって、正確に対象物を特定することが可能となる。よって、ジェスチャの負荷を増やすことなく、対象物を正確に特定することができる。
(第2実施形態)
第2実施形態を図5〜図7に示す。第2実施形態のジェスチャ入力装置100は、構成は上記第1実施形態と同一であるが、制御の内容(図5)を変更したものとなっている。第2実施形態では、対象物の移動ベクトルにおいて、同一となるものが複数ある場合に、視線の移動ベクトルの方向と長さとを用いて、運転者が所望する対象物を特定可能としている。
第2実施形態を図5〜図7に示す。第2実施形態のジェスチャ入力装置100は、構成は上記第1実施形態と同一であるが、制御の内容(図5)を変更したものとなっている。第2実施形態では、対象物の移動ベクトルにおいて、同一となるものが複数ある場合に、視線の移動ベクトルの方向と長さとを用いて、運転者が所望する対象物を特定可能としている。
図5において、まず、ステップS100にて、制御部140(指示動作判定部141)は、手動作検出部110からのジェスチャの画像データに基づいて、運転者による手の動作を検出する。そして、ステップS110で、制御部140(指示動作判定部141)は、運転者による指差しジェスチャがあったか否かを判定する。ステップS110で、否定判定すると、本制御を終了する。
一方、ステップS110で肯定判定すると、ステップS120で、制御部140(指示領域判定部142)は、車両前方画像において、指差しされた点を基に指示エリアを抽出する。
次に、ステップS130で、制御部140(指示領域判定部142)は、指示エリア内に、対象物は複数あるか否かを判定する。図6、図7では、対象物が、複数ある場合(例えば、看板A、看板B、看板C)を示している。ステップS130で対象物が複数あると判定すると、ステップS140に進む。尚、ステップS130で対象物が単数であると判定すると、ステップS160に進む。
ステップS140では、制御部140(視線追従判定部143)は、運転者の視線の移動ベクトルを抽出する。ここでは、運転者は、特定したい対象物として看板Aを視認していたとする(図7)。
次に、ステップS150では、制御部140(指示対象特定部144)は、まず、視線の移動ベクトルに対して、対象物の移動ベクトルが同一方向となる対象物を選別する(対象選別処理)。ここでは、視線の移動ベクトルの方向と、対象物の移動ベクトルの方向とが同等となる対象物は、看板Aと看板Cがある(図7)。
そして、ステップS152で、制御部140(指示対象特定部144)は、ステップS150における選別処理において、対象物が複数あるか否かを判定し、複数ある場合は、ステップS154に進み、否定判定すると、ステップS160に進む。
ステップS154では、制御部140(指示対象特定部144)は、ステップS150で選別した対象物のそれぞれの移動ベクトルの長さと、視線の方向ベクトルの長さとを比べ、更に、ステップS156で、同等となる対象物を特定すべき対象物として対象選別処理を行う。図7の場合では、視線の移動ベクトルに対して、対象物の移動ベクトルの方向および長さ共に同等となる看板Aを選別する。このように、本実施形態では、視線の移動ベクトルの方向と長さとが考慮されるようになっている。
そして、ステップS160で、特定した対象物(看板A)のデータをデータベース150に蓄積させる(データ処理)。
本実施形態では、対象物の移動ベクトルにおいて、視線の移動ベクトルの方向と同じものが複数ある場合であっても、視線の移動ベクトルの方向に加えて、長さも加味して(考慮して)対象物を選別するので、正確な特定が可能となる。
(第3実施形態)
第3実施形態のジェスチャ入力装置100Aを図8に示す。第3実施形態は、上記第1、第2実施形態に対して、車外情報取得部130を廃止し、表示部51を追加したものである。
第3実施形態のジェスチャ入力装置100Aを図8に示す。第3実施形態は、上記第1、第2実施形態に対して、車外情報取得部130を廃止し、表示部51を追加したものである。
表示部51は、例えば、車両のカーナビゲーション装置50において、地図、自車位置、および行先案内情報等を画像表示するディスプレイ部となっている。表示部51は、例えば、車両インストルメントパネルの左右方向の中央部に配置されて、運転者によって表示画像が視認されるようになっている。本カーナビゲーション装置50では、表示部51に表示される地図は、例えば、道路脇の建物や施設等が立体的な3D画像によって描かれたものとなっている。
本実施形態では、運転者が表示部51に表示される建物や施設等(3D画像)に指差しジェスチャを行い、上記第1、第2実施形態と同様に制御部140(指示対象特定部144)で指示対象を特定することができるようになっている。制御部140は、図2、図5の制御フローのステップS160におけるデータ処理に対して、特定された対象物の詳細情報をデータベース150から読み込んで、表示部51に表示させる表示処理を行う。例えば、運転者によって特定された対象物が施設であると、表示部51の所定の領域に、施設の営業時間、施設の内容(サービス内容)、込み具合等を表示する。
尚、上記第1、第2実施形態と同様に車外情報取得部130を設けた場合で、例えば、特定された対象物が看板であると、車外情報取得部130で取得された看板の内容を表示部51に表示するようにしてもよい。
これにより、表示部51に表示された対象物(3D画像)に対しても、上記第1、第2実施形態と同様に正確な特定が可能となり、更に、詳細情報が表示されることで、運転者の利便性を高めることができる。
(第4実施形態)
上記第1〜第3実施形態では、運転者の指差しジェスチャと視線の移動ベクトルとを用いて、運転者が所望する対象物を正確に特定できるようにした。
上記第1〜第3実施形態では、運転者の指差しジェスチャと視線の移動ベクトルとを用いて、運転者が所望する対象物を正確に特定できるようにした。
しかしながら、これに限定されることなく、運転者の指差しジェスチャ、および視線の移動ベクトルを用いたものに対して、運転者に対して相対的に移動する対象物と共に移動される指の移動ジェスチャ(本発明の手差しジェスチャの移動方向)を加えて、所望する対象物を特定するようにしてもよい。この場合は、対象物の移動のベクトルに対して、視線の移動ベクトルと、更に、移動ジェスチャの移動ベクトルとを加味することで、対象物を特定する際の正確性を更に向上させることができる。
あるいは、視線検出部120を廃止して、視線の移動ベクトルは使用せずに、運転者の指差しジェスチャと、上記のような対象物の動きに沿った指の移動ジェスチャとを用いて、対象物を特定するものとしてもよい。この場合は、上記第1〜第3実施形態における視線の移動ベクトルの代わりに、指の移動ジェスチャを活用したものとすればよい。
(その他の実施形態)
上記各実施形態に対して、視線の移動ベクトルを用いて、対象物が車室外のものであるか、車室内のものであるかの判別をするようにしてもよい。つまり、対象物が車室外のものであれば、上記各実施形態で説明したように、視線の移動ベクトルが発生するものとなるが、対象物が車室内のものであると、対象物(車載機器のスイッチ部等)は運転者に対して相対的な移動が生じないので、視線の移動ベクトルは発生しない。このような視線の移動ベクトルの変化を用いた判別も可能である。
上記各実施形態に対して、視線の移動ベクトルを用いて、対象物が車室外のものであるか、車室内のものであるかの判別をするようにしてもよい。つまり、対象物が車室外のものであれば、上記各実施形態で説明したように、視線の移動ベクトルが発生するものとなるが、対象物が車室内のものであると、対象物(車載機器のスイッチ部等)は運転者に対して相対的な移動が生じないので、視線の移動ベクトルは発生しない。このような視線の移動ベクトルの変化を用いた判別も可能である。
また、上記各実施形態に対して、指差しジェスチャによって操作対象が選択確定されたときに、運転者に対して確認用のフィードバックを与える機能(フィードバック部)を追加したものとしてもよい。例えば、ステアリングを振動させる振動発生部を設けて、指示対象が選択確定された後に、ステアリングを振動させるようにしてもよい。あるいは、効果音や音声を発生させる発生部を設けて、指示対象が選択確定された後に、効果音(ピッ)や音声(選択確定されました)等を運転者に伝えるようにしてもよい。これにより、運転者が指差した対象物が、確かに選択確定されたことを知ることができ、安心して入力操作を行うことができる。
また、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、上記の各種ジェスチャを行うことで、制御部140によるジェスチャ認識が行われて、各種対象物の特定が可能となる。
100、100A ジェスチャ入力装置
110 手動作検出部(ジェスチャ検出部)
120 視線検出部
140 制御部
144 指示対象特定部(特定部)
A、B、C 看板(対象物)
110 手動作検出部(ジェスチャ検出部)
120 視線検出部
140 制御部
144 指示対象特定部(特定部)
A、B、C 看板(対象物)
Claims (5)
- 車両に搭載され、操作者に対して相対的に移動して視認される車外の対象物(A、B)に対応する操作者の手差しジェスチャ操作に基づいて、指し示された前記対象物(A)を特定するジェスチャ入力装置において、
前記手差しジェスチャ操作を検出するジェスチャ検出部(110)と、
前記操作者の前記対象物に対する視線を検出する視線検出部(120)と、
前記手差しジェスチャ操作によって指し示された領域に前記対象物が複数あると、前記視線検出部によって得られた前記視線の移動ベクトルと同等の前記相対的な移動を伴う対象物を、前記手差しジェスチャ操作によって指し示された対象物として特定する特定部(144)と、を備えるジェスチャ入力装置。 - 前記特定部は、前記対象物の特定にあたり、前記移動ベクトルの移動する向きを考慮する請求項1に記載のジェスチャ入力装置。
- 前記特定部は、前記対象物の特定にあたり、前記移動ベクトルの移動する長さを考慮する請求項1または請求項2に記載のジェスチャ入力装置。
- 前記特定部は、前記対象物の特定にあたり、前記視線の移動ベクトルに加えて、前記対象物と共に移動される前記手差しジェスチャの移動方向を考慮する請求項1〜請求項3のいずれか1つに記載のジェスチャ入力装置。
- 車両に搭載され、操作者に対して相対的に移動して視認される車外の対象物(A、B)に対応する操作者の手差しジェスチャ操作に基づいて、指し示された前記対象物(A)を特定するジェスチャ入力装置において、
前記手差しジェスチャ操作を検出するジェスチャ検出部(110)と、
前記手差しジェスチャ操作によって指し示された領域に前記対象物が複数あると、前記対象物と共に移動される前記手差しジェスチャの移動方向と同等の前記相対的な移動を伴う対象物を、前記手差しジェスチャ操作によって指し示された対象物として特定する特定部(144)と、を備えるジェスチャ入力装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018183549A JP2020052875A (ja) | 2018-09-28 | 2018-09-28 | ジェスチャ入力装置 |
PCT/JP2019/029613 WO2020066269A1 (ja) | 2018-09-28 | 2019-07-29 | ジェスチャ入力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018183549A JP2020052875A (ja) | 2018-09-28 | 2018-09-28 | ジェスチャ入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020052875A true JP2020052875A (ja) | 2020-04-02 |
Family
ID=69949324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018183549A Pending JP2020052875A (ja) | 2018-09-28 | 2018-09-28 | ジェスチャ入力装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020052875A (ja) |
WO (1) | WO2020066269A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005138755A (ja) * | 2003-11-07 | 2005-06-02 | Denso Corp | 虚像表示装置およびプログラム |
JP5145569B2 (ja) * | 2007-12-19 | 2013-02-20 | 株式会社国際電気通信基礎技術研究所 | 対象物特定方法および装置 |
DE102012219280A1 (de) * | 2012-10-23 | 2014-04-24 | Robert Bosch Gmbh | Fahrerassistenzsystem und Verfahren |
JP6851133B2 (ja) * | 2014-01-03 | 2021-03-31 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ユーザに方向付けられた個人情報アシスタント |
JP6604151B2 (ja) * | 2015-11-09 | 2019-11-13 | 三菱自動車工業株式会社 | 音声認識制御システム |
DE102017211089A1 (de) * | 2017-06-29 | 2019-01-03 | Bayerische Motoren Werke Aktiengesellschaft | Vorrichtung für ein Kraftfahrzeug zur Kommunikation mit einem weiteren Kraftfahrzeug und/oder zum autonomen Nachverfolgen eines weiteren Kraftfahrzeugs |
-
2018
- 2018-09-28 JP JP2018183549A patent/JP2020052875A/ja active Pending
-
2019
- 2019-07-29 WO PCT/JP2019/029613 patent/WO2020066269A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2020066269A1 (ja) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10029700B2 (en) | Infotainment system with head-up display for symbol projection | |
JP5323910B2 (ja) | 移動ロボットの遠隔操縦のための衝突防止装置及び方法 | |
JP6528139B2 (ja) | 表示制御装置及び表示制御プログラム | |
JP4366716B2 (ja) | 車両用情報表示装置 | |
JP2004219664A (ja) | 情報表示システム及び情報表示方法 | |
CN103770734A (zh) | 驾驶员辅助系统和方法 | |
KR20110117966A (ko) | 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법 | |
JP5801014B2 (ja) | ナビゲーション装置 | |
JP4616786B2 (ja) | 情報提供装置 | |
KR102531888B1 (ko) | 자동차에서 디스플레이 장치를 작동하기 위한 방법 | |
JP2016091192A (ja) | 虚像表示装置、制御方法、プログラム、及び記憶媒体 | |
JPWO2017056210A1 (ja) | 車両用表示装置 | |
JP2016074410A (ja) | ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法 | |
JP2018055614A (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
JP6444508B2 (ja) | 表示制御装置およびナビゲーション装置 | |
WO2016056199A1 (ja) | ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法 | |
JP2014052345A (ja) | ナビゲーション装置およびナビゲーション情報の表示制御方法 | |
JP2020052875A (ja) | ジェスチャ入力装置 | |
JP2005071041A (ja) | 運転者視対象検出装置及び運転者視対象検出システム | |
JP2014174880A (ja) | 情報提供装置、及び情報提供プログラム | |
JP2014174091A (ja) | 情報提供装置、及び情報提供プログラム | |
JP2010085203A (ja) | ナビゲーション装置及び案内誘導方法 | |
JP2019079097A (ja) | ジェスチャ入力装置 | |
JP6770488B2 (ja) | 注視対象物推定装置、注視対象物推定方法、およびプログラム | |
JP6536443B2 (ja) | 視線学習システムおよび視線学習プログラム |