JP2020107030A - ジェスチャ検出装置、およびジェスチャ検出方法 - Google Patents
ジェスチャ検出装置、およびジェスチャ検出方法 Download PDFInfo
- Publication number
- JP2020107030A JP2020107030A JP2018244368A JP2018244368A JP2020107030A JP 2020107030 A JP2020107030 A JP 2020107030A JP 2018244368 A JP2018244368 A JP 2018244368A JP 2018244368 A JP2018244368 A JP 2018244368A JP 2020107030 A JP2020107030 A JP 2020107030A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- gaze
- pointing
- control unit
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とするジェスチャ検出装置、およびジェスチャ検出方法を提供することにある。【解決手段】操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面11に対する入力を行うジェスチャ検出装置において、操作者の視線方向、および指示ジェスチャを検知する検知部110と、検知部で検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の指示ジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル11aを表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備える。【選択図】図1
Description
本発明は、入力操作に用いるジェスチャを検出するジェスチャ検出装置、およびジェスチャ検出方法に関するものである。
従来のジェスチャ検出装置として、例えば、特許文献1に記載されたものが知られている。特許文献1のジェスチャ検出装置(情報入力装置)では、機器制御器は、操作者のジェスチャ(手の形状、状態、状態の変化)に基づいて、制御対象機器を特定し、更に、制御コマンドを決定し、制御対象機器に対する入力(遠隔操作)ができるようになっている。例えば、操作者のジェスチャとして、人差し指を立てた指差しジェスチャによって、ディスプレイ(テレビ)画面が指し示されると、機器制御器は、制御対象機器がテレビであることを認識し、この指差しジェスチャによって、指の延長線上に位置したディスプレイ上のカーソルを移動することができるようになっている。
また、特許文献2のジェスチャ検出装置(操作入力装置)では、ディスプレイ画面と、ディスプレイ画面の外側領域となる延長面とによって、展開面が設定されている。そして、操作者の目の位置(基準点)と、展開面の前方にかざされた手の指先(指示物)とを結ぶ仮想線によって、指差しによる展開面上の位置(対象点)が定義されるようになっている。
しかしながら、上記特許文献1、2では、それぞれ、所定の指差し方法が予め決められており、その方法を前提として、指差し方向が特定されるようになっている。よって、操作者が、所定の指差し方法とは異なる指差しジェスチャを行うと誤操作が発生する。一方、誤操作を回避するために、どの部位でどのように指差しをするのかを操作者に制約すると、操作者は煩わしさを感じる。
本発明の目的は、上記問題に鑑み、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とするジェスチャ検出装置、およびジェスチャ検出方法を提供することにある。
本発明は上記目的を達成するために、以下の技術的手段を採用する。
第1の発明では、操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出装置において、
操作者の視線方向、および指示ジェスチャを検知する検知部(110)と、
検知部で検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の指示ジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備えることを特徴としている。
操作者の視線方向、および指示ジェスチャを検知する検知部(110)と、
検知部で検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の指示ジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備えることを特徴としている。
また、第2の発明では、操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出方法において、
操作者の視線方向、およびジェスチャを検知する検知ステップ(S100)と、
検知ステップで検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上のジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する実行ステップ(S110〜S130)と、を備えることを特徴としている。
操作者の視線方向、およびジェスチャを検知する検知ステップ(S100)と、
検知ステップで検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上のジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する実行ステップ(S110〜S130)と、を備えることを特徴としている。
これにより、操作者は、注視した初期位置に表示される操作カーソル(11a)を、指示ジェスチャを行うことで移動させることができる。よって、操作者に対して事細かなジェスチャの規制をする必要がなく、操作者は、操作カーソル(11a)を正確に移動させることができる。総じて、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とすることができる。
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
(第1実施形態)
第1実施形態のジェスチャ検出装置100について図1〜図4を用いて説明する。本実施形態のジェスチャ検出装置100は、例えば車両に搭載され、操作者(運転者)の注視による視線方向、および指示ジェスチャによる指示方向や指示位置を検出して、例えば、各種車両機器(操作画面)に対する入力指示を行う装置となっている。
第1実施形態のジェスチャ検出装置100について図1〜図4を用いて説明する。本実施形態のジェスチャ検出装置100は、例えば車両に搭載され、操作者(運転者)の注視による視線方向、および指示ジェスチャによる指示方向や指示位置を検出して、例えば、各種車両機器(操作画面)に対する入力指示を行う装置となっている。
操作者の注視による視線方向は、主に、操作者が操作したい車両機器(操作画面)に対する視線の方向として捉えられる。
また、指示ジェスチャは、例えば、指、手、腕、目(視線)、および顔等によって、操作者が所望する方向や位置を指し示すジェスチャであり、ここでは、主に、指による指差しジェスチャを用いたものとして説明する。指差しジェスチャは、指の延びる方向によって、所望する方向を示すジェスチャであり、例えば、人差し指が使用される。
各種車両機器としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置(以下、カーナビ装置)、あるいはテレビ放映、ラジオ放送、CD/DVDの再生等を行うオーディオ装置等、がある。ここでは、車両機器として空調装置を代表例として説明する。
空調装置は、例えば、液晶ディスプレイや有機ELディスプレイ等を用いた表示部11を有しており、この表示部11には、例えば、入力操作用の操作カーソル11a、アイコン11b、更には作動状態等が表示されるようになっている。表示部11は、本発明の操作者から離れた操作画面に対応する。
ジェスチャ検出装置100は、図1に示すように、検知部110、および制御部120等を備えている。制御部120は、検知部110によって検知された操作者の視線方向、および指差しジェスチャに基づいて、操作者から離れた表示部11(空調装置)に対する入力指示(入力操作のための指示)を行うようになっている。
空調装置においては、指差しジェスチャによって、設定温度の変更、空調風の風量の変更等が行われる。尚、カーナビ装置では、現在位置表示、目的地設定、および地図の拡大縮小、等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。
検知部110は、操作者の表示部11に対する注視状態(視線方向)、および指差しジェスチャ(人差し指の方向)を連続的に(時間経過と共に)検知し、注視による視線方向のデータ、および指差しジェスチャのデータを制御部120に出力するようになっている。検知部110は、操作者の目の位置(視線方向)、および指の姿勢を取得するようになっている。
検知部110としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するToF(Time of Flight)カメラ等がある。本実施形態では、検知部110としては、上記のように対象物の輝度画像を形成するカメラを用いたものとしている。
制御部120は、例えば、CPU、ROM、RAM等を備えたコンピュータである。制御部120は、検知部110で検知されたデータ(視線方向データ、指差しジェスチャデータ)、および予め設定された表示部11と検知部110との位置関係データに基づいて表示部11に操作カーソル11aを表示させると共に、指差しジェスチャによる動きに応じて操作カーソル11aを移動させる微調整モードを実行するようになっている。操作カーソル11aは、例えば、リング状の意匠を有するものとなっている。尚、操作カーソル11aの意匠は、リング状のものに代えて、矢印、三角、十字等としてもよい。
本実施形態のジェスチャ検出装置100は、以上のような構成となっており、以下、図2のフローチャート、および図3、図4を加えて、作動および作用効果について説明する。
まず、図2のステップS100で、制御部120は、検知部110から、操作者の視線方向データ、およびジェスチャデータを入手する。ステップS100は、本発明の検知ステップに対応する。
次に、ステップS110で、制御部120は、視線方向データから、操作者は、表示部11の領域内を注視しているか、また、指差しのジェスチャがあるか否かを判定する。制御部120は、視線が予め定めた所定の注視時間以上、表示部11内の任意の位置に注がれていると、注視ありと判定する。また、制御部120は、操作者の指が予め定めた所定の指示時間以上、表示部11側の方向に指し示されていると、指差しジェスチャありと判定する。尚、注視時間、指示時間は、例えば、200ms程度の時間であり、注視時間=指示時間と設定してもよいし、注視時間≠指示時間と設定してもよい。
注視時間=指示時間の場合
注視および指差し(動いていても可)が共に行われている時間をt1、時間t1の成立を判定する閾値をT1、
注視および指差し(静止)が共に行われている時間をt2、時間t2の成立を判定する閾値をT2、としたときに、
制御部120は、図3に示すように、時間t1≧閾値T1が成立後、t2≧閾値T2が成立すると(T1+T2の注視および指差しが成立すると)、ステップS110での判定を肯定判定とする。あるいは、図4に示すように、注視の後に、一定時間以内に指差しジェスチャが行われたときは、制御部120は、ステップS110での判定を肯定判定とする。
注視および指差し(動いていても可)が共に行われている時間をt1、時間t1の成立を判定する閾値をT1、
注視および指差し(静止)が共に行われている時間をt2、時間t2の成立を判定する閾値をT2、としたときに、
制御部120は、図3に示すように、時間t1≧閾値T1が成立後、t2≧閾値T2が成立すると(T1+T2の注視および指差しが成立すると)、ステップS110での判定を肯定判定とする。あるいは、図4に示すように、注視の後に、一定時間以内に指差しジェスチャが行われたときは、制御部120は、ステップS110での判定を肯定判定とする。
注視時間≠指示時間の場合
注視時間≠指示時間の場合は、注視および指差しが同時に行われる可能性は低い。図4に示すように、注視の後に、一定時間以内に指差しジェスチャが行われたときは、制御部120は、ステップS110での判定を肯定判定とする。つまり、注視と指差しとが同時に行われなくても、一定時間以内の時間差であれば、制御部120は、以下のステップS120、S130に進み、操作カーソル11aの表示、および微調整モードの実行を許容する。
注視時間≠指示時間の場合は、注視および指差しが同時に行われる可能性は低い。図4に示すように、注視の後に、一定時間以内に指差しジェスチャが行われたときは、制御部120は、ステップS110での判定を肯定判定とする。つまり、注視と指差しとが同時に行われなくても、一定時間以内の時間差であれば、制御部120は、以下のステップS120、S130に進み、操作カーソル11aの表示、および微調整モードの実行を許容する。
ステップS110で否と判定すると、制御部120は、ステップS100、S110を繰り返す。一方、ステップS110で肯定判定すると、制御部120は、ステップS120に移行する。
ステップS120では、制御部120は、注視された位置を表示部11内の初期位置とし、その初期位置に操作カーソル11aを表示させる。
次に、ステップS130で、制御部120は、操作カーソル11aの移動に関する微調整モードを実行する。即ち、制御部120は、まず、指差しジェスチャによって最初に差された方向(初期化時の指差し方向)を、初期位置に合せるためのオフセット(補正)を行う。そして、制御部120は、操作者の指差しジェスチャによる指の動きに応じて操作カーソル11aを移動させる。つまり、操作者が行う指差しジェスチャの方向に、操作カーソル11aが移動される(微調整モードの実行)。
操作カーソル11aを移動させるにあたっては、制御部120は、指の移動量に対して操作カーソル11aの移動量が小さくなるように、移動量の減衰を織り込むようにしてもよい。
ここで、
オフセット後のヨー方向(左右方向)の指差し方向をθn、
オフセット後のピッチ方向(上下方向)の指差し方向をφn、
オフセット前のヨー方向(左右方向)の指差し方向をθo、
オフセット前のピッチ方向(上下方向)の指差し方向をφo、
初期化時の物理的な指差し方向(ヨー方向)をθp、
初期化時の物理的な指差し方向(ピッチ方向)をφp、
操作カーソル11aの初期位置を指す方向(ヨー方向)をθg、
操作カーソル11aの初期位置を指す方向(ピッチ方向)をφg、
ヨー角に対する倍率(0より大きく1以下)をα、
ピッチ角に対する倍率(0より大きく1以下)をβ、とすると、
θn=α(θo−θp)+θg
φn=β(φo−φp)+φg
というように、θn、φnを線形の補正式として表すことができ、各倍率α、βを1以下の値に設定するとよい(移動量の減衰織り込み)。尚、線形の補正式に代えて、多項式やシグモイド曲線等を用いて表すようにしてもよい。
オフセット後のヨー方向(左右方向)の指差し方向をθn、
オフセット後のピッチ方向(上下方向)の指差し方向をφn、
オフセット前のヨー方向(左右方向)の指差し方向をθo、
オフセット前のピッチ方向(上下方向)の指差し方向をφo、
初期化時の物理的な指差し方向(ヨー方向)をθp、
初期化時の物理的な指差し方向(ピッチ方向)をφp、
操作カーソル11aの初期位置を指す方向(ヨー方向)をθg、
操作カーソル11aの初期位置を指す方向(ピッチ方向)をφg、
ヨー角に対する倍率(0より大きく1以下)をα、
ピッチ角に対する倍率(0より大きく1以下)をβ、とすると、
θn=α(θo−θp)+θg
φn=β(φo−φp)+φg
というように、θn、φnを線形の補正式として表すことができ、各倍率α、βを1以下の値に設定するとよい(移動量の減衰織り込み)。尚、線形の補正式に代えて、多項式やシグモイド曲線等を用いて表すようにしてもよい。
逆に、制御部120は、注視、および指示ジェスチャによる動きの検出レベルが高いほど、微調整モード実行時の操作カーソル11aの移動の各倍率(移動倍率)α、βを、より高くするようにしてもよい。
ステップS130に戻って、操作カーソル11aによって所望のアイコン11bが選択されて、所定の決定ジェスチャ(例えば、タップジェスチャ)が行われると、制御部120は、アイコン11bに関する入力指示を空調装置に出力する。つまり、空調装置に対する入力操作が行われることになる。上記ステップS110〜ステップS130は、本発明の実行ステップに対応する。
尚、微調整モードの継続、終了は、以下のように実行される。即ち、ステップS140で、制御部120は、操作者の視線方向の移動があったか否かを判定し、視線方向の移動があった場合、ステップS150で、操作者による予め定めた所定のジェスチャがあったか否かを判定する。
ステップS140で否定判定した場合、およびステップS140で肯定判定してステップS150で否定判定した場合、制御部120は、ステップS160で、微調整モード(指差しジェスチャに基づく操作カーソル11aの移動)を継続させる。つまり、操作者の視線方向は、動きが激しいため、不意な動きで再初期化されてしまうおそれがあるが、操作カーソル11aを表示した後に、視線方向が移動されても、予め定めた所定のジェスチャがあるまでは、微調整モードの実行が継続される。ステップS160は、ステップS140〜ステップS150の判定に応じて、繰り返し実行される。
予め定めた所定のジェスチャというのは、操作者が指差しジェスチャを意図的にやめることを意味するジェスチャであり、例えば、手を下すジェスチャ、手の形(指差しの形)を崩すジェスチャ、上記入力用の所定の決定ジェスチャ、首を振るジェスチャ、移動させた視線の方向へ指を向け直すジェスチャ、親指で他の指をタップするジェスチャ、あるいは人差し指以外の指を握り直すジェスチャ等とすることができる。
一方、ステップS140、S150で共に、肯定判定すると、制御部120は、ステップS170で、微調整モードの実行を終了させる。
以上のように、本実施形態では、制御部120は、操作者の表示部11に対する注視があり、且つ、指差しジェスチャがあると、注視による視線方向を表示部11上の初期位置として操作カーソル11aを表示すると共に、指差しジェスチャによる動きに応じて操作カーソル11aを移動させる(微調整モード実行)ようにしている。
これにより、操作者は、注視した初期位置に表示される操作カーソル11aを、指差しジェスチャを行うことで移動させることができる。よって、操作者に対して事細かなジェスチャの規制をする必要がなく、操作者は、操作カーソル11aを正確に移動させることができる。総じて、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とすることができる。
また、制御部120は、操作カーソル11aを表示した後に、視線方向の移動があっても、予め定めた所定のジェスチャがあるまでは、指示ジェスチャによる動きに応じた微調整モードの実行を継続するようにしている。これにより、操作者の視線方向に不意な動きがあっても、再初期化によって微調整モードが中断されてしまうことが防止される。
また、制御部120は、上記ステップS130で、指の移動量に対して操作カーソル11aの移動量が小さくなるように、移動量の減衰(各倍率α、βを小さくする)を織り込む、あるいは、逆に、注視、および指差しジェスチャによる動きの検出レベルが高いほど、微調整モード実行時の操作カーソル11aの移動の各倍率α、βを、より高くするようにしている。これにより、操作カーソル11aの操作性を向上させることができる。
具体的には、視線、および指差しジェスチャ検出のコンディションが悪い(外乱光が強い、検出処理の確信度が低い等)場合には、各倍率α、βを相対的に低くして、検出ノイズの影響を抑制することができる。また、コンディションが良い場合には、各倍率α、βを相対的に高くして、操作カーソル11aを素早く動かすことができる。
また、制御部120は、注視の後に、一定時間以内に指差しジェスチャが行われたときは、微調整モードの実行を許容するようにしている。これにより、操作時の条件を緩和することができるので、操作者にとっては、使いやすいものとなる。
(変形例1)
変形例1を図5に示す。上記第1実施形態では、制御部120は、指差しジェスチャとして指差しの向きの変化に基づいて、微調整モードを実行するようにしたが、これに限らず、指差しの位置の変化に基づくものとしてもよい。
変形例1を図5に示す。上記第1実施形態では、制御部120は、指差しジェスチャとして指差しの向きの変化に基づいて、微調整モードを実行するようにしたが、これに限らず、指差しの位置の変化に基づくものとしてもよい。
例えば、初期化時の物理的な座標からの指の移動量(mm)を、操作カーソル11aの移動量(pix(ピクセル))に変換する一定の倍率を用いる、あるいは、上記第1実施形態と同様に、多項式やシグモイド曲線等を使用する等の対応が可能である。
図5では、手指を用いて微調整モードを実行する際に、手指(指先)の位置を移動させると操作カーソル11aが移動される様子を示している。手指を動かす平面は表示部11と平行でなくてもよく、例えば、手指を90度倒して、体から離れる方向を表示部11上の上方向に対応させるようにしてもよい。
これにより、指示ジェスチャ(指差しジェスチャ)の操作自由度を高めることができる。
(変形例2)
変形例2を図6に示す。変形例2は、上記第1実施形態に対して、制御部120は、操作カーソル11aの移動可能範囲を表示するようにしたものである。移動可能範囲は、例えば、操作カーソル11aの位置を中心として、操作カーソル11aを内包する円形として表示される。
変形例2を図6に示す。変形例2は、上記第1実施形態に対して、制御部120は、操作カーソル11aの移動可能範囲を表示するようにしたものである。移動可能範囲は、例えば、操作カーソル11aの位置を中心として、操作カーソル11aを内包する円形として表示される。
移動可能範囲は、操作者の体格に応じて、その大きさが増減されるものとしてもよい。また、移動可能範囲は、特定の条件のとき、例えば、初期化から一定時間、操作カーソル11aが移動可能範囲の境界付近にあるとき等に表示されるようにしてもよい。
これにより、操作者は、指操作の可能範囲を知ることができ、操作性を向上させることができる。
(変形例3)
変形例3を図7、図8に示す。変形例3は、上記第1実施形態に対して、制御部120は、操作者の注視があった場合で、且つ、所定の指示時間の途中で、初期位置を示す予告表示を行うようにしたものである。
変形例3を図7、図8に示す。変形例3は、上記第1実施形態に対して、制御部120は、操作者の注視があった場合で、且つ、所定の指示時間の途中で、初期位置を示す予告表示を行うようにしたものである。
制御部120は、図7に示すように、時間t1≧閾値T1が成立後、t2≧閾値T2が成立する前に、操作カーソル11aを初期位置に予告表示させ、t2≧閾値T2が成立後は、本来の操作カーソル11aを表示させる。
あるいは、制御部120は、図8に示すように、注視と指差しジェスチャとの間に時間差がある場合においても、時間t1≧閾値T1が成立後、t2≧閾値T2が成立する前に、操作カーソル11aを初期位置に予告表示させ、t2≧閾値T2が成立後は、本来の操作カーソル11aを表示させる。
予告表示の操作カーソル11aの意匠と、本来の操作カーソル11aの意匠(見栄え)は、異なるものとしてもよい。操作カーソル11aの意匠が異なるものとするにあたって、色、明るさ、大きさ、透過率を変える、特定の図形や外枠を重ねて表示する、あるいは上記変形例2で説明した移動可能範囲を予告表示のときのみ、あるいは、本来の操作カーソル11aのときのみ表示する、等の方法がある。
これにより、指差しによって操作カーソル11aを移動させる前段階に、初期位置を確認できるので、その後の操作カーソル11aの移動の調整が容易となる。
(変形例4)
変形例4を図9に示す。変形例4は、上記第1実施形態に対して、制御部120は、注視の後に、指示ジェスチャの静止状態が認められないと、微調整モードの実行をキャンセルするようにしたものである。
変形例4を図9に示す。変形例4は、上記第1実施形態に対して、制御部120は、注視の後に、指示ジェスチャの静止状態が認められないと、微調整モードの実行をキャンセルするようにしたものである。
時間t2≧閾値T2が成立するまでの時間をt3、時間t3の成立を判定する閾値をT3、としたときに、
制御部120は、時間t1≧閾値T1が成立後、予告表示を行うものの、t2≧閾値T2が成立することなく、t3≧閾値T3が成立すると、一連の操作をキャンセルして、操作カーソル11aを消去する。つまり、制御部120は、注視の後、指差しジェスチャで静止状態がないと、時間t3が閾値T3を過ぎると、微調整モードの実行をキャンセルするのである。
制御部120は、時間t1≧閾値T1が成立後、予告表示を行うものの、t2≧閾値T2が成立することなく、t3≧閾値T3が成立すると、一連の操作をキャンセルして、操作カーソル11aを消去する。つまり、制御部120は、注視の後、指差しジェスチャで静止状態がないと、時間t3が閾値T3を過ぎると、微調整モードの実行をキャンセルするのである。
これにより、操作者の注視があっても、指差しジェスチャが静止していないと、明確な操作の意思がないものと判断して、不要な微調整モードの実行をやめて、制御の負荷を減らすことができる。
(その他の実施形態)
上記第1実施形態、および各変形例1〜4では、操作対象を各種車両機器としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。家庭用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のATMや、駅の自動券売機等が挙げられる。
上記第1実施形態、および各変形例1〜4では、操作対象を各種車両機器としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。家庭用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のATMや、駅の自動券売機等が挙げられる。
また、車両に搭載されるものにおいて、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、指示ジェスチャを行うことで、ジェスチャ検出装置100によるジェスチャ検出が行われて、各種車両機器の操作が可能となる。
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
本開示に記載の制御部120、およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置、およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置、およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
11 表示部(操作画面)
11a 操作カーソル
100 ジェスチャ検出装置
110 検知部
120 制御部
11a 操作カーソル
100 ジェスチャ検出装置
110 検知部
120 制御部
Claims (10)
- 操作者が行う指示ジェスチャに基づいて、前記操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出装置において、
前記操作者の視線方向、および前記指示ジェスチャを検知する検知部(110)と、
前記検知部で検知された検知データから、前記操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の前記指示ジェスチャがあると、前記注視による視線方向を前記操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、前記指示ジェスチャによる動きに応じて前記操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備えるジェスチャ検出装置。 - 前記制御部は、前記操作カーソルを表示した後に、前記視線方向の移動があっても、予め定めた所定のジェスチャがあるまでは、前記指示ジェスチャによる動きに応じた前記微調整モードの実行を継続する請求項1に記載のジェスチャ検出装置。
- 前記制御部は、前記指示ジェスチャによって示される向きの変化、および位置の変化の少なくとも一方に応じて前記微調整モードを実行する請求項1または請求項2に記載のジェスチャ検出装置。
- 前記制御部は、前記注視、および前記指示ジェスチャによる動きの検出レベルが高いほど、前記微調整モードの実行時の前記操作カーソルの移動倍率を高くする請求項1〜請求項3のいずれか1つに記載のジェスチャ検出装置。
- 前記制御部は、前記操作カーソルの移動可能範囲を表示する請求項1〜請求項4のいずれか1つに記載のジェスチャ検出装置。
- 前記制御部は、前記注視があり、且つ、前記所定の指示時間の途中で、前記初期位置を示す予告表示を行う請求項1〜請求項5のいずれか1つに記載のジェスチャ検出装置。
- 前記制御部は、前記操作カーソルと、前記予告表示とでは、見栄えが異なるように表示する請求項6に記載のジェスチャ検出装置。
- 前記制御部は、前記注視の後に、前記指示ジェスチャの静止状態が認められないと、前記微調整モードの実行をキャンセルする請求項1〜請求項7のいずれか1つに記載のジェスチャ検出装置。
- 前記制御部は、前記注視の後に、一定時間以内に前記指示ジェスチャが行われたときは、前記微調整モードの実行を許容する請求項1〜請求項8のいずれか1つに記載のジェスチャ検出装置。
- 操作者が行う指示ジェスチャに基づいて、前記操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出方法において、
前記操作者の視線方向、および前記指示ジェスチャを検知する検知ステップ(S100)と、
前記検知ステップで検知された検知データから、前記操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の前記指示ジェスチャがあると、前記注視による視線方向を前記操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、前記指示ジェスチャによる動きに応じて前記操作カーソルを移動させる微調整モードを実行する実行ステップ(S110〜S130)と、を備えるジェスチャ検出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018244368A JP7024702B2 (ja) | 2018-12-27 | 2018-12-27 | ジェスチャ検出装置、およびジェスチャ検出方法 |
PCT/JP2019/048757 WO2020137592A1 (ja) | 2018-12-27 | 2019-12-12 | ジェスチャ検出装置、およびジェスチャ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018244368A JP7024702B2 (ja) | 2018-12-27 | 2018-12-27 | ジェスチャ検出装置、およびジェスチャ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020107030A true JP2020107030A (ja) | 2020-07-09 |
JP7024702B2 JP7024702B2 (ja) | 2022-02-24 |
Family
ID=71129046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018244368A Active JP7024702B2 (ja) | 2018-12-27 | 2018-12-27 | ジェスチャ検出装置、およびジェスチャ検出方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7024702B2 (ja) |
WO (1) | WO2020137592A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817443A (zh) * | 2021-01-22 | 2021-05-18 | 歌尔科技有限公司 | 基于手势的显示界面控制方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015118531A (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置およびプログラム |
JP2015519673A (ja) * | 2012-06-14 | 2015-07-09 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
WO2018077491A1 (en) * | 2016-10-26 | 2018-05-03 | Harman Becker Automotive Systems Gmbh | Combined eye and gesture tracking |
JP2018516422A (ja) * | 2015-05-28 | 2018-06-21 | アイサイト モバイル テクノロジーズ エルティーディー. | スマートホームのためのジェスチャ制御システム及び方法 |
US20180364810A1 (en) * | 2013-06-20 | 2018-12-20 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
-
2018
- 2018-12-27 JP JP2018244368A patent/JP7024702B2/ja active Active
-
2019
- 2019-12-12 WO PCT/JP2019/048757 patent/WO2020137592A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015519673A (ja) * | 2012-06-14 | 2015-07-09 | クアルコム,インコーポレイテッド | 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話 |
US20180364810A1 (en) * | 2013-06-20 | 2018-12-20 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
JP2015118531A (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 表示制御装置およびプログラム |
JP2018516422A (ja) * | 2015-05-28 | 2018-06-21 | アイサイト モバイル テクノロジーズ エルティーディー. | スマートホームのためのジェスチャ制御システム及び方法 |
WO2018077491A1 (en) * | 2016-10-26 | 2018-05-03 | Harman Becker Automotive Systems Gmbh | Combined eye and gesture tracking |
Also Published As
Publication number | Publication date |
---|---|
WO2020137592A1 (ja) | 2020-07-02 |
JP7024702B2 (ja) | 2022-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9746931B2 (en) | Image processing device and image display device | |
US10496236B2 (en) | Vehicle display device and method for controlling vehicle display device | |
JP5968573B2 (ja) | 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法 | |
US20210055790A1 (en) | Information processing apparatus, information processing system, information processing method, and recording medium | |
JP4789885B2 (ja) | インタフェース装置、インタフェース方法及びインタフェースプログラム | |
US9996242B2 (en) | Composite gesture for switching active regions | |
JP2016182857A (ja) | 操作システム | |
US10953749B2 (en) | Vehicular display device | |
JP2008195141A (ja) | 車載機器の操作支援装置、操作支援方法 | |
CN117136347A (zh) | 用于触摸稳定的方法、系统和计算机程序 | |
WO2020137592A1 (ja) | ジェスチャ検出装置、およびジェスチャ検出方法 | |
JPWO2020100422A1 (ja) | 表示装置、および表示制御方法、並びにプログラム | |
JP6549839B2 (ja) | 操作システム | |
JP2020107031A (ja) | 指示ジェスチャ検出装置、およびその検出方法 | |
US20190018556A1 (en) | Vehicular control unit | |
CN111602102B (zh) | 用于视觉人-机交互的方法和系统 | |
WO2020110706A1 (ja) | ジェスチャ検出装置、およびジェスチャ検出方法 | |
JP2017197015A (ja) | 車載用情報処理システム | |
WO2017188098A1 (ja) | 車載用情報処理システム | |
US10452225B2 (en) | Vehicular input device and method of controlling vehicular input device | |
JP2019095911A (ja) | 操作装置 | |
JP2017187922A (ja) | 車載用情報処理システム | |
WO2019097843A1 (ja) | 虚像表示システム、虚像表示装置、操作入力装置、虚像表示方法、プログラム及び記録媒体 | |
WO2019189403A1 (en) | Information processing apparatus, information processing system, information processing method, and program | |
JP2014154052A (ja) | スクロール制御装置及びスクロール制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220124 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7024702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |