JP2020107030A - ジェスチャ検出装置、およびジェスチャ検出方法 - Google Patents

ジェスチャ検出装置、およびジェスチャ検出方法 Download PDF

Info

Publication number
JP2020107030A
JP2020107030A JP2018244368A JP2018244368A JP2020107030A JP 2020107030 A JP2020107030 A JP 2020107030A JP 2018244368 A JP2018244368 A JP 2018244368A JP 2018244368 A JP2018244368 A JP 2018244368A JP 2020107030 A JP2020107030 A JP 2020107030A
Authority
JP
Japan
Prior art keywords
gesture
gaze
pointing
control unit
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018244368A
Other languages
English (en)
Other versions
JP7024702B2 (ja
Inventor
佳行 津田
Yoshiyuki Tsuda
佳行 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018244368A priority Critical patent/JP7024702B2/ja
Priority to PCT/JP2019/048757 priority patent/WO2020137592A1/ja
Publication of JP2020107030A publication Critical patent/JP2020107030A/ja
Application granted granted Critical
Publication of JP7024702B2 publication Critical patent/JP7024702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とするジェスチャ検出装置、およびジェスチャ検出方法を提供することにある。【解決手段】操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面11に対する入力を行うジェスチャ検出装置において、操作者の視線方向、および指示ジェスチャを検知する検知部110と、検知部で検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の指示ジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル11aを表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備える。【選択図】図1

Description

本発明は、入力操作に用いるジェスチャを検出するジェスチャ検出装置、およびジェスチャ検出方法に関するものである。
従来のジェスチャ検出装置として、例えば、特許文献1に記載されたものが知られている。特許文献1のジェスチャ検出装置(情報入力装置)では、機器制御器は、操作者のジェスチャ(手の形状、状態、状態の変化)に基づいて、制御対象機器を特定し、更に、制御コマンドを決定し、制御対象機器に対する入力(遠隔操作)ができるようになっている。例えば、操作者のジェスチャとして、人差し指を立てた指差しジェスチャによって、ディスプレイ(テレビ)画面が指し示されると、機器制御器は、制御対象機器がテレビであることを認識し、この指差しジェスチャによって、指の延長線上に位置したディスプレイ上のカーソルを移動することができるようになっている。
また、特許文献2のジェスチャ検出装置(操作入力装置)では、ディスプレイ画面と、ディスプレイ画面の外側領域となる延長面とによって、展開面が設定されている。そして、操作者の目の位置(基準点)と、展開面の前方にかざされた手の指先(指示物)とを結ぶ仮想線によって、指差しによる展開面上の位置(対象点)が定義されるようになっている。
特開2013−205983号公報 特開2005−321870号公報
しかしながら、上記特許文献1、2では、それぞれ、所定の指差し方法が予め決められており、その方法を前提として、指差し方向が特定されるようになっている。よって、操作者が、所定の指差し方法とは異なる指差しジェスチャを行うと誤操作が発生する。一方、誤操作を回避するために、どの部位でどのように指差しをするのかを操作者に制約すると、操作者は煩わしさを感じる。
本発明の目的は、上記問題に鑑み、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とするジェスチャ検出装置、およびジェスチャ検出方法を提供することにある。
本発明は上記目的を達成するために、以下の技術的手段を採用する。
第1の発明では、操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出装置において、
操作者の視線方向、および指示ジェスチャを検知する検知部(110)と、
検知部で検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の指示ジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備えることを特徴としている。
また、第2の発明では、操作者が行う指示ジェスチャに基づいて、操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出方法において、
操作者の視線方向、およびジェスチャを検知する検知ステップ(S100)と、
検知ステップで検知された検知データから、操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上のジェスチャがあると、注視による視線方向を操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、指示ジェスチャによる動きに応じて操作カーソルを移動させる微調整モードを実行する実行ステップ(S110〜S130)と、を備えることを特徴としている。
これにより、操作者は、注視した初期位置に表示される操作カーソル(11a)を、指示ジェスチャを行うことで移動させることができる。よって、操作者に対して事細かなジェスチャの規制をする必要がなく、操作者は、操作カーソル(11a)を正確に移動させることができる。総じて、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とすることができる。
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
第1実施形態におけるジェスチャ検出装置の全体構成を示すブロック図である。 制御部が行う制御内容を示すフローチャートである。 注視時間=指示時間の場合、注視および指示ジェスチャありと判定する際の要領を示す説明図である。 注視時間≠指示時間の場合、注視と指示ジェスチャとの時間差を許容する際の要領を示す説明図である。 指の位置に応じて操作カーソルが移動される変形例1を示す説明図である。 操作カーソルの移動可能範囲(変形例2)を示す説明図である。 予告表示を行う際の要領(変形例3)を示す説明図である。 注視と指示ジェスチャとの時間差があるときに、予告表示を行う要領(変形例3)を示す説明図である。 操作キャンセルを行う際の要領(変形例4)を示す説明図である。
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
(第1実施形態)
第1実施形態のジェスチャ検出装置100について図1〜図4を用いて説明する。本実施形態のジェスチャ検出装置100は、例えば車両に搭載され、操作者(運転者)の注視による視線方向、および指示ジェスチャによる指示方向や指示位置を検出して、例えば、各種車両機器(操作画面)に対する入力指示を行う装置となっている。
操作者の注視による視線方向は、主に、操作者が操作したい車両機器(操作画面)に対する視線の方向として捉えられる。
また、指示ジェスチャは、例えば、指、手、腕、目(視線)、および顔等によって、操作者が所望する方向や位置を指し示すジェスチャであり、ここでは、主に、指による指差しジェスチャを用いたものとして説明する。指差しジェスチャは、指の延びる方向によって、所望する方向を示すジェスチャであり、例えば、人差し指が使用される。
各種車両機器としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置(以下、カーナビ装置)、あるいはテレビ放映、ラジオ放送、CD/DVDの再生等を行うオーディオ装置等、がある。ここでは、車両機器として空調装置を代表例として説明する。
空調装置は、例えば、液晶ディスプレイや有機ELディスプレイ等を用いた表示部11を有しており、この表示部11には、例えば、入力操作用の操作カーソル11a、アイコン11b、更には作動状態等が表示されるようになっている。表示部11は、本発明の操作者から離れた操作画面に対応する。
ジェスチャ検出装置100は、図1に示すように、検知部110、および制御部120等を備えている。制御部120は、検知部110によって検知された操作者の視線方向、および指差しジェスチャに基づいて、操作者から離れた表示部11(空調装置)に対する入力指示(入力操作のための指示)を行うようになっている。
空調装置においては、指差しジェスチャによって、設定温度の変更、空調風の風量の変更等が行われる。尚、カーナビ装置では、現在位置表示、目的地設定、および地図の拡大縮小、等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。
検知部110は、操作者の表示部11に対する注視状態(視線方向)、および指差しジェスチャ(人差し指の方向)を連続的に(時間経過と共に)検知し、注視による視線方向のデータ、および指差しジェスチャのデータを制御部120に出力するようになっている。検知部110は、操作者の目の位置(視線方向)、および指の姿勢を取得するようになっている。
検知部110としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するToF(Time of Flight)カメラ等がある。本実施形態では、検知部110としては、上記のように対象物の輝度画像を形成するカメラを用いたものとしている。
制御部120は、例えば、CPU、ROM、RAM等を備えたコンピュータである。制御部120は、検知部110で検知されたデータ(視線方向データ、指差しジェスチャデータ)、および予め設定された表示部11と検知部110との位置関係データに基づいて表示部11に操作カーソル11aを表示させると共に、指差しジェスチャによる動きに応じて操作カーソル11aを移動させる微調整モードを実行するようになっている。操作カーソル11aは、例えば、リング状の意匠を有するものとなっている。尚、操作カーソル11aの意匠は、リング状のものに代えて、矢印、三角、十字等としてもよい。
本実施形態のジェスチャ検出装置100は、以上のような構成となっており、以下、図2のフローチャート、および図3、図4を加えて、作動および作用効果について説明する。
まず、図2のステップS100で、制御部120は、検知部110から、操作者の視線方向データ、およびジェスチャデータを入手する。ステップS100は、本発明の検知ステップに対応する。
次に、ステップS110で、制御部120は、視線方向データから、操作者は、表示部11の領域内を注視しているか、また、指差しのジェスチャがあるか否かを判定する。制御部120は、視線が予め定めた所定の注視時間以上、表示部11内の任意の位置に注がれていると、注視ありと判定する。また、制御部120は、操作者の指が予め定めた所定の指示時間以上、表示部11側の方向に指し示されていると、指差しジェスチャありと判定する。尚、注視時間、指示時間は、例えば、200ms程度の時間であり、注視時間=指示時間と設定してもよいし、注視時間≠指示時間と設定してもよい。
注視時間=指示時間の場合
注視および指差し(動いていても可)が共に行われている時間をt1、時間t1の成立を判定する閾値をT1、
注視および指差し(静止)が共に行われている時間をt2、時間t2の成立を判定する閾値をT2、としたときに、
制御部120は、図3に示すように、時間t1≧閾値T1が成立後、t2≧閾値T2が成立すると(T1+T2の注視および指差しが成立すると)、ステップS110での判定を肯定判定とする。あるいは、図4に示すように、注視の後に、一定時間以内に指差しジェスチャが行われたときは、制御部120は、ステップS110での判定を肯定判定とする。
注視時間≠指示時間の場合
注視時間≠指示時間の場合は、注視および指差しが同時に行われる可能性は低い。図4に示すように、注視の後に、一定時間以内に指差しジェスチャが行われたときは、制御部120は、ステップS110での判定を肯定判定とする。つまり、注視と指差しとが同時に行われなくても、一定時間以内の時間差であれば、制御部120は、以下のステップS120、S130に進み、操作カーソル11aの表示、および微調整モードの実行を許容する。
ステップS110で否と判定すると、制御部120は、ステップS100、S110を繰り返す。一方、ステップS110で肯定判定すると、制御部120は、ステップS120に移行する。
ステップS120では、制御部120は、注視された位置を表示部11内の初期位置とし、その初期位置に操作カーソル11aを表示させる。
次に、ステップS130で、制御部120は、操作カーソル11aの移動に関する微調整モードを実行する。即ち、制御部120は、まず、指差しジェスチャによって最初に差された方向(初期化時の指差し方向)を、初期位置に合せるためのオフセット(補正)を行う。そして、制御部120は、操作者の指差しジェスチャによる指の動きに応じて操作カーソル11aを移動させる。つまり、操作者が行う指差しジェスチャの方向に、操作カーソル11aが移動される(微調整モードの実行)。
操作カーソル11aを移動させるにあたっては、制御部120は、指の移動量に対して操作カーソル11aの移動量が小さくなるように、移動量の減衰を織り込むようにしてもよい。
ここで、
オフセット後のヨー方向(左右方向)の指差し方向をθn、
オフセット後のピッチ方向(上下方向)の指差し方向をφn、
オフセット前のヨー方向(左右方向)の指差し方向をθo、
オフセット前のピッチ方向(上下方向)の指差し方向をφo、
初期化時の物理的な指差し方向(ヨー方向)をθp、
初期化時の物理的な指差し方向(ピッチ方向)をφp、
操作カーソル11aの初期位置を指す方向(ヨー方向)をθg、
操作カーソル11aの初期位置を指す方向(ピッチ方向)をφg、
ヨー角に対する倍率(0より大きく1以下)をα、
ピッチ角に対する倍率(0より大きく1以下)をβ、とすると、
θn=α(θo−θp)+θg
φn=β(φo−φp)+φg
というように、θn、φnを線形の補正式として表すことができ、各倍率α、βを1以下の値に設定するとよい(移動量の減衰織り込み)。尚、線形の補正式に代えて、多項式やシグモイド曲線等を用いて表すようにしてもよい。
逆に、制御部120は、注視、および指示ジェスチャによる動きの検出レベルが高いほど、微調整モード実行時の操作カーソル11aの移動の各倍率(移動倍率)α、βを、より高くするようにしてもよい。
ステップS130に戻って、操作カーソル11aによって所望のアイコン11bが選択されて、所定の決定ジェスチャ(例えば、タップジェスチャ)が行われると、制御部120は、アイコン11bに関する入力指示を空調装置に出力する。つまり、空調装置に対する入力操作が行われることになる。上記ステップS110〜ステップS130は、本発明の実行ステップに対応する。
尚、微調整モードの継続、終了は、以下のように実行される。即ち、ステップS140で、制御部120は、操作者の視線方向の移動があったか否かを判定し、視線方向の移動があった場合、ステップS150で、操作者による予め定めた所定のジェスチャがあったか否かを判定する。
ステップS140で否定判定した場合、およびステップS140で肯定判定してステップS150で否定判定した場合、制御部120は、ステップS160で、微調整モード(指差しジェスチャに基づく操作カーソル11aの移動)を継続させる。つまり、操作者の視線方向は、動きが激しいため、不意な動きで再初期化されてしまうおそれがあるが、操作カーソル11aを表示した後に、視線方向が移動されても、予め定めた所定のジェスチャがあるまでは、微調整モードの実行が継続される。ステップS160は、ステップS140〜ステップS150の判定に応じて、繰り返し実行される。
予め定めた所定のジェスチャというのは、操作者が指差しジェスチャを意図的にやめることを意味するジェスチャであり、例えば、手を下すジェスチャ、手の形(指差しの形)を崩すジェスチャ、上記入力用の所定の決定ジェスチャ、首を振るジェスチャ、移動させた視線の方向へ指を向け直すジェスチャ、親指で他の指をタップするジェスチャ、あるいは人差し指以外の指を握り直すジェスチャ等とすることができる。
一方、ステップS140、S150で共に、肯定判定すると、制御部120は、ステップS170で、微調整モードの実行を終了させる。
以上のように、本実施形態では、制御部120は、操作者の表示部11に対する注視があり、且つ、指差しジェスチャがあると、注視による視線方向を表示部11上の初期位置として操作カーソル11aを表示すると共に、指差しジェスチャによる動きに応じて操作カーソル11aを移動させる(微調整モード実行)ようにしている。
これにより、操作者は、注視した初期位置に表示される操作カーソル11aを、指差しジェスチャを行うことで移動させることができる。よって、操作者に対して事細かなジェスチャの規制をする必要がなく、操作者は、操作カーソル11aを正確に移動させることができる。総じて、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とすることができる。
また、制御部120は、操作カーソル11aを表示した後に、視線方向の移動があっても、予め定めた所定のジェスチャがあるまでは、指示ジェスチャによる動きに応じた微調整モードの実行を継続するようにしている。これにより、操作者の視線方向に不意な動きがあっても、再初期化によって微調整モードが中断されてしまうことが防止される。
また、制御部120は、上記ステップS130で、指の移動量に対して操作カーソル11aの移動量が小さくなるように、移動量の減衰(各倍率α、βを小さくする)を織り込む、あるいは、逆に、注視、および指差しジェスチャによる動きの検出レベルが高いほど、微調整モード実行時の操作カーソル11aの移動の各倍率α、βを、より高くするようにしている。これにより、操作カーソル11aの操作性を向上させることができる。
具体的には、視線、および指差しジェスチャ検出のコンディションが悪い(外乱光が強い、検出処理の確信度が低い等)場合には、各倍率α、βを相対的に低くして、検出ノイズの影響を抑制することができる。また、コンディションが良い場合には、各倍率α、βを相対的に高くして、操作カーソル11aを素早く動かすことができる。
また、制御部120は、注視の後に、一定時間以内に指差しジェスチャが行われたときは、微調整モードの実行を許容するようにしている。これにより、操作時の条件を緩和することができるので、操作者にとっては、使いやすいものとなる。
(変形例1)
変形例1を図5に示す。上記第1実施形態では、制御部120は、指差しジェスチャとして指差しの向きの変化に基づいて、微調整モードを実行するようにしたが、これに限らず、指差しの位置の変化に基づくものとしてもよい。
例えば、初期化時の物理的な座標からの指の移動量(mm)を、操作カーソル11aの移動量(pix(ピクセル))に変換する一定の倍率を用いる、あるいは、上記第1実施形態と同様に、多項式やシグモイド曲線等を使用する等の対応が可能である。
図5では、手指を用いて微調整モードを実行する際に、手指(指先)の位置を移動させると操作カーソル11aが移動される様子を示している。手指を動かす平面は表示部11と平行でなくてもよく、例えば、手指を90度倒して、体から離れる方向を表示部11上の上方向に対応させるようにしてもよい。
これにより、指示ジェスチャ(指差しジェスチャ)の操作自由度を高めることができる。
(変形例2)
変形例2を図6に示す。変形例2は、上記第1実施形態に対して、制御部120は、操作カーソル11aの移動可能範囲を表示するようにしたものである。移動可能範囲は、例えば、操作カーソル11aの位置を中心として、操作カーソル11aを内包する円形として表示される。
移動可能範囲は、操作者の体格に応じて、その大きさが増減されるものとしてもよい。また、移動可能範囲は、特定の条件のとき、例えば、初期化から一定時間、操作カーソル11aが移動可能範囲の境界付近にあるとき等に表示されるようにしてもよい。
これにより、操作者は、指操作の可能範囲を知ることができ、操作性を向上させることができる。
(変形例3)
変形例3を図7、図8に示す。変形例3は、上記第1実施形態に対して、制御部120は、操作者の注視があった場合で、且つ、所定の指示時間の途中で、初期位置を示す予告表示を行うようにしたものである。
制御部120は、図7に示すように、時間t1≧閾値T1が成立後、t2≧閾値T2が成立する前に、操作カーソル11aを初期位置に予告表示させ、t2≧閾値T2が成立後は、本来の操作カーソル11aを表示させる。
あるいは、制御部120は、図8に示すように、注視と指差しジェスチャとの間に時間差がある場合においても、時間t1≧閾値T1が成立後、t2≧閾値T2が成立する前に、操作カーソル11aを初期位置に予告表示させ、t2≧閾値T2が成立後は、本来の操作カーソル11aを表示させる。
予告表示の操作カーソル11aの意匠と、本来の操作カーソル11aの意匠(見栄え)は、異なるものとしてもよい。操作カーソル11aの意匠が異なるものとするにあたって、色、明るさ、大きさ、透過率を変える、特定の図形や外枠を重ねて表示する、あるいは上記変形例2で説明した移動可能範囲を予告表示のときのみ、あるいは、本来の操作カーソル11aのときのみ表示する、等の方法がある。
これにより、指差しによって操作カーソル11aを移動させる前段階に、初期位置を確認できるので、その後の操作カーソル11aの移動の調整が容易となる。
(変形例4)
変形例4を図9に示す。変形例4は、上記第1実施形態に対して、制御部120は、注視の後に、指示ジェスチャの静止状態が認められないと、微調整モードの実行をキャンセルするようにしたものである。
時間t2≧閾値T2が成立するまでの時間をt3、時間t3の成立を判定する閾値をT3、としたときに、
制御部120は、時間t1≧閾値T1が成立後、予告表示を行うものの、t2≧閾値T2が成立することなく、t3≧閾値T3が成立すると、一連の操作をキャンセルして、操作カーソル11aを消去する。つまり、制御部120は、注視の後、指差しジェスチャで静止状態がないと、時間t3が閾値T3を過ぎると、微調整モードの実行をキャンセルするのである。
これにより、操作者の注視があっても、指差しジェスチャが静止していないと、明確な操作の意思がないものと判断して、不要な微調整モードの実行をやめて、制御の負荷を減らすことができる。
(その他の実施形態)
上記第1実施形態、および各変形例1〜4では、操作対象を各種車両機器としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。家庭用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のATMや、駅の自動券売機等が挙げられる。
また、車両に搭載されるものにおいて、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、指示ジェスチャを行うことで、ジェスチャ検出装置100によるジェスチャ検出が行われて、各種車両機器の操作が可能となる。
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
本開示に記載の制御部120、およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置、およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置、およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
11 表示部(操作画面)
11a 操作カーソル
100 ジェスチャ検出装置
110 検知部
120 制御部

Claims (10)

  1. 操作者が行う指示ジェスチャに基づいて、前記操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出装置において、
    前記操作者の視線方向、および前記指示ジェスチャを検知する検知部(110)と、
    前記検知部で検知された検知データから、前記操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の前記指示ジェスチャがあると、前記注視による視線方向を前記操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、前記指示ジェスチャによる動きに応じて前記操作カーソルを移動させる微調整モードを実行する制御部(120)と、を備えるジェスチャ検出装置。
  2. 前記制御部は、前記操作カーソルを表示した後に、前記視線方向の移動があっても、予め定めた所定のジェスチャがあるまでは、前記指示ジェスチャによる動きに応じた前記微調整モードの実行を継続する請求項1に記載のジェスチャ検出装置。
  3. 前記制御部は、前記指示ジェスチャによって示される向きの変化、および位置の変化の少なくとも一方に応じて前記微調整モードを実行する請求項1または請求項2に記載のジェスチャ検出装置。
  4. 前記制御部は、前記注視、および前記指示ジェスチャによる動きの検出レベルが高いほど、前記微調整モードの実行時の前記操作カーソルの移動倍率を高くする請求項1〜請求項3のいずれか1つに記載のジェスチャ検出装置。
  5. 前記制御部は、前記操作カーソルの移動可能範囲を表示する請求項1〜請求項4のいずれか1つに記載のジェスチャ検出装置。
  6. 前記制御部は、前記注視があり、且つ、前記所定の指示時間の途中で、前記初期位置を示す予告表示を行う請求項1〜請求項5のいずれか1つに記載のジェスチャ検出装置。
  7. 前記制御部は、前記操作カーソルと、前記予告表示とでは、見栄えが異なるように表示する請求項6に記載のジェスチャ検出装置。
  8. 前記制御部は、前記注視の後に、前記指示ジェスチャの静止状態が認められないと、前記微調整モードの実行をキャンセルする請求項1〜請求項7のいずれか1つに記載のジェスチャ検出装置。
  9. 前記制御部は、前記注視の後に、一定時間以内に前記指示ジェスチャが行われたときは、前記微調整モードの実行を許容する請求項1〜請求項8のいずれか1つに記載のジェスチャ検出装置。
  10. 操作者が行う指示ジェスチャに基づいて、前記操作者から離れた操作画面(11)に対する入力を行うジェスチャ検出方法において、
    前記操作者の視線方向、および前記指示ジェスチャを検知する検知ステップ(S100)と、
    前記検知ステップで検知された検知データから、前記操作画面に対して所定の注視時間以上の注視があり、且つ、所定の指示時間以上の前記指示ジェスチャがあると、前記注視による視線方向を前記操作画面上の初期位置として操作用の操作カーソル(11a)を表示すると共に、前記指示ジェスチャによる動きに応じて前記操作カーソルを移動させる微調整モードを実行する実行ステップ(S110〜S130)と、を備えるジェスチャ検出方法。
JP2018244368A 2018-12-27 2018-12-27 ジェスチャ検出装置、およびジェスチャ検出方法 Active JP7024702B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018244368A JP7024702B2 (ja) 2018-12-27 2018-12-27 ジェスチャ検出装置、およびジェスチャ検出方法
PCT/JP2019/048757 WO2020137592A1 (ja) 2018-12-27 2019-12-12 ジェスチャ検出装置、およびジェスチャ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018244368A JP7024702B2 (ja) 2018-12-27 2018-12-27 ジェスチャ検出装置、およびジェスチャ検出方法

Publications (2)

Publication Number Publication Date
JP2020107030A true JP2020107030A (ja) 2020-07-09
JP7024702B2 JP7024702B2 (ja) 2022-02-24

Family

ID=71129046

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244368A Active JP7024702B2 (ja) 2018-12-27 2018-12-27 ジェスチャ検出装置、およびジェスチャ検出方法

Country Status (2)

Country Link
JP (1) JP7024702B2 (ja)
WO (1) WO2020137592A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112817443A (zh) * 2021-01-22 2021-05-18 歌尔科技有限公司 基于手势的显示界面控制方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015118531A (ja) * 2013-12-18 2015-06-25 株式会社デンソー 表示制御装置およびプログラム
JP2015519673A (ja) * 2012-06-14 2015-07-09 クアルコム,インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
WO2018077491A1 (en) * 2016-10-26 2018-05-03 Harman Becker Automotive Systems Gmbh Combined eye and gesture tracking
JP2018516422A (ja) * 2015-05-28 2018-06-21 アイサイト モバイル テクノロジーズ エルティーディー. スマートホームのためのジェスチャ制御システム及び方法
US20180364810A1 (en) * 2013-06-20 2018-12-20 Uday Parshionikar Gesture control via eye tracking, head tracking, facial expressions and other user actions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015519673A (ja) * 2012-06-14 2015-07-09 クアルコム,インコーポレイテッド 透明なヘッドマウントディスプレイ用のユーザインターフェースとの対話
US20180364810A1 (en) * 2013-06-20 2018-12-20 Uday Parshionikar Gesture control via eye tracking, head tracking, facial expressions and other user actions
JP2015118531A (ja) * 2013-12-18 2015-06-25 株式会社デンソー 表示制御装置およびプログラム
JP2018516422A (ja) * 2015-05-28 2018-06-21 アイサイト モバイル テクノロジーズ エルティーディー. スマートホームのためのジェスチャ制御システム及び方法
WO2018077491A1 (en) * 2016-10-26 2018-05-03 Harman Becker Automotive Systems Gmbh Combined eye and gesture tracking

Also Published As

Publication number Publication date
WO2020137592A1 (ja) 2020-07-02
JP7024702B2 (ja) 2022-02-24

Similar Documents

Publication Publication Date Title
US9746931B2 (en) Image processing device and image display device
US10496236B2 (en) Vehicle display device and method for controlling vehicle display device
JP5968573B2 (ja) 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US20210055790A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
US9996242B2 (en) Composite gesture for switching active regions
JP2016182857A (ja) 操作システム
US10953749B2 (en) Vehicular display device
JP2008195141A (ja) 車載機器の操作支援装置、操作支援方法
CN117136347A (zh) 用于触摸稳定的方法、系统和计算机程序
WO2020137592A1 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
JPWO2020100422A1 (ja) 表示装置、および表示制御方法、並びにプログラム
JP6549839B2 (ja) 操作システム
JP2020107031A (ja) 指示ジェスチャ検出装置、およびその検出方法
US20190018556A1 (en) Vehicular control unit
CN111602102B (zh) 用于视觉人-机交互的方法和系统
WO2020110706A1 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
JP2017197015A (ja) 車載用情報処理システム
WO2017188098A1 (ja) 車載用情報処理システム
US10452225B2 (en) Vehicular input device and method of controlling vehicular input device
JP2019095911A (ja) 操作装置
JP2017187922A (ja) 車載用情報処理システム
WO2019097843A1 (ja) 虚像表示システム、虚像表示装置、操作入力装置、虚像表示方法、プログラム及び記録媒体
WO2019189403A1 (en) Information processing apparatus, information processing system, information processing method, and program
JP2014154052A (ja) スクロール制御装置及びスクロール制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R151 Written notification of patent or utility model registration

Ref document number: 7024702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151