JP2015199383A

JP2015199383A - ジェスチャ入力装置

Info

Publication number: JP2015199383A
Application number: JP2014077882A
Authority: JP
Inventors: 佳行津田; Yoshiyuki Tsuda
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-04-04
Filing date: 2014-04-04
Publication date: 2015-11-12

Abstract

【課題】安全運転を確保できるようにしつつ、ジェスチャによる入力の利便性を向上させることのできるジェスチャ入力装置を提供する。【解決手段】ジェスチャ入力装置において、車両に搭載されて、操作者の体の特定部位のジェスチャを検出する検出部１１０と、車両のステアリング１０の操舵時の操舵角θを検出する操舵角センサ１２０と、操舵角センサ１２０で検出された操舵角θから得られる角速度ωに基づいて、検出部１１０で検出されたジェスチャの入力を許可、あるいは禁止すると共に、角速度ωが、予め定めた閾値Ｔｈ以上のときは、ジェスチャの入力を禁止する制御部１３２とを設ける。【選択図】図１

Description

本発明は、操作者のジェスチャによる入力を可能とするジェスチャ入力装置に関するものである。

従来の操作入力装置として、例えば、特許文献１に記載されたものが知られている。即ち、特許文献１の操作入力装置では、運転席付近を撮影するカメラを備えている。そして、カメラにより撮影された撮影画図から操作者の手のジェスチャが検出され、検出されたジェスチャから操作者の意図する操作が判定されると共に、判定された操作に基づいて車両に搭載される装置が作動されるようになっている。

具体的には、カメラが撮影する領域内には、ハンドルの上部に対応する第１操作領域、あるいはダッシュボードの上部に対応する第２操作領域等が予め設定されている。そして、例えば、ナビゲーション装置への入力要領として、操作者（運転者）は、ハンドルの上部（第１操作領域）、あるいはダッシュボードの上部（第２操作領域）に対して、２本数の指を立てて左右にこする、あるいは、１本の指でタッチする等の操作（ジェスチャ）を行うことで、ナビ操作用の各種メニュー項目（第１属性、第２属性等）の選択、あるいは決定が実行されるようになっている。

そして、ハンドルに所定の目印を設けて、この目印が定位置からずれている（回転している）ことを検出し、ハンドルが回転している間は、運転操作中であると推定して、ジェスチャの検出を行わないようにしている。

特開２０１３−２１８３９１号公報

しかしながら、例えば、半径距離が一定で緩いカーブを走行する場合には、カーブ入り口部においてはハンドルの回転操作を伴うものの、その後はハンドルの回転位置を一定にして運転操作することになる。上記特許文献１のように、ハンドルの回転操作に伴って、常にジェスチャの検出を行わないようにすると、操作者の利便性が低下する。逆に、ハンドルの回転操作がきつい場合に、ジェスチャによる入力を許可してしまうと安全運転上、好ましくない。

本発明の目的は、上記問題に鑑み、安全運転を確保できるようにしつつ、ジェスチャによる入力の利便性を向上させることのできるジェスチャ入力装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

本発明では、ジェスチャ入力装置において、車両に搭載されて、操作者の体の特定部位のジェスチャを検出する検出部（１１０）と、
車両のステアリング（１０）の操舵時の操舵角（θ）を検出する操舵角センサ（１２０）と、
操舵角センサ（１２０）で検出された操舵角（θ）から得られる角速度（ω）に基づいて、検出部（１１０）で検出されたジェスチャの入力を許可、あるいは禁止すると共に、角速度（ω）が、予め定めた閾値（Ｔｈ）以上のときは、ジェスチャの入力を禁止する制御部（１３２）とを備えることを特徴としている。

この発明によれば、操舵角センサ（１２０）から得られる角速度（ω）が、閾値（Ｔｈ）以上のときは、操作者は、ステアリング（１０）を大きく回転操作をしている場合であり、このとき制御部（１３２）は、ジェスチャの入力を禁止する。よって、操作者に対して車両の運転に集中させることができ、安全運転につなげることができる。

一方、操舵角センサ（１２０）から得られる角速度（ω）が、閾値（Ｔｈ）より小さいときは、操作者によるステアリング（１０）の回転操作は小さく、操作者にはジェスチャを行う余裕ができる。このような場合には、本来のジェスチャ入力を許可することで、操作者のジェスチャによる入力の利便性を高めることができる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

第１実施形態におけるジェスチャ入力装置を示す概略図である。制御部が行うジェスチャ入力の許可あるいは禁止の切替え制御の内容を示すフローチャートである。ステアリングの回転状態における、ジェスチャ入力の許可、あるいは禁止を示す説明図である。角速度の大きさを判定するための閾値を示すグラフである。その他の実施形態におけるセンサの設定位置を示す説明図である。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態のジェスチャ入力装置１００について図１〜図４を用いて説明する。本実施形態のジェスチャ入力装置１００は、運転者（操作者）の体の特定部位の動きに基づいて、車両機器１４０に対する操作を行うものである。

車両には、操舵用のステアリング１０と、ステアリング１０の操作力を図示しないステアリングギヤに伝えるステアリングシャフト１１と、ステアリング１０の背面側（車両前方側）に位置するインストルメントパネル１２と、インストルメントパネル１２においてステアリング１０の上側半分と対向して各種車両情報を総合的に表示するコンビネーションメータ１３等が設けられている。

ジェスチャ入力装置１００は、検出部１１０、操舵角センサ１２０、および電子制御ユニット１３０等を備えている。ジェスチャ入力装置１００は、検出部１１０によって検出された運転者の体の動きを基にして、電子制御ユニット１３０によって、車両機器１４０の表示部１４１における表示画像の切替えや作動入力が行われるものとなっている。

検出部１１０は、運転者の体の特定部位の動きを検出する検出手段となっている。検出部１１０は、運転者の体の特定部位を画像によって検知し、時間経過に対する画像の変化から、運転者の体の特定部位の動きを検出するようになっている。

運転者の体の特定部位としては、例えば、手の指、手の平、腕等とすることができる。本実施形態では、運転者の体の特定部位として、手の指を対象としている。また、検出部１１０としては、２次元画像、あるいは３次元画像を形成するセンサやカメラ等を用いることができる。センサとしては、近赤外線を用いた近赤外線センサ、あるいは遠赤外線を用いた遠赤外線センサ等がある。また、カメラとしては、複数の方向から同時に撮影して奥行方向の情報も記録できるステレオカメラ、あるいは、ＴｏＦ（Time of Flight）方式を用いて対象物を立体的に撮影するＴｏＦカメラ等がある。本実施形態では、３次元画像を形成する近赤外線センサを用いており、以下、検出部１１０をセンサ１１０と呼ぶことにする。

センサ１１０は、図１に示すように、車両のステアリング１０の背面側で、コンビネーションメータ１３の近傍となるインストルメントパネル１２に配置されている。更に詳しく説明すると、センサ１１０は、例えば、ステアリング１０において、１０時１０分方向に運転者が握る左右の手のうち、運転席側から車両進行方向に見たときに、右手と対向する位置に配置されている。よって、センサ１１０の光軸は、概ね、水平方向となって、インストルメントパネル１２側からステアリング１０の手前側（背面側）に向かうようになっている。

センサ１１０の検知対象となる領域は、センサ１１０が配置される位置からステアリング１０側に向けて所定範囲の空間領域となっている。以下、この領域を検知エリアと呼ぶことにする。また、検知エリアの先端域と、ステアリング１０の背面との間は、非検知エリアとなっている。非検知エリアは、通常の運転時において、ステアリング１０を握る指が位置するエリアであり、このときの指の動きは、センサ１１０によって検知されないものとなっている。

よって、検知エリアは、非検知エリアを超えて運転者の指が入り込んだときに、その指の動きを検知するエリアとなっている。例えば、運転者は、右手の人差し指と中指とを、または人差し指あるいは中指をセンサ１１０側に延ばすことで、各指は、検知エリア内に入り込むことになり、センサ１１０は、運転者の右手の指の動きを検出するようになっている。

指の動き（以下、ジェスチャ）は、予め、種々のパターンを決めておくことができるが、例えば、指を左右方向に振るもの、あるいは上下方向に振るもの等とすることができる。上記ジェスチャは、例えば、スマートフォンの画面上におけるスワイプ操作をイメージさせるものとなっている。センサ１１０が検知した指のジェスチャ信号は、後述するUser Interface操作部１３１に出力されるようになっている。

操舵角センサ１２０は、ステアリング１０が操舵（回転操作）されたときの回転量に応じた信号、つまり、操舵角θに相当する信号を検出するセンサであり、ステアリングシャフト１１に設けられている。操舵角センサ１２０が検知した操舵角信号は、後述する制御部１３２に出力されるようになっている。

電子制御ユニット１３０は、センサ１１０からのジェスチャ信号と、操舵角センサ１２０からの操舵角信号とを受けて、車両機器１４０の表示部１４１における表示制御と、車両機器１４０の作動制御とを行う制御手段となっている。電子制御ユニット１３０は、User Interface操作部１３１と、制御部１３２とを備えている。

User Interface操作部（以下、ＵＩ操作部）１３１は、センサ１１０からの指のジェスチャ信号に応じた制御内容が予め定められている。つまり、ＵＩ操作部１３１は、指のジェスチャ信号に応じて、車両機器１４０の表示部１４１において必要とされる表示画像を生成し、更に表示画像の切替えを行うと共に、車両機器１４０の作動状態を変更させていく。

制御部１３２は、操舵角センサ１２０からの操舵角信号を受けて、ステアリング１０の角速度ωを算出し、算出した角速度ωに応じて、センサ１１０からＵＩ操作部１３１へのジェスチャ信号の入力を許可するか禁止するかを切替える切替え制御手段となっている。制御部１３２が行う、切替え制御の詳細については後述する。

車両機器１４０は、例えば、オーディオ機能を備えるナビゲーション装置と、車両用エアコン装置に対する作動条件を入力するエアコン入力装置とが一体的に形成されたものである。オーディオ機能としては、例えば、音楽再生機能、およびラジオ受信機能等である。車両機器１４０は、表示部１４１を備えており、例えば、インストルメントパネル１２の車両左右方向のほぼ中央に配置されている。

表示部１４１は、例えば、液晶ディスプレイ、あるいは有機ＥＬディスプレイ等によって形成されている。表示部１４１には、運転者の指のジェスチャに基づいて、ＵＩ操作部１３１によって、ナビゲーション画像、オーディオの操作用画像、およびエアコンの操作用画像等が切替え表示されるようになっている。また、運転者の異なるジェスチャに基づいて、操作用アイコン等を決定状態とすることで操作入力が可能となっている。

本実施形態においては、安全運転と指のジェスチャによる入力の利便性とを高めるために、運転者のステアリング１０に対する操舵時の角速度ωに基づいて、制御部１３２は、センサ１１０からＵＩ操作部１３１へのジェスチャ信号の入力の許可、あるいは禁止の切替え制御を行うようになっている。以下、図２〜図４を用いて詳細に説明する。

制御部１３２は、図２に示す制御フローを所定時間毎に繰り返し回している。まず、ステップＳ１００で、制御部１３２は、操舵角センサ１２０から出力される操舵角信号（操舵角θ）を読み出し、更に、ステップＳ１１０で操舵角信号から角速度ωを算出する。角速度ωは、操舵角θの時間に対する変化量（操舵角θの微分値）として算出される。

次に、ステップＳ１２０で、制御部１３２は、算出した角速度ωの絶対値が予め定めた閾値Ｔｈより小さいか否かを判定する。閾値Ｔｈは、ステアリング１０に対する運転者の回転操作が、実質的に行われていないレベルであることを判定するための値に設定されている。

ステップＳ１２０で肯定判定すると、ステップＳ１３０で、制御部１３２は、経過時間に対応するカウンタＮ_ＯＮの値が、予め定めた閾値Ｔｈ_Ｎより大きいか否かを判定する。閾値Ｔｈ_Ｎは、本発明の所定時間に対応する。カウンタＮ_ＯＮの初期値は０に設定されている。

ステップＳ１３０で、否定判定、つまり、カウンタＮ_ＯＮが閾値Ｔｈ_Ｎ以下であると判定すると、ステップＳ１４０で、制御部１３２は、ステップＳ１３０での判定に使用するカウンタＮ_ＯＮと、後述するステップＳ１８０での判定に使用するカウンタＮ_ＯＦＦとを更新する。ここでは、カウンタＮ_ＯＮについては、カウント数を１つ増加させる。また、カウンタＮ_ＯＦＦについては０にする。そして、ステップＳ１００に戻る。

ステップＳ１４０でカウンタＮ_ＯＮが増加された後、再びステップＳ１００からステップＳ１２０を繰り返し、ステップＳ１３０で、肯定判定、つまり、カウンタＮ_ＯＮが閾値Ｔｈ_Ｎより大きいと判定すると、制御部１３２は、ステップＳ１５０に移行する。

ステップＳ１５０において、制御部１３２は、センサ１１０からＵＩ操作部１３１へのジェスチャ信号の入力を許可する。つまり、操舵角θから得られる角速度ωが、閾値Ｔｈよりも小さい状態が、所定時間（閾値Ｔｈ_Ｎ）よりも長い間、続いた場合に、制御部１３２は、運転者からのジェスチャの入力を許可するのである。

ジェスチャ信号の入力が許可される運転状態は、具体的には、図３（ａ）に示すように、例えば、長い直線路を走行しており、ステアリング１０の回転操作が行われない場合が挙げられる。あるいは、図３（ｂ）に示すように、例えば、緩く長いカーブ路を走行する際に、一旦、ステアリング１０は、多少回転操作されるものの、その後は、回転操作された位置が長く維持されるような場合が挙げられる。更には、図３（ｂ）に示すように、停車中において、追突されたときに車体が前方に飛び出すのを防止するために、ステアリング１０を縁石側に回したままにするような場合が挙げられる。このように、ステアリング１０に対する大きな回転操作が行われない場合に、運転者のジェスチャによる入力が許可される。

そして、ステップＳ１６０で、制御部１３２は、閾値Ｔｈの値をＴｈ_Ｈｉに更新する。Ｔｈ_Ｈｉは、閾値Ｔｈに対する上限側閾値である。上限側閾値Ｔｈ_Ｈｉは、例えば、閾値Ｔｈに対して、所定値だけ大きく設定される閾値である。よって、ステップＳ１５０でジェスチャ入力を許可し、ステップＳ１６０、Ｓ１７０の後に、ステップＳ１００に戻って、再びステップＳ１２０での判定を行う際には、閾値Ｔｈとして、上限側閾値Ｔｈ_Ｈｉが使用されることになる。

次に、ステップＳ１７０で、制御部１３２は、ステップＳ１３０での判定に使用するカウンタＮ_ＯＮと、後述するステップＳ１８０での判定に使用するカウンタＮ_ＯＦＦとを更新する。ここでは、カウンタＮ_ＯＮ、およびカウンタＮ_ＯＦＦを共に０にして、経過時間のカウントをクリアする。そして、ステップＳ１００に戻る。

一方、ステップＳ１２０で否定判定、つまり、角速度ωが閾値Ｔｈ以上であると、ステップＳ１８０に移行する。ステップＳ１８０では、制御部１３２は、経過時間に対応するカウンタＮ_ＯＦＦの値が、閾値Ｔｈ_Ｎより大きいか否かを判定する。カウンタＮ_ＯＦＦの初期値は０に設定されている。

ステップＳ１８０で、否定判定、つまり、カウンタＮ_ＯＦＦが閾値Ｔｈ_Ｎ以下であると判定すると、ステップＳ１９０で、制御部１３２は、カウンタＮ_ＯＮとカウンタＮ_ＯＦＦとを更新する。ここでは、カウンタＮ_ＯＮについては０にする。また、カウンタＮ_ＯＦＦについてはカウント数を１つ増加させる。そして、ステップＳ１００に戻る。

ステップＳ１９０でカウンタＮ_ＯＦＦが増加された後、再びステップＳ１００からステップＳ１２０を繰り返し、ステップＳ１８０で、肯定判定、つまり、カウンタＮ_ＯＦＦが閾値Ｔｈ_Ｎより大きいと判定すると、制御部１３２は、ステップＳ２００に移行する。

ステップＳ２００において、制御部１３２は、センサ１１０からＵＩ操作部１３１へのジェスチャ信号の入力を禁止する。つまり、操舵角θから得られる角速度ωが、閾値Ｔｈ以上となる状態が、所定時間（閾値Ｔｈ_Ｎ）よりも長い間、続いた場合に、制御部１３２は、運転者からのジェスチャの入力を禁止するのである。

ジェスチャ信号の入力が禁止される運転状態は、具体的には、図３（ｃ）に示すように、例えば、急なカーブ路を走行しており、ステアリング１０の回転操作が大きく（また繰り返し）行われる場合が挙げられる。このように、ステアリング１０に対する大きな回転操作が行われる場合に、運転者のジェスチャによる入力が禁止される。

そして、ステップＳ２１０で、制御部１３２は、閾値Ｔｈの値をＴｈ_Ｌｏに更新する。Ｔｈ_Ｌｏは、閾値Ｔｈに対する下限側閾値である。下限側閾値Ｔｈ_Ｌｏは、例えば、閾値Ｔｈに対して、所定値だけ小さく設定される閾値である。よって、ステップＳ２００でジェスチャ入力を禁止し、ステップＳ２１０、Ｓ２２０の後に、ステップＳ１００に戻って、再びステップＳ１２０での判定を行う際には、閾値Ｔｈとして、下限側閾値Ｔｈ_Ｌｏが使用されることになる。

つまり、図４に示すように、角速度ωの大小に基づくジェスチャ入力の許可判定、あるいは禁止判定は、上限側閾値Ｔｈ_Ｈｉ、および下限側閾値Ｔｈ_Ｌｏによって、ヒステリシスを持つ判定に基づくものとなるのである。具体的には、上限側閾値Ｔｈ_Ｈｉは、入力許可状態において、角速度ωが増加していった場合の入力禁止のための判定値となり、下限側閾値Ｔｈ_Ｌｏは、入力禁止状態において、角速度ωが減少していった場合の入力許可のための判定値となる。

次に、ステップＳ２２０で、制御部１３２は、ステップＳ１３０での判定に使用するカウンタＮ_ＯＮと、ステップＳ１８０での判定に使用するカウンタＮ_ＯＦＦとを更新する。ここでは、カウンタＮ_ＯＮ、およびカウンタＮ_ＯＦＦを共に０にして、経過時間のカウントをクリアする。そして、ステップＳ１００に戻る。

以上のように、本実施形態では、制御部１３２は、操舵角センサ１２０で検出された操舵角θから得られる角速度ωに基づいて、センサ１１０で検出されたジェスチャの入力を許可、あるいは禁止するようになっている。そして、制御部１３２は、角速度ωが、閾値Ｔｈ以上となる場合に、ジェスチャの入力を禁止するようにしている。

これにより、操舵角センサ１２０から得られる角速度ωが、閾値Ｔｈ以上のときは、運転者は、ステアリング１０を大きく回転操作をしている場合であり、このとき制御部１３２は、ジェスチャの入力を禁止する。よって、運転者に対して車両の運転に集中させることができ、安全運転につなげることができる。

一方、操舵角センサ１２０から得られる角速度ωが、閾値Ｔｈより小さいときは、運転者によるステアリング１０の回転操作は小さく、運転者にはジェスチャを行う余裕ができる。このような場合には、本来のジェスチャ入力を許可することで、運転者のジェスチャによる入力の利便性を高めることができる。

また、制御部１３２は、角速度ωが、予め定めた所定時間（Ｔｈ_Ｎ）以上にわたって、閾値Ｔｈ以上となるときに、ジェスチャの入力を禁止するようにしている。これにより、ジェスチャの入力禁止の判定結果に対する信頼度を上げることができる。

また、閾値Ｔｈは、角速度ωが増加してジェスチャの入力を禁止するための判定値となる上限側閾値Ｔｈ_Ｈｉと、角速度ωが減少して、ジェスチャの入力を許可するための判定値となる下限側閾値Ｔｈ_Ｌｏとを備えている。つまり、ステップＳ１６０で閾値Ｔｈを上限側閾値Ｔｈ_Ｈｉに更新し、ステップＳ２１０で閾値Ｔｈを下限側閾値Ｔｈ_Ｌｏに更新するようにしている。

これにより、ジェスチャの入力を禁止するための上限側閾値Ｔｈ_Ｈｉと、ジェスチャの入力を許可するための下限側閾値Ｔｈ_Ｌｏとによって、ヒステリシスを持つ判定に基づくものとすることができる。よって、単に閾値Ｔｈのみを設けた場合の閾値Ｔｈの近傍で、禁止判定、あるいは許可判定が頻繁に反転してしまうことを防止でき、安定した判定が可能となる。

（その他の実施形態）
上記各実施形態では、運転者の手の指を体の特定部位としたものとして説明したが、これに限定されるものではなく、その他、運転者の手の平、腕等を対象としてもよい。

また、センサ１１０の設定位置は、インストルメントパネル１２限定されるものではなく、他にも、図５に示すように、車両の天井部等として、運転者の手の指、手の平、腕等の位置を検知するものとしてもよい。

また、体の特定部位の動き（ジェスチャ）としては、左右方向の動作に限らず、体の特定部位とセンサ１１０との位置関係を考慮することで、上下、前後、斜め、回転等種々の動作を適用することができる。

また、検知したジェスチャと制御内容との対応付けも、上記実施形態に限定されることなく、種々設定が可能である。

１０ステアリング
１００ジェスチャ入力装置
１１０センサ（検出部）
１２０操舵角センサ
１３２制御部

Claims

車両に搭載されて、操作者の体の特定部位のジェスチャを検出する検出部（１１０）と、
前記車両のステアリング（１０）の操舵時の操舵角（θ）を検出する操舵角センサ（１２０）と、
前記操舵角センサ（１２０）で検出された前記操舵角（θ）から得られる角速度（ω）に基づいて、前記検出部（１１０）で検出された前記ジェスチャの入力を許可、あるいは禁止すると共に、前記角速度（ω）が、予め定めた閾値（Ｔｈ）以上のときは、前記ジェスチャの入力を禁止する制御部（１３２）とを備えることを特徴とするジェスチャ入力装置。
前記制御部（１３２）は、前記角速度（ω）が、予め定めた所定時間（Ｔｈ_Ｎ）以上にわたって、前記閾値（Ｔｈ）以上となるときに、前記ジェスチャの入力を禁止することを特徴とする請求項１に記載のジェスチャ入力装置。
前記閾値（Ｔｈ）は、前記角速度（ω）が増加して前記ジェスチャの入力を禁止するための判定値となる上限側閾値（Ｔｈ_Ｈｉ）と、前記角速度（ω）が減少して、前記ジェスチャの入力を許可するための判定値となる下限側閾値（Ｔｈ_Ｌｏ）とを備えることを特徴とする請求項１または請求項２に記載のジェスチャ入力装置。