JP2017191496A - ジェスチャ判定装置 - Google Patents

Abstract

【課題】ジェスチャの判定に伴う処理負荷を抑制することができるジェスチャ判定装置を提供する。【解決手段】ジェスチャ判定装置１は、撮像領域３０を撮像するカメラ３と、撮像された撮像領域３０内に設定したトリガ検出領域５０においてジェスチャの判定開始トリガを検出するトリガ検出部５と、検出された判定開始トリガに基づいて手９によるジェスチャを判定するための判定領域７０を、手９の移動又は形状に応じて撮像された撮像領域３０に設定し、設定された判定領域７０において判定された手９によるジェスチャのジェスチャ情報Ｓ３を出力する制御部７と、を備えて概略構成されている。【選択図】図２

Description

本発明は、ジェスチャ判定装置に関する。

従来の技術として、操作物体と、外力の作用によって移動可能とされた所定の可動物体とを撮像する撮像手段と、撮像手段による操作物体及び可動物体の撮像画像に基づいて、当該両物体の位置を特定する位置特定手段と、位置特定手段によって特定された両物体の位置が同期して動いたか否かの判定を行う同期移動判定手段と、同期移動判定手段によって肯定的な判定結果が得られた場合に、操作物体の撮像画像に基づくジェスチャの認識結果を無効にするジェスチャ認識制御手段と、を備えたジェスチャ認識装置が知られている（例えば、特許文献１参照。）。

このジェスチャ認識装置は、可動物体を移動させる動作がジェスチャと誤認識されることを回避することができる。

特開２０１４−１２６８７９号公報

しかし従来のようなジェスチャ認識装置は、撮像された領域全体に対して認識処理を行うので処理負荷が大きい。

従って本発明の目的は、ジェスチャの判定に伴う処理負荷を抑制することができるジェスチャ判定装置を提供することにある。

本発明の一態様は、撮像領域を撮像する撮像部と、撮像された撮像領域内に設定したトリガ検出領域においてジェスチャの判定開始トリガを検出するトリガ検出部と、検出された判定開始トリガに基づいて検出対象によるジェスチャを判定するための判定領域を、検出対象の移動又は形状に応じて撮像された撮像領域に設定し、設定された判定領域において判定された検出対象によるジェスチャの情報を出力する判定部と、を備えたジェスチャ判定装置を提供する。

本発明によれば、ジェスチャの判定に伴う処理負荷を抑制することができる。

図１（ａ）は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。 図２（ａ）〜図２（ｄ）は、実施の形態に係るジェスチャ判定装置の判定領域の設定の一例について説明するための概略図である。 図３は、実施の形態に係るジェスチャ判定装置の動作の一例を示すフローチャートである。

（実施の形態の要約）
実施の形態に係るジェスチャ判定装置は、撮像領域を撮像する撮像部と、撮像された撮像領域内に設定したトリガ検出領域においてジェスチャの判定開始トリガを検出するトリガ検出部と、検出された判定開始トリガに基づいて検出対象によるジェスチャを判定するための判定領域を、検出対象の移動又は形状に応じて撮像された撮像領域に設定し、設定された判定領域において判定された検出対象によるジェスチャの情報を出力する判定部と、を備えて概略構成されている。

このジェスチャ判定装置は、撮像された撮像領域の全域を対象としてジェスチャの判定を行うのではなく、まず撮像された撮像領域の一部の領域であるトリガ検出領域において判定開始トリガを監視する。そしてジェスチャ判定装置は、判定開始トリガが検出されると、検出対象の移動又は形状に応じて判定領域を設定してジェスチャを判定するので、撮像された撮像領域の全域を対象とする場合と比べて、ジェスチャの判定に伴う処理負荷を抑制することができる。

[実施の形態]
（ジェスチャ判定装置１の概要）
図１（ａ）は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。図２（ａ）〜図２（ｄ）は、実施の形態に係るジェスチャ判定装置の判定領域の設定の一例について説明するための概略図である。この図２（ａ）〜図２（ｃ）は、検出対象の移動に基づいて判定領域を設定する場合を示している。また図２（ｄ）は、検出対象の形状に基づいて判定領域を設定する場合を示している。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）及び図１（ｃ）では、主な信号や情報の流れを矢印で示している。

ジェスチャ判定装置１は、例えば、なされたジェスチャに基づいて車両８に搭載された電子機器の操作を可能とするものである。操作者は、予め定められたジェスチャを行うことでジェスチャに対応する電子機器の機能を操作することができる。この電子機器は、一例として、図１（ｃ）に示すナビゲーション装置８４及び音楽及び映像再生装置８５などである。ジェスチャ判定装置１及び電子機器は、一例として、図１（ｃ）に示すように、車両通信システム８１を構成している。なお本実施の形態では、操作者の手９を検出対象とする。

ジェスチャ判定装置１は、図１（ａ）〜図１（ｃ）、図２（ａ）〜図２（ｄ）に示すように、撮像領域３０を撮像する撮像部としてのカメラ３と、撮像された撮像領域３０内に設定したトリガ検出領域５０においてジェスチャの判定開始トリガを検出するトリガ検出部５と、検出された判定開始トリガに基づいて手９によるジェスチャを判定するための判定領域７０を、手９の移動又は形状に応じて撮像された撮像領域３０に設定し、設定された判定領域７０において判定された手９によるジェスチャの情報（ジェスチャ情報Ｓ_３）を出力する判定部としての制御部７と、を備えて概略構成されている。

この制御部７は、例えば、図２（ａ）〜図２（ｃ）に示すように、トリガ検出領域５０において手９の移動を検出した場合、手９の移動方向の領域を含むようにトリガ検出領域５０を拡張した判定領域７０を設定する。この手９の移動を伴うジェスチャは、例えば、後述するジェスチャ情報７５として制御部７に記憶されている。

また制御部７は、例えば、図２（ｄ）に示すように、トリガ検出領域５０において検出された手９の形状が登録された形状であった場合、トリガ検出領域５０を含むように撮像領域３０を縮小した判定領域７０を設定する。この登録された手９の形状は、例えば、後述するジェスチャ情報７５として制御部７に記憶されている。

（カメラ３の構成）
カメラ３は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。

このカメラ３は、一例として、図１（ａ）に示すように、車両８の運転席と助手席の間のフロアコンソール８０ｂに配置されたタッチパッド８８の近傍に配置されている。従って撮像領域３０は、タッチパッド８８の上方の領域である。カメラ３は、例えば、タッチパッド８８の上方において行われたジェスチャを撮像する。また、このカメラ３は、例えば、近赤外線を撮像領域３０方向に照射して撮像するように構成されている。

なおカメラ３の配置は、フロアコンソール８０ｂに限定されず、センターコンソール８０ａなどでも良い。

カメラ３は、周期的に撮像領域３０を撮像し、撮像した画像の情報として画像情報Ｓ_１を生成して制御部７に出力する。この撮像領域３０を撮像した画像は、一例として、図２（ａ）〜図２（ｄ）に示す画像３５である。

（トリガ検出部５の構成）
トリガ検出部５は、例えば、カメラ３から画像情報Ｓ_１を取得し、この画像情報Ｓ_１に基づいた画像３５に対してトリガ検出領域５０を設定する。このトリガ検出領域５０は、例えば、検出対象のサイズに応じて設定されると共に、撮像領域３０を撮像して得られた画像３５の中央の基準位置３１を含むように設定されている。この基準位置３１は、例えば、タッチパッド８８の中央上方の位置である。

トリガ検出部５は、画像３５の全体、つまり撮像領域３０の全域において判定開始トリガを監視するのではなく、撮像領域３０よりも小さいトリガ検出領域５０において判定開始トリガを監視する。そしてトリガ検出部５は、トリガ検出領域５０において判定開始トリガが検出されると、トリガ信号Ｓ_２を制御部７に出力する。このトリガ信号Ｓ_２は、ジェスチャの判定処理の開始を指示するトリガとなる信号である。

この判定開始トリガは、一例として、トリガ検出領域５０の輝度、色の変化、手９の形状などである。トリガ検出部５は、トリガ判定情報５５に基づいて判定開始トリガの有無を判定する。この判定開始トリガの判定は、判定開始トリガが検出されるまで行われる。このトリガ判定情報５５は、例えば、輝度や色の変化の判定の基準となるしきい値が含まれている。

トリガ検出部５は、例えば、輝度や色の変化量が当該しきい値以上となると、判定開始トリガが検出されたとする。またトリガ判定情報５５は、例えば、手９の形状の情報を含んでいる。トリガ検出部５は、例えば、トリガ検出領域５０に手９が含まれていた場合、トリガ判定情報５５に基づいて撮像された手９の形状がジェスチャを開始するための形状であると判定開始トリガが検出されたとする。

（制御部７の構成）
制御部７は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部７が動作するためのプログラムと、ジェスチャ情報７５と、が格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。

ジェスチャ情報７５は、例えば、手９によって行われるジェスチャに関する情報である。この手９によって行われるジェスチャは、例えば、手９を上下又は左右に移動させるジェスチャ、手９によって円を描くように行われるジェスチャなどである。これらのジェスチャは、判定領域７０の設定を容易とするため、手９の形状を変えて行われる。なお上下左右は、特に断らない限り車両８の上下左右が基準となっている。

手９を上下又は左右に移動させるジェスチャは、一例として、図２（ａ）〜図２（ｃ）に示すように、手９を広げて、かつ掌をカメラ３に向けて、つまりタッチパッド８８に手９をかざすように行われる。このジェスチャは、一例として、ナビゲーション装置８４が表示装置８７に表示させている地図画像を手９の移動方向にスクロールさせるジェスチャである。ナビゲーション装置８４は、例えば、ジェスチャ情報Ｓ_３に基づいて手９の移動方向に地図画像をスクロールさせる。

手９によって円を描くように行われるジェスチャは、一例として、図２（ｄ）に示すように、指を立てた状態で行われるジェスチャである。このジェスチャは、例えば、ナビゲーション装置８４の音声ガイドの音量、音楽及び映像再生装置８５の音量などを調整するジェスチャである。例えば、操作者が指を立ててカメラ３に対して時計回りに円を描くジェスチャを行うと、音量が上がり、反時計回りに円を描くジェスチャを行うと、音量が下がる。また空調装置８６の場合は、例えば、ジェスチャ情報Ｓ_３に基づいて設定温度や風量が変化する。

上述のように、ジェスチャの種類によって、手９の移動範囲には違いがある。従って制御部７は、手９が上方向、下方向、左方向又は右方向に移動する場合、移動する方向にトリガ検出領域５０を拡張する。制御部７は、一例として、図２（ｂ）に示すように、手９の形状が、手９が開いた状態で、かつ左側に移動する場合、移動する方向、つまり図２（ｂ）の紙面左側の領域を含むように判定領域７０を拡張する。この拡張により、制御部７は、撮像された画像３５の全域、つまり撮像領域３０の全域においてジェスチャの判定処理を行うことなく、撮像領域３０の一部である判定領域７０においてのみジェスチャの判定処理を行う。

また制御部７は、一例として、図２（ｄ）に示すように、手９の形状が指を立てた形状である場合、手９で円を描くようなジェスチャを行うとして撮像領域３０を縮小したような判定領域７０を設定する。なお判定領域４０は、撮像領域３０を縮小して設定されても良いし、トリガ検出領域５０を拡張して設定されても良い。

制御部７は、トリガ信号Ｓ_２を取得すると、判定開始トリガが検出された画像情報Ｓ_１に基づいてトリガ検出領域５０における手９のジェスチャをジェスチャ情報７５に基づいて判定する。そして制御部７は、判定したジェスチャに関するジェスチャ情報Ｓ_３を生成して出力する。

（車両通信システム８１の構成）
車両通信システム８１は、一例として、ＣＡＮ（Controller Area Network）などの規格を用いた通信システムである。車両通信システム８１は、例えば、車両ＬＡＮ（Local Area Network）８２を介してジェスチャ判定装置１やナビゲーション装置８４などが通信を行う。

この車両通信システム８１は、一例として、図１（ｃ）に示すように、ジェスチャ判定装置１、車両制御部８３、ナビゲーション装置８４、音楽及び映像再生装置８５、空調装置８６、表示装置８７及びタッチパッド８８などが通信できるように構成されている。車両制御部８３は、例えば、この車両通信システム８１を制御するマイクロコンピュータである。

ジェスチャ判定装置１がナビゲーション装置８４を操作する場合、ジェスチャ判定装置１から出力されたジェスチャ情報Ｓ_３は、車両ＬＡＮ８２を介してナビゲーション装置８４に入力する。ナビゲーション装置８４は、入力したジェスチャ情報Ｓ_３に基づいて動作を行う。

以下に、本実施の形態のジェスチャ判定装置１の動作の一例について図３のフローチャートに従って説明する。

（動作）
車両８の電源が投入されると、ジェスチャ判定装置１のカメラ３は、撮像した撮像領域３０の画像３５の情報である画像情報Ｓ_１を、制御部７を介してトリガ検出部５に出力する。トリガ検出部５は、取得した画像情報Ｓ_１に基づく画像３５にトリガ検出領域５０を設定し、トリガ判定情報５５に基づいて判定開始トリガの検出処理を開始する（Ｓｔｅｐ１）。

トリガ検出部５は、判定開始トリガが検出されると（Ｓｔｅｐ２：Ｙｅｓ）、トリガ信号Ｓ_２を制御部７に出力する。

制御部７は、トリガ信号Ｓ_２に基づいて判定領域７０の設定を開始する（Ｓｔｅｐ３）。制御部７は、ジェスチャ情報７５に基づいてトリガ検出領域５０における手９の移動や形状を判定する。手９の移動の判定は、時系列的に取得した複数の画像３５に対して行われる。この複数の画像３５は、例えば、予め定められた期間に取得された画像３５である。

制御部７は、ジェスチャ情報７５によって規定された手９の移動や形状が検出された場合（Ｓｔｅｐ４：Ｙｅｓ）、移動方向や手９の形状に応じた判定領域７０を設定する（Ｓｔｅｐ５）。

制御部７は、設定した判定領域７０においてジェスチャがなされているか判定する（Ｓｔｅｐ６）。制御部７は、ジェスチャ情報７５に基づいてジェスチャが判定された場合（Ｓｔｅｐ７：Ｙｅｓ）、判定されたジェスチャに基づいたジェスチャ情報Ｓ_３を操作対象の電子機器に出力する（Ｓｔｅｐ８）。

ここでステップ２においてトリガ検出部５は、取得した画像情報Ｓ_１において判定開始トリガが検出されなかった場合（Ｓｔｅｐ２：Ｎｏ）、ステップ１に処理を進めて次の画像情報Ｓ_１を取得する。

ステップ４において制御部７は、予め定められた期間に取得された複数の画像３５において、規定された手９の移動や形状が検出されなかった場合（Ｓｔｅｐ４：Ｎｏ）、ステップ１に処理を進めて次の画像情報Ｓ_１を取得する。

ステップ７において制御部７は、ジェスチャが判定されなかった場合（Ｓｔｅｐ７：Ｎｏ）、ステップ１に処理を進めて次の画像情報Ｓ_１を取得する。

（実施の形態の効果）
本実施の形態に係るジェスチャ判定装置１は、ジェスチャの判定に伴う処理負荷を抑制することができる。このジェスチャ判定装置１は、撮像された撮像領域３０の全域を対象としてジェスチャの判定を行うのではなく、まず撮像された撮像領域３０の一部の領域であるトリガ検出領域５０において判定開始トリガを監視する。そしてジェスチャ判定装置１は、トリガ検出領域５０において判定開始トリガが検出されると、手９の移動又は形状に応じて判定領域７０を設定してジェスチャを判定するので、撮像された撮像領域の全域を対象とする場合と比べて、ジェスチャの判定に伴う処理負荷を抑制することができる。

ジェスチャ判定装置１は、タッチパッド８８に手９をかざすようにジェスチャを行って操作対象を操作することができるので、タッチパッドによってのみ操作する場合と比べて、視線移動を抑制して操作負荷を低減することができる。

なお上述のジェスチャ判定装置１は、タッチパッド８８の上方で行われたジェスチャを検出するように構成されていたがこれに限定されず、ステアリングやセンターコンソール８０ａなどの近傍で行われたジェスチャを検出するように構成されても良い。

上述の実施の形態及び変形例に係るジェスチャ判定装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。

以上、本発明の実施の形態を説明したが、この実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、この実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、この実施の形態は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…ジェスチャ判定装置、３…カメラ、５…トリガ検出部、７…制御部、８…車両、９…手、３０…撮像領域、３１…基準位置、３５…画像、４０…判定領域、５０…トリガ検出領域、５５…トリガ判定情報、７０…判定領域、７５…ジェスチャ情報、８０ａ…センターコンソール、８０ｂ…フロアコンソール、８１…車両通信システム、８２…車両ＬＡＮ、８３…車両制御部、８４…ナビゲーション装置、８５…音楽及び映像再生装置、８６…空調装置、８７…表示装置、８８…タッチパッド

Claims (3)

1. 撮像領域を撮像する撮像部と、
   撮像された前記撮像領域内に設定したトリガ検出領域においてジェスチャの判定開始トリガを検出するトリガ検出部と、
   検出された前記判定開始トリガに基づいて検出対象によるジェスチャを判定するための判定領域を、前記検出対象の移動又は形状に応じて撮像された前記撮像領域に設定し、設定された前記判定領域において判定された前記検出対象によるジェスチャの情報を出力する判定部と、
   を備えたジェスチャ判定装置。
2. 前記判定部は、前記トリガ検出領域において前記検出対象の移動を検出した場合、前記検出対象の移動方向の領域を含むように前記トリガ検出領域を拡張した前記判定領域を設定する、
   請求項１に記載のジェスチャ判定装置。
3. 前記判定部は、前記トリガ検出領域において検出された前記検出対象の形状が登録された形状であった場合、前記トリガ検出領域を含むように撮像された前記撮像領域を縮小した前記判定領域を設定する、
   請求項１又は２に記載のジェスチャ判定装置。

Images