JP2018025888A - 操作装置 - Google Patents

Abstract

【課題】利用者の煩わしさを軽減することが可能な操作装置を提供する。
【解決手段】操作装置１００は、利用者のジェスチャを検出するジェスチャ検出手段１０と、利用者の操作意思を検出する意思検出手段２０と、ジェスチャ検出手段１０によってジェスチャが検出され、かつ、意思検出手段２０によって操作意思が検出された場合に、ジェスチャに応じた操作信号を対象機器に出力する制御部３０と、を備える。
【選択図】図２

Description

本発明は、ジェスチャを検出して対象機器を操作する操作装置に関する。

従来、利用者が空間上で行ったジェスチャを検出し、対象機器を操作する操作装置として特許文献１に開示されるものが知られている。特許文献１に開示されるジェスチャ認識装置（操作装置）は、画像を取得する画像取得手段と、前記取得した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出手段と、前記抽出した対象部位の形状を特定する対象部位形状特定手段と、前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定手段と、前記代表点の動きに基いてジェスチャを認識するジェスチャ認識手段と、前記認識したジェスチャに対応する命令を生成するコマンド生成手段と、を有し、前記代表点決定手段は、前記特定した対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定する。かかるジェスチャ認識装置は、利用者の意図通りにジェスチャを認識することができる、とする。

特開２０１５−１７２８８７号公報

しかしながら、かかるジェスチャ認識装置においては、認識したジェスチャは全て利用者が操作を意図して行った動作であることを前提とする。しかしながら、実際には利用者が操作を意図せずに行った手の動きなどがジェスチャとして認識される場合があり、このように操作を意図しない動作に基いて対象機器の操作が行われると、利用者にとっては煩わしい。

本発明は、上記の問題点に鑑みてなされたものであり、利用者のジェスチャを検出して対象機器を操作する操作装置において、利用者の煩わしさを軽減することが可能な操作装置を提供することを目的とする。

本発明の操作装置は、前述の課題を解決するために、利用者のジェスチャを検出するジェスチャ検出手段と、前記利用者の操作意思を検出する意思検出手段と、前記ジェスチャ検出手段によって前記ジェスチャが検出され、かつ、前記意思検出手段によって前記操作意思が検出された場合に、前記ジェスチャに応じた操作信号を対象機器に出力する制御部と、を備えてなる、ことを特徴とする。

本発明によれば、利用者の煩わしさを軽減することが可能となる。

本発明の第１の実施形態である車両用表示システムの概観を示す図である。 同上実施形態の電気的構成を示すブロック図である。 同上実施形態におけるジェスチャ操作処理を示すフローチャート図である。 本発明の第２の実施形態である車両用表示システムの概観を示す図である。 同上実施形態の電気的構成を示すブロック図である。 同上実施形態におけるジェスチャ操作処理を示すフローチャート図である。

以下、本発明を車両用表示システムに適用した実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。

（第１の実施形態）
図１は、本実施形態に係る車両用表示システム１の概観を示す図であり、図２は車両用表示システム１の電気的構成を示す図である。
車両用表示システム１は、操作装置１００と、表示器２００（対象機器の一例）とから構成されている。操作装置１００と表示器２００とは互いに通信可能に有線あるいは無線接続されている。操作装置１００と表示器２００とは、車両ＣのインストルメントパネルＣ１に設置されている。

操作装置１００は、ジェスチャ検出手段１０と、意思検出手段２０と、制御部３０と、を備える。操作装置１００は、利用者２（主として車両Ｃの運転者）のジェスチャＧを検出し、ジェスチャＧに応じて表示器２００を操作する。

ジェスチャ検出手段１０は、発光部１１と、受光部１２と、ジェスチャ判定部１３と、を備え、利用者２の所定のジェスチャＧを検出する。ここで、「ジェスチャ」とは利用者２が身体の少なくとも一部を用いて行う動作であり、具体的には手をかざす、手を払うなどの動作である。発光部１１は、例えば赤外線ＬＥＤ（Light Emitting Diode）からなり、所定のエリア（例えば表示器２００の表示画面の手前）に向けて赤外線を照射する。受光部１２は、例えば赤外線フォトダイオードからなり、主に発光部１１で照射され、物体（主として利用者２の手）を反射した赤外線を受光する。ジェスチャ判定部１３は、例えばマイクロコンピュータからなり、受光部１２が所定時間間隔で受光した赤外線の照度の差分を算出して所定のジェスチャＧの有無を判定する。ジェスチャ判定部１３は、所定のジェスチャＧがあったと判定すると、制御部３０に検出したジェスチャＧを示すジェスチャ検出情報を送信する。

意思検出手段２０は、撮像部２１と、意思判定部２２と、を備え、利用者２の操作意思を検出する。ここで、「操作意思」とは、対象機器である表示器２００を操作しようとする意思を意味している。撮像部２１は、例えばＣＣＤやＣＭＯＳなどの撮像素子からなり、少なくとも利用者２の顔部を撮像する。意思判定部２２は、例えばマイクロコンピュータからなり、撮像部２１が撮像した撮像画像に基いて、利用者２の操作意思の有無を判定する。具体的には、意思判定部２２は、撮像画像に基いて、利用者２の顔または視線が表示器２００またはジェスチャ検出手段１０によってジェスチャＧを検出可能な所定のジェスチャ検出領域（発光部１１で赤外線が照射されるエリア）を向いていると判定される場合に、利用者２の操作意思があると判定する。意思判定部２２は、操作意思があると判定すると、制御部３０に操作意思検出情報を送信する。

制御部３０は、例えばマイクロコンピュータからなり、制御部３０が実行する処理（操作装置１００全体の制御など）を実際に行うＣＰＵ（Central Processing Unit）と、ＣＰＵのメインメモリとして機能するＲＡＭ（Random Access Memory）と、制御部３０に後述の処理などを実行させる各種プログラムを記憶するＲＯＭ（Read Only Memory）と、制御部３０に入出力される情報（信号）をＣＰＵ用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部３０は、ジェスチャ検出手段１０からジェスチャ検出情報を入力し、また、意思検出手段２０から操作意思検出情報を入力して、後述するジェスチャ操作処理を実行することによって、ジェスチャ検出手段１０によってジェスチャＧが検出され、かつ、意思検出手段２０によって操作意思が検出された場合に、検出されたジェスチャＧに応じた操作信号を表示器２００に出力する。

表示器２００は、例えばＴＦＴ型の液晶表示装置や有機ＥＬ表示装置からなり、ナビゲーション情報やオーディオ情報などの各種情報を表示する。表示器２００は、操作装置１００から操作信号を入力し、操作信号に基いて表示内容の変更や各種機能の選択などの制御を実行する。すなわち、表示器２００は、操作装置１００で検出される利用者２のジェスチャＧによって、操作される。

次に、図３を用いて、操作装置１００の制御部３０によるジェスチャ操作処理について説明する。

まず、ステップＳ１において、制御部３０は、ジェスチャ検出手段１０によって利用者２のジェスチャＧを検出したか否かを判断する。具体的には、ジェスチャ検出手段１０からのジェスチャ検出情報の有無を判断する。制御部３０は、ジェスチャ検出手段１０によって利用者２のジェスチャＧを検出した（ジェスチャ検出情報を入力した）と判断した場合（ステップＳ１でＹｅｓ）は、ステップＳ２に進み、利用者２のジェスチャＧを検出していない（ジェスチャ検出情報を入力していない）と判断した場合（ステップＳ１でＮｏ）は、繰り返しステップＳ１を実行する。

次に、ステップＳ２において、制御部３０は、意思検出手段２０によって利用者２の操作意思を検出したか否かを判断する。具体的には、意思検出手段２０からの操作意思検出情報の有無を判断する。制御部３０は、意思検出手段２０によって利用者２の操作意思を検出した（操作意思検出情報を入力した）と判断した場合（ステップＳ２でＹｅｓ）は、ステップＳ３に進み、利用者２の操作意思を検出していない（操作意思検出情報を入力していない）と判断した場合（ステップＳ２でＮｏ）は、ステップＳ１に戻って再度ステップＳ１から処理を実行する。

次に、ステップＳ３において、ジェスチャ検出手段１０で検出したジェスチャＧに応じた操作信号を表示器２００に出力する。

以上の処理を繰り返し実行することによって、操作装置１００は、ジェスチャ検出手段１０によって利用者２のジェスチャＧが検出され（ステップＳ１でＹｅｓ）、かつ、意思検出手段２０で利用者２の操作意思が検出された（ステップＳ２でＹｅｓ）場合に、検出されたジェスチャＧに応じた操作信号を表示器２００に出力することができる。したがって、ジェスチャ検出手段１０によって利用者２のジェスチャＧが検出された場合であっても、意思検出手段２０で利用者２の操作意思が検出されない（ステップＳ２でＮｏ）ときには、表示器２００が操作されることがなく、操作を意図しない動作によって表示器２００が操作されることを抑制することができる。なお、ステップＳ１及びＳ２の処理は順序が入れ替わってもよく、同時に行われてもよい。

本実施形態に係る操作装置１００は、利用者２のジェスチャＧを検出するジェスチャ検出手段１０と、利用者２の操作意思を検出する意思検出手段２０と、ジェスチャ検出手段１０によってジェスチャＧが検出され、かつ、意思検出手段２０によって前記操作意思が検出された場合に、ジェスチャＧに応じた操作信号を対象機器（表示器２００）に出力する制御部３０と、を備えてなる。
これによれば、操作を意図しない動作によって表示器２００が操作されることを抑制することができ、利用者２の煩わしさを軽減することができる。

また、意思検出手段２０は、少なくとも利用者２の顔部を撮像する撮像部２１と、撮像部２１が撮像した撮像画像に基いて利用者２の顔または視線が前記対象機器またはジェスチャ検出手段１０によってジェスチャＧを検出可能な所定のジェスチャ検出領域を向いていると判定される場合に、前記操作意思があると判定する意思判定部２２と、を備えてなる。
利用者２は、対象機器を操作しようとする場合は通常その方向に顔あるいは視線を向けることが多い。これによれば、容易に利用者２の操作意思を検出することができる。

（第２の実施形態）
次に、図４〜図６を用いて、本発明の第２の実施形態について説明する。第２の実施形態に係る操作装置１０１が前述の第１の実施形態の操作装置１００と異なる点は、意思検出手段２０に替えて意思検出手段４０を備える点である。以下、意思検出手段４０について主に説明し、前述の第１の実施形態と同一あるいは相当個所には同一符号を付してその詳細は省略する。

図４及び図５に示すように、操作装置１０１は、ジェスチャ検出手段１０と、意思検出手段４０と、制御部３０と、を備える。

意思検出手段４０は、生体情報検出部４１と、意思判定部４２と、を備え、利用者２の操作意思を検出する。生体情報検出部４１は、利用者の生体情報を検出する。具体的には、生体情報検出部４１は、本実施形態においては利用者２の生体情報として利用者２の身体のうち所定の部位の筋肉を動かすときに生じる電圧（筋電位）を測定する筋電位測定部である。より具体的には、生体情報検出部４１は、利用者２のジェスチャＧを行う前腕（図４では左前腕）に装着され、少なくとも指先を伸ばす筋肉の筋電位を測定する。意思判定部４２は、例えばマイクロコンピュータからなり、生体情報検出部４１が検出した生体情報に基いて、利用者２の操作意思の有無を判定する。本実施形態において、意思判定部４２は、生体情報検出部４１が検出した筋電位の値に基いて、利用者２の指先が伸びていると判定される場合に、利用者２の操作意思があると判定する。意思判定部４２は、操作意思があると判定すると、制御部３０に操作意思検出情報を送信する。

図６は、操作装置１０１の制御部３０によるジェスチャ操作処理を示す。

ステップＳ１１は、前述のステップＳ１と同様である。

ステップＳ１２において、制御部３０は、意思検出手段４０によって利用者２の操作意思を検出したか否かを判断する。具体的には、意思検出手段４０からの操作意思検出情報の有無を判断する。制御部３０は、意思検出手段４０によって利用者２の操作意思を検出した（操作意思検出情報を入力した）と判断した場合（ステップＳ１２でＹｅｓ）は、ステップＳ１３に進み、利用者２の操作意思を検出していない（操作意思検出情報を入力していない）と判断した場合（ステップＳ１２でＮｏ）は、ステップＳ１１に戻って再度ステップＳ１から処理を実行する。

ステップＳ１３は、前述のステップＳ３と同様である。

以上の処理を繰り返し実行することによって、操作装置１０１は、ジェスチャ検出手段１０によって利用者２のジェスチャＧが検出され（ステップＳ１１でＹｅｓ）、かつ、意思検出手段４０で利用者２の操作意思が検出された（ステップＳ１２でＹｅｓ）場合に、検出されたジェスチャＧに応じた操作信号を表示器２００に出力することができる。したがって、ジェスチャ検出手段１０によって利用者２のジェスチャＧが検出された場合であっても、意思検出手段４０で利用者２の操作意思が検出されない（ステップＳ１２でＮｏ）ときには、表示器２００が操作されることがなく、操作を意図しない動作によって表示器２００が操作されることを抑制することができる。なお、ステップＳ１１及びＳ１２の処理は順序が入れ替わってもよく、同時に行われてもよい。

（変形例）
意思検出手段４０の生体情報検出部４１は、筋電位測定部に替えて、利用者２の生体情報として利用者２の脳測定情報（脳波、脳血流量、脳電磁波）を測定する脳測定部を用いてもよい。この場合、生体情報検出部４１は例えば利用者２の頭部に装着される、または車両Ｃのヘッドレストに設置される。変形例において、意思判定部４２は、例えば脳波の状態から利用者２の意思が「操作」の状態であるか否かを判定する。意思判定部４２は、「操作」の状態であると判定すると、制御部３０に操作意思検出情報を送信する。利用者２の意思の判断は、例えば予め利用者２が「操作」の意思を持った状態での脳波を測定して基準データとして記憶しておき、計測した脳波の状態と基準データと一致あるいは近似するか否かを判断することで行う。基準データと一致あるいは近似しない場合は「操作意思なし」と判定する。

本実施形態に係る操作装置１０１において、意思検出手段４０は、利用者２の生体情報を検出する生体情報検出部４１と、生体情報検出部４１が検出した前記生体情報に基いて前記操作意思の有無を判定する意思判定部４２と、を備えてなる。
これによれば、より確実に利用者２の操作意思を検出することができる。

また、前記生体情報は、利用者２の筋電位であり、意思判定部４２は、生体情報検出部４１が検出した前記筋電位の値に基いて利用者２の指先が伸びていると判定される場合に、前記操作意思があると判定する。
利用者２は操作に慣れた場合や車両Ｃを運転している際には、顔や視線を対象機器側に向けずに操作する場合もある。一方、利用者２が操作の意図を持って手によるジェスチャＧを行う場合には指先は緊張し伸びている状態となり、操作の意図を持たずに手を動かす場合には指先は脱力し曲がっている状態となることが多い。そのため、より確実に利用者２の操作意思を検出することができる。

前記生体情報は、利用者２の脳測定情報であり、意思判定部４２は、生体情報検出部４１が検出した前記脳測定情報に基いて前記操作意思の有無を判定する。
これによれば、より直接的に利用者２の操作意思を検出することができる。

なお、本発明は前述の実施形態に限定されるものではない。本実施形態において、車両用表示システム１は、表示器２００を備えるものであったが、表示器２００に替えて、対象機器としてウィンドシールドなどの透過反射部で表示器からの表示光を反射して表示画像の虚像（表示像）を運転者に風景と重ねて視認させるヘッドアップディスプレイ（Head-UP Display；ＨＵＤ）装置を備えてもよい。また、制御部３０がジェスチャ判定部１３及び／あるいは意思判定部２２，４２としての機能を有してもよい。また、本発明の操作装置が操作する対象機器は表示器に限定されるものではなく、例えば音響機器などであってもよい。また、本発明の操作装置が操作する対象機器は車載機器に限定されるものではなく、テレビなどの家庭用機器であってもよい。また、本発明の操作装置において、ジェスチャ検出手段は、所定のエリアを撮像する撮像部と、撮像部が撮像した撮像画像を解析して利用者のジェスチャを検出するジェスチャ判定部と、を備えるものであってもよい。また、本発明の操作装置において、意思検出手段は、撮像部と生体情報検出部の双方を備え、意思判定部は、撮像部が撮像した撮像画像及び生体情報検出部が検出した生体情報に基いて利用者の操作意思の有無を判定してもよい。

本発明は、ジェスチャを検出して対象機器を操作する操作装置に好適である。

１ 車両用表示システム
２ 利用者
１０ ジェスチャ検出手段
１１ 発光部
１２ 受光部
１３ ジェスチャ判定部
２０ 意思検出手段
２１ 撮像部
２２ 意思判定部
３０ 制御部
４０ 意思検出手段
４１ 生体情報検出部
４２ 意思判定部
１００、１０１ 操作装置
２００ 表示器（対象機器）
Ｃ 車両
Ｇ ジェスチャ

Claims (5)

1. 利用者のジェスチャを検出するジェスチャ検出手段と、
   前記利用者の操作意思を検出する意思検出手段と、
   前記ジェスチャ検出手段によって前記ジェスチャが検出され、かつ、前記意思検出手段によって前記操作意思が検出された場合に、前記ジェスチャに応じた操作信号を対象機器に出力する制御部と、を備えてなる、ことを特徴とする操作装置。
2. 前記意思検出手段は、少なくとも前記利用者の顔部を撮像する撮像部と、前記撮像部が撮像した撮像画像に基いて前記利用者の顔または視線が前記対象機器または前記ジェスチャ検出手段によって前記ジェスチャを検出可能な所定のジェスチャ検出領域を向いていると判定される場合に、前記操作意思があると判定する意思判定部と、を備えてなる、ことを特徴とする請求項１に記載の操作装置。
3. 前記意思検出手段は、前記利用者の生体情報を検出する生体情報検出部と、前記生体情報検出部が検出した前記生体情報に基いて前記操作意思の有無を判定する意思判定部と、を備えてなる、ことを特徴とする請求項１に記載の操作装置。
4. 前記生体情報は、前記利用者の筋電位であり、
   前記意思判定部は、前記生体情報検出部が検出した前記筋電位の値に基いて前記利用者の指先が伸びていると判定される場合に、前記操作意思があると判定する、ことを特徴とする請求項３に記載の操作装置。
5. 前記生体情報は、前記利用者の脳測定情報であり、
   前記意思判定部は、前記生体情報検出部が検出した前記脳測定情報に基いて前記操作意思の有無を判定する、ことを特徴とする請求項３に記載の操作装置。

Images