JP2018025888A - 操作装置 - Google Patents

操作装置 Download PDF

Info

Publication number
JP2018025888A
JP2018025888A JP2016155991A JP2016155991A JP2018025888A JP 2018025888 A JP2018025888 A JP 2018025888A JP 2016155991 A JP2016155991 A JP 2016155991A JP 2016155991 A JP2016155991 A JP 2016155991A JP 2018025888 A JP2018025888 A JP 2018025888A
Authority
JP
Japan
Prior art keywords
intention
user
gesture
detection unit
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016155991A
Other languages
English (en)
Inventor
悠樹 ▲高▼橋
悠樹 ▲高▼橋
Yuki Takahashi
輝子 石川
Teruko Ishikawa
輝子 石川
忠慈 牧野
Tadashige Makino
忠慈 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2016155991A priority Critical patent/JP2018025888A/ja
Publication of JP2018025888A publication Critical patent/JP2018025888A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】利用者の煩わしさを軽減することが可能な操作装置を提供する。
【解決手段】操作装置100は、利用者のジェスチャを検出するジェスチャ検出手段10と、利用者の操作意思を検出する意思検出手段20と、ジェスチャ検出手段10によってジェスチャが検出され、かつ、意思検出手段20によって操作意思が検出された場合に、ジェスチャに応じた操作信号を対象機器に出力する制御部30と、を備える。
【選択図】図2

Description

本発明は、ジェスチャを検出して対象機器を操作する操作装置に関する。
従来、利用者が空間上で行ったジェスチャを検出し、対象機器を操作する操作装置として特許文献1に開示されるものが知られている。特許文献1に開示されるジェスチャ認識装置(操作装置)は、画像を取得する画像取得手段と、前記取得した画像から、ジェスチャを行う対象部位を抽出する対象部位抽出手段と、前記抽出した対象部位の形状を特定する対象部位形状特定手段と、前記対象部位に対して、前記対象部位の位置を代表する点である代表点を設定する代表点決定手段と、前記代表点の動きに基いてジェスチャを認識するジェスチャ認識手段と、前記認識したジェスチャに対応する命令を生成するコマンド生成手段と、を有し、前記代表点決定手段は、前記特定した対象部位の形状を用いて、前記対象部位に対応する代表点の位置を決定する。かかるジェスチャ認識装置は、利用者の意図通りにジェスチャを認識することができる、とする。
特開2015−172887号公報
しかしながら、かかるジェスチャ認識装置においては、認識したジェスチャは全て利用者が操作を意図して行った動作であることを前提とする。しかしながら、実際には利用者が操作を意図せずに行った手の動きなどがジェスチャとして認識される場合があり、このように操作を意図しない動作に基いて対象機器の操作が行われると、利用者にとっては煩わしい。
本発明は、上記の問題点に鑑みてなされたものであり、利用者のジェスチャを検出して対象機器を操作する操作装置において、利用者の煩わしさを軽減することが可能な操作装置を提供することを目的とする。
本発明の操作装置は、前述の課題を解決するために、利用者のジェスチャを検出するジェスチャ検出手段と、前記利用者の操作意思を検出する意思検出手段と、前記ジェスチャ検出手段によって前記ジェスチャが検出され、かつ、前記意思検出手段によって前記操作意思が検出された場合に、前記ジェスチャに応じた操作信号を対象機器に出力する制御部と、を備えてなる、ことを特徴とする。
本発明によれば、利用者の煩わしさを軽減することが可能となる。
本発明の第1の実施形態である車両用表示システムの概観を示す図である。 同上実施形態の電気的構成を示すブロック図である。 同上実施形態におけるジェスチャ操作処理を示すフローチャート図である。 本発明の第2の実施形態である車両用表示システムの概観を示す図である。 同上実施形態の電気的構成を示すブロック図である。 同上実施形態におけるジェスチャ操作処理を示すフローチャート図である。
以下、本発明を車両用表示システムに適用した実施形態について図面を参照して説明する。なお、本発明は下記の実施形態(図面の内容も含む。)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
(第1の実施形態)
図1は、本実施形態に係る車両用表示システム1の概観を示す図であり、図2は車両用表示システム1の電気的構成を示す図である。
車両用表示システム1は、操作装置100と、表示器200(対象機器の一例)とから構成されている。操作装置100と表示器200とは互いに通信可能に有線あるいは無線接続されている。操作装置100と表示器200とは、車両CのインストルメントパネルC1に設置されている。
操作装置100は、ジェスチャ検出手段10と、意思検出手段20と、制御部30と、を備える。操作装置100は、利用者2(主として車両Cの運転者)のジェスチャGを検出し、ジェスチャGに応じて表示器200を操作する。
ジェスチャ検出手段10は、発光部11と、受光部12と、ジェスチャ判定部13と、を備え、利用者2の所定のジェスチャGを検出する。ここで、「ジェスチャ」とは利用者2が身体の少なくとも一部を用いて行う動作であり、具体的には手をかざす、手を払うなどの動作である。発光部11は、例えば赤外線LED(Light Emitting Diode)からなり、所定のエリア(例えば表示器200の表示画面の手前)に向けて赤外線を照射する。受光部12は、例えば赤外線フォトダイオードからなり、主に発光部11で照射され、物体(主として利用者2の手)を反射した赤外線を受光する。ジェスチャ判定部13は、例えばマイクロコンピュータからなり、受光部12が所定時間間隔で受光した赤外線の照度の差分を算出して所定のジェスチャGの有無を判定する。ジェスチャ判定部13は、所定のジェスチャGがあったと判定すると、制御部30に検出したジェスチャGを示すジェスチャ検出情報を送信する。
意思検出手段20は、撮像部21と、意思判定部22と、を備え、利用者2の操作意思を検出する。ここで、「操作意思」とは、対象機器である表示器200を操作しようとする意思を意味している。撮像部21は、例えばCCDやCMOSなどの撮像素子からなり、少なくとも利用者2の顔部を撮像する。意思判定部22は、例えばマイクロコンピュータからなり、撮像部21が撮像した撮像画像に基いて、利用者2の操作意思の有無を判定する。具体的には、意思判定部22は、撮像画像に基いて、利用者2の顔または視線が表示器200またはジェスチャ検出手段10によってジェスチャGを検出可能な所定のジェスチャ検出領域(発光部11で赤外線が照射されるエリア)を向いていると判定される場合に、利用者2の操作意思があると判定する。意思判定部22は、操作意思があると判定すると、制御部30に操作意思検出情報を送信する。
制御部30は、例えばマイクロコンピュータからなり、制御部30が実行する処理(操作装置100全体の制御など)を実際に行うCPU(Central Processing Unit)と、CPUのメインメモリとして機能するRAM(Random Access Memory)と、制御部30に後述の処理などを実行させる各種プログラムを記憶するROM(Read Only Memory)と、制御部30に入出力される情報(信号)をCPU用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部30は、ジェスチャ検出手段10からジェスチャ検出情報を入力し、また、意思検出手段20から操作意思検出情報を入力して、後述するジェスチャ操作処理を実行することによって、ジェスチャ検出手段10によってジェスチャGが検出され、かつ、意思検出手段20によって操作意思が検出された場合に、検出されたジェスチャGに応じた操作信号を表示器200に出力する。
表示器200は、例えばTFT型の液晶表示装置や有機EL表示装置からなり、ナビゲーション情報やオーディオ情報などの各種情報を表示する。表示器200は、操作装置100から操作信号を入力し、操作信号に基いて表示内容の変更や各種機能の選択などの制御を実行する。すなわち、表示器200は、操作装置100で検出される利用者2のジェスチャGによって、操作される。
次に、図3を用いて、操作装置100の制御部30によるジェスチャ操作処理について説明する。
まず、ステップS1において、制御部30は、ジェスチャ検出手段10によって利用者2のジェスチャGを検出したか否かを判断する。具体的には、ジェスチャ検出手段10からのジェスチャ検出情報の有無を判断する。制御部30は、ジェスチャ検出手段10によって利用者2のジェスチャGを検出した(ジェスチャ検出情報を入力した)と判断した場合(ステップS1でYes)は、ステップS2に進み、利用者2のジェスチャGを検出していない(ジェスチャ検出情報を入力していない)と判断した場合(ステップS1でNo)は、繰り返しステップS1を実行する。
次に、ステップS2において、制御部30は、意思検出手段20によって利用者2の操作意思を検出したか否かを判断する。具体的には、意思検出手段20からの操作意思検出情報の有無を判断する。制御部30は、意思検出手段20によって利用者2の操作意思を検出した(操作意思検出情報を入力した)と判断した場合(ステップS2でYes)は、ステップS3に進み、利用者2の操作意思を検出していない(操作意思検出情報を入力していない)と判断した場合(ステップS2でNo)は、ステップS1に戻って再度ステップS1から処理を実行する。
次に、ステップS3において、ジェスチャ検出手段10で検出したジェスチャGに応じた操作信号を表示器200に出力する。
以上の処理を繰り返し実行することによって、操作装置100は、ジェスチャ検出手段10によって利用者2のジェスチャGが検出され(ステップS1でYes)、かつ、意思検出手段20で利用者2の操作意思が検出された(ステップS2でYes)場合に、検出されたジェスチャGに応じた操作信号を表示器200に出力することができる。したがって、ジェスチャ検出手段10によって利用者2のジェスチャGが検出された場合であっても、意思検出手段20で利用者2の操作意思が検出されない(ステップS2でNo)ときには、表示器200が操作されることがなく、操作を意図しない動作によって表示器200が操作されることを抑制することができる。なお、ステップS1及びS2の処理は順序が入れ替わってもよく、同時に行われてもよい。
本実施形態に係る操作装置100は、利用者2のジェスチャGを検出するジェスチャ検出手段10と、利用者2の操作意思を検出する意思検出手段20と、ジェスチャ検出手段10によってジェスチャGが検出され、かつ、意思検出手段20によって前記操作意思が検出された場合に、ジェスチャGに応じた操作信号を対象機器(表示器200)に出力する制御部30と、を備えてなる。
これによれば、操作を意図しない動作によって表示器200が操作されることを抑制することができ、利用者2の煩わしさを軽減することができる。
また、意思検出手段20は、少なくとも利用者2の顔部を撮像する撮像部21と、撮像部21が撮像した撮像画像に基いて利用者2の顔または視線が前記対象機器またはジェスチャ検出手段10によってジェスチャGを検出可能な所定のジェスチャ検出領域を向いていると判定される場合に、前記操作意思があると判定する意思判定部22と、を備えてなる。
利用者2は、対象機器を操作しようとする場合は通常その方向に顔あるいは視線を向けることが多い。これによれば、容易に利用者2の操作意思を検出することができる。
(第2の実施形態)
次に、図4〜図6を用いて、本発明の第2の実施形態について説明する。第2の実施形態に係る操作装置101が前述の第1の実施形態の操作装置100と異なる点は、意思検出手段20に替えて意思検出手段40を備える点である。以下、意思検出手段40について主に説明し、前述の第1の実施形態と同一あるいは相当個所には同一符号を付してその詳細は省略する。
図4及び図5に示すように、操作装置101は、ジェスチャ検出手段10と、意思検出手段40と、制御部30と、を備える。
意思検出手段40は、生体情報検出部41と、意思判定部42と、を備え、利用者2の操作意思を検出する。生体情報検出部41は、利用者の生体情報を検出する。具体的には、生体情報検出部41は、本実施形態においては利用者2の生体情報として利用者2の身体のうち所定の部位の筋肉を動かすときに生じる電圧(筋電位)を測定する筋電位測定部である。より具体的には、生体情報検出部41は、利用者2のジェスチャGを行う前腕(図4では左前腕)に装着され、少なくとも指先を伸ばす筋肉の筋電位を測定する。意思判定部42は、例えばマイクロコンピュータからなり、生体情報検出部41が検出した生体情報に基いて、利用者2の操作意思の有無を判定する。本実施形態において、意思判定部42は、生体情報検出部41が検出した筋電位の値に基いて、利用者2の指先が伸びていると判定される場合に、利用者2の操作意思があると判定する。意思判定部42は、操作意思があると判定すると、制御部30に操作意思検出情報を送信する。
図6は、操作装置101の制御部30によるジェスチャ操作処理を示す。
ステップS11は、前述のステップS1と同様である。
ステップS12において、制御部30は、意思検出手段40によって利用者2の操作意思を検出したか否かを判断する。具体的には、意思検出手段40からの操作意思検出情報の有無を判断する。制御部30は、意思検出手段40によって利用者2の操作意思を検出した(操作意思検出情報を入力した)と判断した場合(ステップS12でYes)は、ステップS13に進み、利用者2の操作意思を検出していない(操作意思検出情報を入力していない)と判断した場合(ステップS12でNo)は、ステップS11に戻って再度ステップS1から処理を実行する。
ステップS13は、前述のステップS3と同様である。
以上の処理を繰り返し実行することによって、操作装置101は、ジェスチャ検出手段10によって利用者2のジェスチャGが検出され(ステップS11でYes)、かつ、意思検出手段40で利用者2の操作意思が検出された(ステップS12でYes)場合に、検出されたジェスチャGに応じた操作信号を表示器200に出力することができる。したがって、ジェスチャ検出手段10によって利用者2のジェスチャGが検出された場合であっても、意思検出手段40で利用者2の操作意思が検出されない(ステップS12でNo)ときには、表示器200が操作されることがなく、操作を意図しない動作によって表示器200が操作されることを抑制することができる。なお、ステップS11及びS12の処理は順序が入れ替わってもよく、同時に行われてもよい。
(変形例)
意思検出手段40の生体情報検出部41は、筋電位測定部に替えて、利用者2の生体情報として利用者2の脳測定情報(脳波、脳血流量、脳電磁波)を測定する脳測定部を用いてもよい。この場合、生体情報検出部41は例えば利用者2の頭部に装着される、または車両Cのヘッドレストに設置される。変形例において、意思判定部42は、例えば脳波の状態から利用者2の意思が「操作」の状態であるか否かを判定する。意思判定部42は、「操作」の状態であると判定すると、制御部30に操作意思検出情報を送信する。利用者2の意思の判断は、例えば予め利用者2が「操作」の意思を持った状態での脳波を測定して基準データとして記憶しておき、計測した脳波の状態と基準データと一致あるいは近似するか否かを判断することで行う。基準データと一致あるいは近似しない場合は「操作意思なし」と判定する。
本実施形態に係る操作装置101において、意思検出手段40は、利用者2の生体情報を検出する生体情報検出部41と、生体情報検出部41が検出した前記生体情報に基いて前記操作意思の有無を判定する意思判定部42と、を備えてなる。
これによれば、より確実に利用者2の操作意思を検出することができる。
また、前記生体情報は、利用者2の筋電位であり、意思判定部42は、生体情報検出部41が検出した前記筋電位の値に基いて利用者2の指先が伸びていると判定される場合に、前記操作意思があると判定する。
利用者2は操作に慣れた場合や車両Cを運転している際には、顔や視線を対象機器側に向けずに操作する場合もある。一方、利用者2が操作の意図を持って手によるジェスチャGを行う場合には指先は緊張し伸びている状態となり、操作の意図を持たずに手を動かす場合には指先は脱力し曲がっている状態となることが多い。そのため、より確実に利用者2の操作意思を検出することができる。
前記生体情報は、利用者2の脳測定情報であり、意思判定部42は、生体情報検出部41が検出した前記脳測定情報に基いて前記操作意思の有無を判定する。
これによれば、より直接的に利用者2の操作意思を検出することができる。
なお、本発明は前述の実施形態に限定されるものではない。本実施形態において、車両用表示システム1は、表示器200を備えるものであったが、表示器200に替えて、対象機器としてウィンドシールドなどの透過反射部で表示器からの表示光を反射して表示画像の虚像(表示像)を運転者に風景と重ねて視認させるヘッドアップディスプレイ(Head-UP Display;HUD)装置を備えてもよい。また、制御部30がジェスチャ判定部13及び/あるいは意思判定部22,42としての機能を有してもよい。また、本発明の操作装置が操作する対象機器は表示器に限定されるものではなく、例えば音響機器などであってもよい。また、本発明の操作装置が操作する対象機器は車載機器に限定されるものではなく、テレビなどの家庭用機器であってもよい。また、本発明の操作装置において、ジェスチャ検出手段は、所定のエリアを撮像する撮像部と、撮像部が撮像した撮像画像を解析して利用者のジェスチャを検出するジェスチャ判定部と、を備えるものであってもよい。また、本発明の操作装置において、意思検出手段は、撮像部と生体情報検出部の双方を備え、意思判定部は、撮像部が撮像した撮像画像及び生体情報検出部が検出した生体情報に基いて利用者の操作意思の有無を判定してもよい。
本発明は、ジェスチャを検出して対象機器を操作する操作装置に好適である。
1 車両用表示システム
2 利用者
10 ジェスチャ検出手段
11 発光部
12 受光部
13 ジェスチャ判定部
20 意思検出手段
21 撮像部
22 意思判定部
30 制御部
40 意思検出手段
41 生体情報検出部
42 意思判定部
100、101 操作装置
200 表示器(対象機器)
C 車両
G ジェスチャ

Claims (5)

  1. 利用者のジェスチャを検出するジェスチャ検出手段と、
    前記利用者の操作意思を検出する意思検出手段と、
    前記ジェスチャ検出手段によって前記ジェスチャが検出され、かつ、前記意思検出手段によって前記操作意思が検出された場合に、前記ジェスチャに応じた操作信号を対象機器に出力する制御部と、を備えてなる、ことを特徴とする操作装置。
  2. 前記意思検出手段は、少なくとも前記利用者の顔部を撮像する撮像部と、前記撮像部が撮像した撮像画像に基いて前記利用者の顔または視線が前記対象機器または前記ジェスチャ検出手段によって前記ジェスチャを検出可能な所定のジェスチャ検出領域を向いていると判定される場合に、前記操作意思があると判定する意思判定部と、を備えてなる、ことを特徴とする請求項1に記載の操作装置。
  3. 前記意思検出手段は、前記利用者の生体情報を検出する生体情報検出部と、前記生体情報検出部が検出した前記生体情報に基いて前記操作意思の有無を判定する意思判定部と、を備えてなる、ことを特徴とする請求項1に記載の操作装置。
  4. 前記生体情報は、前記利用者の筋電位であり、
    前記意思判定部は、前記生体情報検出部が検出した前記筋電位の値に基いて前記利用者の指先が伸びていると判定される場合に、前記操作意思があると判定する、ことを特徴とする請求項3に記載の操作装置。
  5. 前記生体情報は、前記利用者の脳測定情報であり、
    前記意思判定部は、前記生体情報検出部が検出した前記脳測定情報に基いて前記操作意思の有無を判定する、ことを特徴とする請求項3に記載の操作装置。
JP2016155991A 2016-08-08 2016-08-08 操作装置 Pending JP2018025888A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016155991A JP2018025888A (ja) 2016-08-08 2016-08-08 操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016155991A JP2018025888A (ja) 2016-08-08 2016-08-08 操作装置

Publications (1)

Publication Number Publication Date
JP2018025888A true JP2018025888A (ja) 2018-02-15

Family

ID=61193760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016155991A Pending JP2018025888A (ja) 2016-08-08 2016-08-08 操作装置

Country Status (1)

Country Link
JP (1) JP2018025888A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039479A1 (ja) * 2018-08-20 2020-02-27 ガンホー・オンライン・エンターテイメント株式会社 端末装置、プログラム、方法、及びシステム
US10761606B1 (en) 2019-04-03 2020-09-01 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
JP2021175175A (ja) * 2020-04-28 2021-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 人間の身体表示に基づいて可動物体を操作するための方法、プログラムおよび装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039479A1 (ja) * 2018-08-20 2020-02-27 ガンホー・オンライン・エンターテイメント株式会社 端末装置、プログラム、方法、及びシステム
JP6710771B1 (ja) * 2018-08-20 2020-06-17 ガンホー・オンライン・エンターテイメント株式会社 端末装置、プログラム、方法、及びシステム
US10754426B2 (en) 2018-08-20 2020-08-25 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
US10761606B1 (en) 2019-04-03 2020-09-01 GungHo Online Entertainment, Inc. Terminal device, program, method, and system
JP2021175175A (ja) * 2020-04-28 2021-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 人間の身体表示に基づいて可動物体を操作するための方法、プログラムおよび装置

Similar Documents

Publication Publication Date Title
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US11205348B2 (en) Drive assist device
US8085243B2 (en) Input device and its method
JP6214752B2 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
US20160132126A1 (en) System for information transmission in a motor vehicle
US9626072B2 (en) Eye gaze control system
US9043042B2 (en) Method to map gaze position to information display in vehicle
CN107077258B (zh) 投射型影像显示装置以及影像显示方法
US20140361989A1 (en) Method and Device for Operating Functions in a Vehicle Using Gestures Performed in Three-Dimensional Space, and Related Computer Program Product
RU2617621C2 (ru) Способ и устройство для отображения кисти руки оператора элемента управления транспортного средства
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
WO2015001606A1 (ja) 撮像システム
JP2009181423A (ja) 操作入力装置
JP2018025888A (ja) 操作装置
JP2013149257A (ja) 適応インターフェースシステム
KR20140055033A (ko) 제스처 인식 시스템 및 방법 그리고 상기 방법을 이용한 차량 제어 방법
JP6581482B2 (ja) 画像認識装置
JP5136948B2 (ja) 車両用操作装置
JP5912177B2 (ja) 操作入力装置、操作入力方法及び操作入力プログラム
US20140098998A1 (en) Method and system for controlling operation of a vehicle in response to an image
KR20120054739A (ko) 사용자 인식을 통한 차량 유저인터페이스 제공 시스템
JP2006327526A (ja) 車載機器の操作装置
JP2006312346A (ja) コマンド入力装置
JP6390380B2 (ja) 表示操作装置