JP2014021748A - 操作入力装置及びそれを用いた車載機器 - Google Patents

Abstract

【課題】操作者の手等の本来の操作物体以外の物による誤った入力操作を防止しつつ種々の操作入力を可能とする「操作入力装置」を提供することである。
【解決手段】表示部の画面上に設けられる操作部と、撮影手段と、撮影により得られる映像から、所定の操作物体が、前記操作部の前方側近傍の第１領域及び該第１領域より前記操作部から離れた第２領域のいずれにあるかを判定する操作物体領域判定手段と、前記操作物体が前記第１領域にあると判定されたときに、前記操作部を有効にする操作部制御手段と、前記操作物体が前記第２領域にあると判定されたときに、前記撮影手段から得られる前記映像から前記操作物体の形態を判定するジェスチャ判定手段と、該ジェスチャ判定手段により判定された前記操作物体の形態に応じた操作情報を出力する操作情報出力手段とを有する構成となる。
【選択図】図２

Description

本発明は、表示部の画面上に設けられたタッチパネル等の操作部を備え、操作者の手等の操作物体による入力操作に基づいた操作情報を出力する操作入力装置及びそれを備えた操作入力装置及びそれを用いた車載機器に関する。

従来、特許文献１記載のタッチパネルを有する電子機器が知られている。この電子機器では、タッチパネルにかざした、あるいはタッチしたポインティング手段（操作者の指等）の当該タッチパネル上での位置に基づいて、被制御部の制御がなされる。そして、ポインティング手段のタッチパネルからの距離に応じて当該ポインティング手段の検出感度の調整がなされる。このような電子機器によれば、タッチパネルから離れているポインティング手段（操作者の指等）によっても、タッチパネルに対して、被制御部を制御するための入力操作を適正に行うことができる。

特開２０１１−２４８７１２号公報

しかしながら、前述した従来の電子機器では、ポインティング手段の具体的な認識がなされないので、本来のポインティング手段以外の物がタッチパネルの近傍にあると、その物によって誤った入力操作がなされてしまうおそれがある。特に、タッチパネルからポインティング手段が離れているときほど検出感度が高くなるので、タッチパネルから比較的離れた物によっても誤った操作入力がなされてしまう可能性がある。

本発明は、このような事情に鑑みてなされたもので、操作者の手等の本来の操作物体以外の物による誤った入力操作を防止しつつ種々の操作入力を可能とする操作入力装置を提供するものである。

本発明に係る操作入力装置は、表示部の画面上に設けられ、入力操作に基づいた操作情報を出力する操作部と、前記操作部の前方の予め定めた撮影領域を撮影する撮影手段と、該撮影手段での撮影により得られる映像から、所定の操作物体が、前記操作部の前方側近傍の第１領域及び該第１領域より前記操作部から離れた第２領域のいずれにあるかを判定する操作物体領域判定手段と、該操作物体領域判定手段により前記操作物体が前記第１領域にあると判定されたときに、前記操作部を有効にする操作部制御手段と、前記操作物体領域判定手段により前記操作物体が前記第２領域にあると判定されたときに、前記撮影手段から得られる前記映像から前記操作物体の動き及び形の少なくともいずれか一方である当該操作物体の形態を判定するジェスチャ判定手段と、該ジェスチャ判定手段により判定された前記操作物体の動き及び形の少なくとも一方に応じた操作情報を出力する操作情報出力手段とを有する構成となる。

このような構成によれば、撮影手段での撮影により得られる映像から、操作物体が第１領域にあると判定されると、操作部が有効になり、その後、その操作部の入力操作に基づいた操作情報が出力される。また、前記映像から、操作物体が前記第１領域より前記操作部から離れた第２領域にあると判定されると、その映像から操作物体の動き及び形の少なくとも一方である当該操作物体の形態が判定され、その操作物体の形態に基づいた操作情報が出力される。

本発明に係る操作入力装置は、前記操作部がタッチパネルであり、前記操作部制御手段は、前記操作物体が前記第１領域にあると判定されたときに、前記タッチパネルに対するタッチ操作を有効にする構成とすることができる。

このような構成によれば、撮影手段での撮影により得られる映像から、操作物体が第１領域にあると判定されると、タッチパネルが有効になり、その後、第１領域から引き続き動く操作物体がそのタッチパネルに触れることにより、そのタッチ入力操作に基づいた操作情報が出力される。

本発明に係る操作入力装置において、前記操作部制御手段は、前記操作部を有効にした後、所定時間内に前記操作物体による当該操作部の操作がなされなかったときに、当該操作部を無効にする構成とすることができる。

このような構成によれば、操作部制御手段が操作部を有効にした後、所定時間内に操作物体による操作部の操作がなされなかったときにその操作部が無効になるので、操作部の無駄な動作を抑制することができる。

本発明に係る操作入力装置は、前記操作物体領域判定手段により前記操作物体が前記第１領域にあると判定されたときに、前記表示部の画面上に当該操作部を操作するための操作メニューを表示させる表示制御手段を有する構成とすることができる。

このような構成によれば、操作物体が第１領域にあるときに、表示部の画面上に操作部を操作するための操作メニューを表示させるので、操作メニューを視認した操作者はより的確かつ迅速に操作部の操作ができるようになる。

本発明に係る操作入力装置において、前記表示制御手段は、前記表示部の画面上に前記操作メニューを表示させた後、前記操作部が無効になったときに、当該表示部への表示を止める構成とすることができる。

このような構成によれば、表示部の画面上に操作メニューが表示された後、操作部が無効になったときに、当該操作メニューの表示を止めるので、表示部の無駄な動作を抑制することができる。

本発明に係る操作入力装置において、前記第１領域は、前記表示部の画面に正対した領域を含む構成とすることができる。

このような構成によれば、第１領域が表示部の画面に正対した領域を含むので、操作物体が第１領域に進入して操作部が有効になった後に、引き続きスムーズに表示部の画面上に設けられた操作部に触れる（入力操作）ことができる。

本発明に係る操作入力装置において、前記第２領域は、前記表示部の画面に正対した領域を含む構成とすることができる。

このような構成によれば、第２領域が表示部の画面に正対した領域を含むので、操作者が表示部の画面を目印にその第２領域を把握することができる。このため、操作物体を動かしたり、操作物体の形を変えたりすることを当該第２領域にて確実に行うことができる。

本発明に係る操作入力装置において、前記第２領域は、前記第１領域より広い構成とすることができる。

このような構成によれば、第２領域が第１領域より広いので、操作物体をできるだけ広い領域で動かしたり、操作物体の形を変えたりすることができるようになる。

本発明に係る操作入力装置において、前記操作物体は、操作者の手であって、前記ジェスチャ判定手段は、前記撮影手段から得られる前記映像から前記操作者の手の形態を判定する構成とすることができる。

このような構成によれば、撮影手段での撮影により得られる映像から、操作者の手が第２領域にあると判定されると、その映像から操作者の手の形態（動き及び形の少なくとも一方）が判定され、その手の形態に基づいた操作情報が出力される。

本発明に係る車載機器は、前述したいずれかの操作入力装置を備え、前記操作部及び操作情報出力手段からの操作情報に基づいた動作を行う構成となる。

このような構成によれば、撮影手段での撮影により得られる映像から、操作物体が第１領域にあると判定されると、操作部が有効になり、その後、その操作部の入力操作に基づいた操作情報に従って車載機器が動作する。また、前記映像から、操作物体が第２領域にあると判定されると、その映像から操作物体の形態（動き及び形の少なくとも一方）が判定され、その操作物体の形態に基づいた操作情報に基づいて車載機器が動作する。

本発明に係る操作入力装置によれば、撮影手段での撮影により得られる映像から判定される操作物体の位置（第１領域または第２領域）や形態（動き及び形の少なくとも一方）に基づいた操作情報が出力されるので、本来の操作物体以外の物による誤った入力操作が防止され、また、表示部の画面上に設けられた操作部を有効にするための操作入力や操作物体の形態に基づいた種々の操作入力が可能となる。

本発明の実施の形態に係る操作入力装置を備える車載機器の構成を示すブロック図である。 図１に示す操作入力装置における操作処理ユニットが実行する処理の手順を示すフローチャートである。 図１に示す操作入力装置を構成するジェスチャセンサユニットの設置位置を示す車室内の一例を示す図である。 図１に示す操作入力装置における車載機器の領域を判定する領域を示す図である。 図４に示すジェスチャ操作領域（第２領域）での操作者の手（操作物体）の動きの一例（その１）を示す図である。 図４に示すジェスチャ操作領域（第２領域）での操作者の手（操作物体）の動きの一例（その２）を示す図である。 図４に示すジェスチャ操作領域（第２領域）での操作者の手（操作物体）の形の一例を示す図である。 図１に示す車載機器の表示部の表示画面の一例を示す図（その１）である。 図１に示す車載機器の表示部の表示画面の一例を示す図（その２）である。 図１に示す車載機器の表示部に操作メニュー画面が表示された一例を示す図である。

本発明の実施の形態について図面を用いて説明する。

本発明の実施の一形態に係る操作入力装置を備える車載機器は、図１に示すように構成される。

図１において、この車載機器１００は、コンピュータユニット（例えば、ＣＰＵ）によって構成される処理ユニット１１を有している。処理ユニット１１には、各種音源及び映像源（例えば、ＣＤ、ＤＶＤ等）の再生処理が可能なＡＶユニット１７、及び自車両のルート案内等のナビゲーション処理を行うナビゲーションユニット１８が接続されている。また、処理ユニット１１には、スピーカ１６と接続される出力回路１５が接続されており、処理ユニット１１の制御のもと、ＡＶユニット１７及びナビゲーションユニット１８の処理に基づいた音声信号が出力回路１５を介してスピーカ１６から出力される。加えて、処理ユニット１１には、ＡＶユニット１７及びナビゲーションユニット１８にて利用される楽曲情報や地図情報等の各情報が記憶される記憶部１４（例えば、ハードディスク）と、ＬＣＤ等によって構成され、映像等の各種情報を表示する表示部１３と、操作入力装置２０とが接続されている。

操作入力装置２０は、ジェスチャセンサユニット２１と、表示部１３の画面上に設けられ、タッチ入力操作に基づいた操作情報を出力するタッチパネル２２（操作部）とから構成される。ジェスチャセンサユニット２１は、予め定めた撮影領域を撮影するカメラ２１１（撮影手段）と、カメラ２１１に接続される操作処理ユニット２１２とを備えている。ジェスチャセンサユニット２１は、例えば、図３に示すように、車室の天井部分に設置されている。操作処理ユニット２１２は、カメラ２１１によって撮影された映像から、操作物体（操作者であるユーザの手）の動き及び形の少なくとも一方であるユーザの手の形態である、いわゆるジェスチャを認識し、ユーザの手の形態（ジェスチャ）のそれぞれに対応する操作情報を車載機器１００の処理ユニット１１に出力するようになっている。処理ユニット１１は、その操作情報に基づいた処理を実行する。

車載機器１００操作入力装置２０における操作処理ユニット２１２は、図２に示す手順に従って、操作入力処理を実行する。

図２において、操作処理ユニット２１２は、カメラ２１１によって撮影された映像から物体が検出されるのを確認する（Ｓ１１）。カメラ２１１は、車室内の天井部分に取り付けられ、その撮影領域は、表示部１３及びタッチパネル２２に正対する領域を撮影する領域を含むように予め設定されている（図３参照）。このカメラ２１１によって撮影された映像から物体が検出されると（Ｓ１１でＹＥＳ）、その検出物体がユーザの手（操作物体）であるか否かを判定する（Ｓ１２）。これによって、検出物体がユーザの手であると判定されると（Ｓ１２でＹＥＳ）、操作処理ユニット２１２は、ユーザの手がタッチパネル２２の前方側近側に正対する領域であるタッチパネル操作待ち領域ＴE（第１領域）及びタッチパネル操作待ち領域ＴＥよりタッチパネル２２から離れた領域であるジェスチャ操作領域ＧＥのいずれにあるのかを判定する（Ｓ１３、Ｓ１６：操作物体領域判定手段）。

ここで、タッチパネル操作待ち領域ＴＥ及びジェスチャ操作領域ＧＥについて、図４に基づいて詳しく説明する。図４に示すように、カメラ２１１は、一点鎖線Ｓ１で示すエリアを撮影する。カメラ２１１の撮影領域Ｓ１内には、表示部１３の画面（タッチパネル２２）に正対するタッチパネル操作待ち領域ＴＥとジェスチャ領域操作領域ＧＥとが設定されている。このタッチパネル操作待ち領域ＴＥは、例えば、タッチパネル２２から約１０ｃｍの領域となっている。このタッチパネル操作待ち領域ＴＥとジェスチャ操作領域ＧＥとは境界線Ｌ１によって区分けされている。このジェスチャ操作領域ＧＥは、境界線Ｌ１から約３０ｃｍの領域となっており、タッチパネル操作待ち領域ＴＥよりも広く設定されている。このジェスチャ操作領域ＧＥでは、ユーザの手（操作物体）の動き及び形の少なくとも一方であるユーザの手の形態（いわゆる、ジェスチャ）を認識する領域として設定されている。

図２に戻って、ユーザの手がジェスチャ操作領域ＧＥにあると判定されたときに（Ｓ１３でＹＥＳ）、操作処理ユニット２１２は、カメラ２１１により撮影された映像からユーザの手の動き又は形の少なくとも一方からなるジェスチャを判定する（Ｓ１４：ジェスチャ判定手段）。ここで、操作処理ユニット２１２にて判定可能なユーザの手の動き又は形の少なくとも一方からなるジェスチャについて具体的に説明する。ジェスチャ操作領域ＧＥにて認識することができるジェスチャは、例えば、図５、図６、及び図７に示すユーザの手の動き又は形である。図５に示すように、ユーザが手を開いた状態で表示部１３及びタッチパネル２２に対して平衡状態を保ったまま、その手を放射状のいずれかの方向に動かすジェスチャが認識されるようになっている。同じく、図６に示すように、ユーザが手を開いた状態で、その手を左右に傾けるジェスチャも同じく認識されるようになっている。さらには、図７に示すように、ユーザが表示部１３及びタッチパネル２２に対して平衡状態を保ったまま、上下左右を指し示すように手の形を異ならせたジェスチャも認識されるようになっている。

これによって、操作処理ユニット２１２は、ステップＳ１４にて判定したユーザの手の動き又は形の少なくとも一方からなるジェスチャに対応した操作情報を処理ユニット１１に出力する（Ｓ１５：操作情報出力手段）。より具体的には、図８Ａに示すように、表示部１３に処理ユニット１１及びナビゲーションユニット１８による車両ナビゲーション処理が行われている際に、ジェスチャ操作領域ＧＥにてユーザの手をＨ１からＨ２方向に平行移動させると、操作処理ユニット２１２は、このジェスチャに対応する操作情報を処理ユニット１１に出力する。この操作情報に従って、車載機器１００の処理ユニット１１は、表示部１３に表示されるナビゲーション画面を例えば、図８Ａの状態から図８Ｂに示す状態にその表示を変更する。

一方、ユーザの手がジェスチャ操作領域ＧＥにないと判定されたときに（Ｓ１３でＮＯ）、操作処理ユニット２１２は、ユーザの手がタッチパネル操作待ち領域ＴＥにあるか否かを判定する（Ｓ１６：操作物体領域判定手段）。これによって、ユーザの手がタッチパネル操作待ち領域ＴＥにあると判定されたときに（Ｓ１６でＹＥＳ）、この制御処理ユニット２１２での判定結果に基づいて処理ユニット１１は、タッチパネル２２を有効にする（Ｓ１７：操作部制御手段）。より具体的には、処理ユニット１１は、それまでに電源の供給を止めていたタッチパネル２２に対して、ユーザの手によるタッチ操作が有効となるように電源を供給する。また、この際、処理ユニット１１は、表示部１３にユーザの手によるタッチパネルの操作を行うための操作メニューを表示させる（Ｓ１８：表示制御手段）。これにより、処理ユニット１１は、操作メニューを、例えば、図９に示すように表示部１３に表示させる。これにより、表示部１３に表示された操作メニューを視認しつつ、ユーザによるタッチパネル２２の操作が可能となる。

そして、処理ユニット１１は、所定時間内にタッチパネル２２に対してタッチ操作があったか否かを判定する（Ｓ１９：操作部制御手段）。これによって、所定時間内にタッチパネル２２に対する操作があると（Ｓ１９でＹＥＳ）、タッチパネル２２から当該タッチパネル２２に対するタッチ位置の座標に対応する操作情報が出力される（Ｓ２０）。そして、処理ユニット１１は、タッチパネル２２からの操作情報を取得する。さらに、処理ユニット１１は、ユーザによるタッチパネル２２へのタッチ操作がないかを確認する（Ｓ１９）。一方、所定時間内にタッチパネル２２に対してタッチ操作がなかったと判定されたとき（Ｓ１９でＮＯ）に、処理ユニット１１は、タッチパネル２２への電力供給を停止し、タッチパネル２２をＯＦＦ状態にする（Ｓ２１：操作部制御手段）。また、図２には図示していないが、操作処理ユニット２１２は、これと同時に表示部１３に表示させた操作メニューの表示を停止させるために、処理ユニット１１に操作メニューの表示を停止させる（表示制御手段）。

上述したような操作入力装置２０を備える車載機器１００によれば、操作処理ユニット２１２が表示部１３の画面上に設けられたタッチパネル２２の前方の予め定められた領域をカメラ２１１にて撮影し、撮影により得られる映像から、操作物体である操作者の手が
タッチパネル操作待ち領域ＴＥかジェスチャ操作領域ＧＥのいずれにあるのかを判定し、ユーザの手がタッチパネル操作待ち領域ＴＥにあると判定されたときに、タッチパネル２２に電力供給がなされ、その後、そのタッチパネル２２のタッチ入力操作に基づいた操作情報が処理ユニット１１に出力される。また、カメラ２１１の映像から、ユーザの手がジェスチャ操作領域ＧＥにあると判定されると、その映像から操作物体である操作者の手の動き及び形の少なくとも一方である操作者の手の形態（いわゆるジェスチャ）が判定され、そのジェスチャに基づいた操作情報が処理ユニット１１に出力される。

なお、本発明の実施の形態では、操作処理ユニット２１２が各種処理を行うこととしたが、操作処理ユニット２１２を設けることなく、当該操作処理ユニット２１２の機能を備えた車載機器１００の処理ユニット１１がこれらの処理を行うこととしてもよい。

なお、図５、図６、及び図７において、ジェスチャ登録がなされる操作物体たる操作者（ユーザ）の手の動き又は形は、これに限定されることなく、他の動き又は形でもよい。

また、本発明の実施の形態において、操作物体は、操作者（ユーザ）の手として記載したが、もちろん、タッチペン等、タッチパネル２２の操作に適した操作者の手に持つ操作物体であればどのようなものでもよい。

また、タッチパネル２２を有効または無効にする場合に、電力供給を行う又は停止することとしたが、電力供給を有効無効のいずれの場合にも行いつつ、タッチパネル２２を無効にする場合に、タッチパネル２２の省電力モードを開始することとしてもよいし、タッチ操作にのみ反応しないように制御することとしてもよい。

以上、説明したように、本発明に係る操作入力装置及び車載機器は、操作者の手等の本来の操作物体以外の物による誤った入力操作を防止しつつ種々の操作入力ができるという効果を有し、表示部の画面上に設けられたタッチパネル等の操作部を備え、操作者の手等の操作物体による入力操作に基づいた操作情報を出力する操作入力装置及びそれを備えた操作入力装置及びそれを用いた車載機器として有用である。

１１ 処理ユニット
１３ 表示部
１４ 記憶部
１５ 出力回路
１６ スピーカ
１７ ＡＶユニット
１８ ナビゲーションユニット
２０ 操作入力装置
２１ ジェスチャセンサユニット
２２ 操作部（タッチパネル）
１００ 車載機器
２１１ カメラ
２１２ 操作処理ユニット

Claims (10)

1. 表示部の画面上に設けられ、入力操作に基づいた操作情報を出力する操作部と、
   前記操作部の前方の予め定めた撮影領域を撮影する撮影手段と、
   該撮影手段での撮影により得られる映像から、所定の操作物体が、前記操作部の前方側近傍の第１領域及び該第１領域より前記操作部から離れた第２領域のいずれにあるかを判定する操作物体領域判定手段と、
   該操作物体領域判定手段により前記操作物体が前記第１領域にあると判定されたときに、前記操作部を有効にする操作部制御手段と、
   前記操作物体領域判定手段により前記操作物体が前記第２領域にあると判定されたときに、前記撮影手段から得られる前記映像から前記操作物体の動き及び形の少なくともいずれか一方である当該操作物体の形態を判定するジェスチャ判定手段と、
   該ジェスチャ判定手段により判定された前記操作物体の形態に応じた操作情報を出力する操作情報出力手段とを有する操作入力装置。
2. 前記操作部がタッチパネルであり、
   前記操作部制御手段は、前記操作物体が前記第１領域にあると判定されたときに、前記タッチパネルに対するタッチ操作を有効にする請求項１に記載の操作入力装置。
3. 前記操作部制御手段は、前記操作部を有効にした後、所定時間内に前記操作物体による当該操作部の操作がなされなかったときに、当該操作部を無効にする請求項１または２に記載の操作入力装置。
4. 前記操作物体領域判定手段により前記操作物体が前記第１領域にあると判定されたときに、前記表示部の画面上に当該操作部を操作するための操作メニューを表示させる表示制御手段を有する請求項３に記載の操作入力装置。
5. 前記表示制御手段は、前記表示部の画面上に前記操作メニューを表示させた後、前記操作部が無効になったときに、当該表示部への表示を止める請求項４に記載の操作入力装置。
6. 前記第１領域は、前記表示部の画面に正対した領域を含む請求項１乃至５のいずれかに記載の操作入力装置。
7. 前記第２領域は、前記表示部の画面に正対した領域を含む請求項６に記載の操作入力装置。
8. 前記第２領域は、前記第１領域より広い請求項１乃至７のいずれかに記載の操作入力装置。
9. 前記操作物体は、操作者の手であって、
   前記ジェスチャ判定手段は、前記撮影手段から得られる前記映像から前記操作者の手の形態を判定する請求項１乃至８のいずれかに記載の操作入力装置。
10. 請求項１乃至９のいずれかに記載の操作入力装置を備え、
    前記操作部及び操作情報出力手段からの操作情報に基づいた動作を行う車載機器。

Images