以下、本発明の操作入力装置の実施形態を、図面を参照して説明する。
(第一実施形態)
図1は、本発明の操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、操作入力装置1として、表示画面上にタッチ操作用のスイッチ画像(操作アイコン)等の操作入力用画像を表示可能な表示装置15と、それら表示画面へのタッチ操作を遠隔的に行うための操作パネル12aとが別位置に設けられてなる操作入力装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、車内LAN50を介して接続するECU100が制御する他の車載電子機器の機器機能(オーディオ、エアコン、パワーウィンドウ、シート調整機能等)も含むことができる。
ナビゲーション装置10は、車両の現在位置を検出する位置検出器11と、運転者等の操作者からの各種指示を入力するための操作情報入力部12と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器14と、地図表示画面やTV(Television)画面等の各種表示を行うための表示装置15と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置16と、車両情報等の各種のデータを記憶するためのハードディスク記憶装置17と、車両情報の授受を行うための車両I/F(Interface)部19と、他の通信装置13aと近距離無線通信を行うための無線通信機13と、これら11〜19と接続する制御回路18とを備えている。また、制御回路18は、カメラ20,40及び車速センサ30に接続することもできる。
位置検出器11は、GPS(Global Positioning System)用の人工衛星からの送信電波をGPSアンテナを介して受信し、車両の位置,方位,速度等を検出するGPS受信機11aと、車両に加えられる回転運動の大きさを検出するジャイロスコープ11bと、車両の前後方向の加速度等から走行した距離を検出する距離センサ11cと、地磁気から進行方位を検出する地磁気センサ11dとを備えている。そして、これら各センサ等11a〜11dは、各々が性質の異なる誤差を有しているため、互いに補完しながら使用するように構成されている。なお、精度によっては、上述したうちの一部のセンサで構成してもよく、また、ステアリングの回転センサや各転動輪の車輪センサ等(図示せず)を用いてもよい。
操作情報入力部12は、図3に示すように、予め定められた波長帯の光を照射する光源12cと、該光源12cからの照射光が表面12a2側から表面12a1側に向けて透過するよう配置された透光性を有する操作パネル12aと、該操作パネル12aを撮影範囲に含む形で該操作パネル12aの裏面12a2側から撮影するカメラ(接近対象物撮影手段)12bと、を備えている。
なお、本実施形態の操作情報入力部12は、図2に示すように、車両のセンターコンソール部Cのような、車両のフロントガラス下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示装置15よりも下側で、かつ隣接する左右両座席の両座部の間の前側に配置されている。なお、本実施形態における隣接する左右両座席とは、図2の運転席2D及び助手席2Pのことであるが、例えば後列の左右の座席であってもよい。さらに、左右両座席から操作可能な位置に限らず、例えば、ステアリング部やドア部など、操作者が操作しやすい位置に設置されていてもよい。
操作パネル12aは、少なくとも光源12cから照射される光に対して透光性を有したパネルからなる。本実施形態においては縦方向透明電極と横方向透明電極とを備えた周知の抵抗膜方式のタッチパネルとして構成されており、その出力が制御回路18に入力される。
図3に示すように、操作パネル12aは、中空の筐体12fの前端開口に嵌め込まれており、表面12a1がタッチ操作面(遠隔操作面)とされている。前端開口を形成する筐体前端部121eの外縁からは、後方に向けて筒状の壁部122eが設けられており、その後端部が回路基板12kに固定されている。この筐体12fは、車室内の所定位置の固定配置されており、内部には、カメラ12b及び光源12cが配置されている。
光源12cは、図3に示すように、操作パネル12aを裏面12a2から表面12a1に透過させる形で光を照射する。光源12cからの光(照射光)は、タッチ操作面12a1を被うように位置する接近対象物(例えば手等)が存在しない限り、該タッチ操作面12a1から外に通過していくが、該タッチ操作面12a1に対向する形で接近した接近対象物Hが存在する場合には、当該接近対象物Hに反射して、その光(反射光)の一部は裏面12a2側に戻り、カメラ12bに捉えられる。
カメラ12bは、光源12cから照射された光が接近対象物Hにて反射した反射光を捉える形で、当該接近対象物Hを操作パネル12aの裏面12a2側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。具体的にいえば、当該撮影範囲をカメラ12bにより撮影できるように反射部材12rが設けられ、カメラ12bはその反射画像を撮影している。反射部材12rが無い場合は、当該撮影範囲をカメラ12bにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。
本実施形態において、光源12cは赤外光光源であり、カメラ12bは、暗所での撮影にも適した赤外線カメラ(可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う)である。赤外光光源12cから照射された光(赤外線)が接近対象物Hにて反射した反射光をカメラ12bが捉える形で撮影がなされる。カメラ12bは、車体側に固定された基板上に固定配置されており、撮影範囲として、タッチ操作面12a1が含まれる範囲が設定されている。また、赤外光光源12は、操作パネル12aの裏面側後方に位置するLEDである。また、本実施形態における操作パネル12aは、光源12cの光に対してのみ透光性を有した材料にて構成されているので、カメラ12b内の赤外線フィルタを不要とすることができ、かつ、筐体12fの内部が外部から視認できないようになっている。
なお、本実施形態におけるカメラ12bは、撮影手段として機能するものである。このカメラ12bは、操作パネル12aに対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段、さらには手の指の画像を撮影する指画像撮影手段として機能しているともいえる。
図4〜図7は、操作パネル12aに対向する手(指)Hの撮影を説明する図である。各図の(a)は、操作パネル12aと、その表面12a1に対向する手の状態(指の状態)を示しており、各図の(b)は、(a)の状態の手をカメラ12bにて撮影した映像150であり、操作パネル12a全体を撮影領域として撮影された画像である。ただし、本実施形態における(b)の映像150は、撮影後にその映像を2値化したものである。(b)において、符号150Hは接近対象物Hが映った領域、符号150Bは何も映らなかった領域である。符号150Bの領域は本来、操作パネル12aが映る領域であるが、該操作パネル12aが光源12cの光に対し透光性を有するので映らない。また、それであっても、その操作パネル12a越しに背景(本実施形態でいえば車両の天井面等)が映っていてもおかしくないが、そうした背景は除去されている。背景除去に関しては、特開2007−272596号公報に記載されているように、異なる照明条件の画像を使用することで可能となる。ちなみに、各図の(c)は、(b)の映像150が撮影されているときの、表示装置15における画面表示の一例である。ただし、本実施形態においては図4(c)のような画面表示は行われず、図4(b)のような映像150がされているときには、図5(c)に示すような画面表示となる。ただし、本発明において、図4(c)のような画面表示を表示する場合もある。
図1に戻り、表示装置15は、図2の運転席2Dの車両前方側で、運転者により視認可能に設置されたカラー表示装置であり、表示画面がタッチ操作面12a1よりも運転者から遠い位置に設けられている。表示装置15としては、液晶ディスプレイ,プラズマディスプレイ,有機ELディスプレイ等のいずれを用いてもよい。表示装置15の表示画面は、位置検出器11にて検出した車両の現在位置と地図データ入力器14より入力された地図データとから特定した現在地を示すマーク,目的地までの誘導経路,名称,目印,各種施設のマーク等の付加データとを重ねて表示することができる。また、施設のガイド等も表示できる。なお、表示装置15が本発明の表示手段に相当する。
また、表示装置15は、車両が備える機器の操作などを行うための表示画面を有するものであり、本実施形態においては、表示画面上にタッチパネル15aを備えている。既に述べた操作情報入力部12のタッチパネル12aは、当該タッチパネル15aの操作を、それよりも運転者や助手席搭乗者に近い位置から遠隔的に操作できるよう設けられた遠隔操作部である。当該タッチ操作面12a1になされたタッチ操作に基づいて、そのタッチ操作位置に対応した、表示装置15の画面位置(タッチパネル15aのタッチ操作面位置)への入力が受け付けられる。具体的にいえば、表示装置15の表示画面上に定められる二次元座標系(タッチパネル15aのタッチ操作面上に定められる二次元座標系)と、該操作パネル12aのタッチ操作面12a1上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面12a1にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置15の表示画面上の位置座標への操作入力が受け付けられる。
つまり、タッチ操作面12a1にタッチ操作があった場合には、制御回路18が、そのタッチ操作がなされたタッチ操作面12a1上の位置座標を特定し、さらに、特定したタッチ操作面12a1上の位置座標に対応する、表示装置15の表示画面上の位置座標を特定して、その上で、特定された当該表示画面上の位置座標に対応する制御内容を実行する制御信号を出力する。例えば、表示装置15の表示画面にスイッチ画像(操作アイコン等)200Iが表示された場合には、タッチ操作面12a1上において、当該スイッチ画像200Iに対応する位置にタッチ操作をすれば、制御回路18では、当該スイッチ画像200Iへのタッチ操作があったとして入力が受け付けられ、これに伴い当該スイッチ画像200Iに対応する制御内容が実行される。表示装置15の表示画面にて表示送り可能な地図画面(地図操作用画像)が表示された場合には、タッチ操作面12a1上において、該地図上の位置にタッチ操作をすれば、制御回路18では、当該タッチ操作位置への入力が受け付けられ、これに伴い該タッチ操作位置を新たな画面中心として地図を表示する表示送り制御が実行される。
なお、表示装置15としては、図2に示すようなセンターコンソールC内に配置されるものに限られず、例えばフロントガラスFG下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスFGに、上述の画像・データを表示するヘッドアップディスプレイ(HUD)や、ステアリングホイールの奥に位置するメーター表示装置等を例示できる。
図1に戻り、地図データ入力器14は、ネットワークデータとしての道路データ,位置特定の精度向上のためのいわゆるマップマッチング用データ等の地図データ,施設を示すマークデータ,案内用の画像や音声データ等を含む各種のデータを入力するための装置である。これらのデータの記録媒体としては、CD−ROM,DVD−ROM,ハードディスク,メモリ,メモリカード等を用いることができる。
音声入出力装置16は、地図データ入力器14より入力した施設のガイドや各種案内の音声や、I/F19を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置16は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御回路18に入力することができる。
無線通信機13は、他の通信装置13aと狭帯域通信を行うためのものであり、例えばDSRC(Dedicated Short Range Communications),Bluetooth(登録商標),無線LAN(Local Area Network),UWB(Ultra Wideband)などが使用されている。
LAN I/F19は、車内LAN50を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、LAN I/F19を介して、例えば他のECU(図1のECU100等)からのデータ取り込みを行ってもよい。
制御回路18は、図示しない周知のCPU,ROM,RAM,I/O(Input/Output)およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ROM等の記憶部に記憶されたプログラムに基づいて、位置検出器11からの各検出信号に基づき座標および進行方向の組として車両の現在位置を算出し、地図データ入力器14を介して読み込んだ現在位置付近の地図や、操作情報入力部12の操作によって指示された範囲の地図等を、図7に示すようなメイン画像(動画・静止画を含む)200Bとして表示装置15に画面表示する地図表示処理や、地図データ入力器14に格納された地点データに基づき、操作情報入力部12の操作に従って目的地となる施設を選択し、現在位置から目的地までの最適な経路を自動的に求める経路計算を行って経路案内を行う経路案内処理等を行う。このように自動的に最適な経路を設定する手法は、ダイクストラ法等の手法が知られている。
また、制御回路18は、ROM等の記憶部に記憶されたプログラムに基づいて、スイッチ画像(操作アイコン)200I、操作情報入力部12から取得した接近対象物画像150Hに基づく加工画像200H等をサブ画像とし、これらをメイン画像200B(地図操作用画像等)に合成して表示する、あるいは重ね表示するための画像処理部18aを有している。本実施形態においては、接近対象物画像150Hが指等の映った手の画像である場合、撮影された手の画像150Hに基づいて生成された加工画像200Hを位置指示画像として、その手により位置指示された表示画面上の位置に重ね表示する。つまり、該加工画像200Hを、その手の指により位置指示された表示画面上の位置を指示する位置指示画像200Hとして重ね表示する。
なお、接近対象物画像150Hに基づく加工画像200Hとは、本実施形態においては、当該接近対象物画像150Hの少なくとも外形形状(輪郭)が反映されるよう加工・生成された接近対象物外形反映画像200Hである。そして、この画像200Hがメイン画像200Bに重畳表示される。重畳表示ではなく、画像200Hをメイン画像200Bに合成して表示してもよい。これにより、運転者等の操作者が、例えば手の指等を、操作パネル12aのタッチ操作面12a1に対面させる形で移動させると、これに併せて、表示装置15の表示画面上には手形状(指形状)を反映した加工画像200Hが移動して表示され、あたかも表示装置15の表示画面に操作パネル12aが存在しているかのような感覚で操作を行うことができる。
また、位置指示画像200Hは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えば手の指部分だけであったり、指先だけであったり、あるいはポインタ画像等のシンボル画像であってもよい。また、位置指示画像200Hとして、カメラ12bにより撮影された手の画像(ないし指の画像)150Hを加工せずにそのまま表示(重畳表示や合成表示)しても問題はないが、これと重なる位置に表示されるはずのメイン画像200Bの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工(例えば半透過合成等の半透明化)を施しておいた方がより望ましい。
また、制御回路18のROM等の記憶部には、スイッチ画像200Iを表示するためのスイッチ画像データが記憶されており、スイッチ画像200Iの重ね表示ないし合成表示に用いられている。一方で、制御回路18のROM等の記憶部には、各スイッチ画像200Iに対応付けた形で、各々への操作入力(対応するタッチ操作面12a1上の領域へのタッチ入力)により実施される制御内容も記憶されている。制御回路18により、表示画面に表示されたメイン画像200B上にスイッチ画像200Iが重なった画像200が表示されると、タッチパネル12a,15aの双方のタッチ操作面には、スイッチ画像200Iの表示位置に対応する領域に操作入力受付範囲(操作入力位置)が設定される(操作入力位置設定手段)。また、表示画面に、メイン画像200Bとして表示送り可能な地図画面(地図操作用画像)200B2が表示されると、表示されている地図領域全体に操作入力受付範囲(操作入力位置)が設定される(操作入力位置設定手段)。
また、制御回路18は、自身のタイマ18bを起動し、カウンタ18cをカウントアップする形で時間計時を行うことができる。後述する処理において時間計時を行う場合にはこれらが用いられる。
なお、この制御回路18は、本発明の入力受付手段、位置指示画像表示手段、操作意思表示用指状態特定手段、表示モード設定手段、操作入力制御手段として機能する。なお、画像処理部18aも位置指示画像表示手段としての機能の一部を担っている。
次に、表示装置15の表示される位置指示画像の表示処理について、図8を用いて説明する。なお、当該処理は、制御回路18の記憶部に格納されたプログラムをCPUが実行する形で実施される。
S1では、制御回路18が、カメラ12bによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ12bは、操作パネル12aの裏面12a2側から該操作パネル12aを介してタッチ操作面(表面)12a1側に接近する接近対象物(例えば運転者等の操作者の手)Hを常時撮影しており(撮影ステップ)、その撮影画像は常に制御回路18の画像処理部18aに入力されている。タッチ操作面12a1と対面する位置に接近対象物Hが進入してくると、当然その接近対象物Hを含む撮影画像150が画像処理部18aに入力される。入力された撮影画像150は、画像処理部18aにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像150Hが抽出される。そして、抽出された接近対象物画像150Hの形状から、当該画像150Hが人の手の画像であるか否かを判定する。判定結果は制御回路18に出力され、手の画像が認識されたと判定された場合にはS2に進み、判定されなければ本処理を終了する。
なお、本実施形態においては、光源12cが配置されており、カメラ12bは、当該光源12cの反射光を捉える形で撮影を行っている。従って、撮影映像150に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ12bにより撮影される撮影映像150は多階調の撮影画像(本実施形態ではモノクロの撮影画像)であるから、画像処理部18aでは、これを予め定められた階調閾値を用いて各画素の階調レベルを2値化して、図4〜図7の(b)のようにし、当該階調閾値を上回る領域を接近対象物画像150Hとして抽出する。また、画像処理部18aでは、抽出された接近対象物画像150Hから人の手の画像を特定するために、当該接近対象物画像150Hの形状と、制御回路18の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像150Hを手の画像として認識する(手画像認識手段)。
S2では、取得した手の画像に基づいて、その手の状態が予め定められた操作意思表示用指状態であるか否かを特定する(操作意思表示用指状態特定手段)。操作意思表示用指状態とは、本実施形態においては簡易操作用指状態であり、例えば、操作対象となりうる指、即ちタッチ操作面12aに略沿ってのびた状態の指が、1本ないし2本程度の少数である状態等である。付言するならば、入力を早くするために5本の指を使う操作は難易度の高い指状態であり、ここでいう簡易操作用指状態はこうした指状態とは異なるものである。本実施形態においては、取得した手の画像にて、タッチ操作面12aの面方向(面の広がる方向)側にのびた状態の指が1本だけ表れている一本指操作状態にある場合のみを操作意思表示用指状態として特定する。具体的にいえば、S1にて、手の画像を抽出した画像処理部18aが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して、当該棒状の画像パターンがあった場合に、これを指画像150Fとして認識・特定する(指特定手段)。特定された結果は制御回路18に出力され、制御回路18は、該指画像150Fの数を特定し(指本数特定手段:手形状認識手段)、その数が1つである場合を予め定められた操作意思表示用指状態(操作意思表示用指形状)であると特定する。
続くS3では、その出力結果に基づいて、現在の指状態が操作意思表示用指状態であるか否かを判定し、操作意思表示用指状態であると判定された場合にS4に進む。S4では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定し、S5に進む。なお、設定された表示モードは、制御回路18の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶される。S4では、当該記憶領域に表示許可モードを記憶する。
S5では、制御回路18が、表示装置15の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Hが、表示画面上のどの位置に対向しているかを特定する。本実施形態においては、カメラ12bによって撮影された撮影画像上に、タッチ操作面12aが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面12aの操作座標系を設定し、その上で、撮影された手画像Hの位置を、設定された該操作座標系上で特定する。そして、表示装置15の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Hの位置に対応する位置を特定する。本実施形態においては、図5〜図7の(b)に示す撮影画像(2値化画像)150が、タッチ操作面12a1の全体を撮影した操作パネル画像領域となっている。
さらにS6では、図6及び図7の(c)に示すように、表示装置15の表示画面の、上記操作パネル画像領域上にて特定された該手画像Hに対応する位置に、位置指示画像200Hを表示する(位置指示画像表示手段)。本実施形態においては、手画像150Hの外形形状が明確に表示され、かつ輪郭内部が半透過状態とされた加工画像200Hが生成され、表示装置15の画面上において、表示されているメイン画像200Bの対応する座標位置に重ね表示される。
他方、S3にて、現在の指状態が操作意思表示用指状態でないと判定された場合はS7に進む。S7では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定する。これにより、S5及びS6での位置指示画像200Hの表示がされず、表示装置15の表示画面には、例えば図5(c)に示すように、位置指示画像200Hが表示されないままとなる。なお、設定された表示禁止モードは、制御回路18の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶される。
S6及びS7の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル12aに対向する操作意思表示用指状態の手が移動すると、これに合わせて、表示装置15の表示画面に表示される位置指示画像(加工画像)200Hの表示位置も移動する。
この位置指示画像の表示処理においては、図14に示すように、表示許可期間として、操作意思表示用指状態が非特定となるまでの期間が定められた形となっている。つまり、操作意思表示用指状態が特定されている場合には表示許可モードを設定し、操作意思表示用指状態が特定されていない場合には表示禁止モードを設定するような処理となっている。なお、制御回路18は、この位置指示画像の表示処理を実行することにより、本発明の表示モード設定手段として機能する。
最後に、操作情報入力部12の操作パネル(遠隔操作部)12aへのタッチ操作入力処理について、図9を用いて説明する。なお、当該処理も、制御回路18の記憶部に格納されたプログラムをCPUが実行する形で実施される。
ここでのタッチ操作入力処理では、表示許可モードが設定されている場合には、操作パネル12aへのタッチ操作入力の受け付けを許可(制御回路18が入力許可モードを設定)し、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けを禁止(制御回路18が入力禁止モードを設定)する操作入力受付制御が含まれた処理である。制御回路18は、このタッチ操作入力処理を実行することにより本発明の操作入力制御手段として機能する。
S101では、制御回路18が、操作パネル12aへのタッチ操作の有無を判定する。操作パネル12aはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路18に入力されるので、その入力の有無に基づいて判定する。操作パネル12aへのタッチ操作があった場合はS102に進み、タッチ操作が無かった場合は本処理を終了する。
S102では、制御回路18が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路18の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示許可モードであると判定された場合はS103に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合は本処理を終了する。
S103では、操作パネル12aへのタッチ操作位置、即ちタッチ操作面12a1上へのタッチ操作位置を特定する。操作パネル12aはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路18に入力される。そして、その操作信号には、タッチ操作位置が操作面12a1に定められる操作座標系上の座標情報として反映されているので、制御回路18が、この操作信号に基づいて、タッチ操作位置を特定する。
続くS104では、制御回路18が、操作パネル12aへのタッチ操作位置に対応する制御を実施する。具体的にいえば、操作パネル12aのタッチ操作面12a1上の各位置は、表示画面15の表示画面上の位置と対応しているので、S103にて特定されたタッチ操作面12a1上の位置に対応する、表示画面15の表示画面上の位置に定められた制御内容を実施する。具体的には、制御回路18が、当該制御内容を実施するための制御信号を出力する。例えばS103にて特定されたタッチ操作面12a1上の位置が、表示画面15の表示画面に表示されたスイッチ画像200Iに位置に対応していれば、制御回路18は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。
S104の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路18は、そのときどきにタッチ操作された位置に応じた制御内容を実施する、あるいは他の制御部(例えばECU100等)にて実施させる。
このタッチ操作入力処理においては、表示許可モードが設定されている場合には、操作パネル12aへのタッチ操作入力の受け付けが許可され(入力許可モード)、表示禁止モードが設定されている場合には、当該タッチ操作入力の受け付けが禁止される(入力禁止モード)。ただし、図8の位置指示画像表示処理においては、操作意思表示用指状態が特定されている場合に表示許可モードが設定され、操作意思表示用指状態が特定されていない場合に表示禁止モードが設定されるので、結果として、ユーザーの指状態が操作意思表示用指状態でないと、操作パネル12aへのタッチ操作入力が受け付けられないようになっている。上記実施形態においては、一本指状態という簡易操作用指状態が操作意思表示用指状態とされている。
ところで、従来の方式の操作入力装置では、遠隔操作する手を実際に操作画面上に表示すると、手がタッチパネル12a(遠隔操作部)に近い場合には、図4に示すように、指のみが表示された状態となる。ユーザーの中には、早く入力するために、片手の5本の指でタッチ操作入力を行う人もおり、この場合、操作画面上では、多数本の指が同時に並んで表示されるので、表示された指と、実際に操作者が指示に使いたい指との対応関係がわからなくなり、誤操作を招き易いという課題があった。これに対し、上記実施形態においては、簡易操作用指状態でないと、操作パネル12aへのタッチ操作入力が受け付けられない構成となっているので、上記のような課題を解消することができる。
以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施形態を第一実施形態とし、それとは異なる実施形態を説明する。なお、共通する構成については、同符号を用いることで説明を略する。
(第二実施形態)
上記第一実施形態においては、表示許可期間として、図14に示すように、操作意思表示用指状態が非特定となるまでの期間が定められた形となっているが、この表示許可期間として、図15に示すように、予め決められた時間を定めることができる。つまり、表示許可モードに切り替わってから予め定められた時間(禁止モード復帰時間)が経過するまでの期間を表示許可期間と定め、当該禁止モード復帰時間が経過するに伴い表示禁止モードに復帰させるように構成することができる。この構成によれば、ユーザーが特定の指状態を示したことをきっかけに位置指示画像が表示可能な期間(表示許可モード)が始まって、該位置指示画像を見ながらのタッチ操作面12a1への位置指示入力(タッチ操作)が可能となる一方で、ユーザーが特定の指状態を示さなければ位置指示画像は表示されず、位置指示入力を行うためのタッチ操作をスムーズに行えない。つまり、ユーザーが位置指示入力を行うという明確な意思を表示した場合にのみ位置指示画像の表示が許可されるようになっており、その意思表示をユーザーの指状態の特定により確認する構成となっている。なお、ここでは、表示許可モードが設定されている場合に、図4(c)のような画像表示もされる点で、上記第一実施形態とは異なる。具体的にいえば、上記第一実施形態の位置指示画像の表示処理(図8)を、図10に示すような処理とすることで実現できる。
S10では、制御回路18が、カメラ12bによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。この処理は図8のS1の処理と同様である。
S11では、制御回路18が、現在の表示モードが表示許可モードであるか否かを判定する。現在の表示モードは、制御回路18の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶されているので、記憶されている表示モード情報に基づいて判定する。現在の表示モードが表示禁止モードであると判定された場合はS12に進み、表示許可モードでないと判定された場合、即ち表示禁止モードであると判定された場合はS19に進む。
S12では、取得した手の画像に基づいて、その手の状態が予め定められた操作意思表示用指状態であるか否かを特定する(操作意思表示用指状態特定手段)。この処理は図8のS2の処理と同様である。続くS13にて、現在の指状態が操作意思表示用指状態であると判定された場合はS14に進む。
S14では、表示モードを、位置指示画像の表示が許可される表示許可モードに設定し、S15に進む。なお、設定された表示許可モードは、制御回路18の所定記憶領域(表示モード記憶部)に記憶される。
続くS15では、制御回路18に設けられたタイマー18bを起動し、時間カウントを開始してS16に進む。時間はカウンタ18cにおいてカウントアップされる形で記憶される。タイマー起動前にはカウンタ18cのカウント値がリセットされる。
S16では、制御回路18が、表示装置15の表示画面と、撮影された手との位置関係を特定する。このS16の処理は、図8のS5と同様の処理である。続くS17では、図6及び図7の(c)に示すように、表示装置15の表示画面において表示されているメイン画像200B上に、位置指示画像200Hを重ね表示する(位置指示画像表示手段)。このS17の処理は、図8のS6と同様の処理である。ただし、第二実施携帯においては、S16及びS17において、図4(c)のような位置指示画像200Hも表示される。つまり、第二実施形態においては、表示許可モードが設定されている限り、手画像(指画像)の重ね表示(あるいは合成表示)が許可されており、少なくとも手画像に基づく指の指示位置を示す画像であればどのような形で位置指示画像200Hを表示してもよい。従って、表示許可モードが設定されている場合には、図4の(c)に示すような多本数の指形状の重ね表示もありうる。
他方、S13にて、現在の指状態が操作意思表示用指状態でないと判定された場合はS18に進む。S18では表示禁止モードが設定され、それが制御回路18の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶される。
S17及びS18の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施され、手画像が取得され、かつ表示許可モードが継続する限り、S16及びS17による位置指示画像の表示許可状態が継続する。つまり、この間は、指状態が操作意思表示用指状態でなくても、位置指示画像が表示される。ところが、表示許可モードは、S19にて、S15にて起動したタイマー18bにより所定時間が経過したと判定された場合に、S20にて、強制的に表示禁止モードが設定され、本処理が終了となる。なお、S20の処理はS18の処理と同様である。
この第二実施形態においては、ユーザーが操作の意思を手形状(操作意思表示用指状態)により示し、それが示された場合には、一定時間の間だけ表示許可モードが設定される構成となっている。この場合、操作意思表示用指状態は、一本指状態(例えば図6及び図7参照)のような簡易操作用指状態に限らず、二本の指をのばした状態(図69参照)、三本の指を伸ばした状態(図70参照)、4本の指を伸ばした状態(図71参照)等と様々に定めることができる。また、一本指状態であっても、その指が人差し指である場合(図6及び図7参照)のみを操作意思表示用指状態としてもよいし、中指である場合(図68参照)のみを操作意思表示用指状態としてもよい。また、二本指状態においても、それらの指が人差し指と中指である場合(図69参照)のみ、操作意思表示用指状態としてもよい。また、これらのうちのいずれか又は複数を操作意思表示用指状態として定めてもよい。誤操作防止の観点からすれば、日頃ユーザーが行わないような手状態(指状態)を定めることが望ましい。また、処理の観点からすれば、より識別しやすい手状態(指状態)を定めることが望ましい。
(第三実施形態)
なお、図8のS2における操作意思表示用指状態の特定は、上記のように撮影画像に基づいて実施されるものでなくともよい。例えば、制御回路18が、予め定められた期間の間にタッチ操作面12a1(遠隔操作面)になされたタッチ操作による入力のうち、タッチ操作面12a1の異なる位置になされたタッチ操作による入力の数を特定し(操作数特定手段)、当該期間内に特定された入力数が予め定められた操作意思表示用の数であった場合を操作意思表示用指状態として特定するようにしてもよい。この場合、例えば1秒以内の間に3回のタッチ操作がそれぞれ異なる位置になされた場合に(同時でもよい)、3本の指があると特定され、操作意思表示用の本数が3本と定められている場合には、これをもって操作意思表示用指状態として特定するようにできる。具体的には、図16に示すように、表示禁止モード(さらには入力禁止モード)が設定されている状態にて、タッチ操作面12a1へのタッチ操作があった場合に、制御回路18が、自身のタイマー18bを起動し、カウンタ18cをカウントアップする形で時間計時を開始てし、所定期間t0内に、時間計時開始時のタッチ操作を含めたタッチ操作による入力数をカウントする。ただし、タッチ操作面12a1にタッチ操作がなされる際に、タッチ位置情報(例えばタッチ操作面12a1内における位置座標)を取得して、タッチ操作面12a1内の同一位置への再タッチ操作に関しては、その入力をカウントしないようにする。そして、所定期間t0が経過した際の当該入力数が、操作意思表示用指状態を定める指の数と同数であった場合には、現在の操作者の手の指状態が操作意思表示用指状態であると特定し、特定された時から予め定められた表示許可期間の間だけ表示許可モード(さらには入力許可モード)を設定する。表示許可期間が終了すると、再び表示禁止モード(さらには入力禁止モード)が設定される。
(第四実施形態)
上記実施形態では、図9に示すタッチ操作入力処理において、表示許可モードが設定されている場合には、遠隔タッチ操作面12aへのタッチ操作入力に対応する制御内容を実行する、即ち対応する制御内容の実行が許可され、表示禁止モードが設定されている場合には、遠隔タッチ操作面12aへのタッチ操作入力に対応する制御内容を実行しない、即ち、対応する制御内容の実行が禁止されていた。ところが、表示許可モードが設定されている場合ではなく操作意思表示用指状態が特定されている場合に、遠隔タッチ操作面12aへのタッチ操作入力に対応する制御内容の実行が許可され、表示禁止モードが設定されている場合ではなく操作意思表示用指状態が特定されていない場合に、遠隔タッチ操作面12aへのタッチ操作入力に対応する制御内容の実行を禁止するように構成することができる。
具体的にいえば、操作意思表示用指状態が特定されている場合には、遠隔タッチ操作面12aへのタッチ操作入力の受け付けを許可し、操作意思表示用指状態が特定されていない場合には、遠隔タッチ操作面12aへのタッチ操作入力の受け付けを禁止する操作入力受付制御を実行するように構成することができる。以下、その具体的な処理の流れについて、その一例を、図11を用いて説明する。
S111では、制御回路18が、操作パネル12aへのタッチ操作の有無を判定する。S111の処理は図9のS101と同様である。S112では、制御回路18が、現在の指状態が操作意思表示用指状態であるか否かを判定する。本実施形態においては、図8のS2あるいは図10のS12の処理として、操作意思表示用指状態であるか否を特定する処理だけでなく、現在の指状態が特定されるに伴い、特定された指状態を制御回路18の記憶部に設けられた所定記憶領域(指状態記憶部)に記憶する処理を行う。そして、S112では、この記憶領域(指状態記憶部)に記憶された指状態情報に基づいて、現在の指状態が操作意思表示用指状態であるか否かを判定する。操作意思表示用指状態であると判定された場合にS113に進み、操作意思表示用指状態でないと判定された場合に本処理を終了する。
S113では、操作パネル12aへのタッチ操作位置、即ちタッチ操作面12a1へのタッチ操作位置を特定する。この処理は、図9のS103と同様の処理である。続くS114では、操作パネル12aへのタッチ操作位置に対応する制御を実施する。この処理は、図9のS104と同様の処理である。S114の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。
なお、図11に示すタッチ操作入力処理を実行する実施形態における位置指示画像表示処理は、図8及び図10、さらには後述する位置指示画像表示処理のいずれのものであってもよい。
(第五実施形態)
なお、上記実施形態においては、手画像撮影手段をなすカメラ12bは、タッチパネル12aのタッチ操作面(表面)12a1と対向する車室内の固定領域を撮影するカメラであって、上記実施形態のように、タッチパネル12aの裏面12a2側から撮影する構成を有している。ところが、本発明は、このような構成に限られるものではない。例えば、図12に示すように、車両のセンターコンソール部Cにタッチパネル12aのタッチ操作面12a1を斜め上側から撮影するように取り付けて、当該タッチ操作面12a1に接近する接近物を、タッチ操作面12a1側から撮影するように構成してもよい。この場合、上記した実施形態とは異なり、撮影画像内の特定の画像(例えば手画像)を抽出して表示部15に表示する際には、画像を左右反転する処理を省略できる。
また、手画像撮影手段をなすカメラ12bは、操作パネル12aのタッチ操作面12a1を含むその周辺領域を撮影するカメラ20に兼用させてもよい。具体的に言えば、カメラ12bは、図12に示すように、車両前方上部のバックミラー周辺部に設けられたカメラ20とすることができる。
(第六実施形態)
上記実施形態においては、操作意思表示用指状態が特定されている場合に位置指示画像の表示を許可する表示許可モードに設定し、操作意思表示用指状態が特定されていない場合には位置指示画像の表示を禁止する表示禁止モードに設定するように構成されていたが、こうした表示モード切替制御を、車両が所定の走行状態である場合に実施し、所定の走行状態ではない場合には、表示モードとして表示許可モードを設定するように構成することができる。この場合、車両の走行状態を検出する車両走行状態検出手段を備えた構成となる。図17は、こうした処理の一例であり、ここでは、車両の車速を検出する車速センサ(車速検出手段)30が制御回路18に接続する構成を有し、該制御回路18が、車両が予め定められた車速レベル(車速閾値)を上回る車両走行状態にある場合には表示モード切替制御を実行し、当該車両走行状態にない場合には表示モードとして表示許可モードを設定するようになっている。
具体的には、S21にて、制御回路18が、操作者の手の画像を取得したか否かを判定する。これは図8のS1の処理と同様である。操作者の手の画像が取得された場合はS22に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。
S22では、車両の現在の走行状態を特定する。即ち、車両が予め定められた車速レベルを上回る走行状態にあるか否かを判定する。制御回路18は、ROM等の所定の記憶部に車速閾値を予め記憶させておき、車速センサ30が検出した車速が当該車速閾値を上回るかを判定し、上回る場合を車両走行状態と特定し、上回らない場合を低速走行状態(停車状態を含む)と特定する。ここでは、上記車速閾値として5km/h等を固定的に定めるものとする。そして、S23では、現在の車両が上記の車両走行状態にあるか否かを判定して、車両走行状態にあると判定された場合にはS24に進む。他方、S23にて、車両走行状態にないと判定された場合(停車状態を含む低速走行状態が特定された場合)にはS26に進む。
S24では、操作者の手(操作手)が、操作意思表示用指状態であるか否かを特定する。操作意思表示用指状態の特定は、図8のS2の処理と同様の処理で行われる。続くS25にて、現在の指状態が操作意思表示用指状態であると判定された場合はS26に進み、操作意思表示用指状態でないと判定された場合はS29に進む。
S26では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路18の所定記憶領域(表示モード記憶部)に記憶される。続くS27では、制御回路18が、表示装置15の表示画面と、撮影された手との位置関係を特定する。この処理は、図8のS5の処理と同様である。続くS28では、表示装置15の表示画面において表示されているメイン画像200B上に、位置指示画像200Hを重ね表示する(位置指示画像表示手段)。この処理は、図8のS6と同様である。
具体的にいえば、S23にて、現在の車両が所定の車両走行状態にないと判定された場合(停車状態を含む低速走行状態が特定された場合)には、S27及びS28の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像200Hが表示される一方で(図4、図6、図7の(c)参照)、S22にて、車両走行状態にあると判定され、かつS25にて現在の操作者の指状態が操作意思表示用指状態であると判定された場合には、S27及びS28の処理により、操作者が行っている操作意思表示用指状態に基づく位置指示画像200Hが表示される(図6及び図7の(c)参照)。
他方、S25にて、現在の指状態が操作意思表示用指状態でないと判定された場合はS29に進む。S29では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路18の所定記憶領域(表示モード記憶部)に記憶する。これにより、S27及びS28にて実施される位置指示画像200Hの表示が実行されず、表示装置15の表示画面には、例えば図5(c)に示すように、位置指示画像200Hが表示されない。
S28及びS29の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。
なお、本実施形態においては、上記の予め定められた車速レベル(車速閾値)が5km/hと定められており、当該車速レベルを上回らない車両の徐行走行状態においては、常に表示許可モードが設定されるようになっている。ただし、この車速レベルは、図20に示すように、0km/hより速く5kmより遅い車速範囲内、あるいは5km/h以上10km/h未満の車速範囲内(車両の徐行走行状態)において設定されるようにしてもよいし、0km/hと設定して、車両停車状態において常に表示許可モードが設定されるようにしてもよい。また、この車速レベルは、10km/以上30km未満の車速範囲内(車両の低速走行状態)に設定されるようにしてもよいし、30km/h以上60km/h未満の車速範囲内(車両の中速走行状態)に設定されるようにしてもよいし、60km/h以上の車速範囲内(車両の高速走行状態)に設定されるようにしてもよい。
また、図11の処理においては、所定の車両走行状態である場合(車速閾値よりも高速側)に上記表示モード切替制御が実施され、所定の車両走行状態にない場合(車速閾値よりも低速側)に表示許可モードが固定的に設定される実施形態であったが、所定の車両走行状態である場合(車速閾値よりも高速側)に表示禁止モードが固定的に設定され、所定の車両走行状態にない場合(車速閾値よりも低速側)に上記表示モード切替制御が実施される実施形態としてもよい。
また、車速センサ30は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御回路18に送るものである。制御回路18では、その車輪の回転数を車両の速度(車速)に換算する他に、車両の現在位置から所定の場所までの予想到達時間を算出したり、車両の走行区間毎の平均車速を算出したりする。本実施形態においては、この車速センサ23が車速検出手段であり、制御回路18はその検出結果を受けて車両の走行状態が所定の速走行状態であるか否かを特定する走行状態特定手段として機能する。
(第七実施形態)
また、タッチ操作面12a1の操作者として運転者が特定されている場合には上記のような表示モード切替制御を実行する一方で、操作者が運転者ではない場合には、指状態に関らず、表示モードとして表示許可モードを設定するように構成することができる。ここでは、図18に示す位置指示画像表示処理を実施するように構成されている。以下、その具体的な処理の流れを、図18を用いて説明する。
S31では、制御回路18が、操作者の手の画像を取得したか否かを判定する。これは図8のS1の処理と同様である。操作者の手の画像が取得された場合はS32に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。
S32では、操作パネル12aに手を対向させるようにしている操作者が運転者であるか否かを特定する(操作者特定手段)。操作者の特定は、例えば、図12に示すカメラ20の撮影画像(図13)に基づいて行うことができる。
カメラ20は、操作パネル12aのタッチ操作面12aを含むその周辺領域を撮影するものであり、ここでは車両前方上部のバックミラー周辺部に設けられている。具体的に言えば、例えば図13に示すような撮影画像300を撮影するものであり、撮影範囲が、操作パネル12aの操作者の手だけでなく、その手から続く腕まで映るように定められており、撮影される操作パネル周辺画像を取得する制御回路18では、カメラ20の撮影画像に基づき画像処理部18aにて手からのびる腕の方向を特定して、操作者が運転者であるか否かを特定する。図13の撮影画像300においては、符号300Hが手画像、符号300Aが手から続く腕の画像、符号312aが操作パネル12aの映った領域であり、操作パネル12aの操作者の腕は撮影画像の右側から、即ち運転席側から延びているので、当該操作者が運転者であると特定される。本実施形態においては、このカメラ20が、制御回路18(画像処理部18a)とともに操作者特定手段として機能している。なお、操作パネル12aの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面12aの車両左右両側にそれぞれ接近物を検知する接近物検知部(例えば赤外反射センサ等の反射式光学センサ)を設け、これにより操作者を特定してもよい。
S33では、操作パネル12aの操作者が運転者であるか否かを判定して、運転者であると判定された場合にはS34に進む。他方、S33にて、操作パネル12aの操作者が運転者以外の者であると判定された場合にはS36に進む。
S34では、操作者である運転者の手(操作手)が、操作意思表示用指状態であるか否かを特定する。操作意思表示用指状態の特定は、図8のS2の処理と同様の処理で行われる。続くS35では、現在の指状態が操作意思表示用指状態であるか否かが判定され、操作意思表示用指状態であると判定された場合はS36に進み、操作意思表示用指状態でないと判定された場合はS39に進む。
S36では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路18の所定記憶領域(表示モード記憶部)に記憶される。続くS37では、制御回路18が、表示装置15の表示画面と、撮影された手との位置関係を特定する。この処理は、図8のS5の処理と同様である。続くS38では、表示装置15の表示画面において表示されているメイン画像200B上に、位置指示画像200Hを重ね表示する(位置指示画像表示手段)。この処理は、図8のS6と同様である。
具体的にいえば、S33にて、操作パネル12aの操作者として運転者とは異なる者が特定された場合には、S37及びS38の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像200Hが表示される一方で(図4、図6、図7の(c)参照)、S32にて、操作パネル12aの操作者として運転者が特定され、かつS35にてその指状態が操作意思表示用指状態であると判定された場合には、S37及びS38の処理により、運転者が行っている操作意思表示用指状態に基づく位置指示画像200Hが表示される(図6及び図7の(c)参照)。
他方、S35にて、現在の指状態が操作意思表示用指状態であると判定された場合はS39に進む。S39では、表示モードを、位置指示画像の表示が禁止される表示禁止モードに設定し、これを制御回路18の所定記憶領域(表示モード記憶部)に記憶する。これにより、S37及びS38にて実施される位置指示画像200Hの表示が実行されず、表示装置15の表示画面には、例えば図5(c)に示すように、位置指示画像200Hが表示されない。
S38及びS39の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。
(第八実施形態)
図17及び図18の位置指示画像表示処理は、双方の要素を組み合わせた形の処理として実施することが可能である。即ち、車両の走行状態(例えば車両の車速)を検出し、さらに、遠隔タッチ操作面12aの操作者が運転者であるか否かを特定して、車両が所定の走行状態(例えば停車状態を含む予め定められた車速レベルを下回る低速走行状態にない走行状態)であり、かつ特定された遠隔タッチ操作面12aの操作者が運転者である場合には、操作意思表示用指状態が特定されている場合に限り位置指示画像200Hの表示を許可するが、操作意思表示用指状態が特定されていない場合には位置指示画像200Hの表示を禁止するようにする。そして、車両が上記所定の走行状態にない場合、あるいは特定された遠隔タッチ操作面12aの操作者が運転者ではない場合、あるいはそれら双方が同時に生じている場合には、指状態に関らず、位置指示画像200Hの表示を許可するような処理とすることができる。具体的には、図19に示すような処理とすることで実現できる。
即ち、S41にて、遠隔タッチ操作面12aの操作者の手画像が取得されると(図8のS1と同様の処理)、S42及びS43で車両が車両速走行状態であるか否かを判定し(図17のS22、S23と同様の処理)、車両速走行状態であればS44及びS45に進み、遠隔タッチ操作面12aの操作者が運転者であるか否かを判定する(図18のS32、S33と同様の処理)。
S42〜S45にて、車両が車両速走行状態であり、かつ遠隔タッチ操作面12aの操作者が運転者であるとされた場合にはS46及びS47に進み、操作者の手(操作手)が操作意思表示用指状態であるか否かを特定し(図8のS2及びS3と同様の処理)、現在の指状態が操作意思表示用指状態であると判定された場合はS48に進み、操作意思表示用指状態でないと判定された場合はS51に進む。
S48では、表示モードとして表示許可モードに設定し、これを所定記憶領域(表示モード記憶部)に記憶する。続くS49では、制御回路18が、表示装置15の表示画面と、撮影された手との位置関係を特定し、さらにS50では、表示装置15の表示画面において表示されているメイン画像200B上に、位置指示画像200Hを重ね表示する(位置指示画像表示手段)。これらの処理は、図8のS4〜S6の処理と同様である。
具体的にいえば、S42にて車両が車両走行状態ではないとされた場合、S44にて、操作パネル12aの操作者として運転者とは異なる者が特定された場合には、S48〜S50の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像200Hが表示される(図4、図6、図7の(c)参照)。一方、S42にて車両が車両走行状態であるとされ、かつS44にて操作パネル12aの操作者として運転者が特定され、その上で、S46にて操作意思表示用指状態が特定された場合には、S48〜S50の処理により、運転者が行っている操作意思表示用指状態に基づく位置指示画像200Hが表示される(図6及び図7の(c)参照)。
他方、S47にて、現在の指状態が操作意思表示用指状態でないと判定された場合はS51に進む。S51では、表示モードとして表示禁止モードに設定し、これを所定記憶領域(表示モード記憶部)に記憶する。これにより、S49及びS50にて実施される位置指示画像200Hの表示が実行されず、表示装置15の表示画面には、例えば図5(c)に示すように、位置指示画像200Hが表示されない。
S50及びS51の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。
なお、図19の処理においては、車両が所定の車両走行状態(車速閾値よりも高速側)であり、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合(所定の車両走行状態にない場合(車速閾値よりも低速側)や操作者が運転者でない場合)に表示許可モードが固定的に設定される実施形態であったが、車両が所定の車両走行状態であり、なおかつ操作者が運転者である場合に表示禁止モードが固定的に設定され、車両が所定の車両走行状態ではなく、なおかつ操作者が運転者である場合に上記表示モード切替制御が実施され、それ以外の場合(操作者が運転者でない場合)には、表示モード許可モードが固定的に設定される実施形態としてもよい。
(第九実施形態)
上記実施形態においては、表示装置15に表示されるあらゆる操作画面において、上記のような表示モード切替制御を実行するような構成であったが、予め定められた操作画面においてのみ実行し、それ以外の操作画面では、表示許可モード、あるいは表示禁止モードに固定的に設定されるようにしてもよい。
表示装置15は、制御回路18からの制御指令に基づいて、タッチ操作面12a1への押圧操作による入力が受け付けられる複数の操作画面200を、表示画面上において切り替えることができる(操作画面表示手段)。例えば、図22に示すようなメニュー選択画面2003や図23に示すようなカーエアコンの風量設定画面2004、図24に示すようなカーオーディオのボリューム設定画面2005、さらには、既に述べたカーナビゲーションの地図表示画面2002(図7(c))や文字入力画面2001(図6(c))等を、様々な入力に応じて切り替えて表示することができる。これら複数の操作画面のうち上記表示モード切替制御の実行対象とされる操作画面の特定を可能とする表示モード実行可否情報を、制御回路18の所定の記憶領域(表示モード実行可否情報記憶手段)に予め記憶しておき、制御回路18は、位置指示画像表示処理を実施するに際して、表示モード実行可否情報を参照し、これに基づいて、表示装置15により表示される操作画面が上記のような表示モード切替制御の実行対象であると特定される場合に限り、特定された操作画面にて該表示モード切替制御を実行するように構成する。以下、その具体的な処理の流れを、図21を用いて説明する。
S61では、制御回路18が、操作者の手の画像を取得したか否かを判定する。これは図8のS1の処理と同様である。操作者の手の画像が取得された場合はS62に進み、操作者の手の画像が取得されなかった場合は本処理を終了する。
S62では、制御回路18が、現在表示中の操作画面200の種別を特定し、予め定められた、表示モード切替制御の実行対象であるか否かを特定する。ここでは、制御回路18の所定記憶領域に記憶される上記表示モード実行可否情報にて、操作画面のうち、タッチ操作面12a1への押圧操作が予め定められた操作負担レベルを上回る操作を含む複雑操作画面が表示モード切替制御の実行対象と定められ、タッチ操作面12a1への押圧操作が当該操作負担レベルを上回らない操作のみからなる簡易操作画面が表示許可モードの固定設定対象と定められている。制御回路18が当該表示モード実行可否情報を参照することにより、現在表示されている操作画面200が表示モード切替制御の実行対象であるか否かを特定する。
なお、表示モード実行可否情報は、以下のように画面種別を分類した情報として記憶することができる。即ち、複雑操作画面として、表示装置15に画面表示される1以上の操作入力画像(あるいは当該操作入力画像(操作アイコン)200Iに対応してタッチ操作面12a1上に定められる全ての押圧操作領域)の、画面全体(あるいは該タッチ操作面12a1の全領域)に対し占める割合SI/SAが、予め定められた割合S0を上回る操作画面を定め、上回らない操作画面を簡易操作画面として定めることができる(図72の例1)。また、複雑操作画面として、表示装置15に画面表示される1以上の操作入力画像(あるいは当該操作入力画像に対応してタッチ操作面12a1上に定められる押圧操作領域)200Iの数KIが予め定められた数K0を上回る操作画面を定め、上回らないものを簡易操作画面として定めることもできる(図72の例2)。また、複雑操作画面として、表示装置15に画面表示される1以上の操作入力画像200I間の間隔(あるいは当該操作入力画像に対応してタッチ操作面12a1上に定められる隣接する押圧操作領域間の間隔)LIが、予め定められた間隔L0よりも狭い操作画面を定め、上回らない操作画面を簡易操作画面として定めることもできる(図72の例3)。ここでは、図22〜図24、さらには図7(c)に示すような画面2002,2003,3004,2005が簡易操作画面、図6(c)に示すような文字入力画面2001(例えば目的地名称入力画面等)が複雑操作画面として定められている。
S64にて、制御回路18が、上記複雑操作画面及び簡易操作画面を特定可能な表示モード実行可否情報を参照して、現在表示されている操作画面200が表示モード切替制御の実行対象(ここでは複雑操作画面)であるか否かを特定するとS63に進む。S63にて、現在表示中の操作画面200が表示モード切替制御の実行対象であると判定された場合にはS69に進み、表示モード切替制御の実行対象でないと判定された場合にはS66に進む。
S64では、操作者の手(操作手)が、操作意思表示用指状態であるか否かを特定する(図8のS2と同様の処理)。続くS65にて、現在の指状態が操作意思表示用指状態であると判定された場合はS66に進み、操作意思表示用指状態でないと判定された場合はS69に進む。
S66では、表示モードとして、位置指示画像の表示が許可される表示許可モードに設定する。なお、設定された表示許可モードは、制御回路18の所定記憶領域(表示モード記憶部)に記憶される。続くS67では、制御回路18が、表示装置15の表示画面200と、撮影された手との位置関係を特定する(図8のS5と同様)。続くS68では、表示装置15の表示画面200において表示されているメイン画像200B上に、位置指示画像200Hを重ね表示する(位置指示画像表示手段:図8のS6と同様)。
具体的にいえば、S62にて、現在表示中の操作画面200が表示モード切替制御の実行対象でないと判定された場合(ここでは簡易操作画面であると特定された場合)には、S67及びS68の処理により、操作者の指状態に関らず、その指状態に基づく位置指示画像200Hが表示される一方で(図4、図6、図7の(c)参照)、S62にて、現在表示中の操作画面200が表示モード切替制御の実行対象であると判定された場合(ここでは複雑操作画面であると特定された場合)には、S67及びS68の処理により、操作者が行っている操作意思表示用指状態に基づく位置指示画像200Hが表示される(図6及び図7の(c)参照)。
他方、S65にて、現在の指状態が操作意思表示用指状態でないと判定された場合はS69に進む。S69では、表示モードを、位置指示画像200Hの表示が禁止される表示禁止モードに設定し、これを制御回路18の所定記憶領域(表示モード記憶部)に記憶する。これにより、S67及びS68にて実施される位置指示画像200Hの表示が実行されず、表示装置15の表示画面200には、例えば図5(c)に示すように、位置指示画像200Hが表示されない。
S68及びS69の終了により本処理は終了となるが、本処理は終了後も所定周期で繰り返し実施される。
なお、図21の処理においては、複雑操作画面において上記表示モード切替制御が実施され、簡易操作画面において表示許可モードが固定的に設定される実施形態であったが、複雑操作画面において表示禁止モードが固定的に設定され、簡易操作画面において上記表示モード切替制御が実施される実施形態としてもよい。
(第十実施形態)
また、上記実施形態のような操作入力装置において、その表示装置では、遠隔操作部(タッチパネル12a)を操作する手を実際に操作画面上に表示すると、手が遠隔操作部に近い場合には、図4(c)に示すように、指のみが表示された状態となる。ところが、図4(c)に示すように、多数本の指が同時に並んで表示されていると、どの指で操作してよいかの迷いが生じるし、表示された指と、実際に操作者が位置指示に使いたい指との対応関係がわからなくなって、誤操作を招く可能性もある。特に、上記操作入力装置が車両用のものである場合、車両運転中の運転者は操作画面を凝視できないので、運転しながらの多数本指での操作入力は難しく、誤操作を生じやすい。
このような課題を解決するべく、位置指示に使用する実際の指を容易に特定できるよう位置指示画像表示処理を、遠隔操作部(タッチパネル12a)の手前側で対向する手において指を特定する指特定ステップと、特定された指から遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指を指定する操作対象指指定ステップと、表示画面上の背景画像200Bに合成ないしは重畳する形で、特定された指の指示位置を示す位置指示画像200Hを表示する表示ステップであって表示される位置指示画像200Hのうち、指定された操作対象指に対応する位置指示画像200Pを、当該操作対象指とは異なる指に対応する位置指示画像200Rよりも相対的に強調する強調表示にて行う位置指示画像強調表示ステップと、を有するようにして実施することができる。これにより、図27や図28に示すように、指定された操作対象指(ここでは人差し指1本)が残余の指に対し強調して表示され、操作性が向上する。なお、制御回路18は、これら各ステップを実施することにより、指特定手段、操作対象指指定手段、位置指示画像強調表示手段として機能する。具体的には、上述した各実施形態において、図8のS6に対応する処理を、図25のような処理として実施することでなされる。
(第十実施形態の第一例)
T1では、制御回路18が、タッチ操作面(遠隔操作面)12a1の手前側(ここではカメラ12bの逆側)にて、当該タッチ操作面12a1に対向する手の指を特定する(指特定ステップ)。ここでは、図8のS1と同様、カメラ12bによって撮影された撮影画像150Hに基づいて、操作者の手指の画像を取得したか否かを判定する。判定結果は制御回路18に出力され、手指の画像が認識されたと判定された場合にはT2に進み、判定されなければ本処理を終了する。
T2では、制御回路18が、取得した指画像150Fから指先を検出する。指先の検出は、特定された指画像150Fから指先Qを特定する形で行う(指先特定ステップ)。本実施形態における指先Qの特定は、図29に示すような形で行われる。即ち、図29(a)に示すように指画像150Fが特定されると、画像処理部18aが、特定された指画像150Fを含む手画像150Hと、当該手画像150Hをその指画像150Fの指長さ方向に所定量だけずらした移動手画像160Hとを互いに重ね合わせて、互いの指画像150H,160Hが重ならない非重畳領域170を特定し、当該非重畳領域170の重心位置を算出する。そして、当該重心位置を指先(指先位置)Qと特定する。なお、指先Qの特定方法は他の方法であってもよく、例えば湾曲して表れる指先の輪郭を抽出・平滑化した上でその曲率中心として定めてもよい。また、指先Qの特定方法は、上記のように指の一点として特定するのではなく、指の第一関節までの領域を指先(指先領域)Qとして特定するものであってもよい。
なお、T1とT2は、それぞれ指特定処理と指先特定処理を行うステップであるが、これらを同時に実行してもよい。即ち、指画像から指先を特定するのではなく、カメラ12bによって撮影された撮影画像から直接指先を特定し、指先の特定によって指を特定するという処理としてもよい。これにより処理が簡略化される。
続くT3では、制御回路18が、遠隔操作部への操作に使用する、あるいは使用すると推定される操作対象指(位置指示用の指)Pを指定する(操作対象指指定ステップ)。具体的には、特定された指先Q同士の、タッチ操作面方向(タッチ操作面12a1の広がる方向、即ち該タッチ操作面12a1の法線に対し垂直をなす方向)における位置関係を反映した位置関係情報を指定指情報として取得し(指定指情報取得ステップ)、その上で、取得された該位置関係情報に基づいて、T1により特定された指のうち、当該位置関係に関する予め定められた選定条件に最も適する位置関係情報を有した指を優先して操作対象指Pとして指定する。
なお、操作対象指Pとして、複数本の指を指定することができるが、接触式操作部12aへの操作が分かり易くなるように位置指示するという観点からすると、1本又は2本といった比較的少数の指を指定するものとすることが望ましい。本実施形態においては1本である。さらに、指定対象となる指の種類としては、位置指示において好適とされる人差し指(図27及び図28の(c)を参照)、中指(図47参照)、あるいは人差し指及び中指の2本(図48参照)を想定することが望ましく、本実施形態においては人差し指を想定している。
本実施形態のT3の処理は、図26のフローチャートに示す処理として実行される。即ち、T11にて、図29(c)のように特定された指先Qを仮想的な二次元座標系の面180上にて特定し、その面180上に定められた1本の軸Xにより、上記二次元座標系内に別の一次元座標系を定める。ここでは、特定された指先Qをタッチ操作面12a1に向けて(遠隔操作部との対向方向に)投影し、その投影面を上記の面180とし、該投影面上の予め定められた位置に1本の軸Xを設定して一次元座標系を定める。T12では、面180上にて特定された指先Qの当該一次元座標系における位置座標(座標値)XQを特定し、その位置座標XQを反映した軸座標情報を、位置関係情報として取得する。その上で、T13にて、取得された該軸座標情報に基づいて、図25のT1にて特定された指のうち、当該軸座標情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Pとして指定する。
また、本実施形態においては、助手席搭乗者の右手による操作が想定されており、さらに、操作対象指Pとしてその操作者の人差し指が指定されるように軸Xが設定されている。このため、T11では、図30に示す位置に軸Xが設定されている。T12では、設定されたこの軸Xに向けて指先Qを投影し、投影された各位置の座標値X1〜X3を算出するとともに、T13では、取得した座標値X1〜X3のうち座標値が最も大きい指先Qを特定して、この指先Qを有する指が人差し指であると推定し、この指を操作対象指Pとして指定している。
また、本実施形態における軸Xは、図30に示すように、右手の人差し指が位置しにくい撮影画像の右下から、右手の人差し指が位置しやすい左上に向かうように決められているが、例えば、図31や図32のような設定であってもよい。図31の場合は、最も座標値が大きいものを中指として推定することに適しており、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定することもできる。図32の場合は、操作手が左右のいずれであるか推定ないし特定できれば、左右いずれかの最も端にある指を人差し指として推定することに好適であり、それに隣接する指を中指として推定できる。
なお、本実施形態において、カメラ12bによって撮影された撮影画像は、指先Qをタッチ操作面12a1に向けて投影した投影面180ということができる。従って、カメラ12bによって撮影された撮影画像におけるタッチ操作面12aが位置する操作パネル画像領域(タッチ操作面12aが映る領域:ここでは撮影画像150の全領域)と、上記投影面180とは、同一の座標系を有する二次元平面として認識することができ、操作パネル画像領域上の指先Qの座標位置を、そのまま投影面180における投影された指先Qの座標位置として使用することができる。T3では、この仮想的に定められる投影面180における座標系上での計算により操作対象指Pを指定しており、画像処理を要することはない。つまり、操作対象指Pの指定処理に画像データを使用しないため演算コスト(演算量・メモリ量)を低減することができる。
図25に戻る。T4では、制御回路18が、図33(c)に示すように、表示装置15の表示画面上の背景画像200Bに合成ないしは重畳する形で、特定された指先Qに対応する該表示画面上の位置に、位置指示用の画像200Hを表示する。ただし、この表示は、表示される位置指示画像200Hのうち、指定された操作対象指Pに対応する位置指示画像200Hの表示領域200Pを、当該操作対象指Pとは異なる残余の指Rに対応する位置指示画像200Hの表示領域200Rよりも相対的に強調して表示する強調表示の形でなされる。これにより、操作対象指Pの視認性が向上し、操作すべき指がユーザーに伝わりやすく、また、操作性も向上する。
本実施形態においては、制御回路18が、まず、表示装置15の表示画面と撮影された手指との位置関係を特定する。つまり、撮影された指が、表示画面上のどの位置に対向するのかを特定する。本実施形態においては、カメラ12bによって撮影された撮影画像150上に、タッチ操作面12aが位置する操作パネル画像領域(タッチ操作面12aが映る領域:ここでは撮影画像150の全領域)を特定するとともに、当該操作パネル画像領域上に二次元の操作座標系を設定して、撮影された指の位置を当該操作座標系上で特定する。そして、該操作座標系上で特定された指の位置に対応する、表示装置15の表示画面上における位置を、当該表示画面上に定められた二次元の表示座標系において特定する。
その上で、表示装置15の表示画面上にて特定された位置に、図33(a)に示すように、位置指示画像200Hをメイン画像200Bの対応する位置座標に重ね表示される。そして、上記した位置指示画像200H(200P,200R)の強調表示を、図61に示すように、所定時間t1をかけて段階的に強調レベル(強調度合い)を変化させる形で行う。つまり、強調表示変化の過程において、図33(b)に示すような変化途中状態を有し、このような強調変化途中状態を経て、図33(c)のような強調変化が完了するようにする。強調表示によって特定されていない指を見えにくくした場合、いきなりそれらの指を見えにくくしてはどの指が強調されているのか認識しづらくなる可能性がある。このため、最初は図33(a)のようにすべての指を同じように表示し、その上で、段階的に強調レベルを変化させれば、ユーザーにとって画面上に表示された指と自分の指との対応づけが容易になる。
また、強調表示は、位置指示画像200Hの指表示領域200Pないし200Rの全体、輪郭、輪郭内部のみに対し、色の変化(図63参照)、濃淡の変化(図63参照:なお、操作対象指以外の指を消してもよい)、形状変化(図64:ここでは一例として操作対象指Pを相対的に太くしている)、別画像への切り替え、透過度の変化(図27参照)、点滅(図65参照)、あるいはそれらの組み合わせにより行う。本実施形態においては、位置指示画像200Hをなす加工画像の輪郭内部の透過度を変化する形で実行する。また、ここでの強調表示は、操作対象指Pに対応する位置指示画像200Hの表示領域200Pの強調状態を一定に保持し、残余の指Rに対応する位置指示画像200Hの表示領域200Rの強調レベルを減じる形で行われている。残余の指Rに対応する位置指示画像領域200Rは消去されてもよいが、操作性を考慮すれば、消去時よりも強調レベルは低くなるものの比較的容易に視認できる状態であるとよい。
また、T4における強調表示は、図61に示すように、T3において操作対象指Pが指定されるに伴いすぐに開始されるようにしてもよいし、図62に示すように、T3にて操作対象指Pが指定されてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。
T4の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル12aに対向する手が移動すると、これに合わせて、表示装置15の表示画面に表示される位置指示画像200Hの表示位置も移動する。強調変化途中で手が動いた場合は、強調変化を継続しながら位置指示画像200H(200P及び200R)の表示位置が移動し、強調変化が完了している状態で手が動いた場合には、当該強調状態を保持したまま位置指示画像200H(200P及び200R)の表示位置が移動する。
なお、この位置指示画像の表示処理には、指特定ステップ、指先特定ステップ、操作対象指指定ステップ、位置指示画像強調表示ステップ、指定指情報取得ステップが含まれており、制御回路18は、CPUにより当該処理を実行することで、これら各ステップを実行する手段(指特定手段、指先特定手段、操作対象指指定手段、位置指示画像強調表示手段、指定指情報取得手段)として機能する。
(第十実施形態の第二例)
操作対象指Pの指定方法は、図34〜図36に示すようにすることもできる。ここでは、図34のフローチャートに示すように、T21にて、図25のT2にて特定された指先Qをタッチ操作面12a1に向けて投影し、その投影面180上の予め定められた領域に基準領域Yを設定し(図35又は図36参照)、T22にて、設定された基準領域Yと投影された指先Qとの間の距離を反映した距離情報を位置関係情報として取得し(指定指情報取得ステップ)、T23にて、取得された該距離情報に基づいて、図25のT1にて特定された指のうち、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Pとして指定する(操作対象指指定ステップ)。
なお、本実施形態においても、上記実施形態と同様に仮想的に定められた面180上に指先Qを特定し、さらに上記基準領域Yを定める(T21)。その上で、上記各距離を算出し(T22)、それに基づいて操作対象指Pを指定する(T23)。ここでは、操作対象指Pとして操作者の中指が想定されており、上規格距離の最も長い指が操作対象指Pとして指定される。なお、基準領域Yは面積を持つ領域として定めてもよいし、面積を持たない点や線として定めてもよい。
また、基準領域Yは、例えば図35のように、カメラ12bにて指が撮影される状態において手の甲が位置すると推定される予め決められた位置に配置することができる。この場合の距離情報は、T1にて特定された指の長さを直接反映はしないもののそれに関連する情報であり、その距離の長さから、特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Pとして人差し指等を想定する場合には、2番目に長い指を人差し指と推定し、指定してもよい。
また、基準領域Yは、例えば図36のように、カメラ12bにて指が撮影される状態において操作対象指Pとして想定する指の指先が最も位置しやすい位置に配置することができる。この場合、基準領域Yとの距離が最も短い指先Qを有する指を操作対象指Pとして指定することができる。図36の場合は、操作手が右手である場合を想定しており、最も左上に位置している。
(第十実施形態の第三例)
操作対象指Pの指定方法は、図37及び図38に示すようにすることができる。ここでは、図37のフローチャートに示すように、T31にて、図25のT1にて特定された各指の形状に係る指形状情報を指定指情報として取得し(指定指情報取得ステップ)、T32にて、取得された該指形状情報に基づいて、T1にて特定された指のうち、当該指の形状に関する予め定められた選定条件に最も適する接近距離情報を有した指を優先して操作対象指として指定する(操作対象指指定ステップ)。
指形状情報としては、図25のT1にて特定された指同士の、タッチ操作面方向における長さ関係に係る指長情報を定めることができる。具体的にいえば、図25のT2において特定された指先Qから、撮影画像150上に表れる指端縁の線分の中点に相当する位置までの長さd1〜d3(図38参照)を算出し、これらを上記指長情報とすることができる。この場合、指長情報は、T1にて特定される指の長さが反映された情報であるから、その長さから特定の指を指定できる。例えば、当該距離が最も長い指を中指と推定できるし、さらに操作手が左右のいずれであるか推定ないし特定できれば、その中指に隣接する指を人差し指として推定できる。また、操作対象指Pとして人差し指等を想定する場合には、2番目に長い指を人差し指と推定し、指定してもよい。この構成によると、操作に使用する意図が無いような中途半端にのびた指が位置指示用に指定される可能性を確実に排除することができる。なお、指長情報d1〜d3は、少なくとも各指の長さを反映した情報であればよく、例えば、湾曲する指先の先端位置から、撮影画像150上に表れる指端縁までの指の長さ方向に沿った距離としてもよい。
また、指形状情報としては、図25のT1にて特定された指同士の、タッチ操作面方向における幅の関係に係る指幅情報を定めることもできる。具体的にいえば、図25のT2において特定された指先Qを通り、その指の長さ方向に垂直な幅方向の長さw1〜w3(図38参照)を、上記指幅情報とすることができる。この場合、指幅情報は、指がタッチ操作面12a1に接近しているほど大きく表れるから、当該タッチ操作面12a1への接近距離関係を反映した接近距離情報ともいうことができ、最も指幅の大きい指を操作対象指Pとして指定することができる。なお、指幅情報w1〜w3は、少なくとも各指の幅を反映した情報であればよく、上記とは別の位置にて算出された指幅であってもよい。
(第十実施形態の第四例)
操作対象指Pの指定方法は、図39に示すようにすることができる。T41にて、図25のT1にて特定された指によりタッチ操作面12a1へのタッチ操作位置Tを検出して、T42にて、検出されたの初回のタッチ操作を行った指を操作対象指Pとして指定する(操作対象指指定ステップ)。つまり、タッチ操作面12a1へのタッチ操作位置Tを指定指情報として取得し、これに基づいて操作対象指Pを指定する。この構成によると、強調表示の開始トリガーが、ユーザーのタッチ操作として定められているので、強調表示による表示変化を見逃すことが無くなる。なお、この場合、指定された操作対象指Pは、手操作により移動する際に追跡され、当該指Pが画面から消失するまで、あるいは新たなタッチ操作がなされるまで指定され続ける。あるいは、画面から消失した後、再び画面上に現れた際にも同じ指が操作対象指Pとされるように、他の指Rとの位置関係情報や当該指Pの指形状情報等の条件を、制御回路18内の記憶部に記憶して、これに基づいて操作対象指Pを指定するようにしてもよい。
(第十実施形態の第五例)
操作対象指Pの指定方法は、図40及び図41に示すようにすることができる。ここでは、図40のフローチャートに示すように、T51にて、図25のT1にて特定された指によりタッチ操作面12a1へのタッチ操作位置Tを検出し、該タッチ操作位置Tが検出されるに伴いT52にて、図41に示すように、検出されたのタッチ操作位置Tに最も近い指を操作対象指Pとして指定する(操作対象指指定ステップ)。なお、この場合、図25のT4における強調表示は、タッチ操作面12a1へのタッチ操作がなされるに伴い(すぐに)開始されるようにしてもよいし、タッチ操作面12a1へのタッチ操作がなされてから所定時間経過した後に開始されるようにしてもよい。特に、強調表示が段階的になされないような構成の場合は、後者が選択されることが望ましい。
なお、上記第十実施形態の第四例及び第五例において、誤ってタッチ操作面12a1に触れてタッチ操作をしてしまった場合に、強調表示が開始されないようにすることができる。具体的にいえば、T41又はT51におけるタッチ操作として、通常のタッチ操作(操作入力が有効となるタッチ操作)よりも操作負担が大となるタッチ操作を強調表示開始操作として定めることができる。例えば、強調表示開始用のタッチ操作(強調表示開始操作)として、通常のタッチ操作よりも入力が有効となるまでの押圧操作継続時間が長いタッチ操作を定めたり、通常のタッチ操作よりも強い押圧操作力によるタッチ操作を定めたりすることができる。この場合、T41又はT51において、定められた強調表示開始操作があった場合に限りT42又はT52にて進み、強調表示開始操作がない場合は、当該強調表示開始操作があるまで強調表示を開始しない待機状態とするようできる。
(第十実施形態の第六例)
操作対象指Pの指定方法は、図42及び図43に示すようにすることができる。ここでは、図42のフローチャートに示すように、T61にて、撮影された指の画像の輝度情報を指定指情報として取得し(指定指情報取得ステップ)、T62にて、取得された輝度情報に基づいて、撮影された指の画像のうち、当該輝度情報に関する予め定められた選定条件に対し適する指を優先して操作対象指Pとして指定する(操作対象指指定ステップ)。カメラ12bは、タッチ操作面12a1を操作する手の反射光を捉える形で撮影を行うので、該タッチ操作面12a1に最も近い指先ほど高輝度に表れる。つまり、輝度情報とは、既に述べた接近距離情報(指定指情報)であるといえる。一方で、タッチ操作面12a1を操作する指先は、当該タッチ操作面12a1に近い指ほど位置指示の可能性が高いから、例えば、輝度の最も高い指を優先して操作対象指Pとして指定するように構成することができる。
カメラ12bは、図3に示すように、光源12cの反射光を捉える形で撮影を行っている。従って、撮影映像150に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ12bにより撮影される撮影映像150は多階調の撮影画像(本実施形態ではモノクロの撮影画像)であるから、画像処理部18aでは、これを予め定められた階調閾値を用いて各画素の階調レベルを2値化して、図29の(a)のようにし、当該階調閾値を上回る領域を接近対象物画像150Hとして抽出する。また、画像処理部18aでは、抽出された接近対象物画像150Hから人の手・指の画像を特定するために、まずは、当該接近対象物画像150Hの形状と、制御回路18の記憶部に記憶された手や指の形状パターンと比較して、それらパターンに合致する接近対象物画像150Hを手指の画像として認識する。本実施形態においては、手や指の画像を特定するための上記階調閾値を第一の階調閾値とし、さらに、それよりも高い第二の階調閾値を定め、当該第二の階調閾値を越える領域L1(図43参照)を有する指先の指を、操作対象指Pとして指定することができる。また別の方法として、指先Qの輝度または、指先Qを基準にする予め決められた領域の平均(または最大/最小)輝度の比較により操作対象指Pを指定してもよい。なお、図43の領域L1〜L3は、撮影映像150において輝度の異なる領域を示すものであり、L1,L2,L3の順で輝度が低くなっている。
つまり、ここでは、図25のT1が、カメラ12bにより撮影された画像の輝度に基づいて指画像を特定して、当該指画像により指を特定するステップであり、図25のT2が、カメラ12bにより撮影された手の画像を用いて指先を特定するステップである。さらに、図25のT3は、同じくカメラ12bにより撮影された手の画像の輝度に基づいて、操作対象指Pを特定するステップである。従って、本実施形態においては、カメラ12bの撮影画像から、指の特定、指先の特定、さらには操作対象指Pの指定までもが可能となっている。
また、ここでは、指全体ではなく指先部分の画像情報を使用して、操作対象指Pを指定する処理とする。これにより、操作対象指Pの指定処理の対象となるデータを限定することが可能となり演算コスト(演算量・メモリ量)を低減することができる。具体的にいえば、図43に示すように、T2で特定された指先Qを中心に、指先全体が含まれる所定形状(ここでは四角)の領域Sを設定し、T1で特定された全ての指に関し、T61にて当該領域Sにおける輝度情報を特定・取得し、T62にて、取得した輝度情報のうち最も高輝度である領域Sの指を優先して操作対象指Pとして指定するようにしている。
(第十実施形態の第七例)
操作対象指Pの指定方法は、図44〜図46に示すようにすることができる。ここでは、図44のフローチャートに示すように、T61にて、図25のT1にて特定された指先の、タッチ操作面12a1への接近距離関係を反映した接近距離情報を指定指情報として取得し(指定指情報取得ステップ)、T62にて、取得された接近距離情報に基づいて、指特定ステップにより特定された指のうち、当該接近距離に関する予め定められた選定条件に対し適する指を優先して操作対象指として指定する(操作対象指指定ステップ)。ただし、この構成の場合、タッチ操作面12a1と操作手の指先との距離を検出する手段が必要となる。上記第十実施形態の第五例のように輝度を接近距離情報として取得することもできるが、例えば図45に示すように、カメラ(撮影手段)40を、接近距離情報を取得するための手段とすることができる。カメラ40は、タッチ操作面12a1と操作手の指先との距離が映るように配置され、その撮影画像(例えば図46)から、制御回路18が、タッチ操作面12a1に対する操作手の各指の指先との距離d1〜d4を算出して、例えば最も距離の近い指先の指を操作対象指Pとして指定することができる。図46は、図45のカメラ40による撮影映像の一例である。
(第十実施形態の第八例)
なお、上記した位置関係情報、指形状情報等の複数種の指定指情報を組み合わせる形で、操作対象指を指定してもよい。これにより、人差し指や中指といった決められた種類の指をより正確に特定することが可能となる。
(第十実施形態の第九例)
手画像撮影手段をなすカメラ12bは、タッチパネル12aの裏面12a2側から撮影するものではなく、例えば、図12のように取り付ける構成としてもよい。また、手画像撮影手段をなすカメラ12bは、図12のカメラ20に兼用させてもよい。
図12のカメラ20のように、撮影範囲が、操作パネル12aの操作者の手だけでなく、その手から続く腕まで映るように定められている場合は(例えば図13の撮影画像300)、撮影される操作パネル周辺画像を取得する制御回路18では、画像処理部18aにて、手からのびる腕の方向を特定して、操作者が左右いずれの搭乗者であるかを特定できる。これにより、タッチ操作面12a1の操作者が、該タッチ操作面12a1の左側に位置する者であれば、その操作手を右手と特定することができるし、該タッチ操作面12a1の右側に位置する者であれば、その操作手を左手と特定することができる。
そして、制御回路18は、その操作手の特定結果に基づいて、操作対象指Pの指定条件を切り替えるようにすることができる。具体的にいえば、操作対象指Pとして人差し指を特定する場合には、操作手が左手の場合は、最も右に出現する指として特定したり、最も長く表れる中指の右に隣接する指として特定することができ、他方、操作手が右手の場合は、最も左に出現する指として特定したり、最も長く表れる中指の左に隣接する指として特定することができる。従って、操作対象指Pを指定する際に、操作手が左手であるか右手であるかに応じて選定条件が切り替わる場合は、当該操作手の特定結果に基づいて、その切り替えを行うようにすることができる。また、操作手が運転者の手と特定された場合に、操作ができないよう表示を行わないようにしてもよい。こうすると、左側の助手席搭乗者のみを操作者として指定できるから、操作手として絶えず右手を定めることができ、ひいては、これを操作対象指Pの選定条件に予め反映しておくことができる。
この場合、このカメラ20が、制御回路18(画像処理部18a)とともに操作者特定手段として機能している。なお、操作パネル12aの操作者が運転者であるか否かを特定する方法は、他の方法であってもよい。例えば、タッチ操作面12aの車両左右両側にそれぞれ接近物を検知する接近物検知部(例えば赤外反射センサ等の反射式光学センサ)を設け、これにより操作者を特定してもよい。
(第十実施形態の第十例)
上記した全ての第十実施形態において、上記のような強調表示を、2以上の指が特定された場合にのみ実施するようにしてもよい。指特定手段として機能する制御回路18は、指の本数を特定することが可能であるから、特定された指本数が2以上である場合に上記第十実施形態に係る位置指示画像表示処理を実行し、1本の場合には、その指に対応する位置指示画像のみを表示するシンプルな表示処理を実行するように構成するようにできる。
(第十実施形態の第十一例)
上記した全ての第十実施形態において、遠隔操作部は接触操作(プッシュ操作やタッチ操作)を前提としているため、1本の指を位置指示用に指定している。さらに、場合によっては図48に示すように2本の指を位置指示用に指定するように構成できることも述べられている。ところが、遠隔操作部は、ダイアル操作部等のような、操作ノブをつまむ形での操作が前提となる操作部であってもよく、この場合は、2本あるいは3本といった本数の指を操作対象指Pとして指定することもできる。なお、つまむ形での操作における指の特定ないしは指先の特定は、上記した接近距離情報(遠隔操作面への接近距離関係を反映した情報)を用いて行うことができる。
例えば、図49に示すように、本発明の遠隔操作部としてダイアル操作部12a’(ダイアルノブ周辺の筐体前端部121eもダイアル操作部12a’の一部とする)を設け、これを操作するために接近する手をカメラ41,42(制御回路18に接続する形で構成する)にて撮影するように構成する。カメラ41,42は、撮影範囲が異なっており、双方の撮影方向がダイアル操作部12a’の回転軸線に対し垂直な平面上にて直交するように定められている。これらカメラ41,42の撮影画像(図27及び図28の(b)と同様の2値化後の画像)150a,150bの一例が、図50(a)、(b)に示されている。一方で、操作情報入力部12の内部にも図3に示す形でカメラ12bが設置されている(図12のように外部にあってもよい)。カメラ12bの撮影画像(図27及び図28の(b)と同様の2値化後の画像)150cの一例が、図50(c)に示されている。なお、これらの画像150a,150b,150cの画像領域150Sは、操作部12a’の映った領域である。
ここで、この構成において実施される上記のような強調表示について、その処理の流れを説明する。
まずは、図50(a)、(b)の画像150a,150bを取得し(図25のT1に相当する処理)、画像150a,150bから抽出される手画像150Hから指先Qを特定する。その上で、指先Qの具体的な位置を特定する(図25のT2に相当する処理)。ここでは、図49に示すようなx軸、y軸、z軸を有する三次元座標系(車室内座標系)を車室内に定めて、当該座標系における位置座標として特定する。具体的には、画像150a,150bにx−z座標系、y−z座標系を定めて、これらから筐体前端部121e側に延出する突出画像150Fの先端領域に既に述べたいずれかの方法により指先Qを特定するとともに、当該指先Qの位置座標を特定して、これらから上記車室内座標系における三次元位置座標を特定する。
続いて、操作対象指Pを特定する。ここでは、各指先Qから筐体前端部121eの前端面間までの距離を算出して、筐体前端部121eの前端面に最も近い位置にある指先Qと、それに次いで近い位置にあるQとの双方を、操作対象指Pとして特定する。なお、ここでの距離の算出は、画像150a,150bに筐体前端部121eの前端面が映るので(符号150E)、これを用いて算出してもよいし、画像150cの輝度から算出してもよい。
そして、特定された操作対象指Pの指先Qに対応する位置指示画像200Hの位置指示領域200Q(200P)を、他の指先Qに対応する位置指示画像200Hの位置指示領域200Q(200R)よりも強調する形で、図51に示すような形で背景画像200Bに重ねて表示する、あるいは合成して表示する。なお、図51における背景画像200B(200B3)は、スイッチ画像200Iとして、ダイアルスイッチ画像が表示されており、遠隔操作部をなすダイアル操作部12a’の回転操作に応じた回転表示がなされ、回転位置に応じた制御内容が実施される。
なお、ここでの操作対象指Pの指定方法は、既に述べた第十実施形態の第二例のように、特定された指先Qを、遠隔操作部をなすダイアル操作部12a’に向けて(ダイアル操作部12a’との対向方向に)投影し、その投影面180上の予め定められた領域に設定される基準領域Yと投影された指先Qとの間の距離を反映した距離情報を位置関係情報として取得して、取得された該距離情報を用いて、当該距離に関する予め定められた選定条件に対し適する指を優先して操作対象指Pとして指定する。なお、ここで設定される基準領域Yは、図53に示すように、ダイアル操作部12a’を投影面180に投影した投影領域120の中心位置として設定することができる。
また、ここでの操作対象指Pの指定方法は、少なくとも親指が含まれるように定められるような方法であるとよい。具体的には、他の指との太さの違い、他の指との位置関係の違い、指の延出方向の違い等、様々な要素から特定できる。また、操作対象指Pが2本である場合は、残り1本の指は、親指以外で最も筐体前端部121eの前端面に近い指とすることができる。ただし、つまみ操作のしやすさから人差し指又は中指が指定されることが望ましく、例えば親指を基準として(たとえば親指からの位置関係により)指定することができる。また、上記のようなつまみ操作を前提とするような遠隔操作部の場合は、図52のように、3本の指の指先を強調してもよい。この場合は、望ましくは、親指、人差し指、中指が操作対象指Pに指定されるとよい。
また、この実施形態では、位置指示画像200Hにおける指先領域200Qを位置指示領域としているが、既に述べた他の実施形態のように、位置指示画像200Hに含まれる指全体を位置指示領域としてもよい。逆に、既に述べた他の実施形態において、位置指示画像200Hにおける指先領域200Qを位置指示領域としてもよい。
(指ないし指先の追跡処理)
上記した全ての実施形態において適用可能な処理について説明する。
上記した第十実施形態においては、撮影映像のフレーム毎に操作対象指Pが特定される構成となっているが、この場合、操作パネル12a(12a’)と操作する手の位置関係が変わった際に、操作対象指Pが自動的に別の指に切り替わってしまう可能性がある。特に、第十実施形態の第四例や第五例のように、遠隔操作部への接触位置(ユーザー操作)に基づいて操作対象指Pが特定される場合には、タッチ操作が基準となって操作対象指Pが特定されるため、手や指の位置が移動したからといって簡単に別の指が操作対象指Pとされることは望ましくない。また、第十実施形態以外においても、操作意思表示用指状態として、予め定められた操作意思表示用の指の種別が特定される状態が定められているような場合(例えば人差し指や中指のいずれか又は双方が特定される指状態)も、当該種別の指が特定された後に、手や指の位置が移動したからといって、簡単に別の指が操作意思表示用の種別の指として特定されてしまうことは望ましくない。このため、操作対象指P等の指が指定ないし特定された後、指定ないし特定された指の移動を追跡する処理を追加し、その追跡結果に基づいて、同一の指を継続的に指定ないし特定し続けることで、上記の問題を解決することができる。
図54及び図55は、図25のT1で特定される全ての指を追跡するための処理、さらにいえばT2で特定される全ての指先を追跡する処理、あるいは、図8のS2(及びS2に相当する処理)で特定される全ての指(さらには指先)を追跡するための処理である。ここでは、遠隔操作部をなす操作パネル12a(12a’)を操作するために当該操作パネル12a(12a’)の手前側にて対向した手(指)を、撮影手段であるカメラ12bにより撮影される動画像に基づいて特定するよう構成されている。この場合、操作パネル12a(12a’)の手前側にて対向する手(指)の指特定可能範囲(指先特定可能範囲)は、固定配置されたカメラ12bの撮影範囲である。カメラ12bは、当該範囲の動画像を撮影し、制御回路18は所定時間間隔おきに順次撮影された動画像フレームを取得する。
図54及び図55の指追跡処理(指追跡ステップ)では、順次取得される動画像フレームから特定される各指先の当該フレーム内での位置を算出して、算出された位置情報を追跡情報として、制御回路18のROM等の設けられた所定の追跡情報記憶部に記憶・蓄積することで、順次取得される動画像フレームから特定される各指先を識別しながら、それぞれの移動を追跡する。
追跡情報は、図56の符号500に示すような形で記憶される。図56に示す追跡情報500には、取得した動画像フレームにて特定された各指先に指先ID(識別情報)を付与し、当該指先IDに対応付けた形で、各指先の前回の動画像フレーム(以下、前フレーム称する)及び前々回の動画像フレーム(以下、前々フレームと称する)内での位置を示す位置情報を記憶可能としている。なお、ここでの位置情報は、動画像フレーム内に定められる所定の二次元座標系上での各指先の位置座標である。図56の上図は、当該二次元座標系が定められた動画像フレーム(指特定可能範囲ともいえる)を図示したものであり、図56の追跡情報500として記憶されている、前フレームにて特定された指先の位置座標Pi(-1)及び前々フレームにて特定された指先の位置座標Pi(-2)、さらに現フレームにて特定された指先のRj(0)が表示されている。図56に示すように、新たな動画像フレームが取得されるに伴い各指先の位置座標が順次記憶・更新されていく。なお、記憶保持される位置座標は、ここでは前フレーム及び前々フレームの位置座標であって、前々フレームよりも以前のフレームの位置座標は順次消去される。
また、追跡情報500には、最新の動画像フレーム(以下、現フレームと称する)から特定される各指先の当該フレーム上での位置を示す位置情報が含まれており、追跡情報記憶部には、当該位置情報が指先IDごとに記憶される。さらに、追跡情報には、現フレームにおいて各指先が位置するであろう予測位置(次回位置)が含まれており、追跡情報記憶部には、当該予測位置を示す予測位置情報が記憶される。さらに、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、指先IDごとに、現フレーム取得時における対応する指先の追跡状況が特定され、これも追跡情報として追跡情報記憶部に記憶される。追跡状況としては、指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態(追跡中)と、前フレームまでは追跡されていた指先を現フレームにてロスト(消滅)した追跡不可状態(ロスト)と、前フレームまでは追跡されていなかった指先が新規に出現した新規出現状態(新規出現)との少なくとも3状態を有している。
指先の予測位置の算出方法としては、例えば以下のような算出方法を例示できる。即ち、過去複数回の動画像フレーム上の各指先の位置を示す位置情報に基づいて算出する方法である。ここでは、各指の追跡情報として、前フレーム回及び前々フレーム上の各指先の位置情報が含まれているから、それら位置情報に基づいて、各指先の移動を推定し、次フレーム上の各指先の推定移動先を上記予測位置として算出する。具体例としては、図58(a)に示すように、各動画像フレーム上に共通に定められる動画像フレーム400上の二次元座標系において、前々フレーム上に特定される指の位置座標Pi(-2)から、前フレーム上に特定される位置座標Pi(-1)に移動した際の、当該位置座標Pi(-1)における指の速度ベクトルVi(-1)を、当該移動の移動方向及び移動距離に基づいて算出する。そして次フレームでは、位置座標Pi(-1)に位置する指が速度ベクトルVi(-1)だけ移動すると推定し、その推定移動先の位置座標Qi(-0)を算出する(Qi(-0)=Pi(-1)+Vi(-1))。算出された位置座標Qi(-0)が予測位置情報であり、追跡情報の一つとして制御回路18の追跡情報記憶部に記憶される。
ただし、前フレームにおいて新規に出現した指先に対し、次フレームでの出現を予測することは、上記のように前フレームと前々フレームとの双方を用いた予測方法では実施できない。こうした場合、ここでは、前フレーム上にて特定された指先の位置情報に基づいて、当該指先の前々フレームにおける位置を仮位置として定め、この仮位置を示す位置情報と、前フレームの位置情報とに基づいて、当該指先の次フレーム上での出現位置を特定する。この仮位置の決定方法は以下の通りである。即ち、図59に示すように、動画像フレーム(指先特定可能範囲)400内の領域を、各縁部(ここでは上下左右の縁部)に対応付けた形で予め区画して(区画線は破線で図示)、各縁部401(401a〜401d)に対応する縁部対応領域410を設定しておき、その上で、まずは、前フレーム上にて特定された指先位置Pi(-1)が存在する縁部対応領域410(401A〜401D)を特定する。Pi(-1)が存在する縁部対応領域410が特定された場合には、当該Pi(-1)に最近接する当該縁部対応領域410の縁部401上の位置を、前々フレームの仮位置として決定する。つまり、前フレーム上にて特定された指先位置Pi(-1)を通過し、当該指先位置Pi(-1)が存在する縁部対応領域410の縁部401に向かう垂線と、当該縁部401との交点を仮位置Pi'(-2)と定める。
なお、上記の指先の予測位置の算出方法は、前フレーム回及び前々フレーム上の各指先の位置情報に基づいて算出する方法であったが、より高い精度で算出するために、図58(b)に示すように算出する。即ち、各動画像フレーム上に共通に定められる動画像フレーム400上の二次元座標系において、現フレームから1回前フレーム上に特定される位置座標Pi(-1)上における指の速度ベクトルVi(-1)と加速ベクトルAi(-1)をそれぞれ算出し、次フレームでは、当該位置座標Pi(-1)に位置する指がこれら速度ベクトルVi(-1)と加速ベクトルAi(-1)の分に相当する移動が生ずると推定して、その推定移動先の位置座標Qi(-0)を算出する(Qi(-0)=Pi(-1)+Vi(0)=Pi(-1)+Vi(-1)+Ai(-1))。まずは、現フレームから3回前のフレーム上に特定される指の位置座標Pi(-3)から、現フレームから2回前フレーム上に特定される位置座標Pi(-2)に移動した際の移動方向及び移動距離に基づいて、位置座標Pi(-2)における当該指の速度ベクトルVi(-2)を算出する。その上でこの指を、動画像フレーム400上の位置座標Pi(-2)から速度ベクトルVi(-2)だけ移動した先の位置座標から、現フレームから1回前フレーム上に特定される位置座標Pi(-1)に移動した際の移動方向及び移動距離に基づいて、加速ベクトルAi(-1)を算出する(Ai(-1)=Vi(-1)−Vi(-2)=Pi(-1)−Pi(-2)−Vi(-2))。また、速度ベクトルVi(-1)は、現フレームから2回前フレーム上に特定される位置座標Pi(-2)から、現フレームから1回前フレーム上に特定される位置座標Pi(-1)に移動した際の、移動方向及び移動距離に基づいて算出する。
指先の追跡状況の特定方法としては、例えば以下のような特定方法を例示できる。即ち、現フレーム上に特定された指先の位置情報と、当該指先の現フレーム上での予測位置情報とを比較し、これらの位置関係が予め定められた基準条件を満たすか否かに基づいて特定する方法である。例えば、図56に示すように、現フレームに関して算出された各予測位置情報が示す指先の位置座標Q1(-0)、Q2(-0)、Q3(-0)と、現フレームにおいて実際に特定された全ての指先の位置座標Ra(0)、Rb(0)、Rc(0)、…との中から、動画像フレーム内において最も位置が近接するペアを対応するペアを、基準条件を満たすペアとして認識するようにする。ただし、ペアをなす両位置間の距離が予め定められた基準距離を下回らないような、一定以上離れた位置関係にある場合については、当該ペアを対応するペアとして認識しないようにする。対応するペアについては、現フレームにて実際に特定された指先と、予測位置情報を算出するための根拠となった前フレームの位置情報に対応する指先とが同一の指先であると判定し、当該指先の追跡が前フレーム時から現フレームにかけて継続している追跡継続状態(追跡中)と特定する。現フレームにて実際に特定された指先のうち、対応するペアが見つからなかった指先は、新規出現状態(新規出現)として特定する。現フレームに関して算出された予測位置情報に対応する指先(前フレームにて追跡中と特定された指先)のうち、対応するペアが見つからなかった指先は、追跡不可状態(ロスト)として特定する。特定された各指先の追跡状況は、各指先IDに対応付けた形で制御回路18の追跡情報記憶部に記憶される。
なお、追跡状況として追跡不可状態(ロスト)が特定された場合には、この追跡不可状態(追跡状況)や、この追跡不可状態が特定される直前のフレーム上での当該指先の位置情報と共に、他の追跡不可状態の指との追跡不可特定時期の前後関係が特定可能となる追跡不可認識順序が、追跡復帰判断情報として追跡情報記憶部(追跡復帰判断情報記憶部)に記憶される。なお、ここではこの追跡復帰判断情報も追跡情報の一つとして取り扱うこととする。
ここで、図54及び図55に示す指追跡処理(指追跡ステップ)の流れを説明する。この指追跡処理は、制御回路18が、カメラ12bから動画像フレームを取得するたびに実行する処理であり、これにより当該制御回路18が指追跡手段として機能する。
まずR201(図54)では、制御回路18が、カメラ12bによる動画撮影により取得した新たな動画像フレーム(現フレーム)内に、指先が特定されるか否かを判定し、指先が特定された場合にはR202に進み、指先が特定されなかった場合にはR215に進む。なお、指先の特定方法については、図25のST1及びT2と同様である。
R202では、制御回路18が、現フレーム上に特定される各指先と、前フレーム上に特定される各指先との対応関係を特定する。ここでは、現フレームにおける指先の位置情報と、現フレームに関し予測された指先の予測位置情報との対応関係を特定し、その対応結果から、現フレーム取得時における各指先の追跡状況が、追跡継続状態(追跡中)・追跡不可状態(ロスト)・新規出現状態(新規出現)・未特定(未出現)のいずれの状況にあるかを、指先IDごとに特定する。特定された追跡状況は、図56の符号500に示すような形で、対応する指先IDごとに制御回路18の追跡情報記憶部に記憶する。ここでは、前フレーム上に特定された指先と上記基準条件を満たす、現フレーム上に特定された指先が存在する場合を、追跡継続状態(追跡中)と認識し、前フレーム上に特定された指先のいずれとも上記基準条件を満たさない、現フレーム上に特定された指先が存在する場合を、新規出現状態(新規出現)と認識し、現フレーム上に特定されたいずれの指先とも上記基準条件を満たさない、前フレーム上に特定された指先が存在する場合を、追跡不可状態(ロスト)と認識する。
R203では、前フレーム上に特定された指先と現フレーム上に特定された指先とにおいて同一の指が存在するか否か、言い換えれば、現フレーム上に追跡継続状態(追跡中)の指先が存在するか否かを判定する。追跡継続状態(追跡中)の指先が存在する場合にはR204に進み、追跡継続状態(追跡中)の指先が存在しない場合は図55のR205に進む。
R204では、追跡継続状態(追跡中)の指先の指先IDに対応する追跡情報を更新する。追跡継続状態(追跡中)の指先とは前フレーム取得時に追跡情報の更新を行った指先であり、当該指先の指先IDに対応する現フレームの位置情報を、当該指先の現フレームにおける位置を示す位置情報により更新する。さらに、これまで記憶されていた現フレームの位置情報を前フレームの位置情報として更新し、これまで記憶されていた前フレームの位置情報を前々フレームの位置情報として更新する。
R205では、前フレーム上に特定された指先のうち、現フレーム上に特定されなかった指先が存在するか否か、言い換えれば、図60に示すP1(0)ような、現フレームにて追跡不可となった指先が存在するか否かを判定する。追跡不可状態(追跡中)の指先が存在する場合にはR206に進み、追跡継続状態(追跡中)の指先が存在しない場合はR207に進む。
R206では、追跡不可状態(ロスト)の指先の指先IDに対応付ける形で、追跡不可と認識されたときの当該指に係る情報を追跡復帰判断情報として記憶する。この追跡復帰判断情報は、後に取得される動画像フレームにおいて追跡中でない新たな指先が出現した時に、その指がここで追跡不可と認識された指であるか否かを判定するために使用される情報である。これにより、一度フレームから外れた指先が再度フレーム内に進入した場合に、両者を同じ指として認識することができ、改めてその指の追跡を行うことが可能となる。ここでは、追跡不可状態となった指先の指先IDを消去することなく記憶保持し、当該指先IDに対応付ける形で、当該指先IDに対応する前フレームの位置情報(消滅直前位置)と共に、他の追跡不可の指との追跡不可認識時期の前後関係が特定可能となる追跡不可認識順序(消滅順)を追跡復帰判断情報として記憶する。図56の場合、指先ID「2」に消滅順として「1」が付されており、後に取得される動画像フレームにて新たの指先が追跡不可となった場合には、その指先IDには消滅順として「2」が付されることになり、付された番号の大きいものほど、追跡不可認識時期が新しいと判断できる。
R207では、現フレーム上に特定された指先のうち、前フレーム上に特定されなかった指先が存在するか否か、言い換えれば、現フレームにて新規出現した指先が存在するか否かを判定する。新規出現状態(新規出現)の指先が存在する場合にはR208に進み、追跡継続状態の指先が存在しない場合はR209に進む。
R208では、R207にて新規出現状態(新規出現)の指先が存在すると特定された段階で、現在、追跡不可状態(ロスト)を継続している指先が存在するか否かを判定する。この判定は、図56に示す追跡情報において、追跡復帰判断情報が記憶されている指先IDが存在するか否かに基づいて行う。この段階で、追跡不可状態(ロスト)を継続している指先が存在しないと判定された場合にはR213に進み、R207にて特定された新規出現状態の指先に、これまで付されていない新たな指先IDを付与し、当該指先IDに対応付ける形で、当該新規出現状態の指先の現フレーム上にて特定された位置を示す位置情報を記憶する。さらに、当該指先IDに対応する追跡状況を追跡不可状態から追跡継続状態(追跡再開)に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。R213を終了すると、本処理は終了となる。他方、R208にて、追跡不可状態(ロスト)を継続している指先が存在すると判定された場合にはR209に進む。
R209では、新規出現の指先のうち、現在、追跡不可状態(ロスト)を継続している指先と同一の指があるか否かを特定する。具体的には、R207にて実際に特定された新規出現の指先の現フレームにおける位置情報と、追跡情報500に含まれる追跡不可状態の指先の最後の位置を示す位置情報(追跡復帰判断情報)とに基づいて、追跡不可状態となっている指先のうち、実際に特定された新規出現の指先の位置に対し、一定範囲内にて最も近接するものが存在するか否かを判定する。ここでは、現フレームにて実際に特定された各指先の指先位置と、追跡不可状態となっている各指先の指先位置との間の距離を算出し、それらの距離のうち、最も距離が短く、なおかつ予め定められた基準距離よりを下回る距離を特定して、当該距離に対応するする現フレームにて実際に特定された各指先と追跡不可状態となっている各指先とを同一の指先と判定する。ただし、一定範囲内に存在する追跡不可状態となっている指先が複数存在する場合には、追跡不可認識順序(追跡復帰判断情報)に基づいて、最も最近に追跡不可状態となった指先を、現フレームにおいて新規出願と特定された指先と同一と特定する。
続くR210では、R209の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態(ロスト)を継続している指先と同一のものが存在するか否かを判定して、存在する場合にはR211に進み、存在しない場合にはR213に進む。
R211では、R209の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態(ロスト)を継続している指先と同一と判定された指先が複数あるか否かを判定する。複数ではなく1つであると判定されている場合にはR212に進む。R212では、当該1つの指先の追跡不可状態(ロスト)における指先IDに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出願の指先の位置情報を記憶し、当該指先IDの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先IDに対応する追跡状況を追跡不可状態から追跡継続状態(追跡再開)に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。R212を終了すると、本処理は終了となる。
他方、R211にて、R209の結果に基づいて、現フレームにおいて新規出願と特定された指先のうち、追跡不可状態(ロスト)を継続している指先と同一と判定された指先が複数あると判定された場合にはR214に進む。R214では、それら複数の指先のうち、追跡不可認識順序(追跡復帰判断情報)に基づいて、最も最近に追跡不可状態となった指先を特定し、特定された指先の指先IDに対応付ける形で、当該指先と同一と判定された、現フレーム上で特定された新規出願の指先の位置情報を記憶し、当該指先IDの追跡情報を更新する。これにより、追跡不可状態の指先の位置追跡が再開される。なお、このとき、当該指先IDに対応する追跡状況を追跡不可状態から追跡継続状態(追跡再開)に変更し、これまで継続的に記憶保持していた追跡復帰判断情報を消去する。R214を終了すると、本処理は終了となる。
なお、R201において、取得した新たな動画像フレーム内に指先が特定されなかった場合には、図56に示すような追跡情報500はリセットされ、各IDに対応する情報は消去されるものとする。
このように、カメラ12bが撮影する動画像から特定される全ての指先を、フレームアウト時も考慮して継続的に追跡することにより、操作対象指Pを同じ指に固定して定めることができる。具体的には、操作対象指Pを特定する処理によって操作対象指Pが指定された際に、図56に示すように、操作対象指Pを示す操作対象指情報を指先IDに対応付ける形で記憶しておくことで、これを参照することにより、どのタイミングにおいても操作対象指Pを特定することができる。即ち、図54及び図55のような指追跡処理を追加することにより、所定周期で繰り返し実施される図25の処理において、T3による操作対象指Pの特定処理は別途実施するものとし、T3では、指先IDに対応付けて記憶されている操作対象指情報に基づいて、操作対象指Pを特定すればよい。
また、この指先追跡処理の適用は、図39の第十実施形態の第四例や図40の第十実施形態の第五例のように、ユーザーによりなされる操作対象指指定操作の操作内容に基づいて、操作対象指Pが指定される実施形態にとって好適となる。図39の第十実施形態の第四例や図40の第十実施形態の第五例では、タッチパネル12aへのタッチ操作が操作対象指指定操作であり、当該タッチ操作の操作内容に基づいて、操作対象指Pが指定される。つまり、ユーザーによる操作対象指指定操作がなされない限り操作対象指Pが変更されない実施形態であれば、動画像フレームを取得するたびに操作対象指Pを特定する演算をする必要が無くなり、各指の追跡情報から指定すべき指をピックアップするだけで、容易に操作対象指Pを特定することができる。
(他の実施形態)
また、上記した実施形態においては、位置指示画像200Hとして、撮影された指の輪郭形状をそのまま反映させた加工画像(実指画像)200Hを表示しているが、撮影された指の指先Q(即ち撮影された指の指示位置)を指し示す指先位置画像(ポインタ等:図67参照)200H2のように、指形状とは全く異なる画像を表示してもよい。強調表示を行うのであれば、指先Qを含む指先領域(例えば、指の第一関節までや、指先位置Qを中心とする所定半径内領域等)だけを強調して表示してもよい。この場合は、撮影された指の指先Qが、表示画面上のどの位置に対向するのかを特定して、特定された画面位置にポインタ等の所定の位置指示画像を表示する。また、位置指示画像200Hとして、撮影された指の長さ方向F及び指先Qを簡略的に示す擬似指画像(ここでは棒状の画像:図66参照)200H1等を表示してもよい。
また、上記第十実施形態における操作対象指Pを、既に述べた簡易操作指状態として特定される指と一致するように構成してもよい。
また、上記実施形態においては、本発明の遠隔操作部としてタッチパネルを設けて構成しているが、プッシュスイッチやシーソースイッチ等の押圧操作を伴うスイッチを備える操作部であってもよい。また、上記実施形態においては、操作パネル12aとして抵抗膜式のタッチパネルを用いているが、他の方式のタッチパネルを用いてもよい。
また、操作パネル12aとして、タッチ操作の位置検出を、カメラ等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル12aを、表面12a1がタッチ操作面をなす透光性を有したパネルとし、この操作パネル12aにタッチ操作面12a1側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル12aを介して照射する光源12cを設ける。そして、手画像撮影手段をなすカメラ12bを、少なくともその光源12cから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル12a1の裏面12a2側から撮影する撮影手段とする。さらに、制御回路18を、このカメラ12bにより撮影された画像上において、反射光の強度が予め定められた閾強度を上回る光反射領域を特定する光反射領域特定手段として機能させるとともに、特定されたこの光反射領域(座標情報)に基づいて、当該光反射領域へのタッチ入力を受け付ける入力受付手段としても機能させるように構成する。
この構成によると、カメラ12bの撮影画像に予め定められた閾強度を上回る光反射領域が特定された場合に、その特定された領域にタッチ操作入力があったと判定して、入力が受け付けられる。つまり、カメラ12bの撮影画像は、上記した実施形態と同様に位置指示画像の表示に利用されるだけでなく、光反射領域の特定にも利用されるように構成されている。また、この場合、特定された光反射領域の面積が予め定められた閾面積を上回った場合に、当該光反射領域へのタッチ操作入力を受け付けるようにすることもできる。
なお、上記した各実施形態について、各要素を組み合わせて実施することももちろん可能である。