JP2007141177A - 操作入力装置 - Google Patents

Abstract

【課題】撮影手段から入力した画像を基にユーザの入力操作位置を特定する処理が簡単で、しかもより的確にその操作位置を特定することができる操作入力装置を提供する。
【解決手段】操作入力装置は、半透明スクリーン２にプロジェクタ３で選択ボタンを表示し、半透明スクリーン２の背面２ａをカメラ５で撮影し、その撮影画像の輝度変化を見て操作位置を検出する。カメラ５の撮影画像の輝度が変化した際、その時点での輝度と、プロジェクタ３の散乱光Ｃ1の差ベクトルを求め、その差ベクトルが環境光Ｃ2と平行であるものについては影として、操作位置検出対象から除外する。そして、影部分を除去した後の画像データから輝度変化を見て、輝度変化の大きい部分をユーザの指や手と認識して操作位置を導出する。
【選択図】図４

Description

本発明は、ユーザが機器を稼働させる際に行う操作を、撮影画像を用いて検出する操作入力装置に関する。

従来、カーナビゲーションシステム等の車載機器への入力操作を検出する操作入力装置として、例えば車両に配設された画面へのタッチ操作をタッチセンサで検出するタッチ操作入力装置が使用されている。この種のタッチ操作入力装置としては、例えば画面の入力操作位置を絶対位置で検出する絶対位置検出式のものや、或いは画面への入力操作時の操作量及び操作方向を相対位置で検出する相対位置検出式のものがある。

しかし、このタッチ操作入力装置は、ユーザによる画面へのタッチ操作をタッチセンサで検出するものであるため、ユーザが指等で触れる接触部分においてタッチセンサが劣化する問題は否めない。従って、操作入力装置の耐久性を向上するために、この種のタッチセンサを用いずにユーザの入力操作を検出可能な入力操作装置が望まれていた。

そこで、特許文献１〜３等には、スクリーンにプロジェクタ等で各種選択ボタンを映し出し、そのスクリーンをカメラで撮影して、ユーザによるスクリーン上の選択ボタンの操作を、カメラからの撮影画像を基に検出するカメラ撮影式の操作入力装置が開示されている。この種のカメラ撮影式の操作入力装置を使用すれば、ユーザが指等でセンサに触れる等の操作が必要ないことから、その接触部分におけるセンサの劣化等の問題が生じず、操作入力装置の高い耐久性が確保される。
特開平２−１３２５１０号公報 特開２００２−１５７０７９号公報 特開平４−２７１４２３号公報

しかし、特許文献１の技術については、操作入力装置が入力操作の操作位置を特定するに際して、カメラで取り込んだ画像データ（画像信号）の２値化処理、細線化処理、画像端点の検出処理等の複雑で多工程に亘る画像処理が必要となるため、その操作位置特定処理の煩雑化を招く。よって、入力操作が行なわれてから操作位置が特定されるまでに時間を要する場合があり、入力操作から実際に操作入力装置が稼働するまでに間が生じて、スムーズな操作感覚を確保できない場合がある。また、特許文献２に関しても、画像データのピクセル変換、ピクセル変化の傾向分析、物件動作の移行判断等の画像処理が必要となるため、特許文献１と同様の問題が生じる。

次いで、特許文献３は、指示目標物体を指し示す先端点と、指示操作を行う際の基準位置となる基準点との直線をとり、この直線上の先端にある位置を指示目標物体として検出する技術である。しかし、この技術においては基準点のキャリブレーションが必要であるため、特許文献１，２と同様に操作位置指定処理の煩雑化を招く。また、この種のキャリブレーションが必要であるとすると、面倒な作業をユーザに課すことになり、操作入力装置の使い勝手をよくするためには、この種の作業を不要にしたい要望もある。特に、この技術を車載機器に用いた場合、運転者にキャリブレーションを毎回課すのは酷であり、実用には向かない。

本発明の目的は、撮影手段から入力した画像を基にユーザの入力操作位置を特定する処理が簡単で、しかもより的確にその操作位置を特定することができる操作入力装置を提供することにある。

前記問題点を解決するために、本発明によれば、半透明スクリーンと、前記半透明スクリーンの表示面に背面側から表示物を投影する投影手段と、前記半透明スクリーンを背面側から撮影する撮影手段と、前記撮影手段で取得した画像データの輝度と、前記投影手段が前記投影時に出す光のうち当該スクリーンで散乱する散乱光の輝度との間の差を求め、当該差と、前記半透明スクリーンの表示面側から入力する環境光の輝度とを比較することにより、前記画像データから影部分を除去する影除去手段と、前記影部分を除去した前記画像データの輝度の変化を基に、前記半透明スクリーンの表示面におけるユーザの操作位置を検出する操作位置検出手段と、前記操作位置検出手段が検出した前記操作位置と、前記投影手段が投影した前記表示物の座標位置とを比較し、これら位置が一致したことを条件に前記表示物に応じた処理を実行させる実行手段とを備えたことを要旨とする。

この構成によれば、半透明スクリーンの背面側から投影手段が各種表示物を投影することによって、半透明スクリーンの表示面（正面）には、各種機器を作動操作させる際に選択操作される選択ボタン等が表示される。この表示物としては、例えば機器の電源オンボタン、作動モードの選択ボタン、電源オフボタン等がある。機器を作動させるには、ユーザが半透明スクリーン上の所望の表示物を指等で触れることによって、入力操作を行うことになる。

ところで、半透明スクリーンは背面が撮影手段によって常時撮影され、その画像データが操作位置検出手段に転送される。ここで、半透明スクリーンの表示物に指や手などをかざした際には、投影手段から投影された光がユーザの指や手などで反射し、その反射光が撮影手段に向かう過程で拡散するため、指（手）が半透明スクリーンに近い部位ほど輝度（画素値）が高くなる。よって、操作位置検出手段は、撮影手段から取得した画像データを用い、輝度が大きく変化した部分をユーザによる操作位置として検出する。そして、操作位置検出手段が検出した操作位置と、投影手段が投影した表示物との座標位置とが実行手段によって比較され、これら両位置が一致した際には、その操作位置にある表示物に応じた処理が実行手段によって実行される。

従って、本発明においては、ユーザが半透明スクリーンの表示体を選択操作する際に半透明スクリーンに生じる輝度の変化を見て入力操作位置を判断するという簡単な手法で、ユーザによる入力操作位置を特定することが可能となる。このため、入力操作が行われてから操作位置を特定するまでに要する処理時間を短く済ますことが可能となり、入力操作が行われてからその操作に応じた処理が稼働するまでに間が生じ難くなって、スムーズな操作間隔を確保することも可能となる。

しかし、輝度の変化を見て操作位置を検出する手法を用いた場合、例えば半透明スクリーンに影が映ると、その影の部分においても輝度が変化することから、ただ単に輝度変化を見て検出する手法では、影部分まで操作位置として検出してしまう問題が生じ、操作位置の誤検出に繋がる。しかし、本発明においては、撮影手段が取得した画像データから影部分を除去する影除去手段を設けたので、半透明スクリーンに影が生じたとしても、この影部分が操作入力位置対象から除外されるため、操作位置の誤検出が生じ難くなり、操作入力装置の位置検出の信頼性が向上する。

本発明によれば、前記影除去手段は、前記画像データの前記輝度と前記散乱光の前記輝度との間の差ベクトルを求め、当該差ベクトルと、前記環境光の前記輝度におけるベクトルとの成す角度が、影判断の基準となる閾値以下の部分を影として認識し、その部分を操作位置検出の対象から除外することを要旨とする。
この構成によれば、各種光の輝度をベクトルに見立てた精度の高い手法で、操作位置を検出することが可能となる。

本発明によれば、前記操作位置検出手段は、前記画像データの前記輝度の変化値と、前記表示面への接触判断の基準となる第２閾値とを比較し、前記変化値が前記第２閾値以上となる領域を前記ユーザが前記表示面に触れている接触領域として検出し、前記操作位置を複数検出した際、前記画像データの輝度の変化値から求まる特性値の最も高い操作位置を、ユーザが意図する操作位置として特定することを要旨とする。

この構成によれば、ユーザが半透明スクリーンに触れて入力操作を行う際、ユーザが意図しない部位が半透明スクリーンに触れて、複数箇所で同時に入力操作が行なわれる場合がある。しかし、このように複数の操作位置でユーザが半透明スクリーンに触れても、各操作位置の輝度に関して特性値（例えば、操作方向における位置、半透明スクリーンに触れた際の接触面積等）が最も高いものを、ユーザが意図する入力位置として検出する。よって、同時入力が生じても、ユーザが意図しない操作位置を入力位置として検出し難くなる。

本発明によれば、前記操作位置検出手段は、前記操作位置を複数検出した際、前記ユーザが前記表示物を選択操作する際の操作方向に対し、当該操作方向の最先端に位置する前記接触領域を前記操作位置として特定することを要旨とする。

この構成によれば、ユーザが半透明スクリーンに触れて入力操作を行う際には、例えば手の最先端部位（例えば人差し指の先端）で半透明スクリーンを触るが、この入力操作においては、この操作部位以外の部位も同時に半透明スクリーンに触れてしまう場合がある。しかし、このような同時入力が生じても、これら複数ある接触領域のうち操作方向の最先端に位置するものを、ユーザが入力操作として行った部位の接触領域として認識する。よって、操作方向の最先端に位置するものは、ユーザが意図して入力する操作位置である確率が高いため、より的確に操作位置を選別することが可能となる。

本発明によれば、前記操作位置検出手段は、前記半透明スクリーンの区画域である第１領域及び第２領域の各々において、前記変化値が前記２閾値よりも低い値の第３閾値以上で、かつ当該第２閾値よりも低い値となる領域を前記ユーザの操作部位の画像として認識し、前記第１領域に表示される第１操作部位画像と、前記第２領域に表示される第２操作部位画像との各々で重心を算出し、これら重心を通るとともに前記第２操作部位画像の重心から前記第１操作部位画像の重心に向かう先端方向ベクトルを前記操作方向として算出することを要旨とする。

この構成によれば、先端方向ベクトルはその時々の入力操作の際に、その操作部位の操作方向に応じて適宜算出されるため、例えば先端方向ベクトルを固定値データとした場合に比べて、先端方向ベクトルの精度がよくなる。従って、ユーザが入力を行うに際して同時入力が発生しても、ユーザが意図しない間違った接触領域を、ユーザが入力操作として行った部位の接触領域として認識し難くなり、誤入力発生防止に一層効果がある。

本発明によれば、前記操作位置検出手段は、前記接触領域を前記先端方向ベクトルに写像することによって、複数の前記接触領域の中から最先端に位置する接触領域を特定することを要旨とする。

この構成によれば、複数の接触領域が存在する場合、これら接触領域を先端方向ベクトルに写像して接触領域の位置を比較するため、複数の接触領域から最先端に位置するものを選別する際の精度が高まり、このことも誤入力発生防止に一層効果がある。

本発明によれば、撮影手段から入力した画像を基にユーザの入力操作位置を特定する処理が簡単で、しかもより的確にその操作位置を特定することができる。

以下、本発明を具体化した操作入力装置の一実施形態を図１〜図８に従って説明する。
図１及び図２に示すように、車両のセンタークラスター１には、光を半透過可能な半透明スクリーン２が取り付けられている。半透明スクリーン２は、本例において例えば像性能を有する拡散性のプラスティック材のシートから成るとともに、形状としては四角形の平板形状を成している。

図２に示すように、半透明スクリーン２の背面２ａには、半透明スクリーン２に画像を投影するプロジェクタ３が車体に取付固定されている。プロジェクタ３は、ＲＧＢ各々のフィルタを通した光を合成して画像を投影する装置であって、例えば液晶プロジェクタが使用されている。プロジェクタ３は、カーナビゲーションシステム、空調システム及びオーディオシステム等の車載機器を作動させる際に操作する各種選択ボタン４を、半透明スクリーン２の背面から半透明スクリーン２の表面に投影する。このため、半透明スクリーン２の表面は、各種選択ボタン４が表向き状態で表示された表示面２ｂとなり、操作入力装置の操作パネルとして機能する。なお、プロジェクタ３が投影手段に相当し、選択ボタン４が表示体に相当する。

半透明スクリーン２の背面２ａには、背面２ａ側から半透明スクリーン２を撮影するカメラ５がプロジェクタ３に並設状態で車体に固着されている。カメラ５は、画像を可視光で撮影可能なＣＭＯＳ(Complementary Metal Oxide Semiconductor)カメラ等が使用され、半透明スクリーン２の背面２ａの全域を撮影可能である。本例においては、半透明スクリーン２に表示された選択ボタン４のタッチ操作が、カメラ５で取得した画像データの輝度（例えば、輝度Ｋ）の変化を見ることで検出されるため、カメラ５で取得した撮影画像は輝度Ｋの変化が見られれば充分であることから、カメラ５の画素数は例えば数十万画素程度あればよい。なお、カメラ５が撮影手段に相当する。

図３に示すように、車両には、操作入力装置を統括制御する操作位置検出回路６が搭載されている。操作位置検出回路６は、ユーザが選択ボタン４をタッチ操作する際のその操作位置Ｐxを算出し、半透明スクリーン２上のどの選択ボタン４がタッチ操作されたかを判定する。操作位置検出回路６には、車載機器を制御する車載機器制御回路７が接続されている。車載機器制御回路７は、操作位置検出回路６からの指令に基づき各種車載機器を作動させる。

操作位置検出回路６は、同検出回路６のメイン制御を司るＣＰＵ(Ce ntral processing Unit)８と、各種プログラム及びデータ群を記憶したＲＯＭ(Read-Only Memory)９と、プログラム実行時においてＣＰＵ８の作業領域となるＲＡＭ(Random Access Memory)１０と、各種データの入出口となるインターフェース１１とを備えている。これらデバイスは、操作位置検出回路６内のバス１２を通じて相互接続されている。なお、ＣＰＵ８が影除去手段、操作位置検出手段及び実行手段を構成する。

プロジェクタ３及びカメラ５は、各々の配線ケーブルを介してインターフェース１１に接続されている。インターフェース１１には、カメラ５から取り込んだ画像データＤａのノイズを除去可能なノイズ除去回路１３が接続されている。インターフェース１１は、カメラ５から取り込んだ画像データＤａをノイズ除去回路１３に送り、ノイズ除去回路１３でノイズを除去した後に、画像データＤａをＣＰＵ８やＲＡＭ１０へ転送する。

ＲＯＭ９には、ユーザが表示面２ｂ上の選択ボタン４を選択操作する際のその操作位置Ｐxを検出する操作位置検出プログラムが記憶されている。この操作位置検出プログラムは、カメラ５で取り込んだ画像データＤａに影除去処理を施して画像データＤａから影部分を除去し、影除去後の画像データＤａを基に操作位置算出処理を施してユーザの操作位置（Ｘ−Ｙ座標位置）Ｐxを検出するプログラムである。

車両のエンジンスイッチ（図示略）がＡＣＣ位置やＩＧ位置に操作されると、その操作を検出したＣＰＵ８は、ＲＯＭ９の操作位置検出プログラムを立ち上げて操作位置検出処理を開始する。このとき、ＣＰＵ８は、インターフェース１１を介してプロジェクタ３に起動開始指令及び表示データＤｂを出力する。プロジェクタ３は、操作位置検出回路６から起動開始指令を入力すると起動を開始し、同じく操作位置検出回路６から入力する表示データＤｂに基づく表示画面（即ち、選択ボタン４）を半透明スクリーン２に投影する。

ＣＰＵ８は、プロジェクタ３に起動開始指令を出力するのと同様に、インターフェース１１を介してカメラ５にも起動開始指令を出力する。カメラ５は、操作位置検出回路６から起動開始指令を入力すると起動を開始し、半透明スクリーン２を背面２ａから撮影して、その画像データＤａを操作位置検出回路６に出力する。カメラ５は、ＣＰＵ８から起動開始指令を受け取る度に数十〜数百μｓの時間範囲で画像撮影を行い、起動開始指令を連続的に受け取ることで、連続画像を操作位置検出回路６に出力する。

ＣＰＵ８は、カメラ５が出力した画像データＤａを、ノイズ除去回路１３を介して取り込み、ノイズ除去後の画像データＤａを用いて撮影画像の輝度Ｋを逐次算出する。ところで、ユーザが半透明スクリーン２を表示面２ｂ側からタッチ操作すると、プロジェクタ３から投影される光は指や手などで反射し、その反射光が拡散することから、指や手が半透明スクリーン２に近い部分ほど撮影画像の輝度Ｋが高く（光が明るく）なる。よって、ＣＰＵ８は、ユーザが選択ボタン４に触れていない通常時における輝度Ｋ0と、輝度変化が生じた際の輝度Ｋxとの差分Ｍを算出し、差分Ｍが閾値Ｍa以上となる部分をユーザの指や手などとして切り出し、ユーザの操作位置Ｐxを算出する。なお、差分Ｍが変化値に相当する。

ＣＰＵ８は、算出した操作位置Ｐxと、各選択ボタン４の座標位置とを比較し、操作位置Ｐxが選択ボタン４の座標位置に重なったと判断すると、選択ボタン４がタッチ操作されたと認識して、その旨を通知する作動要求信号Ｓsを車載機器制御回路７に出力する。

車載機器制御回路７は、操作位置検出回路６から作動要求信号Ｓsを入力すると、この作動要求信号Ｓsに応じた車載機器を作動させる。例えば、半透明スクリーン２でカーナビゲーションシステムの電源オンボタンが選択操作された場合には、カーナビゲーションシステムを起動させ、カーナビゲーションシステムの起動下で行き先入力ボタンが選択操作された場合には、カーナビゲーションシステムの作動モードを行き先入力モードに切り換える。

次に、操作位置算出時にＣＰＵ８が行う影除去処理の詳細を説明する。
半透明スクリーン２の背面２ａをカメラ５で撮影し、カメラ５の撮影画像の画像変化からユーザの操作位置Ｐxを検出するシステムにおいては、カメラ５が取得する光として図４に示す３つの光がある。即ち、この３つの光としては、プロジェクタ３が半透明スクリーン２に投影した光のうち背面２ａで散乱する散乱光Ｃ1と、半透明スクリーン２の表示面２ｂを照らす環境光（太陽光や車内灯の光）Ｃ2と、半透明スクリーン２に指や手などをかざした際にこの指や手で反射するプロジェクタ３の反射光Ｃ3の３つがある。

ここで、散乱光Ｃ1、環境光Ｃ2及び反射光Ｃ3等の光は、色の３原色であるＲＧＢの組み合わせからなるものである。従って、散乱光Ｃ1、環境光Ｃ2及び反射光Ｃ3の３光線をＲＧＢ空間にベクトルとして表すと、図５に示すように、ＲＧＢの原点を基点に各々輝度Ｋの大きさに応じた方向及び長さを有するベクトル（散乱光ベクトルＢ1、環境光ベクトルＢ2、反射光ベクトルＢ3）で表示される。

また、カメラ５の撮影画像で分類すべき画像種類は、大きく分けて以下の３つがある。即ち、図６に示すように、カメラ５に指や手などが映っていない通常部分１４ａと、半透明スクリーン２の表示面２ｂに指や手をかざした際にその部分を映し出す指部分（手を含むが便宜上、指部分と言う）１４ｂと、半透明スクリーン２に指や手などをかざした際に指や手などの影部分を撮影した影部分１４ｃの３種類である。

このうち、半透明スクリーン２に指や手などがかざされていなければ、環境光Ｃ2が半透明スクリーン２の背面２ａ側へ透過することから、撮影画像の通常部分１４ａには、散乱光Ｃ1と環境光Ｃ2とを足した光（通常部分：散乱光Ｃ1＋環境光Ｃ2）が映し出される。また、半透明スクリーン２に指や手などをかざした場合、指や手などで環境光Ｃ2は遮られるものの、指（手）と表示面２ｂとの距離が近ければ、プロジェクタ３の光が指や手などで反射することから、撮影画像の指部分１４ｂには、散乱光Ｃ1と反射光Ｃ3とを足した光（指部分：散乱光Ｃ1＋反射光Ｃ3）が映し出される。更に、半透明スクリーン２に影が生じた場合、その影部分においては指や手などが半透明スクリーン２に近づいているわけではないので、プロジェクタ３の光が指や手などで反射する現象が起きないことから、撮影画像の影部分１４ｃには、散乱光Ｃ1のみに起因する光（影部分：散乱光Ｃ1）となる。

ここで、本例においては、ユーザが選択ボタン４に触れていない通常時における輝度Ｋ0と、輝度変化が生じた際の輝度Ｋxとの差分Ｍを算出し、差分Ｍが閾値Ｍa以上となる部分をユーザの指や手などとして切り出す処理を経て操作位置Ｐxを検出する手法を用いている。ところが、この手法を用いた場合、影部分１４ｃにおいても輝度Ｋの変化が生じることから、ただ単に差分Ｍをとるだけでは、影部分１４ｃも指として認識してしまい、操作位置Ｐxの検出に際して誤検出が生じてしまう。

そこで、本例においては、以下の手法を用いて撮影画像の影部分１４ｃを操作位置検出対象から外している。まず、散乱光Ｃ1、環境光Ｃ2及び反射光Ｃ3の３光線のうちの散乱光Ｃ1は、投影する画像から既知である。このため、撮影画像の通常部分１４ａは、上述したように散乱光Ｃ1と環境光Ｃ2とを足した光であることから、撮影画像から散乱光Ｃ1を引けば、環境光Ｃ2の値を求めることが可能である。

よって、撮影画像の輝度Ｋが変化した際、その時点での撮影画像の輝度Ｋxと、散乱光Ｃ1の輝度Ｋc1との間の差ベクトルＢx（図５参照）を求め、この差ベクトルＢxが環境光ベクトルＢ2と平行であれば、その時に入力した画像は影であると認識することが可能である。即ち、指部分１４ｂの光は散乱光Ｃ1と反射光Ｃ3とを加えた光であるため、もし撮影画像の光が指部分１４ｂの光であれば、その光から散乱光Ｃ1を引いた差ベクトルＢxは、反射光ベクトルＢ1となるため、差ベクトルＢxが環境光ベクトルＢ2に対し角度を持った値となるはずである。従って、ＣＰＵ８は、撮影画像の輝度Ｋが変化した際、差ベクトルＢxと環境光ベクトルＢ2との成す角度θが、影判断の基準となる閾値θa以下であれば、その部分の画像を影と認識して操作位置検出対象から外すようにする。

次に、ＣＰＵ８が行う操作位置算出処理の詳細を説明する。
図３及び図７に示すように、半透明スクリーン２上で選択ボタン４を表現する各ドットのＸ−Ｙ座標位置（ｘ，ｙ）は、選択ボタン４の表示サイズや、プロジェクタ３の設置位置及び設置角度に基づく選択ボタン４の表示位置等によって決まる。よって、操作位置検出プログラムにこの座標位置（ｘ，ｙ）に関する座標位置データを組み込んでおけば、ＣＰＵ８は表示データＤｂをプロジェクタ３に投影させる際、各選択ボタン４が半透明スクリーン２上でどの座標位置（ｘ，ｙ）に位置しているかを認識することが可能である。

カメラ５から撮影画像を取得したＣＰＵ８は、ユーザが選択ボタン４に触れていない通常時における輝度Ｋ0と、輝度変化が生じた際の輝度Ｋxとの間の差分Ｍを算出し、その差分Ｍが接触判定閾値Ｋa以上（Ｍ≧Ｋaが成立）となる領域を判別する。この接触判定閾値Ｋaは、差分Ｍがこの値以上となれば、ユーザが半透明スクリーン２に触れていると判断可能な値に設定されている。よって、ＣＰＵ８は、差分Ｍが接触判定閾値Ｋa以上となる領域を、ユーザが半透明スクリーン２に触れている接触領域１５として判別する。

ＣＰＵ８は、この接触判定閾値Ｋaを用いた判別とともに、差分Ｍが接触判定閾値Ｋaよりも小さく手領域判定閾値Ｋb以上となる範囲（Ｋb≦Ｍ＜Ｋaが成立）となる領域を判別する。この手領域判定閾値Ｋbは、図８に示すように接触判定閾値Ｋaよりも低い値として設定された閾値であり、差分ＭがＫb≦Ｍ＜Ｋaの範囲内にあれば、その部分が入力操作を行っているユーザの手であると判断可能な値に設定されている。ＣＰＵ８は、差分Ｍが接触判定閾値Ｋaよりも小さく手領域判定閾値Ｋｂ以上となる範囲となる領域を、ユーザの手が位置する手領域１６として判別する。なお、接触判定閾値Ｋaが第２閾値に相当し、手領域判定閾値Ｋbが第３閾値に相当する。

ここで、図７に示すように、ユーザが例えば人差し指で選択ボタン４を操作する際、人差し指以外の手の部分が半透明スクリーン２に同時に触れてしまうと、接触領域１５が複数検出されてしまうことになる。このように、入力操作が複数箇所で同時に行なわれてしまうと、ユーザの意図しない選択ボタン４が入力操作されることになるため、このような状況下においては、これら複数の接触領域１５ａ，１５ｂ…のうち人差し指に相当する接触領域１５ａを選別する必要がある。

そこで、ＣＰＵ８は以下の手順によって接触領域１５を選別する。まず前提条件として、予めＣＰＵ８は、半透明スクリーン２の背面２ａのうちプロジェクタ３が選択ボタン４を投影している領域をボタン投影領域Ｅ1として認識している。本例においてプロジェクタ３は半透明スクリーン２の中央上部寄りに各種選択ボタン４を投影しているため、この領域がボタン投影領域Ｅ1となっている。また、本例においては半透明スクリーン２の背面全体をカメラ５の撮影領域としており、ＣＰＵ８はこのカメラ撮影領域とボタン投影領域Ｅ1との差の部分を差領域Ｅ2として認識している。なお、ボタン投影領域Ｅ1が第１領域に相当し、差領域Ｅ2が第２領域に相当する。

続いて、ＣＰＵ８は、ユーザが半透明スクリーン２を操作する際の手の操作方向（以下、先端方向ベクトルＢkと記す）を算出する。この先端方向ベクトルＢkの算出処理として、ＣＰＵ８は先程算出した手領域１６をボタン投影領域Ｅ1と差領域Ｅ2とで区分し、ボタン投影領域Ｅ1の手領域である第１手領域１６ａにおいて重心Ｇ1を算出し、差領域Ｅ2の手領域である第２手領域１６ｂおいて重心Ｇ2を算出する。重心Ｇ1，Ｇ2は半透明スクリーン２の画素単位の値として算出され、重心座標を（ｘ_ｇ，ｙ_ｇ）、画像データＤａから得られた手領域１６ａ（１６ｂ）の画素数をｎ、各画素のｘ座標値をｘ_ｋ、各画素のｙ座標値をｙ_ｋとすると次式によって求められる。

即ち、上式からも分かるように、ｘ座標値及びｙ座標値の各々において和をとり、これら和をそれぞれ画素数で割ることによってｘ座標値及びｙ座標値の平均値を算出し、以上によって求まったｘ座標平均値とｙ座標平均値を重心座標としている。なお、第１手領域１６ａが第１操作部位画像に相当し、第２手領域１６ｂが第２操作部位画像に相当する。

続いて、ＣＰＵ８は、重心Ｇ1と重心Ｇ2を通るとともに、差領域Ｅ2の重心Ｇ2からボタン投影領域Ｅ1の重心Ｇ1に向かうベクトルを先端方向ベクトルＢkとして算出する。即ち、２点の座標が分かれば、この座標を減算すればベクトルが算出可能であるため、本例においては重心Ｇ1から重心Ｇ2を減算することによって先端方向ベクトルＢk（＝Ｇ1−Ｇ2）を算出する。

先端方向ベクトルＢkの算出後、ＣＰＵ８は接触領域１５が複数ある場合、各接触領域１５ａ，１５ｂ…の写像をとることによって、接触領域１５ａ，１５ｂ…を先端方向ベクトルＢk上に置き換える。写像をとる手順として、各手領域１６ａ，１６ｂで重心Ｇ1，Ｇ2を算出した場合と同様の手順で、ＣＰＵ８は各々の接触領域１５ａ，１５ｂ…において重心Ｇs1，Ｇs2，…をとる。続いて、ＣＰＵ８はこれら重心Ｇs1，Ｇs2，…から先端方向ベクトルＢkに下ろした垂線の足の座標を接触点Ｐs1，Ｐs2…として算出する。これら接触点Ｐs1，Ｐs2…も、半透明スクリーン２の画素単位の値として算出される。ＣＰＵ８は、これら接触点Ｐs1，Ｐs2…の中から先端方向ベクトルＢkに対して最先端に位置する接触点（本例はＰs1）を、ユーザが意図する操作位置Ｐxとして選別する。なお、先端方向ベクトルＢk上の座標位置が特性値に相当する。

ＣＰＵ８は、選別した操作位置Ｐxと、半透明スクリーン２に表示された選択ボタン４の座標位置（ｘ，ｙ）とを比較する。ところで、１つの選択ボタン４は複数のドットから成り立っているため、ＣＰＵ８は操作位置Ｐxがこれら座標位置（ｘ，ｙ）のどれかに重なっていれば、それをユーザが選択した選択ボタン４と選定し、その選択ボタン４に応じた作動要求信号Ｓsを車載機器制御回路７に出力する。車載機器制御回路７は、操作位置検出回路６から作動要求信号Ｓsを入力すると、その作動要求信号Ｓsに基づき車載機器を作動させる。

従って、本例においては、ユーザが半透明スクリーン２の選択ボタン４を操作する際には、半透明スクリーン２に輝度Ｋの変化が生じるため、この輝度Ｋの変化（差分Ｍ）を見て入力操作時の操作位置Ｐxを判断するという簡単な手法で、ユーザによる半透明スクリーン２上の操作位置Ｐxを認識することが可能となる。このように、入力操作が行なわれてから操作位置Ｐxが特定されるまでにＣＰＵ８が行う処理が簡単になれば、その分だけ操作位置判定に要する時間が短く済むことになり、入力操作から車載機器作動までに間が生じ難くなって、スムーズな操作感覚が確保される。

また、本例のように輝度Ｋの差分Ｍをとって操作位置Ｐxを検出する手法を用いたとしても、カメラ５で取り込んだ撮影画像から影部分１４ｃの光を除去するので、影部分を指や手として切り出し難くなる。よって、撮影画像中の影部分１４ｃを指や手として認識し難くなり、操作位置Ｐxを検出する際に誤検出が生じ難くなる。

更に、ユーザが半透明スクリーン２に触れて入力操作を行う際、ユーザが意図しない指や手等が半透明スクリーン２に触れて、複数の箇所で接触領域１５が生じる場合がある。ところで、ユーザが選択ボタン４を操作する際には人差し指の先端を用いて行うため、これら接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢkの最先端位置にあるものを操作位置Ｐxとして選別すれば、それはユーザが意図する操作位置Ｐxである確率が高い。従って、より的確にユーザの操作位置Ｐxを選別することが可能となる。

本実施形態の構成によれば、以下に記載の効果を得ることができる。
（１）半透明スクリーン２上に生じる輝度Ｋの変化（差分Ｍ）を見るという簡単な手法で、ユーザが選択ボタン４を操作する際の操作位置Ｐxを認識することができる。従って、選択ボタン４の入力操作が行なわれてから操作位置Ｐxを特定するまでの処理が簡単になり、操作位置判定に要する処理時間の短時間化、スムーズな操作感覚の確保、ＣＰＵ８の処理負担軽減等の効果を得ることができる。また、本例のように輝度Ｋの差分Ｍをとって操作位置Ｐxを検出する手法を用いたとしても、カメラ５で取り込んだ撮影画像から影部分１４ｃの光を除去するので、操作位置Ｐxを検出する際に誤検出を生じ難くすることができる。

（２）ユーザが選択ボタン４を選択するに際して複数箇所で半透明スクリーン２に触れたとしても、これら複数の接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢkの最先端に位置するものがユーザの意図する操作位置Ｐxとして選択される。従って、ユーザが選択ボタン４の選択に際して、意図しない箇所で半透明スクリーン２に触れても、より的確にユーザの操作位置Ｐxを選別することができる。

（３）ユーザが選択ボタン４を操作する際には人差し指の先端を用いて行なうため、接触領域１５が複数存在する場合、これら接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢkの最先端位置にあるものを操作位置Ｐxとして選別すれば、それはユーザが意図する操作位置Ｐxである確率が高い。よって、本例はそれをユーザが意図する操作位置Ｐxとして指定するので、より的確にユーザの操作位置Ｐxを選別することができる。

（４）先端方向ベクトルＢkは、操作位置Ｐxを指定するに際して毎回算出されるため、例えばこのベクトルを固定値データとした場合に比べて、ベクトル値の精度がよくなる。従って、この先端方向ベクトルＢkを用いて操作位置Ｐxを選別した場合に、ユーザが入力操作として行わなかった接触領域１５を操作位置Ｐxとして選別し難くなり、誤入力発生防止に効果が高い。

（５）２つの重心Ｇ１，Ｇ２をとる領域が、半透明スクリーン２中央上部寄りの領域であるボタン投影領域Ｅ１と、このボタン投影領域Ｅ１及びカメラ撮影領域の差領域Ｅ２とである。従って、ユーザが半透明スクリーン２の選択ボタン４を操作する際には、手が２つの領域に亘って映り易いため、例えば１つの領域にのみ手が映って２つの重心Ｇ１，Ｇ２が算出できないような状況になり難い。

（６）複数の接触領域１５ａ，１５ｂ…が生じた場合、これら接触領域１５ａ，１５ｂ…を先端方向ベクトルＢkに写像して、最先端に位置する接触領域１５ａを選別する。従って、これら接触領域１５ａ，１５ｂ…のうち先端方向ベクトルＢkに対して最先端に位置するものを選別する際の精度が一層向上し、誤入力発生防止効果に一層寄与する。

なお、本実施形態は上記構成に限定されず、以下の態様に変更してもよい。
・ 影除去処理は、輝度Ｋが変化した時の測定値と散乱光Ｃ1との差ベクトルＢxを求め、それを環境光ベクトルB2と比較するベクトルを用いた手法に限定されず、例えばベクトルを用いずに、輝度そのものの値を用いて影か否かを判別してもよい。

・ プロジェクタ３に赤外線光源を並設するとともに、半透明スクリーン２の背面のうち差領域Ｅ2部分に赤外線塗料を塗布し、ボタン投影領域Ｅ1の画像は可視光で取得して、差領域Ｅ2の画像は赤外線で取得するようにしてもよい。このとき、カメラ５は可視光のみ受光可能なものではなく、赤外線も受光可能なものを用いる必要がある。この場合、ボタン投影領域Ｅ1と差領域Ｅ2とで各々用いる光の種類が異なるため、領域分けが明確になり、精度よく重心Ｇ1，Ｇ2を算出することができる。

・ 複数の接触領域１５ａ，１５ｂ…が存在する場合、そのうちユーザが意図するものを選ぶ方法は、先端方向ベクトルＢkの最先端に位置するものを操作位置Ｐxとして選別する方法に限定されない。例えば、各接触領域１５ａ，１５ｂ…において接触面積を算出し、この中から接触面積が最も大きいものを、ユーザが意図する操作位置Ｐxとして算出してもよい。

・ 先端方向ベクトルＢkは、操作位置Ｐxを算出する際、その度に毎回求めることに限定されず、ユーザの存在する方向が特定できる場合には固定値データでもよい。
・ 第１領域はボタン投影領域Ｅ1に限定されず、第２領域はカメラ撮影領域及びボタン投影領域Ｅ1の差をとった差領域Ｅ2であることに限定されず、自由に変更してもよい。

・ 本例の操作入力装置は、車載用であることに限定されず、例えば映像機器、オーディオ、デジタルカメラ、電話機、パーソナルコンピュータ、プリンタ等の入力パネルとして使用してもよい。

次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）請求項５又は６において、前記第１領域は、前記投影手段による前記表示物の投影領域であり、前記第２領域は、前記撮影手段の撮影領域と前記投影領域との差の領域である。この場合、第１領域を表示体の表示領域、第２領域を撮影領域及び表示領域の差の領域とすると、例えば第１領域が半透明スクリーンの中央寄り領域となり、第２領域が第１領域の周囲を囲む周縁の領域となる。このような位置関係があれば、先端方向ベクトルを算出する際に必要となる２点が同一領域に位置してしまう状況になり難く、先端方向ベクトルの算出に際して好ましい領域分布となる。

（２）請求項５又は６のいずれかにおいて、前記先端方向ベクトルは固定値データである。この場合、先端方向ベクトルを逐一計算によって求める必要がないため、画面の操作位置算出時において操作位置検出手段にかかる処理負担を軽減することが可能となる。

（３）請求項５又は６のいずれかにおいて、前記半透明スクリーンの背面には赤外線光源が設けられ、前記半透明スクリーンの背面のうち前記第２領域に対応する領域には赤外線透過材が設けられ、前記操作位置検出手段は、可視光で受ける領域を前記第１領域として判定し、赤外線で受ける領域を前記第２領域として判定する。この場合、第１領域と第２領域とでは受ける光の種類が違うため、第１領域と第２領域と各領域を明確に区分けして認識することが可能となり、これら領域を取り違える領域誤判定が生じ難くなる。

一実施形態における車室内を示す斜視図。 操作入力装置の半透明スクリーンを分解した状態の車室内の斜視図。 操作入力装置の概略構成を示す構成図。 カメラの撮影画像に映る３つの光線を表す説明図。 カメラに映る３つの光線をＲＧＢ空間にベクトルで示した３次元座標図。 カメラに映り込む撮影画像を輝度で表した説明図。 操作位置の選別方法を説明するための半透明スクリーンを背面から見た説明図。 輝度判定時に用いる第１閾値及び第２閾値の関係を示す一軸座標図。

符号の説明

２…半透明スクリーン、２ａ…背面、２ｂ…表示面、３…投影手段としてのプロジェクタ、４…表示物としての選択ボタン、５…撮影手段としてのカメラ、８…影除去手段、操作位置検出手段及び実行手段を構成するＣＰＵ、１４ｃ…影部分、１５（１５ａ〜１５ｆ）…接触領域、１６ａ…第１操作部位画像としての第１手領域、１６ｂ…第２操作部位画像としての第２手領域、Ｄａ…画像データ、Ｋ…輝度、Ｃ1…散乱光、Ｃ2…環境光、Ｂx…差ベクトル、Ｐx…操作位置、（ｘ、ｙ）…座標位置、θ…角度、θa…閾値、Ｍ…変化値としての差分、Ｋa…第２閾値としての接触判定閾値、Ｋb…第３閾値としての手領域判定閾値、Ｂk…操作方向としての先端方向ベクトル、Ｅ1…第１領域としてのボタン投影領域、Ｅ2…第２領域としての差領域、Ｇ1，Ｇ2…重心。

Claims (6)

1. 半透明スクリーンと、
   前記半透明スクリーンの表示面に背面側から表示物を投影する投影手段と、
   前記半透明スクリーンを背面側から撮影する撮影手段と、
   前記撮影手段で取得した画像データの輝度と、前記投影手段が前記投影時に出す光のうち当該スクリーンで散乱する散乱光の輝度との間の差を求め、当該差と、前記半透明スクリーンの表示面側から入力する環境光の輝度とを比較することにより、前記画像データから影部分を除去する影除去手段と、
   前記影部分を除去した前記画像データの輝度の変化を基に、前記半透明スクリーンの表示面におけるユーザの操作位置を検出する操作位置検出手段と、
   前記操作位置検出手段が検出した前記操作位置と、前記投影手段が投影した前記表示物の座標位置とを比較し、これら位置が一致したことを条件に前記表示物に応じた処理を実行させる実行手段と
   を備えたことを特徴とする操作入力装置。
2. 前記影除去手段は、影部分を除去した前記画像データの前記輝度と前記散乱光の前記輝度との間の差ベクトルを求め、当該差ベクトルと、前記環境光の前記輝度におけるベクトルとの成す角度が、影判断の基準となる閾値以下の部分を影として認識し、その部分を操作位置検出の対象から除外することを特徴とする請求項１に記載の操作入力装置。
3. 前記操作位置検出手段は、前記画像データの前記輝度の変化値と、前記表示面への接触判断の基準となる第２閾値とを比較し、前記変化値が前記第２閾値以上となる領域を前記ユーザが前記表示面に触れている接触領域として検出し、前記操作位置を複数検出した際、前記画像データの輝度の変化値から求まる特性値の最も高い操作位置を、ユーザが意図する操作位置として特定することを特徴とする請求項１又は２に記載の操作入力装置。
4. 前記操作位置検出手段は、前記操作位置を複数検出した際、前記ユーザが前記表示物を選択操作する際の操作方向に対し、当該操作方向の最先端に位置する前記接触領域を前記操作位置として特定することを特徴とする請求項３に記載の操作入力装置。
5. 前記操作位置検出手段は、前記半透明スクリーンの区画域である第１領域及び第２領域の各々において、前記変化値が前記２閾値よりも低い値の第３閾値以上で、かつ当該第２閾値よりも低い値となる領域を前記ユーザの操作部位の画像として認識し、前記第１領域に表示される第１操作部位画像と、前記第２領域に表示される第２操作部位画像との各々で重心を算出し、これら重心を通るとともに前記第２操作部位画像の重心から前記第１操作部位画像の重心に向かう先端方向ベクトルを前記操作方向として算出することを特徴とする請求項４に記載の操作入力装置。
6. 前記操作位置検出手段は、前記接触領域を前記先端方向ベクトルに写像することによって、複数の前記接触領域の中から最先端に位置する接触領域を特定することを特徴とする請求項５に記載の操作入力装置。

Images