JP2015064799A

JP2015064799A - コンバイナ及び操作検出装置

Info

Publication number: JP2015064799A
Application number: JP2013198999A
Authority: JP
Inventors: 博樹宇佐; Hiroki Usa
Original assignee: Fujitsu Component Ltd
Current assignee: Fujitsu Component Ltd
Priority date: 2013-09-25
Filing date: 2013-09-25
Publication date: 2015-04-09
Anticipated expiration: 2033-09-25
Also published as: US9939906B2; CN104461123B; JP6174435B2; CN104461123A; EP2853987A1; EP2853987B1; TW201512902A; TWI609291B; US20150084856A1

Abstract

【課題】操作者による非接触の操作を簡単な装置構成で入力することができるコンバイナを提供する。【解決手段】投影装置２０の投影する表示光を操作者に向けて反射させるコンバイナ３０は、投影装置２０の投影する表示光を反射させる干渉縞層（３１、３３、３５、３７）と、コンバイナ３０の周囲に電界を発生する電界発生層（３４）と、当該電界発生層（３４）で発生した電界の変化に応じた電圧を出力する出力層（３６）とを備える。【選択図】図２

Description

本発明は、コンバイナ及び操作検出装置に関する。

表示画面に表示される表示情報に対して、オペレータが表示画面から視線を外さずに操作情報を入力する入力装置として、オペレータのジェスチャ動作をカメラで撮影し、撮影した動画を解析して、オペレータの操作入力を判定する技術が知られている。また、オペレータのジェスチャ動作を赤外線センサで検知して、オペレータの操作入力を判定する技術が知られている。

操作者の操作入力を検出するセンサとして、静電容量検出式のセンサが知られている（例えば、特許文献１及び２参照）。

特開２０１０−９２４２０号公報特開２０１０−１８２２０１号公報

しかしながら、カメラや赤外線センサを用いてオペレータのジェスチャを判定する場合、カメラや赤外線センサを別途設けなければならず、装置の費用が高価になる、消費電力が大きくなる等の課題がある。また、カメラによって撮影した画像を用いるジェスチャの判断は、外乱光等のノイズ除去技術を含む複雑な画像解析が必要となる。

本発明は上記事情に鑑みてなされたものであり、操作者による非接触の操作を簡単な装置構成で入力することができるコンバイナ及び操作者による非接触の操作を簡単な装置構成で検出することができる操作検出装置を提供することを目的とする。

かかる目的を達成するために、明細書に開示されたコンバイナは、投影装置の投影する表示光を操作者に向けて反射させるコンバイナであって、前記投影装置の投影する表示光を反射させる反射層と、当該コンバイナの周囲に電界を発生する電界発生層と、当該電界発生層で発生した電界の変化に応じた電圧を出力する出力層と、を備えることを特徴とする。

明細書に開示された操作検出装置は、投影装置の投影する表示光を反射させる反射層、当該コンバイナの周囲に電界を発生する電界発生層、及び当該電界発生層で発生した電界の変化に応じた電圧を出力する出力層を備え、前記投影装置の投影する表示光を前記操作者に向けて反射させるコンバイナと、前記電界発生層に電圧を供給する電圧供給回路、前記出力層からの電圧を入力する電圧入力回路、及び前記電界発生層に供給される電圧と前記出力層からの電圧との差分に応じた信号に基づいて、前記操作者による非接触の操作内容を検出する検出手段を備える判定装置とを有することを特徴とする。

本発明に係るコンバイナによれば、操作者による非接触の操作を簡単な装置構成で入力することができる。また、本発明に係る操作検出装置によれば、操作者による非接触の操作を簡単な装置構成で検出することができる。

ヘッドアップディスプレイの構成の一例を示す図である。判定装置の概略構成図である。コンバイナの構成の一例を示す断面図である。コンバイナとホストコンピュータとの電気的な接続構成とを示す図である。（Ａ）は、指を左から右へ移動させるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図であり、（Ｂ）は、指を右から左へ移動させるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図である。（Ａ）は、指を下から上へ移動させるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図であり、（Ｂ）は、指を上から下へ移動させるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図である。（Ａ）は、指をコンバイナに近づけるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図であり、（Ｂ）は、コンバイナから指を遠ざけるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図である。（Ａ）は、指を右回りに回転させるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図であり、（Ｂ）は、指を左周りに回転させるジェスチャを行った場合に、判定装置が検出するＲＸ信号の信号レベルを示す図である。判定装置の処理手順を示すフローチャートである。

以下、添付図面を参照しながら本発明の好適な実施例を説明する。

図１を参照しながらヘッドアップディスプレイ１について説明する。ヘッドアップディスプレイ１とは、人間の視野に直接情報を映し出すことのできる装置であって、投射された画像などの情報を、ホログラムやハーフミラー等を備えるコンバイナに映し、操作者に情報があたかも空中に浮かんでいるかのように虚像を見せることのできる装置である。ヘッドアップディスプレイ１は、例えば、車両に搭載されるカーナビゲーションシステムや、ＣＴスキャン画像やＸ線画像を表示する診療情報表示システムに適用される。

ヘッドアップディスプレイ１は、ホストコンピュータ１０と、投影装置２０と、コンバイナ３０と、判定装置４０とを備える。ホストコンピュータ１０は、画像データを投影装置２０に供給する。例えば、車両に搭載されるカーナビゲーションシステムにヘッドアップディスプレイ１を適用する場合、ホストコンピュータ１０は、ナビゲーション装置本体となる。

投影装置２０は、ホストコンピュータ１０から供給される画像データをコンバイナ３０に向けて投影する。画像データには、例えば、ヘッドアップディスプレイ１を車両に搭載する場合には、走行速度や各種警告表示、もしくは予め用意されたさまざまなアプリケーションに基づいて表示することが予定されている各種データや地図情報等が含まれる。

コンバイナ３０は、入射される光のうちの一部を透過し、一部を反射させることで、投影装置２０の投影する映像と、外光とを同時に操作者の目に導くものであり、いわゆるハーフミラーの機能を有する。コンバイナ３０の詳細な構成の一例については、後述する。

判定装置４０は、操作者のジェスチャなどの動作を判定し、判定結果をホストコンピュータ１０に出力する。図２は、判定装置４０の概略構成図である。判定装置４０は、装置全体の動作を制御するＣＰＵ５１、ワーキングメモリであるＲＡＭ５２、プログラムやデータを保存するＲＯＭ５３、コンバイナ３０へ電圧を供給する電圧供給回路５４、コンバイナ３０からの出力電圧を入力する電圧入力回路５５、及びホストコンピュータ１０と通信する通信インターフェース（Ｉ／Ｆ）５６を備えている。ＣＰＵ５１は、ＲＡＭ５２、ＲＯＭ５３、電圧供給回路５４、電圧入力回路５５、及び通信Ｉ／Ｆ５６に接続されている。電圧入力回路５５は不図示のグランド端子を有する。ＣＰＵ５１は、電圧入力回路５５がコンバイナ３０から入力した電圧信号（出力電圧）に対して後述するフィルタ処理やＡ／Ｄ変換処理などを実行する。なお、図１には、ホストコンピュータ１０と判定装置４０とを別個の装置として設けているが、判定装置４０をホストコンピュータ１０により実現してもよい。

次に、図３を参照しながらコンバイナ３０の詳細な構成の一例を説明する。図３は、コンバイナ３０の断面図を示す。図３の上側が操作者側である。コンバイナ３０は、第１干渉縞層３１、グランド層３２、第２干渉縞層３３、電界発生層３４、第３干渉縞層３５、電界変化出力層３６、第４干渉縞層３７を備える。電界発生層３４は、電界発生電極３４１と、絶縁層３４２とを備える。電界変化出力層３６は、後述する複数の電界検出電極を有する。

反射層として機能する第１干渉縞層３１、第２干渉縞層３３、第３干渉縞層３５及び第４干渉縞層３７は、入射される光のうちの一部を透過し、投影装置２０から投影される映像を反射する。なお、干渉縞層は、必ずしも４層の干渉縞層とする必要はない。少なくとも２層の干渉縞層を有していることが好ましい。また、干渉縞層に代えて、入射される光のうちの一部を透過し且つ投影装置２０からの映像を反射する機能を有する何らかの反射層が設けられてもよい。また、電界発生層３４と電界変化出力層３６とが近すぎる場合、判定装置４０が電界発生層３４から入力する電圧にノイズが発生しやすい。従って、電界発生層３４と電界変化出力層３６との間に干渉縞層（第３干渉縞層３５）を設けることが望ましい。なお、一部の干渉縞層や反射層に代えて、光を透過する機能を持つ層を設けても良い。

図４は、コンバイナ３０とホストコンピュータ１０との電気的な接続構成を示す図である。なお、説明の便宜上、図面の左下を原点とし、コンバイナ３０の横方向をＸ軸、縦方向をＹ軸とする。図４に示すコンバイナ３０は、グランド層３２上に、電界発生電極３４１と、絶縁層３４２とを有する電界発生層３４がパターン形成されている。なお、図４では、電界発生電極３４１を網目パターンで示し、網目パターンの電界発生電極３４１の間に図示四角形の絶縁層３４２が形成されている。電界発生電極３４１は、配線３４５を介して判定装置４０に接続されている。グランド層３２は、配線４０６を介して判定装置４０に接続されている。

また、電界発生層３４の上面には、電界変化出力層３６が形成されている。電界変化出力層３６は、５つの電界検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４（以下、検出電極と表記する）を備えている。図４では、コンバイナ３０が上方から見られているので、電界発生電極３４１、グランド層３２及び検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４は同一平面上に示されている。検出電極ＲＸ０は、コンバイナ３０の中央の領域に形成され、配線４０１を介して判定装置４０に接続されている。検出電極ＲＸ１は、図４に示すコンバイナ３０のＸ軸方向の左端部に形成され、配線４０２を介して判定装置４０に接続されている。検出電極ＲＸ２は、図４に示すコンバイナ３０のＸ軸方向の右端部に形成され、配線４０３を介して判定装置４０に接続されている。検出電極ＲＸ３は、図４に示すコンバイナ３０のＹ軸方向の上端部に形成され、配線４０４を介して判定装置４０に接続されている。検出電極ＲＸ４は、図４に示すコンバイナ３０のＹ軸方向の下端部に形成され、配線４０５を介して判定装置４０に接続されている。電界変化出力層３６の検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の間には、それぞれ絶縁層３９が設けられている。即ち、電界変化出力層３６は、検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４に加えて、絶縁層３９を備えている。

判定装置４０の電圧供給回路５４は、配線３４５を介して電界発生電極３４１に接続し、電界発生電極３４１に交流電圧を供給する。電圧供給回路５４は、例えば、方形波のパルス電圧を電界発生電極３４１に供給する。検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の各々には、電界発生電極３４１に供給される交流電圧に比例し、当該交流電圧よりも小さい電圧が表れる。また、アースの役割を持つ操作者の指を検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４のいずれかに近づけると、指を近づけた電極付近の電界が変化して、指を近づけた検出電極で検出される電圧が減少する。

判定装置４０のＣＰＵ５１は、電界発生電極３４１に供給される電圧と検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の各々から出力される電圧との差分に基づいて、操作者の指が近づいた検出電極を判定する。検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の各々が出力する電圧は、操作者が近づけた指と、検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の各々との間の距離に応じて減少する。すなわち、操作者の指がいずれかの検出電極に近づくほど、当該検出電極から出力される電圧の減少量が大きくなる。ＣＰＵ５１は、電界発生電極３４１に供給される電圧と、検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の各々が出力する電圧との差分に応じた信号（以下、ＲＸ信号と呼ぶ）を生成して、当該生成したＲＸ信号に基づいて操作者のジェスチャを判定する。

図５（Ａ）は、操作者がコンバイナ３０の左端から右端へ指を移動させるジェスチャを行った場合に、判定装置４０が検出する各々の検出電極から出力されるＲＸ信号の信号レベルを示している。なお、指は、検出電極ＲＸ１、ＲＸ０及びＲＸ２の領域をこの順番に通過するものとする。この場合、ＣＰＵ５１は、最初に、検出電極ＲＸ１から入力する電圧に基づいてＲＸ信号のレベルを検出し、次に、ＣＰＵ５１は、検出電極ＲＸ０から入力する電圧に基づいてＲＸ信号のレベルを検出する。なお、指の位置が検出電極ＲＸ０の領域に移動した場合には、ＣＰＵ５１は、検出電極ＲＸ３及びＲＸ４から入力する電圧に基づいて、それぞれＲＸ信号のレベルを検出する。これは、指と、検出電極ＲＸ３、ＲＸ４の領域との距離が近づくためである。そして、ＣＰＵ５１は、最後に検出電極ＲＸ２から入力するＲＸ信号のレベル変化を検出する。また、図５（Ｂ）には、操作者がコンバイナ３０の右端から左端へ指を移動させるジェスチャを行った場合に、判定装置４０が検出するＲＸ信号の信号レベルを示す。図５（Ａ）の場合とは逆に、図５（Ｂ）の場合には、ＣＰＵ５１はまず検出電極ＲＸ２からのＲＸ信号変化を検出する。

図６（Ａ）には、操作者がコンバイナ３０の下端から上端の方向へ指を移動させるジェスチャを行った場合に、判定装置４０が検出するＲＸ信号の信号レベルを示している。なお、指は、検出電極ＲＸ４、ＲＸ０及びＲＸ３の領域をこの順番に通過するものとする。この場合、ＣＰＵ５１は、最初に、検出電極ＲＸ４から入力する電圧に基づいてＲＸ信号のレベルを検出し、次に、検出電極ＲＸ０から入力する電圧に基づいてＲＸ信号のレベルを検出する。なお、指の位置が検出電極ＲＸ０の領域に移動した場合には、ＣＰＵ５１は、検出電極ＲＸ１及びＲＸ２から入力する電圧に基づいて、それぞれＲＸ信号のレベルを検出する。そして、ＣＰＵ５１は、最後に検出電極ＲＸ３から入力する電圧に基づいてＲＸ信号のレベルを検出する。図６（Ｂ）には、操作者がコンバイナ３０の上端から下端の方向へ指を移動させるジェスチャを行った場合に、判定装置４０が検出するＲＸ信号の信号レベルを示す。図６（Ｂ）の場合、図６（Ａ）とは逆に、ＣＰＵ５１は検出電極ＲＸ３からの検出信号を検出する。

図７（Ａ）には、検出電極ＲＸ０の領域の中心部分において、操作者の指がコンバイナ３０に垂直方向で近づいた場合に、判定装置４０が検出するＲＸ信号の信号レベルを示している。この場合、ＣＰＵ５１は、検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４のそれぞれの電圧に基づいてＲＸ信号の信号レベルを検出するが、指が検出電極ＲＸ０に近づくに従って、検出電極ＲＸ０から入力する電圧に基づいたＲＸ信号のレベルが最も大きい値になる。

図７（Ｂ）には、検出電極ＲＸ０の領域の中心部分において、操作者の指がコンバイナ３０から垂直方向で遠ざかった場合に、判定装置４０が検出するＲＸ信号の信号レベルを示している。この場合、ＣＰＵ５１は、検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４のそれぞれの電圧に基づいてＲＸ信号の信号レベルを検出するが、指が検出電極ＲＸ０から離れるに従って、検出電極ＲＸ０から入力する電圧に基づいたＲＸ信号のレベルが最も小さい値になる。

図８（Ａ）には、操作者が指を検出電極ＲＸ３、ＲＸ２、ＲＸ４及びＲＸ１の領域上で、この順に円運動させた場合に、判定装置４０が検出するＲＸ信号の信号レベルを示している。この場合、ＣＰＵ５１は、最初に、検出電極ＲＸ３から入力する電圧に基づいてＲＸ信号のレベルを検出し、次に、検出電極ＲＸ２から入力する電圧に基づいてＲＸ信号のレベルを検出する。そして、ＣＰＵ５１は、検出電極ＲＸ４から入力する電圧に基づいてＲＸ信号のレベルを検出し、最後に、検出電極ＲＸ１から入力する電圧に基づいてＲＸ信号のレベルを検出する。なお、検出電極ＲＸ０から入力する電圧に基づくＲＸ信号のレベルは、指が検出電極ＲＸ０の領域を通過しないため、検出電極ＲＸ３、ＲＸ２、ＲＸ４及びＲＸ１の信号レベルよりも小さい。なお、図８（Ｂ）には、操作者が指を検出電極ＲＸ３、ＲＸ１、ＲＸ４及びＲＸ２の領域上で、この順に、つまり図８（Ａ）とは反対方向に、円運動させた場合に、判定装置４０が検出するＲＸ信号の信号レベルを示している。

次に、図９に示すフローチャートを参照しながら判定装置４０の処理手順を説明する。判定装置４０の電圧供給回路５４が、まず、電界発生電極３４１に電圧を供給する（ステップＳ１）。具体的には、電圧供給回路５４は方形波のパルス電圧を電界発生電極３４１に供給する。次に、判定装置４０の電圧入力回路５５は、各検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３、ＲＸ４の出力電圧を入力する（ステップＳ２）。次に、判定装置４０のＣＰＵ５１は、入力した各検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４の電圧をフィルタ処理してノイズを除去する（ステップＳ３）。ＣＰＵ５１は、電界発生電極３４１に供給される電圧とフィルタ処理した電圧との差分をＡＤ変換してＲＸ信号を生成する（ステップＳ４）。次に、ＣＰＵ５１は、検出電極ＲＸ０、ＲＸ１、ＲＸ２、ＲＸ３及びＲＸ４のＲＸ信号と、しきい値とを比較する（ステップＳ５）。このしきい値は、各ＲＸ信号が有効な入力であるか否かを判断するための値であり、予めＲＡＭ５２又はＲＯＭ５３に格納されている。このしきい値はホストコンピュータ１０を使って変更可能である。ＣＰＵ５１は、しきい値以上のＲＸ信号が少なくとも１つある場合には、ステップＳ７の処理に移行し、しきい値以上のＲＸ信号が１つもない場合には、ステップＳ１の処理に戻る。

ステップＳ７の処理では、ＣＰＵ５１はＲＸ信号を使って指の位置を示すＸ，Ｙ，Ｚ方向の座標値を求める。この例では、図３に示すコンバイナ３０の横方向をＸ軸、縦方向をＹ軸とする。また、コンバイナ３０の垂直方向をＺ軸方向とする。なお、指の位置を示すＸ，Ｙ，Ｚ方向の座標値は、以下の式（１）、（２）、（３）で求めることができる。なお、式（１）、（２）、（３）において、ｐｐは、ピーク信号を示す。例えば、ＲＸ１ppは、検出電極ＲＸ１で検出されるＲＸ信号のうち、信号値がピークを示す信号を意味する。

次に、ＣＰＵ５１は、各座標値を解析してジェスチャが成立しているか否かを判定する（ステップＳ８）。具体的には、ジェスチャの判定用データとして、座標値が変化する順番を規定したデータがＲＯＭ５３に予め格納されており、ＣＰＵ５１は、座標値が変化する順番を規定したデータと実際に座標値が変化する順番とが一致するか否かに基づいて、ジェスチャが成立している否かを判定する。例えば、座標値が変化する順番を規定したデータが、検出電極ＲＸ１、ＲＸ０、ＲＸ２の順番で座標値が変化するケースを含み、検出電極ＲＸ１、ＲＸ０、ＲＸ１の順番で座標値が変化するケースを含まないとする。この場合、検出電極ＲＸ１、ＲＸ０、ＲＸ２の順番で、座標値が変化した場合には、ＣＰＵ５１は、コンバイナ３０の左端から右端へ指を移動させるジェスチャが成立していると判定する。一方、検出電極ＲＸ１、ＲＸ０、ＲＸ１の順番で座標値が変化した場合には、ＣＰＵ５１は、ジェスチャが不成立であると判定する。

ＣＰＵ５１は、ジェスチャが成立していると判定すると（ステップＳ９／ＹＥＳ）、成立したジェスチャと、Ｘ，Ｙ，Ｚの座標値とをホストコンピュータ１０に通知する（ステップＳ１０）。また、判定装置４０は、ジェスチャが不成立であると判定すると（ステップＳ９／ＮＯ）、Ｘ，Ｙ，Ｚの座標値をホストコンピュータ１０に通知する（ステップＳ１１）。

以上説明したように、本実施の形態によれば、ヘッドアップディスプレイ１に赤外線センサやカメラ等を別途設けることなく、操作者の入力するジェスチャを判定することができるので、ヘッドアップディスプレイ１の大型化を防ぎ、ヘッドアップディスプレイ１の製造コストを低減することができる。

上記実施の形態では、電界変化出力層３６は５つの検出電極を備えているが、検出電極の数はこれに限定されるものではない。例えば、電界変化出力層３６は、ｍ行×ｎ列の検出電極を備えていてもよい（ｍ、ｎ：２以上の自然数）。

上述した実施例は本発明の好適な実施例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。

１０ホストコンピュータ
２０投影装置
３０コンバイナ
３１第１干渉縞層
３３第２干渉縞層
３４電界発生層
３５第３干渉縞層
３６電界変化出力層
３７第４干渉縞層
４０判定装置
５１ＣＰＵ
５４電圧供給回路
５５電圧入力回路

Claims

投影装置の投影する表示光を操作者に向けて反射させるコンバイナであって、
前記投影装置の投影する表示光を反射させる反射層と、
当該コンバイナの周囲に電界を発生する電界発生層と、
当該電界発生層で発生した電界の変化に応じた電圧を出力する出力層と、
を備えることを特徴とするコンバイナ。
前記コンバイナは複数の反射層を有し、
前記複数の反射層のうち、１つの反射層は前記電界発生層と前記出力層との間に配置されることを特徴とする請求項１に記載のコンバイナ。
前記出力層は、複数の電極を備え、１つの電極を当該出力層の中心に配置し、他の電極を絶縁層を介して当該１つの電極の前後左右に配置することを特徴とする請求項１又は２に記載のコンバイナ。
投影装置の投影する表示光を反射させる反射層、
当該コンバイナの周囲に電界を発生する電界発生層、及び
当該電界発生層で発生した電界の変化に応じた電圧を出力する出力層を備え、
前記投影装置の投影する表示光を操作者に向けて反射させるコンバイナと、
前記電界発生層に電圧を供給する電圧供給回路、
前記出力層からの電圧を入力する電圧入力回路、及び
前記電界発生層に供給される電圧と前記出力層からの電圧との差分に応じた信号に基づいて、前記操作者による非接触の操作内容を検出する検出手段を備える判定装置と
を有することを特徴とする操作検出装置。
前記出力層は、複数の電極を備え、
前記検出手段は、前記電界発生層に供給される電圧と前記複数の電極の各々からの電圧との差分に応じた信号と、ジェスチャ判定用のデータとに基づいて、前記操作者による非接触のジェスチャ操作の内容を検出することを特徴とする請求項４に記載の操作検出装置。