JP2009110275A - 表示入力装置及びその視差補正方法 - Google Patents

Abstract

【課題】設置位置に拘わらず、視差の補正を行うことができると共に、比較的大型の表示画面であっても、精度のよい視差の補正を実現することができ、さらに、入力操作中の操作者の移動に伴う視差変動に対応した補正を行うことができる表示入力装置及びその視差補正方法を提供する。
【解決手段】表示部１０と入力部２０とを備えた表示入力装置１００及び視差補正方法は、操作者位置検出部３０にて検出した操作者Ｍの頭部の位置Ｑ１に基づき操作者位置検出部３０の位置Ｒ１，Ｒ２に対する操作者Ｍの頭部の位置Ｑ１を算出し、入力部２０にて入力された入力位置Ｑ２を基準として、前記算出した操作者Ｍの頭部の位置Ｑ１に基づき補正値を算出し、前記算出した補正値に基づき、入力部２０にて入力された入力位置Ｑ２を補正する。
【選択図】図３

Description

本発明は、操作者の頭部の位置による入力部の視差を補正する表示入力装置及び視差補正方法に関し、特に、操作者以外の者（観衆）に見せるような比較的大型の表示画面を有する表示入力装置及びその視差補正方法に関する。

情報を表示する液晶表示装置等の表示部と、表示部の表示面側からの操作者の入力操作によって入力される入力面を有するタッチパネル装置や、保護フィルムなどの被覆部材等の入力部とを備えた従来の表示入力装置においては、入力部自体の厚みや、表示部の表示特性等による表示部及び入力部の間に設けられる隙間のために、入力部の入力面と表示部の表示面との間に数ｍｍ〜数ｃｍ程度の差異が生じる場合がある。この場合、通常は、入力位置とそれに対応する表示位置とが正面（表示面における表示位置の仮想垂線上）から視て一致するように設定（キャリブレーション）される。

図７は、操作者Ｍの頭部の位置Ｑ１による入力部２０の視差を説明するための図である。図７に示す表示入力装置１００’は、ここでは、表示面１０ａが垂直方向に沿った状態で配置されている。なお、図７では、表示入力装置１００’を上から視た状態を示しており、左右方向の視差を示しているが、上下方向の視差も同様であり、ここでは図示を省略している。

表示入力装置１００’では、図７に示すように、操作者Ｍが正面（図中鎖線の位置）から視て入力部２０の入力操作を行う場合には問題ないが、正面以外（例えば横）から視た場合には、前記した入力部２０の入力面２０ａと表示部１０の表示面１０ａとの間の差異（距離Ｄ３）の分がズレとなって操作者Ｍの目に入るため、操作者Ｍは入力面２０ａの入力すべき位置Ｑ０に入力操作したように見えても、実際には、入力部２０にて入力される座標位置はＱ２の位置となるようにズレＤが生じる。本明細書では、これを視差と称する。

このような不都合を解消するために、従来の表示入力装置では、入力操作する操作者Ｍの目の位置を検出し、これと入力面２０ａの入力位置Ｑ２とにより、操作者Ｍの目に映っている表示面１０ａの位置Ｑ４を推定することで、視差Ｄを補正することがなされている。

例えば、下記特許文献１には、視点計測手段にて操作者が表示操作パネルの操作位置に付いたことを検出したときに操作者の視点位置（目の位置）を計測し、視差制御手段にて視点位置と床からの所定位置に固定配置された表示操作パネルとの位置関係から視点位置より見た視差を演算し、この演算値に基づき視差調整手段にて視差を少なくするよう表示デバイスと操作パネルとの相対位置を調整する表示入力装置が開示されている。

また、下記特許文献２には、表示装置の表示画面の前面にタッチパネル装置のタッチセンサパネルを付設し、情報を画面表示するとともに、手書き入力を可能とする画面表示入力装置であって、操作者を撮影するカメラ装置からの画像を用いて操作者の目の位置の所定の基準点（例えば画面の中心）からのずれの方向及び距離、さらには操作者と表示画面との距離の情報を検出し、これらの情報により補正テーブルから補正量を読み出し、タッチセンサパネルより入力される座標値を補正する表示入力装置及び視差補正方法が開示されている。
特開平５−２８９８１６号公報 特開平１１−２９６３０４号公報

しかしながら、前記特許文献１に記載の技術では、視差を補正するために、この特許文献１の図５に示すように、床から表示操作パネルまでの距離Ｈ２が予め設定されており、従って、表示操作パネルの設置位置が固定されている必要があるため、表示操作パネルを任意の場所に設置することができない。

また、前記特許文献２に記載の技術では、操作者の入力操作によって入力された入力位置が基準点（例えば画面の中心）の近傍に位置する場合には有効であるが、入力位置が基準点から離れるに従い、視差を補正するための補正量の誤差が大きくなる。即ち、この技術は、表示画面として比較的小さいもの（例えば１５インチ程度のもの）を対象としており、入力位置が基準点の近傍に位置することを前提としている。

従って、比較的大きな表示画面（例えば、操作者の使用だけでなく、操作者の他の者（観衆）にプレゼンテーションを行うような表示画面（具体的には６５インチ以上の表示画面））を有する表示入力装置では、表示画面が大きい分、入力操作する入力位置が基準点から大きく離れてしまう場合があり、この場合、視差を補正するための補正量の誤差が大きくなりすぎて、実用的ではない。

さらに、入力操作中に操作者が移動することがあり、それに伴って視差も変動することがある。例えば、手書き入力表示（操作者の入力操作によって入力された入力位置での当該入力操作に応答した表示）の場合のように、操作者が連続的に手書き入力する場合には、通常、操作者は表示画面に対して任意に移動することになり、それだけ視差が変動する。前記特許文献１，２に記載の技術は、この点に関し何ら考慮していない。

そこで、本発明は、設置位置に拘わらず、視差の補正を行うことができると共に、比較的大型の表示画面であっても、精度のよい視差の補正を実現することが可能な表示入力装置及びその視差補正方法を提供することを一の目的とする。

本発明は、さらに、入力操作中の操作者の移動に伴う視差変動に対応した補正を行うことが可能な表示入力装置を提供することを他の目的とする。

本発明は、前記課題を解決するために、次の表示入力装置及び表示入力装置の視差補正方法を提供する。
（１）表示入力装置
情報を表示する表示部と、前記表示部の表示面側からの操作者の入力操作によって入力される入力面を有する入力部とを備えた表示入力装置において、前記操作者の頭部の位置を検出する操作者位置検出部と、前記操作者位置検出部にて検出した前記操作者の頭部の位置に基づき前記操作者位置検出部に対する前記操作者の頭部の位置を算出する操作者位置算出手段と、前記入力部にて入力された入力位置を基準として、前記操作者位置算出手段により算出した前記操作者の頭部の位置に基づき補正値を算出する補正値算出手段と、前記補正値算出手段により算出した補正値に基づき、前記入力部にて入力された入力位置を補正する補正手段とを備えていることを特徴とする表示入力装置。
（２）表示入力装置の視差補正方法
情報を表示する表示部と、前記表示部の表示面側からの操作者の入力操作によって入力される入力面を有する入力部とを備えた表示入力装置の視差補正方法において、前記操作者の頭部の位置を検出する操作者位置検出部にて検出した前記操作者の頭部の位置に基づき前記操作者位置検出部に対する前記操作者の頭部の位置を算出する操作者位置算出ステップと、前記入力部にて入力された入力位置を基準として、前記操作者位置算出ステップにより算出した前記操作者の頭部の位置に基づき補正値を算出する補正値算出ステップと、前記補正値算出ステップにより算出した補正値に基づき、前記入力部にて入力された入力位置を補正する補正ステップとを含むことを特徴とする表示入力装置の視差補正方法。

本発明に係る表示入力装置及び本発明に係る表示入力装置の視差補正方法によれば、前記操作者位置検出部にて検出した前記操作者の頭部の位置に基づき前記操作者位置検出部に対する前記操作者の頭部の位置を算出するので、前記表示部を任意の場所に設置しても、即ち、設置位置に拘わらず、視差の補正を行うことが可能となる。さらに、前記入力部にて入力された入力位置を基準として、前記算出した前記操作者の頭部の位置に基づき補正値を算出するので、表示画面の大きさに拘わらず、従って、比較的大型の表示画面であっても、精度よく視差の補正を行うことができる。

本発明において、前記操作者位置検出部に対する頭部位置の算出を容易にするという観点から、前記操作者の頭部の位置を算出するにあたり、前記操作者位置検出部にて検出した前記操作者の頭部の位置に基づき、前記入力面又は前記入力面に沿って延びる仮想平面に対する前記操作者の頭部の位置からの仮想垂線と前記入力面又は前記仮想平面とが交わる交差位置から前記操作者の頭部の位置までの第１距離と、前記操作者位置検出部から前記交差位置までの第２距離とを算出する態様を例示できる。

本発明において、前記操作者位置検出部は、前記入力部の所定方向における両端部に複数配置されていることが好ましい。こうすることで、前記入力部からの前記操作者の頭部の位置を広い範囲で効果的に検出することができる。この場合、前記操作者位置検出部は、撮影機器を備えている態様を例示できる。

本発明において、前記補正値に基づく前記補正を継続的に行うことが好ましい。こうすることで、入力操作中の操作者の移動に伴う視差変動を随時補正することが可能となる。

前記補正を継続的に行う態様としては、前記入力部への入力操作開始毎に前記補正を行う態様、前記操作者位置検出部にて前記操作者が移動したことを検出したときに前記補正を行う態様や、所定時間毎に前記補正を行う態様を例示できる。

以上説明したように、本発明によると、前記操作者位置検出部にて検出した前記操作者の頭部の位置に基づき前記操作者位置検出部に対する前記操作者の頭部の位置を算出することで、設置位置に拘わらず、視差の補正を行うことができる。さらに、前記入力部にて入力された入力位置を基準として、前記補正値を算出することで、比較的大型の表示画面であっても、精度のよい視差の補正を実現することができる。

さらに、本発明によると、前記補正値に基づく前記補正を継続的に行うことで、入力操作中の操作者の移動に伴う視差変動に対応した補正を行うことができる。

以下、本発明の実施形態について添付図面を参照しつつ説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。

図１は、本発明の実施形態に係る視差補正方法を実施する表示入力装置の一例を示す概略構成図であり、図１（ａ）は、その表示入力装置本体を示しており、図１（ｂ）は、その表示入力装置における制御装置に設けられた記憶部を示している。

図１に示す表示入力装置１００は、表示部１０、入力部２０、操作者位置検出部３０及び制御装置４０を備えている。なお、表示部１０及び入力部２０により表示操作パネル５０を構成している。また、表示入力装置１００の表示操作パネル５０は、ここでは、任意に設置できるようになっており、表示面１０ａが垂直方向に沿った状態で配置されている。また、表示部１０及び入力部２０は、ここでは、矩形状のものとされている。

表示部１０は、制御装置４０からのデータに基づく情報を表示するものである。表示部１０としては、情報を表示するものであれば何れのものでもよく、代表的には、液晶表示装置やプラズマディスプレイ装置等を例示できる。

入力部２０は、ここでは、表示部１０の表示面１０ａ上に配置され、表示面１０ａ側からの操作者Ｍの入力操作によって入力された入力面２０ａ上の入力位置Ｑ２を検出し、該検出した入力位置Ｑ２の情報を制御装置４０に送信するようになっている。入力部２０としては、入力操作によって入力される入力面２０ａを有するものであれば何れのものでもよく、代表的には、抵抗感圧式のタッチパネル装置や静電式のタッチパネル装置等を例示できる。また、表示部１０がタッチパネル装置の機能を兼ね備えたもの（例えば、表示部１０が光センサーを内蔵し、入力面２０ａに置かれた物体を認知するもの）であってもよい。この場合の入力部２０は、表示面１０ａを被覆する保護フィルムなどの被覆部材を例示できる。

操作者位置検出部３０は、操作者Ｍの頭部の位置Ｑ１を検出するものである。操作者位置検出部３０は、表示部１０又は入力部２０（ここでは入力部２０）に設けることができ、表示部１０又は入力部２０（ここでは入力部２０）からの操作者Ｍの頭部の位置Ｑ１を検出することができる。操作者位置検出部３０は、操作者Ｍの頭部の位置Ｑ１を検出するものであれば何れのものでもよく、代表的には、光学的画像情報を電気的画像情報に変換する撮像素子を有するカメラ等の撮影機器を備えたものを例示できる。

制御装置４０は、ここでは、パーソナルコンピュータなどの情報処理装置であり、ＣＰＵ４１及び記憶部４２を有している。この制御装置４０は、表示入力装置制御用のプログラムを記憶部４２から読み出し、該読み出したプログラムを実行することで、表示入力装置１００全体を統括的に制御するようになっている。前記プログラムは、ＣＰＵ４１を、操作者位置算出手段Ｐ１と、補正値算出手段Ｐ２と、補正手段Ｐ３とを含む手段として機能させるためのものである。

記憶部４２は、ハードディスク装置等の外部メモリ４２ａと、半導体メモリ等の内部メモリ４２ｂとを含んでいる。

外部メモリ４２ａは、ＣＰＵ４１が実行する処理の手順である表示入力装置制御用プログラムを格納するものである。この外部メモリ４２ａには、ここでは、表示操作パネル５０を駆動するためのドライバソフト（例えば、タッチパネルドライバ）と、操作者位置検出部３０を駆動するためのドライバソフト（例えば、カメラキャプチャドライバ）と、操作者位置算出手段Ｐ１を実行するための頭部位置解析プログラムと、補正値算出手段Ｐ２及び補正手段Ｐ３を実行するための視差補正プログラムとが記憶されている。なお、外部メモリ４２ａには、さらに、アプリケーションソフトも記憶されている。

内部メモリ４２ｂは、作業用のワークエリアを提供するものである。この内部メモリ４２ｂは、ここでは、頭部位置情報格納エリアと、入力操作位置情報格納エリアと、補正後位置情報格納エリアと、位置情報格納エリアとが確保されるようになっている。

操作者位置算出手段Ｐ１は、操作者位置検出部３０にて検出した操作者Ｍの頭部の位置Ｑ１に基づき操作者位置検出部３０の左右方向の位置Ｒ１及び／又は上下方向の位置Ｒ２（例えば入力部２０内の所定位置（具体的にはパネル枠の左右方向の一端辺の位置Ｒ１及び／又は上下方向の一端辺の位置Ｒ２）に設けられた操作者位置検出部３０ａの位置Ｒ１,Ｒ２）に対する操作者Ｍの頭部の位置Ｑ１を算出するようになっている。

補正値算出手段Ｐ２は、入力部２０にて入力された入力位置Ｑ２を基準として、操作者位置算出手段Ｐ１により算出した操作者Ｍの頭部の位置Ｑ１に基づき補正値を算出するようになっている。

そして、補正手段Ｐ３は、補正値算出手段Ｐ２により算出した補正値に基づき、入力部２０にて入力された入力位置Ｑ２を補正するようになっている。

以上説明した表示入力装置１００によれば、操作者Ｍの頭部の位置Ｑ１を検出して、操作者位置検出部３０における位置Ｒ１，Ｒ２に対する操作者Ｍの頭部の位置Ｑ１を算出するので、例えば、従来の如く床から入力部２０までの距離を予め設定して表示操作パネル５０の設置位置を固定しなくてもよく、従って、表示操作パネル５０を任意の場所に設置しても、視差の補正を行うことができる。

さらに、従来の如く所定の基準点を用いることなく、入力部２０にて入力された入力位置Ｑ２を基準として補正値を算出するので、入力位置Ｑ２に応じた補正を行うことが可能となり、これにより、例えば、６５インチ程度以上の比較的大型の表示画面であっても、精度よく視差の補正を行うことが可能となる。

この表示入力装置１００についてさらに具体的に説明すると、図２は、図１に示す表示入力装置１００による視差補正の一例を概略的に説明するための図であり、図３は、図１に示す表示入力装置１００による視差補正の一例をさらに詳しく説明するための図である。なお、図２及び図３では、表示操作パネル５０を上から視た状態を示しており、左右方向の視差を示しているが、上下方向の視差も同様であり、ここでは図示を省略している。また、図２では、操作者位置検出部３０は図示を省略してある。後述する図５についても同様である。

先ず、図２を参照しながら、表示入力装置１００による視差補正を概略的に説明する。図２に示すように、操作者位置検出部３０にて検出した操作者Ｍの頭部の位置Ｑ１に基づき、操作者位置検出部３０ａの位置Ｒ１，Ｒ２を基準にして、入力面２０ａに対する操作者Ｍの頭部の位置Ｑ１からの仮想垂線Ｌと入力面２０ａとが交わる交差位置Ｑ３から操作者Ｍの頭部の位置Ｑ１までの距離Ｄ１と、入力部２０にて入力された入力位置Ｑ２から交差位置Ｑ３までの距離Ｄ２とを操作者位置算出手段Ｐ１により算出する。

ここで、図２及び図３中の距離Ｄ３は、入力部２０自体の厚みや、表示部１０と入力部２０との間に設けられる隙間のために、入力部２０の入力面２０ａと表示部１０の表示面１０ａとの間に生じる差異であり、予め設定されている。なお、表示部１０が液晶表示装置である場合、一般的には液晶画面上に保護フィルムがあるため、この保護フィルムの厚みだけ距離Ｄ３が大きくなることもある。この距離Ｄ３は、例えば、６５型程度の大型の液晶表示画面では１ｃｍ程度を挙げることができる。

ところで、大型の表示画面を有する従来の表示入力装置をプレゼンテーションや会議などに利用した場合、操作者の他に観衆がおり、操作者は入力操作する入力位置を観衆に見てもらおうとするために、入力操作する入力位置は基本的に体の正面ではなく、あえて体をずらした位置から操作しようとすることが多い。例えば、入力操作したい入力位置から体を左や右に故意にずらして、入力位置を観衆に見えるようにしながら入力操作することになる。その場合、入力位置に対して、どうしても斜めから操作することになり、さらに操作者の頭部の位置と画面の距離とが縮まると、それだけ大きな視差が生じる。また、表示画面が大型になると、入力部自身も大型になるため、入力部を構成するガラスやフィルム等の部材の厚みや表示部と入力部との間に設けられる隙間も大きくなり、さらに視差が大きくなる。そのため、操作者が斜めからの入力操作によって視差が生じることを考慮して、その分、本来入力操作したい位置とは離れた位置に入力するような苦労があった。このように、従来は、操作者の見る位置によっては、スムーズなオペレーションができないといった不都合があった。

これについて図２を用いて具体的に説明すると、距離Ｄ１と距離Ｄ２とがほぼ同じ距離（例えば５０ｃｍ程度）としたとき、入力面２０ａの入力すべき位置Ｑ０と入力部２０にて入力される入力位置Ｑ２とは、入力面２０ａと表示面１０ａとの間の差異Ｄ３（例えば１ｃｍ）分だけ、ズレＤが生じ、非常に入力操作し難いことになる。

そこで、本実施の形態の表示入力装置１００では、従来の如く、入力部の床からの距離や基準点というようなものは設定せず、操作者位置検出部３０ａの位置Ｒ１，Ｒ２を基準にして、入力操作した時点での操作者Ｍの頭部の位置Ｑ１から入力操作した入力位置Ｑ２へのベクトルが視線の方向であることを利用して、視差補正を行い、実際に入力操作した入力位置Ｑ２ではなく、入力すべき位置Ｑ０に補正して入力部２０の座標を制御装置４０へ出力することを可能とする。

詳しくは、操作者位置算出手段Ｐ１において、操作者Ｍが入力部２０の入力面２０ａへの入力操作した時点で、操作者位置検出部３０ａの位置Ｒ１，Ｒ２を基準にして、操作者位置検出部３０で検出した操作者Ｍの頭部の位置Ｑ１に基づき、入力部２０の入力面２０ａから頭部の位置Ｑ１までの距離Ｄ１を算出すると共に、入力位置Ｑ２に対して、頭部から入力面２０ａへ垂直に降ろした位置Ｑ３が上下方向及び／又は左右方向にどれだけ離れているかの距離Ｄ２を算出する。

操作者Ｍの頭部の位置Ｑ１と、それを入力面２０ａに垂直に降ろした位置Ｑ３と、入力操作した入力位置Ｑ２とで形成される三角形と、操作者Ｍの頭部の位置Ｑ１と、それを表示面１０ａに垂直に降ろした位置Ｑ５と、表示位置Ｑ４とで形成される三角形とは相似形である。従って、（距離Ｄ１）：（距離Ｄ１＋距離Ｄ３）＝（距離Ｄ２）：（距離Ｄ２＋補正距離Ｄ）より、次の式（１）が得られる。

補正値算出手段Ｐ２では、操作者位置算出手段Ｐ１で算出した距離Ｄ１及び距離Ｄ２と、入力面２０ａ及び表示面１０ａの間に生じる差異（距離Ｄ３）とを前記式（１）に代入して、補正距離Ｄを算出する。

そして、補正手段Ｐ３では、入力部２０により入力された入力位置Ｑ２に対して、補正値算出手段Ｐ２の前記式（１）で得られた補正距離Ｄに対応する補正値（例えば、補正距離Ｄに所定の定数をかけて算出した補正値）で補正した位置Ｑ０を最終的な入力位置として制御装置４０へ出力する。

このように、実際に入力部２０から求められた入力位置Ｑ２そのものを検出位置として出力するのではなく、視差Ｄの補正値を考慮した位置を入力した位置として出力することで、操作者Ｍが本当に示したかった位置Ｑ０を出力することが可能となる。従って、操作者Ｍがどの位置から入力操作しても、操作者Ｍから見て入力操作したい入力位置に入力すればよくなり、視差を見込んで入力操作したい入力位置Ｑ２とは離れた位置に入力するといった苦労がなくなり、これにより、スムーズなオペレーションが可能となる。また、この視差Ｄによる誤操作のために、入力操作を何度もやりなおすといった労力を効果的に防止することができ、観衆も操作者Ｍの話の内容に集中できるようになる。

次に、図３を参照しながら、表示入力装置１００による視差補正をさらに詳しく説明する。以下、入力部２０の左右方向の視差、即ち、操作者Ｍの頭部が表示位置Ｑ４の正面（表示面１０ａにおける表示位置Ｑ４の仮想垂線）から左右方向に外れた位置から視た視差について説明する。また、表示部１０として液晶表示装置、入力部２０としてタッチパネル装置（以下、単にタッチパネルという）、操作者位置検出部３０としてカメラを用いた場合を例にとって説明する。

操作者位置検出部３０は、ここでは、入力部２０の左右方向における両端部に複数配置されている。詳しくは、入力部２０（例えばパネル枠）の左右方向両端部に２台のカメラ３０ａ，３０ｂが配置されている。この２台のカメラ３０ａ，３０ｂは、例えば、入力部２０の上下方向中央部に位置し、操作者Ｍの頭部の左右方向における位置を検出できるようになっている。

図３に示すように、操作者Ｍの頭部の位置Ｑ１と、それを入力面２０ａに垂直に降ろした位置Ｑ３と、実際にタッチされた入力位置Ｑ２との３点にて三角形が形成される。しかるに、操作者Ｍは、実際にはタッチパネル２０のタッチした位置Ｑ２に映っている映像をタッチしている。この映像は、タッチパネル２０の入力面２０ａの位置よりさらに深い位置Ｑ４に存在するため、入力面２０ａと液晶面１０ａとの距離Ｄ３だけズレＤが生じる。

操作者位置算出手段Ｐ１は、ここでは、カメラ３０にて検出した操作者Ｍの頭部の位置Ｑ１に基づき、入力面２０ａに対する操作者Ｍの頭部の位置Ｑ１からの仮想垂線Ｌと入力面２０ａとが交わる交差位置Ｑ３から操作者Ｍの頭部の位置Ｑ１までの第１距離Ｄ１と、タッチパネル２０の端辺に設けられたカメラ３０ａの位置Ｒ１から交差位置Ｑ３までの第２距離Ｄ４とを算出するようになっている。

具体的には、入力部２０における２台のカメラ３０ａ，３０ｂの各設置端辺と、入力位置Ｑ２及び交差位置Ｑ３を通る仮想直線との交点をそれぞれＱａ，Ｑｂとすると、カメラ画像によって、操作者Ｍの頭部の位置Ｑ１及び交点Ｑａを通る直線と入力面２０ａとのなす角度θ₁と、操作者Ｍの頭部の位置Ｑ１及び交点Ｑｂを通る直線と入力面２０ａとのなす角度θ₂とがそれぞれ判明する。この頭部の位置Ｑ１及び角度θ₁，θ₂はレンズ特性などを考慮して算出することができる。

図４は、入力部２０の左右方向両端部におけるカメラ３０（３０ａ，３０ｂ）にて撮影された画像を示す図であり、図４（ａ）は、左右方向一端部（図３中左側）に設けられたカメラ３０ａの画像を示しており、図４（ｂ）は、左右方向他端部（図３中右側）に設けられたカメラ３０ｂの画像を示している。カメラ３０ａ，３０ｂの画角α₁，α₂は予め設定されており、ここでは、何れも９０°とされている。また、カメラ３０ａ，３０ｂの撮影方向ｚの入力面２０ａに対する角度β₁，β₂も予め設定されており、ここでは、何れも画角α₁，α₂の中央値（具体的には４５°）とされている。この２台のカメラ３０ａ，３０ｂ間の距離Ｄ５も予め設定されている。

図４（ａ）のカメラ画像では、頭部の位置Ｑ１が左右方向の他端側に位置する場合を０°とし、左右方向の一端側に位置する場合を画角α₁（ここでは９０°）とすることで、カメラ画像における頭部の位置Ｑ１に応じて一方の角度θ₁を算出することができる。一方、図４（ｂ）のカメラ画像では、図４（ａ）のカメラ画像と同様に、頭部の位置Ｑ１が左右方向の一端側に位置する場合を０°とし、左右方向の他端側に位置する場合を画角α₂（ここでは９０°）とすることで、カメラ画像における頭部の位置Ｑ１に応じて他方の角度θ₂を算出することができる。

具体的には、図４（ａ）に示す左側の例のカメラ３０ａでは、操作者Ｍがカメラ画像の左右方向ほぼ中央に位置しているので、頭部の位置Ｑ１の角度θ₁は４５°程度とすることができる。また、図４（ｂ）に示す右側の例のカメラ３０ｂでは、操作者Ｍがカメラ画像の左右方向中央部よりも左側に位置しているので、頭部の位置Ｑ１の角度θ₂は２０°程度とすることができる。

こうして、交点Ｑａ，Ｑｂ間の距離（即ち２台のカメラ３０ａ，３０ｂ間の距離）がＤ５である１辺の両端部の角度θ₁，θ₂が決定することから、交点Ｑａ，Ｑｂと操作者Ｍの頭部の位置Ｑ１を頂点とする三角形は一意に決定できる。従って、

より、次の式（２）が得られる。

また、

より、次の式（３）が得られる。

操作者位置算出手段Ｐ１では、交点Ｑａ，Ｑｂ間の距離Ｄ５と、頭部位置Ｑ１の角度θ₁，θ₂とを前記式（３）及び式（２）にそれぞれ代入して、距離Ｄ１及び距離Ｄ４を算出する。

また、交点Ｑａから入力位置Ｑ２までの距離Ｄ６は、タッチパネル２０の入力面２０ａにおけるセンサーから算出することができる。この距離Ｄ６から距離Ｄ４を引くことで距離Ｄ２を算出することができる。

本実施の形態では、カメラ３０を用いて操作者Ｍの頭部の位置Ｑ１を検出するが、カメラ３０に代えて超音波を用いた位置検出装置を用いてもよい。この場合、超音波の操作者Ｍの頭部からの反射時間を測定することにより位置検出装置の位置と操作者Ｍの頭部の位置Ｑ１との距離を算出し、三角測量にて操作者Ｍの頭部の位置を得ることができる。また、発信器を、ヘッドセット等の操作者Ｍの頭部に付ける物品を介して或いは直接、操作者Ｍの頭部に設けることにより操作者Ｍの頭部位置Ｑ１の検出を行ってもよい。

また、本実施の形態では、操作者Ｍの頭部の位置として、入力面２０ａからの距離Ｄ１と、所定位置Ｒ１からの距離Ｄ４を測定しているが、値に大きな変動がない場合には、何れか一方の値を固定値としてもよいし、操作者Ｍの手の長さを想定することにより一方の値から他方の値を、計算或いはテーブルを用いて導くこともできる。

なお、カメラ３０を用いる場合、撮影した画像に観衆が映ることもあり、その中で操作者Ｍを特定する処理も必要であるが、かかる処理は、従来の画像処理の顔認識や自動追尾などの技術を利用でき、ここでは詳しい説明を省略する。また、頭部の位置Ｑ１として、例えば、頭部の撮影方向及び形状から画像処理により目の位置を特定してもよい。

図５は、図１に示す表示入力装置１００による視差補正の他の例を説明するための図である。

図５に示すように、操作者Ｍは、入力部２０の端部から外側に移動することがある。従って、操作者位置算出手段Ｐ１は、カメラ３０にて検出した操作者Ｍの頭部の位置Ｑ１に基づき、入力面２０ａに沿って延びる仮想平面２０ａ’に対する操作者Ｍの頭部の位置Ｑ１からの仮想垂線Ｌと仮想平面２０ａ’とが交わる交差位置Ｑ３から操作者Ｍの頭部の位置Ｑ１までの第１距離Ｄ１と、カメラ３０ａの位置Ｒ１から交差位置Ｑ３までの第２距離Ｄ４とを算出するようになっていてもよい。

この例では、前記式（２）に代えて、次の式（４）が得られる。

従って、操作者位置算出手段Ｐ１では、交点Ｑａ，Ｑｂ間の距離Ｄ５と、頭部位置Ｑ１の角度θ₁，θ₂とを前記式（３）及び式（４）にそれぞれ代入して、距離Ｄ１及び距離Ｄ４を算出する。そして、距離Ｄ６に距離Ｄ４を加えることで距離Ｄ２を算出することができる。なお、カメラ３０ａ，３０ｂの画角α₁，α₂は、入力部２０の端部より外側の操作者Ｍを撮影するために、何れも９０°を超えて設定することができる。

ところで、入力操作中に操作者Ｍが移動することがあり、それに伴って視差も変動することがあることから、本実施の形態の表示入力装置１００においては、前記補正値に基づく前記補正を継続的に行うようにしている。こうすることで、例えば、操作者Ｍが連続的に手書き入力する場合において、操作者Ｍが表示画面に対して任意に移動して視差が変動する場合でも、この視差を随時補正することができる。本実施の形態では、タッチパネル２０へのタッチ操作開始毎に前記補正を行っている。

次に、表示入力装置１００による視差補正制御の動作フローの一例について説明する。図６は、図１に示す表示入力装置１００による視差補正制御の処理の流れを示すフローチャートの一例であり、図６（ａ）は、そのメイン処理を示し、図６（ｂ）は、頭部位置検出処理のためのサブ処理を示し、また、図６（ｃ）は、視差演算処理のためのサブ処理を示している。なお、この例では、操作者Ｍがタッチパネル２０の左右方向両端部内にいる場合について説明する。

図６に示すように、表示入力装置１００では、先ず、視差補正制御の終了指示及びタッチパネル２０の入力操作があるまでは待機し（ステップＳ１，Ｓ２：Ｎｏ）、タッチパネル２０への入力操作があったときに（即ち、タッチパネル２０のセンサーを感知したときに）、以下のステップＳ３移行の処理を行う。

具体的には、タッチパネル２０の入力操作があると（ステップＳ２：Ｙｅｓ）、カメラ３０ａ，３０ｂにて検出したタッチパネル２０からの操作者Ｍの頭部の位置Ｑ１に基づきカメラ３０ａの位置Ｒ１に対する操作者Ｍの頭部の位置Ｑ１を算出する（ステップＳ３，Ｓ４）。なお、ここでは、タッチパネル２０への入力操作があったときに視差補正を行うが、カメラ３０にて操作者Ｍが移動したことを検出したときに視差補正を行ってもよいし、所定時間毎に視差補正を行ってもよい。

次に、ステップＳ３では、タッチ位置Ｑ２より距離Ｄ６を求め、距離Ｄ６を記憶部４２（ここでは内部メモリ４２ｂの入力操作位置情報格納エリア（具体的にはタッチ位置情報格納エリア））に格納し、ステップＳ４の頭部位置検出処理のサブ処理に移行する。

ステップＳ４の頭部位置検出処理では、カメラ３０ａ、３０ｂにて操作者Ｍの頭を撮影し（ステップＳ４１）、カメラ３０ａ、３０ｂにて撮影した操作者Ｍの頭の位置について画像認識を行い（ステップＳ４２）、図４に示すように、画像認識した操作者Ｍの頭の位置から、頭部の位置Ｑ１の角度θ₁，θ₂をそれぞれ算出する（ステップＳ４３）。

そして、交点Ｑａ，Ｑｂ間の距離Ｄ５と、頭部位置Ｑ１の角度θ₁，θ₂とを前記式（３）及び式（２）にそれぞれ代入して、距離Ｄ１，Ｄ４を算出し（ステップＳ４４）、得られた距離Ｄ１及び距離Ｄ４を記憶部４２（ここでは内部メモリ４２ｂの頭部位置情報格納エリア）に格納して（ステップＳ４５）、メイン処理に戻り、ステップＳ５の視差演算処理のサブ処理に移行する。

ステップＳ５の視差演算処理では、タッチパネル２０にて検出したタッチ位置Ｑ２を基準として、ステップＳ３，Ｓ４により算出した操作者Ｍの頭部位置Ｑ１の情報に基づき補正値を算出する。

具体的には、記憶部４２（ここでは内部メモリ４２ｂのタッチ位置情報格納エリア）より距離Ｄ６を読み込むと共に（ステップＳ５１）、記憶部４２（ここでは内部メモリ４２ｂの頭部位置情報格納エリア）より距離Ｄ１，Ｄ４を読み込み（ステップＳ５２）、距離Ｄ６から距離Ｄ４を引くことで距離Ｄ２を算出する（ステップＳ５３）。

そして、ステップＳ５２で読み込んだ距離Ｄ１と、ステップＳ５３で算出した距離Ｄ２と、入力面２０ａ及び表示面１０ａの間に生じる差異である距離Ｄ３とを前記式（１）に代入して、補正距離Ｄを算出し（ステップＳ５４）、得られた補正距離Ｄを記憶部４２（ここでは内部メモリ４２ｂの位置情報格納エリア）に格納してメイン処理に戻る。

メイン処理では、ステップＳ５により算出した補正値に基づき、タッチパネル２０にて検出したタッチ位置Ｑ２を補正する（ステップＳ６）。

具体的には、距離Ｄ６に対して頭部位置Ｑ１とは反対側に補正距離Ｄを加えて、これを補正後位置情報として記憶部４２（ここでは内部メモリ４２ｂの補正後位置情報格納エリア）に格納して入力部２０の座標を制御装置４０へ出力し、ステップＳ１に移行して視差補正制御を繰り返す。

ステップＳ１では、視差補正制御の終了指示があると（ステップＳ１：Ｙｅｓ）、処理を終了する。

なお、操作者位置検出部３０は、入力部２０（例えばパネル枠）の上下方向における両端部に複数配置され、操作者Ｍの頭部の上下方向における位置を検出できるようになっていてもよい。これにより、上下方向での補正距離Ｄ（Ｄ”）を、前記した左右方向での補正距離Ｄ（Ｄ’）と同様にして求めることができる。この場合、入力部２０の上下方向両端部にカメラが２台配置され、該２台のカメラは、入力部２０の左右方向中央部に位置する態様を例示できる。

そして、左右方向且つ上下方向での補正距離Ｄは、左右方向での補正距離Ｄ’と上下方向での補正距離Ｄ”とを合成した合成ベクトルを求めることで、得ることができる。

また、本発明に係る表示入力装置において、キャリブレーションを行う場合には、従来と同様に、入力部の入力位置とそれに対応する表示部の表示位置とが正面（表示面における表示位置の仮想垂線上）から視て一致するように設定することができる。それに加えて又は代えて、入力部の入力面における所定の基準位置から入力面に対して垂直方向に離れた位置に操作者の頭部が維持されている状態で、前記基準位置より上下方向及び／又は左右方向にそれぞれ所定距離だけ離れた位置が入力操作された補正値を算出し、さらに、そのまま垂直方向に沿って前記入力面に近づけた位置に操作者の頭部が維持されている状態で、同じく前記基準位置より上下方向及び／又は左右方向にそれぞれ前記所定距離だけ離れた位置が入力操作された補正値を算出し、得られた補正値に基づき、表示位置とそれに対応する入力位置とを設定してもよい。

本発明の実施形態に係る視差補正方法を実施する表示入力装置の一例を示す概略構成図であって、図（ａ）は、その表示入力装置本体を示す図であり、図（ｂ）は、その表示入力装置における制御装置の記憶部を示す図である。 図１に示す表示入力装置による視差補正の一例を概略的に説明するための図である。 図１に示す表示入力装置による視差補正の一例をさらに詳しく説明するための図である。 入力部の左右方向両端部におけるカメラにて撮影された画像を示す図であって、図（ａ）は、図３中左側に設けられたカメラの画像を示す図であり、図（ｂ）は、図３中右側に設けられたカメラの画像を示す図である。 図１に示す表示入力装置による視差補正の他の例を説明するための図である。 図１に示す表示入力装置による視差補正制御の処理の流れを示すフローチャートの一例であって、図（ａ）は、そのメイン処理を示す図であり、図（ｂ）は、頭部位置検出処理のためのサブ処理を示す図であり、図（ｃ）は、視差演算処理のためのサブ処理を示す図である。 操作者の頭部の位置による入力部の視差を説明するための図である。

符号の説明

１０ 表示部（液晶表示装置）
１０ａ 表示面
２０ 入力部（タッチパネル）
２０ａ 入力面
２０ａ’ 仮想平面
３０ 操作者位置検出部（カメラ）
１００ 表示入力装置
Ｄ１ 第１距離
Ｄ４ 第２距離
Ｌ 仮想垂線
Ｍ 操作者
Ｑ１ 操作者の頭部の位置
Ｑ２ 入力位置（タッチ位置）
Ｑ３ 交差位置
Ｑ４ 表示位置
Ｒ１，Ｒ２ 操作者位置検出部の位置

Claims (6)

1. 情報を表示する表示部と、前記表示部の表示面側からの操作者の入力操作によって入力される入力面を有する入力部とを備えた表示入力装置において、
   前記操作者の頭部の位置を検出する操作者位置検出部と、
   前記操作者位置検出部にて検出した前記操作者の頭部の位置に基づき前記操作者位置検出部に対する前記操作者の頭部の位置を算出する操作者位置算出手段と、
   前記入力部にて入力された入力位置を基準として、前記操作者位置算出手段により算出した前記操作者の頭部の位置に基づき補正値を算出する補正値算出手段と、
   前記補正値算出手段により算出した補正値に基づき、前記入力部にて入力された入力位置を補正する補正手段と
   を備えていることを特徴とする表示入力装置。
2. 請求項１に記載の表示入力装置において、
   前記操作者の頭部の位置を算出するにあたり、前記操作者位置検出部にて検出した前記操作者の頭部の位置に基づき、前記入力面又は前記入力面に沿って延びる仮想平面に対する前記操作者の頭部の位置からの仮想垂線と前記入力面又は前記仮想平面とが交わる交差位置から前記操作者の頭部の位置までの第１距離と、前記操作者位置検出部から前記交差位置までの第２距離とを算出することを特徴とする表示入力装置。
3. 請求項１又は２に記載の表示入力装置において、
   前記操作者位置検出部は、前記入力部の所定方向における両端部に複数配置されていることを特徴とする表示入力装置。
4. 請求項３に記載の表示入力装置において、
   前記操作者位置検出部は、撮影機器を備えていることを特徴とする表示入力装置。
5. 請求項１から４の何れか一つに記載の表示入力装置において、
   前記補正値に基づく前記補正を継続的に行うことを特徴とする表示入力装置。
6. 情報を表示する表示部と、前記表示部の表示面側からの操作者の入力操作によって入力される入力面を有する入力部とを備えた表示入力装置の視差補正方法において、
   前記操作者の頭部の位置を検出する操作者位置検出部にて検出した前記操作者の頭部の位置に基づき前記操作者位置検出部に対する前記操作者の頭部の位置を算出する操作者位置算出ステップと、
   前記入力部にて入力された入力位置を基準として、前記操作者位置算出ステップにより算出した前記操作者の頭部の位置に基づき補正値を算出する補正値算出ステップと、
   前記補正値算出ステップにより算出した補正値に基づき、前記入力部にて入力された入力位置を補正する補正ステップと
   を含むことを特徴とする表示入力装置の視差補正方法。

Images