JP2011164076A - 位置検出装置および位置検出方法 - Google Patents
位置検出装置および位置検出方法 Download PDFInfo
- Publication number
- JP2011164076A JP2011164076A JP2010030570A JP2010030570A JP2011164076A JP 2011164076 A JP2011164076 A JP 2011164076A JP 2010030570 A JP2010030570 A JP 2010030570A JP 2010030570 A JP2010030570 A JP 2010030570A JP 2011164076 A JP2011164076 A JP 2011164076A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- unit
- shadow
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】撮像面と撮像対象との位置関係を測定または判定する。
【解決手段】データ表示/センサ装置100は、入力表示画面およびバックライトを有する表示/光センサ部と、入力表示画面に照明光を照射する外部照明部とを備えている。表示/光センサ部は、バックライトからの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。また、データ表示/センサ装置100は、撮像対象から入力表示画面に下ろした垂線の足の位置である反射像位置を反射光画像から算出する反射像位置算出部705と、入力表示画面における上記影の位置を影画像から算出する影像位置算出部706と、反射像位置と影の位置とのずれに基づいて撮像対象の入力表示画面からの距離を算出する距離算出部802とを備えている。
【選択図】図1
【解決手段】データ表示/センサ装置100は、入力表示画面およびバックライトを有する表示/光センサ部と、入力表示画面に照明光を照射する外部照明部とを備えている。表示/光センサ部は、バックライトからの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。また、データ表示/センサ装置100は、撮像対象から入力表示画面に下ろした垂線の足の位置である反射像位置を反射光画像から算出する反射像位置算出部705と、入力表示画面における上記影の位置を影画像から算出する影像位置算出部706と、反射像位置と影の位置とのずれに基づいて撮像対象の入力表示画面からの距離を算出する距離算出部802とを備えている。
【選択図】図1
Description
本発明は、撮像画面に近接または接触した撮像対象を撮像した撮像画像を解析することにより、撮像対象の位置を検出する位置検出装置に関するものである。
ユーザの指などの撮像対象を撮像した画像を解析することにより、当該撮像対象の位置を検出し、その位置に応じた入力処理を行う装置が知られている。
例えば、特許文献1に記載の情報装置では、絞り部の開口度を異ならせてユーザの指を撮像した複数の画像を比較することにより、当該指が所定の領域内にあるかどうかを判定している。
また、特許文献2に記載のタッチパネルコントローラでは、所定の焦点距離に達した操作手の像を検出し、その2次元座標を生成している。
なお、赤外光を含むバックライト光の反射光を検出することにより、ユーザの指のタッチ位置を検出することは、特許文献3に記載されている。
ところが、特許文献1および2の発明では、ユーザの指が装置から所定の距離の範囲内にあるかどうかを判定しているだけであり、装置からユーザの指までの距離を正確に測定することはできない。
本発明は、上記の問題点を解決するためになされたもので、その目的は、撮像面から撮像対象までの距離を測定することができる位置検出装置を提供することにある。また、本発明の別の目的は、撮像面から撮像対象までの距離を測定する構成を利用して、撮像対象が撮像面に接触しているかどうかを判定できる位置検出装置を提供することにある。
本発明に係る位置検出装置は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備えることを特徴としている。
本発明に係る位置検出方法は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含むことを特徴としている。
上記の構成によれば、撮像部は、撮像面に接触または近接した撮像対象を撮像した撮像画像を生成する。この撮像部は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。
内部照明部は、撮像面の内側から撮像対象に照明光を照射するため、反射光画像に含まれる反射像の位置は、撮像対象から撮像面に下ろした垂線の足の位置(反射像位置)と一致する。
外部照明部は、撮像面に照明光を照射する照明装置であり、撮像面に対する相対位置が固定されている。それゆえ、撮像面を含む平面を基準平面とする3次元空間において外部照明部の3次元座標は固定されている。
撮像対象が撮像面に接触していれば、反射像位置と影の位置とは一致し、撮像対象が撮像面から離れるに従って、両者のずれは大きくなる。この原理を利用して、位置検出部は、撮像対象の撮像面からの距離(高さ)を算出する。
具体的には、位置検出部の距離算出部は、反射像位置算出部が算出した反射像位置と、影位置算出部が算出した影の位置とのずれに基づいて、撮像対象の撮像面からの距離を算出する。
それゆえ、上記の構成により、撮像対象の撮像面からの距離を算出できる。
また、上記距離算出部は、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置と、上記外部照明部の位置との相対位置関係から上記撮像対象の3次元座標を算出することが好ましい。
上記の構成によれば、反射像位置、影の位置および外部照明部の位置の相対位置関係から撮像対象の3次元座標が算出される。この3次元座標は、例えば、撮像面を含む平面を基準平面とする3次元空間における座標である。このとき、撮像対象の撮像面からの距離は、3次元座標のz座標として表現される。
それゆえ、撮像対象の位置を3次元的に検出することができ、上記位置検出装置を、3次元的な入力操作を受け付ける入力装置として実現できる。
また、上記距離算出部は、上記撮像面における上記影と上記外部照明部とを結ぶ線分と、上記反射像位置から当該撮像面に対して垂直に延ばした線分との交点の上記撮像面からの距離を算出することが好ましい。
上記の構成によれは、撮像面における撮像対象の影と外部照明部とを結ぶ線分を第1線分とし、反射像位置から当該撮像面に対して垂直に延ばした線分を第2線分としたとき、距離算出部は、第1線分と第2線分との交点の撮像面からの距離を算出する。
それゆえ、反射像位置、影の位置および外部照明部の位置を用いて撮像対象の撮像面からの距離を算出できる。
また、上記外部照明部から上記撮像面を含む平面に下ろした垂線の足の位置を外部照明位置とすると、上記距離算出部は、上記影の位置、上記反射像位置および上記外部照明位置から推定される近似直線を算出し、算出した近似直線に上記影の位置および上記反射像位置が重なるように上記影の位置または上記反射像位置もしくはその両方を補正し、補正した位置を用いて上記距離を算出することが好ましい。
上記の構成によれば、距離算出部は、撮像面を含む平面上における、影の位置、反射像位置および外部照明位置の3点から代数幾何学的にもっともらしい近似直線を算出する。そして、距離算出部は、算出した近似直線上に影の位置および反射像位置が載るように上記影の位置または反射像位置もしくはその両方を補正する。
影の位置、反射像位置および外部照明位置は、理論的には一直線上に載るはずであるが、何らかの理由により、影の位置または反射像位置もしくはその両方が直線上に載らない場合がある。このような場合でも、上記の構成により、影の位置または反射像位置もしくはその両方を補正でき、撮像対象の撮像面からの距離を算出することができる。
本発明に係る位置検出装置は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備えることを特徴としている。
本発明に係る位置検出方法は、上記の課題を解決するために、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像面に接触した撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含むことを特徴としている。
上記の構成によれば、撮像部は、撮像面に接触または近接した撮像対象を撮像した撮像画像を生成する。この撮像部は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる撮像対象の影の像を含む影画像とを撮像する。
内部照明部は、撮像面の内側から撮像対象に照明光を照射するため、反射光画像に含まれる反射像の位置は、撮像対象から撮像面に下ろした垂線の足の位置(反射像位置)と一致する。
外部照明部は、撮像面に照明光を照射する照明装置であり、撮像面に対する相対位置が固定されている。それゆえ、撮像面を含む平面を基準平面とする3次元空間において外部照明部の3次元座標は固定されている。
撮像対象が撮像面に接触していれば、反射像位置と影の位置とは一致し、撮像対象が撮像面から離れるに従って、両者のずれは大きくなる。この原理を利用して、位置検出部は、撮像対象が撮像面に接触しているかどうかを判定する。
具体的には、位置検出部は、撮像面に接触した撮像対象の位置を検出するものであり、反射像位置算出部、影位置算出部および判定部を備えている。判定部は、反射像位置算出部が算出した反射像位置と、影位置算出部が算出した影の位置とのずれに基づいて撮像対象が撮像面に接触しているかどうかを判定する。
それゆえ、上記の構成により、撮像対象が撮像面に接触しているかどうかを判定できる。
また、上記外部照明部から出射される照明光の波長領域と、上記内部照明部から出射される照明光の波長領域とは異なっており、上記撮像部は、上記外部照明部の照明光を受光する第1受光素子および上記内部照明部の照明光を受光する第2受光素子を備えており、上記第1受光素子により上記影画像を生成し、上記第2受光素子により上記反射光画像を生成することが好ましい。
影画像と反射光画像とを時間差を設けて順次撮像した場合には、その時間差の間に撮像対象が移動した場合には、撮像対象の位置が正確に検出することが困難になるという問題が生じる。
上記の構成によれば、外部照明部から出射される照明光の波長領域と、内部照明部から出射される照明光の波長領域とは異なっている。例えば、外部照明部から出射される照明光は可視光であり、内部照明部から出射される照明光は赤外光である。
そして、撮像部は、外部照明部の照明光を受光する第1受光素子により影画像を生成し、内部照明部の照明光を受光する第2受光素子により反射光画像を生成する。
それゆえ、影画像と反射光画像とを同時に撮像することが可能となり、撮像対象の位置を判定する精度を高めることができる。
以上のように、本発明に係る位置検出装置は、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備える構成である。
また、本発明に係る位置検出方法は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像部によって撮像する撮像工程と、上記撮像対象から撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含む構成である。
それゆえ、撮像対象の撮像面からの距離を算出できるという効果を奏する。
また、本発明に係る位置検出装置は、撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、上記位置検出部は、上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備える構成である。
また、本発明に係る位置検出方法は、内部照明部からの照明光が撮像対象に反射することによって生じる反射像を含む反射光画像と、外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像部によって撮像する撮像工程と、上記撮像対象から撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含む構成である。
それゆえ、撮像対象が撮像面に接触しているかどうかを判定できるという効果を奏する。
〔実施の形態1〕
本発明の実施の一形態について図1〜図17に基づいて説明すれば、以下のとおりである。
本発明の実施の一形態について図1〜図17に基づいて説明すれば、以下のとおりである。
(データ表示/センサ装置100の概略構成)
図2は、本実施形態のデータ表示/センサ装置(位置検出装置、入力装置)100の外観を示す概略図である。同図に示すように、データ表示/センサ装置100は、テーブル型パーソナルコンピュータであり、表示/光センサ部(撮像部)300と本体104とを有するテーブル103を備えている。表示/光センサ部300は、テーブル103の天板として機能する板状の部材であり、いわゆる光センサ内蔵液晶表示装置である。
図2は、本実施形態のデータ表示/センサ装置(位置検出装置、入力装置)100の外観を示す概略図である。同図に示すように、データ表示/センサ装置100は、テーブル型パーソナルコンピュータであり、表示/光センサ部(撮像部)300と本体104とを有するテーブル103を備えている。表示/光センサ部300は、テーブル103の天板として機能する板状の部材であり、いわゆる光センサ内蔵液晶表示装置である。
表示/光センサ部300は、複数の光センサ(撮像センサ)を内蔵したセンサ内蔵液晶パネル301を備えており、このセンサ内蔵液晶パネル301によって、入力表示画面(撮像面)302に対して入力操作するユーザの指先、またはタッチペンなどの指示部材の先端(以下、指先等と称することがある)を撮像する。入力表示画面302に対する入力操作には、入力表示画面302をタッチすることによる入力操作に加えて、入力表示画面302から離れた位置で3次元的に指先等を動かすことによる入力操作が含まれる。すなわち、撮像面である入力表示画面302に対して撮像対象は接触または近接する。
データ表示/センサ装置100は、撮像した画像を解析することにより、指先等の位置を算出する。この位置には、撮像画像における2次元的な位置(換言すれば、入力表示画面302上に指先等を投影した場合の投影像の、入力表示画面302における2次元座標(X座標およびY座標))と、入力表示画面302から指先等までの距離(Z座標)との両方の情報が含まれる。
テーブル103の天板としての表示/光センサ部300の四隅の一箇所に、支柱102が立てられており、この支柱102の先端に外部照明(外部照明部)101が設けられている。この外部照明101は、入力表示画面302に対して相対的に固定された位置から入力表示画面302に照明光である可視光(波長:約380nm〜750nm)を照射する照明装置である。この外部照明101は、例えば、白色LEDを備える照明装置である。外部照明101は、入力表示画面302に対して所定の角度で設置されており、外部照明101から出射される照明光が入力表示画面302の全面に照射されるように設定されている。
外部照明101の照明光の光軸は、入力表示画面302に対して垂直よりも傾いている。上記光軸が入力表示画面302に対して垂直であれば、後述する反射像と撮像対象の影とが、撮像対象の入力表示画面302からの距離に関わらず重なってしまうからである。
データ表示/センサ装置100のユーザは、外部照明101が設置されている側とは反対側に位置して入力操作を行う。換言すれは、外部照明101は、ユーザと対向する側に設置されていることが好ましい。
なお、入力操作を検出する領域が入力表示画面302の一部である場合には、当該領域およびその周囲に外部照明101からの照明光が照射されればよい。
外部照明101から照明光が照射されている状態で、ユーザが指先等により入力操作を行うと、指先等の影が入力表示画面302上に形成される。センサ内蔵液晶パネル301は、この外部照明101からの照明光によって生じる指先等の影の像を含む影画像を撮像する。
また、詳細については後述するが、センサ内蔵液晶パネル301は、バックライト(内部照明部)307(図3参照)からの照明光である赤外光が指先等に反射することによって生じる反射像を含む反射光画像も撮像する。
そして、データ表示/センサ装置100は、反射光画像における反射像の位置と、影画像における影の位置と、予め定められた外部照明部の入力表示画面302に対する相対位置とから指先等の入力表示画面302からの距離を算出する。この距離の算出方法については後述する。
次に、データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301の概要について説明する。なお、以下では、指先および指示部材を総称して対象物または撮像対象と称することがある。
(センサ内蔵液晶パネルの概要)
データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指先等でポインティング(タッチ)または非接触的な入力操作した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
データ表示/センサ装置100が備えるセンサ内蔵液晶パネル301は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指先等でポインティング(タッチ)または非接触的な入力操作した位置の検出や、印刷物等の画像の読み取り(スキャン)である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機EL(Electro Luminescence)パネルなどであってもよい。
図3を参照しながら、センサ内蔵液晶パネル301の構造について説明する。図3は、センサ内蔵液晶パネル301の断面を模式的に示す図である。
同図に示すように、センサ内蔵液晶パネル301は、背面側に配置されるアクティブマトリクス基板51Aと、表面側に配置される対向基板51Bとを備え、これら基板の間に液晶層52を挟持した構造を有している。アクティブマトリクス基板51Aには、画素電極56、データ信号線57、光センサ回路32a・32b(図示せず)、配向膜58、偏光板59などが設けられる。対向基板51Bには、カラーフィルタ53r(赤)、53g(緑)、53b(青)、遮光膜54、対向電極55、配向膜58、偏光板59などが設けられる。
(バックライト307の構成)
センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。図4は、バックライト307の構成を示す図である。同図に示すように、バックライト307は、表示用バックライト光源としての複数の白色LED(Light Emitting Diode)310および認識用バックライト光源(内部照明部)としての赤外光LED311を備えている。白色LED310は、センサ内蔵液晶パネル301で表示を行うための可視光を出射する。赤外光LED311は、主に赤外光を含む光を出射するLEDであり、指先等を認識するために当該指先等に対して光照射する。指先等に反射した赤外光は、後述する赤外光センサ61によって受光される。
センサ内蔵液晶パネル301の背面には、バックライト307が設けられている。図4は、バックライト307の構成を示す図である。同図に示すように、バックライト307は、表示用バックライト光源としての複数の白色LED(Light Emitting Diode)310および認識用バックライト光源(内部照明部)としての赤外光LED311を備えている。白色LED310は、センサ内蔵液晶パネル301で表示を行うための可視光を出射する。赤外光LED311は、主に赤外光を含む光を出射するLEDであり、指先等を認識するために当該指先等に対して光照射する。指先等に反射した赤外光は、後述する赤外光センサ61によって受光される。
白色LED310は、フレキシブルプリント基板326の上において導光板324の側面に沿って配列され、赤外光LED311は導光板324の背面側に配置された回路基板327の上において2次元的に配置されている。
なお、バックライト307には、2枚のレンズシート321・322、拡散シート323および反射シート325が設けられている。
バックライト307の構成、特に、白色LED310および赤外光LED311の配置は、上述のものに限定されない。例えば、白色LED310および赤外光LED311を導光板324の側面に配置してもよい。また、表示用バックライトおよび認識用バックライトを別々に形成し、これらのバックライトを、バックライト光の出射方向において重ねてもよい。
また、表示用バックライト光源および認識用バックライト光源として冷陰極管(CCFL:Cold Cathode Fluorescent Lamp)を含むものを用いてもよい。
(赤外光センサ61および可視光センサ62の構成)
センサ内蔵液晶パネル301は、赤外光センサ61および可視光センサ62を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、センサ内蔵液晶パネル301は、指先等の撮像対象を撮像する撮像面として機能する。
センサ内蔵液晶パネル301は、赤外光センサ61および可視光センサ62を内蔵しているため、表示だけではなく画像の撮像が可能である。それゆえ、センサ内蔵液晶パネル301は、指先等の撮像対象を撮像する撮像面として機能する。
図5(a)は赤外光センサ61の構成を示す概略図であり、図5(b)は可視光センサ62の構成を示す概略図である。赤外光センサ61および可視光センサ62は、フォトダイオードまたはフォトトランジスタで形成されており、受光した光の強度に応じた電流を流すことによって、受光量を検知する。これら赤外光センサ61および可視光センサ62は、アクティブマトリクス基板51A上に設けられており、可視光および赤外光を受光できる光センサ素子である。
赤外光センサ61の光入射側(対向基板51Bの側)には、主に可視光をカットして赤外光を透過する光学フィルタ63が設けられている。一方、可視光センサ62の光入射側には、主に赤外光をカットして可視光を透過する光学フィルタ64が設けられている。光学フィルタ63・64の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。赤外光センサ61と可視光センサ62とは光センサそのものは同じであるが、光入射側に設けられた光学フィルタの種類が異なるため、赤外光センサ61は主に赤外光を受光し、可視光センサ62は、主に可視光を受光する。
具体的には、赤外光センサ61は、赤外光LED311から出射され、指先等に反射した赤外光を主に受光する。また、可視光センサ62は、外部照明101から出射された照明光を主に受光する。そのため、赤外光センサ61からの出力値によって形成された画像(反射光画像)には、指先等に赤外光が反射することによって形成される指先等の像(反射像)が含まれる。また、可視光センサ62からの出力値によって形成された画像(影画像)には、外部照明101から出射された照明光が指先等によって遮られることで形成される指先等の影の像が含まれる。
すなわち、外部照明101から出射される照明光の波長領域と、赤外光LED311から出射される照明光の波長領域とは異なっている。そして、表示/光センサ部300は、外部照明101の照明光を受光する可視光センサ(第1受光素子)62および赤外光LED311の照明光を受光する赤外光センサ(第2受光素子)61を備えており、可視光センサ62により影画像を生成し、赤外光センサ61により反射光画像を生成する。
なお、データ表示/センサ装置100が載置された場所が明るい場合には、可視光センサ62は、外部照明101の照明光以外の可視光を受光する可能性がある。この場合、外部照明101の照明光以外の可視光によって生じる指先等の影を検出する可能性がある。それゆえ、データ表示/センサ装置100を載置する場所は比較的暗い場所が好ましい。
または、外部照明101から出射される可視光の強さを、データ表示/センサ装置100が設置されている環境における環境光(例えば、室内における照明光)よりも強くし、最も濃い影の像(例えば、当該影の像を構成する画素の画素値の平均値が最も小さい影の像)を指先等の影の像であると認識してもよい。
また、データ表示/センサ装置100を暗い場所に設置する場合には、外部照明101から赤外光を出射することにより指先等の影を形成し、その影の像を撮像するとともに、白色LED310から可視光を出射することにより反射像を形成し、その反射像を撮像してもよい。この場合、影画像は赤外光センサ61からの出力値によって形成され、反射光画像は可視光センサ62からの出力値によって形成される。
光学フィルタ63・64の組成は、特に限定されないが、例えば、カラーフィルタの積層構造として実現することができる。
なお、光学フィルタ63・64を設けずに、赤外光センサ61を、赤外光を主に受光する光センサ素子で形成し、可視光センサ62を、可視光を主に受光する光センサ素子で形成してもよい。
赤外光センサ61または可視光センサ62は、センサ内蔵液晶パネル301の各画素に対して1つずつ設けられている。図3では、赤外光センサ61は、青のカラーフィルタ53bを設けた画素電極56の近傍に設けられているが、この構成に限定されるものではない。赤外光センサ61(または可視光センサ62)を、赤のカラーフィルタ53rを設けた画素電極56の近傍に設けてもよいし、緑のカラーフィルタ53gを設けた画素電極56の近傍に設けてもよい。
図6は、赤外光センサ61および可視光センサ62の配置様式を示す図である。同図では、赤外光センサ61を「A」で、可視光センサ62を「B」で表している。同図に示すように、マトリクス状に配置されたセンサ内蔵液晶パネル301の画素に対して、赤外光センサ61および可視光センサ62を互い違いに(千鳥格子状に)配置してもよい。この場合、赤外光センサ61および可視光センサ62によって市松模様が形成される。
なお、赤外光センサ61の列と可視光センサ62の列とを交互に配置するなど、上述以外の配置にしてもよい。
赤外光センサ61から出力された反射光画像および可視光センサ62から出力された影画像は、センサ内蔵液晶パネル301の全画素に対して設けられた光センサから出力された画像と比較すると、その解像度は1/2になる。そのため、反射光画像および影画像において欠落している画素を補間してもよい。この補間は、線形補間など公知の技術によって行えばよい。
次に、図7(a)および図7(b)を参照しながら、センサ内蔵液晶パネル301に接触または近接した指先等の撮像対象を撮像する2種類の方法について説明する。
図7(a)は、撮像対象の反射像を撮像する様子を示す模式図である。バックライト307の赤外光LED311から赤外光71が出射されると、赤外光センサ61を含む光センサ回路32aは、指72などの撮像対象により反射された赤外光71を検出する。これにより、センサ内蔵液晶パネル301は、撮像対象の反射像(反射光画像)を生成することができる。
また、図7(b)は、撮像対象の影像を撮像する様子を示す模式図である。図7(b)に示すように、可視光センサ62を含む光センサ回路32bは、対向基板51Bなどを透過した外部照明101からの外光73を検出する。しかしながら、ペン74などの撮像対象がある場合は、外光73の入射が妨げられるので、光センサ回路32bが検出する光量が減る。これにより、センサ内蔵液晶パネル301は、撮像対象の影の像(影画像)を生成することができる。
後述するように撮像対象の撮像は、所定の時間間隔で行われるが、反射光画像と影画像とは同時に撮像される。
(データ表示/センサ装置の要部構成)
次に、図8を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図8は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。
次に、図8を参照しながら、上記データ表示/センサ装置100の要部構成について説明する。図8は、データ表示/センサ装置100の要部構成を示すブロック図である。図示のように、データ表示/センサ装置100は、1または複数の表示/光センサ部300、回路制御部600、データ処理部700、主制御部800、記憶部901、一次記憶部902、操作部903、外部通信部907、音声出力部908、および音声入力部909を備えている。
表示/光センサ部300は、いわゆる光センサ内蔵液晶表示装置である。表示/光センサ部300は、センサ内蔵液晶パネル301、バックライト307、それらを駆動するための周辺回路309を含んで構成される。
センサ内蔵液晶パネル301は、マトリクス状に配置された複数の画素回路31および光センサ回路32a・32bを含んで構成される。光センサ回路32aは、赤外光センサ61を含んでおり、光センサ回路32bは、可視光センサ62を含んでいる。
周辺回路309は、液晶パネル駆動回路304、光センサ駆動回路305、信号変換回路306、バックライト駆動回路308を含む。
液晶パネル駆動回路304は、回路制御部600の表示制御部(表示制御手段)601からのタイミング制御信号(TC1)およびデータ信号(D)に従って、制御信号(G)およびデータ信号(S)を出力し、画素回路31を駆動する回路である。画素回路31の駆動方法の詳細については後述する。
光センサ駆動回路305は、回路制御部600のセンサ制御部602からのタイミング制御信号(TC2)に従って、信号線(R)に電圧を印加し、光センサ回路32aおよび32bを駆動する回路である。光センサ回路32a・32bの駆動方法の詳細については後述する。
信号変換回路306は、光センサ回路32a・32bから出力されるセンサ出力信号(SS)をそれぞれデジタル信号(DS)に変換し、変換後の信号を、光センサ回路32aから出力された信号と光センサ回路32bから出力された信号とを区別してセンサ制御部602に送信する回路である。
センサ内蔵液晶パネル301の背面に配置されたバックライト307の白色LED310および赤外光LED311は、バックライト駆動回路308から電源電圧が印加されると点灯し、センサ内蔵液晶パネル301および撮像対象に光を照射する。
バックライト駆動回路308は、回路制御部600のバックライト制御部603から白色LED310を制御するための制御信号(BK)および赤外光LED311を制御するための制御信号(BK)を受信する。そして、制御信号(BK)がハイレベルであるときは、受信した制御信号に対応する白色LED310または赤外光LED311に電源電圧を印加し、逆に、バックライト制御部603からの制御信号がローレベルであるときは、バックライト307に電源電圧を印加しない。
次に、回路制御部600について説明する。回路制御部600は、表示/光センサ部300の周辺回路309を制御するデバイスドライバとしての機能を備えるものである。回路制御部600は、表示制御部601、センサ制御部602、バックライト制御部603、および表示データ記憶部604を備えている。
表示制御部601(表示制御手段)は、データ処理部700の表示データ処理部701から表示データを受信するとともに、表示データ処理部701からの指示に従って、表示/光センサ部300の液晶パネル駆動回路304に、タイミング制御信号(TC1)およびデータ信号(D)を送信し、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。
なお、表示制御部601は、表示データ処理部701から受信した表示データを、表示データ記憶部604に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号(D)を生成する。表示データ記憶部604は、例えば、VRAM(video random access memory)などである。
センサ制御部602は、データ処理部700のセンサデータ処理部703からの指示に従って、表示/光センサ部300の光センサ駆動回路305に、タイミング制御信号(TC2)を送信し、センサ内蔵液晶パネル301にてスキャンを実行させる。
また、センサ制御部602は、信号変換回路306からデジタル信号(DS)を受信する。そして、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32aから出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、反射光画像データを生成する。また、センサ制御部602は、センサ内蔵液晶パネル301に含まれる全ての光センサ回路32bから出力されたセンサ出力信号(SS)に対応するデジタル信号(DS)に基づいて、影画像データを生成する。そして、生成した反射光画像データおよび影画像データをセンサデータ処理部703に送信する。
バックライト制御部603は、表示データ処理部701およびセンサデータ処理部703からの指示に従って、表示/光センサ部300のバックライト駆動回路308に制御信号(BK)を送信し、バックライト307を駆動させる。このとき、バックライト制御部603は、白色LED310を制御するための制御信号および/または赤外光LED311を制御するための制御信号をバックライト駆動回路308に送信する。
なお、データ表示/センサ装置100が、複数の表示/光センサ部300を備える場合、表示制御部601は、データ処理部700から、どの表示/光センサ部300にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示/光センサ部300の液晶パネル駆動回路304を制御する。また、センサ制御部602は、データ処理部700から、どの表示/光センサ部300にて対象物のスキャンを行うかの指示を受けたとき、当該指示に応じた表示/光センサ部300の光センサ駆動回路305を制御するとともに、当該指示に応じた表示/光センサ部300の信号変換回路306からデジタル信号(DS)を受信する。
次に、データ処理部700について説明する。データ処理部700は、主制御部800から受信する「コマンド」に基づいて、回路制御部600に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
データ処理部700は、表示データ処理部701およびセンサデータ処理部703を備えている。そして、データ処理部700が、主制御部800からコマンドを受信すると、該受信したコマンドに含まれる各フィールド(後述する)の値に応じて、表示データ処理部701およびセンサデータ処理部703の少なくとも一方が動作する。
表示データ処理部701は、主制御部800から表示データを受信するとともに、データ処理部700が受信したコマンドに従って、表示制御部601およびバックライト制御部603に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル301に表示させる。なお、コマンドに応じた、表示データ処理部701の動作については、後述する。
センサデータ処理部(位置検出部)703は、データ処理部700が受信したコマンドに従って、センサ制御部602およびバックライト制御部603に指示を与える。
また、センサデータ処理部703は、センサ制御部602から画像データ(反射光画像データおよび影画像データ)を受信し、当該画像データをそのまま画像データバッファ704に格納する。より詳細には、センサデータ処理部703は、赤外光センサ61および可視光センサ62が同じ撮像タイミングでそれぞれ生成した画像データ(反射光画像データおよび影画像データ)を、互いに対応付けて格納する。そして、センサデータ処理部703は、データ処理部700が受信したコマンドに従って、画像データバッファ704に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ(部分画像の座標データを含む)」、および「座標データ」の少なくともいずれか1つを、主制御部800に送信する。このとき、センサデータ処理部703は、送信する画像データが反射光画像のデータであるか、影画像のデータであるかを特定できる情報を当該画像データに付加する。
なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部703の動作については、後述する。
次に、主制御部800は、アプリケーションプログラムを実行するものである。主制御部800は、記憶部901に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部902に読み出して実行する。
主制御部800で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル301に表示データを表示させたり、センサ内蔵液晶パネル301にて対象物のスキャンを行わせるために、データ処理部700に対して、コマンドおよび表示データを送信する。また、上記アプリケーションプログラムは、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか1つを、データ処理部700から受信する。なお、「データ種別」のコマンドには、要求する画像(または代表座標)が反射光画像(またはその代表座標)なのか影画像(またはその代表座標)なのかを特定する情報が含まれている。
なお、回路制御部600、データ処理部700、および主制御部800は、それぞれ、CPU(Central Processing Unit)およびメモリ等で構成することができる。また、データ処理部700は、ASIC(application specific integrate circuit)などの回路で構成されていてもよい。
次に、記憶部901は、図8に示すように、主制御部800が実行するプログラムおよびデータを格納するものである。なお、主制御部800が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
次に、操作部903は、データ表示/センサ装置100のユーザの入力操作を受けつけるものである。操作部903は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部903は、データ表示/センサ装置100のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部800へ送信する。
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ905、予め所定の機能が割り当てられているユーザスイッチ906などのハードウェアスイッチを想定している。
その他、データ表示/センサ装置100は、無線/有線通信によって外部装置と通信を行うための外部通信部907、音声を出力するためのスピーカ等の音声出力部908、音声信号を入力するためのマイク等の音声入力部909などを適宜備えていてもよい。
(コマンドの詳細)
次に、図9および図10を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図9は、コマンドのフレーム構造の一例を模式的に示す図である。また、図10は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
次に、図9および図10を参照しながら、主制御部800からデータ処理部700に送信されるコマンドの詳細について説明する。図9は、コマンドのフレーム構造の一例を模式的に示す図である。また、図10は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
図9に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図10に示す値が指定可能である。
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
次に、「データ取得タイミング」フィールドは、データ(反射光画像および影画像、またはそれらの代表座標)を主制御部800へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”(センス)、“01”(イベント)、および“10”(オール)という値が指定可能である。
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部800に送信する。
また、“イベント”は、センサ制御部602から受信する画像データ(反射光画像データまたは影画像データ)に変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部602から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部800に送信する。
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部703は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部800に送信する。なお、上記所定周期は、光センサ回路32a・32bにてスキャンを行う周期と一致する。
次に、「データ種別」フィールドは、センサデータ処理部703から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”(座標)、“010”(部分画像)、および“100”(全体画像)という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”/“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。この「データ種別」フィールドには、要求する画像(または代表座標)が反射光画像(またはその代表座標)なのか影画像(またはその代表座標)なのかを特定する情報が含まれている。
センサデータ処理部703は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ704に記憶している画像データそのもの(反射光画像データまたは影画像データ)を主制御部800に送信する。画像データバッファ704に記憶している画像データそのものを、「全体画像データ」と称する。
また、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部602から受信する画像データ(反射光画像データまたは影画像データ)から、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部800に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出されたそれぞれの部分画像データを主制御部800に送信する。このとき、センサデータ処理部703は、送信する部分画像データが反射光画像なのか影画像なのかを特定する情報を当該部分画像データに付加する。
さらに、センサデータ処理部703は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部800に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
次に、センサデータ処理部703は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部800に送信する。このとき、センサデータ処理部703は、送信する座標データが示す座標が反射光画像についてのものなのか影画像についてのものなのかを特定する情報を当該座標データに付加する。
なお、上記部分画像データが複数抽出された場合、センサデータ処理部703は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部800に送信する(多点検出)。
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト307を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”(反射)、“01”(透過)、および“10”(反射/透過)という値が指定可能である。この「スキャン方式」フィールドは、白色LED310および赤外光LED311のそれぞれを点灯するか否かを指定することができるものである。
“反射”は、バックライト307を点灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路305とバックライト駆動回路308とが同期して動作するように、センサ制御部602とバックライト制御部603とに指示を与える。
また、“透過”は、バックライト307を消灯した状態でスキャンを行うことを指定するものである。よって、センサデータ処理部703は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路305を動作させ、バックライト駆動回路308を動作させないようにセンサ制御部602とバックライト制御部603とに指示を与える。なお、“反射/透過”は、“反射”と“透過”とを併用してスキャンを行うことを指定するものである。
反射光画像を撮像するときには、赤外光LED311は点灯され、影画像を撮像するときには、白色LED310は消灯される。撮像対象の高さを検出するときには、反射光画像と影画像とは同時に撮像されるため、赤外光LED311に対しては“反射”のコマンドが送信され、白色LED310に対しては“透過”のコマンドが送信される。
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”(2値)、および“01”(多値)という値が指定可能である。この「スキャン画像階調」フィールドは、反射光画像と影画像とに共通のものであってもよいし、個別に指定できるものであってもよい。
ここで、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“2値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部800に送信する。
また、センサデータ処理部703は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部800に送信する。
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”(高)および“1”(低)という値が指定可能である。この「スキャン解像度」フィールドは、反射光画像と影画像とに共通のものであってもよいし、個別に指定できるものであってもよい。
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部800に送信する。例えば、画像認識などの画像処理を行う対象の画像データ(指紋などの画像データ)には、“高”を指定することが望ましい。
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部703は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部800に送信する。例えば、タッチした位置等が分かる程度でよい画像データ(タッチした指や手の画像データなど)には、“低”を指定することが望ましい。
次に、「スキャンパネル」フィールドは、データ表示/センサ装置100が、複数の表示/光センサ部300を備えているときに、どの表示/光センサ部300にて対象物のスキャンを行うかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、センサデータ処理部703は、「スキャンパネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aの光センサ駆動回路305およびバックライト駆動回路308を制御するように、センサ制御部602およびバックライト制御部603に指示を与える。
次に、「表示パネル」フィールドは、どの表示/光センサ部300にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”(第1表示/光センサ部300A)、“010”(第2表示/光センサ部300B)という値が指定可能である。なお、これらの値を加算することによって、複数の表示/光センサ部300を同時に指定可能である。例えば、“第1表示/光センサ部300A”と“第2表示/光センサ部300B”とを同時に指定する場合、“011”と指定することができる。
ここで、表示データ処理部701は、例えば、「表示パネル」フィールドの値が“第1表示/光センサ部300A”であるコマンドを受信すると、第1表示/光センサ部300Aに表示データを表示させるために、第1表示/光センサ部300Aの液晶パネル駆動回路304およびバックライト駆動回路308を制御するように、表示制御部601およびバックライト制御部603に指示を与える。
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
なお、主制御部800にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値(NULL値など)を設定しておけばよい。
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部700に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル301を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる(多点検出)。
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部700に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
(全体画像データ/部分画像データ/座標データ)
次に、図11を参照しながら、反射光画像に関する全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図11(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図11(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データ(反射光画像データ)である。
次に、図11を参照しながら、反射光画像に関する全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図11(a)に示す画像データは、対象物がセンサ内蔵液晶パネル301上に置かれていないときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データである。また、図11(b)に示す画像データは、ユーザが指でセンサ内蔵液晶パネル301をタッチしているときに、センサ内蔵液晶パネル301全体をスキャンした結果として得られる画像データ(反射光画像データ)である。
赤外光LED311が点灯している状態でユーザが指でセンサ内蔵液晶パネル301をタッチしたとき、または、ユーザがセンサ内蔵液晶パネル301に指をかざしたとき、当該指先の近傍の光センサ回路32aが受光する光量が変化するため、当該光センサ回路32aが出力する電圧に変化が生じ、その結果として、センサ制御部602が生成する画像データのうち、ユーザの指先の像の画素値の明度に変化が生じることとなる。
図11(b)に示す画像データでは、図11(a)に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図11(b)に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域(領域PP)が、“部分画像データ”である。
なお、領域APで示される画像データが、“全体画像データ”である。
また、部分画像データ(領域PP)の代表座標Zの、全体画像データ(領域AP)における座標データは(Xa,Ya)であり、部分画像データ(領域PP)における座標データは(Xp,Yp)である。
図12は、部分画像データ(領域PP)の代表座標Zの別の算出方法を示す図である。同図に示すように、入力表示画面302を指示する指または指示部材の先端が最も入力表示画面302に近いため、当該先端が赤外光LED311からの照明光を受けて最も明るくなる。それゆえ、部分画像データにおける最も大きいレベルの画素値を有する領域の中心(または重心)の座標を代表座標Zとしてもよい。最も大きいレベルの画素値を有する領域とは、例えば、画素値の大きい順に画素を並べた場合の最上位から所定の順位まで(例えば、上位20%)の画素によって形成される領域である。
(センサ内蔵液晶パネルの構成)
次に、図13を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図13は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
次に、図13を参照しながら、センサ内蔵液晶パネル301の構成、および、センサ内蔵液晶パネル301の周辺回路309の構成について説明する。図13は、表示/光センサ部300の要部、特に、センサ内蔵液晶パネル301の構成および周辺回路309の構成を示すブロック図である。
センサ内蔵液晶パネル301は、光透過率(輝度)を設定するための画素回路31、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路32a・32bを備えている。なお、画素回路31は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するR画素回路31r、G画素回路31g、B画素回路31bの総称として用いる。
画素回路31は、センサ内蔵液晶パネル301上の列方向(縦方向)にm個、行方向(横方向)に3n個配置される。そして、R画素回路31r、G画素回路31g、およびB画素回路31bの組が、行方向(横方向)に連続して配置される。この組が1つの画素を形成する。
画素回路31の光透過率を設定するには、まず、画素回路31に含まれるTFT(Thin Film Transistor)33のゲート端子に接続される走査信号線Giにハイレベル電圧(TFT33をオン状態にする電圧)を印加する。その後、R画素回路31rのTFT33のソース端子に接続されているデータ信号線SRjに、所定の電圧を印加する。同様に、G画素回路31gおよびB画素回路31bについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル301上に画像が表示される。
次に、光センサ回路32aおよび光センサ回路32bは、その一方が、一画素毎に配置される。なお、R画素回路31r、G画素回路31g、およびB画素回路31bのそれぞれの近傍に1つずつ配置されてもよい。
光センサ回路32a・32bにて光の強度に応じた電圧を出力させるためには、まず、コンデンサ35の一方の電極に接続されているセンサ読み出し線RWiと、フォトダイオード36のアノード端子に接続されているセンサリセット線RSiとに所定の電圧を印加する。この状態において、フォトダイオード36に光が入射されると、入射した光量に応じた電流がフォトダイオード36に流れる。そして、当該電流に応じて、コンデンサ35の他方の電極とフォトダイオード36のカソード端子との接続点(以下、接続ノードV)の電圧が低下する。そして、センサプリアンプ37のドレイン端子に接続される電圧印加線SDjに電源電圧VDDを印加すると、接続ノードVの電圧は増幅され、センサプリアンプ37のソース端子からセンシングデータ出力線SPjに出力される。そして、当該出力された電圧に基づいて、光センサ回路32a・32bがそれぞれ受光した光量を算出することができる。
次に、センサ内蔵液晶パネル301の周辺回路である、液晶パネル駆動回路304、光センサ駆動回路305、およびセンサ出力アンプ44について説明する。
液晶パネル駆動回路304は、画素回路31を駆動するための回路であり、走査信号線駆動回路3041およびデータ信号線駆動回路3042を含んでいる。
走査信号線駆動回路3041は、表示制御部601から受信したタイミング制御信号TC1に基づいて、1ライン時間毎に、走査信号線G1〜Gmの中から1本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
データ信号線駆動回路3042は、表示制御部601から受信した表示データD(DR、DG、およびDB)に基づいて、1ライン時間毎に、1行分の表示データに対応する所定の電圧を、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する(線順次方式)。なお、データ信号線駆動回路3042は、点順次方式で駆動するものであってもよい。
光センサ駆動回路305は、光センサ回路32aおよび光センサ回路32bを駆動するための回路である。光センサ駆動回路305は、センサ制御部602から受信したタイミング制御信号TC2に基づいて、センサ読み出し信号線RW1〜RWmの中から、1ライン時間毎に1本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号TC2に基づいて、センサリセット信号線RS1〜RSmの中から、1ライン時間毎に1本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
センシングデータ出力信号線SP1〜SPnはp個(pは1以上n以下の整数)のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ47を介して、センサ出力アンプ44に接続される。センサ出力アンプ44は、スイッチ47により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号SS(SS1〜SSp)として、信号変換回路306へ出力する。
(センサデータ処理部703および主制御部800の構成)
次に、図1を参照しつつ、センサデータ処理部703および主制御部800の構成について説明する。図1は、センサデータ処理部703および主制御部800の構成を示す機能ブロック図である。
次に、図1を参照しつつ、センサデータ処理部703および主制御部800の構成について説明する。図1は、センサデータ処理部703および主制御部800の構成を示す機能ブロック図である。
(センサデータ処理部703)
図1に示すように、センサデータ処理部703は、反射像位置算出部705および影位置算出部706を備えている。
図1に示すように、センサデータ処理部703は、反射像位置算出部705および影位置算出部706を備えている。
反射像位置算出部705は、入力表示画面302に近接または接触した指先等に対して赤外光LED311からの照明光が照射されることによって生じる反射像を入力表示画面302に投影したときの投影像(便宜上、これも反射像と称する)の位置を、センサ制御部602から出力される反射光画像から算出する。換言すれば、反射像位置算出部705は、撮像対象から入力表示画面302に下ろした垂線の足の位置である反射像位置を反射光画像から算出する。
影位置算出部706は、外部照明101からの照明光によって生じる指先等の影の、入力表示画面302における位置を、センサ制御部602から出力される影画像から算出する。
(主制御部800)
主制御部800は、位置補正部801、距離算出部802、動作判定部803および表示画像生成部804を備えている。
主制御部800は、位置補正部801、距離算出部802、動作判定部803および表示画像生成部804を備えている。
位置補正部801は、反射像位置算出部705が算出した反射像の先端部の位置(反射像位置)(xおよびy座標)と、影位置算出部706が算出した影の先端部の位置(xおよびy座標)と、外部照明101の位置(例えば、外部照明101が有する発光部の中心または重心)とを取得する。そして、外部照明101を入力表示画面302を含む平面上に投影したときの像を照明部投影像とすると、位置補正部801は、指先等の影の先端部、反射像の先端部および照明部投影像の中心の位置(外部照明位置)から推定される近似直線を算出し、算出した近似直線に影の先端部の位置および反射像の先端部の位置が重なるように影の先端部の位置または反射像の先端部の位置もしくはその両方を補正する。
照明部投影像の中心の位置は、外部照明101の中心から入力表示画面302を含む平面に下ろした垂線の足の位置である。
なお、以下では、反射像の先端部の位置を単に反射像の位置と称し、影の先端部の位置を単に影の位置と称することがある。
距離算出部802は、位置補正部801が補正した反射像の位置(xおよびy座標)および影の位置(xおよびy座標)と、外部照明101の位置(x、yおよびz座標)とに基づいて撮像対象である指先等の入力表示画面302からの距離(z座標)を算出する。換言すれば、距離算出部802は、反射像の位置と、影の位置と、外部照明101の位置との相対位置関係から撮像対象の3次元座標を算出する。
具体的には、距離算出部802は、入力表示画面302における指先等の影と外部照明101とを結ぶ線分と、入力表示画面302に投影した反射像の位置から入力表示画面302に対して垂直に延ばした線分との交点の座標を指先等の座標として算出する。換言すれば、距離算出部802は、入力表示画面302における撮像対象の影と外部照明部とを結ぶ線分と、反射像の位置から当該撮入力表示画面302に対して垂直に延ばした線分との交点の入力表示画面302からの距離を算出する。
なお、位置補正部801によって補正が行われなかった場合には、距離算出部802は、反射像位置算出部705が算出した反射像の位置と、影位置算出部706が算出した影の位置と、外部照明101の位置とに基づいて撮像対象である指先等の入力表示画面302からの距離を算出する。
また、位置補正部801と距離算出部802とを距離算出部として捉えることもできる。
動作判定部803は、反射像位置算出部705が算出した反射像の位置(すなわち、指先等のxおよびy座標)と距離算出部802が算出した、指先等の入力表示画面302からの距離(z座標)とを経時的に取得し、取得した指先等の軌跡と所定の動作パターンとを比較する。そして、動作判定部803は、指先等の軌跡が所定の動作パターンに一致した場合には、当該所定の動作パターンを特定する情報と、指先等の軌跡(移動方向および移動量)を示す情報とを表示画像生成部804へ出力する。
表示画像生成部804は、動作判定部803が判定した動作に対応する画像を生成し、表示データ処理部701へ出力する。
なお、主制御部800は、動作判定部803が判定した動作に応じた入力処理を行う入力処理部を備えていればよく、表示画像生成部804は、入力処理部の一例である。例えば、表示画像生成部804の代わりに、動作判定部803が判定した動作に応じた演算を行う演算部を設けてもよい。
(センサデータ処理部703における処理の詳細)
反射像位置算出部705は、図11および図12を用いて説明したように、反射光画像に含まれる指または指示部材の先端部のxおよびy座標を算出する。このとき反射像位置算出部705は、画素値が所定の閾値より大きい画素値によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよいし、部分画像に含まれる画素を、その画素値の大きい順に並べた場合の最上位から所定の順位までの画素(例えば、上位20%の画素)によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよい。
反射像位置算出部705は、図11および図12を用いて説明したように、反射光画像に含まれる指または指示部材の先端部のxおよびy座標を算出する。このとき反射像位置算出部705は、画素値が所定の閾値より大きい画素値によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよいし、部分画像に含まれる画素を、その画素値の大きい順に並べた場合の最上位から所定の順位までの画素(例えば、上位20%の画素)によって形成される領域の中心または重心の座標を上記先端部の座標として算出してもよい。
影位置算出部706は、影画像に含まれる影の像の先端部のxおよびy座標を算出する。このとき、影位置算出部706は、指先または指示部材の先端部の形状を示す所定のパターンとのパターンマッチングを行うことで影の像の先端部を検出する。
または、影位置算出部706は、図11(b)に示した反射光画像における代表座標Zと同様の座標を、影画像に含まれる影の像の輪郭から算出してもよい。すなわち、反射光画像における反射像の輪郭と代表座標Zとの位置関係と同様の位置関係を示す座標を影画像における影の像の輪郭から算出し、影の像の代表座標Zとしてもよい。反射像の代表座標Zと影の像の代表座標Zと照明部投影像の中心位置とが一直線上に載らない場合には、位置補正部801によって位置ズレが補正されるため、多少の位置ズレが生じても大きな問題にはならない。
また、影画像に複数の影の像が含まれている場合には、反射像位置算出部705は、複数の影の像のうち、最も濃い影の像(例えば、当該影の像を構成する画素の画素値の平均値が最も小さい影の像)を指先等の影の像であると認識すればよい。
(距離算出部802における処理の詳細)
次に、距離算出部802において指先等の位置を算出する処理の詳細について説明する。図14(a)〜(c)は、距離算出部802における位置算出処理を説明するための図である。同図では、x軸およびy軸によって規定される平面は、入力表示画面302を含む平面であり、z軸は入力表示画面302からの距離を表している。この3次元座標空間において、反射像の先端部の位置を点Aで示し、影の先端部の位置を点Bで、外部照明101の位置(照明光の発光部の中心または重心)を点Lで、指先等の位置を点Pで示している。点Aの座標を(x1,y1,0)とし、点Bの座標を(x2,y2,0)、点Lの座標を(xl,yl,zl)、点Pの座標を(xo,yo,zo)としている。また、照明部投影像の位置を点Dで示している。
次に、距離算出部802において指先等の位置を算出する処理の詳細について説明する。図14(a)〜(c)は、距離算出部802における位置算出処理を説明するための図である。同図では、x軸およびy軸によって規定される平面は、入力表示画面302を含む平面であり、z軸は入力表示画面302からの距離を表している。この3次元座標空間において、反射像の先端部の位置を点Aで示し、影の先端部の位置を点Bで、外部照明101の位置(照明光の発光部の中心または重心)を点Lで、指先等の位置を点Pで示している。点Aの座標を(x1,y1,0)とし、点Bの座標を(x2,y2,0)、点Lの座標を(xl,yl,zl)、点Pの座標を(xo,yo,zo)としている。また、照明部投影像の位置を点Dで示している。
図14(a)は、点L、点Aおよび点Bを含む3次元座標空間を示す図である。図14(b)は、点L、点Aおよび点Bを含む平面を示す図である。図14(c)は、図14(a)をz軸方向から見た場合の点L(点D)、点Aおよび点Bの位置関係を示す図である。
理論的には、点L、点Pおよび点Bは一直線上に位置し、点Aのx座標およびy座標は、点Pのx座標およびy座標と一致する。
図14(b)に示すように、照明部投影像の位置を点Dで示すと、三角形ABPと、三角形DBLとは相似であるため、次の(1)式の関係が成り立つ。
AP:DL=BA:BD ・・・(1)
図14(c)に示すように、xy平面をZ軸方向から見ると、
BA:BD=(x2−x1):(x2−xl) ・・・(2)
という関係が成り立つのが分かる。
図14(c)に示すように、xy平面をZ軸方向から見ると、
BA:BD=(x2−x1):(x2−xl) ・・・(2)
という関係が成り立つのが分かる。
(2)式(1)に代入し、変形すると、次の(3)式が得られる。
AP=DL×(x2−x1)/(x2−xl) ・・・(3)
AP=zo、DL=zlであるため、次の(4)式が得られる。
AP=zo、DL=zlであるため、次の(4)式が得られる。
zo=zl×(x2−x1)/(x2−xl) ・・・(4)
(4)式から点Pのz座標であるzo(すなわち、指先等の入力表示画面302からの距離)を算出できる。
(4)式から点Pのz座標であるzo(すなわち、指先等の入力表示画面302からの距離)を算出できる。
(4)式において、zlおよびxlは所定の値であるため、点Pのz座標は、点Aおよび点Bのx座標によって変化することが分かる。特に、x2−x1は、点Aおよび点Bのx座標のずれを表しており、距離算出部802は、反射像の位置と影の位置とのずれに基づいて、指先等の入力表示画面302からの距離を算出していることが理解できるであろう。
なお、位置補正部801における、指先等の入力表示画面302からの距離を算出する方法は、上述のものに限定されず、幾何学的に可能な他の算出方法を用いてもよい。
(位置補正部801における処理の詳細)
次に、位置補正部801における座標補正処理の詳細について説明する。図15(a)および(b)は、位置補正部801における座標補正処理を説明するための図である。図15(a)は、点L、点Aおよび点Bを含む3次元座標空間を示す図である。図15(b)は、図15(a)をz軸方向から見た場合のxy座標平面を示す図である。理想的には、点Lのxy座標平面への投影点D、点Aおよび点Bは、一直線上に載る。しかし、なんらかの理由により、3点が一直線上に載らない場合がある。
次に、位置補正部801における座標補正処理の詳細について説明する。図15(a)および(b)は、位置補正部801における座標補正処理を説明するための図である。図15(a)は、点L、点Aおよび点Bを含む3次元座標空間を示す図である。図15(b)は、図15(a)をz軸方向から見た場合のxy座標平面を示す図である。理想的には、点Lのxy座標平面への投影点D、点Aおよび点Bは、一直線上に載る。しかし、なんらかの理由により、3点が一直線上に載らない場合がある。
位置補正部801は、点D、点Aおよび点Bからもっともらしい直線を算出し、算出した直線上に点D、点Aおよび点Bが載るように各点の座標を補正する。上記直線は、最小自乗法によって算出すればよい。
この場合、点Dの座標を固定して点Aおよび点Bの座標を補正してもよいし、点Dの座標を固定して点Aまたは点Bのいずれか一方の座標を補正してもよい。また、座標を補正する場合、点Aまたは点Bの一方のy座標のみを補正すればよく、x座標を補正する必要は必ずしもない。
この構成により、上記3点が一直線上に載らない場合でも、点Pのz座標の算出精度を高めることができる。
(データ表示/センサ装置100における処理の流れ)
次に、データ表示/センサ装置100において、指先等の入力表示画面302からの距離(点Pのz座標)を算出する処理(位置検出方法)の流れの一例について説明する。図16は、データ表示/センサ装置100における処理の流れの一例を示すフローチャートである。
次に、データ表示/センサ装置100において、指先等の入力表示画面302からの距離(点Pのz座標)を算出する処理(位置検出方法)の流れの一例について説明する。図16は、データ表示/センサ装置100における処理の流れの一例を示すフローチャートである。
まず、主制御部800は、「データ取得タイミング」フィールドに、“イベント”または“オール”を指定し、「データ種別」フィールドに、“座標”を指定したコマンドを、データ処理部700に送信する。
データ処理部700のセンサデータ処理部703は、受信したコマンドに従って、センサ制御部602およびバックライト制御部603を介して、表示/光センサ部300に、反射光画像および影画像を撮像する指示を与える。
この指示に従って、表示/光センサ部300は、赤外光LED311を点等させた状態での光センサ回路32aによる反射光画像の撮像と、白色LED310を消灯させた状態での光センサ回路32bによる影画像の撮像とを同時に、所定の時間間隔で行う(撮像工程)(S1)。そして、表示/光センサ部300は、撮像した反射光画像および影画像をセンサデータ処理部703へ順次、所定の時間間隔で出力する。
反射光画像に変化が生じた場合(すなわち、反射光画像に指先の像が含まれた場合)、反射像位置算出部705は、反射光画像に含まれる反射像の先端部のxy座標を算出し(反射像位置算出工程)、算出したxy座標を示す座標データを位置補正部801へ出力する(S2)。
また、影画像に変化が生じた場合(すなわち、影画像に指先の像が含まれた場合)、影位置算出部706は、影画像に含まれる影の像の先端部のxy座標を算出し(影位置算出工程)、算出したxy座標を示す座標データを位置補正部801へ出力する(S3)。
このとき、反射像位置算出部705から出力される反射像のxy座標と、影位置算出部706から出力される影の像のxy座標とは、同時に撮像された反射光画像および影画像からそれぞれ算出された座標どうしで互いに対応付けられて出力される。例えば、同時に撮像された反射光画像および影画像のそれぞれから算出された反射像のxy座標と影の像のxy座標とに同じ撮像タイミングを示す番号が付与されればよい。
位置補正部801は、反射像のxy座標と影の像のxy座標と外部照明101のxy座標とから、これらの座標が示す3点またはその近傍を通る直線を最小自乗法により算出し、算出した直線に反射像のxy座標および影の像のxy座標が載るように、当該xy座標を補正する(S4)。
位置補正部801は、補正した座標を示す座標データを距離算出部802へ算出する。なお、外部照明101の座標は、記憶部901に格納されており、位置補正部801は、記憶部901から外部照明101のxy座標を取得すればよい。
距離算出部802は、上述のように、位置補正部801が補正した反射像のx座標および影のx座標と、外部照明101のx座標およびz座標とを(3)式に代入することにより、指先等の入力表示画面302からの距離(指先等のz座標)を算出する(距離算出工程)(S5)。
距離算出部802は、算出した指先等のz座標を、当該指先等のx座標およびy座標(反射像のx座標およびy座標に相当)とともに動作判定部803へ出力する。
動作判定部803は、距離算出部802から順次出力される指先等のz座標を3次元空間座標系にプロットし、指先等の軌跡をトレースする(S6)。
そして、動作判定部803は、所定の時間間隔で指先等の軌跡が所定の動作パターンと一致するかどうかを判定する(S7)。
所定の動作パターンと一致した場合(S7にてYES)、動作判定部803は、当該所定の動作パターンを特定する情報と、指先等の軌跡を示す情報とを表示画像生成部804へ出力する。
表示画像生成部804は、動作判定部803が判定した動作パターンに対応する処理を行う(S8)。例えば、図17に示すように、表示画像生成部804は、センサ内蔵液晶パネル301に3次元的に表示されている立体図形をz軸方向に、指先等が移動した距離に対応する距離だけ移動させる。図17は、入力表示画面302に対する入力操作の一例を示す図である。
一方、所定の動作パターンと一致しない場合(S7にてNO)、動作判定部803は、指先等の軌跡のトレースを続行する。
(データ表示/センサ装置100の効果)
以上のように、データ表示/センサ装置100では、指先等の入力表示画面302からの距離を算出できる。それゆえ、入力表示画面302の上方で3次元的に指先等を所定のパターンで移動させることにより、当該パターンに対応した情報の入力を行うことができる。従って、指先等の移動に対応した直感的な入力操作を行うことができる。
以上のように、データ表示/センサ装置100では、指先等の入力表示画面302からの距離を算出できる。それゆえ、入力表示画面302の上方で3次元的に指先等を所定のパターンで移動させることにより、当該パターンに対応した情報の入力を行うことができる。従って、指先等の移動に対応した直感的な入力操作を行うことができる。
〔実施の形態2〕
本発明の他の実施形態について図18〜図22に基づいて説明すれば、以下のとおりである。なお、実施の形態1と同様の部材に関しては、同じ符号を付し、その説明を省略する。
本発明の他の実施形態について図18〜図22に基づいて説明すれば、以下のとおりである。なお、実施の形態1と同様の部材に関しては、同じ符号を付し、その説明を省略する。
(データ表示/センサ装置200の構成)
本実施形態のデータ表示/センサ装置200は、入力表示画面302に接触した指先等の位置を検出し、その位置に対応する入力処理を行うものである。データ表示/センサ装置100では、指先等の入力表示画面302からの距離を算出したが、データ表示/センサ装置200では、指先等が入力表示画面302に接触しているかどうかの判定を行い、接触していない指先等は入力操作の位置検出対象から除外される。
本実施形態のデータ表示/センサ装置200は、入力表示画面302に接触した指先等の位置を検出し、その位置に対応する入力処理を行うものである。データ表示/センサ装置100では、指先等の入力表示画面302からの距離を算出したが、データ表示/センサ装置200では、指先等が入力表示画面302に接触しているかどうかの判定を行い、接触していない指先等は入力操作の位置検出対象から除外される。
図18は、データ表示/センサ装置200が備える主制御部810の構成を示す機能ブロック図である。データ表示/センサ装置200は、主制御部800の代わりに主制御部810を備えている点を除けば、その構成はデータ表示/センサ装置100と同じである。それゆえ、図18には、主制御部810とその周辺の機能ブロックのみを示している。
同図に示すように、主制御部810は、接触判定部(判定部)811、入力操作判定部812および表示画像生成部804を備えている。
接触判定部811は、反射像位置算出部705が算出した反射像の位置と、影像位置算出部706が算出した影の位置とのずれに基づいて撮像対象が入力表示画面302に接触しているかどうかを判定する。換言すれば、接触判定部811は、反射光画像と影画像とを重ねたときの反射像と影の像との位置のずれに基づいて、指先等が入力表示画面302に接触しているかどうかを判定する。
なお、反射光画像と影画像とを重ねることができるように、反射光画像の座標系と影画像の座標系とは同じものが用いられている。
入力操作判定部812は、入力表示画面302に接触していると接触判定部811が判定した指先等の入力表示画面302における位置に対応する入力操作を判定する。例えば、入力操作判定部812は、その時点でセンサ内蔵液晶パネル301に表示されている操作ボタンの位置と、指先等の位置とを比較し、ユーザがどの操作ボタンを押したのかを判定する。その時点でセンサ内蔵液晶パネル301に表示されている操作ボタンの位置の情報は、一次記憶部902に格納されており、入力操作判定部812は、一次記憶部902に格納されている情報を利用して入力操作を判定すればよい。
表示画像生成部804は、入力操作判定部812が判定した入力操作に対応する画像を生成し、表示データ処理部701へ出力する。
(接触判定処理の詳細)
次に入力操作判定部812における接触判定処理の詳細について説明する。図19(a)および(b)は、接触判定処理の原理について説明するための図である。図19(a)は、指先75が入力表示画面302から離れている状態を示しており、図19(b)は、指先75が入力表示画面302に近接している状態を示している。
次に入力操作判定部812における接触判定処理の詳細について説明する。図19(a)および(b)は、接触判定処理の原理について説明するための図である。図19(a)は、指先75が入力表示画面302から離れている状態を示しており、図19(b)は、指先75が入力表示画面302に近接している状態を示している。
図19(b)に示すように指先75が入力表示画面302に近接していれば、反射像の位置(A)と指先75の影の位置(B)とはほぼ一致し、指先75が入力表示画面302に接触していれば、反射像の位置(A)と指先75の影の位置(B)とは一致する。図19(a)に示すように、指先75が入力表示画面302から離れるに従って、反射像と影との位置のずれは大きくなる。
この現象を利用して、入力操作判定部812は、例えば、反射像と影との位置のずれが所定値以内(例えば、2mm以内)であれば、指先75が入力表示画面302に接触していると判定する。この所定値は、指先75が入力表示画面302に接触していると見なすことができる上記位置のずれの最大値であり、測定誤差を考慮して当業者が適宜設定すればよい。
(データ表示/センサ装置200における処理の流れ)
次に、データ表示/センサ装置200において、入力表示画面302に接触した指先等の位置を検出する処理の流れの一例について説明する。図20は、データ表示/センサ装置200における処理の流れの一例を示すフローチャートである。
次に、データ表示/センサ装置200において、入力表示画面302に接触した指先等の位置を検出する処理の流れの一例について説明する。図20は、データ表示/センサ装置200における処理の流れの一例を示すフローチャートである。
図20に示すステップS21〜S23は、図16に示すステップS1〜S3と同じであるため、その説明を省略する。
接触判定部811は、反射光画像に含まれる反射像の先端部のxy座標を反射像位置算出部705から取得し、影画像に含まれる影の像の先端部のxy座標を影位置算出部706から取得する。そして、接触判定部811は、反射像の先端部と影の像の先端部との間の距離を算出する(S24)。
そして、上記距離が所定値以内である場合(S25にてYES)、接触判定部811は、撮像対象の指先は入力表示画面302に接触していると判定し、当該指先の反射像の先端部のxy座標を入力操作判定部812へ出力する(判定工程)。
入力操作判定部812は、反射像の先端部のxy座標と、その時点でセンサ内蔵液晶パネル301に表示されている操作ボタンの位置とを比較し、ユーザがどの操作ボタンを押したのかを判定する(S26)。入力操作判定部812は、判定した入力操作を特定する情報を表示画像生成部804へ出力する。
表示画像生成部804は、入力操作判定部812から出力された情報が示す入力操作に対応する表示用画像を生成し、表示データ処理部701に出力することで、当該表示用画像をセンサ内蔵液晶パネル301に表示する(S27)。
一方、上記距離が所定値よりも大きい場合(S25にてNO)、接触判定部811は、撮像対象の指先は入力表示画面302に接触していないと判定し、新たな指先の座標が送信されるのを待つ(S21に戻る)。
(データ表示/センサ装置200の効果)
図21(a)および(b)は、データ表示/センサ装置200における入力操作の一例を示す図である。図21(a)には、入力表示画面302の表面を指先で直線状になぞる動作が示されており、図21(b)には、指先を一定方向に移動させつつ、入力表示画面302の表面を間隔を空けてタッチする動作が示されている。
図21(a)および(b)は、データ表示/センサ装置200における入力操作の一例を示す図である。図21(a)には、入力表示画面302の表面を指先で直線状になぞる動作が示されており、図21(b)には、指先を一定方向に移動させつつ、入力表示画面302の表面を間隔を空けてタッチする動作が示されている。
従来のデータ表示/センサ装置では、入力表示画面に指先等が接触したかどうかの判定を正確に行うことは困難であった。そのため、図21(a)に示す動作と図21(b)に示す動作とを判別することは困難であった。
これに対して、データ表示/センサ装置200では、入力操作を行う指先等が入力表示画面302に接触しているかどうかを高い精度で判定できる。それゆえ、図21(a)に示す動作と図21(b)に示す動作とを判別することが可能になり、入力操作のバリエーションを増やすことができる。また、入力表示画面302に接触していない指先等を接触していると誤認識する可能性を低減できる。
(変更例)
図22は、データ表示/センサ装置100・200の変更例を示す図である。上述の説明では、データ表示/センサ装置100・200は、テーブル型パーソナルコンピュータであるとしたが、データ表示/センサ装置100・200は、その他の入力装置として実現されてもよい。
図22は、データ表示/センサ装置100・200の変更例を示す図である。上述の説明では、データ表示/センサ装置100・200は、テーブル型パーソナルコンピュータであるとしたが、データ表示/センサ装置100・200は、その他の入力装置として実現されてもよい。
例えば、図22(a)に示すように、データ表示/センサ装置100・200をタブレットスタイルの会議用端末装置として実現してもよい。この会議用端末装置は、ペン入力可能な入力表示面302を有する入力表示部106を備えている。この入力表示部106の四隅の1つに支柱102を立て、その先端に外部照明101を固定することにより、外部照明光を入力表示部106の入力表示画面302に対して所定の角度で照射することができる。
また、図22(b)に示すように、データ表示/センサ装置100・200を、メイン表示装置107とセンサ付きサブ表示装置(撮像部)108とを備えるノート型パーソナルコンピュータとして実現してもよい。センサ付きサブ表示装置108は、センサ内蔵液晶パネル301と同様に指先等による入力操作を受け付けることができる。
このようなノート型パーソナルコンピュータの場合には、メイン表示装置107の上方の隅の一方に外部照明101を固定し、サブ表示装置108の表示入力画面302に対して所定の角度で外部照明光を照射する。通常、メイン表示装置107とサブ表示装置108との角度は可変であるため、外部照明光の照射時には、上記角度を所定の角度に固定することで、外部照明101のサブ表示装置108に対する位置および角度を所定のものに固定する。
(その他の変更例)
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
例えば、外部照明101から赤外光を出射することにより指先等の影を形成し、その影の像を撮像するとともに、赤外光LED311から赤外光を出射することにより反射像を形成し、その反射像を撮像してもよい。この場合、同時に影画像と反射光画像とを撮像することはできないため、影画像を撮像するタイミングと反射光画像を撮像するタイミングとをずらす。すなわち、所定の時間間隔を空けて影画像と反射光画像とを撮像する。このとき影画像および反射光画像は赤外光センサ61からの出力値によって形成されるため、可視光センサ62は不要となる。
また、上述したデータ表示/センサ装置100・200の各ブロック、特に主制御部800・810は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、データ表示/センサ装置100・200は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示/センサ装置100・200の制御プログラム(制御プログラム)のプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示/センサ装置100・200に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、データ表示/センサ装置100・200を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、表示画面に接触または近接する指先等の物体の、表示画面からの高さを検出できるため、指先等によって3次元的な入力操作を行う入力装置に利用することができる。
62 可視光センサ(第1受光素子)
61 赤外光センサ(第2受光素子)
100 データ表示/センサ装置(位置検出装置)
101 外部照明(外部照明部)
108 センサ付きサブ表示装置(撮像面、撮像部)
200 データ表示/センサ装置(位置検出装置)
300 表示/光センサ部(撮像部)
301 センサ内蔵液晶パネル(撮像部)
302 入力表示画面(撮像面)
307 バックライト(内部照明部)
703 センサデータ処理部(位置検出部)
705 反射像位置算出部
706 影位置算出部
801 位置補正部(距離算出部)
802 距離算出部
811 接触判定部(判定部)
61 赤外光センサ(第2受光素子)
100 データ表示/センサ装置(位置検出装置)
101 外部照明(外部照明部)
108 センサ付きサブ表示装置(撮像面、撮像部)
200 データ表示/センサ装置(位置検出装置)
300 表示/光センサ部(撮像部)
301 センサ内蔵液晶パネル(撮像部)
302 入力表示画面(撮像面)
307 バックライト(内部照明部)
703 センサデータ処理部(位置検出部)
705 反射像位置算出部
706 影位置算出部
801 位置補正部(距離算出部)
802 距離算出部
811 接触判定部(判定部)
Claims (8)
- 撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、
上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、
上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、
上記撮像部が撮像した撮像画像を解析することにより上記撮像対象の位置を検出する位置検出部とを備え、
上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、
上記位置検出部は、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、
上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、
上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出部とを備えることを特徴とする位置検出装置。 - 上記距離算出部は、上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置と、上記外部照明部の位置との相対位置関係から上記撮像対象の3次元座標を算出することを特徴とする請求項1に記載の位置検出装置。
- 上記距離算出部は、上記撮像面における上記影と上記外部照明部とを結ぶ線分と、上記反射像位置から当該撮像面に対して垂直に延ばした線分との交点の上記撮像面からの距離を算出することを特徴とする請求項1または2に記載の位置検出装置。
- 上記外部照明部から上記撮像面を含む平面に下ろした垂線の足の位置を外部照明位置とすると、
上記距離算出部は、上記影の位置、上記反射像位置および上記外部照明位置から推定される近似直線を算出し、算出した近似直線に上記影の位置および上記反射像位置が重なるように上記影の位置または上記反射像位置もしくはその両方を補正し、補正した位置を用いて上記距離を算出することを特徴とする請求項1〜3のいずれか1項に記載の位置検出装置。 - 撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、
上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、
上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部と、
上記撮像部が撮像した撮像画像を解析することにより上記撮像面に接触した撮像対象の位置を検出する位置検出部とを備え、
上記撮像部は、上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを撮像し、
上記位置検出部は、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像部が撮像した反射光画像から算出する反射像位置算出部と、
上記撮像面における上記影の位置を、上記撮像部が撮像した影画像から算出する影位置算出部と、
上記反射像位置算出部が算出した反射像位置と、上記影位置算出部が算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定部とを備えることを特徴とする位置検出装置。 - 上記外部照明部から出射される照明光の波長領域と、上記内部照明部から出射される照明光の波長領域とは異なっており、
上記撮像部は、上記外部照明部の照明光を受光する第1受光素子および上記内部照明部の照明光を受光する第2受光素子を備えており、上記第1受光素子により上記影画像を生成し、上記第2受光素子により上記反射光画像を生成することを特徴とする請求項1〜5のいずれか1項に記載の位置検出装置。 - 撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、
上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、
上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、
上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象の上記撮像面からの距離を算出する距離算出工程とを含むことを特徴とする位置検出方法。 - 撮像対象が接触または近接する撮像面を有し、上記撮像対象を撮像する撮像部と、上記撮像面を通して上記撮像対象に照明光を照射する内部照明部と、上記撮像面に対して相対的に固定された位置から当該撮像面に照明光を照射する外部照明部とを備え、上記撮像面に接触した撮像対象の位置を検出する位置検出装置における上記撮像対象の位置検出方法であって、
上記内部照明部からの照明光が上記撮像対象に反射することによって生じる反射像を含む反射光画像と、上記外部照明部からの照明光によって生じる上記撮像対象の影の像を含む影画像とを上記撮像部によって撮像する撮像工程と、
上記撮像対象から上記撮像面に下ろした垂線の足の位置である反射像位置を、上記撮像工程において撮像した反射光画像から算出する反射像位置算出工程と、
上記撮像面における上記影の位置を、上記撮像工程において撮像した影画像から算出する影位置算出工程と、
上記反射像位置算出工程において算出した反射像位置と、上記影位置算出工程において算出した影の位置とのずれに基づいて上記撮像対象が上記撮像面に接触しているかどうかを判定する判定工程とを含むことを特徴とする位置検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010030570A JP2011164076A (ja) | 2010-02-15 | 2010-02-15 | 位置検出装置および位置検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010030570A JP2011164076A (ja) | 2010-02-15 | 2010-02-15 | 位置検出装置および位置検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011164076A true JP2011164076A (ja) | 2011-08-25 |
Family
ID=44594908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010030570A Pending JP2011164076A (ja) | 2010-02-15 | 2010-02-15 | 位置検出装置および位置検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011164076A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010503A (ja) * | 2012-06-27 | 2014-01-20 | Shunji Sugaya | 所作入力装置、所作入力方法及びプログラム |
JP2020181322A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および代表座標導出方法 |
-
2010
- 2010-02-15 JP JP2010030570A patent/JP2011164076A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014010503A (ja) * | 2012-06-27 | 2014-01-20 | Shunji Sugaya | 所作入力装置、所作入力方法及びプログラム |
JP2020181322A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および代表座標導出方法 |
JP7248490B2 (ja) | 2019-04-24 | 2023-03-29 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、デバイスの位置および姿勢の推定方法 |
US11663737B2 (en) | 2019-04-24 | 2023-05-30 | Sony Interactive Entertainment Inc. | Information processing apparatus and representative coordinate derivation method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5528739B2 (ja) | 検出装置、表示装置、および物体の近接距離測定方法 | |
WO2011052261A1 (ja) | ポインティング装置 | |
JP4270248B2 (ja) | 表示撮像装置、情報入力装置、物体検出プログラムおよび物体の検出方法 | |
JP5494423B2 (ja) | 表示装置、位置補正方法およびプログラム | |
WO2011102038A1 (ja) | タッチパネル付き表示装置およびその制御方法、並びに制御プログラムおよび記録媒体 | |
JP2010140300A (ja) | 表示装置、制御方法、制御プログラムおよび記録媒体 | |
JP2010108081A (ja) | メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム | |
JP2011090604A (ja) | 光学式位置検出装置および位置検出機能付き表示装置 | |
JP5095574B2 (ja) | 画像表示/像検知装置、画像表示方法、画像表示プログラムおよび当該プログラムを記録した記録媒体 | |
WO2010100798A1 (ja) | 表示装置、テレビ受信装置およびポインティングシステム | |
JP2010186442A (ja) | 入力装置、及び入力制御方法 | |
JP5306780B2 (ja) | 入力装置 | |
JP4270247B2 (ja) | 表示撮像装置、物体検出プログラムおよび物体の検出方法 | |
JP2010122972A (ja) | 画像表示/検出装置、選択方法、及び、プログラム | |
JP2010109467A (ja) | 画像表示/像検知装置 | |
JP2011164076A (ja) | 位置検出装置および位置検出方法 | |
WO2011121842A1 (ja) | 入力部付き表示装置およびその制御方法、並びに制御プログラムおよび記録媒体 | |
JP2010118018A (ja) | 位置特定装置、位置特定プログラム及びコンピュータ読み取り可能な記録媒体、並びに位置特定方法 | |
JP2010122383A (ja) | 表示装置 | |
JP2010119064A (ja) | 色検出装置、色検出プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出方法 | |
JP5567776B2 (ja) | 色検出/色出力装置、色検出/色出力プログラム及びコンピュータ読み取り可能な記録媒体、並びに色検出/色出力方法 | |
JP2010118015A (ja) | 数値入力装置、数値入力方法、数値入力プログラム、およびコンピュータ読み取り可能な記録媒体 | |
JP2010117841A (ja) | 像検知装置、入力位置の認識方法、およびプログラム | |
JP2010182066A (ja) | 接触状態推定装置、接触状態推定プログラム及びコンピュータ読み取り可能な記録媒体、並びに接触状態推定方法 | |
JP2010160689A (ja) | 入力装置、及び入力装置の制御方法 |