JP2011054090A - 情報端末装置 - Google Patents

Abstract

【課題】利用場所が限定されることなく、簡単な操作で表示部の表示情報などを制御でき、かつ製造コストおよび装置の規模を抑えることができる情報端末装置を提供すること。
【解決手段】撮像部11は、半透明シート状素材を通して一定時間間隔で画像を取得する。検出部12は、撮像部11で予め取得されたシート状素材の画像からポインタ移動許容範囲を検出し、その形状を補正する変換係数を算出する。推定部13は、撮像部11で取得された画像に変換係数による補正を施した上で、画像中のポインタの影領域を検出し、該影領域からポインタの指示情報を推定する。制御部15は、推定部13により推定された指示情報に応じて表示部16に表示する情報を制御する。
【選択図】図１

Description

本発明は、情報端末装置に関し、特に、撮像部と撮像対象の空間的位置関係の変化によって表示部の表示情報などを制御できる情報端末装置に関する。

情報端末装置では、マルチタッチスクリーンを利用したユーザインタフェースが提供されている。特許文献１には、静電容量結合方式のタッチパネルを用いた画面入力型画像表示装置が記載されている。また、特許文献２，３には、イメージを表示するディスプレイシステムにおけるマルチタッチ検出方法に関し、表示面に接しているかまたはその近くに配置されるオブジェクトを検出してユーザのジェスチャを検出することが記載されている。

特許文献１の画面入力型画像表示装置では、静電容量結合方式のタッチパネルを用いてマルチタッチを検出する。この静電容量結合方式のタッチパネルは、異なる面積の電極を導電性薄膜の行と列に配置して構成され、ユーザの指などが画面に接触したときに電極に生じる電荷量の比で押下位置の座標が算出される。

特許文献２のマルチタッチ検出方法では、アクリル板の変形とその変形による赤外光の漏れを利用してマルチタッチを検出する。このディスプレイシステムは、スクリーンに相当するアクリル板、アクリル板の周囲に巡らせた大量の赤外LED、可視光を排除して赤外光だけを撮影する赤外線カメラおよび情報を投影するためのプロジェクタから構成される。外部からアクリル板が押下されなければ、赤外LEDからアクリル板に照射された不可視な赤外光は、アクリル板表面で全反射を繰り返し、アクリル板内部に閉じ込められているが、外部からアクリル板が指などで押下されると、アクリル板に僅かな歪みが生じ、赤外光が反対方向に漏れ出る。漏れ出た赤外光が赤外線カメラで撮影され、画像解析により押下位置と押下数などが推定される。そして、この推定結果に応じてプロジェクタで投影される情報が制御される。

特許文献３の方法では、特許文献１の方法と同様に、アクリル板の変形とその変形による赤外光の漏れを利用してマルチタッチを検出する。しかし、このディスプレイシステムでは、赤外LEDをアクリル板の周囲に配置する代わりに、赤外光ライトをアクリル板の下に配置している。

特開２００９−１２２９６９号公報 特開２００６−０４０２７１号公報 特開２００９−０９３６３４号公報

特許文献１の画面入力型画像表示装置では、画面に接触する物体と導電膜との間に静電容量の変化が生じないとマルチタッチを検出することができない。このため、プラスチックの棒などの非導電性物体での操作ができないという課題がある。

特許文献２，３の方法では、ディスプレイシステムとして赤外光源、赤外カメラおよびプロジェクタを備える必要がある。したがって、これには、製造コストおよび装置の規模が大きくならざるを得ないという課題がある。また、プロジェクタで情報を投影するため、屋外など明るい場所での利用は困難であるという課題もある。

本発明の目的は、上記課題を解決し、利用場所が限定されることなく、簡単な操作で表示部の表示情報などを制御でき、かつ製造コストおよび装置の規模を抑えることができる情報端末装置を提供することにある。

上記目的を達成するため、本発明は、半透明シート状素材を通して一定時間間隔で画像を取得する撮像部と、前記撮像部により予め取得された画像から半透明シート状素材の範囲であるポインタ移動許容範囲を検出し、検出されたポインタ移動許容範囲の形状を前記撮像部が前記半透明シート状素材を正対して撮影したときのポインタ移動許容範囲の形状に補正する補正係数を算出する検出部と、前記補正係数が算出された後に前記撮像部により取得された画像に前記補正係数による補正を施した上で、前記半透明シート状素材上に設置されたポインタの影領域を画像から検出し、該影領域からポインタの指示情報を推定する推定部と、前記推定部により推定された指示情報に応じて情報端末装置における動作を制御する制御部を備えた点に第１の特徴がある。

また、本発明は、情報を表示する表示部と、前記表示部に表示する情報を記憶するメモリを備え、前記メモリから情報が読み出されて前記表示部に表示され、

前記制御部は、前記推定部により推定された指示情報に応じて前記表示部に表示する情報を制御する点に第２の特徴がある。

また、本発明は、前記撮影部が、予め半透明シート状素材の画像を取得し、前記検出部は、半透明シート状素材に入射した光の一部が前記半透明シート状素材により遮られたことによる影領域をポインタ移動許容範囲として検出する点に第３の特徴がある。

また、本発明は、前記撮像部が、半透明シート状素材に入射して透過した光を反射・屈折させる光学要素を通して画像を取得する点に第４の特徴がある。

また、本発明は、前記検出部が、前記撮影部により予め取得された半透明シート状素材の画像から該半透明シート状素材の色と光の色を混合した色の影領域をポインタ移動許容範囲として検出する点に第５の特徴がある。

また、本発明は、 前記検出部が、前記撮影部により予め取得された半透明シート状素材の画像における半透明シート状素材のコーナを検出し、検出されたコーナの座標を、前記撮像部が前記半透明シート状素材を正対して撮影したときのコーナの座標に写像する補正係数を算出する点に第６の特徴がある。

また、本発明は、任意形状のポインタが使用され、前記推定部は、該ポインタが半透明シート状素材上に設置されたときに生じる影領域を検出し、該影領域からポインタの指示情報を推定する機能を有する点に第７の特徴がある。

また、本発明は、前記推定部が、前記補正係数が算出された後に前記撮像部により取得された画像に前記補正係数による補正を施した上で、該画像と前記半透明シート状素材上にポインタが設置されていないときの初期画像との差分を算出し、この差分を２値化してポインタの影領域を検出し、該影領域からポインタの指示情報を推定する機能を有する点に第８の特徴がある。

また、本発明は、前記推定部が、前記半透明シート状素材上に設置されたポインタの影領域を画像から検出して該ポインタの影領域の座標を検出し、該座標からポインタの指示情報を推定する機能を有する点に第９の特徴がある。

また、本発明は、前記推定部が、ポインタの影領域の大きさ、向き、色、動き、数、２つの影領域間の距離、の内の１つあるいは複数を検出し、これらからポインタの指示情報を推定する機能を有する点に第１０の特徴がある。

また、本発明は、前記推定部が、ポインタの影領域の大きさ、向き、色、動き、数、2つの影領域間の距離、の内から1つ以上を適宜選択的に用いてポインタの指示情報を推定する機能を有する点に第１１の特徴がある。

また、本発明は、前記推定部が、上記第８ないし１１の特徴での機能の少なくとも２つを併用できるようになっている点に第１２の特徴がある。

また、本発明は、前記推定部が、前記半透明シート状素材上に設置されたポインタの影領域を２値化用閾値を変化させて検出し、このときの影領域の面積の変化からポインタの影領域の向きを検出してポインタの指示情報を推定する機能を有する点に第１３の特徴がある。

また、本発明は、前記推定部が、２値化用閾値を変化させたときに面積が変化する影領域それぞれの重心を算出し、該重心を結ぶ方向からポインタの影領域の向きを検出する点に第１４の特徴がある。

また、本発明は、前記半透明シート状素材上に半透明のポインタが設置された場合、前記推定部は、前記撮像部により取得された画像に前記補正係数による補正を施した上で、該画像から半透明のポインタの色の色差信号を抽出し、２値化することによりポインタの影領域を検出する点に第１５の特徴がある。

また、本発明は、前記推定部が、過去に検出されたポインタの影領域と今回検出されたポインタの影領域を比較し、両影領域の重心間距離が所定値未満で、かつ両影領域が同色である場合、両影領域は同一であると判断し、両影領域の重心を結ぶ方向および重心間距離をそれぞれポインタの動き方向および速さとして検出する機能を有する点に第１６の特徴がある。

また、本発明は、前記制御部が、前記推定部により推定された指示情報に応じて、前記表示部における表示情報を制御し、その表示内容を異ならせる機能を有する点に第１７の特徴がある。

本発明では、撮像部により取得される像から利用者が提示したポインタの影領域を検出し、この画像上での位置(座標)、大きさ、向き、色、動き、影領域の数、2つの影領域間の距離を検出して利用者の指示情報を推定し、この推定結果を用いて表示部の表示情報などを制御するので、利用者は、指あるいは任意の物体をシート状素材に接触させる、あるいは近付けるという直観的な操作で、表示部の表示情報などを制御できる。この際、画像の歪みを補正する補正係数を予め求めておき、その後に撮像部により取得された画像を補正係数を用いて補正することにより、利用者の指示を正しく認識できる。したがって、情報端末装置の利用者は、指示情報に対応づけられた表示部の表示情報などの制御対象を、実空間と対応づけながら直感的に制御することが可能となり、信頼性の高い情報端末装置を提供することができる。

また、撮像部により取得された画像を解析することによって推定された指示情報を用いて、表示部の表示情報などを制御するので、タッチパネルなどの特別なハードウェアを情報端末装置に組み込む必要がない。

本発明の一実施形態を示す機能ブロック図である。 本発明を携帯電話機と想定した場合の外観図である。 光源と撮影部を結ぶ光路を曲げた場合の使用例を示す図である。 光源と撮影部を結ぶ光路を直線とした場合の使用例を示す図である。 撮像部により取得される画像中のシート状素材の領域(撮像対象移動可能範囲)を示す図である。 補正係数の算出処理の説明図である。 ポインタによる影領域の生じ方の違いを示す図である。 本発明を地図の表示制御に適用した場合の表示例を示す図である。 本発明を画像への情報付加に適用した場合の表示例を示す図である。

以下、図面を参照して本発明を説明する。以下では情報端末装置の表示部に表示された情報を制御する場合について説明する。

図１は、本発明の一実施形態を示す機能ブロック図であり、図２は、情報端末装置として携帯電話Pを想定した場合の外観図(正面図と側面図)である。

本実施形態の情報端末装置は、撮影部11、検出部12、推定部13、メモリ14、制御部15および表示部16を備える。情報端末装置は、例えば携帯電話Pであるが、PCとカメラの組み合わせでもよい。なお、図２には、撮像部11、検出部12、推定部13、メモリ14、制御部15および表示部16の、携帯電話P内での大体の位置を示している。

撮影部11は、情報端末装置に設置されたデジタルカメラで構成される。情報端末装置が携帯電話Pの場合、その内蔵カメラを撮影部11として利用でき、情報端末装置がPCとカメラの組み合わせの場合、撮影部11は、PCに付加される。

撮影部11は、画像を一定時間間隔で取得する。撮影部11により取得され画像は、検出部12および推定部13に出力される。

検出部12は、撮影部11が取得したシート素材の画像を解析してポインタ移動許容範囲を検出し、その後に利用者により提示されるポインタの位置や移動などを正しく検出するために必要な変換係数を算出する。すなわち、撮像部11からポインタ移動許容範囲を見たときの見かけ上の形状は、撮像部11とポインタ移動許容範囲の面の配置関係や撮像部11の設置位置の変化などにより、撮像部11がポインタ移動許容範囲を正対して撮影したときの形状と異なる。そこで、検出部12は、撮像部11がポインタ移動許容範囲を正対して撮影した状態で正しく撮像対象の位置や移動などが検出されるように、撮像部11により取得される画像におけるポインタ移動許容範囲を、撮像部11がポインタ移動許容範囲を正対して撮影した状態の範囲に補正する変換係数を算出する。変換係数の算出処理については、後で具体的に説明する。

推定部13は、検出部12で変換係数が算出された後に撮像部11により取得される画像を検出部12からの変換係数で補正しつつ、利用者により提示されるポインタの位置や移動を推定し、その推定結果を利用者の指示情報として生成する。利用者により提示されるポインタは、例えば、指や棒、ビー玉などの任意の物体であり、その影領域の位置(座標)、大きさ、向き、色、動き、影領域の数、2つの影領域間の距離を利用者の指示情報として利用する。なお、簡単な制御では、影領域の位置(座標)だけが必要となるので、最も簡単化された情報端末装置では、ポインタの影領域の座標を検出する機能を有すればよく、それにポインタの影領域の大きさ、向き、色、動き、影領域の数、２つの影領域間の距離の内の１つあるいは複数を検出する機能を適宜追加すればよい。

メモリ14は、表示部16で表示する文字や地図などの表示情報を予め展開して格納している。制御部15は、推定部13により生成された指示情報およびその変化に応じてメモリ14から該当する表示情報を読み出し、表示部16に送出する。表示部16は、制御部15での制御に従って表示情報を表示する。

次に、図１の情報端末装置における動作を説明する。

まず、図３に示すように、光を一部透過させるシート状素材(半透明シート状素材)Sの画像が携帯電話Pの撮像部11により取得されるように、シート状素材Sおよび携帯電話Pを配置する。シート状素材Sは、画像中のポインタの影領域の位置や移動などを正しく検出するために必要な変換係数を算出し、また、外部の余分な風景などの画像が撮像部11により取得されないようにするために用いられる。

この例では、箱内に2枚の鏡M1,M2を設置し、これらの鏡M1,M2で光路を曲げ、携帯電話Pの背面に設置されたカメラを撮像部11として利用しつつ、携帯電話Pの表示部16の表示を利用者が見ることができるようにしている。光路を曲げるのに1枚だけの鏡を用いる構成にしてもよいが、この構成では撮像部11への画像の歪みが大きくなるので、より高精度の補正が必要となる。しかし、箱の高さを低くすることができる。箱内には、シート状素材に入射して透過した光を反射・屈折させる適宜の光学要素を設置することができる。

撮影部11により取得された画像にシート状素材Sが映り込まれ、また、利用者が提示するポインタの影領域がシート状素材S上に現れ、それが撮像部11で撮像されるようにシート状素材の上部から光が当たるようにする。この光は、太陽光でもシート状素材の上部に配置された光源による光でもよい。

シート状素材Sとしては、一般的な紙や半透明プラスチックなどを利用できる。なお、シート状素材Sを透過した光で撮影部11が露出オーバーにならないように、光源の明るさやシー状素材S、あるいは撮像部11の絞りなどが調整される。

図４は、シート状素材Sと撮像部11の他の配置例である。この例は、PCと撮像部11(カメラ)を組み合わせて情報端末装置とした場合の配置であり、光源Lを配置し、光源Lと撮影部11を結ぶ光路を直線にしている。そして、光源Lと撮影部11とを結ぶ光路上に、光源Lからの光を一部透過させるシート状素材Sを配置し、撮影部11により取得された画像にシート状素材Sが映り込まれるようにする。

撮像部11は、まず、利用者により配置されたシート状素材Sの画像を取得する。

検出部12は、撮像部11により取得された画像からシート状素材Sの領域をポインタ移動許容範囲として抽出する。シート状素材Sは、光を一部透過するので、ポインタ移動許容範囲は、画像からシート状素材Sの色と光の色を混合した色の領域を抽出することで抽出できる。これにより抽出されたポインタ移動許容範囲は、撮像部11の画角やシート状素材Sの配置などによって歪んでいる。

検出部11は、この歪みを補正する変換係数を算出する。これは、抽出されたシート状素材Sの領域(ポインタ移動許容範囲)に対してコーナ検出処理を適用してシート状素材の領域の頂点の座標を求め、この頂点の座標が補正後の頂点の座標に写像されるように補正係数を算出することで実現できる。補正係数の算出は、シート状素材Sに対して携帯電話Pの設置位置が変わる都度行う。

図５は、シート状素材Sとして長方形の紙片を用いた場合に、撮像部11により取得される画像中のシート状素材Sの領域(ポインタ移動許容範囲)の例を示す図である。同図に示すように、画像中のシート状素材Sの領域は、撮像部11の画角やシート状素材Sの配置などによって歪みを持つようになる。

そこで、まず、画像中のシート状素材Sの領域の各頂点の座標をコーナ検出処理で求め、これらの各頂点を補正後の対応する各頂点に一致させる変換係数を射影変換によって求める。

例えば、シート状素材Sとして長方形の紙片を用いた場合、画像中のシート状素材Sの領域の4隅の頂点の座標を(ｘ_ｊ,y_ｊ)(１≦ｊ≦４)とし、補正後の4つの頂点の座標を(ｘ_ｊ′,y_ｊ′)(１≦ｊ≦４)とすると、変換係数ａ_ｋ(１≦ａ_ｋ≦９)は、式(1),(2)の座標(ｘ_ｊ′,y_ｊ′)と座標(ｘ_ｊ,y_ｊ)の関係から求めることができる。すなわち、4隅の頂点の座標(ｘ_ｊ′,y_ｊ′)、座標(ｘ_ｊ,y_ｊ)を代入したときの8元連立方程式を解くことにより、変換係数ａ_ｋを求めることができる。

ｘ_ｊ′＝(ａ_１ｘ_ｊ＋ａ_２ｙ_ｊ＋ａ_３)/(ａ_７ｘ_ｊ＋ａ_８ｙ_ｊ＋ａ_９) (1)

ｙ_ｊ′＝(ａ_４ｘ_ｊ＋ａ_５ｙ_ｊ＋ａ_６)/(ａ_７ｘ_ｊ＋ａ_８ｙ_ｊ＋ａ_９) (2)

図６に示すように、画像中のシート状素材Sの領域の4隅の頂点の座標が(０,０),(ｘ_１,ｙ_１),(ｘ_２,ｙ_２),(ｘ_３,ｙ_３)で与えられ、これらの頂点がそれぞれ、矩形形状の4隅の頂点の座標(０,０),(ｕ,０),(ｕ,ｖ),(０,ｖ)に一致するように補正する場合、変換係数ａ_ｋは、式(3)〜(15)で求められる。

ａ_１＝−(−ｚ_２１＋ｚ_２３−ｚ_１３)ｚ_１２ｙ_３ｕ (3)

ａ_２＝(−ｚ_２１＋ｚ_２３−ｚ_１３)ｚ_１２ｘ_３ｕ (4)

ａ_３＝０ (5)

ａ_４＝(−ｚ_２１＋ｚ_２３−ｚ_１３)ｚ_２３ｙ_１ｖ (6)

ａ_５＝−(−ｚ_２１＋ｚ_２３−ｚ_１３)ｚ_２３ｘ_１ｖ (7)

ａ_６＝０ (8)

ａ_７＝(ｘ_１ｙ_３−ｚ_１２)ｚ_１２ｙ_３＋(ｘ_３ｙ_１＋ｚ_２３)ｚ_２３ｙ_１−ｘ_２ｙ_１ｙ_３ｚ_１３ (9)

ａ_８＝(ｘ_３ｙ_１＋ｚ_１２)ｚ_１２ｘ_３＋(ｘ_１ｙ_３−ｚ_２３)ｚ_２３ｘ_１−ｘ_１ｘ_３ｙ_２ｚ_１３ (10)

ａ_９＝−ｚ_２3ｚ_1３ｚ_１2 (11)

ただし、
ｚ_１２＝(ｘ_１ｙ_２−ｘ_２ｙ_１) (12)

ｚ_２３＝(ｘ_２ｙ_３−ｘ_３ｙ_２) (13)

ｚ_１３＝(ｘ_１ｙ_３−ｘ_３ｙ_１) (14)

ｚ_２１＝(ｘ_２ｙ_１−ｘ_１ｙ_２) (15)

推定部13は、まず、撮像部11により取得された画像に、検出部11により算出された変換係数を適用することで歪んだ画像(ポインタ移動許容範囲)を補正する。次に、補正されたポインタ移動許容範囲内のポインタの影領域を抽出し、ポインタの影領域の位置(座標)、大きさ、向き、色、動き、影領域の数、2つの影領域間の距離を推定し、その推定結果を利用者の指示による指示情報として制御部15に送出する。

ポインタとしては、指や棒、ビー玉などの任意の物体を使用できる。図７は、ポインタとして不透明の指が使用された場合と、半透明の青いビー玉が使用された場合の影領域の生じ方の違いを示す図である。太陽光、シート状素材の色が白の下で、指がポインタとして使用された場合、指とシート状素材の間の距離に応じて濃淡を持つ影領域が生じる。また、半透明の青いビー玉が使用された場合には、青色の影領域が生じる。

不透明の物体がポインタとして用いられた場合、光はポインタにより遮られるので、シート状素材S上のポインタ設置箇所は濃い影領域となる。この濃い影領域は、ポインタ設置前に撮影部11により取得された初期画像とポインタ設置後に取得された画像の差分を算出し、所定閾値との比較による2値化によって抽出することができる。これにより抽出された濃い影領域の位置(座標)、大きさ、向き、色、動きを算出し、さらに、影領域が複数ある場合には、その数や2つの影領域間の距離を算出する。

また、指がポインタとして用いられた場合、シート状素材S上のポインタ設置箇所だけでなく、ポインタとシート状素材Sの間の距離に応じて変化する濃淡の影領域が生じる。この場合には、2値化に用いる閾値を変化させることによって影領域の形状や面積の変化の有無まで検出することができる。これにより抽出された影領域の面積が変化する場合は、面積変化の前後での重心を求め、それらの重心を結ぶ方向を影領域の向きとして検出し、この向きを指示情報として利用することもできる。ポインタの形状に方向性があれば、影領域の形状から影領域の向きを求めてもよい。

一方、半透明の物体がポインタとして用いられた場合、光はポインタの色を帯びて撮像部11に投影される。この場合には、撮像部11により取得された画像の色差信号に対して2値化を適用することにより、着色された影領域を抽出することができる。これにより抽出された影領域の色を指示情報として利用することもきる。

また、ポインタが不透明であるか半透明であるか拘わらず、複数の影領域が抽出された場合には、それぞれの影領域間の距離を算出し、この距離を指示情報として利用することもできる。さらに、ポインタの動きの方向や速さを検出し、これらを指示情報として利用することもできる。ポインタの動き方向や速さは、過去に求められた影領域と今回求められた影領域の重心間距離が所定値未満で、かつ両者の影領域が同色であれば、同一の影領域であると判断し、重心を結ぶ方向および重心間距離をそれぞれポインタの動きの方向および速さとすることにより検出することができる。所定値は予め設定される。

推定部13は、以上のようにして検出したポインタの影領域の位置(座標)、大きさ、向き、色、動き、影領域の数、2つの影領域間の距離を利用者の指示情報として制御部15へ送出する。

制御部15は、推定部13からの指示情報およびその変化に応じてメモリ14から該当する表示情報を読み出し、表示部16に送出する。表示部16は、制御部15から送出されてきた表示情報を表示する。

表示制御において、ポインタの影領域の位置(座標)、大きさ、向き、色、動き、影領域の数、2つの影領域間の距離をどのように利用するかは限定されないが、以下にその利用形態の具体例を示す。(1)影領域の位置(座標)にカーソルを表示する、(2)影領域の位置(座標)の移動に従う手書き文字を表示画面上に重畳表示する、(3)影領域の大きさにより手書き文字の太さを設定する、(4)影領域の向きにより表示画面を回転させる、(5)影領域の色を手書き文字の色とする、(6)影領域の動きに従って画面をスクロールする、また、動きの速さに応じてスクロールの移動距離を設定する、(7)複数の影領域の間に同時に線を描画する、(8)2つの影領域間の距離に従って表示画面の倍率(拡大・縮小)を設定する。

上述したように、本発明の推定部13は、ポインタが半透明シート状素材Ｓ上に設置されたときに生じる影領域を検出し、該影領域からポインタの指示情報を推定する機能を有する。影領域は、撮像部11により取得された画像に補正を施した上でポインタが設置されていないときの初期画像との差分を算出し、この差分を2値化することにより検出でき、ポインタの指示情報は、ポインタの影領域の座標から推定できる。また、ポインタの指示情報は、ポインタの影領域の大きさ、向き、色、動き、数、２つの影領域間の距離の、内の1つあるいは複数から推定することもできる。また、ポインタの影領域の大きさ、向き、色、動き、数、2つの影領域間の距離、の１つ以上を適宜選択的に用いてポインタの指示情報を推定することもできる。さらに、上記の推定手法の少なくとも２つを併用してポインタの指示情報を推定することもできる。しかし、推定部13には、少なくともポインタの影領域の位置(座標)からポインタの指示情報を推定する機能を持たせることが好ましい。

本発明によれば、利用者がシート状素材S上の任意位置(座標)をポインタで指示することにより、画面内のカーソルや表示情報の位置などを直接的に制御できるので、表示部16に表示されるカーソルや表示情報の位置設定操作を直感的に行うことができる。また、利用者がポインタの空間的位置を連続的に変化させることにより、それに応じて画面スクロールなどの連続的な操作も行うことができる。

また、例えば、地図、画像、Webページなどが表示部16に表示されている場合、2つのポインタ間の距離をシート状素材S上で変化させることにより、その距離の変化に応じて画像の表示倍率を変化させるように構成することができる。このとき、表示倍率を変化させる中心は、2つのポインタの座標の中点あるいは先に設置したポインタの座標にするなど、ポインタの座標に応じて設定することもできる。また、2つのポインタの座標を結ぶベクトルとシート状素材Sの一辺とがなす角度を変化させると、この角度の変化に応じて画像が回転するよう構成することもできる。

図８は、本発明を地図の表示制御に適用した場合の表示例である。同図に示すように、表示部16に地図が表示されている場合、利用者は、表示されている地図の倍率や回転角をポインタの直感的な操作で任意に設定することができる。

図９は、本発明を画像への情報付加に適用した場合の表示例である。同図に示すように、撮影部11で取得された画像が表示部16に表示されている場合、ポインタの直感的な操作で、フォント文字などを任意座標に任意の倍率、任意の角度で配置することができ、また、手書き文字や図形などを画像に上書きすることもできる。図９は、画像に手書きコメント「ココに注目」と矢印が上書きされた例である。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形されたものも含む。例えば、ポインタによりカーソルが所定位置に表示された状態で、例えばポインタを離間し再び接触する操作が数回行われたときにアプリケーションや表示画面が切り替えられるようにすることができる。この場合、どのカーソル位置でどのような操作を行えば、どのようにアプリケーションや表示画面が切り替えられるかのガイドをシート状素材に記しておくのがよい。

ポインタの形状は任意であるが、形状に方向性を持つ影領域、例えば、円形の一部が凸となったポインタを半透明シート状素材上に設置し、それを回転させることにより、音量や画面輝度など調整、あるいはTVチャンネルなどの切替を行う操作子として機能させることもできる。

また、本発明は、キーボードのような入力手段にも適用できる。例えば、ポインタを半透明シート状素材上に記された「ひらがな(あ、い、う、・・・)」に合わせて設置すると、その「ひらがな」が入力されるようにすることができる。ここで、シート状素材を取り替えることにより、他の言語(例えばアルファベット(a,b,c,・・・)）の入力手段として機能させるようにすることもできる。もちろん、情報端末装置では、ポインタの位置(座標)と「ひらがな」や「アルファベット(a,b,c,・・・)」などを対応させる処理が必要となる。

11・・・撮影部、12・・・検出部、13・・・推定部、14・・・メモリ、15・・・制御部、16・・・表示部

Claims (17)

1. 半透明シート状素材を通して一定時間間隔で画像を取得する撮像部と、
   前記撮像部により予め取得された画像から半透明シート状素材の領域であるポインタ移動許容範囲を検出し、検出されたポインタ移動許容範囲の形状を前記撮像部が前記半透明シート状素材を正対して撮影したときのポインタ移動許容範囲の形状に補正する補正係数を算出する検出部と、
   前記補正係数が算出された後に前記撮像部により取得された画像に前記補正係数による補正を施した上で、前記半透明シート状素材上に設置されたポインタの影領域を画像から検出し、該影領域からポインタの指示情報を推定する推定部と、
   前記推定部により推定された指示情報に応じて情報端末装置における動作を制御する制御部を備えたことを特徴とする情報端末装置。
2. 情報を表示する表示部と、前記表示部に表示する情報を記憶するメモリを備え、前記メモリから情報が読み出されて前記表示部に表示され、
   前記制御部は、前記推定部により推定された指示情報に応じて前記表示部に表示する情報を制御することを特徴とする請求項１に記載の情報端末装置。
3. 前記撮影部は、予め半透明シート状素材の画像を取得し、前記検出部は、半透明シート状素材に入射した光の一部が前記半透明シート状素材により遮られたことによる影領域をポインタ移動許容範囲として検出することを特徴とする請求項１または２に記載の情報端末装置。
4. 前記撮像部は、半透明シート状素材に入射して透過した光を反射・屈折させる光学要素を通して画像を取得することを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
5. 前記検出部は、前記撮影部により予め取得された半透明シート状素材の画像から該半透明シート状素材の色と光の色を混合した色の影領域をポインタ移動許容範囲として検出することを特徴とする請求項１または２に記載の情報端末装置。
6. 前記検出部は、前記撮影部により予め取得された半透明シート状素材の画像における半透明シート状素材のコーナを検出し、検出されたコーナの座標を、前記撮像部が前記半透明シート状素材を正対して撮影したときのコーナの座標に写像する補正係数を算出することを特徴とする請求項１ないし５のいずれかに記載の情報端末装置。
7. 任意形状のポインタが使用され、前記推定部は、該ポインタが半透明シート状素材上に設置されたときに生じる影領域を検出し、該影領域からポインタの指示情報を推定する機能を有することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
8. 前記推定部は、前記補正係数が算出された後に前記撮像部により取得された画像に前記補正係数による補正を施した上で、該画像と前記半透明シート状素材上にポインタが設置されていないときの初期画像との差分を算出し、この差分を２値化してポインタの影領域を検出し、該影領域からポインタの指示情報を推定する機能を有することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
9. 前記推定部は、前記半透明シート状素材上に設置されたポインタの影領域を画像から検出して該ポインタの影領域の座標を検出し、該座標からポインタの指示情報を推定する機能を有することを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
10. 前記推定部は、ポインタの影領域の大きさ、向き、色、動き、数、２つの影領域間の距離、の内の１つあるいは複数を検出し、これらからポインタの指示情報を推定する機能を有することを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
11. 前記推定部は、ポインタの影領域の座標、大きさ、向き、色、動き、数、２つの影領域間の距離、の内から１つ以上を適宜選択的に用いてポインタの指示情報を推定する機能を有することを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
12. 前記推定部は、請求項８ないし１１記載の機能の少なくとも２つの機能を併用できるようになっていることを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
13. 前記推定部は、前記半透明シート状素材上に設置されたポインタの影領域を２値化用閾値を変化させて検出し、このときの影領域の面積の変化からポインタの影領域の向きを検出してポインタの指示情報を推定する機能を有することを特徴とする請求項１ないし６に記載の情報端末装置。
14. 前記推定部は、２値化用閾値を変化させたときに面積が変化する影領域それぞれの重心を算出し、該重心を結ぶ方向からポインタの影領域の向きを検出することを特徴とする請求項１３に記載の情報端末装置。
15. 前記半透明シート状素材上に半透明のポインタが設置された場合、前記推定部は、前記撮像部により取得された画像に前記補正係数による補正を施した上で、該画像から半透明のポインタの色の色差信号を抽出し、２値化することによりポインタの影領域を検出することを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
16. 前記推定部は、過去に検出されたポインタの影領域と今回検出されたポインタの影領域を比較し、両影領域の重心間距離が所定値未満で、かつ両影領域が同色である場合、両影領域は同一であると判断し、両影領域の重心を結ぶ方向および重心間距離をそれぞれポインタの動き方向および速さとして検出する機能を有することを特徴とする請求項１ないし８のいずれかに記載の情報端末装置。
17. 前記制御部は、前記推定部により推定された指示情報に応じて、前記表示部における表示情報を制御し、その表示内容を異ならせる機能を有することを特徴とする請求項２に記載の情報端末装置。