JP2010033604A - 情報入力装置及び情報入力方法 - Google Patents
情報入力装置及び情報入力方法 Download PDFInfo
- Publication number
- JP2010033604A JP2010033604A JP2009256385A JP2009256385A JP2010033604A JP 2010033604 A JP2010033604 A JP 2010033604A JP 2009256385 A JP2009256385 A JP 2009256385A JP 2009256385 A JP2009256385 A JP 2009256385A JP 2010033604 A JP2010033604 A JP 2010033604A
- Authority
- JP
- Japan
- Prior art keywords
- image
- translucent surface
- information
- translucent
- wavelength band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
【解決手段】 操作面として機能する半透明面と、第1の波長帯域の可視光による画像を半透明面に対して投影する投影表示手段と、第1の波長帯域とは異なる第2の波長帯域の電磁波を、該電磁波が半透明面を透過しその後半透明面前の物体で反射して半透明面側に戻るように、半透明面に輻射する輻射手段と、物体により反射された電磁波を撮像し、撮像信号を生成する撮像手段と、撮像信号に基づいて、半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、検出用画像情報の画像状態として得られる特定の画像形状に基づいて入力情報を識別し、識別に基づいて所要の制御処理を実行する制御処理手段と、を備える。
【選択図】図1
Description
タッチパネルを例に採った場合、ポインティングの操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
さらに、上記制御処理手段は、上記検出用画像情報を利用して上記表示用画像を作成可能に構成されている請求項1に記載の情報入力装置。
さらに、上記制御処理手段は、上記特定の画像形状として人体の手又は指を認識可能なように構成されている。
さらに、上記半透明面は、テーブル面を構成するように配置されている。
さらに、上記物体は、上記半透明面上に置かれた設置物とされ、上記制御処理手段は、上記半透明面上の上記設置物の配置位置に対応して、該設置物の上記検出用画像情報の画像データを上記半透明面上の対応する配置位置に投影表示するための表示用画像の生成処理を実行する。
本発明としての情報入力装置は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化を与えることのできる物体であれば、操作を行うための操作体として成立する。つまり、操作のために特殊なポインティングデバイスを必要としないことになる。また、半透明面に近い位置(例えば半透明面の前面の中空位置)で操作体が認識可能なので、操作方法としても、操作パネルである半透明面に対して操作体を接触させることなくその前面の空間において操作を行ったり、半透明面に接近してくる物体を認識して何らかの応答処理を行わせるといったこともできることになる。
また、半発明の操作パネルとしては単なる半透明面が得られればよく、例えば従来のタッチパネルとは異なり、そのサイズの大型化も容易に実現される。
また、検出対象の形状によりこれを操作情報として認識するか否かを決定することができ、人体の手や指などによる操作のみを操作情報として扱うことが容易に実現することが可能である。
<1.第1の実施の形態>
<2.第2の実施の形態>
<3.第3の実施の形態>
<4.第4の実施の形態>
<5.第5の実施の形態>
<6.第6の実施の形態>
<7.第7の実施の形態>
<8.第8の実施の形態>
先ず、図1〜図10を参照して本発明の第1の実施の形態について説明する。 図1は、本発明の第1の実施の形態としての情報入力装置を備えてなるインタラクティブ表示システムの構成例を概念的に示している。
本実施の形態としてのインタラクティブ表示システム1は、半透明面2、赤外線発光ダイオード素子(LED:Light Emitted Diode )パネル3、CCD(Charge Coupled Device) カメラ4、プロジェクタ5、及び制御装置6を備えて構成される。赤外線LEDパネル3、CCDカメラ4、及びプロジェクタ5は半透明面2の背面側に対して設けられる。
赤外線LEDパネル3は、例えばパネル面に対して多数の赤外線LEDが集合的に配列されることによって構成され、上記赤外線LEDから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線LEDは制御装置6によって定常的に赤外線を発光するように駆動される。
なお、赤外線LEDパネル3としては、発光出力される赤外線光が半透明面2全体に対して照射されるのに充分な数の赤外線LEDが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面2側から反射してくる画像情報を得るようにされることから、半透明面2全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線LEDパネル3のサイズは、半透明面2よりもはるかに小さいもので済ませることができる。
なお、上記赤外線LEDパネル3、CCDカメラ4及びプロジェクタ5の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
画像合成部17においては、必要があれば上記画像生成部16から供給された映像信号データに対して、入力画像処理部12から供給された映像信号データを合成してRGB信号生成部18に対して出力する。
RGB信号生成部18では、上記画像合成部17から供給された映像信号データについて、例えばアナログによるRGB信号に変換してプロジェクタ5に対して出力する。これにより、プロジェクタ5からは、半透明面2に対して行われる操作に応答した映像による画像光が半透明面2に対して照射出力されることになる。
前述のように、図1に示す半透明面2全体に対しては、その背面から赤外線LEDパネル3により赤外線光が照射されるのであるが、この赤外線光は半透明面2が半透明であることから、全ての赤外線光が半透明面2を通過するのではなく、幾分かの赤外線光が半透明面2の作用によって反射されることになる。
そして、本実施の形態においては半透明面2に対して何も操作が行われていないとされる状態のもとで、半透明面2にて反射される赤外線光をCCDカメラ4により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば1フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部12により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部13に伝送され、ここで保持されることになる。
入力画像処理部12は、続くステップS102において、上記基準入力画像レベルLintをしきい値制御部13に伝送して記憶させるように処理を実行する。
図4は、操作情報のもととなる画像情報(以下、この「画像情報」については特に「検出画像情報」という)を得るための入力画像処理部12の処理動作を示すフローチャートである。この場合、入力画像処理部12は、先ずステップS201において現在の入力画像レベルLprsを検出する処理を実行する。ここでいう入力画像レベルLprsは、現在においてCCDカメラ4により撮像された、赤外線光に基づく半透明面2の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部12はステップS202において、基準入力画像レベルLintと上記現在の入力画像レベルLprsの差分を演算する(L=Lprs−Lint)ことによって差分入力画像レベルLを算出する。具体的には、基準入力画像レベルLintと上記入力画像レベルLprsとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルLを得るようにされる。従って、差分入力画像レベルLとしては、常に基準入力画像レベルLintに対する現在の入力画像レベルLprsとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部12は、ステップS203に進み、上記差分入力画像レベルLに基づいて、現在の検出画像情報(フレーム単位で画素ごとのレベル情報を有する形式の映像データ)を生成するようにされる。
ここで、例えば図1に示すように半透明面2の前面側においてユーザが半透明面2から遠く離れた距離にいるときには、例えば半透明面2を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面2の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルLintと上記現在の入力画像レベルLprsとは同等であり、入力画像処理部12では、差分入力画像レベルLとしてほぼ0であると検出することになる。つまり、差分入力画像レベルLに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
そして、半透明面2に対して例えばユーザの体が非常に接近した状態(しきい値の設定にもよるが例えば半透明面2から30cm以内)では、その人体に反射した赤外線光がほとんど半透明面2を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
この場合、半透明面2に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部12において得られる画像情報としては、ユーザの指にあたるに位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面2からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部13にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面2から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部13において設定されるものである。
先ず、本実施の形態では半透明面2側からの赤外線の反射光量によって得られる画像に基づいて操作情報を得ることになるので、操作を行うための操作体としては、特に特殊なポインティングデバイスを必要とせず、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
そして、半透明面2側からの赤外線の反射光により得られる画像に基づいて操作情報を得ることで、画像認識さえ可能であれば複数の操作体を同時に認識して所要の制御を実行させることが可能である。つまり、複数の異なる操作対象に対する同時操作が可能となるものであり、特に半透明面2が大画面として構成される場合には半透明面2上のいろいろな領域を利用して異なる種類の操作を同時に行うことができることにもなるので非常に有効となる。
このように、本実施の形態としてのインタラクティブ表示システムでは、その操作情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
図5には、本実施の形態のインタラクティブ表示システム1の第1の利用例として、メニュー操作を行う場合が示されており、ここでは半透明面2を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面2の前面に近づいたとすると、先ず、インタラクティブ表示システム1の制御装置6では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面2上の位置を認識する。そして、半透明面2上においてユーザが近づいたと認識された位置に対して、図のようにメニュー画面Mを表示するように表示制御を行う。このメニュー画面Mは当然のこととしてプロジェクタ5から半透明面2に対して投影された画像である。 そして、ユーザ自身が位置している付近の半透明面2上にメニュー画面Mが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Mにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面2上から3cm〜30cm程度の範囲内の距離にあるようにされる。
ここでは、上記のようにして指示表示が開始された状態から所定時間(例えば数秒程度)経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該インタラクティブ表示システム1に対して所望の動作を実行させたりすることになる。あるいは、当該インタラクティブ表示システム1が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面2の前面から離れていき、ユーザと半透明面2との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Mは自動的に消去されるものとされる。
この「接近体」の検出は、例えば入力画像処理部12が検出画像情報と接近体の検出用に設定されたしきい値(しきい値制御部13により設定される)を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体(ユーザ)が半透明面2にある程度(例えば数十cm)近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
この際、データベース駆動部14は、ステップS302にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ5から投影される画像としては、半透明面2におけるユーザが近づいた位置に対してメニュー画面Mが表示されたものとなる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部13において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面2の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Mが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップS304にて検出されたメニュー画面Mの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップS306からステップS301以降の処理に戻ることになる。(この処理により、例えばユーザがこれまでとは異なるメニュー画面M上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面M上の操作項目に対して指示表示が行われたりすることになる。)
ステップS307においては、メニュー画面M上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。この処理は、データベース駆動部14がデータベースメモリ15に格納されたプログラムに従って実行することになる。
例えば、この世界地図を表示するのに際しては、例えば図5に示したようなメニュー画面Mの操作により表示させるようにしてもよいし、ユーザ(説明者)が半透明面2に対してある程度近づいたときにこれを「接近体」として検出することにより自動的に表示させるようにすることも考えられる。また、このときの表示形態としても、半透明面2の前面で説明者が立っている水平方向の位置に対応して、基準となる国や地域(例えば日本)が常に説明者の位置する付近に表示されるようにすることなどが可能である。
そして、この場合には、地図(半透明面2)上で説明者が指し示した位置に対して、その指定された地域についての何らかの説明を行う説明画像DTが、地図上にインポーズされるようにして表示される。この場合には、制御装置6において、説明者が指等で指し示した位置(座標)を操作体として検出し、この検出した操作体の位置に一致するとされる地域の説明画像DTを表示するように制御することになる。なお、この場合の地図としての画像データや、各種説明画像DTは、データベースメモリ15に対して格納されているものとされる。
前述のように、本実施の形態のインタラクティブ表示システム1は表示画面(及び操作パネル)である半透明面2の大型化が容易であることから、この第2例のように、大型の半透明面2を利用した会議やデモンストレーションなどは、その用途として本実施の形態のインタラクティブ表示システム1として、十分に考えられるものである。
前述のように、本実施の形態ではCCDカメラ4にて撮像される赤外線光に基づいて得られる「検出画像情報」から操作情報を得るようにされる。つまり、画像状態を認識することにより操作情報を得る。このため、例えば図8の場合のように、操作体(ここではユーザの手や指)が検出画像情報上において、複数同時に検出されたとしても、各操作体についての検出結果をそれぞれ異なる操作情報として処理させることが可能である。
そこで、図8のように複数(ここでは2つ)のメニュー画面M1,M2を表示させた上で、ユーザがこれらメニュー画面M1,M2に対して両手を使用して同時に操作を行ったとしても、本実施の形態では、メニュー画面M1,M2に対して行われた操作に応答する所要の動作を実行するように構成することが可能である。特に、本実施の形態のインタラクティブ表示システム1は半透明面2の大型化が容易なので、このように操作対象となる画像を複数同時に表示してやるようにすれば、大型化された表示パネル(操作パネル)を有効に利用することができるものである。
この場合、例えばユーザは自身の両手を、それぞれパラメータ調整画像PC1,PC2におけるレバー部分(レバー画像LV,LV)の表示された前面部に位置させ、所望のパラメータ値が得られるようにその手を上下方向にスライドさせるように動かすようにして操作を行うことになる。この場合には、この手の動きに応じてレバー画像LV,LVが上下に移動するように表示され、これに応じて実際のパラメータ値も可変制御されるように制御装置6における処理が適宜実行されることになる。この際、レバー画像LV,LVが同時に操作されたとしても、図8の場合と同様に、各操作情報を同時に認識してそれぞれの操作に応じたパラメータ値の変更を同時に行うように構成されるものである。
例えば、この場合の使用状況として、ユーザは立った状態で半透明面2に対する操作を行うことが通常であるとした場合、大人と子供では、図6にて説明したような検出画像情報上における接近体の占有率やその位置状態、及び、操作体として半透明面に現れる垂直方向における位置(高さ)が異なってくることになる。つまり、大人と子供との身長差によって、接近体としては大人よりも子供のほうが検出画像上においては下側の領域に現れることになり、同様に操作体(ユーザが指等により指し示す位置)も、大人よりも子供のほうが検出画像情報上においては下側の領域に現れる傾向となる。
図11は、本発明の第2の実施の形態としてのインタラクティブ表示システムを示す図であり、図1と同一部分には同一符号を付して説明を省略する。また、制御装置6の内部構成は例えば図2に示したものと同様でよいものとされる。
この第2の実施の形態においては、図11に示すように、赤外線光を出射する赤外線発信器PDをポインティングデバイスとして使用するものとされる。
このようにして赤外線発信器PDからの赤外線光が半透明面2に照射されると、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置(座標)のレベルが周囲に対して変化することになる。そこで、制御装置6の入力画像処理部12では、この検出画像情報のレベル変化を操作情報として認識するように処理を行えばよいことになる。
なお、赤外線光は不可視であることから、例えば、半透明面2における赤外線発信器PDからの赤外線光の現在の照射位置が分かるように、スポットSPなどの表示を半透明面2上に行わせることが好ましい。このスポット表示は、制御装置6の入力画像処理部12が検出画像情報に基づいて現在赤外線光が照射されている位置(座標)を識別し、この識別された照射位置に対して、プロジェクタ5によるスポットSPの表示が行われるように表示制御を実行することで実現が可能である。
図12及び図13は、それぞれ本発明の第3の実施の形態としてのインタラクティブ表示システム1B全体の構成と、制御装置6の内部構成を示すブロック図であり図1及び図2と同一部分については同一符号を付して説明を省略する。
なお、CCDカメラ4A,4Bの何れに対してもその光学系に赤外線透過フィルタ4aが備えられて、赤外線光のみによる半透明面2上の画像を撮像するようにされている。
例えば図12に示すようにしてユーザが半透明板2の前面に位置した状態で、半透明板2のある位置に対して指で指定操作を行っているとする。この場合、半透明板2全体を撮像する第1CCDカメラ4Aにより撮像されて、入力画像処理部において得られる検出画像情報としては、例えば図14(a)に示すようなものとなる。上記のような操作を行っている場合、通常はユーザの指(手)の部分が最も半透明面2に近接し、残りの身体部分は手の部分よりも半透明面2から離れた距離にあることになる。
従って、図14(a)に示す検出画像情報においては、大きく分けて身体部分が表示される画像領域Aの部分よりも手の部分が表示される画像領域Bの部分のほうが高い値(例えば輝度レベル)が得られることになる。ここでしきい値制御部13においてしきい値を適切に設定することにより、入力画像処理部12において、画像領域Aの部分を含む背景から画像領域Bの部分を「操作体」として分離して識別できることは前述したとおりである。なお、前述のように操作体が人体の手又は指に限定される場合には、検出画像情報として得られるユーザの手間他は指の形状に基づいて、これを操作体として認識するように構成することも可能である。
図15は本発明の第4の実施の形態としてのインタラクティブ表示システム1Cの構成例を概念的に示す図であり、例えば図1と同一部分については同一符号を付して説明を省略する。また、制御装置6の内部構成は図2と同様でよいものとされる。
これまで実施の形態として説明してきた各インタラクティブ表示システムは、半透明面2がいわゆる壁面状であるものとして説明してきたのであるが、本発明としての半透明面2の機能(表示パネル機能及び操作パネル機能)を考慮すれば、これに限定されるものではない。そこで、第4の実施の形態のインタラクティブ表示システム1Cでは、半透明面2Aを曲面形状に形成している。図15においては、半球面状とされた半透明面2Aが設置されている状態が示されており、この半球面状の半透明面2Aの内壁側に対して、例えば少なくとも赤外線LEDパネル3、CCDカメラ4、及びプロジェクタ5が設けられるようにされる。ユーザは半透明面2Aの外壁側から操作を行うことになる。なお、この図においては、CCDカメラ4に対して設けられる赤外線透過フィルタ4aと、プロジェクタ5に対して設けられる赤外線遮断フィルタ5aの図示は省略しているが、実際には、これまでの実施の形態と同様に設けられているものとされる。
なお、この図では半透明面2Aに対して世界地図が投影表示されている状態が示されているが、例えばこの場合であれば、先の第1の実施の形態において図7にて説明したようにして利用することが考えられる。
図16は、本発明の第5の実施の形態としてのインタラクティブ表示システム1Dの構築例を概念的に示す図であり、図1と同一部分については同一符号を付して説明を省略する。この図においても、赤外線透過フィルタ4aと赤外線遮断フィルタ5aの図示は省略しているが、実際には、CCDカメラ4とプロジェクタ5に対してそれぞれ設けられているものである。また、ここでは制御装置6の図示も省略されているが、実際には、赤外線LEDパネル3、CCDカメラ4、及びプロジェクタ5に対する制御を実現するために設けられているものであり、その内部構成も図2と同様でよい。
ここで、たとえばユーザ(歩行者)が通路を歩いており、インタラクティブ表示システム1Dの半透明面2(壁面)の脇を通過したとする。
前述のように、本発明では操作パネルとして機能する半透明面2からある程度離れた距離にユーザがいたとしても、これを「接近体」として検出することが可能である。そこで、この場合には、歩行者がインタラクティブ表示システム1Dの半透明面2(壁面)の脇にきたときに、その姿が接近体として検出するようにされる。そして接近体の検出結果に基づいて、例えば図16に示すように壁面である半透明面2に対して、行き先などを提示する案内画像GDをプロジェクタ5により投影表示するように動作させることができる。
このようなインタラクティブ表示システム1Dの動作を歩行者からみたときには、自分が通路を歩くと壁面に対して自動的に行き先の案内表示が行われることになる。
図18は、本発明の第6の実施の形態としてのインタラクティブ表示システム1Eの構成例を概念的に示す図であり、図1と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ4aと赤外線遮断フィルタ5aの図示は省略されているが、実際にはCCDカメラ4とプロジェクタ5に対して備えられるものである。
また、本実施の形態においては、後述するようにしてユーザが半透明面2Bに対して操作を行うことによって、モニタ装置30に対する操作制御が行えるようにされている。
この図に示す制御装置6においては、外部機器制御部20が設けられる。この場合、外部機器制御部20は、モニタ装置30に対する操作制御を行うための回路部位とされ、データベース駆動部14から与えられる操作情報によって、テレビジョン受像機30に対して所要の操作制御を行うためのコマンド信号を送信出力する。従って、この場合のデータベースメモリ14には、当該インタラクティブ表示システム1Eによりテレビジョン受像機30に対する操作が実現されるようにするためのプログラムが格納されることになる。
なお、リモコン表示RMDの表示位置は任意に設定されればよく、例えば当該インタラクティブ表示システム1Eに対する所定の設定操作によって、ユーザが使いやすいとされる位置に表示されるように任意に設定できるようにすることも考えられる。この際、データベース駆動部14が現在のリモコン表示RMDの表示位置を認識してさえいれば、リモコン表示RMDの各種キーの表示部分の位置(座標)は、常にデータベース駆動部14において把握することが可能である。
外部機器制御部20においては、データベース駆動部14から入力されたキー種別を示す情報に基づいて、このキー種別に対応するコマンド信号をモニタ装置30に出力する。
この場合には、ある1つの数字キーによるチャンネル切換操作であることから、例えばデータベース駆動部14は、チャンネル番号に対応する数字による数字キーが操作されたとの情報を伝送することになる。そして、外部機器制御部20では、この指定された数字キーが示すチャンネル番号に切り換えるためのコマンド信号を送信する。これにより、テレビジョン受像機30においては、ユーザが操作したチャンネルの画面に切り替わるように動作することになる。
例えば、テーブル面としての半透明面2Bに対して食器その他の何らかの物を置いた場合、この半透明面2Bに置かれた物が赤外線光を反射することにより、この設置物の形状の画像が検出画像情報として得られることになる。これまで説明してきた実施の形態では、このような画像変化を操作情報として扱ってきたが、この場合には、この検出画像情報としての画像データをプロジェクタ5により投影表示させる画像として利用することもできる。これにより、例えば図18の影表示SHDとして示すように、半透明面2Bに対して置かれた物の画像を、その影のようにして表示できるように構成することが考えられる。この場合、物が置かれる位置に応じて半透明面2B上の影表示SHDの位置も追随するようにして変化したり、半透明面2Bの表面からの距離変化に応じて影表示SHDの形状なども変化するので、ユーザにとって興味深い視覚的効果が得られることになる。
なお、ここでは詳しい説明は省略するが、上記検出画像情報を画像データに対して各種信号処理によって、マルチカラー化を施したり、画像の形状を変化させるなどの特殊効果を与えることで更に視覚的効果を高めるように構成することも可能である。
図21は本発明の第7の実施の形態としてのインタラクティブ表示システム1Fの構成例を示す図であり、図1と同一部分には同一符号を付して説明を省略する。
インタラクティブ表示システム1Fにおいては、赤外線LEDパネル3が設けられていない。
たとえば、本発明に基づくインタラクティブ表示システムを屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図1に示すような赤外線LEDパネル3から照射される赤外線光を操作情報検出用の光源とする構成では、赤外線LEDパネル3から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な操作情報の検出が行われない(つまり操作情報を認識可能な適正な検出画像情報が得られない)可能性がある。
そこで、このような場合には、本実施の形態のように赤外線LEDパネル3を省略する代わりに、自然光に含まれる赤外線光を操作情報検出用の光源として利用するものである。
この場合、検出画像情報を得るために必要な基準入力画像レベルLintは、例えば接近体及び操作体等の検出対象が無い(半透明面2に対して何の操作も行われていない)とされる状態のもとで、その前面側から半透明面2を透過してCCDカメラ4において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
きの半透明面2における接近体及び操作体などの部分をCCDカメラ4側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。本実施の形態のい制御装置6では、基準入力画像レベルLintに対して、画像レベルがより低くなる(暗くなる)ようにして変化する画像情報を操作情報として扱うことになる。
なお、インタラクティブ表示システム1Fの制御装置6の内部構成の図示は省略するが、赤外線LEDパネル3が省略されたことに応じて、LED駆動部10が設けられないことになる。
図22は、本発明の第8の実施の形態としてのインタラクティブ表示システム1Gの構成を示す概念図、図23は本実施の形態のインタラクティブ表示システム1Gに備えられる制御装置6の構成を示すブロック図であり、それぞれ図1及び図2と同一部分については同一符号を付して説明を省略する。
インタラクティブ表示システム1Gとしては、先に説明した各種実施の形態のインタラクティブ表示システムに備えられた赤外線LEDパネル3の代わりにマイクロ波発生器40が備えられ、また、CCDカメラ4の代わりにマイクロ波受信器41が備えられる。
本実施の形態のように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態(赤外線を操作情報の検出に利用した例)と同様にして本発明としての情報処理装置を構成することが可能である。
また、本発明に基づいて構成されるインタラクティブ表示システムの適用例は、これまで述べてきた実施の形態や適用例に限定されるものではなく、本発明としての入力装置の利点を活かした操作方法やアプリケーションなどの適用は、他にも各種考えられるものである。また、本発明の実施の形態としてのインタラクティブ表示システムにおいて、インタラクティブな応答を音声により行うことも考えられる。
Claims (7)
- 操作面として機能する半透明面と、
第1の波長帯域の可視光による画像を上記半透明面に対して投影する投影表示手段と、
上記第1の波長帯域とは異なる第2の波長帯域の電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の物体で反射して上記半透明面側に戻るように、上記半透明面に輻射する、輻射手段と、
上記物体により反射された上記電磁波を撮像し、撮像信号を生成する撮像手段と、
上記撮像信号に基づいて、上記半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、上記検出用画像情報の画像状態として得られる特定の画像形状に基づいて入力情報を識別し、識別に基づいて所要の制御処理を実行する制御処理手段と、
を備えている情報入力装置。 - 上記制御処理手段は、所要の表示用画像を上記投影表示手段により投影表示させるための表示用画像生成処理及び上記投影表示手段に対する制御を上記制御処理として実行する請求項1に記載の情報入力装置。
- 上記制御処理手段は、上記検出用画像情報を利用して上記表示用画像を作成可能に構成されている請求項1に記載の情報入力装置。
- 上記制御処理手段は、上記特定の画像形状として人体の手又は指を認識可能なように構成されている請求項1に記載の情報入力装置。
- 上記半透明面は、テーブル面を構成するように配置されている請求項1に記載の情報入力装置。
- 上記物体は、上記半透明面上に置かれた設置物とされ、
上記制御処理手段は、上記半透明面上の上記設置物の配置位置に対応して、該設置物の上記検出用画像情報の画像データを上記半透明面上の対応する配置位置に投影表示するための表示用画像の生成処理を実行する請求項5に記載の情報入力装置。 - 操作面として機能する半透明面と、第1の波長帯域の可視光による画像を上記半透明面に対して投影する投影表示手段と、上記第1の波長帯域とは異なる第2の波長帯域の電磁波を上記半透明面に輻射する輻射手段と、上記物体により反射された上記電磁波を撮像する撮像手段とを備えた情報入力装置における情報入力方法であって、
上記第1の波長帯域の可視光による画像を上記半透明面に対して投影する投影表示ステップと、
上記第1の波長帯域とは異なる第2の波長帯域の電磁波を、該電磁波が上記半透明面を透過しその後上記半透明面前の空間の物体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射ステップと、
上記物体により反射された上記電磁波を撮像し、撮像信号を生成する撮像ステップと、
上記撮像信号に基づいて、上記半透明面に対して与えられたとされる入力情報を検出するための検出用画像情報を生成し、上記検出用画像情報の画像状態として得られる特定の画像形状に基づいて入力情報を識別し、該識別に基づいて所要の制御処理を実行する制御処理ステップと、
を実行する情報入力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009256385A JP4687820B2 (ja) | 2009-11-09 | 2009-11-09 | 情報入力装置及び情報入力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009256385A JP4687820B2 (ja) | 2009-11-09 | 2009-11-09 | 情報入力装置及び情報入力方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007102037A Division JP4712754B2 (ja) | 2007-04-09 | 2007-04-09 | 情報処理装置及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010033604A true JP2010033604A (ja) | 2010-02-12 |
JP4687820B2 JP4687820B2 (ja) | 2011-05-25 |
Family
ID=41737905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009256385A Expired - Lifetime JP4687820B2 (ja) | 2009-11-09 | 2009-11-09 | 情報入力装置及び情報入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4687820B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013206272A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2017004553A (ja) * | 2016-08-22 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP2019185812A (ja) * | 2013-12-27 | 2019-10-24 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01154421A (ja) * | 1987-12-11 | 1989-06-16 | Nippon Telegr & Teleph Corp <Ntt> | 座標および外力検出装置 |
JPH05298016A (ja) * | 1992-02-14 | 1993-11-12 | Itu Res Inc | グラフィックス用入力機器 |
JPH06282371A (ja) * | 1993-03-26 | 1994-10-07 | Kodo Eizo Gijutsu Kenkyusho:Kk | 仮想空間デスクトップ装置 |
JPH0854982A (ja) * | 1994-06-30 | 1996-02-27 | Siemens Ag | コンピュータ用入力装置 |
JPH0991092A (ja) * | 1995-09-21 | 1997-04-04 | Sony Corp | 入力装置 |
JPH09258945A (ja) * | 1996-03-25 | 1997-10-03 | Hitachi Ltd | 個人情報機器 |
JPH09270689A (ja) * | 1996-03-29 | 1997-10-14 | Yamatake Honeywell Co Ltd | タッチキー |
JPH09319556A (ja) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 情報処理装置 |
FR2756077A1 (fr) * | 1996-11-19 | 1998-05-22 | Opto System | Ecran tactile et dispositif de visualisation utilisant cet ecran tactile |
JP2000506643A (ja) * | 1996-02-16 | 2000-05-30 | トムソン・トレイニング・アンド・シミュレイション・リミテッド | スクリーンと物体の接触点を決定する方法及びそのシステム |
-
2009
- 2009-11-09 JP JP2009256385A patent/JP4687820B2/ja not_active Expired - Lifetime
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01154421A (ja) * | 1987-12-11 | 1989-06-16 | Nippon Telegr & Teleph Corp <Ntt> | 座標および外力検出装置 |
JPH05298016A (ja) * | 1992-02-14 | 1993-11-12 | Itu Res Inc | グラフィックス用入力機器 |
JPH06282371A (ja) * | 1993-03-26 | 1994-10-07 | Kodo Eizo Gijutsu Kenkyusho:Kk | 仮想空間デスクトップ装置 |
JPH0854982A (ja) * | 1994-06-30 | 1996-02-27 | Siemens Ag | コンピュータ用入力装置 |
JPH0991092A (ja) * | 1995-09-21 | 1997-04-04 | Sony Corp | 入力装置 |
JP2000506643A (ja) * | 1996-02-16 | 2000-05-30 | トムソン・トレイニング・アンド・シミュレイション・リミテッド | スクリーンと物体の接触点を決定する方法及びそのシステム |
JPH09258945A (ja) * | 1996-03-25 | 1997-10-03 | Hitachi Ltd | 個人情報機器 |
JPH09270689A (ja) * | 1996-03-29 | 1997-10-14 | Yamatake Honeywell Co Ltd | タッチキー |
JPH09319556A (ja) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 情報処理装置 |
FR2756077A1 (fr) * | 1996-11-19 | 1998-05-22 | Opto System | Ecran tactile et dispositif de visualisation utilisant cet ecran tactile |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013206272A (ja) * | 2012-03-29 | 2013-10-07 | Sony Corp | 情報処理装置、情報処理方法及びコンピュータプログラム |
US10037078B2 (en) | 2012-03-29 | 2018-07-31 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
US10437324B2 (en) | 2012-03-29 | 2019-10-08 | Sony Corporation | Information processing apparatus, information processing method, and computer program |
JP2019185812A (ja) * | 2013-12-27 | 2019-10-24 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11146771B2 (en) | 2013-12-27 | 2021-10-12 | Sony Corporation | Display control device, display control method, and program |
JP2017004553A (ja) * | 2016-08-22 | 2017-01-05 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4687820B2 (ja) | 2011-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3968477B2 (ja) | 情報入力装置及び情報入力方法 | |
JP6791994B2 (ja) | 表示装置 | |
US20180314329A1 (en) | Gaze detection in a 3D mapping environment | |
US9772720B2 (en) | Flexible room controls | |
US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
US11606851B2 (en) | Lighting apparatus | |
WO2012124730A1 (ja) | 検出装置、入力装置、プロジェクタ、及び電子機器 | |
US8693732B2 (en) | Computer vision gesture based control of a device | |
WO2018003861A1 (ja) | 表示装置および制御装置 | |
KR20050075031A (ko) | 지시 디바이스에 기초한 유저 인터페이스 시스템 | |
JP2014517362A (ja) | カメラ式マルチタッチ相互作用及び照明システム及び方法 | |
US20140053115A1 (en) | Computer vision gesture based control of a device | |
WO2014150176A1 (en) | Nui video conference controls | |
JPH1157216A (ja) | ゲーム装置 | |
JP2011133955A (ja) | 映像再生装置及び映像再生方法 | |
JP4712754B2 (ja) | 情報処理装置及び情報処理方法 | |
JP4687820B2 (ja) | 情報入力装置及び情報入力方法 | |
JP2022160533A (ja) | 表示装置 | |
JP2005063225A (ja) | 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム | |
JP4296607B2 (ja) | 情報入出力装置及び情報入出力方法 | |
US20220244788A1 (en) | Head-mounted display | |
JP4296606B2 (ja) | 電子装置及び表示方法 | |
JP2007272927A (ja) | 情報入出力装置、及び情報入出力方法 | |
KR101002071B1 (ko) | 멀티 적외선 카메라 방식의 투영 영상 터치 장치 | |
US20160320897A1 (en) | Interactive display system, image capturing apparatus, interactive display method, and image capturing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110131 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |