JP2003308167A - 情報入出力装置と方法 - Google Patents
情報入出力装置と方法Info
- Publication number
- JP2003308167A JP2003308167A JP2002114075A JP2002114075A JP2003308167A JP 2003308167 A JP2003308167 A JP 2003308167A JP 2002114075 A JP2002114075 A JP 2002114075A JP 2002114075 A JP2002114075 A JP 2002114075A JP 2003308167 A JP2003308167 A JP 2003308167A
- Authority
- JP
- Japan
- Prior art keywords
- information
- input
- image
- half mirror
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 ３次元的、インタラクティブな情報入出力環
境を実現して入力情報に対応した情報の出力を行う情報
入出力装置とその方法を提供する。 【解決手段】 ディスプレイ装置３は、ハーフミラー１
を有し、このハーフミラー１の背面側に対して配置さ
れ、出力される情報を該ハーフミラー１を通して表示す
る。ＣＣＤカメラ２は、ユーザ操作の対象として、赤外
光を放射するユーザ６の指を含み、その指が放射する赤
外光を反射するハーフミラー１を含む領域の赤外光を撮
像する。制御装置４は、ＣＣＤカメラ２から入力された
撮像信号に基づいて、上記ユーザ操作が反映された画像
情報を生成し、この画像情報から検出した特定の意図を
有する入力情報に対応した情報をディスプレイ装置３に
表示する表示制御を含む制御処理を実行する。
境を実現して入力情報に対応した情報の出力を行う情報
入出力装置とその方法を提供する。 【解決手段】 ディスプレイ装置３は、ハーフミラー１
を有し、このハーフミラー１の背面側に対して配置さ
れ、出力される情報を該ハーフミラー１を通して表示す
る。ＣＣＤカメラ２は、ユーザ操作の対象として、赤外
光を放射するユーザ６の指を含み、その指が放射する赤
外光を反射するハーフミラー１を含む領域の赤外光を撮
像する。制御装置４は、ＣＣＤカメラ２から入力された
撮像信号に基づいて、上記ユーザ操作が反映された画像
情報を生成し、この画像情報から検出した特定の意図を
有する入力情報に対応した情報をディスプレイ装置３に
表示する表示制御を含む制御処理を実行する。
Description
【０００１】
【発明の属する技術分野】本発明は、外部より入力され
た情報に対応した情報を出力する情報入出力装置とその
方法に関するものである。
た情報に対応した情報を出力する情報入出力装置とその
方法に関するものである。
【０００２】
【従来の技術】例えば、コンピュータ等の情報入出力装
置では、ユーザの入力操作に対応した所定の反応を表示
等によって提示するという入出力の仕組みが数多く利用
されている。例えば、マウスやキーボード等の入力装置
に対して行われたユーザの入力操作に対応した所定の反
応を、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶
ディスプレイ等の表示デバイスに対して表示させるよう
な仕組みが広く普及している。
置では、ユーザの入力操作に対応した所定の反応を表示
等によって提示するという入出力の仕組みが数多く利用
されている。例えば、マウスやキーボード等の入力装置
に対して行われたユーザの入力操作に対応した所定の反
応を、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶
ディスプレイ等の表示デバイスに対して表示させるよう
な仕組みが広く普及している。
【０００３】また、更に拡大されたインタラクティブな
入出力環境の実現のための情報入出力装置として、特開
平１１−５３１１１号公報に記載の装置等も知られてい
る。例えば、この装置では、ユーザが半透明面の前面側
で入力情報としての物理対象を近づけると半透明面の背
面側から検出される赤外線反射光量が変化することを利
用して、半透明面に対する表示等を制御することができ
るようになっている。
入出力環境の実現のための情報入出力装置として、特開
平１１−５３１１１号公報に記載の装置等も知られてい
る。例えば、この装置では、ユーザが半透明面の前面側
で入力情報としての物理対象を近づけると半透明面の背
面側から検出される赤外線反射光量が変化することを利
用して、半透明面に対する表示等を制御することができ
るようになっている。
【０００４】
【発明が解決しようとする課題】ところで、近年の情報
作成環境の発達により、３次元ＣＧ（Computer Graphic
s）や立体映像等を代表とする３次元的な広がりを有す
る情報を制御するためのインタラクティブな入出力環境
の実現が望まれている。こうした情報に対する制御を考
えた場合、上記したようなこれまでの情報入出力形態で
は、３次元的な情報の入出力の点で限界が生じる。
作成環境の発達により、３次元ＣＧ（Computer Graphic
s）や立体映像等を代表とする３次元的な広がりを有す
る情報を制御するためのインタラクティブな入出力環境
の実現が望まれている。こうした情報に対する制御を考
えた場合、上記したようなこれまでの情報入出力形態で
は、３次元的な情報の入出力の点で限界が生じる。
【０００５】また、こうした３次元的な情報を扱おうと
した場合、レンジセンサといった３次元計測装置等の利
用が考えられるが、このような装置を利用すると、その
入出力間のインターフェイスが間接的になってしまい、
直接的な操作を望む場合には機能的に不十分となる。こ
のように、これまでの情報入出力装置では３次元的なイ
ンタラクティブな情報入出力環境を実現するには様々な
障害となる要因が存在する。
した場合、レンジセンサといった３次元計測装置等の利
用が考えられるが、このような装置を利用すると、その
入出力間のインターフェイスが間接的になってしまい、
直接的な操作を望む場合には機能的に不十分となる。こ
のように、これまでの情報入出力装置では３次元的なイ
ンタラクティブな情報入出力環境を実現するには様々な
障害となる要因が存在する。
【０００６】そこで本発明は、上記の問題点を解決する
ため、３次元的、インタラクティブな情報入出力環境を
実現して入力情報に対応した情報の出力を行う情報入出
力装置とその方法を提供することを課題とする。
ため、３次元的、インタラクティブな情報入出力環境を
実現して入力情報に対応した情報の出力を行う情報入出
力装置とその方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】上記した課題を解決する
ため、本発明は、入力情報に対応した情報を出力する情
報入出力装置において、ハーフミラーを有し、このハー
フミラーの背面側に対して配置され、出力される情報を
該ハーフミラーを通して表示する情報表示手段と、赤外
光を放射するユーザ操作の対象を含み、該対象が放射す
る赤外光を反射する上記ハーフミラーを含む領域の赤外
光を撮像する撮像手段と、上記撮像手段から入力された
撮像信号に基づいて、上記ユーザ操作が反映された画像
情報を生成し、該画像情報から検出した特定の意図を有
する入力情報に基づいて処理した情報を上記情報表示手
段に表示する表示制御を含む制御処理を実行する制御手
段と、を備えていることを特徴とする情報入出力装置を
解決手段とする。
ため、本発明は、入力情報に対応した情報を出力する情
報入出力装置において、ハーフミラーを有し、このハー
フミラーの背面側に対して配置され、出力される情報を
該ハーフミラーを通して表示する情報表示手段と、赤外
光を放射するユーザ操作の対象を含み、該対象が放射す
る赤外光を反射する上記ハーフミラーを含む領域の赤外
光を撮像する撮像手段と、上記撮像手段から入力された
撮像信号に基づいて、上記ユーザ操作が反映された画像
情報を生成し、該画像情報から検出した特定の意図を有
する入力情報に基づいて処理した情報を上記情報表示手
段に表示する表示制御を含む制御処理を実行する制御手
段と、を備えていることを特徴とする情報入出力装置を
解決手段とする。
【０００８】あるいは、上記の情報入出力装置におい
て、上記撮像手段は、撮像信号に情報表示手段が表示出
力する可視情報が含まれないように除去する手段を備え
ていることを特徴とする情報入出力装置を解決手段とす
る。
て、上記撮像手段は、撮像信号に情報表示手段が表示出
力する可視情報が含まれないように除去する手段を備え
ていることを特徴とする情報入出力装置を解決手段とす
る。
【０００９】あるいは、上記の情報入出力装置におい
て、上記制御手段は、撮像手段から入力された撮像信号
に基づいて、入力情報となるユーザ操作が反映された画
像情報を生成する画像入力手段と、上記画像情報を解析
し、特定の意図を有する入力情報を検出する画像処理手
段と、上記特定の意図を有する入力情報に基づいて処理
した情報を出力する情報処理手段と、上記情報処理手段
から出力された情報を情報表示手段に表示する表示制御
を実行する情報出力手段と、を備えていることを特徴と
する情報入出力装置を解決手段とする。
て、上記制御手段は、撮像手段から入力された撮像信号
に基づいて、入力情報となるユーザ操作が反映された画
像情報を生成する画像入力手段と、上記画像情報を解析
し、特定の意図を有する入力情報を検出する画像処理手
段と、上記特定の意図を有する入力情報に基づいて処理
した情報を出力する情報処理手段と、上記情報処理手段
から出力された情報を情報表示手段に表示する表示制御
を実行する情報出力手段と、を備えていることを特徴と
する情報入出力装置を解決手段とする。
【００１０】あるいは、上記の情報入出力装置におい
て、上記画像処理手段は、画像情報を解析し、ユーザ操
作の対象からの直接の赤外光の位置、及びハーフミラー
での該対象の直接の赤外光の反射光の位置に基づいて、
該対象の３次元位置を、特定の意図を有する入力情報と
して検出するものであることを特徴とする情報入出力装
置を解決手段とする。
て、上記画像処理手段は、画像情報を解析し、ユーザ操
作の対象からの直接の赤外光の位置、及びハーフミラー
での該対象の直接の赤外光の反射光の位置に基づいて、
該対象の３次元位置を、特定の意図を有する入力情報と
して検出するものであることを特徴とする情報入出力装
置を解決手段とする。
【００１１】あるいは、上記の情報入出力装置におい
て、上記画像処理手段は、画像情報を解析し、ユーザ操
作の対象からの直接の赤外光の動き、及びハーフミラー
での該対象の直接の赤外光の反射光の動きに基づいて、
該対象の３次元の動きを、特定の意図を有する入力情報
として検出するものであることを特徴とする情報入出力
装置を解決手段とする。
て、上記画像処理手段は、画像情報を解析し、ユーザ操
作の対象からの直接の赤外光の動き、及びハーフミラー
での該対象の直接の赤外光の反射光の動きに基づいて、
該対象の３次元の動きを、特定の意図を有する入力情報
として検出するものであることを特徴とする情報入出力
装置を解決手段とする。
【００１２】また、本発明は、入力情報に対応した情報
を出力する情報入出力方法において、ハーフミラーを有
し、このハーフミラーの背面側に対して配置された情報
表示手段に、情報を該ハーフミラーを通して表示する情
報表示手順と、赤外光を放射するユーザ操作の対象を含
み、該対象が放射する赤外光を反射する上記ハーフミラ
ーを含む領域の赤外光を、撮像手段を用いて撮像する撮
像手順と、上記撮像手順で得られた撮像信号に基づい
て、上記ユーザ操作が反映された画像情報を生成し、該
画像情報から特定の意図を有する入力情報を検出し、該
特定の意図を有する入力情報に基づいて処理した出力情
報を上記情報表示手段に表示する表示制御を含む制御処
理を実行する制御手順と、を有していることを特徴とす
る情報入出力方法を解決手段とする。
を出力する情報入出力方法において、ハーフミラーを有
し、このハーフミラーの背面側に対して配置された情報
表示手段に、情報を該ハーフミラーを通して表示する情
報表示手順と、赤外光を放射するユーザ操作の対象を含
み、該対象が放射する赤外光を反射する上記ハーフミラ
ーを含む領域の赤外光を、撮像手段を用いて撮像する撮
像手順と、上記撮像手順で得られた撮像信号に基づい
て、上記ユーザ操作が反映された画像情報を生成し、該
画像情報から特定の意図を有する入力情報を検出し、該
特定の意図を有する入力情報に基づいて処理した出力情
報を上記情報表示手段に表示する表示制御を含む制御処
理を実行する制御手順と、を有していることを特徴とす
る情報入出力方法を解決手段とする。
【００１３】あるいは、上記の情報入出力方法におい
て、上記制御手順は、撮像手順で得られた撮像信号に基
づいて、入力情報となるユーザ操作が反映された画像情
報を生成する画像入力手順と、上記画像情報を解析し、
特定の意図を有する入力情報を検出する画像処理手順
と、上記特定の意図を有する入力情報に基づいて処理し
た情報を出力する情報処理手順と、上記情報処理手順か
ら出力された情報を情報表示手段に表示する表示制御を
実行する情報出力手順と、を有していることを特徴とす
る情報入出力方法を解決手段とする。
て、上記制御手順は、撮像手順で得られた撮像信号に基
づいて、入力情報となるユーザ操作が反映された画像情
報を生成する画像入力手順と、上記画像情報を解析し、
特定の意図を有する入力情報を検出する画像処理手順
と、上記特定の意図を有する入力情報に基づいて処理し
た情報を出力する情報処理手順と、上記情報処理手順か
ら出力された情報を情報表示手段に表示する表示制御を
実行する情報出力手順と、を有していることを特徴とす
る情報入出力方法を解決手段とする。
【００１４】あるいは、上記の情報入出力方法におい
て、上記画像処理手順では、画像情報を解析し、ユーザ
操作の対象からの直接の赤外光の位置、及びハーフミラ
ーでの該対象の直接の赤外光の反射光の位置に基づい
て、該対象の３次元位置を、特定の意図を有する入力情
報として検出することを特徴とする情報入出力方法を解
決手段とする。
て、上記画像処理手順では、画像情報を解析し、ユーザ
操作の対象からの直接の赤外光の位置、及びハーフミラ
ーでの該対象の直接の赤外光の反射光の位置に基づい
て、該対象の３次元位置を、特定の意図を有する入力情
報として検出することを特徴とする情報入出力方法を解
決手段とする。
【００１５】あるいは、上記の情報入出力方法におい
て、上記画像処理手順では、画像情報を解析し、ユーザ
操作の対象からの直接の赤外光の動き、及びハーフミラ
ーでの該対象の直接の赤外光の反射光の動きに基づい
て、該対象の３次元の動きを、特定の意図を有する入力
情報として検出することを特徴とする情報入出力方法を
解決手段とする。
て、上記画像処理手順では、画像情報を解析し、ユーザ
操作の対象からの直接の赤外光の動き、及びハーフミラ
ーでの該対象の直接の赤外光の反射光の動きに基づい
て、該対象の３次元の動きを、特定の意図を有する入力
情報として検出することを特徴とする情報入出力方法を
解決手段とする。
【００１６】本発明の上記構成によると、ユーザ操作の
対象から放射される直接の赤外光、及び該直接光の反射
光を捉え、その状態から得られる３次元情報を入力情報
として利用することが可能となる。そして、こうして得
られた入力情報に対応した情報を出力するように構成す
ることが可能となり、このとき、上記ハーフミラーの背
面側に対して配置される情報表示手段において、該当す
る情報を表示出力させることによって、このハーフミラ
ーを、ユーザ操作によって入力情報が入力される媒体機
能と、入力情報に応じた各種の情報表示が行われる表示
機能として実現することが可能となる。
対象から放射される直接の赤外光、及び該直接光の反射
光を捉え、その状態から得られる３次元情報を入力情報
として利用することが可能となる。そして、こうして得
られた入力情報に対応した情報を出力するように構成す
ることが可能となり、このとき、上記ハーフミラーの背
面側に対して配置される情報表示手段において、該当す
る情報を表示出力させることによって、このハーフミラ
ーを、ユーザ操作によって入力情報が入力される媒体機
能と、入力情報に応じた各種の情報表示が行われる表示
機能として実現することが可能となる。
【００１７】
【発明の実施の形態】以下、本発明の一実施の形態にお
ける情報入出力装置とその方法について説明する。先
ず、図１及び図２を参照して、本発明の構成について説
明する。
ける情報入出力装置とその方法について説明する。先
ず、図１及び図２を参照して、本発明の構成について説
明する。
【００１８】図１は、本発明の実施の形態としての情報
入出力装置の構成を図示している。本実施の形態として
の情報入出力装置は、ハーフミラー１、ＣＣＤ（Charge
Coupled Device）カメラ２、ディスプレイ装置３、及
び制御装置４を備えて構成される。ＣＣＤカメラ２はハ
ーフミラー１の上方に設けられ、また、ディスプレイ装
置３はハーフミラー１の背面側に対して設けられる。
入出力装置の構成を図示している。本実施の形態として
の情報入出力装置は、ハーフミラー１、ＣＣＤ（Charge
Coupled Device）カメラ２、ディスプレイ装置３、及
び制御装置４を備えて構成される。ＣＣＤカメラ２はハ
ーフミラー１の上方に設けられ、また、ディスプレイ装
置３はハーフミラー１の背面側に対して設けられる。
【００１９】ハーフミラー１は、光の透過率を制御する
ために、例えば蒸着等で特殊な膜をコーティングして形
成され、ユーザ操作によって入力情報が入力される媒体
機能と、入力情報に応じた各種の情報表示が行われる表
示機能の二つの機能を実現する。
ために、例えば蒸着等で特殊な膜をコーティングして形
成され、ユーザ操作によって入力情報が入力される媒体
機能と、入力情報に応じた各種の情報表示が行われる表
示機能の二つの機能を実現する。
【００２０】ＣＣＤカメラ２は、ＣＣＤを撮像素子とし
て用いたカメラであり、この装置においては、ユーザ操
作の対象及び該操作の対象が写るハーフミラー１が撮影
される構図として含まれる領域の赤外光の成分を撮像す
る。このため、ＣＣＤカメラ２には、赤外線波長帯域の
みを透過する赤外線透過フィルタ５が設けられる。ＣＣ
Ｄカメラ２が上記の構図を撮影できるようにするため
に、ハーフミラー１はＣＣＤカメラ２の光軸の方向に対
して斜めに配置される。
て用いたカメラであり、この装置においては、ユーザ操
作の対象及び該操作の対象が写るハーフミラー１が撮影
される構図として含まれる領域の赤外光の成分を撮像す
る。このため、ＣＣＤカメラ２には、赤外線波長帯域の
みを透過する赤外線透過フィルタ５が設けられる。ＣＣ
Ｄカメラ２が上記の構図を撮影できるようにするため
に、ハーフミラー１はＣＣＤカメラ２の光軸の方向に対
して斜めに配置される。
【００２１】ディスプレイ装置３は、制御装置４から出
力される出力情報を表示する。このとき、ユーザ６は、
このディスプレイ装置３に表示された情報をハーフミラ
ー１の前面側から観察することができる。ここで、表示
されている情報は可視光であり、赤外光を含まないた
め、ハーフミラー１を上方側から撮影しても、ＣＣＤカ
メラ２からは不可視となる。
力される出力情報を表示する。このとき、ユーザ６は、
このディスプレイ装置３に表示された情報をハーフミラ
ー１の前面側から観察することができる。ここで、表示
されている情報は可視光であり、赤外光を含まないた
め、ハーフミラー１を上方側から撮影しても、ＣＣＤカ
メラ２からは不可視となる。
【００２２】制御装置４は、例えばコンピュータを備え
て構成され、ＣＣＤカメラ２から入力される撮像信号か
ら画像情報を得て、更に、この画像情報をもとに特定の
意図を有する入力情報を検出する。そして、この入力情
報に基づいて処理した情報を出力情報とし、例えばディ
スプレイ装置３にその出力情報に関する表示制御を実行
する等の制御処理を行う。
て構成され、ＣＣＤカメラ２から入力される撮像信号か
ら画像情報を得て、更に、この画像情報をもとに特定の
意図を有する入力情報を検出する。そして、この入力情
報に基づいて処理した情報を出力情報とし、例えばディ
スプレイ装置３にその出力情報に関する表示制御を実行
する等の制御処理を行う。
【００２３】図２は、上記制御装置４の内部構成例を示
すブロック図である。本構成例の制御装置４は、画像入
力部４１、画像処理部４２、情報処理部４３、および情
報出力部４４から構成されている。
すブロック図である。本構成例の制御装置４は、画像入
力部４１、画像処理部４２、情報処理部４３、および情
報出力部４４から構成されている。
【００２４】画像入力部４１は、ＣＣＤカメラ２から入
力された撮像信号に対して信号処理を施すことにより画
像情報を生成して画像処理部４２に出力する。この画像
情報は、操作対象が放射する直接の赤外光、及びハーフ
ミラー１による該操作対象が放射する直接の赤外光の反
射光が同時に入力され撮像された撮像信号をもとに生成
される。
力された撮像信号に対して信号処理を施すことにより画
像情報を生成して画像処理部４２に出力する。この画像
情報は、操作対象が放射する直接の赤外光、及びハーフ
ミラー１による該操作対象が放射する直接の赤外光の反
射光が同時に入力され撮像された撮像信号をもとに生成
される。
【００２５】画像処理部４２では、例えば画像入力部４
１から入力された画像情報を利用して解析処理等を実行
し、行われた操作等に基づく入力情報を検出する。この
入力情報としては、例えば、操作対象の３次元の位置や
３次元の動き等が用いられる。この３次元の位置や動き
等の解析処理の原理は、操作対象が放射する直接の赤外
光の画像上の位置からＣＣＤカメラ２の光軸に直交する
平面上の位置を求めることができ、操作対象が放射する
直接の赤外光のハーフミラー１による反射光の画像上の
位置からＣＣＤカメラ２の光軸方向の位置を求めること
ができるというものであり、例えば、特願２００２−２
３３０９「３次元情報算出方法、装置、３次元情報入力
装置およびシステム」に記載の方法及び装置等の既存技
術が利用できる。
１から入力された画像情報を利用して解析処理等を実行
し、行われた操作等に基づく入力情報を検出する。この
入力情報としては、例えば、操作対象の３次元の位置や
３次元の動き等が用いられる。この３次元の位置や動き
等の解析処理の原理は、操作対象が放射する直接の赤外
光の画像上の位置からＣＣＤカメラ２の光軸に直交する
平面上の位置を求めることができ、操作対象が放射する
直接の赤外光のハーフミラー１による反射光の画像上の
位置からＣＣＤカメラ２の光軸方向の位置を求めること
ができるというものであり、例えば、特願２００２−２
３３０９「３次元情報算出方法、装置、３次元情報入力
装置およびシステム」に記載の方法及び装置等の既存技
術が利用できる。
【００２６】情報処理部４３は、画像処理部４２により
得られた入力情報を利用して、この入力情報に基づいた
処理、例えば入力情報に対応する情報を出力する処理等
を実行する。この際、情報処理部４３が実行する制御処
理に必要なプログラム等はコンピュータのメモリに格納
されており、該プログラム等に基づいて制御処理を実行
する。
得られた入力情報を利用して、この入力情報に基づいた
処理、例えば入力情報に対応する情報を出力する処理等
を実行する。この際、情報処理部４３が実行する制御処
理に必要なプログラム等はコンピュータのメモリに格納
されており、該プログラム等に基づいて制御処理を実行
する。
【００２７】情報出力部４４は、情報処理部４３の制御
によって、必要な出力情報を生成して、ディスプレイ装
置３に出力する。例えば、出力情報をＲＧＢ信号に変換
してディスプレイ装置３に対して出力すること等が行わ
れる。また、このとき、必要があれば、上記画像入力部
４１からの画像情報を合成して、出力情報を生成するこ
と等が行われる。
によって、必要な出力情報を生成して、ディスプレイ装
置３に出力する。例えば、出力情報をＲＧＢ信号に変換
してディスプレイ装置３に対して出力すること等が行わ
れる。また、このとき、必要があれば、上記画像入力部
４１からの画像情報を合成して、出力情報を生成するこ
と等が行われる。
【００２８】次に、上記構成による本実施の形態の情報
入出力装置における入力情報の検出動作、及び、得られ
た入力情報に対応した本実施の形態の情報入出力装置の
動作とともに、本発明の情報入力方法の一実施の形態
を、ユーザ６がメニュー選択を行う場合を例に挙げ、ユ
ーザ６のハーフミラー１の前面側での動きと共に説明す
る。
入出力装置における入力情報の検出動作、及び、得られ
た入力情報に対応した本実施の形態の情報入出力装置の
動作とともに、本発明の情報入力方法の一実施の形態
を、ユーザ６がメニュー選択を行う場合を例に挙げ、ユ
ーザ６のハーフミラー１の前面側での動きと共に説明す
る。
【００２９】ユーザ６は、ハーフミラー１の前面側にお
いて赤外線を発する何らかの対象を利用してハーフミラ
ー１の前面側において操作を行う。赤外線を発する何ら
かの対象としては、ペン先に赤外光を発するＬＥＤを備
えたもの等が利用できるが、ここでは、例えば、ユーザ
６の指を用いることとし、図１に示すようにハーフミラ
ー１の前面側においてユーザ６が操作しているとする。
いて赤外線を発する何らかの対象を利用してハーフミラ
ー１の前面側において操作を行う。赤外線を発する何ら
かの対象としては、ペン先に赤外光を発するＬＥＤを備
えたもの等が利用できるが、ここでは、例えば、ユーザ
６の指を用いることとし、図１に示すようにハーフミラ
ー１の前面側においてユーザ６が操作しているとする。
【００３０】このときの、ユーザ６が情報入出力装置を
利用してメニュー選択を行う際の、ハーフミラー１を前
面側からみたディスプレイ装置３の表示の状態を図３に
示す。ここでは、テレビ番組の情報を表示させるための
メニュー選択を例としており、横方向がチャンネル、縦
方向が時間、奥行き方向が日付となっている。この状態
に対して、所望のテレビ番組の情報を、ユーザ６が指を
ある３次元位置に移動させ、表示させることになる。
利用してメニュー選択を行う際の、ハーフミラー１を前
面側からみたディスプレイ装置３の表示の状態を図３に
示す。ここでは、テレビ番組の情報を表示させるための
メニュー選択を例としており、横方向がチャンネル、縦
方向が時間、奥行き方向が日付となっている。この状態
に対して、所望のテレビ番組の情報を、ユーザ６が指を
ある３次元位置に移動させ、表示させることになる。
【００３１】この様子をハーフミラー１の上方にあるＣ
ＣＤカメラ２にて撮影して制御装置４に入力すると、制
御装置４の画像入力部４１では、図４に示すような画像
情報が生成される。図４の上部はユーザ６の指が放射す
る直接の赤外光による部分であり、図４下部はハーフミ
ラー１によるのユーザ６の指が放射する直接の赤外光の
反射光の部分である。ユーザ６の指は他の周囲の部分よ
りも多くの赤外光を放射しているため、ユーザ６の指に
あたる領域の赤外光強度のレベルが強く、その背景とな
る部分との差が生じるので、形状が鮮明な状態の画像情
報が生成される。このとき、このようなユーザ６の指に
あたる領域を背景から分離させた画像情報は、あらかじ
め設定された条件に応じたしきい値処理において生成さ
れるものである。なお、ディスプレイ装置３に表示され
ている可視光の像は除去されて入力されないため、操作
対象と他の周囲部分との強度レベルを比較すれば、容易
にユーザ操作が含まれている所望の画像情報を得ること
が可能である。
ＣＤカメラ２にて撮影して制御装置４に入力すると、制
御装置４の画像入力部４１では、図４に示すような画像
情報が生成される。図４の上部はユーザ６の指が放射す
る直接の赤外光による部分であり、図４下部はハーフミ
ラー１によるのユーザ６の指が放射する直接の赤外光の
反射光の部分である。ユーザ６の指は他の周囲の部分よ
りも多くの赤外光を放射しているため、ユーザ６の指に
あたる領域の赤外光強度のレベルが強く、その背景とな
る部分との差が生じるので、形状が鮮明な状態の画像情
報が生成される。このとき、このようなユーザ６の指に
あたる領域を背景から分離させた画像情報は、あらかじ
め設定された条件に応じたしきい値処理において生成さ
れるものである。なお、ディスプレイ装置３に表示され
ている可視光の像は除去されて入力されないため、操作
対象と他の周囲部分との強度レベルを比較すれば、容易
にユーザ操作が含まれている所望の画像情報を得ること
が可能である。
【００３２】続いて、制御装置４の画像処理部４２で
は、このときに得られる画像情報を解析して、ユーザ６
の指の３次元位置や３次元の動きを入力情報として検出
する。続いて、情報処理部４３では、この入力情報に基
づいた処理を実行し、最後に情報出力部４４において、
その処理結果を出力情報としてディスプレイ装置３に表
示する。
は、このときに得られる画像情報を解析して、ユーザ６
の指の３次元位置や３次元の動きを入力情報として検出
する。続いて、情報処理部４３では、この入力情報に基
づいた処理を実行し、最後に情報出力部４４において、
その処理結果を出力情報としてディスプレイ装置３に表
示する。
【００３３】ここでは、情報処理部４３が、画像処理部
４２で検出されたユーザ６の指の３次元位置をメニュー
項目の画面に対応させ、該当する日付のメニュー項目が
表示される情報を出力し、情報出力部４４の表示制御に
より、ディスプレイ装置３には図５のように切り替わっ
たメニュー項目が表示される。そして、この状態のもと
で、ユーザ６は自身の指を用いて、メニュー項目が表示
されている任意の領域５０１を指したとする。このと
き、上述のように画像入力部４１の画像情報から、画像
処理部４２においてユーザ６の指の３次元位置が入力情
報として得られ、情報処理部４３において、指示表示が
開始された状態から所定時間経過したとして、ユーザ６
の指の３次元位置をメニュー項目の画面に対応させるこ
とにより領域５０１を検出し、この領域５０１に該当す
る情報を出力する処理が行われ、情報出力部４４の表示
制御によりディスプレイ装置３には図６のように該当す
る番組の情報が表示される。
４２で検出されたユーザ６の指の３次元位置をメニュー
項目の画面に対応させ、該当する日付のメニュー項目が
表示される情報を出力し、情報出力部４４の表示制御に
より、ディスプレイ装置３には図５のように切り替わっ
たメニュー項目が表示される。そして、この状態のもと
で、ユーザ６は自身の指を用いて、メニュー項目が表示
されている任意の領域５０１を指したとする。このと
き、上述のように画像入力部４１の画像情報から、画像
処理部４２においてユーザ６の指の３次元位置が入力情
報として得られ、情報処理部４３において、指示表示が
開始された状態から所定時間経過したとして、ユーザ６
の指の３次元位置をメニュー項目の画面に対応させるこ
とにより領域５０１を検出し、この領域５０１に該当す
る情報を出力する処理が行われ、情報出力部４４の表示
制御によりディスプレイ装置３には図６のように該当す
る番組の情報が表示される。
【００３４】このようにして、ハーフミラー１の前面側
の状態を検出する構成を採ることにより、このハーフミ
ラー１をインタラクティブなインターフェイスのための
媒介機能として利用することができる。このとき、本実
施の形態では、赤外光によって得られる画像に基づいて
入力情報を得ることになるので、入力情報を入力するた
めの操作対象として、特に特殊なポインティングデバイ
スを必要とせず、赤外線を放射するものであれば、上述
のような人体の一部もしくは全体、その他の何らかのも
のを利用できる。
の状態を検出する構成を採ることにより、このハーフミ
ラー１をインタラクティブなインターフェイスのための
媒介機能として利用することができる。このとき、本実
施の形態では、赤外光によって得られる画像に基づいて
入力情報を得ることになるので、入力情報を入力するた
めの操作対象として、特に特殊なポインティングデバイ
スを必要とせず、赤外線を放射するものであれば、上述
のような人体の一部もしくは全体、その他の何らかのも
のを利用できる。
【００３５】このとき、赤外光による画像情報のしきい
値処理の容易さによって、複数の入力情報を同時に得る
ことが可能となる。また、ハーフミラー１による反射光
を利用することによって、操作対象の３次元情報を得る
ことができ、入力情報として利用することが可能とな
る。更に、ハーフミラー１は表示機能も有することか
ら、例えば、指先の動きに対応して、処理対象物体の操
作が行える等の直接的な操作を実現することも容易に可
能となる。このように、本実施の形態としての情報入出
力装置では、これまでには無かったような３次元的なイ
ンタラクティブな情報入出力環境を容易に実現すること
ができる。
値処理の容易さによって、複数の入力情報を同時に得る
ことが可能となる。また、ハーフミラー１による反射光
を利用することによって、操作対象の３次元情報を得る
ことができ、入力情報として利用することが可能とな
る。更に、ハーフミラー１は表示機能も有することか
ら、例えば、指先の動きに対応して、処理対象物体の操
作が行える等の直接的な操作を実現することも容易に可
能となる。このように、本実施の形態としての情報入出
力装置では、これまでには無かったような３次元的なイ
ンタラクティブな情報入出力環境を容易に実現すること
ができる。
【００３６】なお、本発明に基づいて構成される情報入
出力装置や情報入出力方法において、各種の入出力動作
を実現するための入力情報の入力形態及び入力情報に応
じた制御処理動作は、これまでの説明の内容に限定され
るものではなく、本発明としての要旨を逸脱しない範囲
で種々変更可能であることはいうまでもない。
出力装置や情報入出力方法において、各種の入出力動作
を実現するための入力情報の入力形態及び入力情報に応
じた制御処理動作は、これまでの説明の内容に限定され
るものではなく、本発明としての要旨を逸脱しない範囲
で種々変更可能であることはいうまでもない。
【００３７】
【発明の効果】以上説明したように本発明によれば、入
力操作のための特殊なポインティングデバイスを必要と
せず、上述したように、例えばユーザ自身の人体の一部
もしくは全体を操作対象として用いることによって入力
操作を行うことが可能となる。また、本発明はハーフミ
ラーによる反射光を利用して操作対象の３次元情報を得
ることができ、入力情報として利用することが可能とな
ること、及び、このハーフミラーが得られた３次元情報
に応じた各種の情報表示が行われる表示機能を有するこ
と、ができるようになり、見ているものとの直接的な入
力操作を実現することが容易に可能となる。
力操作のための特殊なポインティングデバイスを必要と
せず、上述したように、例えばユーザ自身の人体の一部
もしくは全体を操作対象として用いることによって入力
操作を行うことが可能となる。また、本発明はハーフミ
ラーによる反射光を利用して操作対象の３次元情報を得
ることができ、入力情報として利用することが可能とな
ること、及び、このハーフミラーが得られた３次元情報
に応じた各種の情報表示が行われる表示機能を有するこ
と、ができるようになり、見ているものとの直接的な入
力操作を実現することが容易に可能となる。
【図１】本発明の一実施の形態による情報入出力装置の
構成図である。
構成図である。
【図２】上記情報入出力装置における制御装置の内部構
成例を示すブロック図である。
成例を示すブロック図である。
【図３】上記情報入出力装置を利用して、ユーザがメニ
ュー選択を行う際の、ハーフミラーを前面側からみた状
態を示す図である。
ュー選択を行う際の、ハーフミラーを前面側からみた状
態を示す図である。
【図４】上記ハーフミラーの上方にあるＣＣＤカメラに
て撮影した際に、上記制御装置の画像入力部で生成され
る画像情報を示す図である。
て撮影した際に、上記制御装置の画像入力部で生成され
る画像情報を示す図である。
【図５】上記画像情報によるユーザの指の３次元位置に
対応させて、該当する日付のメニュー項目に切り替えて
ディスプレイ装置に表示した状態を示す図である。
対応させて、該当する日付のメニュー項目に切り替えて
ディスプレイ装置に表示した状態を示す図である。
【図６】上記画像情報によるユーザの指の３次元位置に
対応させて、該当する番組の情報をディスプレイ装置に
表示した状態を示す図である。
対応させて、該当する番組の情報をディスプレイ装置に
表示した状態を示す図である。
１…ハーフミラー
２…ＣＣＤカメラ
３…ディスプレイ装置
４…制御装置
４１…画像入力部
４２…画像処理部
４３…情報処理部
４４…情報出力部
５…赤外線透過フィルタ
６…ユーザ
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
// Ｇ０１Ｓ 3/782 Ｇ０１Ｓ 3/782 Ｂ
(72)発明者 有川 知彦
東京都千代田区大手町二丁目３番１号 日
本電信電話株式会社内
Ｆターム(参考） 5B057 BA02 BA15 BA23 DA07 DB03
DC09 DC22 DC32 DC36
5B087 AA09 BC06 BC12 BC32
5E501 AB06 BA05 CB14 CC14
5L096 AA06 AA09 BA08 CA04 CA14
CA25 DA02 FA69 HA04
Claims (9)
- 【請求項１】 入力情報に対応した情報を出力する情報
入出力装置において、 ハーフミラーを有し、このハーフミラーの背面側に対し
て配置され、出力される情報を該ハーフミラーを通して
表示する情報表示手段と、 赤外光を放射するユーザ操作の対象を含み、該対象が放
射する赤外光を反射する上記ハーフミラーを含む領域の
赤外光を撮像する撮像手段と、 上記撮像手段から入力された撮像信号に基づいて、上記
ユーザ操作が反映された画像情報を生成し、該画像情報
から検出した特定の意図を有する入力情報に基づいて処
理した情報を上記情報表示手段に表示する表示制御を含
む制御処理を実行する制御手段と、を備えていることを
特徴とする情報入出力装置。 - 【請求項２】 上記撮像手段は、 撮像信号に情報表示手段が表示出力する可視情報が含ま
れないように除去する手段を備えていることを特徴とす
る請求項１に記載の情報入出力装置。 - 【請求項３】 上記制御手段は、 撮像手段から入力された撮像信号に基づいて、入力情報
となるユーザ操作が反映された画像情報を生成する画像
入力手段と、 上記画像情報を解析し、特定の意図を有する入力情報を
検出する画像処理手段と、 上記特定の意図を有する入力情報に基づいて処理した情
報を出力する情報処理手段と、 上記情報処理手段から出力された情報を情報表示手段に
表示する表示制御を実行する情報出力手段と、を備えて
いることを特徴とする請求項１または請求項２に記載の
情報入出力装置。 - 【請求項４】 上記画像処理手段は、 画像情報を解析し、ユーザ操作の対象からの直接の赤外
光の位置、及びハーフミラーでの該対象の直接の赤外光
の反射光の位置に基づいて、該対象の３次元位置を、特
定の意図を有する入力情報として検出するものであるこ
とを特徴とする請求項３に記載の情報入出力装置。 - 【請求項５】 上記画像処理手段は、 画像情報を解析し、ユーザ操作の対象からの直接の赤外
光の動き、及びハーフミラーでの該対象の直接の赤外光
の反射光の動きに基づいて、該対象の３次元の動きを、
特定の意図を有する入力情報として検出するものである
ことを特徴とする請求項３に記載の情報入出力装置。 - 【請求項６】 入力情報に対応した情報を出力する情報
入出力方法において、 ハーフミラーを有し、このハーフミラーの背面側に対し
て配置された情報表示手段に、情報を該ハーフミラーを
通して表示する情報表示手順と、 赤外光を放射するユーザ操作の対象を含み、該対象が放
射する赤外光を反射する上記ハーフミラーを含む領域の
赤外光を、撮像手段を用いて撮像する撮像手順と、 上記撮像手順で得られた撮像信号に基づいて、上記ユー
ザ操作が反映された画像情報を生成し、該画像情報から
特定の意図を有する入力情報を検出し、該特定の意図を
有する入力情報に基づいて処理した出力情報を上記情報
表示手段に表示する表示制御を含む制御処理を実行する
制御手順と、を有していることを特徴とする情報入出力
方法。 - 【請求項７】 上記制御手順は、 撮像手順で得られた撮像信号に基づいて、入力情報とな
るユーザ操作が反映された画像情報を生成する画像入力
手順と、 上記画像情報を解析し、特定の意図を有する入力情報を
検出する画像処理手順と、 上記特定の意図を有する入力情報に基づいて処理した情
報を出力する情報処理手順と、 上記情報処理手順から出力された情報を情報表示手段に
表示する表示制御を実行する情報出力手順と、を有して
いることを特徴とする請求項６に記載の情報入出力方
法。 - 【請求項８】 上記画像処理手順では、 画像情報を解析し、ユーザ操作の対象からの直接の赤外
光の位置、及びハーフミラーでの該対象の直接の赤外光
の反射光の位置に基づいて、該対象の３次元位置を、特
定の意図を有する入力情報として検出することを特徴と
する請求項７に記載の情報入出力方法。 - 【請求項９】 上記画像処理手順では、 画像情報を解析し、ユーザ操作の対象からの直接の赤外
光の動き、及びハーフミラーでの該対象の直接の赤外光
の反射光の動きに基づいて、該対象の３次元の動きを、
特定の意図を有する入力情報として検出することを特徴
とする請求項７に記載の情報入出力方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002114075A JP2003308167A (ja) | 2002-04-17 | 2002-04-17 | 情報入出力装置と方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002114075A JP2003308167A (ja) | 2002-04-17 | 2002-04-17 | 情報入出力装置と方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003308167A true JP2003308167A (ja) | 2003-10-31 |
Family
ID=29396023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002114075A Pending JP2003308167A (ja) | 2002-04-17 | 2002-04-17 | 情報入出力装置と方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003308167A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005339340A (ja) * | 2004-05-28 | 2005-12-08 | Alpine Electronics Inc | 情報検索装置およびこれを備えた入力装置 |
| KR100792326B1 (ko) | 2006-12-01 | 2008-01-07 | (주)소프트가족 | 전자기기의 동작 조작용 인터페이스 |
| JP2009129021A (ja) * | 2007-11-20 | 2009-06-11 | Ntt Docomo Inc | 情報入力システムおよび情報入力方法 |
| JP2012108723A (ja) * | 2010-11-17 | 2012-06-07 | Sharp Corp | 指示受付装置 |
| JP2013210723A (ja) * | 2012-03-30 | 2013-10-10 | Sharp Corp | 表示システム |
| JP2013239113A (ja) * | 2012-05-17 | 2013-11-28 | Sharp Corp | 電子機器、電子機器におけるアイコン操作方法、および電子機器におけるアイコン操作をコンピュータに実行させるコンピュータプログラム |
| JP2014517361A (ja) * | 2010-11-22 | 2014-07-17 | エプソン ノルウェー リサーチ アンド ディベロップメント アクティーゼルスカブ | カメラ式マルチタッチ相互作用装置、システム及び方法 |
| JP2014160412A (ja) * | 2013-02-20 | 2014-09-04 | Fuji Xerox Co Ltd | 閲覧装置及び閲覧システム |
| JP2015132875A (ja) * | 2014-01-09 | 2015-07-23 | 国立大学法人九州工業大学 | 位置検出装置及びプログラム |
| US9292093B2 (en) | 2010-11-18 | 2016-03-22 | Alpine Electronics, Inc. | Interface method and apparatus for inputting information with air finger gesture |
-
2002
- 2002-04-17 JP JP2002114075A patent/JP2003308167A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005339340A (ja) * | 2004-05-28 | 2005-12-08 | Alpine Electronics Inc | 情報検索装置およびこれを備えた入力装置 |
| KR100792326B1 (ko) | 2006-12-01 | 2008-01-07 | (주)소프트가족 | 전자기기의 동작 조작용 인터페이스 |
| JP2009129021A (ja) * | 2007-11-20 | 2009-06-11 | Ntt Docomo Inc | 情報入力システムおよび情報入力方法 |
| JP2012108723A (ja) * | 2010-11-17 | 2012-06-07 | Sharp Corp | 指示受付装置 |
| US9292093B2 (en) | 2010-11-18 | 2016-03-22 | Alpine Electronics, Inc. | Interface method and apparatus for inputting information with air finger gesture |
| JP2014517361A (ja) * | 2010-11-22 | 2014-07-17 | エプソン ノルウェー リサーチ アンド ディベロップメント アクティーゼルスカブ | カメラ式マルチタッチ相互作用装置、システム及び方法 |
| JP2013210723A (ja) * | 2012-03-30 | 2013-10-10 | Sharp Corp | 表示システム |
| JP2013239113A (ja) * | 2012-05-17 | 2013-11-28 | Sharp Corp | 電子機器、電子機器におけるアイコン操作方法、および電子機器におけるアイコン操作をコンピュータに実行させるコンピュータプログラム |
| JP2014160412A (ja) * | 2013-02-20 | 2014-09-04 | Fuji Xerox Co Ltd | 閲覧装置及び閲覧システム |
| JP2015132875A (ja) * | 2014-01-09 | 2015-07-23 | 国立大学法人九州工業大学 | 位置検出装置及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101842075B1 (ko) | 타겟 상으로의 프로젝션을 위해 콘텐츠를 트리밍 | |
| JP5389111B2 (ja) | 拡張現実情報提供装置及び方法 | |
| JP6075122B2 (ja) | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム | |
| US20180109773A1 (en) | Depth based modification of captured images | |
| EP1456806A1 (en) | Device and method for calculating a location on a display | |
| CN111475059A (zh) | 基于近距离传感器和图像传感器的手势检测 | |
| JP2004312733A (ja) | 網膜トラッキングを組み込んだ装置及び方法 | |
| JPH1124839A (ja) | 情報入力装置 | |
| WO2006013783A1 (ja) | 入力装置 | |
| JP2009140498A (ja) | 情報入出力装置及び情報入出力方法 | |
| JP2011188024A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20020136455A1 (en) | System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view | |
| US20230334789A1 (en) | Image Processing Method, Mobile Terminal, and Storage Medium | |
| JP2003308167A (ja) | 情報入出力装置と方法 | |
| US11073949B2 (en) | Display method, display device, and interactive projector configured to receive an operation to an operation surface by a hand of a user | |
| JP4296607B2 (ja) | 情報入出力装置及び情報入出力方法 | |
| KR20110052583A (ko) | 사용자 인터페이스의 네비게이션을 위해 간섭성 광 빔의 간섭 패턴의 검출된 이동을 커서 이동에 맵핑 | |
| JP2000276297A (ja) | ポインティング位置検出装置、ポインティング位置検出方法、プレーゼンテーションシステムおよび情報記憶媒体 | |
| US9300908B2 (en) | Information processing apparatus and information processing method | |
| KR101414362B1 (ko) | 영상인지 기반 공간 베젤 인터페이스 방법 및 장치 | |
| JP2013218423A (ja) | 指向性映像コントロール装置及びその方法 | |
| JP2012090785A (ja) | 電子内視鏡装置 | |
| CN113853569A (zh) | 头戴式显示器 | |
| JP6068741B2 (ja) | 表示システム | |
| JP2019120884A (ja) | 投影画像制御装置、投影画像制御システム、及び投影画像制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |