JP2002366271A - 画像表示システムおよび画像表示方法 - Google Patents
画像表示システムおよび画像表示方法Info
- Publication number
- JP2002366271A JP2002366271A JP2001178007A JP2001178007A JP2002366271A JP 2002366271 A JP2002366271 A JP 2002366271A JP 2001178007 A JP2001178007 A JP 2001178007A JP 2001178007 A JP2001178007 A JP 2001178007A JP 2002366271 A JP2002366271 A JP 2002366271A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- operator
- agent
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
対応の画像を表示する際の使用性を向上させる。 【解決手段】 視点検出部3は、撮像装置1で撮像され
た操作者の顔画像データをフレームメモリ2を介して解
析し、操作者の視点の移動量と移動方向を検出する。映
像制御部4は、複数視点から見た画像のうちから、視点
検出部3により検出された視点の移動方向と移動量に対
応した画像を特定して表示制御部5を介しディスプレイ
6に表示する。エージェント制御部7は表示される画像
とともに、擬人化エージェントを、検出された操作者の
視点に対応した方向を注目するように表示する。したが
って、操作者の視点の移動方向と移動量に対応した画像
が切替表示されるとともに、操作者の視点に対応した方
向を注目するように擬人化エージェントも表示される。
Description
および画像表示方法に関し、特に、複数の視点から見た
画像を切換えて表示するような画像表示システムおよび
画像表示方法に関する。
に関する研究が進められている。「画像環境実現のため
の基盤技術」(テレビジョン学会誌Vol.48,No.8,p
p.960〜965(1984))では、HMD(Head M
ounted Display)を用いた技術が開示されている。HM
Dは眼鏡型の装置で眼球の直前にディスプレイを設置す
ることにより、広範囲の視野角の三次元仮想映像を表示
することができ、使用者に対して仮想の映像世界の中に
いるような感覚を与えることができる。HMDと磁気セ
ンサを組合せることにより、使用者の頭部分の動きに応
じて映像を変化させることができる。たとえば、使用者
が右の方向を向くとディスプレイに表示される映像も右
方向に回転する。
で360°の視野角の映像を楽しむためのシステムも存
在する。たとえばマウスなどによる簡単操作で全周囲の
パノラマ映像を体験できる各種ソフトウェアが提供され
ている。これらのソフトウェア中にはディスプレイに表
示される三次元形状の物体を、視点を変えてさまざまな
角度から見ることのできるような機能を提供するものが
ある。
のインターフェイスとして擬人化エージェントと呼ばれ
るコンピュータグラフィックス処理による人や動物の形
をした仮想のキャラクタを用いる研究開発も盛んに行な
われている。音声認識技術を利用すれば、使用者はエー
ジェントと対話することにより、コンピュータの操作を
行なうことができるので、専門知識がなくてもコンピュ
ータ操作が可能となり、コンピュータと使用者とのマン
マシンインターフェイスとして注目されている。
やすいインターフェイスを実現するために、「ビジョン
を備えた表情インターフェイスとのインタラクション」
(情処研究報告,コンピュータビジョンとイメージメデ
ィア,pp.39−46(1996))による画像認識の
技術が提供されている。この技術では操作者の顔の向き
や、視線の方向を認識することにより、エージェントの
顔の向きや視線を、常に操作者の方を向くように動かす
ことで、操作者とエージェントとの対話がより自然に感
覚できることが実証されるとの報告がされている。ま
た、この技術では、複数の操作者がいる場合には、各操
作者の顔の位置を認識することによりエージェントの顔
や視線をコミュニケーションの対象となっている操作者
に対して向けることができる旨報告されている。
たVirtual Reality体験は頭部に装置を装着することの
煩わしさや、HMDと映像制御装置をケーブルを介して
接続する必要があるため、操作の自由度が限定される。
ual Reality体験用ソフトウェアを用いた場合は、HM
Dのような専用のデバイスを使用せずとも、パノラマ映
像や三次元物体を複数の視点から簡単に閲覧できる利点
がある。しかしながら、実際の視点の変化を、マウスや
キーボードを手動操作することで置き換えているので、
操作者は直接的な操作感が得られない。
ら見た画像のうち操作者の視点に対応の画像を表示する
際の使用性に優れる画像表示システムおよび画像表示方
法を提供することである。
る画像表示システムは、操作者に対し画像を表示する画
像表示システムであって、表示部と、操作者の視点の移
動量と移動方向を検出する視点検出手段と、複数視点か
ら見た画像のうちから、視点検出手段により検出された
視点の移動方向と移動量に対応した画像を特定して表示
部に表示するための画像表示手段と、画像表示手段によ
り表示される画像とともに、擬人化されたエージェント
を、視点検出手段により検出された操作者の視点の移動
方向を注目するように表示部に表示するエージェント表
示手段とを備える。
移動方向と移動量に対応した画像が切替表示されるとと
もに、操作者の視点の移動方向を注目するように擬人化
されたエージェントが表示される。
追従して画像が切替表示されるので映像の変化をより直
接的な操作感を有して明確に確認できると同時に、エー
ジェントとのコミュニケーション感覚も強く感じること
ができるので、複数視点から見た画像のうち操作者の視
点に対応の画像を表示する際の使用性に優れる。
により表示される画像と該画像とともにエージェント表
示手段により表示されるエージェントの注目方向とに基
づいて、エージェントが発する台詞を決定する台詞決定
手段と、台詞決定手段により決定された台詞を出力する
台詞出力手段とをさらに備えて構成されてもよい。
いるエージェントの注目方向と表示されている画像とに
基づいて決定されたエージェントが発する台詞が出力さ
れる。
ェントとのより強いコミュニケーション感覚を楽しむこ
とができる。
段により決定された台詞により、画像表示手段により表
示される画像の内容が示されるようにしてもよい。
発するように出力される台詞により、そのとき表示され
ている画像の内容が示される。
内容に関する知識を、出力される台詞を介して得ること
ができる。
段は、操作者の顔について基準位置からの移動量と移動
方向を検出する顔移動検出手段を有して、顔移動検出手
段により検出された顔の移動方向と、基準位置に対して
点対称となる方向は操作者の視点の移動方向とされて、
顔移動検出手段により検出された顔の移動量に応じて操
作者の視点の移動量が決定される。
動量は、簡単に検出することができる。
部との距離を検出する距離検出手段をさらに備えて、距
離検出手段により検出された距離に応じて表示部に表示
される画像とエージェントの倍率が変化するように構成
されてもよい。
じて画面やエージェントが拡大または縮小表示されるか
ら、操作者は表示される画像に対する現実感を強く認識
できる。
は、操作者に対し画像を表示する画像表示方法であっ
て、操作者の視点の移動量と移動方向を検出する視点検
出ステップと、複数視点から見た画像のうちから、視点
検出ステップにより検出された視点の移動方向と移動量
に対応した画像を特定して表示するための画像表示ステ
ップと、画像表示ステップにより表示される画像ととも
に、擬人化されたエージェントを、視点検出ステップに
より検出された操作者の視点の移動方向を注目するよう
に表示するエージェント表示ステップとを備えて構成さ
れる。
動量に対応した画像が切替表示されるとともに、操作者
の視点の移動方向を注目するように擬人化されたエージ
ェントも表示される。
追従して画像が切替表示されるので映像の変化を直接的
な操作感を有してより明確に確認できると同時に、エー
ジェントとのコミュニケーション感覚も強く感じること
ができるから、複数視点から見た画像のうち操作者の視
点に対応の画像を表示する際の使用性に優れる。
示プログラムは、上述の画像表示方法をコンピュータに
実行させるためのプログラムである。
体は、上述の画像表示方法をコンピュータに実行させる
ためのプログラムが記録された機械読取可能な記録媒体
である。
いて図面を参照し詳細に説明する。
は、ソフトウェアモジュールにより実現されて、コンピ
ュータが提供する環境において人間に代わって知的な作
業を実行するためのマンマシンインターフェィス機能を
有する。本実施の形態では、エージェントは、コンピュ
ータグラフィックス処理により目や口など人や動物の外
観を有した擬人化エージェントとしてユーザに提示され
る。ユーザは擬人化エージェントを介してコンピュータ
と対話しながらコンピュータを操作することができる。
の形態1に係る画像表示システムの機能ブロック構成図
である。図2は、図1の画像表示システムが塔載される
コンピュータ11の外観図である。図1と図2において
画像表示システムは、CCD(電荷結合素子)カメラか
らなりコンピュータ11において操作者の顔を撮像可能
なように取付られる撮像装置1、コンピュータ11に内
蔵されたメモリであるフレームメモリ2、視点検出部
3、映像制御部4、表示制御部5、ディスプレイ6、エ
ージェント制御部7、発声条件判定部8、音声制御部
9、およびスピーカ10を備える。図2では、ディスプ
レイ6およびスピーカ10のそれぞれは、コンピュータ
11に内蔵されているが、コンピュータ11本体に接続
されるようにしてもよい。
5、エージェント制御部7、発声条件判定部8および音
声制御部9はコンピュータ11の図示されないメモリに
予めインストールされたソフトウェアによって実現され
る。
6の表示画面例を示す図である。図3(A)は操作者が
ディスプレイ6の中心に視点を置いている場合の表示画
面例であり、表示内容は自然風景であり、画面中央上部
の顔は擬人化エージェント(以下、単にエージェントと
呼ぶ)AJである。図3(B)は操作者が中心にあった
視点を右方向に移動させた場合の表示画面例である。中
心にあった視点を右方向に移動させた場合は、図示され
るようにディスプレイ6に表示される風景は、全体的に
左方向にスクロールしている。同時に、ディスプレイ6
に表示されているエージェントAJの顔は右方向を向
く。操作者はエージェントAJを自身の鏡像と解釈する
ことにより、視点の移動方向と映像の回転方向の関係を
容易に認識することができる。また、エージェントAJ
が操作者と同じ動作を行なうことによって、操作者はエ
ージェントとの一体感を感覚できる。
の検出方法の一例について説明する。本実施の形態で
は、CCDカメラなどからなる撮像装置1を用いてコン
ピュータ11において画像表示システムを操作する操作
者の顔画像が撮影されて、撮影により得られた画像デー
タに基づく画像認識処理を利用して操作者の視点が検出
される。本実施の形態では、画像データから顔の位置を
特定し顔の位置の変化を操作者の視点の変化と解釈する
ことにより、解像度の低い画像であっても、容易に視点
の方向を検出することができる。
位置とディスプレイ6に表示される映像の関係を上部か
ら眺めた図である。図中の破線はディスプレイ6の表示
可能領域であるディスプレイ表示面61に表示される映
像を仮想的に示している。以下、これを仮想映像とい
う。操作者とディスプレイ表示面61の中心を通る矢印
実線の方向は、操作者の視点方向を示し、該矢印実線と
仮想映像の交差する点は、仮想映像における操作者の視
点を示す。仮想映像中の視点が、ディスプレイ表示面6
1の中心に投影されて表示される。したがって、操作者
の顔がディスプレイ表示面61の中心正面にある場合に
は、仮想映像中の点Aから点Bの範囲が投影されて表示
され、操作者の顔が左方向に移動して視点が移動したと
きには点Cから点Dの範囲が投影されて表示される。
集合で構成されている場合には、各視点に対応する画像
がディスプレイ6に表示される。仮想映像が、三次元座
標を持つ1枚の球面画像で構成される場合には、各視点
を中心とする部分領域がディスプレイ6に表示される。
に動かすと、視点は仮想映像上を右方向に回転する。言
い換えると、ディスプレイ表示面61の中心を基準位置
とすれば顔の移動方向と点対称となる方向に視点が回転
する。
示面61の中心正面にあるときには、点P0に投影され
ていて、顔が左方向に移動したときには、点P1に投影
される。言い換えると、図3(A)と(B)のように、
表示される仮想映像上の物体は左方向にスクロールする
ように移動する。
者は右方向の映像を見る場合にはディスプレイ表示面6
1の中心を注目した状態で右方向を覗き込むような感覚
で左方向に顔全体を動かせばよい。逆に、左方向の映像
を見る場合には、右方向に顔全体を移動させればよい。
また上方向を見る場合には、上から覗き込むような感覚
で顔全体を下方向に移動させればよい。
た画像データ中から輝度変化の大きい部分画像を検出
し、さらにその形状を解析することによって目、鼻、口
などの形状や位置関係から、顔の形状らしき画像領域を
検出することにより実現できる。さらに簡易な手法を用
いることもできる。たとえば撮像して得られた画像デー
タ中には操作者の顔以外には肌色の領域が存在しないと
仮定すれば、撮像して得られた画像データにおける色情
報を利用することにより、肌色の画像領域を検出して、
顔の位置検出を実現できる。検出された顔の位置によっ
て視点を特定する手法は、眼球の向きの認識と比較して
処理が簡易であると同時に、操作者が常にディスプレイ
表示面61の中心から視点をずらさずに、表示映像全体
を見渡すことができるという利点もある。
明する。撮像装置1により撮像されて入力された操作者
の顔を中心とした連続フレームによる画像データは、フ
レーム単位でフレームメモリ2に順次記憶される。視点
検出部3はフレームメモリ2から1枚ずつフレーム画像
を記憶された順に読出し、読出された画像データの色情
報に基づいて肌色領域を検出する。さらに、各フレーム
における肌色領域の位置を比較することによって、操作
者の顔の移動方向と移動量を計算する。図4で示したよ
うに、顔の移動方向と移動量に基づき視点の移動方向と
移動量が求められる。映像制御部4では、視点検出部3
により求められた視点の移動方向に対応の向きに表示さ
せる仮想映像を回転させる。回転角に関しては、求めら
れた視点の移動量に正比例するものとする。視点の移動
に従い回転した映像は、表示制御部5の図示されないデ
ィスプレイドライバを介し、ディスプレイ6において表
示される。
伴って仮想映像を回転処理させると同時に、仮想映像と
ともに表示させるエージェントAJの向きも変化させ
る。図3(A)のようにエージェントAJが正面(操作
者の方向)を向いた状態で表示されている場合には、図
4に示されるように、仮想映像の回転方向とエージェン
トAJの回転方向は逆方向になる。エージェントAJが
ディスプレイ表示面61上では操作者に対して背を向け
た状態で表示されている場合には、仮想映像の回転方向
とエージェントAJの回転方向は一致する。これによ
り、エージェントAJは、検出された操作者の視点方向
(または移動後の方向)を注目するように表示される。
出部3によって検出されると、エージェント制御部7
は、検出された操作者の視点の移動方向と移動量に基づ
き、エージェントAJの回転方向と回転角を求め、エー
ジェントAJの向きや視線の方向を決定する。
作者の視点の移動に応じてその向きや視線を変化させる
と同時に、回転処理される仮想映像で示される内容に応
じた台詞を発する機能を有する。たとえば、仮想映像の
回転処理によってディスプレイ表示面61に新たに表示
された仮想映像における物体の説明を音声で行なった
り、高い所から下を見下ろすような仮想映像が表示され
た場合には、「下を見ると怖いよ。」と発声することな
どが考えられる。このように、エージェントAJが表示
される映像で示される状況に応じた台詞を発することに
より、操作者は映像に関する知識を深めることができた
り、コミュニケーションの楽しみを感覚することができ
る。
想映像による表示内容とエージェントAJの表示状態を
基準として、予め設定されているものとする。具体的に
は、エージェントAJの向きや方向と、その時に表示さ
れている仮想映像と、発する台詞の内容との対応付けに
関する台詞対応付け情報は、図示されないが発生条件判
定部8に予め格納されているので、映像制御部4にてそ
の時に表示されている仮想映像とエージェント制御部7
にてエージェントAJの向きや方向のデータが特定され
たなら、発生条件判定部8は特定されたデータに基づい
て予め格納された台詞対応付け情報を検索することによ
り、発する台詞を特定することができる。発生条件判定
部8により特定された台詞は、音声制御部9の図示され
ないサウンドドライバを通してスピーカ10から音声で
出力される。
より音声出力されるとしているが、これに限定されるも
のではなく、音声出力と同時、もしくは音声出力は行な
わずに、エージェントAJの口から吹出しの枠内で文字
にて表示されるとしてもよい。
表示処理のフローチャートである。図5を参照して画像
表示システムの動作を説明する。
にて操作者が撮像されて顔画像データに基づき顔が移動
した否か、言換えると操作者の視点が移動したか否かが
視点検出部3にて検出される(ステップ402〜40
3)。
2〜403の処理が繰返されるが、視点移動が検出され
ると、検出された移動量と移動方向に基づいて映像制御
部4は表示される仮想映像を回転させるとともに、エー
ジェント制御部7はエージェントAJを回転させて、そ
の向きを変更する(ステップ404と405)。
ようにエージェントAJが台詞を発する方向を向いてい
ると特定された場合には、対応する台詞がスピーカ10
から出力されるが(ステップ407)、台詞を発する方
向を向いていると特定されない場合には、後述のステッ
プ408の処理に移行する。
理は終了するが、発せられない限りはステップ402〜
408による処理が繰返し実行される。
したことや、操作者の顔が検出されなくなったこと応じ
て発せられるようにしてよい。または、操作者がキーボ
ードの特定キーを押下したとき、マウスにより指示した
ときに発せられるようにしてもよい。
検出する手法を利用した説明をしているが、視点は、眼
球の向きや顔の向きを利用して検出するようにしてもよ
い。眼球の向きから視点の特定する手法としてよく用い
られるものは、顔画像中から目の部分を検出し、さらに
黒目の中心の目領域全体の中心からのずれを検出する手
法である。しかしながら、この手法は目の形状を詳細に
検出する必要があるため、顔の位置による判定と比較す
れば、高解像度の撮像画像データが要求される。また、
解像度の高さと比例して処理量も増加し、より複雑な認
識アルゴリズムが要求される。
者の視点方向を検出することにより、操作者が注目して
いる仮想映像上の位置を正確に判定することが可能とな
る。視点がディスプレイ表示面61の中心付近に位置す
るときは、仮想映像の回転処理はなされず、ディスプレ
イ表示面61の端に位置した場合にのみ、仮想映像が回
転処理されるようにしてもよい。また、仮想映像の回転
処理が実行されない場合にも、エージェントAJの向き
は操作者が注目している方向を向くようにしてもよい。
置に注目した場合に、予め定められた位置に付随する情
報を発声するとしてもよい。たとえば、操作者が映像中
の特定の建物に注目した場合には、その建物に関する情
報を発声により出力する。
は、操作者の視点の移動に応じて回転するだけでなく、
拡大・縮小表示されるとしてもよい。操作者がディスプ
レイ表示面61に対して顔を近付けたときには、拡大表
示され、逆に遠ざけた場合には縮小表示される。操作者
とディスプレイ表示面61の距離の検出に関しては、本
実施の形態のように肌色領域の検出を行なえば、領域の
面積が増加した場合には操作者とディスプレイ表示面6
1の距離が近くなったと判定し、逆に面積が減少した場
合には距離が遠くなったと判定することができる。
像装置1を用いて、操作者の顔の位置検出を行ない視点
検出しているが、用いられる装置はこれに限定されな
い。たとえば、赤外線センサで操作者の頭部の位置を検
出して視点検出するようにしてもよいし、光学センサを
用いて操作者の眼球の向きを検出して視点に位置を検出
する方法などを用いてもよい。
ジェントAJとの動きを同期させることによって、操作
者に対して、操作結果をより明確に呈示することと、エ
ージェントAJとのコミュニケーション感覚を強化でき
る。したがって、ディスプレイ表示面61と操作者の視
点方向との位置関係を検出する機能を備えてさえいれ
ば、本実施の形態のように、ディスプレイ6、撮像装置
1、操作者の位置が空間上で固定されていなくてもよ
い。たとえば、ディスプレイ6にHMDを適用して、視
点方向の検出に磁気センサを用いたり、全周囲型ディス
プレイの空間内で操作者が自由に動く状況においても、
本実施の形態を適用することにより同様の効果を得るこ
とができる。
有した画像表示システムは、プログラムで実現される。
本実施の形態では、このプログラムはコンピュータで読
取可能な記録媒体に格納される。
システムが搭載されるコンピュータのブロック構成図で
あり、図2のコンピュータ11に対応の構成を示す。
装置1、スピーカ10、ディスプレイ6に対応のモニタ
110、キーボード150、該コンピュータ11自体を
集中的に制御するためのCPU(中央処理装置の略)1
22、ROM(Read OnlyMemory)またはRAM(ラン
ダムアクセスメモリの略)を含んで構成されてフレーム
メモリ2の機能を有するメモリ124、固定ディスク1
26、FD(フレキシブルディスク)132が着脱自在
に装着されて、装着されたFD132をアクセスするF
D駆動装置130、CD−ROM(Compact Disc Rea
d Only Memory)142が着脱自在に装着されて、装
着されたCD−ROM142をアクセスするCD−RO
M駆動装置140、通信ネットワーク182と、該コン
ピュータ11とを通信接続するための通信インターフェ
ィス180を含む。これらの各部はバスを介して接続さ
れる。
気テープが着脱自在に装着されて磁気テープをアクセス
する磁気テープ装置が設けられても良い。
記録するための記録媒体として、図6に示されているコ
ンピュータ11で処理が行なわれるために必要なメモ
リ、たとえばROMのようなそのものがプログラムメデ
ィアであってもよいし、また外部記憶装置として磁気テ
ープ装置およびCD−ROM装置140などのプログラ
ム読取装置が設けられ、そこに記録媒体である磁気テー
プまたはCD−ROM142が挿入されることで読取可
能なプログラムメディアであってもよい。いずれの場合
においても、格納されているプログラムはCPU122
がアクセスして実行させる構成であってもよいし、ある
いはいずれの場合もプログラムが一旦読出されて、読出
されたプログラムは、図6の所定のプログラム記憶エリ
ア、たとえばRAMのプログラム記憶エリアにロードさ
れて、CPU122により読出されて実行される方式で
あってもよい。このロード用のプログラムは、予め当該
情報処理装置に格納されているものとする。
ンピュータ11本体と分離可能に構成される記録媒体で
あり、磁気テープやカセットテープなどのテープ系、F
D132や固定ディスク126などの磁気ディスクやC
D−ROM142/MO(Magnetic Optical Disc)
/MD(Mini Disc)/DVD(Digital VersatileDi
sc)などの光ディスクのディスク系、ICカード(メモ
リカードを含む)/光カードなどのカード系、あるいは
マスクROM、EPROM(Erasable andProgrammabl
e ROM)、EEPROM(Electrically EPRO
M)、フラッシュROMなどによる半導体メモリを含め
た固定的にプログラムを担持する媒体であってもよい。
ータ11はインターネットを含む通信ネットワーク18
2と通信接続可能な構成が採用されているから、通信ネ
ットワーク182からプログラムがダウンロードされる
ような流動的にプログラムを担持する媒体であってもよ
い。なお、このように通信ネットワーク182からプロ
グラムがダウンロードされる場合には、ダウンロード用
プログラムは予めコンピュータ11本体に格納しておく
か、あるいは別の記録媒体から予めコンピュータ11本
体にインストールされるものであってもよい。
はプログラムに限定されず、データであってもよい。
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
テムの機能ブロック構成図である。
ュータの外観図である。
画面例を示す図である。
スプレイに表示される映像の関係を上部から眺めた図で
ある。
フローチャートである。
搭載されるコンピュータのブロック構成図である。
4 映像制御部、5表示制御部、6 ディスプレイ、7
エージェント制御部、8 発声条件判定部、9 音声
制御部、10 スピーカ、11 コンピュータ。
Claims (6)
- 【請求項1】 操作者に対し画像を表示する画像表示シ
ステムであって、 表示部と、 前記操作者の視点の移動量と移動方向を検出する視点検
出手段と、 前記複数視点から見た画像のうちから、前記視点検出手
段により検出された前記視点の移動方向と移動量に対応
した画像を特定して前記表示部に表示するための画像表
示手段と、 前記画像表示手段により表示される画像とともに、擬人
化されたエージェントを、前記視点検出手段により検出
された前記操作者の視点の移動方向を注目するように前
記表示部に表示するエージェント表示手段とを備えた、
画像表示システム。 - 【請求項2】 前記画像表示手段により表示される画像
と該画像とともに前記エージェント表示手段により表示
される前記エージェントの注目する方向とに基づいて、
前記エージェントが発する台詞を決定する台詞決定手段
と、 前記台詞決定手段により決定された前記台詞を出力する
台詞出力手段とをさらに備える、請求項1に記載の画像
表示システム。 - 【請求項3】 前記台詞決定手段により決定された前記
台詞により、前記画像表示手段により表示される画像の
内容が示されることを特徴とする、請求項2に記載の画
像表示システム。 - 【請求項4】 前記視点検出手段は、 前記操作者の顔について基準位置からの移動量と移動方
向を検出する顔移動検出手段を有して、 前記顔移動検出手段により検出された前記顔の移動方向
と、前記基準位置に対して点対称となる方向は前記操作
者の視点の移動方向とされて、前記顔移動検出手段によ
り検出された前記顔の移動量に応じて前記操作者の視点
の移動量が決定されることを特徴とする、請求項1ない
し3のいずれかに記載の画像表示システム。 - 【請求項5】 前記操作者と前記表示部との距離を検出
する距離検出手段をさらに備えて、 前記距離検出手段により検出された前記距離に応じて前
記表示部に表示される前記画像と前記エージェントの倍
率が変化することを特徴とする、請求項1ないし4のい
ずれかに記載の画像表示システム。 - 【請求項6】 操作者に対し画像を表示する画像表示方
法であって、 前記操作者の視点の移動量と移動方向を検出する視点検
出ステップと、 前記複数視点から見た画像のうちから、前記視点検出ス
テップにより検出された前記視点の移動方向と移動量に
対応した画像を特定して表示するための画像表示ステッ
プと、 前記画像表示ステップにより表示される画像とともに、
擬人化されたエージェントを、前記視点検出ステップに
より検出された前記操作者の視点の移動方向を注目する
ように表示するエージェント表示ステップとを備えた、
画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001178007A JP3899241B2 (ja) | 2001-06-13 | 2001-06-13 | 画像表示システム、画像表示方法、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001178007A JP3899241B2 (ja) | 2001-06-13 | 2001-06-13 | 画像表示システム、画像表示方法、プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002366271A true JP2002366271A (ja) | 2002-12-20 |
JP3899241B2 JP3899241B2 (ja) | 2007-03-28 |
Family
ID=19018770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001178007A Expired - Fee Related JP3899241B2 (ja) | 2001-06-13 | 2001-06-13 | 画像表示システム、画像表示方法、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3899241B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005221690A (ja) * | 2004-02-05 | 2005-08-18 | Hitachi Ltd | 表示装置 |
WO2005119591A1 (ja) * | 2004-06-04 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | 表示制御方法および装置、プログラム、並びに携帯機器 |
WO2006028276A1 (ja) * | 2004-09-09 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | 映像機器 |
JP2006302009A (ja) * | 2005-04-21 | 2006-11-02 | Mitsubishi Electric Corp | ユーザインタフェース装置、家電・住設機器およびユーザインタフェース提示方法 |
JP2010244322A (ja) * | 2009-04-07 | 2010-10-28 | Bitto Design Kk | コミュニケーションキャラクター装置、及びそのプログラム |
JP2011107817A (ja) * | 2009-11-13 | 2011-06-02 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
KR20120070209A (ko) * | 2010-12-21 | 2012-06-29 | 삼성전자주식회사 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
JP2012530305A (ja) * | 2009-07-10 | 2012-11-29 | ペキン ユニバーシティ | 追跡される目の動きに基づく画像操作 |
JP2013061988A (ja) * | 2013-01-04 | 2013-04-04 | Fujitsu Ltd | 表示制御装置、表示制御方法および表示制御プログラム |
JP2014044729A (ja) * | 2013-09-24 | 2014-03-13 | Nec Corp | 画面表示制御方法、画面表示制御方式、電子機器及びプログラム |
US8704879B1 (en) | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US9116359B2 (en) | 2011-08-11 | 2015-08-25 | Fujitsu Limited | Stereoscopic image display apparatus |
JP2016095614A (ja) * | 2014-11-13 | 2016-05-26 | ソフトバンク株式会社 | 表示制御装置及びプログラム |
-
2001
- 2001-06-13 JP JP2001178007A patent/JP3899241B2/ja not_active Expired - Fee Related
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005221690A (ja) * | 2004-02-05 | 2005-08-18 | Hitachi Ltd | 表示装置 |
WO2005119591A1 (ja) * | 2004-06-04 | 2005-12-15 | Matsushita Electric Industrial Co., Ltd. | 表示制御方法および装置、プログラム、並びに携帯機器 |
CN100461212C (zh) * | 2004-06-04 | 2009-02-11 | 松下电器产业株式会社 | 显示控制方法及装置以及便携设备 |
US7535486B2 (en) | 2004-06-04 | 2009-05-19 | Panasonic Corporation | Display control device, display control method, program, and portable apparatus |
WO2006028276A1 (ja) * | 2004-09-09 | 2006-03-16 | Matsushita Electric Industrial Co., Ltd. | 映像機器 |
JP2006302009A (ja) * | 2005-04-21 | 2006-11-02 | Mitsubishi Electric Corp | ユーザインタフェース装置、家電・住設機器およびユーザインタフェース提示方法 |
JP2010244322A (ja) * | 2009-04-07 | 2010-10-28 | Bitto Design Kk | コミュニケーションキャラクター装置、及びそのプログラム |
US8564533B2 (en) | 2009-07-10 | 2013-10-22 | Peking University | Image manipulation based on tracked eye movement |
US8797261B2 (en) | 2009-07-10 | 2014-08-05 | Peking University | Image manipulation based on tracked eye movement |
US9081414B2 (en) | 2009-07-10 | 2015-07-14 | Peking University | Image manipulation based on tracked eye movement |
JP2012530305A (ja) * | 2009-07-10 | 2012-11-29 | ペキン ユニバーシティ | 追跡される目の動きに基づく画像操作 |
JP2011107817A (ja) * | 2009-11-13 | 2011-06-02 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
US9098112B2 (en) | 2010-08-31 | 2015-08-04 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US10372209B2 (en) | 2010-08-31 | 2019-08-06 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing |
US8704879B1 (en) | 2010-08-31 | 2014-04-22 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing on conventional 2D display |
US10114455B2 (en) | 2010-08-31 | 2018-10-30 | Nintendo Co., Ltd. | Eye tracking enabling 3D viewing |
US8766785B2 (en) | 2010-12-21 | 2014-07-01 | Samsung Electronics Co., Ltd. | Method, device, and system for providing sensory information and sense |
WO2012086984A3 (en) * | 2010-12-21 | 2012-10-04 | Samsung Electronics Co., Ltd. | Method, device, and system for providing sensory information and sense |
US9483116B2 (en) | 2010-12-21 | 2016-11-01 | Samsung Electronics Co., Ltd | Method, device, and system for providing sensory information and sense |
KR101871359B1 (ko) | 2010-12-21 | 2018-08-02 | 삼성전자주식회사 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
KR20120070209A (ko) * | 2010-12-21 | 2012-06-29 | 삼성전자주식회사 | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 |
US9116359B2 (en) | 2011-08-11 | 2015-08-25 | Fujitsu Limited | Stereoscopic image display apparatus |
JP2013061988A (ja) * | 2013-01-04 | 2013-04-04 | Fujitsu Ltd | 表示制御装置、表示制御方法および表示制御プログラム |
JP2014044729A (ja) * | 2013-09-24 | 2014-03-13 | Nec Corp | 画面表示制御方法、画面表示制御方式、電子機器及びプログラム |
JP2016095614A (ja) * | 2014-11-13 | 2016-05-26 | ソフトバンク株式会社 | 表示制御装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3899241B2 (ja) | 2007-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11194388B2 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
US8508578B2 (en) | Image processor, image processing method, recording medium, computer program and semiconductor device | |
JP6298563B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP7300563B2 (ja) | 拡張現実に基づいた表示方法、装置、及び記憶媒体 | |
WO2020110323A1 (ja) | 動画合成装置、動画合成方法及び記録媒体 | |
JP3899241B2 (ja) | 画像表示システム、画像表示方法、プログラムおよび記録媒体 | |
US11625858B2 (en) | Video synthesis device, video synthesis method and recording medium | |
WO2018139203A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102159767B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
WO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
CN112929750A (zh) | 一种摄像头调节方法及显示设备 | |
CN113853569A (zh) | 头戴式显示器 | |
JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
KR102312601B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP2000331190A (ja) | 仮想変身装置 | |
JP7241628B2 (ja) | 動画合成装置、動画合成方法、および動画合成プログラム | |
JP7398222B2 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP3964884B2 (ja) | ゲームプログラム及びゲーム装置 | |
JP2022103751A (ja) | エンターテインメントシステム及びプログラム | |
CN117615082A (zh) | 图像数据处理方法、装置、电子设备及可读存储介质 | |
KR20210125465A (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
JP4767331B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |