JP2000138872A

JP2000138872A - 情報処理装置および方法、並びに提供媒体

Info

Publication number: JP2000138872A
Application number: JP10310767A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Junichi Ishibashi; 淳一石橋; Yasuaki Takahashi; 康昭高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-10-30
Filing date: 1998-10-30
Publication date: 2000-05-16

Abstract

(57)【要約】【課題】容易に番組を選択できるようにする。【解決手段】視線検出装置１は、ユーザの視線を検出
し、その結果を演算装置２に出力する。ディスプレイ８
にマルチ画面が表示されている状態で、その画面内の１
つの画像が、所定時間以上注視された場合、マルチ画面
が解除され、その注視された画像に対応する番組のみが
表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理装置および
方法、並びに提供媒体に関し、特に、ユーザの視線を検
出し、その検出された視線の方向に位置する部分の情報
に応じた処理を行うようにした情報処理装置および方
法、並びに提供媒体に関する。

【０００２】

【従来の技術】近年、テレビジョン放送は、多チャンネ
ル時代になりつつある。その時代の流れに対応し、テレ
ビジョン受像機のなかには、１つのチューナを用いて、
時分割に複数の番組を順次受信し、記憶したり、複数の
チューナを用いて複数の番組を受信し、１画面を複数の
小画面に分割して生成した、いわゆるマルチ画面に、同
時に複数の番組を表示することができるものがある。こ
のようなテレビジョン受像機において、１画面に複数の
番組の画像を同時に表示させ、それら表示された番組全
ての音声を同時にスピーカから出力させた場合、その音
声は混じり合ってしまい、全く意味を聞き取れない状態
となるので、通常、表示されている番組内の１つを選択
し、その選択されている番組の音声が出力される。

【０００３】また、インターネットの普及に伴い、テレ
ビジョン受像機でもインターネットを楽しめるようにし
た機種がある。通常、ユーザは、インターネットなどを
楽しんでいるとき、その画面に表示されている単語の意
味がわからないと、辞書（本）などを用いてその単語の
意味を調べるようにしている。

【０００４】

【発明が解決しようとする課題】上述したテレビジョン
受像機が複数の番組の画像を同時に表示している場合、
その番組内の１つの音声を出力させたいときや、１つの
番組自体を選択するとき、ユーザは、リモートコントロ
ーラなどに備え付けられている所定のボタンを操作す
る。しかしながら、上述したように、近年のテレビジョ
ン受像機には、インターネットの機能や、その他の機能
がたくさん付加されているため、リモートコントローラ
に備えつけられているボタンの数も増え、どのボタンを
操作すれば所望の処理が行えるのかを理解するのはわか
りづらいといった課題があった。

【０００５】また、インターネットなどを楽しんでいる
時に、わからない単語があった場合、辞書などを用いて
調べていたが、そのようにすることは、ユーザにとって
は、処理が中断され、めんどうなことであり、もっと簡
便に単語の意味を調べられることが望まれている。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、ユーザの視線を検出することにより、所定
の時間以上、ユーザが注視している部分を検出し、その
部分に位置する情報に対応した処理ができるようにする
ものである。

【０００７】

【課題を解決するための手段】請求項１に記載の情報処
理装置は、表示部に表示されている画像の、ユーザが所
定時間以上、注視していた部分を検出する検出手段と、
検出手段により検出された部分に対応して、その部分に
位置する画像、またはその部分に位置する画像に対応す
る音声のうち、少なくとも一方を制御する制御手段とを
備えることを特徴とする。

【０００８】請求項５に記載の情報処理方法は、表示部
に表示されている画像の、ユーザが所定時間以上、注視
していた部分を検出する検出ステップと、検出ステップ
で検出された部分に対応して、その部分に位置する画
像、またはその部分に位置する画像に対応する音声のう
ち、少なくとも一方を制御する制御ステップとを含むこ
とを特徴とする。

【０００９】請求項６に記載の提供媒体は、表示部に表
示されている画像の、ユーザが所定時間以上、注視して
いた部分を検出する検出ステップと、検出ステップで検
出された部分に対応し、その部分に位置する画像、また
はその部分に位置する画像に対応する音声のうち、少な
くとも一方を制御する制御ステップとを含む処理を情報
処理装置に実行させるコンピュータが読み取り可能なプ
ログラムを提供することを特徴とする。

【００１０】請求項１に記載の情報処理装置、請求項５
に記載の情報処理方法、および請求項６に記載の提供媒
体においては、表示されている画像の、ユーザが所定時
間以上、注視していた部分が検出され、検出された部分
に対応して、その部分に位置する画像、またはその部分
に位置する画像に対応する音声のうち、少なくとも一方
が制御される。

【００１１】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００１２】請求項１に記載の情報処理装置は、表示部
に表示されている画像の、ユーザが所定時間以上、注視
していた部分を検出する検出手段（例えば、図５のステ
ップＳ１１）と、検出手段により検出された部分に対応
して、その部分に位置する画像、またはその部分に位置
する画像に対応する音声のうち、少なくとも一方を制御
する制御手段（例えば、図５のステップＳ１２）とを備
えることを特徴とする。

【００１３】図１は、本発明を適用したテレビジョン受
像機のうち、本発明の実施の形態を説明するうえで、必
要な構成を示すブロック図である。視線検出装置１は、
ユーザの視線を後述する方法で検出する装置である。視
線検出装置１により検出されたユーザの視線に関するデ
ータは、演算装置２に入力される。演算装置２には、電
子辞書が記憶されている記憶装置３と、リモートコント
ローラなどから構成される操作装置４とからのデータも
入力される。

【００１４】演算装置２から出力された信号は、画像合
成装置５と音声出力装置６に入力される。画像合成装置
５は、演算装置２から入力された信号に従って、受信装
置７で受信された画像データをディスプレイ８に出力す
る。また、画像合成装置５は、内部に、例えばVRAM（Vi
deo Random Access Memory）などを備えており、また、
受信装置７は、時分割に複数の番組を受信する事が可能
とされており、受信装置７により時分割に受信された番
組の画像は、画像合成装置５のVRAMに記憶されることに
より、同時にディスプレイ９の所定の位置に表示され
る。すなわち、１画面に複数の番組の画像がマルチ画面
に表示される。

【００１５】同様に、音声出力装置６は、演算装置２か
ら入力されたデータに従って、受信装置７で受信された
音声データをスピーカ９に出力する。通信部１０は、イ
ンターネットなどのネットワークに接続され、他の装置
とデータの授受を行うことが可能とされている。

【００１６】マルチ画面の時は、その各画像は、間欠し
た画像であり、音声は、１つの画像に対する音声のみ、
または全く出力されない状態である。

【００１７】次に、視線検出装置１が行う視線検出につ
いて、図２のフローチャートを参照して説明する。図２
のフローチャートに従って、ユーザの視線検出を行う場
合、視線検出装置１には、ユーザの顔を撮像する撮像装
置（不図示）が備え付けられている。

【００１８】ステップＳ１において、撮像装置が撮像し
たユーザの画像データが、視線検出装置１に供給され
る。ステップＳ２において、視線検出装置１は、供給さ
れた画像の色彩情報（肌色、白目の白、および黒目の黒
等）を用いて、両目の輪郭を検出し、さらに、両目の両
端の位置を検出する。ステップＳ３において、視線検出
装置１は、ステップＳ２で検出した両目の両端の位置を
基準として、所定の探索範囲を限定し、画像の輝度情報
を用いて鼻孔の位置を検出する。

【００１９】ステップＳ４において、視線検出装置１
は、目の両端、および鼻孔の位置の幾何学的な位置関係
に基づいて、眼球の中心の位置および半径を推定する。
ステップＳ５において、目の輪郭内の輝度情報を用いて
瞳孔の中心の位置が検出される。ステップＳ６におい
て、図３に示すように、ステップＳ４で検出された眼球
の中心と、ステップＳ５で検出された瞳孔の中心を結ぶ
ベクトルが演算され、得られたベクトルが視線の方向と
されることにより、ユーザの視線の検出が行われる。

【００２０】なお、視線を検出する他の方法としては、
ユーザの顔に赤外線を照射し、反射した赤外線の画像を
用いて行う方法も知られており、それらの方法を用いる
ようにしてもよい。

【００２１】図４は、ディスプレイ８（図１）に表示さ
れるマルチ画面の表示例を表している。図４の表示例で
は、１つの画面が１６分割され、分割されたそれぞれの
領域に、画像１乃至１６が表示されている。このような
マルチ画面は、テレビジョン受像機１０の電源がオンに
されたとき、初期画面として表示されるようにしても良
いし、その他の処理により表示されるようにしても良
い。そのような設定は、ユーザにより行われる。

【００２２】図５のフローチャートを参照して、図１に
示したテレビジョン受像機１１の動作について説明す
る。まず、前提として、ディスプレイ８には、図４に示
したようなマルチ画面が表示されているものとする。す
なわち、受信装置７は、所定の１６個のチャンネルの信
号を順次受信し、その画像データを画像合成装置５に出
力する。画像合成装置５は、入力された各チャンネルの
画像データを、通常の画面の大きさの１／１６の大きさ
に縮小し、所定の位置に配置して、マルチ画面を生成
し、ディスプレイ８に表示させる。このとき音声出力装
置６は、音声信号を出力していない。ステップＳ１１に
おいて、ユーザが、画像１乃至１６の内の１つの画像
を、所定の時間以上注視したか否かが判断される。

【００２３】この判断は、演算装置２が、視線検出装置
１により検出されたユーザの視線が、例えば、５秒間動
かずに、マルチ画面内の１つの小画面に注がれていたか
否かを判断することにより行われる。所定時間以上、同
一小画面が注視されていたと判断されるまで、ステップ
Ｓ１１の処理は繰り返される。ユーザが所定時間以上、
同一小画面を注視するということは、その小画面の番組
に興味があると判断することができる。

【００２４】ステップＳ１１において、所定時間以上、
同一の小画面が注視されたと判断された場合、ステップ
Ｓ１２に進み、注視されたと判断された小画面に対応す
る音声が出力される。すなわち、演算装置２は受信装置
７を制御し、注視されたと判断された小画面のチャンネ
ルを継続的に受信させる。このとき、そのチャンネルの
音声データは音声出力装置６に供給され、音声出力装置
６は、その供給された音声データをスピーカ９に出力す
る。このようにして、音声が出力されている小画面を、
他の小画面と区別するために、例えば、音声が出力され
ている小画面の領域枠を色を付けて表示する、点滅して
表示するなどしても良い。また、画像合成装置５には、
１つのチャンネルの画像データだけが連続して供給され
ることになるので、そのチャンネルの小画面だけが動画
像として表示され、他のチャンネルの小画面は更新され
ず制止画として表示される。

【００２５】ステップＳ１３において、ユーザにより、
番組が選択されたか否かが判断される。番組の選択は、
ユーザが、その時出力されている音声に対応する番組で
良ければ、操作装置４の所定のボタンを操作することに
より行われる。ユーザは、音声が出力されている番組が
所望の番組ではない場合、ボタン操作を行わず、マルチ
画面内の他の画面を注視する。そして、演算装置２が、
ステップＳ１１以降の処理を繰り返す。

【００２６】ステップＳ１３において、ユーザにより所
望の番組の選択が行われたと判定されたとき、ステップ
Ｓ１４に進み、選択された番組の通常再生が行われる。
すなわち、演算装置２は、画像合成装置５を制御し、受
信装置７がそのとき連続的に受信してる番組の画像を、
通常の大きさの画像として、ディスプレイ８に出力させ
る。音声出力装置６は、受信装置７で連続的に受信され
ている番組の音声をスピーカ９に出力する動作をそのま
ま継続する。

【００２７】このようにして、１つの番組が選択され、
通常再生が行われている最中に、ユーザが再びマルチ画
面を表示させたいと思った場合、操作装置４の所定のボ
タンが操作される。所定のボタンが操作されることによ
り、マルチ画面が再びディスプレイ８に表示された場
合、図５のフローチャートを参照して説明した処理が繰
り返され、新たな番組が選択される。

【００２８】上述した実施の形態においては、マルチ画
面内の１つの小画面が注視されることにより、そのチャ
ンネルの音声が出力され、その後に、ボタン操作が行な
われることにより通常再生する番組が選択されるように
したが、ユーザによっては、より迅速に所望の番組を選
択したいといった場合がある。このように、迅速に番組
選択させる場合のテレビジョン受像機１１の動作につい
て、図６のフローチャートを参照して説明する。このフ
ローチャートにおける処理においても、テレビジョン受
像機１１には、マルチ画面が表示されていることが前提
となる。

【００２９】ステップＳ２１において、図５のステップ
Ｓ１１の処理と同様に、ユーザがマルチ画面内の１つの
小画面を注視しているか否かが判断される。ステップＳ
２１において、ユーザがマルチ画面内の１つの画像を注
視していると判断された場合、ステップＳ２２に進み、
図５のステップＳ１４における場合と同様に、注視され
たと判断された画像に対応する番組が、通常再生され
る。

【００３０】このように、マルチ画面からユーザが注視
した画像が通常再生されるようにすることにより、ユー
ザは、ボタン操作を行うことなく、所望の番組を迅速か
つ容易に選択することができる。

【００３１】次に、テレビジョン受像機１１の他の動作
について、図７のフローチャートを参照して説明する。
ステップＳ３１において、演算装置２は、視線検出装置
１から供給されるユーザの視線方向の情報から、そのユ
ーザがマルチ画面内の１つの小画面を注視した時間が、
しきい値Ｔ₁以上であるか否かを判断する。同一画像を
注視していた時間が、しきい値Ｔ₁以上であると判断さ
れるまで、ステップＳ３１の処理が繰り返され、しきい
値Ｔ₁以上であると判断された場合、ステップＳ３２に
進む。ステップＳ３２において、注視されたと判断され
た画像に対応する音声が出力される。

【００３２】ステップＳ３２において、音声が出力され
た画像が、さらにユーザにより、注視され続け、その合
計の時間がしきい値Ｔ₂以上になったか否かが、ステッ
プＳ３３において判断される。ここで、しきい値Ｔ₁と
しきい値Ｔ₂は、しきい値Ｔ₁＜しきい値Ｔ₂の関係にあ
る。ステップＳ３３において、同一画面が注視されてい
た時間がしきい値Ｔ₂以上ではないと判断された場合、
すなわち、ユーザが、音声が出力されている番組に興味
がなく、視線をその画像からはずした場合、ステップＳ
３１に戻り、それ以降の処理が繰り返される。

【００３３】一方、ステップＳ３３において、同一画像
が注視されていた時間がしきい値Ｔ₂以上であると判断
された場合、ステップＳ３４に進み、注視されていたと
判断された画像、換言すれば、音声が出力されている番
組が通常再生される。

【００３４】このように、ユーザの視線を検出し、その
検出された結果から、注視されている画像を判断し、そ
の注視されていた時間により、音声を出力し、さらに、
通常再生まで行うようにすることにより、ユーザは、操
作装置４のボタンを操作しなくても、マルチ画面から所
望の番組を容易に選択する事が可能となる。

【００３５】次に、図１に示したテレビジョン受像機１
１の他の動作について、図８のフローチャートを参照し
て説明する。ステップＳ４１において、テレビジョン受
像機１１の通信部１０は、インターネットを介して所定
のホームページにアクセスし、図９に示したような画像
を受信し、ディスプレイ８に表示させる。図９に示した
ホームページの表示例では、他ページとリンクが張られ
ており、カーソル２１が操作されることにより、または
後述する視線検出により、クリックされると、通信によ
りそのリンク先へ移動する領域１と領域２が表示され、
領域２の下に、文章が記述され、記憶装置３に記憶され
ているデータ（ファイル）とリンクされている領域３が
ある。

【００３６】ステップＳ４２において、演算装置２は、
視線検出装置１が検出したユーザの視線の結果に従っ
て、その視線が、同一領域に対して所定時間以上、注視
されていたか否かが判断される。ステップＳ４２の処理
は、同一領域が所定時間以上注視されたと判断されるま
で繰り返され、注視されたと判断された場合、ステップ
Ｓ４３に進む。ステップＳ４３において、注視されたと
判断された領域にリンク先が存在するか否かが判断され
る。すなわち、図２に示した領域１乃至３には、リンク
先が存在しており、それ以外の領域にはリンク先が設定
されていないので、ステップＳ４３の処理では、換言す
ると、注視された領域は、領域１乃至３のうちの、いず
れかの領域であるか否かが判断される。

【００３７】ステップＳ４３において、注視された領域
にリンク先が存在していないと判断された場合、ステッ
プＳ４２に戻り、それ以降の処理が繰り返され、リンク
先が存在すると判断された場合、ステップＳ４４に進
む。ステップＳ４４において、存在すると判断されたリ
ンク先は、外部に位置するか否かが判断される。領域１
と領域２は、リンク先が外部に位置するので、領域１と
領域２が注視されたと判断された場合、ステップＳ４５
に進む。

【００３８】例えば、注視されたと判断された領域が、
領域１である場合、いま表示されている関連ホームペー
ジ１がリンク先であり、ステップＳ４５において、通信
部１０は、そのホームページにアクセスし、その画像デ
ータを受信して、ディスプレイ８に表示させる。このよ
うにして表示された新たなページに対して、ステップＳ
４２以降の処理が繰り返される。

【００３９】一方、ステップＳ４４において、リンク先
は外部ではないと判断された場合、換言すれば、注視さ
れた領域（いまの場合、領域３）のリンク先が記憶装置
３であると判断された場合、ステップＳ４６に進む。ス
テップＳ４６において、演算装置２は、注視されたと判
断された領域３のうち、どの単語が注視されたのかを判
断し、その注視されたと判断された単語の意味を、記憶
装置３に記憶されているデータ（電子辞書）を検索し、
読み出す。ここでは、領域３’の"connection”という
単語が注視された領域として判断された場合を例にあげ
て説明する。記憶装置３から読み出された"connectio
n”という単語の意味は、図１０に示したように、その
単語の近傍に表示される。

【００４０】ユーザが単語を注視する場合としては、そ
の単語の意味が分からなくて考えている場合が想定さ
れ、上述したように、所定時間以上、１つの単語を注視
していると判断された場合、その単語の意味が表示され
るようにすることにより、ユーザは、辞書（本）などを
引くことなしに、わからない単語の意味を知ることがで
き、使いがってが向上する。

【００４１】ステップＳ４７において、ユーザが、単語
の意味が表示されている領域から、視線を外したか否か
が判断される。ユーザが単語の意味が表示されている領
域から視線を外した場合、ユーザは、その単語の意味を
理解し、次の文章を読み始めていると判断できるので、
視線が外されたと判断された場合、ステップＳ４８に進
み、単語の意味の表示が終了される。すなわち、図９に
示した表示例に戻る。単語の意味の表示が終了された
ら、ステップＳ４２に戻り、それ以降の処理が繰り返さ
れる。

【００４２】このフローチャートの処理は、ユーザがイ
ンターネットのサーフィンを終了した場合、テレビジョ
ン受像機１１の電源がオフにされた場合などに、割り込
み処理として終了される。

【００４３】ユーザが、領域３内に表示されている文章
の最終行を読んでおり、次の行に移ろうとしていること
が、視線により検出された場合、演算装置２は、画面を
スクロールすることにより、次の行を表示させるような
機能をつけてもよい。

【００４４】図１１は、ユーザの視線を検出することに
より、ユーザが所望する画像や音声の情報を選択させる
ための装置の構成例を示すブロック図である。この構成
において、画像供給装置３１は、例えば、複数のビデオ
テープレコーダから構成され、画像供給装置３１から出
力された画像データは、画像切り換え装置３２に入力さ
れる。画像切り換え装置３２は、演算装置２から出力さ
れたデータに従って、スイッチ３３−１を切り換え、選
択した画像データをディスプレイ８に出力する。

【００４５】音声供給装置３４は、画像供給装置３１に
供給される画像に対応する音声を記憶し、その記憶して
いる音声データを音声切り替え装置３５に供給する。音
声切り換え装置３５は、演算装置２から出力されたデー
タに従って、スイッチ３３−２を切り換え、選択した音
声データをスピーカ９に出力する。

【００４６】画像切り換え装置３２に入力された画像１
は、端子Ｉ₁に供給される。同様に、画像切り換え装置
３２に入力された画像２乃至画像Ｎは、それぞれ対応す
る端子Ｉ₂乃至Ｉ_N+1に供給される。スイッチ３３−１
は、演算装置２からのデータに従って、端子Ｉ₁乃至Ｉ
_N+1のうちの１つの端子を選択し、端子Ｏ₁と接続する。
端子Ｉ_N+1には、メニュー画像が供給される。このメニ
ュー画像は、画像１乃至Ｎが、例えば、図４で示したマ
ルチ画面で表示されるように、予め作成された画像であ
る。

【００４７】音声供給装置３４の音声１乃至Ｎは、それ
ぞれ画像供給装置３１の画像１乃至Ｎと対応している。
音声１は、端子Ｐ₁に供給される。同様に、音声２乃至
音声Ｎは、それぞれ対応する端子Ｐ₂乃至Ｐ_Nに供給され
る。端子Ｐ_N+1には、メニュー画像に対応するメニュー
音声が供給される_。スイッチ３３−２は、演算装置２か
ら入力されたデータに従って、端子Ｐ₁乃至Ｐ_N+1の内の
いずれか１つの端子と、端子Ｑ₁とを接続する。

【００４８】図１１に示した装置の動作について、図１
２のフローチャートを参照して説明する。ステップＳ５
１において、ディスプレイ８にメニュー画面が表示され
る。メニュー画面がディスプレイ８に表示されるため、
画像切り換え装置３２のスイッチ３３−１は、端子Ｉ
_N+1と端子Ｏ₁を接続する。メニュー画面が表示されてい
る間、音声切り換え装置３５のスイッチ３３−２は、端
子Ｐ_N+1と端子Ｑ₁とを接続する。これにより、メニュー
画面の選択を促すメッセージがアナウンスされる。

【００４９】ステップＳ５２において、演算装置２は、
視線検出装置１から出力される検出結果を用いて、メニ
ュー画面内の同一領域が、所定時間以上、注視されたか
否かを判断する。所定時間以上、注視されている領域が
存在するまで、ステップＳ５２の処理は繰り返され、注
視されている領域が存在した場合、ステップＳ５３に進
む。ステップＳ５３において、注視されたと判断された
メニュー内の画像に対応する画像と音声が再生される。

【００５０】すなわち、演算装置２は、画像切り換え装
置３２と音声切り換え装置３５に、メニュー画面内の、
どの画像が注視されたのかを示すデータを供給する。そ
して、画像切り換え装置３は、その供給されたデータに
従って、スイッチ３３−１を切り換える。これにより、
ディスプレイ８に、ユーザが所望とした画像が供給さ
れ、再生される。同様に、音声切り換え装置３５は、演
算装置２より供給されたデータに従って、スイッチ３３
−２を切り換える。これにより、スピーカ９に、ユーザ
が所望とした画像に対応する音声が供給され、再生され
る。

【００５１】このような装置は、例えば、画像１乃至Ｎ
が行楽地の画像であり、メニュー画像が、行楽地の名前
が列挙された画像である場合、ユーザが、表示されたメ
ニュー画面内の興味ある行楽地名を注視するだけで、所
望の行楽地の情報が得られといった装置に適用する事が
できる。

【００５２】なお、本明細書中において、上記処理を実
行するコンピュータプログラムをユーザに提供する提供
媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の
他、インターネット、デジタル衛星などのネットワーク
による伝送媒体も含まれる。

【００５３】

【発明の効果】以上の如く、請求項１に記載の情報処理
装置、請求項５に記載の情報処理方法、および請求項６
に記載の提供媒体によれば、表示されている画像の、ユ
ーザが所定時間以上、注視していた部分を検出し、検出
された部分に対応して、その部分に位置する画像、また
はその部分に位置する画像に対応する音声のうち、少な
くとも一方を制御するようにしたので、例えば、ボタン
操作を行わなくても、マルチ画面から所望の番組を選択
することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用したテレビジョン受像機の一実施
の形態の構成を示すブロック図である。

【図２】視線検出処理を説明するフローチャートであ
る。

【図３】視線検出処理を説明する図である。

【図４】ディスプレイに表示されるマルチ画面の表示例
である。

【図５】番組選択の方法を説明するフローチャートであ
る。

【図６】番組選択の他の方法を説明するフローチャート
である。

【図７】番組選択のさらに他の方法を説明するフローチ
ャートである。

【図８】テレビ所の受像機の動作について説明するフロ
ーチャートである。

【図９】ディスプレイの表示例を表す図である。

【図１０】ディスプレイの他の表示例を表す図である。

【図１１】視線検出により、情報を選択する装置の構成
例を示すブロック図である。

【図１２】図１１に示し装置の動作を説明するフローチ
ャートである。

【符号の説明】１視線検出装置，２演算装置，３記憶装置，
４操作装置，５画像合成装置，６音声出力装
置，７受信装置，８ディスプレイ，９スピー
カ，１０テレビジョン受像機

───────────────────────────────────────────────────── フロントページの続き (72)発明者高橋康昭東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 5B087 AB13 AB14 BC05 BC12 BC13 BC26 BC32 DE02 5C025 AA23 CA03 CA06 5C026 DA00 DA14 5C082 AA02 AA27 CA03 CA54 CA62 CA76 CB01 DA87 MM09

Claims

【特許請求の範囲】

【請求項１】表示部に表示されている画像に対応する
処理を行う情報処理装置において、前記表示部に表示されている画像の、ユーザが所定時間
以上、注視していた部分を検出する検出手段と、前記検出手段により検出された部分に対応して、その部
分に位置する画像、またはその部分に位置する画像に対
応する音声のうち、少なくとも一方を制御する制御手段
とを備えることを特徴とする情報処理装置。
【請求項２】前記表示部に表示される画像は、マルチ
画面であり、前記制御手段は、前記マルチ画面内の、前記検出手段に
より検出された部分に位置する画像を動画像として表示
させることを特徴とする請求項１に記載の情報処理装
置。
【請求項３】前記表示部に表示される画像は、マルチ
画面であり、前記制御手段は、前記マルチ画面内の、前記検出手段に
より検出された部分に位置する画像に対応する音声を出
力させることを特徴とする請求項１に記載の情報処理装
置。
【請求項４】前記制御手段は、前記検出手段により検
出された部分に対応する画像がリンクされている画像を
表示させることを特徴とする請求項１に記載の情報処理
装置。
【請求項５】表示部に表示されている画像に対応する処
理を行う情報処理装置の情報処理方法において、前記表示部で表示されている画像の、ユーザが所定時間
以上、注視していた部分を検出する検出ステップと、前記検出ステップで検出された部分に対応して、その部
分に位置する画像、またはその部分に位置する画像に対
応する音声のうち、少なくとも一方を制御する制御ステ
ップとを含むことを特徴とする情報処理方法。
【請求項６】表示部に表示されている画像に対応する処
理を行う情報処理装置に、前記表示部で表示されている画像の、ユーザが所定時間
以上、注視していた部分を検出する検出ステップと、前記検出ステップで検出された部分に対応して、その部
分に位置する画像、またはその部分に位置する画像に対
応する音声のうち、少なくとも一方を制御する制御ステ
ップとを含む処理を実行させるコンピュータが読み取り
可能なプログラムを提供することを特徴とする提供媒
体。