JPH0981361A - 画像表示方法、データ収集方法及び対象物特定方法 - Google Patents

Abstract

(57)【要約】 【課題】 表示中の画像情報が関連情報を持ち選択指示
できるものである場合、ユーザが容易に選択指示できる
ようにした画像表示方法を提供すること。 【解決手段】 画像情報を表示するとともに、表示中の
画像情報に対して予め設定された所定の指示選択可能領
域に対応付けられた関連情報のうち所定の入力デバイス
により指示選択された位置を包含する領域に対応するも
のを表示するシステムにおける画像表示方法であって、
画像情報を画面上の所定の表示領域に表示し、所定の入
力デバイスにより指示された画面上の位置に所定の指示
選択マーカを表示するとともに、指示選択マーカの表示
位置が画像情報が表示された表示領域の外部から表示領
域の内部に更新される場合に、表示中の画像情報に対応
する関連情報が存在するときは、表示領域の外部に指示
選択マーカの表示位置が存在する場合とは異なる表示方
法で該画像情報を表示することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、表示中の画像に関
連する情報をユーザが得ることを助ける画像表示方法、
データ収集方法及び対象物特定方法に関する。

【０００２】

【従来の技術】マルチメディアソフトは静止画を用いた
ものから動画を用いたハイパーテキストへと進化をとげ
つつある。動画を用いた場合にも動画の一部を指示選択
してそれに関連した情報を得るというものがいくつか提
案されている。

【０００３】しかし、既存のものは単に動画全体の指示
選択しかできないか、もしくは試しに選択してみたら選
択ができたという場合が多い。フォーカルポイントコン
ピュータ社のオーサリングツールＡＳＴＡＵＮＤを用い
た場合には、指示選択できる対象に枠をつけて表示する
ことができるが、枠は常に表示されるのでユーザが指示
選択を希望しない場合には目障りになる。

【０００４】ＮＥＣの電子魚図鑑（ＮＥＣ技法Ｖｏｌ．
４７，Ｎｏ．４，１９９４）というマルチメディアソフ
トのオーサリング方法では、魚の動画に対して、始まり
の位置と終の位置を長方形で示すと、その間を線形補間
するというものである。この方法では、線形補間という
枠組を理解して指示選択可能な場所を指示しなければな
らない。

【０００５】また、従来の方法では、関連情報を表示さ
せようとすると、元の動画は閉じるもしくは停止するの
で、同時に動画を楽しむことができない。

【０００６】

【発明が解決しようとする課題】従来の技術の問題点を
整理すると次のようになる。 ・表示中の元画像において所望の場所を指示選択しづら
い。 （課題Ａ１）関連情報を得るために指示選択できる場所
があるのかどうかわかりにくい。あるとしたらどこにあ
るのかがわかりにくい。 （課題Ａ２）指示選択する対象物が動くのでマウスなど
で捕まえるのに苦労する。 ・（課題Ｂ）元情報や関連情報の表示の仕方がユーザに
とってわかりづらいことがある。 ・データ作りが困難である。 （課題Ｃ１）動画の部分でユーザが選択できる場所を指
定するのに手間がかかる。 （課題Ｃ２）指示選択できる場所を設定するのに苦労す
る。

【０００７】本発明は、上記事情を考慮してなされたも
のであり、指示選択できる場所の存在を容易に知らせる
ことのできる画像表示方法を提供することを目的とす
る。

【０００８】また、本発明は、元画像が動画である場
合、指示選択する対象物を容易に指示選択できる画像表
示方法を提供することを目的とする。

【０００９】また、本発明は、よりわかりやすい元情報
および／または関連情報の表示の仕方を可能とする画像
表示方法を提供することを目的とする。

【００１０】また、本発明は、元情報や関連情報の作成
を容易にする画像表示方法、データ収集方法及び対象物
特定方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】ここで、本発明と上記課
題との関連を整理すると、課題Ａ１に関連する発明は発
明Ａ，発明１，発明３であり、課題Ａ２に関連する発明
は、発明Ａ，発明２，発明９であり、課題Ｂに関連する
発明は、発明４，発明Ｂ，発明５，発明６，発明Ｃ，発
明７，発明８であり、課題Ｃ１に関連する発明は、発明
１０，発明１２であり、課題Ｃ２に関連する発明は、発
明１１である。

【００１２】本発明Ａ（請求項１）は、画像情報を表示
するとともに、表示中の画像情報に対して予め設定され
た所定の指示選択可能領域に対応付けられた関連情報の
うち所定の入力デバイスにより指示選択された位置を包
含する前記指示選択可能領域に対応するものを表示する
画像表示システムにおける画像表示方法であって、前記
画像情報を画面上の所定の表示領域に表示し、所定の入
力デバイスにより指示された画面上の位置に所定の指示
選択マーカを表示するとともに、前記指示選択マーカの
表示位置が前記画像情報が表示された前記表示領域の外
部から前記表示領域の内部に更新される場合に、表示中
の前記画像情報に対応する関連情報が存在するときは、
前記表示領域の外部に前記指示選択マーカの表示位置が
存在する場合とは異なる表示方法で該画像情報を表示す
ることを特徴とする。

【００１３】入力デバイスは、例えば、マウス、キーボ
ード、赤外線等の送信機、タッチパネル等である。指示
選択マーカは、ポインタ、カーソル、カレットなどであ
る。指示選択可能領域は、表示中の画面の一部もしくは
全部であり、画面の一部の場合は１つまたは複数設定可
能である。関連情報を指示選択する元となる情報は、動
画の場合と静止画の場合がある。元となる情報が、動画
の場合または複数枚数の一連の静止画の場合、各フレー
ムごと、各静止画ごとに、任意に指示選択可能領域、関
連情報を設定することができ、もちろん関連情報を持た
ないフレームや静止画も存在する。これらの点は、以下
の発明でも同様である。

【００１４】本発明１は、発明Ａにおける異なる表示方
法として、表示中の画像中で指示選択により関連情報を
提示できる対象物を枠で囲む、もしくは該対象物の部分
だけ輝度／明度を上げて表示する、もしくは該対象物の
部分以外の輝度／明度を下げて表示するものである。

【００１５】指示選択ができる場所がユーザに容易にわ
かるように、指示選択可能領域が常に特別に装飾（枠付
け表示、輝度／明度の異なる表示）されて表示されるよ
うにすると、通常、動画を鑑賞したい場合にもそのよう
な特殊装飾が現われて動画が見づらい。そこで、発明１
のように指示選択マーカが元画像の表示領域に入ったと
き（指示選択モードのとき）のみ特殊表示をすれば、常
時は快適に動画を鑑賞することができ、動画を指示選択
したいときだけ特殊表示が現われるようになる。

【００１６】本発明２は、発明Ａにおける異なる表示方
法として、画像の表示を一時停止する、もしくは画像の
表示速度を低速にするものである。また、指示選択マー
カが前記表示領域から出たときには、表示方法を元に戻
すと好ましい。

【００１７】動画を指示選択する場合には、指示選択し
ようとする対象が動くので、対象物を指示選択するのが
困難である場合があるが、上記のように指示選択モード
に入ると動画の再生速度が遅くなったり、一旦停止する
ので、動画の一部を指示選択しやすくなる。

【００１８】本発明３（請求項２）は、画像情報を表示
するとともに、表示中の該画像情報に対して予め設定さ
れた所定の指示選択可能領域に対応付けられた関連情報
のうち所定の入力デバイスにより指示選択された位置を
包含する前記指示選択可能領域に対応するものを表示す
る画像表示システムにおける画像表示方法であって、前
記画像情報を画面上の所定の表示領域に表示するととも
に、前記表示領域に表示されている画像情報に対して設
定された前記指示選択可能領域の存在の有無または個数
に関する情報を所定の形式で表示することを特徴とす
る。

【００１９】前記指示選択可能領域の個数に関する情報
は、例えば、数値、文字、記号、アイコン、色、グラフ
（棒グラフやタコメータ等）の形式によって表示する。

【００２０】動画を指示選択する場合に、そもそも現在
見ている動画に関連情報があるのかないのかがわかると
便利である。上記の方法によれば現在再生中の動画の中
で指示選択可能な場所の存在の有無あるいは数が数字や
記号等で表示されるので、ユーザの使用感が改善され
る。

【００２１】本発明４（請求項３）は、一連のフレーム
からなる動画像情報である元画像情報を表示するととも
に、表示中のフレームに対して予め設定された所定の指
示選択可能領域に対応付けられた関連情報のうち所定の
入力デバイスにより指示選択された位置を包含する前記
指示選択可能領域に対応するものを表示する画像表示シ
ステムにおける画像表示方法であって、前記元画像情報
を画面上の所定の表示領域に表示し、所定の入力デバイ
スにより指示された画面上の位置に所定の指示選択マー
カを表示するとともに、指示選択を受け付け、指示選択
された位置を包含する前記指示選択可能領域に対応する
前記関連情報が動画像情報である場合、指示選択された
該関連情報を表示するとともに、該関連情報を表示する
間は、前記元画像情報を通常再生とは異なる所定の表示
方法で表示することを特徴とする。

【００２２】例えば、指示選択された対象の関連情報を
表示する間に、元の指示選択するのに用いた動画を一旦
停止させ、または低速もしくは高速に表示する。

【００２３】本発明によれば、動画上でユーザが指示選
択を行ったときに、関連情報が表示されているときに元
画像を一旦停止もしくは低速に表示もしくは高速に表示
することにより、ユーザの要求に応じて元画像の再生速
度を変更することを可能にする。

【００２４】本発明Ｂ（請求項４）は、画像情報を表示
するとともに、表示中の画像情報に対して予め設定され
た所定の指示選択可能領域に対応付けられた関連情報の
うち所定の入力デバイスにより指示選択された位置を包
含する前記指示選択可能領域に対応するものを表示する
画像表示システムにおける画像表示方法であって、前記
元画像情報を画面上の所定の表示領域に表示し、所定の
入力デバイスにより指示された画面上の位置に所定の指
示選択マーカを表示するとともに、指示選択を受け付
け、指示選択された位置を包含する前記指示選択可能領
域に対応する前記関連情報が動画像情報である場合、該
関連情報を通常再生とは異なる所定の表示方法で表示す
ることを特徴とする。

【００２５】本発明５は、発明Ｂにおける異なる表示方
法として、関連情報の表示画面を開いたと同時に動画再
生は開始せず動画の初期画面を表示したまま一旦停止さ
せておくものである。そして、例えば、その動画の表示
を開始すべき指示が入力されてから初めて再生を開始す
る。

【００２６】本発明では、関連情報として動画を表示す
るときにその初期画面を提示したまま一旦停止させてお
くことにより、ユーザにその動画の再生するか否かの選
択の余地を与えることを可能とする。

【００２７】本発明６は、発明Ｂにおける異なる表示方
法として、関連情報であるその動画を低速もしくは高速
に表示するものである。

【００２８】本発明では、関連情報として動画を表示す
るときにその動画を低速もしくは高速に表示することに
より、関連情報の再生速度をユーザの要求に応じて変更
することを可能とする。

【００２９】本発明Ｃ（請求項５）は、一連のフレーム
からなる動画像情報である元画像情報を表示するととも
に、表示中のフレームに対して予め設定された所定の指
示選択可能領域に対応付けられた関連情報のうち所定の
入力デバイスにより指示選択された位置を包含する前記
指示選択可能領域に対応するものを表示する画像表示シ
ステムにおける画像表示方法であって、前記元画像情報
を画面上の所定の表示領域に表示し、所定の入力デバイ
スにより指示された画面上の位置に所定の指示選択マー
カを表示するとともに、指示選択を受け付け、指示選択
された位置を包含する前記指示選択可能領域に対応する
前記関連情報が、後続する他のフレームに対応付けられ
た他の関連情報とリンク付けされている場合、指示選択
された関連情報として表示する内容を前記元画像情報の
表示状況に同期してリンク付けされた他の関連情報の内
容に更新していくことを特徴とする。

【００３０】本発明７は、発明Ｃにおいて、指示選択さ
れた関連情報を継続的に表示するもので、表示する関連
情報の内容を、指示対象に用いた動画の映像が変わると
供にそれに対応／同期して変化させていくものである。

【００３１】本発明では、動画から導き出された関連情
報の表示画面の内容を動画に対応／同期して変化させる
ことにより、ユーザに継続的に関連情報を提示すること
を可能とする。

【００３２】本発明８は、発明Ｃにおいて、指示選択さ
れた関連情報の画面を表示し終った際に自発的にもしく
は外部からの指示によりアイコン化し、再びそのアイコ
ンが開かれたときに、アイコン化される前に表示してい
た情報と同一の内容を表示する処理を行なうのではな
く、アイコンを開いたときの元画像情報の映像の状況に
合った関連情報を表示するものである。

【００３３】本発明では、アイコン化された関連情報を
元画面と対応／同期しておくことによりユーザが任意の
時刻においてアイコンを開くことによりその時点での関
連情報を得ることを可能とする。

【００３４】本発明９（請求項６）は、一連のフレーム
からなる動画像情報である元画像情報を表示するととも
に、予め該一連のフレームに対して離散的に指示選択可
能なフレームが設定され、該指示選択可能なフレームの
表示中に該フレームに対して予め設定された所定の指示
選択可能領域に対応付けられた関連情報のうち所定の入
力デバイスにより指示選択された位置を包含する前記指
示選択可能領域に対応するものを表示する画像表示シス
テムにおける画像表示方法であって、前記元画像情報を
画面上の所定の表示領域に表示するとともに、前記元画
像情報の表示中に指示選択可能なモードに遷移すべき要
求が入力された場合、表示しているフレームが指示選択
可能なフレームでないときは、所定の指示選択可能なフ
レームまで前記動画像情報を通常再生または高速再生さ
せ、該所定の指示選択可能なフレームにおいて一時停止
させることを特徴とする。

【００３５】本発明では、各フレーム毎に指示選択可能
な場所を設定するのではなく、とびとびのフレームにお
いて設定する。これにより、画像データに付随する画像
を指示選択するための情報量が減少する。また、ユーザ
が指示選択モードに入ろうとした際に、表示画像内に指
示選択可能な領域が存在しない場合には、例えば次に指
示選択領域が現れるところ（次に指示選択領域が現れる
ところがシーンチェンジ後である場合には、直前に指示
選択領域が現れるところの方が好ましい）をサーチし、
その時点まで動画を通常再生、もしくは高速再生する。
これにより、ユーザが表示画面内で関心を示した対象に
関する情報を得やすくすることが可能となる。

【００３６】本発明１０（請求項７）は、画像情報を表
示するとともに、表示中の画像情報に対して予め設定さ
れた所定の指示選択可能領域に対応付けられた関連情報
のうち所定の入力デバイスにより指示選択された位置を
包含する前記指示選択可能領域に対応するものを表示す
る画像表示システムにおける実際の指示選択状況に関す
るデータを収集するためのデータ収集方法であって、前
記画像情報を画面上の所定の表示領域に表示し、所定の
入力デバイスにより指示された画面上の位置に所定の指
示選択マーカを表示するとともに、指示選択を受け付
け、指示選択が入力された場合、その時点における前記
指示選択マーカの表示位置の座標または該表示位置に対
応する識別情報を求め、各座標または各識別情報ごとに
頻度情報として記録することを特徴とする。

【００３７】本発明において、ユーザが指示選択したも
のの統計情報をアクセス頻度の形で二次記憶装置上に記
録する。指示選択可能な画像は元の画像のシーン毎に異
なるのでシーン毎に記録する。

【００３８】また、ユーザが指示選択可能でない画面上
の領域を選択した場合についても、同様にシーン毎にそ
の位置を二次記憶装置上に記録しておく。上記手段によ
り収集された統計情報を利用することで、予め指示選択
可能な画像が準備されていた場合で、かつアクセス頻度
が高い場合には、それらの画像をより高速な二次記憶装
置に格納するなどの方法により、アクセス速度を向上さ
せることができる。アクセス頻度が低い場合には、それ
らの画像をより低速なかつ安価な二次記憶装置に移すこ
とで、二次記憶装置にかかるコストを削減することがで
きる。

【００３９】また、指示選択可能な画像が準備されてい
なかった場合でも、統計情報を解析し、ユーザが興味を
示す対象を特定することで、その対象に関する画像を準
備し、ユーザのニーズにこたえることが可能となる。

【００４０】本発明１１（請求項８）は、撮影装置によ
り撮影された画像情報を表示するとともに、表示中の画
像情報に含まれる任意の対象物に予め対応付けられた関
連情報のうち所定の入力デバイスにより指示選択された
対象物に対応するものを表示する画像表示システムにお
ける対象物特定方法であって、前記画像情報を画面上の
所定の表示領域に表示し、所定の入力デバイスにより指
示された画面上の位置に所定の指示選択マーカを表示す
るとともに、指示選択を受け付け、指示選択が入力され
た場合、表示中の画像情報について予め記録された撮影
装置の位置、撮影方向、撮影角度および画角を特定する
ための情報と、指示選択されたときの前記指示選択マー
カの前記所定の表示領域上における位置の情報とから、
前記指示選択マーカの位置により示される該撮影装置の
位置を基準とした第１の方向を決定し、表示中の画像情
報について予め記録された該画像情報中に存在する前記
対象物の前記撮影装置の位置を基準とした第２の方向
と、決定された前記第１の方向とを比較して、前記指示
選択マーカにより選択指示された対象物を特定すること
を特徴とする。

【００４１】動画からオーサリングツールを用いて動画
の部分に関連情報を付与していくことは非常に手間のか
かることである。本発明によれば、動画の撮影状況の情
報（例えば、元の画像の撮影場所、撮影方向、撮影角
度、焦点距離の情報とその場所の風景情報もしくは地図
等）が整っていれば動画上の選択可能な対象物を自動的
に判別可能である。

【００４２】本発明１２（請求項９）は、一連のフレー
ムからなる動画像情報を表示するとともに、表示中のフ
レームを予め任意に分割してなる分割領域に対応付けら
れた関連情報のうち所定の入力デバイスにより指示選択
された分割領域に対応するものを表示する画像表示シス
テムにおける画像表示方法であって、前記動画像情報を
画面上の所定の表示領域に表示し、所定の入力デバイス
により指示された画面上の位置に所定の指示選択マーカ
を表示するとともに、指示選択を受け付け、指示選択が
入力された場合、表示中のフレームについて予め設定さ
れた分割領域の情報と、指示選択されたときの前記指示
選択マーカの前記所定の表示領域上における位置の情報
とから、指示選択された分割領域を特定し、特定された
前記分割領域に対応付けられた前記関連情報を画面上に
表示することを特徴とする。

【００４３】つまり、動画中の対象物をユーザが指示選
択した場合に、その指示選択された対象物の関連情報を
表示可能とするために、元の動画をカメラのカットごと
に映像に合った画面分割方法を指定し、その分割された
領域における対象物に関連する情報を時間と共に記録し
ておく。

【００４４】動画で関連情報が得られる場所を動画の部
分で厳密に指示しようとすると手間が大きい。しかし、
本発明のように画面分割を考えて各分割内での関連情報
を指定するようにすると、関連情報をつける作業が楽で
ある上に、ユーザが指示選択したときにユーザが指して
いる部分がどこかを調べるのも容易になる。

【００４５】なお、以上の発明は相当する機能を有する
装置として構成することができる。

【００４６】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。

【００４７】始めに本実施の形態の基本的な構成につい
て説明し、その後に各実施形態をより具体的に説明す
る。

【００４８】まず、本発明の実施の形態に係る画像表示
システムの基本構成について説明する。

【００４９】図１は、この実施の形態の画像表示システ
ムの基本的な構成を示すブロック図である。この画像表
示システムは、制御部１０１と表示部１１２と所定の入
力装置を備えており、所定の二次記憶装置が接続され
る。

【００５０】制御部１０１は、システム全体の制御を行
なう。すなわち、ユーザからの入力を処理し、静止画、
動画、テキスト、音の情報を二次記憶装置から読みだ
し、表示装置１１２に出力する。また、ユーザからの入
力に従って、元画像が表示されている表示部１１２の画
面上で指示された場所に関連した情報にアクセスするこ
とができる場合には、その情報を表示部１１２に表示す
る。

【００５１】ユーザからの入力を受ける入力装置として
は、キーボード装置１０２、マウス装置１０３、タッチ
パネル１０４、赤外線等の光線発射装置１０５および受
光装置１０６などが考えられる。これらの装置のうち一
つ以上任意個数の入力装置を用いて入力を行なう。

【００５２】キーボード装置１０２を用いた場合には、
表示部１１２上に表示されるカーソル、カレットもしく
はポインタを操作して画像の選択位置を指定する。この
場合にはキーボード装置１０２のキーを押すことにより
指示選択したことを制御部１０１に伝達することもでき
る。マウス装置１０３を用いた場合にも表示部１１２上
に表示されるカーソル、カレットもしくはポインタを操
作して画像の選択位置を指定する。この場合にはマウス
装置１０３のボタンを押すことにより指示選択したこと
を制御部１０１に伝達することもできる。タッチバネル
１０４を用いた場合には、指示選択したい場所を表示部
１１２上で触れることによって指示し、そのことを制御
部１０１に伝えることができる。光線を用いた場合に
は、ユーザが光線発射装置１０５で表示部１１２上の位
置を指示し、それを受光装置１０６が読み取り、その情
報を制御部１０１に伝える。

【００５３】静止画、動画、テキスト、音の情報は、制
御部１０１により、本システムにローカルに接続された
二次記憶装置（例えば磁気ディスク装置）１０７から、
もしくはネットワーク１０９を介して接続されている装
置１１３内の二次記憶装置１０８から制御部１１０を介
して取り出すことができる。また、情報の形態を動画や
音に限定すれば、ビデオカメラ１１１から制御部１０１
へ直接入力することも可能である。

【００５４】表示部１１２は、制御部１０１の指令に従
って、動画、静止画、テキストを表示したり、音を再生
する。

【００５５】次に、この実施の形態で用いる基本データ
構造について説明する。

【００５６】基本データ構造は、「動画の時刻」と「空
間位置に何が映っているか」を記述するデータである。
以下、図２のカーレースの動画を例に挙げて、基本デー
タ構造の一形態を説明する。

【００５７】図２では次のような画像が示されている。
すなわち、（ａ）の時刻ｔ０の画像には車は映っておら
ず、（ｂ）の時刻ｔ１の画像にはボンネットに１と書か
れた車１が映っている。（ｃ）の時刻ｔ２の画像には先
行する車１とそれに後続するボンネットに３と書かれた
車３が映っている。（ｄ）の時刻ｔ３の画像には車３の
みが映っており、（ｅ）の時刻ｔ４の画像には車は映っ
ていない。

【００５８】ここで、何らかのオーサリングツールを用
いて、各時刻における車の位置情報を記述する。そし
て、図２中で各時刻の画像に対応して示されているよう
なリストデータＤを作成する。

【００５９】Ｄｉは、時刻ｔ（ｔｉ＜＝ｔ＜ｔ（ｉ＋
１））の時刻のデータとして記述されている。

【００６０】例えば、 D0=(t0,t1)NIL は時刻ｔ０〜ｔ１の間は何も画像に関する情報はないと
いうことを表している。

【００６１】また、 D1=(t1,t2)(((xa,ya),(xb,yb),車1)) は時刻ｔ１〜ｔ２の間は車１が（ｘａ，ｙａ）と（ｘ
ｂ，ｙｂ）とを対角点とする矩形領域にあることを表し
ている。

【００６２】同様に、 D2=(t2,t3)(((xc,yc),(xd,yd),車1),((xe,ye),(xf,yf),
車3)) は時刻ｔ２〜ｔ３の間は車１は（ｘｃ，ｙｃ）と（ｘ
ｄ，ｙｄ）とを対角点とする矩形領域にあり、車３は
（ｘｅ，ｙｅ）と（ｘｆ，ｙｆ）とを対角点とする矩形
領域にあることを表している。

【００６３】同様に、 D3=(t3,t4)(((xg,yg),(xh,yh),車3)) は時刻ｔ３〜ｔ４の間は車３は（ｘｇ，ｙｇ）と（ｘ
ｈ，ｙｈ）とを対角点とする矩形領域にあることを表し
ている。

【００６４】また、 D4=(t4,t5)NIL は時刻ｔ４〜ｔ５の間は何も画像に関する情報はないと
いうことを表している。この記述方法では、時刻ｔｉか
らｔ（ｉ＋１）の幅を持つ時間について記述するため
に、対象が存在する矩形もその時間に存在する矩形領域
の和の形になっている。例えば、図２の例では車は前方
に進んでいるので、Ｄｉの矩形領域は時刻ｔｉにおける
車を囲う矩形よりも前方に長くなっている。

【００６５】なお、ここで時刻ｔとは動画の再生上の開
始からの時間である。従って、動画再生を一時停止すれ
ばｔも止まっているし、早送りにすればｔは実時間より
も速く進み、巻き戻しをすればｔは減少される。

【００６６】このデータは、動画の長さだけ存在する。
すなわち、データの最後が（ｎ−１）番であるならば、
動画の通常再生時間はｔｎであり、Ｄ０からＤ（ｎ−
１）まで定義されている。

【００６７】この記述方法は、時間を区切ってその中で
矩形領域で対象物の位置を記述しているので厳密には正
しくないが、簡便な方法で役に立つ。また、本発明は、
この簡便法にもこれよりも複雑な方法（例えば線形補間
をする方法）にも同様に適用できるので、説明を簡単に
するためにこの簡便法を用いて説明する。

【００６８】この記述方法では、上記のリストデータＤ
の他にＣというデータ構造を持つ。ここでは、Ｄｉにお
ける要素の数（何個の対象物が記述されているか）をＣ
ｉに保持する。

【００６９】このＣｉは、図３のアルゴリズムにより容
易に得ることができる。すなわち、ステップＳ３０１で
カウンタｉを０に初期化し、ステップＳ３０２でリスト
データＤｉを読み込む。ステップＳ３０３でリストデー
タＤｉに何個の要素が入っているかを数え上げ、その結
果をＣｉに格納する。ステップＳ３０４でカウンタｉを
インクリメントし、その結果がデータ数ｎよりも小さけ
ればステップＳ３０２に制御を戻し、さもなければ処理
を終了する（ステップＳ３０５）。

【００７０】例えば、図２の例の場合、Ｃ０＝０、Ｃ１
＝１、Ｃ２＝２、Ｃ３＝１、Ｃ４＝０となる。

【００７１】次に、入力モードについて説明する。

【００７２】表示部１１２上に元情報として動画像が表
示されている状態（動画像を一時停止させた状態も含
む）で、ユーザは入力装置を用いて表示部１１２上の動
画表示部の任意の場所を指示することができる。そし
て、指示された場所に関連する関連情報が存在する場合
は、表示部１１２上に関連情報を表示する。

【００７３】ただし、表示部１１２上の画像は、指示選
択不可能モードと指示選択可能モードとを持っている。
そして、指示選択可能モードのときにのみ、画像中の対
象物についての関連情報を得るために対象物を指示選択
可能である。逆にいえば、指示選択可能モードに入らな
い限り、いかに入力しても画像に関連した情報をユーザ
の意図するように表示させることはできない。これらの
二つのモードは図４のように遷移する。初期状態では、
指示選択不可能モードである。

【００７４】以下、各実施の形態を具体的に説明する。

【００７５】各実施形態において、基本的には、以上説
明したような基本構成を有するものとする。また、各発
明は基本的に独立して実施可能なものであり任意に組み
合わせて実施することができ、各発明に対応する実施形
態の部分も任意に組み合わせることが可能である。

【００７６】（実施形態１）まず、発明Ａ，１，２，３
の実施形態について説明する。ただし、発明３における
表示方法に関しては後述する。

【００７７】ここでは、指示選択マーカはマウス装置１
０３によるポインタで指示されるものとする。処理は割
込みによるイベント駆動で進む。以下、三つの割込みの
処理について説明する。

【００７８】第一の割込みは、マウス装置１０３により
ポインタの位置を移動させた時のものであり、このとき
にはモード切替えなどの処理が行なわれる。第二の割込
みは、タイマ割込みの時のものであり、このときには状
況の更新が行なわれる。第三の割込みは、マウスでクリ
ックをした場合のもので、このときには関連情報が得ら
れるときはそれを表示する。

【００７９】各処理でデータの番号ｉを示す変数は共通
して与えられる。動画再生開始時に変数ｉは０に初期化
され、それ以降は以下の三つのルーチンによって変更お
よび参照される。

【００８０】時刻ｔは動画の再生開始から該当ルーチン
に入るまでの相対時間である。従って、時刻ｔは、各ル
ーチンの内部で参照されることはあっても変更されるこ
とはない。時刻ｔは、動画再生開始時に０に設定され、
通常再生中は実時間と同じ速度で変化する。ただし、動
画の再生が一旦停止すると時刻ｔも変化せず、動画を早
送りにするとその再生速度に応じて速く進み、動画が巻
戻されると時刻ｔも巻戻し速度に応じて減少される。

【００８１】まず、マウス移動時の割込みの処理につい
て説明する。

【００８２】マウス装置１０３の移動が検出されると制
御部１０１に割込みが入り、制御部１０１は図５，図６
のフローチャートに示された処理を行なう。

【００８３】まず、ポインタの位置の更新処理を行な
う。ここでは新しいポインタの位置を読み取り、古い位
置を表示部１１２から消し去り、新しい位置を表示部１
１２に表示する（ステップＳ５０１）。次に、ｍｏｄｅ
が指示選択不可能モードかどうかを調べる（ステップＳ
５０２）。

【００８４】指示選択不可能モードであるならば、現在
のポインタの位置が動画表示部内かどうかを調べる（ス
テップＳ５０３）。そうであれば、ｍｏｄｅを指示選択
可能モードに変更する（ステップＳ５０４）。次に、デ
ータの番号ｉを更新する（ステップＳ５０５〜Ｓ５０
８）。時刻ｔが現在参照しているデータｉよりも前であ
るならば、正しい時間帯になるまで、データｉを減じる
（ステップＳ５０５，Ｓ５０６）。時刻ｔが現在参照し
ているデータｉよりも後であるならば、正しい時間帯に
なるまで、データｉを増大させる（ステップＳ５０７，
Ｓ５０８）。次に、時刻ｔにおいて関連情報を提供でき
るものがあるかどうかを調べるために、Ｃｉを調べる
（ステップＳ５０９）。Ｃｉには時刻ｔを含む時間帯に
おいて、関連情報を提供できる対象の数が格納されてい
る。これが正であるならば（ステップＳ５０９）、指示
選択可能モードに入りかつ指示選択可能場所があるの
で、表示速度を低下させ（ステップＳ５１０）、リスト
Ｄｉにある指示選択可能領域を表示する（ステップＳ５
１１）。これには指示選択可能領域を枠で囲ったり、指
示選択対象領域の輝度を上げて表示する。さらに、指示
選択可能な領域の数がＣｉであることを表示する（ステ
ップＳ５１２）。

【００８５】ポインタの位置更新処理（ステップＳ５０
１）の後に、もしｍｏｄｅが指示選択可能モードなら
ば、現在のポインタ位置が動画表示領域内かどうかを調
べる（ステップＳ５１３）。もし内であるならば処理を
終了する。もし領域外であるならば、新たに指示選択が
できない状態に入ったことを意味するので、ｍｏｄｅを
指示選択不可能モードに変更する（ステップＳ５１
４）。もし、現在指示選択可能対象が存在していたなら
ば（ステップＳ５１５）、指示選択不可能モードに戻る
ために、表示速度を指示選択可能モードに入る前の速度
に戻し（ステップＳ５１６）、リストＤｉに示されてい
る指示選択可能領域についての表示（例えば囲い枠）を
取り消す（ステップＳ５１７）。もし、現在指示選択対
象物がないならば（ステップＳ５１５）、そのまま本処
理を終了させる。

【００８６】次に、タイマ割込み時の処理について説明
する。

【００８７】制御部１０１にタイマ割込みが入ると、制
御部１０１では図７，図８のフローチャートに示された
処理を行なう。

【００８８】まず、現在のデータ番号ｉを変数ｊに退避
させる（ステップＳ６０１）。次にデータの番号ｉを更
新する（ステップＳ６０２〜Ｓ６０５）。時刻ｔが現在
参照しているデータｉよりも前であるならば、正しい時
間帯になるまで、データｉを減じる（ステップＳ６０
２，Ｓ６０３）。時刻ｔが現在参照しているデータｉよ
りも後であるならば、正しい時間帯になるまで、データ
ｉを増加させる（ステップＳ６０４，Ｓ６０５）。もし
このタイマ割込みの時点でも前回とデータ番号が変わら
ないのであるならば（ステップＳ６０６）、本処理を終
了させる。もしデータ番号が更新された場合には（ステ
ップＳ６０６）、それに伴う更新処理を行なう（ステッ
プＳ６０７〜Ｓ６１４）。

【００８９】指示選択可能な領域の数がＣｊからＣｉに
変わった旨を表示する（ステップＳ６０７，Ｓ６０
８）。もしｍｏｄｅが指示選択可能モードでないならば
（ステップＳ６０９）、ステップＳ６０８で指示選択可
能領域の数に関する表示を更新するのみで本処理を終え
る。さもなければ、もし本ルーチンに入る以前に指示選
択可能領域があったならば（ステップＳ６１０）、それ
らのための特殊表示（枠を付けて表示するなど）を取り
止める（ステップＳ６１１）。もし現在指示選択可能な
領域があるならば（ステップＳ６１２）、それらに特殊
表示を施す（ステップＳ６１４）。もし指示選択可能領
域がないならば（ステップＳ６１２）、動画再生速度を
指示選択可能モードに入る前の速度に戻す（ステップＳ
６１３）。

【００９０】また、本ルーチンに入る前に指示選択可能
領域がなかった場合には（ステップＳ６１０）、現在指
示選択可能な領域があるかどうかを調べる（ステップＳ
６１５）。もしなければそのまま本処理を終了させる
（ステップＳ６１５）。もしあれば、指示選択可能な場
所が新たに現われたのであるから、動画再生速度を遅く
する（ステップＳ６１６）。そのあと、指示選択可能な
領域について特殊な表示効果を作用させる（ステップＳ
６１４）。

【００９１】次に、マウスクリック時の処理について説
明する。

【００９２】マウス装置１０３でボタンが押されると制
御部１０１に割込みが入り、制御部１０１では図９のフ
ローチャートに示された処理を行なう。まず、現在指示
選択可能なものがあるかどうかを調べる（ステップＳ７
０１）。もしなければそのまま本処理を終了させる。

【００９３】次に、リストＤｉの中にクリックされた位
置に指示選択可能な領域があるかどうかを調べる（ステ
ップＳ７０２）。もしなければそのまま本処理を終了さ
せる。

【００９４】もしあれば、その指示選択された対象物に
対して関連情報を表示する（ステップＳ７０３）。

【００９５】本ルーチンではデータの番号ｉを更新しな
いものとする。更新するとユーザの使い勝手が低下する
からである。つまり、ユーザがボタンを押した直後に時
刻が変わりデータの番号が変わったとしても、古いデー
タで処理を行なった方がユーザの感覚に合った処理がで
きるので好ましい。

【００９６】ここで、発明Ａ，１，２，３と本実施形態
におけるフローの間の関係を示す。発明Ａ，１は図５，
図６のステップＳ５１１とステップＳ５１７、図７，図
８のステップＳ６１１とステップＳ６１４に対応する。
発明Ａ，２は図５，図６のステップＳ５１０とステップ
Ｓ５１６、図７，図８のステップＳ６１３とステップＳ
６１６に対応する。発明３は図５，図６のステップＳ５
１２、図７，図８のステップＳステップＳ６０７と６０
８に対応する。

【００９７】次に、発明３の実施形態における表示方法
に関して説明する。

【００９８】図１０（ａ）は表示部１１２の画面を描い
たものである。この画面では表示部１１２の一部に動画
部１２０が表示されており、動画には山と太陽の映像が
映されている。ここで山を指示選択すると、図１０
（ｂ）中１２２で示すように、この山に関する情報が表
示され、太陽を指示選択すると太陽に関する情報が得ら
れるとする。ここでは関連情報が得られる二つの指示選
択可能な場所が動画上にあるので、（ａ），（ｂ）中１
２１で示すように指示選択可能な場所の数である２に対
応してその動画の右上横に横棒が二本引かれている。こ
の他の表示方法としては、アラビア数字の「２」や漢数
字の「二」で表示したり、図１０（ｃ）中１２３で示す
ようにグラフ表記したり、図１０（ｄ）中１２４で示す
ように色の濃淡や彩度の高低で表現することも可能であ
る。

【００９９】また、何の関連情報も得られる場所がない
場合には、関連情報が得られる数がないことを表示する
と、ユーザにとって無駄な選択指示操作を行なわなくて
良いので好ましい。この場合、関連情報が得られる数が
０であることを、無表示、アラビア数字の「０」、漢数
字の「零」、無を表す文字やアイコン等を用いて表示す
れば良い。

【０１００】ここで、従来のように指示選択ができる場
所がユーザに容易にわかるように、指示選択可能領域が
常に特別に装飾（枠付け表示、輝度／明度の異なる表
示）されて表示されるようにすると、動画を鑑賞したい
場合にもそのような特殊装飾が現われて動画が見づら
い。そこで、本実施形態のように、指示選択モードに入
ったときのみに特殊表示をすれば、常時は快適に動画を
鑑賞することができ、動画を指示選択したいときだけ特
殊表示が現われるようになる。

【０１０１】また、動画を指示選択する場合には、指示
選択しようとする対象が動き、対象物を指示選択するの
が困難になるときがあるので、本実施形態のように指示
選択モードに入ると、動画の再生速度を遅くしたり、一
旦停止させたりすれば、動画の一部を指示選択しやすく
なる。

【０１０２】また、動画を指示選択する場合に、そもそ
も現在見ている動画に関連情報があるのかないのかがわ
かると便利である。本実施形態によれば、現在再生中の
動画の中で指示選択可能な場所の数が数字や記号等で表
示されるので、ユーザの使用感が改善される。

【０１０３】（実施形態２）次に、発明４の実施形態に
ついて説明する。

【０１０４】まず、発明４の１番目の実施形態について
説明する。

【０１０５】本実施形態は、ユーザの指示に基づき、関
連情報を一旦停止して表示するものである。

【０１０６】図１１に、本実施形態における表示部１１
２の画面を示してある。ここでは風景の動画が元画面１
３０として再生されており、その一部分をクリックする
と説明文１３１がテキストとして表示されることになっ
ている。

【０１０７】従来技術においては関連情報の表示に際し
ては、元画像の再生速度は通常速度すなわち画像内での
像の動作が自然に見える速度で再生されていた。そのた
め従来技術では関連情報が長大なテキストで全文を読む
のに時間が掛かるような場合において、関連情報を読ん
でいる間に元画像が先に進みすぎてしまうという問題点
があった。本実施形態においては、関連情報がテキスト
であった場合に元画像の再生を一旦停止もしくは低速に
再生することにより、元画像から得られる情報を漏らさ
ず得ることを可能にする。

【０１０８】図１２に、上記制御のために制御部１０１
に保持させる情報の一例を示す。この情報は、元画像の
再生開始時点からの時刻、関連情報が元画像のどの部分
に付与されているか、関連情報の種類、その関連情報の
再生に必要な時間、および関連情報が格納されている２
次記憶中のアドレスからなる。なお、制御部１０１は、
元画像の開始からどれだけの時刻がたったかをカウント
する時計を持っているものとする。

【０１０９】次に、関連情報を表示する際の制御部１０
１の動作を、フローチャートを示す図１３を用いて説明
する。

【０１１０】制御部１０１は、ユーザからの指示を受信
すると（ステップＳ１）、制御部１０１中の時計より現
在時刻を測定する（ステップＳ２）。次に、指示選択の
情報を用いて、ユーザの指示選択を行なった元画像およ
びそれに対する関連情報を特定する（ステップＳ３）。
これは図１２の表より特定できる。その後、関連情報を
表示している間の元画面の再生速度を決定する（ステッ
プＳ４）。そして、その決定が元画像の再生を停止する
かどうかを判別し（ステップＳ５）、停止でないならば
再生速度を変更し（ステップＳ６）、停止ならば元画像
の再生を停止する（ステップＳ７）。その後、関連情報
を表示する（ステップＳ８）。本実施形態においては図
１４に示すような表が制御部１０１中に保持されてお
り、関連情報の種類に応じて対応する表示速度が予め決
定されている。すなわち、テキストを関連情報として表
示する場合には元画像は停止すること、動画あるいは静
止画を表示する場合には元画像の再生速度を０．５倍に
することが決まっている。従って、本実施形態では関連
情報がテキストであるので元の画像は停止されることに
なる。本実施形態では停止が選択されたので、元画像が
停止されるとともに関連情報が表示される。

【０１１１】次に、発明４の２番目の実施形態について
説明する。

【０１１２】本実施形態は、関連情報の再生中に元画像
を高速に再生するのが適している場合の形態であり、い
わゆる疑似旅行体験システムを例にして説明する。つま
り、この実施形態では、ユーザは、疑似的な風景の動画
を見つつ、その一部をクリックすることにより名所旧跡
などに関する情報が得られるようになっている。

【０１１３】風景の画像を元画像として再生し、ユ−ザ
が指示選択することにより、関連情報として名所旧跡の
説明を得られるような従来のシステムでは、途中の風景
部分の画像を短くしてしまうとユーザが本当に旅行をし
ている気分になりにくい。しかしながら、風景部分を長
くするとユーザが退屈してしまう。また、その風景部分
を高速に再生してしまうと指示選択ができないため、余
り興味の無い風景部分の画像でも見続けなくてはならな
いという問題点があった。

【０１１４】そこで、本実施形態では、関連情報が動画
であればその再生時間に、静止画やテキストであれば一
定の時間の間に、次の関連情報が得られる名所旧跡の画
像付近まで表示を高速に進めておくことにより、ユーザ
は効率良く名所旧跡の情報を得、かつ実際の旅行の気分
を味わうことが可能となる。

【０１１５】本実施形態は、発明４の１番目の実施形態
とは、元画像の再生速度決定部分の動作が異なってい
る。以下に、その動作を説明する。

【０１１６】ユーザの元画像に対する指示選択が行なわ
れると、まず、制御部１０１はその時刻を時計から読み
出す。この時刻をｔ０とする。次に、図１２に示した表
から次に出現する関連情報の時刻（ｔ１）および関連情
報を表示するに必要な時間（ｔ２）を読み出す。ここ
で、動画の場合には表示に必要な時間はその再生時間で
あり、静止画あるいはテキストの場合には予めどの程度
表示し続けるかが決められている。次に、そこに至るま
でに掛かる時間（ｔ３＝ｔ１−ｔ０）を計算する。そし
て、元画像をｔ３／ｔ２倍の速度でｔ２時間再生する。
このような制御により、関連情報を再生し終わったとき
にちょうど次に指示選択可能な関連情報が表示し始める
ことが可能になる。

【０１１７】ここで元画像を再生する速度は正確にｔ３
／ｔ２である必要は無く、関連情報を表示し終わった後
しばらくしてから次の関連情報を付与している画像を表
示しても良い。

【０１１８】あるいは、ｔ３＞＝ｔ２の場合にはｔ３／
ｔ２倍で、ｔ３＜ｔ２の場合には通常速度でｔ２時間表
示した後、ｔ３−ｔ２時間だけ一旦停止していることも
可能である。この場合、ｔ３＜ｔ２の場合でｔ２時間以
内にユーザが関連情報の表示を取り止めたときに、元画
像が低速に再生されていることが無いという効果が有
る。

【０１１９】（実施形態３）次に、発明Ｂ，５の実施形
態について説明する。

【０１２０】本実施形態では、表示部１１２の一部に複
数の人物の動画が表示され、ユーザがある人物を指示選
択するとその関連情報としてその人物の代表的な演説の
動画が再生されるシステムを考える。そして、ユーザが
有る人物を指示選択した場合に、演説の動画は初期画面
のみが表示されたままユーザの指示が有るまで停止して
いることを特徴とする。

【０１２１】図１５は、ユーザがある人物を指示選択し
た直後の表示部１２１の画面を描いたものである。本実
施形態では、関連情報１３３が動画であった場合には、
初期画面は表示するものの再生は実行せず停止してい
る。そして、ユーザが図１５に示されている再生ボタン
１３４をクリックしたときに初めて再生を開始するもの
である。

【０１２２】従来、ユーザが関連情報を選択しそれが動
画であった場合、関連情報は自動的に再生されてしまっ
ていた。従って、ユーザは関連情報を表示させた後にそ
れが不要であると判断した場合に、その表示を停止しか
つ関連情報の表示を終了させなければならず、ユーザが
必要な関連情報を探しているようなときは特に不要な手
続きが多く煩わしさを感じるという問題点が有った。

【０１２３】本実施形態では、ユーザは関連情報を表示
させた後、その動画を再生するか否かを選択することが
可能であるので、不要と判断したならば直ちに関連情報
の表示を終了させることにより元画像へと戻ることが可
能となり、ユーザが関連情報を探索するようなときにで
も煩わしさを低減できる。

【０１２４】本実施形態における制御部１０１は、例え
ば図１６に示したような表を保持することにより関連情
報の種類をユーザの指示により容易に判別できる。すな
わち、元画像の再生開始時刻よりｔ０時間後に、図１７
に示したように（ｘ０，ｙ０），（ｘ１，ｙ１）の２点
を長方形の対角線上の両端とする領域１３５内でユーザ
が指示選択を行なった場合には、図１６より動画を関連
情報として再生すること、その再生にはＴｘだけ時間が
掛かること、データは２次記憶中の０ｘＦＦ１０ＦＤの
アドレスから読み出せば良いことが分かる。元画像に対
する指示かどうかは元画像に関してもその領域の座標を
保持することにより容易に判別できる。

【０１２５】本実施形態における関連情報を表示する際
の制御部１０１の動作を図１８に示したフローチャート
を用いて説明する。

【０１２６】制御部１０１はユーザからの指示を受信す
ると（ステップＳ９）、それが関連情報に関する指示な
のか元画像に対する指示かを判別する（ステップＳ１
０）。元画像に対する指示の場合、その指示が関連情報
表示の指示であるかを判断し（ステップＳ１４）、関連
情報表示の指示でなければその指示を実行して（ステッ
プＳ１３）ユーザの入力を再度待つ（ステップＳ９）。
関連情報表示の指示の場合、現在時刻と表１４より関連
情報が動画かどうかを判定する（ステップＳ１７）。関
連情報が動画でなければその表示を行ない（ステップＳ
１６）ユーザの入力を再度待つ（ステップＳ９）。動画
の場合には初期画面のみを表示し（ステップＳ１９）ユ
ーザの入力を待つ（ステップＳ９）。

【０１２７】ユーザからの指示が関連情報を表示した画
面に関するものであった場合、表示されている関連情報
が動画であるかを判別する（ステップＳ１１）。動画で
なければ指示を実行し（ステップＳ１２）、再度ユーザ
の入力を待つ（ステップＳ９）。動画であった場合、指
示が動画の再生開始であるかを識別し（ステップＳ１
５）、再生開始の指示であれば動画の再生を開始し（ス
テップＳ１８）、そうでなければ指示を実行して（ステ
ップＳ１２）再度ユーザの入力を待つ（ステップＳ
９）。

【０１２８】（実施形態４）次に、発明Ｂ，６の実施形
態について説明する。

【０１２９】本実施形態は、関連情報が動画であった場
合には初期画面を表示するとともに直ちに再生を開始す
るが、その画像を低速もしくは高速に再生することを特
徴とする。

【０１３０】本実施形態のシステムは、通常の速度で関
連情報を表示する以外に高速あるいは低速に関連情報を
表示するモードを持っているものとする。高速あるいは
低速表示モードへはユーザの指示により遷移する。これ
らのモード間の遷移は通常速度モードの有る無しによっ
てそれぞれ例えば図１９（ａ），（ｂ）あるいは図１９
（ｃ）の様に遷移する。

【０１３１】従来、ユーザがかつて関連情報として得た
ことのある動画がどの部分の関連情報であったかを検索
しようとすると、動画検索手段がないために関連すると
思われるものを全て表示して見るしか無かった。このた
めユーザは関連情報を全部再生して見なければ所望の情
報を手にいれることができず、情報の入手には膨大な時
間と手間が必要になるという問題点が有った。

【０１３２】本実施形態においては、この様な場合には
あくまでも検索が目的であるので必ずしも動画が通常の
速度で再生される必要は無く、高速表示モードへ遷移す
ることにより、短時間で探索が可能となり、ユーザの検
索の手間と時間を大幅に短縮することが可能となる。

【０１３３】また、従来、関連情報は一定の速度でのみ
表示可能であったため、一部の表示をゆっくりと見た
い、例えば有る動作をスローモーションで見たいという
ユーザの要求には応えられなかった。

【０１３４】本実施形態では、低速表示モードを具備す
ることにより、ユーザがそのモードへ遷移すれば所望の
関連情報の画像をスローモーションで再生することが可
能になる。

【０１３５】本実施形態においては、通常速度で再生す
るか、高速あるいは低速に再生するかはユーザの指示に
基づいて遷移する。制御部１０１には現在どのモードが
選択されているかの情報が格納されている。また、制御
部１０１は、発明４の実施形態における図１２に示した
のと同様の情報を保持しているものとする。この情報に
より発明４の実施形態におけるものと同様にして、関連
情報の種別を判別する。

【０１３６】本実施形態における制御部１０１の動作を
図２０に示したフローチャートを用いて説明する。制御
部１０１は、ユーザからの関連情報の表示の指示を受信
すると（ステップＳ２０）、関連情報の種別すなわち動
画であるか静止画であるか等を判別する（ステップＳ２
１）。そして、関連情報が動画である場合には、関連情
報の表示モードとして現在どのモードが指定されている
かを制御部内に格納されている情報に従い判別する（ス
テップＳ２２）。そして、高速表示モードが指定してあ
った場合には表示速度を上げ（ステップＳ２４）、低速
表示モードであった場合には表示速度を下げる（ステッ
プＳ２５）。また、通常速度モードの場合には何もしな
い。その後、関連情報を指定の表示モードにより表示す
る（ステップＳ２６）。動画でない場合には単に指定さ
れた関連情報を表示する（ステップＳ２６）。

【０１３７】（実施形態５）次に、発明Ｃ，７，８の実
施形態について説明する。

【０１３８】本実施形態は、ユーザが指示選択を行なっ
た関連情報が、指示選択に用いた動画像の変化にともな
って変化するものである。また、関連情報の表示終了
後、自動的にその画面はアイコン化され、再度アイコン
を開いたときには、その時の元画面の状態に即した表示
がなされる。

【０１３９】従来、画像中の同じ物、例えば人物や建物
などが異なる時刻において関連情報を持つ場合、これら
の関連情報は毎回ユーザが指示選択しなければ表示され
得なかった。また、関連情報を表示し終わった場合その
画面は自発的に消え去るか、あるいはユーザの指示によ
って消去されていた。このためユーザは異なる時刻にお
いて関連情報を見ようとする度に指示選択の動作および
関連情報の画面の消去動作を行なわねばならず、その手
間が繁雑であった。また、関連情報をアイコン化してし
まってもその内容はこの画面を表示した時の関連情報を
表示したままであり、異なる時刻での関連情報を表示さ
せたいときには新たに指示選択をする必要が有った。

【０１４０】本実施形態においては、関連情報は画面を
開いておけばその情報のリンクされている画像に対する
関連情報が異なる時刻において自動的に表示され、また
アイコン化しておいてもそれを開いたときには元画面と
同期の取れた内容が表示され、ユーザの手間の軽減がは
かれる。

【０１４１】図２１に、本実施形態における制御部１０
１の保持しているデータを示す。

【０１４２】図２１（ａ）に示した表には、どの時刻に
どの領域が指示選択されると、どの様な種類の関連情報
がどれだけの時間再生され、そのデータ自身は２次記憶
のどの部分に格納されているか、およびこの関連情報を
付与されている元画像中の実体（例えば、人あるいは建
物など）を一意に識別するためのＩＤが格納されてい
る。そして、同じＩＤをもつものが異なる時刻に関連情
報を持つ場合、それらの間にリンクが張られている。こ
のリンクをたどることにより、このＩＤを持つものが次
に関連情報を持つ時刻が容易に計算できる。

【０１４３】図２１（ｂ）に示した表には、現在表示し
ている元画面中で同期して表示されているもののＩＤお
よびこの画面がアイコン化されているか、アイコン化さ
れている場合はどのアイコンかを識別するためのＩＤ、
そしてこのエントリが現在表示している図２１（ａ）へ
のリンクが格納されている。また、この他に、同期して
更新される関連情報を最も近い未来に更新すべき時刻Ｔ
ｏが格納されている。時刻Ｔｏの初期値としては、∞が
設定されている。

【０１４４】次に、本実施形態における制御部１０１の
動作を説明する。

【０１４５】まず、関連情報を表示するように指示の有
った時の動作を図２２に示したフローチャートを用いて
説明する。

【０１４６】ユーザから関連情報の表示を指示されると
（ステップＳ２７）、制御部１０１は制御部１０１中の
時計より現在時刻を読み出す（ステップＳ２８）。その
後、その時刻と指示の有った領域がどこであるかという
情報を用いて、図２１（ａ）に示した表を検索し関連情
報を２次記憶の何処から読み出せば良いかを判別し（ス
テップＳ２９）、そこから画像データを読み出すことに
より画像を表示する（ステップＳ３０）。そして、画像
の表示終了後ユーザにこの画面をこのまま同期して表示
し続けるか、表示する場合には画面を開けたままにする
のかアイコン化するのか、の選択を促す（ステップＳ３
１）。次に、ユーザが同期表示すべきと指示したかどう
かを判別し（ステップＳ３２）、同期表示するときには
更にアイコン化するかどうかを判別する（ステップＳ３
３）。そして、ユーザがアイコン化すべきと指示してい
たならば関連情報の表示画面をアイコン化し（ステップ
Ｓ３４）、そうでない場合には画面はそのままにして図
２１（ａ），（ｂ）の表およびＴｏの値等の管理情報を
更新する（ステップＳ３５）。それに対し、ユーザが同
期表示しないと指示した場合には、関連情報の表示を終
了する（ステップＳ３６）。

【０１４７】次に、Ｔｏの値の更新の仕方を図２３に示
したフローチャートを用いて説明する。

【０１４８】まず、ｉを１に設定する（ステップＳ３
７）。次にｉが図２１（ｂ）のエントリの数以下かどう
かを判別する（ステップＳ３８）。図２１（ｂ）のエン
トリの数よりも大きいときには処理は終了する。以下の
場合には、図２１（ｂ）のｉ番目のエントリがアイコン
化されているかどうかを識別する（ステップＳ３９）。
アイコン化されている場合にはｉを１だけ増やし（ステ
ップＳ４３）、ステップＳ３８へ戻る。アイコン化され
ていない場合にはｉ番目のエントリに対する図２１
（ａ）のリンクをたどることによりこのエントリに対す
る関連情報が次に更新される時刻ｔｎを計算する（ステ
ップＳ４０）。その後、ｔｎとＴｏの大きさを比較し
（ステップＳ４１）、ｔｎ＜ＴｏならばＴｏ＝ｔｎとし
（ステップＳ４２）、ｉを１増やし（ステップＳ４３）
た後ステップＳ３８へ戻る。ｔｎがＴｏ以上の場合に
は、ｉを１増やし（ステップＳ４３）た後ステップＳ３
８へ戻る。

【０１４９】次に、同期表示している関連情報が有り、
その画面が開いたままになっている場合にどのようにし
て制御部１０１がその関連情報の同期をとるか、その動
作を図２４に示したフローチャートを用いて説明する。

【０１５０】制御部１０１は、各時刻において図２１
（ｂ）にアイコン化されていないエントリが有るかどう
かを調べている（ステップＳ４４）。アイコン化された
エントリのみの場合、制御部１０１は特に何もしない。
アイコン化されていないエントリが有る場合、制御部１
０１はその時刻ｔを取得する（ステップＳ４５）。次
に、ｔ＜Ｔｏかどうかを調べ（ステップＳ４６）、ｔ＜
Ｔｏならば特に何もしない。そうでないときは、図２１
（ａ），（ｂ）から同期して更新すべき画面を識別する
（ステップＳ４７）。その後、当該関連情報の画面の更
新を行なう（ステップＳ４８）。ここで、更新とは静止
画やテキストならばその表示を行なうことであり、動画
であればその再生を開始することである。その後、図２
１（ａ），（ｂ）の表の内容や、Ｔｏの値等の管理情報
を更新する（ステップＳ４９）。

【０１５１】例えば、図２１（ａ），（ｂ）に示した例
ではまず、制御部１０１は図２１（ｂ）における関連情
報ＩＤの１，７のエントリのリンク先からさらに図２１
（ａ）のリンクをたどることにより、次に関連情報の表
示の更新が起こるもののうち最も早いのはＩＤ１のもの
に対する時刻ｔ５であることが分かる。従って、時刻ｔ
５までは制御部１０１は特に同期は取る必要は無く、元
画像および関連情報の画像を表示するだけである。時刻
ｔ５の時点で制御部１０１は０ｘＣＣＣＣから関連情報
をロードし表示する。それと共に図２１（ｂ）のリンク
を図２１（ａ）の時刻ｔ５に対する位置にリンクを張り
直す。このような制御を行なうことにより同期をとるこ
とが可能である。

【０１５２】次に、アイコン化してある関連情報を開く
指示の場合の制御部１０１の動作を図２５に示したフロ
ーチャートを用いて説明する。

【０１５３】ユーザからアイコンを開く指示が受信する
と（ステップＳ５０）、そのアイコンを一意に識別可能
なＩＤを取得し（ステップＳ５１）さらに現在の時刻ｔ
を取得する（ステップＳ５２）。そして、図２１（ｂ）
を用い、そのアイコンに対する関連情報の対象のものの
ＩＤを識別する（ステップＳ５３）。そして、図２１
（ｂ）から図２１（ａ）へのリンクをたどることによ
り、アイコンに対応している関連情報の表示開始時刻Ｔ
ｓ、表示に必要な時間Ｔｄ、次に関連情報を更新する時
刻Ｔｍを得る（ステップＳ５４）。

【０１５４】次に、ｔ＜Ｔｍかどうかを調べる（ステッ
プＳ５５）。もしｔ＜Ｔｍならば関連情報が動画である
かを調べ（ステップＳ５６）、静止画やテキストならば
その内容を表示する（ステップＳ５７）。動画の場合に
は関連情報を２次記憶から読みだした上で（ステップＳ
５８）、ｔ＜Ｔｓ＋Ｔｄかどうかを調べる（ステップＳ
５９）。ｔ＜Ｔｓ＋Ｔｄならば関連情報の先頭からｔ−
Ｔｓの時間から再生を開始し（ステップＳ６０）、そう
でなければ最終画面を表示しておく（ステップＳ６
１）。

【０１５５】ｔ＜Ｔｍで無い場合には、図２１（ａ）に
おけるリンクをたどる必要が有る。まず、ｉ＝１とし
（ステップＳ６１）、Ｔ＝Ｔｍｉとする（ステップＳ６
２）。ここで、Ｔｍｉとは現在対象となっている関連情
報のエントリを図２１（ｂ）のエントリのリンクからた
どった場合のｉ番目のエントリの次更新時間である。そ
して現在時刻ｔとＴを比較し（ステップＳ６３）、ｔ＜
Ｔで無いならば、図２１（ａ）のリンクを一つたどり
（ステップＳ６４）、ｉを１増やす（ステップＳ６
５）。ｔ＜ＴならばＴｍ＝Ｔとして（ステップＳ６
６）、ステップＳ５５へ戻ることにより、アイコンを開
いたときにその時刻に対応した関連情報を表示すること
が可能である。

【０１５６】次に、開いてある関連情報をアイコン化す
る時の動作を説明する。

【０１５７】アイコン化の指示が来るとまず現在時刻t
を読み出す。次に、その画面をアイコン化する。次に、
その関連情報の画面に対応するエントリを図２１（ａ）
に示した情報から選択し、そのＩＤに対する図２１
（ｂ）のエントリをアイコン化されたと記し、アイコン
のＩＤを記入する。

【０１５８】以上の動作により、関連情報を元画像と同
期、対応して表示することが可能になり、また関連情報
がアイコン化されていた時でも、そのアイコンを開くと
きには元画像と同期対応させることが可能になる。

【０１５９】（実施形態６）次に、発明９の実施形態に
ついて説明する。

【０１６０】図１に示す画像表示システムでは、前述し
たように、本システムにローカルに接続された二次記憶
装置１０７もしくはネットワークを介して接続されてい
る装置１１３内の二次記憶装置１０８から動画を取り出
す。動画は、図２６のように、図中１２２で示すように
フレームと呼ばれる単位に分割されて二次記憶装置（１
０７もしくは１０８）に格納されている。動画像の再生
は、各フレームを時間的に連続して順に表示することで
行なわれる。フレーム（１２２）には、動画像情報のみ
でなく、画像を指示選択するための情報（図中１２３）
が付加されている。

【０１６１】本システムでは、ある動画データをローカ
ルまたはリモートの二次記憶装置に格納する際に、図２
７のように、画像を指示選択するための情報を各フレー
ムごとに付加するのではなく、とびとびのフレームにの
み付加する。例えば、動画像をＭＰＥＧ形式で格納する
場合には、図２８のように、ＩフレームとＰフレームと
Ｂフレームのうち、Ｉフレームにのみ画像を指示選択す
るための情報を付加する。

【０１６２】図２９に、フレームと画像を指示選択する
ための情報の構造を示す。フレーム１２４には、画像を
指示選択するための情報が格納されている領域へのポイ
ンタ、および画像データが格納されている。画像を指示
選択するための情報がこのフレームに存在しない場合に
は、ポインタはＮＵＬＬを差す。画像を指示選択するた
めの情報を格納する領域１２５には、先頭には、この画
像が無効になるまでの時間が格納されており、その後に
このフレームで指示選択可能な情報の個数と、それぞれ
の指示選択可能な領域の画像上での形状および領域に関
するデータが格納されている。

【０１６３】また、動画におけるシーンの変わり目に
は、指示選択可能な領域が存在する、しないにかかわら
ず、必ずこの画像を指示選択するための情報を付加す
る。シーンの変わり目において、指示選択可能な領域が
存在しない場合には、画像を指示選択するための情報
は、図３０に示すように、指示選択可能な情報の個数と
して０が格納されている。画像を指示選択するための情
報が無効になるまでの時間は、図３１に示すように、画
像を指示選択するための情報がリンクされたフレーム間
の時間ｔを示している。もし、この画像を指示選択する
ための情報がリンクされたフレーム以降に画像を指示選
択可能なフレームが存在しない場合には、時間として、
それを示す特定の値が格納される。例えば、時間として
負の値を指定することにより、これを実現することがで
きる。

【０１６４】図３２に、画像を指示選択するための情報
を格納する領域の例を示す。例では、３．５秒後にこの
情報は無効になることを示している。この時点で、指示
選択可能な情報は３つであり、それぞれの形状は、楕円
（円）、四角形である。位置情報として、楕円の場合に
は、中心の座標、水平方向の径および垂直方向の径が格
納されており、四角形の場合には、左上の角の座標およ
び右下の角の座標が格納されている。

【０１６５】上記システムにおいて、ユーザが、指示選
択モードに入ろうとした場合には、指示選択領域が現れ
る所まで、動画を通常再生もしくは高速再生する。この
場合、とびとびのフレームに画像の指示選択のための情
報が付加されていること、およびシーンが変化すること
を考慮する必要があるため、図３３に示すように、現在
の指示選択するための情報が有効である時間の初期値
と、情報が無効になるまでの残り時間の情報を二次記憶
装置上に持つ。

【０１６６】このとき、図３４に示すように、ユーザが
指示選択モードに入ろうとするタイミングに関して、４
通りの場合を考慮する必要がある。

【０１６７】図３４において、タイミングＡでユーザが
指示選択モードに入ろうとした場合には、このフレーム
αに画像の指示選択のための情報が付加されているた
め、そのまま指示選択モードに遷移する。

【０１６８】タイミングＢもしくはタイミングＣでユー
ザが指示選択モードに入ろうとした場合、フレームβに
戻るあるいはフレームγに進むという選択肢が考えられ
る。ここで、フレームβにリンクされている画像を指示
選択するための情報には、この情報が無効になるまでの
時刻が記録されているので、指示選択モードに入ろうと
したときに、フレームβ、フレームγのどちらが時間的
に近いかを判断することができる。そこで、これらのフ
レームのうち、近い方へ進むあるいは戻る動作をすれば
良い。この動作は、通常の速度でも良いし、高速に移動
するのでも良い。

【０１６９】また、タイミングＤでユーザが指示選択モ
ードに入ろうとした場合には、次の指示選択可能な情報
がリンクされたフレームδは、別のシーンであるため、
必ずフレームγに戻らなければならない。

【０１７０】図３５は、ユーザが指示選択モードに入ろ
うとした場合の本システムの流れ図を示したものであ
る。

【０１７１】まず、現在再生中のフレームに画像を指示
選択するための情報がリンクされているかどうか調べる
（ステップＳ１２１）。リンクされている場合には、そ
のまま指示選択モードに入る。リンクされていない場合
には、次に画像を指示選択するための情報がリンクされ
ているフレームが、シーンの変わり目であるかどうか調
べる（ステップＳ１２２）。シーンの変わり目である場
合には、画像を指示選択するための情報がリンクされて
いる前のフレームに戻り、指示選択モードに入る（ステ
ップＳ１２４）。シーンの変わり目でない場合には、
（画像を指示選択するための情報が有効である時間の初
期値／２）と画像を指示選択するための情報が無効にな
るまでの時間を比較し（ステップＳ１２３）、画像を指
示選択するための情報が無効になるまでの時間の方が多
い場合には、画像を指示選択するための情報がリンクさ
れている前のフレームに戻り（ステップＳ１２４）、指
示選択モードに入る。無効になるまでの時間の方が少な
い場合には、画像を指示選択するための情報がリンクさ
れている次のフレームに進み（ステップＳ１２５）、指
示選択モードに入る。

【０１７２】（実施形態７）次に、発明１０の実施形態
について説明する。

【０１７３】ユーザが、画面上に表示された画像の一部
もしくは全部を指示選択した場合、図１における制御部
１０１がそれを検知し、その画面上の位置情報から、そ
れに対応した画像情報を求め、ローカルな二次記憶装置
１０７に記録することで、指示選択可能な画像に対する
アクセスに関する統計情報を収集する。

【０１７４】図３６に、統計情報を収集するために必要
なデータ構造を示す。画像は、シーン毎に一意に決定さ
れる番号がつけられており、そのシーン中で、指示選択
可能な画像に関するアクセス頻度を格納するための領
域、およびユーザが指示選択可能でない領域を指示選択
しようとした場合に、指示選択不可能であった座標の個
数を格納するための領域と指示選択不可能であった座標
を格納するための領域が用意されている。

【０１７５】図３７に、統計情報を収集するためのフロ
ーチャートを示す。

【０１７６】ユーザが指示選択しようとしたときのシー
ン番号と、画面上の位置情報を求める（ステップＳ１４
１）。もし、このシーン内のユーザが指示選択しようと
した場所に、指示選択可能な画像が存在するかしないか
調べ（ステップＳ１４２）、存在しない場合には、ユー
ザが指示選択しようとしたが指示選択不可能であった領
域の座標の個数を１増やし（ステップＳ１４４）、ユー
ザが指示選択しようとした座標をテーブルに登録する
（ステップＳ１４５）。指示選択可能な画像が存在した
場合には、対応する指示選択可能な画像に関するアクセ
ス回数を１増やす（ステップＳ１４３）。

【０１７７】図３８に、ユーザが指示選択しようとした
場所に指示選択可能な画像が存在しない場合に収集され
た統計情報を解析するときのフローチャートを示す。

【０１７８】画像を表示する装置の縦横の解像度をそれ
ぞれｘ、ｙとすると、図３６の、ユーザが指示選択しよ
うとしたが、指示選択不可能であった領域の座標は、ｘ
×ｙの大きさのテーブルに収まる。まず、図３９に示す
ように、各シーン毎にｘ×ｙのテーブルを作り（ステッ
プＳ１４６）、シーン毎に記録されている座標に対応す
る部分の値を１増やす操作を、記録されている座標全て
に対して行なう（ステップＳ１４７，Ｓ１４８）。次
に、指示選択可能な領域の大きさの平均を求め（ステッ
プＳ１４９）、図４０に示すように、その大きさの領域
を、表上を動かすことで、領域中の値の総和を求める
（ステップＳ１４１０）。領域中の値の総和と、閾値
（例えば領域の面積の半分など）を比較し（ステップＳ
１４１１）、総和が閾値を越えた場合には、その領域の
位置を記録する（ステップＳ１４１２）。この操作を、
画像全体に対して行なう（ステップＳ１４１３）。これ
により、このシーン内で指示選択不可能であった部分を
特定することが可能となる。

【０１７９】以上のようにして収集された統計情報を利
用することで、予め指示選択可能な画像が準備されてい
た場合で、かつアクセス頻度が高い場合には、それらの
画像をより高速な二次記憶装置に格納するなどの方法に
より、アクセス速度を向上させることができる。アクセ
ス頻度が低い場合には、それらの画像をより低速なかつ
安価な二次記憶装置に移すことで、二次記憶装置にかか
るコストを削減することができる。

【０１８０】また、指示選択可能な画像が準備されてい
なかった場合でも、統計情報を解析し、ユーザが興味を
示す対象を特定することで、その対象に関する画像を準
備し、ユーザのニーズにこたえることが可能となる。

【０１８１】（実施形態８）次に、発明１１の実施形態
について説明する。

【０１８２】本システムで扱う元画像における画像の撮
影場所、撮影方向、画角等の情報は、人手で記録しても
良いが、それらが時々刻々と変化するならば機械的、電
気的手段により自動的に記録する方が便利である。

【０１８３】撮影位置を自動的に記録する一つの手段と
しては、図１のビデオカメラ１１１にＧＰＳやジャイロ
装置等を付け加えることが考えられる。これら撮影位置
を自動的に記録するための装置は、ビデオカメラに直接
つけなくとも、撮影者またはビデオカメラを乗物に載せ
て移動させるならば、その乗物に設置することでも同等
の効果を得ることができる。また、カメラの移動する軌
道が何らかの手段で求めることができるならば、すべて
の時点での位置情報を記録する必要はない。例えば、人
工衛星に搭載されたカメラであれば人工衛星の軌道を計
算するのに十分なパラメータ（例えば撮影開始の時刻、
その時の衛星の位置、速度など）が求まれば十分であ
る。また、市街地を移動する車に設置されたカメラであ
れば、通過した交差点の名前とその時の時刻を記録すれ
ばよい。

【０１８４】撮影方向を記録する場合は、やはりカメラ
にジャイロ装置を取り付けることが考えられる。機械的
な装置でカメラを動かす場合なら、制御に用いた数値を
記録することにより、直接カメラの方向を記録したのと
同等の効果を得ることができる。

【０１８５】画角を記録するには、カメラの焦点距離を
記録すれば良い。

【０１８６】上記いずれの方法を用いるにしても、制御
部１０１に記録された情報を用いて、動画の任意の時点
でその時の撮影場所、撮影方向、撮影角度、画角情報の
一部、またはすべてが取得可能であるものとする。

【０１８７】図４１に、本実施形態のシステム構成を示
す。

【０１８８】選択領域判別部４１０１は、元画像の撮影
場所、撮影方向、撮影角度、焦点距離の情報、場所の風
景情報、地図などに基づいて、指示選択された対象が何
であるかを調べる。

【０１８９】時刻計測部４１１０は、ユーザが領域選択
を行なった時刻を決定する。ここで、「時刻」とは、動
画の撮影が開始された時刻を起点として計時した、動画
の各シーンが撮影されるまでの時間を指すものとする。
通常の時刻との違いを明確にするため、以下ではこれを
「動画時刻」と呼ぶことにする。例えば、動画が巻き戻
された場合、動画時刻も元に戻るようになっている。

【０１９０】選択領域方向判別部４１０７は、マウスな
どの選択手段（指示選択部４１１１）により指示選択さ
れた領域の画面上での位置を示す選択領域情報を受け取
り、その領域が撮影地点から見てどの方向かを撮影方向
情報と画角情報を用いて判別する。

【０１９１】撮影方向情報（４１０８）は、ある動画時
刻において、カメラがどちらの方向を向いていたのかを
記録した情報である。

【０１９２】画角情報（４１０９）は、ある動画時刻に
おいて、カメラの撮影した範囲、つまり画角を記録した
情報である。

【０１９３】目標物判別部４１０４は、選択領域方向判
別部４１０７から選択領域の方向情報を受け取り、それ
を基に指示選択された目標物が何なのか風景情報および
撮影位置情報を用いて判別する。

【０１９４】風景情報（４１０５）は、ある地点からあ
る方向を見たときに、その方向にある指示選択の対象に
なるような目印、物（例えば建築物、山など）を特定で
きるような情報である。例えば、地図情報、建築物の設
計図、室内のレイアウト情報などを用いることができ
る。

【０１９５】撮影位置情報（４１０６）は、ある動画時
刻において、カメラの位置を記録した情報である。

【０１９６】図４２に、本実施形態の処理の流れを示
す。

【０１９７】ここでは、地図を用いて指示選択された対
象が何であるかを調べる例を示す。図４３に示すよう
に、ここでは４つの主要な峰Ａ（４３０１），Ｂ（４３
０２），Ｃ（４３０３），Ｄ（４３０４）を持つある山
脈の風景を展望台（４３０５）から撮影した動画を例に
とる。これらの峰が目標物となる。図４３において各峰
および展望台に付けられた数値はそれぞれの標高を表
す。撮影者は展望台から山脈をビデオカメラを用いて撮
影したものとする。ユーザが撮影された動画を見ながら
４つの峰のいずれかを指示選択することにより、その峰
に関する情報を得られるようなシステムを考える。

【０１９８】動画情報が２次記憶装置１０７に格納され
るのと同様に、風景情報４１０５、撮影位置情報４１０
６、撮影方向情報４１０８、画角情報４１０９もあらか
じめ２次記憶１０７に格納されている。既に述べたよう
に本実施形態では、風景情報として地図情報を用いる。
４つの峰Ａ（４３０１），Ｂ（４３０２），Ｃ（４３０
３），Ｄ（４３０４）の緯度、経度および標高を地図か
ら読みとり記録する。また、本実施形態の場合、撮影位
置は固定である。したがって、撮影位置情報４１０６と
しては、展望台（４３０５）の緯度、経度および標高を
地図から読みとり記録する。

【０１９９】撮影方向情報４１０８および画角情報４１
０９に関しては以下のようにする。撮影開始から終了ま
でのカメラの向いていた角度および画角は、画像情報と
共に連続的に自動的にカメラに記録されるものとする。
ここで、撮影方向といった場合、図４４に示すように真
北方向から測った水平方向の角度４４０１と、水平面に
対して上向きに何度向いているかを示す垂直方向の角度
４４０２の２つを指すものとする。厳密には角度情報と
してカメラの光軸の回りの回転角、つまり写された画面
の上方向が３次元空間で実際にどちらを向いているのか
を求めるための数値が必要である。しかし、簡単のため
ここでは画面の上方向は垂直方向と常に一致する様に撮
影者はカメラを動かしたものとする。もちろん、光軸の
回りの回転角が固定でない場合も同様な考え方で実現で
きる。

【０２００】図４３に示すように撮影者は真北に対して
１２０度の方向から３０度の方向まで時計回りにカメラ
を回したものとする。図４５に示すように、撮影方向お
よび画角の情報は、撮影開始時点から撮影終了時点まで
の動画時間に対して連続的に記録される。図４５の例で
は、途中で特に標高の高い峰Ｂ（４３０２）と特に標高
に低い峰Ｃ（４３０３）を写すようにカメラを上下に振
らしている様子が示されている。また、峰Ｂを大きく撮
影するためにカメラが峰Ｂに達してからズーミングして
画角を小さくした後、またもとに戻している。

【０２０１】以下、本実施形態における動作を図４２に
示したフローチャートを用いて説明する。

【０２０２】ユーザから動画再生要求があると（ステッ
プＳ４２０１）、動画情報が制御部１０１に格納される
が、それと同時に上記各情報も制御部１０１に格納され
る（ステップＳ４２０２）。そして、動画の再生が開始
される（ステップＳ４２０３）。動画の再生中にユーザ
が領域選択を行なった場合（ステップＳ４２０４）、目
標物の情報が表示される（ステップＳ４２０５）。

【０２０３】ここで、目標物の情報を表示するにあたっ
て、風景情報４１０５、撮影位置情報４１０６、撮影方
向情報４１０８、および画角情報４１０９から指示選択
された峰を判別する方法を説明する。

【０２０４】画像を再生する間、時刻計測部４１１０は
動画時刻を常に保持している。これは次のようにして実
現する。制御部１０１の動画情報記録部４１０２から表
示部１１２まで動画を送り出す画像送出部４１０３があ
る。時刻計測部４１１０は画像送出部４１０３から送り
出された画像が何枚目に相当するかを記録している。例
えば、動画の１フレームが１／３０秒ならば、記録され
た番号に１／３０を掛けることにより動画時間を求める
ことができる。

【０２０５】この画像を再生中に画像の全部または一部
が選択された場合（ステップＳ４２０４）、目標物判別
部４１０４と選択領域方向判別部４１０７はその時の動
画時刻を読み込む（ステップＳ４２１１）。ここでは図
４５の時刻Ｔで選択が実行されたものとする。

【０２０６】選択領域方向判別部４１０７は、時刻Ｔに
おける撮影方向と画角を撮影方向情報４１０８、画角情
報４１０９から求める（ステップＳ４２１２）。続い
て、選択領域方向判別部４１０７は、選択された領域の
画面上での位置、すなわち画面の中央を原点として選択
領域の座標を求める。ここでは、図４６のように峰Ｂの
付近が選択されたものとする。選択領域方向判別部４１
０７は、時刻Ｔでの画角の値と指示選択領域の位置座標
から、指示選択領域の方向がカメラの撮影角度から垂直
方向および水平方向にどれだけずれているかを求める。
さらに、時刻Ｔでの画像の撮影角度から指示選択領域の
方向を求める。この様子を図４７に示す（ステップＳ４
２１３）。

【０２０７】目標物判別部４１０４は時刻計測部４１１
０から読みとった動画時刻からその時点での撮影位置を
求める（ステップＳ４２１４）。ただし、この例では撮
影位置は固定なので撮影位置を求めるのに動画時刻は必
要ではない。さらに、目標物判別部４１０４は風景情報
４１０５の各峰の緯度、経度および標高と、展望台の緯
度、経度および標高から、撮影位置から見た各峰の方向
を計算する（ステップＳ４２１５）。次に、目標物判別
部４１０４は、選択領域方向判別部４１０７から得られ
た撮影方向情報と今求めた各峰の方向を比較する。図４
８に示すのは各峰の方向および選択領域の方向をプロッ
トしたものである。この例では、指示選択された領域の
撮影方向は峰Ｂ（４３０２）の頂点の方向の極近くに位
置するので、選択されのは峰Ｂ（４３０２）であると判
定することができる（ステップＳ４２１６）。

【０２０８】そして、選択領域判別部４１０１は、目標
物判定部４１０４から、選択された目標物を読みとり、
それに関連した情報を表示する（ステップＳ４２１
７）。

【０２０９】以上のように、動画からオーサリングツー
ルを用いて動画の部分に関連情報を付与していくことは
非常に手間のかかることであったが、本実施形態によれ
ば、動画の撮影状況の情報を整るだけで、動画上の対象
物を自動的に判別させることが可能である。

【０２１０】（実施形態９）次に、発明１２の実施形態
について説明する。

【０２１１】本実施形態は、大分して、二つの部分から
なる。第一の部分は動画編集のオーサリングに関するこ
とであり、第二の部分はそれによって作られた情報に基
づき動画から関連情報を得る方法についてである。

【０２１２】第一の特徴部分では、オーサリングツール
を使うものは、図４９のように、まず、適切な画面分割
方法を考え（ステップＳ５００１）、次に、その分割画
面に関連した情報を付加する（ステップＳ５００２）。
これについて、図５０を用いて説明する。図５０（ａ）
では、時刻Ｔａの画像において、アナウンサーがニュー
ス１について述べている様子が示されている。時刻Ｔｂ
では、同じアナウンサーがニュース２について述べてい
る。時刻Ｔｃでは、同じアナウンサーとゲスト解説者１
が話している。時刻Ｔｄでは、同じアナウンサーとゲス
ト解説者１とゲスト解説者２の三人が登場している。

【０２１３】ここでオーサリングツールの使用者は、意
味の切れ目として時刻ＴａおよびＴｂにおいては、右上
四分の一とそれ以外という区分に分けると都合がよいと
判断し、時刻Ｔｃにおいては中央で左右に分けるとアナ
ウンサーとゲスト解説者とが分離でき、時刻Ｔｄにおい
ては画面を縦に三分割すると三人の参加者を分離できる
と判断がつく。

【０２１４】そこで、上記のように分割を決めたとき
に、図５０（ｂ）に示すようなデータを作成する。

【０２１５】配列ｔｉｍｅは、異なる分割となる時間の
区切りを格納する。図５０（ａ）の例では、配列ｔｉｍ
ｅの要素は、Ｔａ，Ｔｃ，Ｔｄ，…となる。

【０２１６】配列ｐａｒｔｉｔｉｏｎは、その時刻にお
ける適切と思われる分割が格納されている。ここでは、
分割の具合いを図で示しているが、実際には分割の種類
に応じた番号が用いられる。

【０２１７】配列ｔａｂｌｅ１は、各分割のデータが格
納されている配列ｔａｂｌｅ２へのポインタである。配
列ｔａｂｌｅ２では、各分割におけるそれぞれの区分の
データが格納されている。このため分割の数だけのテー
ブル領域を必要とする。配列ｓｕｂｔｉｍｅは、各分割
の要素における有効時間を表し、その時の関連情報が配
列ｉｄに格納されている。

【０２１８】例えば、時刻Ｔａでは分割の数は２である
ので、配列ｔａｂｌｅ２の上では２つの領域をとり、時
刻Ｔｄでは分割の数は３であるので、配列ｔａｂｌｅ２
の上では３つの領域を取る。時刻０からＴｃ未満までで
は分割は二つである。

【０２１９】また、右上の領域は二つの内容があるの
で、配列ｓｕｂｔｉｍｅ上では二つの領域を必要とし、
配列ｉｄでも同様に二つの内容に対して関連情報のリン
クが存在する。ただし、関連情報がない場合にはこの領
域はＮＵＬＬになる。

【０２２０】次に、第二の部分、すなわちユーザによる
指示選択が入力された場合の処理を図５１のフローに沿
って説明する。まず、時刻ｔがどの分割時間帯に入るか
を調べる（ステップＳ５１０１〜Ｓ５１０４）。ここ
で、添字ｉは動画の再生時に０に設定され、それ以降は
図５１のフローに入るときに初期化せずに、前回用いた
ｉの値を再利用するものとする。次に、その時間帯にお
ける分割方法ｐａｒｔｉｔｉｏｎ［ｉ］とユーザが指示
選択した位置情報である座標（ｘ，ｙ）から、ユーザが
指示選択した位置が分割のどこに対応するかを関数ＰＡ
ＲＴで調べる。関数ＰＡＲＴの中身については図５２の
フローで示す。この結果を変数Ｚに格納する（ステップ
Ｓ５１０５）。当該時間帯のデータの位置ｔａｂｌｅ１
［ｉ］およびｔａｂｌｅ２［ｉ］とその中におけるオフ
セットＺとから、ユーザが指示選択した時刻帯と位置に
おける対象物の関連情報が格納されているデータの開始
位置のインデックスｊを求める（ステップＳ５１０
６）。同一の分割法をした中から正にユーザが選択した
時刻におけるインデックスｊを求める（ステップＳ５１
０７，Ｓ５１０８）。そのインデックスｊにおける関連
情報へのリンクｉｄ［ｊ］が定義されているならば（ス
テップＳ５１０９）、それを表示する（ステップＳ５１
１０）。

【０２２１】図５２に関数ＰＡＲＴのフローを示す。

【０２２２】ここでは、前の例に出てきた分割に対して
のみ説明するが、実際には個々の分割に応じて記述する
必要がある。ここでは左下を原点とし、右や上に向かう
に従って座標値が増えるものとする。画面の領域は
（０，０）から（ＸＭＡＸ，ＹＭＡＸ）の領域であると
する。

【０２２３】まず、時刻Ｔａにおける分割の場合には
（ステップＳ５２０１）、領域の右上の領域ならば（ス
テップＳ５２０２）、０を返し（ステップＳ５２０
３）、さもなければ１を返す（ステップＳ５２０４）。
次に時刻Ｔｃにおけるような中央で左右に別れる分割の
場合には（ステップＳ５２０５）、ｘの座標値を調べ
（ステップＳ５２０６）、ｘの座標値が左半分の領域に
あるならば、０を返し（ステップＳ５２０７）、さもな
ければ１を返す（ステップＳ５２０８）。さらに、時刻
Ｔｄのように縦割り三分割の場合には（ステップＳ５２
０９）、ｘの座標が左１／３の範囲にあれば（ステップ
Ｓ５２１０）、０を返し（ステップＳ５２１１）、中央
の領域にあれば（ステップＳ５２１２）、１を返し（ス
テップＳ５２１３）、右の１／３の領域にあれば２を返
す（ステップＳ５２１４）。この他の分割の場合につい
ても同様に記述する。

【０２２４】以上のように、動画で関連情報が得られる
場所を動画の部分で厳密に指示しようとすると手間が大
きいが、本実施形態のように画面分割を考えて各分割内
での関連情報を指定するようにすると関連情報をつける
作業が楽である上に、ユーザが指示選択したときにユー
ザが指している部分がどこかを調べるのも容易になる。

【０２２５】本発明は、上述した実施形態に限定される
ものではなく、その技術的範囲において種々変形して実
施することができる。

【０２２６】

【発明の効果】本発明によれば、指示選択の際に表示中
の画像ついて指示選択できる場所を通常とは異なる表示
方法で明示的に示し、あるいは指示選択できる場所の有
無あるいは個数の情報を表示するので、指示選択しない
通常時の元画像の再生に影響を与えることなく、ユーザ
に指示選択操作のための有効な情報を伝えることができ
る。

【０２２７】また、本発明によれば、元の画像が動画で
ある場合、指示選択操作の際には元の動画を一時停止ま
たは低速再生するので、ユーザに対象物を容易に選択指
示させることができる。

【０２２８】また、本発明によれば、関連情報の表示中
における元の動画や関連情報としての動画を必要に応じ
て一旦停止、低速再生または高速再生するので、ユーザ
にとってよりわかりやすい情報の表示の仕方が可能とな
る。

【０２２９】また、本発明によれば、ユーザによる実際
の指示選択状況を記録するので、これにより収集された
統計情報を利用することで、例えばより多く指示選択さ
れる関連情報をより高速な記憶装置へ配置して処理を高
速化し、あるいは多数の指示選択があったがその位置が
指示選択できないものであったとき、その位置に相当す
る対象物の関連情報を新たに追加してユーザのニーズに
答えるなど実情に即した有効なシステム改善を行なうこ
とができる。

【０２３０】本発明によれば、動画の撮影状況の情報を
整えておくだけで、動画上の選択可能な対象物を自動的
に判別させることができるので、元情報に関連情報を付
与していく操作が簡単になる。

【０２３１】本発明によれば、画面の内容に適した簡易
な画面分割を行ない、各分割領域内での関連情報を指定
しておき、ユーザにより指示選択された分割領域を特定
して対応する関連情報を表示するようにしたので、元の
情報に関連情報を対応付ける作業が楽である上に、ユー
ザが指示選択したときにユーザが指している部分を特定
する処理も容易になる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像表示システムの
基本的構成を示すブロック図

【図２】本実施形態で用いる基本データ構造の一形態を
説明するための図

【図３】各画像中に存在する要素数を得るための手順を
示すフローチャート

【図４】指示選択不可能モードと指示選択モード間の遷
移図

【図５】マウス移動時の割込み処理の流れを示すフロー
チャート

【図６】マウス移動による割込み処理の流れを示すフロ
ーチャート

【図７】タイマ割込み時の処理の流れを示すフローチャ
ート

【図８】タイマ割込み時の処理の流れを示すフローチャ
ート

【図９】マウスクリックによる割込み処理の流れを示す
フローチャート

【図１０】発明３に係る実施の形態における各種表示方
法を示す図

【図１１】発明４に係る実施の形態における表示制御方
法を説明するための図

【図１２】同実施の形態において制御部１０１に保持さ
せるテーブルの一例を示す図

【図１３】関連情報を表示する際の制御部１０１の動作
を示すフローチャート

【図１４】関連情報の種類と表示速度との対応を記録し
たテーブルの一例を示す図

【図１５】発明５に係る実施の形態における表示制御方
法を説明するための図

【図１６】同実施の形態において制御部１０１に保持さ
せるテーブルの一例を示す図

【図１７】関連情報の種類を判別する方法を説明するた
めの図

【図１８】関連情報を表示する際の制御部１０１の動作
を示すフローチャート

【図１９】発明６に係る実施の形態における高速表示モ
ードと低速表示モードを含む表示モード間の遷移図

【図２０】関連情報を表示する際の制御部１０１の動作
を示すフローチャート

【図２１】発明７，８に係る実施の形態において制御部
１０１に保持させる２つのテーブルの一例を示す図

【図２２】関連情報を表示するように指示入力された場
合の制御部１０１の動作を示すフローチャート

【図２３】関連情報の更新時刻Ｔｏの値を更新する処理
の流れを示すフローチャート

【図２４】同期表示している関連情報が有り、その画面
が開いたままになっている場合の制御部１０１の動作を
示すフローチャート

【図２５】アイコン化してある関連情報を開く指示が入
力された場合の制御部１０１の動作を示すフローチャー
ト

【図２６】発明９の実施の形態における情報の構造を説
明するための図

【図２７】同情報の構造を説明するための図

【図２８】同情報の構造を説明するための図

【図２９】同情報の構造を説明するための図

【図３０】同情報の構造を説明するための図

【図３１】同情報の構造を説明するための図

【図３２】同情報の構造を説明するための図

【図３３】同情報の構造を説明するための図

【図３４】同実施の形態における制御を説明するための
図

【図３５】同実施の形態における制御部１０１の動作を
示すフローチャート

【図３６】発明１０の実施の形態における情報の構造を
説明するための図

【図３７】統計情報を収集するための処理の流れを示す
フローチャート

【図３８】収集された統計情報を解析するための処理の
流れを示すフローチャート

【図３９】同実施形態において制御部１０１に保持させ
るテーブルの一例を示す図

【図４０】同実施形態において制御部１０１に保持させ
るテーブルの一例を示す図

【図４１】発明１１の実施の形態に係るシステムの基本
構成を示す図

【図４２】同実施の形態の処理の流れを示すフローチャ
ート

【図４３】撮影対象の一例を説明するための図

【図４４】撮影方向を説明するための図

【図４５】撮影方向および画角のの時間変化を示す図

【図４６】選択領域の座標を求める処理を説明するため
の図

【図４７】指示選択領域の方向と撮影角度のずれを求め
る処理を説明するための図

【図４８】各峰の方向および選択領域の方向をプロット
した図

【図４９】発明１１の実施の形態における動画編集の概
略を示すフローチャート

【図５０】動画編集の手順を説明するための図

【図５１】ユーザによる指示選択が入力された場合の処
理制御部１０１の動作を示すフローチャート

【図５２】ユーザが指示選択した位置が分割のどこに対
応するかを調べる手順を示すフローチャート

【符号の説明】

１０１…制御部 １０２…キーボード装置 １０３…マウス装置 １０４…タッチパネル １０５…光線発射装置 １０６…受光装置 １０７…二次記憶装置 １０９…ネットワーク １１０…制御部 １１２…表示部 １１３…装置 ４１０１…選択領域判別部 ４１０２…動画情報記録部 ４１０３…画像送出部 ４１０４…目標物判別部 ４１０７…選択領域方向判別部 ４１１０…時刻計測部 ４１１１…指示選択部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柿元 満 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 川倉 康嗣 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 相川 健 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (9)

【特許請求の範囲】
1. 【請求項１】画像情報を表示するとともに、表示中の画
   像情報に対して予め設定された所定の指示選択可能領域
   に対応付けられた関連情報のうち所定の入力デバイスに
   より指示選択された位置を包含する前記指示選択可能領
   域に対応するものを表示する画像表示システムにおける
   画像表示方法であって、 前記画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、 前記指示選択マーカの表示位置が前記画像情報が表示さ
   れた前記表示領域の外部から前記表示領域の内部に更新
   される場合に、表示中の前記画像情報に対応する関連情
   報が存在するときは、前記表示領域の外部に前記指示選
   択マーカの表示位置が存在する場合とは異なる表示方法
   で該画像情報を表示することを特徴とする画像表示方
   法。
2. 【請求項２】画像情報を表示するとともに、表示中の該
   画像情報に対して予め設定された所定の指示選択可能領
   域に対応付けられた関連情報のうち所定の入力デバイス
   により指示選択された位置を包含する前記指示選択可能
   領域に対応するものを表示する画像表示システムにおけ
   る画像表示方法であって、 前記画像情報を画面上の所定の表示領域に表示するとと
   もに、 前記表示領域に表示されている画像情報に対して設定さ
   れた前記指示選択可能領域の存在の有無または個数に関
   する情報を所定の形式で表示することを特徴とする画像
   表示方法。
3. 【請求項３】一連のフレームからなる動画像情報である
   元画像情報を表示するとともに、表示中のフレームに対
   して予め設定された所定の指示選択可能領域に対応付け
   られた関連情報のうち所定の入力デバイスにより指示選
   択された位置を包含する前記指示選択可能領域に対応す
   るものを表示する画像表示システムにおける画像表示方
   法であって、 前記元画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、指示選択を受
   け付け、 指示選択された位置を包含する前記指示選択可能領域に
   対応する前記関連情報が動画像情報である場合、指示選
   択された該関連情報を表示するとともに、該関連情報を
   表示する間は、前記元画像情報を通常再生とは異なる所
   定の表示方法で表示することを特徴とする画像表示方
   法。
4. 【請求項４】画像情報を表示するとともに、表示中の画
   像情報に対して予め設定された所定の指示選択可能領域
   に対応付けられた関連情報のうち所定の入力デバイスに
   より指示選択された位置を包含する前記指示選択可能領
   域に対応するものを表示する画像表示システムにおける
   画像表示方法であって、 前記元画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、指示選択を受
   け付け、 指示選択された位置を包含する前記指示選択可能領域に
   対応する前記関連情報が動画像情報である場合、該関連
   情報を通常再生とは異なる所定の表示方法で表示するこ
   とを特徴とする画像表示方法。
5. 【請求項５】一連のフレームからなる動画像情報である
   元画像情報を表示するとともに、表示中のフレームに対
   して予め設定された所定の指示選択可能領域に対応付け
   られた関連情報のうち所定の入力デバイスにより指示選
   択された位置を包含する前記指示選択可能領域に対応す
   るものを表示する画像表示システムにおける画像表示方
   法であって、 前記元画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、指示選択を受
   け付け、 指示選択された位置を包含する前記指示選択可能領域に
   対応する前記関連情報が、後続する他のフレームに対応
   付けられた他の関連情報とリンク付けされている場合、
   指示選択された関連情報として表示する内容を前記元画
   像情報の表示状況に同期してリンク付けされた他の関連
   情報の内容に更新していくことを特徴とする画像表示方
   法。
6. 【請求項６】一連のフレームからなる動画像情報である
   元画像情報を表示するとともに、予め該一連のフレーム
   に対して離散的に指示選択可能なフレームが設定され、
   該指示選択可能なフレームの表示中に該フレームに対し
   て予め設定された所定の指示選択可能領域に対応付けら
   れた関連情報のうち所定の入力デバイスにより指示選択
   された位置を包含する前記指示選択可能領域に対応する
   ものを表示する画像表示システムにおける画像表示方法
   であって、 前記元画像情報を画面上の所定の表示領域に表示すると
   ともに、 前記元画像情報の表示中に指示選択可能なモードに遷移
   すべき要求が入力された場合、表示しているフレームが
   指示選択可能なフレームでないときは、所定の指示選択
   可能なフレームまで前記動画像情報を通常再生または高
   速再生させ、該所定の指示選択可能なフレームにおいて
   一時停止させることを特徴とする画像表示方法。
7. 【請求項７】画像情報を表示するとともに、表示中の画
   像情報に対して予め設定された所定の指示選択可能領域
   に対応付けられた関連情報のうち所定の入力デバイスに
   より指示選択された位置を包含する前記指示選択可能領
   域に対応するものを表示する画像表示システムにおける
   実際の指示選択状況に関するデータを収集するためのデ
   ータ収集方法であって、 前記画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、指示選択を受
   け付け、 指示選択が入力された場合、その時点における前記指示
   選択マーカの表示位置の座標または該表示位置に対応す
   る識別情報を求め、各座標または各識別情報ごとに頻度
   情報として記録することを特徴とするデータ収集方法。
8. 【請求項８】撮影装置により撮影された画像情報を表示
   するとともに、表示中の画像情報に含まれる任意の対象
   物に予め対応付けられた関連情報のうち所定の入力デバ
   イスにより指示選択された対象物に対応するものを表示
   する画像表示システムにおける対象物特定方法であっ
   て、 前記画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、指示選択を受
   け付け、 指示選択が入力された場合、表示中の画像情報について
   予め記録された撮影装置の位置、撮影方向、撮影角度お
   よび画角を特定するための情報と、指示選択されたとき
   の前記指示選択マーカの前記所定の表示領域上における
   位置の情報とから、前記指示選択マーカの位置により示
   される該撮影装置の位置を基準とした第１の方向を決定
   し、 表示中の画像情報について予め記録された該画像情報中
   に存在する前記対象物の前記撮影装置の位置を基準とし
   た第２の方向と、決定された前記第１の方向とを比較し
   て、前記指示選択マーカにより選択指示された対象物を
   特定することを特徴とする対象物特定方法。
9. 【請求項９】一連のフレームからなる動画像情報を表示
   するとともに、表示中のフレームを予め任意に分割して
   なる分割領域に対応付けられた関連情報のうち所定の入
   力デバイスにより指示選択された分割領域に対応するも
   のを表示する画像表示システムにおける画像表示方法で
   あって、 前記動画像情報を画面上の所定の表示領域に表示し、 所定の入力デバイスにより指示された画面上の位置に所
   定の指示選択マーカを表示するとともに、指示選択を受
   け付け、 指示選択が入力された場合、表示中のフレームについて
   予め設定された分割領域の情報と、指示選択されたとき
   の前記指示選択マーカの前記所定の表示領域上における
   位置の情報とから、指示選択された分割領域を特定し、 特定された前記分割領域に対応付けられた前記関連情報
   を画面上に表示することを特徴とする画像表示方法。