JP2000113208A - 情報呈示方法および情報呈示装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】動画のように時間の経過とともに変化する時系
列データの呈示画面上に、呈示されている時系列データ
と整合をとりながら付加情報の付加および呈示が行える
情報呈示装置を提供する。 【解決手段】時間の経過に伴って変化する時系列データ
を入力するデータ入力手段（１０１）と、このデータ入
力手段で入力された時系列データに関連付ける付加情報
を入力する付加情報入力手段（１０４）と、前記時系列
データと前記付加情報入力手段で入力された付加情報と
の相関関係に基づき該付加情報を変形する変形手段（１
０５）と、この変形手段で変形された付加情報と前記時
系列データとを合成して呈示する呈示手段（１０３）と
を具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画などの時間と
ともに変化する時系列データに対して注釈（付加情報）
を付加するときに、注釈を時系列データの変化に応じて
変形して呈示する情報呈示方法およびそれを用いた情報
呈示装置に関する。

【０００２】

【従来の技術】例えば、携帯端末に呈示されている動画
にペン等の入力装置を用いて注釈を付加する方式として
は、以下のように分類できる。

【０００３】・別画面型（動画の呈示領域とは、別の領
域に注釈を書き込む方式） ・同一画面型（動画の呈示領域と同一領域に注釈を書き
込む方式） 別画面型は、動画の呈示領域とは別の場所に、例えば手
書き文字などの注釈を書き込むものである。この方式の
例として、特開平２−５６０６９号公報が挙げられる。
しかし、この方法では、注釈が動画の表示領域の、どの
部分を示すのかという、画面上での位置を直接示すこと
はできない。

【０００４】同一画面型は、動画の表示領域と同一画面
上に、例えば手書き文字などの付加情報を書き込むもの
である。この方式では、動画の上に直接付加情報を書き
込むため、例えば、動画で表示された、人の顔の画像に
手書きで丸印を付加する、といったように、画面上の位
置と注釈とを関連付けて注釈を書き込むことができる。

【０００５】同一画面型で付加情報を書き込む方式は、
以下のように分類できる。

【０００６】・ 静止画型（動画の呈示を一時停止し
て、注釈を書き込む方式） ・ 直接型（動画の呈示を停止することなく、注釈を書
き込む方式） 静止画型は、注釈を記憶するときに、動画の表示を停止
して、その間に手書き文字などの注釈を記憶するもので
ある。この方式の例として、特開平１０−２８２５０号
公報が挙げられる。この方式では、注釈を記憶する方法
は、静止画上に書き込むのと同じである。注釈の付加さ
れたフレームは、このフレーム付近の動画の、代表画面
として呈示して、例えば、動画の検索に利用することが
できる。また、当該注釈の付加された動画を再生すると
きには、例えば、注釈の付加されたことを示すため、当
該フレームの再生に続けて所定時間継続して表示するこ
ともできる。

【０００７】しかし、静止画型では、注釈を付加すると
きに動画の表示が停止するため、その間の動画を確認で
きない、という問題があった。また、注釈の付加された
動画を再生するときに、例えば、画面上に表示された人
の顔の画像に、手書きで丸印の注釈を付加した場合、例
えば５秒後には、動画が変化して、その丸印が別のもの
を示す、といったように、動画の画面が大きく変化して
いるにも関わらず、注釈が表示され、動画を見るユーザ
を混乱させる、という問題があった。

【０００８】一方、直接型は、動画の呈示を停止するこ
となく、注釈を付加するものである。この方式の例とし
て、野球の解説のために、ボールの軌跡の動画を再生し
ながら、画面上でのボールの軌跡を手書きペンでなぞっ
て示すものが挙げられる。この方式では、注釈を書き込
むときに、動画の変化に応じて注釈を変化させることが
できる。しかし、ボールの軌跡ではなく、ボールそのも
のを囲む、手書きの丸印の注釈を付加したい場合には、
注釈を付加している最中でも画面が変化するため、注釈
がいびつな形になるという問題があった。

【０００９】このように、同一画面型では、動画が時間
とともに変化するにともなって、動画と注釈との間で整
合が取れなくなるという問題があった。

【００１０】

【発明が解決しようとする課題】このように、従来の情
報呈示方法では、動画のような時間とともに変化する時
系列データの呈示領域と同一領域に、時系列データの呈
示を一時停止して注釈を書き込む、あるいは時系列デー
タの呈示を停止することなく注釈を書き込む場合、時系
列データとそれに対する注釈との間で整合が取れなくな
り、意図した注釈が付加・呈示ができなかいという問題
点があった。

【００１１】そこで、本発明は、動画のように時間の経
過とともに変化する時系列データの呈示画面上に、呈示
されている時系列データと整合をとりながら付加情報の
付加および呈示が行え、意味のない付加情報が呈示画面
上に呈示されて、ユーザが動画を見るのを邪魔したり、
ユーザが付加情報を誤って理解したり、といった障害を
低減することができる情報呈示方法およびそれを用いた
情報呈示装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】（請求項１）本発明の情
報呈示方法は、時間の経過に伴って変化する時系列デー
タに付加された該時系列データに関連付けられた付加情
報を、該時系列データとの相関関係に基づき変形し、こ
の変形された付加情報と該時系列データとを合成して呈
示することを特徴とする。

【００１３】本発明によれば、時系列データの呈示画面
上に直接入力した付加情報を画面上で呈示される意味が
ある間だけ呈示するので、意味のない付加情報が時系列
データ上に呈示されて、ユーザが時系列データを見るの
を邪魔したり、ユーザが付加情報を誤って理解したり、
といった障害を低減することができる。

【００１４】（請求項２）好ましくは、前記時系列デー
タから検出されたオブジェクトとの相関関係に基づき前
記付加情報を変形することを特徴とする。

【００１５】本発明によれば、時系列データの中に表示
されたオブジェクトの移動という、より細かい時系列デ
ータの変化に対しても、それと相関するように付加情報
の表示位置を移動させるなどの付加情報の変形を行うこ
とにより、付加情報を付加した時点のオブジェクトと付
加情報との位置関係を失うことなく付加情報を呈示する
ことができる。

【００１６】（請求項３）好ましくは、前記時系列デー
タと前記付加情報を記憶手段に記憶し、この記憶された
時系列データの中から前記付加情報の関連付けられた時
系列データを検索し、この検索された時系列データとの
相関関係に基づき該付加情報を変形することを特徴とす
る。

【００１７】本発明によれば、入力した時系列データに
予め付加情報を付加して、それを当該時系列データに関
連付けて記憶しておくことにより、後に、例えば、付加
情報を手掛かりに時系列データを検索したり、時系列デ
ータを再生する際には、当該時系列データの変化に相関
して付加情報も変形させて呈示でき、付加情報を付加し
た時点のオブジェクトと付加情報との位置関係を失うこ
となく時系列データとそれに付加された付加情報の呈示
を何度でもすることができる。

【００１８】（請求項４）好ましくは、前記時系列デー
タの内容の変化（例えば、シーン切り替え）に基づき前
記付加情報を変形（例えば、シーン切り替えと同時に、
それまで呈示していた付加情報を消去する）させること
を特徴とする。

【００１９】本発明によれば、時系列データの呈示画面
上に直接入力した付加情報を画面上で呈示される意味が
ある間だけ呈示するので、意味のない付加情報が時系列
データ上に呈示されて、ユーザが時系列データを見るの
を邪魔したり、ユーザが付加情報を誤って理解したり、
といった障害を低減することができる。

【００２０】（請求項５）好ましくは、前記付加情報が
付加された時系列データの時間経過に基づき該付加情報
を変形する（例えば、所定時間経過したら付加情報を消
去する）ことを特徴とする。

【００２１】本発明によれば、時系列データの呈示画面
上に直接入力した付加情報を画面上で呈示される意味が
ある間だけ呈示するので、意味のない付加情報が時系列
データ上に呈示されて、ユーザが時系列データを見るの
を邪魔したり、ユーザが付加情報を誤って理解したり、
といった障害を低減することができる。

【００２２】（請求項６）好ましくは、時間の経過に伴
う前記時系列データの変化量（例えば、時系列データ中
のオブジェクトの移動量、形状や大きさの変化量）に基
づき前記付加情報を変形（例えば、位置の移動や、拡大
・縮小等の変形）することを特徴とする。

【００２３】本発明によれば、時系列データの中に表示
されたオブジェクトの移動という、より細かい時系列デ
ータの変化に対しても、それと相関するように付加情報
の表示位置を移動させるなどの付加情報の変形を行うこ
とにより、付加情報を付加した時点のオブジェクトと付
加情報との位置関係を失うことなく付加情報を呈示する
ことができる。

【００２４】（請求項７）好ましくは、前記時系列デー
タ中の前記付加情報の呈示位置に基づき該付加情報を変
形する（例えば、付加情報の鏡像を生成する）ことを特
徴とする。

【００２５】本発明によれば、付加情報を付加した時点
のオブジェクトと付加情報との位置関係を失うことなく
付加情報を呈示することができる。

【００２６】（請求項８）本発明の情報呈示装置は、時
間の経過に伴って変化する時系列データを入力するデー
タ入力手段と、このデータ入力手段で入力された時系列
データに関連付ける付加情報を入力する付加情報入力手
段と、前記時系列データと前記付加情報入力手段で入力
された付加情報との相関関係に基づき該付加情報を変形
する変形手段と、この変形手段で変形された付加情報と
前記時系列データとを合成して呈示する呈示手段と、を
具備したことを特徴とする。

【００２７】本発明によれば、時系列データの呈示画面
上に直接入力した付加情報を画面上で呈示される意味が
ある間だけ呈示するので、意味のない付加情報が時系列
データ上に呈示されて、ユーザが時系列データを見るの
を邪魔したり、ユーザが付加情報を誤って理解したり、
といった障害を低減することができる。

【００２８】（請求項９）好ましくは、前記時系列デー
タからオブジェクトを検出するオブジェクト検出手段を
さらに具備し、前記変形手段は、このオブジェクト検出
手段で検出されたオブジェクトとの相関関係に基づき前
記付加情報を変形することを特徴とする。

【００２９】本発明によれば、時系列データの中に表示
されたオブジェクトの移動という、より細かい時系列デ
ータの変化に対しても、それと相関するように付加情報
の表示位置を移動させるなどの付加情報の変形を行うこ
とにより、付加情報を付加した時点のオブジェクトと付
加情報との位置関係を失うことなく付加情報を呈示する
ことができる。

【００３０】（請求項１０）好ましくは、前記時系列デ
ータと前記付加情報とを記憶する記憶手段と、この記憶
手段で記憶された時系列データの中から前記付加情報の
関連付けられた時系列データを検索する検索手段とを具
備し、前記変形手段は、この検索手段で検索された時系
列データとの相関関係に基づき該付加情報を変形するこ
とを特徴とする。

【００３１】本発明によれば、入力した時系列データに
予め付加情報を付加して、それを当該時系列データに関
連付けて記憶しておくことにより、後に、例えば、付加
情報を手掛かりに時系列データを検索したり、時系列デ
ータを再生する際には、当該時系列データの変化に相関
して付加情報も変形させて呈示でき、付加情報を付加し
た時点のオブジェクトと付加情報との位置関係を失うこ
となく時系列データとそれに付加された付加情報の呈示
を何度でもすることができる。

【００３２】（請求項１１）好ましくは、前記時系列デ
ータの内容の変化（例えば、シーン切り替え）に基づき
前記付加情報を変形（例えば、シーン切り替えと同時
に、それまで呈示していた付加情報を消去する）させる
ことを特徴とする。

【００３３】本発明によれば、時系列データの呈示画面
上に直接入力した付加情報を画面上で呈示される意味が
ある間だけ呈示するので、意味のない付加情報が時系列
データ上に呈示されて、ユーザが時系列データを見るの
を邪魔したり、ユーザが付加情報を誤って理解したり、
といった障害を低減することができる。

【００３４】（請求項１２）好ましくは、前記付加情報
の関連付けられた時系列データの時間経過に基づき該付
加情報を変形する（例えば、所定時間経過したら付加情
報を消去する）ことを特徴とする。

【００３５】本発明によれば、時系列データの呈示画面
上に直接入力した付加情報を画面上で呈示される意味が
ある間だけ呈示するので、意味のない付加情報が時系列
データ上に呈示されて、ユーザが時系列データを見るの
を邪魔したり、ユーザが付加情報を誤って理解したり、
といった障害を低減することができる。

【００３６】（請求項１３）好ましくは、時間の経過に
伴う前記時系列データの変化量（例えば、時系列データ
中のオブジェクトの移動量、形状や大きさの変化量）に
基づき前記付加情報を変形（例えば、位置の移動や、拡
大・縮小等の変形）することを特徴とする。

【００３７】本発明によれば、時系列データの中に表示
されたオブジェクトの移動という、より細かい時系列デ
ータの変化に対しても、それと相関するように付加情報
の表示位置を移動させるなどの付加情報の変形を行うこ
とにより、付加情報を付加した時点のオブジェクトと付
加情報との位置関係を失うことなく付加情報を呈示する
ことができる。

【００３８】（請求項１４）好ましくは、前記時系列デ
ータ中の前記付加情報の呈示位置に基づき該付加情報を
変形する（例えば、付加情報の鏡像を生成する）ことを
特徴とする。

【００３９】本発明によれば、付加情報を付加した時点
のオブジェクトと付加情報との位置関係を失うことなく
付加情報を呈示することができる。

【００４０】（請求項１５）本発明の記録媒体は、時間
の経過に伴って変化する時系列データに関連付ける付加
情報を入力させる付加情報入力手段と、前記時系列デー
タと前記付加情報入力手段で入力された付加情報との相
関関係に基づき該付加情報を変形させる変形手段と、こ
の変形手段で変形された付加情報と前記時系列データと
を合成して呈示させる呈示手段と、を実行するプログラ
ムを記録した機械読み取り可能な記録媒体であり、本発
明によれば、上記手段を、少なくとも時系列データとし
て例えば動画を入力するためのカメラ（データ入力
部）、ディスプレイ装置とその上に重ねられて固定され
た透明な感圧式タブレットとその上に手書き図形を描く
ためのペン（呈示部、付加情報入力部）を具備したパー
ソナルコンピュータに実行させることのできるプログラ
ムとして、磁気ディスク（フロッピーディスク、ハード
ディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤな
ど）、半導体メモリなどの記録媒体に格納して頒布する
ことにより、時系列データの呈示画面上に直接入力した
付加情報を画面上で呈示される意味がある間だけ呈示す
るので、意味のない付加情報が時系列データ上に呈示さ
れて、ユーザが時系列データを見るのを邪魔したり、ユ
ーザが付加情報を誤って理解したり、といった障害を低
減することができる。

【００４１】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００４２】（第１の実施形態）図１は、本発明の情報
呈示方法を用いた第１の実施形態に係る情報呈示装置の
要部の概略構成を示したもので、例えば、動画のように
時間とともに変化する時系列データを呈示するととも
に、呈示した時系列データに例えばペン入力にて付加情
報（注釈）を付加する機能を有している。

【００４３】図１において、情報呈示装置は、時系列デ
ータ（動画、音声等）としての、例えば動画データを入
力するデータ入力部１０１と、タブレット１０４ａとペ
ン１０４ｂを用いて、付加情報としての手書き図形を入
力するための付加情報入力部１０４と、付加情報入力部
１０４から入力された付加情報をデータ入力部１０１か
ら入力した動画データの変化と相関を持つように変形す
る付加情報変形部１０５と、付加情報変形部１０５で変
形された付加情報とデータ入力部１０１から入力した動
画データとを合成する、あるいは、付加情報の入力がな
いときはデータ入力部１０１から入力した動画データを
そのまま出力する合成部１０２と、合成部１０２から出
力された動画データ（付加情報と合成された動画データ
あるいは、付加情報の入力がないときはデータ入力部１
０１から入力した動画データそのもの）を呈示する呈示
部１０３とから構成される。

【００４４】図２は、第１の実施形態に係る情報呈示装
置の外観の一例であり、例えばカメラで構成されたデー
タ入力部１０１から取り込まれた、人の映像の動画デー
タが、呈示部１０３に呈示され、ユーザはその動画の画
面上にあるタブレット１０４ａ上に、付加情報（注釈）
としての図形をペン１０４ｂを用いて付加している。こ
のとき、ユーザの入力した付加情報が、付加情報変形部
１０５で、動画の変化に相関して変形されて、呈示され
るようになっている。

【００４５】動画データの変化には、以下のようなもの
が考えられる。

【００４６】・動画が少しずつ変化（画面の変化が小さ
いものの連続） ・動画のシーン切り替え（画面の大きな変化が起こるこ
と） ここで、付加情報変形部１０５が、動画のシーン切り替
えが起こると、それに相関するように付加情報を変形さ
せる場合について説明する。

【００４７】データ入力部１０１から入力した動画デー
タに、シーン切り替えが起こると、ユーザにより入力さ
れた付加情報を消去する、という付加情報が変形する様
子を図３に示す。

【００４８】図３（ａ）に示すように、ユーザが呈示部
１０３の画面上（タブレット１０４ａ）にペン１０４ｂ
を用いて付加情報Ｆ１を入力したとする。付加情報を入
力した直後の呈示部１０３の呈示例を図３（ｂ）、
（ｃ）に示す。その後、図３（ｄ）に示すように、シー
ン切り替えが起こり、付加情報Ｆ１が消去されている。
この例が、どのようにして行われるかを以下に説明す
る。

【００４９】データ入力部１０１は、例えば図２に示し
たようなカメラや、テレビ受信機などで構成され、動画
を入力する。データ入力部１０１に入力される動画は、
静止画の連続で構成され、ひとつの静止画をフレームと
呼ぶ。データ入力部１０１は、フレームを周期的に入力
することにより、動画を入力する。図３（ａ）から図３
（ｄ）までは、連続したフレームを表している。データ
入力部１０１から入力された動画は、合成部１０２で、
ユーザによって付加情報として入力された手書き図形の
画像と合成されて、呈示部１０３に呈示される。

【００５０】合成部１０３は、データ入力部１０１から
入力された動画と、ユーザが入力した手書き図形などの
付加情報の画像を合成して、呈示部１０３に出力する。
ユーザが入力した付加情報は、合成部１０３に入力され
る前に、付加情報変形部１０５によって変形処理され、
付加情報変形部１０５が出力する画像と、データ入力部
１０１から出力される動画とを合成する。

【００５１】呈示部１０３は、例えば、液晶画面などで
構成され、データ入力部１０１から入力された動画を表
示する。これにより、ユーザは、どのような動画が入力
されているかを、モニターすることができる。図３
（ａ）に示した人の画像は、このようにして入力された
動画である。

【００５２】付加情報入力部１０４は、例えば、呈示部
１０３の上に重ねられて固定された、透明な感圧式タブ
レット１０４ａと、その上に手書きの図形を描くための
ペン１０４ｂとで構成され、付加情報として手書き図形
などを入力する。ペン１０４ｂがタブレット１０４ａ上
に接触すると、タブレット１０４ａはペン１０４ｂが接
触した場所の座標値が連続して発生し、付加情報変形部
１０５へ出力する。

【００５３】付加情報変形部１０５は、データ入力部１
０１から入力された動画が、シーン切り替えしたことを
検出すると、付加情報入力部１０４から入力された付加
情報としての手書き図形を消去し、そうでない場合は、
付加情報入力部１０４から入力された手書き図形の画像
をそのまま出力する。図３（ａ）〜（ｃ）に示した手書
き図形は、このようにして入力された付加情報である。
図３（ａ）〜（ｃ）は、付加情報が入力された直後の画
面を表しているため、シーン切り替えは起こっておら
ず、手書きの付加情報は、動画と合成されて表示されて
いる。

【００５４】付加情報変形部１０５は、詳しくは図４に
示すように、データ入力部１０１から出力された動画が
シーン切り替えしたかどうかを検出するシーン切り替え
検出部１０５ａと、付加情報入力部１０４から出力され
た座標値を座標値列として記憶する、情報記憶部１０５
ｂと、シーン切り替えが検出されない場合には、付加情
報記憶部１０５ｂに記憶された座標値を平面上で直線で
結んで、タブレット１０４ａ上でのペン１０４ｂの軌跡
画像を生成し、シーン切り替えが検出された場合には、
付加情報記憶部１０５ｂに記憶された付加情報を呈示部
１０３から消去すべく、当該付加情報の座標値列をクリ
アする付加情報変形部１０５ｃとから構成される。

【００５５】図５は、付加情報変形部１０５の処理手順
を説明するためのフローチャートである。付加情報記憶
部１０５ｂで付加情報入力部１０４から出力された座標
値を座標値列として記憶し（ステップＳ１）、シーン切
り替え検出部１０５ａで、データ入力部１０１から出力
された動画がシーン切り替えしたかどうかを検出し（ス
テップＳ２）、シーン切り替えがあった場合には（ステ
ップＳ３）、付加情報記憶部１０５ｂに記憶された座標
値列をクリアし（ステップＳ４）、そうでない場合に
は、ステップＳ５に進む。ステップＳ５では、付加情報
変形部１０５ｃで、付加情報記憶部１０５ｂに記憶され
た座標値列を平面上で結んで手書き図形の軌跡画像を生
成して呈示部１０３に出力する。

【００５６】なお、シーン切り替えとは、例えば、図３
（ａ）〜図３（ｃ）に示すように、最初人間が登場して
画面が、図３（ｄ）に示す最後の段階で風景に画像が切
り替わっているように、動画の内容が似ているものが連
続する状態から急に今までとは異なった画像が出てくる
ことである。

【００５７】シーン切り替えの検出には、様々な方法が
提案されているが、例えば、画像の色差成分の変化量Ｄ
を各フレームごとに調べ、Ｄがある値以上になった場合
にシーン切り替えが発生したと判定する。

【００５８】時刻ｔの座標（ｘ、ｙ）の画素値をＰｔ
（ｘ、ｙ）と表し、時刻ｔ−１からｔへ変化したときの
座標（ｘ、ｙ）の画素の動き量をマッチング等を用いて
算出した動きベクトル（ｍｖｘ、ｍｖｙ）を用いれば、
Ｄは次式のように表される。

【００５９】

【数１】

【００６０】Ｄがあるしきい値Ｄ０を越えると、シーン
切り替えが起こったと判定する。

【００６１】図３（ｂ）と図３（ｃ）では、入力した動
画フレームの変化が小さく、Ｄの値がしきい値Ｄ０を越
えないため、シーン切り替えが起きていないと判定でき
る。そのため、図３（ａ）で呈示されていた付加情報
は、図３（ｂ）でも、図３（ｃ）でも、付加情報変形部
１０５から出力されるため、画面上に残ったまま呈示さ
れる。

【００６２】一方、図３（ｄ）では、今まで入力されて
いた人の画像とは大きく異なる、景色の画像が入力され
ているため、入力された動画フレームの変化が大きく、
Ｄの値がしきい値Ｄ０を越え、シーン切り替えが起きた
と判定できる。従って、図３（ａ）から図３（ｃ）まで
呈示され続けてきた付加情報は、付加情報変形部１０５
でクリアされ（付加情報記憶部１０５ｂから当該付加情
報の座標値が消去され）、呈示部１０３の画面上から付
加情報が消去される。

【００６３】図３（ｄ）以降に入力された動画について
も、図３（ａ）から図３（ｃ）までに呈示されていた付
加情報は呈示されることがないため、ユーザは、動画の
内容と関係のない付加情報を、誤って理解するといった
弊害がなくなる。

【００６４】（効果）以上説明したように、上記第１の
実施形態によれば、動画の呈示画面上に直接入力した付
加情報を画面上で呈示される意味がある間だけ呈示する
ので、意味のない付加情報が動画上に呈示されて、ユー
ザが動画を見るのを邪魔したり、ユーザが付加情報を誤
って理解したり、といった障害を低減することができ
る。

【００６５】（第１の実施形態の変形例）上記第１の実
施形態では、付加情報変形部１０５でシーン切り替えを
検知したときに付加情報を変形（消去）する場合につい
て説明したが、この場合に限らず、動画データの変化
（すなわち、時間の経過）に相関して付加情報を変形す
る方法であれば何でも良い。

【００６６】例えば、図６に示すように、付加情報Ｆ１
の入力が終了すると（図６（ａ））、時間が経過するに
つれて、図６（ａ）〜図６（ｄ）に示すように、付加情
報Ｆ１を徐々に色を褪せさせて（色の褪せていく経過
を、順番に太い実線、細い実線、太い点線、細い点線で
表している）、ある一定時間が過ぎるとその付加情報を
消しても良い。これにより、上記第１の実施形態で説明
したように、シーン切り替えと同時にいきなり付加情報
が消えるのではなく、時間が経つことで徐々に消えてい
くことにより、ユーザに対し付加情報が時間的にいつ頃
付加されたかを視覚的に見せることができる。また、シ
ーン切り替えが起こりにくい動画データの場合には、入
力した付加情報が、ずっと呈示されたままにならない、
という利点もある。

【００６７】図７に、シーン切り替えが起こりにくい動
画データの場合に、時間経過とともに付加情報を徐々に
消していく様子を示す。図７（ａ）〜図７（ｄ）では、
それぞれ、ひとつづつ付加情報（Ｆ１〜Ｆ４）が入力さ
れているが、シーン切り替えが起こっていないため、例
えば、図７（ａ）人の映像の頭の部分を指し示す付加情
報Ｆ１が入力されたとき、図７（ｄ）では、当該人の頭
の部分が移動したため、付加情報Ｆ１の呈示が無意味と
なる。

【００６８】付加情報を色褪せさせる方法の一例とし
て、付加情報の輝度の変化を時間の関数で表すものが挙
げられる。例えば、ユーザにより入力された付加情報の
画素値をａｄｄ＿ｄａｔａ（ｘ、ｙ）、データ入力部１
０１から入力した動画データのフレームと付加情報とを
合成した呈示データの画素値をｄｉｓｐ＿ｄａｔａ
（ｘ、ｙ）と表し、ｔを時間を表す変数、ｔが「０」の
ときにシーン切り替えが起こり、付加情報が呈示部１０
３の画面上から消える時刻をＴとすると、ｔ＝０からの
時間経過に伴う付加情報の輝度を例えば図８に示すよう
な関数ｆ（ｔ）を用いて変化させる。データ入力部１０
１から入力する動画データの各フレームにおける、座標
（ｘ、ｙ）の画素値をｉｎｐｕｔ＿ｄａｔａ（ｘ、ｙ）
と表すとすると、時刻ｔにおける呈示データｄｉｓｐ＿
ｄａｔａ（ｘ、ｙ）は、付加情報の画素値ａｄｄ＿ｄａ
ｔａ（ｘ、ｙ）に関数ｆ（ｔ）を乗じたものを、時刻ｔ
における動画データの画素値ｉｎｐｕｔ＿ｄａｔａ
（ｘ、ｙ）に加算することで求めることができる（式
（２）参照）。

【００６９】 ｄｉｓｐ＿ｄａｔａ（ｘ、ｙ）＝ｉｎｐｕｔ＿ｄａｔａ（ｘ、ｙ）＋ ｛ｆ（ｔ）・ａｄｄ＿ｄａｔａ（ｘ、ｙ）｝ …（２） なお、関数ｆ（ｔ）は、図８に示したように、時刻ｔ＝
０のときにｆ（ｔ）＝１、ｔが無限大のときにｆ（ｔ）
＝０となるような関数であれば何でも良く、このほかに
も、関数ｆ（ｔ）は、図９から図１１に示すようなもの
でも良い。その中でも図１１に示す関数ｆ（ｔ）は特殊
な例であり、図１１に示したような関数ｆ（ｔ）と
（２）式とを用いて、呈示データｄｉｓｐ＿ｄａｔａ
（ｘ、ｙ）を作成すると、付加情報の入力が終了して、
一定の時間Ｔが経過するまでは、付加情報はそのまま呈
示部１０３に呈示され、時間Ｔが経過すると付加情報は
消去される。

【００７０】また、付加情報を時間とともに変化させる
方法として、付加情報を色褪せさせるのではなく、時間
が経過するにつれて色を変化させる方法であってもよ
い。

【００７１】また、第１の実施形態で説明したシーン切
り替えを利用し付加情報を変形する方法および上述の時
間を利用した変形方法を組み合わせても良い。この場
合、シーン切り替えの前までは通常通りに付加情報の呈
示を行い、シーン切り替えが発生した後、徐々に色褪せ
て付加情報の呈示する。これにより、付加情報が有効な
意味を有する間だけは正確に呈示され、その後徐々に消
去する呈示ができる。

【００７２】また、上記第１の実施形態のシーン切り替
え検出では、画像の色差成分の変化量を各フレームごと
に調べ、ある値以上になった場合に、シーン切り替えが
発生したと判定したが、シーン切り替えを検出できる方
法ならば、このほかの方法でも良い。例えば、データ入
力部１０１から入力する動画データがＭＰＥＧ等の符号
化を利用して符号化された画像である場合、図１の付加
情報変形部１０５では、データ入力部１０１から得た時
系列データそのものではなく、当該時系列データから抽
出された動画の特徴量（例えば動きベクトルのみの情報
や、動きベクトルの符号量の総和や、色差成分の直流成
分）だけを用いて、シーン検出を行っても良い。

【００７３】また、上記第１の実施形態では、手書き図
形などの付加情報は、動画の表示を停止することなく付
加したが、動画の場合、付加情報の入力の間も時間が経
過してしまい、ユーザが付加したいと考え付加情報を書
き始めても書き終わったときには、意図した画像とは別
の内容の画像になっている場合があるため、付加情報が
開始されると、動画の表示の更新を停止して、フレーム
の静止画面上に対して付加しても良い。例えば、図１２
に示すように、時刻ｔ０に付加情報の入力が開始され、
時刻ｔ１に付加情報の入力が終了したとする。時刻ｔ０
で、ユーザが付加情報の入力を開始すると、動画の更新
が停止し、画面は止まったままになり、この静止画の上
に、ユーザは付加情報を入力する。時刻ｔ１で、付加情
報の入力が終了すると、時刻ｔ１にデータ入力部１０１
から入力した動画データから、再生を開始する。これに
より、ユーザが付加情報を入力する間は、画面が動かな
いため、ユーザは付加情報を簡単に入力することが可能
となる。

【００７４】なお、このほかにも、ユーザがこれから付
加情報を入力するという指示（例えばボタンを押す等）
を明示的に装置に対して行っときに、動画の更新を停止
するようにしてもよい。また、ペン１０４ｂが離れた場
合やペン１０４ｂによって閉じられた領域が書かれた場
合、あるいは、ユーザにより付加情報の入力完了の指示
（例えばボタンを押す等）が明示的になされたことによ
り、動画の再生を再び再開するようにしてもよい。

【００７５】（第２の実施形態）次に、データ入力部１
０１から入力する動画データから、その中のオブジェク
トを判定し、そのオブジェクトの変化に相関するよう
に、付加情報を変形させる、第２の実施形態について説
明する。

【００７６】ここで、オブジェクトとは、例えば、ＭＰ
ＥＧ４などで用いるオブジェクト情報であり、動画中の
被写体全体、あるいは、被写体の各構成部の１つ１つを
いうものとする。

【００７７】上記第１の実施形態は、データ入力部１０
１に入力された動画のシーン切り替えのタイミングで、
手書き図形などの付加情報を消去したり、色褪せさせた
りして、呈示を変化させるものであった。例えば、動画
中の人の画像に対して、手書き図形を付加した場合に、
人の画像が移動しても、付加情報は入力されたままの位
置に呈示され続けたが、第２の実施形態では、人の画像
の移動に沿って付加情報を移動させることができる。

【００７８】図１３は、本発明の情報呈示方法を用いた
第２の実施形態に係る情報呈示装置の要部の概略構成を
示したもので、例えば、動画のように時間とともに変化
する時系列データ（例えば動画データ）を呈示するとと
もに、呈示した時系列データに例えばペン入力にて付加
情報（注釈）を付加する機能を有している。なお、図１
３において、図１と同一部分には同一符号を付し、異な
る部分について説明する。すなわち、図１３では、デー
タ入力部１０１から入力した時系列データの中のオブジ
ェクトを判定し、その結果を付加情報変形部１０５に伝
えるオブジェクト判定部２０６をさらに具備し、付加情
報変形部１０５の構成が図１の場合と異なる。

【００７９】データ入力部１０１から入力した時系列デ
ータは合成部１０２に入力し、付加情報変形部１０５か
らの出力データと合成されて、呈示部１０３に呈示する
ための呈示データが生成される。ユーザは付加情報入力
部１０４を用い付加情報を入力する。入力された付加情
報は、付加情報変化部１０５に入力される。データ入力
部１０１から入力した時系列データは、オブジェクト判
定部２０６に入力し、当該時系列データ中のオブジェク
ト情報を判定する。この判定結果情報は付加情報変形部
１０５に入力される。付加情報変形部１０５ではデータ
入力部１０１から入力した時系列データと、オブジェク
ト判定部２０６の判定結果情報と付加情報入力部１０４
から入力した付加情報とから付加情報の呈示方法を決定
し、付加情報に対し変形を施す。

【００８０】付加情報変形部１０５で変形された付加情
報は、合成部１０２に入力し、時系列データと合成さ
れ、呈示部１０３にてユーザに呈示される。

【００８１】以下、データ入力部１０１から入力する時
系列データとして、ＭＰＥＧ４のフォーマットを持つ動
画データを例にとって、オブジェクトの検出と、付加情
報の変形方法について説明する。

【００８２】図１４は、付加情報変形部１０５の構成を
示したもので、オブジェクト判定部２０６での判定結果
情報を記憶するオブジェクト記憶部１０５ｄと、付加情
報入力部１０４から入力した付加情報を記憶する付加情
報記憶部１０５ｅと、オブジェクト記憶部１０５ｄに記
憶されている判定結果情報と付加情報記憶部１０５ｅに
記憶されている付加情報とから付加情報の呈示方法を決
定し、付加情報に対し変形（例えば、付加情報の表示位
置の移動）を施す付加情報変形部１０５ｆとから構成さ
れている。

【００８３】図１４の付加情報変形部１０５の処理動作
について、図１５〜図１７を参照して説明する。

【００８４】図１５に示すＭＰＥＧ４の動画データは、
人の映像のオブジェクトＯＢＪ１を含む最小の矩形の画
像領域Ｒ１と、円柱の映像のオブジェクトＯＢＪ２を含
む最小の矩形の画像領域Ｒ２とを含んでいる。

【００８５】図１５に示す動画データが呈示部１０３に
呈示されているときに、ユーザが付加情報Ｆ５を入力す
ると、オブジェクト判定部２０６は、動画データ中にオ
ブジェクトＯＢＪ１、ＯＢＪ２が存在することを判定
し、画像領域Ｒ１、Ｒ２を切り出す。オブジェクト記憶
部１０５ｄは、オブジェクト判定部２０６から画像領域
Ｒ１、Ｒ２の画面上での表示位置Ｐ１（Ｘ１、Ｙ１）、
Ｐ２（Ｘ２、Ｙ２）を取得し、それらを記憶する。

【００８６】オブジェクト記憶部１０５ｄは、後述する
ように付加情報と関連付けられたと判定されたオブジェ
クトの表示位置について、前の動画フレームでの当該表
示位置を変数ｍに記憶し、現在の動画フレームでの当該
表示位置を変数Ｍに記憶する。

【００８７】オブジェクト記憶部１０５ｄが、図１５に
示すように、新たにオブジェクトＯＢＪ１、ＯＢＪ２を
取得した場合には、まず、ユーザが、どのオブジェクト
に対して付加情報を付加したのか判定する。この判定
は、例えば、図１５に示すように、各オブジェクトにつ
いて、各オブジェクトを含む最小の四角形の画像領域の
重心の座標と、付加情報を含む最小の四角形の画像領域
の重心の座標との距離を求める。この距離が最も小さい
オブジェクトを、ユーザにより付加情報の付加されたオ
ブジェクトであると判定する。図１５の場合、オブジェ
クトＯＢＪ１の画像領域Ｒ１の重心Ｇ１と、オブジェク
トＯＢＪ２の画像領域Ｒ２の重心Ｇ２とのどちらが付加
情報Ｆ５の画像領域Ｒ３の重心Ｇ３から近くにあるかで
判定し、オブジェクトＯＢＪ１が判定される。判定の方
法は、このほかにも、付加情報に対して、どのオブジェ
クトが対応するかを特定できる方法であれば何でも良
い。

【００８８】オブジェクト記憶部１０５ｄでは、このよ
うにして判定されたオブジェクトＯＢＪ１の画像領域Ｒ
１の表示位置Ｐ１を変数Ｍに記憶する。新たにオブジェ
クトを取得した場合に限って、Ｐ１を変数ｍにも記憶す
る。

【００８９】オブジェクト記憶部１０５ｄが、図１６に
示すように、後続のフレームからも継続してオブジェク
トＯＢＪ１を取得した場合、まず、変数Ｍに記憶した当
該オブジェクトＯＢＪ１の表示位置Ｐ１を変数ｍに記憶
し、後続フレームから取得したオブジェクトＯＢＪ１の
表示位置Ｐ１’を変数Ｍに記憶する。

【００９０】このとき、付加情報変形部１０５ｆは、オ
ブジェクト記憶部１０５ｄに記憶された、付加情報の付
加されたオブジェクトの表示位置Ｍ、ｍを参照して、当
該オブジェクトが前の動画フレームから現在までに移動
した距離（Ｘｍ、Ｙｍ）を算出し、付加情報記憶部１０
５ｅに記憶された付加情報の画像の表示位置を距離（Ｘ
ｍ、Ｙｍ）だけ移動させた付加情報の画像を生成して、
合成部１０２へ出力する。

【００９１】合成部１０２では、オブジェクトＯＢＪ１
を含む画像領域Ｒ１’の抽出された動画データに、ユー
ザにより入力された付加情報の表示位置を距離（Ｘｍ、
Ｙｍ）だけ移動させた付加情報Ｆ５の画像を合成するこ
とにより生成された呈示データを呈示部１０３に呈示す
ると、図１６に示すようになる。図１６では、オブジェ
クトＯＢＪ１は、表示位置Ｐ１からはＰ１’に移動して
おり、この移動距離と同じ距離だけ、付加情報Ｆ５も移
動している。

【００９２】なお、オブジェクト記憶部１０５ｄが、後
続のフレームから継続して取得したオブジェクトが移動
していないとき、すなわち、表示位置が同じ（Ｍ＝ｍ）
ときは、それに付加された付加情報の移動距離は（０、
０）であるので、付加情報は、ユーザが入力したままの
位置に呈示されることになる。

【００９３】その後、さらに、オブジェクトＯＢＪ１が
図１７に示したような表示位置に移動したときも、上記
同様にして、付加情報の表示位置を移動すればよい。

【００９４】（効果）以上説明したように、上記第２の
実施形態によれば、シーン切り替えのような動画の大き
な変化だけでなく、動画の中に表示されたオブジェクト
の移動という、より細かい動画の変化に対しても、それ
と相関するように付加情報の表示位置を移動させるなど
の付加情報の変形を行うことにより、付加情報を付加し
た時点のオブジェクトと付加情報との位置関係を失うこ
となく付加情報を呈示することができる。

【００９５】（第２の実施形態の変形例）付加情報を変
形させる際に、第１の実施形態で説明したような付加情
報の変形方法も組み合わせて、例えば、オブジェクトの
移動とともに付加情報の表示位置を移動させ、さらに、
時間の経過とともに、当該付加情報を消したり、色褪せ
させて変化させても良い。

【００９６】また、上記第２の実施形態では、付加情報
の変化は、オブジェクトの位置の移動距離と同じ距離だ
け移動させるものであった。しかし、付加情報が付加さ
れた位置によっては、図１７に示すように、オブジェク
トの動きに同期して付加情報の表示位置を移動させると
付加情報が見えなくなってしまう場合がある。このよう
な場合は、例えば、図１８に示すように、付加情報の表
示位置を移動させても当該付加情報のほぼ全体像が呈示
部１０３の画面内に収まるときは、そのまま表示し（図
１８（ａ）、（ｂ））、表示位置を移動した場合に付加
情報が画面内に収まりきれないときは、図１８（ｃ）に
示すように、当該付加情報の鏡像Ｆ５’を、オブジェク
トＯＢＪ１の画像の反対側に呈示しても良い。付加情報
の鏡像の画像の生成方法としては、例えば、オブジェク
トの重心を通る垂直線に対象な画像を生成すればよい。

【００９７】また、オブジェクトの位置の変化だけでな
く、オブジェクトの変形に相関して、付加情報を変形し
ても良い。すなわち、動画のオブジェクトは移動だけで
なく、ズームインやズームアウトといった拡大縮小とい
う変形も発生する。その場合、図１９に示すように、付
加情報もオブジェクトの変形と同様に拡大縮小等の変形
を付加情報変形部１０５で行う。これにより、付加情報
の付加されたときの動画と当該付加情報との位置関係を
保存しながら付加情報の呈示が行える。

【００９８】また、付加情報変形部１０５が、付加され
た付加情報がオブジェクトに対し付加されたものか、現
在呈示されているフレーム画像全体に対し付加されたか
を判定して、付加情報の変形方法を変えても良い。例え
ば、オブジェクトに付加された付加情報はオブジェクト
と共に移動、変形等をするが、フレーム画像全体に対し
て付加された付加情報はその位置のまま呈示を行うとい
った付加情報の付加対象に応じてその変形方法を制御し
てもよい。図２０（ａ）に示すように、オブジェクトＯ
ＢＪ１上に書かれた付加情報Ｆ５はオブジェクトＯＢＪ
１に対して付加されたものと判定し、背景上に書かれた
付加情報Ｆ６はフレーム画像全体に対して付加されたも
のと判定する。その他、丸や四角といった閉じた領域で
記述された場合にはオブジェクトに対して付加されたと
判定し、その他の場合には画像だと判定しても良い。そ
して、オブジェクトＯＢＪ１に付加された付加情報Ｆ５
は、オブジェクトＯＢＪ１の移動に伴って移動し、現在
呈示されているフレーム画像に付加された付加情報Ｆ６
は、入力された表示位置のまま移動させない。

【００９９】また、動きのあるオブジェクトに付加情報
を書き込む（例えば、当該オブジェクトをペン１０４ｂ
で囲む）といった動作をすることは困難であることもあ
る。そこで、図２１（ａ）に示すように、オブジェクト
ＯＢＪ４内の任意の一点Ｆ７を、ペン１０４ｂで押すこ
とにより、図２１（ｂ）に示すように、自動的に当該オ
ブジェクトＯＢＪ４全体を選択したとみなして、付加情
報変形部１０５ではオブジェクトＯＢＪ４の周囲を囲む
図形の画像を作成して、それを合成部１０２で当該動画
に合成して、図２１（ｂ）に示すように呈示してもよ
い。

【０１００】また、図２２に示すように、時刻ｔ３に動
画中のオブジェクトＯＢＪ１に付加情報が付加され、オ
ブジェクトＯＢＪ１が時刻４に画面上からいなくなった
とする。その後、時刻ｔ５にオブジェクトＯＢＪ１が、
再び画面上に呈示された場合には、付加情報を再び呈示
したり、オブジェクトの色を暗くするなどして、既に付
加情報が付加されていることを、ユーザに示しても良
い。

【０１０１】（第３の実施形態）次に、動画とそれに付
加された付加情報とを記憶しておいて、後に検索する際
に動画の再生と同時にそれに付加された付加情報も第１
および第２の実施形態と同様に当該動画の変化に応じて
変形させて呈示する場合について説明する。

【０１０２】第１および第２の実施形態では、付加情報
の変形は、付加情報の入力時に行うものであった。第１
および第２の実施形態では、入力された動画や付加情報
は記憶しなかったが、これを記憶しておいて、後からど
のような付加情報が付加されたのか、付加情報を手がか
りにして検索することもできる。第３の実施形態は、こ
れを実現するものである。ここでは、時系列データとし
て、第２の実施形態で説明したオブジェクトを含む動画
データを例にとり説明する。

【０１０３】図２３は、本発明の情報呈示方法を用いた
第３の実施形態に係る情報呈示装置の要部の概略構成を
示したもので、例えば、動画のように時間とともに変化
する時系列データ（例えば動画データ）を呈示するとと
もに、呈示した時系列データに例えばペン入力にて付加
情報（注釈）を付加する機能を有している。なお、図２
３において、図１と同一部分には同一符号を付し、異な
る部分について説明する。すなわち、図２３では、デー
タ入力部１０１から入力した動画データと付加情報入力
部１０４から入力した付加情報を記憶する記憶部３０１
と、データ入力部１０１から入力される動画データと記
憶部３０１から出力される動画データのうち、データの
記憶時にはデータ入力部１０１から入力される動画デー
タを選択して記憶部３０１へ導き、データの再生時には
記憶部３０１から出力される動画データを選択してオブ
ジェクト判定部２０６および付加情報変形部１０５へ導
くスイッチＳＷ１と、付加情報入力部１０４から入力さ
れる付加情報と記憶部３０１から出力される付加情報の
うち、データの記憶時には付加情報入力部１０４から入
力される付加情報を選択して記憶部３０１へ導き、デー
タの再生時には記憶部３０１から出力される付加情報を
選択して付加情報変形部１０５へ導くスイッチＳＷ２と
をさらに具備しいている。

【０１０４】図２４は記憶部３０１のデータの記憶形式
の一例を概略的に示したもので、記憶部３０１は詳しく
は、動画と動画中に埋め込まれたオブジェクトを記憶す
る動画記憶部３０１ａと、付加情報を記憶する付加情報
記憶部３０１ｂと、どの付加情報がどのフレームに対し
て付加されたのかを記憶する関連記憶部３０１ｃとで構
成される。

【０１０５】動画記憶部３０１ａでは、動画はフレーム
ごとにメモリ領域ＭＡ２に（図２４では縦方向に）入力
された順番に記憶し、それに対応させて、フレーム番号
（入力された順番）をメモリ領域ＭＡ１に記憶し、当該
フレームにオブジェクトを含む場合は、そのオブジェク
トの識別子（オブジェクトＩＤ）をメモリ領域ＭＡ３に
記憶する。

【０１０６】図２４では、フレーム番号「１０５１」の
フレームには３つのオブジェクトが含まれ、オブジェク
トＩＤが「２」のオブジェクトは頭部の映像オブジェク
ト、オブジェクトＩＤが「３」のオブジェクトは胴体の
映像オブジェクト、オブジェクトＩＤが「４」のオブジ
ェクトは手の映像オブジェクトを表す。

【０１０７】オブジェクトＩＤは、新しく出現したもの
に対して、ユニーク番号をつける。例えば、新しく出現
したオブジェクトには、最新のオブジェクト番号を
「１」だけインクリメントした値を用いる。

【０１０８】付加情報記憶部３０１ｂは、付加情報入力
部１０４から入力した付加情報を、例えば１つの付加情
報の入力が終了してから充分な時間（例えば５秒間）が
経過うる毎に１つのブロックとしてまとめて、これを単
位として、その付加情報の画像をメモリ領域ＭＡ４に記
憶する。メモリ領域Ｍ４の各ブロックに対応させて、入
力された順番に当該付加情報に付した識別子（付加情報
ＩＤ）をメモリ領域ＭＡ５に記憶する。図２４では、メ
モリ領域ＭＡ４の先頭にある矢印の付加情報には付加情
報ＩＤ「１」が付されている。

【０１０９】関連記憶部３０１ｃは、どの動画フレーム
とどの付加情報が同時に入力されたかを関連付けるテー
ブルを記憶するもので、メモリ領域ＭＡ６にフレーム番
号を記憶し、当該フレームに付加された付加情報の付加
情報ＩＤをメモリ領域ＭＡ７、当該付加情報の付加され
たオブジェクトのオブジェクトＩＤをメモリ領域ＭＡ８
に記憶する。図２４では、フレーム番号「１０５２」の
動画フレームと付加情報ＩＤ「１」の付加情報とが同時
に入力されたので、これらを対にして記憶している。ま
た、付加情報ＩＤ「１」の矢印の付加情報はフレーム番
号「１０５２」の映像の頭部の映像オブジェクトに対し
て付加されたので、そのオブジェクトＩＤ「２」も一緒
の対として記憶している。

【０１１０】このように記憶部３０１に記憶された動画
と付加情報は、例えば図２５に示すように、付加情報と
それと同時に記憶された動画フレームを画面上に呈示し
てユーザに（付加情報を手掛かりとして）選択させるこ
とによって、簡単に所望の動画フレームを検索すること
ができる。動画フレームが選択されると、装置はその動
画フレームから再生し、ユーザが見たい動画を呈示する
ことができる。

【０１１１】あるいは、記憶部３０１に記憶された動画
を検索する際には、付加情報変形部１０５は記憶部３０
１の付加情報記憶部３０１ｂに記憶された付加情報のみ
を順次読み出して再生し（合成部１０２で動画と合成す
ることなく）、呈示部１０３に呈示して、ユーザに所望
の付加情報を選択させる。呈示した付加情報の中からユ
ーザが付加情報を選択したら、記憶部３０１の関連記憶
部３０１ｃを参照して、当該選択された付加情報に対応
付けられているフレーム画像以降を動画記憶部３０１ａ
から読み出し、さらに、付加情報が対応付けられている
ときは、それも同時に再生し（付加情報変形部１０５で
動画の変化に相関して変形させて合成部１０２に当該動
画と合成する）、呈示部１０３に呈示するようにしても
よい。

【０１１２】記憶部３０１に記憶されたデータ（動画デ
ータと付加情報）の再生時には、スイッチＳＷ１によ
り、データ入力部１０１から入力される動画データと記
憶部３０１から出力される動画データのうち、記憶部３
０１から出力される動画データを選択してオブジェクト
判定部２０６および付加情報変形部１０５へ導き、ま
た、スイッチＳＷ２により、付加情報入力部１０４から
入力される付加情報と記憶部３０１から出力される付加
情報のうち、記憶部３０１から出力される付加情報を選
択して付加情報変形部１０５へ導くようになっている。

【０１１３】記憶部３０１からは、動画記憶部３０１ａ
に記憶されているフレーム番号順にフレーム画像を出力
し、その際、関連記憶部３０１ｃを参照して、出力する
フレーム画像と関連付けられた付加情報がある場合に
は、その付加情報を付加情報記憶部３０１ｂから読み出
して当該フレーム画像と同期して出力する。例えば、フ
レーム番号「１８２２」のフレーム画像は、付加情報Ｉ
Ｄ「２」の付加情報と関連付けられていることが、関連
記憶部３０１ｃに記憶されているテーブルから判断でき
る（図２４参照）。

【０１１４】このように、スイッチＳＷ１、ＳＷ２によ
って選択されたデータは、第２の実施形態と同様に処理
されて再生される。これにより、動画と付加情報が記憶
された様子を、そのまま再現することができる。

【０１１５】（第３の実施形態の効果）以上説明したよ
うに、上記第３の実施形態によれば、入力した動画に予
め付加情報を付加して、それを当該動画に対応付けて記
憶部３０１に記憶しておくことにより、後に、例えば、
付加情報を手掛かりに動画を検索したり、動画を再生す
る際には、当該動画の変化に相関して付加情報も変形さ
せて呈示でき、付加情報を付加した時点のオブジェクト
と付加情報との位置関係を失うことなく動画とそれに付
加された付加情報の呈示を何度でもすることができる。

【０１１６】（第３の実施形態の変形例）上記第３の実
施形態では、オブジェクトを含む動画を記憶、検索、再
生するものであったが、動画はオブジェクトを含まなく
ても良い。

【０１１７】また、動画と付加情報を同期再生するとき
に、付加情報の対象となっている動画が既に呈示されて
いるのに、付加情報の付加されたフレーム番号にならな
いと付加情報が呈示されなかったが、付加情報の呈示
を、オブジェクトが出現したときにさかのぼって行って
も良い。

【０１１８】すなわち、人間が画像を見てから付加情報
の書き込みを開始するまでに生じる若干のタイムラグを
考慮して、図２６に示すように、付加情報の書き込みが
開始されたときや終了したときではなく、付加情報の付
加されたオブジェクトが画面に出現した時点や付加が行
われたシーンの先頭で付加されたと判断して、当該付加
情報とオブジェクトとの関連付けを行って記憶部３０１
に記憶しても良い。これにより、後で付加情報を付加し
たデータを呈示する場合、シーンの先頭やオブジェクト
の出現開始時点から呈示を開始したりすることができ
る。

【０１１９】付加情報の付加されたオブジェクトの最初
の出現時点の検索は、記憶部３０１の動画記憶部３０１
ａに記憶されたオブジェクトＩＤを参照して行う。例え
ば、フレーム番号「１０５２」のフレーム画像中の人物
像の頭部を表すオブジェクトＩＤ「２」のオブジェクト
に付加情報が付加されたとする。このとき、図２４に示
すような、メモリ領域ＭＡ３のフレーム番号「１０５
２」のフレーム画像に対応する位置からさかのぼってオ
ブジェクトＩＤ「２」のオブジェクトを検索していく
と、当該オブジェクトＩＤ「２」のオブジェクトはフレ
ーム番号「１０５１」のフレーム画像から出現している
ことが検出される。

【０１２０】また、オブジェクトに対して付加情報を付
加するような用途の場合、オブジェクトが以前に出てき
た時に既に付加情報が付加されているのであれば、改め
て付加情報を付加する必要がない。そこで、ユーザに視
覚的に既に付加情報が付加されているかどうかを示すこ
とも重要である。例えば、図２２に示したように、オブ
ジェクトＯＢＪ１が時刻ｔ３から時刻ｔ４に出現したと
きに既に付加情報を付加してあったとする。このとき、
再び時刻ｔ５にオブジェクトＯＢＪ１が出現したときに
は、以前に付加情報が付加されているので、オブジェク
トＯＢＪ１の表示を通常とは異なる方法（例えば、ハイ
ライト表示する、一度消した付加情報を再度表示する
等）とすることにより、ユーザに対し既に付加情報が付
加されたものであることを示す。

【０１２１】動画中に既に付加した付加情報を取り消し
たい（消去したい）ときには、例えば、図２７に示すよ
うに、動画中の当該付加情報Ｆ９に、×印等の付加情報
の消去を指示するための予め定められた付加情報Ｆ１０
をさらに付加すればよい。そして、このような付加情報
Ｆ１０が付加されたとき、記憶部３０１の付加情報記憶
部３０１ｂ、関連記憶部３０１ｃから付加情報Ｆ９に関
する情報を消去するようにしてもよい。

【０１２２】また、記憶部３０１に記憶したデータの再
生中に、さらに付加情報を付加することもできる。この
場合、新たに追加された付加情報に関するデータのみを
記憶部３０１の付加情報記憶部３０１ｂ、関連記憶部３
０１ｃに記憶すればよい。

【０１２３】

【発明の効果】以上説明したように、本発明によれば、
動画のように時間の経過とともに変化する時系列データ
の呈示画面上に、呈示されている時系列データと整合を
とりながら付加情報の付加および呈示が行え、意味のな
い付加情報が呈示画面上に呈示されて、ユーザが動画を
見るのを邪魔したり、ユーザが付加情報を誤って理解し
たり、といった障害を低減することができる。

【図面の簡単な説明】

【図１】本発明の情報呈示方法を用いた第１の実施形態
に係る情報呈示装置の要部の概略構成を示した図。

【図２】情報呈示装置の外観を示した図。

【図３】データ入力部から入力した動画データに、シー
ン切り替えが起こると、ユーザにより入力された付加情
報を消去するという付加情報が変形する様子を説明する
ための図。

【図４】付加情報変形部の構成を示した図。

【図５】付加情報変形部の処理手順を説明するためのフ
ローチャート。

【図６】ユーザにより入力された付加情報を時間経過と
ともに徐々に消去するという付加情報が変形する様子を
説明するための図。

【図７】シーン切り替えが起こりにくい動画データの場
合に、ユーザにより入力された付加情報を時間経過とと
もに徐々に消去するという付加情報が変形する様子を説
明するための図。

【図８】付加情報の変形を変形するための時間ｔの関数
ｆ（ｔ）の一例を示した図。

【図９】付加情報の変形を変形するための時間ｔの関数
ｆ（ｔ）の一例を示した図。

【図１０】付加情報の変形を変形するための時間ｔの関
数ｆ（ｔ）の一例を示した図。

【図１１】付加情報の変形を変形するための時間ｔの関
数ｆ（ｔ）の一例を示した図。

【図１２】ユーザが付加情報を入力する際に、動画の更
新を停止する場合について説明するための図。

【図１３】本発明の情報呈示方法を用いた第２の実施形
態に係る情報呈示装置の要部の概略構成を示した図。

【図１４】付加情報変形部の構成を示した図。

【図１５】付加情報変形部の処理動作を説明するための
図で、画像中のオブジェクトと付加情報との位置関係に
基づき、オブジェクトと付加情報との関連付けを行う手
順を説明するための図。

【図１６】オブジェクトの移動に伴い、それに関連付け
られた付加情報の変形について説明するための図。

【図１７】オブジェクトの移動に伴い、それに関連付け
られた付加情報の変形について説明するための図。

【図１８】オブジェクトの移動に伴い、それに関連付け
られた付加情報の変形について説明するための図。

【図１９】オブジェクトの変形に伴い、それに関連付け
られた付加情報の変形について説明するための図。

【図２０】オブジェクト上に描かれた付加情報は当該オ
ブジェクトに対して付加されたものと判定し、背景上に
書かれた付加情報は現在呈示されているフレーム画像に
対して付加されたものと判定する場合について説明する
ための図。

【図２１】動きのあるオブジェクトに付加情報を書き込
む場合の操作の一例を示した図で、オブジェクト内の任
意の一点ペンで押すことにより、自動的に当該オブジェ
クト全体を選択したとみなすようになっている。

【図２２】既に付加情報の付加されたオブジェクトのユ
ーザへの呈示方法を説明するための図。

【図２３】本発明の情報呈示方法を用いた第３の実施形
態に係る情報呈示装置の要部の概略構成を示した図。

【図２４】図２３の記憶部におけるデータの記憶形式の
一例を概略的に示した図。

【図２５】動画を検索する際の画面呈示例を示した図
で、付加情報とそれと同時に記憶された動画フレームを
画面上に呈示してユーザに（付加情報を手掛かりとし
て）選択させることによって、簡単に所望の動画フレー
ムを検索するためのものである。

【図２６】付加情報の付加されたオブジェクトが画面に
出現した時点や付加が行われたシーンの先頭で当該付加
情報が付加されたと判断して、当該付加情報とオブジェ
クトとの関連付けを行う場合を説明するための図。

【図２７】動画中に既に付加した付加情報を消去する場
合の操作の一例を説明するための図。

【符号の説明】

１０１…データ入力部 １０２…合成部 １０３…呈示部 １０４…付加情報入力部 １０５…付加情報変形部 ２０６…オブジェクト判定部 ３０１…記憶部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA08 DA09 EA13 EA19 EA20 EA24 FA02 FA08 5C023 AA18 BA02 BA04 BA11 CA02 CA05 DA03

Claims (15)

【特許請求の範囲】
1. 【請求項１】 時間の経過に伴って変化する時系列デー
   タに付加された該時系列データに関連付けられた付加情
   報を、該時系列データとの相関関係に基づき変形し、こ
   の変形された付加情報と該時系列データとを合成して呈
   示することを特徴とする情報呈示方法。
2. 【請求項２】 前記時系列データから検出されたオブジ
   ェクトとの相関関係に基づき前記付加情報を変形するこ
   とを特徴とする請求項１記載の情報呈示方法。
3. 【請求項３】 前記時系列データと前記付加情報を記憶
   手段に記憶し、この記憶された時系列データの中から前
   記付加情報の関連付けられた時系列データを検索し、こ
   の検索された時系列データとの相関関係に基づき該付加
   情報を変形することを特徴とする請求項１記載の情報呈
   示方法。
4. 【請求項４】 前記時系列データの内容の変化に基づき
   前記付加情報を変形させることを特徴とする請求項１記
   載の情報呈示方法。
5. 【請求項５】 前記付加情報が付加された時系列データ
   の時間経過に基づき該付加情報を変形することを特徴と
   する請求項１記載の情報呈示方法。
6. 【請求項６】 時間の経過に伴う前記時系列データの変
   化量に基づき前記付加情報を変形することを特徴とする
   請求項１記載の情報呈示方法。
7. 【請求項７】 前記時系列データ中の前記付加情報の呈
   示位置に基づき該付加情報を変形することを特徴とする
   請求項１記載の情報呈示方法。
8. 【請求項８】 時間の経過に伴って変化する時系列デー
   タを入力するデータ入力手段と、 このデータ入力手段で入力された時系列データに関連付
   ける付加情報を入力する付加情報入力手段と、 前記時系列データと前記付加情報入力手段で入力された
   付加情報との相関関係に基づき該付加情報を変形する変
   形手段と、 この変形手段で変形された付加情報と前記時系列データ
   とを合成して呈示する呈示手段と、 を具備したことを特徴とする情報呈示装置。
9. 【請求項９】 前記時系列データからオブジェクトを検
   出するオブジェクト検出手段をさらに具備し、 前記変形手段は、このオブジェクト検出手段で検出され
   たオブジェクトとの相関関係に基づき前記付加情報を変
   形することを特徴とする請求項８記載の情報呈示装置。
10. 【請求項１０】 前記時系列データと前記付加情報とを
    記憶する記憶手段と、 この記憶手段で記憶された時系列データの中から前記付
    加情報の関連付けられた時系列データを検索する検索手
    段とを具備し、 前記変形手段は、この検索手段で検索された時系列デー
    タとの相関関係に基づき前記付加情報を変形することを
    特徴とする請求項８記載の情報呈示装置。
11. 【請求項１１】 前記時系列データの内容の変化に基づ
    き前記付加情報を変形させることを特徴とする請求項８
    記載の情報呈示装置。
12. 【請求項１２】 前記付加情報の関連付けられた時系列
    データの時間経過に基づき前記付加情報を変形すること
    を特徴とする請求項８記載の情報呈示装置。
13. 【請求項１３】 時間の経過に伴う前記時系列データの
    変化量に基づき前記付加情報を変形することを特徴とす
    る請求項８記載の情報呈示装置。
14. 【請求項１４】 前記時系列データ中の前記付加情報の
    呈示位置に基づき前記付加情報を変形することを特徴と
    する請求項８記載の情報呈示装置。
15. 【請求項１５】 時間の経過に伴って変化する時系列デ
    ータに関連付ける付加情報を入力させる付加情報入力手
    段と、 前記時系列データと前記付加情報入力手段で入力された
    付加情報との相関関係に基づき該付加情報を変形させる
    変形手段と、 この変形手段で変形された付加情報と前記時系列データ
    とを合成して呈示させる呈示手段と、 を実行するプログラムを記録した機械読み取り可能な記
    録媒体。