JP2003116095A - 映像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 映像処理装置で、映像データの部分とデータ
とを関連付けて当該関連付けデータの存在を提示する。 【解決手段】 映像処理装置１では、部分映像データ特
定手段１２が映像データから当該映像データの部分であ
る部分映像データを特定し、データ関連付け手段１３が
特定した部分映像データに対してデータを当該データの
存在を提示可能なように関連付け、関連データ提示手段
１４が部分映像データに関連付けられたデータの存在を
示すデータを映像データ中の当該部分映像データと視覚
的に関連付けて提示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像処理装置にお
ける映像データに対するリンクの提示に関する装置また
は方法に関し、特に、作業領域を確保して、映像データ
から部分映像データを抽出し、当該部分映像データに対
して、テキスト・データ、音声データ、画像データ、関
連資料ファイルデータ、映像データなどをリンク・デー
タの内容として、リンク・データを利用者または利用者
間で容易かつ適切に関連付けさせることが可能な映像処
理装置および映像処理方法に関する。

【０００２】

【従来の技術】近年、インターネットを介してマルチメ
ディア・データを利用した意思伝達のためのコミュニケ
ーション・ツールや会議システム情報共有が個人や企業
において進展している。その中で、従来の印刷物にマー
カーやメモの書き込みを行うのと同様にデジタル・ドキ
ュメントやビデオ映像にテキスト注釈を付加するシステ
ムが提案されている。特開平８−２７２９８９号公報
「映像仕様による資料作成支援システム」では、公報で
テキスト情報と映像情報とを関連付けて資料として取り
扱うことが可能である。以下、この技術を第１の従来技
術と呼ぶことにする。

【０００３】次に、特開２０００−２５０８６４号公報
「協調作業支援システム」では、さまざまな形式の注釈
が可能な技術として、プレゼンテーション資料などスト
リーミング・データに対して、メモや質問などのテキス
ト・データが付加可能でかつ複数のクライアント間で共
有可能である。以下、この技術を第２の従来技術と呼ぶ
ことにする。

【０００４】また、特開平６−２７４５５２号公報「マ
ルチメディアデータリンク方式」では、画面に表示され
ている動画像中の任意エリアまたは一連の動画像データ
中の任意画面を指定することにより、当該画面にデータ
を表示可能である。以下、この技術を第３の従来技術と
呼ぶことにする。

【０００５】さらに、Y.Yamamto,CHI2001「Time-ART」
では、ビデオや音声データを視聴中に自由にクリッピン
グできるユーザ・インターフェイスを備え、テキストに
よる注釈機能を持ったツールが提案されている。以下、
この技術を第４の従来技術と呼ぶことにする。一方、特
開平１０−２１０２９号公報「テロップ表示装置」で
は、テロップを簡単に利用者が作成でき、音声情報や画
像情報を付加情報として簡単に追加できる表示装置が存
在する。以下、この技術を第５の従来技術と呼ぶことに
する。

【０００６】また、従来、ワールド・ワイド・ウェブを
閲覧するためのウェブ・ブラウザでホーム・ぺ一ジを閲
覧する場合、そのホーム・ぺ一ジにいわゆるイメージ・
マップとしてリンク情報が埋め込まれる場合がある。利
用者はウェブ・ブラウザで提示されるホーム・ぺ一ジの
イメージ・マップを構成している領域上にマウスを移動
させ、マウスをクリックすることにより、リンクされて
いる情報にアクセスすることが可能である。以下、この
技術を第６の従来技術と呼ぶことにする。

【０００７】特開平８−３２９０９６号公報「画像デー
タ検索装置」では、画像データに、付加情報として、そ
の画像の特徴を簡潔に表すアイコンを設定する手段を有
し、そのアイコンを１次元以上の軸を有するマップ上の
所定の位置に配置し、そのアイコンを用いて係るアイコ
ンに関連する画像データを検索する画像データ検索装置
の技術が公開されている。以下、この技術を第７の従来
技術と呼ぶことにする。

【０００８】さらに、特開平８−３２９０９７号公報
「画像データ検索装置」では、画像データに、付加情報
として、その画像に対するキーワードを設定する手段を
有し、そのキーワードを用いて、画像データを検索する
画像データ検索装置の技術が公開されている。以下、こ
の技術を第８の従来技術と呼ぶことにする。

【０００９】また、特開平８−３２９０９８号公報「画
像データ検索装置」では、１次元以上の軸を有する第１
のマップ上の画像データと１次元以上の軸を有する第２
のマップ上の付加情報とを関連付けて、画像データを検
索することができる画像データ検索装置の技術が公開さ
れている。以下、この技術を第９の従来技術と呼ぶこと
にする。

【００１０】特開平１１−３９１２０号公報「コンテン
ツ表示・選択装置およびコンテンツ表示・選択方法、並
びにコンテンツ表示・選択方法のプログラムが記録され
た記録媒体」では、ＨＴＭＬ文書コンテンツを二次元配
列に配置することにより、マウス・ポインタなしでブラ
ウジング（内容の一覧）を可能とする技術が公開されて
いる。以下、この技術を第１０の従来技術と呼ぶことに
する。

【００１１】

【発明が解決しようとする課題】しかしながら、従来の
技術では、以下に示すような種々な問題があった。ま
ず、上述した第１から第５までの従来システムの共通な
問題点として、利用者は映像データの再生中に別の画面
に部分映像データを抽出して、当該映像データの内容
に、音声データなどから参照しながらリンク・データを
付加することができないという問題があった。

【００１２】また、部分映像データに付加したリンク・
データについて、部分映像データ上の任意の場所にリン
ク・データを付加することができず、どこに付加したの
か分からないという問題があった。例えば、映像データ
に、人物と資料などのオブジェクトが複数映っていると
きに、当該部分映像データに対して、リンク・データを
付加する場合、従来技術では、リンク・データのコメン
トが、どのオブジェクトを指しているか判別できないと
いった問題があった。さらに、関連するリンク・データ
の付加情報を部分画像データの任意指定部分に、複数リ
ンク・データの重ね合わせができないという問題点があ
った。

【００１３】次に、前記の第６の従来技術では、イメー
ジ・マップを含むＨＴＭＬ文書コンテンツを利用者に提
示する場合、利用者がブラウザ内のイメージ・マップを
含むＨＴＭＬ文書コンテンツの領域上にマウスを移動し
なければ、イメージ・マップの存在を利用者が知ること
はできなかった。

【００１４】次に、第７、第８および第９の従来技術
は、画像データに対して、アイコンやテキスト・データ
あるいは付加情報などを関連付けられるものの、利用者
に対してリンクの視覚的なフィードバックを与える技術
ではなく、同一の画像データに対して、複数のリンクを
付加した場合に、利用者に視覚的なフィードバックを与
えて、各リンクを区別し、リンクされた情報を利用でき
るものではない。

【００１５】同じく、第１０の従来技術を用いても、利
用者はＨＴＭＬ文書コンテンツ中、特に画像データや映
像データ中に表現されている人や物など特定領域に関連
付けられたイメージ・マップの存在を利用者に提示でき
ないという問題があった。また、第６から第１０までの
従来技術のいずれを用いても、映像データ中に表現され
ている人や物などの特定領域といわゆる電子掲示板シス
テムあるいは電話など通話・通信システムと連携して利
用することはできないという問題があった。

【００１６】本発明は、このような従来の課題を解決す
るためになされたもので、映像データから特定される部
分映像データに対して当該部分映像データに関連付けら
れたデータの存在を提示することに関して有効な映像処
理装置などを提供することを目的とする。

【００１７】

【課題を解決するための手段】上記目的を達成するた
め、本発明に係る映像処理装置では、部分映像データ特
定手段が映像データから当該映像データの部分である部
分映像データを特定し、データ関連付け手段が特定した
部分映像データに対してデータを当該データの存在を提
示可能なように関連付ける。従って、映像データから部
分映像データを特定して当該部分映像データに対してデ
ータをその存在が提示可能な態様で関連付けることがで
き、これにより、当該部分映像データに関連付けられた
データの存在を提示可能とすることができる。

【００１８】ここで、映像処理装置としては、種々な装
置として構成されてもよく、例えばコンピュータを用い
て構成することができる。また、映像データとしては、
例えば時間的に連続した映像データが用いられ、具体的
には、フレーム内の平面的な画像データが時間的に連続
して変化していくようなデータが用いられ、この場合、
フレーム内の位置を表す座標（横軸及び縦軸）の値と時
間軸の値とで映像データ中の一点を示すことができる。

【００１９】また、部分映像データとしては、種々なデ
ータが用いられてもよく、例えば、１つのフレームの画
像データや、１つのフレームの画像データ中の特定の対
象のデータや、時間幅を有したフレームの画像データつ
まり時間的に連続した複数のフレームの画像データや、
時間幅を有した特定の対象のデータなどを用いることが
できる。

【００２０】また、部分映像データを特定する仕方とし
ては、種々な仕方が用いられてもよく、例えばユーザか
らの指定に基づいて特定する仕方や、映像処理装置が予
め定められた手順で自動的に特定する仕方や、これら両
方を併用する仕方などを用いることができる。

【００２１】また、部分映像データに対して関連付ける
データとしては、種々なデータが用いられてもよく、テ
キストのデータや、音声のデータや、画像のデータなど
を用いることができる。また、部分映像データに対して
関連付けるデータの数としては、単数であってもよく、
複数であってもよい。

【００２２】また、本発明に係る映像処理装置では、部
分映像データ特定手段は、映像データに含まれる同一の
対象のデータについての時間幅を有する部分映像データ
を特定する。従って、映像データに含まれる時間幅を有
する同一の対象のデータに対してデータを関連付けるこ
とができる。

【００２３】ここで、同一の対象のデータとしては、種
々な対象のデータが用いられてもよく、例えば人物を対
象とするデータや、物を対象とするデータや、フレーム
内の所定の領域を対象とするデータなどを用いることが
できる。なお、同一の対象を特定する仕方としては、種
々な仕方が用いられてもよく、例えば静止しているもの
については同一の場所に存するものを同一の対象とみな
す仕方を用いることができ、動作を行うものについては
同一の形状などの特徴を有するものを同一の対象とみな
す仕方を用いることができる。また、時間幅としては、
種々な時間幅を用いることができる。

【００２４】また、本発明に係る映像処理装置では、映
像データは音声データと対応している。そして、部分映
像データ特定手段は、映像データに含まれる単数又は複
数の人物のデータについて、当該人物のデータに対応し
た音声データが有効である時間幅を有する部分映像デー
タを特定する。従って、単数又は複数の人物を対象とし
て、当該対象に対応した音声が有効である時間幅を有す
るデータを部分映像データとして特定することができ
る。

【００２５】ここで、音声データとしては、例えば対応
する映像データ中の人物などにより発せられる音声のデ
ータが用いられ、例えば当該映像データと時間軸で対応
する。また、単数の人物のデータについては、例えば当
該人物が発するとみなされる音声が連続的に続く間の時
間幅或いは所定の閾値未満の無音声期間を除いて当該人
物が発するとみなされる音声が連続的に続く間の時間幅
などを、当該人物のデータに対応した音声データが有効
である時間幅として決定することができる。

【００２６】同様に、複数の人物のデータについては、
例えばこれら複数の人物の中の少なくとも一人の人物が
音声を発しているとみなされる状態が連続的に続く間の
時間幅或いは所定の閾値未満の無音声期間を除いてこの
ような状態が連続的に続く間の時間幅などを、当該複数
の人物のデータに対応した音声データが有効である時間
幅として決定することができる。

【００２７】また、本発明に係る映像処理装置では、部
分映像データ特定手段は、映像データのフレーム内で部
分映像データが位置する領域を特定するデータを用いて
当該部分映像データを特定する。従って、例えばフレー
ム内での座標位置のデータなどを用いることにより、部
分映像データを構成する各フレーム内の画像領域を特定
して当該部分映像データを特定することができる。

【００２８】また、本発明に係る映像処理装置では、部
分映像データ特定手段は、部分映像データ候補特定手段
により複数の部分映像データの候補を特定し、部分映像
データ指定受付手段により特定した部分映像データ候補
に含まれる部分映像データの指定をユーザから受け付
け、そして、指定を受け付けた部分映像データを特定し
た部分映像データとする。従って、映像処理装置により
自動的に部分映像データの候補を複数特定した後に、こ
れら複数の候補の中からユーザにより部分映像データを
指定する仕方により、当該指定された部分映像データを
最終的に特定した部分映像データとすることができる。

【００２９】ここで、部分映像データの候補の数として
は、種々な数が用いられてもよく、例えば単数である場
合があってもよい。また、部分映像データの候補を特定
する仕方としては、種々な仕方が用いられてもよく、例
えば映像データのフレーム内に存する各対象毎のデータ
をそれぞれ部分映像データの候補として特定することが
できる。また、部分映像データ指定受付手段としては、
例えばユーザにより操作されるキーボードやマウスなど
を用いることができる。

【００３０】また、本発明に係る映像処理装置では、関
連部分映像データ特定手段が、部分映像データに関連付
けられたデータから当該部分映像データを特定する。従
って、例えば部分映像データに関連付けられたデータが
ユーザにより指定された場合などに、当該データが関連
付けられた当該部分映像データを特定することができ
る。

【００３１】また、本発明に係る映像処理装置では、関
連データ提示手段が、部分映像データに関連付けられた
データの存在を示すデータを、映像データ中の当該部分
映像データと視覚的に関連付けて提示する。従って、部
分映像データに関連付けられたデータの存在を当該部分
映像データと視覚的に関連付けて提示することができ、
これにより、当該関連付けられたデータの存在や当該関
連付けをユーザに対して視覚的に把握可能とすることが
できる。

【００３２】ここで、部分映像データに関連付けられた
データの存在を示すデータとしては、例えばアイコンの
データを用いることができ、また、後述するように種々
なデータを用いることができる。また、部分映像データ
に関連付けられたデータの存在を示すデータと当該部分
映像データとを視覚的に関連付ける仕方としては、種々
な仕方が用いられてもよく、例えばこれらのデータを近
隣に配置する仕方や、これらのデータの一部を重ねて配
置する仕方などを用いることができる。また、提示の仕
方としては、例えば画面に表示出力する仕方や、紙面に
印刷出力する仕方などを用いることができる。

【００３３】また、本発明に係る映像処理装置では、関
連データ提示手段は、部分映像データに関連付けられた
データの存在を示すデータとして、当該部分映像データ
の形状に基づく形状を有するデータを提示する。従っ
て、部分映像データの形状に基づく形状を有するデータ
を提示することにより、当該データと当該部分映像デー
タとの関連付けをユーザにより視覚的に把握し易くする
ことができる。

【００３４】ここで、部分映像データの形状に基づく形
状を有するデータとしては、種々なデータが用いられて
もよく、例えば部分映像データの形状に基づく形状を有
する影のデータなどを用いることができる。

【００３５】また、本発明に係る映像処理装置では、関
連データ提示手段は、部分映像データに関連付けられた
データの存在を示すデータとして、映像データのフレー
ムの外側であって当該フレームの外側に設けられた枠の
内側に、当該部分映像データのフレーム内での水平位置
を示すデータ及び垂直位置を示すデータを提示する。従
って、映像データのフレーム内ではなくフレーム外に設
けられた枠に、部分映像データに関連付けられたデータ
の存在を示すデータが提示されるため、フレーム内の画
像をそのまま見易いものとすることができる。また、提
示されるデータにより、部分映像データのフレーム内で
の水平位置及び垂直位置を示すことができる。

【００３６】映像データのフレームの外側に設けられた
枠としては、種々な枠が用いられてもよく、例えば映像
データのフレームと比べて一回り大きいような枠が用い
られ、当該フレームの外側であって当該枠の内側には映
像データは提示されない。また、部分映像データは、そ
の水平位置での垂直線とその垂直位置での水平線とが直
交する位置に存することとなる。

【００３７】また、本発明に係る映像処理装置では、部
分映像データに関連付けられたデータの存在を示すデー
タと所定の処理とが対応付けられている。そして、提示
データ指定受付手段が提示されたデータ（部分映像デー
タに関連付けられたデータの存在を示すデータ）の指定
をユーザから受け付け、提示データ対応処理実行手段が
指定を受け付けたデータに対応付けられた処理を実行す
る。従って、ユーザは、提示されたデータを指定するこ
とにより、当該データに対応付けられた処理を実行させ
ることができる。

【００３８】ここで、所定の処理としては、種々な処理
が用いられてもよく、例えば提示されたデータに関連す
る文書処理やメールやインターネットなどに関するプロ
グラムを起動する処理や、これにより提示されたデータ
に関連するデータを表示や送信などする処理などを用い
ることができ、更に具体的には、例えば提示されたデー
タに関連するデータを画面上に表示する処理や、当該デ
ータを電子メールにより設定されたアドレスに対して送
信する処理や、当該データを電話により設定された電話
番号に対して音声送信する処理などを用いることができ
る。また、提示データ指定受付手段としては、例えばユ
ーザにより操作されるキーボードやマウスなどを用いる
ことができる。

【００３９】また、本発明に係る映像処理装置では、複
数の端末装置により同一の映像データに関する操作を実
行することが可能である。従って、例えば一つの端末装
置（例えば一人のユーザ）により同一の映像データに関
する操作を実行することばかりでなく、複数の端末装置
（例えば複数のユーザ）により同一の映像データに関す
る操作を実行することができ、これにより、同一の映像
データに関する部分映像データや当該部分映像データに
関連付けられるデータなどを共有することや共同で編集
することなどができる。

【００４０】ここで、端末装置としては、種々な装置が
用いられてもよく、例えばコンピュータを用いることが
できる。また、複数の端末装置の数としては、種々な数
が用いられてもよい。また、同一の映像データに関する
操作としては、種々な操作が用いられてもよく、例えば
映像データから部分映像データを特定する操作や、特定
された部分映像データにデータを関連付ける操作などを
用いることができる。

【００４１】また、一構成例として、複数の端末装置は
有線や無線のネットワークなどを介して通信可能に接続
され、これら複数の端末装置によりアクセス可能な共通
の記憶装置が設けられて、当該記憶装置に操作対象とな
るデータが保存される。

【００４２】また、本発明に係る映像処理装置では、複
数関連データ提示手段が、映像データから特定された当
該映像データの部分である部分映像データに関連付けら
れた複数のデータの存在を示すデータを、当該映像デー
タ中の当該部分映像データと視覚的に関連付けて提示す
る。従って、部分映像データに関連付けられた複数のデ
ータの存在を当該部分映像データと視覚的に関連付けて
提示することができ、これにより、当該関連付けられた
複数のデータの存在や当該関連付けをユーザに対して視
覚的に把握可能とすることができる。

【００４３】ここで、部分映像データに関連付けられた
複数のデータの数としては、種々な数が用いられてもよ
い。また、部分映像データに関連付けられた複数のデー
タの存在を示すデータとしては、例えば部分映像データ
に単数のデータが関連付けられた場合とは異なるデータ
が用いられ、更に好ましい態様例として、部分映像デー
タに関連付けられた複数のデータの数を表すデータが用
いられる。

【００４４】また、本発明に係る映像処理装置では、複
数関連データ提示手段は、部分映像データに関連付けら
れた複数のデータの存在を示すデータとして、当該関連
付けられたデータの数と同数のデータを提示する。従っ
て、部分映像データに関連付けられたデータの数をユー
ザにより視覚的に把握可能に提示することができる。

【００４５】ここで、部分映像データに関連付けられた
データの数と同数のデータとしては、好ましい態様例と
してそれぞれが同一又は類似の形状を有するデータを用
いることができ、或いは、例えばそれぞれが異なる形状
を有するデータが用いられてもよい。

【００４６】また、本発明に係る映像処理装置では、複
数関連データ提示手段は、部分映像データに関連付けら
れた各データの存在を示すデータを当該関連付けられた
各データ毎に識別可能な態様で提示する。従って、部分
映像データに関連付けられた各データ毎に、その存在を
示すデータをユーザにより視覚的に識別可能とすること
ができる。

【００４７】ここで、部分映像データに関連付けられた
各データ毎にその存在を示すデータが識別可能な態様と
しては、例えば当該各データ毎にその存在を示すデータ
の形状や色や輝度や配置位置などを異ならせるような態
様を用いることができる。

【００４８】なお、以上に示した本発明と同様に同一の
画像のデータに関連付けられた複数のデータの存在を示
すデータを当該画像データと視覚的に関連付けて提示す
る技術や当該複数と同数のデータを提示する技術や当該
各データ毎に識別可能とする技術などは、必ずしも映像
データから特定された部分映像データに限られずに、種
々な画像データに適用することが可能であり、例えば当
該画像データとして静止画像のデータに適用することも
可能である。

【００４９】また、本発明では、以上に示したような各
種の処理を実現する映像処理方法を提供する。例えば、
本発明に係る映像処理方法では、映像データから当該映
像データの部分である部分映像データを特定し、特定し
た部分映像データに対してデータを当該データの存在を
提示可能なように関連付ける。また、本発明に係る映像
処理方法では、映像データから特定された当該映像デー
タの部分である部分映像データに関連付けられた複数の
データの存在を示すデータを、当該映像データ中の当該
部分映像データと視覚的に関連付けて提示する。

【００５０】また、本発明では、以上に示したような各
種の処理を実現するプログラムを提供する。なお、本発
明では、このようなプログラムを格納した記憶媒体を提
供することも可能である。例えば、本発明に係るプログ
ラムでは、映像データから当該映像データの部分である
部分映像データを特定する処理と、特定した部分映像デ
ータに対してデータを当該データの存在を提示可能なよ
うに関連付ける処理とをコンピュータに実行させる。ま
た、本発明に係るプログラムでは、映像データから特定
された当該映像データの部分である部分映像データに関
連付けられた複数のデータの存在を示すデータを当該映
像データ中の当該部分映像データと視覚的に関連付けて
提示する処理をコンピュータに実行させる。

【００５１】

【発明の実施の形態】本発明に係る実施例を図面を参照
して説明する。まず、本発明の第１実施例に係る映像処
理装置や映像処理方法を説明する。図１は、本発明に係
る映像処理装置の一例を示すブロック図である。映像処
理装置１は、記憶部１１と、リンク対象領域指定部１２
と、リンク生成部１３と、映像提示部１４と、リンク管
理部１５とから構成される。

【００５２】記憶部１１は、一般的な記憶装置から構成
され、リンク（関連付け）される一方の対象となる映像
データ（以下、単に映像データと記述することもある）
およびリンク・データ（関連付けに関するデータ）並び
にリンクされるもう一方の対象となる被リンク・データ
を保持する。リンク対象領域指定部１２は、マウスやデ
ジタイザなどの座標入力装置から構成され、利用者（ユ
ーザ）から映像データ中のリンク対象となる領域の座標
データ(以下、リンク対象領域座標データと記述するこ
ともある)を入力し、係るリンク対象領域座標データを
リンク生成部１３に出カする。

【００５３】リンク生成部１３は、利用者からダイアロ
グ形式のユーザ・インタフェースによって入カされる被
リンク・データの識別子あるいは名前を入力する。ま
た、リンク生成部１３は、リンク対象領域指定部１２か
ら入カされたリンク対象領域座標データと利用者から入
力された被リンク・データとをリンクしてリンク・デー
タとして記憶部１１に出力する。映像提示部１４は、デ
ィスプレイから構成され、視覚化されたリンク・データ
および映像データを利用者に提示する。リンク管理部１
５は、記憶部１１、リンク対象領域指定部１２、リンク
生成部１３、映像提供部１４を管理し、制御する。

【００５４】本例では、映像データは、動画データおよ
び音声データが組み合わされたデータ、または、動画デ
ータまたは音声データのいずれか一方のデータを意味す
ることとして、説明を行う。また、本例では、部分映像
データは、映像データ中の時間的または空間的（領域
的）な一部分のデータを意味する。なお、本発明に言う
映像データは、例えば画像のみのデータから構成され、
また、例えば当該画像データに対して音声などのデータ
が対応付けられる場合も含む。

【００５５】図２は、図１の映像処理装置を詳細化した
ブロック図である。図２に示すように、記憶部１１は、
映像記憶装置２１およびリンク・データ記憶装置２６か
ら構成される。リンク対象領域指定部１２は、（任意）
部分映像データ指定装置２３および部分映像データ提示
装置２４から構成される。リンク生成部１３は、リンク
・データ付加装置２５から構成される。映像提示部１４
は、映像データ提示装置２２、部分映像データ提示装置
２４、およびリンク・データ提示装置２７から構成され
る。

【００５６】映像記憶装置２１は、一般的なメモリで構
成され、入力された映像データを保持する。映像データ
提示装置２２は、ディスプレイで構成され、映像記憶装
置２１に保持されている映像データを利用者に提示す
る。

【００５７】部分映像データ指定装置２３は、マウスな
どの座標入カ装置によって構成され、映像データ提示装
置２２によって提示されている映像データの任意の一部
を指定し、その指定された部分映像データを、部分映像
データ提示装置２４に転送する。部分映像データ提示装
置２４は、部分映像データ指定装置２３から転送された
部分映像データを提示する。

【００５８】リンク・データ付加装置２５は、部分映像
データ提示装置２４によって提示されている部分映像デ
ータに対して、リンク・データを付加し、リンク・デー
タ記憶装置２６に転送する。リンク・データ記憶装置２
６は、リンク・データ付加装置２５によって付加された
リンク・データ、及び部分映像データを保持する。リン
ク・データ提示装置２７は、リンク・データ付加装置２
５によって付加されたリンク・データならびにリンク・
データ群を提示する。

【００５９】ここで、映像データ中の任意の部分映像デ
ータの抽出について説明する。映像データから部分映像
データを抽出する形態としては、利用者が映像データ処
理装置１の提供するユーザ・インタフェースを通して、
人手で部分映像データの画像上の外形(輪郭)もしくは外
接矩捗を指定することによって部分映像データを抽出す
る方法や、映像処理装置１により自動的に抽出された部
分映像データの侯補を利用者が選択する方法などの形態
がある。

【００６０】ここでは、映像処理装置１が自動的に部分
映像データの候補を抽出する場合における部分映像デー
タの抽出方法について説明する。部分映像データを抽出
するべき映像データが図３に示されるような場合を想定
する。つまり、映像データ（Video.mpg）３１の或るフ
レーム（本例では、フレーム番号１２０から１５０まで
の３１フレーム）のフレーム上の矩形領域（ｘ-ｙ直交
座標の表現で{(1O,30),(1O,10),(20,10),(20,30)})の内
部に部分映像データの候補として抽出されるべき人が記
録されているとする。なお、同図には、水平方向を表す
ｘ座標の軸と、垂直方向を表すｙ座標の軸と、時間の流
れを表す時間ｔの軸を示してある。

【００６１】この部分映像データ抽出手続きは、図４に
示すように、各フレームにおける輪郭抽出処理（ステッ
プＳ１）、各フレームにおける外接矩形計算処理（ステ
ップＳ２）、フレーム間差分算出処理（ステップＳ
３）、部分映像データ検出処理（ステップＳ４）、部分
映像データ候補提示処理（ステップＳ５）からなる。

【００６２】具体的には、まず、各フレームにおける輪
郭抽出処理では、部分映像データの矩形領域を特定する
ために、映像処理装置１は、映像データ３１中の各フレ
ームにおいて輪郭抽出処理を行う（ステップＳ１）。輪
郭抽出は、通常の画像処理で用いられるいわゆる微分フ
ィルタを用いることにより人の画像のエッジを抽出し、
そのエッジを連結することで輪郭を抽出することが可能
である。また、輪郭抽出処理によって、人が複数の小領
域に分割されている場合でも、従来の領域分割・統合処
理によって人単位の領域（輪郭）を抽出することが可能
である。

【００６３】次に、この人単位の輪郭を抽出した後、各
フレームにおける外接矩形計算処理において当該輪郭を
包含する外接矩形３３を算出する（ステップＳ２）。こ
こで、この外接矩形算出処理によって、フレーム番号１
２０から１５０までの３１フレームにおいて、フレーム
上の座標表現で{(10,30),(10,10),(20,10),(20,30)}の
外接矩形３３を計算することができる。

【００６４】続いて、フレーム間差分算出処理および部
分映像データ検出処理において、各フレームを比較し
て、同一の部分映像データ中の人を単一のオブジェクト
（部分映像データ）として取り扱えるか否かの検査を行
う（ステップＳ３、ステップＳ４）。つまり、ＭＰＥＧ
２などで用いられているような各フレーム間のフレーム
差分を計算することによって、或るフレームと次のフレ
ームで記録されているものが同一か否かを判断する。

【００６５】具体的には、フレーム間差分算出処理にお
いて（ステップＳ３）、フレーム番号１１９のフレーム
とフレーム番号１２０とのフレーム差分では、フレーム
番号１１９のフレームには人が記録されず、フレーム番
号１２０のフレームには人が記録されているため、フレ
ーム差分の結果（例えば、各画素の差分の総和）は大き
な値を持つことになる。同じように、フレーム番号１５
０のフレームとフレーム番号１５１のフレームとのフレ
ーム差分も大きな値を持つことになる。それに対して、
フレーム番号１２０から１５０までのフレームでは、先
の同一の矩形領域３３に人が記録されているため、その
フレームにおけるフレーム差分は小さな値を持つ。

【００６６】部分映像データ検出処理において（ステッ
プＳ４）、以上のフレーム差分の値と矩形領域３３が存
在するか否かの情報から、フレーム番号１２０から１５
０までのフレームには、部分映像データの候補となる人
が記録されていることが分かる。そこで、部分映像デー
タ候補提示処理において、それらのフレームの当該矩形
領域３３の部分を単一の部分映像データ３２として映像
処理装置１の利用者に提示する。

【００６７】次に、図５に示すように、本例に係る映像
処理装置１の処理手順について説明する。この処理手順
は、映像の提示（ステップＳ１１）、部分映像の指定
（ステップＳ１２）、部分映像の提示（ステップＳ１
３）、リンク・データ付加（ステップＳ１４）、および
リンク・データ保存（ステップＳ１５）からなる。

【００６８】まず、映像提示においては、映像データ提
示装置２２は映像処理装置１の映像記憶装置２１に保持
されている映像データを提示する（ステップＳ１１）。
次に、部分映像の指定においては、部分映像データ指定
装置２３を使って利用者によって指定される映像データ
のいわゆるタイム・コードまたはフレーム番号、および
座標データを取得する（ステップＳ１２）。

【００６９】続いて、部分映像の提示においては、部分
映像データ提示装置２３は、利用者によって指定された
部分映像データを提示する（ステップＳ１３）。リンク
・データ付加においては、利用者は部分映像データ提示
装置２３により提示された部分映像データに対して、リ
ンク・データ付加装置２５を使って、関連するデータ
（リンク・データ）を付加する（ステップＳ１４）。最
後に、リンク・データ保存においては、リンク・データ
記憶装置２６は、利用者によって付加されたリンク・デ
ータ、および映像データのいわゆるタイム・コードまた
はフレーム番号、および座標データを保持する（ステッ
プＳ１５）。

【００７０】図６は、リンク・データ記憶装置２６に記
憶されるデータのデータ構造を示す。また、図７は、リ
ンク・データ記憶装置２６に記憶されるデータの拡張さ
れたデータ構造を示す。リンク・データ記憶装置２６
は、部分画像データのタイム・コード４１を保持し、リ
ンク・データ付加装置２５によって入力された被リンク
対象データ４３、部分映像データ提示装置２４で指定さ
れた任意の座標データ４２、記憶装置名４４、部分画像
アイコン・データ４５を格納し、拡張されたデータ構造
では、更に、協調作業などを行うために利用者データ４
６を格納する。

【００７１】例えば、タイム・コード４１には、或るフ
レームの静止画像部分からリンク・データが付加される
場合は、部分映像データ提示装置２４の映像データのそ
の地点のタイム・コードが記録される。また、「ここか
らここまで」という指定の場合は、リンク・データを付
加する開始点と終了点の情報がタイム・コード４１に記
録される。

【００７２】座標データ４２は、部分映像データ提示装
置２４に、リンク対象領域座標として(x1,y1)、(x1,y
2)、(x2,y2)、( x2,y1)の２次元座標を与え、マウスな
どの入力装置によってプロットされたテキスト・データ
や部分画像アイコンを、(x1,y1)、(x1,y2)、(x2,y2)、
(x2,y1)として、リンク対象領域座標の２次元座標値を
保持する。被リンク対象データ４３は、コメントや電子
データファイルの情報や、テキスト・データやファイル
格納先の情報を保持する。

【００７３】次に、図８の本例に係るユーザ・インタフ
ェース例を用いて操作手順について説明する。利用者
は、映像データ提示画面５１に提示されている映像か
ら、リンク・データを付加したい部分映像を指定するこ
とにより、部分映像データ提示画面５２に、指定した部
分映像が映し出される。

【００７４】部分映像データ提示画面５２上の利用者が
指定した任意の場所において、リンク・データ付加画面
５３から、当該提示画像に複数のテキスト・データによ
るコメントや電子データファイルを部分画像アイコン６
１ａ〜６１ｃとして付加することが可能である。この場
合、図６や図７が示すとおり、リンク・データが付加さ
れる指定時間をタイム・コード４１で保存し、部分映像
データ提示画面５２上のどの部分に利用者がリンク・デ
ータを付加したかを示す場所情報を座標データ４２で保
持し、付加したテキスト・データによるコメントや電子
データファイルを被リンク対象データ４３として保持し
て、これら３つを１つのデータとして保持するデータ構
造を持つ。

【００７５】図９は、部分映像データにリンク・データ
が付加された後のデータ構造を示す。図９は、タイム・
コード(00:01:00.00)において、３つのリンク・データ
（「質問について」ならびに「このコメントがポイン
ト」のコメント(テキスト・データ)と“abc.mpg"という
名称の関連映像データ）を保持していることを示す。こ
のように、指定した任意の部分映像データ毎にデータが
保持されているので、一時的に付加されたリンク・デー
タを部分映像データ上から消去することも可能な構造を
持つ。

【００７６】また、保管先として、記憶装置先を指定で
きる。これは、リンク・データを付加した映像データを
記憶装置名４４のように公開（Public）サーバまたは非
公開（Private）サーバに保管する場合、および複数の
利用者間で同一の映像データに対して協調してリンク・
データの付加作業を行う場合に利用される。

【００７７】さらに、図８に示されるように、部分映像
データ提示画面５２上の指定した任意の領域に同一の関
連したデータとしてリンク・データを付加する場合、テ
キスト・データのコメントや関連電子データなどのリン
ク・データの重ね合わせが可能である。ここでは、座標
位置に対して、アイコンやコメントが重なるだけでな
く、関連したリンク・データをグループとして登録する
ことも可能である。図９のリンク・データの“＊"を付
したものが、グループ化された情報で保持される。

【００７８】図１０に示すように、部分映像データ提示
画面５２上の人物のオブジェクト７１や場所のオブジェ
クト７２に対してリンク・データを付加した場合、当該
オブジェクト７１、７２にリンク・データを付加すると
メッセージを送ることが可能である。例えば、人物７１
に対してリンク・データを付加する場合は、人物用メッ
セージ送付用リンク・データ７３を用いる。これによる
と、会議を行った映像データに対して或る参加者に質問
するには、利用者は、部分映像データ提示画面上に表示
される参加者に対してコメントと電子メールアドレスを
付加することにより、当該参加者にメッセージを送るこ
とが可能である。また、当該メッセージを送付する場
合、コメントのみならず利用者がリンク・データを付加
した当該リンク・データも送付することが可能である。
これにより、どのような状況での質問であるかや、指定
時間やその場の状況を端的かつ適切に把握することが可
能となる。

【００７９】また、場所のオブジェクトに対してリンク
・データを付加する場合は、場所空間用メッセージ送付
用リンク・データ７４を用いる。利用方法としては次の
ような想定をしている。すなわち、指定した任意の部分
映像データが重要な人物のコメントを保持していて、そ
の情報を未来の会議で利用したい場合に、会議が行われ
る場所に対して電子メールのようなメッセージサービス
を利用してデータを送付する。実際に利用するときは、
当該場所にある端末または利用者の端末を利用して開示
する。

【００８０】被リンク対象データ提示画面５４には、当
該映像データの中で利用者によって付加されたリンク・
データ付きの部分映像データ提示画面６２ａ〜６２ｅが
複数提示されている。また、被リンク対象データ提示画
面５４に提示されたリンク・データ群として、当該映像
データから抽出したリンク・データのみならず、当該映
像データ以外のリンク・データも指定可能である。

【００８１】次に、複数の利用者間でネットワークを介
して映像データやリンク・データを付加する手順につい
て説明する。図１１は、複数の利用者間で利用する場合
に主に利用される装置およびユーザ・インタフェースの
一例を示す。利用者Ａおよび利用者Ｂは、映像記憶装置
２１から映像データを取り出して、リンク・データを付
加する任意の部分映像データを指定する。

【００８２】図１１では、同じ部分映像データに対し
て、利用者Ａは、リンク・データ付加用入カダイアログ
（リンク・データ付加画面）５３を用いて、１個のリン
ク・データ「この人はＸ氏」を付加し、利用者Ｂは、リ
ンク・データ付加用入カダイアログ５３を用いて、２個
のリンク・データ「この会話の関連映像」(テキスト・
データ)と“xyz.mpg"(映像データ)を付加することを示
している。これらデータは、リンク・データ記憶装置２
６に保持される。そのデータ構造は図１２で表され、利
用者Ａおよび利用者Ｂのタイム・コードや座標データな
どがそれぞれ保持されている。図１３は、利用者Ａおよ
び利用者Ｂが付加したリンク・データを表現する部分画
像アイコン８１ａ、８３ａ〜８３ｃを同時に提示したイ
メージ図を示す。なお、各利用者Ａ、Ｂの被リンク対象
データ提示画面５３には、それぞれのリンクデータ付き
の部分画像データ８２ａ〜８２ｃ、８４ａ〜８４ｄが示
される。

【００８３】また、事前に利用者Ａがリンク・データを
付加する部分映像データを指定して、後で利用者Ｂに対
して、当該部分映像データの存在場所を電子メールなど
で伝えて、リンク・データを付加するような、非同期的
な協調作業が可能である。さらに、利用者単体もしくは
複数の利用者間で、リンクデータ記憶装置２６にアクセ
スして、事前に作成した部分映像データやリンク・デー
タの再編集が可能である。

【００８４】また、利用者単体または複数の利用者間
で、リンク・データを付加、保持ならびに提示可能とす
るために、図１４のような構成を用いることが可能であ
る。この構成では、利用者Ａの端末装置と、利用者Ｂの
端末装置と、利用者間で共有されるリンク・データ記憶
装置９８と、利用者間で共有される映像記憶装置９７と
がネットワークを介して接続されている。また、各利用
者Ａ、Ｂの装置には、それぞれ、映像データ提示装置９
１ａ、９１ｂと、（任意）部分映像データ指定装置９２
ａ、９２ｂと、部分映像データ提示装置９３ａ、９３ｂ
と、リンク・データ付加装置９４ａ、９４ｂと、リンク
・データ提示装置９５ａ、９５ｂと、リンク・データ記
憶装置９６ａ、９６ｂとが備えられている。

【００８５】図１５および図１６を参照して、被リンク
対象データと映像データで構成される事前に作成した映
像データ１と映像データ２を再利用して合成された映像
データを作成する場合について説明する。図１５は、映
像データ１０１に被リンク対象データ１０２がリンクさ
れている様子を示す。

【００８６】図１６は、本例の映像処理装置１を用い
て、映像データを再利用して編集する例を示す。或る会
議が開催される前に会議の主催者などは、これまでの経
緯を短時間のうちに理解ならびに参加者間で共有するた
めに、この会議に関連する事前に作成した映像データ１
と映像データ２にアクセスして、個々の被リンク対象デ
ータ１１４ａ、１１５ａ、１１５ｂ、１１６ａ〜１１６
ｃ、１２４ａ、１２５ａ〜１２５ｃ、１２６ａである会
議議事録や資料を閲覧しながら、複数ある映像データ１
１１〜１１３、１２１〜１２３の中からもっとも関連す
る映像データを取り出して並べ替えなどの編集を行っ
て、合成された映像データを制作することが可能であ
る。

【００８７】続いて、映像データからリンク・データの
対象となる映像フレームを自動抽出する処理について説
明する。リンク・データ付加装置２５は、前述のとおり
利用者が部分映像データを指定することを可能とする以
外に、指定した任意の部分映像データの後の映像データ
中の動画データや当該動画データ中の動画オブジェクト
ならびに音声データを解析して、リンク・データを指定
した部分映像データの当該フレーム上で、同一人物の発
言と推定される部分音声データならびに複数の人物間の
対話で同一の内容であると推定される部分音声データを
抜き出して、抜き出した部分音声データに対応した部分
の映像データ（部分映像データ）とリンク・データを付
加する。

【００８８】例えば、図１７は、同一人物の発言推測の
開始点と終了点を抽出する一例である。この場合、時間
ｔの軸に対して連続した複数のフレームＦ１〜Ｆ７の中
で、被リンク対象データを付加したいフレーム（例え
ば、フレームＦ１或いはフレームＦ４）の音声データが
次のフレーム（例えば、フレームＦ２或いはフレームＦ
７）をまたがっていてそして音声データが途切れるとこ
ろまでを発言推測箇所Ｔ１、Ｔ２として提示して、その
音声データの開始点と終了点にあたる映像フレームを被
リンク対象データを付加するフレームとする。

【００８９】図１８は、複数の人物間の対話推測の開始
点と終了点を抽出する一例である。この場合も、時間ｔ
の軸に対して連続した複数のフレームＦ１１〜Ｆ１７の
中で、図１７の場合と同様に、対話推測箇所Ｔ１１〜Ｔ
１４を抽出する。ただし、本例では、この場合には、対
話中に生じる会話Ｔ２１、Ｔ２２の間の部分の時間をΔ
ｔとして、図１９に示すとおり、当該Δｔが或る一定の
間隔より短ければ、これを同一の対話部分と推測する。

【００９０】次に、本発明の第２実施例に係る映像処理
装置や映像処理方法を説明する。なお、本例の映像処理
装置１の概略的な構成や動作は、例えば上記した第１実
施例で示したものと同様であり、本例では、異なる部分
について詳しく説明する。

【００９１】図２０は、本例に係るリンク・データのデ
ータ構造の一例を示すブロック図である。本例のリンク
・データは、識別子１３１、映像データのファイル名１
３２、フレーム開始番号１３３、フレーム終了番号１３
４、リンク対象領域座標１３５、被リンク対象データ名
（例えばＵＲＬ）１３６、および視覚的フィードバック
・データ１３７から構成される。

【００９２】識別子１３１は、リンク・データ自身を区
別するためのデータであり、リンク管理部１５によっ
て、リンク・データ毎に割り当てられる。映像データの
ファイル名１３２は、リンクの対象となる映像データを
特定する。フレーム開始番号１３３は、係る映像データ
のリンク対象となるフレームの開始番号である。フレー
ム終了番号１３４は、係る映像データのリンク対象とな
るフレームの終了番号である。

【００９３】リンク対象領域座標１３５は、利用者によ
って指定される映像データ中のリンク対象となる座標デ
ータである。被リンク対象データ名１３６は、係る映像
データにリンクされるデータの名前である。視覚的フィ
ードバック・データ１３７は、映像データに対してリン
クが存在することを利用者に視覚的にフィードバックす
るために利用されるデータである。

【００９４】ここで、識別子１３１は、リンク管理部１
５によって設定される。映像データ名１３２、フレーム
開始番号１３３、フレーム終了番号１３４、およびリン
ク対象領域座標１３５は、リンク対象領域指定部１２に
よって利用者から入カされる。また、被リンク対象デー
タ名１３６は、リンク生成部１３によって利用者からダ
イアログ形式のユーザ・インタフェースを使って入力さ
れる。視覚的フィードバック・データ１３７は、リンク
生成部１３によって生成される。

【００９５】図２１は、本例に係る主要なユーザ・イン
タフェースを示す図である。主要なユーザ・インタフェ
ース１４１は、映像提示画面１４２、映像再生ボタン１
４３、映像停止ボタン１４４、リンク開始ボタン１４
５、リンク終了ボタン１４６、被リンク対象データ名入
カダイアログ１４７から構成される。

【００９６】映像提示画面１４２は、記憶部１１に保持
されている映像データを利用者に対して提示する。映像
再生ボタン１４３は、利用者がマウスなどでクリックす
ることにより、係る映像データの再生を開始することを
可能とする。映像終了ボタン17は、利用者がマウスなど
でクリックすることにより、係る映像データの再生を停
止することを可能とする。

【００９７】リンク開始ボタン１４５は、利用者がマウ
スなどでクリックすることにより、リンクされるべき係
る再生中の映像データの開始フレームを指定することを
可能とする。リンク終了ボタン１４６は、利用者がマウ
スなどでクリックすることにより、リンクされるべき係
る再生中の映像データの終了フレームを指定することを
可能とする。被リンク対象データ名入カダイアログ１４
７は、利用者が係る映像データに対して、リンクされる
べき被リンク対象データ名をダイアログを通して入力す
ることを可能とする。

【００９８】図２２は、本例の映像処理装置１のリンク
付け処理の一例を示すフローチャート図である。図２２
に示すように、リンク付け処理は、初期化処理（ステッ
プＳ２１）、映像再生検知処理（ステップＳ２２）、リ
ンク開始検知処理（ステップＳ２３）、リンク終了検知
処理（ステップＳ２４）、リンク対象領域定義処理（ス
テップＳ２５）、被リンク対象入力処理（ステップＳ２
６）、リンク生成処理（ステップＳ２７）、リンク提示
処理（ステップＳ２８）、および映像停止検知処理（ス
テップＳ２９）から構成される。

【００９９】続いて、図２２のフローチャート図を用い
て、本例の映像処理装置１の処理手順を説明する。ま
ず、初期化処理においては、映像処理装置１の記憶部１
１、リンク対象領域指定部１２、リンク生成部１３、映
像提示部１４、およびリンク管理部１５の各部が初期化
される（ステップＳ２１）。

【０１００】つまり、まず、リンク管理部１５によって
リンク・データが生成され、初期化される。具体的に
は、ダイアログ入力を用いるなどして、記憶部１１に保
持されている利用する映像データのファイル名を映像デ
ータ名１３２の値としてリンク・データに設定する。ま
た、リンク・データの識別子１３１は、リンク管理部１
５により、当該映像処理装置１に固有な識別子が設定さ
れる。リンク・データのフレーム開始番号１３３および
フレーム終了番号１３４は既定値として０などの値がリ
ンク管理部１５によって設定される。同じく、リンク・
データのリンク対象領域座標１３５、被リンク対象デー
タ名１３６、および視覚的フィードバック・データ１３
７の既定の値がリンク管理部１５によって設定される。
リンク管理部１５によって生成されたリンク・データは
記憶部１１によって保持される。

【０１０１】次に、映像再生検知処理においては、利用
者によって指定された映像データに対して、利用者から
のマウスまたはタブレットを使用した映像再生ボタン１
４３のクリックを検知することによって再生を開始する
（ステップＳ２２）。続いて、リンク開始検知処理にお
いては、リンク管理部１５は、利用者からのリンク開始
ボタン１４５のクリックを検知することにより、映像デ
ータに対するリンク領域を定義するためのフレーム開始
番号を決定し、その値をリンク・データのフレーム開始
番号１３３として設定する（ステップＳ２３）。

【０１０２】続いて、リンク終了検知処理においては、
リンク管理部１５は、利用者からのリンク終了ボタン１
４６のクリックを検知することにより、映像データに対
するリンク領域を定義するためのフレーム終了番号を決
定し、その値をリンク・データのフレーム終了番号１３
４として設定する（ステップＳ２４）。ここで、リンク
管理部１５は、映像データの再生を一時停止する。

【０１０３】リンク対象領域定義処理においては、リン
ク管理部１５は、まず、利用者に対して、映像提示画面
１４２にリンク対象領域の定義が可能であることを、そ
のメッセージと映像データを重ね合わせるなどして通知
する。また、リンク対象領域指定部１２は、利用者から
のマウスによる指定によって映像提示画面１４２に提示
されている映像データのリンク対象となる領域の座標デ
ータを取得する。ここで、リンク対象領域指定部１２
は、利用者の指定した領域を白線で囲むなどの視覚的フ
ィードバックを利用者に与える。リンク対象領域指定部
１２は、利用者から取得したリンク対象領域を定義する
座標データ（以下、リンク対象領域定義座標データと記
述することもある。）を、記憶部１１に保持されている
リンク・データのリンク対象領域座標１３５の値として
設定する（ステップＳ２５）。

【０１０４】被リンク対象入力処理においては、リンク
管理部１５は、利用者から被リンク対象データ名入カダ
イアログによって指定される被リンク対象データ名を取
得し、記憶部１１に保持されているリンク・データの被
リンク対象データ名１３６の値として設定する（ステッ
プＳ２６）。リンク生成処理においては、リンク生成部
１３は、記憶部１１に保持されているリンク・データの
リンク対象領域座標１３５の値およびフレーム開始番号
１３３からフレーム終了番号１３４までに対応する映像
データから、利用者に対する視覚的フィードバック用の
画像データおよび関連座標データを生成する。当該画像
データおよび関連座標データをリンク・データの視覚的
フィードバック・データとして設定する（ステップＳ２
７）。

【０１０５】リンク提示処理においては、リンク・デー
タの視覚的フィードバック・データ１３７の関連座標デ
ータを用いて、映像データに係る画像データを重ね合わ
せて映像提示画面１４２に提示する（ステップＳ２
８）。映像停止検知処理においては、利用者が映像停止
ボタンをマウスでクリックしたか否かを検知し、クリッ
クした場合においては、映像データの提示を停止し、リ
ンク付け処理を終了する（ステップＳ２９）。一方、ク
リックをしていない場合においては、再度、リンク開始
検知処理以降の処理を行う（ステップＳ２３〜ステップ
Ｓ２９）。

【０１０６】ここで、図２３から図３１を用いて、リン
ク対象領域定義処理（ステップＳ２５）およびリンク生
成処理（ステップＳ２７）を詳述する。図２３は、部分
映像データとしてリンクされる映像オブジェクト（文字
「Ｙ」のロゴ）１５１の例を示す。この図２３は、記憶
部１１に保持されているフレーム開始番号１３３からフ
レーム終了番号１３４までに対応する映像データ（各フ
レームにおいては、静止画像データ）を示す。

【０１０７】図２４は、利用者によるマウス操作によっ
て、当該映像オブジェクト１５１が選択されている様子
を枠１５２によって映像提示画面１４２を使って利用者
に提示している図を示す。図２５は、当該映像オブジェ
クト１５１を画像処理により斜めに倒した映像オブジェ
クト１５３の図を示す。図２６は、図２５の斜めにされ
た映像オブジェクト１５３をエッジ抽出（境界抽出）お
よび色変換の画像処理により影データ１５４を生成した
図を示す。

【０１０８】図２７は、図２３のオリジナルの映像オブ
ジェクト１５１と図２６の影データ１５４とを合成した
図を示す。図２８は、映像提示画面１４２を使って利用
者に提示すべき領域を図２７のデータから抽出した図を
示す。

【０１０９】リンク対象領域定義処理（ステップＳ２
５）では、前述したように、まず、映像オブジェクトに
対してリンク付け可能であることを、映像提示画面１４
２の枠の色を変更するあるいはリンク開始ボタン１４５
の色を変更するなどして、利用者に通知する。次に、利
用者は映像提示画面１４２に提示されている図２３の映
像オブジェクト１５１を参照しつつ、マウスを操作し
て、リンク付けを行うべき映像オブジェクト（ここで
は、「Ｙ」のロゴ）１５１を選択する。選択結果は、図
２４に示す枠１５２で示される。

【０１１０】この枠１５２を表現する座標（例えば、左
上角および右下角の座標）はリンク対象領域定義座標デ
ータとして、記憶部１１に保持されているリンク・デー
タのリンク対象領域座標１３５に設定される。続いて、
リンク生成処理においては（ステップＳ２７）、図２４
の画像を射影変換するなどの画像処理を行い図２３のオ
リジナルの映像オブジェクト１５１と区別可能にする。
さらに、斜めにされた映像オブジェクト１５３に対する
微分フィルタを用いた輪郭抽出などをして、映像オブジ
ェクト１５３と背景の境界を決定し、映像オブジェクト
１５３の領域の色変換を行うことによって、影データ１
５４を生成する。

【０１１１】さらに、図２３のオリジナルの映像オブジ
ェクト１５１と生成した影データ１５４を合成すること
によって図２７の画像を得る。最後に、利用者に対して
映像提示画面１４２に提示すべき領域のクリッピング処
理を行うことによって視覚的フィードバック・データ１
３７を生成する。当該クリッピングされた影データ１５
５の背景ないしオリジナルの映像オブジェクト１５１と
の境界の座標値を関連座標データとして、影データ１５
４とともに記憶部１１において保持されている視覚的フ
ィードバック・データ１３７として設定する。続いて、
リンク生成処理では（ステップＳ２７）、図２８の映像
を映像提示画面１４２に提示する。

【０１１２】ここで、１つの映像オブジェクトに複数の
リンク付けをする場合のリンク生成処理（ステップＳ２
７）について説明する。１つの映像オブジェクトに対し
てリンク付けを複数行う場合には、図２９に示すよう
に、異なる角度で斜めにした映像オブジェクトを複数生
成し、影の色を変更するなどしてそれぞれの影データ１
５６ａ、１５６ｂを生成することにより、利用者にそれ
ぞれのリンクを区別可能とする。その影データ１５６
ａ、１５６ｂを図３０に示すように図２３のオリジナル
の映像データ１５１と重ね合わせ、さらに図３１のよう
にクリッピング処理を行うことによって、当該クリッピ
ング処理後の映像１５７ａ、１５７ｂを用いて視覚的フ
ィードバック・データ１３７を生成する。

【０１１３】続いて、利用者が視覚的フィードバックに
よって提示されている影データをマウスによって指定す
ることでリンク対象提示を指示した場合のユーザ・イン
タフェースの様子について説明する。まず、映像提示画
面１４２に提示されている映像オブジェクトにリンクが
関連付けられている場合、前述したように影データが重
ね合わせて表示されている。利用者がマウスを用いてこ
の影データをクリックした場合、リンク管理部１５は、
リンク・データ中の識別子１３１、映像データ名１３
２、フレーム開始番号１３３、フレーム終了番号１３
４、および視覚的フィードバック・データ１３７に一致
ないし包含されるか否かを判断し、一致ないし包含され
ている場合、被リンク対象データ名１３６の値を被リン
ク対象データ名入カダイアログ１４７に表示することに
よって、利用者が被リンク対象データにアクセス可能と
する。あるいは、被リンク対象データ名１３６の内容を
別のウィンドウないしディスプレイに（例えば、映像提
示画面１４２を画面分割して、その１つの画面に）提示
する。

【０１１４】以上の説明においては、映像データおよび
被リンク対象データが同一の映像処理装置１の記憶部１
１に保持されていることを前提に説明したが、映像デー
タまたは被リンク対象データが例えばネットワークを介
して係る映像処理装置１に接続されて、映像処理装置１
から当該映像データまたは被リンク対象データにアクセ
スするように構成することも可能である。この場合、図
２０の映像データ名１３２または被リンク対象データ名
１３６は、それぞれ、映像データのアクセス先を表現す
るいわゆるＵＲＬまたは被リンク対象データのアクセス
先を表現するＵＲＬとして構成することができる。

【０１１５】また、映像データおよび被リンク対象デー
タが同一の映像処理装置１の記憶部１１に保持されてい
ることを前提に説明したが、図３２に示すように、クラ
イアント１６１およびサーバ１６２がネットワーク１６
３を介して接続され、クライアント１６１またはサーバ
１６２に前述した映像処理装置１の各部の機能を分離配
置し、リンク付けを行うように構成することができる。
例えば、図３２に示すように、リンク生成部１７３をサ
ーバ１６２に配置し、他の処理部である記憶部１７１、
リンク対象指定部１７２、映像指示部１７４、リンク管
理部１７５をクライアント１６１に配置する構成とする
ことも可能である。

【０１１６】図３３は、ネットワークに伝送されるリン
ク・データの形式の例を示す。図３３に示すように図２
０のリンク・データの構造を例えばいわゆるＸＭＬ形式
に変換してネットワークに伝送することによって、図３
２のようなクライアント１６１とサーバ１６２をネット
ワーク１６３を介して接続した場合にリンク・データを
転送して利用することが可能となる。

【０１１７】同じく、図３４は、ネットワークに伝送さ
れるリンク・データの形式の他の例を示す。図３４で
は、被リンク対象データとして、リンク・データが指定
されている様子を示す。具体的には、〈resource-nam
e〉要素として、LlNK001のリンク・データの識別子が設
定されている。このように被リンク対象データとしてリ
ンク・データを指定した場合、リンク管理部１７５は、
図３４のＸＭＬ形式のリンク・データ（識別子がLINK00
3のリンク・データ）を解釈し、L1NK001のリンク・デー
タを取得する。さらに、リンク管理部１７５は、図３３
のＸＭＬ形式のリンク・データ（識別子がLlNKOO1のリ
ンク・データ）を解釈し、<audiovisual-data>要素にVi
deo.mpgのデータが設定され、かつ<resource-name>要素
にAnnotation.txtのデータが設定されていることを検知
する。

【０１１８】続いて、リンク管理部１７５は、利用者に
対してVideo.mpgのデータかAnnotation.txtのデータか
のいずれを利用するかを選択させ、選択されたデータを
映像提示画面１４２に提示する。仮に〈resource-nam
e〉要素として、さらにリンク・データの識別子が設定
されている場合には、同様の動作を繰り返して、リンク
をたどっていく。このように、被リンク対象データ名１
３６または〈resource-name〉要素にリンク・データの
識別子を設定することによって、リンク・データを再利
用することができる。また、ＸＭＬ形式化されたリンク
・データを電子メールなどで転送し、転送された利用者
の映像処理装置１で当該ＸＭＬ形式化されたリンク・デ
ータを利用することにより、リンク・データを再利用す
ることも可能である。

【０１１９】次に、リンクされたテキスト・データ、音
声データ、または映像データなどの電子データからリン
クされる任意の部分映像データを特定する手段およびス
テップについて説明する。ここで、図３５に示すような
リンク・データが記憶部１１に保持されているとする。
つまり、リンク識別子１３１に“LlNK001”の値が設定
され、映像データ名１３２に“Video.mpg”の値が設定
され、フレーム開始番号１３３に“１２０”の値が設定
され、フレーム終了番号１３４に“150”の値が設定さ
れ、リンク対象領域座標１３５に“{(1O,30),(10,10),
(20,10),(20,30)}”の値が設定され、被リンク対象デー
タ名１３６に“Annotation.txt”の値が設定され、視覚
的フィードバック・データ１３７に“Visual.dat”が設
定されていたとする。

【０１２０】利用者がリンクされたテキスト・データ、
音声データまたは映像データなどの電子データから任意
の部分映像データを特定する場合、まず、利用者は図２
１の被リンク対象データ名入カダイアログ１４７から所
望の被リンク対象データ名（当該電子データの名前）を
入力する。つまり、利用者は被リンク対象データ名入カ
ダイアログ１４７を使って“Annotation.txt”を入力す
る。被リンク対象データ名入カダイアログ１４７から被
リンク対象データ名が入力されると、映像処理装置１の
リンク管理部１５は、記憶装置１１に保持されているリ
ンク・データの中から、被リンクデータ名の値が一致す
るリンク・データを検索し、取得する。

【０１２１】次に、リンク管理部１５は、当該リンク・
データの映像データ名１３２を参照し、映像データ名に
一致する映像データを記憶部１１から取得する。つま
り、リンク管理部１５は、当該リンク・データ中の映像
データ名１３２の値“Video.mpg”を参照し、当該“Vid
eo.mpg”に一致する映像データを記憶部１１から取得す
る。

【０１２２】続いて、リンク管理部１５は、リンク・デ
ータ中のフレーム開始番号１３３およびフレーム終了番
号１３４の値“１２０”および“１５０”を参照して、
映像データ中から抽出すべきフレーム、すなわち、フレ
ーム番号１２０から１５０までのフレームを抽出する。
さらに、リンク管理部１５は、リンク・データを参照し
てリンク対象領域座標１３５を参照し、リンク対象領域
座標として“{(10,30),(1O,1O),(20,1O),(20,30)}”の
値を得る。

【０１２３】そこで、リンク管理部１５は、前述の抽出
した各フレームのリンク対象領域座標に一致する領域、
ここでは(10,30),(10,10),(20,10),(20,30)の各座標に
囲まれる領域に対して、リンク・データの視覚的フィー
ドバック・データ１３７に対応するデータを配置し、映
像提示画面１４２に提示する。そこで、利用者は、被リ
ンク対象データ名“Annotation.txt”に対応した、映像
データ“Video.mpg”中の視覚的フィードバックで示さ
れる領域を特定することができる。

【０１２４】次に、リンクされたテキスト・データ、音
声データまたは映像データなどの電子データを電子掲示
板システムまたは電話などの通話ないし通信システムに
転送し、リンクされた任意の部分映像データに関連する
対象に当該電子データを引き渡す手段およびステップに
ついて説明する。

【０１２５】図３６は、図１の映像処理装置１と同様に
記憶部１９１とリンク対象領域指定部１９２とリンク生
成部１９３と映像提示部１９４とリンク管理部１９５と
を備えた構成に、リンク・データ転送部１９６および電
話通話部１９７を付加した拡張した映像処理装置１８１
の一例を示すブロック図である。

【０１２６】リンク・データ転送部１９６は、ＣＰＵお
よびバッファ記憶装置から構成され、記憶部１９１から
転送すべき被リンク対象データを入力し、電話通話部１
９７に転送する。電話通話部１９７は、通常の電話の通
話機能を有するサブシステムであり、リンク・データ転
送部１９６から入力された被リンク対象データを外部の
電話に送信する。

【０１２７】ここで、図３７に示すようなリンク・デー
タが記憶部１９１に保持されているとする。つまり、リ
ンク識別子１３１に“LlNK002”の値が設定され、映像
データ名１３２に“Video.mpg”の値が設定され、フレ
ーム開始番号１３３に“１２０”の値が設定され、フレ
ーム終了番号１３４に“１５０”の値が設定され、リン
ク対象領域座標１３５に“{(10,30),(10,10),(20,1O),
(20,30)}”の値が設定され、被リンク対象データ名１３
６に“Voice.dat”の値が設定され、視覚的フィードバ
ック・データ１３７に“Visual2.dat”が設定されてい
たとする。また、音声データであるVoice.datは記憶部
１９１に保持され、“Voice.dat”と組み合わせて、当
該音声データ“Voice.dat”に対応する通話用の電話番
号“O120-123-4567”が同じく記憶部１９１に保持され
ているとする。

【０１２８】利用者が映像提示画面１４２に提示されて
いる視覚的フィードバックにより、識別子“Link002”
で識別されるリンク・データをマウスを使って選択した
とする。リンク管理部１９５は、記憶部１９１に保持さ
れているリンク・データを参照し、被リンク対象データ
が音声データである“Voice.dat”であることを特定す
ると、当該“Voice.dat”に対応する通話用の電話番号
“O120-123-4567”を取得する。

【０１２９】次に、リンク管理部１９５は、“Voice.da
t”をリンク・データ転送部１９６に転送する。続い
て、電話通話部１９７は、取得した電話番号“0120-123
-4567”を使って通話先を呼び出し、呼び出しがあった
場合、“Voice.dat”を音声データとして再生し、通話
を完了する。

【０１３０】ここでは、通常の公衆電話網の電話に接続
することを想定したが、電話通話部１９７に代えて、デ
ータ送出機能を準備し、被リンク対象データがテキスト
・データである場合には、電子掲示板に転送するように
構成することもできる。同じく、通常の電話機能に代え
て、いわゆるインターネット電話機能を持つデータ送出
機能を準備し、インターネット電話に対して被リンク対
象データを送出するように構成することも可能である。

【０１３１】次に、本発明の第３実施例に係る映像処理
装置や映像処理方法を説明する。図３８および図３９
は、本例の映像処理装置１の映像提示画面２０１に映像
オブジェクト２０３が１個である映像データおよび枠２
０２並びに視覚的フィードバック２０４ａ、２０４ｂ、
２０５ａ、２０５ｂ、２０６ａ、２０６ｂが提示されて
いるユーザ・インタフェースの例を示す図である。図４
０は、本例の映像処理装置１の映像提示画面２０１に映
像オブジェクト２０３、２０７が２個である映像データ
および枠２０２並びに視覚的フィードバック２０５ａ、
２０５ｂ、２０６ａ、２０６ｂ、２０８ａ、２０８ｂが
提示されているユーザ・インタフェースの例を示す図で
ある。

【０１３２】図３８は、映像オブジェクト（“Ｙ”のロ
ゴ）２０３に対して、１個のリンクが設定されている場
合を示す。一方、図３９は、同一の映像オブジェクト
（“Ｙ”のロゴ）２０３に対して、２個のリンクが設定
されている場合を示す。このように複数のリンクが設定
されている場合には、相異なる色の図形を映像提示画面
２０１の枠２０２に提示することにより、リンクを区別
することが可能となる。

【０１３３】図３８、図３９、および図４０に示すよう
に、リンクが設定されている映像オブジェクト（“Ｙ”
のロゴ）２０３、２０７から距離が短い枠２０２の二辺
であって当該映像オブジェクト２０３、２０７の水平位
置（例えば、横軸）及び垂直位置（例えば、縦軸）に対
応する位置にそれぞれリンクを示す図形２０４ａ、２０
４ｂ、２０５ａ、２０５ｂ、２０６ａ、２０６ｂ、２０
８ａ、２０８ｂを配置することにより、利用者はリンク
の存在を示す視覚的フィードバックを得ることが可能と
なる。

【０１３４】以上のように、本発明の実施例に係る映像
処理装置や映像処理方法では、映像データ中の任意の部
分映像データを指定する手段と、映像データと指定した
任意の部分映像データを同時に提示する手段と、指定し
た任意の部分映像データに対してリンク・データを付加
する手段と、指定した任意の部分映像データ上にリンク
される対象データを提示する手段を備えた構成におい
て、指定した任意の部分映像データに対して１個以上の
関連するリンク・データを付加し、当該リンク・データ
を示す１個以上の部分画像アイコンを重ねて提示する、
または、隣接してもしくは重ね合わせて視覚的にリンク
の存在を提示する手段を備えた。

【０１３５】そして、映像データに対してテキスト・デ
ータによるコメントや利用された関連した資料などを付
加して映像データを提示し、注釈を付加する任意の部分
映像データを指定し、当該映像データと指定した部分映
像データを同時に提示し、指定した部分映像データに対
してリンク・データを付加し、付加したリンク・データ
をリンクされる任意の部分映像データに隣接してまたは
重ね合わせて視覚的にリンクの存在を提示する。

【０１３６】従って、リンク・データをリンクされる任
意の部分映像データに隣接してまたは重ね合わせて視覚
的にリンクの存在を提示することによって、任意の部分
映像データにリンク・データが存在していることを利用
者に対して視覚的にフィードバックすることができる。
また、利用者は指定したフレームを抽出する部分映像デ
ータについて、リンク・データを付加したい当該部分映
像データに対して、テキスト・データ、音声データ、画
像データ、関連資料ファイルデータ、動画像データなど
を容易かつ適切に関連付けることが可能となる。また、
関連付けを行うユーザ・インタフェースは、映像データ
と任意部分映像データを両方表示して、当該映像データ
を再生することにより、利用者は抽出した部分映像デー
タを参照しながらリンク・データを付加することが可能
となる。

【０１３７】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンク・データは部分映像データ
の時間範囲を含み、リンク・データを付加する手段は当
該部分映像データの時間範囲を指定する手段を備えた。
従って、リンク・データを付加する部分映像データの指
定範囲として、映像データの時間範囲も指定することが
できる。

【０１３８】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンク・データ或いは部分映像デ
ータは部分映像データの映像データにおける領域情報を
含み、リンク・データを付加する手段は、部分映像デー
タ上の領域情報を取得し、リンク・データを構成する。
従って、リンク・データを付加する手段により、部分映
像データ上の領域情報を含んだリンク・データを構成す
ることが可能となる。

【０１３９】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンク・データの提示手段は、１
個以上の部分画像アイコンを時間軸上、映像データ上
（空間軸上）に提示する。従って、１個以上の部分画像
アイコンを時間軸上、映像データ上（空間軸上）に提示
することが可能となる。

【０１４０】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンクされる任意の部分映像デー
タに隣接してまたは重ね合わせて視覚的にリンクの存在
を提示する手段は、係る任意の部分映像データまたは当
該領域中の映像対象の影、または類似する形状の輝度変
化によって、視覚的にリンクの存在を提示する。従っ
て、係る任意の部分映像データまたは当該領域中の映像
対象の影または類似形状の輝度変化による視覚的フィー
ドバックを利用者に提供することによって、係る任意の
部分映像データまたは当該領域中の映像対象の形状に対
応した影または類似形状の輝度変化による視覚的フィー
ドバックを利用者に提供することができる。

【０１４１】また、本発明の実施例に係る映像処理装置
や映像処理方法では、映像の任意部分データ中にある任
意の場所に対して、複数の関連するデータを示す場合
に、部分画像を重ねて付加する手段を備えた。従って、
映像データ中の任意の部分データ中にある任意の映像対
象に対して、複数のリンク・データが関連する場合に、
部分画像アイコンなどによってリンク・データを重ね合
わせて付加することが可能となる。

【０１４２】また、本発明の実施例に係る映像処理装置
や映像処理方法では、任意の部分映像データまたは当該
領域中の映像対象の影または類似形状の輝度変化として
は、当該任意の部分映像データまたは当該領域中の映像
対象の形状から提示すべき影の形状または類似した形状
などを生成する。従って、任意の部分映像データまたは
当該領域中の映像対象の影または類似形状の輝度変化と
して、当該任意の部分映像データまたは当該領域中の映
像対象の形状から提示すべき影の形状または類似した形
状などを生成することによって、オリジナルの映像デー
タに対して違和感のない視覚的フィードバックを利用者
に提供することができる。

【０１４３】また、本発明の実施例に係る映像処理装置
や映像処理方法では、同一の画像データに対して複数の
リンクを付加した場合に、利用者に視覚的なフィードバ
ックを与えて、各リンクを区別し、リンクされた情報を
有効に利用させることができる。

【０１４４】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンクされる任意の部分映像デー
タに隣接してまたは重ね合わせて視覚的にリンクの存在
を提示する手段は、任意の部分映像データ内の輝度変化
から映像対象を抽出する手段を備えた。従って、任意の
部分映像データの映像対象を、当該任意の部分映像デー
タ内の輝度から抽出することができる。

【０１４５】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンク・データを付加する手段
は、映像データの輝度変化などから抽出された映像デー
タ中の映像対象を利用者により選択させる。従って、映
像データの輝度変化などから抽出された映像データ中の
映像対象を利用者が選択することが可能となる。

【０１４６】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンクされる任意の部分映像デー
タに隣接してまたは重ね合わせて視覚的にリンクの存在
を提示する手段は、２つ以上のリンクを提示する場合
に、係る任意の部分映像データまたは当該領域中の映像
対象の相異なる影または相異なる類似形状の輝度変化も
しくは色の変化などによって、視覚的にリンクの存在を
提示する。従って、同一の部分映像データに複数のリン
ク・データが付加された場合に、これら複数のリンクを
識別可能に提示することができる。

【０１４７】また、本発明の実施例に係る映像処理装置
や映像処理方法では、任意部分映像データに指定したリ
ンク・データを付加すると同時に、部分映像データにリ
ンク・データを単独ならびに重ね合わせて提示すること
により、任意の部分映像データの指定部分画像に対し
て、関連するリンク・データを付加することに加えて、
リンク・データを指定部分画像に重ね合わせることが可
能となる。

【０１４８】また、本発明の実施例に係る映像処理装置
や映像処理方法では、付加されたリンク・データは、他
の任意の部分映像データや他の任意の部分映像データに
付加されたリンク・データに対して、リンク・データの
リンク・データを生成する手段を備えた。従って、付加
されたリンク・データにより、他の任意の部分映像デー
タや他の任意の部分映像データに付加されたリンク・デ
ータに対して、関連付けが可能となる。

【０１４９】このように、本発明の実施例に係る映像処
理装置や映像処理方法では、映像データ中の同一の領域
または当該領域中の同一の映像対象に対して複数のリン
クを関連付けることができ、また、リンク・データが付
加された指定した任意の部分映像データを、映像データ
中の他の任意の部分映像データや他のリンク・データに
対して関連付けることが可能となる。

【０１５０】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンク・データの内容として、テ
キスト・データ、音声データもしくは映像データなどの
電子データや、電子ファイルまたはリンク・データなど
をリンク対象とすることを記述する。従って、映像デー
タにリンクされるデータの内容として、テキスト・デー
タ、音声データまたは映像データなどの電子データなど
をリンクすることができる。

【０１５１】このように、本発明の実施例に係る映像処
理装置や映像処理方法では、指定した任意の部分映像デ
ータに、関連する電子メールなどの既存の電子文書や、
会議で用いられた画像データ、関連した部分音声デー
タ、映像データなどの電子ファイルを関連付けさせるこ
とができる。

【０１５２】また、本発明の実施例に係る映像処理装置
や映像処理方法では、単独または複数の利用者がリンク
・データを付加、共有、提示または配布する手段を備え
た。従って、例えば、利用者は、保存されたリンク・デ
ータについて、情報携帯端末およびリンク・データを付
加、共有、提示または配布する手段を利用して、リンク
・データを取得し、リンクされた映像データに対してリ
ンクを付加するなどの種々な再編集を行うことが可能と
なる。また、利用者は、複数の利用者間でリンク・デー
タを付加、共有、提示または配布する手段を利用してリ
ンク・データならびにリンク・データが付加された映像
データまたは被リンク対象データを取得して、これによ
り、リンク・データ、リンク・データが付加された映像
データまたは被リンク対象データを合成するなどの種々
な再編集を行うことが可能となる。

【０１５３】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンク・データを付加する手段
は、指定した任意の部分映像データ中の単一または複数
の人物に対して、音声データが有効であるときに、当該
動画データおよび音声データから部分映像データの時間
範囲を抽出する手段を備えた。従って、リンク・データ
を付加する手段により、指定された任意の部分映像デー
タ中の音声データなどを解析して、同一人物の発言の部
分やあるいは質疑応答などの複数人物間の対話で同一の
内容である部分を推測して切り出し、当該部分のデータ
に相当する部分映像データを抽出して、当該部分映像デ
ータに対してリンク・データを付加することが可能とな
る。

【０１５４】また、本発明の実施例に係る映像処理装置
や映像処理方法では、リンクされたテキスト・データ、
音声データまたは映像データなどの電子データなどから
リンクされる任意の部分映像データを特定する手段を備
えた。従って、リンクされたテキスト・データ、音声デ
ータまたは映像データなどの電子データなどからリンク
される任意の部分映像データを特定することにより、リ
ンクされた電子データなどからリンクされる任意の部分
映像データを参照することが可能となる。

【０１５５】また、本発明の実施例に係る映像処理装置
や映像処理方法では、利用者が部分映像データまたは部
分映像データ内の映像対象を指定することによって、リ
ンクされたテキスト・データ、音声データまたは映像デ
ータなどの電子データなどを電子掲示板システムや、電
話または電子メールなどの通話ないし通信システムに転
送し、リンクされた任意の部分映像データに関連する対
象に当該電子データなどを引き渡す手段を備えた。従っ
て、任意の部分映像データから、係る電子掲示板システ
ムまたは電話ないし通信システムを利用して、任意の部
分映像データに関連する相手側のデータを参照すること
や、当該相手に対して当該電子データなどを通知ないし
転送することが可能となる。

【０１５６】また、本発明の実施例に係る映像処理装置
や映像処理方法では、映像データを提示し、当該映像デ
ータに対してリンク・データを保持し、処理する構成に
おいて、リンク・データがリンクされる任意の部分映像
データに対応して、映像データの外枠に視覚的にリンク
の存在を提示する手段を備えた。従って、提示される映
像データを邪魔することなく、その外枠を用いて部分映
像データに対するリンクの存在を提示することができ
る。

【０１５７】以上のように、本発明の実施例に係る映像
処理装置や映像処理方法では、リンク・データがリンク
された映像データを利用者に提示する場合に、例えば利
用者が映像処理装置内の映像提示画面に提示されている
映像データの領域上にマウスを移動しなくても、利用者
に対してリンクの視覚的なフィードバックを与えること
ができ、単数または複数のリンクの存在を利用者に知ら
せることができる。また、リンクされたテキスト・デー
タ、音声データまたは映像データなどの電子データなど
から任意の部分映像データを参照することが可能とな
る。さらに、視覚的なフィードバックを通して、任意の
部分映像データから、電子掲示板システムまたは電話な
いし通信システムを介して、当該任意の部分映像データ
に関連する対象を参照または利用すること、などが可能
となる。

【０１５８】なお、本発明の実施例に係る映像処理装置
などでは、映像データから部分映像データを特定するリ
ンク対象領域指定部１２などの機能により部分映像デー
タ特定手段が構成されており、部分映像データと他のデ
ータとを関連付ける（リンクする）リンク生成部１３な
どの機能によりデータ関連付け手段が構成されている。
また、本発明の実施例に係る映像処理装置などの部分映
像データ特定手段では、部分映像データの候補を特定す
る機能により部分映像データ候補特定手段が構成されて
おり、当該候補の中から部分映像データの指定をユーザ
から受け付ける機能により部分映像データ指定受付手段
が構成されている。

【０１５９】また、本発明の実施例に係る映像処理装置
などでは、部分映像データに関連付けられたデータから
当該部分映像データを特定するリンク管理部１５などの
機能により関連部分映像データ特定手段が構成されてお
り、部分映像データに関連付けられたデータの存在を示
すデータ（視覚的フィードバック・データ）を当該部分
映像データと視覚的に関連付けて提示する映像提示部１
４などの機能により関連データ提示手段が構成されてい
る。

【０１６０】また、本発明の実施例に係る映像処理装置
などでは、視覚的フィードバック・データと所定の処理
とが記憶部１１において対応付けられており、提示され
た視覚的フィードバック・データの指定をユーザから受
け付ける映像提示部１４などの機能により提示データ指
定受付手段が構成されており、指定を受け付けた視覚的
フィードバック・データに対応付けられた処理を実行す
るリンク管理部１５などの機能により提示データ対応処
理実行手段が構成されている。

【０１６１】また、本発明の実施例に係る映像処理装置
などでは、部分映像データに関連付けられた複数のデー
タの存在を示す例えば複数の視覚的フィードバック・デ
ータを当該部分映像データと視覚的に関連付けて提示す
る映像提示部１４などの機能により複数関連データ提示
手段が構成されている。

【０１６２】ここで、本発明に係る映像処理装置や映像
処理方法などの構成や態様としては、必ずしも以上に示
したものに限られず、種々な構成や態様が用いられても
よい。また、本発明の適用分野としては、必ずしも以上
に示したものに限られず、本発明は、種々な分野に適用
することが可能なものである。

【０１６３】また、本発明に係る映像処理装置や映像処
理方法などにおいて行われる各種の処理としては、例え
ばプロセッサやメモリ等を備えたハードウエア資源にお
いてプロセッサがＲＯＭ（Read Only Memory）に格納さ
れた制御プログラムを実行することにより制御される構
成が用いられてもよく、また、例えば当該処理を実行す
るための各機能手段が独立したハードウエア回路として
構成されてもよい。また、本発明は上記の制御プログラ
ムを格納したフロッピー（登録商標）ディスクやＣＤ
（Compact Disc）−ＲＯＭ等のコンピュータにより読み
取り可能な記録媒体や当該プログラム（自体）として把
握することもでき、当該制御プログラムを記録媒体から
コンピュータに入力してプロセッサに実行させることに
より、本発明に係る処理を遂行させることができる。

【０１６４】

【発明の効果】以上説明したように、本発明に係る映像
処理装置や映像処理方法などでは、例えば、映像データ
から当該映像データの部分である部分映像データを特定
し、特定した部分映像データに対してデータを当該デー
タの存在を提示可能なように関連付けるようにしたた
め、当該部分映像データに関連付けられたデータの存在
を提示可能とすることができる。つまり、本発明に係る
映像処理装置や映像処理方法などでは、例えば、部分映
像データに関連付けられたデータの存在を示すデータ
を、映像データ中の当該部分映像データと視覚的に関連
付けて提示するようにしたため、当該関連付けられたデ
ータの存在や当該関連付けをユーザに対して視覚的に把
握可能とすることができる。

【０１６５】また、本発明に係る映像処理装置や映像処
理方法などでは、例えば、映像データから特定された当
該映像データの部分である部分映像データに関連付けら
れた複数のデータの存在を示すデータを、当該映像デー
タ中の当該部分映像データと視覚的に関連付けて提示す
るようにしたため、当該関連付けられた複数のデータの
存在や当該関連付けをユーザに対して視覚的に把握可能
とすることができる。

【図面の簡単な説明】

【図１】 本発明に係る映像処理装置の構成例を示す図
である。

【図２】 本発明に係る映像処理装置の詳細な構成例を
示す図である。

【図３】 映像データから部分映像データを抽出する様
子を示す図である。

【図４】 部分映像データを抽出する処理の手順の一例
を示す図である。

【図５】 部分映像データにリンク・データを付加する
処理の手順の一例を示す図である。

【図６】 リンク・データ付加記憶装置のデータ構造の
一例を示す図である。

【図７】 リンク・データ付加記憶装置の拡張されたデ
ータ構造の一例を示す図である。

【図８】 ユーザ・インタフェースの一例を示す図であ
る。

【図９】 部分映像データにリンク・データを付加した
後のデータ構造の一例を示す図である。

【図１０】 リンク・データ付加提示のユーザ・インタ
フェースの一例を示す図である。

【図１１】 協調作業における装置構成とユーザ・イン
タフェースの具体例を示す図である。

【図１２】 部分映像データにリンク・データを付加し
た後のデータ構造の他の一例を示す図である。

【図１３】 複数の利用者により付加されたリンク・デ
ータを表現する部分画像アイコンを提示した一例を示す
図である。

【図１４】 編集作業を行うシステムの構成例を示す図
である。

【図１５】 被リンク・対象データと映像データの構造
の一例を示す図である。

【図１６】 複数の映像データの部分から合成した映像
データを生成する様子の一例を示す図である。

【図１７】 リンク・データ付加時における発言推測の
一例を示す図である。

【図１８】 リンク・データ付加時における対話推測の
一例を示す図である。

【図１９】 リンク・データ付加時における対話推測の
仕方の一例を説明するための図である。

【図２０】 リンク・データのデータ構造の一例を示す
図である。

【図２１】 ユーザ・インタフェースの一例を示す図で
ある。

【図２２】 リンク付け処理の手順の一例を示す図であ
る。

【図２３】 映像オブジェクトの一例を示す図である。

【図２４】 映像オブジェクトを枠で囲んだものの一例
を示す図である。

【図２５】 映像オブジェクトを斜めに倒したものの一
例を示した図である。

【図２６】 影データの一例を示した図である。

【図２７】 映像オブジェクトと影データとを合成した
ものの一例を示す図である。

【図２８】 映像オブジェクトと影データの提示すべき
領域を抽出したものの一例を示す図である。

【図２９】 複数の影データの一例を示す図である。

【図３０】 映像オブジェクトと複数の影データとを合
成したものの一例を示す図である。

【図３１】 映像オブジェクトと複数の影データの提示
すべき領域を抽出したものの一例を示す図である。

【図３２】 ネットワークを介してリンク付け処理を行
う構成の一例を示す図である。

【図３３】 ネットワークに伝送されるリンク・データ
の形式の一例を示す図である。

【図３４】 ネットワークに伝送されるリンク・データ
の形式の他の一例を示す図である。

【図３５】 リンク・データの値の一例を示す図であ
る。

【図３６】 拡張した映像処理装置の構成例を示す図で
ある。

【図３７】 リンク・データの値の一例を示す図であ
る。

【図３８】 映像処理装置の映像提示画面に映像オブジ
ェクトが１個である映像データ及び枠並びに視覚的フィ
ードバックが提示されているユーザ・インタフェースの
一例を示す図である。

【図３９】 映像処理装置の映像提示画面に映像オブジ
ェクトが１個である映像データ及び枠並びに視覚的フィ
ードバックが提示されているユーザ・インタフェースの
一例を示す図である。

【図４０】 映像処理装置の映像提示画面に映像オブジ
ェクトが２個である映像データ及び枠並びに視覚的フィ
ードバックが提示されているユーザ・インタフェースの
一例を示す図である。

【符号の説明】

１、１８１・・映像処理装置、 １１、１７１、１９１
・・記憶部、１２、１７２、１９２・・リンク対象領域
指定部、１３、１７３、１９３・・リンク生成部、１
４、１７４、１９４・・映像提示部、１５、１７５、１
９５・・リンク管理部、 ２１、９７・・映像記憶装
置、２２、９１ａ、９１ｂ・・映像データ提示装置、２
３、９２ａ、９２ｂ・・任意部分映像データ指定装置、
２４、９３ａ、９３ｂ・・部分映像データ提示装置、２
５、９４ａ、９４ｂ・・リンク・データ付加装置、２
６、９６ａ、９６ｂ、９８・・リンク・データ記憶装
置、２７、９５ａ、９５ｂ・・リンク・データ提示装
置、３１、１０１、１１１〜１１３、１２１〜１２３、
Ｆ１〜Ｆ７、Ｆ１１〜Ｆ１７・・映像データ、３２・・
部分映像データ、 ３３・・外接矩形、 ４１・・タイ
ム・コード、４２・・座標データ、４３、１０２、１１
４ａ、１１５ａ、１１５ｂ、１１６ａ、１１６ｂ、１１
６ｃ、１２４ａ、１２５ａ、１２５ｂ、１２５ｃ、１２
６ａ・・被リンク対象データ、４４・・記憶装置名、
４５・・部分画像アイコン・データ、４６・・利用者デ
ータ、 ５１・・映像データ提示画面、５２・・部分映
像データ提示画面、 ５３・・リンク・データ付加画
面、５４・・被リンク対象データ提示画面、６２ａ〜６
２ｅ、８２ａ〜８２ｃ、８４ａ〜８４ｄ・・リンク・デ
ータ付きの部分映像データ、７１、７２・・オブジェク
ト、７３、７４・・メッセージ送付用リンク・データ、
８１ａ、８３ａ〜８３ｃ・・部分画像アイコン、Ｔ１、
Ｔ２・・発言推測箇所、Ｔ１１〜Ｔ１４、Ｔ２１、Ｔ２
２・・対話推測箇所、 １３１・・識別子、１３２・・
映像データ名、 １３３・・フレーム開始番号、１３４
・・フレーム終了番号、 １３５・・リンク対象領域座
標、１３６・・被リンク対象データ名、１３７・・視覚
的フィードバック・データ、１４１・・ユーザ・インタ
フェース、 １４２、２０１・・映像提示画面、１４３
・・映像再生ボタン、 １４４・・映像停止ボタン、１
４５・・リンク開始ボタン、 １４６・・リンク終了ボ
タン、１４７・・被リンク対象データ名入力ダイアロ
グ、１５１、２０３、２０７・・映像オブジェクト、
１５２・・枠、１５３・・斜めに倒した映像オブジェク
ト、１５４、１５６ａ、１５６ｂ、１５７ａ、１５７ｂ
・・影データ、１５５・・影データの提示すべき領域を
抽出したもの、１６１・・クライアント、 １６２・・
サーバ、 １６３・・ネットワーク、１９６・・リンク
・データ転送部、 １９７・・電話通話部、２０２・・
映像提示画面の枠、２０４ａ、２０４ｂ、２０５ａ、２
０５ｂ、２０６ａ、２０６ｂ、２０８ａ、２０８ｂ・・
視覚的フィードバック、

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/765 Ｈ０４Ｎ 5/91 Ｃ 5/92 Ｌ 5/92 Ｈ Ｆターム(参考） 5C025 AA30 BA28 CA09 CB10 DA10 5C053 FA14 GB06 GB11 JA01 JA16 LA06 LA11 5C082 AA01 AA31 BA02 BA12 BB01 CA76 CB05 DA87 DA89 MM09 MM10

Claims (18)

【特許請求の範囲】
1. 【請求項１】 映像データから当該映像データの部分で
   ある部分映像データを特定する部分映像データ特定手段
   と、 特定した部分映像データに対してデータを当該データの
   存在を提示可能なように関連付けるデータ関連付け手段
   と、 を備えたことを特徴とする映像処理装置。
2. 【請求項２】 請求項１に記載の映像処理装置におい
   て、 部分映像データ特定手段は、映像データに含まれる同一
   の対象のデータについての時間幅を有する部分映像デー
   タを特定する、ことを特徴とする映像処理装置。
3. 【請求項３】 請求項２に記載の映像処理装置におい
   て、 映像データは音声データと対応しており、 部分映像データ特定手段は、映像データに含まれる単数
   又は複数の人物のデータについて、当該人物のデータに
   対応した音声データが有効である時間幅を有する部分映
   像データを特定する、 ことを特徴とする映像処理装置。
4. 【請求項４】 請求項１乃至請求項３のいずれか１項に
   記載の映像処理装置において、 部分映像データ特定手段は、映像データのフレーム内で
   部分映像データが位置する領域を特定するデータを用い
   て当該部分映像データを特定する、 ことを特徴とする映像処理装置。
5. 【請求項５】 請求項１乃至請求項４のいずれか１項に
   記載の映像処理装置において、 部分映像データ特定手段は、複数の部分映像データの候
   補を特定する部分映像データ候補特定手段と、特定した
   部分映像データ候補に含まれる部分映像データの指定を
   ユーザから受け付ける部分映像データ指定受付手段とを
   有し、指定を受け付けた部分映像データを特定した部分
   映像データとする、 ことを特徴とする映像処理装置。
6. 【請求項６】 請求項１乃至請求項５のいずれか１項に
   記載の映像処理装置において、 部分映像データに関連付けられたデータから当該部分映
   像データを特定する関連部分映像データ特定手段を備え
   た、 ことを特徴とする映像処理装置。
7. 【請求項７】 請求項１乃至請求項６のいずれか１項に
   記載の映像処理装置において、 部分映像データに関連付けられたデータの存在を示すデ
   ータを映像データ中の当該部分映像データと視覚的に関
   連付けて提示する関連データ提示手段を備えた、 ことを特徴とする映像処理装置。
8. 【請求項８】 請求項７に記載の映像処理装置におい
   て、 関連データ提示手段は、部分映像データに関連付けられ
   たデータの存在を示すデータとして、当該部分映像デー
   タの形状に基づく形状を有するデータを提示する、 ことを特徴とする映像処理装置。
9. 【請求項９】 請求項７に記載の映像処理装置におい
   て、 関連データ提示手段は、部分映像データに関連付けられ
   たデータの存在を示すデータとして、映像データのフレ
   ームの外側であって当該フレームの外側に設けられた枠
   の内側に、当該部分映像データのフレーム内での水平位
   置を示すデータ及び垂直位置を示すデータを提示する、 ことを特徴とする映像処理装置。
10. 【請求項１０】 請求項７乃至請求項９のいずれか１項
    に記載の映像処理装置において、 部分映像データに関連付けられたデータの存在を示すデ
    ータと所定の処理とが対応付けられており、 提示された部分映像データに関連付けられたデータの存
    在を示すデータの指定をユーザから受け付ける提示デー
    タ指定受付手段と、 指定を受け付けたデータに対応付けられた処理を実行す
    る提示データ対応処理実行手段と、 を備えたことを特徴とする映像処理装置。
11. 【請求項１１】 請求項１乃至請求項１０のいずれか１
    項に記載の映像処理装置において、 複数の端末装置により同一の映像データに関する操作を
    実行することが可能である、 ことを特徴とする映像処理装置。
12. 【請求項１２】 映像データから特定された当該映像デ
    ータの部分である部分映像データに関連付けられた複数
    のデータの存在を示すデータを当該映像データ中の当該
    部分映像データと視覚的に関連付けて提示する複数関連
    データ提示手段を備えたことを特徴とする映像処理装
    置。
13. 【請求項１３】 請求項１２に記載の映像処理装置にお
    いて、 複数関連データ提示手段は、部分映像データに関連付け
    られた複数のデータの存在を示すデータとして、当該関
    連付けられたデータの数と同数のデータを提示する、 ことを特徴とする映像処理装置。
14. 【請求項１４】 請求項１３に記載の映像処理装置にお
    いて、 複数関連データ提示手段は、部分映像データに関連付け
    られた各データの存在を示すデータを当該関連付けられ
    た各データ毎に識別可能な態様で提示する、 ことを特徴とする映像処理装置。
15. 【請求項１５】 映像データから当該映像データの部分
    である部分映像データを特定し、特定した部分映像デー
    タに対してデータを当該データの存在を提示可能なよう
    に関連付けることを特徴とする映像処理方法。
16. 【請求項１６】 映像データから特定された当該映像デ
    ータの部分である部分映像データに関連付けられた複数
    のデータの存在を示すデータを当該映像データ中の当該
    部分映像データと視覚的に関連付けて提示することを特
    徴とする映像処理方法。
17. 【請求項１７】 映像データから当該映像データの部分
    である部分映像データを特定する処理と、特定した部分
    映像データに対してデータを当該データの存在を提示可
    能なように関連付ける処理とをコンピュータに実行させ
    ることを特徴とするプログラム。
18. 【請求項１８】 映像データから特定された当該映像デ
    ータの部分である部分映像データに関連付けられた複数
    のデータの存在を示すデータを当該映像データ中の当該
    部分映像データと視覚的に関連付けて提示する処理をコ
    ンピュータに実行させることを特徴とするプログラム。