JP2002281457A - ビデオ情報再生 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】ビデオマテリアルを一定のフレームレートで再
生するのではなく、ビデオマテリアルの情報コンテンツ
を定義する情報データに基づき、一定の情報レートで再
生することができるビデオ再生装置を提供し、フレーム
間で変化の少ない情報性の低いコンテンツを早送りし、
最も重要な部分を確認できるようにする。 【解決手段】ビデオ再生装置１０は、ビデオマテリアル
を記録するビデオマテリアル記録手段（コンテンツスト
レージ装置２０）と、ビデオマテリアルの情報コンテン
ツを定義する関連付けられた情報データ（メタデータ）
を受け取り、記憶するメタデータ保存装置３０と、メタ
データに基いて、ビデオマテリアル記録手段に記録され
たビデオマテリアルの再生を制御する再生制御手段４０
とを備える。また、ユーザ操作子６０に基づいて制御さ
れる再生制御装置４０は、ビデオマテリアルの表示画面
又は表示ウインドウ５０への表示を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】ビデオ情報再生本発明はビデ
オ情報の再生に関する。

【０００２】

【従来の技術】ビデオカメラは、オーディオ及びビデオ
情報を生成し、このような情報は、通常、拡張的に編集
された後、放送品質の番組が作成される。編集処理は非
常に時間がかかる作業であり、したがって、あらゆる番
組の作成コストの大きな部分を占めている。

【０００３】ビデオ画像及びオーディオデータは、通
常、コンピュータを用いた非線形編集装置により「オフ
ライン」で編集される。非線形編集装置は、記録された
シーケンスのいかなる点からも情報を編集できるという
柔軟性を有している。デジタル編集用の画像としては、
通常、元のソースマテリアルの解像度を落としたコピー
が使用される。このようなコピーは、放送品質は満足さ
せないが、記録されたマテリアルをブラウズし、オフラ
イン編集判断を行うには十分な画質を有する。ビデオデ
ータとオーディオデータは、個別に編集することができ
る。

【０００４】オフライン編集処理により最終的には、編
集判断リスト（edit decision list：以下、ＥＤＬとい
う。）が作成される。ＥＤＬは、編集点をタイムコード
アドレスで指定するファイルであり、すなわち、番組を
編集するための要求されたインストラクションを含む。
ＥＤＬは、後にオフライン編集からオンライン編集に編
集判断を伝えるために使用され、オンライン編集では、
マスタテープを用いて、編集された番組の放送品質の高
解像度コピーが作成される。

【０００５】オフラインの非線形編集処理は、柔軟性を
有しているが、非常に時間がかかる作業である。この処
理では、人間のオペレータが情報をリアルタイムで再生
し、ショットをサブショットにセグメント化し、時間軸
に沿った所望のシーケンスとして、これらのショットを
配列する。ショットを最終的なシーケンスとして配列す
るまでには、ショットを複数回再生し、その全体のコン
テンツを確認し、そのショットを最終的なシーケンスの
どこに挿入するかを判断する必要があることが多い。

【０００６】オーディオデータは、編集段階では、音声
検出アルゴリズムを適用して、音声を含む可能性が高い
オーディオフレームを識別することにより、自動的に処
理することもできる。あるいは、編集者がオーディオデ
ータをリアルタイムで聞き取り、そのコンテンツ全体を
把握する必要がある場合もある。

【０００７】本質的には、編集者は、最初から生のオー
ディオフレーム及びビデオ画像を再生し、その情報のコ
ンテンツを丹念に確認する必要がある。このような作業
を行ってはじめて、ショットをどのようにセグメント化
し、どのような順序でシーケンスを作成するかを判断す
ることができる。

【０００８】

【課題を解決するための手段】本発明に係るビデオ再生
装置は、ビデオマテリアルを記録するビデオマテリアル
記録手段と、ビデオマテリアルの情報コンテンツを定義
する関連付けられた情報データに基づいて、ビデオマテ
リアル記録手段に記録されたビデオマテリアルの再生を
制御する再生制御手段とを備える。

【０００９】本発明の各形態及び特徴は添付の請求の範
囲において定義されている。本発明は、ビデオマテリア
ルの新たな再生（例えば、順方向、逆方向）方法を提供
することにより、上述の課題を解決する。

【００１０】本発明によれば、ビデオマテリアルを一定
の（又は定義された）フレームレートで再生するのでは
なく、ビデオマテリアルの情報コンテンツを定義する情
報データに基づき、例えば一定の（又はユーザが制御可
能な）情報レートでビデオマテリアルを再生することが
できる。

【００１１】これにより、ユーザは、例えば、フレーム
間で変化が少ない情報性の低いコンテンツを早送りし、
最も重要な部分を確認するようにビデオマテリアルを視
聴することができる。

【００１２】好ましくは、情報の再生レートは、例えば
ジョグ／シャトルホイール等のユーザ操作子により制御
されるとよい。この場合、シャトルモードでは、ホイー
ルの回転角は、フレーム再生速度ではなく、情報の再生
速度を制御する。

【００１３】１９９５年７月、ピッツバーグ、カーネギ
ーメロン大学技術レポートＣＭＵ−ＣＳ−９５−１８
６、スミス（Smith）他による論文「オーディオ及び画
像特徴化に基づく高速ブラウジングのためのビデオ要約
（Video Skimming for Quick Browsing Based on Audio
and Image Characterisation）は、情報コンテンツに
基づくビデオマテリアルの短縮されたバージョンの再生
を開示しているが、ユーザ操作子に基づく情報再生レー
トの変更に関する技術は開示されていない。スミス他に
よる論文とは異なり、本発明は、再生時にユーザが受け
取る情報のレート又はタイプを変更できる装置及び方法
を提供する。

【００１４】

【発明の実施の形態】図１は、本発明の第１の具体例で
あるビデオ再生装置１０の構成を示す図である。このビ
デオ再生装置１０は、ビデオ記録／再生装置又はビデオ
編集装置等の一部であってもよい。このビデオ再生装置
１０は、ビデオマテリアル（オーディオマテリアルが関
連付けられていてもよい）を受け取り、このビデオマテ
リアルをコンテンツストレージ装置２０に保存する。コ
ンテンツストレージ装置２０は、テープストレージ装置
であってもよく、（より好ましくは）ハードディスク、
光ディスク、半導体メモリ等のランダムアクセスストレ
ージ装置であってもよい。さらに、ビデオ再生装置１０
は、ビデオマテリアルに関連付けられたメタデータを受
け取り、このメタデータをメタデータ保存装置（metada
ta store/metastore：以下、メタストアという。）３０
に保存する。メタストア３０は、好ましくは、ハードデ
ィスク、光ディスク、半導体メモリ等のランダムアクセ
スストレージ装置により実現されている。もちろん、コ
ンテンツストレージ装置２０及びメタストア３０は、異
なる装置として実現してもよく、単一のストレージ装置
内の異なる論理的部分として実現してもよい。

【００１５】メタデータの導出及び性質については後述
するが、図１に関連する事項を述べれば、メタデータ又
はメタデータから直接由来するデータは、ビデオ及び／
又は関連するオーディオマテリアルの即時的な「情報
性」コンテンツへの指示を与えることができる。ここで
用いる「情報／情報性（information）」という用語
は、人間の編集者又は視聴者の関心を引くオーディオ／
ビデオマテリアルの部分の質を表す。すなわち、ビデオ
マテリアルのコンテンツが場面の変更、人物（又は、新
たな人物）の登場を含んでいる場合、オーディオマテリ
アルが音声（speach）の期間又はその期間の開始及び終
了を含んでいる場合、あるいは画像「アクティビティ」
（後述する）の変化の瞬間等の場合、その部分の情報性
は高くなる。「情報性」に関するその他の測定基準につ
いては、上述したスミス他による論文に開示されてい
る。

【００１６】再生コントローラ４０は、コンテンツスト
レージ装置２０に記録されているマテリアルの表示画面
又は表示ウィンドウ５０への表示を制御する。再生コン
トローラ４０は、ユーザ操作子６０の操作に基づいて制
御される。ユーザ操作子６０は、この具体例では「ジョ
グシャトル（jog/shuttle）」ホイールを有するが、こ
の他、キーパッド、スライダ、マウス制御ポインタ、タ
ッチスクリーン等、いかなる種類の操作子であってもよ
い。

【００１７】ビデオテープレコーダ等、従来の再生装置
におけるジョグシャトルホイールでは、ホイールが「シ
ャトル」モードで動作している場合、再生方向はユーザ
が回転操作するホイールの回転方向に応じて決定され、
再生速度は、ユーザがホイールをどれだけ回転させたか
に応じて決定される。ジョグシャトルホイールには、通
常、戻りバネ（速度０の位置にホイールを戻す）が設け
られている。「ジョグ」モードでは、（例えば、１°ず
つ）ホイールの回転を進める毎に、ビデオ情報が（いず
れの方向にも）１フレームずつ再生される。

【００１８】通常、ユーザはホイールを押圧操作するだ
けでジョグモードとシャトルモードを切換えることがで
きる。

【００１９】この具体例においては、ジョグシャトルホ
イールは、概ね同様な動作をするが、ここでは、ビデオ
フレームが再生される速度ではなく、情報がユーザに再
生又は提供される速度が制御される。

【００２０】すなわち、「シャトル」モードの情報再生
では、ホイール６０を「速度０」に対応する中心位置か
ら回転させる角度によって、ユーザに対して情報が提供
される速度が決定する。情報性を示す値は、マテリアル
を分析して得られるものであるが、情報性とは、ある程
度主観的なものである。ここで、ビデオ再生装置は、情
報の測定値が算出されると、変化や動きが少ないオーデ
ィオ／ビデオマテリアルの期間（すなわち、コンテンツ
の情報性が低い期間）を速く再生し、情報性が高いマテ
リアルをより遅く再生する。

【００２１】「ジョグ」モードでは、ホール６０を一定
量回転させることにより、マテリアルにおいて情報性の
高い次のコンテンツ、例えば所定の閾値を超える情報値
を有する次の点が表示される。

【００２２】再生コントローラは、メタストアから情報
コンテンツを定義するデータを単に読み出すこともで
き、あるいは、メタストア内に格納されたデータからこ
のデータを直接導き出すこともできる。情報値データを
メタストアに登録する手法については後に説明するが、
変形例として、必要な場合のみに、再生コントローラが
情報値を算出するための演算を行うようにしてもよい。

【００２３】図２は、ビデオ再生装置の第２の具体例を
示す図であり、このビデオ再生装置１０’は、図１に示
すビデオ再生装置１０に対して多くの共通点を有する。
なお、図２に示すビデオ再生装置１０’では、メタデー
タは、メタデータ抽出回路７０がコンテンツストレージ
装置２０に記録されているビデオマテリアルから抽出さ
れる。メタデータを抽出する手法については、図１に示
すビデオ再生装置１０のコンテキストの下で、図３〜図
５を用いて後に説明する。このようなメタデータ抽出処
理は、図２に示すメタデータ抽出回路７０において実行
してもよいことは明らかである。

【００２４】すなわち、図３〜図５では、ビデオ／オー
ディオマテリアルの取得及び取得されたマテリアルから
メタストア３０へのメタデータ及び情報データの導出／
抽出が説明される。

【００２５】図３は、オーディオビジュアル処理装置の
具体例を示す。カメラ２１０は、オーディオ及びビデオ
データをカメラ内のビデオテープに記録する。カメラ２
１０は、「メタデータ」として知られる、記録されたビ
デオ情報に関する追加的な情報を作成及び記録する。メ
タデータは、通常、録画日、記録開始／終了フラグ又は
タイムコード、カメラ状態データ、及びＳＭＰＴＥ Ｕ
ＭＩＤとして知られる記録マテリアルに対する固有の識
別インデクスを含む。

【００２６】ＵＭＩＤについては、「ＳＭＰＴＥジャー
ナル(SMPTE Journal)」の２０００年３月号に記載され
ている。「拡張ＵＭＩＤ（extended UMID）」は、「基
礎ＵＭＩＤ（basic UMID）」に相当する第１の３２バイ
トの組と、「シグネチャメタデータ（signature metada
ta）」である第２の３２バイトの組から構成されてい
る。

【００２７】基礎ＵＭＩＤは、キーレングスバリュー
（key-length-value：ＫＬＶ）構造を有し、以下のよう
な情報から構成されている。・ＳＭＰＴＥ ＵＭＩＤ自
身及びＵＭＩＤが指示するマテリアルの種類を識別する
１２バイトの汎用ラベル又はキー。この汎用ラベル又は
キーは、後述する包括的固有マテリアル（globally uni
que Material）番号及び局所的固有インスタンス（loca
lly unique Instance）番号を生成する手法を定義す
る。・ＵＭＩＤの残りの部分の長さを特定する１バイト
のレングス値。・同じマテリアル番号を有する異なる
「インスタンス」又はマテリアルのコピー間を区別する
ために使用される３バイトのインスタンス番号。・各ク
リップを識別するために使用される１６バイトのマテリ
アル番号。・マテリアル番号は、少なくとも各ショット
及び可能性として各画像フレームに付される。シグネチ
ャメタデータは、以下のような情報から構成される。・
ＵＭＩＤが適用される「コンテンツユニット」の作成日
時を識別する８バイトの日時コード。このうち、前半の
４バイトは、汎用タイムコード（Universal Time Cod
e：ＵＴＣ）に基づくコンポーネントである。・コンテ
ンツユニット作成時の（ＧＰＳ）に基づく空間的座標を
定義する１２バイトの値。・国コード、組織コード及び
ユーザコードを表すそれぞれ４バイトの３つのグルー
プ。

【００２８】記録自体の特性を識別する役割を有する上
述の基礎的メタデータとは別に、記録されたオーディオ
データ及びビデオ画像のコンテンツを詳細に記述する追
加的メタデータも提供される。追加的メタデータは、好
ましくはフレーム毎の「特徴ベクトル（feature-vector
s）」を含み、カメラ２１０内のハードウェアにより、
撮像された生のビデオ及びオーディオデータをリアルタ
イムで（又は直後に）処理することにより生成される。

【００２９】特徴ベクトルは、例えば、与えられたフレ
ームが音声（speach）に関連しているか否か、あるいは
人物の顔の画像を表しているか否かを示す。さらに、特
徴ベクトルは、各フレームの色相成分の大きさ等、ある
種の画像特性に関する情報を含むこともできる。

【００３０】ＵＭＩＤ及び開始／終了タイムコードを含
むメインメタデータは、オーディオ／ビデオデータとと
もにビデオテープに記録することができるが、例えばソ
ニー株式会社の「テレファイル：Tele-File（商標）」
システム等の専用システムを用いて保存することが好ま
しい。このテレファイルシステムでは、ビデオカセット
ラベルに設けられ、ラベルへの直接的な電気的接触を行
うことなくデータを読み書きできる非接触型メモリ集積
回路に記憶される。

【００３１】全てのメタデータ情報は、メタデータデー
タパス２１５を介して、メタストア３０に格納される。
メタデータデータパス２１５は、ビデオテープ、リムー
バブルハードディスク、無線ローカルエリアネットワー
ク（無線ＬＡＮ）のいずれであってもよい。メタストア
３０は、ストレージ２３０と、メタデータの抽出及び分
析のための演算処理を行う中央演算処理ユニット（cent
ral processing unit：以下、ＣＰＵという。）２４０
とを備える。メタストア３０は、特徴ベクトルメタデー
タを用いて、サブショットセグメント化等の機能を自動
化し、一連の連続するフレームにおける人物の顔とスピ
ーチの同時検出により示されるインタビューに対応する
可能性が高い情報を識別し、オフライン編集装置で使用
するための、各ショットの主要なコンテンツを反映する
代表画像を作成し、オーディオ及びビデオ情報のエンコ
ードに関連する特性を算出する。

【００３２】このように、メタデータによる特徴ベクト
ル情報は、編集処理に先行する前処理の自動化に貢献す
る。オーディオ及びビデオデータを記述するメタデータ
は、メタストア３０に集中的に保存され、例えばＳＭＰ
ＴＥ ＵＭＩＤ等の固有の識別子によりオーディオ及び
ビデオデータに関連付けられる。オーディオ及びビデオ
データは、通常、メタデータとは別に保存される。メタ
ストア３０を用いることにより、特徴ベクトルに用にア
クセスでき、大量の情報を保存することができる。

【００３３】メタストア３０は、特徴ベクトルに対する
追加的な処理を行い、従来、編集者がしなくてはならな
かった多くの処理を自動化する。処理された特徴ベクト
ルは、オフライン編集の最初から使用することができ、
これにより作業が効率的になり、編集に要する時間を短
縮できる。

【００３４】図４は、本発明に基づき、ビデオカメラ２
１０のメインコンポーネントと、メタストア３０とがど
のようにインタラクトするかを説明する図である。撮像
素子２５０は、オーディオ及びビデオデータ信号２５５
を生成し、このオーディオ及びビデオデータ信号２５５
を画像処理モジュール２６０に供給する。画像処理モジ
ュール２６０は、標準的な画像処理を行い、処理された
オーディオ及びビデオデータをメインデータパス２８５
を介して出力する。オーディオ及びビデオデータ信号２
５５は、特徴ベクトル抽出モジュール２８０にも供給さ
れ、特徴ベクトル抽出モジュール２８０は、音声検出及
び色相ヒストグラム算出等の処理を行い、その結果とし
て得られる特徴ベクトルデータ２９５を出力する。撮像
素子２５０は、信号２６５をメタデータ生成ユニット２
７０に供給し、メタデータ生成ユニット２７０は、基礎
ＵＭＩＤ及び開始／終了タイムコードを含む基礎的メタ
データ情報２７５を生成する。この基礎的メタデータ情
報２７５及び特徴ベクトルデータ２９５は混合され、メ
タデータデータパス２１５を介して出力される。

【００３５】メタデータデータパス２１５を介して伝送
されるデータは、メタストア３０内に設けられたメタデ
ータ抽出モジュール２９０に供給される。メタデータ抽
出モジュール２９０は、メタデータ抽出処理を実行し、
ビデオカメラ２１０により生成された特徴ベクトルデー
タ２９５を用いて、記録された音声及び画像のコンテン
ツに関する追加的な情報を生成する。メタデータ抽出モ
ジュール２９０は、例えば、色相特徴ベクトル（すなわ
ち、追加的メタデータ）を用いて、サブショットセグメ
ント化処理を実行する。この処理については後に説明す
る。メタデータ抽出モジュール２９０からの出力データ
３１５は、オフライン編集装置により読出可能な、メタ
ストア３０内のメインストレージ領域であるストレージ
２３０に記録される。

【００３６】図５は、本発明に基づく特徴抽出モジュー
ル２８０と、メタデータ抽出モジュール２９０の構成を
示す図である。

【００３７】図５の左側に示す特徴抽出モジュール２８
０は、上述のように、ビデオカメラ２１０内に設けら
れ、色相ヒストグラム算出ユニット３００と、音声検出
ユニット３１０と、顔検出ユニット３２０とを備える。
これら特徴抽出ユニットから出力されるデータは、メタ
データ抽出モジュール２９０に供給され、さらに処理さ
れる。

【００３８】色相ヒストグラム算出ユニット３００は、
各画像の色相値を分析する。ビデオカメラ２１０内の撮
像素子２５０は、赤、緑、青（ＲＧＢ）の３原色信号を
検出する。これらの信号は、フォーマット変換され、異
なる色空間表現で記録される。アナログビデオテープ
（ＰＡＬやＮＴＳＣ等）においては、信号はＹＵＶ空間
に記録され、一方、デジタルビデオシステムは、標準Ｙ
ＣｒＣｂ色空間に信号を記録する。第３の色空間は、色
相−彩度−値（hue-saturation-value：以下、ＨＳＶと
いう。）色空間である。色相は、スペクトル分布の主要
な波長を反映し、彩度は、単一の波長におけるスペクト
ル分布の集中度を表し、値は、色の強さを表す。ＨＳＶ
色空間において、色相は、色を３６０°の範囲で特定す
る。

【００３９】色相ヒストグラム算出ユニット３００は、
必要に応じて、任意の色空間のオーディオ及びビデオデ
ータ信号をＨＳＶ色空間に変換する。色相ヒストグラム
算出ユニット３００は、各フレームの画素の色相値を結
合し、色相値の関数として、各フレームに対する発生頻
度の色相ヒストグラムを生成する。色相値は、０°以上
３６０°以下の値をとり、ヒストグラムのビンサイズ
（bin-size）は、潜在的に調整可能であるが、通常１°
とする。この具体例においては、３６０のエレメントを
有する特徴ベクトルが各フレーム毎に生成される。色相
特徴ベクトルの各エレメントは、そのエレメントに関連
する色相値の発生頻度を表す。色相値は、通常、フレー
ム内の全ての画素について算出するが、（例えば平均化
処理により）複数の画素からなるグループに単一の色相
値を対応させてもよい。色相ベクトルは、後にメタデー
タ抽出モジュール２９０がサブショットセグメント化及
び代表画像抽出処理に使用することができる。

【００４０】特徴抽出モジュール２８０内の音声検出ユ
ニット３１０は、記録されたオーディオデータを分析す
る。音声検出ユニット３１０は、通常、フレーム毎にオ
ーディオマテリアルのスペクトル分析を行う。なお、音
声検出ユニット３１０の説明において、「フレーム」と
いう用語は、ビデオフレームではなく、例えば２４０ミ
リ秒の期間を有するオーディオフレームを指すものとす
る。各オーディオフレームのスペクトルコンテンツは、
ソフトウェア又はハードウェアを用いた高速フーリエ変
換（fast Fourier transform：以下、ＦＦＴという。）
をオーディオデータに適用することにより算出される。
このスペクトルコンテンツは、周波数の関数であるパワ
ーに関するオーディオデータのプロファイルを提供す
る。

【００４１】この具体例における音声検出処理は、人間
の音声が生来的に高調波成分を多く含むという事実に基
づいている。このような現象は、特に母音の発声音に顕
著に現れる。声の高さは、話者により異なり、フレーム
毎にも変化するが、人間の声の周波数は、通常、５０〜
２５０Ｈｚの範囲内である。オーディオデータのコンテ
ンツは、一連の「櫛フィルタ」を適用することにより分
析される。櫛フィルタは、無限インパルス応答（Infini
te Impulse Response：ＩＩＲ）フィルタであり、出力
サンプルを所定時間遅延させた後、入力に戻す。櫛フィ
ルタは、比較的狭い複数の通過帯域を有し、各通過帯域
の中心周波数は、特定のフィルタに関連する基礎周波数
の整数倍に設定されている。特定の基礎周波数に基づく
櫛フィルタの出力信号は、そのフレームのオーディオ信
号が基礎周波数に対してどれほど高調波成分を含んでい
るかを示す。オーディオ信号には、５０〜２５０Ｈｚの
範囲の基礎周波数を有する一連の櫛フィルタが適用され
る。

【００４２】この具体例では、まず、オーディオマテリ
アルにＦＦＴ処理を適用するため、櫛フィルタは、単に
任意のＦＦＴ係数を選択することにより実現することが
できる。

【００４３】スライド式櫛フィルタ（sliding comb fil
ter）は、疑似連続的な一連の出力信号（quasi-continu
ous series of outputs）を生成し、これらの出力信号
は、オーディオ信号における、それぞれ特定の基礎オー
ディオ周波数に対する高調波成分の割合を示す。各オー
ディオフレームについて、この一連の出力信号のうち、
最大の出力信号が選択される。この最大の出力信号は、
「高調波インデクス（Harmonic Index：ＨＩ）と呼ば
れ、その値を所定の閾値と比較することにより、関連す
るオーディオフレームが音声を含む可能性が高いか否か
が判定される。

【００４４】特徴抽出モジュール２８０内に設けられた
音声検出ユニット３１０は、各オーディオフレームにつ
いて、特徴ベクトルを生成する。この特徴ベクトルは、
最も単純な形式としては、音声が存在するか否かを示す
フラグとして実現してもよい。なお、各フレームの高調
波インデクスに対応するデータを特徴ベクトルデータと
して用いてもよい。音声検出ユニット３１０の変形例と
して、各オーディオフレームに対してＦＦＴ係数を含む
特徴ベクトルを出力してもよく、この場合、高調波イン
デクスの算出及び音声が含まれているか否かの判定は、
メタデータ抽出モジュール２９０により行うことができ
る。特徴ベクトル抽出モジュール２８０には、音声フレ
ームにおける音楽シーケンス又は音声の休止（pauses）
を検出する追加的ユニット３３０を設けてもよい。

【００４５】また、特徴ベクトル抽出モジュール２８０
に設けられた顔検出ユニット３２０は、ビデオ画像を分
析し、画像内に人間の顔が含まれているか否かを判定す
る。この顔検出ユニット３２０は、本出願の優先日以前
にビジョニクス社（Visionics Corporation）から市販
されているFaceIt（商標）アルゴリズム等のアルゴリズ
ムにより人間の顔を検出する。この顔検出アルゴリズム
は、全ての顔画像がそれ以上単純化できない基礎的構成
要素の組（irreducible set of building elements）か
ら合成できるという事実に基づいている。基礎的構成要
素は、統計的手法を用いて、人間の顔の代表的な集合か
ら導出される。顔の要素（elements）の数は、顔の部分
（parts）より多い。個別の顔は、その顔が有する要素
と、その要素幾何学的組み合わせにより識別される。こ
のアルゴリズムにより、個別の顔の識別情報を「フェー
スプリント（faceprint）」と呼ばれる数式にマッピン
グすることができる。顔の画像は、約８４バイトのサイ
ズのフェースプリントに圧縮することができる。個別の
顔は、光の変化、肌の色、表情、髪型、眼鏡の有無等に
かかわらず、フェースプリントから認識することができ
る。カメラに撮像される顔の角度の変化は、全ての方向
について最大約３５°であり、顔の移動は許容される。

【００４６】したがって、このアルゴリズムを用いて、
画像毎に、画像内に人間の顔が含まれるか否かを判定で
きるとともに、同じフェースプリン後が現れる連続的画
像のシーケンスを特定することができる。このソフトウ
ェアの製造業者によれば、このアルゴリズムを用いて、
画像領域内の１％以上を人間の顔が占めれば、その顔を
認識できる。

【００４７】顔検出ユニット３２０は、各画像毎に、各
画像において顔が検出されたか否かを示す単純なフラグ
を含む基礎的特徴ベクトル３５５を出力する。さらに、
少なくとも１つの顔が検出された各画像を対応する検出
されたフェースプリントに関連付けるキー又はルックア
ップテーブルとともに、検出された顔のそれぞれのフェ
ースプリントデータが特徴ベクトルデータ３５５として
出力される。このデータにより、編集者は、特定のフェ
ースプリントが出現する全てのビデオ画像を検索及び選
択することができる。

【００４８】ビデオカメラ２１０内に設けられたメタデ
ータ抽出モジュール２９０は、図５の右側に示すよう
に、色相ヒストグラム統計ユニット３５０と、「アクテ
ィビティ」算出ユニット３６０と、サブショットセグメ
ント化ユニット３７０と、変化検出ユニット３８０とを
備える。

【００４９】色相ヒストグラム統計ユニット３５０は、
特徴ベクトルデータ３５５を用いて、色相画像特性を抽
出する。色相ヒストグラム統計ユニット３５０は、色相
ヒストグラムデータの起伏平均（rolling average）を
展開し、現在の色相ヒストグラム及び起伏平均の現在の
値間の変化を検出する。起伏平均は、例えば、通常の再
生速度で１秒間に相当するビデオ情報の平均とすること
ができる。変化の検出は、フレームＦに対する現在の色
相ヒストグラム及び起伏平均の現在の値間の差を示す単
一の値ｄｉｆｆ_Ｆを用いて行うことができる。差を示す
単一の値の算出の手法については後に説明する。

【００５０】色相ヒストグラム統計ユニット３５０は、
ショットの主要なコンテンツを反映する代表画像の抽出
を行うこともできる。特徴ベクトルデータ３５５に含ま
れる色相データは、各画像の色相ヒストグラムを含んで
いる。この特徴ベクトルデータ３５５は、サブショット
セグメント化ユニット３７０から出力されるセグメント
化情報に結合され、これにより各ショットの平均色相ヒ
ストグラムデータが算出される。

【００５１】ショット内の各フレームの色相ヒストグラ
ムデータを用いて、以下の式により、ショットの平均ヒ
ストグラムが算出される。

【００５２】

【数１】

【００５３】ここで、ｉはヒストグラムのビン（histog
ram bins）のインデクスであり、ｈ’_ｉはｉ番目のビン
に関連付けられた色相値の平均発生頻度を表し、ｈはフ
レームＦのｉ番目のビンに関連付けられた色相値を表
し、ｎ_Ｆはショット内のフレーム数を表す。ショット内
の大多数のフレームが同じシーンに対応していれば、こ
れらのショットにおける色相ヒストグラムは類似するは
ずであり、したがって、平均色相ヒストグラムを強く重
み付けして、その主要なシーンの色相プロファイルを反
映させる。

【００５４】代表画像は、ショット内の各フレームの色
相ヒストグラムとそのショットの平均色相ヒストグラム
とを比較することにより抽出される。差を示す単一の値
ｄｉｆｆ_Ｆは、以下の式により算出することができる。

【００５５】

【数２】

【００５６】ショット内の各フレームＦ（１≦Ｆ≦
ｎ_Ｆ）について、ｄｉｆｆ_Ｆが算出され、ｎ_Ｆ個のフレ
ームのうちから、ｄｉｆｆ_Ｆが最も小さいフレームが選
択される。上述の式は、差異を表す値を算出する好適な
手法を示しているが、他の式を用いて同様の効果を得る
こともできる。例えば、差異（ｈ’_ｉ−ｈ_ｉ）の絶対値
の総和を求め、差異の重み付け加算値を算出してもよ
く、各フレームの各画像プロパティの差を表す値を組み
合わせてもよい。差異が最小のフレームは、平均色相ヒ
ストグラムの最も近い色相ヒストグラムを有するはずで
あり、このため、このフレームを関連するショットの代
表的キースタンプ（representative keystamp：ＲＫ
Ｓ）画像として選択することが望ましい。すなわち、差
異が最小のフレームは、平均色相ヒストグラムに最も近
い色相ヒストグラムを有するフレームであるとみなすこ
とができる。ここで、２以上のフレームが最小の差異を
示す場合、複数のフレームが平均色相フレームに最も近
い色相ヒストグラムを有することとなるが、この場合、
これらフレームのうち例えば時間的に最も早いフレーム
を代表的キースタンプとして選択することができる。ま
た、平均色相ヒストグラムに最も近い色相ヒストグラム
を有するフレームをＲＫＳとして選択することが望まし
いが、これに代えて、差異を表す値の上限を示す閾値を
設け、ショットの時間的シーケンス内で、この閾値以下
の最小差異を有する最初のフレームをＲＫＳとして選択
してもよい。なお、最小差異が閾値以下であるショット
内のいかなるフレームをＲＫＳとして用いてもよいこと
は明らかである。代表画像抽出ユニット３５０は、ＲＫ
Ｓ画像を出力する。

【００５７】ＲＫＳ画像は、オフライン編集現場におい
て、ショットのコンテンツを表すサムネイルとして使用
することができる。編集者は、一目でＲＫＳ画像を確認
することができ、これにより、ショットをリアルタイム
で再生する必要がある状況を減らすことができる。

【００５８】「アクティビティ（activity）」算出ユニ
ット３６０は、色相ヒストグラム算出ユニット３００が
生成した特徴ベクトルデータを用いて、捕捉されたビデ
オ画像のアクティビティ値を算出する。アクティビティ
値は、画像がフレーム間でどれほど変化しているかを示
す値である。アクティビティ値は、例えばショットの時
間的シーケンス全体に亘る包括的レベルで算出してもよ
く、画像及びその周辺のフレームについて局所的レベル
で算出してもよい。この具体例においては、色相値の局
所的変化に基づいてアクティビティ値を算出している。
もちろん、輝度等のこの他の画像特性の局所的な変化を
用いて、アクティビティ値を算出してもよい。ここで、
特に色相を用いる利点は、光の環境変化がアクティビテ
ィ値に与える影響を小さくできるという点である。さら
に、動きベクトルを用いてアクティビティ値を算出して
もよい。

【００５９】「アクティビティ値」算出ユニット３６０
は、ビデオ画像に関連するオーディオ信号のアクティビ
ティレベルを算出する。「アクティビティ値」算出ユニ
ット３６０は、音声検出ユニット３１０により生成され
た特徴ベクトルを用いて、通常の音声のアクティビティ
の時間的シーケンスを識別し、音声の停止（pauses）を
識別し、音声を無音状態及び背景雑音から区別する処理
を実行する。音声アクティビティの高さを識別するため
に、音量を使用することもできる。音量に基づく音声ア
クティビティ情報は、特に、スポーツイベントのビデオ
情報における重要なセクションの識別に有用である。ス
ポーツイベントでは、観衆の反応により、興味のレベル
を測定することができる。

【００６０】サブショットセグメント化モジュール３７
０は、特徴ベクトルデータ３５５における色相画像特性
を用いて、サブショットセグメント化処理を実行する。
サブショットセグメント化処理は、連続する画像の色相
ヒストグラム間の要素毎の差を算出し、これらの差を組
み合わせて差を表す単一の値を生成することにより実行
される。シーンの変更位置は、この差を表す単一の値が
所定の閾値以上である画像の位置を特定することにより
示される。

【００６１】同様に、例えばシーンに新たな役者が登場
する等の映像の主題の変更は、与えられた画像の色相ヒ
ストグラムと、先行する１秒間のビデオ映像における平
均色相値を表す色相ヒストグラムとの間の差を示す単一
の値を算出することにより検出することができる。

【００６２】変化検出ユニット３８０は、例えば、特定
のメトリックの現在の値と、通常再生速度において、先
行する（例えば）１秒間の平均値とを比較することによ
り、アクティビティ算出ユニット３６０及びサブショッ
トセグメント化ユニット３７０の出力における変化を検
出する。

【００６３】上述のように、色相ヒストグラム統計ユニ
ット３５０は、色相ヒストグラムデータの変化を検出す
る。これらの変化を検出することにより、ビデオシーケ
ンスにおいて、フレーム間で変化が少ない期間に比べ
て、より重要であると認識され、又はより高い情報性を
有するコンテンツを含む部分を検出することができる。

【００６４】図３〜図５の説明は、メタデータの導出が
カメラ及び独立した処理装置間で分離されて実行される
システムを前提としているが、メタデータの導出処理
は、単一の装置内で行ってもよく、あるいは、上述とは
ことなる手法で複数の装置に分けて実行してもよいこと
は、当業者にとって明らかである。

【００６５】図６（図６（ａ）〜図６（ｉ））は、ビデ
オシーケンスの具体例における情報レベルの変化を示す
グラフである。

【００６６】図６（ａ）は、左から右に時間が流れるビ
デオシーケンスを示している。

【００６７】図６（ｂ）は、アクティビティ算出ユニッ
ト３６０により求められるビデオシーケンス内のアクテ
ィビティ値を示している。図６（ｃ）は、変化検出ユニ
ット３８０により検出されるアクティビティ値の変化を
示している。

【００６８】図６（ｄ）は、音声検出ユニット３１０に
より検出される音声の存在の可能性を示す音声検出フラ
グを示している。図６（ｅ）は、変化検出ユニット３８
０により検出される音声検出フラグにおける変化を示し
ている。

【００６９】図６（ｆ）は、色相ヒストグラム統計ユニ
ット３５０により検出される、色相ヒストグラムデータ
（この具体例では、差を表す単一の値ｄｉｆｆ_Ｆ）の時
間的変化を示している。

【００７０】図６（ｇ）は、顔検出ユニット３２０によ
り検出される顔フラグデータを示している。図６（ｈ）
は、変化検出ユニット３８０により検出される顔フラグ
データの変化を示している。

【００７１】この具体例においては、変化データ（図６
（ｃ）、（ｅ）、（ｆ）、（ｈ））が情報コンテンツを
表すとみなし、これによりシャトル又はジョグ動作を制
御する。すなわち、変化が互いに近い位置で発生してい
るオーディオ／ビデオマテリアルの部分は遅く再生さ
れ、変化がまばらに分散されている部分は、より速く再
生される。

【００７２】再生速度は、例えば、単位時間あたりの情
報「イベント」の数がｎ個となるように設定することが
できる。ここで、イベントとは、上述した情報値の少な
くとも１つの閾値以上の変化と定義することができる。
また、「単位時間」は、シャトルホイール６０の回転角
度に反比例する値と定義でき、すなわち、シャトルホイ
ール６０が大きく回転する程、「単位時間」は短くな
る。

【００７３】これに代えて、シャトルホイール６０の回
転に応じて、再生情報の性質を変化させてもよい。例え
ば、シャトルホイール６０の回転角度が小さい場合、よ
り小さな閾値を超える情報コンテンツを有する情報イベ
ントを再生する。一方、シャトルホイール６０の回転角
度を大きくすると、閾値も大きくなり、最大の回転角度
では、最も重要なイベントのみが再生される。これによ
り、ビデオ再生装置の動作に特定の柔軟性を与えること
ができる。

【００７４】情報イベントが発生するフレームを表示す
るのに加えて、情報再生装置は、このフレームの前後の
ｍ個のフレーム、又は後続するｍ個のフレームを表示す
るようにしてもよい。ここで、ｍは、再生された情報が
次のシーンに移動するまでに、そのシーンをユーザが十
分に理解するのに十分な値となるよう選択される。

【図面の簡単な説明】

【図１】本発明に基づくビデオ再生装置の第１の具体例
を示す図である。

【図２】本発明に基づくビデオ再生装置の第２の具体例
を示す図である。

【図３】ダウンストリームオーディオ／ビデオ処理シス
テムの構成を示す図である。

【図４】ビデオカメラ及びメタストアを示す図である。

【図５】特徴ベクトル抽出モジュール及びメタデータ抽
出モジュールの構成を示す図である。

【図６】図６（ａ）〜図６（ｂ）は、ビデオシーケンス
の具体例における情報レベルの変化を説明する図であ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マクグラス、ジョン、マーク イギリス国 ケーティー13 ０エックスダ ブリュー サリー ウエィブリッジ ブル ックランズ ザ ハイツ（番地なし） ソ ニー ユナイテッド キングダム リミテ ッド内 (72)発明者 キッド、アンドリュー イギリス国 ケーティー13 ０エックスダ ブリュー サリー ウエィブリッジ ブル ックランズ ザ ハイツ（番地なし） ソ ニー ユナイテッド キングダム リミテ ッド内 (72)発明者 ソープ、ジョナサン イギリス国 ケーティー13 ０エックスダ ブリュー サリー ウエィブリッジ ブル ックランズ ザ ハイツ（番地なし） ソ ニー ユナイテッド キングダム リミテ ッド内 Ｆターム(参考） 5C053 FA14 FA23 FA27 GB11 JA01 KA24 LA01 5D044 AB05 AB07 DE49 FG23 GK12 HL14 5L096 AA02 FA35 GA40 GA41

Claims (16)

【特許請求の範囲】
1. 【請求項１】 ビデオマテリアルを記録するビデオマテ
   リアル記録手段と、上記ビデオマテリアルの情報コンテ
   ンツを定義する関連付けられた情報データに基づいて、
   上記ビデオマテリアル記録手段に記録されたビデオマテ
   リアルの再生を制御する再生制御手段とを備えるビデオ
   再生装置。
2. 【請求項２】 上記情報データは、ビデオマテリアル内
   の情報イベントを定義し、上記再生制御手段は、表示シ
   ーケンスにおいて、情報イベントが所定のレートで現れ
   るように上記ビデオマテリアルを再生することを特徴と
   する請求項１記載のビデオ再生装置。
3. 【請求項３】 ユーザ操作子を備え、上記再生制御手段
   は、ユーザ操作子の操作に応じて、上記ビデオマテリア
   ル内の情報イベントを定義する情報コンテンツの閾値を
   変更することを特徴とする請求項２記載のビデオ再生装
   置。
4. 【請求項４】 ユーザ操作子を備え、上記情報イベント
   のレートは、該ユーザ操作子により決定されることを特
   徴とする請求項２記載のビデオ再生装置。
5. 【請求項５】 上記ビデオマテリアルの情報コンテンツ
   を定義する情報データは、上記ビデオマテリアル内の人
   間の顔の存在を定義するデータを含むことを特徴とする
   請求項１乃至４いずれか１項記載のビデオ再生装置。
6. 【請求項６】 上記ビデオマテリアルの情報コンテンツ
   を定義する情報データは、該ビデオマテリアルに関連付
   けられたオーディオマテリアル内の音声の存在を定義す
   るデータを含むことを特徴とする請求項１乃至５いずれ
   か１項記載のビデオ再生装置。
7. 【請求項７】 上記ビデオマテリアルの情報コンテンツ
   を定義する情報データは、上記ビデオマテリアル内の画
   像アクティビティを定義するデータを含むことを特徴と
   する請求項１乃至６いずれか１項記載のビデオ再生装
   置。
8. 【請求項８】 上記ビデオマテリアルの情報コンテンツ
   を定義する情報データは、上記ビデオマテリアル内の色
   のコンテンツを定義するデータを含むことを特徴とする
   請求項１乃至７いずれか１項記載のビデオ再生装置。
9. 【請求項９】 上記ビデオマテリアル及び／又は関連付
   けられたオーディオマテリアルを分析して上記情報デー
   タを導出する情報コンテンツ分析手段を備える請求項１
   乃至８いずれか１項記載のビデオ再生装置。
10. 【請求項１０】 記録されたビデオマテリアルを再生す
    るビデオ再生方法において、上記ビデオマテリアルの情
    報コンテンツを定義する関連付けられた情報データに基
    づいて、上記ビデオマテリアル記録手段に記録されたビ
    デオマテリアルの再生を制御するステップを有するビデ
    オ再生方法。
11. 【請求項１１】 添付の図面を用いて実質的に以下に説
    明するビデオ再生方法。
12. 【請求項１２】 請求項１０又は１１記載のビデオ再生
    方法を実行するプログラムコードを有するコンピュータ
    ソフトウェア。
13. 【請求項１３】 請求項１２記載のコンピュータソフト
    ウェアを提供するデータ提供媒体。
14. 【請求項１４】 上記データ提供媒体は、伝送媒体であ
    ることを特徴とする請求項１３記載のデータ提供媒体。
15. 【請求項１５】 上記データ提供媒体は、記録媒体であ
    ることを特徴とする請求項１３記載のデータ提供媒体。
16. 【請求項１６】 添付の図面を用いて実質的に以下に説
    明するビデオ再生装置。