JP2002281432A - 動画像検索閲覧装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 タイムコード列を用いて動画像からリアルタ
イムでサムネイルを抽出することにより、予めサムネイ
ル情報を作成・保存しておかなくても、フレーム単位・
秒単位の高精度なサムネイル検索閲覧を行えるようにす
ること。 【解決手段】 蓄積装置に蓄積された映像ファイルから
検索情報（カット点検索情報、ニュースなどのテロップ
による検索情報、オーディオ分類情報等）を用いて、ブ
ラウズ表示に必要な時刻のサムネイル情報をリアルタイ
ムに抽出し、フレーム単位・秒単位の高精度なサムネイ
ル検索閲覧、およびその時刻を再生開始点・終了点とし
て指定することによる高精度な区間再生を、サムネイル
情報保存用の蓄積装置を用意することなく実現可能な動
画像検索閲覧装置を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像検索閲覧装置
および記録媒体に関し、特にＭＰＥＧなどのデジタル動
画像の検索閲覧装置および記録媒体に関する。

【０００２】

【従来の技術】映像を検索閲覧する第１の例であるロー
カル型の映像閲覧検索装置を図３０を参照して説明す
る。図３０において、動画像コンテンツ蓄積装置502に
は、あらかじめ動画像コンテンツが蓄積されている。検
索情報蓄積装置 501には、該蓄積された動画像からカッ
ト点などの検索情報をあらかじめ検出して保存してお
く。また、該カット点などのタイムコードに対応するJP
EGファイルなどの閲覧用サムネイル静止画像も抽出して
検索情報蓄積装置 501に保存しておく。

【０００３】検索・再生コマンド入力部507から映像フ
ァイル名を指定して検索開始コマンドが入力されると、
制御部504から検索開始タイムコードと閲覧用サムネイ
ルのリトリーブ個数の情報が検索部503に出力される。
検索部503では、入力された前記情報を元に検索情報蓄
積装置501から対応するサムネイル列を取り出して制御
部504経由で検索結果閲覧表示部506にブラウズ表示す
る。

【０００４】映像再生に関しては、例えばユーザが、検
索結果閲覧表示部506のブラウズ表示上で、映像の再生
を開始したいタイムコードおよび終了したいタイムコー
ドを指示する。そうすると、該再生開始・終了タイムコ
ードならびに映像ファイル名と共に再生コマンドが、検
索・再生コマンド入力部507経由で制御部504に入力す
る。次いで、これらの情報は、映像再生部505に伝えら
れる。該映像再生部505は、動画像コンテンツ蓄積装置5
02から指定された映像コンテンツの指定された区間のデ
ータを抽出して映像表示部508に送り、該映像表示部508
において再生開始点から終了点までの区間再生を行う。

【０００５】次に、映像を検索閲覧する第２の従来例で
あるサーバ・クライアント型を図３１を用いて詳述す
る。図３１において、動画像コンテンツ蓄積装置512に
は、あらかじめ動画像コンテンツが蓄積されている。蓄
積された動画像からカット点などの検索情報をあらかじ
め検出し検索情報蓄積装置 511に保存しておく。また、
該カット点などのタイムコードに対応するＪＰＥＧファ
イルなどの閲覧用サムネイル静止画像も抽出して検索情
報蓄積装置 511に保存しておく。

【０００６】クライアントの検索・再生コマンド入力部
519から映像ファイル名を指定してネットワーク517およ
びWWWServer 516経由で検索開始コマンドが制御部514に
入力されると、検索開始タイムコードと閲覧用サムネイ
ルのリトリーブ個数が検索部513に出力される。検索部5
13は、入力された情報を基に、検索情報蓄積装置511か
ら対応するサムネイル列を取り出して、制御部514、WWW
Server 516およびネットワーク517を経由して検索結果
閲覧表示部518に送出する。該検索結果閲覧表示部518に
は、該サムネイル列がブラウズ表示される。

【０００７】映像再生に関しては、例えばユーザが検索
結果閲覧表示部518のブラウズ表示上で、映像の再生を
開始したいタイムコードおよび終了したいタイムコード
を指示する。そうすると、検索・再生コマンド入力部51
9から、ネットワーク517を経由してビデオサーバ515
に、該再生開始・終了タイムコードならびに映像ファイ
ル名と共に再生コマンドが渡される。そして、ビデオサ
ーバ515は、指定された映像コンテンツの指定された区
間のデータを動画像コンテンツ蓄積装置512から抽出し
てネットワーク517経由で映像表示部520に伝送する。こ
の結果、指定された映像コンテンツの再生開始点から終
了点までの区間再生が行われる。

【０００８】

【発明が解決しようとする課題】前記した第１、第２の
従来例では、予め、カット点などの映像検索情報から特
定のサムネイル情報しか生成しないため、複合的にフレ
ーム単位・秒単位のサムネイル検索閲覧、およびその時
刻を再生開始点・終了点として指定することによる区間
再生を行うことはできなかった。本課題を解決する為に
あらかじめすべてのフレームに対応したサムネイルを生
成しておく方法も考えられるが、その場合サムネイルの
トータルの情報量がオリジナルの動画像の情報量よりも
大きくなってしまい、動画像のみを蓄積する場合に比
べ、2倍以上の蓄積容量を必要としてしまい、かつ全サ
ムネイルを抽出する為の処理時間も必要としてしまう問
題点がある。

【０００９】さらに第１、２の従来例のように、サムネ
イル検索閲覧に用いられる検索情報としてカット点検索
情報を用いた例はあるが、ニュースなどのテロップによ
る検索情報、オーディオ分類情報を用いたサムネイル検
索閲覧および再生開始点・終了点指定の区間再生は実施
された例がない。

【００１０】本発明の目的は、前記した従来技術の問題
点を解消し、蓄積装置に蓄積された映像ファイルから検
索情報を用いてブラウズ表示に必要な時刻のサムネイル
情報をリアルタイムに抽出し、サムネイル情報保存用の
蓄積装置を用意することなく実現可能な動画像検索閲覧
装置、及びリアルタイムサムネイル抽出制御のための制
御プログラムを記録したコンピュータ読み取り可能な記
録媒体を提供することにある。

【００１１】また、他の目的は、サムネイル検索閲覧に
用いられる検索情報としてカット点検索情報以外に、ニ
ュースなどのテロップによる検索情報ならびにオーディ
オ分類情報を用いたサムネイル検索閲覧および再生開始
点・終了点指定の区間再生を可能にした動画像検索閲覧
装置、およびカット点検索情報・テロップによる検索情
報・オーディオ分類による検索情報を複合的に用いた検
索閲覧を実現するための検索閲覧制御プログラムを記録
した記録媒体を提供することにある。

【００１２】

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、MPEG等のデジタル動画像コンテンツ
を、検索閲覧する動画像検索閲覧装置であって、動画像
コンテンツの時間方向の検索を行う時間方向検索手段
と、前記時間方向検索手段の検索結果に基づいて、前記
動画像コンテンツからリアルタイムでサムネイルを抽出
するサムネイル抽出手段と、前記サムネイル抽出手段で
抽出されたサムネイルを用いて検索結果を閲覧表示する
検索結果閲覧表示手段とを備えた点に第１の特徴があ
る。

【００１３】この特徴によれば、予めサムネイル情報を
作成・保存しておかなくても、動画像コンテンツからリ
アルタイムにサムネイルを抽出し、該抽出したサムネイ
ルを用いて、フレーム単位・秒単位の高精度なサムネイ
ル検索閲覧を行えるようになる。

【００１４】また、本発明は、前記動画像コンテンツが
WWWサーバに蓄積されており、前記時間方向検索手段お
よび前記サムネイル抽出手段が、該WWWサーバに設けら
れるようにした点に第２の特徴がある。また、WWWブラ
ウザからネットワークを介して前記WWWサーバに接続し
て、動画像検索処理を該WWWサーバで行い、該WWWブラウ
ザでは、検索条件の指定および検索結果の閲覧表示を行
うようにした点に第３の特徴がある。

【００１５】これらの特徴によれば、前記サムネイル検
索閲覧処理をローカルホストだけでなく、ネットワーク
上で動画像データを共有した状態で行うことが可能にな
る。

【００１６】さらに、本発明は、与えられたタイムコー
ド列を基に、動画像コンテンツから、リアルタイムでサ
ムネイルを抽出するサムネイル抽出処理プログラムを記
録したコンピュータ読み取り可能な記録媒体を提供する
点に第４の特徴がある。

【００１７】この特徴によれば、該記録媒体に記録され
たプログラムをパソコン等のコンピュータに読み込ませ
ることにより、本発明をコンピュータ上で実現すること
ができるようになる。

【００１８】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の一実施形態の概略
の構成を示すブロック図である。

【００１９】この第1実施形態は、カット点検索情報ま
たはフレーム単位・秒単位のタイムコード列を用いて動
画像からリアルタイムでサムネイルを抽出することによ
り、フレーム単位・秒単位の高精度なサムネイル検索閲
覧を行うことができ、およびその時刻を再生開始／終了
点として指定することにより高精度な区間再生を、全サ
ムネイル情報保存用の追加蓄積装置を用意することな
く、ローカルホスト上で行うことができるようにしたも
のである。

【００２０】図１において、動画像蓄積装置12には、あ
らかじめ動画像コンテンツが蓄積されている。蓄積され
た動画像からシーンの切れ目を示すタイムコード等であ
るカット点検索情報をあらかじめ検出し、検索情報蓄積
装置 11に保存しておく。ここで、カット点検索情報に
含まれるタイムコードに対応したＪＰＥＧファイルなど
の閲覧用サムネイルは、従来装置のように抽出する必要
も、保存する必要もない。

【００２１】カット点検索情報の検索手法に関しては、
例えば本出願人による、「動画像のカット点検出装置
特開平１１−２５２５０９号公報」に記載の方法を用い
ることができる。カット点の検索情報の記述に関して
は、図２に記載されているように、カット点と検出され
たタイムコードが時系列順に並んでいるカット点タイム
コード列（C1, C2, C3, …）20を用いる。

【００２２】図１の検索・再生コマンド入力部18から映
像ファイル名を指定してカット点検索開始コマンドが入
力されると、制御部15からカット点検索開始タイムコー
ドとカット点閲覧用サムネイルのリトリーブ個数が検索
部13に出力される。検索部13は、入力された情報を基に
検索情報蓄積装置11に保存されているカット点検索情報
から、閲覧すべきサムネイルに対応するカット点閲覧タ
イムコード列を取得し、制御部１５に送出する。制御部
15は、得られたカット点閲覧タイムコード列をサムネイ
ル抽出部14に渡し、該サムネイル抽出部14から対応する
サムネイル列を取り出して、制御部15経由で検索結果閲
覧表示部17にカット点検索結果としてブラウズ表示す
る。

【００２３】カット点位置もしくは任意位置から時間方
向にさらに細かな内容を検索閲覧する場合には、該詳細
検索閲覧開始位置のタイムコードと、フレーム単位・秒
単位などの時間方向の表示精度、ならびに閲覧用サムネ
イルのリトリーブ個数を、検索・再生コマンド入力部１
８から制御部15に入力する。制御部15は、得られた情報
から一定時間間隔での閲覧タイムコード列を生成した
後、該閲覧タイムコード列をサムネイル抽出部14に渡
し、対応するサムネイル列を取り出して制御部15経由で
検索結果閲覧表示部17に、一定時間間隔での検索結果と
してブラウズ表示する。

【００２４】映像の区間再生に関しては、検索結果閲覧
表示部17のブラウズ表示上で、映像の再生を開始したい
タイムコードおよび終了したいタイムコードが指示され
る。そうすると、フレーム精度の再生開始・終了タイム
コードならびに映像ファイル名の情報を含む再生開始コ
マンドの情報が、検索・再生コマンド入力部18から制御
部15に入力される。これらの情報は、制御部15から映像
再生部16に渡り、該映像再生部16は、動画像コンテンツ
蓄積装置12から、指定された映像コンテンツの指定され
た区間のデータを抽出して映像表示部19において再生開
始点から終了点までの区間再生を行う。これによりフレ
ーム精度でのローカル区間再生が可能となる。

【００２５】ここで、サムネイル抽出部14の動作を、図
３ならびに図４の概念図を用いて詳述する。該サムネイ
ル抽出部14は、動画像部分デコード部２２、キャッシュ
２３、およびサムネイル生成部２４から構成されてい
る。リクエストタイムコードおよびサムネイルのリトリ
ーブ個数が制御部15に入力されると、該制御部15は、対
応するサムネイルがキャッシュ23に存在しているかを確
認し、存在すればキャッシュ23からスイッチ部２６を経
て出力する。存在しなければ、映像蓄積装置１２中の動
画像ファイル20からスイッチ部２５を経てデータを読み
出し、動画像部分デコード部22にて必要なフレームのみ
部分デコードした後、サムネイル生成部24にてＪＰＥＧ
などのサムネイルを生成する。生成されたサムネイルは
スイッチ部２６を経て出力されると同時に、キャッシュ
23に一時保存される。なお、このサムネイル抽出処理は
プログラムで実現でき、このプログラムはコンピュータ
読み取り可能な記録媒体に記録することができる。

【００２６】動画像の圧縮形式がＭＰＥＧの場合は、Ｍ
ＰＥＧのフレーム構造は、図４に示す通り、イントラフ
レーム符号化のＩピクチャと、インターフレーム符号化
のＰ及びＢピクチャから構成されるため、リクエストさ
れるタイムコードが、インターフレーム符号化部分を指
している場合、先行する１フレーム以上のフレームもデ
コードする必要がある。そのため、同じフレームのデコ
ード処理がオーバーラップする可能性があり処理効率が
落ちる。これを回避するために、動画像の部分デコード
最小単位をＧＯＰ（Group Of Pictures）とし、リクエ
ストタイムコードを含むＧＯＰ内の全フレームをデコー
ドし、リクエストタイムコードのサムネイルを出力する
と同時にキャッシュ23に保存する。これにより、次のリ
クエストタイムコードが前回のそれと時間的に近い場合
にはキャッシュされたサムネイルの2次利用の確率が高
くなり処理スピード向上を図ることができる。

【００２７】サムネイル抽出部14において、リクエスト
されるタイムコードと、動画像内のフレームタイムコー
ドと、抽出されるサムネイルのタイムコードとのマッピ
ングに関して、図５を用いて詳述する。閲覧すべきサム
ネイルのカット点もしくはフレーム単位などの一定時間
間隔のリクエストタイムコード列（R1、R2、R3、R4、・
・・）27は、リクエストタイムコードが時系列順に並ん
でおり、これら情報から対応する適切なサムネイル列
（Th(R1)、Th(R2)、Th(R3)、Th(R4)、・・・）を抽出す
る。

【００２８】ｍ番目のリクエストタイムコードRm[秒]に
対応するサムネイルTh(Rm)の決定の仕方は、下記の
（１）式を満たすｔnをｍ番目のリクエストタイムコー
ドに対応するサムネイルの取り出し時刻とすることによ
り行う。すなわち、カット点サムネイル抽出の場合に
は、ｍ番目のカット点タイムコードCm[秒]をリクエスト
タイムコードRm[秒]としてその出力サムネイル Th(Rm)
には、下記の（２）式の通り、ｔn [秒]のタイムコー
ドを持つ動画像フレームから生成されたサムネイルTh
(ｔn) を用いる。

【００２９】ここで、ｔnは、動画像シーケンス28の中
に含まれるフレームのタイムコード列（t1、t2、t3、・
・・、tk）29の中のｎ番目のフレームタイムコードを示
す。例えば、NTSC映像信号の場合、ｔnは下記の（３）
式のようになる。 ｔn ≦ Rm ＜ ｔn+1 [秒]・・・（１） Th(Rm) = Th(ｔn) ・・・（２） ｔn = (1/29.97) × ｎ [秒] （ｎ=0,1,2,・・・） ・・・（３）

【００３０】MPEG形式で圧縮された動画像コンテンツか
らサムネイル抽出を行う場合には、圧縮方式の性質上、
時刻ｔnに相当するフレームが含まれるGOP（Group Of P
ictures）の先頭フレームからデコードして該当するサ
ムネイルを抽出する必要がある。

【００３１】次に、前記検索結果閲覧表示部１７（図１
参照）のブラウジング表示例および再生表示例について
説明する。カット点検索閲覧のブラウジング表示例を図
６に示す。カット点タイムコード列（Cn, Cn+1, Cn+2,
Cn+3, Cn+4）30が表示されると同時にカット点サムネイ
ル列（Th(Cn), Th(Cn+1), Th(Cn+2), Th(Cn+3), Th(Cn+
4)）31がそれに同期して表示される。左スキップボタン
32を押すと、現在表示されているタイムコード列の時間
的に１スパン前のタイムコード列（Cn-5, Cn-4, Cn-3,
Cn-2, Cn-1）およびカット点サムネイル列（Th(Cn-5),
Th(Cn-4), Th(Cn-3), Th(Cn-2), Th(Cn-1)）が表示され
る。同様に右スキップボタン33を押すと、現在表示され
ているタイムコード列の時間的に１スパン後のタイムコ
ード列（Cn+5, Cn+6, Cn+7, Cn+8, Cn+9）およびカット
点サムネイル列（Th(Cn+5), Th(Cn+6), Th(Cn+7), Th(C
n+8), Th(Cn+9)）が表示される。

【００３２】フレーム単位の検索閲覧のブラウジング表
示例を図７に示す。フレーム単位のタイムコード列（F
n, Fn+1, Fn+2, Fn+3, Fn+4）34が表示されると同時に
フレーム単位サムネイル列（Th(Fn), Th(Fn+1), Th(Fn+
2), Th(Fn+3), Th(Fn+4)）35がそれに同期して表示され
る。左スキップボタン36を押すと、現在表示されている
タイムコード列の時間的に１スパン前のタイムコード列
（Fn-5, Fn-4, Fn-3, Fn-2, Fn-1）およびカット点サム
ネイル列（Th(Fn-5), Th(Fn-4), Th(Fn-3), Th(Fn-2),
Th(Fn-1)）が表示される。同様に右スキップボタン37を
押すと、現在表示されているタイムコード列の時間的に
１スパン後のタイムコード列（Fn+5, Fn+6, Fn+7, Fn+
8, Fn+9）およびカット点サムネイル列（Th(Fn+5), Th
(Fn+6), Th(Fn+7), Th(Fn+8), Th(Fn+9)）が表示され
る。フレーム単位のタイムコードによるブラウジング表
示は、フレーム単位のタイムコードをGOP単位、１秒単
位、５秒単位などの時間的に等間隔な値に変更すれば、
様々な時間精度での等間隔ブラウジング表示が可能とな
る。

【００３３】また、図８「カット点タイムコードとフレ
ーム単位タイムコードの関係」に示されているように、
カット点検索閲覧におけるブラウジング表示とフレーム
単位などの等間隔ブラウジング表示を組み合わせること
によって、カット点ブラウジング表示で大まかな時間位
置を特定し、その場所からフレーム単位ブラウジング表
示により細かく表示するという応用も可能である。

【００３４】カット点ブラウザおよびフレーム単位ブラ
ウザを単体もしくは複合的に用いた検索閲覧再生画面例
を図９に示す。

【００３５】カット点ブラウザ38は図６で説明したのと
同じ動作をする。該カット点ブラウザ38は大まかな内容
把握をするのに適し、再生開始・終了位置を指定するこ
とが可能となっている。カット点ブラウザ38上である時
間位置のサムネイルを選択した状態で、再生開始時刻点
ボタン42を押すことにより、再生開始点表示エリア41に
そのタイムコードを表示すると同時に、再生開始時刻点
ボタン42上に対応するサムネイルを表示する。同様に再
生終了時刻点ボタン44を押すことにより、再生終了点表
示エリア43にそのタイムコードを表示すると同時に、再
生終了時刻点ボタン44上に対応するサムネイルを表示す
る。次に再生開始ボタン45を押すことにより、指定した
開始点から終了点までのカット点指定による区間再生を
再生表示画面46上で開始する。再生開始・終了位置を指
定せずに再生開始ボタン45を押した場合には、動画像コ
ンテンツの先頭から最後までの全区間、カット点指定に
よる再生を行う。

【００３６】フレーム単位ブラウザ39は図７で説明した
のと同じ動作をする。ブラウジング間隔設定メニュー40
を開くと、フレーム単位、GOP（通常約0.5秒）単位、１
秒単位、５秒単位などの表示時間間隔が表示され、この
表示を選択することにより表示時間間隔が変更可能とな
っている。以後該フレーム単位ブラウザ39はフレーム単
位ブラウジング機能も含めた意味で、等間隔ブラウザと
呼ぶ。

【００３７】カット点ブラウザ38においてあるサムネイ
ルを選択すると、等間隔ブラウザ３９上では、その時刻
からの等間隔ブラウズ表示を行い、時間方向の細かな内
容把握をするとともに再生開始・終了位置を指定可能と
なっている。等間隔ブラウザ39上である時間位置のサム
ネイルを選択した状態で、再生開始時刻点ボタン42を押
すことにより、再生開始点表示エリア41にそのタイムコ
ードを表示すると同時に、再生開始時刻点ボタン42上に
対応するサムネイルを表示する。同様に再生終了時刻点
ボタン44を押すことにより、再生終了点表示エリア43に
そのタイムコードを表示すると同時に、再生終了時刻点
ボタン44上に対応するサムネイルを表示する。次に再生
開始ボタン45を押すことにより、フレーム精度で指定し
た開始点から終了点までの区間再生を再生表示画面46上
で開始する。再生開始・終了位置を指定せずに再生開始
ボタン45を押した場合には、動画像コンテンツの先頭か
ら最後までの全区間再生を行う。

【００３８】以上のように、本実施形態によれば、カッ
ト点ブラウザ３８では大まかなサムネイル検索閲覧を行
うことができ、等間隔ブラウザ３９上ではフレーム単位
・秒単位の高精度なサムネイル検索閲覧を行うことがで
き、および前記ブラウザ３９上で、その時刻を再生開始
／終了点として指定することにより高精度な区間再生を
行うことができるようになる。

【００３９】次に、本発明の第２の実施形態を説明す
る。この実施形態は、第１の実施形態で説明したカット
点検索情報の替わりにテロップ検索情報を用いてサムネ
イル検索閲覧をできるようにすると共に、その時刻を再
生開始／終了点として指定することにより高度な区間再
生をローカルホスト上で行うことができるようにしたも
のである。

【００４０】図１０において、検索情報蓄積装置 47以
外は、図１と同じ構成であり、また同じ動作をする。

【００４１】動画像蓄積装置12にあらかじめ蓄積された
動画像から、ニュースなどのテロップシーンの始まる時
刻を記述したテロップ検索情報を予め検出し、検索情報
蓄積装置 47に保存しておく。ここで、テロップ検索情
報に記述されている各テロップ開始点タイムコードに対
応するJPEGファイルなどの閲覧用サムネイルは、抽出す
る必要も保存する必要もない。テロップの検索手法に関
しては、例えば本出願人による特許出願「動画像内のテ
ロップ領域検出装置 特願２０００−２４８７９４」に
記載の方法を用いることができる。

【００４２】テロップ検索情報の記述に関しては、図１
１に記載されているように、カット点検索情報記述（図
２参照）と同様にテロップが出現するシーンの始まりを
示すタイムコードが時系列順に並んでいるテロップ開始
点タイムコード列（T1, T2,T3, …）48を用いる。

【００４３】検索・再生コマンド入力部18から映像ファ
イル名を指定してテロップ検索開始コマンドが入力され
ると、制御部15は、テロップ検索開始タイムコードとテ
ロップ開始点閲覧用サムネイルのリトリーブ個数を検索
部13に出力する。検索部13は、入力された情報を基に検
索情報蓄積装置47に保存されているテロップ検索情報か
ら、閲覧すべきサムネイルに対応するテロップ開始点閲
覧タイムコード列を取得する。制御部15は、得られたテ
ロップ開始点閲覧タイムコード列をサムネイル抽出部14
に渡し、対応するサムネイル列を取り出して制御部15経
由で検索結果閲覧表示部17にテロップ開始点検索結果と
してブラウズ表示する。

【００４４】テロップ開始点位置もしくは任意位置から
時間方向にさらに細かな内容を検索閲覧する方法ならび
に映像の区間再生の方法は、前記第１実施形態と同様で
ある。

【００４５】サムネイル抽出部14における、リクエスト
されるタイムコードと、動画像内のフレームタイムコー
ドと、抽出されるサムネイルのタイムコードとのマッピ
ングは、前記第１実施形態と同様に、図５のリクエスト
タイムコード列（R1、R2、R3、R4、・・・）27に図１１
のテロップ開始点タイムコード列（T1, T2, T3, …）48
を代入することにより行われる。

【００４６】テロップ検索閲覧のブラウジング表示例を
図１２に示す。テロップ開始点タイムコード列（Tn, Tn
+1, Tn+2, Tn+3, Tn+4）49が表示されると同時にテロッ
プ開始点サムネイル列（Th(Tn), Th(Tn+1), Th(Tn+2),
Th(Tn+3), Th(Tn+4)）50がそれに同期して表示される。
左スキップボタン51を押すと、現在表示されているタイ
ムコード列の時間的に１スパン前のタイムコード列（Tn
-5, Tn-4, Tn-3, Tn-2, Tn-1）およびテロップ開始点サ
ムネイル列（Th(Tn-5), Th(Tn-4), Th(Tn-3),Th(Tn-2),
Th(Tn-1)）が表示される。同様に右スキップボタン52
を押すと、現在表示されているタイムコード列の時間的
に１スパン後のタイムコード列（Tn+5,Tn+6, Tn+7, Tn+
8, Tn+9）およびテロップ開始点サムネイル列（Th(Tn+
5), Th(Tn+6), Th(Tn+7), Th(Tn+8), Th(Tn+9)）が表示
される。

【００４７】また、図１３の「テロップ開始点タイムコ
ードとフレーム単位タイムコードの関係」に示されてい
るように、テロップ検索閲覧におけるブラウジング表示
と、第１実施形態で述べたフレーム単位などの等間隔ブ
ラウジング表示（図７参照）とを組み合わせることによ
って、テロップ開始点ブラウジング表示で大まかな時間
位置（例えば各ニュース項目の先頭）を特定し、その場
所からフレーム単位ブラウジング表示により細かく表示
するという応用も可能である。

【００４８】テロップ検索閲覧ブラウザおよびフレーム
単位ブラウザを単体もしくは複合的に用いた検索閲覧再
生画面例を図１４に示す。

【００４９】テロップ検索閲覧ブラウザ53は図１２で説
明した動作と同じである。テロップ検索閲覧ブラウザ53
は、場面の切り替わるシーンの先頭でテロップが出現す
る確率の高いニュース映像等において、各項目の頭だし
をすると共に、再生開始・終了位置を指定可能となって
いる。テロップ検索閲覧ブラウザ53上である時間位置の
サムネイルを選択した状態で、再生開始時刻点ボタン42
を押すことにより、再生開始点表示エリア41にそのタイ
ムコードを表示すると同時に、再生開始時刻点ボタン42
上に対応するサムネイルを表示する。同様に再生終了時
刻点ボタン44を押すことにより、再生終了点表示エリア
43にそのタイムコードを表示すると同時に、再生終了時
刻点ボタン44上に対応するサムネイルを表示する。次に
再生開始ボタン45を押すことにより、指定した開始点か
ら終了点までのテロップ開始点指定による区間再生を再
生表示画面46上で開始する。再生開始位置のみを指定し
て、再生開始ボタン45を押した場合には、指定した開始
点からコンテンツの最後までの区間再生を行う。再生開
始・終了位置を指定せずに再生開始ボタン45を押した場
合には、動画像コンテンツの先頭から最後までの全区間
再生を行う。

【００５０】フレーム単位表示などを行う等間隔ブラウ
ザ39の動作は第１実施形態と同様の動作をする。

【００５１】次に、本発明の第３の実施形態を説明す
る。この実施形態は、第１実施形態で説明したカット点
検索情報の替わりに、オーディオ分類情報を用いてサム
ネイル検索閲覧ができるようにすると共に、その時刻を
再生開始／終了点として指定することにより高度な区間
再生をローカルホスト上で行うことができるようにした
ものである。

【００５２】図１５において、検索情報蓄積装置 54、
検索部55、制御部56、検索結果閲覧表示部57以外は、第
１実施形態の図１と同じ動作をする。 動画像蓄積装置
12にあらかじめ蓄積された動画像からオーディオが音声
・音楽・歓声雑音・無音のどの分類に属するかのオーデ
ィオ分類情報をあらかじめ検出し、検索情報蓄積装置54
に保存しておく。ここで、オーディオ分類情報に記述さ
れている分類点タイムコードに対応したJPEGファイルな
どの閲覧用サムネイルは、抽出する必要も保存する必要
もない。オーディオ分類の分類手法に関しては、例えば
本出願人による特許出願「オーディオ情報分類装置 特
開２０００−６６６９１」に記載の方法を用いることが
できる。

【００５３】オーディオ分類情報に関しては、図１６に
記載されているように、オーディオを「音声」「音楽」
「歓声雑音」「無音」に分類したオーディオ分類情報列
（A1:AC1, A2:AC2, A3:AC3,・・・）58を用いる。ここ
で、Anはｎ番目のオーディオ分類点タイムコードを表
し、ACnはｎ番目のオーディオ分類点におけるオーディ
オ分類種別を表す。

【００５４】検索・再生コマンド入力部18から映像ファ
イル名を指定してオーディオ分類開始コマンドが入力さ
れると、制御部56からオーディオ分類開始タイムコード
とオーディオ分類点閲覧用サムネイルのリトリーブ個数
が検索部55に出力され、検索部55では入力された情報を
基に検索情報蓄積装置54に保存されているオーディオ分
類情報から閲覧すべきサムネイルに対応するオーディオ
分類点閲覧タイムコード列（An, An+1, An+3,・・・）
と各タイムコード列に対応したオーディオ分類種別列
（ACn+1, ACn+2, ACn+3,・・・）を取得する。制御部56
では、得られたオーディオ分類点閲覧タイムコード列
（An, An+1, An+3,・・・）をサムネイル抽出部14に渡
し、対応するサムネイル列（Th(An), Th(An+1), Th(An+
3), ・・・）を取り出して制御部56においてオーディオ
分類種別コード列（ACn+1, ACn+2, ACn+3,・・・）とと
もに検索結果閲覧表示部57にオーディオ分類点検索結果
としてブラウズ表示する。オーディオ分類点位置もしく
は任意位置から時間方向にさらに細かな内容を検索閲覧
する方法ならびに映像の区間再生の方法に関しては、前
記第１実施形態と同様である。

【００５５】サムネイル抽出部14における、リクエスト
されるタイムコードと、動画像内のフレームタイムコー
ドと、抽出されるサムネイルのタイムコードとのマッピ
ングに関しては、第１実施形態と同様に、図５のリクエ
ストタイムコード列（R1、R2、R3、R4、・・・）27に図
１６のオーディオ分類点のタイムコード列（A1, A2,A3,
…）58を代入することにより行われる。

【００５６】オーディオ分類閲覧のブラウジング表示例
を図１７に示す。オーディオ分類点タイムコード列（A
n, An+1, An+2, An+3, An+4）59が表示されると同時に
オーディオ分類点サムネイル列（Th(An), Th(An+1), Th
(An+2), Th(An+3), Th(An+4)）60、ならびにオーディオ
種別列（ACn, ACn+1, ACn+2, ACn+3, ACn+4）61がそれ
に同期して表示される。左スキップボタン62を押すと、
現在表示されているタイムコード列の時間的に１スパン
前のタイムコード列（An-5, An-4, An-3, An-2,An-
1）、オーディオ分類点サムネイル列（Th(An-5), Th(An
-4), Th(An-3), Th(An-2), Th(An-1)）、およびオーデ
ィオ分類種別列（ACn-5, ACn-4, ACn-3, ACn-2, ACn-
1）が表示される。同様に右スキップボタン63を押す
と、現在表示されているタイムコード列の時間的に１ス
パン後のタイムコード列（An+5, An+6, An+7, An+8, An
+9）、オーディオ分類点サムネイル列（Th(An+5), Th(A
n+6), Th(An+7), Th(An+8), Th(An+9)）、およびオーデ
ィオ分類種別列（ACn+5, ACn+6, ACn+7, ACn+8, ACn+
9）が表示される。

【００５７】また、前記第１実施形態で述べたフレーム
単位検索閲覧ブラウジングにおいて、図１８の「オーデ
ィオ分類種別点タイムコードとフレーム単位タイムコー
ドの関係」が示すように、オーディオ分類閲覧における
ブラウジング表示とフレーム単位などの等間隔ブラウジ
ング表示を組み合わせることによって、オーディオ分類
点ブラウジング表示で大まかな時間位置（例えば、司会
者の音声からミュージシャンの演奏への切り替わり点）
を特定し、その場所からフレーム単位ブラウジング表示
により細かく表示するという応用も可能である。

【００５８】オーディオ分類閲覧ブラウザおよびフレー
ム単位ブラウザを単体もしくは複合的に用いた検索閲覧
再生画面例を図１９に示す。

【００５９】オーディオ分類閲覧ブラウザ64は図１７で
説明したのと同じ動作となり、音声分類によるシーンの
切り替わり点をサムネイルとオーディオ分類種別で表示
すると共にに、再生開始・終了位置を指定可能となって
いる。オーディオ分類閲覧ブラウザ64上である時間位置
のサムネイルを選択した状態で、再生開始時刻点ボタン
42を押すことにより、再生開始点表示エリア41にそのタ
イムコードを表示すると同時に、再生開始時刻点ボタン
42上に対応するサムネイルを表示する。同様に再生終了
時刻点ボタン44を押すことにより、再生終了点表示エリ
ア43にそのタイムコードを表示すると同時に、再生終了
時刻点ボタン44上に対応するサムネイルを表示する。次
に再生開始ボタン45を押すことにより、指定した開始点
から終了点までのオーディオ分類種別切り替わり点指定
による区間再生を再生表示画面46上で開始する。再生開
始位置のみを指定して、再生開始ボタン45を押した場合
には、指定した開始点からコンテンツの最後までの区間
再生を行う。再生開始・終了位置を指定せずに再生開始
ボタン45を押した場合には、動画像コンテンツの先頭か
ら最後までの全区間再生を行う。

【００６０】フレーム単位表示などを行う等間隔ブラウ
ザ39は前記第１実施形態と同様の動作をするので、説明
を省略する。

【００６１】本発明の第４の実施形態は、前記第１の実
施形態で説明したカット点検索情報と第３の実施形態で
説明したオーディオ分類情報とを複合的に用いてサムネ
イル検索閲覧、およびその時刻を再生開始／終了点とし
て指定することによる高度な区間再生をローカルホスト
上で行うようにしたものである。

【００６２】図２０において、検索情報蓄積装置 65、
検索部66、制御部67、および検索結果閲覧表示部68以外
は、図１と同じ動作をする。検索情報蓄積装置 65に
は、カット点検索情報、およびオーディオ分類情報が含
まれている。検索部66、制御部67、および検索結果閲覧
表示部68は、第１実施形態および第３実施形態で述べた
各部の全ての機能を包含している。

【００６３】カット点ブラウザとオーディオ分類閲覧ブ
ラウザの複合ブラウジング表示例を図２１に示す。図２
１において、カット点タイムコード列30およびカット点
サムネイル列31は、図６と同じ動作をする。カット点タ
イムコード列（Cn, Cn+1, Cn+2, Cn+3, Cn+4）30および
カット点サムネイル列（Th(Cn), Th(Cn+1), Th(Cn+2),
Th(Cn+3), Th(Cn+4)）31とともに、カット点タイムコー
ド列に対応した、オーディオ分類種別列（AC(Cn), AC(C
n+1), AC(Cn+2), AC(Cn+3), AC(Cn+4)）65が同期して表
示される。左スキップボタン32を押すと、現在表示され
ているタイムコード列の時間的に１スパン前のタイムコ
ード列（Cn-5, Cn-4, Cn-3, Cn-2, Cn-1）、カット点サ
ムネイル列（Th(Cn-5), Th(Cn-4), Th(Cn-3), Th(Cn-
2), Th(Cn-1)）、およびオーディオ分類種別列（AC(Cn-
5), AC(Cn-4), AC(Cn-3), AC(Cn-2), AC(Cn-1)）が表示
される。同様に右スキップボタン33を押すと、現在表示
されているタイムコード列の時間的に１スパン後のタイ
ムコード列（Cn+5, Cn+6, Cn+7, Cn+8, Cn+9）、カット
点サムネイル列（Th(Cn+5), Th(Cn+6), Th(Cn+7), Th(C
n+8), Th(Cn+9)）、およびオーディオ分類種別列（AC(C
n+5), AC(Cn+6), AC(Cn+7), AC(Cn+8), AC(Cn+9)）が表
示される。ここで、カット点時刻Cnにおけるオーディオ
分類種別AC(Cn)の取得方法は、下記の（４）式を満たす
ｍ（ｍ番目のオーディオ分類点）を用いて、下記の
（５）式のようにACm（m番目のオーディオ分類種別）と
なる。 Am ≦ Cn ＜ Am+1 ・・・（４） AC(Cn) = ACm ・・・（５）

【００６４】カット点ブラウザ、オーディオ分類閲覧ブ
ラウザ、およびフレーム単位ブラウザを複合的に用いた
検索閲覧再生画面例を図２２に示す。カット点検索・オ
ーディオ分類複合閲覧ブラウザ66は図２１で説明したの
と同じ動作となり、カット点によるシーンの切り替わり
点をサムネイルとオーディオ分類種別で表示するととも
に再生開始・終了位置を指定可能となっている。カット
点・オーディオ分類複合閲覧ブラウザ66上である時間位
置のサムネイルを選択した状態で、再生開始時刻点ボタ
ン42を押すことにより、再生開始点表示エリア41にその
タイムコードを表示すると同時に、再生開始時刻点ボタ
ン42上に対応するサムネイルを表示する。同様に再生終
了時刻点ボタン44を押すことにより、再生終了点表示エ
リア43にそのタイムコードを表示すると同時に、再生終
了時刻点ボタン44上に対応するサムネイルを表示する。
次に再生開始ボタン45を押すことにより、指定した開始
点から終了点までのカット点指定による区間再生を再生
表示画面46上で開始する。再生開始位置のみを指定し
て、再生開始ボタン45を押した場合には、指定した開始
点からコンテンツの最後までの区間再生を行う。再生開
始・終了位置を指定せずに再生開始ボタン45を押した場
合には、動画像コンテンツの先頭から最後までの全区間
再生を行う。

【００６５】フレーム単位表示などを行う等間隔ブラウ
ザ39は第１実施形態と同様の動作をするので説明は省略
する。

【００６６】本発明の第５の実施形態は、前記第２の実
施形態で説明したテロップ検索情報と第３の実施形態で
説明したオーディオ分類情報とを複合的に用いて、サム
ネイル検索閲覧、およびその時刻を再生開始／終了点と
して指定することにより、高度な区間再生をローカルホ
スト上で行うようにしたものである。

【００６７】図２３において、検索情報蓄積装置 67、
検索部68、制御部69、および検索結果閲覧表示部70以外
は、図１０と同じ動作をする。検索情報蓄積装置 67に
は、テロップ検索情報、およびオーディオ分類情報が含
まれている。検索部68、制御部69、および検索結果閲覧
表示部70は、前記第２実施形態および第３実施形態で述
べた各部の全ての機能を包含している。

【００６８】テロップ検索閲覧ブラウザとオーディオ分
類閲覧ブラウザの複合ブラウジング表示例を図２４に示
す。図２４にいて、テロップ開始点タイムコード列49お
よびテロップ開始点サムネイル列50は、図１２と同じ動
作をする。テロップ開始点タイムコード列（Tn, Tn+1,
Tn+2, Tn+3, Tn+4）49およびテロップ開始点サムネイル
列（Th(Tn), Th(Tn+1), Th(Tn+2), Th(Tn+3), Th(Tn+
4)）50とともに、テロップ開始点タイムコード列に対応
した、オーディオ分類種別列（AC(Tn), AC(Tn+1), AC(T
n+2), AC(Tn+3), AC(Tn+4)）71が同期して表示される。
左スキップボタン51を押すと、現在表示されているタイ
ムコード列の時間的に１スパン前のタイムコード列（Tn
-5, Tn-4, Tn-3, Tn-2, Tn-1）、テロップ開始点サムネ
イル列（Th(Tn-5), Th(Tn-4), Th(Tn-3), Th(Tn-2), Th
(Tn-1)）、およびオーディオ分類種別列（AC(Tn-5), AC
(Tn-4), AC(Tn-3), AC(Tn-2), AC(Tn-1)）が表示され
る。同様に右スキップボタン52を押すと、現在表示され
ているタイムコード列の時間的に１スパン後のタイムコ
ード列（Tn+5, Tn+6, Tn+7, Tn+8, Tn+9）、テロップ開
始点サムネイル列（Th(Tn+5), Th(Tn+6), Th(Tn+7), Th
(Tn+8), Th(Tn+9)）、およびオーディオ分類種別列（AC
(Tn+5), AC(Tn+6), AC(Tn+7), AC(Tn+8), AC(Tn+9)）が
表示される。ここで、テロップ開始点時刻Tnにおけるオ
ーディオ分類種別AC(Tn)の取得方法は、第４の実施形態
と同様に、下記の（６）式を満たすm（m番目のオーディ
オ分類点）を用いて、下記の（７）式のようにACm（m番
目のオーディオ分類種別）となる。 Am ≦ Tn ＜ Am+1 ・・・（６） AC(Tn) = ACm ・・・（７）

【００６９】テロップ検索閲覧ブラウザ、オーディオ分
類閲覧ブラウザ、およびフレーム単位ブラウザを複合的
に用いた検索閲覧再生画面例を図２５に示す。

【００７０】テロップ検索・オーディオ分類複合閲覧ブ
ラウザ72は前記図２４と同じ動作となり、テロップ開始
点によるニュースなどのシーン切り替わり点をサムネイ
ルとオーディオ分類種別で表示するとともに再生開始・
終了位置を指定可能となっている。テロップ検索・オー
ディオ分類複合閲覧ブラウザ72上である時間位置のサム
ネイルを選択した状態で、再生開始時刻点ボタン42を押
すことにより、再生開始点表示エリア41にそのタイムコ
ードを表示すると同時に、再生開始時刻点ボタン42上に
対応するサムネイルを表示する。同様に再生終了時刻点
ボタン44を押すことにより、再生終了点表示エリア43に
そのタイムコードを表示すると同時に、再生終了時刻点
ボタン44上に対応するサムネイルを表示する。次に再生
開始ボタン45を押すことにより、指定した開始点から終
了点までのテロップ開始点指定による区間再生を再生表
示画面46上で開始する。再生開始位置のみを指定して、
再生開始ボタン45を押した場合には、指定した開始点か
らコンテンツの最後までの区間再生を行う。再生開始・
終了位置を指定せずに再生開始ボタン45を押した場合に
は、動画像コンテンツの先頭から最後までの全区間再生
を行う。

【００７１】フレーム単位表示などを行う等間隔ブラウ
ザ39は第１実施形態と同様の動作をするので、説明を省
略する。

【００７２】第６の実施形態は、前記第１の実施形態で
説明したカット点検索情報と、第２の実施形態で説明し
たテロップ検索情報と、第３の実施形態で説明したオー
ディオ分類情報と、を複合的に用いてサムネイル検索閲
覧、およびその時刻を再生開始／終了点として指定する
ことによる高度な区間再生をローカルホスト上で行うよ
うにしたものである。

【００７３】図２６において、検索情報蓄積装置 73、
検索部74、制御部75、および検索結果閲覧表示部76以外
は、図１と同じ動作をする。検索情報蓄積装置 73に
は、カット点検索情報、テロップ検索情報、およびオー
ディオ分類情報が含まれている。検索部74、制御部75、
および検索結果閲覧表示部76は、前記第１実施形態、第
２実施形態、および第３実施形態で述べた各部の全ての
機能を包含している。

【００７４】カット点検索閲覧ブラウザ、テロップ検索
閲覧ブラウザ、オーディオ分類閲覧ブラウザ、およびフ
レーム単位ブラウザを複合的に用いた検索閲覧再生画面
例を図２７に示す。

【００７５】カット点検索・テロップ検索・オーディオ
分類複合閲覧ブラウザ77は、検索閲覧方法選択メニュー
79において、検索閲覧方法（カット点検索、テロップ検
索、オーディオ分類閲覧）を選択することにより、内部
のブラウジング表示部78の動作、左スキップボタン80の
動作、および右スキップボタン81の動作が変化する。

【００７６】各検索閲覧方法における内部のブラウジン
グ表示部の動作は、カット点検索に関しては、図２１と
同様であり、テロップ検索に関しては、図２４と同様で
あり、オーディオ分類閲覧に関しては、図１７と同様で
ある。

【００７７】カット点検索・テロップ検索・オーディオ
分類複合閲覧ブラウザ77上である時間位置のサムネイル
を選択した状態で、再生開始時刻点ボタン42を押すこと
により、再生開始点表示エリア41にそのタイムコードを
表示すると同時に、再生開始時刻点ボタン42上に対応す
るサムネイルを表示する。再生開始点のフレーム単位の
微調整には、フレームスキップボタン82,83を用いる。
再生開始点指定と同様に再生終了時刻点ボタン44を押す
ことにより、再生終了点表示エリア43にそのタイムコー
ドを表示すると同時に、再生終了時刻点ボタン44上に対
応するサムネイルを表示する。再生終了点のフレーム単
位の微調整には、フレームスキップボタン84,85を用い
る。次に再生開始ボタン45を押すことにより、指定した
開始点から終了点までのカット点指定・テロップ開始点
指定・オーディオ分類種別切り替わり点指定による区間
再生を再生表示画面46上で開始する。再生開始位置のみ
を指定して、再生開始ボタン45を押した場合には、指定
した開始点からコンテンツの最後までの区間再生を行
う。再生開始・終了位置を指定せずに再生開始ボタン45
を押した場合には、動画像コンテンツの先頭から最後ま
での全区間再生を行う。編集区間追加ボタン86は、編集
区間の追加の動作をする。

【００７８】フレーム単位表示などを行う等間隔ブラウ
ザ39は、前記第１実施形態と同様の動作をするので、説
明を省略する。

【００７９】本発明の第７の実施形態は、第１〜第６の
実施形態で説明したカット点検索・テロップ検索・オー
ディオ分類・フレーム単位検索を用いたサムネイル検索
閲覧、およびその時刻を再生開始／終了点として指定す
ることによる高度な区間再生を、ネットワーク上のサー
バ・クライアントの構成に適用したものである。

【００８０】図２８において、動画像蓄積装置88には、
あらかじめ動画像コンテンツが蓄積されている。蓄積さ
れた動画像からカット点検索情報、テロップ検索情報、
または、オーディオ分類情報などの各種検索情報をあら
かじめ検出し検索情報蓄積装置 87に保存しておく。こ
こで、各種検索情報に含まれるタイムコードに対応した
JPEGファイルなどの閲覧用サムネイルは、抽出する必要
も保存する必要もない。各種検索分類情報の記述に関し
ては、第１〜第６実施形態と同様である。

【００８１】クライアント側ＷＷＷブラウザ上の検索・
再生コマンド入力部98から映像ファイル名を指定して各
種検索開始コマンドがネットワーク95およびWWWサーバ
93経由で制御部92に入力されると、制御部92から各種検
索分類開始タイムコードと各種検索分類閲覧用サムネイ
ルのリトリーブ個数が検索部89に出力され、検索部89で
は入力された情報を基に検索情報蓄積装置87に保存され
ている各種検索情報から、閲覧すべきサムネイルに対応
する閲覧用タイムコード列を取得する。制御部92では、
得られた閲覧用タイムコード列をサムネイル抽出部90に
渡し、対応するサムネイル列を取り出して制御部92、WW
Wサーバ 93、およびネットワーク95経由でＷＷＷブラウ
ザ96上の検索結果閲覧表示部97に各種検索分類結果とし
てブラウズ表示する。

【００８２】各種検索分類点位置もしくは任意位置から
時間方向にさらに細かな内容を検索分類閲覧する場合に
は、該詳細検索分類閲覧開始位置のタイムコードとフレ
ーム単位・秒単位などの時間方向の表示精度ならびに閲
覧用サムネイルのリトリーブ個数を、ＷＷＷブラウザ96
上の検索・再生コマンド入力部98からネットワーク95お
よびWWWServer 93経由で制御部92に入力する。制御部92
では、得られた情報から一定時間間隔での閲覧タイムコ
ード列を生成した後、閲覧タイムコード列をサムネイル
抽出部90に渡し、対応するサムネイル列を取り出して制
御部92、WWWサーバ 93、およびネットワーク95経由で検
索結果閲覧表示部97に渡し、一定時間間隔での検索結果
としてブラウズ表示する。

【００８３】映像の区間再生に関しては、ＷＷＷブラウ
ザ上の検索結果閲覧表示部97のブラウズ表示において、
映像の再生を開始したいタイムコードおよび終了したい
タイムコードを取得し、ＷＷＷブラウザ96上の検索・再
生コマンド入力部98から、再生開始・終了タイムコード
ならびに映像ファイル名の情報を含む再生開始コマンド
をネットワーク95経由でビデオサーバ94に入力する。そ
うすると、ビデオサーバ94は動画像コンテンツ蓄積装置
88から、指定された映像コンテンツのフレーム精度で指
定された区間のデータを抽出してネットワーク95経由で
ＷＷＷブラウザ96上の映像再生表示部99に向けて送出す
る。この時、抽出した動画像データの伝送帯域が出力ネ
ットワークの伝送帯域を上回っている場合には、ビット
レート変換ゲートウェイ91においてネットワーク伝送帯
域に適合するようビットレート変換を行ったのちネット
ワーク出力する。ここで、動画像のビットレート変換手
法に関しては、例えば本出願人による特許出願「画像符
号化データのレート変換方法及び装置 特開平8-251587
号公報 」に記載の方法を用いることができる。映像再
生表示部99では、受信したデータを順次再生することに
より、再生開始点から終了点までのフレーム精度の区間
再生を行う。

【００８４】実際にシステムとして実装する場合の例を
以下に示す。制御部92および検索部89は、WWWサーバ93
経由でWWWブラウザ96とのインターラクティブなオペレ
ーションにダイナミックに適用可能なASP（Active Serv
er Page、JavaScriptのようなスクリプト言語）で実装
し、ATL（Active Template Library）などのASPから呼
び出し可能なライブラリモジュールで実装したサムネイ
ル抽出部90を制御部92のASPから制御する。検索情報蓄
積装置87は、高速検索に対応する為、データベースに検
索情報を蓄積し、検索部89のASPからODBC (Open Databa
se Connectivity)機能を用いてSQL形式で検索要求を出
す。映像蓄積装置88は、ビデオサーバ94やサムネイル抽
出部90からの多数同時ランダムアクセス時の性能向上を
考慮しRAID（Redundant Arrays of Inexpensive Disk
s）構成のHDDを用いる。

【００８５】以上、本発明の第１〜第７実施形態につい
て図面を参照して詳述してきたが、具体的な構成例は、
これらの第１〜第７実施形態に限られるものではなく、
本発明の要旨を逸脱しない範囲の設計変更等があっても
本発明に含まれる。

【００８６】例えば、前述した第１〜第７実施形態にお
いては、例えばサムネイル抽出プログラムを図29に示し
たコンピュータ読み取り可能な記録媒体に記録して、こ
の記録媒体300に記録されたサムネイル抽出プログラム
を同図に示したコンピュータ200に読み込ませ、実行す
るようにしてもよい。ここで、サムネイル抽出プログラ
ムは、図1、図3、図10、図15、図20、図23、図26、およ
び図28に示したサムネイル抽出部の機能を実現する為の
プログラムである。

【００８７】図29に示したコンピュータ200は、上記伝
送プログラムを実行するCPU201と、キーボード、マウス
等の入力装置202と、各種データを記憶するROM(Read On
ly Memory)203と、演算パラメータ等を記憶するRAM(Ran
dom Access Memory)204と、記憶媒体300から伝送プログ
ラムを読み取る読取装置205と、ディスプレイ、プリン
タ等の出力装置206と、装置各部を接続するバスBUSとか
ら構成されている。

【００８８】CPU201は、読取装置205を経由して記録媒
体300に記録されているサムネイル抽出プログラムを読
み込んだ後、このサムネイル抽出プログラムを実行する
ことにより、前述したサムネイル抽出処理を行う。記録
媒体300には、光ディスク、フロッピー（登録商標）デ
ィスク、ハードディスク等の可搬型の記録媒体が含まれ
ることはもとより、ネットワークのようにデータを一時
的に記録保持するような伝送媒体も含まれる。

【００８９】

【発明の効果】以上の説明から明らかなように、本発明
による映像検索閲覧装置によれば、サムネイルのリアル
タイム抽出による低リソース検索閲覧、および動画像の
各種コンテンツベースの高度かつ効率的な検索・閲覧が
可能となり、次の効果が得られる。 （１） 蓄積装置に蓄積されたＭＰＥＧなどの映像ファ
イルから検出されたカット点などの検索情報を用いてサ
ムネイル検索閲覧を行い、ブラウズ表示に必要なサムネ
イル情報をリアルタイムで抽出することにより、サムネ
イル情報をあらかじめ抽出・保存することなく該サムネ
イル検索閲覧が実現可能となる。また、フレーム単位・
秒単位の高精度なサムネイル検索閲覧が実現可能にな
る。 （２）また、前記サムネイル検索閲覧をした閲覧時刻を
再生開始点・終了点として指定することにより、高精度
な区間再生ができるという効果がある。 （３） 前記サムネイル検索閲覧に用いられる検索情報
として、カット点検索情報、ニュースなどのテロップに
よる検索情報、ならびにオーディオ分類情報を用いた多
彩なサムネイル検索閲覧をすることが可能となる。 （４）また、（３）のサムネイル検索閲覧をした時刻を
再生開始点・終了点として指定した区間再生ができると
いう効果がある。 （５） カット点検索・テロップ検索、およびオーディ
オ分類検索とフレーム単位検索などの等間隔検索を複合
的に組み合わせることにより、大まかな概要把握検索か
ら細かな時間方向検索まで階層的かつ効率的に検索閲覧
可能とする効果がある。 （６）（１）〜（５）の処理を、ローカルホストだけで
なく、ネットワーク上で、動画像データを共有した状態
で行うことを可能とする効果がある。 （７）また、記録媒体に記録されたプログラムをコンピ
ュータに読み込むことにより、本発明をパソコンなどの
コンピュータ上で実現できるようになる。

【図面の簡単な説明】

【図１】 第１実施形態の概略の構成を示すブロック図
である。

【図２】 カット点検索情報記述の説明図である。

【図３】 サムネイル抽出部の機能を説明するブロック
図である。

【図４】 ＭＰＥＧフレーム構造の説明図である。

【図５】 サムネイル抽出動作の説明図である。

【図６】 カット点検索閲覧ブラウジング表示例を示す
図である。

【図７】 フレーム単位検索閲覧ブラウジング表示例を
示す図である。

【図８】 カット点タイムコードとフレーム単位タイム
コードの関係を示す説明図である。

【図９】 第１実施形態の検索閲覧再生画面の表示例を
示す図である。

【図１０】 第２実施形態の概略の構成を示すブロック
図である。

【図１１】 テロップ検索情報記述の説明図である。

【図１２】 テロップ検索閲覧ブラウジング表示例を示
す図である。

【図１３】 テロップ開始点タイムコードとフレーム単
位タイムコードの関係を示す説明図である。

【図１４】 第２実施形態の検索閲覧再生画面の表示例
を示す図である。

【図１５】 第３実施形態の概略の構成を示すブロック
図である。

【図１６】 オーディオ分類情報記述の説明図である。

【図１７】 オーディオ分類閲覧ブラウジング表示例を
示す図である。

【図１８】 オーディオ分類点タイムコードとフレーム
単位タイムコードの関係を示す説明図である。

【図１９】 第３実施形態の検索閲覧再生画面の表示例
を示す図である。

【図２０】 第４実施形態の概略の構成を示すブロック
図である。

【図２１】 カット点ブラウザとオーディオ分類ブラウ
ザの複合表示例を示す図である。

【図２２】 第４実施形態の検索閲覧再生画面の表示例
を示す図である。

【図２３】 第５実施形態の概略の構成を示すブロック
図である。

【図２４】 テロップ検索閲覧ブラウザとオーディオ分
類ブラウザの複合表示例を示す図である。

【図２５】 第５実施形態の検索閲覧再生画面の表示例
を示す図である。

【図２６】 第６実施形態の概略の構成を示すブロック
図である。

【図２７】 第６実施形態の検索閲覧再生画面の表示例
を示す図である。

【図２８】 第７実施形態の概略の構成を示すブロック
図である。

【図２９】 本発明のプログラムが読み込まれるコンピ
ュータの概略の構成を示すブロック図である。

【図３０】 第１の従来装置の構成を示すブロック図で
ある。

【図３１】 第２の従来装置の構成を示すブロック図で
ある。

【符号の説明】

１１、４７、５４、６５、６７、７３、８７・・・検索情
報蓄積装置、１２・・・映像蓄積装置、１３・・・検索部、１
４・・・サムネイル抽出部、１５・・・制御部、１６・・・映像
再生部、１７・・・検索結果閲覧表示部、１８・・・検索・再
生コマンド入力部、１９・・・映像表示部、２２・・・動画像
部分デコード部、２３・・・キャッシュ、２４・・・サムネイ
ル生成部、３８・・・カット点ブラウザ、３９・・・等間隔ブ
ラウザ、５３・・・テロップ検索閲覧ブラウザ、６４・・・オ
ーディオ分類閲覧ブラウザ、６６・・・カット点検索・オ
ーディオ分類複合閲覧ブラウザ、７２・・・テロップ検索
・オーディオ分類複合閲覧ブラウザ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菅野 勝 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5C052 AC08 CC11 DD04 DD08 EE03 5C053 FA14 GB06 GB36 GB37 HA29 LA06 5D077 AA22 BA14 BA18 CA02 CB07 CB11 DC03 DC11 EA12 EA33 EA34 GA02 HC03 5D110 AA13 AA27 AA29 BB29 DA17 DA20 DB09 EA08 EA09 FA02 FA08 FA09

Claims (17)

【特許請求の範囲】
1. 【請求項１】 MPEG等のデジタル動画像コンテンツを、
   検索閲覧する動画像検索閲覧装置であって、 動画像コンテンツの時間方向の検索を行う時間方向検索
   手段と、 前記時間方向検索手段の検索結果に基づいて、前記動画
   像コンテンツからリアルタイムでサムネイルを抽出する
   サムネイル抽出手段と、 前記サムネイル抽出手段で抽出されたサムネイルを用い
   て検索結果を閲覧表示する検索結果閲覧表示手段とを備
   えたことを特徴とする動画像検索閲覧装置。
2. 【請求項２】 請求項１記載の動画像検索閲覧装置にお
   いて、 前記時間方向検索手段は、動画像のカット点検索情報を
   用いて時間軸上の検索開始点を指定した検索を行うこと
   を特徴とする動画像検索閲覧装置。
3. 【請求項３】 請求項２記載の動画像検索閲覧装置にお
   いて、 前記検索結果閲覧手段は、予め定められた個数のカット
   点サムネイル列と、これに対応するカット点タイムライ
   ン列とを表示することを特徴とする動画像検索閲覧装
   置。
4. 【請求項４】 請求項１記載の動画像検索閲覧装置にお
   いて、 前記時間方向検索手段は、動画像のテロップ検索情報を
   用いて時間軸上の検索開始点を指定した検索を行うこと
   を特徴とする動画像検索閲覧装置。
5. 【請求項５】 請求項４記載の動画像検索閲覧装置にお
   いて、 前記検索結果閲覧手段は、予め定められた個数のテロッ
   プ開始点サムネイル列と、これに対応するテロップ開始
   点タイムライン列とを表示することを特徴とする動画像
   検索閲覧装置。
6. 【請求項６】 請求項１記載の動画像検索閲覧装置にお
   いて、 前記時間方向検索手段は、動画像のオーディオ分類情報
   を用いて時間軸上の検索開始点を指定した検索を行うこ
   とを特徴とする動画像検索閲覧装置。
7. 【請求項７】 請求項６記載の動画像検索閲覧装置にお
   いて、 前記検索結果閲覧手段は、予め定められた個数のオーデ
   ィオ分類種別列、オーディオ分類点サムネイル列、およ
   びこれらに対応するオーディオ分類点タイムコード列と
   を表示することを特徴とする動画像検索閲覧装置。
8. 【請求項８】 請求項１ないし７のいずれかに記載の動
   画像検索閲覧装置において、 前記時間方向検索手段は、動画像の時間軸上の検索開始
   点を指定して、フレーム単位、１秒単位などの一定時間
   間隔で検索することを特徴とする動画像検索閲覧装置。
9. 【請求項９】 請求項２ないし７のいずれかに記載の動
   画像検索閲覧装置において、 前記検索結果閲覧表示手段の画面上で指定された時間位
   置を新たな検索開始点として、さらに細かく、フレーム
   単位、１秒単位などの一定時間間隔で検索する手段をさ
   らに備えたことを特徴とする動画像検索閲覧装置。
10. 【請求項１０】 請求項９記載の動画像検索閲覧装置に
    おいて、 前記検索結果閲覧手段は、予め定められた個数のフレー
    ム単位サムネイル列と、これに対応するフレーム単位タ
    イムライン列とを表示することを特徴とする動画像検索
    閲覧装置。
11. 【請求項１１】 請求項１ないし１０のいずれかに記載
    の動画像検索閲覧装置において、 前記サムネイル抽出手段で抽出されたサムネイルを記憶
    するサムネイル用キャッシュメモリをさらに具備し、 同一サムネイルは、該キャッシュメモリから読み出すこ
    とにより、該同一サムネイルの抽出処理を軽減すること
    を特徴とする動画像検索閲覧装置。
12. 【請求項１２】 請求項１１記載の動画像検索閲覧装置
    において、 前記サムネイル用キャッシュメモリは、MPEG圧縮コンテ
    ンツから検索結果閲覧用サムネイルを抽出する場合、抽
    出すべきサムネイルに相当するフレームを含むGOP（Gro
    up Of Pictures）をフルデコードして保存することによ
    り、同一GOPに含まれる別フレームのデコード処理を省
    略できるようにしたことを特徴とする動画像検索閲覧装
    置。
13. 【請求項１３】 請求項１ないし１２のいずれかに記載
    の動画像検索閲覧装置において、 前記動画像コンテンツがWWWサーバに蓄積されており、
    前記時間方向検索手段および前記サムネイル抽出手段
    が、該WWWサーバに設けられることを特徴とする動画像
    検索閲覧装置。
14. 【請求項１４】 請求項１３の動画像検索閲覧装置にお
    いて、 WWWブラウザからネットワークを介して前記WWWサーバに
    接続して、動画像検索処理を該WWWサーバで行い、該WWW
    ブラウザでは、検索条件の指定および検索結果の閲覧表
    示を行うようにしたことを特徴とする動画像検索閲覧装
    置。
15. 【請求項１５】 請求項１３または１４記載の動画像検
    索閲覧装置において、 動画像コンテンツの区間再生を行う際に、出力ネットワ
    ーク帯域がインターネットのように動画像コンテンツの
    伝送帯域に比べて狭い場合、ネットワークの帯域に合わ
    せて動画像コンテンツのビットレートを変換して出力す
    ることを特徴とする動画像検索閲覧装置。
16. 【請求項１６】 与えられたタイムコード列を基に、動
    画像コンテンツから、リアルタイムでサムネイルを抽出
    するサムネイル抽出処理プログラムを記録したコンピュ
    ータ読み取り可能な記録媒体。
17. 【請求項１７】 請求項１２に記載のコンピュータ読み
    取り可能な記録媒体において、 前記サムネイル抽出処理プログラムは、与えられたタイ
    ムコード列を基に、動画像をデコードする処理と、該デ
    コードされた画像からサムネイルを生成する処理とを含
    むことを特徴とするコンピュータ読み取り可能な記録媒
    体。