JP2009032039A - 検索装置および検索方法 - Google Patents

Abstract

【課題】ユーザが所望の音声付き画像を容易に検索することができるようにする。
【解決手段】判定部１７４は、音声付き動画像の音声の特徴量が、所定の閾値を超えるまたは下回るという検索条件を満たすかどうかを判定する。算出部１７５は、特徴量が条件を満たすと判定された場合、その特徴量と閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出する。選択部は、その評価値に基づいて、音声に対応する音声付き画像の画像を表示させる。本発明は、例えば、カムコーダに適用することができる。
【選択図】図８

Description

本発明は、検索装置および検索方法に関し、特に、ユーザが所望の音声付き画像を容易に検索することができるようにした検索装置および検索方法に関する。

近年、HDD（Hard Disk Drive）を内蔵するビデオカメラなどの、長時間撮影が可能なカムコーダ（登録商標）が発売されている。

図１は、このようなカムコーダのうちの記録を行う記録ブロック１０の構成の一例を示している。

図１の記録ブロック１０は、撮像部１１、A/D（Analog/Digital）変換部１２、符号化部１３、マイク１４、A/D変換部１５、符号化部１６、MUX（マルチプレクサ）１７、I/F（Interface）１８、ディスク１９、タイミング制御部２０、インデックス生成部２１、および管理部２２により構成される。記録ブロック１０は、カムコーダの動作モードが撮影モードである場合、被写体の動画像を撮像するとともに周囲の音声を取得し、音声付き動画像をディスク１９に記録する。

具体的には、撮像部１１は、被写体を撮像し、その結果得られるアナログ信号である画像信号をA/D変換部１２に供給する。A/D変換部１２は、撮像部１１から供給される画像信号に対してA/D変換を行い、その結果得られるディジタル信号である画像データを符号化部１３に供給する。符号化部１３は、タイミング制御部２０から供給されるタイミング信号に応じて、MPEG2（Moving Picture Experts Group phase 2）などの所定の符号化方式で、A/D変換部１２から供給される画像データを符号化する。そして、符号化部１３は、符号化後の画像データをMUX１７に供給する。

マイク１４は、周囲の音声のアナログ信号である音声信号を取得し、その音声信号をA/D変換部１５に供給する。A/D変換部１５は、マイク１４から供給される音声信号に対してA/D変換を行い、その結果得られるディジタル信号である音声データを符号化部１６に供給する。符号化部１６は、タイミング制御部２０から供給されるタイミング信号に応じて、ドルビーデジタル（Dolby Digital（商標））などの所定の符号化方式で、A/D変換部１５から供給される音声データを符号化する。そして、符号化部１６は、符号化後の音声データをMUX１７に供給する。

MUX１７は、符号化部１３から供給される映像データと、符号化部１６から供給される音声データを多重化して、プログラムストリームを生成する。そして、MUX１７は、プログラムストリームをI/F１８に供給する。

I/F１８は、MUX１７から供給されるプログラムストリームを、内蔵するバッファ（図示せず）にバッファリングする。また、I/F１８は、バッファリングしたプログラムストリームを、DVD(Digital Versatile Disc)、HDDなどよりなるディスク１９に記録する。さらに、I/F１８は、ディスク１９上のプログラムストリームの記録位置などの、プログラムストリームの記録に関する情報である記録情報を、管理部２２に供給する。

また、I/F１８は、管理部２２から供給される、再生時またはインデックス送り時に目印となるインデックスの情報であるインデックス情報を、ディスク１９に記録させる。

タイミング制御部２０は、記録ブロック１０を制御するためのタイミング信号を生成する。具体的には、タイミング制御部２０は、符号化の開始を指示するタイミング信号を、符号化部１３と符号化部１６に供給する。また、タイミング制御部２０は、所定のタイミングで、インデックス生成部２１に、インデックス情報の生成を指示するタイミング信号を供給する。

なお、インデックス情報の生成を指示するタイミング信号は、例えば、ユーザにより音声付き動画像の記録の開始が指示されたときに供給され、それ以降、記録の終了が指示されるまで一定の時間間隔で供給される。

インデックス生成部２１は、タイミング制御部２０から供給されるタイミング信号に応じて、いま記録されているプログラムストリームのチャプタの番号、チャプタ内でのPTSなどの情報を含むインデックス情報を生成し、管理部２２に供給する。なお、チャプタとは、記録が開始されてから、その記録が終了されるまでに記録されるプログラムストリームである。

管理部２２は、インデックス生成部２１から供給されるインデックス情報に、I/F１８から供給される記録情報を含める。そして、管理部２２は、その結果得られるインデックス情報をI/F１８に供給する。

また、図２は、上述したカムコーダのうちの再生を行う再生ブロック４０の構成の一例を示している。

図２の再生ブロック４０は、ディスク４１、I/F４２、DEMUX（デマルチプレクサ）４３、復号部４４、VI（Visual Index）画像生成部４５、セレクタ４６、D/A変換部４７、画像出力部４８、復号部４９、D/A変換部５０、音声出力部５１、管理部５２、選択部５３、および操作入力部５４により構成される。再生ブロック４０は、カムコーダの動作モードが再生モードである場合、ディスク４１に記録されている、音声付き動画像のプログラムストリームを再生する。

なお、ディスク４１には、図１のディスク１９と同様に、記録ブロック１０により、音声付き動画像のプログラムストリームとインデックス情報が記録されている。

具体的には、I/F４２は、選択部５３から供給される記録位置と再生の指令に基づいて、その記録位置からプログラムストリームの読み出しを開始し、読み出したプログラムストリームをDEMUX４３に供給する。また、I/F４２は、選択部５３から供給される記録位置と、インデックス画面の表示の指令に基づいて、その記録位置に記録されているプログラムストリームの先頭に最も近いＩピクチャのプログラムストリームをディスク４１から読み出し、DEMUX４３に供給する。

さらに、I/F４２は、ディスク４１からインデックス情報を読み出し、内蔵するバッファ（図示せず）に記憶する。また、I/F４２は、内蔵するバッファに記憶したインデックス情報を管理部５２に供給する。

DEMUX４３は、I/F４２から供給されるプログラムストリームを分離する。DEMUX４３は、その結果得られる画像データを復号部４４に供給し、音声データを復号部４９に供給する。

復号部４４は、DEMUX４３から供給される画像データを、MPEG2などの所定の方式に準拠して復号し、その結果得られる画像データをVI画像生成部４５とセレクタ４６に供給する。VI画像生成部４５は、操作入力部５４から供給されるVI画像の生成の指令に応じて、復号部４４から供給されるＩピクチャの画像データに対して縮小処理を行う。

即ち、操作入力部５４からVI画像の生成の指令が供給されるとき、後述するように、選択部５３は、記録位置とインデックス画面の表示の指令をI/F４２に供給し、I/F４２は、ディスク４１からIピクチャのプログラムストリームのみを読み出す。従って、そのIピクチャのプログラムストリームがDEMUX４３と復号部４４を介してVI画像生成部４５に供給され、VI画像生成部４５は、そのIピクチャの画像データに対して縮小処理を行う。

また、VI画像生成部４５は、縮小処理により生成された、Iピクチャの画像データを縮小した画像データを、VI画像の画像データとして、VI画像を並べたインデックス画面の画像データ（以下、インデックス画像データという）を生成する。そして、VI画像生成部４５は、インデックス画像データをセレクタ４６に供給する。

セレクタ４６は、操作入力部５４から供給されるVI画像の生成の指令に応じて、VI画像生成部４５から供給されるインデックス画像データと、復号部４４から供給される復号後の画像データのいずれか一方を選択する。セレクタ４６は、その選択したインデックス画像データまたは復号後の画像データを、D/A変換部４７に供給する。

D/A変換部４７は、セレクタ４６から供給されるインデックス画像データまたは復号後の画像データに対して、D/A変換を行う。D/A変換部４７は、その結果得られるアナログ信号である画像信号を、画像出力部４８に供給する。

画像出力部４８は、例えば、図示せぬテレビジョン受像機のビデオ入力端子などに接続される。画像出力部４８は、D/A変換部４７から供給される画像信号を出力することにより、テレビジョン受像機などの外部の機器に、インデックス画面または音声付き動画像の画像を表示させる。

復号部４９は、DEMUX４３から供給される音声データを、ドルビーデジタルなどの所定の方式に準拠して復号する。復号部４９は、その結果得られる音声データをD/A変換部５０に供給する。D/A変換部５０は、復号部４９から供給される音声データに対してD/A変換を行い、その結果得られるアナログ信号である音声信号を音声出力部５１に供給する。

音声出力部５１は、例えば、図示せぬテレビジョン受像機のオーディオ入力端子などに接続される。音声出力部５１は、D/A変換部５０から供給される音声信号を出力することにより、テレビジョン受像機などの外部の機器に音声付き動画像の音声を出力させる。

管理部５２は、I/F４２から供給されるインデックス情報を解析し、各チャプタの開始点のインデックスに対応する音声付き動画像のプログラムストリームの記録位置を選択部５３に供給する。

選択部５３は、操作入力部５４から供給される、所定のチャプタからの音声付き動画像の再生の指令に応じて、そのチャプタの開始点のインデックスに対応する記録位置を、管理部５２から供給される各チャプタの開始点のインデックスに対応する記録位置から選択する。そして、選択部５３は、その記録位置と再生の指令をI/F４２に供給する。

また、選択部５３は、操作入力部５４から供給されるインデックス画面の表示の指令に応じて、インデックス画面に並べるVI画像に対応するチャプタの開始点のインデックスを選択する。選択部５３は、管理部５２から供給される各チャプタの開始点のインデックスに対応する記録位置から、選択したインデックスに対応する記録位置を選択する。そして、選択部５３は、その記録位置と、インデックス画面の表示の指令をI/F４２に供給する。

操作入力部５４は、所定のチャプタからの音声付き動画像の再生を指令するためのユーザの操作に応じて、そのチャプタからの音声付き動画像の再生の指令を選択部５３に供給する。具体的には、ユーザは、インデックス画面に並べられたVI画像を見ながら、操作入力部５４を操作して所望のVI画像を選択することにより、そのVI画像に対応するチャプタからの音声付き動画像の再生を指令する。操作入力部５４は、その操作に応じて、ユーザにより選択されたVI画像に対応するチャプタからの音声付き動画像の再生を指令する。

また、操作入力部５４は、インデックス画面の表示を指令するためのユーザの操作に応じて、インデックス画面の表示の指令を選択部５３に供給するとともに、VI画像の生成の指令をVI画像生成部４５とセレクタ４６に供給する。

ところで、上述したカムコーダにおいて、ユーザが、チャプタ内のシーンの内容を把握したり、チャプタから必要なシーンを検索するためには、チャプタの全区間を再生して見直す必要がある。従って、チャプタ内のシーンの内容の把握や検索には、撮影に要した時間と同等の時間がかかり、長時間の撮影が行われた場合大変な労力が必要とされる。

ユーザがチャプタを早送り再生して見直すことも考えられるが、この場合には、ユーザは早送りによって飛ばされたシーンを見落すことがある。また、早送り再生を行うと音声を聞き取ることができないので、ユーザは、音声によって所望のシーンを検索することができない。

また、従来、画像や音声などのコンテンツの特徴量を抽出して記録媒体に記録し、その特徴量を参照して検索を行う記録再生装置が考案されている（例えば、特許文献１参照）。

特開２００５−１４１８７１号

しかしながら、ユーザが、所望の音声付き画像を容易に検索することができるように、音声付き画像を提示する方法については考えられていなかった。

本発明は、このような状況に鑑みてなされたものであり、ユーザが所望の音声付き画像を容易に検索することができるようにするものである。

本発明の一側面の検索装置は、音声付き画像を検索する検索装置において、前記音声付き画像の音声の特徴量が、第１の閾値を超えるまたは下回るという条件を満たすかどうかを判定する判定手段と、前記特徴量が前記条件を満たすと判定された場合、その特徴量と前記第１の閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出する算出手段と、算出された前記評価値に基づいて、前記音声に対応する音声付き画像の画像を表示させる表示制御手段とを備える。

本発明の一側面の検索装置においては、前記算出手段は、前記条件が複数ある場合、前記条件ごとの重みを用いた前記差分の加重平均値を、前記評価値として算出することができる。

本発明の一側面の検索装置においては、前記特徴量は、所定の時間間隔で抽出され、前記判定手段は、前記時間間隔の整数倍の時間に抽出された特徴量の平均値が、前記条件を満たすかどうかを判定することができる。

本発明の一側面の検索装置においては、前記判定手段は、前記音声付き画像の音声の特徴量が第１の閾値を超え続けるまたは下回り続ける継続時間が、第２の閾値以上または以下であるという条件を満たすかどうかを判定することができる。

本発明の一側面の検索装置においては、前記特徴量は、前記音声のゼロ交差数、パワー、およびピッチの少なくとも１つであるようにすることができる。

本発明の一側面の検索装置は、前記音声付き画像の画像を縮小した縮小画像を生成する生成手段をさらに設け、前記表示制御手段は、前記評価値が大きい順に、前記音声に対応する縮小画像を並べて表示させることができる。

本発明の一側面の検索方法は、音声付き画像を検索する検索装置の検索方法において、前記音声付き画像の音声の特徴量が、所定の閾値を超えるまたは下回るという条件を満たすかどうかを判定し、前記特徴量が前記条件を満たすと判定された場合、その特徴量と前記閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出し、算出された前記評価値に基づいて、前記音声に対応する音声付き画像の画像を表示させるステップを含む。

本発明の一側面においては、音声付き画像の音声の特徴量が、所定の閾値を超えるまたは下回るという条件を満たすかどうかが判定され、特徴量が条件を満たすと判定された場合、その特徴量と閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値が算出され、算出された評価値に基づいて、音声に対応する音声付き画像の画像が表示される。

以上のように、本発明の一側面によれば、ユーザが所望の音声付き画像を容易に検索することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の検索装置は、
音声付き画像を検索する検索装置（例えば、図７の再生装置１５０）において、
前記音声付き画像の音声の特徴量が、第１の閾値を超えるまたは下回るという条件を満たすかどうかを判定する判定手段(例えば、図８の判定部１７４)と、
前記特徴量が前記条件を満たすと判定された場合、その特徴量と前記第１の閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出する算出手段(例えば、図８の算出部１７５)と、
算出された前記評価値に基づいて、前記音声に対応する音声付き画像の画像を表示させる表示制御手段(例えば、図７の選択部１５６)と
を備える。

本発明の一側面の検索装置は、
前記音声付き画像の画像を縮小した縮小画像を生成する生成手段（例えば、図７のVI画像生成部４５）
をさらに備え、
前記表示制御手段は、前記評価値が大きい順に、前記音声に対応する縮小画像を並べて表示させる。

本発明の一側面の検索方法は、
音声付き画像を検索する検索装置(例えば、図７の再生装置１５０)の検索方法において、
前記音声付き画像の音声の特徴量が、所定の閾値を超えるまたは下回るという条件を満たすかどうかを判定し（例えば、図１６のステップＳ６４）、
前記特徴量が前記条件を満たすと判定された場合、その特徴量と前記閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出し(例えば、図１６のステップＳ６５)、
算出された前記評価値に基づいて、前記音声に対応する音声付き画像の画像を表示させる（例えば、図１５のステップＳ５２）
ステップを含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図３は、本発明を適用した再生装置で再生される音声付き動画像を記録する記録装置１００の一実施の形態の構成例を示している。

図３の記録装置１００は、撮像部１１、A/D変換部１２、符号化部１３、マイク１４、A/D変換部１５、符号化部１６、MUX１７、インデックス生成部２１、タイミング制御部１０１、特徴量抽出部１０２、管理部１０３、I/F１０４、およびディスク１０５により構成される。記録装置１００は、被写体の動画像を撮像するとともに周囲の音声を取得し、音声付き動画像をディスク１０５に記録する。

なお、図３において、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する

タイミング制御部１０１は、記録装置１００を制御するためのタイミング信号を生成する。具体的には、タイミング制御部１０１は、図１のタイミング制御部２０と同様に、符号化の開始を指示するタイミング信号を、符号化部１３と符号化部１６に供給する。

また、タイミング制御部１０１は、所定のタイミングで、インデックス情報の生成を指示するタイミング信号をインデックス生成部２１に供給するとともに、特徴量の抽出を指示するタイミング信号を特徴量抽出部１０２に供給する。このタイミング信号は、例えば、ユーザにより音声付き動画像の記録の開始が指示されたときに供給され、それ以降、記録の終了が指示されるまで一定の時間間隔で供給される。

特徴量抽出部１０２には、A/D変換部１５から音声データが供給される。特徴量抽出部１０２は、タイミング制御部１０１から供給されるタイミング信号に応じて、音声データの単位時間当たりのゼロ交差数、単位時間当たりのパワー、およびピッチを特徴量として抽出する。そして、特徴量抽出部１０２は、抽出した特徴量を管理部１０３に供給する。なお、特徴量抽出部１０２の詳細については、後述する図４を参照して説明する。

管理部１０３は、図１の管理部２２と同様に、インデックス生成部２１からインデックス情報に、I/F１０４から供給される記録情報を含める。そして、管理部２２は、その結果得られるインデックス情報をI/F１０４に供給する。

また、管理部１０３は、特徴量抽出部１０２から供給される特徴量を用いて、各チャプタの特徴量を管理する特徴量リスト(後述する図５)を生成する。そして、管理部１０３は、プログラムストリームの記録が終了するたびに、その特徴量リストをI/F１０４に供給する。

I/F１０４は、図１のI/F１８と同様に、MUX１７から供給されるプログラムストリームを、内蔵するバッファ（図示せず）にバッファリングする。また、I/F１０４は、I/F１８と同様に、バッファリングしたプログラムストリームを、DVD、HDDなどよりなるディスク１０５に記録する。さらに、I/F１０４は、I/F１８と同様に、記録情報を管理部１０３に供給する。

また、I/F１０４は、管理部１０３から供給されるインデックス情報と特徴量リストを、ディスク１０５に記録させる。

図４は、図３の特徴量抽出部１０２の詳細構成例を示している。

図４の特徴量抽出部１０２は、入力端子１１１および１１２、ゼロ交差数検出部１１３、パワー検出部１１４、ピッチ検出部１１５、並びに出力端子１１６乃至１１８により構成される。

入力端子１１１には、図３のA/D変換部１５から供給される音声データが入力され、この音声データはゼロ交差数検出部１１３、パワー検出部１１４、およびピッチ検出部１１５に入力される。

入力端子１１２には、図３のタイミング制御部１０１から供給されるタイミング信号が入力され、このタイミング信号は、ゼロ交差数検出部１１３、パワー検出部１１４、およびピッチ検出部１１５に供給される。

ゼロ交差数検出部１１３、パワー検出部１１４、およびピッチ検出部１１５は、それぞれ、入力端子１１１から供給されるタイミング信号に同期して、短時間窓で対象とする時間を中心に切り出した音声データを用いて分析を行う。

その結果、ゼロ交差数検出部１１３は、タイミング信号に同期して単位時間当たりのゼロ交差数を検出する。この単位時間当たりのゼロ交差数は、例えば、タイミング信号が供給されてから、次のタイミング信号が供給されるまでの時間の音声データから検出されたゼロ交差数を、その時間で除算することにより求められる。

ゼロ交差数検出部１１３は、検出した単位時間当たりのゼロ交差数を出力端子１１７に入力する。そして、出力端子１１７に入力された単位時間当たりのゼロ交差数は、特徴量として管理部１０３（図３）に供給される。

また、パワー検出部１１４は、タイミング信号に同期して単位時間当たりのパワーを検出する。この単位時間当たりのパワーは、例えば、タイミング信号が供給されてから、次のタイミング信号が供給されるまでの時間の音声データのパワーを、その時間で除算することにより求められる。

パワー検出部１１４は、検出した単位時間当たりのパワーを出力端子１１６に入力する。そして、出力端子１１６に入力された単位時間当たりのパワーは、特徴量として管理部１０３に供給される。

さらに、ピッチ検出部１１５は、タイミング信号に同期してピッチを検出し、出力端子１１８に供給する。そして、出力端子１１８に入力されたピッチは、特徴量として管理部１０３に供給される。

以上のように、特徴量抽出部１０２は、音声の単位時間当たりのゼロ交差数、単位時間当たりのパワー、およびピッチを音声付き動画像の特徴量として抽出するので、画像認識や音声認識などの処理を用いて特徴量を抽出する場合に比べて、音声付き動画像の特徴量を短時間で容易に抽出することができる。その結果、記録装置１００の処理コストや製造コストを削減することができる。

図５は、特徴量リストのフォーマットの例を示している。

図５の特徴量リストでは、「チャプタ番号」、「チャプタ内でのPTS」、「単位時間当たりのゼロ交差数」、「単位時間当たりのパワー」、「ピッチ」、「単位時間当たりのゼロ交差数のレンジ」、「単位時間当たりのパワーのレンジ」、および「ピッチのレンジ」という項目に対応付けて、各種の情報が記述される。

項目「チャプタ番号」に対応する情報としては、チャプタの番号が記述される。図５の例では、項目「チャプタ番号」に対応して、「G0」、「G1」、・・・、「Gu」が記述されている。即ち、図５の例では、ディスク１０５にチャプタ番号がG0乃至Guであるチャプタのプログラムストリームが記録されている。

項目「チャプタ内でのPTS」に対応する情報としては、特徴量抽出部１０２に供給されるタイミング信号に対応する各チャプタ内でのPTS、即ちインデックス情報に含まれるインデックスのチャプタ内でのPTSが記述される。図５の例では、項目「チャプタ内でのPTS」に対応して、チャプタ番号「G0」のチャプタ内でのインデックスのPTS「t0」、「t1」、・・・、「t3」、チャプタ番号「G1」のチャプタ内でのインデックスのPTS「t4」、・・・、「t6」、「t7」、・・・、チャプタ番号「Gu」のチャプタ内でのインデックスのPTS「tm」、・・・、「tn」が記述されている。

項目「単位時間当たりのゼロ交差数」に対応する情報としては、各タイミング信号に同期して検出された単位時間当たりのゼロ交差数が記述される。図５の例では、項目「単位時間当たりのゼロ交差数」に対応して、「z0」、「z1」、・・・、「z3」、「z4」、・・・、「z6」、「z7」、・・・、「zm」、・・・、「zn」が記述されている。即ち、例えば、単位時間当たりのゼロ交差数「z0」は、チャプタ番号「G0」のチャプタのPTS「t0」から「t1」までの間の音声データのゼロ交差数により求められた、単位時間当たりのゼロ交差数である。

項目「単位時間当たりのパワー」に対応する情報としては、各タイミング信号に同期して検出された単位時間当たりのパワーが記述される。図５の例では、項目「単位時間当たりのパワー」に対応して、「w0」、「w1」、・・・、「w3」、「w4」、・・・、「w6」、「w7」、・・・、「wm」、・・・、「wn」が記述されている。

項目「ピッチ」に対応する情報としては、各タイミング信号に同期して検出されたピッチが記述される。図５の例では、項目「ピッチ」に対応して、「p0」、「p1」、・・・、「p3」、「p4」、・・・、「p6」、「p7」、・・・、「pm」、・・・、「pn」が記述されている。

項目「単位時間当たりのゼロ交差数のレンジ」に対応する情報としては、各チャプタの単位時間当たりのゼロ交差数の範囲が記述される。図５の例では、項目「単位時間当たりのゼロ交差数のレンジ」に対応して、「G0z0-G0z1」、「G1z0-G1z1」、・・・、「Guz0-Guz1」が記述されている。即ち、例えば、チャプタ番号「G0」のチャプタから検出された単位時間当たりのゼロ交差数「z0」、「z1」、・・・、および「z3」の最小値は「G0z0」であり、最大値は「G0z1」である。

項目「単位時間当たりのパワーのレンジ」に対応する情報としては、各チャプタの単位時間当たりのパワーの範囲が記述される。図５の例では、項目「単位時間当たりのゼロ交差数のパワーのレンジ」に対応して、「G0w0-G0w1」、「G1w0-G1w1」、・・・、「Guw0-Guw1」が記述されている。

項目「ピッチのレンジ」に対応する情報としては、各チャプタのピッチの範囲が記述される。図５の例では、項目「ピッチのレンジ」に対応して、「G0p0-G0p1」、「G1p0-G1p1」、・・・、「Gup0-Gup1」が記述されている。

次に、図６を参照して、図３の記録装置１００による、特徴量リストをディスク１０５に記録する記録処理について説明する。この記録処理は、例えば、ユーザにより撮影の開始が指示されたとき、開始される。

ステップＳ１１において、特徴量抽出部１０２は、タイミング制御部１０１から供給されるタイミング信号に同期して、単位時間当たりのゼロ交差数、単位時間当たりのパワー、およびピッチを検出する。そして、特徴量抽出部１０２は、単位時間当たりのゼロ交差数、単位時間当たりのパワー、およびピッチを、特徴量として管理部１０３に供給する。

ステップＳ１２において、管理部１０３は、記録中のチャプタの特徴量リストを生成し、その特徴量リストに、特徴量抽出部１０２から供給される特徴量を記述する。ステップＳ１３において、管理部１０３は、プログラムストリームの記録を終了するか、即ち、ユーザにより撮影の終了が指示されたかどうかを判定する。ステップＳ１３で、プログラムストリームの記録を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。

一方、ステップＳ１３で、プログラムストリームの記録を終了すると判定された場合、ステップＳ１４において、管理部１０３は、いま記録が終了されたチャプタの単位時間当たりのゼロ交差数、単位時間当たりのパワー、およびピッチの範囲を特徴量リストに記述する。そして、管理部１０３は、特徴量リストをI/F１０４に供給する。

ステップＳ１５において、I/F１０４は、管理部１０３から供給される特徴量リストをディスク１０５に記録させる。

以上のような記録処理が、チャプタ番号が「G0」乃至「Gu」のチャプタがディスク１０５に記録されるまで繰り返し行われると、ディスク１０５には、図５に示した特徴量リストが記録される。

図７は、本発明を適用した再生装置の一実施の形態の構成例を示している。

図７の再生装置１５０は、DEMUX４３、復号部４４、VI画像生成部４５、セレクタ４６、画像出力部４８、復号部４９、D/A変換部５０、音声出力部５１、ディスク１５１、I/F１５２、管理部１５３、操作入力部１５４、検索部１５５、選択部１５６、およびにD/A変換部１５７より構成される。再生装置１５０は、ディスク１５１に記録されている、音声付き動画像のプログラムストリームを再生する。

なお、図７において、図２と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。

ディスク１５１には、図３のディスク１０５と同様に、記録装置１００により、音声付き動画像のプログラムストリーム、インデックス情報、および特徴量リストが記録されている。

I/F１５２は、図２のI/F４２と同様に、選択部１５６から供給される記録位置と再生の指令に基づいて、その記録位置からプログラムストリームの読み出しを開始し、読み出したプログラムストリームをDEMUX４３に供給する。また、I/F１５２は、図２のI/F４２と同様に、選択部１５６から供給される記録位置とインデックス画面の表示の指令に基づいて、その記録位置に記録されているプログラムストリームの先頭に最も近いＩピクチャのプログラムストリームをディスク１５１から読み出し、DEMUX４３に供給する。

さらに、I/F１５２は、特徴量リストとインデックス情報を読み出し、内蔵するバッファ（図示せず）に記憶する。また、I/F１５２は、内蔵するバッファに記憶した特徴量リストとインデックス情報を管理部１５３に供給する。

管理部１５３は、I/F１５２から供給されるインデックス情報を解析し、各インデックスに対応する音声付き動画像のプログラムストリームの記録位置を選択部１５６に供給する。また、管理部１５３は、I/F１５２から供給される特徴量リストを検索部１５５に供給する。

操作入力部１５４は、ディスク１５１に記録されている音声付き動画像のシーンの検索を指令するためのユーザの操作に応じて、VI画像の生成の指令をVI画像生成部４５とセレクタ４６に供給する。また、操作入力部１５４は、検索するシーンの音声の種類の選択画面の表示を指令するためのユーザの操作に応じて、選択画面の表示の指令を検索部１５５に供給する。

さらに、操作入力部１５４は、選択画面における音声の種類を選択するためのユーザの操作に応じて、その種類を表す検索情報を検索部１５５に供給する。また、操作入力部１５４は、所定のインデックスからの音声付き動画像の再生を指令するためのユーザの操作に応じて、そのインデックスからの音声付き動画像の再生の指令を選択部１５６に供給する。

検索部１５５は、管理部１５３から供給される特徴量リストと、操作入力部１５４から供給される検索情報とに基づいて、ユーザの所望のシーンに対応するインデックスのPTSを検索する。そして、検索部１５５は、検索したPTSとインデックス画面の表示の指令を選択部１５６に供給する。また、検索部１５５は、操作入力部１５４から供給される選択画面の表示の指令に応じて、その選択画面の画像データをD/A変換部１５７に供給する。なお、検索部１５５の詳細については、後述する図８を参照して説明する。

選択部１５６は、操作入力部１５４から供給される、所定のインデックスからの音声付き動画像の再生の指令に応じて、そのインデックスに対応する記録位置を、管理部１５３から供給される各インデックスに対応する記録位置から選択する。そして、選択部１５６は、その記録位置と再生の指令をI/F１５２に供給する。

また、選択部１５６は、検索部１５５から供給されるインデックスのPTSに基づいて、そのインデックスに対応する記録位置を、管理部１５３から供給される各インデックスに対応する記録位置から選択する。選択部１５６は、その記録位置とインデックス画面の表示の指令をI/F１５２に供給する。

D/A変換部１５７は、セレクタ４６から供給されるインデックス画像データまたは復号後の画像データと、検索部１５５から供給される選択画面の画像データに対して、D/A変換を行う。D/A変換部１５７は、その結果得られるアナログ信号である画像信号を、画像出力部４８に供給する。その結果、テレビジョン受像機などの外部の機器に、インデックス画面、音声付き動画像の画像、または、選択画面が表示される。

図８は、図７の検索部１５５の詳細構成例を示している。

図８の検索部１５５は、制御部１７１、設定部１７２、検索リスト作成部１７３、判定部１７４、算出部１７５、および表示リスト作成部１７６により構成される。なお、検索部１５５の各ブロックは、必要に応じて相互に情報を授受することが可能とされている。

制御部１７１は、図７の操作入力部１５４からの各種の指令に応じて、内蔵するメモリ（図示せず）に保持されているフラグを変更する。また、制御部１７１は、操作入力部１５４から供給される選択画面の表示の指令に応じて、内蔵するメモリ（図示せず）に予め記憶されている選択画面の画像データをD/A変換部１５７に供給する。

設定部１７２は、操作入力部１５４から供給される検索情報に基づいて、検索条件、検索条件における閾値、および検索条件に対する重みを設定する。

なお、ここでは、検索条件は、「単位時間当たりのゼロ交差数が閾値ZHを超え続ける継続時間TZHが閾値TZHSH以下または以上である」、「単位時間当たりのゼロ交差数が閾値ZLを下回り続ける継続時間TZLが閾値TZLSH以下または以上である」、「単位時間当たりのパワーが閾値WHを超え続ける継続時間TWHが閾値TWHSH以下または以上である」、「単位時間当たりのパワーが閾値WLを下回り続ける継続時間TWLが閾値TWLSH以下または以上である」、「ピッチが閾値PHを超え続ける継続時間TPHが閾値TPHSH以下または以上である」、および「ピッチが閾値PLを下回り続ける継続時間TPLが閾値TPLSH以下または以上である」の少なくとも１つである。

また、検索条件における閾値とは、上述した検索条件の閾値ZHとTZHSHの組、閾値ZLとTZLSHの組、閾値WHとTWHSHの組、閾値WLとTWLSHの組、閾値PHとTPHSHの組、および、閾値PLとTPLSHの組の少なくとも１つの組である。検索条件に対する重みとは、後述する評価値を求める際に特徴量に付加される重みである。

また、設定部１７２は、操作入力部１５４から供給される、検索時間間隔TLを入力するためのユーザの操作に対応する指令に応じて、検索時間間隔TLを設定する。なお、検索時間間隔TLとは、検索対象とするインデックスのPTSの間隔であり、記録装置１００における特徴量の抽出間隔の整数倍の時間である。従って、検索時間間隔TLが大きい場合、大まかな検索が行われ、検索時間間隔TLが短い場合、細かい検索が行われる。

このように、再生装置１５０では、ユーザが操作入力部１５４を操作することにより、検索時間間隔TLを設定することができるので、ユーザは、例えば検索の最初の段階では、検索時間間隔TLを大きくして、全体にわたってできる限りもれなく大まかな検索を行い、次の段階では、その結果絞りこまれた所望のシーン付近において、検索時間間隔TLを小さくすることにより時間分解能を上げて検索を行うことができる。その結果、高精度の検索を短時間で行うことが可能になる。

さらに、設定部１７２は、設定した検索時間間隔TLを検索リスト作成部１７３に供給し、検索条件と閾値を判定部１７４に供給する。また、設定部１７２は、設定した重みを算出部１７５に供給する。

検索リスト作成部１７３は、管理部１５３から供給される特徴量リストと、設定部１７２から供給される検索時間間隔TLに基づいて、検索時間間隔TLの特徴量を表す検索リスト（後述する図１０）を作成し、内蔵するメモリ（図示せず）に保持する。

判定部１７４は、表示リスト作成部１７６により保持されている、VI画像の表示順序を管理する表示リスト(後述する図１１)を参照して、検索対象とするインデックスのPTSを決定する。また、判定部１７４は、設定部１７２から供給される検索条件および閾値と、検索リスト作成部１７３に保持されている検索リストとに基づいて、検索対象として決定されたインデックスのPTSにおける特徴量が検索条件を満たしているかどうかを判定する。

具体的には、判定部１７４は、まず最初に、検索条件ｉが、「特徴量が閾値を超え続ける継続時間が閾値以下または以上である」という条件であるとき、以下の式(1-1)により、検索対象とするPTS以降の検索時間間隔TLごとのPTS「t」における差分c(i,t)を求め、検索条件が「特徴量が閾値を下回り続ける継続時間が閾値以下または以上である」という条件であるとき、以下の式(1-2)により差分c(i,t)を求める。

c(i,t)=A(i,t)-AH(i)
・・・(1-1)
c(i,t)=AL(i)-A(i,t)
・・・(1-2)

なお、式(1-1)と式(1-2)において、A(i,t)は、PTS「t」での検索条件ｉにおける特徴量であり、AH(i)とAL(i)は、検索条件iにおける特徴量の閾値である。

次に、判定部１７４は、検索対象として決定されたPTSから、差分c(i,t)が0を超え続ける時間、即ち継続時間に基づいて、検索対象として決定されたインデックスのPTSにおける特徴量が検索条件を満たしているかどうかを判定する。

また、判定部１７４は、検索対象として決定されたPTSにおける特徴量が検索条件を満たしていると判定した場合、検索条件を満たす旨を表す情報と、検索対象として決定されたPTSにおける差分c(i,t)を算出部１７５に供給するとともに、継続時間の長さと継続時間中の特徴量の平均値を表示リスト作成部１７６に供給する。

算出部１７５は、設定部１７２から供給される重み、並びに、判定部１７４から供給される検索条件を満たす旨を表す情報および検索対象として決定されたPTSにおける差分c(i,t)に基づいて、検索条件を満たす検索対象を検索結果として、その検索結果に対応する音声付き動画像に対する評価値を算出する。具体的には、算出部１７５は、以下の式（２）により評価値ｓ(t)を算出する。

なお、式（２）において、w(i)は、検索条件iに対する重みを表し、検索条件iの有意性が高いほど重みw(i)が大きくなるように設定される。また、nは検索条件の数を表している。

式（２）によれば、評価値s(t)は、差分c(i,t)の加重平均値である。従って、検索条件iの有意性が高いほど重みw(i)が大きくなるように、重みw(i)が設定されることにより、検索条件ｉの有意性が高い順に、評価値s(t)における差分c(i,t)の影響が大きくなる。

また、算出部１７５は、算出した評価値ｓ（t）を表示リスト作成部１７６に供給する。表示リスト作成部１７６は、検索リスト作成部１７３に保持されている検索リスト、判定部１７４から供給される継続時間の長さと継続時間中の特徴量の平均値、および算出部１７５から供給される評価値ｓ（t）に基づいて、評価値ｓ（t）の大きい順、即ち有意性の高い順に、検索結果に対応するVI画像が表示されるように、表示リストを作成する。そして、表示リスト作成部１７６は、作成した表示リストを内蔵するメモリ（図示せず）に保持する。

また、表示リスト作成部１７６は、保持している表示リストに基づいて、検索結果であるPTSを表示順に選択部１５６（図７）に供給するとともに、インデックス画面の表示の指令を選択部１５６に供給する。その結果、検索結果であるPTSに対応するVI画像が、ユーザにより選択された種類の音声を含むシーンに対応するVI画像として、評価値ｓ（t）の大きい順に並べられたインデックス画面が、外部の機器に表示される。

図９は、選択画面の例を示している。

図９の選択画面１９０の上部には、音声の種類として、「人間の声」、「子供や女性の声」、「男性の声」、「無音」、および「無音以外」が表示されている。また、選択画面１９０には、これらの音声の種類の表示位置のいずれかにカーソル１９１が表示される。さらに、選択画面１９０の下部には、決定を指示するための決定ボタン１９２と、取り消しを指示するためのキャンセルボタン１９３が表示される。

ユーザは、選択画面１９０を見ながら、検索するシーンの音声の種類を選択し、その種類の表示位置にカーソル１９１を移動させるための操作を行う。その後、ユーザは、決定ボタン１９２を操作することより、カーソル１９１に対応する種類の音声を含むシーンの検索を指令する。なお、ユーザは、検索を行わない場合、キャンセルボタン１９３を操作する。

図１０は、検索リストのフォーマットの例を示している。

図１０の検索リストでは、「チャプタ番号」、「チャプタ内でのPTS」、「単位時間当たりのゼロ交差数」、「単位時間当たりのパワー」、「ピッチ」、「単位時間当たりのゼロ交差数のレンジ」、「単位時間当たりのパワーのレンジ」、「ピッチのレンジ」、「単位時間当たりのゼロ交差数の平均」、「単位時間当たりのパワーの平均」、および、「ピッチの平均」という項目に対応付けて、各種の情報が記述される。

「単位時間当たりのゼロ交差数の平均」、「単位時間当たりのパワーの平均」、および、「ピッチの平均」という項目以外の項目に対応する情報としては、図５の特徴量リストと同一の情報が記述される。即ち、これらの情報は、検索リスト作成部１７３が内蔵するメモリ（図示せず）に特徴量リストを展開することにより記述されたものである。

項目「単位時間当たりのゼロ交差数の平均」に対応する情報としては、検索時間間隔TLごとの単位時間当たりのゼロ交差数の平均値が記述される。なお、図１０の例では、検索時間間隔TLは、記録装置１００で特徴量が２回抽出される時間となっている。従って、図１０の例では、項目「単位時間当たりのゼロ交差数の平均」に対応する情報として、連続して検出された２回分の単位時間当たりのゼロ交差数、即ち、特徴量の抽出間隔の２倍の時間に抽出された単位時間当たりのゼロ交差数の、平均値「az0」、・・・、「az4」、・・・、「azm」、・・・が記述されている。

項目「単位時間当たりのパワーの平均」に対応する情報としては、検索時間間隔TLごとの単位時間当たりのパワーの平均値が記述される。図１０の例では、項目「単位時間当たりのパワーの平均」に対応する情報として、連続して検出された２回分の単位時間当たりのパワーの平均値「aw0」、・・・、「aw4」、・・・、「awm」、・・・が記述されている。

項目「ピッチの平均」に対応する情報としては、検索時間間隔TLごとのピッチの平均値が記述される。図１０の例では、項目「ピッチの平均」に対応する情報として、連続して検出された２回分のピッチの平均値「ap0」、・・・、「ap4」、・・・、「apm」、・・・が記述されている。

なお、検索においては、検索時間間隔TLごとの各PTSに対応する項目「単位時間当たりのゼロ交差数の平均」、「単位時間当たりのパワーの平均」、または「ピッチの平均」の情報が、各PTSの特徴量として用いられる。

図１１は、表示リストのフォーマットの例を示している。

図１１の表示リストでは、「チャプタ番号」、「チャプタ内でのPTS」、「表示用リンク先」、「継続時間長」、「継続時間中の特徴量の平均値」、および「評価値」という項目に対応付けて、各種の情報が記述される。

項目「チャプタ番号」に対応する情報としては、「リンク先頭」と、検索結果であるPTSを含むチャプタのチャプタ番号が記述される。項目「チャプタ内でのPTS」に対応する情報としては、各チャプタ内の検索結果であるPTSが記述される。なお、項目「チャプタ番号」の情報「リンク先頭」に対応する項目「チャプタ内でのPTS」の情報としては、何も記述されない。

項目「表示用リンク先」に対応する情報としては、各検索結果において、その検索結果に対応するVI画像の次に表示されるVI画像に対応する検索結果であるPTSと、そのPTSを含むチャプタのチャプタ番号が記述される。なお、項目「チャプタ番号」の情報「リンク先頭」に対応する項目「表示用リンク先」の情報としては、表示順が１番であるVI画像に対応する検索結果であるPTSと、そのPTSを含むチャプタのチャプタ番号が記述される。

例えば、図１１の例では、項目「チャプタ番号」の情報「リンク先頭」に対応する項目「表示用リンク先」の情報として、「G1,t6」が記述されている。従って、表示順が１番であるVI画像に対応する検索結果は、チャプタ番号が「G1」であるチャプタのPTS「t6」である。

また、図１１の例では、項目「チャプタ番号」の情報「G1」と項目「チャプタ内でのPTS」の情報「t6」に対応する項目「表示用リンク先」の情報として、「G0,t2」が記述されている。従って、表示順が、チャプタ番号が「G1」であるチャプタのPTS「t6」に対応するVI画像の次である、即ち、表示順が２番であるVI画像に対応する検索結果は、チャプタ番号が「G0」であるチャプタのPTS「t2」である。以降も同様に、項目「表示用リンク先」に対応する情報として、表示順が３番と４番であるVI画像に対応する検索結果が記述される。

以上のように、項目「表示用リンク先」に対応する情報として、次に表示されるVI画像に対応する検索結果であるPTSと、そのPTSを含むチャプタのチャプタ番号が記述されるので、この情報により、検索結果に対応するVI画像の表示順を認識することができる。

項目「継続時間長」に対応する情報としては、各検索結果における継続時間の長さが記述される。図１１の例では、項目「継続時間長」に対応する情報として、「L0」、「L2」、「L6」、・・・、「Lm」が記述されている。

項目「継続時間中の特徴量の平均値」に対応する情報としては、検索条件において閾値が設定される特徴量の、各検索結果における継続時間中の平均値が記述される。図１１の例では、項目「継続時間中の特徴量の平均値」に対応する情報として、「d0」、「d2」、「d6」、・・・、「dm」が記述されている。

項目「評価値」に対応する情報としては、各検索結果の評価値s(t)が記述される。図１１の例では、項目「評価値」に対応する情報として、「e0」、「e2」、「e6」、・・・、「em」が記述されている。

図１２は、インデックス画面の例を示している。

図１２のインデックス画面２１０の上部には、VI画像２１１乃至２１６が、図１１の表示リストの項目「表示用リンク先」に対応する情報が表すVI画像の表示順の早い方から順に、左上から表示される。

即ち、表示順が１番、２番、３番、４番、５番、６番であるVI画像が、それぞれ、VI画像２１１、VI画像２１１の右隣のVI画像２１２、VI画像２１２の右隣のVI画像２１３、VI画像２１１の下のVI画像２１４、VI画像２１４の右隣のVI画像２１５、VI画像２１５の右隣のVI画像２１６として表示される。

また、インデックス画面２１０には、VI画像２１１乃至２１６のいずれかにカーソル２２１が表示される。さらに、インデックス画面２１０の下部には、操作用アイコン２１７が表示される。操作用アイコン２１７としては、例えば、再生アイコンなどの再生制御を行うためのアイコン、ページ送りアイコンなどの表示制御を行うためのアイコンなどがある。

例えば、再生アイコンは、カーソル２２１が配置されたVI画像２１１乃至２１６のいずれか１つに対応するインデックスからの音声付き動画像の再生を指令するときに操作される。ページ送りアイコンは、表示中のVI画像２１６の表示順に続く表示順の６枚のVI画像をVI画像２１１乃至２１６として表示させるときに操作される。

即ち、インデックス画面２１０に表示可能なVI画像の数は６枚であるため、検索結果が６個を超える場合、その検索結果に対応するVI画像をインデックス画面２１０に一度に表示することはできない。従って、インデックス画面２１０では、最初に、表示順が１番から６番までのVI画像が表示され、その後、ページ送りアイコンが操作されるたびに、表示対象とするVI画像の表示順が、６番ずつ後方に移動する。

インデックス画面２１０において、ユーザは、まず最初に、所望のシーンに対応するVI画像を選択し、そのVI画像にカーソル２２１を移動させるための操作を行う。例えば、ユーザがVI画像２１３を選択する場合、ユーザは、再生装置１５０に設けられたボタン（図示せず）などを操作することにより、図１３に示すように、カーソル２２１をVI画像２１３に移動させる。

その後、ユーザは、例えば操作用アイコン２１７の再生アイコンを、再生装置１５０に設けられたボタン（図示せず）などで操作する。これにより、カーソル２２１が配置されたVI画像２１３に対応するインデックスから、音声付き動画像の再生が開始される。

以上のように、インデックス画面２１０には、評価値s(t)の大きい順に表示されるように作成された表示リストが表す表示順が早い順に、左上から順にVI画像２１１乃至２１６が表示されるので、有意性の高い順に、左上からVI画像が表示される。即ち、VI画像は、ユーザの所望の種類の音声を含む可能性が高いシーンに対応する順に、左上から並べられている。

従って、ユーザは左上から順にVI画像２１１乃至２１６を見ていくことにより、所望のシーンに対応するVI画像を素早く見つけることができ、操作性が良い。その結果、ユーザは、所望のシーンからの音声付き動画像の再生を迅速に行うことができる。

次に、図１４と図１５を参照して、図７の再生装置１５０による、インデックス画面２１０を表示させる表示処理について説明する。この表示処理は、例えば、ユーザによりインデックス画面２１０の表示を指令するための操作が行われたとき、開始される。

ステップＳ３１において、制御部１７１は、保持しているフラグを初期化する。ステップＳ３２において、制御部１７１は、保持している検索の終了を表す検索終了フラグ、および、インデックス画面２１０の表示の終了を表す表示終了フラグを読み取る。この検索終了フラグは、検索を終了するためのユーザの操作に応じてオンにされ、表示終了フラグは、インデックス画面２１０の表示を終了するためのユーザの操作に応じてオンにされる。

ステップＳ３３において、制御部１７１は、ステップＳ３２で読み取った検索終了フラグおよび表示終了フラグに基づいて、検索またはインデックス画面２１０の表示を終了するかどうか、即ち、検索終了フラグまたは表示終了フラグがオンにされているかどうかを判定する。ステップＳ３３で、検索またはインデックス画面２１０の表示を終了すると判定された場合、処理は終了する。

一方、ステップＳ３３で、検索またはインデックス画面２１０の表示を終了しないと判定された場合、ステップＳ３４で、制御部１７１は、保持している検索の開始を表す検索開始フラグを読み取る。この検索開始フラグは、検索を開始するためのユーザの操作に応じてオンにされる。

ステップＳ３５において、制御部１７１は、ステップＳ３４で読み取った検索開始フラグに基づいて検索するかどうか、即ち、検索開始フラグがオンにされているかどうかを判定する。ステップＳ３５で、検索しないと判定された場合、処理はステップＳ３２に戻り、検索またはインデックス画面２１０の表示を終了するための操作、もしくは、検索を開始するための操作がユーザにより行われるまで、上述した処理が繰り返される。

一方、ステップＳ３５で検索すると判定された場合、ステップＳ３６において、制御部１７１は、検索開始フラグをオフにする。ステップＳ３７において、制御部１７１は、内蔵するメモリ（図示せず）に予め記憶されている選択画面の画像データをD/A変換部１５７に供給することにより、図９の選択画面１９０を表示させる。

ステップＳ３８において、制御部１７１は、保持している検索の取り消しを表す取り消しフラグを読み取る。この取り消しフラグは、図９の選択画面１９０においてユーザによりキャンセルボタン１９３が操作されたときオンにされる。

ステップＳ３９において、制御部１７１は、ステップＳ３８で読み取られた取り消しフラグに基づいて、検索の開始が取り消されたかどうか、即ち、取り消しフラグがオンにされているかどうかを判定する。ステップＳ３９で検索の開始が取り消されたと判定された場合、ステップＳ４０において、制御部１７１は、取り消しフラグをオフにする。そして、処理はステップＳ３２に戻り、上述した処理が繰り返される。

一方、ステップＳ３９で検索の開始が取り消されたと判定された場合、ステップＳ４１において、制御部１７１は、検索するシーンの音声の種類の設定を表す設定フラグを読み取る。この設定フラグは、図９の選択画面１９０においてユーザにより決定ボタン１９２が操作されたときオンにされる。

ステップＳ４２において、制御部１７１は、ステップＳ４１において読み取られた設定フラグに基づいて、検索するシーンの音声の種類が設定されたかどうか、即ち、設定フラグがオンであるかどうかを判定する。ステップＳ４２で、検索するシーンの音声の種類が設定されていないと判定された場合、処理はステップＳ３８に戻り、ユーザによりキャンセルボタン１９３または決定ボタン１９２が操作されるまで、上述した処理が繰り返される。

一方、ステップＳ３８で、検索するシーンの音声の種類が設定されたと判定された場合、図１５のステップＳ４３において、制御部１７１は、設定フラグをオフにする。ステップＳ４４において、設定部１７２は、操作入力部１５４から供給される、決定ボタン１９２が操作されたときのカーソル１９１の位置に対応する音声の種類を表す検索情報に基づいて、検索条件、閾値、および重みを設定する。

具体的には、検索情報が種類「人間の声」を表す場合、設定部１７２は、検索条件として、「単位時間当たりのパワーが閾値WHを超え続ける継続時間TWHが閾値TWHSH以上である」という条件を設定する。また、設定部１７２は、閾値WHおよびTWHSH、並びに重みとして、それぞれ、予め決定された所定の値を設定する。

これにより、単位時間当たりのパワーが閾値WHを越えた状態が閾値TWHSH以上の時間続いた場合、そのパワーを特徴量として有する音声は人間の声であると判断され、その音声に対応するインデックスのPTSが、人間の声が付加された動画像の区間の開始点のシーンに対応するPTSとして検索される。

また、検索情報が種類「子供や女性の声」を表す場合、設定部１７２は、検索条件として、「単位時間当たりのパワーが閾値WHを超え続ける継続時間TWHが閾値TWHSH以上である」という条件と、「ピッチが閾値PHを超え続ける継続時間TPHが閾値TPHSH以上である」という条件を設定する。さらに、設定部１７２は、閾値WH，TWHSH，PH、およびTPHSH、並びに重みとして、それぞれ、予め決定された所定の値を設定する。

これにより、単位時間当たりのパワーが閾値WHを越えた状態が閾値TWHSH以上の時間続き、かつ、ピッチが閾値PHを超えた状態が閾値TPHSH以上の時間続いた場合、そのパワーとピッチを特徴量として有する音声は、人間の声のうち比較的音域の高い子供や女性の声であると判断され、その音声に対応するインデックスのPTSが、子供や女性の声が付加された動画像の区間の開始点のシーンに対応するPTSとして検索される。

また、検索情報が種類「男性の声」を表す場合、設定部１７２は、検索条件として、「単位時間当たりのパワーが閾値WHを超え続ける継続時間TWHが閾値TWHSH以上である」という条件と、「ピッチが閾値PLを下回り続ける継続時間TPLが閾値TPLSH以上である」という条件を設定する。さらに、設定部１７２は、閾値WH，TWHSH，PL、およびTPLSH、並びに重みとして、それぞれ、予め決定された所定の値を設定する。

これにより、単位時間当たりのパワーが閾値WHを越えた状態が閾値TWHSH以上の時間続き、かつ、ピッチが閾値PLを下回る状態が閾値TPLSH以上の時間続いた場合、そのパワーとピッチを特徴量として有する音声は、人間の声のうち比較的音域の低い男性の声であると判断され、その音声に対応するインデックスのPTSが、男性の声が付加された動画像の区間の開始点のシーンに対応するPTSとして検索される。

また、検索情報が種類「無音」を表す場合、設定部１７２は、検索条件として、「単位時間当たりのゼロ交差数が閾値ZHを超え続ける継続時間TZHが閾値TZHSH以上である」という条件を設定する。さらに、設定部１７２は、閾値ZHおよびTZHSH、並びに重みとして、それぞれ、予め決定された所定の値を設定する。

これにより、単位時間当たりのゼロ交差数が閾値ZHを超えた状態が閾値TZHSH以上の時間続いた場合、そのゼロ交差数を特徴量として有する音声は無音であると判断され、その音声に対応するインデックスのPTSが、無音が付加された動画像の区間の開始点のシーンに対応するPTSとして検索される。

また、検索情報が「無音以外」を表す場合、設定部１７２は、検索条件として、「単位時間当たりのゼロ交差数が閾値ZLを下回り続ける継続時間TZLが閾値TZLSH以上である」という条件を設定する。さらに、設定部１７２は、閾値ZLおよびTZLSH、並びに重みとして、それぞれ、予め決定された所定の値を設定する。

これにより、単位時間当たりのゼロ交差数が閾値ZLを越えた状態が閾値TZLSH以上の時間続いた場合、そのゼロ交差数を特徴量として有する音声は無音以外であると判断され、その音声に対応するインデックスのPTSが、無音以外の音声が付加された動画像の区間の開始点のシーンに対応するPTSとして検索される。

なお、検索情報が「無音以外」を表す場合、設定部１７２は、検索条件として、「単位時間当たりのゼロ交差数が閾値ZHを超え続ける継続時間TZHが閾値TZHSH以下である」という条件を設定するようにしてもよい。この場合、設定部１７２は、閾値ZHおよびTZHSH、並びに重みとして、それぞれ、予め決定された所定の値を設定する。

そして、設定部１７２は、設定した検索条件と閾値を判定部１７４に供給し、重みを算出部１７５に供給する。

ステップＳ４５において、制御部１７１は、検索時間間隔TLの入力を表す入力フラグを読み取る。この入力フラグは、検索時間間隔TLを入力するためのユーザの操作に応じてオンにされる。

ステップＳ４６において、制御部１７１は、ステップＳ４５で読み取った入力フラグに基づいて検索時間間隔TLが入力されたかどうか、即ち入力フラグがオンにされているかどうかを判定する。ステップＳ４６で検索時間間隔TLが入力されていないと判定された場合、処理はステップＳ４５に戻り、検索時間間隔TLが入力されるまで、上述した処理が繰り返される。

一方、ステップＳ４６で検索時間間隔TLが入力されたと判定された場合、ステップＳ４７において、制御部１７１は入力フラグをオフにする。ステップＳ４８において、設定部１７２は、入力された検索時間間隔TLを設定する。なお、検索時間間隔の最小値は、記録側で特徴量を抽出する間隔である。設定部１７２は、設定した検索時間間隔TLを検索リスト作成部１７３に供給する。

ステップＳ４９において、検索リスト作成部１７３は、管理部１５３から供給される特徴量リストと、設定部１７２から供給される検索時間間隔TLに基づいて、図１０の検索リストを作成し、保持する。

具体的には、検索リスト作成部１７３は、特徴量リストと検索時間間隔TLに基づいて、その検索時間間隔TLごとの特徴量の平均値を求める。また、検索リスト作成部１７３は、特徴量リストに、項目「単位時間当たりのゼロ交差数の平均」、「単位時間当たりのパワーの平均」、および「ピッチの平均」を追加して検索リストを作成する。そして、検索リスト作成部１７３は、検索リストの追加した項目に対応する情報として、求めた各特徴量の平均値を記述する。

ステップＳ５０において、検索部１５５は、検索条件を満たす音声を含むシーンに対応するインデックスのPTSを検索する検索処理を行う。この検索処理の詳細は、後述する図１６を参照して説明する。

ステップＳ５１において、表示リスト作成部１７６は、ステップＳ５０の検索処理によって更新された表示リストに基づいて、項目「表示用リンク先」の情報が表す表示順に、検索結果であるインデックスのPTSを選択部１５６に出力する。

ステップＳ５２において、選択部１５６は、表示リスト作成部１７６から供給されるインデックスのPTSに基づいて、そのインデックスに対応する記録位置をI/F１５２に供給することにより、インデックス画面２１０を表示させる。

そして、ステップＳ５２の処理後は、図１４のステップＳ３２に戻り、上述した処理が繰り返される。従って、ユーザは、所望のシーンに対応するVI画像を含むインデックス画面２１０が表示されるまで、検索を開始するための操作を行い、選択画面１９０において所望の音声の種類を選択することにより、検索を行うことができる。

次に、図１６を参照して、図１５のステップＳ５０の検索処理について説明する。

ステップＳ６１において、判定部１７４は、現在の検索条件を表す条件ポインタを、設定部１７２により設定された検索条件のうちの先頭の検索条件に設定する。ステップＳ６２において、判定部１７４は、現在の検索対象を表す検索対象ポインタを、表示リスト作成部１７６に保持されている表示リストの先頭のチャプタの先頭のPTSに設定する。

なお、検索処理の開始時には、表示リストの項目「チャプタ番号」に対応する情報として、検索リストの項目「チャプタ番号」に対応する情報が記述され、表示リストの項目「チャプタ内でのPTS」に対応する情報として、検索リストの項目「チャプタ内でのPTS」に対応する情報であるPTSのうちの検索時間間隔TLごとのPTSが記述される。従って、例えば、検索リスト作成部１７３に図１０の検索リストが保持されている場合、ステップＳ６２において、判定部１７４は、検索対象ポインタを、表示リストのPTS「t0」に設定する。

ステップＳ６３において、判定部１７４は、検索リストに記述されている、検索対象ポインタが設定されたPTS以降の検索時間間隔TLごとのPTSにおける特徴量と、検索条件における特徴量の閾値とに基づいて、上述した式(1-1)または(1-2)により差分c(i,t)を求める。

なお、例えば、検索情報が種類「人間の声」を表す場合、差分c(i,t)は、PTS「t」におけるパワーw(t)と閾値WHを用いて、以下の式（３）により求められる。

c(i,t)=ΔWU(t)=w(t)-WH
・・・（３）

また、検索情報が種類「子供や女性の声」を表し、検索条件ポインタが「ピッチが閾値PHを超え続ける継続時間TPHが閾値TPHSH以上である」という条件に設定されている場合、差分c(i,t)は、PTS「t」におけるピッチp(t)と閾値PHを用いて、以下の式（４）により求められる。

c(i,t)=ΔPU(t)=p(t)-PH
・・・（４）

さらに、検索情報が種類「男性の声」を表し、検索条件ポインタが「ピッチが閾値PLを下回り続ける継続時間TPLが閾値TPLSH以上である」という条件に設定されている場合、差分c(i,t)は、PTS「t」におけるピッチp(t)と閾値PLを用いて、以下の式（５）により求められる。

c(i,t)=ΔPL(t)=PL-p(t)
・・・（５）

また、検索情報が種類「無音」を表す場合、差分c(i,t)は、PTS「t」における単位時間当たりのゼロ交差数z(t)と閾値ZHを用いて、以下の式（６）により求められる。

c(i,t)=ΔZU(t)=z(t)-ZH
・・・（６）

さらに、検索情報が種類「無音以外」を表す場合、差分c(i,t)は、PTS「t」における単位時間当たりのゼロ交差数z(t)と閾値ZLを用いて、以下の式（７）により求められる。

c(i,t)=ΔZL(t)=ZL-z(t)
・・・（７）

ステップＳ６４において、判定部１７４は、検索対象ポインタが設定されたPTSから、ステップＳ６３により求められた差分c(i,t)が0を超え続ける時間に基づいて、検索対象ポインタが設定されたPTSにおける特徴量が検索条件を満たしているかどうか、即ち、その時間が検索条件を満たす継続時間の範囲内であるかどうかを判定する。

ステップＳ６４で検索条件を満たしていると判定された場合、判定部１７４は、検索条件を満たす旨を表す情報と、検索対象ポインタが設定されたPTSにおける差分c(i,t)を算出部１７５に供給するとともに、継続時間の長さと継続時間中の特徴量の平均値を表示リスト作成部１７６に供給する。

そして、ステップＳ６５において、算出部１７５は、設定部１７２から供給される重み、並びに、判定部１７４から供給される検索条件を満たす旨を表す情報および検索対象ポインタが設定されたPTSにおける差分c(i,t)に基づいて、上述した式（２）により評価値s(t)を算出する。

また、算出部１７５は、算出した評価値s(t)を表示リスト作成部１７６に供給する。ステップＳ６６において、表示リスト作成部１７６は、判定部１７４から供給される継続時間の長さおよび継続時間中の特徴量の平均値、並びに、算出部１７５から供給される評価値s(t)に基づいて、表示リストを更新する。

具体的には、表示リスト作成部１７６は、検索対象ポインタが設定されたPTSに対応する項目「継続時間長」の情報として、判定部１７４からの継続時間の長さを記述し、項目「継続時間中の特徴量の平均値」の情報として、判定部１７４からの継続時間中の特徴量の平均値を記述する。また、表示リスト作成部１７６は、検索対象ポインタが設定されたPTSに対応する項目「評価値」の情報として、算出部１７５からの評価値s(t)を記述する。さらに、表示リスト作成部１７６は、項目「評価値」に対応する情報としての評価値s(t)が大きい順に、表示順がなるように、項目「表示用リンク先」に対応する情報を変更する。

例えば、表示リストにおいて、最大の評価値s(t)が、チャプタ番号が「G1」であるチャプタのPTS「t6」における評価値「e6」である場合、表示リスト作成部１７６は、図１１に示したように、項目「チャプタ番号」の情報「リンク先頭」に対応する項目「表示用リンク先」の情報として「G1,t6」を記述する。また、次に大きい評価値s(t)が、チャプタ番号が「G0」であるチャプタのPTS「t2」における評価値「e2」である場合、表示リスト作成部１７６は、図１１に示したように、項目「チャプタ番号」の情報「G1」と項目「チャプタ内でのPTS」の情報「t6」に対応する項目「表示用リンク先」の情報として、「G0,t2」を記述する。

さらに、次に大きい評価値s(t)が、チャプタ番号が「Gu」であるチャプタのPTS「tm」における評価値「em」である場合、表示リスト作成部１７６は、図１１に示したように、項目「チャプタ番号」の情報「G0」と項目「チャプタ内でのPTS」の情報「t2」に対応する項目「表示用リンク先」の情報として、「Gu,tm」を記述する。また、次に大きい評価値である最小の評価値s(t)が、チャプタ番号が「G0」であるチャプタのPTS「t0」における評価値「t0」である場合、表示リスト作成部１７６は、図１１に示したように、項目「チャプタ番号」の情報「Gu」と項目「チャプタ内でのPTS」の情報「tm」に対応する項目「表示用リンク先」の情報として、「G0,t0」を記述する。

また、表示リスト作成部１７６は、図１１に示したように、項目「チャプタ番号」の情報「G0」と項目「チャプタ内でのPTS」の情報「t0」に対応する項目「表示用リンク先」の情報として、表示順の最後を表す「0」を記述する。

一方、ステップＳ６４で検索条件を満たしていないと判定された場合、ステップＳ６７において、判定部１７４は、検索対象ポインタが設定されたPTSと、それに対応する項目「表示用リンク先」、項目「継続時間長」、項目「継続時間中の特徴量の平均値」、および項目「評価値」の情報を、表示リスト作成部１７６に保持されている表示リストから削除する。

ステップＳ６６またはＳ６７の処理後、ステップＳ６８において、判定部１７４は、検索対象ポインタが表示リストの最後のPTSに設定されているかどうかを判定する。ステップＳ６８で検索対象ポインタが表示リストの最後のPTSに設定されていないと判定された場合、ステップＳ６９において、判定部１７４は、検索対象ポインタを次のPTSに設定する。そして、処理はステップＳ６３に戻り、上述した処理が繰り返される。

また、ステップＳ６８において検索対象ポインタが表示リストの最後のPTSに設定されていると判定された場合、ステップＳ７０において、判定部１７４は、条件ポインタが、設定部１７４により設定された検索条件のうちの最後の検索条件に設定されているかどうかを判定する。ステップＳ７０で、条件ポインタが最後の検索条件に設定されていないと判定された場合、ステップＳ７１において、判定部１７４は、条件ポインタを次の検索条件に設定する。そして、処理はステップＳ６２に戻り、上述した処理が繰り返される。

なお、上述した説明では、ユーザが、選択画面１９０において音声の種類を選択することにより、閾値、検索条件、および重みの値を設定したが、ユーザが、これらを直接入力することにより設定するようにしてもよい。この場合、ユーザは、閾値、検索条件、および重みの値の入力を繰り返すことにより、ユーザ自身で閾値、検索条件、および重みの値を調整しながら検索を繰り返し行うことができるので、より適切なシーンに対応するVI画像をインデックス画面２１０に表示することができる。

また、閾値、検索条件、および重みの値からなる予め決められたグループの１つまたは組み合わせをユーザが指定することにより、閾値、検索条件、および重みの値を設定するようにしてもよい。

さらに、検索情報が種類「無音」を表す場合、検索条件として、「単位時間当たりのパワーが閾値WLを下回り続ける継続時間TWLが閾値TWLSH以上である」という条件が設定されるようにしてもよい。この場合、差分c(i,t)は、PTS「t」における単位時間当たりのパワーw（t）と閾値WLを用いて、以下の式（８）により求められる。

c(i,t)=ΔWL(t)=WL-w(t)
・・・（８）

また、上述した説明では、図１６の検索処理の開始時に、検索リストに基づいて表示リストが作成されたが、最初の検索処理時にのみ検索リストに基づいて表示リストを作成し、以降の検索処理時には、保持している表示リストを初期状態として用いてもよい。この場合、ユーザは、選択画面１９０において音声の種類の選択を繰り返すことにより、絞込み検索を行うことができる。

さらに、上述した説明では、検索時間間隔TLごとの特徴量の平均値と閾値との差分c(i,t)が0を超え続ける時間と、検索条件を満たす継続時間の範囲とを比較することによって検索時間間隔TL単位で検索を行ったが、図１０の検索リストの項目「単位時間当たりのゼロ交差数のレンジ」、「単位時間当たりのパワーのレンジ」、または「ピッチのレンジ」に対応する情報である範囲の最低値または最高値と閾値との差分が0を超え続ける時間と、検索条件を満たす継続時間の範囲とを比較することによって、チャプタ単位で検索を行うようにしてもよい。この場合、短時間で検索を行うことができる。

また、上述した説明では、選択画面１９０において、１つの音声の種類が選択されるものとしたが、複数の音声の種類が選択されるようにしてもよい。

本発明は、例えばカムコーダに適用することができる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のカムコーダの記録ブロックの構成の一例を示すブロック図である。 従来のカムコーダの再生ブロックの構成の一例を示すブロック図である。 記録装置の一実施の形態の構成例を示すブロック図である。 図３の特徴量抽出部の詳細構成例を示すブロック図である。 特徴量リストのフォーマットの例を示す図である。 図３の記録装置による記録処理について説明するフローチャートである。 本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。 図７の検索部の詳細構成例を示すブロック図である。 選択画面の例を示す図である。 検索リストのフォーマットの例を示す図である。 表示リストのフォーマットの例を示す図である。 インデックス画面の例を示す図である。 インデックス画面の例を示す図である。 図７の再生装置による表示処理について説明するフローチャートである。 図７の再生装置による表示処理について説明するフローチャートである。 図１５の検索処理について説明するフローチャートである。

符号の説明

４５ VI画像生成部， １５０ 再生装置， １５６ 選択部， １７４ 判定部， １７５ 算出部

Claims (7)

1. 音声付き画像を検索する検索装置において、
   前記音声付き画像の音声の特徴量が、第１の閾値を超えるまたは下回るという条件を満たすかどうかを判定する判定手段と、
   前記特徴量が前記条件を満たすと判定された場合、その特徴量と前記第１の閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出する算出手段と、
   算出された前記評価値に基づいて、前記音声に対応する音声付き画像の画像を表示させる表示制御手段と
   を備える検索装置。
2. 前記算出手段は、前記条件が複数ある場合、前記条件ごとの重みを用いた前記差分の加重平均値を、前記評価値として算出する
   請求項１に記載の検索装置。
3. 前記特徴量は、所定の時間間隔で抽出され、
   前記判定手段は、前記時間間隔の整数倍の時間に抽出された特徴量の平均値が、前記条件を満たすかどうかを判定する
   請求項１に記載の検索装置。
4. 前記判定手段は、前記音声付き画像の音声の特徴量が第１の閾値を超え続けるまたは下回り続ける継続時間が、第２の閾値以上または以下であるという条件を満たすかどうかを判定する
   請求項１に記載の検索装置。
5. 前記特徴量は、前記音声のゼロ交差数、パワー、およびピッチの少なくとも１つである
   請求項１に記載の検索装置。
6. 前記音声付き画像の画像を縮小した縮小画像を生成する生成手段
   をさらに備え、
   前記表示制御手段は、前記評価値が大きい順に、前記音声に対応する縮小画像を並べて表示させる
   請求項１に記載の検索装置。
7. 音声付き画像を検索する検索装置の検索方法において、
   前記音声付き画像の音声の特徴量が、所定の閾値を超えるまたは下回るという条件を満たすかどうかを判定し、
   前記特徴量が前記条件を満たすと判定された場合、その特徴量と前記閾値との差分に基づいて、その特徴量に対応する音声付き動画像に対する評価値を算出し、
   算出された前記評価値に基づいて、前記音声に対応する音声付き画像の画像を表示させる
   ステップを含む検索方法。

Images