JP2008109289A - データベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置 - Google Patents

Abstract

【課題】本発明は、映像コンテンツに対応付ける内容文字情報のデータベースを容易に作成することができる。
【解決手段】本発明は、撮像データを代表する代表画像データＤＰｒとして、撮像データから一部の画像データを選出すると共に、代表画像データＤＰｒに基づく代表画像５１を表示装置に表示させ、当該代表画像５１に対応する画像テキスト情報ＴＸをユーザに入力させる。さらに輝度を用いた抽出手法に従って代表画像データＰＤｒから抽出された代表特徴情報ＤＳｒと、画像テキスト情報ＴＸとを対応付けて登録することにより、記録済撮像データのような任意の映像コンテンツから代表特徴情報ＤＳｒと同一の抽出方法に従って抽出された入力映像特徴データＴＳを用いて記録済撮像データが有する画像に対応する内容文字情報ＴＸｃを取得させるための画像テキストデータベース４２を生成するようにする。
【選択図】図９

Description

本発明は、データベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置に関し、例えばビデオカメラの撮像データや地上ディジタル放送番組などの各種映像データを記録するハードディスクレコーダに適用して好適なものである。

従来、ハードディスクレコーダにおいては、テレビジョン放送番組を録画するだけでなく、当該テレビジョン放送番組を管理する管理リストを自動的に作成し、タイトル及び内容を表すテキスト情報などを当該管理リストに登録すると共に、一覧表示やテレビジョン放送番組の検索などに利用するようになされたものがある。

このようなハードディスクレコーダでは、例えば地上波ディジタル放送で配信される放送信号からテレビジョン放送番組の配信予定やタイトル、内容などを表すＥＰＧ（Electric Program Guide）情報をテキスト情報として取得するようになされている。

また、ハードディスクレコーダの中には、インターネット等などを介して配信されるストリーミングコンテンツを管理する管理リストに登録して検索などに利用することを目的として、ストリーミングコンテンツが有するテキスト情報を取得するようになされたものが提案されている（例えば、特許文献１参照）。
特開２００３−３６２５９公報

ところでハードディスクレコーダは、映像コンテンツとして地上波ディジタル放送番組やストリーミングコンテンツだけでなく、例えばビデオカメラで撮像された撮像データや、ユーザ自身が編集した編集データなどのプライベートデータも記録することができるようになされている。このプライベートデータは、タイトルや内容を表すテキスト情報などが付加されていないため、プライベートデータの内容を表すテキスト情報を取得することができないという問題があった。

本発明は以上の点を考慮してなされたもので、映像コンテンツに対応付ける内容文字情報のデータベースを容易に作成し得るデータベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置を提案しようとするものである。

かかる課題を解決するため本発明においては、動画コンテンツを代表する代表画像として、動画コンテンツから一部の画像を選出し、代表画像を表示装置に表示させ、代表画像に対応する画像テキスト情報をユーザに入力させ、所定の抽出手法に従って代表画像から抽出された代表特徴情報と操作入力ステップにおいて入力された画像テキスト情報とを対応付けて登録することにより、任意の映像コンテンツから抽出手法に従って抽出された画像ごとの任意映像特徴情報を用いて任意の映像コンテンツが有する画像に対応する内容文字情報を取得するためのデータベースを生成するようにした。

これにより、ユーザに対し、表示された代表画像に対応する画像テキスト情報を入力させるだけの簡易な作業を実行させるだけでデータベースを作成することができる。

また本発明の映像コンテンツ記録装置においては、動画コンテンツを記録する記録部と、動画コンテンツを代表する代表画像として、動画コンテンツから一部の画像を選出する代表画像選出部と、代表画像を表示装置に表示させる表示処理部と、代表画像に対応する画像テキスト情報をユーザに入力させる操作入力部と、所定の抽出手法に従って代表画像から抽出された代表特徴情報と操作入力ステップにおいて入力された画像テキスト情報とを対応付けて登録することにより、任意の映像コンテンツから抽出手法に従って抽出された画像ごとの任意映像特徴情報を用いて任意の映像コンテンツが有する画像に対応する内容文字情報を取得するためのデータベースを生成するデータベース生成部とを設けるようにした。

これにより、ユーザに対し、表示された代表画像に対応する画像テキスト情報を入力させるだけの簡易な作業を実行させるだけでデータベースを作成することができる。

本発明によれば、これにより、ユーザに対し、表示された代表画像に対応する画像テキスト情報を入力させるだけの簡易な作業を実行させるだけでデータベースを作成することができ、かくして映像コンテンツに対応付ける内容文字情報のデータベースを容易に作成し得るデータベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置を実現できる。

以下、図面について、本発明の一実施の形態を詳述する。

（１）ハードディスクレコーダの全体構成
図１において１は、全体としてハードディスクレコーダを示し、図示しないビデオカメラから入力される映像コンテンツとしての撮像データを記録したり、地上波ディジタル放送のテレビジョン放送番組を受信して録画し得るようになされている。

このハードディスクレコーダ１では、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成される制御部２がハードディスクレコーダ１の全体を統括的に制御するようになされている。制御部２は、ＲＯＭ又はハードディスクドライブ４に格納されている基本プログラムやデータベース生成プログラム、タイトル候補表示プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述するテキストデータベース生成処理、タイトル候補表示処理を実行するようになされている。

このハードディスクレコーダ１は、外部のリモートコントローラ３０の操作によりユーザから各種要求がなされた場合、このリモートコントローラ３０によって生成された操作信号をリモートコントローラインターフェース１０を介して取得し、これを制御部２へ供給するようになされている。

例えば、外部インターフェース１１に接続されたビデオカメラ（図示せず）が有する撮像データを記録する旨の記録要求を表す操作信号がリモートコントローラインターフェース１０から供給されると、制御部２は、撮像データの記録処理を実行する。

すなわち制御部２は、外部インターフェース１１を介してビデオカメラ（図示せず）から入力される入力撮像データを記録済撮像データとしてハードディスクドライブ４に記録する。このとき制御部２は、この記録済撮像データにシリアル番号などでなる撮像データＩＤを付加する。

さらに制御部２は、撮像データＩＤに関連付けて、撮像データに付加されている例えば撮像された日時や編集された日時などを表す撮像日時情報と、外部インターフェース１１が有する入力端子のうち、いずれの入力端子から入力されたかを表す入力情報とを登録することにより、管理リストとしての撮像データ管理リスト４３（詳しくは後述する）を作成し、これをフラッシュメモリ５に記録する。

また、ハードディスクドライブ４に記録されている記録済撮像データを再生する旨の再生要求を表す操作信号がリモートコントローラインターフェース１０から供給されると、制御部２は、記録済撮像データの再生処理を実行する。

すなわち、制御部２は、ハードディスクドライブ４からユーザの指定した記録済撮像データを読み出すと共に、記録済撮像データのうち、映像データである再生映像データを映像デコーダ１２へ、音声データを音声デコーダ１３へ送出する。

制御部２は、再生映像データを映像デコーダ１２によって所定の復号方式に従って復号し、この復号された再生映像信号ＤＰに対して映像信号処理回路１４によってアナログ信号への変換処理やミキシング処理等を実行し、これを映像出力端子１６へ送出する。この結果、制御部２は、映像出力端子１６に接続された図示しない表示装置に再生映像信号ＤＰに基づく映像を表示させる。

また制御部２は、音声データを音声デコーダ１３によって所定の復号方式に従って復号し、この復号された音声信号をディジタルアナログ変換器１５によってアナログ信号へ変換し、音声出力端子１７へ送出する。この結果、制御部２は、音声出力端子１７に接続された図示しないスピーカからこの音声データに基づく音声を出力させる。

このように、ハードディスクレコーダ１は、外部インターフェース１１から入力される撮像データなどの映像コンテンツを記録及び再生するようになされている。

さらに、現在放送中のテレビジョン放送番組を録画する旨の録画要求を表す操作信号がリモートコントローラインターフェース１０から供給されると、制御部２は、現在放送中のテレビジョン放送番組を受信すると共に当該テレビジョン放送番組の録画処理を実行する。

すなわち、制御部２は、選局された周波数帯域のディジタル放送信号をチューナ２１によって選択して受信し、当該ディジタル放送信号を復調器２２へ送出する。制御部２は、このディジタル放送信号を復調器２２によって復調し、この復調されたディジタル放送信号のスクランブルをデスクランブラ２３によって解除し、このスクランブルを解除されたディジタル放送信号を多重分離器２４によって放送映像データ、音声データ及びＥＰＧ情報のパケットに分離する。そして制御部２は、放送映像データ及び音声データを録画済番組としてハードディスクドライブ４に記録する。

さらに制御部２は、録画処理を終了する際、内部時計２５から取得されるテレビジョン放送番組の録画日時、ＥＰＧ（Electric Program Guide）情報から抽出された録画済番組のタイトル情報、録画済番組の内容を表す番組テキスト情報等を登録することにより、録画済番組管理リストを作成し、これをフラッシュメモリ５に記録する。

また、ハードディスクドライブ４に記録された録画済番組の一覧を表示する旨の表示要求を表す操作信号がリモートコントローラインターフェース１０から供給されると、制御部２は、フラッシュメモリ５から録画済番組管理リストを読み出すと共に、当該録画済番組管理リストに基づく画像データを生成し、これを映像デコーダ１２へ送出する。この結果、制御部２は、記録済撮像データの再生処理と同様の処理によってこの録画済番組管理リストに基づく番組一覧表を表示装置（図示せず）に表示させる。

このようにハードディスクレコーダ１は、外部インターフェース１１を介して入力される撮像データの記録処理及び再生処理に加えて、放送中のテレビジョン放送番組を記録済番組として録画すると共に、ユーザの要望に応じて、ＥＰＧ情報を用いて自動的に生成した録画済番組管理リストに基づき録画済番組管理リストのタイトル情報などを含む番組一覧表を表示装置に表示させ得るようになされている。

（２）画像テキストデータベースの生成
ところで、上述したように外部インターフェース１１を介して入力される撮像データには撮像データのタイトルや内容を表すテキスト情報が付加されていないため、従来のハードディスクレコーダでは、撮像データが記録された段階で、記録済撮像データの内容を表すようなタイトルや撮像データの内容を示唆するようなテキスト情報を撮像データ管理リスト４３に自動的に登録することができなかった。

ここで一般的に、撮像データなどの映像データから画像の特徴を表す特徴情報を抽出する様々な技術が知られており、この特徴情報を用いて画像間の類似性を判断することができる手法が提案されている。複数の画像が互いに類似している場合、これらの画像が表す内容はほぼ同一であると考えられることから、一の画像の内容を表すテキスト情報は、類似すると判断された他の画像に対する内容をも表している可能性が高いと考えられる。

従ってハードディスクレコーダ１は、仮に画像の特徴情報に対応する画像テキスト情報が登録されたデータベースを有していれば、当該特徴情報を用いて当該記録済画像データが有する画像と類似する画像をデータベースから検出し、検出された画像の特徴情報に対応する画像テキスト情報を記録済撮像データの内容を示唆する内容文字情報として利用できると考えられる。

そこで本実施の形態におけるハードディスクレコーダ１は、画像の特徴情報に対応する画像テキスト情報ＴＸが登録された画像テキストデータベース４２を生成するようになされている。次に、この画像テキストデータベース４２を生成するデータベース生成処理について説明する。このデータベース生成処理においてハードディスクレコーダ１の制御部２は、データベース生成プログラムを実行することにより図２に示すような機能ブロックを実現するようになされている。

ハードディスクレコーダ１は、例えばハードディスクドライブ４（図１）に記録された記録済撮像データの再生処理を実行する際に、再生処理と並行してデータベースの生成処理を実行するようになされている。

すなわちハードディスクレコーダ１の制御部２は、映像デコーダ１２によって復号化された再生映像信号ＤＰを映像信号処理回路１４に供給させ、この再生映像信号ＤＰに基づく画像を表示装置（図示せず）に表示させると共に、図２に示すように再生映像信号ＤＰを制御部２の画像解析部３１及び代表画像選出部３３に供給させる。

画像解析部３１は、記録済撮像データを構成する各フレーム画像の特徴を表す特徴情報として、再生映像信号ＤＰから再生映像特徴データＤＳを抽出し、これを識別子付加部３２及び代表画像選出部３３に供給する。

すなわち画像解析部３１は、再生映像信号ＤＰが供給されると、例えば再生映像信号ＤＰが有する各フレーム画像を５×５の２５の領域に分割し、この領域ごとに輝度信号（Ｙ信号）のＤＣＴ（Discrete Cosine Transform）係数を算出する。そして２５の領域に対応するＤＣ係数を２５次のベクトルとして表し、これをフレーム画像単位ごとの再生映像特徴データＤＳとする。

識別子付加部３２は、撮像データに固有の撮像データＩＤに対して例えば通し番号を付加して特徴情報識別子Ｔｉｄを生成し、再生映像特徴データＤＳに当該特徴情報識別子Ｔｉｄを付加すると、これらをフラッシュメモリ５の特徴データ記録部４１に供給すると共に、図示しないＲＡＭに一時記録する。

特徴データ記録部４１は、特徴情報識別子Ｔｉｄの付加された再生映像特徴データＤＳが供給されると、この特徴情報識別子Ｔｉｄと再生映像特徴データＤＳとを関連付けた状態で、全ての再生映像特徴データＤＳを蓄積特徴データＤＳａとして記録する。

一方代表画像選出部３３は、画像解析部３１から供給される再生映像特徴データＤＳから代表特徴データＤＳｒを選出して識別子特定部３４に送出する。

すなわち代表画像選出部３３は、例えば前後２つの再生映像特徴データＤＳ間におけるベクトルとしての距離（以下、これを前後間距離と呼ぶ）を算出し、この前後間距離が所定のシーンチェンジ閾値以上となる再生映像特徴データＤＳの組み合わせを検出する。

このとき代表画像選出部３３は、前後間距離がシーンチェンジ閾値以上となる再生映像特徴データＤＳの組み合わせを検出すると、前後２つの特徴データのうち、後ろの再生映像特徴データＤＳの元となるフレーム画像が前の再生映像特徴データＤＳの元となるフレーム画像からシーンチェンジしたと判断し、この後ろの再生映像特徴データＤＳを代表特徴データＤＳｒとする。

ここで一般的に、撮像データのような動画コンテンツは、類似する画像ごとのブロックによって構成されている。従って、代表画像選出部３３は、シーンチェンジを検出することにより、各ブロックを代表する画像から抽出された再生映像特徴データＤＳを代表特徴データＤＳｒとすることができる。

識別子特定部３４は、代表画像選定部３３から代表特徴データＤＳｒが供給されると、特徴情報識別子Ｔｉｄが付加された再生映像特徴データＤＳと代表特徴データＤＳｒとを照合し、代表特徴データＤＳｒと合致した再生映像特徴データＤＳの特徴情報識別子Ｔｉｄを、代表特徴データＤＳｒの特徴情報識別子Ｔｉｄ（以下、これを代表特徴情報識別子Ｔｉｄｒと呼ぶ）として特定し、これをテキスト付加部３５及び代表画像選出部３３に送出する。

そして記録済撮像データの再生処理が終了すると、代表画像選出部３３は、代表特徴情報識別子Ｔｉｄｒを用いて代表特徴データＤＳｒの抽出元となった再生映像特徴データＤＳ（以下、これを代表画像データＰＤｒと呼ぶ）を特定し、図示しないＲＯＭから読み出された画像データに対してこの代表画像データＰＤｒを重畳することにより、テキスト入力画像データＰＤｎを生成し、これを映像信号処理回路１４に送出する。

この結果図３に示すように、ハードディスクレコーダ１は、図示しない表示装置にテキスト入力画面５０を表示させ得るようになされている。

このテキスト入力画面５０では、代表画像データＰＤｒに基づく代表画像５１が表示されると共に、例えば「画像の内容を示す言葉を入力してください」と表示されることにより、ユーザにテキスト入力画面５０の下部分に表示されたテキスト入力欄５２に代表画像５１に対応する画像テキスト情報ＴＸを入力させるようになされている。

このときテキスト入力画面５０では、右部分に表示された３つのボタンの内、一番上のキーボードボタン５３にカーソルを配置しており、カーソルが配置されたキーボードボタン５３を他のボタンとは異なる色で表示している。

ここで、キーボードボタン５３にカーソルが配置された状態でリモートコントローラ３０の図示しない決定ボタンが押下されると、図４に示すように代表画面選出部３３は、図示しないＲＯＭから読み出した画像データに基づいて、キーボード画面６０を表示装置に表示させる。

キーボード画面６０には、テキスト入力画面５０と同様に下部分にテキスト入力欄５２が表示されると共に、戻るボタン６１若しくは平仮名が５０音順に一覧表示されたキーボードボタン群６２のいずれかにカーソルが配置されている。

代表画面選出部３３（図２）は、リモートコントローラ３０（図１）の図示しない矢印ボタン及び決定ボタンを用いてユーザにキーボードボタン群６２のいずれかのボタンを選択させることにより、ユーザに代表画像５１と対応する画像テキスト情報ＴＸを入力させ得るようになされている。

また代表画面選出部３３は、キーボード画面６０の戻るボタン６１にカーソルが配置された状態でリモートコントローラ３０の決定ボタンが押下されると、表示装置にテキスト入力画面５０（図３）を再度表示させる。

そしてリモートコントローラ３０の図示しない矢印ボタンが押下されることにより、リモートコントローラインターフェース１０から操作信号が供給されると、代表画面選出部３３は、キーボードボタン５３に配置されていたカーソルを決定ボタン５４、中止ボタン５５に順次移動させる。

ここで、決定ボタン５４にカーソルが配置された状態でリモートコントローラ３０（図１）の図示しない決定ボタンが押下されると、制御部２（図２）は、入力された画像テキスト情報ＴＸをテキスト付加部３５に供給する。

テキスト付加部３５は、ユーザによって入力された画像テキスト情報ＴＸと、識別子特定部３４から供給される代表特徴情報識別子Ｔｉｄｒとを、フラッシュメモリ５の画像テキストデータベース４２（図２）に登録する。

これにより図５に示すように、制御部２は、代表特徴情報識別子Ｔｉｄｒと画像テキスト情報ＴＸとが対応付けられて登録された画像テキストデータベース４２を生成することができ、この画像テキストデータベース４２を使用することにより、データベース生成処理と同様の抽出手法によって任意の映像コンテンツから抽出された特徴情報を用いて当該映像コンテンツに対応する内容文字情報を取得し得るようになされている。

一方、中止ボタン５５（図３）にカーソルが配置された状態でリモートコントローラ３０の図示しない決定ボタンが押下されると、制御部２は、データベース生成処理を中止する。

これによりハードディスクレコーダ１は、ユーザの気分に応じてデータベース生成処理の実行の可否を決定させることができるため、ユーザに画像テキスト情報ＴＸの入力を強要することなく、ユーザに画像テキスト情報ＴＸの入力を鬱陶しいと感じさせることを防止することができる。

なお、代表画像選出部３１は、再生映像特徴データＤＳのうち、人物や物体のようなテキスト情報に対応しやすい画像に対応する再生映像特徴データＤＳを選出し、この中から代表特徴データＤＳｒを選定するようにすることができる。この場合、代表画像選出部３１は、代表画像５１のうち、人物や物体に相当する領域のみを周囲よりも明るく表示することにより、ユーザに当該人物や物体に対応する内容を入力することを理解させやすくでき、ユーザに代表画像５１の内容を表す画像テキスト情報ＴＸを的確に入力させ得るようになされている。

このように、ハードディスクレコーダ１は、再生処理と並行して再生映像信号ＤＰから再生映像特徴データＤＳを抽出して特徴データ記録部４１に記録すると共に、当該再生映像特徴データＤＳの中から各シーンを代表する代表画像データＤＰｒを選出する。そしてハードディスクレコーダ１は、再生処理の終了後に代表画像データＤＰｒに基づく代表画像５１を表示装置に表示させて、代表画像データＤＰｒに対応する画像テキスト情報ＴＸをユーザに入力させると共に、代表画像データＤＰｒに対応する代表特徴情報識別子Ｔｉｄｒとこの画像テキスト情報ＴＸとを関連付けて登録することにより、画像に対応する内容文字情報を取得するための画像テキストデータベース４２を生成し得るようになされている。

（３）タイトル候補の表示
次に、上述した画像テキストデータベース４２を用いて実行されるタイトル候補表示処理（タイトル候補取得処理及び一覧画面表示処理）について説明する。このタイトル候補表示処理においてハードディスクレコーダ１の制御部２は、タイトル候補表示プログラムを実行することにより図６に示す機能ブロックを実現するようになされている。

（３−１）タイトル候補の取得
ハードディスクレコーダ１の制御部２は、ビデオカメラなどの外部機器から入力される入力撮像データに対する記録処理の際、並行してタイトル候補取得処理を実行するようになされている。

すなわち制御部２は、外部インターフェース１１（図１）を介して入力される入力撮像データをハードディスクドライブ４（図１）に記録すると共に、入力撮像データのうち、映像デコーダ１２によって復号化された入力映像信号ＴＰを画像解析部３１に供給させる。

画像解析部３１は、データベース生成処理のときと同様の処理によって入力映像信号ＴＰからフレーム画像ごとの入力映像特徴データＴＳを抽出し、これを特徴データ照合部６２に供給する。

特徴データ照合部６２は、入力映像特徴データＴＳが供給されると、画像テキスト情報ＴＸが関連付けられている蓄積特徴データＤＳａのうち、当該入力映像特徴データＴＳに対して最小距離を有する蓄積特徴データＤＳａを選定する。

具体的に、特徴データ照合部６２は、フラッシュメモリ５の特徴データ記録部４１に記録されている蓄積特徴データＤＳａと入力映像特徴データＴＳとを照合し、入力映像特徴データＴＳとの距離が小さい順に例えば２０個の蓄積特徴データＤＳａを検出する。そして特徴データ照合部６２は、検出された蓄積特徴データＤＳａが画像テキストデータベース４２に登録されている否かを判別する。

ここで特徴データ照合部６２は、検出された蓄積特徴データＤＳａの特徴情報識別子Ｔｉｄと画像テキストデータベース４２の代表特徴情報識別子Ｔｉｄｒとを照合し、検出された蓄積特徴データＤＳａの中に画像テキストデータベース４２に登録されているものが存在する場合には、登録された蓄積特徴データＤＳａのうち、入力映像特徴データＴＳとの距離が最小となる蓄積特徴データＤＳａを最小蓄積特徴データＤＳａｎとして選出する。

さらに特徴データ照合部６２は、最小蓄積特徴データＤＳａｎと入力映像特徴データＴＳとの距離が所定の類似閾値以下であるか否かを判別し、最小蓄積特徴データＤＳａｎと入力映像特徴データＴＳとの距離が所定の類似閾値未満であった場合には、入力映像特徴データＴＳに基づくフレーム画像が最小蓄積特徴データＤＳａｎに基づくフレーム画像と類似していると判断し、この最小距離蓄積特徴データＤＳａｎが有する代表特徴情報識別子Ｔｉｄｒをテキスト取得部６３に送出する。

テキスト取得部６３は、代表特徴情報識別子Ｔｉｄｒに対応する画像テキスト情報ＴＸを画像テキストデータベース４２から取得すると、これらを内容文字情報ＴＸｃとして図示しないＲＡＭに一時的に記録すると共に、現在の入力映像特徴データＴＳについての処理を終了し、次の入力映像信号ＴＰに基づく入力映像特徴データＴＳの生成を開始する。このときテキスト取得部６３は、同一の内容文字情報ＴＸｃが複数回に渡って取得された場合には、その取得回数をカウントするようにする。

そして制御部２は、記録処理中の入力撮像データが有する全ての記録映像データＴＳに対して内容文字情報ＴＸｃを取得する一連の処理を終了すると、テキスト取得部６３は、ＲＡＭに一時記録した内容文字情報ＴＸｃのうち、画像テキストデータベース４２から取得された回数の多い順から例えば１０個の内容文字情報ＴＸｃを選定し、図７に示すように、撮像データ管理リスト４３に登録する。

これにより、制御部２は、入力撮像データにおける撮像時間が比較的長く、入力撮像データ占める割合の高いフレーム画像を表す内容文字情報ＴＸｃを選定し、これらをタイトル候補テキストＴＩとするため、記録処理の終了した記録済撮像データの内容を示唆している可能性が比較的高い内容文字情報ＴＸｃをタイトル候補テキストＴＩとして登録し得るようになされている。

一方、特徴データ照合部６２は、検出された蓄積特徴データＤＳａの特徴情報識別子Ｔｉｄと画像テキストデータベース４２の代表特徴情報識別子Ｔｉｄｒとを照合した際、検出された蓄積特徴データＤＳａの中で画像テキストデータベース４２に登録されているものが存在しなかった場合には、現在の入力映像特徴データＴＳについての処理を終了し、次の入力映像信号ＴＰに基づく入力映像特徴データＴＳの生成を開始する。

また、特徴データ照合部６２は、最小蓄積特徴データＤＳａｎと入力映像特徴データＴＳとの距離が所定の類似閾値を超えると判別した場合には、入力映像特徴データＴＳに基づくフレーム画像が最小蓄積特徴データＤＳａｎに基づくフレーム画像と類似していないため、現在の入力映像特徴データＴＳについての処理を終了し、次の入力映像信号ＴＰに基づく入力映像特徴データＴＳの生成を開始する。

このように、ハードディスクレコーダ１では、撮像データの記録処理の際に、入力映像信号ＴＰから入力映像特徴データＴＳを抽出し、画像テキストデータベース４２に登録された蓄積特徴データＤＳａのうち、この入力映像特徴データＴＳと最も近い最小蓄積特徴データＤＳａｎを特定し、最小蓄積特徴データＤＳｎａに対応する画像テキスト情報ＴＸを入力映像特徴データＴＳの抽出元となるフレーム画像の内容を表す内容文字情報ＴＸｃとして取得すると共に、当該内容文字情報ＴＸｃを記録済撮像データの内容を示唆するタイトル候補テキストＴＩとして登録するようにした。

これにより、ハードディスクレコーダ１では、ユーザに一切作業をさせることなく、記録済撮像データの内容を示唆するタイトル候補テキストＴＩを撮像データ管理リスト４３に登録し得るようになされている。

なお、ハードディスクレコーダ１は、撮像データの記録処理の際に、撮像データＩＤと、入力撮像データに付加されている撮像日時情報と、外部インターフェース１１のうち、どの入力端子を介して撮像データが入力されたかを表す入力情報とを、この撮像データ管理リスト４３（図７）に自動的に登録するようになされている。

また、ハードディスクレコーダ１は、撮像データの記録処理と並行してタイトル候補取得処理を実行することから、入力撮像データに対する記録処理が終了するのとほぼ同時に、撮像データ管理リスト４３に内容文字情報ＴＸｃを登録することができる。

従って入力撮像データに対する記録処理が終了した時点で、撮像データ管理リスト４３には、撮像データのタイトルが登録されるタイトル欄Ｃｔと、サムネイル画像として選出された画像が登録されるサムネイル欄Ｃｓが空白となり、撮像データＩＤ欄Ｃｉ、撮像日時情報欄Ｃｄ、タイトル候補欄Ｃａ、入力情報欄Ｃｅにはそれぞれ該当する情報が登録された状態となる。

（３−２）撮像データ一覧画面の表示
ハードディスクレコーダ１の制御部２（図１）は、指定された全ての撮像データについての撮像データの記録処理が終了したとき、又はユーザのリモートコントローラ３０の操作により撮像データ一覧画面７０を表示する旨の要求を表す操作信号がリモートコントローラインターフェース１０から供給されたときには、タイトル候補表示プログラムに従って一覧画面表示処理を実行するようになされている。

すなわち、制御部２のタイトル付加部６４（図６）は、撮像データ管理リスト４３に基づいて一覧画像データＤＬを生成し、これを映像信号処理回路１４に送出することにより、図８に示すように表示装置（図示せず）に撮像データ一覧画面７０を表示させる。

この撮像データ一覧画面７０には、撮像データ管理リスト４３に基づいて、撮像日時情報表示領域７２及び入力情報表示領域７３にそれぞれ撮像日時情報及び入力情報がそれぞれ表示されている。

また、撮像データ管理リスト４３（図７）にタイトルが登録されている場合には、タイトル表示領域７３に記録済撮像データのタイトルが表示される一方、タイトルが登録されていない場合には、タイトル表示領域７３は空白のままとなり、何も表示されないようになされている。

タイトル付加部６４は、撮像データ一覧画面７０の最上部に表示された記録済撮像データにカーソルを配置することにより、当該最上部の記録済撮像データを周囲の色から変化させて表示させている。そしてリモートコントローラ３０（図１）の矢印ボタン（図示せず）がユーザによって押下されたことにより、リモートコントローラインターフェース１０から操作信号が供給されると、タイトル付加部６４は、直下の記録済撮像データにカーソルを順次移動させるようになされている。

そしてタイトル付加部６４（図６）は、一の記録済撮像データにカーソルが配置されている状態で、リモートコントローラ３０（図１）の決定ボタン（図示せず）が押下されると、カーソルが配置されている記録済撮像データについてのタイトル候補テキストＴＩを、プルダウン方式によるサブ画面７５として表示すると共に、タイトル候補テキストＴＩの一つにカーソルを配置する。

またタイトル付加部６４は、タイトル候補取得処理の際に画像テキストデータベース４２から取得された回数の多い順に、サブ画面７５の最上からタイトル候補テキストＴＩを表示するようになされている。

これにより、ハードディスクレコーダ１は、記録済撮像データが有するフレーム画像の内容に対応する内容文字情報ＴＸｃとして取得された回数の多い順に、すなわち記録済撮像データが有する画像の中で、より多くの画像と対応する順にタイトル候補テキストＴＩを表示するため、記録済撮像データの内容を示唆している可能性の高いタイトル候補テキストＴＩをユーザに提示することができ、記録済撮像データをわざわざ再生することなく、記録済撮像データの内容を示唆するようなテキスト情報を表示装置に表示させることができる。

なお、サブ画面７５の右下部分に表示された▽印は、サブ画面７５のさらに下方向にタイトル候補テキストＴＩが存在することを表しており、タイトル付加部６４は、リモートコントローラ３０の下向きの矢印ボタンが押下されると、サブ画面７５をスクロールさせて下方向に存在するタイトル候補を表示する。

またタイトル付加部６４は、一のタイトル候補、例えば「富士山」にカーソルが配置された状態でリモートコントローラ３０の決定ボタンが押下されると、撮像データ管理リスト４３のタイトル欄Ｃｔにタイトル「富士山」を登録すると共に、撮像データ一覧画面７０のタイトル表示領域７３にタイトル「富士山」を表示するようになされている。

これにより、ハードディスクレコーダ１は、複数のタイトル候補の中から選択するだけの簡易な作業でユーザにタイトルを決定させることができ、ユーザにタイトルの手入力を強いることなく、簡易な作業で撮像データ管理リスト４２にタイトルを登録し得るようになされている。

ちなみにタイトル付加部６４は、タイトルとして「富士山」が選択された場合には、表示中の代表画像５１を有する記録済撮像データのうち、「富士山」と対応する画像を選択してサムネイル画像表示領域７１に表示するようになされている。

すなわちタイトル付加部６４は、表示されている記録済撮像データに基づいて「富士山」に対応付けられて登録された代表特徴情報識別子Ｔｉｄｒが存在する場合には、このうち一つの代表特徴情報識別子Ｔｉｄｒを画像テキストデータベース４２から選択し、これを撮像データ管理リスト４３のサムネイル欄Ｃｓに登録すると共に、当該代表特徴情報識別子Ｔｉｄｒに対応する画像をサムネイル画像として、サムネイル画像表示領域７１に表示する。

一方、タイトル付加部６４は、表示されている記録済撮像データに基づいて「富士山」に対応付けられて登録された代表特徴情報識別子Ｔｉｄｒが存在しない場合には、他の記録済撮像データに基づいて「富士山」に対応付けられた一の代表特徴情報識別子Ｔｉｄｒを選択し、この代表特徴情報識別子Ｔｉｄｒが表す蓄積特徴データＤＳａと最も類似する入力特徴抽出データＴＳを検出し、検出された入力特徴抽出データＴＳの特徴情報識別子Ｔｉｄを特定して撮像データ管理リスト４３のサムネイル欄Ｃｓに登録すると共に、当該代表特徴情報識別子Ｔｉｄｒに対応する画像をサムネイル画像として、サムネイル画像表示領域７１に表示する。

また、タイトル付加部６４は、撮像データ管理リスト４３にタイトルが設定されておらず、サムネイル欄Ｃｓに代表特徴情報識別子Ｔｉｄｒが登録されていない場合には、記録済撮像データにおける任意の画像（例えば最初のフレームの画像）をサムネイル画像表示領域７１に表示する。

これにより、タイトル付加部６４は、撮像データの内容を表すものとしてユーザが選定したタイトルに対応する代表画像データＰＤｒをサムネイル画像として表示させることができるため、撮像データの内容を表す画像をサムネイル画像表示領域７１に表示することができる。

また、タイトル付加部６４は、タイトル入力ボタン７６にカーソルが配置された状態でリモートコントローラ３０の決定ボタンが押下されると、キーボード画面６０（図４）を表示して、ユーザに任意のタイトルを入力させ得るようになされている。

これにより、タイトル付加部６４は、表示されたタイトル候補テキストＴＩを参考にユーザの好みに応じた自由なタイトルを入力させることができると共に、ユーザが表示されたタイトル候補テキストＴＩを気に入らなかったような場合であっても、記録済撮像データにユーザの好むタイトルを設定し得るようになされている。

このようにハードディスクレコーダ１は、撮像データ一覧画面を表示する際に、タイトル候補取得処理によって登録されたタイトル候補テキストＴＩをサブ画面７５に表示することにより、ユーザにこのタイトル候補テキストＴＩの中から撮像データのタイトルを選択させるようにした。

これにより、ハードディスクレコーダ１は、表示されたタイトル候補テキストＴＩの中から選択するだけの簡易な作業で記録済撮像データのタイトルをユーザに決定させることができ、撮像データ管理リスト４２へのタイトルの入力作業を簡易にし得るようになされている。

（４）画像テキストデータベース生成処理手順
次に、データベース生成プログラムに従って実行されるデータベース処理手順について、図９のフローチャートを用いて説明する。

ハードディスクレコーダ１の制御部２は、リモートコントローラ３０（図１）を介したユーザの操作に応じてハードディスクドライブ４に記録されている記録済撮像データに対する再生処理を開始すると、データベース処理手順ＲＴ１の開始ステップから入ってステップＳＰ１へ移り、映像デコーダ１２から供給される再生映像信号ＤＰに基づいて再生映像特徴データＤＳを生成し、次のステップＳＰ２へ移る。

ステップＳＰ２において、制御部２は、再生映像特徴データＤＳに特徴情報識別子Ｔｉｄを付加すると共に、これをフラッシュメモリ５の特徴データ記録部４１（図２）に記録すると、次のステップＳＰ３へ移る。

ステップＳＰ３において、制御部２は、例えばシーンチェンジの有無により、供給された再生映像特徴データＤＳが代表特徴データＤＳｒであるか否かについて判別し、否定結果が得られた場合、制御部２は、ステップＳＰ１へ戻り、次の撮像映像特徴データＤＳについての処理を開始する。

これに対してステップＳＰ３において肯定結果が得られた場合、制御部２は、次のステップＳＰ４へ移り、代表特徴データＤＳｒの代表特徴情報識別子Ｔｉｄｒを特定し、この代表特徴情報識別子ＴｉｄｒをＲＡＭ（図示せず）に一時記録すると、次のステップＳＰ５へ移る。

ステップＳＰ５において、制御部２は、再生された記録済撮像データにおける全ての再生映像特徴データＤＰに対する処理を終了したか否かについて判別し、否定結果が得られた場合、制御部２は、ステップＳＰ１へ戻り、次の再生映像信号ＤＰに対する処理を開始する。

これに対してステップＳＰ５において肯定結果が得られた場合、このことは記録済撮像データの再生処理が終了したことを意味しており、このとき制御部２は、次のステップＳＰ６へ移る。

ステップＳＰ６において、制御部２は、ＲＡＭに記録された代表特徴情報識別子Ｔｉｄｒを用いて代表画像データＤＰｒを特定し、当該代表画像データＤＰｒに基づく代表画像５１を含むテキスト入力画面５０（図３）を表示装置（図示せず）に表示させると、次のステップＳＰ７へ移る。

ステップＳＰ７において、制御部２は、ユーザによって画像テキスト情報ＴＸが入力されると、次のステップＳＰ８へ移る。

ステップＳＰ８において、制御部２は、ステップＳＰ７において入力された画像テキスト情報ＴＸと、代表特徴情報識別子Ｔｉｄｒとを対応付けて画像テキストデータベース４２（図５）に登録すると、次のステップＳＰ９へ移る。

ステップＳＰ９において、制御部２は、ＲＡＭに記録された全ての代表特徴データＤＳｒについて処理を終了したか否かについて判別し、否定結果が得られた場合、制御部２は、ステップＳＰ６へ戻って次の代表特徴データＤＳｒについての処理を開始する。

これに対してステップＳＰ９において肯定結果が得られた場合、制御部２は、次のステップＳＰ１０へ移って処理を終了する。

なお制御部２は、このデータベース生成処理を記録済撮像データにつき１度限り実行するようになされており、同一の記録済撮像データに対して撮像データの再生処理を複数回実行する場合には、２回目以降の撮像データの再生処理の際にはデータベース生成処理を実行しないようになされている。

また制御部２は、記録済撮像データについて複数回目の再生処理を実行している際に、ユーザの操作に応じて例えば表示中の画像に対応する画像テキスト情報ＴＸの入力をする旨の入力要求を表す操作信号が供給された場合、制御部２は、表示中の画面を代表画像とし、ステップＳＰ６からステップＳＰ１０までの処理を実行するようになされている。

この場合、制御部２は、表示中の画像データから再生映像特徴データを抽出する必要はなく、ステップＳＰ８において表示中の画像データに対応する特徴情報識別子Ｔｉｄを特定し、これを代表情報識別子Ｔｉｄｒとすれば良い。

（５）タイトル候補表示処理手順
次に、データベース生成プログラムに従って実行されるタイトル候補表示処理手順について、図１０のフローチャートを用いて説明する。

ハードディスクレコーダ１の制御部２は、リモートコントローラ３０（図１）を介したユーザの操作に応じて外部インターフェース１１に接続されたビデオカメラなどの外部機器（図示せず）から入力される入力撮像データに対する記録処理を開始すると、タイトル候補処理手順ＲＴ２の開始ステップから入ってステップＳＰ２１へ移り、映像デコーダ１２から供給される入力映像信号ＴＰに基づいて入力映像特徴データＴＳを生成すると、次のステップＳＰ２２へ移る。

ステップＳＰ２２において、制御部２は、ステップＳＰ２１において生成された入力映像特徴データＴＳを、フラッシュメモリ５の特徴データ記録部４１（図６）に記録された蓄積特徴データＤＳａと照合すると、次のステップＳＰ２３へ移り、蓄積特徴データＤＳａの中から画像テキストデータベース４２に登録され、かつ入力映像特徴データＴＳとの距離が最も小さい、すなわち最小距離を有する最小蓄積特徴データＤＳａｎを選出し、次のステップＳＰ２４へ移る。

ステップＳＰ２４において、制御部２は、最小距離が所定の類似閾値以下であるか否かについて判別する。

ここで否定結果が得られた場合、このことは最小距離を有する最小蓄積特徴データＤＳａｎと入力映像特徴データＴＳとが類似していないことを表しており、このとき制御部２は、ステップＳＰ２１へ戻り、次の記録映像データＤＰについての処理を開始する。

これに対してステップＳＰ２４において肯定結果が得られた場合、このことは最小蓄積特徴データＤＳａｎと入力映像特徴データＴＳとが類似していることを表しており、このとき制御部２は、次のステップＳＰ２５へ移る。

ステップＳＰ２５において、制御部２は、画像テキストデータベース４２から最小蓄積特徴データＤＳｎａに対応する内容文字情報ＴＸｃを取得し、これを入力映像信号ＴＰに対応する内容文字情報ＴＸｃとしてＲＡＭ（図示せず）に一時記録すると、次のステップＳＰ２６へ移る。

ステップＳＰ２６において、制御部２は、記録処理中の入力撮像データにおける全ての記録映像特徴データＴＰに対する処理を終了したか否かについて判別し、否定結果が得られた場合、制御部２は、ステップＳＰ２１へ戻り、次の入力映像信号ＴＰに対する処理を開始する。

これに対してステップＳＰ２６において肯定結果が得られた場合、このことは入力撮像データの記録処理が終了したことを意味しており、このとき制御部２は、次のステップＳＰ２７へ移る。

ステップＳＰ２７において、制御部２は、内容文字情報ＴＸｃの取得回数を確認し、取得回数の多い順に例えば１０個の内容文字情報ＴＸｃをタイトル候補テキストＴＩとして選定し、これを撮像データ管理リスト４３（図７）に登録すると、次のステップＳＰ２８に移る。

ステップＳＰ２８において、制御部２は、画像テキストデータベース４３に基づいて、記録済撮像データの一覧である撮像データ一覧画面７０（図８）を表示装置（図示せず）に表示させると、次のステップＳＰ２９へ移る。このとき制御部２は、ユーザの操作に応じてタイトル候補テキストＴＩをサブ画面７５Ａ表示させるようにする。

ステップＳＰ２９において、制御部２は、ユーザによって記録済撮像データのタイトルが選定されると、次のステップＳＰ３０へ移る。

ステップＳＰ３０において、制御部２は、ステップＳＰ３０において登録されたタイトルを撮像データ管理リスト４２（図７）に登録すると、次のステップＳＰ３１に移って処理を終了する。

なお、入力撮像データの記録処理を実行していない状態において、ユーザのリモートコントローラ３０の操作に応じて撮像データ一覧画面７０（図８）を表示する旨を表す操作信号がリモートコントローラインターフェース１０から供給された場合、制御部２は、ステップＳＰ２８からステップＳＰ３１までの一覧画面表示処理を実行するようになされている。また制御部２は、入力撮像データの記録処理の際、ステップＳＰ２１からステップＳＰ２７までのタイトル候補取得処理のみを実行し、そのままステップＳＰ３１に移ることにより、一覧画面表示処理を省略することもできる。

（６）動作及び効果
以上の構成において、ハードディスクレコーダ１は、動画コンテンツである撮像データを代表する代表画像データＤＰｒとして、撮像データから一部の画像データを選出すると共に、代表画像データＤＰｒに基づく代表画像５１を表示装置に表示させ、当該代表画像５１に対応する画像テキスト情報ＴＸをユーザに入力させる。さらにハードディスクレコーダ１は、輝度を用いた所定の抽出手法に従って代表画像データＰＤｒから抽出された代表特徴情報ＤＳｒと、画像テキスト情報ＴＸとを対応付けて登録することにより、記録済撮像データのような任意の映像コンテンツから代表特徴情報ＤＳｒと同一の抽出方法に従って抽出された入力映像特徴データＴＳを用いて記録済撮像データが有する画像に対応する内容文字情報ＴＸｃを取得させるための画像テキストデータベース４２を生成することができる。

この結果、ハードディスクレコーダ１は、この画像テキストデータベース４２から入力映像特徴データＴＳを用いて内容文字情報ＴＸｃを取得することができるため、撮像データ管理リスト４３に撮像データの画像に対応するテキスト情報、すなわち撮像データの内容を示唆するようなテキスト情報をタイトル候補テキストＴＩとして自動的に登録することが可能となる。

このときハードディスクレコーダ１は、撮像データの中から画像テキスト情報ＴＸと対応付けるのに適した代表画像５１をシーンごとに選定し、この代表画像５１についてユーザに画像テキスト情報ＴＸの入力をさせるため、表示装置に表示された代表画像５１に対して、当該代表画像５１に対応する画像テキスト情報ＴＸを入力するだけの単純な作業をユーザに実行させるだけで容易に画像テキストデータベース４２を作成することができる。

さらにハードディスクレコーダ１は、撮像データの再生処理と並行してデータベース生成処理を実行することにより、撮像データの再生処理が終了すると、すぐに代表画像５１を表示することができ、例えばユーザの要求に応じて代表画像の選出を実行する場合とは異なり、代表画像の選出のための処理時間（ステップＳＰ１〜ステップＳＰ５）に渡ってユーザを待たせることがない。

またハードディスクレコーダ１は、撮像データの再生処理の終了後に代表画像５１を表示するため、撮像データを視聴して楽しんだ直後のユーザに当該撮像データの余韻を楽しませながら画像テキスト情報ＴＸを入力させることができ、ユーザに画像テキスト情報ＴＸの入力作業に対するストレスを感じさせないようにできる。

さらにハードディスクレコーダ１は、撮像データの再生処理後のユーザが撮像データの内容を記憶している内に代表画像５１を視認させることができ、代表画像５１の内容を思い出させる必要がなく、簡易な作業でユーザに代表画像５１に対応する適切な画像テキスト情報ＴＸを入力させることができる。

またハードディスクレコーダ１は、撮像データから代表特徴データＤＳｒと同一の抽出方法に従って生成された再生映像特徴データＤＳを用いて代表画像５１を選定するようにしたため、例えば音声データを用いて代表画像５１を抽出する方法とは異なり、撮像データから特徴データＤＳを抽出する処理を一回のみに限定することができ、制御部２の処理負荷を軽減することができる。

さらにハードディスクレコーダ１は、撮像データから生成された再生映像特徴データＤＳの全てを特徴データ記録部４１に記録するため、ユーザの要求に応じて表示中の画像に応じた画像テキスト情報ＴＸを画像テキストデータベース４２に登録する場合でも、表示中の画像から再度特徴データＤＳを抽出する必要がない。また、この特徴データＤＳを利用して例えばダイジェスト再生などの各種処理を実行することも可能となる。

また、撮像データの記録処理や再生処理を実行するハードディスクレコーダ１が画像テキストデータベース４２を生成するようにしたことにより、ユーザごとの嗜好や画像の傾向を画像テキストデータベース４２に反映させることができ、画像テキストデータベース４２を用いて撮像データの画像から当該撮像データの内容を的確に示唆するようなテキスト情報を取得させることができる。

以上の構成によれば、ハードディスクレコーダ１は、撮像データから選定された一部の代表画像５１を表示させ、ユーザに代表画像５１に対応する画像テキスト情報ＴＸを入力させると共に、この画像テキスト情報ＴＸと代表画像５１に対応する代表特徴情報ＤＳｒを対応付けて登録された画像テキストデータベース４２を生成するようにしたことにより、この画像テキストデータベース４２を用いて画像の特徴情報から当該画像に対応する内容文字情報ＴＸｃを取得できる。このためハードディスクレコーダ１は、撮像データの内容をユーザに入力させなくても撮像データの画像から当該撮像データの内容を示唆するようなテキスト情報として、映像コンテンツが有する画像に対応する内容文字情報を取得でき、かくして映像コンテンツに対応付ける内容文字情報のデータベースを容易に作成し得るデータベースを作成し得るデータベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置を実現することができる。

（７）他の実施の形態
なお上述の実施の形態においては、代表画像選定部３３によって選定された代表特徴データＤＳｒに対応する全ての画像を代表画像５１として表示装置に表示させるようにした場合について述べたが、本発明はこれに限らず、例えば以前表示させたことのある代表画像５１と類似しない画像のみを代表画像５１とするようにしても良い。

この場合、ハードディスクレコーダ１は、選定された代表特徴データＤＳｒと蓄積特徴データＤＳａとを照合し、画像テキストデータベース４２に登録されている全ての蓄積特徴データＤＳａとの距離が所定の表示閾値以上となる代表特徴データＤＳｒのみを、代表画像５１として表示装置に表示させるようにする。ちなみに、この表示閾値は類似閾値と同一の値に設定してもよく、異なる値に設定しても良い。

これにより、画像テキストデータベース４２に登録されている蓄積特徴データＤＳａと近似するため、同一の画像テキスト情報ＴＸが入力されると予想されるような画像を表示させないようにでき、ユーザに同じ言葉を繰り返し入力させることを防止できるため、入力作業に対するストレスを極力感じさせないようにできる。

また上述の実施の形態においては、撮像データの再生処理の際に並行してデータベース生成処理を実行するようにした場合について述べたが、本発明はこれに限らず、例えば単独で実行したり、記録処理の際に並行して実行するようにしても良い。

データベース生成処理を記録処理と並行して実行した場合、ハードディスクレコーダ１は、例えばタイトル候補取得処理（図６）を実行しながら、画像解析部３１によって抽出された特徴データＴＳに識別子付加部３２によって特徴情報識別子Ｔｉｄを付加してそのまま特徴データ記録部４１に記録するようにし、同時に代表画像選出部３３によって代表特徴データＤＳｒを選出し、識別子特定部３４によって特定された代表特徴情報識別子Ｔｉｄｒをフラッシュメモリ５又はハードディスクドライブ４に記録しておくようにする。

これにより、ハードディスクレコーダ１は、ユーザの要求に応じて代表特徴情報識別子Ｔｉｄｒから対応する代表画像データＰＤｒを選定し、代表画像データＰＤｒに基づく代表画像５１を表示装置に表示させるだけの簡易な処理によって、例え再生処理を一度も実行していないような撮像データに対してであっても、いつでも、かつ迅速に代表画像５１を表示装置に表示させ、ユーザに画像テキスト情報ＴＸの入力をさせることができる。

また、画像テキストデータベース４２に所定数以上の画像テキスト情報ＴＸが登録された場合には、データベース生成処理を省略するようにしたり、ユーザの要求に応じてデータベース生成処理を実行するようにしても良い。

さらに上述の実施の形態においては、表示された代表画像５１の全てについて画像テキスト情報ＴＸをユーザに入力させるようにした場合について述べたが、本発明はこれに限らず、例えばテキスト入力画面５０にスキップボタンを設け、当該スキップボタンにカーソルが配置された状態でリモートコントローラ３０の決定ボタンが押下されると、表示中の代表画像５１についての処理を中止し、次の代表画像５１を表示するようにしても良い。

これにより、表示された代表画像５１が画像テキスト情報ＴＸに対応しにくい（文字で表現しづらい）ような画像であった場合には、ユーザはこの代表画像５１に対する画像テキスト情報ＴＸを付加しないことを選択することができるため、画像テキストデータベース４２にふさわしくない画像テキスト情報ＴＸが当該画像テキストデータベース４２に登録されるのを防止し得ると共に、代表画像５１に対応する画像テキスト情報ＴＸを考えることをユーザに負担に感じさせないようにできる。

さらに上述の実施の形態においては、全ての特徴データＤＳを特徴データ記録部４１に記録するようにした場合について述べたが、本発明はこれに限らず、少なくとも代表特徴データＤＳｒが記録されていれば良く、上述した実施の形態と同様の効果を得ることができる。

さらに上述の実施の形態においては、画像解析部３１から代表画像選出部３３に特徴データＤＳを供給するようにした場合について述べたが、本発明はこれに限らず、例えば識別子付加部３２から特徴情報識別子Ｔｉｄの付加された特徴データＤＳを代表画像選出部３３に供給するようにしても良い。これにより、識別子特定部３４によって代表特徴データＤＳｒに対応する代表特徴情報識別子Ｔｉｄｒの特定をする処理が不要となり、制御部２の処理負荷を軽減することができる。

さらに上述の実施の形態においては、ユーザの要求に応じて表示中の画像に画像テキスト情報ＴＸを入力させる際に、特徴データ記録部４１に記録された蓄積特徴データＤＳａを使用するようにした場合について述べたが、本発明はこれに限らず、例えばダイジェスト再生の際の再生部分の選定など、種々の処理に利用するようにしても良い。

さらに上述の実施の形態においては、特徴データＤＳに対して撮像データＩＤと通し番号とからなる特徴情報識別子Ｔｉｄが付加されるようにした場合について述べたが、本発明はこれに限らず、記録済撮像データと特徴情報識別子Ｔｉｄとが対応付けられていれば特徴情報識別子Ｔｉｄの付加方法について制限はない。

さらに上述の実施の形態においては、撮像データからフレーム画像ごとに再生映像特徴データＤＳを生成ようにした場合について述べたが、本発明はこれに限らず、例えばフィールド画像ごとに再生映像特徴データＤＳを生成するようにしても良い。

さらに上述の実施の形態においては、撮像データの全てのフレーム画像から特徴データＤＳを生成するようにした場合について述べたが、本発明はこれに限らず、例えば数フレームおきに再生映像特徴データＤＳを生成するようにしても良い。

さらに上述の実施の形態においては、代表画像５１の選出のために再生映像特徴データＤＳを抽出するようにした場合について述べたが、本発明はこれに限らず、例えば再生処理を開始してから所定時間ごとに代表画像５１を選出するようにしても良く、種々の選出方法を使用することができる。

さらに上述の実施の形態においては、各フレーム画像の輝度（Ｙ）を用いて記録映像データＴＰからＤＣ係数を用いて入力映像特徴データＴＳを生成するようにした場合について述べたが、本発明はこれに限らず、画像の色（Ｃｒ、Ｃｂ）や音声データなどを用いた入力映像特徴データＴＳを使用したり、これらを適宜組み合わせるようにしても良い。

また、８×８画素で構成されるブロックのＤＣ係数の各領域ごとの平均値を入力映像特徴データＴＳとしたり、例えばフラクタル輪郭抽出法などの手法を用いて人体や物体の輪郭を示すような人物認識特徴や物体識別特徴を記録映像データＴＰから抽出し、これを入力映像特徴データＴＳとしても良い。

さらに上述の実施の形態においては、代表画像５１の選出のために、シーンチェンジを検出するようにした場合について述べたが、本発明はこれに限らず、例えば音声データに基づく特徴データＤＳから生成されたヒストグラムに基づいて、所定の閾値以上となる特徴データＤＳを検出し、これと対応する画像を代表画像５１とするようにすることができる。また、縮小画面データを利用したシーンチェンジや類似画像の頻度、類似画像の継続長、若しくは人体認識特徴や物体識別特徴などのテキスト情報に対応しやすい特徴などが検出された再生映像特徴データＤＳを代表特徴データＤＳｒとするようにしても良い。

さらに上述の実施の形態においては、画像ごとの再生映像特徴データＤＳを抽出すると共に静止画像を代表画像５１として選出するようにした場合について述べたが、本発明はこれに限らず、例えば所定時間単位の動きベクトルを再生映像特徴データＤＳとして抽出し、動画像を代表画像５１として選出するようにしても良い。この場合、制御部２は、動画像を表す代表特徴情報識別子Ｔｉｄｒを画像テキストデータベース４２に登録するようにする。

さらに上述の実施の形態においては、撮像データなどの動画コンテンツを記録及び再生するハードディスクレコーダ１がデータベース生成処理を実行するようにした場合について述べたが、本発明はこれに限らず、例えばパーソナルコンピュータやビデオカメラ、ネットワークに接続されたサーバなど、種々の情報処理装置がデータベース生成処理を実行するようにしても良い。

さらに上述の実施の形態においては、ハードディスクレコーダ１が画像テキストデータベース４２を用いて撮像データなどの動画コンテンツにおける画像に対応する内容文字情報ＴＸｃを取得するようにした場合について述べたが、本発明はこれに限らず、画像テキストデータベース４２を用いて静止画像などの各種映像コンテンツに対応する内容文字情報ＴＸｃを取得するようにしても良い。

さらに上述の実施の形態においては、ハードディスクレコーダ１のフラッシュメモリ５に画像テキストデータベース４２を記録するようにした場合について述べたが、本発明はこれに限らず、ハードディスク４に記録するようにしても良い。また、必ずしもハードディスクレコーダ１が画像テキストデータベース４２を有する必要はなく、例えば画像テキストデータベース４２をネットワークで共有するようにしても良い。

この場合には、画像テキストデータベース４２と、当該画像テキストデータベース４２に登録された代表特徴データＤＳｒとをサーバに記録し、各ハードディスクレコーダがネットワークを介してこのサーバにアクセスするようにする。これにより、各ハードディスクレコーダ１で画像テキストデータベース４２を生成する場合と比較して、より多くの代表画像５１に対応する画像テキスト情報ＴＸを登録してタイトル候補取得処理の際に、一段と近しい画像に対応する内容文字情報ＴＸｃを取得させることができると共に、ユーザの画像テキストデータベースＴＸを入力する負荷を軽減することができる。

さらに上述の実施の形態においては、記録及び再生機能を有するハードディスクレコーダ１がデータベース生成処理を実行するようにした場合について述べたが、本発明はこれに限らず、映像コンテンツの記録及び再生機能を有するコンピュータや、記録機能のみを有する記録装置、記録機能及び再生機能のみを有する記録再生装置がデータベース生成処理を実行した場合であっても、本実施の形態と同様の効果を得ることができる。

さらに上述の実施の形態においては、自動的に配信されるテレビジョン放送番組や外部インターフェース１１を介して入力される撮像データを記録するようにした場合について述べたが、本発明はこれに限らず、例えばインターネット経由でダウンロードした映像コンテンツを記録するようにしても良い。

さらに上述の実施の形態においては、データベース生成プログラム等をＲＯＭ又はハードディスクドライブ４に予め格納するようにした場合について述べたが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリ５などにインストールするようにしても良い。また、データベース生成プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらには地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述の実施の形態においては、代表画像選出部及び表示処理部としての代表画像選出部３３と、操作入力部としてのリモートコントローラ３０及びリモートコントローラインターフェース１０と、データベース生成部としてのテキスト付加部３５とによってデータベース作成装置としてのハードディスクレコーダ１を構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の構成でなる代表画像選出部、表示処理部、操作入力部及びデータベース生成部によって本発明のデータベース作成装置を構成するようにしても良い。

本発明は、例えば動画コンテンツに対する記録、再生及び編集などの各種処理を実行する種々の情報処理装置に利用することができる。

ハードディスクレコーダの全体構成を示す略線的斜視図である。 データベース生成処理の機能ブロックを示す略線図である。 テキスト入力画面を示す略線図である。 キーボード画面を示す略線図である。 画像テキストデータベースを示す略線図である。 タイトル候補取得処理の機能ブロックを示す略線図である。 撮像データ管理リストを示す略線図である。 タイトル候補テキストの表示を示す略線図である。 画像テキストデータベース生成処理の説明に供するフローチャートである。 タイトル候補表示処理の説明に供するフローチャートである。

符号の説明

１……ハードディスクレコーダ、２……制御部、４……ハードディスクドライブ、５……フラッシュメモリ、１０……リモートコントローラインターフェース、３１……画像解析部、３２……識別子付加部、３３……代表画像選出部、３４……識別子特定部、３５……テキスト付加部、４１……特徴データ記録部、４２……画像テキストデータベース、４３……撮像データ管理リスト、５０……テキスト入力画面、５１……代表画像、７０……撮像データ一覧画面、ＤＰ……再生映像データ、ＤＳ……再生映像特徴データ、ＤＳｒ……代表特徴データ、ＤＳａ……蓄積特徴データ、ＤＳａｎ……最小蓄積特徴データ、Ｔｉｄ……特徴情報識別子、Ｔｉｄｒ……代表特徴情報識別子、ＴＰ……記録映像データ、ＴＳ……記録映像特徴データ、ＴＸ……テキスト。

Claims (18)

1. 動画コンテンツを代表する代表画像として、上記動画コンテンツから一部の画像を選出する代表画像選出ステップと、
   上記代表画像を表示装置に表示させる表示処理ステップと、
   上記代表画像に対応する画像テキスト情報をユーザに入力させる操作入力ステップと、
   所定の抽出手法に従って上記代表画像から抽出された代表特徴情報と上記操作入力ステップにおいて入力された上記画像テキスト情報とを対応付けて登録することにより、任意の映像コンテンツから上記抽出手法に従って抽出された画像ごとの任意映像特徴情報を用いて上記任意の映像コンテンツが有する画像に対応する内容文字情報を取得するためのデータベースを生成するデータベース生成ステップと
   を具えることを特徴とするデータベース作成方法。
2. 上記代表画像選出ステップでは、
   上記動画コンテンツから上記抽出手法に従って生成された上記動画特徴情報を用いて上記代表画像を選定する
   ことを特徴とする請求項１に記載のデータベース作成方法。
3. 上記代表画像選出ステップでは、
   シーンチェンジごとに上記代表画像を選出する
   ことを特徴とする請求項１に記載のデータベース作成方法。
4. 上記データベース生成ステップでは、
   上記画像テキスト情報と、上記代表特徴情報を表す代表特徴情報識別子とを対応付けて登録する
   ことを特徴とする請求項１に記載のデータベース作成方法。
5. 上記代表画像選出ステップでは、
   上記動画コンテンツから上記抽出方法に従って生成された上記動画特徴情報の全てを所定の記録部に記録すると共に、上記動画特徴情報を用いて上記代表画像を選定する
   ことを特徴とする請求項１に記載のデータベース作成方法。
6. 上記代表画像選出ステップでは、
   上記抽出手法に従って上記動画コンテンツから抽出された上記動画特徴情報の全てを所定の記録部に記録すると共に、上記動画特徴情報を用いて上記代表画像を選定し、
   上記データベース生成ステップでは、
   上記代表特徴情報識別子と上記画像テキスト情報とを上記データベースに登録することにより、上記代表特徴情報と上記画像テキスト情報とを対応付けて登録する
   ことを特徴とする請求項１に記載のデータベース生成方法。
7. 上記動画コンテンツは、
   所定の記録部に記録されており、
   上記代表画像選出ステップと並行して、上記記録部に記録された上記動画コンテンツを再生する再生ステップ
   を具えることを特徴とする請求項１に記載のデータベース作成方法。
8. 上記表示処理ステップでは、
   上記再生ステップが終了すると、上記代表画像を表示装置に表示させる
   ことを特徴とする請求項１に記載のデータベース作成方法。
9. 上記ユーザの要求に応じて、上記ユーザが選定した選定画像に対応する画像テキスト情報をユーザに入力させる任意入力ステップと、
   上記抽出手法に従って上記選定画像から抽出された選定特徴情報と上記画像テキスト情報とを対応付けて登録する任意登録ステップと
   を具えることを特徴とする請求項１に記載のデータベース作成方法。
10. 上記任意登録ステップでは、
    上記選定特徴情報として、上記選定画像に対応する上記動画特徴情報を上記記録部から取得する
    ことを特徴とする請求項９に記載のデータベース作成方法。
11. 上記操作入力ステップでは、
    ユーザの操作入力に応じて上記代表画像選出ステップと、上記表示処理ステップと、上記操作入力ステップと、上記データベース生成ステップとからなるデータベース生成処理を中止する
    ことを特徴とする請求項１に記載のデータベース作成方法。
12. 上記特徴情報抽出ステップは、
    上記動画コンテンツの記録処理の際に並行して実行される
    ことを特徴とする請求項１に記載のデータベース作成方法。
13. 上記代表画像選出ステップでは、
    上記動画コンテンツが有する音声データから抽出される音声特徴情報を用いて上記代表画像を選定する
    ことを特徴とする請求項１に記載のデータベース作成方法。
14. 上記代表画像選出ステップでは、
    上記動画特徴情報を用いて上記一部の画像を選定すると共に、上記一部の画像のうち、上記データベースに既に登録されている上記代表特徴情報の抽出元となる上記代表画像と類似しない画像を新たな上記代表画像として選定する
    ことを特徴とする請求項１に記載のデータベース作成方法。
15. 上記操作入力ステップでは、
    ユーザの操作入力に応じて表示中の代表画像についての操作入力ステップと、データベース生成ステップとを省略し、次の代表画像を表示する
    ことを特徴とする請求項１に記載のデータベース作成方法。
16. コンピュータに対して、
    動画コンテンツを代表する代表画像として、上記動画コンテンツから一部の画像を選出する代表画像選出ステップと、
    上記代表画像を表示装置に表示させる表示処理ステップと、
    上記代表画像に対応する画像テキスト情報をユーザに入力させる操作入力ステップと、
    所定の抽出手法に従って上記代表画像から抽出された代表特徴情報と上記操作入力ステップにおいて入力された上記画像テキスト情報とを対応付けて登録することにより、任意の映像コンテンツから上記抽出手法に従って抽出された画像ごとの任意映像特徴情報を用いて上記任意の映像コンテンツが有する画像に対応する内容文字情報を取得するためのデータベースを生成するデータベース生成ステップと
    を実行させることを特徴とするデータベース作成プログラム。
17. 動画コンテンツを代表する代表画像として、上記動画コンテンツから一部の画像を選出する代表画像選出部と、
    上記代表画像を表示装置に表示させる表示処理部と、
    上記代表画像に対応する画像テキスト情報をユーザに入力させる操作入力部と、
    所定の抽出手法に従って上記代表画像から抽出された代表特徴情報と上記操作入力ステップにおいて入力された上記画像テキスト情報とを対応付けて登録することにより、任意の映像コンテンツから上記抽出手法に従って抽出された画像ごとの任意映像特徴情報を用いて上記任意の映像コンテンツが有する画像に対応する内容文字情報を取得するためのデータベースを生成するデータベース生成部と
    を具えることを特徴とするデータベース作成装置。
18. 動画コンテンツを記録する記録部と、
    動画コンテンツを代表する代表画像として、上記動画コンテンツから一部の画像を選出する代表画像選出部と、
    上記代表画像を表示装置に表示させる表示処理部と、
    上記代表画像に対応する画像テキスト情報をユーザに入力させる操作入力部と、
    所定の抽出手法に従って上記代表画像から抽出された代表特徴情報と上記操作入力ステップにおいて入力された上記画像テキスト情報とを対応付けて登録することにより、任意の映像コンテンツから上記抽出手法に従って抽出された画像ごとの任意映像特徴情報を用いて上記任意の映像コンテンツが有する画像に対応する内容文字情報を取得するためのデータベースを生成するデータベース生成部と
    を具えることを特徴とする映像コンテンツ記録装置。

Images