JP2006173892A - 画像処理方法 - Google Patents

Abstract

【課題】 画像データをグループに分類して管理する際に、各グループや画像データの内容を容易に判断可能とする。
【解決手段】 記録媒体に記録された複数の画像データを複数のグループに分類し、前記グループに対して第１の音声データを対応付けると共に前記グループの画像データに対して第２の音声データを対応付けて前記複数のグループとその画像データを管理するためのグループ管理情報を生成し、このグループ管理情報を用いて前記記録媒体から前記画像データと前記第１の音声データ及び第２の音声データを再生する。
【選択図】 図４

Description

本発明は画像処理方法に関し、特に画像データに関連した音声データを管理する方法に関する。

従来、画像データや音声データなどをハードディスクや光ディスクなどの記録媒体に記録する装置が知られている。この様な装置では、記録する際に、各記録コンテンツの代表画像（サムネイル画像）を抽出してコンテンツデータと共に記録しておき、再生時には、記録された各コンテンツのサムネイル画像を一覧表示し、その中からユーザが再生したいコンテンツを選択する方法を採ることが一般的である。

また、記録した画像データを複数のグループに分類して管理し、再生時に各グループのサムネイル画像を一覧表示し、その中から再生したいグループを選択する構成も知られている（例えば、特許文献１参照）。
特開平１０−２５４７４６号公報

しかしながら、従来は、再生時において、ユーザはサムネイル画像だけを見てコンテンツやグループの内容を判断しなければならないが、サムネイルだけではコンテンツやグループの内容を知ることができない場合もあり、使い勝手が悪いものであった。

また、従来は、サムネイル一覧画面から再生すべきコンテンツ或いはグループが選択されると、そのコンテンツの先頭から再生されるため、コンテンツの途中の任意の位置より再生を開始することができなかった。

本発明はこの様な従来の問題を解決することを目的とする。

また、本発明は、画像データをグループに分類して管理する際に、各グループや画像データの内容を容易に判断可能とすることを他の目的とする。

また、本発明は、画像コンテンツの内容を容易に判断して、ユーザが所望の位置より再生を開始できるようにすることを他の目的とする。

本発明においては、記録媒体に記録された複数の画像データを複数のグループに分類し、前記グループに対して第１の音声データを対応付けると共に前記グループの画像データに対して第２の音声データを対応付けて前記複数のグループとその画像データを管理するためのグループ管理情報を生成し、このグループ管理情報を用いて前記記録媒体から前記画像データと前記第１の音声データ及び第２の音声データを再生する構成とした。

本発明によれば、画像データをグループに分類して管理する際に、各グループや画像データの内容を容易に判断可能となる。

以下、本発明の実施形態を説明する。

図１は本発明の実施形態としてのビデオカメラの外観図である。図１（ａ）ビデオカメラを保持するためのグリップ側から見た斜視図、図１（ｂ）はビデオカメラをその側面に取り付けられたＬＣＤユニット側から見た斜視図である。

ここで、１０１はビデオカメラ本体、１０２はズームスイッチでありこのスイッチをＷ側に移動させる事でワイド撮影を、Ｔ側に移動させる事でテレ撮影を行う。１０３はレンズユニットである。１０４はリストストラップであり、ベルトにより記録再生装置を保持する手の甲を押さえるように設計されている。

また、１０５はビューファインダであり、中に小型液晶ディスプレイ（ＬＣＤ）と拡大用レンズを内蔵し、撮影者が目を近づけることによって撮影画面を確認する事ができる。

１０７は動作モードを切り換える操作スイッチを構成するモードダイアルであり、図１において右方向へ突出した柄の部分を回転させる事により、電源オフ、ＶＴＲ、カメラ、フォト、プログレッシブスキャン、編集の合計六つのモードへ切り換えることができる。ここで、フォトモードとは、スチル映像（静止画）を記録するモードである。

モードダイアル１０７をプログレッシブスキャンモードに設定することにより、イメージセンサを２ラインづつ読み出す通常カメラ（動画）モードから、１ラインづつ読み出すモードに設定する事ができ、動画におけるそれぞれのフレームを高画質で録画する事が可能となる。したがってプログレッシブスキャンモードは、再生時において、再生された動画中の１フレーム画を高画質の静止画として切り出すときに使用することが効果的である。

１０６はポジションロックツマミで、モードダイアル１０７の位置が不用意に変わらないように固定する。１０８は録画の開始、停止を行うためのトリガボタン、１０９はモードダイアルのロックを解除するアンロックツマミ（アンロック部材）、１１０はモードダイヤルベース、１１１は画像を確認するための液晶ディスプレイ（ＬＣＤ）ユニットである。また、１１２はユーザが操作可能な十字ボタン、１１３はＯＫボタンであり、１１４は音響再生を促すコメントキーである。

図２は、図１のビデオカメラの内部の機能構成を示すブロック図である。

図２において、２０１はレンズユニット１０３などを含む撮像部、２０２は撮影中の被写体の音声や後述の如くコメントを入力するためのマイク、２０３は画像信号や音声信号の処理のために用いられるメモリ、２０４は、記録時には撮像部２０１で得られた動画像信号を符号化処理すると共に再生時には再生された画像信号を復号する画像処理部、２０５は、記録時やコメント入力時にはマイク２０２により得られた音声信号を符号化すると共に再生時には再生された音声信号を復号する音声復号部、２０６は制御部２１０の指示に従い撮像部２０１により得られた画像や再生画像のほか、各種のＵＩ画像を表示部２０７に表示する表示制御部、２０７はＬＣＤユニット１１１を含む表示部、２０８はスピーカ２０９に対して再生された音声信号を出力して音声を出力する音声出力部、２０８はスピーカ、２１０は操作部２１１の操作などに従って装置各部を制御する制御部、２１１はモードダイアル１０７、トリガボタン１０８、十字ボタン１１２、ＯＫボタン１１３、コメントキー１１４などを含む操作部、２１２は記録媒体２１３に対して画像信号や音声信号などのデータを記録再生する記録再生部、２１３は光ディスクやメモリカードなどの記録媒体、２１４はデータバスである。本形態では、記録媒体２１３として光ディスクを用いる。

この様な構成において、まず、通常の撮影動作について説明する。

ユーザが操作部２１１を操作して撮影モードを設定すると、撮像部２０１により得られた動画像を表示制御部２０６により介して表示部２０７に表示する。この状態で操作部２１１により記録開始の指示があると、制御部２１０は各部を制御して、撮像部２０１より得られた動画像データとマイク２０２より得られた音声データとを画像処理部２０４、音声処理部２０５により符号化し、記録再生部２１２により記録媒体２１３に記録する。その後、操作部２１１により記録停止の指示があると、記録再生部２１２による記録を停止する。本形態では記録開始の指示から記録停止の指示までの間に記録された一連の動画像と音声データを一つのファイルとして記録媒体２１３に記録し、制御部２１０は記録停止後、記録媒体２１３に記録されたファイルを管理するための管理情報の内容を更新し、記録再生部２１２により記録媒体２１３に記録する。

次に、再生時の処理について説明する。

操作部２１１により再生したいコンテンツのファイルが選択され、再生の指示があると、制御部２１０は記録媒体２１３に記録された管理情報に基づいて記録再生部２１２を制御して指定されたファイルを再生する。再生された動画像データと音声データはそれぞれ画像処理部２０４と音声処理部２０５により復号され、動画像データは表示制御部２０６により表示部２０７に表示され、音声データは音声出力部２０８によりスピーカ２０９より出力される。なお、再生コンテンツの選択処理や再生時におけるコメント再生の処理については後述する。

次に、本形態におけるグループ管理の処理について説明する。

本形態では、撮影日毎に撮影した画像データを分類して管理するほか、ユーザが任意にグループを作成、選択してコンテンツを管理することができる。

具体的には、撮影モードにおいて、操作部２１１のメニューキーを操作して表示部２０７にメニューを表示し、十字ボタン１１２などを利用してグループ管理処理を指示することで、新たなグループを生成することができる。また、本形態では複数階層のグループを管理することもできる。

そして、本形態では、各グループに対して任意のコメントを付加しておき、コンテンツファイルの再生時に後述の如く付加されたコメントを再生することができる。

次に、この様なグループ管理の処理について、図８と図１１を用いて説明する。

図８はグループ管理の処理の際に表示部２０７に表示される画面の様子を示した図であり、図１１はグループ管理処理における制御部２１０の処理を示すフローチャートである。

操作部２１１の操作によりメニュー表示の指示があり、そこからグループ管理メニューが選択されると、図８の８０１に示した画面を表示部２０７に表示する。ユーザは操作部２１１の十字ボタン１１２を操作してカーソル８０１ａを移動し、ＯＫボタン１１３を操作することで新規作成とグループ編集の何れかの項目を選択する（Ｓ１１０１）。

新規グループ作成が選択されると、８０２の画面を表示し、新たにグループを作成する階層を選択する（Ｓ１１０２）。本形態では、記録したコンテンツファイルや作成したグループを複数の階層として管理することができる。即ち、最上位の階層に加えて、現在作成されているグループの下位階層に新たなグループを生成することができ、８０２では、既に作成されているグループ名を表示し、ユーザはカーソルを移動させることで新たにグループを作成する階層を選択することができる。

階層が選択されると、８０３の画面を表示してグループ名の入力を促す（Ｓ１１０３）。グループ名が入力されると、８０４の画面を表示し、今作成したグループに対してコメントを付加するか否かを問い合わせる（Ｓ１１０４）。コメント付加が選択された場合、８０５の画面を表示し、コメントの入力を待つ（Ｓ１１０５）。本形態では、コメントキー１１４を操作しながらマイク２０２よりユーザが任意のコメントを入力する。ここで入力されたコメントデータは、通常撮影時と同様に音声処理部２０５により符号化され、記録再生部２１２により記録媒体２１３に記録される。

そして、指定された階層に新たにグループを作成して管理情報を変更すると共に、コメントが入力された場合には、このコメントデータの記録媒体２１３における記録アドレスに基づいて後述の如く管理情報を変更し、記録媒体２１３に記録して処理を終了する。

また、Ｓ１１０１においてグループ編集が選択された場合、８０６の画面を表示し、ユーザは何れかの項目を選択する。ここで、コメント変更の項目が選択された場合（Ｓ１１０７）、グループ管理情報に基づいて現在作成されている全てのグループを表示して、ユーザがコメントを変更すべきグループを選択する（Ｓ１１０８）。そして、８０５の画面を表示してコメントの入力を待ち（Ｓ１１０９）、コメント入力後、元のコメントデータを記録媒体２１３より消去し、新たに入力されたコメントデータを記録媒体２１３に記録すると共にグループ管理情報を変更する。

また、８０６の画面においてグループ消去の項目が選択された場合（Ｓ１１１１）、消去すべきグループを選択し（Ｓ１１１２）、グループ管理情報を変更して選択されたグループを消去する（Ｓ１１１３）。また、８０６の画面においてグループ名変更の項目が選択された場合（Ｓ１１１４）、変更すべきグループを選択し、８０３の画面を表示してグループ名を変更する（Ｓ１１１５）。そして、変更されたグループ名に基づいてグループ管理情報を変更する。

次に、コンテンツファイル中の任意のエントリポイントに対するコメント付加の処理について説明する。

本形態では、コンテンツデータの再生中にユーザが任意に指定したエントリポイントに対してもコメントを付加することができる。

図１２はコンテンツファイルのエントリポイントを指定してコメントを付加する処理における制御部２１０の処理を示すフローチャートである。

まず、コメントを付加したいコンテンツファイルを選択して再生を開始する（Ｓ１２０１）。再生された画像は前述の様に表示部２０７に表示される。そして、操作部２１１を操作してコメントを付加したい位置で再生一時停止を指示すると（Ｓ１２０２）、コンテンツファイルの再生を一時停止する（Ｓ１２０３）。このとき、表示部２０７には停止した位置の画像が静止画像として表示される。この状態でユーザが操作部２１１を操作して、エントリポイントの登録を指示すると（Ｓ１２０４）、制御部２１０は画像処理部２０４に対して指示を出し、現在再生中の１フレームの画像データを抽出し、エントリポイントのサムネイル画像データを生成する。そして、このエントリポイントのサムネイル画像データを記録再生部２１２により記録媒体２１３に記録する（Ｓ１２０５）。

この状態でユーザが操作部２１１のコメントキー１１４を操作すると（Ｓ１２０６）、図１３の１３０１の画面を表示してコメントの入力を促す（Ｓ１２０７）。コメントの入力方法は前述のグループに対するコメント付加処理と同様であり、コメントキーを操作しながらマイク２０２より所望のコメントを入力する方法とする。

コメントが入力されると、入力されたコメントの音声データを記録媒体２１３に記録し（Ｓ１２０８）、更に、記録媒体２１３上の現在の停止位置（エントリポイント）と記録されたコメントデータとに基づいてグループ管理情報を変更して記録媒体２１３に記録する（Ｓ１２０９）。そして、再生終了指示があるとコンテンツデータの再生を終了する（Ｓ１２１０）。また、再生開始の指示があると、再び、コンテンツデータの再生を開始する（Ｓ１２１１）。

また、Ｓ１２０２にて一時停止の指示の後、エントリ決定の指示がなく、再生終了の指示があった場合にはそのまま終了し（Ｓ１２１２）、再生開始の指示があった場合にはエントリポイントの登録、及びサムネイル画像の記録処理をせずに、再び、コンテンツデータの再生を開始する（Ｓ１２１３）。

また、Ｓ１２０６でコメントキーの操作がなく、再生終了の指示があった場合には（Ｓ１２１４）、エントリポイントの登録、及びサムネイル画像の記録処理だけを行った状態で終了し、再生開始の指示があった場合には、再び、コンテンツデータの再生を開始する（Ｓ１２１５）。また、Ｓ１２０２で一時停止の指示がなく、再生終了の指示があった場合には処理を終了する（Ｓ１２１６）。

次に、この様に生成されたコンテンツ管理データにより管理されるグループ構成について説明する。

図３は本実施形態にて扱うグループ管理情報の例を示す図である。本形態では、制御部２１０が前述の様なグループの作成、編集処理やコメントデータの付加などの処理に応じてグループ管理情報の内容を更新し、このグループ管理情報に基づいてグループ選択時やコンテンツ再生時においてコメントデータの再生を制御する。

図３に示すように、グループ管理情報は、記憶媒体２１３に記憶されているデータを一意に識別するための識別ＩＤと、データがグループや動画、エントリといったものの内の何の情報かを示すデータの種類と、グループやコンテンツファイル、エントリなどの各データが属するグループやコンテンツの識別ＩＤを示す親の識別ＩＤの情報と、グループや動画またエントリに関連付けられたコメント（音響）データが記録されている記録媒体２１３上での記録開始位置を表す音響データのアドレス情報と、動画データに設けられたエントリが指し示す動画データ中の再生開始位置である再生開始位置のアドレス情報とから構成されている。

例えば、図３においては、識別ＩＤ００００、０００１、０００２で識別されるデータはグループであり、グループＢとグループＣはグループＡに所属していることを表現し、グループＡ、グループＢ、グループＣに関連付けられている音響データはそれぞれアドレスＡ、アドレスＢ、アドレスＣから記録が開始されていることを表す。

また、識別ＩＤ０００３、０００４、０００５は動画データであり、動画０、動画１、動画２はグループＢに所属し、動画０にはアドレスＤからから記録されている音響データが、動画１にはアドレスＥから記録されている音響データが、動画２にはアドレスＦから記録されている音響データが関連付けられている。

また、識別ＩＤ０００６から００１１はエントリであり、エントリ０、エントリ１、エントリ２は動画０に所属し、エントリ３、エントリ４、エントリ５は動画１に所属している。またエントリ０は動画０のポイント０の位置を指し示しており、アドレス０から始まる音響データが関連付けられている。エントリ１からエントリ５も同様に動画データ中の指し示す位置と、関連付けられている音響データを特定できるようになっている。ここで、エントリの動画再生開始位置を特定するため、アドレス情報ではなく再生時間で指し示すことも可能である。

図４は、図３のグループ管理情報によって管理される記録媒体２１３上のグループ構成や動画に設けられたエントリの構成イメージを示す図である。

図４で、コメントとは音響データのことであり、前述の様にグループや動画、エントリに対してユーザが関連付けたものである。コメントＡ〜Ｆは記録媒体２１３上のアドレスＡ〜Ｆから記録されている音響データで、コメント０〜５はアドレス０〜５から記録されている音響データである。グループＡ４０１、グループＢ４０２４０２、グループＣ４０３は図示するような階層構造を成しており、それぞれ音響データであるコメントＡ、コメントＢ、コメントＣが関連付けられている。

また動画０、動画１、動画２はグループＢに所属し、それぞれコメントＤ、コメントＥ、コメントＦが関連付けられている。さらに、エントリ０（４０７）は記憶媒体に記憶されている動画ストリーム０（４２５）内のポイント０（４１３）を指し示すものであり、さらにコメント０（４１９）が関連付けられている。エントリ１（４０８）からエントリ５（２１４）も同様に動画ストリーム０（４２５）もしくは動画ストリーム１（４２６）内のポイント１（４１４）からポイント５（４１８）を指し示しており、それぞれコメント１（４１９）からコメント５（４２４）が関連付けられている。

次に、図５を用いて、図３、図４の如く管理されるコンテンツデータを再生する場合の再生コンテンツの選択処理を説明する。

図５は、再生モード時においてＬＣＤユニット１１１に表示される再生コンテンツ選択用のサムネイル一覧画面の様子を示す図である。本形態では、再生モード時において再生コンテンツを選択する際、コンテンツのサムネイル画像に加え、そのコンテンツにエントリポイントが登録されている場合には、エントリポイントにおけるサムネイル画面もサムネイル一覧画面上に表示している。

図５において、表示画面５０１には動画０のサムネイル画面である先頭画面５０２と動画１の先頭画面５０３、さらに、動画０に登録されたエントリポイントであるエントリ０（４０７）のサムネイル画像５０４とエントリ１（４０８）のサムネイル画像５０５、及び、動画１に登録されたエントリポイントであるエントリ３（４１０）のサムネイル画像５０６とエントリ４（４１１）のサムネイル画像５０７を表示し、ユーザは、フォーカス枠５０８を移動させた状態で再生開始を指示することで、コンテンツの先頭、或いは、登録したエントリポイントから再生開始を指示することができる。

また、図５の一覧画面５０１において、エントリ１（４０８）のサムネイル画像５０５にフォーカスがある状態で十字キー１１２の右を押下すると、動画０のエントリが左へシフトし、エントリ１のサムネイル画像が５０４の位置に移動し、エントリ２のサムネイル画像が５０５の位置に表示される。また、フォーカス枠５０８が動画０もしくは動画１の先頭画面５０２、５０３にある状態で十字キー１１２の上下を押下することで、表示画面５０１に表示するコンテンツを変更することがきる。

例えば、フォーカス枠５０８が動画１の先頭画面５０３にある状態で十字キー１１２の下を押下すると、動画１の先頭画面が５０２の位置に、さらに動画２の先頭画面が５０３の位置に表示され、各動画のエントリのサムネイル画像も同様に上方にシフトする。このような操作を行うことで、記録媒体内の動画を全て画面内で選択的に表示できる。

そして、一覧画面５０１において、各エントリのサムネイル画像にフォーカス枠５０８がある状態で、コメントキー１１４を押下すると、そのエントリに関連付けられている音響データを再生する。

即ち、コメントキー１１４が操作されると、制御部２１０は図３のグループ管理情報に基づいて、図４のグループ構成を上位階層に遡り、上位階層のグループに付加されたコメントより、選択されたエントリに至るコメントを連続して再生する。

例えば、図５の各コメントが図６に示すような内容であった場合は、エントリ０（４０７）のサムネイル画像にフォーカス枠５０８がある状態でコメントキー１１４を押下すると、上位階層に遡り、エントリ０、動画０、グループＢ、グループＡをピックアップする。そして、エントリ０、動画０、グループＢ、グループＡのコメントを上位階層から連続して再生するので、再生順番はコメントＡ→コメントＢ→コメントＤ→コメント０となり、その内容は「マルコゴルフトーナメント 一日目 第一ホール 目黒太郎一打目」となる。

同様に、エントリ３のサムネイル画像にフォーカス枠５０８がある状態でコメントキー１１４を押下すると、「マルコゴルフトーナメント 一日目 第二ホール 目黒太郎二打目」となる。

また、エントリのサムネイル画像ではなく、動画０や動画１などのサムネイル画像にフォーカス枠５０８がある状態でコメントキー１１４が操作された場合にも、同様に最上位の階層より、選択されたコンテンツに至るコメントを連続して再生する。

なお、図５では、コンテンツのサムネイル画像と各コンテンツのエントリポイントのサムネイル画像とを一覧表示する様子を示したが、例えば、グループのサムネイル画像のみを一覧表示し、同様にカーソルで選択してコメントを再生することも可能である。

この場合、例えば、グループＢとグループＣのサムネイル画像を表示し、何れかのサムネイルが選択されている状態でコメントキー１１４が操作されると、選択されたグループＢまたはグループＣのコメントと、その上位グループＤ得あるグループＡのコメントを再生し、各グループに属するコンテンツのコメントは再生しない。

次に、サムネイル一覧画面でサムネイル画像にフォーカス枠がある状態でコメントキー１１４が押下された場合の制御部２１０の処理を、図７のフローチャートを用いて説明する。

まず、グループ管理情報に基づいて、サムネイル一覧画面にて選択されたコンテンツ、或いはエントリポイントの識別ＩＤを検出する（Ｓ７０１）。そして、その識別ＩＤにコメントが付加されているか否かを判別する（Ｓ７０２）。コメントが付加されていた場合、その識別ＩＤと対応する音響データの記録アドレスを管理情報から検出し、保持しておく（Ｓ７０３）。

コメントが付加されていない場合、最上位の階層であるか否かを判別する（Ｓ７０４）。最上位の階層でない場合には、グループ管理情報に基づいてその上位階層の識別ＩＤを検出して（Ｓ７０９）、Ｓ７０２に戻り、その上位階層の識別ＩＤにコメントが付加されているか否かを判別する。

この様に、グループ管理情報に基づいて、選択されたサムネイル画像の識別ＩＤから上位階層にさかのぼって最上位の階層の識別ＩＤを検出したならば、その最上位階層の識別ＩＤまでの間に音響データが付加された識別ＩＤがあったか否かを判別し（Ｓ７０５）、音響データが付加された識別ＩＤがなかった場合には、ＬＣＤユニット１１１に対してコメントが未登録である旨の情報を表示して終了する（Ｓ７１０）。

一方、音響データが付加された識別ＩＤが存在した場合、音響データが付加された識別ＩＤのうち、最上位階層の識別ＩＤの音響データの記録アドレスより音響データを再生する（Ｓ７０６）。そして、全ての音響データを再生したか否かを判別し（Ｓ７０７）、全ての音響データを再生していない場合には次の階層の識別ＩＤを検出し（Ｓ７０８）、Ｓ７０６に戻って音響データを再生する。

この様な処理を行うことにより、ユーザは、サムネイル一覧画面においてコメントキーを操作するだけで、選択したサムネイル画像の上位階層となるグループから選択されたサムネイル画像までのコメントを連続して聞くことができる。

次に、コメント再生モードを設定してコンテンツファイルを再生する際の処理について説明する。

コメント再生モードとは、動画ストリーム再生中に前述の如く登録されたエントリに関連付けられている音響データを再生するモードである。本形態では、コンテンツファイルの再生中にコメントキー１１４を押下することによりコメント再生モードとなり、もう一度押下することでコメント再生モードから通常再生モードへ移行する。

具体的なコメント再生モードの処理について、図３、図４の如く管理されるコンテンツデータをコメント再生モードで再生する場合の処理を説明する。

図９は動画ストリームの連続再生時のイメージである。

図９では、動画ストリーム０（９０１）と動画ストリーム１（９０２）を連続再生した様子を示しており、ポイント０（９０３）やポイント１（９０４）はエントリ０やエントリ１が指し示す位置であり、コメント０（９０９）はエントリ０に、コメント１（９１０）エントリ１に関連付けられている音響データである。

ここで動画ストリーム０を先頭から再生した場合に、ポイント０からポイント５で音響データを再生する処理を説明する。各コメントの内容は図６と同様である。

まず、動画ストリーム０の先頭から再生を開始し、ポイント０（９０３）に到達すると、図４のグループにおいてエントリから上位階層に辿り、上位階層の識別ＩＤに付加されているコメントから再生する。このとき、一度再生した音響データは再生しないようにする。

具体的には、ポイント０（９０３）に到達した場合は、上位階層を辿り、エントリ０、動画０、グループＢ、グループＡを検出する。エントリ０、動画０、グループＢ、グループＡのコメントを上位階層から再生するので、再生順番はコメントＡ→コメントＢ→コメントＤ→コメント０となり、その内容は「マルコゴルフトーナメント 一日目 第一ホール 目黒太郎一打目」となる。

続いて再生が進み、ポイント１（９０４）に到達すると、ポイント０（９０３）の場合同様に、上位階層を辿り、エントリ１、動画０、グループＢ、グループＡを検出する。このとき、制御部２１０はコメントの再生状態を検出し、通常再生モードであればコメントの再生は行わない。コメント再生モードであれば、一連の再生シーケンスの中ですでに再生された音響データは再生しない。

即ち、ポイント１で再生する音響データはコメント１に関連付けられたもののみになる。その内容は「小杉次郎一打目」である。

これ以後、同様の方法で音響データを再生するので、ポイント２（９０５）では「玉川三郎一打目」、ポイント３では「第二ホール目黒太郎一打目」、ポイント４では「小杉次郎二打目」、ポイント５では「玉川三郎二打目」というコメントがそれぞれ再生されることになる。

次に、動画ストリーム再生中のエントリポイントにおける音響データの再生処理を図１０のフローチャートを用いて解説する。

制御部２１０は、動画ストリームの再生開始前に、記録媒体２１３に記録されたグループ管理情報を予め再生し、メモリ２０３に記憶しておく。そして、動画ストリーム再生中に、現在の再生位置とエントリポイントとを比較し、再生位置がエントリポイントとなると、図１０の処理を開始する。

なお、動画ストリームにマーカを付加しておくことでエントリポイントを検出することも可能である。また、動画ストリームを先読みすることによって再生位置比較の際の遅延を回避しても良い。

まず、コメントキー１１４の操作状態に基づいて、コメント再生モードが設定されているか否かを判別する（Ｓ１００１）。コメント再生モードが設定されていない場合、そのまま処理を終了する。

一方、コメント再生モードが設定されていた場合、グループ管理情報よりエントリポイントの識別ＩＤを取得する（Ｓ１００２）。そして、検出したエントリにコメントが付加されているか否かを判別し（Ｓ１００３）、コメントが付加されていた場合には、このエントリの識別ＩＤと音響データのアドレス情報をメモリ２０３に保持する（Ｓ１００４）。

そして、取得した識別ＩＤが最上位の階層であるか否かを判別し（Ｓ１００５）、最上位でない（図３において親の識別ＩＤが存在する）場合は、一つ上の階層の識別ＩＤを取得し（Ｓ１０１０）、Ｓ１００３に戻る。そして、同様に取得した上位の識別ＩＤについてコメントがあるか否かを判別し、コメントがあった場合には取得した順番で識別ＩＤと音響データのアドレスを保持し、最上位の識別ＩＤにたどり着くまでＳ１００３、Ｓ１００４、Ｓ１００５、Ｓ１０１０の処理を繰り返し、指定されたエントリから最上位グループまでの識別ＩＤ群を取得する。

次に、最上位階層まで検出した結果、音響データが付加された識別ＩＤがあったか否かを判別し、音響データが付加されていない場合にはそのまま処理を終了する（Ｓ１００６）。

一方、音響データが付加されていた場合には、音響データが付加された識別ＩＤ群のうち、既に音響データを再生したものを除く、未再生の識別ＩＤを検出し（Ｓ１００７）、未再生の識別ＩＤのうち、上位から順に識別ＩＤに対応する音響データのアドレス情報に基づいて音響データを再生する（Ｓ１００８）。また、次のエントリポイントにおいて、再生済みコメントを判別するため、ここで再生した音響データの識別ＩＤを保持しておく。

そして、Ｓ１００７で検出された識別ＩＤの音響データを全て再生したか否かを判別し（Ｓ１００９）、全て再生していない場合には次の識別ＩＤの音響データを再生し（Ｓ１０１１）、全ての音響データの再生が終了したら、このエントリについてのコメント再生処理を終了する。

この様に処理することで、コメント再生モードにおいて、ユーザは動画再生中の各エントリポイントに関連付けられた音響データを、その上位グループのコメントと共に解説として聞くことができる。

なお、再生中の動画ストリームに付随する音声がある場合、コメント再生モードでは、エントリポイントにおけるコメントを再生する際に動画に付随する音声の音量を小さくしたり、動画に付随する音声をミュートしたりすることでコメントを聞きやすくするようにしても良い。

また、動画ストリームの再生中、再生位置がエントリポイントとなった場合に対応するコメントを再生していたが、これ以外にも、動画ストリームの再生中に任意のタイミングで最初にコメントキー１１４を操作した場合に、現在の再生位置に応じてグループ及びコンテンツのコメントを再生すると共にコメント再生モードとなるよう構成してもよい。

本発明の実施形態におけるビデオカメラの外観図である。 本発明の実施形態におけるビデオカメラの機能ブロック図である。 グループ管理情報の様子を示す図である。 記録媒体に記録されている画像データのグループ構成やエントリ構成を示す図である。 サムネイル画像の一覧表示画面を示す図である。 コンテンツデータと共に記録されているコメントの内容を示す図である。 サムネイル一覧画面の表示中におけるコメントの再生動作を示すフローチャートである。 コメントの記録時における表示画面の様子を示す図である。 コンテンツ再生時におけるエントリポイントとコメントの様子を示す図である。 コンテンツ再生中におけるコメントの再生処理を示すフローチャートである。 グループに関する処理を示すフローチャートである。 エントリ登録動作を示すフローチャートである。 コメントを付加する際の表示画面を示す図である。

Claims (32)

1. 記録媒体に記録された複数の画像データを複数のグループに分類し、前記グループに対して第１の音声データを対応付けると共に前記グループの画像データに対して第２の音声データを対応付けて前記複数のグループとその画像データを管理するためのグループ管理情報を生成し、このグループ管理情報を用いて前記記録媒体から前記画像データと前記第１の音声データ及び第２の音声データを再生する画像処理方法。
2. 前記グループ管理情報は、前記グループまたは画像データにそれぞれ対応した識別ＩＤと前記グループまたは画像データに対応した第１の音声データまたは第２の音声データの記録アドレス情報とを含むことを特徴とする請求項１記載の画像処理方法。
3. 前記グループ管理情報は更に、前記画像データが属するグループの前記識別ＩＤの情報を含むことを特徴とする請求項２記載の画像処理方法。
4. 前記複数の画像データより選択された画像データに関連する音声の再生指示があった場合に、前記グループ管理情報に基づいて前記選択された画像データが属するグループを検出し、前記検出したグループに対応した前記第１の音声データと、前記選択された画像データに対応した前記第２の音声データとを前記記録媒体から再生することを特徴とする請求項１記載の画像処理方法。
5. 前記複数のグループより選択されたグループに関連する音声の再生指示があった場合に、前記グループ管理情報に基づいて、前記選択されたグループに対応した前記第１の音声データを前記記録媒体から再生することを特徴とする請求項１または４記載の画像処理方法。
6. 記録媒体に記録された動画像データに対して第１の音声データを対応付けると共に前記動画像データにおける任意の再生位置に対して第２の音声データを対応付けて前記動画像データを管理するための管理情報を生成し、この管理情報を用いて前記記録媒体から前記第１の音声データ及び第２の音声データを再生する画像処理方法。
7. 複数の前記再生位置にそれぞれ対応した代表画像を表示装置に一覧表示し、前記一覧表示された複数の代表画像より選択された代表画像に関連した音声の再生指示があった場合に、前記管理情報に基づいて前記選択された代表画像の再生位置に対応した前記第２の音声データを再生することを特徴とする請求項６記載の画像処理方法。
8. 前記動画像データの代表画像も前記複数の再生位置に対応した代表画像と共に前記表示装置に表示し、前記動画像データの代表画像が選択されて前記動画像データに関連した音声の再生指示があった場合に、前記管理情報に基づいて前記動画像データに対応した前記第１の音声データを再生することを特徴とする請求項７記載の画像処理方法。
9. 前記動画像データの再生中に前記動画像データの再生位置が前記任意の再生位置となったことに応じて、前記管理情報に基づいて前記再生位置に対応した前記第２の音声データを再生することを特徴とする請求項６記載の画像処理方法。
10. 前記動画像データの再生中に前記動画像データの再生位置が前記任意の再生位置となったことに応じて、前記管理情報に基づいて前記第１の音声データと前記動画像データの再生位置に対応した前記第２の音声データとを再生することを特徴とする請求項６記載の画像処理方法。
11. 前記動画像データの再生開始後、前記動画像データの再生位置が複数の前記任意の再生位置のうち最初の再生位置となった場合には前記第１の音声データと前記最初の再生位置に対応した前記第２の音声データとを再生すると共に、前記動画像データの再生位置が複数の前記任意の再生位置のうち２番目以降の再生位置となった場合には前記第１の音声データを再生せずに各再生位置に対応した前記第２の音声データを再生することを特徴とする請求項８記載の画像処理方法。
12. 前記管理情報を前記記録媒体に記録することを特徴とする請求項６から９の何れかに記載の画像処理方法。
13. 記録媒体に記録された複数の画像データを複数のグループに分類し、前記グループに関連した第１の音声データを前記記録媒体に記録すると共に前記グループの画像データに関連した第２の音声データを前記記録媒体に記録する記録手段と、
    前記グループに対して前記第１の音声データを対応付けると共に前記グループの画像データに対して前記第２の音声データを対応付け、前記複数のグループと前記複数のグループの画像データを管理するためのグループ管理情報を生成する管理情報生成手段と、
    前記記録媒体から前記画像データと前記第１の音声データ及び第２の音声データを再生する再生手段と、
    前記グループ管理情報に基づいて前記再生手段による前記第１の音声データ及び第２の音声データの再生動作を制御する制御手段とを備える画像処理装置。
14. 前記複数の画像データより選択された画像データに関連した音声の再生指示があった場合に、前記制御手段は、前記グループ管理情報に基づいて前記選択された画像データが属するグループを検出し、前記検出したグループに対応した前記第１の音声データと前記選択された画像データに対応した前記第２の音声データとを前記記録媒体から再生するよう前記再生手段を制御することを特徴とする請求項１１記載の画像処理装置。
15. 前記複数の画像データの代表画像を表示する表示手段と、前記表示手段に表示された前記複数の画像データの代表画像のうち所望の代表画像を選択する選択手段と、前記選択した代表画像に関連した音声の再生を指示する指示手段とを備えたことを特徴とする請求項１２記載の画像処理装置。
16. 前記画像データの再生中に前記画像データに関連した音声の再生指示があった場合に、前記制御手段は、前記グループ管理情報に基づいて前記再生中の画像データが属するグループを検出し、前記検出したグループに対応した前記第１の音声データと前記選択された画像データに対応した前記第２の音声データとを前記記録媒体から再生するよう前記再生手段を制御することを特徴とする請求項１１記載の画像処理装置。
17. 音声を入力する音声入力手段と、前記音声入力手段より入力された音声を用いて前記第１の音声データと第２の音声データを生成する音声データ生成手段とを備えたことを特徴とする請求項１１記載の画像処理装置。
18. 記録媒体に記録された動画像データに対応した第１の音声データと前記動画像データにおける任意の再生位置に対応した第２の音声データとを前記記録媒体に記録する記録手段と、
    前記記録媒体に記録された動画像データに対して前記第１の音声データを対応付けると共に前記動画像データにおける前記任意の再生位置に対して前記第２の音声データを対応付けて前記動画像データと前記第１の音声データ及び第２の音声データを管理するための管理情報を生成する管理情報生成手段と、
    前記記録媒体から前記動画像データと前記第１の音声データ及び第２の音声データを再生する再生手段と、
    前記管理情報に基づいて前記再生手段による前記第１の音声データ及び第２の音声データの再生動作を制御する制御手段とを備える画像処理装置。
19. 前記動画像データにおける複数の前記任意の再生位置にそれぞれ対応した代表画像を表示する表示手段と、前記表示された複数の代表画像より所望の代表画像を選択する選択手段と、前記選択された代表画像に関連した音声の再生を指示する指示手段とを備え、
    前記制御手段は、前記指示手段の指示があった場合に、前記管理情報に基づいて、前記第１の音声データと前記選択された代表画像の再生位置に対応した前記第２の音声データとを再生するよう前記再生手段を制御することを特徴とする請求項１６記載の画像処理装置。
20. 前記表示手段は前記動画像データの代表画像も前記複数の任意の再生位置に対応した代表画像と共に表示し、前記制御手段は、前記選択手段により動画像データの代表画像が選択されて前記指示手段による指示があった場合に、前記管理情報に基づいて前記第１の音声データを再生することを特徴とする請求項１７記載の画像処理装置。
21. 前記表示手段は複数の前記動画像データの代表画像と、前記複数の動画像データ中の前記複数の任意の再生位置の代表画像とを表示し、
    前記制御手段は、前記選択手段により前記複数の任意の再生位置の代表画像の何れかが選択されて前記指示手段による指示があった場合に、前記管理情報に基づいて前記複数の動画像データのうち前記選択された代表画像に係る動画像データを検出し、前記検出した動画像データに対応する前記第１の音声データと前記選択された代表画像の再生位置に対応した前記第２の音声データとを再生するよう前記再生手段を制御することを特徴とする請求項１７記載の画像処理装置。
22. 前記制御手段は、前記動画像データの再生中に前記動画像データの再生位置が前記任意の再生位置となったことに応じて、前記管理情報に基づいて前記任意の再生位置に対応した前記第２の音声データを再生するよう前記再生手段を制御することを特徴とする請求項１６記載の画像処理装置。
23. 前記制御手段は、前記動画像データの再生中に前記動画像データの再生位置が前記任意の再生位置となったことに応じて、前記管理情報に基づいて前記第１の音声データと前記動画像データの前記任意の再生位置に対応した前記第２の音声データとを再生することを特徴とする請求項１６記載の画像処理装置。
24. 前記制御手段は、前記動画像データの再生開始後、前記動画像データの再生位置が複数の前記任意の再生位置のうち最初の再生位置となった場合には前記第１の音声データと前記最初の再生位置に対応した前記第２の音声データとを再生すると共に、前記動画像データの再生位置が複数の前記任意の再生位置のうち２番目以降の再生位置となった場合には前記第１の音声データを再生せずに各再生位置に対応した前記第２の音声データを再生するよう前記再生手段を制御することを特徴とする請求項２１記載の画像処理装置。
25. 前記記録手段は、前記記録媒体に記録された複数の前記動画像データが分類される複数のグループにそれぞれ対応した第３の音声データを前記記録媒体に記録し、前記管理情報は前記複数のグループと各グループの動画像データに対応した前記第３の音声データをそれぞれ対応付けると共に前記複数のグループと各グループの動画像データを対応付けるための情報を含むことを特徴とする請求項１６記載の画像処理装置。
26. 前記記録媒体に記録された複数の動画像データの代表画像と前記複数の動画像データ中の複数の前記任意の再生位置にそれぞれ対応した代表画像を表示する表示手段と、前記表示された複数の代表画像より所望の代表画像を選択する選択手段と、前記選択された代表画像に関連した音声の再生を指示する指示手段とを備え、
    前記制御手段は、前記選択手段により前記複数の任意の再生位置の代表画像の何れかが選択されて前記指示手段による指示があった場合に、前記管理情報に基づいて前記複数の動画像データのうち前記選択された代表画像に係る動画像データを検出すると共に前記検出した動画像データが属するグループを検出し、前記検出したグループに対応する第３の音声データと前記検出した動画像データに対応する前記第１の音声データ及び前記選択された代表画像の再生位置に対応した前記第２の音声データとを再生するよう前記再生手段を制御することを特徴とする請求項２３記載の画像処理装置。
27. 前記制御手段は、前記選択手段により前記複数の動画像データの代表画像の何れかが選択されて前記指示手段による指示があった場合に、前記管理情報に基づいて前記複数のグループのうち前記選択された代表画像に係る動画像データが属するグループを検出し、前記検出されたグループに対応した前記第３の音声データと前記選択された代表画像に係る動画像データに対応した前記第１の音声データとを再生するよう前記再生手段を制御することを特徴とする請求項２４記載の画像処理装置。
28. 前記制御手段は、前記複数の動画像データの何れかの再生中に前記動画像データの再生位置が前記任意の再生位置となったことに応じて、前記管理情報に基づいて前記再生中の動画像データが属するグループを検出し、前記検出したグループに対応した前記第３の音声データと前記再生中の動画像データに対応した前記第１の音声データ及び前記動画像データの再生位置に対応した前記第２の音声データとを再生するよう前記再生手段を制御することを特徴とする請求項２３記載の画像処理装置。
29. 記録媒体に記録された動画像データ中の任意の再生位置を指定する指定手段と、
    前記指定手段により指定された再生位置に対応付けて記録すべき音声データを入力する音声入力手段と、
    前記動画像データにおける前記指定された再生位置と前記入力された音声データを対応付けて管理するための管理情報を生成する管理情報生成手段と、
    前記入力された音声データと前記生成された管理情報とを前記記録媒体に記録する記録手段とを備える記録装置。
30. 前記指定手段は一つの前記動画像データ中、複数の前記任意の再生位置を指定可能であり、前記管理情報は前記複数の任意の再生位置にそれぞれ対応した前記音声データを対応付けて管理するための前記管理情報を生成することを特徴とする請求項２７記載の記録装置。
31. 前記記録媒体から前記動画像データと前記音声データ及び前記管理情報を再生する再生手段と、前記管理情報に基づいて前記再生手段の再生動作を制御する制御手段とを備え、
    前記制御手段は、前記動画像データの再生中に前記動画像データの再生位置が前記指定された再生位置となったことに応じて前記指定された再生位置に対応した前記音声データを前記記録媒体から再生するよう前記再生手段を制御することを特徴とする請求項２７または２８記載の記録装置。
32. 記録媒体に記録された複数の動画像データを、階層構造をもつ複数のグループに分類する分類手段と、
    前記複数のグループより所望のグループを選択する選択手段と、
    前記選択手段により選択されたグループに対応付けて記録すべき音声データを入力する音声入力手段と、
    前記選択されたグループと前記入力された音声データを対応付けて管理するための管理情報を生成する管理情報生成手段と、
    前記入力された音声データと前記生成された管理情報とを前記記録媒体に記録する記録手段とを備える記録装置。

Images