JP2009272921A - 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路 - Google Patents

Abstract

【課題】動画像データの記録中にユーザが見たいシーンを検知してチャプタ設定し、記録した動画像データを再生する際にユーザが見たいシーンへのアクセスを容易にする。
【解決手段】撮像された動画像データを符号化し、動画像符号化データとして記録媒体に記録している時に、撮像手段のズーム動作を検知し、前記検知に基づいて頭出し位置の決定およびＧＯＰ構造の変更を行う。これにより、ユーザの直接操作なしに頭出し位置を指定できるだけでなく、頭出し位置のＧＯＰ構造を変更できるため、動画像データの編集時および再生時における画質劣化の防止や余分な転送処理の削減にも繋がる。
【選択図】 図１

Description

本発明は、動画像データを記録する装置、再生する装置、および、記録する方法、再生する方法、並びに前記記録に好適な半導体集積回路に関し、更に詳しくは、動画像データの再生時に所望のシーンへ素早くアクセスするのに好適な技術に関する。

従来、動画像データを再生する際において上記動画像データの特定位置への素早い移動または頭出しを可能とする動画像記録装置および動画像再生装置は様々なものが提案されている（例えば、特許文献１参照）。

上記特許文献１記載の動画像記録装置は、動画像データのビットレートを調査するビットレート調査手段と、上記動画像データのビットレートが一定値以上変化した際に上記動画像データにチャプタを設定するチャプタ設定手段と、を備える。

この動画像記録装置は、上記動画像データのビットレートが一定値以上変化する位置をユーザが見たいシーンと擬制してチャプタを設定することができる。
特開２００７−１５０５２８号公報

しかしながら、上記特許文献１に記載された動画像記録装置では、動画像データのビットレートが一定値以上変化した位置をユーザが見たいシーンと擬制してチャプタを設定しているが、必ずしもユーザ所望のシーンが、ビットレートが一定値以上変化している位置に一致するとは限らず、ユーザ所望のシーンにチャプタが設定されず、不要な位置にチャプタが設定される場合がある。

また、上記特許文献１はＴＶ番組を記録することを想定しているため、デジタルビデオカメラのように撮像手段を持つ動画像記録装置に適した構成とは言えない。

本発明は、上述のような点に鑑みて為されたものであって、ビデオカメラ等の撮像手段を持つ動画像記録装置において、動画像データを記録している最中のユーザの動作に基づいて、ユーザが見たいシーンを検知してチャプタ設定し、記録した動画像データを再生する際にユーザが見たいシーンへのアクセスを容易することを目的とする。

上記目的を達成するために、本発明の動画像記録装置は、動画像データを記録媒体に記録する動画像記録装置であって、画像を撮像して画像信号を得る撮像手段と、前記撮像手段により得られた動画像データを符号化し動画像符号化データを生成する画像符号化処理手段と、前記動画像符号化データを記録媒体に記録する記録手段と、前記記録手段が前記動画像符号化データを記録媒体に記録している時に、前記撮像手段の所定動作を検知する第１の処理部及び前記第１の処理部の前記所定動作の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行う第２の処理部を有する頭出し位置生成手段とを備えることを特徴とする。

この構成により、例えば、前記撮像手段により撮像された動画像データを記録媒体に記録している時に、撮像手段の所定動作に連動し、頭出し位置を検知することが可能となるため、ユーザの直接操作なしに頭出し位置を指定することができる。

また、頭出し位置のＧＯＰ構造をＣｌｏｓｅｄＧＯＰに変更することができるため、動画像データの編集時および再生時に前方参照ＧＯＰを用意する必要がなく、これによって、画質劣化の防止や余分な転送処理の削減にも繋がる。

また、前記第１の処理部は、前記撮像手段の画像拡大または画像縮小動作を検知してもよい。

これにより、撮像手段の画像拡大または画像縮小動作をユーザ所望のシーンと擬制して、頭出し位置の生成が可能となる。

また、前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行ってから一定時間経過したか否かを判断し、一定時間経過したと判断すると、ＧＯＰ構造を元に戻すようＧＯＰ構造変更指示を行ってもよい。

これにより、例えば、頭出し位置から一定時間分のＧＯＰ構造はＣｌｏｓｅｄＧＯＰとなるが、一定時間を経過した後は元のＯｐｅｎＧＯＰに戻すことができ、符号化効率を上げることができる。

また、前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段にチャプタ表示用画像の生成指示を行う、あるいは、前記記録手段に前記動画像符号化データ分割指示を行ってもよい。

これにより、指定された頭出し位置にチャプタを生成することが可能となる。

また、前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段に前記撮像手段の所定動作情報を付加情報として前記動画像符号化データに付加する指示を行ってもよい。

これにより、撮像手段の画像拡大または画像縮小動作を行ったシーンに対して、付加情報として所定動作情報を付加することが可能となる。

また、前記撮像手段の傾きを検出可能な加速度センサを備え、前記第１の処理部は、前記加速度センサから前記撮像手段の傾きを示す値の変化を検知してもよい。

これにより、例えば、デジタルビデオカメラにおいて、撮像中にカメラを下に向け誤って地面を撮像した場合に、該シーンに対して頭出し位置と判断しＣｌｏｓｅｄＧＯＰとすることができ、ユーザが後に不要なシーンと判断した場合は、編集時に該シーンを容易に削除することが可能となる。

また、前記動画像符号化データを管理するための管理情報が記録される管理情報記録部を備え、前記頭出し位置生成手段は、前記第２の処理部の処理結果に基づいて前記記録手段から取得した頭出し位置の時間情報を前記管理情報として記録する第３の処理部を含むものであってもよい。

これにより、指定された頭出し位置にチャプタ生成しない場合もＧＯＰ構造をＣｌｏｓｅｄＧＯＰに変更し頭出し位置としたシーンの時間情報を管理することができるため、再生時において所望のシーンへの素早い移動または頭出しが可能となる。

また、本発明の動画像再生装置は、記録媒体に記録されている動画像符号化データを再生する動画像再生装置であって、前記記録媒体から前記動画像符号化データを読出し、前記動画像符号化データの付加情報に撮像時の所定動作情報が記録されている場合に、前記撮像時の所定動作が実行された位置から再生可能な再生手段を備えることを特徴とする。

これにより、動画像符号化データの付加情報に撮像時の画像拡大または画像縮小動作などの所定動作情報が記録されている場合に、該シーンからの再生が可能となる。

また、前記動画像符号化データの所定の画像特徴量が一定量の変化があることを検出し、頭出し位置として設定可能な編集手段を備えてもよい。

ここで、画像特徴量とは、画像から抽出可能な目、鼻、口等の顔を構成する部位の大きさ、位置、相対配置や、顔の輪郭等をパラメータ化したものである。

これにより、例えば、動画像内の画面中央付近に対して、目、鼻、口等の形状に特徴のある部位を探し出し、類似度が高ければ顔とみなすといった公知の顔検出技術を用いることで、人物が被写体であると認識して、該シーンを頭出し位置として設定することが可能となる。

また、本発明の動画像記録方法は、動画像データを記録媒体に記録する動画像記録方法であって、画像を撮像して画像信号を得る撮像ステップと、前記撮像ステップにより得られた動画像データを符号化し動画像符号化データを生成する画像符号化ステップと、前記動画像符号化データを記録媒体に記録する記録ステップと、前記記録ステップが前記動画像符号化データを記録媒体に記録している時に、前記撮像ステップにおける撮像の所定動作を検知する第１の処理ステップと、前記第１の処理ステップの検知に基づいて前記画像符号化処理ステップにＧＯＰ構造変更指示を行う第２の処理ステップを有する頭出し位置生成ステップとを備えることを特徴とする。

この構成により、例えば、撮像ステップで撮像された動画像データを記録媒体に記録している時に、撮像ステップの所定動作に連動し、頭出し位置を検知することが可能となるため、ユーザの直接操作なしに頭出し位置を指定することができる。

また、頭出し位置生成ステップによって、頭出し位置のＧＯＰ構造をＣｌｏｓｅｄＧＯＰに変更することができるため、動画像データの編集時および再生時に前方参照ＧＯＰを用意する必要がなくなるため、画質劣化の防止や余分な転送処理の削減にも繋がる。

前記第１の処理ステップは、前記撮像ステップにおける画像拡大または画像縮小動作を検知してもよい。

これにより、撮像ステップの画像拡大または画像縮小動作をユーザ所望のシーンと擬制して、頭出し位置の生成が可能となる。

また、本発明の動画像再生方法は、記録媒体に記録されている動画像符号化データを再生する動画像再生方法であって、前記記録媒体から前記動画像符号化データを読出し、前記動画像符号化データの付加情報に撮像時の所定動作情報が記録されている場合に、前記撮像時の所定動作が実行された位置から再生可能な再生ステップを備えることを特徴とする。

これにより、動画像符号化データの付加情報に撮像時の画像拡大または画像縮小動作などの所定動作情報が記録されている場合に、該シーンからの再生が可能となる。

また、本発明の半導体集積回路は、動画像データを外部に接続された記録媒体に記録する動画像記録可能な半導体集積回路であって、外部から入力された動画像データを符号化し動画像符号化データを生成する画像符号化処理手段と、前記動画像符号化データを外部に接続された記録媒体に記録する記録手段と、前記記録手段が前記動画像符号化データを外部に接続された記録媒体に記録している時に、外部に接続された撮像手段の所定動作を検知する第１の処理部及び前記第１の処理部の前記所定動作の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行う第２の処理部を有する頭出し位置生成手段とを備えることを特徴とする。

なお、本発明は、装置および方法として実現できるだけでなく、その装置を構成する機能や方法のステップをコンピュータに実行させるプログラムとして実現したり、そのプラグラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらのプログラム、情報、データ及び信号はインターネット等の通信ネットワークを介して配信できるようにしてもよい。

本発明によれば、デジタルビデオカメラのように撮像手段を持つ動画像記録装置あるいは動画像再生装置において、記録した動画像データを再生する際に、ユーザが見たいシーンへのアクセスを容易にする効果がある。また、ＣｌｏｓｅｄＧＯＰを挿入することにより、記録した動画像データの編集を容易にする効果もある。

（実施の形態１）
以下、本発明の実施の形態１における動画像記録装置について説明する。

図１は、本発明の実施の形態１における動画像記録装置の構成を示すブロック図である。この動画像記録装置は、撮像手段１０１と、画像符号化処理手段１０２と、記録媒体１０４にデータを記録する記録手段１０３と、頭出し位置生成手段１０５と、管理情報１０６とを備えている。

これらの内、少なくとも画像符号化処理手段１０２、記録手段１０３および頭出し位置生成手段１０５を、半導体集積回路で構成してもよい。

撮像手段１０１は、例えば、ズーム調整用のズームレンズを備えた撮像用光学系、上記撮像用光学系により得られた光情報を電気信号に変換するＣＣＤあるいはＣＭＯＳなどの光電変換素子を備える撮像デバイス、前記撮像デバイスより出力された電気信号をデジタル信号に変換し、デジタル信号処理を施す画像信号処理系などから構成される。

画像符号化処理手段１０２は、前記撮像手段１０１にて得られたデジタル信号に対して、所定の方式による圧縮符号化処理を施す。例えば、圧縮符号化方式として、ＭＰＥＧ２−ＶｉｄｅｏあるいはＭＰＥＧ４−ＡＶＣ／Ｈ．２６４（以下、ＭＰＥＧと記す）などが挙げられる。前記ＭＰＥＧでは、フレーム内符号化を用いたＩピクチャを一定フレーム間隔で挿入することによって複数のフレームから構成されるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）という単位で符号化を行う。

このＧＯＰには、ＧＯＰ境界でのフレーム間予測可能なＯｐｅｎＧＯＰとＧＯＰ境界でのフレーム間予測を禁止したＣｌｏｓｅｄＧＯＰとがある。ＯｐｅｎＧＯＰは参照フレームを含むＧＯＰに依存しているため、ＭＰＥＧデータにおけるランダムアクセスを行う際に、参照ＧＯＰが必要になるが、ＣｌｏｓｅｄＧＯＰの場合は、他のＧＯＰに依存しない独立したＧＯＰのため、ランダムアクセス時に有効である。なお、ＯｐｅｎＧＯＰは、ＢｒｏｋｅｎＬｉｎｋフラグを設定することでランダムアクセス可能となるが、前方参照しているフレームの再生が不可となるため、画質劣化に繋がる。また、符号化効率の点で、ＣｌｏｓｅｄＧＯＰは、ＧＯＰ境界でのフレーム間予測を禁止していることからＯｐｅｎＧＯＰに比べて低下するという特徴がある。

本実施の形態では、撮像中のＧＯＰ構造は、撮像開始時のみＣｌｏｓｅｄＧＯＰとして、以降は、所定動作を検知した時以外は、ＯｐｅｎＧＯＰで構成される。

記録手段１０３は、前記画像符号化処理手段１０２にて得られた動画像符号化データを記録媒体１０４に所定の単位毎に書込み処理を行う。また、前記記録手段１０３は、動画像符号化データを管理するための所定の情報を有する管理情報１０６をメモリ等の記録部に保持し、動画像符号化データと共に記録媒体１０４に書込む。本実施の形態では、音声データについて述べていないが、音声データが存在する場合は、前記記録手段１０３にて動画像符号化データと音声データとを多重化し、夫々のデータの同期を図るためにタイムスタンプを付与する。

前記記録媒体１０４は、例えば、ＨＤＤ、ＳＤカード、光ディスク（ＤＶＤ、ＢＤ等）等が挙げられる。

頭出し位置生成手段１０５は、前記記録手段１０３が前記画像符号化処理手段１０２にて得られた動画像符号化データを前記記録媒体１０４に記録している時に、前記撮像手段１０１の所定動作を検知する第１の処理部と、前記第１の処理部の所定動作の検知に基づいて、前記画像符号化処理手段１０２にＧＯＰ構造変更指示を行う第２の処理部とを有し、本実施の形態１では、撮像中に前記撮像手段１０１のズームレンズのズームインまたはズームアウト動作を所定動作として検知し、ＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰへ変更する指示を前記画像符号化処理手段１０２に対して行う。

上記ズームインやズームアウトの検知は、撮像手段１０１からのズーム操作に基づく信号により行うことができる。頭出し位置生成手段１０５の第１の処理部が検知する撮像手段１０１の所定動作は、好ましくは、画像拡大や縮小の例であるズームインやズームアウトである。

撮像手段１０１の撮像操作による撮像態様は多様であり、例えば、望遠撮像、広角撮像、高輝度での撮像、低輝度での撮像、コントラスト可変での撮像、等であり、頭出し位置生成手段１０５内の前記第１の処理部が検知する撮像手段１０１の所定動作は、ズームインや、ズームアウトに限らず、他の動作を検知するようにしてもよい。

この実施形態では、頭出し位置生成手段１０５内の前記第２の処理部は、さらに、前記第１の処理部の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行ってから一定時間経過したか否かを判断し、一定時間経過したと判断すると、ＧＯＰ構造を元に戻すようＧＯＰ構造変更指示を行うようにしている。

本発明の他の実施形態として、頭出し位置生成手段１０５内の前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段１０２にチャプタ表示用画像の生成指示を行うようにしてもよく、あるいは、頭出し位置生成手段１０５の前記第１の処理部の検知に基づいて前記記録手段１０３に前記動画像符号化データ分割指示を行うようにしてもよく、あるいは、頭出し位置生成手段１０５の前記第１の処理部の検知に基づいて前記画像符号化処理手段１０２に前記撮像手段１０１の所定動作情報を付加情報として前記動画像符号化データに付加する指示を行うようにしてもよく、それらを組み合わせて行ってもよい。

管理情報１０６は、前記記録手段１０３により、画像符号化データとともに、記録媒体１０４に記録されるデータであって、画像符号化データのいわゆるタイムスタンプなどの情報が含まれる。

次に、本発明の実施の形態１における撮像手段１０１のズーム動作を検知して画像符号化処理手段１０２に対してＧＯＰ構造の変更指示を行うまでの頭出し位置生成手段１０５の動作について説明する。

この動作において、動画像データを記録媒体に記録する動画像記録方法に含まれるステップとして、撮像手段１０１を用いて画像を撮像して画像信号を得る撮像ステップと、この撮像ステップにより得られた動画像データを画像符号化処理手段１０２にて符号化し動画像符号化データを生成する画像符号化ステップと、この動画像符号化データを記録手段１０３にて記録媒体１０４に記録する記録ステップとを含む。

また、頭出し位置生成手段１０５により、記録ステップで動画像符号化データを記録媒体１０４に記録している時に、前記撮像ステップの所定動作（実施の形態ではズーム動作）を検知する第１の処理ステップと、この第１の処理ステップの検知に基づいて前記画像符号化処理ステップにＧＯＰ構造変更指示を行う第２の処理ステップとを有する。

図２に前記第１、第２の処理ステップを実行する頭出し位置生成手段１０５の動作の流れを詳細に示す。

図２を参照して、頭出し位置生成手段１０５は、まず、撮像手段１０１のズームレンズのズームインまたはズームアウト動作（以下、ズーム動作と記す）が実行されたかどうかを検知する（Ｓ１０１）。ズーム動作が実行されていない場合には（Ｓ１０１のなしの場合）、画像符号化処理手段１０２に対してＧＯＰ構造変更指示を行わない。ズーム動作が実行された場合には（Ｓ１０１のありの場合）、画像符号化処理手段１０２が撮像手段１０１により得られたデジタル信号に対して圧縮符号化処理を施している最中かどうかを確認する（Ｓ１０２）。画像符号化処理手段１０２が圧縮符号化処理中でない場合には（Ｓ１０２の記録中ではない場合）、画像符号化処理手段１０２に対してＧＯＰ構造変更指示を行わない。

画像符号化処理手段１０２が圧縮符号化処理中である場合には（Ｓ１０２の記録中である場合）、撮像手段１０１のズーム動作が停止したかどうかを確認する（Ｓ１０３）。 ズーム動作が停止していない場合には（Ｓ１０３の停止していない、の場合）、再びズーム動作が停止したかどうかの確認（Ｓ１０３）を行い、以降、ズーム動作が停止するまで前記処理（Ｓ１０３）を繰返し行う。

撮像手段１０１のズーム動作が停止している場合には（Ｓ１０３の停止している、の場合）、画像符号化処理手段１０２に対してＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰに変更するように指示を行う（Ｓ１０４）。そして、画像符号化処理手段１０２は、頭出し位置生成手段１０５の要求に従い、ＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰに変更する。

また、頭出し位置生成手段１０５は、ＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰへの変更指示を行った一定時間後に、ＧＯＰ構造をＣｌｏｓｅｄＧＯＰからＯｐｅｎＧＯＰへの変更指示を行う。本実施の形態１では、ＣｌｏｓｅｄＧＯＰを１つ挿入することを想定しているため、約０．５秒後にＯｐｅｎＧＯＰへの変更指示を行う。

なお、頭出し位置生成手段１０５は、本実施の形態１では、撮像手段１０１のズームレンズのズーム動作を検知しているが、他の動作を検知してもよい。例えば、デジタルビデオカメラにおいて、撮像中にカメラを下に向け誤って地面を撮像するのを防止するために、カメラの傾きを検知できる加速度センサを搭載しているものがある。前記加速度センサが検出する傾きが所定の値になった場合に、撮像動作を停止するものである。

しかし、意図的にカメラを下に向けた場合にも撮像動作が停止してしまうため、地面等、垂直下方向を撮影する場合には、カメラの傾きを検知する機能をＯＦＦにする必要がある。

そこで、頭出し位置生成手段１０５は、撮像手段１０１のズームレンズのズーム動作を検知する代わりに、前記加速度センサが検出する傾き値を検知することで、例えば、カメラが垂直下方向に向けられた場合に、該シーンに対して頭出し位置と判断しＣｌｏｓｅｄＧＯＰとし、カメラが垂直下方向から水平方向に戻された場合に、再び頭出し位置と判断しＣｌｏｓｅｄＧＯＰとすることができる。

これにより、編集時にユーザが該シーンを不要と判断した場合には、容易に削除することが可能となる。

また、頭出し位置生成手段１０５の指示により、ＣｌｏｓｅｄＧＯＰに変更された位置の時間情報は、管理情報１０６に記録してもよい。

図３は、ＧＯＰの構成を示す図であり、同図（ａ）はＧＯＰ間を跨ぐ前方予測がなされるＯｐｅｎＧＯＰを、同図（ｂ）はＧＯＰ間を跨ぐ予測を用いないＣｌｏｓｅｄＧＯＰをそれぞれ示している。

同図において、Ｉはフレーム内符号化画像（Ｉ−Ｐｉｃｔｕｒｅ）、Ｐは前方予測符号化画像（Ｐ−Ｐｉｃｔｕｒｅ）、Ｂは両方向予測画像（Ｂ−Ｐｉｃｔｕｒｅ）を示し、図中の矢印は符号化画像が参照している参照画像を示している。

図３（ａ）のＯｐｅｎＧＯＰでは、例えばＧＯＰ１から再生を開始する場合、ＧＯＰ１のＩ−Ｐｉｃｔｕｒｅに先立つＢ−ＰｉｃｔｕｒｅがＧＯＰ０を参照しているため、正しい復号化が困難となる。しかし、図３（ｂ）のＣｌｏｓｅｄＧＯＰでは、例えばＧＯＰ１から再生を開始する場合、ＧＯＰ１のＩ−Ｐｉｃｔｕｒｅに先立つＢ−ＰｉｃｔｕｒｅはＧＯＰ０を参照していないため、正しい復号化が可能となる。

また、編集時において、図３（ａ）のＯｐｅｎＧＯＰでは、例えばＧＯＰ０を削除する場合、ＧＯＰ１のＩ−Ｐｉｃｔｕｒｅに先立つＢ−ＰｉｃｔｕｒｅがＧＯＰ０を参照しているため、復号化できなくなり画質が低下する。しかし、図３（ｂ）のＣｌｏｓｅｄＧＯＰでは、例えばＧＯＰ０を削除する場合、ＧＯＰ１のＩ−Ｐｉｃｔｕｒｅに先立つＢ−ＰｉｃｔｕｒｅはＧＯＰ０を参照していないため、画質への影響は発生しない。

このことから、ＣｌｏｓｅｄＧＯＰにすることで頭出しが容易となるだけでなく、頭出し位置の前方のＧＯＰを削除する等の編集も容易となる。

以上より、実施の形態１によれば、ユーザが撮像手段１０１のズームインまたはズームアウトといったズーム動作を実行した際に、該シーンのＧＯＰ構造をＣｌｏｓｅｄＧＯＰに変更できるため、再生時において該シーンへの素早い移動または頭出しが可能となるだけでなく、参照ＧＯＰが不要となるため、余分なデータ転送処理および画質劣化を防ぐことができる。

（実施の形態２）
次に、本発明の実施の形態２における動画像記録再生装置について、図面を用いて説明する。

図４は、本発明の実施の形態２における動画像記録再生装置を示すブロック図である。
この動画像記録再生装置は、上述の実施の形態１と同様の構成の動画像記録手段１１０と動画像再生手段１１１とを一体化した装置である。なお、本発明の他の実施形態として、動画像記録手段１１０を省略して、動画像再生装置を構成してもよい。

この動画像記録再生装置は、撮像手段１０１と、画像符号化処理手段１０２と、記録媒体１０４に記録する記録手段１０３と、頭出し位置生成手段１０５と、管理情報１０６と、表示装置１０７と、再生手段１０８とを備えている。これらの内、少なくとも画像符号化処理手段１０２、記録手段１０３、頭出し位置生成手段１０５および再生手段１０８を、半導体集積回路で構成することができる。

なお、本発明の他の実施形態として、動画像再生手段１１１には、前記動画像符号化データの所定の画像特徴量が一定量の変化があることを検出し、頭出し位置として設定可能な編集手段を設けてもよい。

撮像手段１０１は、例えば、ズーム調整用のズームレンズを備えた撮像用光学系、上記撮像用光学系により得られた光情報を電気信号に変換するＣＣＤあるいはＣＭＯＳなどの光電変換素子を備える撮像デバイス、前記撮像デバイスより出力された電気信号をデジタル信号に変換し、デジタル信号処理を施す画像信号処理系などから構成される。

画像符号化処理手段１０２は、前記撮像手段１０１にて得られたデジタル信号に対して、所定の方式による圧縮符号化処理を施す。例えば、圧縮符号化方式として、ＭＰＥＧ２−ＶｉｄｅｏあるいはＭＰＥＧ４−ＡＶＣ／Ｈ．２６４（以下、ＭＰＥＧと記す）などが挙げられる。前記ＭＰＥＧでは、フレーム内符号化を用いたＩピクチャを一定フレーム間隔で挿入することによって複数のフレームから構成されるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）という単位で符号化を行う。

本実施の形態では、撮像中のＧＯＰ構造は撮像開始時のみＣｌｏｓｅｄＧＯＰとして、以降は、所定動作を検知した時以外は、ＯｐｅｎＧＯＰで構成される。

記録手段１０３は、前記画像符号化処理手段１０２にて得られた動画像符号化データを記録媒体１０４に所定の単位毎に書込み処理を行う。

また、前記記録手段１０３は、動画像符号化データを管理するための所定の情報を有する管理情報１０６をメモリ等の記録装置に保持し、動画像符号化データと共に記録媒体１０４に書込む。本実施の形態では、音声データについて述べていないが、音声データが存在する場合は、前記記録手段１０３にて動画像符号化データと音声データを多重化し、夫々のデータの同期を図るためにタイムスタンプを付与する。

記録媒体１０４は、例えば、ＨＤＤ、ＳＤカード、光ディスク（ＤＶＤ、ＢＤ等）等が挙げられる。

頭出し位置生成手段１０５は、前記記録手段１０３が前記画像符号化処理手段１０２にて得られた動画像符号化データを前記記録媒体１０４に記録している時に、前記撮像手段１０１の所定動作を検知する第１の処理部と、前記第１の処理部の所定動作の検知に基づいて、前記画像符号化処理手段１０２にＧＯＰ構造変更指示を行う第２の処理部とを有し、本実施の形態２では、撮像中に前記撮像手段１０１のズームレンズのズームインまたはズームアウト動作を検知し、ＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰへ変更する指示を前記画像符号化処理手段１０２に対して行う。

頭出し位置生成手段１０５は、前記第２の処理部の処理結果に基づいて前記記録手段１０３から取得した頭出し位置の時間情報を前記管理情報１０６に記録する第３の処理部を含んでいる。

さらに、前記頭出し位置生成手段１０５の前記第２の処理部は、前記第１の処理部の所定動作の検知に基づいて、前記画像符号化処理手段１０２に前記撮像手段１０１の所定動作を付加情報として動画像符号化データに付加する指示を行い、本実施の形態２では、前記撮像手段１０１のズームレンズのズーム動作情報を圧縮符号化時に動画像符号化データのヘッダのユーザデータ領域にユーザデータとして付加するよう前記画像符号化処理手段１０２に対して行う。

管理情報１０６は、前記記録手段１０３により、画像符号化データとともに記録媒体１０４に記録されるデータであって、画像符号化データのいわゆるタイムスタンプなどの情報が含まれる。

表示装置１０７は、例えば、液晶モニタ等が挙げられる。

再生手段１０８は、前記記録媒体１０４から動画像符号化データを読出し、前記動画像符号化データの付加情報を解析し、前記付加情報に撮像時の所定動作情報が記録されている場合に、前記撮像時の所定動作が行われた位置から再生することが可能であり、本実施の形態２では、前記付加情報に撮像時のズームレンズのズーム動作の情報が記録されている場合に、前記ズーム動作の情報が記録されている位置から再生することを可能とする。

次に、本発明の実施の形態２における撮像手段１０１のズーム動作を検知して画像符号化処理手段１０２に対してＧＯＰ構造の変更指示を行い、さらに、前記撮像手段１０１のズーム動作情報を画像符号化データのヘッダのユーザデータ領域にユーザデータとして付加する指示を行うまでの頭出し位置生成手段１０５の動作について説明する。

図５は頭出し位置生成手段１０５の動作の流れを示したフローチャートである。

図５において、頭出し位置生成手段１０５は、まず、撮像手段１０１のズームレンズのズームインまたはズームアウト動作（以下、ズーム動作と記す）が実行されたかどうかを検知する（Ｓ２０１）。ズーム動作が実行されていない場合には（Ｓ２０１のなしの場合）、画像符号化処理手段１０２に対してＧＯＰ構造変更指示を行わない。

ズーム動作が実行された場合には（Ｓ２０１のありの場合）、画像符号化処理手段１０２が撮像手段１０１により得られたデジタル信号に対して圧縮符号化処理を施している最中かどうかを確認する（Ｓ２０２）。画像符号化処理手段１０２が圧縮符号化処理中でない場合には（Ｓ２０２の記録中ではない場合）、画像符号化処理手段１０２に対してＧＯＰ構造変更指示を行わない。

画像符号化処理手段１０２が圧縮符号化処理中である場合には（Ｓ２０２の記録中である場合）、撮像手段１０１のズーム動作が停止したかどうかを確認する（Ｓ２０３）。ズーム動作が停止していない場合には（Ｓ２０３の停止していない、の場合）、再びズーム動作が停止したかどうかの確認（Ｓ２０３）を行い、以降、ズーム動作が停止するまで前記処理（Ｓ２０３）を繰返し行う。

撮像手段１０１のズーム動作が停止している場合には（Ｓ２０３の停止している、の場合）、画像符号化処理手段１０２に対してＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰに変更するように指示を行う（Ｓ２０４）。

さらに、画像符号化処理手段１０２に対して撮像手段１０１のズーム動作が実行されたことを付加情報として動画像符号化データに付加するように指示を行う（Ｓ２０５）。

そして、画像符号化処理手段１０２は、頭出し位置生成手段１０５の要求に従い、ＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰに変更する。

さらに、画像符号化処理手段１０２は、頭出し位置生成手段１０５の要求に従い、動画像符号化データのヘッダのユーザデータ領域にズーム動作実行フラグを設定する。

また、頭出し位置生成手段１０５は、ＧＯＰ構造をＯｐｅｎＧＯＰからＣｌｏｓｅｄＧＯＰへの変更指示を行った一定時間後に、ＧＯＰ構造をＣｌｏｓｅｄＧＯＰからＯｐｅｎＧＯＰへの変更指示を行ってもよい。本実施の形態２では、ＣｌｏｓｅｄＧＯＰを１つ挿入することを想定しているため、約０．５秒後にＯｐｅｎＧＯＰへの変更指示を行う。

なお、頭出し位置生成手段１０５は、本実施の形態２では、撮像手段１０１のズームレンズのズーム動作を検知しているが、実施の形態１と同様に加速度センサ等の動作を検知してもよい。

次に、本発明の実施の形態２における前記記録媒体１０４から画像符号化データを読出し、画像符号化データを再生し、表示手段１０７に出力するまでの再生手段１０８の動作について図を用いて説明する。

図６は再生手段１０８の動作の流れを示したフローチャートである。

図６において、再生手段１０８は、まず、記録媒体１０４から動画像符号化データを読み出す（Ｓ３０１）。次に、記録媒体１０４から読み出した動画像符号化データのヘッダを解析し、ユーザデータ領域に撮像時のズームレンズのズーム動作実行フラグが設定されているか確認する（Ｓ３０２）。ズーム動作実行フラグが設定されている場合には（Ｓ３０２の付加情報ありの場合）、該シーンをサムネイル表示する等して頭出し位置として選択可能にする（Ｓ３０３）。

ズーム動作実行フラグが設定されていない場合には（Ｓ３０２の付加情報なしの場合）、特に処理は行わない。

そして、ユーザ操作によりユーザ所望のシーンから再生処理を行い、表示装置１０７に出力を行う。

以上より、実施の形態２によれば、ユーザが撮像手段１０１のズームインまたはズームアウトといったズーム動作を実行した際に、該シーンのＧＯＰ構造をＣｌｏｓｅｄＧＯＰに変更でき、動画像符号化データのヘッダに付加情報としてズーム動作の情報を付与できるため、再生時において撮像時にズーム動作したシーンを頭出し位置と擬制して該シーンへの素早い移動または頭出しが可能となるだけでなく、参照ＧＯＰが不要となるため、余分なデータ転送処理および画質劣化を防ぐことができる。

以上、本発明の動画像記録装置および動画像記録再生装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、動画像の記録や再生を行う機器、特にデジタルビデオカメラや携帯電話などの撮像機能を備える電子機器一般に適用可能である。

本発明の実施の形態１における動画像記録装置の構成を示すブロック図である。 本発明の実施の形態１における頭出し位置生成手段の動作の流れを示したフローチャート図である。 ＧＯＰの構成を示す図である。 本発明の実施の形態２における動画像記録再生装置の構成を示すブロック図である。 本発明の実施の形態２における頭出し位置生成手段の動作の流れを示したフローチャート図である。 本発明の実施の形態２における再生手段の動作の流れを示したフローチャート図である。

符号の説明

１０１ 撮像手段
１０２ 画像符号化処理手段
１０３ 記録手段
１０４ 記録媒体
１０５ 頭出し位置生成手段
１０６ 管理情報
１０７ 表示装置
１０８ 再生手段

Claims (16)

1. 動画像データを記録媒体に記録する動画像記録装置であって、
   画像を撮像して画像信号を得る撮像手段と、
   前記撮像手段により得られた動画像データを符号化し動画像符号化データを生成する画像符号化処理手段と、
   前記動画像符号化データを記録媒体に記録する記録手段と、
   前記記録手段が前記動画像符号化データを記録媒体に記録している時に、前記撮像手段の所定動作を検知する第１の処理部及び前記第１の処理部の前記所定動作の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行う第２の処理部を有する頭出し位置生成手段とを備える、ことを特徴とする動画像記録装置。
2. 前記第１の処理部は、前記撮像手段の画像拡大または画像縮小動作を検知する、ことを特徴とする請求項１に記載の動画像記録装置。
3. 前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行ってから一定時間経過したか否かを判断し、一定時間経過したと判断すると、ＧＯＰ構造を元に戻すようＧＯＰ構造変更指示を行う、ことを特徴とする請求項１に記載の動画像記録装置。
4. 前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段にチャプタ表示用画像の生成指示を行う、ことを特徴とする請求項１に記載の動画像記録装置。
5. 前記第２の処理部は、前記第１の処理部の検知に基づいて前記記録手段に前記動画像符号化データ分割指示を行う、ことを特徴とする請求項１に記載の動画像記録装置。
6. 前記第２の処理部は、前記第１の処理部の検知に基づいて前記画像符号化処理手段に前記撮像手段の所定動作情報を付加情報として前記動画像符号化データに付加する指示を行う、ことを特徴とする請求項１に記載の動画像記録装置。
7. 前記撮像手段の傾きを検出することが可能な加速度センサを備え、前記第１の処理部は、前記加速度センサから前記撮像手段の傾きを示す値の変化を検知する、ことを特徴とする請求項１に記載の動画像記録装置。
8. 前記動画像符号化データを管理するための管理情報が記録される管理情報記録部を備え、
   前記頭出し位置生成手段は、前記第２の処理部の処理結果に基づいて前記記録手段から取得した頭出し位置の時間情報を前記管理情報として記録する第３の処理部を含む、ことを特徴とする請求項１に記載の動画像記録装置。
9. 記録媒体に記録されている動画像符号化データを再生する動画像再生装置であって、
   前記記録媒体から前記動画像符号化データを読出し、前記動画像符号化データの付加情報に撮像時の所定動作情報が記録されている場合に、前記撮像時の所定動作が実行された位置から再生可能な再生手段を備える、ことを特徴とする動画像再生装置。
10. 前記再生手段は、前記記録媒体から前記動画像符号化データを読出し、前記動画像符号化データの付加情報に撮像時の画像拡大または画像縮小動作が実行されたか否かが記録されている場合に、前記撮像時の画像拡大または画像縮小動作が実行された位置から再生可能である、ことを特徴とする請求項９に記載の動画像再生装置。
11. 前記動画像符号化データの所定の画像特徴量が一定量の変化があることを検出し、頭出し位置として設定可能な編集手段を備える、ことを特徴とする請求項９記載の動画像再生装置。
12. 動画像データを記録媒体に記録する動画像記録方法であって、
    画像を撮像して画像信号を得る撮像ステップと、
    前記撮像ステップにより得られた動画像データを符号化し動画像符号化データを生成する画像符号化ステップと、
    前記動画像符号化データを記録媒体に記録する記録ステップと、
    前記記録ステップが前記動画像符号化データを記録媒体に記録している時に、前記撮像ステップにおける撮像の所定動作を検知する第１の処理ステップと、
    前記第１の処理ステップの検知に基づいて前記画像符号化処理ステップにＧＯＰ構造変更指示を行う第２の処理ステップを有する頭出し位置生成ステップとを備える、ことを特徴とする動画像記録方法。
13. 前記第１の処理ステップは、前記撮像ステップにおける画像拡大または画像縮小動作を検知する、ことを特徴とする請求項１２に記載の動画像記録方法。
14. 記録媒体に記録されている動画像符号化データを再生する動画像再生方法であって、
    前記記録媒体から前記動画像符号化データを読出し、前記動画像符号化データの付加情報に撮像時の所定動作情報が記録されている場合に、前記撮像時の所定動作が実行された位置から再生可能な再生ステップを備える、ことを特徴とする動画像再生方法。
15. 前記再生ステップは、前記記録媒体から前記動画像符号化データを読出し、前記動画像符号化データの付加情報に撮像時の画像拡大または画像縮小動作が実行されたか否かが記録されている場合に、前記撮像時の画像拡大または画像縮小動作が実行された位置から再生可能である、ことを特徴とする請求項１４に記載の動画像再生方法。
16. 動画像データを外部に接続された記録媒体に記録する動画像記録可能な半導体集積回路であって、
    外部から入力された動画像データを符号化し動画像符号化データを生成する画像符号化処理手段と、
    前記動画像符号化データを外部に接続された記録媒体に記録する記録手段と、
    前記記録手段が前記動画像符号化データを外部に接続された記録媒体に記録している時に、外部に接続された撮像手段の所定動作を検知する第１の処理部及び前記第１の処理部の前記所定動作の検知に基づいて前記画像符号化処理手段にＧＯＰ構造変更指示を行う第２の処理部を有する頭出し位置生成手段とを備える、ことを特徴とする半導体集積回路。

Images