JP2007134822A - 撮像記録再生装置および撮像記録再生方法 - Google Patents

Abstract

【課題】表示側での特別な検出器や信号処理装置などを設けなくても、所定の映像記録符号化方式における記録再生系の仕組みを利用することによって、未然に映像酔いを防止することができる撮像記録再生装置を提供する。
【解決手段】撮像記録再生装置１は、撮像された動画像を圧縮符号化する動画像符号化部１４と、撮像された動画像の大きな揺れを検出する動き検出部１２と、動き検出部１２が大きな揺れを検出した場合に、当該大きな揺れに対応した動画像の再生時における揺れを低減するように制御するための再生制御情報を付加する再生制御情報付加部１３と、動画像符号化部１４により圧縮符号化された圧縮符号化データと、再生制御情報付加部１３により付加された再生制御情報とを、記録媒体に記録する記録部１５と、記録媒体に記録された再生制御情報に基づいて、記録媒体に記録された圧縮符号化データを復号化して再生する復号化再生部１６とを備える。
【選択図】図２

Description

本発明は、デジタルビデオカメラ等で撮像した動画像を符号化して記録し、再生する撮像記録再生装置および撮影画像記録再生方法に関し、特に、大きな揺れによる映像酔いを防止する技術に関する。

近年、光刺激が点滅するテレビアニメーション番組を見た子供達が光感受性発作を起こし、吐き気や頭痛を訴えるなど、映像の安全性に係わる問題が提起されている。

光刺激が点滅などの悪影響映像を未然に防ぐ方法として、経済産業省・総務省の安全ガイドライン部会の安全ガイドラインなどでは、放送局などでのコントロールされた映像コンテンツの場合、提供側で事前に悪影響映像を検出してその情報をメタ情報として映像信号に付加し、視聴側でそのメタ情報に基づいて悪影響映像をカットする変換装置を備えた表示装置を用意することが提起されている。

このような提起に対応した映像信号処理装置が従来から開発されている（例えば、特開平１１−２７５３８５号公報）。この従来の映像信号処理装置は、個人撮影などのように事前にコントロールされていない映像コンテンツの場合、視聴側で上記悪影響映像の検出と、変換とを行い、表示装置に設けられる装置である。具体的には、この装置は、例えば、表示機器側での対策として、映像コンテンツの連続する画面の各画面を小さな領域に分割し、その分割された小領域における輝度信号およびまたは色信号の所定量以上の変化が所定期間内に何回起こるかを調べ、この変化の回数が所定の回数を超える小領域の数が所定の数を超え、しかも前記変化の時間が所定時間以上継続したとき、信号をカットしたり危険であることを知らせるようにしている。
特開平１１−２７５３８５号公報

ところで、近年では大画面テレビや、デジタルビデオカメラが一般家庭に普及し、個人で撮影した映像で映像酔いをもたらす危険をはらんでいる。この映像酔いは、大画面で酷く揺れる映像を見た場合に発生するものであり、視聴者が吐き気や頭痛を訴えるなど、映像の安全性に係わる問題の一つである。

しかしながら、従来の映像信号処理装置では、このような映像の大きな揺れについては対処することができない。

このような映像酔い等に対応するため、放送制作現場では映像作成マニュアルが準備され、悪影響映像を防ぐため、放送局などでの事前にコントロールされた映像コンテンツの場合、放送システムとして送信側と受信側で、悪影響映像を示すメタ情報を介し映像信号を制御する仕組みが提案されている。

これに対して、個人レベルでの撮影規制は難しく、個人で撮影した映像が映像酔いをもたらす危険をはらんでいる。例えば、撮影技術の未熟な個人が、操作不慣れで（例えば、大きな手ぶれ）によって、カメラを激しく動かせしてしまうことがよくある。このとき、手ぶれ補正では大きな揺れの補正はできず、撮影映像全体が大きく揺れてしまう。そうした映像を大画面ＴＶに表示して視聴すると映像酔いが起こりやすい。酷い場合には、吐き気や頭痛といった人体への影響が生じる。しかしながら、個人撮影したコントロールされていない映像コンテンツについては野放し状態であり、大きな揺れを緩和させる仕組みの出現が望まれている。

そこで、本発明は上記の事情に鑑みてなされたものであり、表示側での特別な検出器や信号処理装置などを設けなくても、個人撮影に使用する撮像記録再生装置が備える所定の映像記録符号化方式における記録再生系の仕組みを利用することによって、未然に映像酔いを防止することができる装置および方法の提供を目的とする。

上記目的を達成するために、本発明に係る撮像記録再生装置においては、撮像された動画像を圧縮符号化する符号化手段と、前記撮像された動画像の大きな揺れを検出する動き検出手段と、前記動き検出手段が大きな揺れを検出した場合に、当該大きな揺れに対応した動画像の再生時における揺れを低減するように制御するための再生制御情報を付加する再生制御情報付加手段と、前記符号化手段により圧縮符号化された圧縮符号化データと、前記再生制御情報付加手段により付加された再生制御情報とを、記録媒体に記録する記録手段と、前記記録媒体に記録された再生制御情報に基づいて、前記記録媒体に記録された圧縮符号化データを復号化して再生する復号再生手段とを備えることを特徴とする。

これにより、表示側での特別な検出器や信号処理装置などを設けなくても、個人撮影に使用する撮像記録再生装置が備える所定の映像記録符号化方式における記録再生系の仕組みを利用することによって、復号再生時における大きな揺れが低減され、映像酔いを未然に防止することができる。

また、本発明に係る撮像記録再生装置においては、前記撮像記録再生装置は、Ｈ．２６４画像符号化方式および復号化方式に準拠しており、前記再生制御情報付加手段は、前記再生制御情報として、前記Ｈ．２６４画像符号化方式におけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ）のＦｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅおよびＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを用いることを特徴とし、これにより、Ｈ．２６４映像記録符号化方式における記録再生系の仕組みを利用して、大きな揺れに対応した動画再生を制御し、未然に映像酔いを防止することができる。

また、本発明に係る撮像記録再生装置においては、前記再生制御情報付加手段は、前記動き検出手段が大きな揺れを検出した最初のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅを付加し、前記動き検出手段が大きな揺れを検出しなくなった最初のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを付加することを特徴とし、これにより、大きな揺れに対応したフレームの動画再生が停止され、静止画が再生されるので、大きな揺れが低減される。

また、本発明に係る撮像記録再生装置においては、前記再生制御情報付加手段は、前記動き検出手段が大きな揺れを検出した場合、前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅと、前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅとを、所定の間隔で繰り返し対応するフレームに付加することを特徴とし、これにより、大きな揺れに対応したフレームの静止画と、動画とが交互に再生されるので、大きな揺れが低減されるだけでなく、大きな揺れを検出している間の画像を見ることもできる。

また、本発明に係る撮像記録再生装置においては、前記再生制御情報付加手段は、前記動き検出手段が大きな揺れを検出した最初のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅを付加し、所定時間経過後のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを付加することを特徴とし、これによっても、大きな揺れに対応したフレームの動画再生が所定時間停止され、静止画が再生されるので、大きな揺れが低減される。

また、本発明に係る撮像記録再生装置においては、前記撮像記録再生装置は、前記復号再生手段が前記再生制御情報に基づいて再生を制御している場合、当該再生が制御されていることを視聴者に伝えるための情報を表示する情報表示手段を備えることを特徴とすることができる。

これにより、視聴者が故障と勘違いすることを未然に防止することができる。
また、本発明に係る撮像記録再生装置においては、前記動き検出手段は、撮像時における撮像記録再生装置自体の動きから動画像の大きな揺れを検出することを特徴とし、これにより、撮像記録再生装置が手ぶれ防止機構を有しているような場合に、この手ぶれ防止機構に含まれる角速度センサにより撮像記録再生装置自体の動きを検出し、この検出結果に基づいて、動画像の大きな揺れを検出することができる。

また、本発明に係る撮像記録再生装置においては、前記動き検出手段は、撮像した動画像の動きベクトルから大きな揺れを検出することも特徴とし、これにより、動画像を圧縮符号化する符号化手段で算出される動きベクトルに基づいて、動画像の大きな揺れを検出することもできる。

また、本発明に係る撮像記録再生装置においては、前記撮像記録再生装置は、前記再生制御情報付加手段によって付加された再生制御情報を再生時に有効にするか、無効にするかを選択する第１選択手段を備えることを特徴とし、これにより、視聴者の映像酔いに対する耐性に応じて再生を制御するか否かを選択することができる。

また、本発明に係る撮像記録再生装置においては、前記撮像記録再生装置は、前記再生制御情報付加手段による再生制御情報を付加するか否かを選択する第２選択手段を備えることも特徴とし、これによっても、視聴者の映像酔いに対する耐性に応じて再生を制御するか否かを選択することができる。

なお、本発明は、デジタルビデオカメラのような撮像記録再生装置として実現することができるだけでなく、このような撮像記録再生装置が備える特徴的な手段をステップとする撮像記録再生方法としても実現できる。すなわち、それらのステップをコンピュータに実行させるプログラムとして実現したり、そのようなプログラムを、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。

以上の説明から明らかなように、本発明に係る撮像記録再生装置によれば、表示側での特別な検出器や信号処理装置などを設けなくても、個人撮影に使用する撮像記録再生装置が備える所定の映像記録符号化方式における記録再生系の仕組みを利用することによって、大きな揺れが低減され、映像酔いを未然に防止することが可能になるという効果が奏される。

よって、本発明により、規制が困難な個人レベルでの撮影においても映像酔いを未然に防止することが可能となり、デジタルビデオカメラや、大画面テレビが普及してきた今日的状況において、本願発明の実用的価値は高い。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
図１は、本発明に係る撮像記録再生装置が適用される撮像記録再生システムの全体構成を示す図である。

撮像記録再生システムは、デジタルビデオカメラ１０１と、大画面のテレビ１０６と、プレイヤ１０５等とから構成される。

デジタルビデオカメラ１０１は、本発明に係る撮像記録再生装置を備え、Ｈ．２６４画像符号化方式および復号化方式に準拠しており、撮像した動画像を圧縮符号化して記録再生する装置であって、直接その再生出力を大画面のテレビ１０６へ供給し表示させることができるだけでなく、記録媒体として取り出し可能なメモリカード１０２、光ディスク１０３またはテープ１０４に一旦記録し、それを、プレイヤ１０５を介してテレビ１０６へ再生表示させることができる。

図２は、図１に示されるデジタルビデオカメラ１０１が備える撮像記録再生装置の詳細な構成を示すブロック図である。

撮像記録再生装置１は、図２に示されるように、撮像部１１ａ、動き検出部１２、再生制御情報付加部１３、動画像符号化部１４、記録部１５および復号化再生部１６を備える。

撮像部１１ａは、不図示のレンズ、レンズ制御、撮像センサ、ＡＤ変換器などの他、手ぶれ補正をするために撮像記録再生装置１自体の揺れ（回転）を検知する角速度センサなどを備えている。なお、角速度センサは、静止している状態での出力を基準に、撮像記録再生装置１自体の回転の動きの方向により正負両方の角速度信号を出力する。

動き検出部１２は、撮像部１１ａに組み込まれた角速度センサで検知された信号から、回転の動きの大きさを検出し、手ぶれ補正機能などで補正できない程大きな動きを検出した場合に、大きな動き検出を示す大きな動き検出ＯＮの信号をフレーム時間単位でカウントすると共に、大きな動き検出ＯＮが検出された開始時刻を保持しておく。

また、逆に、動きの大きさが補正できる程度に小さくなった場合には、大きな動き検出ＯＦＦの信号をフレーム時間単位でカウントすると共に、大きな動き検出ＯＦＦが検出された開始時刻を保持しておく。

なお、大きな動き検出ＯＮ／ＯＦＦの信号はフレーム単位で出力されるが、動きの大きさは、例えば、当該フレームと当該フレームに先行する連続した数フレーム分を移動平均したものを指標とし、局所的な動きの大きさの微変動を平滑化しておく。

さらに、動き検出部１２は、前記フレーム単位でカウントした大きな動き検出ＯＮ／ＯＦＦの信号について、例えば、数十フレームといった所定の期間に、大きな動き検出ＯＮの信号のカウント数によって、映像酔いを引き起こすような大きな揺れであるのか否か判定し、大きな揺れがあると判定した場合には、大きな動き検出ＯＮが検出された開始時刻と、大きな揺れありの判定信号（大きな揺れＯＮ）を再生制御情報付加部１３へ出力する。また、逆に、所定の期間に、大きな動き検出ＯＦＦの信号のカウント数によって、大きな揺れが停止した否かを判定し、大きな揺れが停止したと判定した場合には、大きな動き検出ＯＦＦが検出された開始時刻と、大きな揺れ停止の判定信号（大きな揺れＯＦＦ）を再生制御情報付加部１３へ出力する。

ここで、映像酔いは、視線方向の軸を中心とする回転運動（Ｔｉｌｔ）や、視線方向の軸に並進した運動に対応する拡大、縮小運動（Ｚｏｏｍ）で起こりやすい。例えば、映像全体（映像のグローバルな動き）が振り子のように、約１〜５Ｈｚ、３秒〜１０秒間程度、視線がどうにか追随できる速さで大きく揺れる（例えば、往復範囲±２０〜６０度、速度１０〜３０度／秒）と起こりやすい。

再生制御情報付加部１３は、前記動き検出部１２から供給された大きな動き検出ＯＮの開始時刻と大きな揺れの判定信号、並びに大きな動き検出ＯＦＦの開始時刻と大きな揺れ停止の判定信号に基づいて、再生制御情報を付加する。

図３は、動き検出部１２と再生制御情報付加部１３における連携動作の一つの例を示したものである。

ここで、図３中の撮影時間ｔは、現在撮影中の時間を示している。本実施の形態では撮影時間ｔはフレーム時間（例えば、１フレーム＝約１／３０秒）とする。また、図３中の動き検出部１２は、図３に示される大きな動き検出ＯＦＦの信号の後に大きな動き検出ＯＮの信号が供給されたら、その大きな動き検出ＯＮの信号の開始時間（ｔ０）から所定の判定期間（図３の判定期間１）の間（ｔ０からｔ１）に、大きな動き検出ＯＮの信号が何回検出されたかをフレーム単位でカウントする。このカウント数が前記判定期間１の間に所定回数（例えば、判定期間６０フレーム中／３０回）以上あれば、映像酔いを引き起こすような大きな揺れであると判定する（大きな揺れ判定）。なお、大きな動き検出ＯＮ／ＯＦＦの閾値として、例えば、撮像部１１ａの角速度センサの検出角度が±２０度を超えた場合をＯＮとする。そして、動き検出部１２は、大きな動き検出ＯＮの信号の開始時刻と大きな揺れの判定信号を再生制御情報付加部１３へ供給する。

再生制御情報付加部１３は、動き検出部１２から大きな動き検出ＯＮの開始時刻と大きな揺れの判定信号が供給されたら、Ｈ．２６４画像符号化方式で規定されているＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ）のＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅメッセージを、大きな動き検出ＯＮの開始時刻に戻って記録中の動画像符号化データに挿入するかたちで記録部１５へ付加する。

また、動き検出部１２は、大きな動き検出ＯＮの信号の後に大きな動き検出ＯＦＦの信号が供給されたら、その大きな動き検出ＯＦＦの信号の開始時間（ｔ２）から所定の判定期間（図３の判定期間２）の間（ｔ２からｔ３）に、大きな動き検出ＯＮの信号が何回検出されたかをフレーム単位でカウントする。このカウント数が前記判定期間２の間に所定回数（例えば、判定期間４０フレーム中／３０回）以上あれば、映像酔いを引き起こすような大きな揺れが停止したと判定する（大きな揺れ停止判定）。動き検出部１２は、大きな動き検出ＯＦＦの信号の開始時刻と大きな揺れ停止の判定信号を再生制御情報付加部１３へ供給する。

再生制御情報付加部１３は、動き検出部１２から大きな動き検出ＯＦＦの開始時刻と大きな揺れ停止の判定信号が供給されたら、後述するＨ．２６４画像符号化方式で規定されているＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ）のＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅメッセージを、大きな動き検出ＯＦＦの開始時刻に戻って記録中の動画像符号化データに挿入するかたちで記録部１５へ付加する。

図４は、ＳＥＩメッセージ一覧を示す図である。
再生制御情報として、Ｈ．２６４画像符号化方式で規定されているＳＥＩのメッセージにおいて、図４に示されるように、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩと、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩとが規定されている。

Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩは、前に表示されたフレームが更新されずにそのまま表示されること（フレーム凍結）を示す。また、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩは、上記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩでフレーム凍結された再生状態を解除すること（フレーム凍結解除）を示す。

すなわち、復号化再生部１６は、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩで指定されたフレームで動画像の再生を一旦中断し、静止画を再生する。また、復号化再生部１６は、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩを付加したそのフレームからフレーム凍結を解除し、動画再生を再開する。つまり、この間、大きな揺れは停止し、静止へと変更される。

ところで、Ｈ．２６４画像符号化方式で規定されているＳＥＩは、ユーザデータなど、デコードに直接関連のない情報であり、図５に示されるように、ビデオビットストリームのＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）とは別に、パラメータセットＰＳ（Ｐａｒａｍｅｔｅｒ Ｓｅｔ）や、ＶＵＩ（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ）と一緒に、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）で多重化され、ＮＡＬ ｕｎｉｔとしてまとめられる。なお、ＮＡＬ ｕｎｉｔは、ＭＰＥＧ−２のシステムや、ＲＴＰ／ＩＰ（Ｒｅａｌ―Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）といったＳｙｓｔｅｍ Ｌａｙｅｒで伝送される。

なお、上記ＮＡＬ ｕｎｉｔは、図６に示されるように、バイト単位で、Ｈｅａｄｅｒ情報と、ＶＣＬや、ｎｏｎ―ＶＣＬデータのＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｔｒｅａｍ Ｐａｙｌｏａｄ）との並びから構成されている。

また、Ｈｅａｄｅｒ情報は、図７に示されるように、ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅおよびｎａｌ＿ｒｅｆ＿ｉｄｃからなっている。このとき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、図８に示されるように、ＮＡＬ ｕｎｉｔに格納されているデータの種類を特定している。さらに、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが「６」の場合、図９に示されるように、そのＮＡＬ＿ｕｎｉｔの種類がＳＥＩであることがわかる。なお、図８と図９におけるカテゴリは、エラー耐性のツールを示している。またビットはそのｔｙｐｅを送るのに要するビット数を示している。

上述したように、ＳＥＩのＮＡＬ ｕｎｉｔは、ＶＣＬのＮＡＬ ｕｎｉｔと一緒に送ることができる。これらのＮＡＬ＿ｕｎｉｔが複数集まって、１つのピクチャ（１フレーム）が構成されており、それをＡＵ（ａｃｃｅｓｓ ｕｎｉｔ）と呼ぶ。

図１０に、１ＡＵとして集められるＮＡＬ＿ｕｎｉｔの集まりの並びのフローが示されている。

つまり、１ＡＵは、ＡＵ境界を示すＮＡＬであるａｃｃｅｓｓ ｕｎｉｔ ｄｅｌｉｎｅｔｅｒ ＮＡＬ ｕｎｉｔと、複数ＡＵに関するパラメータセットであるＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＳＰＳ） ＮＡＬ ｕｎｉｔと、複数Ｓｌｉｃｅに関するパラメータセットであるＰｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（ＰＰＳ） ＮＡＬ ｕｎｉｔと、プレイヤの再生に関わる情報等を記載したＳＥＩ ＮＡＬ ｕｎｉｔと、規格で定められた方法で符号化されたピクチャであるｐｒｉｍａｒｙ ｃｏｄｅｄ ｐｉｃｔｕｒｅ ＮＡＬ ｕｎｉｔと、エラー発生時のコンシールメントなどに使用されるｒｅｄｕｎｄａｎｔ ｃｏｄｅｄ ｐｉｃｔｕｒｅ ＮＡＬ ｕｎｉｔと、シーケンス終端を表すｅｎｄ ｏｆ ｓｅｑｕｅｎｃｅ ＮＡＬ ｕｎｉｔ（次のＡＵはＩＤＲ ＡＵ）と、ストリーム終端であるｅｎｄ ｏｆ ｓｔｒｅａｍ ＮＡＬ ｕｎｉｔとが、この順番に並べられて構成される。

図１０に示されるように、ＳＥＩのＮＡＬ ｕｎｉｔは、符号化ピクチャのＮＡＬ ｕｎｉｔのｐｒｉｍａｒｙ ｃｏｄｅｄ ＮＡＬ ｕｎｉｔに先行して送られる。従って、再生制御情報付加部１３で付加されたＳＥＩの再生制御情報（ＳＥＩ ＮＡＬ ｕｎｉｔ）は、記録部１５で、動画像符号化部１４のデータ（ｐｒｉｍａｒｙ ｃｏｄｅｄ ＮＡＬ ｕｎｉｔ）の前に付加するように記録される。

動画像符号化部１４は、本実施の形態ではＨ．２６４画像符号化方式によって符号化する動画符号化部であって、撮影された映像を符号化し、動画像符号化データを出力する。動画像符号化データは、記録部１５へ供給される。

記録部１５は、再生制御情報付加部１３で付加されたＳＥＩのＮＡＬ＿ｕｎｉｔと、動画像符号化部１４で符号化され動画像符号化データのＮＡＬ＿ｕｎｉｔとを、ＡＵ単位で記録する。記録する媒体としては、取り出し可能なメモリカード、光ディスクまたはテープなどである。

復号化再生部１６は、記録部１５で記録され媒体から、再生制御情報付加部１３で付加されたＳＥＩの再生制御情報（ＳＥＩ ＮＡＬ ｕｎｉｔ）と、動画像符号化部１４で符号化され動画像符号化データ（ｐｒｉｍａｒｙ ｃｏｄｅｄ ＮＡＬ ｕｎｉｔ）とを読み出し、ＳＥＩの再生制御情報に従って、復号化した動画像符号化データを再生する。すなわち、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅが付加されていれば、復号化再生部１６は、動画像の再生を一旦中断（フレーム凍結）し、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅが付加されていれば、それが付加されたフレームからフレーム凍結を解除し、再生を再開する。大きな揺れは停止し静止へと変更されるため、映像酔いは事前に防止される。

次いで、撮像記録再生装置１各部の撮影時および再生時における動作を説明する。
図１１は、撮影時における記録動作を示すフローチャートである。なお、動画像の１フレーム毎に図１１に示される処理が撮影が終わるまで繰り返し実行される。

撮像部１１ａは、撮影処理を実行する（Ｓ２０１）。次いで、動画像符号化部１４は、動画符号化処理を実行し、圧縮符号化データを生成する（Ｓ２０２）。

一方、動き検出部１２は、動き検出処理を実行し（Ｓ２０３）、大きな揺れを検出したか否か判断する（Ｓ２０４）。そして、大きな揺れを検出した場合（Ｓ２０４でＹｅｓ）、動き検出部１２は、大きな揺れの始まりか否か判断する（Ｓ２０５）。大きな揺れの始まりである場合（Ｓ２０５でＹｅｓ）、動き検出部１２は、大きな揺れＯＮを出力する（Ｓ２０６）。この場合、再生制御情報付加部１３は、再生制御情報付加処理を実行、つまりＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩを付加する（Ｓ２０７）。そして、記録部１５は、記録媒体に圧縮符号化データと再生制御情報とを記録する（Ｓ２０８）。なお、大きな揺れの始まりでない場合（Ｓ２０５でＮｏ）、ステップＳ２０６，Ｓ２０７が行われることなく、圧縮符号化データだけが記録媒体に記録される。

これに対して、大きな揺れを検出していない場合（Ｓ２０４でＮｏ）、動き検出部１２は、大きな揺れの終了直後か否か判断する（Ｓ２０９）。大きな揺れの終了直後である場合（Ｓ２０９でＹｅｓ）、動き検出部１２は、大きな揺れＯＦＦを出力する（Ｓ２１１）。この場合、再生制御情報付加部１３は、再生制御情報付加処理を実行、つまりＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩを付加する（Ｓ２１１）。そして、記録部１５は、記録媒体に圧縮符号化データと再生制御情報とを記録する（Ｓ２０８）。なお、大きな揺れの終了直後でない場合（Ｓ２０９でＮｏ）、ステップＳ２１０，Ｓ２１１が行われることなく、圧縮符号化データだけが記録媒体に記録される。

このようにステップＳ２０１〜Ｓ２１１の処理が繰り返し実行され、再生制御情報付加部１３は、動き検出部１２が大きな揺れを検出した最初のフレームにＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅを付加し、動き検出部１２が大きな揺れを検出しなくなった最初のフレームにＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを付加し、記録部１５は、動画像符号化部１４が生成した圧縮符号化データと、再生制御情報付加部１３が付加した再生制御情報（Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩおよびＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩ）とを、記録媒体に記録する。

図１２は、再生時における再生動作を示すフローチャートである。なお、動画像の１フレーム毎に図１２に示される処理が再生が終わるまで繰り返し実行される。

視聴者から動画再生の指示があると、記録部１５は、記録媒体から動画像読み出し処理を実行する（Ｓ３０１）。次いで、復号化再生部１６は、再生制御情報「Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩ」が付加されているか否か判断する（Ｓ３０２）。判断の結果、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩが付加されている場合（Ｓ３０２でＹｅｓ）、復号化再生部１６は、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩ検出フラグに「１」をセットする（Ｓ３０３）。そして復号化再生部１６は、動画復号化処理を実行し（Ｓ３０４）、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩに基づく再生制御処理を実行し（Ｓ３０５）、再生する（Ｓ３０６）。すなわち、動画像の再生が停止され、静止画が再生される。

一方、判断の結果、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩが付加されていない場合（Ｓ３０２でＮｏ）、復号化再生部１６は、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩ検出フラグに「１」がセットされているか否か判断する（Ｓ３０７）。判断の結果、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩ検出フラグに「１」がセットされている場合（Ｓ３０７でＹｅｓ）、復号化再生部１６は、再生制御情報「Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩ」が付加されているか否か判断する（Ｓ３０８）。判断の結果、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩが付加されていない場合（Ｓ３０８でＮｏ）、ステップＳ３０５の再生制御処理を実行する。すなわち、動画像の再生の停止と、静止画の再生が継続される。

これに対して、判断の結果、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩが付加されている場合（Ｓ３０８でＹｅｓ）、復号化再生部１６は、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩ検出フラグを「０」にリセットする（Ｓ３０９）。そして復号化再生部１６は、動画復号化処理を実行し（Ｓ３０４）、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ ＳＥＩに基づき、動画復号化処理を実行し（Ｓ３１０）、再生する（Ｓ３０６）。すなわち、動画像の再生が再会される。

また、ステップＳ３０７における判断の結果、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＳＥＩ検出フラグが「１」でない場合、つまり「０」である場合、復号化再生部１６は、動画復号化処理を実行し（Ｓ３１０）、再生する（Ｓ３０６）。すなわち、動画像の再生が継続される。

以上のように、本実施の形態１では、撮像部１１ａの角速度センサから撮像器自体の揺れ（回転）を検出し、一定期間、大きな揺れが続くようであれば、大きな揺れが始まった時点から記録された動画符号化データの再生を停止し、大きな揺れが停止した時点で停止時点の動画符号化データから再生開始をすることができる。このため、映像酔いを起こすような大きな揺れは再生されないため、未然に映像酔いを防止できる。

なお、上記実施の形態では、動き検出部１２と再生制御情報付加部１３との連携動作の一つとして、大きな揺れが始まった時点で再生を停止し、大きな揺れが停止した時点から再生を開始をする例を示したが、これに限られず、図１３や図１４に示すような方法で連携動作させてもよい。

図１３は、大きな揺れが始まった時点から大きな揺れが停止した時点までの期間、記録された動画符号化データの再生を停止し続けるのではなく、一定期間毎に、Ｆｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅとＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを繰り返し挿入することで、瞬時動画の紙芝居のように記録された動画を再生する。この繰り返しは、大きな揺れ停止判定がでるまで続けられる。すなわち、再生制御情報付加部１３は、動き検出部１２が大きな揺れを検出した場合、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅと、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅとを、所定の間隔で繰り返し対応するフレームに付加するように構成されている。

例えば、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ挿入からＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ挿入まで期間（ｎ）は１フレームから５フレーム程度と短く、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅ挿入からＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ挿入までの期間（ｍ）は３０フレームから６０フレーム程度と長く設定する。

このように設定することで、視聴者は再生時に大きく揺れている撮影動画部分の情報を部分的ではあるが間欠的に見ることができるので、映像内容をある程度確認できる。また、大きな揺れとして連続的に再生させるわけではないので、映像酔いを防止できる。つまり、大きな揺れに対応したフレームの静止画と、動画とが交互に再生されるので、大きな揺れが低減されるだけでなく、大きな揺れを検出している間の画像を見ることもできる。

また、図１４は、大きな揺れ判定の後、再生制御情報のＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅメッセージが挿入され、その後決められた一定期間フレーム凍結が継続し、Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅが挿入されてフレーム凍結が解除されることを示している。すなわち、再生制御情報付加部１３は、動き検出部１２が大きな揺れを検出した最初のフレームにＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅを付加し、所定時間経過後のフレームにＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを付加するように構成されている。

上記の決められた一定期間のフレーム凍結は、Ｈ．２６４画像符号化方式で規定されているＳＥＩのＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅのｆｕｌｌ−ｆｒａｍｅ＿ｆｒｅｅｚｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄで設定する。ｆｕｌｌ−ｆｒａｍｅ＿ｆｒｅｅｚｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄは、フレーム＿凍結＿の期間（フレーム数）の値が０〜１６３８４までの範囲で設定できる。こうすることによって、再生時には、大きな揺れが始まって一定期間、フレームが凍結される。このため、大きな揺れ停止判定を設けなくとも、一定期間の動画の大きな揺れは再生されないので、映像酔い発生を低減できる。なお、ｆｕｌｌ−ｆｒａｍｅ＿ｆｒｅｅｚｅ＿ｒｅｐｅｔｉｔｉｏｎ＿ｐｅｒｉｏｄが０の場合、フレーム凍結ＳＥＩメッセージが現在の復号化ピクチャだけに適用される。

ところで、本実施の形態では、撮像記録再生装置での再生を前提に説明したが、上記再生制御情報および動画符号化データを記録したメモリカード、光ディスクまたはテープなどの記録媒体を、再生プレイヤを介して再生表示する場合にも、再生プレイヤ側にＨ．２６４画像符号化方式のデコーダを搭載していれば、同様に付加された再生制御情報によって大きな揺れがあると再生は停止されるため同様な映像酔い防止効果が得られることは言うまでもない。すなわち、再生表示系での映像酔い防止の特別な検出装置や信号処理装置は必要ない。

また、本実施の形態では、再生制御情報としてＳＥＩのＦｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅメッセージとＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅメッセージを利用したが、ユーザデータとして、上記Ｆｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅメッセージとＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅメッセージと同様な機能をもつ独自のコードを設けてもよい。

（実施の形態２）
次に、本発明の実施の形態２に係る撮像記録再生装置について、図面を参照しながら説明する。

図１５は、本発明の第２の実施の形態に係る撮像記録再生装置２の構成を示すブロック図である。なお、本撮像記録再生装置２において、上述した実施の形態１の撮像記録再生装置１の構成と対応する部分に同じ番号を付し、その説明を省略する。このため、撮像記録再生装置１と異なる部分についてのみ詳しく説明する。

撮像記録再生装置２では、図１５に示されるように、再生制御実行選択部１７と、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）１８とが新たに追加されて構成されている。

再生制御実行選択部１７は、再生制御を実行するか否かを選択する選択スイッチである。この場合、図１５に示されるように、まず、動き検出部１２、再生制御情報付加部１３、および記録部１５まに至る前、直接的には動き検出部１２へ撮像部１１ａから動きの情報を供給する前に、再生制御情報の付加を実行するか否かの選択ができるように第１のスイッチを設ける。

また、復号化再生部１６に付加された再生制御情報を基づいて、再生制御を実行するか否かの選択できるように第２のスイッチを設ける。なお、第２のスイッチはＯＳＤ１８について同様に機能する。

前記第１のスイッチは、ユーザが映像酔い防止の機能を必要としない場合、第１のスイッチをＯＦＦにし映像酔い防止の機能をＯＦＦにできる。例えば、撮影操作に熟練したユーザあるいは三脚などで固定している場合などがそうである。また、視聴者の映像酔いに対する耐性に応じて再生を制御するか否かを選択することもできる。映像酔い防止の機能をＯＦＦにすることで、動き検出部１２、再生制御情報付加部１３の機能がＯＦＦになり、電力並びに記録データ量が僅かであるが節約できる。

また、前記第２のスイッチは、前記第１のスイッチがＯＮで、映像酔い防止の機能がＯＮで記録されたものを、ユーザがすべての記録した映像を確認したいとき、再生時に第２のスイッチＯＦＦにすることで、付加された再生制御情報をパスして再生することができる。また、視聴者の映像酔いに対する耐性に応じて再生を制御するか否かを選択することができる。例えば、ＳＥＩのＦｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅメッセージあるいはＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ ＲｅｌｅａｓｅメッセージがＡＵに付加されていた場合、メッセージを無視して再生する。

再生制御実行選択部１７の第１のスイッチと第２のスイッチのＯＮ／ＯＦＦは、撮像記録再生装置に設けられたユーザ選択モードのメニューに従って設定する。例えば、図１６に示されるように、ユーザ選択モードを開始し、ユーザ選択メニューより再生制御ＯＮ／ＯＦＦを選択する（Ｓ１１）。続いて、記録時の再生制御ＯＮ／ＯＦＦか、再生時の再生制御ＯＮ／ＯＦＦかを選択し（Ｓ１２）、再生制御実行ＯＮ／ＯＦＦのどちらかを選択する（Ｓ１３）。再生制御実行ＯＮ／ＯＦＦのどちらかの選択が終わると、ユーザ選択メニューに戻り（Ｓ１４）、ユーザ選択モードを終了する。

ＯＳＤ１８は、再生時に撮像記録再生装置に内蔵された文字画像やサインを再生映像に重ねて表示するものである。ここでは、再生制御実行選択部１７の第１のスイッチと第２のスイッチがＯＮで映像酔い防止の機能がＯＮで再生制御情報が機能する場合、しかも、復号化再生部１６から再生制御情報が付加されて信号を受け、再生が停止されるような場合、再生停止のメッセージをＯＳＤ１８に表示する。

例えば、図１７に示されるように、付加されたＳＥＩのＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅメッセージで再生が停止している間、再生停止のメッセージ、「安全性のため再生停止中」など、なぜ再生が中断されたのか、視聴者にわかるように表示する。なぜならば、突然再生が停止されると視聴者は故障かと間違える可能性があるためである。メッセージの替わりに再生停止を示すサインや絵文字でもよい。

以上のように、本実施の形態の撮像記録再生装置２では、ユーザの撮影状況やユーザの要望によって、再生制御実行を選択することができる。このため、映像酔い防止の機能が必要でない場合、あるいはすべての映像を確認した場合にも、本発明の撮像記録再生装置は十分対応できる。

また、映像酔い防止で再生制御された場合にメッセージやサインをＯＳＤ１８によって表示させることによって、ユーザの勘違い（故障かと思う）を解消することができる。

（実施の形態３）
次に、本発明の実施の形態３に係る撮像記録再生装置について、図面を参照しながら説明する。

図１８は、本発明の実施の形態３に係る撮像記録再生装置３の構成を示すブロック図である。なお、本撮像記録再生装置３において、上述した実施の形態１の撮像記録再生装置１の構成と対応する部分に同じ番号を付し、その説明を省略する。このため、撮像記録再生装置１と異なる部分についてのみ詳しく説明する。

本撮像記録再生装置３は、撮像記録再生装置１の構成とほぼ同じであるが、撮像部１１ａに代えて手ぶれ補正機能を有さない、つまり角速度センサを持たない一般的な撮像部１１ｂが用いられている。このため、撮像部１１ｂ、動き検出部１２、動画像符号化部１４における信号の流れが異なっている。なお、各構成部分の機能と動作は、前記第１の実施の形態の構成と同じである。このため、前記第１の実施の形態と異なる部分についてのみ詳しく説明する。

撮像記録再生装置３では、図１８に示されるように、撮像部１１ｂではなく、動画像符号化部１４から動き検出部１２へ信号が送られている点が、撮像記録再生装置１と異なる。撮像記録再生装置３では、動画像符号化部１４から動き情報（例えば、動きベクトル情報）を受け取り、動き検出部１２で大きな動き検出ＯＮ／ＯＦＦ並びに大きな揺れ判定を実行する。すなわち、実施の形態１で説明したような角速度センサが撮像部１１ｂにない場合、動画像符号化部１４で映像全体のグローバルな動きベクトルを連続するフレーム間の映像信号から検出し、この動きベクトルを動き検出部１２へ供給する。

動画像符号化部１４における前記映像全体のグローバルな動きベクトル検出は、例えば、図１９に示されるように、原画像サイズを大幅に縮小した縮小画像を用いて検出する。

なお、縮小画像の生成は、原画像を水平（Ｈ）、垂直方向（Ｖ）に、例えば１／１６した画素平均値あるいは間引き画素値を用いて生成する。なお、動きベクトルを検出する対象範囲は、フレーム画像全体ではなく、フレームの中央部分のみとし、縮小画像間で動きベクトルを検出する。

１フレーム前の縮小参照フレーム（ｆ１）を参照し、現在の縮小フレームｆ０のブロック（フレームの中央部分の動きベクトル検出対象範囲を、例えば、８画素×８ラインに分割した領域）の動きベクトルを検出する。なお、動き検出部１２へは、検出された各ブロックの動きベクトルを平均化したグローバルな動きベクトルを供給する。

つまり、動き検出部１２は、撮像した動画像の動きベクトルから大きな揺れを検出する構成である。これにより、動画像を圧縮符号化する動画像符号化部１４で算出される動きベクトルに基づいて、動画像の大きな揺れを検出することが可能となる。

以上のように、本実施の形態３では、動画像符号化部で画像全体のグローバルの動きベクトルを検出し、この動きベクトルをもとに動き検出部で大きな動き検出ＯＮ／ＯＦＦ並びに大きな揺れ判定を実施する。このため、撮像部に角速度センサなどの特別な装置を設けなくとも、映像酔いを起こすような大きな揺れを検出できる。

なお、この撮像記録再生装置３に再生制御実行選択部１７や、ＯＳＤ１８を追加して撮像記録再生装置を構成してもよい。これにより、撮像記録再生装置２の場合と同様の効果を発揮させることができる。

また、上記実施の形態では、符号化方式をＨ．２６４として説明したが、Ｈ．２６４に限られず、他の符号化方式、例えば、ＭＰＥＧ２に適用できるのは言うまでもない。この場合には、再生制御情報として当該再生制御情報と同内容を示すメタ情報を格納したタグを用いればよい。

また、上記した撮像記録再生装置１〜３の構成要素、動き検出部１２、再生制御情報付加部１３、動画像符号化部１４、記録部１５、復号化再生部１６、再生制御実行選択部１７、ＯＳＤ１８をハードウェアで構成してもよく、これらを構成するためのプログラムをメモリに格納し、当該プログラムをＣＰＵが実行することでこれらを構成してもよい。

以上のように、本発明に係る撮像記録再生装置および撮像記録再生方法は、大画面ＴＶでの視聴を対象とするような映像、例えば、ＨＤ（ハイビジョン）映像のような高精細な映像を、個人で撮影することができるデジタルビデオカメラや、ＡＶ機器等に適用することができる。

本発明に係る撮像記録再生装置が適用される撮像記録再生システムの全体構成を示す図である。 図１に示されるデジタルビデオカメラ１０１が備える撮像記録再生装置の詳細な構成を示すブロック図である。 本発明に係る撮像記録再生装置において再生制御情報を付加するタイミングを説明するための一例を示す図である。 Ｈ．２６４画像符号化におけるＳＥＩメッセージの一覧を示す図である。 Ｈ．２６４画像符号化におけるストリーム伝送に関する階層的構成を示す図である。 Ｈ．２６４画像符号化におけるＮＡＬ Ｕｎｉｔの構成を示す図である。 Ｈ．２６４画像符号化におけるＮＡＬ Ｕｎｉｔのシンタックスの構成を示す図である。 Ｈ．２６４画像符号化におけるＮＡＬ Ｕｎｉｔのシンタックスの定義を示す図である。 Ｈ．２６４画像符号化におけるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンテックスを示す図である。 Ｈ．２６４画像符号化における１ＡＵ（アクセスユニット）のフローを示す図である。 撮影時における記録動作を示すフローチャートである。 再生時における再生動作を示すフローチャートである。 本発明に係る撮像記録再生装置において再生制御情報を付加するタイミングを説明するための他の一例を示す図である。 本発明に係る撮像記録再生装置において再生制御情報を付加するタイミングを説明するためのさらに他の一例を示す図である。 本発明の第２の実施の形態に係る撮像記録再生装置２の構成を示すブロック図である。 本発明に係る撮像記録再生装置において再生制御のＯＮ／ＯＦＦのメニュー選択に関するフローを示す図である。 撮像記録再生装置２において再生制御情報に基づいて再生するときの再生アプリケーションを説明するための一例を示す図である。 本発明の実施の形態３に係る撮像記録再生装置３の構成を示すブロック図である。 撮像記録再生装置３における動画像符号化部おいてグローバルな動きベクトルを検出する方法を説明するための一例を示す図である。

符号の説明

１，２，３ 撮像記録再生装置
１１ａ，１１ｂ 撮像部
１２ 動き検出部
１３ 再生制御情報付加部
１４ 動画像符号化部
１５ 記録部
１６ 復号化再生部
１７ 再生制御実行選択部
１８ ＯＳＤ
１０１ デジタルビデオカメラ
１０２ メモリカード
１０３ 光ディスク
１０４ テープ

Claims (14)

1. 撮像された動画像を圧縮符号化する符号化手段と、
   前記撮像された動画像の大きな揺れを検出する動き検出手段と、
   前記動き検出手段が大きな揺れを検出した場合に、当該大きな揺れに対応した動画像の再生時における揺れを低減するように制御するための再生制御情報を付加する再生制御情報付加手段と、
   前記符号化手段により圧縮符号化された圧縮符号化データと、前記再生制御情報付加手段により付加された再生制御情報とを、記録媒体に記録する記録手段と、
   前記記録媒体に記録された再生制御情報に基づいて、前記記録媒体に記録された圧縮符号化データを復号化して再生する復号再生手段と
   を備えることを特徴とする撮像記録再生装置。
2. 前記撮像記録再生装置は、Ｈ．２６４画像符号化方式および復号化方式に準拠しており、
   前記再生制御情報付加手段は、前記再生制御情報として、前記Ｈ．２６４画像符号化方式におけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ）のＦｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅおよびＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを用いる
   ことを特徴とする請求項１記載の撮像記録再生装置。
3. 前記再生制御情報付加手段は、前記動き検出手段が大きな揺れを検出した最初のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅを付加し、前記動き検出手段が大きな揺れを検出しなくなった最初のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを付加する
   ことを特徴とする請求項２記載の撮像記録再生装置。
4. 前記再生制御情報付加手段は、前記動き検出手段が大きな揺れを検出した場合、前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅと、前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅとを、所定の間隔で繰り返し対応するフレームに付加する
   ことを特徴とする請求項２記載の撮像記録再生装置。
5. 前記再生制御情報付加手段は、前記動き検出手段が大きな揺れを検出した最初のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅを付加し、所定時間経過後のフレームに前記Ｆｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを付加する
   ことを特徴とする請求項２記載の撮像記録再生装置。
6. 前記撮像記録再生装置は、さらに前記復号再生手段が前記再生制御情報に基づいて再生を制御している場合、当該再生が制御されていることを視聴者に伝えるための情報を表示する情報表示手段を備える
   ことを特徴とする請求項１記載の撮像記録再生装置。
7. 前記動き検出手段は、撮像時における撮像記録再生装置自体の動きから動画像の大きな揺れを検出する
   ことを特徴とする請求項１記載の撮像記録再生装置。
8. 前記動き検出手段は、撮像した動画像の動きベクトルから大きな揺れを検出する
   ことを特徴とする請求項１記載の撮像記録再生装置。
9. 前記撮像記録再生装置は、さらに前記再生制御情報付加手段によって付加された再生制御情報を再生時に有効にするか、無効にするかを選択する第１選択手段を備える
   ことを特徴とする請求項１記載の撮像記録再生装置。
10. 前記撮像記録再生装置は、さらに前記再生制御情報付加手段による再生制御情報を付加するか否かを選択する第２選択手段を備える
    ことを特徴とする請求項１記載の撮像記録再生装置。
11. 撮像された動画像を圧縮符号化する符号化ステップと、
    前記撮像された動画像の大きな揺れを検出する動き検出ステップと、
    前記動き検出ステップにより大きな揺れを検出した場合に、当該大きな揺れに対応した動画像の再生時における揺れを低減するように制御するための再生制御情報を付加する再生制御情報付加ステップと、
    前記符号化ステップにより圧縮符号化された圧縮符号化データと、前記再生制御情報付加ステップにより付加された再生制御情報とを、記録媒体に記録する記録ステップと、
    前記記録媒体に記録された再生制御情報に基づいて、前記記録媒体に記録された圧縮符号化データを復号化して再生する復号再生ステップと
    を含むことを特徴とする撮像記録再生方法。
12. 前記撮像記録再生方法は、Ｈ．２６４画像符号化方式および復号化方式に準拠しており、
    前記再生制御情報付加ステップは、前記再生制御情報として、前記Ｈ．２６４画像符号化方式におけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ）のＦｕｌｌ−ｆｒａｍｅ ＦｒｅｅｚｅおよびＦｕｌｌ−ｆｒａｍｅ Ｆｒｅｅｚｅ Ｒｅｌｅａｓｅを用いる
    ことを特徴とする請求項１１記載の撮像記録再生方法。
13. 請求項１１に記載のステップを、コンピュータに実行させるためのプログラム。
14. 請求項１に記載の撮像記録再生装置を備えることを特徴とするデジタルビデオカメラ。

Images