JP2010187116A - 動画処理装置 - Google Patents

Abstract

【課題】動画像撮影時の時刻的な移動ブレの均一化に対して有利な動画処理装置を提供する。
【解決手段】動画処理装置は、エンコードフレームの動きベクトル量ＭＶを出力する動画像エンコーダ１と、動きベクトル量ＭＶを基に、その動きベクトルを有する動画像フレームとその前の動画像フレームとの間の動き量を判断し、再生時刻のオフセット（Ｔoffset）を算出する再生時刻変更装置３と、基準時刻と上記再生時刻のオフセット（Ｔoffset）から対象フレームの再生時刻を生成する再生時刻生成装置２２と、前記動画像エンコーダより出力されエンコードされた動画像データに、前記再生時刻生成装置で生成された再生時刻を付加する再生時刻付加装置２１とを具備する。
【選択図】 図１

Description

この発明は、動画処理装置に関し、例えば、ビデオ装置や動画編集装置等に適用し得るものである。

ビデオ装置等の動画処理装置において、動画撮影時の画面レート（１秒間に表示する画像数）を基準として動画再生時刻を変更するものがある（例えば、特許文献１参照）。

しかしながら、一般的な動画撮影では、画面レートは一定にしている。そのため、画面レートが一定の一般的な動画撮影では、急激な画面移動が伴う急激なパン操作などの時刻的に急な移動や、一定速度の移動撮影時の移動ブレなどを均一化することが、従来技術では行うことができない。

特開２００７−３１２００６号公報

この発明は、動画像撮影時の時刻的な移動ブレの均一化に対して有利な動画処理装置を提供する。

この発明の一態様に係る動画処理装置は、エンコードフレームの動きベクトル量を出力する動画像エンコーダと、動きベクトル量を基に、その動きベクトルを有する動画像フレームとその前の動画像フレームとの間の動き量を判断し、再生時刻のオフセットを算出する再生時刻変更装置と、基準時刻と上記再生時刻のオフセットから対象フレームの再生時刻を生成する再生時刻生成装置と、前記動画像エンコーダより出力されエンコードされた動画像データに、前記再生時刻生成装置で生成された再生時刻を付加する再生時刻付加装置とを具備する。

この発明によれば、動画像撮影時の時刻的な移動ブレの均一化に対して有利な動画処理装置が得られる。

この発明の第１の実施形態に係る動画処理装置の全体構成例を示すブロック図。 第１の実施形態に係る再生時刻生成装置の構成例を示すブロック図。 第１の実施形態に係る動きベクトル集計部の動作を示すフロー図。 第１の実施形態に係る再生時刻オフセット算出部の動作を示すフロー図。 第１の実施形態に係る動画処理装置のデコード出力を示すタイミングチャート図。 第２の実施形態に係る再生時刻オフセット算出部の動作を示すフロー図。 第２の実施形態に係る動画処理装置のデコード出力を示すタイミングチャート図。

以下、この発明の実施形態について図面を参照して説明する。尚、この説明においては、全図にわたり共通の部分には共通の参照符号を付す。

［第１の実施形態］
＜１．構成例＞
この発明の第１の実施形態に係る動画処理装置の構成例を説明する。
１−１．全体構成例
まず、図１を用いて、第１の実施形態に係る動画処理装置の全体構成例を説明する。
図示するように、本例に係る動画処理装置は、動画像エンコーダ１、時刻情報付加部２、再生時刻生成装置３を備える。

動画像エンコーダ１は、外部から入力されたビデオ入力ＶＩＮに対して動画像エンコードの過程でエンコード画像の各ＭＢ（Macro block：マクロブロック）の動きベクトルＭＶを算出して再生時刻変更装置３に出力し、またエンコードした動画像データを時刻情報付加装置２に出力する。
動画像エンコーダ１は、減算器Ｓ１、ＤＣＴ１１、量子化部１２、符号化部１３、逆量子化部１４、ＩＤＣＴ１５、ループフィルタ１６、バッファ１７、動き補償部１８、および動き予測部１９を有する。
減算器Ｓ１は、外部からのビデオ入力ＶＩＮおよび動き補償生成部１８からの出力を、減分して出力する。
ＤＣＴ（ディスクリートコサイントランスフォーム）１１は、減算器Ｓ１からの出力を離散コサイン変換して出力する。
量子化部１２は、ＤＴＣ１１からの出力を量子化して出力する。
符号化部１３は、量子化部１２からの出力を符号化して出力する。この符号化部１３より符号化された出力は、エンコードされた動画像データとして、時刻情報付加装置２１に出力される。
逆量子化部１４は、量子化部１２からの出力を逆量子化して出力する。
ＩＤＣＴ（インバースディスクリートコサイントランスフォーム）１５は、逆量子化部１４からの出力を、逆離散コサイン変換して出力する。
ループフィルタ１６は、ＩＤＣＴ１５からの出力に固定値を乗算した値を加算して出力する。
バッファ１７は、ループフィルタ１６からの出力を一時的に保持する。
動き補償部１８は、バッファ１７からの出力に動き補償を与え減算器Ｓ１に出力する。
動き予測部１９は、ビデオ入力ＶＩＮおよびバッファ１７からの出力を受けて、動きベクトルＭＶを出力する。

時刻情報付加部２は、時刻情報付加装置２１および再生時刻生成装置２２を有する。
時刻情報付加装置２１は、符号化部１３から出力されるエンコードした動画像データおよび再生時刻生成装置２１からの出力を受けて、時刻情報付きデコード出力ＤＯＵＴとして外部の再生装置等に出力する。より具体的には後述するが、時刻情報付加装置２１では、再生時刻生成装置２２によって生成された時刻をエンコードデータの出力に付加して出力する。例えば、再生時刻生成装置２２で発生させた１単位時間遅れた時刻が、エンコードデータの出力に付加され、時刻情報付きデコード出力ＤＯＵＴとして、再生装置等の外部に出力される。

再生時刻生成装置２２は、再生時刻変更オフセット算出部３２の出力であるオフセット信号Ｔoffsetを受けて、再生時刻を時刻情報付加装置２１に出力する。

再生時刻生成装置３は、動きベクトル集計部３１、再生時刻変更オフセット算出部３２、およびバッファ３３を有する。

動きベクトル集計部３１は、動き予測部１９の出力である動きベクトルＭＶ受けて、バッファ３３および再生時刻変換オフセット算出部３２に出力する。より具体的には、後述するが、動きベクトル集計部３１は、入力された動きベクトルＭＶを平均化した平均化動きベクトルを出力する。
再生時刻変更オフセット算出部３２は、動きベクトル集計部３１の出力、バッファ３３の出力、および外部（ユーザ、ホスト装置等）からの固定値である差分しきい値ＴＨを受けて、再生時刻生成装置２１にオフセット信号Ｔoffsetを出力する。
バッファ３３は、動きベクトル集計部３１の出力を一時的に保持し、前の時刻の値として再生時刻変更オフセット算出部３２に出力する。

１−２．再生時刻生成装置の構成例
次に、図２を用いて、第１の実施形態に係る再生時刻生成装置２２の構成例を説明する。
図示するように、本例に係る再生時刻生成装置２２は、前回の出力時刻記憶バッファ２５、基準固定時刻オフセット生成部２６、および加算器Ａ１、Ａ２を有する。

前回の出力時刻記憶バッファ２５は、加算器Ａ２の出力を受けてこれを前回の出力時間として一時的に記憶し、所定のタイミングで、加算器Ａ１に出力する。
基準固定時刻オフセット生成部２６は、基準固定時刻オフセットを生成し、生成した基準固定時刻オフセットを、所定のタイミングで、加算器Ａ１に出力する。
加算器Ａ１は、前回の出力時刻記憶バッファ２５の出力（前回の出力時刻）および基準固定時刻オフセット生成部２６の出力（基準固定時刻オフセット）を受けて、これを加算し、加算器Ａ２に出力する。
加算器Ａ２は、加算器Ａ１の出力および時刻情報変更装置３からのオフセット値（オフセット信号）Ｔoffsetを受けて、これを加算し、時刻情報付加装置２１へ出力する。

上記のような構成によれば、再生時刻生成装置２２は、再生時刻変更装置３から入力されるオフセット値Ｔoffsetが０の場合、装置２２内で前回出力した時刻に一定間隔の固定オフセット値を加算して現在の再生時刻を生成する。

一方、再生時刻生成装置２２は、再生時刻変更装置３から入力されるオフセット値Ｔoffsetが０でない場合、即ち、再生時刻情報に遅れオフセット値（＋Ｔoffset）がある場合は、オフセット値分進みが少ない再生時刻を発生させる。そのため、本実施例の場合は、再生時刻生成装置２２にて、例えば、１単位時間の遅れオフセットが入力され、対象となるフレームに１単位時間分だけ時間を遅らせた時刻を発生させる。上記動作の詳細は、後述する。

また、続く時刻情報付加装置２１では、再生時刻生成装置２２によって生成された時刻をエンコードデータの出力に付加して出力する。上記の場合、例えば、再生時刻生成装置２２で発生させた１単位時間遅れた時刻が、エンコードデータの出力に付加され、時刻情報付きデコード出力ＤＯＵＴとして、再生装置等の外部に出力される。

＜２．動画処理動作（再生時刻変更動作）＞
次に、第１の実施形態に係る動画処理装置の動画処理動作について説明する。
２−１．動きベクトル集計部の動作
まず、第１の実施形態に係る動きベクトル集計部３１の動作について説明する。この説明においては、図３に示すフローに則して説明する。

（ステップＳ１−１）
まず、動画像エンコーダ１から出力された各ＭＢの動きベクトル量ＭＶは、動きベクトル集計部３１に入力される。

（ステップＳ１−２）
続いて、動きベクトル集計部３１は、動画像エンコーダ装置１から集計したＭＢごとの動きベクトル情報ＭＶを平均化した平均化動きベクトルを算出する。

（ステップＳ１−３）
続いて、動きベクトル集計部３１は、上記のステップＳ１−２で算出した平均化動きベクトル量を、バッファ３３および再生時刻変更オフセット算出部３２に出力する。このように、算出された平均化動きベクトル量は、バッファ３３に蓄えられ、再生時刻変更オフセット算出部３２へ出力される。

２−２．再生時刻オフセット算出部の動作
次に、第１の実施形態に係る再生時刻オフセット算出部３２の動作について説明する。この説明においては、図４に示すフローに則して説明する。

（ステップＳ２−１）
まず、再生時刻変更オフセット算出部３２には、動きベクトル集計部３１から入力された平均化動きベクトル量と、バッファ３３に蓄えられたひとつ前のフレームの平均化動きベクトル量、および本装置の外部から指定される差分しきい値ＴＨが入力される。その後、再生時刻変更オフセット算出部３２は、以下の動作を行う。

（ステップＳ２−２）
即ち、再生時刻変更オフセット算出部３２は、現在のフレームの平均化動きベクトルから、一つ前のフレームの平均化動きベクトルを引き、差分平均化動きベクトルを算出する。

（ステップＳ２−３）
続いて、再生時刻変更オフセット算出部３２は、上記ステップＳ２−２で算出した差分平均化動きベクトルが、外部より指定された差分しきい値ＴＨを超えるかどうかを判断する。

このステップＳ２−３の際、差分平均化動きベクトルが、外部より指定された差分しきい値ＴＨを超えない場合（Ｎｏ）、ステップＳ２−６へ続く。

（ステップＳ２−４）
続いて、上記ステップＳ２−３の際、差分平均化動きベクトルが、外部より指定された差分しきい値ＴＨを超える場合（Ｙｅｓ）、再生時刻変更オフセット算出部３２は、再生時刻変更オフセット記録値（Ｔoffset）として、例えば、１単位時間遅れを加算する。

ここで、例えば、画面移動が伴う急激なパン操作の場合等では、フレームの動きベクトルは、非常に大きな値となる。そのため、このような場合には差分しきい値ＴＨを超えたと判断され、このステップＳ２−４の動作に続く。このように、差分しきい値ＴＨを超えると、再生時刻変更オフセット記録値（Ｔoffset）として、例えば、１単位時間遅れを加算する。

（ステップＳ２−５）
続いて、再生時刻変更オフセット算出部３２は、平均化動きベクトル量から差分しきい値ＴＨを引き、引いた値が、差分しきい値ＴＨを超えるか再度判定する。

このとき、引いた差分平均化動きベクトル量が差分しきい値ＴＨを超えないと判断した場合（Ｎｏ）は、何の単位時間遅れも加算せず、ステップＳ２−６へ続く。

一方、引いた差分平均化動きベクトル量が差分しきい値ＴＨを超えると判断した場合（Ｙｅｓ）は、再び上記ステップＳ２−３へ続く。

（ステップＳ２−６）
続いて、再生時刻変更オフセット算出部３２は、再生時刻変更オフセット記録値（Ｔoffset）を、再生時刻発生装置２２へ出力し、この動作を終了する。

＜３．時刻情報付きデコード出力ＤＯＵＴについて＞
次に、図５を用いて、上記説明した構成および動作による時刻情報付きデコード出力ＤＯＵＴについて説明する。図５中の横軸（time）はデコード出力ＤＯＵＴに付加する時刻情報を示し、ΔＴは再生時刻生成装置２２の基準固定時刻オフセット生成部で生成するオフセット時刻である。図５中の（ａ）は、オフセット情報Ｔoffsetがない場合（オフセット値が０の場合）のデコード出力ＤＯＵＴである。図５中の（ｂ）は、オフセット情報Ｔoffsetがある場合のデコード出力ＤＯＵＴである。

図示するように、まず、オフセット情報Ｔoffsetがない場合（ａ）、およびオフセット情報Ｔoffsetがある場合（ｂ）のデコード出力ＤＯＵＴに付加される時刻はｔ０と、同時刻であるとする。

続いて、（ａ）では、時刻ｔ０に時刻ΔＴを加算した時刻ｔ２を付加して次のデコード出力ＤＯＵＴとして出力する。

この際、（ｂ）では、再生時刻変更装置３から再生時刻付加部２に入力されるオフセット値が０（＋Ｔ１offset＝０）である。そのため、再生時刻付加部２は、装置内で前回出力した時刻に一定間隔の固定オフセット値を加算せず、現在の再生時刻を生成し、時刻ｔ０に時刻ΔＴを加算した時刻ｔ２を付加してデコード出力ＤＯＵＴとして出力する。

そのため、この際の図中の（ａ）（ｂ）のデコード出力ＤＯＵＴに付加される時刻は、同時刻である。

続いて、（ａ）では、上記と同様に時刻ｔ１に時刻ΔＴを加算した時刻ｔ４を付加してデコード出力ＤＯＵＴとして出力する。

この際、（ｂ）では、再生時刻変更装置３から再生時刻付加部２に入力されるオフセット値が、例えば、１単位時間の遅れ（＋Ｔ２offset＝１単位時間）である。そのため、ΔＴに１単位時間の遅れを加算した時刻ΔＴ＋Ｔ２offsetに時刻ｔ１を加算した時刻ｔ５を付加してデコード出力ＤＯＵＴとして出力する。

続いて、（ａ）では、上記と同様に時刻ｔ４に時刻ΔＴを加算した時刻ｔ６を付加してデコード出力ＤＯＵＴとして出力する。

一方、（ｂ）では、再生時刻付加部２は、一定間隔の固定オフセット値と再生時刻変更装置３から入力されるオフセット値（＋Ｔ３offset＝１単位時間）を加算した時刻ΔＴ＋Ｔ３offsetに装置内で前回出力した時刻ｔ３を加算した時刻ｔ８を付加してデコード出力ＤＯＵＴとして出力する。

より具体的には、再生時刻生成装置２２に、再生時刻変更装置３から１単位時間の遅れオフセットが入力されたため、対象となるフレームに１単位時間分時間を遅らせた時刻を発生させる。続いて、時刻情報付加装置２１は、再生時刻生成装置２２によって生成された時刻をエンコードデータに付加する。そのため、再生時刻生成装置で発生させた１単位時間遅れた時刻（Ｔ３offset）がエンコードデータに付加され、デコード出力ＤＯＵＴとして出力される。
このように、急激な画面移動が伴う急激なパン操作のような動画像の記録の際には、しきい値ＴＨで指定した速度以上の動きが発生する。しかしながら、本例に係る構成および動作によれば、動画像の記録時に再生を遅くする時刻を付加した再生時間、を出力することができる。このため、本例に係るデコード出力ＤＯＵＴは、動きが緩やかになり視覚的な不快感が減少される。

＜４．作用効果＞
この実施形態に係る動画処理装置およびその動画処理動作によれば、少なくとも下記（１）乃至（２）の効果が得られる。

（１）急激なパン操作の際であっても、動画像撮影時の時刻的な移動ブレの均一化に対して有利である。
上記のように、第１の実施形態に係る動作処理装置は、エンコードフレームの動きベクトル量ＭＶを出力する動画像エンコーダ１と、動きベクトル量ＭＶを基に、その動きベクトルを有する動画像フレームとその前の動画像フレームとの間の動き量を判断し、再生時刻のオフセット（Ｔoffset）を算出する再生時刻変更装置３と、基準時刻と上記再生時刻のオフセット（Ｔoffset）から対象フレームの再生時刻を生成する再生時刻生成装置２２と、動画像エンコーダ１から出力されエンコードされた動画像データに、前記再生時刻生成装置で生成された再生時刻を付加する再生時刻付加装置２１とを備える。

このため、動画像エンコーダ１より出力される動きベクトル量ＭＶを用いて、動画像デコード時に利用する再生時刻情報（ＤＯＵＴ）に、オフセット（Ｔoffset）が加えられた時刻（例えば、１単位時間）を付加した時刻に書き換えることができる。この結果、急激な画面移動が伴う急激なパン操作のような動画像の記録の際であっても、人間の視覚的に不快と感じられる急激な画面移動を補正でき、動画像撮影時の時刻的な移動ブレを均一にする映像効果を得ることができる点で有利である。

例えば、図５に示したように、急激な画面移動が伴う急激なパン操作のような動画像の記録の際には、しきい値ＴＨで指定した速度以上の動きが発生する。しかしながら、本例に係る構成および動作によれば、動画像の記録時に再生を遅くする時刻を付加した再生時間、を出力することができる。このため、本例に係るデコード出力ＤＯＵＴは、動きが緩やかになり視覚的な不快感を減少することができ、動画像撮影時の時刻的な移動ブレの均一化に対して有利である。

このように、本例に係る構成およびその動作によれば、急激なパン操作のような動画像の記録の際の動画像の動き量に応じて、再生速度を撮影時に変更することができる。

（２）製造コストの低減に対して有利である。
上記のように、本例では、外部から指定された固定速度（ＴＨ）以上の動きがあった場合は、実際に撮影された時間よりスローな再生を行う動画像を撮影時に作成することができる。

ここで、本例では、上記再生時に特殊な装置を必要とせず、動きが緩やかな映像を撮影時に得ることができる点で、製造コストコストの低減に対して有利である。

［第２の実施形態（更に遅いフレーム動作に対して時刻補正し得る一例）］
次に、第２の実施形態に係る動画処理装置およびその動作処理動作について、図６乃至図７を用いて説明する。この実施形態は、更に遅いフレーム動作に対しても時刻補正し得る一例に関するものである。この説明において、上記第１の実施形態と重複する部分の詳細な説明を省略する。

＜動画処理動作（再生時刻変更装置）＞
まず、第２の実施形態に係る再生時刻オフセット算出部３２の動作について説明する。この説明においては、図６のフローに則して説明する。

（ステップＳ３−１）〜（ステップＳ３−５）
このステップＳ３−１〜ステップＳ３−５の動作は、上記第１の実施形態に係るステップＳ２−１〜ステップＳ２−５と同様であるため、詳細な説明を省略する。

（ステップＳ３−６）
続いて、ステップＳ３−６は、上記ステップＳ３−３の際に、算出した差分平均化動きベクトル量が、外部より指定された差分しきい値ＨＴを超えない場合（Ｎｏ）に、続くものである。
即ち、再生時刻変更オフセット算出部３２は、算出した差分平均化動きベクトルが、（外部より指定された差分しきい値ＴＨ−進みオフセット）未満であるか否かを判断する点で、上記第１の実施形態と相違する。
このステップＳ３−６の際、差分平均化動きベクトルが、（外部より指定された差分しきい値ＴＨ−進みオフセット）未満でない場合（Ｎｏ）、ステップＳ３−９へ続く。

（ステップＳ３−７）
続いて、上記ステップＳ３−６の際、差分平均化動きベクトルが、（外部より指定された差分しきい値ＴＨ−進みオフセット）未満である場合（Ｙｅｓ）、再生時刻変更オフセット算出部３２は、再生時刻変更オフセット記録値（Ｔoffset）として、例えば、１単位時間”進み（マイナス値）”を加算する。
ここで、本実施例で、指定の移動速度より”遅い”場合は、差分平均化動きベクトル量は差分しきい値未満であると判断される。即ち、差分平均化動きベクトル量が再生時刻のオフセットの１単位時間で要する移動距離分の差分動きベクトル量を下回ったときは、オフセット記録値Ｔoffsetとして、例えば、１単位時間の”進み（マイナス値）”を加算する。そして、オフセット記録値（Ｔoffset）を、再生時刻生成装置２２へ出力する。

（ステップＳ３−８）
続いて、再生時刻変更オフセット算出部３２は、差分平均化動きベクトルから、外部より指定された差分しきい値ＴＨを入力し、しきい値ＴＨを超えるか否かを、再度判定する。
このとき、加算した差分平均化動きベクトル量が差分しきい値ＴＨを超えないと判断した場合（Ｎｏ）は、何の単位時間遅れも加算せず、ステップＳ３−９へ続く。
一方、加算した差分平均化動きベクトル量が差分しきい値ＴＨを超えると判断した場合（Ｙｅｓ）は、再び上記ステップＳ３−６へ続く。

（ステップＳ３−９）
続いて、再生時刻変更オフセット算出部３２は、再生時刻変更オフセット記録値（Ｔoffset）を、再生時刻発生装置２２へ出力し、この動作を終了する。

＜時刻情報付きデコード出力ＤＯＵＴについて＞
次に、図７を用いて、上記説明した構成および動作による時刻情報付きデコード出力ＤＯＵＴについて説明する。図７中の横軸（time）はデコード出力ＤＯＵＴに付加する時刻情報を示し、ΔＴは再生時刻生成装置２２の基準固定時刻オフセット生成部で生成するオフセット時刻である。図７中の（ａ）は、オフセット情報Ｔoffsetがない場合（オフセット値が０の場合）のデコード出力ＤＯＵＴである。図５中の（ｂ）は、オフセット情報Ｔoffsetがある場合のデコード出力ＤＯＵＴである。

図示するように、まず、オフセット情報Ｔoffsetがない場合（ａ）、およびオフセット情報Ｔoffsetがある場合（ｂ）のデコード出力ＤＯＵＴに付加される時刻はｔ０と、同時刻であるとする。

続いて、（ａ）では、時刻ｔ０に時刻ΔＴを加算した時刻ｔ２を付加して次のデコード出力ＤＯＵＴとして出力する。

この際、（ｂ）では、再生時刻変更装置３から再生時刻付加部２に入力されるオフセット値が０（＋Ｔ１offset＝０）である。そのため、再生時刻付加部２は、装置内で前回出力した時刻に一定間隔の固定オフセット値を加算せず、現在の再生時刻を生成し、時刻ｔ０に時刻ΔＴを加算した時刻ｔ２を付加してデコード出力ＤＯＵＴとして出力する。

このように、時刻ｔ１の際において、図中の（ａ）（ｂ）のデコード出力ＤＯＵＴに付加される時刻は、同時刻である。

続いて、（ａ）では、上記と同様に時刻ｔ２に時刻ΔＴを加算した時刻ｔ４を付加してデコード出力ＤＯＵＴとして出力する。

この際、（ｂ）では、再生時刻変更装置３から再生時刻付加部２に入力されるオフセット値が、例えば、１単位時間の遅れ（＋Ｔ２offset＝１単位時間）である。そのため、ΔＴに１単位時間の遅れを加算した時刻ΔＴ＋Ｔ２offsetに時刻ｔ１を加算した時刻ｔ５を付加してデコード出力ＤＯＵＴとして出力する。

続いて、（ａ）では、上記と同様に時刻ｔ４に時刻ΔＴを加算した時刻ｔ６を付加してデコード出力ＤＯＵＴとして出力する。

一方、（ｂ）では、このとき、時刻変更装置３から再生時刻付加部２に入力されるオフセット値が”マイナス値”（Ｔ３offset＝−１単位時間）であったとしたとき、再生装置内で前回出力した時刻ｔ５に一定間隔の固定オフセット値と時刻変更装置３から入力されるオフセット値（Ｔ３offset＝−１単位時間）を加算した時刻ΔＴ＋Ｔ３offsetを加算した時刻ｔ６を付加してデコード出力ＤＯＵＴとして出力する。

より具体的には、再生時刻生成装置２２に、１単位時間の”進んだ”オフセットが入力されたため、対象となるフレームに１単位時間分時間を進ませた時刻を発生させる。続いて、時刻情報付加装置２１は、再生時刻生成装置２２によって生成された時刻をエンコードデータに付加する。そのため、再生時刻生成装置で発生させた１単位時間”進んだ”時刻（Ｔ３offet）がエンコードデータに付加され、デコード出力ＤＯＵＴとして出力される。

上記のように、第２の実施形態に係る構成およびその動作では、”遅い”フレームの動作がランダムに発生した場合であっても、動画像の記録時に再生を”進んだ（マイナス値）”時刻を付加した再生時間を出力することができるため、本例に係るデコード出力ＤＯＵＴは、動きが緩やかになり視覚的な不快感を減少することができる。

＜作用効果＞
上記のように、この実施形態に係る動画処理装置によれば、少なくとも上記（１）乃至（２）と同様の効果が得られる。さらに、本例によれば、少なくとも下記（３）に示す効果が得られる。

（３）実際に撮影された時間より早く再生を行う動画像を撮影時に作成することができ、一定の速度で動く動画像を処理することができる。
上記のように、第２の実施形態に係る動画処理装置およびその動作によれば、ステップＳ３−６の際に、再生時刻変更オフセット算出部３２は、算出した差分平均化動きベクトルが、（外部より指定された差分しきい値ＴＨ−進みオフセット）未満であるか否かを判断する点で、上記第１の実施形態と相違する。続いて、上記ステップＳ３−６の際、差分平均化動きベクトルが、（外部より指定された差分しきい値ＴＨ−進みオフセット）未満である場合（Ｙｅｓ）、再生時刻変更オフセット算出部３２は、再生時刻変更オフセット記録値（Ｔoffset）として、例えば、１単位時間”進み（マイナス値）”を加算する。
ここで、本実施例で、指定の移動速度より”遅い”場合は、差分平均化動きベクトル量は差分しきい値未満であると判断される。即ち、差分平均化動きベクトル量が再生時刻のオフセットの１単位時間で要する移動距離分の差分動きベクトル量を下回ったときは、オフセット記録値Ｔoffsetとして、例えば、１単位時間の”進み（マイナス値）”を加算する。そして、オフセット記録値（Ｔoffset）を、再生時刻生成装置２２へ出力する。

そのため、図７に示したように、（ｂ）では、再生時刻付加部２は、装置内で前回出力した時刻に、”マイナス値”である一定間隔の固定オフセット値（Ｔ３offset＝−１単位時間）を減算して、現在の再生時刻を生成し、再生時刻ｔ６のデコード出力ＤＯＵＴとして出力することができる。より具体的には、再生時刻生成装置２２に、１単位時間の”進んだ”オフセットが入力されたため、対象となるフレームに１単位時間分時間を進ませた時刻を発生させる。続いて、時刻情報付加装置２１は、再生時刻生成装置２２によって生成された時刻をエンコードデータに付加する。そのため、再生時刻生成装置で発生させた１単位時間”進んだ”時刻（Ｔ３offset＝−１単位時間）がエンコードデータに付加され、再生時刻ｔ６のデコード出力ＤＯＵＴとして出力することができる。

このように、外部から指定されたしきい値速度ＴＨ未満である場合は、”遅い”フレーム動作であるため、この指定未満の場合は、実際に撮影された時間より早く再生を行うことができる。その結果、一定の速度で動く動画像の撮影を処理することができる点で有利である。

これは、例えば、手持ちのカメラ等で撮影しようする場合に、一定速度で画面が移動している効果を手軽に得たい、というユーザの要望がある。このように、本例に係る構成および動画処理動作によれば、等速の画面移動をする動画像を、手持ちのカメラで撮影しようする際の手ブレなどで移動速度に揺らぎが発生した場合であっても、それを補正することができる。

このように、本例によれば、一定速度より動きが遅いフレームの場合は再生時刻を実際よりも早くでき、一方、早いフレームの場合は再生時刻を実際よりも遅くできる。そのため、視覚上は一定速度で画面が移動している視覚効果が得られる点で有利である。

尚、上記第１、第２の実施形態において、オフセット値は、１単位時間の遅れ（または進み）を一例に挙げて説明したが、これに限られない。例えば、オフセット値は、１単位の半分の時間の遅れ（または進み）等、必要に応じて変更することが可能である。

以上、第１、第２の実施形態を用いて本発明の説明を行ったが、この発明は上記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適宜な組み合わせにより種々の発明が抽出され得る。例えば各実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１…動画像エンコーダ、２…時刻情報付加部、３…再生時刻変更装置、２１…時刻情報付加装置、２２…再生時刻生成装置。

Claims (5)

1. エンコードフレームの動きベクトル量を出力する動画像エンコーダと、
   前記動きベクトル量を基に、その動きベクトルを有する動画像フレームとその前の動画像フレームとの間の動き量を判断し、再生時刻のオフセットを算出する再生時刻変更装置と、
   基準時刻と前記再生時刻のオフセットから対象フレームの再生時刻を生成する再生時刻生成装置と、
   前記動画像エンコーダより出力されエンコードされた動画像データに、前記再生時刻生成装置で生成された再生時刻を付加する再生時刻付加装置とを具備すること
   を特徴とする動画処理装置。
2. 前記再生時刻変更装置は、外部から動き量のしきい値が入力され、前記入力されたしきい値を超える動き量があった場合は、撮影時の時刻より遅らせるオフセット値を出力する
   を特徴とする請求項１に記載の動画処理装置。
3. 前記再生時刻変更装置は、外部から動き量のしきい値が入力され、前記入力されたしきい値未満の動き量の場合は、撮影時の時刻より進ませるオフセット値を出力する
   を特徴とする請求項１または２に記載の動画処理装置。
4. 前記再生時刻変更装置は、
   入力された前記動きベクトルを平均化した平均化動きベクトルを出力するベクトル集計部と、
   前記動きベクトル集計部の出力を一時的に保持し、前の時刻の値として出力する第１バッファと、
   前記動きベクトル集計部の出力、前記第１バッファの出力、および外部からの固定値である前記しきい値を受けて、前記再生時刻生成装置にオフセット値を出力するオフセット算出部とを備えること
   を特徴とする請求項２または３に記載の動画処理装置。
5. 前記再生時刻生成装置は、
   前回の出力時刻を記憶する第２バッファと、
   基準固定時刻オフセットを生成する基準固定時刻オフセット生成部と、
   前記第２バッファの出力および前記基準固定時刻オフセット生成部の出力が入力され、これらを加算する第１加算器と、
   前記第１加算器の出力および前記時刻情報変更装置からのオフセット値を受けて、これを加算し、前記第２バッファおよび外部へ出力する第２加算器とを備えること
   を特徴とする請求項１乃至４のいずれか１項に記載の動画処理装置。

Images