JP2009017418A - 動画像再生装置、動画像再生方法及び動画像再生方法のプログラム - Google Patents

Abstract

【課題】本発明は、動画像再生装置、動画像再生方法及び動画像再生方法のプログラムに関し、例えばハードディスク、光ディスク等の記録媒体から動画像を再生する再生装置に適用して、従来に比して高品位の動画像を再生することができるようにする。
【解決手段】本発明は、画素毎にΔΣ変調したΔΣ変調データＤ２による動画像を記録媒体に記録するようにして、再生時、このΔΣ変調データＤ２を画素毎にフィルタリング処理してビデオデータＤ３に変換する。
【選択図】 図１

Description

本発明は、動画像再生装置、動画像再生方法及び動画像再生方法のプログラムに関し、例えばハードディスク、光ディスク等の記録媒体から動画像を再生する再生装置に適用することができる。本発明は、画素毎にΔΣ変調したΔΣ変調データによる動画像を記録媒体に記録するようにして、再生時、このΔΣ変調データを画素毎にフィルタリング処理してビデオデータに変換することにより、従来に比してユーザーの所望する高品位の動画像を再生することができるようにする。

従来、カメラ一体型の記録再生装置は、ラスタ走査による撮像素子の出力信号をアナログディジタル変換処理した後、ホワイトバランス調整、色変換処理、露出補正処理等して記録媒体に記録している。また撮像素子の電荷蓄積時間の設定によりシャッター速度を設定し、また撮像素子の駆動信号の設定によりフレームレートが設定されていた。これに対して再生時、連続するフレームを間引きして出力することにより早送り再生し、再生速度に応じた時間間隔で同一フレームを繰り返し出力することによりスローモーション再生していた。

これに対して近年、ディジタルスチルカメラ等の静止画像の記録装置では、ホワイトバランス調整、色変換処理、露出補正処理等を省略して、撮像素子の出力信号をアナログディジタル変換処理して得られるＲＡＷデータを直接、記録媒体に記録するものも提供されている。このＲＡＷデータを直接記録する場合には、ホワイトバランス調整、色変換処理、露出補正処理等して記録する場合に比して、再生時、画質劣化を低減して種々に画質調整することができる。

このような撮像装置に関して、国際公開第ＷＯ２００６／２５２３２号明細書には、撮像素子の光電変換結果を画素毎にΔΣ変調する構成が開示されている。

ところで従来の動画像の再生では、ユーザーの所望する高品位の動画像を出力する点で、実用上未だ不十分な問題がある。

すなわち従来の動画像の再生において、スローモーション再生する場合、再生速度に応じて同一フレームが繰り返されることにより、滑らかな動きにより動画像を再生することが困難になる。またこの場合、動きぼけも発生する。またこれとは逆に、早送り再生では、連続するフレームを間引きして再生することにより、動きが飛び飛びになり、この場合も滑らかな動きにより動画像を再生することが困難になる。これにより従来の動画像の再生は、可変速再生に関して、ユーザーの所望する高品位の動画像を出力することが困難な問題があった。

なおスローモーション再生において、動きを滑らかにし、さらには動きボケを防止する方法として、高いフレームレートにより撮像結果を取得した後、記録媒体を介して低フレームレートにより出力する方法が考えられる。しかしながらこの場合、通常の再生速度で再生する場合には、上述した早送り再生の場合と同様に、連続するフレームを間引きして再生することにより、動きが飛び飛びになり、この場合も滑らかな動きにより再生することが困難になる。またこの場合、ジャーキネス妨害が発生する。また早送り再生の場合にも、同様の問題が発生する。なおこの場合に、画像データの補間演算処理により、複数フレームを画像合成して１フレームを作成する方法も考えられるが、この方法の場合、大容量のバッファが別途必要になり、構成が複雑になる問題がある。

また従来の動画像の再生では、スポーツ等の動きの激しいコンテンツの場合、高速シャッターにより撮影して、再生時、動きぼけの少ない動画像を再生することができる。またドラマ等の動きのゆっくりとしたコンテンツでは、オープンシャッターで撮影した方が好ましい。しかしながら従来の動画像の再生では、再生時、シャッター速度を可変し得ず、これによりシャッター速度の設定に関しても、ユーザーの所望する高品位の動画像を出力することが困難な問題があった。
国際公開第ＷＯ２００６／２５２３２号明細書

本発明は以上の点を考慮してなされたもので、従来に比してユーザーの所望する高品位の動画像を再生することができる動画像再生装置、動画像再生方法及び動画像再生方法のプログラムを提案しようとするものである。

上記の課題を解決するため請求項１の発明は、動画像再生装置に適用して、連続するフレームの画素値を画素毎にΔΣ変調して生成されたΔΣ変調データを記録媒体から再生するデータ再生部と、前記データ再生部で再生される前記ΔΣ変調データをフィルタにより画素毎にフィルタリング処理して、ビデオデータを再生するビデオデータ再生部と、前記フィルタリング処理を制御する制御部とを備えるようにする。

また請求項１１の発明は、動画像再生方法に適用して、連続するフレームの画素値を画素毎にΔΣ変調して生成されたΔΣ変調データを記録媒体から再生するデータ再生のステップと、前記データ再生のステップによる前記ΔΣ変調データを画素毎にフィルタリング処理して、ビデオデータを再生するビデオデータ再生のステップと、前記フィルタリング処理を制御する制御のステップとを備えるようにする。

また請求項１２の発明は、記録媒体に記録された動画像を再生する動画像再生方法のプログラムに適用して、連続するフレームの画素値を画素毎にΔΣ変調して生成されたΔΣ変調データを前記記録媒体から再生するデータ再生のステップと、前記データ再生のステップによる前記ΔΣ変調データを画素毎にフィルタリング処理して、ビデオデータを再生するビデオデータ再生のステップと、前記フィルタリング処理を制御する制御のステップとを備えるようにする。

請求項１、請求項１１、又は請求項１２の構成によれば、フィルタリング処理の制御により、フィルタリング処理に供するサンプル数を変化させることで、ビデオデータのシャッター速度を変化に相当する処理を実行することができる。またΔΣ変調データに対するフィルタリング処理する周期を変化させることで、ビデオデータの再生速度を変化に相当する処理を実行することができる。これによりフィルタリング処理の制御により、所望するシャッター速度、再生速度のビデオデータを出力することができ、滑らかな動きにより可変速再生することができる。またスローモーション再生等において、シャッター速度を種々に設定して、所望の動画像を再生することができる。これにより従来に比して、ユーザーの所望する高品位の動画像を再生することができる。

本発明によれば、従来に比してユーザーの所望する高品位の動画像を再生することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１の録画再生装置を示すブロック図である。この録画再生装置１において、録画部２は、高フレームレートにより高速度撮影した画像データＤ１を入力して画素毎にΔΣ変調し、画像データＤ１と等しいフレームレートであって、１ビット又は複数ビットによるΔΣ変調の符号列（以下、ΔΣ変調データと呼ぶ）Ｄ２を生成する。なおこの場合、例えば国際公開第ＷＯ２００６／２５２３２号明細書に開示されているように、高フレームレートによる撮像結果を直接画素毎に処理してΔΣ変調データＤ２を生成してもよい。

分配部３は、モニタ時、このΔΣ変調データＤ２を直接、選択部４に出力するのに対し、記録時、このΔΣ変調データＤ２を記憶部５に出力する。記憶部５は、ΔΣ変調データＤ２の記録再生部であり、記録時、この分配部３から入力されるΔΣ変調データＤ２を光ディスク、ハードディスク等の記録媒体に記録して保持する。またコントローラ７の制御により、記録媒体からΔΣ変調データＤ２を順次再生して出力する。

選択部４は、モニタ時、分配部３から入力されるΔΣ変調データＤ２を再生部６に出力する。また再生時、記憶部５から出力されるΔΣ変調データＤ２を再生部６に出力する。

再生部６は、選択部４から入力されるΔΣ変調データＤ２を処理してビデオデータＤ３を再生するビデオデータ再生部であり、選択部４から入力されるΔΣ変調データＤ２をフィルタリング処理して所定フレームレートによるビデオデータＤ３を出力する。

すなわち図１に示すように、再生部６は、ΔΣ変調データＤ２を画素毎にデシメーションフィルタにより処理し、ビデオデータＤ３を出力する。このため再生部６は、それぞれデシメーションフィルタを有する画像処理部１１Ａ、１１Ｂ、……、１１Ｎが画素毎に設けられる。ここで画像処理部１１Ａ、１１Ｂ、……、１１Ｎは、処理対象の画素が異なる点を除いて同一に構成されることから、以下においては、画像処理部１１Ａのみについて詳細に説明し、重複した説明は省略する。

ここで画像処理部１１Ａは、例えばラスタ走査の順序で順次入力されるΔΣ変調データＤ２から、処理が割り当てられた画素のΔΣ変調データＤ２を選択してバッファメモリ１２に入力する。バッファメモリ１２は、この順次入力されるΔΣ変調データＤ２を順次入力して所定のサンプル数だけ保持し、また保持したΔΣ変調データＤ２を積分器１３の指示により積分器１３に出力する。

積分器１３は、制御部１４から出力される積分開始信号ＳＴにより、コントローラ７から出力される積分期間ＤＷに対応する範囲のΔΣ変調データＤ２をバッファメモリ１２から取得して積分する。このとき積分器１３は、積分期間ＤＷに応じて、積分結果を正規化するための重み付け係数を設定し、この重み付け係数を用いた重み付け積分により積分の処理を実行する。これにより画像処理部１１Ａは、バッファメモリ１２、積分器１３によりデシメーションフィルタを構成し、積分開始信号ＳＴの周期によるフィルタリング処理の周期で、積分期間ＤＷに対応するサンプル数のΔΣ変調データＤ２の積分値による画素値Ｄ４を出力する。ここでこの積分期間ＤＷは、高フレームレートで入力された画像データＤ１の複数フレームを１フレームに画像合成する際の、この複数フレームの数を定義することになる。

サンプルホールド回路（ＳＨ）１６は、この積分器１３から出力される画素値Ｄ４をサンプルホールドして出力する。制御部１４は、コントローラ７から出力される更新期間情報ＤＴに応じて積分開始信号ＳＴのタイミングを可変して出力する。

出力部１８は、各画像処理部１１Ａ、１１Ｂ、……、１１Ｎから出力される画素値Ｄ４を一次格納してラスタ走査順に出力し、再生部６はこの出力部１８の出力データをビデオデータＤ３により出力する。これにより再生部６は、積分開始信号ＳＴの周期によるフレーム周期で、積分期間ＤＷによる画素値Ｄ４のラスタ走査順の連続によるビデオデータＤ３を出力する。

ここでこのようにして出力されるビデオデータＤ３の１フレームは、高フレームレートによる画像データＤ１を、積分開始信号ＳＴの周期で、積分期間ＤＷに対応する複数フレームを画像合成して作成されたものである。従ってビデオデータＤ３は、ΔΣ変調データＤ２のフレーム周期に対する積分開始信号ＳＴの周期によるフレームレート、及び積分期間ＤＷによるシャッター速度で撮影したと同等のものとなる。これにより再生部６において、積分期間ＤＷの可変によりデシメーションフィルタによるフィルタリング処理に供するサンプル数を可変すれば、ビデオデータＤ３のシャッター速度の可変に相当する処理を実行することができる。また積分開始信号ＳＴの周期の可変により、ΔΣ変調データＤ２に対してフィルタリング処理する周期を可変すれば、ビデオデータＤ３の再生速度の可変に相当する処理、さらにはビデオデータＤ３のフレームレートの可変に相当する処理を実行することができる。

これによりコントローラ７は、ユーザーによる操作子の操作に応動して各部の動作を制御し、これら積分期間ＤＷ、積分開始信号ＳＴを可変する。すなわちコントローラ７は、ユーザーにより画像データＤ１のモニタが指示されると、録画部２から出力されるΔΣ変調データＤ２を分配部３、選択部４を介して再生部６に入力し、ΔΣ変調データＤ２を再生部６で処理してビデオデータＤ３を出力する。またユーザーにより画像データＤ１の記録が指示されると、分配部３から記憶部５にΔΣ変調データＤ２を入力して記録媒体に記録する。またユーザーにより記憶部５の再生が指示されると、記憶部５でΔΣ変調データＤ２を再生し、この再生したΔΣ変調データＤ２を選択部４を介して再生部６に入力する。

これらの制御において、コントローラ７は、ユーザーの指示に応動して、再生部６の各画像処理部１１Ａ、１１Ｂ、……、１１Ｎに更新期間情報ＤＴを出力し、これによりビデオデータＤ３のフレームレートを設定する。またユーザーが指示したシャッター速度に対応する積分期間ＤＷを、各画像処理部１１Ａ、１１Ｂ、……、１１Ｎに指示し、これによりビデオデータＤ３のシャッター速度を設定する。これによりコントローラ７は、ビデオデータＤ３のフレームレートに応じて、ΔΣ変調データＤ２に対するフィルタリング処理の周期を可変し、またシャッター速度に応じてフィルタリング処理に供するサンプル数を可変する。

具体的に、例えばビデオデータＤ３をフレームレート６０〔ｆｐｓ〕で出力する場合、更新期間情報ＤＴにより１／６０〔秒〕周期で積分するように更新期間情報ＤＴを出力し、これによりフィルタリング処理の周期を１／６０〔秒〕周期に設定する。またこの場合にオープンシャッターによるシャッター速度１／６０〔秒〕でビデオデータＤ３を出力する場合には、このシャッター速度１／６０〔秒〕に対応する期間のサンプル数を積分するように、積分期間ＤＷを設定する。これに対してユーザーがオープンシャッターからシャッター速度を増減した場合には、このユーザーの操作に応動して積分のサンプル数が増減するように積分期間ＤＷを設定する。すなわち例えばユーザーがシャッター速度１／１２０〔秒〕を指示した場合には、このシャッター速度１／１２０〔秒〕に対応する期間のサンプル数を積分するように、積分期間ＤＷを設定する。またユーザーがオープンシャッターのシャッター速度以上のシャッター速度１／３０〔秒〕を指示した場合には、このシャッター速度１／３０〔秒〕に対応する期間のサンプル数を積分するように、積分期間ＤＷを設定する。

これに対してフレームレート１２０〔ｆｐｓ〕でビデオデータＤ３を出力する場合、更新期間情報ＤＴにより１／１２０〔秒〕周期で積分するように更新期間情報ＤＴを出力し、これによりフィルタリング処理の周期を１／１２０〔秒〕周期に設定する。またこの場合もユーザーの指示したシャッター速度に応じて積分期間ＤＷを設定する。

またコントローラ７は、ユーザーによりスローモーション再生、早送り再生が指示されると、再生部６に入力されるΔΣ変調データＤ２のビットレートがユーザーにより指示された再生速度に対応するビットレートになるように、記憶部５の動作を制御する。すなわちこの場合、例えばユーザーが１／２倍速によるスローモーション再生を指示すると、記憶部５への記録時に比して１／２倍のビットレートによりΔΣ変調データＤ２を再生するように記憶部５の動作を制御する。またこれとは逆に、ユーザーが２倍速による早送り再生を指示すると、記憶部５への記録時に比して２倍のビットレートによりΔΣ変調データＤ２を再生するように記憶部５の動作を制御する。

またコントローラ７は、この場合、ビデオデータＤ３のフレームレートにより更新期間情報ＤＴを設定し、これによりこの場合、ΔΣ変調データＤ２側のフレームレートの可変により、ΔΣ変調データＤ２に対するサンプリング処理周期を可変して可変速再生のビデオデータＤ３を所定のフレームレートにより出力する。またこれに対応して再生速度が変化した分、積分範囲を可変するように、積分期間ＤＷを設定する。すなわちオープンシャッターによる場合には、ΔΣ変調データＤ２に対して相対的にサンプリング処理周期が変化した分だけ積分期間ＤＷを設定し、これにより例えば１／２倍速によるスローモーション再生する場合には、積分期間ＤＷを標準再生速度の１／２倍の期間に設定する。またユーザーによる指示に応じて、この積分期間ＤＷを可変する。

（２）実施例の動作
以上の構成において、この録画再生装置１では（図２）、高フレームレートによる画像データＤ１が記録部２に順次入力され、この画像データＤ１が画素毎のΔΣ変調によりΔΣ変調データＤ２に変換される。このΔΣ変調データＤ２は、モニタ時、分配部３、選択部４を介して再生部６に入力され、ここでビデオデータＤ３に変換されて外部機器に出力される。これに対してユーザーによる記録の指示により、分配部３から記憶部５にΔΣ変調データＤ２が入力され、記憶部５により順次記録される。またユーザーによる再生の指示により、記憶部５に記録されたΔΣ変調データＤ２が再生されて選択部４から再生部６に入力され、この再生部６によりビデオデータＤ３が再生される。

これによりこの録画再生装置１では、高フレームレートの画像データＤ１による動画像が、画素毎のΔΣ変調によるΔΣ変調データＤ２により記録媒体に記録され、また各部で処理される。ここで画素毎のΔΣ変調によるΔΣ変調データＤ２は、従来のハイスピードカメラによる撮像に比して、非常に少ないビットレートで高い画質を確保することができる。これによりこの実施例では、高フレームレートによる動画像をΔΣ変調データＤ２により記録媒体に記録し、また各部で処理することにより、記録媒体の消費量を低減し、さらには各部における処理速度、転送レートの増大を有効に回避することができる。

またさらに再生部６において（図１）、ΔΣ変調データＤ２は、画素毎に、画像処理部１１Ａ、１１Ｂ、……、１１Ｎに振り分けられ、各画像処理部１１Ａ、１１Ｂ、……、１１Ｎにおいてバッファメモリに順次入力されて所定サンプル数だけ保持される。またこのバッファメモリ１２に保持されたΔΣ変調データＤ２が、更新期間情報ＤＴに応じた積分開始信号ＳＴのタイミングで積分器１３により積分され、これによりバッファメモリ１２、積分器１３によるデシメーションフィルタにより更新期間情報ＤＴで指示されるフィルタリング周期でフィルタリング処理され、各画素の画素値を示すデータＤ４に変換される。ΔΣ変調データＤ２は、この画素値のデータＤ４がサンプルホールド回路１６によりサンプルホールドされた後、出力部１８によりラスタ走査の順序に並べ替えられてビデオデータＤ３により出力される。

これにより再生部６では、高いフレームレートによるΔΣ変調データＤ２の複数フレームをフィルタリング処理により画素毎に合成してビデオデータＤ３を生成することにより、このフィルタリング処理の周期の可変によりビデオデータＤ３のフレームレートを可変することができる。またΔΣ変調データＤ２に対してこのフィルタリング処理の周期を可変することにより、再生速度を動的に可変することができる。またフィルタリング処理に供するサンプル数を変化させることにより、シャッター速度を動的に変化させることができる。

これによりこの実施例では、従来、撮影時にしか設定できなかったフレームレート、シャッター速度を、再生時、種々に設定することができ、可変速再生、シャター速度に関する従来の不都合を一挙に解決してユーザーの所望する高品位の動画像を出力することができる。

すなわちビデオデータＤ３に求められる再生速度に応じて、ΔΣ変調データＤ２に対してこのフィルタリング処理の周期を可変することにより、ΔΣ変調データＤ２に対するビデオデータＤ３のフレームレートを可変することができる。これによりこの実施例では、ビデオデータＤ３の再生速度に応じてΔΣ変調データＤ２のフレームレートを変化させて、ΔΣ変調データＤ２に対してこのフィルタリング処理の周期を可変することにより、ビデオデータＤ３の再生速度を種々に変化させることができる。

またこのときフィルタリング処理に供するサンプル数を可変してシャッター速度を可変することにより、あたかも高速シャッターで高速度撮影した動画像をスローモーション再生する場合のようにシャッター速度を設定して、動きボケを防止して滑らかな動きによりスローモーション再生することができる。また通常再生速度では、オープンシャッターによるシャッター速度に設定して、滑らかな動きによりジャーキネス妨害を有効に回避することができる。また早送り再生等においても、さらにシャッター速度を低下させて、滑らかな動きにより再生することができる。

また一定の再生速度で再生する場合でも、シャッター速度を種々に変更することができ、例えば動きの激しいスポーツによる動画像では、短いシャッター速度で再生し、動きの少ないドラマ等では長いシャッター速度で再生し、コンテンツに適した鑑賞方法を得ることができる。

また外部機器に応じてフレームレートを設定することができ、外部機器の能力を十分に発揮できるようにフレームレートを設定することで、各種コンテンツを高画質で鑑賞することができる。すなわち従来、記録媒体より再生されるビデオデータに対して外部機器のフレームレートが異なる場合、フレームレートを変換する処理が必要となる。このフレームレートの変換は、例えば映画のフィルムから作成された２４Ｐのビデオデータを６０Ｐのビデオデータに変換する場合に代表されるような処理であり、画質劣化を避け得ない。しかしながらこの実施例によれば、画質劣化を伴うことなく、所望のフレームレートによるビデオデータを出力することができる。

（３）実施例の効果
以上の構成によれば、画素毎にΔΣ変調したΔΣ変調データによる動画像を記録媒体に記録するようにして、再生時、このΔΣ変調の符号列をフィルタリング処理してビデオデータに変換することにより、従来に比してユーザーの所望する高品位の動画像を再生することができる。

具体的に、このフィルタにデシメーションフィルタを適用して、従来に比してユーザーの所望する高品位の動画像を再生することができる。

すなわちΔΣ変調データに対するフィルタリング処理の周期を可変して、ビデオデータの再生速度を可変することにより、再生速度を種々に変更して滑らかな動きにより動画像を再生することができる。

またフィルタリング処理に供するサンプル数を可変して、ビデオデータのシャッター速度を可変することにより、シャッター速度を種々に設定して動画像を再生することができる。特に、従来の撮影時におけるシャッター速度の設定では困難であった、フレーム周期以上のシャッター速度によるビデオデータをも出力することができ、これにより映像コンテンツにおける表現力を従来に比して一段と向上することができる。

またフィルタリング処理の周期を可変して、ビデオデータのフレームレートを可変することにより、種々にフレームレートを可変してビデオデータを出力することができる。

さらにより具体的には、ΔΣ変調データを順次入力して所定サンプル数だけ保持するバッファと、このバッファに保持されたΔΣ変調データを積分する積分器とによりフィルタを構成するようにして、この積分器による積分の周期及び又は積分器で積分するサンプル数の制御により、フィルタリング処理を制御するようにして、従来に比してユーザーの所望する高品位の動画像を再生することができる。

この実施例では、例えばノンリニア編集システムに適用して記憶部５に記録したΔΣ変調データＤ２を一定のフレームレートで再生してビデオデータＤ３を生成し、このビデオデータＤ３を記録媒体に記録する。この実施例においては、これらΔΣ変調データＤ２、ビデオデータＤ３に係る画像処理部１１Ａ〜１１Ｎの制御が異なる点を除いて、実施例１の録画再生装置と同一に構成されることにより、以下においては、図１及び図２の構成を流用して説明する。

この実施例において、コントローラ７は、ビデオデータＤ３の再生速度に応じて更新期間情報ＤＴを可変し、これによりフィルタリング処理の周期の可変により、ΔΣ変調データＤ２に対してフィルタリング処理の周期を可変してビデオデータＤ３の再生速度を種々に変化させる。またこのフィルタリング処理の周期の可変に対応するように積分期間ＤＷによりフィルタリング処理に供するサンプル数を可変する。これにより例えば１／２倍速によりスローモーション再生する場合には、フィルタリング処理の周期及びサンプル数をそれぞれ標準の再生速度による場合の１／２に設定する。

またユーザーによる操作に応動して積分期間ＤＷを可変して種々にシャッター速度を可変する。

この実施例のように、ビデオデータの再生速度に応じたフィルタリング処理の周期の可変により、ΔΣ変調データに対してフィルタリング処理の周期を可変してビデオデータの再生速度を種々に変化させるようにしても、実施例１と同様の効果を得ることができる。

この実施例では、再生するビデオデータＤ３のフレームレート、シャッター速度、再生速度を、外部機器に応じて、さらにはコンテンツ単位、フレーム単位、複数フレーム単位で動的に可変する。この実施例では、これら動的な可変に関する構成が異なる点を除いて、実施例１の録画再生装置と同一に構成されることにより、以下においては、図１及び図２の構成を流用して説明する。

この実施例において、コントローラ７は、ビデオデータＤ３を出力する外部機器の接続により、この外部機器の対応可能なフレームレートを検出する。またこの検出したフレームレートによりビデオデータＤ３を出力するように、フィルタリング処理の周期、サンプル数を設定する。これにより外部機器に応じて動的にビデオデータＤ３のフレームレートを設定する。

また図示しない属性検出部により画像データＤ１の属性を検出して記録する。なおこここでこの属性は、画像データＤ１の動きを直接に又は間接的に示す情報である。間接的に動きを示す属性情報は、例えばドラマ、スポーツ、映画等の番組の種別、アクション映画、ラブストーリの映画、ホラーの映画等のさらに詳細な種別等である。これに対して直接、動きを示す属性情報は、例えば動きベクトル検出回路を用いて所定ブロック単位で検出される動きベクトルをフレーム単位で平均値化した動き情報である。

コントローラ７は、間接的な属性情報に基づいて、動きの速いコンテンツによるΔΣ変調データＤ２を再生してビデオデータＤ３を出力する場合には、シャッター速度が速くなるように、フィルタリング処理に係るサンプル数を設定する。これによりコントローラ７は、コンテンツ単位で動的にシャッター速度を可変する。

また動きベクトルにより検出される動き情報に基づいて、動きの速いシーンでは、シャッター速度が速くなるように、フィルタリング処理に係るサンプル数をビデオデータＤ３のフレーム単位で又は複数フレーム単位で可変する。これによりコントローラ７は、フレーム単位又は複数フレーム単位で動的にシャッター速度を可変して一段と高品位によりビデオデータＤ３を出力する。またコントローラ７は、ユーザーによりシャッター速度の可変が指示された場合には、このようにして可変するシャッター速度を基準にして、シャッター速度を可変する。

またコントローラ７は、外部機器が、種々のフレームレートに対応可能な機器の場合であって、フレームレートの動的な変化に対応可能な機器の場合、間接的な動き情報により、動きの速いコンテンツでは、フレームレートが増大するように、フィルタリングの周期を設定し、またこれに対応するようにフィルタリング処理するサンプル数を変化させる。これによりコントローラ７は、コンテンツ毎に、フレームレートを動的に変化させる。

またさらにコントローラ７は、直接的な動き情報により動きの速いシーンでは、フレームレートが増大するように、フィルタリングの周期をフレーム単位、複数フレーム単位で設定し、またこれに対応するようにフィルタリング処理するサンプル数を変化させる。これによりコントローラ７は、フレーム単位、又は複数フレーム単位でビデオデータＤ３のフレームレートを動的に可変する。

これらのフレームレートの可変により、コントローラ７は、ビデオデータＤ３の出力がホームネットワークを介した外部機器への出力等である場合に、高品位によりビデオデータＤ３を伝送するようにして、このネットワークにおけるビデオデータＤ３の伝送に係る負担を極力少なくし、このネットワークに接続された各種機器によるこのネットワークの利用効率を向上する。

またさらにユーザーによる動作モードの切り換えにより、動き情報に応じて再生速度を可変し、動きの速いシーンでは、再生速度が低下するように、フィルタリングの周期をフレーム単位、又は複数フレーム単位で設定し、またこれに対応するようにフィルタリング処理するサンプル数をフレーム単位又は複数フレーム単位で可変する。またこの再生速度の可変に対応するように記憶部５で再生するΔΣ変調データＤ２のフレームレートを可変する。これによりコントローラ７は、再生速度を動的に変化させて、例えばスポーツ番組において、ゴールシーン等の決定的な瞬間にあっては、自動的にスローモーションにより再生する。なおこの場合に、盛り上がり等を検出して、動き情報に代えて、又は動き情報に加えて、この盛り上がり等により、フィルタリング処理の周期及び又はフィルタリング処理に供するサンプル数を動的に可変するようにしてもよい。

この実施例のように、フィルタリング処理の周期及び又はフィルタリング処理に供するサンプル数を動的に可変すれば、一段と高品位に動画像を再生することができる。

具体的に、ΔΣ変調データによる動画像の属性に基づいて、フィルタリング処理の周期及び又はフィルタリング処理に供するサンプル数を可変することにより、一段と高品位に動画像を再生することができる。

またさらにΔΣ変調データによる動画像の動き情報に基づいて、フィルタリング処理の周期及び又はフィルタリング処理に供するサンプル数を可変することにより、動画像のシーンに応じて動的にシャター速度、再生速度、フレームレートを可変して、一段と高品位に動画像を再生することができる。

図３は、本発明の実施例４の録画再生装置に適用される再生部の構成を示すブロック図である。この実施例の録画再生装置は、動きベクトル検出回路を有し、記録時、この動きベクトル検出回路によりマクロブロック単位で画像データＤ１の動きベクトルＭＶを検出する。また検出したこの動きベクトルＭＶを画像データＤ１のΔΣ変調データＤ２と共に記憶部５で記録する。録画再生装置は、この動きベクトルＭＶによる動き情報に応じて、ビデオデータＤ３における１フレームの各部でシャッター速度を動的に可変する。この実施例の録画再生装置は、このシャッター速度の制御に関する構成が異なる点を除いて、実施例１〜３の録画再生装置と同一に構成される。

この録画再生装置は、再生部６及びコントローラ７に代えてこの図３の再生部２６及びコントローラ２７が設けられる。この実施例では、この再生部２６及びコントローラ２７の構成が異なる点を除いて、実施例１〜３の録画再生装置と同一に構成される。

ここで再生部２６において、バッファメモリ３１は、複数フレーム分のΔΣ変調データＤ２を格納可能な容量を有するメモリであり、例えばラスタ走査の順序で記憶部５から順次入力されるΔΣ変調データＤ２を順次格納して所定サンプル数だけ保持する。また保持したΔΣ変調データＤ２を積分器３２の制御により出力する。

積分器３２は、処理対象の領域の大きさを指示する領域サイズ情報ＤＳ、積分開始信号ＳＴ、積分時間ＤＷに基づいて、バッファメモリ３１からΔΣ変調データＤ２を画素単位で取得して積分処理し、積分結果を出力する。

サンプルホールド回路（ＳＨ）３３は、この積分器３２から出力される積分結果をサンプルホールドして出力する。制御部３４は、実施例１の制御部１４と同様に、コントローラ２７から出力される更新期間情報ＤＴに応じて積分開始信号ＳＴのタイミングを可変して出力する。

積分期間計算部３５は、コントローラ２７から出力される標準の積分期間ＤＷＢを、この画像処理部１１Ａの処理対象の画素が属するマクロブロックで検出された動きベクトルＭＶで補正して積分期間ＤＷを計算し、この積分期間ＤＷを積分器１３に出力する。

ここで標準の積分期間ＤＷＢは、実施例１のコントローラ７から出力される積分期間ＤＷと同一に、コントローラ２７で作成される積分に供する標準のサンプル数を示す時間情報である。積分期間計算部３５は、動きベクトルＭＶに基づいて、動きが大きくなるに従って、積分に供するサンプル数が標準の積分期間ＤＷＢによるサンプル数より低下するように、またこれとは逆に動きが小さくなるに従って、積分に供するサンプル数が標準の積分期間ＤＷＢによるサンプル数より増大するように、積分期間ＤＷを設定して出力する。

コントローラ２７は、実施例１のコントローラ７と同一に更新期間、積分期間を計算し、それぞれ更新期間情報ＤＴ及び標準の積分期間ＤＷＢにより出力する。なおこの場合、実施例２、実施例３について上述した積分期間ＤＷを標準の積分期間ＤＷＢに設定するようにしてもよい。またコントローラ２７は、ΔΣ変調データＤ２の記録時に検出した動きベクトルＭＶを順次再生し、この再生した動きベクトルＭＶを再生部２６に出力する。

これによりこの実施例では、マクロブロックを処理単位の領域に設定して、動きベクトルにより把握される各部の属性により、動画像の各部でシャッター速度を可変し、例えば静止画部分では十分に長いシャッター速度により高階調、高ＳＮ比の画像を得るようにし、動きの速い動画部分では、動きぼけのない画像を得るようにし、これにより一段と高画質に動画像を再生する。

なおマクロブロック単位の動きベクトルの検出に代えて、画素毎に動きベクトルを検出して上述の処理を実行してもよい。またコントローラ２７で各部の動きベクトルを判定して、画像処理部１１Ａ、１１Ｂ、……、１１Ｎ毎に、積分時間ＤＷを設定するようにしてもよい。

図４は、積分器３２の動作の説明に供するフローチャートである。積分器３２は、ビデオデータＤ３のフレーム単位でこの処理手順を実行する。すなわち積分器３２は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、初期設定処理を実行する。この初期設定処理において、積分器３２は、コントローラ２７から出力される標準の積分期間ＤＷＢを動きベクトルＭＶにより補正して得られるマクロブロック毎の積分期間ＤＷを１フレーム分取得する。また領域サイズ情報ＤＳによりマクロブロックの水平方向及び垂直方向の画素数Ｓｂｘ及びＳｂｙの入力を受け付ける。またバッファメモリ３１に格納されたΔΣ変調データＤ２を特定するパラメータＢを初期化する。

続いて積分器３２は、ステップＳＰ３に移り、処理対象画素の垂直方向の位置を特定する変数ｙを初期化する。また続くステップＳＰ４において、処理対象画素の水平方向の位置を特定する変数ｘを初期化する。続いて積分器３２は、ステップＳＰ５において、位置（ｘ，ｙ）の画素が属するマクロブロックの水平方向及び垂直方向の番号ｂｘ及びｂｙを検出する。なおここで〔ｘ〕は、ｘを越えない最大の整数を示す関数である。

続いて積分器３２は、ステップＳＰ６に移り、番号ｂｘ及びｂｙにより特定されるマクロブロックについての積分期間ＤＷに基づいて、位置（ｘ，ｙ）の画素についてΔΣ変調データＤ２をバッファメモリ３１からロードして積分処理した後、続くステップＳＰ７において、積分結果ｓｕｍを正規化する。また続くステップＳＰ７において、処理対象画素の水平方向の位置を示す変数ｘをインクリメントし、続くステップＳＰ９において、処理対象画像の右端まで処理を完了していないか否か判断する。

ここで肯定結果が得られると、積分器３２は、ステップＳＰ５に移り、続く右端の画素を処理する。これに対してステップＳＰ９で否定結果が得られると、積分器３２は、ステップＳＰ９からステップＳＰ１０に移り、処理対象画素の垂直方向の位置を示す変数ｙをインクリメントした後、続くステップＳＰ１１で、処理対象画像の下端まで処理を完了していないか否か判断する。

ここで肯定結果が得られると、積分器３２は、ステップＳＰ４に移り、続く右端の画素を処理する。これに対してステップＳＰ１１で否定結果が得られると、積分器３２は、ステップＳＰ１１からステップＳＰ１２に移り、１フレーム分の積分結果を出力した後、ステップＳＰ１３に移ってこの処理手順を終了する。

この実施例によれば、ΔΣ変調データによる動画像の各部の動き情報を検出し、この動き情報に基づいて、１フレームの画像の各部で、フィルタリング処理のサンプル数を可変することにより、一段と高画質により動画像を再生することができる。

なお上述の実施例４等においては、記録時、動きベクトルを検出する場合について述べたが、本発明はこれに限らず、再生時、ΔΣ変調データより、又はビデオデータより動きベクトルを検出するようにしてもよい。

また上述の実施例４においては、動きベクトルによる属性情報に基づいて、１フレームの各部でシャッター速度を可変する場合について述べたが、本発明はこれに限らず、例えば高域成分の多少、高域成分の劣化の有無等、画像各部の属性を示す情報によりシャッター速度を可変するようにしてもよい。

また上述の実施例においては、ハードウェア構成によりビデオデータを生成する場合について述べたが、本発明はこれに限らず、例えばコンピュータにおける動画像処理に適用してソフトウェアの処理によりビデオデータを生成するようにしてもよい。

本発明は、例えばハードディスク、光ディスク等の記録媒体から動画像を再生する再生装置に適用することができる。

本発明の実施例１の録画再生装置に適用される再生部の構成を示すブロック図である。 本発明の実施例１の録画再生装置を示すブロック図である。 本発明の実施例４の録画再生装置に適用される再生部の構成を示すブロック図である。 図３の再生部の積分器の処理手順を示すフローチャートである。

符号の説明

１……録画再生部、２……録画部、５……記憶部、６……再生部、７、２７……コントローラ、１１Ａ〜１１Ｎ……画像処理部、１２、３１……バッファメモリ、１３、３２……積分器、１４、３４……制御部

Claims (12)

1. 連続するフレームの画素値を画素毎にΔΣ変調して生成されたΔΣ変調データを記録媒体から再生するデータ再生部と、
   前記データ再生部で再生される前記ΔΣ変調データをフィルタにより画素毎にフィルタリング処理して、ビデオデータを再生するビデオデータ再生部と、
   前記フィルタリング処理を制御する制御部とを備える
   ことを特徴とする動画像再生装置。
2. 前記フィルタは、
   デシメーションフィルタである
   ことを特徴とする請求項１に記載の動画像再生装置。
3. 前記制御部は、
   前記ΔΣ変調データに対する前記フィルタリング処理の周期を可変して、前記ビデオデータの再生速度を可変する
   ことを特徴とする請求項１に記載の動画像再生装置。
4. 前記制御部は、
   前記フィルタリング処理に供するサンプル数を可変して、前記ビデオデータのシャッター速度を可変する
   ことを特徴とする請求項１に記載の動画像再生装置。
5. 前記制御部は、
   前記フィルタリング処理の周期を可変して、前記ビデオデータのフレームレートを可変する
   ことを特徴とする請求項１に記載の動画像再生装置。
6. 前記制御部は、
   前記ΔΣ変調データに対するフィルタリング処理の周期、及び又は前記フィルタリング処理に供するサンプル数を、適応的に可変する
   ことを特徴とする請求項１に記載の動画像再生装置。
7. 前記ΔΣ変調データによる動画像の属性を検出する属性検出部を有し、
   前記制御部は、
   前記属性に基づいて、前記ΔΣ変調データに対するフィルタリング処理の周期、及び又は前記フィルタリング処理に供するサンプル数を可変する
   ことを特徴とする請求項１に記載の動画像再生装置。
8. 前記属性が、
   前記ΔΣ変調データによる動画像の動き情報である
   ことを特徴とする請求項７に記載の動画像再生装置。
9. 前記ΔΣ変調データによる動画像の各部の動き情報を検出する動き情報検出部を有し、
   前記制御部は、
   前記動き情報に基づいて、前記各部で、前記フィルタリング処理に供するサンプル数を可変する
   ことを特徴とする請求項１に記載の動画像再生装置。
10. 前記フィルタは、
    処理対象の画素に係る前記ΔΣ変調データを順次入力して所定サンプル数だけ保持するバッファと、
    前記バッファに保持された前記ΔΣ変調データを積分する積分器とを有し、
    前記制御部は
    前記積分器による積分の周期及び又は前記積分器で積分するサンプル数の制御により、前記フィルタリング処理を制御する
    ことを特徴とする請求項１に記載の動画像再生装置。
11. 連続するフレームの画素値を画素毎にΔΣ変調して生成されたΔΣ変調データを記録媒体から再生するデータ再生のステップと、
    前記データ再生のステップによる前記ΔΣ変調データを画素毎にフィルタリング処理して、ビデオデータを再生するビデオデータ再生のステップと、
    前記フィルタリング処理を制御する制御のステップとを備える
    ことを特徴とする動画像再生方法。
12. 動画像のビデオデータを再生する動画像再生方法のプログラムにおいて、
    連続するフレームの画素値を画素毎にΔΣ変調して生成されたΔΣ変調データを記録媒体から再生するデータ再生のステップと、
    前記データ再生のステップによる前記ΔΣ変調データを画素毎にフィルタリング処理して、ビデオデータを再生するビデオデータ再生のステップと、
    前記フィルタリング処理を制御する制御のステップとを備える
    ことを特徴とする動画像再生方法のプログラム。
    

Images