JP2006166255A

JP2006166255A - 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置

Info

Publication number: JP2006166255A
Application number: JP2004357247A
Authority: JP
Inventors: Hiroshi Jinno; 比呂志陣野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-12-09
Filing date: 2004-12-09
Publication date: 2006-06-22

Abstract

【課題】画質が低下した原因を表示してユーザーに知らせて、ユーザーに問題解決を促すことができるようにする。
【解決手段】被写体を撮像する撮像部１０により得られる撮像出力信号をコーデック処理部４０において量子化ステップに従い量子化して可変長符号化するとともにシステム制御部８０により単位時間毎に画質を評価し、画質の評価結果をモニター表示部３０やＬＥＤ表示部８２に表示する。
【選択図】図１

Description

本発明は、動画像を高速に伝送或いは記録再生するための画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置に関する。

従来、ディジタル形式の画像を撮像したり記録したりする場合には、大容量の画像信号を高速に伝送及び記録する必要がある。そこで、例えばＪＰＥＧ等の符号化圧縮技術により上記の画像信号の情報量を効率良く削減し、かつ画質の劣化が少なくなる手法が用いられている。また、近年は静止画に加えて動画にも対応できる手法が提案されている。

ところで、動画像中の全ての情報を静止画と同様のデータ化を行うことは、莫大な記憶容量を消費する等の点からも非現実的である。そのため、時間軸方向での冗長性を圧縮する手法を取り入れたＭＰＥＧ等の方法が実現されている。

そして、画像信号を符号化してこのＭＰＥＧ規格に従うデータを生成する符号化回路においては、目標とするデータレートに基づいてピクチャー毎に目標とする符号量を決定し、各ピクチャーの目標符号量に基づいて、各ピクチャーを構成する全てのマクロブロックに平均的に目標となる符号量を割り当てる。その後、目標符号量となるよう、各マクロブロックを符号化する際の量子化ステップを決定し、符号化を行う。

従来、例えば画像を符号化する際に割り振られるビット量を該画像の特徴量に応じて適応的に変えることによって画質の劣化を防ごうとしたり（例えば、特許文献１参照）、撮影される動画像の内容と性質に合わせて目標情報量を制御するようにしたカメラ一体型ビデオ記録再生装置が提案されている（例えば、特許文献２参照）。

特開２００３−０２３６３７号公報特開２００２−３６９１４２号公報

ところで、各マクロブロックに平均的に目標符号量を設定して量子化ステップを設定すると、以下のような問題が考えられる。

例えば、１つのＰピクチャーあるいはＢピクチャー内にほとんど動きのない画像を含むマクロブロックと動きの激しい画像を含むマクロブロックとがある場合、動きの少ない画像のマクロブロックでは差分がほとんど発生しない。そのため、目標符号量を達成するために量子化ステップを小さく設定できる。量子化ステップが小さいと圧縮率が低くなり画質の劣化は少ない。

逆に、動きの激しい画像のマクロブロックでは、差分データの値が大きくなるため、マクロブロックの符号量を目標符号用内に収めるため、量子化ステップを大きく設定しなければならない。量子化ステップが大きいと圧縮率が高くなり画質の劣化は激しい。

しかしながら、動きの大きな画像については量子化ステップを小さくするとマクロブロック毎に平均的に設定した目標符号量をこえてしまうため、量子化ステップを十分に小さく設定することができない。

マクロブロック毎に平均的に目標符号量を割り当てる方法とは別に、画が複雑な部分について多くの符号を割り当て、画が単純な部分については少ない符号量を割り当てて符号化する方法がある。符号量はある変動幅の中で可変になるが、全体そして一定のビットレートになる。変動する符号量は符号器の後ろに接続されたバッファに一時的保管して平均化され、出力される。

しかし、複雑な画や動きが激しい場合や、複雑な画が長時間にわたって入力される場合には符号量を一時的に変動しただけでは足りないため、画質の劣化が発生する。

このように難しい画を長く撮影したり、手振れが激しい場合、圧縮率が上がり画質が低下することがあるが、エンコードされ記録される画は録画中に見る手段がないため、再生するまで録画された画質がわからない。画質が低下する原因は、入力された画に対して割り当てられた圧縮後のデータ量が少なすぎると、圧縮率が上がり過ぎて発生する。圧縮率が高い場合ブロックノイズやモスキートノイズなどのデジタルノイズが目立つ。特に光ディスクを使ったシステムでは容量が小さく、８ｃｍディスクでは、約１．４Ｇｂｉｔの容量であるから、９Ｍｂｐｓで約２０分程度のデータ量しかなく難しい画が続いたりすると画質の劣化が発生しやすい。

しかし従来の機器では画質の劣化を再生以外に知る手段がなかったので、撮影の結果をリアルタイムに判断することができなかった。

低ビットレートのシステムでは少ないデータを有効に使うためＶＢＲ機能を持つものが多いが、平均のデータ量（ビットレート）に対して難しい画にはビットレートを上げ、易しい画の場合はビットレートが低くするような部分的なビットレートの上げ下げをおこない画質を改善する方法なので、限界がある。ビットレートの変動はバッファに一時的に蓄積してからメディアに転送することで平均化する。

ＶＢＲを使用しても、極端に難しい画が入力された場合や難しい画が続いた場合、ビットレートの変動分が使い尽くされると画質劣化が発生することは避けられない。

画質劣化を起こした場合に記録中にそれを知る手段がないため、従来の機器では画質が劣化した状態での撮影を防止することができない。

例えば特許文献１では、画像を符号化する際に割り振られるビット量を該画像の特徴量に応じて適応的に変えることによって画質の劣化を防ごうとしているが、最終的に画質が劣化したかどうかを記録中に知る手段がなかった。また、特許文献２でも、撮影される動画像の内容と性質に合わせて目標情報量を制御するようにしたカメラ一体型ビデオ記録再生装置であるが、やはり撮影中の画質を知る手段がなかった。

そこで、本発明は、このような従来の問題点を解決することを目的とする。

また、本発明の他の目的は、画質の状態を表示することである。

また、本発明の更に他の目的は、画質の状態を表示することで再生以前に撮影の結果をしることができるようにすることである。

また、本発明の更に他の目的は、画質の状態をビデオデータやオーディオデータと同期再生するファイル形式に変換して記録媒体に書き込むことができるようにすることである。

さらに、本発明の更に他の目的は、画質の状態を再生時に読み出すことで編集の手段を自動化したり、画面上に画質データを表示することをできるようにすることである。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

そこで、本発明では、画質が低下した原因を表示してユーザーに知らせる。また、カメラのズーム速度、画の複雑や画質データを表示してユーザーに問題解決を促す。さらに、これらのデータを同期記録して再生時に利用できるようにする。
本発明に係る画像符号化装置は、入力された動画像信号系列を量子化ステップに従い量子化する量子化手段と、上記量子化手段により量子化された動画像信号系列を可変長符号化する符号化手段と、所定の単位ごとに上記量子化手段における量子化ステップを決定する量子化制御手段と、単位時間毎に画質を評価する画質評価手段と、上記画質評価手段による画質の評価結果を表示する表示手段とを備えることを特徴とする。

また、本発明に係る撮像装置は、動画像信号系列を入力する撮像手段と、上記撮像手段から入力された動画像信号系列を量子化ステップに従い量子化する量子化手段と、上記量子化手段により量子化された動画像信号系列を可変長符号化する符号化手段と、所定の単位ごとに上記量子化手段における量子化ステップを決定する量子化制御手段と、単位時間毎に画質を評価する画質評価手段と、上記画質評価手段による画質の評価結果を表示する表示手段とを備えることを特徴とする。

また、本発明に係る画像記録方法は、入力された動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化し、量子化された動画像信号系列を可変長符号化し、単位時間毎に画質を評価し、上記可変長符号化された動画像と上記単位時間毎の画質の評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換し、上記ファイル構造を持つデータを記録媒体に記録することを特徴とする。

また、本発明に係る画像記録装置は、入力された動画像信号系列を量子化ステップに従い量子化する量子化手段と、上記量子化手段により量子化された動画像信号系列を可変長符号化する符号化手段と、所定の単位ごとに上記量子化手段における量子化ステップを決定する量子化制御手段と、単位時間毎に画質を評価する画質評価手段と、上記符号化手段により可変長符号化された動画像と上記画質評価手段による画質の評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換する変換手段と、上記ファイル構造を持つデータを記録媒体に記録する記録手段とを備えることを特徴とする。

また、本発明に係る画像記録媒体は、動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化された動画像信号系列を可変長符号化した動画像と単位時間毎の画質を評価した評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換した上記ファイル構造を持つデータを記録したことを特徴とする。

さらに、本発明に係る画像再生装置は、動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化された動画像信号系列を可変長符号化した動画像と単位時間毎の画質を評価した評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換した上記ファイル構造を持つデータを記録した情報記録媒体よりファイルを読み出し、上記動画像と上記画質情報を格納するユニットに分けて復号するファイル復号手段と、上記ファイル復号手段から供給される上記動画像と上記画質情報を復号して出力するデータ復号手段とを備えることを特徴とする。

本発明では、符号器の動作状態から録画中の画質すぐに知ることができ、これを表示することによりユーザーに録画状態を知らせることが可能になる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成のカメラ一体型記録再生装置１００に適用される。

このカメラ一体型記録再生装置１００は、被写体を撮像する撮像部１０、この撮像部１０により得られる撮像出力信号が供給されるカメラ信号処理部２０、モニター用の映像信号が上記カメラ信号処理部２０を介して供給されるモニター表示部３０、上記カメラ信号処理部２０により得られる動画像信号が供給されるコーデック処理部４０、このコーデック処理部４０により得られる符号化された画像データを記録媒体６０を介して記録／再生する記録／再生部５０、上記撮像部１０やカメラ信号処理部２０の動作を制御するカメラ制御部７０、これらを制御するシステム制御部８０、上記システム制御部８０に接続されたキー入力操作部８１及びＬＥＤ表示部８２などからなる。

上記撮像部１０は、撮像レンズやその駆動機構などからなる撮像光学系１１、この撮像光学系１１を介して撮像光が入射されるＣＣＤイメージセンサなどの撮像素子１２、上記撮像光学系１１のフォーカス制御部１３やズーム制御部１４、この撮像部１０に加わる手振れなどによる振動を検出するジャイロセンサー１５等を備えてなる。

また、上記モニター表示部３０は、上記カメラ信号処理部２０からモニター用の映像信号が供給される表示制御部（GDC:Graphic Display Controller）３１、この表示制御部３１に接続されたＬＣＤ（LCD:Liquid Crystal Display）制御部３２、このＬＣＤ制御部３２により制御される液晶表示パネル３３及び電子ビューファインダ（EVF:Eelectronic View Finder）３４からなる。

このカメラ一体型記録再生装置１００においてコーデック処理部４０は、動き補償予測符号化を用いたＭＰＥＧ方式に従って、上記撮像部１０から周知のカメラ信号処理部２０を介して供給される動画像信号を圧縮符号化して記録／再生部５０に供給し、また、記録／再生部５０により記録媒体６０から再生されるＭＰＥＧ方式の圧縮符号化データに復号処理を施す。

記録／再生部５０は、コーデック処理部４０により符号化された動画像信号に対し、誤り訂正用チェック符号や同期データ、その他の付加データを付加して記録フォーマットに従う形態に変換して記録媒体６０に記録し、また、上記記録媒体６０からＭＰＥＧ方式の圧縮符号化データを再生して誤り訂正処理等を施す。

また、システム制御部８０は、ユーザー操作によるキー入力操作部８１からの指示に従い装置各部の動作を制御する。

ここで、このカメラ一体型記録再生装置１００におけるコーデック処理部４０では、上述の如く動き補償予測符号化を用いたＭＰＥＧ２方式に従って符号化処理及び復号処理を行う。ＭＰＥＧ２方式ではイントラ符号化とインター符号化とをフレーム毎に選択的に用いて符号化を行う。イントラ符号化とは同一フレーム内のデータのみを用いて符号化を行う方法であり、インター符号化とは複数のフレームを用いて符号化を行う方法である。また、ＭＰＥＧ２では、１つのフレームのデータを全てイントラ符号化により符号化するＩピクチャー、前フレームを用いて予測符号化を行うＰピクチャー、前後のフレームを用いて予測符号化を行うＢピクチャーの３つのピクチャタイプが規定されている。そして、Ｉピクチャーから次のＩピクチャーの直前のフレームまでをＧＯＰ（Group Of Pictures）と呼び、このＧＯＰを１つの符号化単位として扱うことができる。

コーデック処理部４０は、例えば図２及び図１３に示すような構成の符号化処理部４１０及び復号処理部４５０を備える。

符号化処理部４１０は、図２に示すように、上記カメラ信号処理部２０から動画像信号が供給される前処理部４１と、この前処理部４１の出力が供給される動きベクトル検出部４２及び符号化部４３からなる。

前処理装置４１は、フィルタ演算器４１１と画面並替部４１２からなる。フィルタ演算器４１１は、上記カメラ信号処理部２０から供給される動画像信号をシステム制御部８０からの指令にしたがって動作して、上記カメラ信号処理部２０から供給される動画像信号について、符号化する対象画像に適した解像度変換すなわち周波数特性変換を行い、さらに、水平方向、垂直方向の画素数を引くことにより、通常サイズの画像データを生成する。画面並替部４１２は、上記フィルタ演算器４１１により得られる通常サイズの画像データを所定の画素数のブロックに分割し、ピクチャーの順序を符号化処理に適した順番に並べ替えて動きベクトル検出部４２及び符号化部４３に供給する。

動きベクトル検出部４２は、符号化対象画像を蓄えるフレームメモリ４２１と順方向・逆方向のフレーム間の動きベクトル検出を行う動き検出器４２２からなる。なお、フレームメモリ４２１は、複数フレームの画像データを蓄えることができる容量を有している。この動きベクトル検出部４２では、各フレームの時間的並びにおいて順方向と逆方向に相当するフレーム間の各マクロブロック毎に対する動き量を求める。具体的には、ブロックマッチング法等を用いて最適な動きベクトル値を求める演算を行い、動きベクトル値を蓄えておく。

符号化部４３は、上記前処理装置４１の画面並替部４１２から画像データが供給される減算器４３１、この減算器４３１による減算出力として得られる差分画像データが供給される離散コサイン変換（ＤＣＴ）器４３２、このＤＣＴ器４３２により得られるＤＣＴ係数が供給される量子化器４３３、この量子化器４３３により量子化されたＤＣＴ係数が供給される可変長符号化器４３４及び逆量子化器４３５、上記逆量子化器４３５により逆量子化されたＤＣＴ係数が供給される逆離散コサイン変換（逆ＤＣＴ）器４３６、この逆ＤＣＴ器４３６によりＤＣＴ係数を逆離散コサイン変換することにより得られる差分画像データが供給される加算器４３７、この加算器４３７で参照画像データに差分画像データを加算した画像データを蓄積するフレームメモリ４３８、このフレームメモリ４３８から読み出される画像データに上記動きベクトル検出部４２により与えられる動きベクトル値に基づいて動き補償を施す動き補償器４３９、上記動き補償器４３９により動き補償が施された画像データを上記減算器４３１に供給するスイッチ４４０、上記可変長符号化器４３４により可変長符号として符号化された圧縮画像データが供給されるバッファメモリ４４１、上記バッファメモリ４４１のバッファ量に応じて上記量子化器４３３の量子化ステップを制御する量子化制御器４４２等からなる。

この符号化部４３は、ＭＰＥＧ２方式の符号化を行うもので、ＤＣＴ器４３２、量子化器４３３、可変長符号化器４３４を通して圧縮された画像信号のビットストリームを出力する。それと同時に量子化器４３３の出力を、逆量子化器４３５、逆ＤＣＴ器４３６を通して画像データを復号し、既に再構築した参照フレームの画像データと足し合わせる加算器４３７に供給し、加算器４３７の出力をフレームメモリ４３８に蓄える。

そして、この符号化部４３では、フレームメモリ４３８の画像データに対して、動きベクトル検出部４２で得られた動きベクトルを用いて動き補償器４３９で動き補償を行い、時間軸方向のデータの冗長度を削減し、かつＤＣＴによる空間軸方向から周波数軸方向への変換により冗長度を削減したデータに対して、周波数軸に対して重みづけを施した量子化を行う。そして、可変長符号化を行なうことで、最終的なビットストリームを得るようにしている。

また、ＩピクチャーおよびＰピクチャーの場合は、動き補償器４３９において参照画面として使用されるため、量子化器４３３の出力は、逆量子化器４３５にも入力され、逆量子化された後に逆ＤＣＴ器４３６において逆ＤＣＴが行われる。逆ＤＣＴ器４３６の出力は、加算器４３７で動き補償器４３９の出力と加算され、フレームメモリ４３８に入力され、そして、動き補償器４３９に入力されて順次に処理される。動き補償器４３９は、前方向予測、後方向予測および両方向予測を行い、加算器４３７および減算器４３１に出力する。

ここで、再構築した画像データをフレーム間で符号化するモード時にはスイッチ４４０がａ側に接続され、減算器４３１は、画像並替部４１２の出力と動き補償器４３９の出力との間で減算を行い、逆量子化器４３５や逆ＤＣＴ器４３６などで復号された復号ビデオ信号とビデオ信号との間の予測誤差を演算する。フレーム内符号化（Ｉピクチャー）モードの時にはスイッチ４４０がｂ側に接続され、減算器４３１は、減算処理を行わず、単にデータが通過する。

一方、量子化制御器４４２は、可変長符号化器４３４で発生する符号量が可変であるため、システム制御部８０からの量子化に関する指令に基づいて、バッファメモリ４４１でのバッファ量を監視することによって、所定のビットレートを保つように、量子化器４３３の量子化動作を制御する。

この量子化制御器４４２では、ＣＢＲ又はＶＢＲで決められたデータレートを達成するため、ＧＯＰ毎に目標データレートから割り振られたデータ量をピクチャーに割り振り、各ピクチャー毎の目標符号量で画像を圧縮するよう制御する。すなわち、入力された画の符号化難易を判定し、重み付けすなわち量子化スケールＱ＿Ｓｃａｌｅを変える。また、バッファの使用率を監視してオーバーフローを起こさないようにより量子化スケールＱ＿Ｓｃａｌｅを変えて符号化器のビットレートをコントロールする。

ここで、量子化スケールＱ＿ＳＣＡＬＥは、マクロブロック（１６ｘ１６ドットのＭＰＥＧ圧縮の基本単位）ごとに指定することが可能であり、例えば画面上の複雑な模様の部分だけ圧縮率を低くすることもできる。すなわち、この量子化スケールＱ＿ＳＣＡＬＥを調節して、圧縮率を調整することができる。ところで、ＤＣＴ係数のＡ（０，０）にあたる部分、つまり量子化行列の一番左上のセルは、ＤＣＴ後の定数項にあたり、波形全体の平均値を表す成分となる。この成分を直流成分（ＤＣ成分）と呼び、量子化行列、量子化スケールに関わらず「８」で量子化するよう決められている。

なお、量子化スケールＱ＿ＳＣＡＬＥは、圧縮率のテーブルであって、ＭＰＥＧ２では図３に示す線形ステップと非線形ステップの２種類がある。

量子化制御器４４２は、ＧＯＰ開始時に予めＩピクチャー、Ｐピクチャー、Ｂピクチャー毎に目標符号量を決めておき、１フレーム分の画像データを取り込んで、ＭＰＥＧ２のＴＭ５で採用された方式により、目標符号量Ｔを算出する。目標符号量Ｔで１フレーム符号化して、符号化されたデータがバッファ４４１に入力される。量子化制御器４４２は、バッファ４４１に入力された画像符号量を、目標符号量と比較して目標符号量とあまり変わらない、又は目標符号量より少なければ、デフォルトの量子化スケールＱ＿ＳＣＡＬＥで量子化を行う。

すなわち、量子化制御器４４２は、ＧＯＰの目標ビット量を設定し、このＧＯＰ目標ビット量の中でピクチャー単位毎にピクチャーの目標ビット量を割り当てながら、所定の目標ビット量で符号化する。ピクチャー内におけるビット割り当ては、マクロブロック（以下、「ＭＢ」と略記する。）ごとに量子化スケールＱ＿ＳＣＡＬＥを設定することによって行われる。

ここで、ピクチャーのビット量の割り振りは、次の３つのステップで行われる。

第１ステップでは、ＧＯＰ内の各ピクチャーに対する割り当てビット量を、割り当て対象ピクチャーを含めＧＯＰ内でまだ符号化されていないピクチャーに対して割り当てられるビット量を基にして配分する。この配分をＧＯＰ内の符号化ピクチャー順に繰り返し、ピクチャーごとにピクチャーの目標ビット量を設定する。

第２ステップは、ＭＢ単位に量子化スケールＱ＿ＳＣＡＬＥの基準値を設定する。つまり、第２ステップでは、第１ステップで求められた各ピクチャーに対する割り当てビット量と実際の発生ビット量とを一致させるため、各ピクチャタイプ毎に独立に設定した３種類の仮想バッファの容量を基に、量子化スケールＱ＿ＳＣＡＬＥの基準値をＭＢ単位のフィードバック制御で求める。

第３ステップは、視覚特性を反映させるべく、ＭＢ単位でＭＢの複雑さに基づいて量子化スケールＱ＿ＳＣＡＬＥ値を補正する。ピクチャーの目標ビット量を維持しつつ、複雑さが低いＭＢでは量子化スケールＱ＿ＳＣＡＬＥを基準値より小さく補正し、複雑さが高いＭＢでは量子化スケールＱ＿ＳＣＡＬＥを基準値より大きく補正する。補正の結果、Ｑスケールコードが決定される。

１ＧＯＰの中でＩ，Ｐ，Ｂ各ピクチャーの目標ビット量に対して、実際の符号量が多い場合は量子化スケールＱ＿ＳＣＡＬＥを上げて調整する。１ＧＯＰ分の量子化スケールＱ＿ＳＣＡＬＥを使って画質の指標を計算する。例えば、１ＧＯＰ内で動きが激しい場合はＩピクチャーの量子化スケールＱ＿ＳＣＡＬＥに対してＰ，Ｂピクチャーの量子化スケールＱ＿ＳＣＡＬＥが大きくなるので、Ｐ，Ｂピクチャーの量子化スケールＱ＿ＳＣＡＬＥとＩピクチャーの重み付けを代えて平均値を求め、フレームごとにシステム制御部８０に送信する。

ここで、コーデック処理部４０の量子化制御器４４２は、次のようにして画質を判定する。

１．複雑さ判定
先頭のＩピクチャーにおいて目標符号化容量よりも多く符号化容量を使ってしまった場合で、量子化スケールＱ＿ＳＣＡＬＥを上げる場合、以下の基準でＩピクチャーの複雑さを判定する。

量子化スケールＱ＿ＳＣＡＬＥの値が１０以下は、割り振られたデータ量で十分な画質がでている場合で、複雑さ１とする。
量子化スケールＱ＿ＳＣＡＬＥの値が１０〜２０は、割り振られたデータ量で画が破綻しかかっている場合で、複雑さ２とする。

量子化スケールＱ＿ＳＣＡＬＥの値が２０以上は、割り振られたデータ量では画が破綻する場合で、複雑さ３とする。

２．画質判定
Ｉ，Ｐ，Ｂピクチャーの符号化後の量子化スケールＱ＿ＳＣＡＬＥを次のように判定する。

量子化スケールＱ＿ＳＣＡＬＥの値が１０以下は、割り振られたデータ量で十分な画質がでている場合で、画質１とする。

量子化スケールＱ＿ＳＣＡＬＥの値が１０〜２０は、割り振られたデータ量で画が破綻しかかっている場合で、画質２とする。

量子化スケールＱ＿ＳＣＡＬＥの値が２０以上は、割り振られたデータ量では画が破綻する場合で、画質３とする。

３．ＧＯＰの複雑さ、画質判定
ＧＯＰの含まれるピクチャーの画質をしたものの平均を計算し、ＧＯＰの画質の判定値とする。ＧＯＰの複雑さはＩピクチャーの複雑さで代表する。
そして、コーデック処理部４０の量子化制御器４４２は、ＧＯＰ毎の複雑さと画質判定情報をシステム制御部８０に送信する。
このようにして符号化された画は圧縮の度合いが高すぎるとノイズが発生するなど画質が劣化するので、このカメラ一体型記録再生装置１００では、図４のフローチャートに示すように、システム制御部８０により、量子化スケールＱ＿ＳＣＡＬＥの値のＧＯＰ毎の平均値をサンプリングして、この値に基づき符号化器の動作状態から画質の状態を判定し（ステップＳ１）、その判定結果として得られる単位時間毎の画質の評価結果を示す画質情報を表示する表示設定がなされているか否かを判定し（ステップＳ２）、表示設定がなされている場合には、上記単位時間毎の画質の評価結果を示す画質情報をＬＥＤ表示部８２やモニター表示部３０にてユーザーに表示する（ステップＳ３）。さらに、上記記録／再生部５０において、上記コーデック処理部４０により得られる可変長符号化された画像データと上記単位時間毎の画質の評価結果を示す画質情報やからなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記画像データを同期して再生するためのファイル構造を持つように、データ構造を変換し、上記ファイル構造を持つデータを記録媒体６０に記録する（ステップＳ４）。

これにより、記録媒体６０には、動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化された動画像信号系列を可変長符号化した動画像と単位時間毎の画質を評価した評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換した上記ファイル構造を持つデータが記録される。

すなわち、このカメラ一体型記録再生装置１００では、各ピクチャーのビット割り当てで量子化スケールＱ＿ＳＣＡＬＥが決まり、システム制御部８０は、画質評価手段として機能し、量子化スケールＱ＿ＳＣＡＬＥの関数で画質の指標を計算する。例えば、各ピクチャーの量子化スケールＱ＿ＳＣＡＬＥの平均値に重み付けしてそのＧＯＰの量子化スケールＱ＿ＳＣＡＬＥ代表値を計算してそれをもとに画質を判定する。その結果をＬＥＤ表示部８２やモニター表示部３０に表示することで、ユーザーに現在の画質を知らせる。

そして、画質を判定するデータをビデオデータやオーディオデータに同期するファイルフォーマットに変換して記録することにより、再生時に画質データを表示したり、編集機能に利用したりすることができる。

このように、このカメラ一体型記録再生装置１００では、ピクチャタイプ毎に量子化ステップを設定し、各マクロブロックの量子化ステップを設定し、その量子化ステップの値から画質を判定し表示し記録して再生時に利用できるので、画質の状態を録画時や再生時にモニターでき、編集時に画質データを利用することができる。

また、このカメラ一体型記録再生装置１００では、撮像部１０からフレームごとの焦点情報、ズーム情報、手振れセンサーと光学補正装置からの情報をフレームの識別情報と一緒にメモリに記憶しておき、システム制御部は、レートコントロールの画質情報とこれに対応する撮像部からの焦点情報、ズーム情報、手振れセンサー情報を読み込み、これらのデータから表示用のデータに変換してＬＥＤ表示部８２やモニター表示部３０で表示することで、ユーザーに現在の画質、焦点情報、ズーム情報、手振れ情報を提示する。

すなわち、このカメラ一体型記録再生装置１００において、撮像部１０の焦点制御、アイリス制御、ズーム制御を行うカメラ制御部７０は、ジャイロセンサー１５からの情報をもとに撮像部１０の動きを計算して光学機構または電子回路を使って画を補正し１フレーム毎に撮像部１０の動き情報をシステム制御部８０に送る。また、カメラ制御部７０は、撮像部１０の焦点情報、ジャイロセンサー出力、ズームの現在の状態情報を１フレームごとに検出して時間情報とともに符号化しシステム制御部８０に送る。

システム制御部８０は、１フレームごとに送られてくる撮像部１０関連の情報を一時的なメモリにフレームごとに格納し、また、コーデック処理部４０の量子化制御器４４２から送られてくる画の複雑さと画質を判断して一時的なメモリにフレームごとに格納する。

システム制御部８０は、一定時間ごとに一時的なメモリから、予めユーザーが設定した情報をフレームごとに読み出し、コーデック処理部４０の量子化制御器４４２から送られてくる画質、画の複雑さ、撮像部１０の焦点情報、ズーム速度、各種センサー情報などから次の表１に示す状態値をフレームに関連付けて格納する。

また、システム制御部８０は、コーデック処理部４０の量子化制御器４４２から送られてくる画の複雑さを示す情報と撮像部１０の焦点情報、ズーム速度情報を使って、次の表２に示すようにズームの状態値を決める。

さらに、システム制御部８０は、コーデック処理部４０の量子化制御器４４２から送られてくる画の複雑さを示す情報と撮像部１０の焦点情報、上下、左右の振動の大きさを示す情報を使って、次の表３に示すようにズームの状態値を決める。

そして、システム制御部８０は、画質、画の複雑さ、ズーム情報、手振れ情報の現在の値を判定して、その結果を予め出力が設定されていれば、モニター表示部３０の表示制御部３１にこれらの情報と転送して表示を指示する。

また、システム制御部８０は、画質情報をＬＥＤ表示部８２に表示する。

モニター表示部３０の表示制御部３１は撮像部から分岐したビデオ信号に、表示用のグラフィック情報を合成したビデオ信号をビデオ出力、液晶表示パネル３３又はＥＶＦ３４に出力する。

このカメラ一体型記録再生装置１００では、例えば、時間軸によるデータ管理を行うＭＰ４ファイルフォーマットを採用して、画質情報とこれに対応する焦点情報、ズーム情報、手振れ情報などをメタ情報として、ビデオ情報やオーディオ情報とともに記録媒体６０に記録する。

ＭＰ４ファイルフォーマットでは、図５及び図６に示すように、管理情報（Resource）は階層構造によりビデオ情報（Video）、オーディオ情報（Audio）、メタ情報（Meta）を管理する。管理情報（Resource）はファイルの先頭又は終端にまとめて書かれる。この管理情報（Resource）で管理されるビデオ情報（Video）やオーディオ情報（Audio）などの実データは一定単位時間毎のサンプルでユニットを形成し、これが複数繰り返して全体を構成する。管理情報（Resource）は、再生時間に対応する各ユニットの情報を持っており、ある時間に対応するサンプルにアクセスすることができる。

このように、このカメラ一体型記録再生装置１００では、ピクチャタイプ毎の量子化スケールＱ＿ＳＣＡＬＥを設定し、各マクロブロックの量子化スケールＱ＿ＳＣＡＬＥを設定し、その量子化スケールＱ＿ＳＣＡＬＥの値から画質を判定し表示するので、画質が劣化した場合直ちに知ることができる。

ここで、このカメラ一体型記録再生装置１００におけるＬＥＤ表示部８２、液晶表示パネル３３による画質の警告表示例を図７に示す。

画質はバッファメモリの使用量か量子化スケールＱ＿ＳＣＡＬＥの値をＧＯＰごとに判断して表示する。これは画質の簡易表示機能で液晶を閉じた状態で、ユーザーがＥＶＦ３４を見ていなくても現在の画質を知ることができる。

ＬＥＤ表示部８２による画質表示は、例えば、青色ＬＥＤ８２Ｂの点灯により画質良好を示し、黄色ＬＥＤ８２Ｙの点灯により画質注意を示し、赤色ＬＥＤ８２Ｒの点灯により画質ＮＧを示す。

液晶表示パネル３３には、画質良好を示す青色表示領域３３Ｂ、画質注意を示す黄色表示領域３３Ｙ、画質ＮＧを示す赤色表示領域８３Ｒが表示される。

上記ＬＥＤ表示部８２、液晶表示パネル３３による画質の警告表示は、キー入力操作部８１の操作によりＯＮ・ＯＦＦすることができる。

次に、このカメラ一体型記録再生装置１００におけるモニター表示部３０による手振れの警告表示例を図８に示す。

ジャイロセンサー１５により検出した手ブレが画質に影響を与える場合（動きベクトルのサイズを大きくする場合）にモニター表示部３０のＬＣＤ表示パネル３３やＥＶＦ３４の画面に縦、横又は両方を色分けした線ＬＶ，ＬＨにより横方向、縦方向又は両方向の手振れの警告表示を行い、手振れの強度に応じて青（小）、黄（中）、赤（大）と表示する。例えば、手振れの警告表示として、手振れがやや大きい時には黄色の線を表示し、手振れが大きい時には赤い線を点滅表示する。

また、図９に示すように、ジャイロセンサー１５により検出した手振れが画質に影響を与える場合（動きベクトルのサイズを大きくする場合）に画面に縦、横または両方を色分けした矢印ＡＶ，ＡＨにより横方向、縦方向又は両方向の手振れの警告表示を行うようにすることもできる。手振れがやや大きい時には黄色の矢印を表示し、手振れが大きい時には赤い矢印を点滅表示する。

また、画面全体に複雑な画の中を複雑な被写体が一定方向に移動している場合、動き予測は機能するが複雑なものが次々に入ってきて符号量が増えるので、図１０に示すように、画が複雑でピクチャーのサイズが大きくなる場合にモニター表示部３０のＬＣＤ表示パネル３３やＥＶＦ３４の画面に警告表示ＡＬ１，ＡＬ２を行う。全体としての画質の警告（Quality）とその原因となる要素を表示する。この図１０に示す例では、画の複雑さを相対度の表示と色で表示（LOW:青色、MID：黄色、HIGH：赤）している。

また、画面全体に複雑な画の中を複雑な被写体が一定方向に早く移動している場合、動き予測が外れ、残差が大きくなるためＰ、Ｂピクチャーのサイズが大きくなるので、図１１に示すように、画の移動が原因でサイズが大きくなる場合にモニター表示部３０のＬＣＤ表示パネル３３やＥＶＦ３４の画面に警告表示ＡＬ３、ＡＬ４，ＡＬ５を行う。全体としての画質の警告（Quality）とその原因となる要素を表示する。パン、チルト、ズーム, 焦点の値を表示する。撮像部１０の動きをジャイロセンサー１５で検出して垂直方向と水平方向に分離してそれぞれの移動速度を相対的に表示（LOW:青色、MID：黄色、HIGH：赤）する。

さらに、図１２に示すように、モニター表示部３０のＬＣＤ表示パネル３３やＥＶＦ３４の画面に画質の時系列変動を表示する。この例では、現在値や過去の値をバーグラフＡＬ６で表示する。

また、このカメラ一体型記録再生装置１００における復号処理部４５０は、図１３に示すように、記録媒体６０から再生された再生データが供給される復号部４５と、この復号部４５の出力が供給される後処理部４６からなる。

復号部４５は、符号化処理部４１０における符号化部４３による符号化処理に対応する復号処理を行うもので、記録媒体６０から再生された再生データが供給されるバッファメモリ４５１、このバッファメモリ４５１を介して再生データが供給される可変長復号器４５２、この可変長復号器４５２により復号された再生データが供給される逆量子化器４５３、上記可変長復号器４５２において分離された動きベクトルが供給される動き補償器４５７、上記逆量子化器４５３により逆量子化された再生データのＤＣＴ係数が供給される逆離散コサイン変換（逆ＤＣＴ）器４５４、この逆ＤＣＴ器４５４によりＤＣＴ係数を逆離散コサイン変換することにより得られる画像データと上記動き補償器により動き補償された画像データが供給される加算器４５５、この加算器４５５の出力が供給されるフレームメモリ４５６からなる。

この復号処理部４５０では、ビットストリームがバッファメモリ４５１を介して可変長符号復号器４５２に供給され、可変長符号の復号処理がなされる。可変長復号器４５２の出力は、逆量子化器４５３により記録時の量子化処理と逆の処理がなされて逆ＤＣＴ器４５４を介して加算器４５５に供給され、加算器４５５から復号された画像信号として取り出される。

加算器４５５からの復号出力はフレームメモリ４５６及び動き補償器４５７に供給されており、フレームメモリ４５６は、復号した画像信号を一旦蓄積する。動き補償器４５７は、可変長復号器４５２において分離された動きベクトルを用いて動き補償を行う。動き補償器４５７の出力が前フレームの復号画像信号であり、復号画像信号が加算器４５に供給され、逆ＤＣＴ器４５４の出力と加算される。
後処理装置４６は、符号化処理部４１０における前処理部４１による前処理に対応する後処理を行うもので、補間処理部４６１とフィルタ演算器４６２とからなる。

この後処理装置４６は、上記復号部４５の加算器４５５からの復号画像信号が補間処理器４６１を介してフィルタ演算器４６２に供給され、記録時の前処理と逆の処理を行い、元の画素数の復号画像信号を出力する。

このカメラ一体型記録再生装置１００では、画質を判定するデータをビデオデータやオーディオデータに同期するファイルフォーマットに変換して記録することにより、再生時に画質データを表示したり、編集機能に利用したりすることができる。

このように、本形態では、ピクチャタイプ毎に量子化ステップを設定し、各マクロブロックの量子化ステップを設定し、その量子化ステップの値から画質を判定し表示し記録して再生時に利用できるので、画質の状態を録画時や再生時にモニターでき、編集時に画質データを利用することができる。

すなわち、記録時に同期記録した画質データを利用して、例えば、編集時に画質データをシーン（ＧＯＰ単位が最小）ごとにデータ量（ビットレート）と一緒に表示することができる。また、画質によるＮＧシーンの自動検索：画質の悪い部分を画質データにより検索して表示する。これをユーザーが個別に判断して削除したり、一括削除を行うことができる。また、ＧＰＳ情報を表示し、カメラ位置と地図情報からコンテンツのドキュメントデータを作成して自動的にライブラリィを作成するようにすることもできる。さらに、撮影時のカメラの状態を再現し、カメラ移動やＺＯＯＭ、画質などから撮影状態を評価した結果を示したり、カメラの移動の軌跡やカメラの姿勢、撮影された映像からその場所の擬似空間を再現することができる。

本発明を適用したカメラ一体型記録再生装置の構成を示すブロック図である。上記カメラ一体型記録再生装置のコーデック処理部に備えられた符号化処理部の構成を示すブロック図である。ＭＰＥＧ２における種類の量子化スケールＱ＿ＳＣＡＬＥを示す図である。上記カメラ一体型記録再生装置の動作を示すフローチャートである。ＭＰ４ファイルフォーマットの概要を示す図である。ＭＰ４ファイルフォーマットの構成を示す図である。上記カメラ一体型記録再生装置における画質の警告表示例を示す斜視図である。上記カメラ一体型記録再生装置における手振れの警告表示例を示す図である。上記カメラ一体型記録再生装置における手振れの他の警告表示例を示す図である。上記カメラ一体型記録再生装置において、画面全体に複雑な画の中を複雑な被写体が一定方向に移動している場合に、画の複雑さを相対度の表示と色で表示警告する表示例を示す図である。上記カメラ一体型記録再生装置において、画面全体に複雑な画の中を複雑な被写体が一定方向に移動している場合に、パン、チルト、ズーム, 焦点の値で表示警告する表示例を示す図である。上記カメラ一体型記録再生装置の表示画面に画質の時系列変動を表示する例を示す図である。上記カメラ一体型記録再生装置のコーデック処理部に備えられた復号処理部の構成を示すブロック図である。

符号の説明

１０撮像部、１１撮像光学系、１２撮像素子、１３フォーカス制御部、１４ズーム制御部、１５ジャイロセンサー、２０カメラ信号処理部、３０モニター表示部、３１表示制御部、３２ＬＣＤ制御部、３３液晶表示パネル、３３Ｂ青色表示領域、３３Ｙ黄色表示領域、３３Ｒ赤色表示領域、３４電子ビューファインダ、４０コーデック処理部、４１前処理部、４２動きベクトル検出部、４３符号化部、４５復号部、４６後処理部、６０記録媒体、５０記録／再生部、７０カメラ制御部、８０システム制御部、８１キー入力操作部、８２ＬＥＤ表示部、８２Ｂ青色ＬＥＤ、８２Ｙ黄色ＬＥＤ、８２Ｒ赤色ＬＥＤ、１００カメラ一体型記録再生装置、４１０符号化処理部、４１１フィルタ演算器、４１２画面並替部、４２１フレームメモリ、４２２動き検出器、４３１減算器、４３２ＤＣＴ器、４３３量子化器、４３４可変長符号化器、４３５逆量子化器、４３６逆ＤＣＴ器、４３７加算器、４３８フレームメモリ、４３９動き補償器、４４０スイッチ、４４１バッファメモリ、４４２量子化制御器、４５０復号処理部、４５１バッファメモリ、４５２可変長復号器、４５３逆量子化器、４５７動き補償器、４５４逆ＤＣＴ器、４５５加算器、４５６フレームメモリ、４６１補間処理部、４６２フィルタ演算器、ＬＶ，ＬＨ手振れの警告表示線、ＡＶ，ＡＨ手振れの警告表示矢印、ＡＬ１〜ＡＬ６警告表示

Claims

入力された動画像信号系列を量子化ステップに従い量子化する量子化手段と、
上記量子化手段により量子化された動画像信号系列を可変長符号化する符号化手段と、
所定の単位ごとに上記量子化手段における量子化ステップを決定する量子化制御手段と、
単位時間毎に画質を評価する画質評価手段と、
上記画質評価手段による画質の評価結果を表示する表示手段と
を備えることを特徴とする画像符号化装置。
上記画質評価手段は、単位時間毎に量子化ステップの演算値やビットレートなどの画像圧縮に関連する数値から画質を評価する基準値を求め、画質の評価結果を上記表示手段に表示させることを特徴とする請求項１記載の画像符号化装置。
上記画質評価手段は、上記量子化制御手段により決定された上記量子化ステップの平均値から画質を求めることを特徴とする請求項１記載の画像符号化装置。
上記量子化制御手段は、目標データレートに基づいてフレーム毎の目標符号量を決定し、この目標符号量に従って上記量子化ステップを設定することを特徴とする請求項１記載の画像符号化装置。
１フレームの上記動画信号は複数のブロックから構成されており、上記量子化制御手段は１つのブロック毎に上記量子化ステップを設定することを特徴とする請求項１記載の画像符号化装置。
上記符号化手段から出力される動画像信号はＭＰＥＧ方式に従う信号であり、上記量子化制御手段は上記入力された動画像信号のうちＩピクチャー、Ｐピクチャー及びＢピクチャー毎に独立に上記量子化ステップを決定することを特徴とする請求項１の画像符号化装置。
同一フレーム内の信号のみを用いて符号化を行うイントラ符号化モードと、２つ以上の異なるフレームの信号を用いて符号化を行うインター符号化モードを有し、上記量子化制御手段は上記イントラ符号化モードにて符号化を行う画像信号と上記インター符号化モードにて符号化を行う画像信号とで独立に上記量子化ステップ値を決定することを特徴とする請求項１記載の画像符号化装置。
上記量子化制御手段は、所定期間内に上記符号化手段により出力された符号化画像信号の符号量に基づいて上記量子化ステップ値を決定することを特徴とする請求項１記載の画像符号化装置。
上記量子化制御手段は、上記入力された動画像信号の特徴に基づいて上記量子化ステップ値を決定することを特徴とする請求項１記載の画像符号化装置。
上記入力された動画像信号の動きに基づいて動きを検出する動き検出手段を備えることを特徴とする請求項９記載の画像符号化装置。
上記動画像信号のうち符号化すべきフレームの参照フレームより予測画像信号を生成すると共に上記予測画像信号に対する動きベクトルを検出する動き補償予測手段を備え、上記動き検出手段は上記動き補償予測手段により検出された動きベクトルに基づいて上記入力動画像信号の動きを検出することを特徴とする請求項１０記載の画像符号化装置。
上記入力動画像信号のうち符号化すべきフレームの画像信号と上記予測画像信号との差分を得る減算器を備え、上記量子化手段は上記減算器により得られた差分信号を量子化することを特徴とする請求項９記載の画像符号化装置。
上記画質評価手段は、上記符号化手段からの状態信号から演算をおこない、画質に応じて上記表示手段により警告表示を行うことを特徴とする請求項１記載の画像符号化装置。
上記入力された動画像信号を直交変換する直交変換手段を備え、上記量子化手段は上記直交変換手段から出力される上記画像信号の直交変換係数を量子化することを特徴とする請求項１記載の画像符号化装置。
動画像信号系列を入力する撮像手段と、
上記撮像手段から入力された動画像信号系列を量子化ステップに従い量子化する量子化手段と、
上記量子化手段により量子化された動画像信号系列を可変長符号化する符号化手段と、所定の単位ごとに上記量子化手段における量子化ステップを決定する量子化制御手段と、
単位時間毎に画質を評価する画質評価手段と、
上記画質評価手段による画質の評価結果を表示する表示手段と
を備えることを特徴とする撮像装置。
上記撮像手段から焦点情報、ズーム情報又は手振れ補正情報を得て、その焦点情報、ズーム情報又は手振れ補正情報を上記画質評価手段による画質の評価結果とともに上記表示手段により表示する表示制御手段を備えることを特徴とする請求項１５記載の撮像装置。
上記量子化制御手段は、上記撮像手段の動作状態信号に応じて上記量子化ステップ値を決定することを特徴とする請求項１６記載の撮像装置。
上記表示制御手段は、上記撮像手段の焦点状態信号に応じて上記表示手段により警告表示を行うことを特徴とする請求項１６記載の撮像装置。
上記量子化制御手段は、上記撮像手段によるズーム動作状態信号に応じて上記量子化ステップ値を決定することを特徴とする請求項１６記載の撮像装置。
上記表示制御手段は、上記撮像手段によるズーム動作状態信号に応じて上記表示手段により警告表示を行うことを特徴とする請求項１６記載の撮像装置。
上記量子化制御手段は、上記撮像手段による手ぶれ補正機能状態信号に応じて上記量子化ステップ値を決定することを特徴とする請求項１６記載の撮像装置。
上記表示制御手段は、上記撮像手段による手ぶれ補正機能状態信号に応じて上記表示手段により警告表示を行うことを特徴とする請求項１６記載の撮像装置。
入力された動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化し、
量子化された動画像信号系列を可変長符号化し、
単位時間毎に画質を評価し、
上記可変長符号化された動画像と上記単位時間毎の画質の評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換し、
上記ファイル構造を持つデータを記録媒体に記録することを特徴とする画像記録方法。
入力された動画像信号系列を量子化ステップに従い量子化する量子化手段と、
上記量子化手段により量子化された動画像信号系列を可変長符号化する符号化手段と、所定の単位ごとに上記量子化手段における量子化ステップを決定する量子化制御手段と、
単位時間毎に画質を評価する画質評価手段と、
上記符号化手段により可変長符号化された動画像と上記画質評価手段による画質の評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換する変換手段と、
上記ファイル構造を持つデータを記録媒体に記録する記録手段と
を備えることを特徴とする画像記録装置。
動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化された動画像信号系列を可変長符号化した動画像と単位時間毎の画質を評価した評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換した上記ファイル構造を持つデータを記録したことを特徴とする画像記録媒体。
動画像信号系列を所定の単位ごとに決定した量子化ステップに従い量子化された動画像信号系列を可変長符号化した動画像と単位時間毎の画質を評価した評価結果を示す画質情報からなるデータを格納するユニットと、上記ユニットを管理する管理情報とから、上記動画を同期して再生するためのファイル構造を持つように、データ構造を変換した上記ファイル構造を持つデータを記録した情報記録媒体よりファイルを読み出し、上記動画像と上記画質情報を格納するユニットに分けて復号するファイル復号手段と、
上記ファイル復号手段から供給される上記動画像と上記画質情報を復号して出力するデータ復号手段とを備えることを特徴とする画像再生装置。
上記データ復号手段により復号された動画像の符号化データを一時記憶する一時記憶手段と、
この一時記憶手段に一時保持された符号化データを可変長復号する可変長復号手段と、
この可変長復号手段で可変長復号された量子化データを離散コサイン変換係数に復号して画素空間データに変換する逆量子化手段と
を備えることを特徴とする請求項２６記載の画像再生装置。