JP3140487B2 - 画像記録再生装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は静止画および動画をデー
タ圧縮して記録し、再生表示する画像記録再生装置に関
する。

【０００２】

【従来の技術】パーソナルコンピューター上で、テキス
トデータのほか画像信号、音声信号といった多種の情報
を自由に扱える、いわゆるマルチメディアが使用される
ようになっている。このような装置では、画像としては
静止画像および動画像の双方が扱えることが望ましい。
また、画像をデジタルデータとして記憶する場合、その
データ量は膨大なものとなる。そこで、多くの画像情報
を限られた記憶容量の範囲で記録しようとするには、画
像信号に対し何らかの圧縮を行なう必要がある。高能率
な画像データの圧縮方式として、直交変換と可変長符号
化を組み合わせた符号化方法が広く知られている。たと
えば、静止画圧縮方式の国際標準として検討されている
方式（ＪＰＥＧ方式）の概略は次のようなものである。
まず画像データを所定の大きさのブロック（８×８の画
素よりなるブロック）に分割し、分割されたブロック毎
に直交変換として２次元のＤＣＴ（離散コサイン変換）
を行なう。次に各周波数成分に応じた線形量子化を行な
い、この量子化された値に対し可変長符号化としてハフ
マン符号化を行なう。この時、直流成分に関しては近傍
ブロックの直流成分との差分値をハフマン符号化する。
交流成分はジグザグスキャンと呼ばれる低い周波数成分
から高い周波数成分へのスキャンを行ない無効（値が
０）の成分の連続する個数とそれに続く有効な成分の値
との組に対してハフマン符号化を行なう。

【０００３】また動画圧縮方式としては、ＭＰＥＧ方式
が国際標準として検討されている。即ちこの方式では、
フレーム内圧縮（静止画としての圧縮）とフレーム間圧
縮（連続するフレーム間の予測を用いた圧縮）とを組み
合わせている。フレーム内圧縮では基本的にはさきに述
べたＪＰＥＧ方式と同様に、直交変換と可変長符号化と
を組み合わせて符号化する。このような静止画としての
圧縮をおこなうフレームをコアフレームと称し、連続す
るフレーム間に適当な間隔で配置する。このようなフレ
ームをＩピクチャーと称する。

【０００４】一方、フレーム間圧縮では、近くの参照フ
レームから予測値を算出し、符号化しようとするフレー
ムとその予測値との差を直交変換と可変長符号化とを組
み合わせて符号化する。近くのフレームから予測値を求
めるには、画面の動きを検出して予測することがおこな
われる。即ち、参照フレームと符号化フレームとを、所
定の大きさのブロック毎に最も似かよう位置関係を求
め、その位置ずれを動きベクトルとする。動きベクトル
も符号の一部として符号化される。

【０００５】参照フレームとして過去のフレームだけで
なく、未来のフレームを用いる方式がある。つまり動き
補償フレーム予測として過去のフレームによるフォワー
ド予測、未来のフレームによるバックワード予測、さら
に両者の平均値予測の三種類の予測方法が考えられる。
ＭＰＥＧ方式では、フォワード予測によるフレーム（Ｐ
ピクチャー）と、フォワード予測、バックワード予測、
両者の平均値予測の三つの予測値の中から最適の予測を
選択して用いるフレーム（Ｂピクチャー）とを用いてい
る。

【０００６】

【発明が解決しようとする課題】前述したように、マル
チメディアに用いられる画像記録再生装置においては、
高能率で画像データの圧縮が行なえることが望まれる。
このような要求を満たす圧縮方式として上述のＪＰＥＧ
方式とＭＰＥＧ方式がある。しかしながら、この静止画
像に対する符号化方式と動画像に対する符号化方式とは
その基本部分は共通するものの、両者の変換を行うこと
は考慮されていない。このため、たとえば動画として符
号化した画像は動画としてしか再生できず、動画中のあ
るコマを静止画として抜き取り、編集・記録・再生する
ようなことは不可能であった。これは、本来多種の情報
を自由に扱えるというマルチメディアの利点を損なうも
のである。

【０００７】そこで、本発明の目的とするところは、こ
のような欠点を除き、符号化された動画像を静止画像デ
ータとして変換でき、編集・再生や共通の媒体への記録
などを行うことができる画像記録再生装置を提供するこ
とにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る画像記録再生装置は、動画像信
号を入力する動画像入力手段と、入力された動画像を高
能率符号化によりデータ圧縮するデータ圧縮手段と、符
号化された動画像信号中の任意のコアフレームのフォー
マットを、静止画信号の符号化において規定されるフォ
ーマットに変換し、符号化された静止画信号として出力
する変換手段と、符号化された動画像信号と符号化され
た静止画信号とを記録する記録手段とを備え、動画像信
号のコアフレームを符号化する際に、静止画信号の符号
化と同じ方式により符号化する。また、第２の発明は、
第１の発明に係る画像記録再生装置において、さらに、
符号化された動画像信号を復号する伸張手段と、復号さ
れた動画像から静止画とする画像を選択する手段とを備
え、上記変換手段は、選択された符号化された動画像信
号に対応するコアフレームのフォーマットを、静止画信
号の符号化において規定されるフォーマットに変換す
る。

【０００９】

【作用】すなわち、本発明においては、動画像信号のコ
アフレ−ムを符号化する際に、静止画の符号化と同じ方
式により符号化して、フォ−マット変換により静止画デ
−タを得るものである。

【００１０】

【実施例】以上の原理を用いた本発明の実施例を説明す
る。図１に本発明による画像記録再生装置を備えたマル
チメディアシステムの構成図を示す。１は画像データが
記録されるメモリで、磁気ディスク記録装置により構成
される。２は画像データを圧縮する符号化回路、３は圧
縮された動画像データを伸張する復号化回路、４はフォ
ーマット変換回路、５は画像を表示するモニタである。

【００１１】符号化回路２は図２に示すように、動画像
信号が入力される入力端子２０、アナログ信号をデジタ
ル信号に変換するＡ／Ｄ変換器２１、デジタル化された
信号を記憶するフレームメモリ２２、符号量予測回路２
３、減算回路２４、ＤＣＴ量子化回路２５、ハフマン符
号化回路２６、フレーム間予測回路２７、適応選択回路
２８、逆量子化ＩＤＣＴ回路２９、バッファメモリ３０
とを備える。符号量予測回路２３は符号化されるフレー
ムの発生符号量を算出し、これをもとに量子化幅を設定
するものである。直交変換（ＤＣＴ）量子化回路２５
は、フレームメモリ２２から出力されるブロック化処理
された画像データを、各ブロックごとに直交変換として
ＤＣＴを行ない、さらに各周波数成分ごとに予め設定さ
れた各周波数成分毎の量子化幅を用いて線形量子化を行
なう。ハフマン符号化回路２６は、量子化された変換係
数をハフマン符号化するものである。フレーム間予測回
路２７は参照フレームと符号化フレームとの間の動きベ
クトルを求める。適応選択回路２８は符号化するフレー
ムの種類（Ｉ、Ｐ、Ｂピクチャー）に応じて参照フレー
ムを選択する。逆量子化ＩＤＣＴ回路２９は量子化され
たＤＣＴ係数を代表値に変換し、さらに逆ＤＣＴ変換を
行って画像データを復元する。バッファメモリ３０はハ
フマン符号化されたデータを蓄積する。

【００１２】以上のように構成された画像記録再生装置
の動作について説明する。たとえばテレビカメラから動
画の映像信号が入力端子２０に入力され、Ａ／Ｄ変換器
２１によりデジタル信号に変換されてフレームメモリ２
２に記憶される。記憶された画像データはフレームメモ
リ２２から８×８のサイズにブロック化処理が行なわれ
て減算回路２４に入力される。コアフレームについては
ここで０が減算され（すなわち原信号のまま）ＤＣＴ量
子化回路２５に出力される。ＤＣＴ量子化回路２５で
は、各ブロックごとにＤＣＴが行なわれた後、各周波数
成分毎の量子化幅を用いて線形量子化が行なわれる。こ
こで量子化幅としては、バッファメモリ３０に蓄積され
るデータ量情報に応じて、データの過不足が生じないよ
うに、符号量予測回路２３による予測値が用いられる。
符号量予測回路２３ではフレームメモリ２２からのデー
タに対しアクティビティ（高周波成分量を示すパラメ
タ）を求める。アクティビティは符号量と相関があるた
め、この値からデータを過不足なく符号化するための最
適な量子化幅が設定され、使用される。

【００１３】量子化された変換係数は、ハフマン符号化
回路２６によりハフマン符号化される。この時、直流成
分ＤＣに関しては、近傍ブロックの直流成分との差分値
をそのビット長に応じてグループ化し、そのグループを
示すハフマン符号化と差分値とを合わせて符号化データ
とする。交流成分ＡＣはジグザグスキャンと呼ばれる低
い周波数成分から高い周波数成分へのスキャンを行な
い、値が０の成分の連続する個数（零のラン数）と、そ
れに続く値が０でない成分の値のグループ番号との組に
対しハフマン符号化が行なわれ、得られた符号語と付加
ビットを合わせて符号化データとする。

【００１４】上記の処理が順次各ブロック毎に、１フレ
ーム分のブロックの処理が終了するまで行なわれる。こ
こでコアフレームの圧縮時には、１フレーム分の全ブロ
ックに対し同一の量子化幅を保って符号化する。

【００１５】次に、符号化フレームがＰピクチャーの場
合には、フレームメモリ２２からフレーム間予測回路２
７に符号化フレームデータが入力され、参照フレームと
の間の動きベクトルが求められる。参照フレームとして
はその前のＩピクチャーが用いられる。すなわちＤＣＴ
の後に線形量子化されたデータが逆量子化ＩＤＣＴ回路
２９により代表値に変換され、さらに逆ＤＣＴ変換によ
り復元された画像データが適応選択回路２８からフレー
ム間予測回路２７に入力される。フレーム間予測回路２
７では符号化フレームであるＰピクチャーと参照フレー
ムであるＩピクチャーとの間で、所定の大きさのブロッ
ク毎に相関値が最大となる位置関係を求め、その位置ず
れを動きベクトルとして求め、動きベクトルを符号化す
る。その後、フレーム間予測回路２７は参照フレームで
あるＩピクチャーを求められた動きベクトルにより動き
補償し、減算回路２４に出力する。減算回路２４で符号
化フレームであるＰピクチャーと参照フレームであるＩ
ピクチャーとが減算され、ＤＣＴ量子化回路２５に出力
される。

【００１６】ＤＣＴ量子化回路２５では、各ブロックご
とにＤＣＴが行なわれた後、各周波数成分毎の量子化幅
を用いて線形量子化が行なわれる。量子化された変換係
数は、ハフマン符号化回路２６によりＤＣ、ＡＣの区別
なくハフマン符号化する。

【００１７】また、符号化フレームがＢピクチャーの場
合には、Ｐピクチャーの場合と同様にフレームメモリ２
２からフレーム間予測回路２７に画像データが入力さ
れ、参照フレームとの間の動きベクトルが求められる。
参照フレームとしてはその前後のＩピクチャーまたはＰ
ピクチャーが用いられる。該当する参照フレームの復元
画像データが適応選択回路２８からフレーム間予測回路
２７に入力される。フレーム間予測回路２７では符号化
フレームであるＢピクチャーと参照フレームであるＩピ
クチャーまたはＰピクチャーとから、過去のフレーム、
未来のフレーム、さらに両者の平均値の三種類の動きベ
クトルを求め、評価値により最適の予測を選択する。選
択された参照フレームが求められた最適予測の動きベク
トルにより動き補償され、減算回路２４に出力される。
減算回路２４で符号化フレームであるＢピクチャーと参
照フレームとが減算され、ＤＣＴ量子化回路２５に出力
される。ＤＣＴ量子化回路２５では、各ブロックごとに
ＤＣＴが行なわれた後、各周波数成分毎の量子化幅を用
いて線形量子化が行なわれる。量子化された変換係数
は、ハフマン符号化回路２６によりコアフレームの時と
同様にハフマン符号化される。

【００１８】以上の処理が順次おこなわれ、入力された
動画信号が符号化されるとともに符号化されたデータに
ＭＰＥＧ方式で規定されたデータヘッダが付加される。
すなわちＭＰＥＧ方式でのファイルは、図３（Ａ）に示
すような構成となっているが、ここでビデオシーケンス
には、画素数や量子化マトリックスなどを含む画像のフ
ォーマットに関するヘッダが付加される。グループオブ
ピクチャには編集情報の、ピクチャには再生順序と符号
化タイプの、スライスには量子化のスケールファクタ
の、マクロブロックには位置と符号化タイプのヘッダが
それぞれ付加される。ヘッダが付加された符号データは
バッファメモリ３０からメモリ１（図２）に転送、記録
される。

【００１９】続いて、圧縮された動画像データ中のある
コマを静止画として利用する場合の動作を説明する。メ
モリ１に記録されている圧縮された動画像データが復号
化回路３に送られ、次の動作により再生される。すなわ
ち、図４に示される符号化回路３の回路構成において、
復号化回路内のバッファメモリ３１に一時蓄積されたデ
ータはハフマン復号化回路３２に送られ、直流成分と交
流成分が復号される。復号されたデータは逆量子化ＩＤ
ＣＴ回路３３において量子化されたＤＣＴ係数が代表値
に変換され、さらに逆ＤＣＴ変換される。復元されたデ
ータは、コアフレームの場合にはそのままの値が適応選
択回路３４に出力される。またＰピクチャあるいはＢピ
クチャの場合には加算回路３５において参照フレームデ
ータと加算される。ここで参照フレームとしてはすでに
復号されたＩピクチャまたはＰピクチャが適応選択回路
３４から出力され、動き補償回路３６において動き補償
されて用いられる。

【００２０】以上のようにして復号された画像はモニタ
５に再現されるが、この中で静止画として抜き出したい
画像があった場合には、それに対応するコアフレームが
選択される。このコアフレームの符号化データがバッフ
ァメモリ３１からフォーマット変換回路４に出力され
る。フォーマット変換回路４ではハフマン符号化されて
いるコアフレームデータをＪＰＥＧ規格に対応させる。
すなわちＪＰＥＧファイルには図３（Ｂ）に示すよう
に、画像データの初めを示すＳＯＩコード、符号化タイ
プや画素数情報を含むフレームヘッダ、量子化マトリッ
クスを定義するＤＱＴコード、ハフマン符号表を定義す
るＤＨＴコード、色成分の対応を示すスキャンヘッダ、
画像データの終わりを示すＥＯＩコード等が必要なの
で、これらのヘッダが作成されメモリ１に出力される。

【００２１】一方、符号化データについては、量子化さ
れた変換係数がハフマン符号で表される。量子化された
変換係数は、ハフマン符号化回路２６によりハフマン符
号化される。この時、直流成分ＤＣに関しては、近傍ブ
ロックの直流成分との差分値をそのビット長に応じてグ
ループ化し、そのグループを示すハフマン符号化と差分
値とを合わせて符号化データとする。交流成分ＡＣはジ
グザグスキャンと呼ばれる低い周波数成分から高い周波
数成分へのスキャンを行ない、値が０の成分の連続する
個数（零のラン数）と、それに続く値が０でない成分の
値のグループ番号との組に対しハフマン符号化が行なわ
れ、得られた符号語と付加ビットを合わせて符号化デー
タとする。このようにＪＰＥＧのデータ構造はＭＰＥＧ
のコアフレームと同一の表現なので、容易に変換でき
る。

【００２２】このようにしてメモリ１に記録された静止
画圧縮データは、静止画圧縮用の規格に従っており、通
常の静止画から圧縮されたデータと全く同じように編集
や再生を行うことができる。なお、先の説明において符
号量予測回路２３ではアクティビティを用いて最適な量
子化幅を設定するものとしたが、これはアクティビティ
に限らず、たとえば実際の符号量を求めてこれにより最
適な量子化幅を設定するようにしてもよい。

【００２３】次に、本発明の第２の実施例について説明
する。図５は第２の実施例の画像記録再生装置の構成図
を示す。本例では、画像データを記録するメモリとし
て、磁気ディスク記録装置からなるメモリ１のほか、半
導体メモリを内蔵したメモリカード４０が付加されてお
り、メモリカード４０は画像記録再生装置の本体に設け
られたソケットに着脱自在にされている。このメモリカ
ード４０は、静止画を撮像する電子カメラの記録媒体と
して使用されている。２は画像データを圧縮する符号化
回路、３は圧縮された動画像データを伸張する復号化回
路、４はフォーマット変換回路、５は画像を表示するモ
ニタである。６は静止画像データを伸張する復号化回路
である。符号化回路や復号化回路の内部構成は第１の実
施例と同様なので説明を省略する。

【００２４】図５の画像記録再生装置の動作について図
２を参照して説明する。動画の映像信号が入力され、Ａ
／Ｄ変換器２１によりデジタル信号に変換されてフレー
ムメモリ２２に記憶される。記憶された画像データはフ
レームメモリ２２からブロック化処理が行なわれて減算
回路２４に入力される。コアフレームについては原信号
のままＤＣＴ量子化回路２５に出力される。ＤＣＴ量子
化回路２５では、各ブロックごとにＤＣＴが行なわれた
後、各周波数成分毎の量子化幅を用いて線形量子化が行
なわれる。ここで量子化幅としては、バッファメモリ３
０に蓄積されているデータ量情報に応じて、データの過
不足が生じないような量子化幅が設定され使用される。
量子化された変換係数は、ハフマン符号化回路２６によ
りハフマン符号化される。上記の処理が順次各ブロック
毎に、１フレーム分のブロックの処理が終了するまで行
なわれる。ここでコアフレームの圧縮時には、１フレー
ム分の全ブロックに対し同一の量子化幅で符号化する。

【００２５】次に、符号化フレームがＰピクチャーの場
合には、フレームメモリ２２からフレーム間予測回路２
７に符号化フレームデータが入力され、参照フレームと
の間の動きベクトルが求められる。参照フレームとして
はその前のＩピクチャーが用いられる。フレーム間予測
回路２７は参照フレームであるＩピクチャーを求められ
た動きベクトルにより動き補償し、減算回路２４に出力
する。減算回路２４で符号化フレームであるＰピクチャ
ーと参照フレームであるＩピクチャーとが減算され、Ｄ
ＣＴ量子化回路２５に出力される。ＤＣＴ量子化回路２
５では、各ブロックごとにＤＣＴが行なわれた後、各周
波数成分毎の量子化幅を用いて線形量子化が行なわれ
る。量子化された変換係数は、ハフマン符号化回路２６
によりコアフレームの時と同様にハフマン符号化され
る。

【００２６】また、符号化フレームがＢピクチャーの場
合には、Ｐピクチャーの場合と同様にフレームメモリ２
２からフレーム間予測回路２７に画像データが入力さ
れ、参照フレームとの間の動きベクトルが求められる。
参照フレームとしてはその前後のＩピクチャーまたはＰ
ピクチャーが用いられる。選択された参照フレームが求
められた最適予測の動きベクトルにより動き補償され、
減算回路２４に出力される。減算回路２４で符号化フレ
ームであるＢピクチャーと参照フレームとが減算され、
ＤＣＴ量子化回路２５に出力される。ＤＣＴ量子化回路
２５では、各ブロックごとにＤＣＴが行なわれた後、各
周波数成分毎の量子化幅を用いて線形量子化が行なわれ
る。量子化された変換係数は、ハフマン符号化回路２６
によりコアフレームの時と同様にハフマン符号化され
る。

【００２７】以上の処理が順次おこなわれ、入力された
動画信号が符号化される。符号化されたデータはＭＰＥ
Ｇ方式で規定されたデータヘッダが付加され、バッファ
メモリ３０からメモリ１（図５）に記録される。またこ
こで、圧縮された動画データをメモリカード４０に転
送、記録してもよい。メモリカード４０の記録容量は数
メガバイトであり、数秒間の動画像を記録することがで
きる。メモリカード４０への動画符号化データの記録に
おいて、データ構成の単位であるグループオブピクチャ
毎に記録するようにすれば、記録や編集、再生等を効率
的に行うことができる。

【００２８】一方、圧縮された動画像データ中のあるコ
マを静止画として利用する場合の動作を説明する。メモ
リ１に記録されている圧縮された動画像データが復号化
回路３内のバッファメモリに一時蓄積される。復号化回
路３により復号された画像はモニタ５に再現され、この
中で静止画として抜きだされた画像は、それに対応する
コアフレームが選択される。このコアフレームの符号化
データがバッファメモリからフォーマット変換回路４に
出力される。フォーマット変換回路４ではハフマン符号
化されているコアフレームデータをＪＰＥＧ規格に対応
させ、さらに量子化幅情報等を含むデータヘッダを作成
してバッファメモリ３０に出力する。得られた静止画符
号データは、所定のメモリカードに転送記録される。

【００２９】本実施例においては、記録媒体として、通
常電子カメラの記録媒体として使用されているメモリカ
ードを使用している。このため、メモリカードを挿入
し、復号化回路６により復号することにより、電子カメ
ラで撮像した画像を、モニタ５上で簡単に再生すること
ができる。また動画像中のコマを静止画に変換して静止
画用のメモリカードに記録できる。さらに圧縮した動画
像をメモリカードに記録することもでき、マルチメディ
アの特徴をより活かすことができる。

【００３０】以上より明らかなように、本発明において
は、動画像信号のコアフレームを符号化する際に、静止
画の符号化と同じ方式により符号化することで、フォー
マット変換により静止画データを得る。たとえば動画像
をＭＰＥＧ方式により圧縮する場合、通常のＭＰＥＧ方
式ではフレーム内で量子化幅を一定に保つことは考慮さ
れていないが、本発明ではコアフレームの圧縮時に量子
化幅を変えないで符号化することでＪＰＥＧ方式に対応
した静止画データが得られる。

【００３１】

【発明の効果】以上説明したように、本発明の画像記録
再生装置では、動画像の中のコマを、通常の静止画から
圧縮されたデータと全く同じように記録、編集や再生を
行うことができる。本発明の方式によればデータを符号
化された状態で動画から静止画への変換を行うため、一
旦動画を復号化した後に静止画として再度圧縮する場合
のように圧縮の繰り返しによる画質劣化が生じない。

【図面の簡単な説明】

【図１】本発明による画像記録再生装置の構成図。

【図２】図２は本発明の画像記録再生装置の符号化回路
の構成図。

【図３】図３（Ａ）はＭＰＥＧ方式でのデータファイル
構成を示す図であり、図３（Ｂ）はＪＰＥＧ方式でのデ
ータファイル構成を示す図。

【図４】図４は本発明の画像記録再生装置の復号化回路
の構成図。

【図５】図５は本発明の第２実施例の画像記録再生装置
の構成図。

【符号の説明】

１…メモリ、２…符号化回路、３…復号化、４…フォ−
マット変換回路、５…モニタ、６…復号化回路。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 動画像信号を入力する動画像入力手段
   と、 入力された動画像を高能率符号化によりデータ圧縮する
   データ圧縮手段と、 符号化された動画像信号中の任意のコアフレームのフォ
   ーマットを、静止画信号の符号化において規定されるフ
   ォーマットに変換し、符号化された静止画信号として出
   力する変換手段と、 符号化された動画像信号と符号化された静止画信号とを
   記録する記録手段とを備え、 動画像信号のコアフレームを符号化する際に、静止画信
   号の符号化と同じ方式により符号化することを特徴とす
   る画像記録再生装置。
2. 【請求項２】 さらに、符号化された動画像信号を復号
   する伸張手段と、 復号された動画像から静止画とする画像を選択する手段
   とを備え、 上記変換手段は、選択された符号化された動画像信号に
   対応するコアフレームのフォーマットを、静止画信号の
   符号化において規定されるフォーマットに変換すること
   を特徴とする請求項１記載の画像記録再生装置。