JP2004180345A - 撮影画像記録装置 - Google Patents

Abstract

【課題】
ズーム中の符号化効率と画質の低下を防ぐ。
【解決手段】
走査装置５８のズーム操作中、システム制御回路５６は、スイッチ２２をａ接点に強制し、Ｉピクチャのみの符号化状態にする。これにより、撮影画像はフレーム（又はフィールド）内符号化されて、半導体メモリ３６に記録される。
【選択図】
図１

Description

本発明は、撮影画像記録装置に関する。

動画像を高能率に圧縮符号化する方式としてＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｅ Ｅｘｐｅｒｔｓ Ｇｒｕｐ）方式が広く知られている。ＭＰＥＧ方式は、離散コサイン変換（ＤＣＴ）、適応量子化及び可変長符号化を基本とし、フレーム（又はフィールド）相関に基づく動き補償付フレーム（又はフィールド）間予測符号化を適応的に組み合わせた符号化方式である。具体的には、各フレームを画面内で符号化するＩピクチャと、時間的に先行するＩピクチャからフレーム（又はフィールド）間動き補償予測符号化するＰピクチャと、先行するＩピクチャ（又はＰピクチャ）と後行するＩピクチャ（又はＰピクチャ）の両方からフレーム（又はフィールド）間動き補償予測符号化するＢピクチャとを適当な順序に配置し、画質を維持しつつ、高い圧縮率を達成する。

近年の画像符号化方式は、様々な符号化テクニックの集合体ともいえる構成になっている。様々な符号化技法の中には、撮影状況や被写体によって得手不得手がある。しかし、圧縮処理回路に入力された画像信号を分析して初めて、どの符号化技法を用いるのが適切かを判断できる。ＭＰＥＧ方式は、いわば、これらの複合的符号化技法の集大成的なものになっており、ＭＰＥＧ方式を用いたカメラ一体型記録再生装置も既に商品化されている。

ＭＰＥＧ方式は、画面間相関を利用するので、従来の民生用ディジタルＶＣＲ方式の圧縮符号化方式より圧縮率が高く、少ない記録容量でより長い時間記録でき、携帯型のカメラ装置に適している。

しかし、ズームイン（拡大）又はズームアウト（縮小）等のカメラ操作の期間は、予測符号化画像を生成するのに適さない。つまり、ズーム中では画面間の相関がとりにくいので、予測誤差により不要なデータが大量に発生してしまい、符号化効率が悪くなるだけでなく、画質も劣化する。

本発明は、このような問題点を解決し、画像に対して連続的な変化を与えた場合にも符号化効率及び画質が悪化しない撮影画像記録装置を提示することを目的とする。

本発明に係る撮影画像記録装置は、撮影レンズと撮影レンズを駆動し被写体像を拡大又は縮小するズーム駆動手段と、被写体像を電気信号に変換し画像データを出力する撮像手段と、ズームを指示する操作手段と、当該操作手段の操作に応じてズーム速度を判定するズーム速度判定手段と、当該ズーム速度判定手段の判定結果に応じて、フレーム内符号化処理のみ行うか、フレーム内及びフレーム間符号化処理を行うかを選択する選択手段と、選択された符号化処理で出力された画像信号にヘッダ情報を付加するフォーマット手段と、フォーマット化された画像データを記録媒体に記録する記録手段とを備えることを特徴とする。

本発明によれば、画像信号を連続的に変化させる場合（例えば、ズーム中における撮影画像の連続的な拡大又は縮小の過程）において、データ量の不要な増加を防ぐことができると共に、画質を良好に維持できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。１０は、複数レンズ群からなる撮影レンズ、１２は、撮影レンズ１０を変倍するズーム駆動装置、１４は、撮影レンズ１０による光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ出力をディジタル信号に変換するＡ／Ｄ変換器、１８はＡ／Ｄ変換器１６の出力データにガンマ補正及び色バランス補正等の周知のカメラ信号処理を施すカメラ信号処理回路である。

２２は、ブロック化回路２０からのブロック単位の画像データ（ａ接点）又は、予測画面との予測誤差（ｂ接点）を選択するスイッチ、２４は、スイッチ２２の出力を離散コサイン変換し、ＤＣＴ係数データを出力するＤＣＴ回路、２６はＤＣＴ回路２４から出力されるＤＣＴ係数データを、指定された量子化ステップ・サイズで量子化する量子化回路、２８は量子化回路２６の出力を可変長符号化する可変長符号化回路、３０は可変長符号化回路２８の出力をバッファリングするバッファ、３２は、バッファ３０のデータ量に応じて量子化回路３２の量子化ステップを制御するレート制御回路である。

３２は、バッファ３０からのデータを、半導体メモリ３６における記録形式に変換するフォーマット回路である。

３８は、量子化回路２６の出力を逆量子化する逆量子化回路、４０は逆量子化回路３８の出力を逆離散コサイン変換する逆ＤＣＴ回路である。４２は、画面間予測（インター）符号化モード（Ｐピクチャ（前方向予測）とＢピクチャ（双方向予測））では逆ＤＣＴ回路４０の出力に予測値を加算して出力し、画面内（イントラ）符号化モード（Ｉピクチャ）では逆ＤＣＴ回路４０の出力をそのまま出力する加算器である。４４は、加算器４２の出力と、ブロック化回路２０からの現在の画面の画像データとを比較し、所定サイズのブロック単位で動きを検出する動きベクトル検出回路、４６は、動きベクトル検出回路４４により検出された動きベクトルに従い、予測画面の画像データを画面内で移動させて動きを相殺する動き補償回路である。動き補償回路４４の出力が予測値として、減算器４８及びスイッチ５０を介して加算器４２に印加される。減算器４８は、ブロック化回路２０の出力と動き補償回路異４８の出力（予測値）との差、即ち予測誤差を算出して、スイッチ２２のｂ接点に供給する。

５２は、カメラ信号処理回路１８ディジタル出力をアナログ信号に変換するＤ／Ａ変換器、５４は、Ｄ／Ａ変換器５２の出力信号を映像表示する電子ビュー・ファインダである。これより、ユーザは、撮影中又は撮影準備中の映像を観察できる。

５６は全体を制御するシステム制御回路、５８はシステム制御回路５６にユーザが種々の指令を入力する操作キーからなる操作装置である。

本実施例の動作を説明する。撮像素子１４は、撮影レンズ１０による光学像を電気信号に変換する。撮像素子１４の出力信号はＡ／Ｄ変換器１６によりディジタル信号に変換され、カメラ信号処理回路１８により周知のカメラ信号処理を施される。

ブロック化回路２０は、カメラ信号処理回路１８から出力される画像データを８画素×８画素のブロックに分割し、その出力は、スイッチ２２のａ接点、減算器４８及び動きベクトル検出回路４４に印加される。減算器４８は、ブロック化回路２０からの画素データと、動き補償回路４６から出力される予測値との差分（予測誤差）を算出し、スイッチ２２のｂ接点に印加する。スイッチ２２は、Ｉピクチャ（画面内（イントラ）符号化モード）ではａ接点に接続し、Ｐピクチャ又はＢピクチャ（画面間（インター）符号化モード）ではｂ接点に接続する。従って、Ｉピクチャでは、ＤＣＴ回路２４にはブロック化回路２０の出力が印加され、Ｐピクチャ又はＢピクチャでは、減算器４８の出力（予測誤差）が印加される。

ＤＣＴ回路２４は、スイッチ２２からのデータをブロック単位で離散コサイン（ＤＣＴ）変換し、ＤＣＴ係数データを量子化回路２６に出力する。量子化回路２６は、レート制御回路３２により指定される量子化ステップ・サイズで、ＤＣＴ回路２４からのＤＣＴ係数データを量子化し、可変長符号化回路２８は、量子化回路２６の出力を可変長符号化する。

レート制御回路３２は、バッファ３０のデータ蓄積量を監視し、それがオーバーフローしないように量子化回路２６の量子化ステップ・サイズを制御する。

逆量子化回路３８は、量子化回路２６で選択されたのと同じ量子化ステップ・サイズで、量子化回路２６の出力を逆量子化し、ＤＣＴ係数の代表値を出力する。逆ＤＣＴ回路４０は、逆量子化回路３８の出力を逆離散コサイン変換する。スイッチ５０は画面内符号化モード（Ｉピクチャ）では開放され、画面間符号化モード（Ｐピクチャ又はＢピクチャ）では閉成される。従って、加算器４２は、画面間符号化モードでは、逆ＤＣＴ回路４０の出力に予測値（動き補償回路４６の出力）を加算し、画面内符号化モードでは逆ＤＣＴ回路４０の出力をそのまま出力する。

動きベクトル検出回路４４は、ブロック化回路２０からの現フレームの画素データと加算器４２からの予測フレームの画素データとを比較し、画像の動きを検出する。動き補償回路４６は、動きベクトル検出回路４２で検出された動きベクトルに従い、その動きを相殺するように加算器４２からの予測フレームの画素データを画面内で移動する。動き補償回路４６の出力は、予測値として減算器４８及びスイッチ５０を介して加算器４２に印加される。

可変長符号化回路２８の出力はバッファ３０によりレート調整されてフォーマット回路３４に印加される。フォーマット回路３４はバッファ３０からのデータを半導体メモリ３６の記録形式に整えて半導体メモリ３６に印加する。具体的には、フォーマット回路３４は、ＭＰＥＧ１のデータ構造におけるスライスヘッダ及びシーケンスへッダ等の各種へッダを符号化データに付加して、ＭＰＥＧ１方式に対応したＭＰＥＧ画像データを生成し、半導体メモリ３６に書き込む。

また、カメラ信号処理回路１８の出力は、Ｄ／Ａ変換器５２によってアナログ信号に変換され、電子ビュー・ファインダ５４に印加される。これにより、撮影準備中の画像又は記録する画像をモニタできる。

図２は、このように半導体メモリ３６に記録された画像を再生する再生系の概略構成ブロック図を示す。６０は半導体メモリ３６から読み出された符号データの入力端子、６２は入力バッファ、６４は可変長復号化回路、６６は逆量子化回路、６８は逆ＤＣＴ回路、７０は逆ＤＣＴ回路６８の出力に予測値を加算する加算器、７２は符号化方式の識別情報に基づき、Ｉピクチャでは逆ＤＣＴ回路６８の出力（ａ接点）を選択し、Ｐピクチャ又はＢピクチャでは加算器７０の出力（ｂ接点）を選択するスイッチ、７４は、スイッチ７２の出力から動き補償する予測値を出力する動き補償回路、７６はスイッチ７２の出力をバッファリングする出力バッファ、７８は出力バッファ７６の出力をアナログ信号に変換するＤ／Ａ変換器、８０はＤ／Ａ変換器７８の出力を映像表示するモニタ、８２は出力バッファ７６の出力データを外部にディジタル出力するディジタル・インターフェース（例えば、ＩＥＥＥ１３９４）、８４はディジタル出力端子である。

入力端子６０に入力した符号データは入力バッファ６４を介して可変長復号化回路６４に印加され、可変長復号化される。可変長復号化回路６４の出力は逆量子化回路６６により逆量子化され、逆ＤＣＴ回路６８により逆ＤＣＴ変換される。
Ｉピクチャの逆ＤＣＴ回路６８の出力はそのまま、スイッチ７２を介して出力バッファ７６と動き補償回路７４に印加される。Ｐピクチャ又はＢピクチャの逆ＤＣＴ回路６８の出力は予測フレームとの差分信号になっており、加算器７０で予測値を加算された後、スイッチ７２を介して出力バッファ７６と動き補償回路７４に印加される。動き補償回路７４は、スイッチ７２からのデータ（復元された画像データ）から、加算器７０で加算すべき予測値を算出し、加算器７０に供給する。

出力バッファ７６は、圧縮符号化のためのブロック順の画像データをラスタ順に変換して、出力する。出力バッファ７６の出力はＤ／Ａ変換器７８とディジタル・インターフェース８２に印加される。Ｄ／Ａ変換器７８は出力バッファ７６の出力をアナログ信号に変換して液晶表示装置等のモニタ８０に印加する。これにより、再生画像が表示される。また、ディジタル・インターフェース８２がバッファ７６からのデータを所定の形式でディジタル出力端子８４に出力する。

このようなカメラ一体型記録再生装置において、被写体像を光学的にズームイン／アウト（拡大／縮小）するとき、操作者が、画像をモニタしながら走査装置５８のズームレバーを操作する。このズーム操作に応じて、システム制御回路５６は、ズーム駆動装置１２を介して撮影レンズ１０のズーミング用レンズを光軸方向に移動させ、所望の画角に変更させる。システム制御回路５６はまた、ズーム期間中はスイッチ２２を強制的にａ接点に接続する。これにより、ズーム期間中は、全てＩピクチャとなり、ズーム中における画角の連続的な拡大又は縮小の過程で画面間の相関がとりにくくなることにとって生じる、不要なデータ量の増加を防ぐことができる。また、記録される画像がＩピクチャのみとなるので、画質も良くなる。

図３を参照して、ズーム操作中の符号化モード制御を詳細に説明する。本実施例のカメラ一体型記録再生装置を撮影モードにセットして、撮影を開始する。先ず、符号化に用いるパラメータを初期化する（Ｓ１）。この段階では、Ｉピクチャ、Ｐピクチャ及びＢピクチャの何れも使用可能である。ユーザの記録開始の指示に従い、撮影画像の記録、即ち、撮影画像の符号化処理を開始する（Ｓ２）。

ズーム操作の有無を常時、監視し（Ｓ３）、ズーム操作（ズームイン又はズームアウト）があると、Ｉピクチャのみの符号化モードに固定して（Ｓ４）、撮影画像を符号化する（Ｓ５）。ズーム操作がなければ、通常通り、Ｉピクチャ、Ｐピクチャ及びＢピクチャを使用する符号化モードで撮影画像を符号化する（Ｓ６）。

撮影（記録）終了の操作があるまで、Ｓ１以降を繰り返し（Ｓ６）、撮影終了の操作により撮影を終了する。

このように、本実施例では、ズーム動作に対してＩピクチャのみの符号化処理に限定するので、ズーム中に符号化データ量が極端に増大するのを防止でき、結果的に画像の劣化を抑制できる。

撮影光学系の高倍率化に伴い、本実施例は、ズームを極端に速く制御できる場合に特に適している。光学ズーム以外に電子ズームに対しても、本発明を適用できることはいうまでもない。

半導体メモリを記録媒体とする実施例を説明したが、磁気テープや磁気ディスク、光磁気ディスクを記録媒体としてもよい。

画像圧縮方式は、ＭＰＥＧ１方式以外にも、ＭＰＥＧ２方式、更には、画面間符号化と画面内符号化を併用するその他の符号化方式であってもよい。

近年、ズーム倍率が高くなってきており、広角から望遠の各端間の移動時間への要求はほぼ不変のままなので、結果的にズーム速度が高速化してきている。また、微妙な画角のトリミングも要求されるので、低速駆動も可能にしなければならない。上記実施例では、ズーム動作中はズーム速度に関わらず、Ｉピクチャのみとなってしまうので、ズーム速度が低速の場合には符号化効率が低下してしまう。このような問題に対しては、ズーム速度に応じて、符号化モードを選択するようにすればよい。図４は、その変更実施例の符号化モード選択のフローチャートを示す。

先ず、符号化に用いるパラメータを初期化する（Ｓ１１）。この段階では、Ｉピクチャ、Ｐピクチャ及びＢピクチャの何れも使用可能である。ユーザの記録開始の指示に従い、撮影画像の記録、即ち、撮影画像の符号化処理を開始する（Ｓ１２）。

ズーム操作の有無を常時、監視し（Ｓ１３）、ズーム操作（ズームイン又はズームアウト）があると、ズーム速度を調べる（Ｓ１４）。そして、ズーム速度を高速であれば、Ｉピクチャのみの符号化モードに固定して（Ｓ１４）、撮影画像を符号化し（Ｓ１７）、ズーム速度が中速であれば、ＩピクチャとＰピクチャを使用する符号化モードに設定して（Ｓ１６）、撮影画像を符号化し（Ｓ１７）、ズーム速度が低速であるかズーム操作が無い場合には（Ｓ１３，Ｓ１４）、通常通り、Ｉピクチャ、Ｐピクチャ及びＢピクチャを使用する符号化モードで撮影画像を符号化する（Ｓ１７）。

撮影（記録）終了の操作があるまで、Ｓ１１以降を繰り返し（Ｓ１８）、撮影終了の操作により撮影を終了する。

従来では、画面間の動きベクトル検出結果により画面間相関の有無を判断していたが、ズーム撮影のように画角が変化しながら画面全体が変化するような場合には、単純なブロックマッチングでは、画面間相関を適切に判断するのは困難である。本実施例のように、カメラ系からの撮影条件情報に応じて画像圧縮条件を制御することで、効率的で高画質の画像圧縮が可能になる。

本発明の一実施例の概略構成ブロック図である。 本実施例の再生系の概略構成ブロック図である。 本実施例の符号化モード選択のフローチャートである。 符号化モード選択の変更フローチャートである。

符号の説明

１０：撮影レンズ
１２：ズーム駆動装置
１４：撮像素子
１６：Ａ／Ｄ変換器
１８：カメラ信号処理回路
２０：ブロック化回路
２２：スイッチ
２４：ＤＣＴ回路
２６：量子化回路
２８：可変長符号化回路
３０：バッファ
３２：レート制御回路
３４：フォーマット回路
３６：半導体メモリ
３８：逆量子化回路
４０：逆ＤＣＴ回路
４２：加算器
４４：動きベクトル検出回路
４６：動き補償回路
４８：減算器
５０：スイッチ
５２：Ｄ／Ａ変換器
５４：電子ビュー・ファインダ
５６：システム制御回路
５８：操作装置
６０：符号データ入力端子
６２：入力バッファ
６４：可変長復号化回路
６６：逆量子化回路
６８：逆ＤＣＴ回路
７０：加算器
７２：スイッチ
７４：動き補償回路
７６：出力バッファ
７８：Ｄ／Ａ変換器
８０：モニタ
８２：ディジタル・インターフェース
８４：ディジタル出力端子

Claims (2)

1. 撮影レンズと
   撮影レンズを駆動し被写体像を拡大又は縮小するズーム駆動手段と、
   被写体像を電気信号に変換し画像データを出力する撮像手段と、
   ズームを指示する操作手段と、
   当該操作手段の操作に応じてズーム速度を判定するズーム速度判定手段と、
   当該ズーム速度判定手段の判定結果に応じて、フレーム内符号化処理のみ行うか、フレーム内及びフレーム間符号化処理を行うかを選択する選択手段と、
   選択された符号化処理で出力された画像信号にヘッダ情報を付加するフォーマット手段と、
   フォーマット化された画像データを記録媒体に記録する記録手段
   とを備えることを特徴とする撮影画像記録装置。
2. 前記フレーム間符号化処理は、Ｐピクチャを使用することを特徴とする請求項１に記載の撮影画像記録装置。

Images