JP2007116633A - 画像記録装置 - Google Patents

Abstract

【課題】画像符号化の破綻を確実に防止することが可能であるとともに、画質を向上させることができる画像記録装置を提供するものである。
【解決手段】撮像部１から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、手ぶれ検出部１３で算出された手ぶれ量および動画像符号化部２０における符号量飽和度に基づいて、カメラ信号処理部２および動画像符号化部２０おける画像信号の符号量を増減させるよう制御する、カメラ制御部３と符号化制御部９と評価値制御部１１とを備えたものである。
【選択図】図１

Description

本発明は、撮像素子により取り込んだ動画像もしくは動画像と静止画像を同時に符号化及び記録する、画像記録装置に関するものである。

ビデオカメラやデジタルカメラに代表される画像（静止画、動画）記録装置は、広範囲に普及している。この画像記録装置において、ユーザーの利便さを考慮し、オートフォーカス機能、オートアイリス機能、オートホワイトバランス機能、手ぶれ補正機能を具備した製品が多数存在する。

その中でも手ぶれ補正機能は、手ぶれ検出手法と手ぶれ補正手法の技術から構成されている。手ぶれ検出手法は、例えば角速度センサー、加速度センサー、速度センサーに代表される手ぶれセンサーにより、画像記録装置の手ぶれによる動きを検出する手法や、撮像素子から入力される複数フレームの相関関係から手ぶれを判断する手法などがある。

また、手ぶれ補正手法は、前記手ぶれ検出手法の結果を元に、手ぶれをキャンセルするように光学的あるいは電気的に画像処理するものである。光学的手ぶれ補正は、手ぶれの方向に合わせて、レンズに代表される光学機構を直接機械的に動作させることにより制御する手法であり、具体的には、手ぶれによってずれてしまった光軸を、プリズムで被写体方向に曲げて手ぶれを補正する手法である。また、電気式手ぶれ補正は、記録する画素サイズよりも大きい画素サイズの画像を、あらかじめ撮像素子から信号処理部へ入力しておき、手ぶれが発生した部分に合わせて画像を意図的に切り出す手法である。現行の画像記録装置においては、上記２つの手法が主に搭載されている。

しかしながら、レンズや鏡筒などから構成される光学機構駆動部及び撮像素子のサイズには限界があるため、完全に手ぶれを補正することは不可能である。

また、画像記録装置において手ぶれが発生すると、手ぶれが発生しない状態と比較して、動画像符号化の際に生成される生成符号量が過多となる傾向にある。なぜならば、手ぶれ発生により、動画像符号化部において動きベクトルが多数発生し、その分、符号量が多くなるからである。画像記録装置において、動画像符号化の際に生成符号量が多くなると、以下のような問題が発生する。

１．ＣＰＵ負荷が大きくなり、ＣＰＵがハングアップする。

２．ＳＤＲＡＭに代表される各種内部メモリーとＣＰＵとのアクセスバスがオーバーフロー状態になる。

３．シリコンメモリーやハードディスクに代表される各種外部情報媒体への書き込み速度が間に合わない（外部情報媒体への出力バッファがオーバーフロー状態になる）。

上記問題によって、システム全体が破綻してしまう可能性がある。特に、低ビットレート記録においては、上記のような問題が発生しやすくなる。上記問題に基づくシステム破綻は、ユーザー側から見れば、システムのフリーズ、記録動画のコマ落ち、動画と共に記録されるはずの音声が記録できていない等の現象として現れる。

また、逆に、目標とする所定の符号量に対して生成符号量に余裕がある場合、生成符号量を何らかの方法で上昇させて、画質を向上させた方が良いにも関わらず、従来技術では限界があった。その原因は、手ぶれ検出部とカメラ信号処理部と動画像符号化部の連携がとれておらず、個別の処理を行っていたことが挙げられる。

上記のような、従来の手ぶれ補正技術の改善を目的とするために、特許文献１の技術がある。この技術は、装置自体の動きによる手ぶれを検出する構成と、動画像圧縮の過程で検出される動きベクトルを利用して手ぶれベクトルを検出する構成とを有し、それぞれの手ぶれ検出構成の長所を活かし、欠点を補い合うことによって、様々な撮影状況下でも効果的な手ぶれ補正を行える画像入力装置を提供するものである。

しかし、この技術では以下のような問題がある。

まず、前提条件として、このようなシステムにおいても、前述のように光学機構駆動部及び撮像素子のサイズには限界があるため、完全に手ぶれを補正することは不可能である。この技術に関して言えば、動画像符号化部において、現在ユーザーによりどのような手ぶれ量、及び手ぶれ周波数が発生しているのか判断できない。よって、生成符号量制御は、画像符号化部における量子化係数の制御だけで行うことになる。

しかしながら、手ぶれ量が大きく、且つ生成符号量の過多が原因でシステムが破綻しそうになり、生成符号量を急激に下げる必要があっても、量子化係数は有限の値であるため、量子化係数の制御だけでは限界がある。また、手ぶれ量が小さく、目標とする所定の符号量に対し生成符号量に余裕がある際も、量子化係数の制御だけでは符号量を上昇させることは可能だが、量子化係数には限界があるため、目標とする所定の符号量近くまで上昇させることができない可能性がある。即ちシステム全体として最適な符号量制御ができない構成となっている。

更に、画像記録装置には、情報媒体の転送速度の問題もある。情報媒体を一種類に設定しても、転送速度には個々のバラツキがあり、また情報媒体の種類が異なれば転送速度も大きく異なる。その問題に対しては、例えば出力バッファを大きくすることが対処法の一つであるが、コストアップとなるとともにハードウェアが大規模になる。また、その対策を行っても時間無制限の記録ができず、根本的な対策とはならない。特に、静止画像符号化部と動画像符号化部とを個別に持ち、同時記録することができるシステムの場合は、動画像符号化のみの場合と比較して生成符号量が過多となる可能性が高く、システムの破綻防止がより大きな課題となる。

このように、あらゆる状況においても画像符号化での破綻を確実に防止し、且つ目標とする所定の符号量に対して最適な符号化を実現することができる技術が求められる。
特開２００１−７８０７５号公報

以上のように従来の画像記録装置では、生成符号量が過多状態になった場合、画像符号化のシステムが破綻してしまうという問題点がある。

また、逆に、目標とする所定の符号量と比較して生成符号量が不足した場合、画質が悪化してしまうという問題点がある。

本発明は、上記問題点に鑑み、画像符号化の破綻を確実に防止することが可能であるとともに、画質を向上させることができる画像記録装置を提供することを目的とする。

上記課題を解決するために本発明の画像記録装置の第１の構成は、入射される光信号を電気信号に変換し画像信号を出力する撮像部と、本装置の手ぶれを検出し、手ぶれ量を算出する手ぶれ検出部と、前記手ぶれ検出部の検出結果に基づいて、前記撮像部からの画像信号に対して動き補正を行う手ぶれ補正部と、前記手ぶれ補正部からの画像信号の符号量を増減させる信号処理が実施されるカメラ信号処理部と、前記カメラ信号処理部からの画像信号を圧縮符号化処理または非圧縮符号化処理を行う符号化部と、前記符号化部からの画像信号を情報媒体へ記録させる記録部とを備え、前記撮像部から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、前記手ぶれ検出部で算出された手ぶれ量および前記符号化部における符号量飽和度に基づいて、前記カメラ信号処理部および前記符号化部おける画像信号の符号量を増減させるよう制御する制御部を備えたものである。

また、本発明の画像記録装置の第２の構成は、撮像素子から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、手ぶれを検出し手ぶれ量を算出するする手ぶれ検出部と、手ぶれを補正する手ぶれ補正部と、前記撮像素子を有するカメラ部と、前記カメラ部の動作を制御するカメラ制御部と、前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、前記カメラ信号処理部からの画像信号を一時記憶する入力バッファ部と、前記入力バッファ部から読み出した画像信号を符号化処理し且つ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記動画像符号化部における画像情報の符号量を所定の符号量にするための制御を行う符号化制御部と、前記動画像符号化部からの画像信号を一時記憶する出力バッファ部と、前記出力バッファ部からの画像信号を記録する情報媒体と、前記手ぶれ検出部と前記量子化部と前記可変長符号化部と前記出力バッファ部から評価値を生成する評価値制御部を備え、前記カメラ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うものである。

また、本発明の画像記録装置の第３の構成は、撮像素子から取り込んだ画像信号を圧縮もしくは非圧縮符号化処理する画像記録装置であって、手ぶれを検出し手ぶれ量を算出する手ぶれ検出部と、手ぶれを補正する手ぶれ補正部と、前記撮像素子を有するカメラ部と、前記カメラ部の動作を制御するカメラ制御部と、前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、前記カメラ信号処理部からの画像信号を一時記憶する第１及び第２の入力バッファ部と、前記第１の入力バッファ部からの動画像信号を符号化処理し且つ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、前記第２の入力バッファ部からの画像信号を符号化処理し且つ少なくとも量子化部及び可変長符号化部を含んだ静止画像符号化部と、前記動画像符号化部及び前記静止画像符号化部に対して画像情報の符号量を設定する制御を行う符号化制御部と、前記動画像符号化部からの動画像を一時記憶する第１の出力バッファ部と、前記静止画像符号化部からの静止画像を一時記憶する第２の出力バッファ部と、前記第１及び第２の出力バッファ部からの動画像及び静止画像を記録可能な情報媒体と、前記手ぶれ検出部と前記量子化部と前記可変長符号化部と前記第１及び第２の出力バッファ部とから評価値を生成する評価値制御部を備え、前記カメラ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うものである。

本発明の画像記録装置によれば、画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、目標とする所定の符号量に対して生成符号量に余裕がある場合、符号量を増大させ、画質を向上させることができる。

即ち、本発明によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。

また、出力バッファ部の情報も考慮に入れているため、様々な情報媒体に対応することができ、汎用的なシステム構築が可能である。

本発明の第１の構成の画像記録装置において、前記制御部は、前記手ぶれ検出部で算出された手ぶれ量および前記符号化部における符号量飽和度に基づいて、前記カメラ信号処理部および前記符号化部における画像信号のうちいずれか一方の画像信号の符号量を増減させるよう制御する構成としてもよい。

（実施の形態１）
図１は、本発明の実施の形態１における画像記録装置の構成を示すブロック図である。

図１において、撮像部１は、レンズや絞りや撮像素子などから構成され、入力される光学信号を撮像して電気信号（画像信号）に変換して出力する。撮像部１は、例えばＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどから構成されているが、これらに限定されるものではない。

カメラ信号処理部２は、撮像部１から出力される画像信号に対して各種信号処理を施すものである。信号処理の内容は、例えば、撮像部１からのアナログ画像信号をデジタル画像信号に変換、輪郭強調、ノイズ除去などであるが、これらに限定されるものではない。

カメラ制御部３は、カメラ信号処理部２の動作を制御し、後述する評価値制御部１１からの指令に基づき動作制御される。

入力バッファ部４は、カメラ信号処理部２からの画像信号を一時的に記憶する。

動画像符号化部２０は、動き補償部５と周波数変換部６と量子化部７と可変長符号化部８とから構成され、入力バッファ部４から出力される画像信号を符号化処理する。

符号化制御部９は、動画像符号化部２０に対して、画像信号の符号量を所定の符号量になるように設定するための制御を行う。本実施の形態では、量子化部７と可変長符号化部８に対して制御を行う構成とした。なお、制御の指令は、後述する評価値制御部１１からの指令により行う。

出力バッファ部１０は、可変長符号化部８からの画像信号を一時的に記憶する。また、出力バッファ部１０は、後述する情報媒体１２に対して画像信号の記録制御を行う際に、一時的に画像信号が記憶される。

評価値制御部１１は、後述する手ぶれ検出部１３とカメラ信号処理部２と量子化部７と可変長符号化部８と出力バッファ部１０とからの情報に基づき、評価値を生成する。なお、評価値及び評価値生成制御については後述する。

情報媒体１２は、出力バッファ部１０から出力される画像信号が記録されるものであり、本実施の形態ではシリコンメモリーやハードディスクドライブなどを想定しているが、少なくともデジタル画像信号を記録可能であればこれらに限定されるものではない。

手ぶれ検出部１３は、画像記録装置の手ぶれによる動きを検出する。本実施の形態では角速度センサーや加速度センサーや速度センサーに代表される手ぶれセンサーによる検出手法、もしくは撮像素子から入力される複数フレームの動画像から手ぶれを判断する手法を想定しているが、手ぶれを検出することが可能な手法であればこれらに限定されるものではない。また手ぶれ検出部１３にて手ぶれ量算出も実施するが、そのアルゴリズムは設計者が任意に設定することができる。

手ぶれ補正部１４は、手ぶれ検出部１３で検出された結果に基づき、撮像部１から出力される画像信号に対して手ぶれ補正処理を施す。手ぶれ補正の手法は、手ぶれの方向に合わせてレンズに代表される光学機構を直接機械的に動作させることにより制御する、いわゆる光学式手ぶれ補正法や、あらかじめ撮像部１から、最終的に記録される画素サイズよりも大きい画素サイズの画像を入力しておき、手ぶれが発生した部分に合わせて画像を意図的に切り出す、いわゆる電気的手ぶれ補正法などを想定しているが、手ぶれを補正することが可能な手法であればこれらに限定されるものではない。本実施の形態は、電気式手ぶれ補正法に基づき実現されている。

以下、本実施の形態の画像記録装置の動作を説明する。

まず、図１において、撮像部１において光電変換されて出力される画像信号は、手ぶれ補正部１４を介して（手ぶれ補正部１４における処理については後述する）、カメラ信号処理部２へ入力される。カメラ信号処理部２においてデジタル信号へと変換され、さらにオートホワイトバランス、ローパスフィルタリング、輪郭強調処理、ノイズ除去処理等、様々なカメラ信号処理が実施される。

カメラ信号処理部２にてデジタル信号処理された画像情報は、入力バッファ部４に一時保存される。入力バッファ部４から出力される画像情報は、動き補償部５に入力されて動き補償処理が行われる。動き補償が行われた画像情報は、周波数変換部６に入力されて周波数変換処理が行われる。周波数変換部６における周波数変換には、ＤＣＴ（離散コサイン変換）やウェーブレット変換といった様々な変換を適用可能とする。周波数変換された画像情報は、量子化部７に入力されて画像情報に対して量子化処理を行い、可変長符号化部８にて量子化された情報を可変長符号化される。

可変長符号化された画像情報は、出力バッファ部１０に一時保存された後、情報媒体１２へ送られ保存される。なお、この出力バッファ部１０及びそれに付随する情報媒体１２は複数設けてもよい。

また、手ぶれ検出部１３は、画像記録装置の物理的な動き（手ぶれ）を検出し、手ぶれ量を算出し、算出された手ぶれ量は手ぶれ補正部１４と評価値制御部１１に入力される。手ぶれ補正部１４では、手ぶれ検出部１３から出力される手ぶれ量情報に基づいて、撮像部１からの画像信号に対して手ぶれ補正処理が実施される。

評価値制御部１１では、手ぶれ検出部１３から出力される手ぶれ量情報と、量子化部７及び可変長符号化部８から出力される符号量飽和度情報と、出力バッファ部１０から出力される飽和度情報とから評価値を生成し、カメラ制御部３及び符号化制御部９を制御する。

カメラ制御部３は、評価値制御部１１からの制御により、カメラ信号処理部２に対してローパスフィルタリングや輪郭強調などの命令を行う。また、符号化制御部９は、評価値制御部１１からの制御により、量子化部７および可変長符号化部８に対して量子化係数の増減などの命令を行う。なお、具体的な制御方法については後述する。

次に、実施の形態１における制御方法について説明する。

本実施の形態では評価値生成のために、手ぶれ検出部１３から入力される手ぶれ量、動画像符号化部２０における生成符号量飽和度、出力バッファ部１０における飽和度を選択することとする。これらの手ぶれ量、生成符号量飽和度、出力バッファ飽和度が、それぞれ高い場合あるいは低い場合の、動画像符号化部２０における符号量制御を、定性的に以下の（表１）にまとめた。但し、これはあくまで定性的であり、必ずしも（表１）のような符号量制御を実施しなければいけないわけではない。

まず、手ぶれ量算出の一例を説明する。通常、手ぶれ補正は、手ぶれ周波数を検出しその周波数によって、手ぶれの発生有無を判断する。そして「手ぶれ発生」と判断された場合に限り、手ぶれ補正処理を実施する。その際、手ぶれ周波数によって手ぶれ抑制度が定められており、例えば周波数が小さい場合は手ぶれ補正量を小さくし、逆に周波数が大きい場合は手ぶれ補正量が大きくなるように設定されている。なお、手ぶれ抑制度は、設計者によって任意に設定されるものであり、「手ぶれ発生」と判断できそうな周波数帯の補正量を大きくし、「手ぶれ発生」と判断できない周波数帯の補正量を小さくするのが通常である。また、手ぶれ検出のサンプリング数を多くすれば、より手ぶれかどうかの判断がしやすくなるが、徒に手ぶれ検出のサンプリング数を多くするとＣＰＵの負荷が増加し、システム全体が破綻する可能性があるので、破綻しない程度のサンプリング数に設定する必要がある。

ここで、手ぶれ抑制度曲線をＦ（ｆ）、手ぶれの周波数をfreq_HAND［Ｈｚ］とすると、その時の抑制度はＦ（freq_HAND）［％］となる。また、その時に発生した実際の手ぶれ量をＸとすると、手ぶれ検出値すなわち実際に手ぶれとして記録される量であるHANDは、数式１のように表現することができる。なお、数式１のHANDの数値が符号量増大または減少に直接影響する値であり、この際の手ぶれ抑制度曲線Ｆ（ｆ）は、前記の通り設計者が意図的に設定するものである。

HAND ＝ Ｘ（１−Ｆ（freq_HAND）） ・・・（数式１）
また、「生成符号量飽和度」とは、所定の最大符号量に対して生成符号量の占める割合である。所定の最大符号量をMax_bitrate［bit/sec］、ある１秒間に既に生成された符号量をGen_bitrate［bit］、目標とする所定のフレーム数をFrame［frame/sec］、ある１秒間に既に生成されたフレーム数をGen_frame［frame］とすると、符号量飽和度BITRATEは数式２のように表現することができる。

BITRATE＝(Gen_bitrate / Max_bitrate)×(Frame / Gen_frame) ・・・（数式２）
また「出力バッファ飽和度」とは、出力バッファ部１０の符号容量に対して、ある時点での出力バッファ部１０における符号量の割合である。出力バッファ部１０の符号容量をAll_buf［bit］とし、ある時点での出力バッファ部１０において存在する符号量をGen_buf［bit］とすると、出力バッファ飽和度BUFは数式３のように表現することができる。

BUF = Gen_buf / All_buf ・・・（数式３）
なお、これらの数式による表現方法は一例であり、設定は自由とする。実際には、それぞれの項目を線形結合して評価値を決定することとする。これを数式４にて表現する。

Ｘ＝ a×HAND ＋ b×BITRATE ＋ c×BUF ・・・（数式４）
数式４において、HANDは手ぶれ量である。BITRATEは生成符号量飽和度である。BUFは出力バッファ部飽和度である。また、ａ，ｂ，ｃはそれぞれの重み関数である。そして、ある閾値を設定し、ある時間の評価値Ｘが、設定した閾値を超えるか超えないかを判別することにより、符号量の制御方法を変更することとする。また、評価値Ｘに対して閾値を複数設けることにより、符号量の制御方法を段階的に設定が可能なシステムとする。このように段階的に設定することにより、より詳細で最適な制御が可能となる。

次に、カメラ信号処理部２及び画像符号化部２０における符号量制御の一例を（表２）に示す。

以下、（表２）に基づいた制御方法について説明する。（表２）において、「ローパスフィルタリング」は、高周波成分を取り除く処理で、画像符号化部２０への入力情報を削減し、結果的に生成符号量を下げる処理である。「焦点位置ずらし」は、オートフォーカス制御にて敢えて正規の位置よりレンズ位置をずらすことにより、擬似的ローパスフィルタリングを施す処理である。「輪郭ぼかし」は、アパーチャ処理にて被写体の輪郭をぼかし、擬似的ローパスフィルタリングを施す処理である。「ノイズ除去」は各種ノイズ（主に高周波成分）を取り除く処理で、「ローパスフィルタリング」と同様の結果となる。「輪郭強調」はアパーチャ処理にて輪郭を強調し、結果的に生成符号量を上げる処理である。但し、この際、ノイズ成分も強調してしまうため、コアリング処理やノイズ除去を合わせて利用すると、画質向上に有効である。

一方、（表２）における動画像符号化部２０における処理で、「量子化係数を上げる」および「量子化係数を上げる」は、量子化係数を上下させることにより、生成符号量を上下させる処理である。「符号量小さいマクロブロック符号化タイプ選択」および「符号量大きいマクロブロック符号化タイプ選択」は、マクロブロック符号化タイプを選択することにより、生成符号量を操作することが可能である。マクロブロック符号化タイプには、例えばＭＰＥＧ規格に準拠した動画像において、Ｉピクチャー（ＶＯＰ）の場合は、イントラ、イントラ＋Ｑ等がある。また、Ｐピクチャー（ＶＯＰ）の場合は、動き補償コーデッド、ノン動き補償コーデッド、動き補償符号化不要、イントラ、動き補償コーデッド＋Ｑ、ノン動き補償コーデッド＋Ｑ、イントラ＋Ｑ等がある。「強制コマ落ち」は、動画像のフレームを意図的にコマ落ちさせることにより、生成符号量を下げることが可能な処理である。「量子化係数変化量の制限解除」は、シーンチェンジが発生するなど、急激な画質劣化を防止するために量子化係数の変化量に制限をかけている場合があり、通常時の記録では画像劣化を防止できるため、その制限は有効であるが、破綻を防ぐためにはその制限をリアルタイムに解除する必要がある。その制御を行うことにより、「量子化係数を上げる」および「量子化係数を下げる」を、より効果的に動作させることが可能となる。

上記のような制御方法は、画像符号化において重視する効果（画質向上やコマ落ち防止等）、ＬＳＩ（ＤＳＰ）が持つ機能及びその性能、システム全体の負荷に依存し、そしてより汎用的なシステムを構築するため選択可能とする。また、例えば急峻なローパスフィルタ処理をかけると画像が急激にぼやけたり、強制コマ落ち処理を実施すると動画像が滑らかでなくなる等、それぞれの手法には様々な副作用がある。それは評価量の線形結合において、係数を考慮し、設計者が制御方法を検討、吟味して決定する必要がある。

ここで、上記数式４の評価値Ｘに対して閾値を複数設けたことによる、符号量の段階的制御例を挙げておく。図２は本発明の実施の形態１における評価値による制御パターンの場合分けを表す模式図である。図２に示すように、評価値Ｘに対する閾値を３つ（ａ〜ｃ）設定する場合を考える。Ｘが「ａ」未満であれば制御方法「Ａ」、Ｘが「ａ」以上「ｂ」未満であれば制御方法「Ｂ」、Ｘが「ｂ」以上「ｃ」未満であれば制御方法「Ｃ」、Ｘが「ｃ」以上であれば制御方法「Ｄ」とする。Ｘの値が大きいほど、符号量を下げてシステムの破綻を防止する必要がある。逆に、Ｘの値が小さいほど、符号量を上げて画質を向上させる必要がある。それぞれ制御方法は、以下のように選択する。

（表３）に示すように、各々制御手法の組み合わせにより、様々な制御が可能である。例えば、手ぶれ量が大きく、生成符号量が多いことにより、評価値Ｘが「ｃ」以上となった場合は、制御方法Ｄに基づいて符号量制御が行われる。これにより、符号量を下げることができ、システムの破綻を防止することができる。また、手ぶれ量が小さく、生成符号量が少ないことにより、評価値Ｘが「ａ」未満となった場合は、制御方法Ａに基づいて符号量制御が行われる。これにより、符号量を上げて画質を向上させることができる。

以上のように本実施の形態によれば、手ぶれ検出部１３で検出された手ぶれ量などに基づいて、動画像符号化部２０における符号量制御を行っているため、手ぶれが大きい場合は符号量を下げてシステム破綻を防止し、手ぶれが小さい場合は符号量を上げて画質を向上させることができる。

また、評価値制御部１１に、手ぶれ検出部１３、動画像符号化部２０、出力バッファ部１０の情報を、同時に利用する構成とした。その情報とは例えば、手ぶれ検出部１３の手ぶれ量や、動画像符号化部２０における量子化係数や生成符号量、出力バッファ部１０内に存在する符号量等である。なお、これらの情報は符号化していく過程で生成する情報であるため、情報生成のための新たなハードウェア及びソフトウェアを追加する必要はない点で非常に有効である。

更に上記の評価値により、カメラ信号処理部２及び動画像符号化部２０を同時に制御する。その制御内容は、例えば、カメラ信号処理部２におけるローパスフィルタ、輪郭強調、ノイズ除去フィルタ、更に動画像符号化部２０における量子化係数やマクロブロックの符号化タイプ選択等である。生成符号量を増減させることができるのは、動画像符号化部２０だけではなく、カメラ信号処理部２でも可能である。

（実施の形態２）
図３は、実施の形態２における画像記録装置の構成を示すブロック図である。

図３において、撮像部２１は、入力される光学信号を撮像して電気信号（画像信号）に変換して出力する。撮像部２１は、レンズや絞りや撮像素子などから構成され、撮像素子は例えばＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどから構成されているが、これらに限定されるものではない。

カメラ信号処理部２２は、撮像部２１からの画像信号に対して各種信号処理を施すものである。信号処理の内容は、例えば、撮像部２１からのアナログ画像信号をデジタル画像信号に変換、輪郭強調、ノイズ除去などであるが、これらに限定されるものではない。

カメラ制御部２３は、カメラ信号処理部２２の動作を制御し、後述する評価値制御部３１等の指令に基づき動作制御される。

第１の入力バッファ部２４は、カメラ信号処理部２２からの画像信号が一時的に記憶される。第１の入力バッファ部２４は、後段の動画像符号化部４０へデータ入力を行う際に使用する。

動画像符号化部４０は、動き補償部２５と周波数変換部２６と量子化部２７と可変長符号化部２８とから構成され、且つ第１の入力バッファ部２４から入力される画像信号を符号化処理する。

動き補償部２５は、入力バッファ部２４から出力される画像信号に対して動き補償を施す。周波数変換処理部２６は、動き補償部２５から出力される画像信号に対して周波数変換処理を行う。量子化部２７は、周波数変換部２６から出力される画像信号に対して量子化処理を行う。可変長符号化部２８は、量子化部２７からの画像信号に対して可変長符号化処理を行う。

符号化制御部２９は、動画像符号化部４０及び静止画像符号化部４１（後述）に対して、画像信号の符号量を所定の符号量になるように設定するための制御を行う。本実施の形態では、量子化部２７及び３５（後述）と可変長符号化部２８及び３６（後述）に対して制御を行う構成とした。なお、制御の指令は、後述する評価値制御部３１からの指令により行う。

第１の出力バッファ部３０は、動画像符号化部４０（可変長符号化部２８）からの画像信号（動画像）が一時的に記憶され、後述する情報媒体３２に対して画像信号の記録制御を行う際に画像信号が一時記憶される。

評価値制御部３１は、後述する手ぶれ検出部３８と量子化部２７及び３５と可変長符号化部２８及び３６と第１の出力バッファ部３０と第２の出力バッファ部３７からの情報に基づき、評価値を生成する。なお、評価値及び評価値生成制御については後述する。

情報媒体３２は、第１の出力バッファ部３０及び第２の出力バッファ部３７から出力される画像信号が記録されるものである。本実施の形態では、シリコンメモリーやハードディスクドライブなどを想定しているが、少なくともデジタル画像信号を記録可能であればこれらに限定されるものではない。

手ぶれ検出部３８は、画像記録装置の物理的な動きを検出するものであり、角速度センサーや加速度センサーや速度センサーに代表される手ぶれセンサーによる検出手法、もしくは撮像素子から出力される複数フレームの動画像の相関関係から手ぶれを判断する手法を想定しているが、手ぶれを検出することが可能な手法であればこれらに限定されるものではない。また、手ぶれ検出部１３にて手ぶれ量算出も実施するが、そのアルゴリズムは設計者が任意に設定することができる。

手ぶれ補正部３９は、手ぶれ検出部３８で検出された結果を元に、撮像部１から出力される画像情報に対して手ぶれ補正処理を行う。手ぶれ補正の手法は、手ぶれの方向に合わせてレンズに代表される光学機構を直接機械的に動作させることにより制御する、いわゆる光学式手ぶれ補正手法や、あらかじめ撮像素子から信号処理部へ記録する画素サイズよりも大きい画素サイズの画像を入力しておき、手ぶれが発生した部分に合わせて画像を意図的に切り出す、いわゆる電気的手ぶれ補正手法を想定しているが、手ぶれを補正することが可能な手法であればこれらに限定されるものではない。

第２のバッファ部３３は、カメラ信号処理部２２からの画像信号を一時記憶するものであり、静止画像符号化部４１における静止画像符号化処理の際に使用するものである。

静止画像符号化部４１は、周波数変換処理部３４と量子化部３５と可変長符号化部３６とから構成される。周波数変換処理部３４は、第２の入力バッファ部３３から出力される画像信号に対して周波数変換処理を行う。量子化部３５は、周波数変換処理部３４に対して量子化処理を行う。可変長符号化部３６は、周波数変換処理部３５に対して可変長符号化処理を行う。

第２の出力バッファ部３７は、静止画像符号化部４１から出力される画像信号（静止画）を情報媒体３２に記録する際に一時記録する。

以上のように構成された本実施の形態の画像記録装置について、以下その動作を説明する。

まず、図３において、撮像部２１において光電変換されて出力される画像信号は、手ぶれ補正部３９を介して、カメラ信号処理部２２へ入力される。カメラ信号処理部２２においてデジタル信号へと変換され、さらにオートホワイトバランス、ローパスフィルタリング、輪郭強調処理、ノイズ除去処理等、様々なカメラ信号処理が実施される。カメラ信号処理部２２にてデジタル信号処理された画像情報は、第１の入力バッファ部２４または第２の入力バッファ部３３に一時保存される。

第１の入力バッファ部２４から出力される画像情報（動画）は、動き補償部２５に入力されて動き補償処理が行われる。動き補償が行われた画像情報は、周波数変換部２６に入力されて周波数変換処理が行われる。周波数変換部２６における周波数変換には、ＤＣＴ（離散コサイン変換）やウェーブレット変換といった様々な変換を適用可能とする。周波数変換された画像情報は、量子化部２７に入力されて画像情報に対して量子化処理を行い、可変長符号化部２８にて量子化された情報が可変長符号化される。

可変長符号化された画像情報は、情報媒体３２へ記録させるために、第１の出力バッファ部３０に一時保存され、その後情報媒体３２へ送られ保存される。なお、この出力バッファ部３０及びそれに付随する情報媒体３２は複数設けてもよい。

一方、第２の入力バッファ部３３から出力される画像情報（静止画）は、周波数変換部３４に入力されて周波数変換処理が行われる。周波数変換部３４における周波数変換には、ＤＣＴ（離散コサイン変換）やウェーブレット変換といった様々な変換を適用可能とする。周波数変換された画像情報は、量子化部３５に入力されて画像情報に対して量子化処理を行い、可変長符号化部３６にて量子化された情報が可変長符号化される。

可変長符号化された画像情報は、第２の出力バッファ部３７に一時保存され、その後情報媒体３２へ送られ保存される。

上記のような、動画あるいは静止画の撮影および記録は、使用者が操作部（図示せず）を操作して、画像記録装置を「動画撮影モード」あるいは「静止画撮影モード」のいずれかに設定し撮影を行うことで実現可能である。また、「動画撮影モード」で動画を撮影中に、静止画撮影用の操作部（シャッターボタン等）を操作することで静止画撮影を実現することもできる。

また、手ぶれ検出部３８は、画像記録装置の物理的な動き（手ぶれ）を検出し、手ぶれ量を算出され、算出された手ぶれ量は手ぶれ補正部３９と評価値制御部３１とに入力される。手ぶれ補正部３９では、手ぶれ検出部３８から出力される手ぶれ量情報に基づいて、撮像部２１からの画像信号に対して手ぶれ補正処理が実施される。

評価値制御部３１では、手ぶれ検出部３８から出力される手ぶれ量情報と、量子化部２７及び３５、可変長符号化部２８及び３６から出力される符号量飽和度情報と、第１及び第２の出力バッファ部３０及び３７から出力される飽和度情報とから、評価値を生成し、カメラ制御部２３及び符号化制御部２９を制御する。

カメラ制御部２３は、評価値制御部３１からの制御により、カメラ信号処理部３２に対してローパスフィルタリングや輪郭強調などの命令を行う。また、符号化制御部２９は、評価値制御部３１からの制御により、量子化部２７及び３５、可変長符号化部２８及び３６に対して量子化係数の増減などの命令を行う。

実施の形態２では、実施の形態１とは異なり、動画像符号化と静止画符号化とを同時に実施するため、実施の形態１よりも生成符号量飽和度と出力バッファ飽和度に注意する必要がある。制御方法を判断するための評価値Ｘは、数式５のように表現することができる。

Ｘ ＝ ａ×HAND ＋ ｂ１×MOV_BITRATE ＋ ｃ１×MOV_BUF ＋ ｂ２×STL_BITRATE ＋ ｃ２×STL_BUF ・・・（数式５）
数式５において、HANDは手ぶれ量である。MOV_BITRATEは動画像符号化部４０の生成符号量飽和度である。MOV_BUFは第１の出力バッファ部３０における出力バッファ飽和度である。STL_BITRATEは静止画像符号化部４１の生成符号量飽和度である。STL_BUFは第２の出力バッファ部３７の出力バッファ飽和度である。また、ａ，ｂ１，ｃ１，ｂ２，ｃ２はそれぞれの重み関数である。

以下、制御方法の選択等の考え方は、実施の形態１と同様なので省略することとする。

以上のように本実施の形態によれば、手ぶれ検出部３８、動画像符号化部４０及び静止画像符号化部４１、第１及び第２の出力バッファ部３０及び３７の情報を評価値生成に利用し、その評価値からカメラ信号処理部２２と動画像符号化部４０及び静止画像符号化部４１を同時に制御する。即ち、画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、目標とする所定の符号量に対して生成符号量に余裕がある場合、上記構成により符号量を増大させ、画質を向上させることができる。

即ち本発明によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。また第１及び第２の出力バッファ部３０及び３７の情報も考慮に入れているため、様々な情報媒体に対応することができ、汎用的なシステム構築が可能である。

本発明の画像記録装置は、手ぶれ検出部、画像符号化部、出力バッファ部の情報を評価値生成に利用し、その評価値からカメラ信号処理部と画像符号化部を同時に制御する。即ち画像符号化において符号量制御の幅を大幅に拡げたことにより、画像符号化の破綻を確実に防止することが可能である。更に、手ぶれが小さく、目標とする所定の符号量に対して生成符号量に余裕がある場合、上記構成により符号量を増大させ、画質を向上させることができる。

即ち本発明によりシステム全体の負荷を考慮しつつ、目標とする所定の符号量に対して最適な符号化を実現することができる。また出力バッファ部の情報も考慮に入れているため、様々な情報媒体に対応することができ、汎用的なシステム構築が可能である。

以上よりあらゆる様々な画像記録装置に利用することが可能である。

本発明の実施の形態１における画像記録装置の構成を示すブロック図 本発明の実施の形態１における評価値による制御パターンの場合分けを示す模式図 本発明の実施の形態２における画像記録装置の構成を示すブロック図

符号の説明

１，２１ 撮像部
２，２２ カメラ信号処理部
３，２３ カメラ制御部
４ 入力バッファ部
５，２５ 動き補償部
６，２６，３４ 周波数変換部
７，２７，３５ 量子化部
８，２８，３６ 可変長符号化部
９，２９ 符号化制御部
１０ 出力バッファ部
１１，３１ 評価値制御部
１２，３２ 情報媒体部
１３，３８ 手ぶれ検出部
１４，３９ 手ぶれ補正部
２４ 第１の入力バッファ部
３０ 第１の出力バッファ部
３３ 第２の入力バッファ部
３７ 第２の出力バッファ部

Claims (4)

1. 入射される光信号を電気信号に変換し画像信号を出力する撮像部と、
   本装置の手ぶれを検出し、手ぶれ量を算出する手ぶれ検出部と、
   前記手ぶれ検出部の検出結果に基づいて、前記撮像部からの画像信号に対して動き補正を行う手ぶれ補正部と、
   前記手ぶれ補正部からの画像信号の符号量を増減させる信号処理が実施されるカメラ信号処理部と、
   前記カメラ信号処理部からの画像信号を圧縮符号化処理または非圧縮符号化処理を行う符号化部と、
   前記符号化部からの画像信号を情報媒体へ記録させる記録部とを備え、
   前記撮像部から取り込んだ画像信号を圧縮符号化処理もしくは非圧縮符号化処理する画像記録装置であって、
   前記手ぶれ検出部で算出された手ぶれ量および前記符号化部における符号量飽和度に基づいて、前記カメラ信号処理部および前記符号化部における画像信号の符号量を増減させるよう制御する制御部を備えたことを特徴とする画像記録装置。
2. 前記制御部は、前記手ぶれ検出部で算出された手ぶれ量および前記符号化部における符号量飽和度に基づいて、前記カメラ信号処理部および前記符号化部における画像信号のうちいずれか一方の画像信号の符号量を増減させるよう制御する請求項１記載の画像記録装置。
3. 撮像素子から取り込んだ画像信号を圧縮符号化処理もしくは非圧縮符号化処理する画像記録装置であって、
   手ぶれを検出し手ぶれ量を算出する手ぶれ検出部と、
   前記手ぶれ検出部で算出された手ぶれ量に基づき手ぶれを補正する手ぶれ補正部と、
   前記撮像素子を有するカメラ部と、
   前記カメラ部の動作を制御するカメラ制御部と、
   前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、
   前記カメラ信号処理部からの画像信号を一時記憶する入力バッファ部と、
   前記入力バッファ部から読み出した画像信号を符号化処理し且つ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、
   前記動画像符号化部における画像情報の符号量を所定の符号量にするための制御を行う符号化制御部と、
   前記動画像符号化部からの画像信号を一時記憶する出力バッファ部と、
   前記出力バッファ部からの画像信号を記録する情報媒体と、
   前記手ぶれ検出部と前記量子化部と前記可変長符号化部と前記出力バッファ部から評価値を生成する評価値制御部とを備え、
   前記カメラ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値を用いて同時に制御を行うことを特徴とする画像記録装置。
4. 撮像素子から取り込んだ画像信号を圧縮符号化処理もしくは非圧縮符号化処理する画像記録装置であって、
   手ぶれを検出し手ぶれ量を算出する手ぶれ検出部と、
   前記手ぶれ検出部の検出結果に基づき手ぶれを補正する手ぶれ補正部と、
   前記撮像素子を有するカメラ部と、
   前記カメラ部の動作を制御するカメラ制御部と、
   前記撮像素子から取り込んだ画像信号を信号処理するカメラ信号処理部と、
   前記カメラ信号処理部からの画像信号を一時記憶する第１及び第２の入力バッファ部と、
   前記第１の入力バッファ部からの動画像信号を符号化処理し且つ少なくとも量子化部及び可変長符号化部を含んだ動画像符号化部と、
   前記第２の入力バッファ部からの画像信号を符号化処理し且つ少なくとも量子化部及び可変長符号化部を含んだ静止画像符号化部と、
   前記動画像符号化部及び前記静止画像符号化部に対して画像情報の符号量を設定する制御を行う符号化制御部と、
   前記動画像符号化部からの動画像を一時記憶する第１の出力バッファ部と、
   前記静止画像符号化部からの静止画像を一時記憶する第２の出力バッファ部と、
   前記第１及び第２の出力バッファ部からの動画像及び静止画像を記録可能な情報媒体と、
   前記手ぶれ検出部と前記量子化部と前記可変長符号化部と前記第１及び第２の出力バッファ部とから評価値を生成する評価値制御部とを備え、
   前記カメラ信号処理部及び前記符号化制御部を、前記評価値制御部で生成した評価値に基づいて、同時に制御を行うことを特徴とする画像記録装置。

Images