JP2006191185A

JP2006191185A - 撮像装置

Info

Publication number: JP2006191185A
Application number: JP2004381788A
Authority: JP
Inventors: Takeshi Tateno; 剛舘野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2006-07-20

Abstract

【課題】動き補償予測符号化のための動き検出精度が低い場合でも、発生符号量の適正な制御を可能にする。
【解決手段】画像撮像部２は被写体を撮像して画像信号を得る。加速度検出部３は画像撮像部２の撮像と同時に、画像撮像部２の動きを検出する。量子化情報作成部４は、加速度検出部が検出した動きに基づいて動画像符号化部５が用いる量子化係数を決定する。動画像符号化部５は量子化情報作成部４が決定した量子化係数を用いて、画像撮像部２からの画像信号を符号化する。これにより、手振れ等によって動きが大きくなった場合でも、動きに応じて量子化係数を大きくすることで、発生符号量は抑制することができ、適正なレート制御が可能となる。
【選択図】図１

Description

本発明は、カメラ内蔵の携帯型のものに好適な撮像装置に関する。

近年、画像のディジタル処理、特に、画像データを圧縮するための高能率符号化技術の進歩が著しく、カメラ内蔵の携帯電話機等においても、比較的長時間に渡る動画像の撮影及び保存が可能になってきた。

携帯型の撮像装置においては、画像符号化方法として、ＭＰＥＧ（Moving Picture Experts Group）４が採用されている。ＭＰＥＧ４では、フレーム間符号化を採用しており、フレーム間の差分値（予測誤差）を符号化することによって、ビットレートを低減させている。更に、画像の動きを予測してフレーム間差を求めることにより予測誤差を低減する動き補償フレーム間予測符号化も採用されており、ビットレートを更に一層低減させることができる。

動き補償フレーム間符号化では、動き予測の精度が高ければ、データ量を十分に削減することができる。ところが、携帯電話機等の処理能力は十分ではなく、動き検出等の処理を高速化させようとすると、動き検出精度を高くすることができない。このため、動きが大きいフレームにおいては、発生符号量が増大することがある。

そこで、特許文献１においては、動きベクトルの探索領域形状を可変にして効率的な動きベクトルの検出を可能にした技術が開示されている。
特開２００４−２２１７５７公報

しかしながら、特許文献１の技術による動き検出においても、十分な精度を得ることができない。このため、携帯電話機等において、発生符号量が増大するフレームが生じることがある。

そこで、出力バッファのバッファ占有量に基づいて、符号化時の量子化係数を制御する手法が採用される。バッファ占有量に基づく量子化係数の制御を、前フレームまでの符号化画像に基づいて行う場合、前フレームまでの符号化画像によるバッファ占有量が比較的大きい状態で、符号化中の現フレームに大きな動きがあると、発生符号量が大きくなって、出力バッファがオーバーフローすることがある。そうすると、出力画像のフレームがスキップされ、撮像画像は、ぎくしゃくした動きの動画像となってしまうことがある。例えば、カメラ内蔵の携帯電話機等によって撮影を行う場合には、撮影画像そのものに動きがない場合でも、携帯電話機自体が大きく動いて画像が乱れることがある。

本発明はかかる問題点に鑑みてなされたものであって、加速度センサによって符号化中のフレームの動きを検出し、検出結果に基づいて発生符号量制御のための量子化係数を制御することにより、出力バッファのオーバーフローの発生を防止し、アンダーフローを起こし難くすることで、高画質化を図ることができる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体を撮像して画像信号を得る撮像部と、前記撮像部によって得た画像信号を可変長符号化して符号化出力を出力する符号化手段と、前記撮像部の動きを検出する加速度検出手段と、前記加速度検出手段が検出した動きに基づいて前記可変長符号化における符号化特性を決定する符号化特性決定手段とを具備したものである。

本発明において、撮像部は被写体を撮像して画像信号を得る。加速度検出手段は撮像部の撮像と同時に、撮像部の動きを検出する。符号化特性決定手段は、加速度検出手段が検出した動きに基づいて可変長符号化における符号化特性を決定する。符号化手段は、決定された符号化特性で、撮像部からの画像信号を可変長符号化する。

本発明によれば、加速度センサによって符号化中のフレームの動きを検出し、検出結果に基づいて発生符号量制御のための量子化係数を制御することにより、出力バッファのオーバーフローの発生を防止し、アンダーフローを起こし難くすることで、高画質化を図ることができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の一実施の形態に係る撮像装置を示すブロック図である。

図１において、カメラ部１及び動画像符号化部５は、図示しないカメラ筐体内に収納されている。カメラ部１は、画像撮像部２を備えている。画像撮像部２は図示しないＣＣＤ及び信号処理部等を有しており、被写体からの光学像を光電変換して画像信号に変換する。画像撮像部２は、例えば、ＭＰＥＧ４に対応させて、画像信号をビデオ・オブジェクト・プレイン（ＶＯＰ）単位で出力する。画像撮像部２からは、例えば、４：２：０画像フォーマットのＹＵＶ画像信号が出力される。

画像撮像部２からの画像信号は動画像符号化部５に供給されるようになっている。動画像符号化部５はＭＰＥＧ４規格の符号化処理を行って、入力画像を符号化する。

図２は図１中の動画像符号化部５の具体的な構成を示すブロック図である。

図２において、動画像符号化部５はフレーム内圧縮処理及びフレーム間圧縮処理を行うようになっている。ＤＣＴ回路１３、量子化回路１４、可変長符号化回路１５はフレーム間圧縮処理用であり、ＤＣＴ回路２３、量子化回路２４、可変長符号化回路２５はフレーム内圧縮処理用である。

カメラ部１からのＹＵＶ画像信号は、ＤＣＴ回路１３，２３に与えられると共に、動き検出回路１２にも与えられる。動き検出回路１２は、入力画像の動きを検出して動きベクトルをＤＣＴ回路１３に出力するようになっている。例えば、動き検出回路１２は、現フレームの符号化を行うべき注目ブロックと参照フレームの各ブロックとのマッチング演算を行い、マッチング計算結果の累積値が最も小さいブロックを参照画像ブロックとして、参照画像ブロックと注目ブロックとの位置関係を示すベクトルを動きベクトルとして求めるようになっている。

ＤＣＴ回路２３は、入力された画像データを所定のブロック単位でＤＣＴ処理して周波数成分に変換し、変換結果のＤＣＴ係数を出力する。一方、ＤＣＴ回路１３は、入力画像を記憶するメモリを有し、メモリからの参照画像を動きベクトルを用いて動き補償し、動き補償された参照画像と現画像との差分である予測誤差を求める。ＤＣＴ回路１３は、この予測誤差について、所定のブロック単位でＤＣＴ処理して周波数成分に変換し、変換結果のＤＣＴ係数を出力するようになっている。

ＤＣＴ回路１３，２３からのＤＣＴ係数は夫々量子化回路１４，２４に供給される。量子化回路１４，２４はＤＣＴ係数を量子化して、量子化出力を夫々可変長符号化回路１５，２５に出力する。可変長符号化回路１５，２５は、夫々入力された量子化出力に対してハフマン符号化を施して、符号量を一層低減させる。

可変長符号化回路１５，２５の出力は出力バッファ１６を介して符号化出力として出力される。出力バッファ１６は、図示しないバッファコントローラによって、バッファ占有量を検出しており、バッファ占有量の情報を後述する量子化情報作成部４に出力するようになっている。

ＤＣＴ回路１３，２３からのＤＣＴ係数は、水平及び垂直方向の低域成分から高域成分へ順に配列されている。ＤＣＴ回路１３，２３は、水平及び垂直方向の低域成分から高域成分に向かってジグザグにＤＣＴ係数を走査して、この順番に出力するようになっている。量子化回路１４，２４が所定の量子化係数を用いてＤＣＴ係数を量子化することによって、水平及び垂直方向の低域成分の量子化出力として０が出現する確率が高くなり、符号長は短くなる。

つまり、量子化係数を変化させることで、量子化出力として０が出現する確率が変化することになり、符号長を変化させることが可能である。この理由から、出力バッファ１６のバッファ占有量の情報を用いて、量子化情報作成部４において量子化係数を制御するようになっている。

更に、本実施の形態においては、カメラ部１本体（画像撮像部２の撮像面）の動きを検出し、この検出結果を用いて量子化係数を制御するようになっている。即ち、カメラ部１には、加速度検出部３が設けられている。加速度検出部３は、カメラ部１を収納するカメラ筐体自体に取り付けられており、カメラ筐体の動きを検出して検出結果として動きベクトルを符号化特性決定手段としての量子化情報作成部４に出力するようになっている。

画像撮像部２からの撮影画像は、カメラ筐体自体が動くことによって、相対的に動く。加速度検出部３からの動きベクトルは、カメラ筐体自体の動きによる撮像画像の動きに対応している。

量子化情報作成部４は、加速度検出部３からの動きベクトル及び出力バッファ１６からのバッファ占有量の情報に基づいて、量子化係数を生成するようになっている。例えば、量子化情報作成部４は、先ずバッファ占有量の情報に基づいて、量子化係数を生成する。そして、量子化情報作成部４は、バッファ占有量に基づく量子化係数を、動きベクトルに応じて補正して出力するようになっている。

図３は量子化情報作成部４によるバッファ占有量に基づく量子化係数の生成方法の一例を説明するためのグラフである。図３は横軸に生成すべき量子化係数をとり縦軸にバッファ占有量とっている。図３に示すように、量子化情報作成部４は、バッファ占有量が大きくなるほど量子化係数を大きくするようになっている。

図４は量子化情報作成部４による動きベクトルに基づく量子化係数の補正量の一例を説明するためのグラフである。図４は横軸に生成すべき量子化係数の補正量をとり縦軸に動き量をとっている。図４の特性Ａ（実線）に示すように、量子化情報作成部４は、動き量が大きいほど量子化係数を大きくし、所定の閾値以下では一定の量子化係数に設定するようになっている。また、図４の特性Ｂ（破線）は、動き量が所定の閾値以下になっても、動き量が小さくなるに連れて量子化係数を小さくする設定を示している。

量子化情報作成部４は、バッファ占有量が所定の閾値よりも大きい場合には特性Ａに従って量子化係数を生成し、バッファ占有量が所定の閾値よりも小さい場合には特性Ｂに従って量子化係数を生成するようになっている。

量子化情報作成部４からの量子化係数は動画像符号化部５の量子化回路１４，２４に供給される。量子化回路１４，２４は、量子化情報作成部４からの量子化係数に基づいて入力されたＤＣＴ係数を量子化するようになっている。

次に、このように構成された実施の形態の動作について図５のフローチャートを参照して説明する。

画像撮像部２は、撮像して得た画像信号をＭＰＥＧ４規格の４：２：０画像フォーマットで出力する。このＹＵＶ画像信号は動画像符号化部５に供給される。本実施の形態においては、画像撮像部２の撮像と同時に加速度検出部３において、カメラ部１を収納するカメラ筐体自体の動きを検出している（ステップＳ１）。加速度検出部３からの動きベクトルは量子化情報作成部４に供給される。

画像撮像部２の出力は動画像符号化部５の動き検出回路１２に与えられる。動き検出回路１２は、動き補償フレーム間符号化処理のために撮像画像の動きを検出する。動き検出回路１２が検出する画像の動きは、被写体の動きとカメラ筐体の動きとの和である。動き検出回路１２は検出した動きベクトルをＤＣＴ回路１３に出力する。ＤＣＴ回路２３は、入力された画像に対して、フレーム内符号化ＶＯＰのためのＤＣＴ処理を行う。ＤＣＴ回路１３は、図示しないメモリに記憶されている参照画像と画像撮像部２からの現画像との差分の予測誤差についてＤＣＴ処理を行う。なお、フレーム内符号化ＶＯＰは、複数枚のフレーム間符号化ＶＯＰに１枚挿入される。ＤＣＴ回路１３，２３からのＤＣＴ係数は夫々量子化回路１４，２４に与えられる。

量子化回路１４，２４は、夫々入力されたＤＣＴ係数に、後述する量子化係数を用いて量子化処理を施して、可変長符号化回路１５，２５に出力する。可変長符号化回路１５，２５は、入力された量子化出力に可変長符号化処理を施して、符号化出力を出力する。

可変長符号化回路１５，２５の出力は一旦出力バッファ１６に蓄積される。出力バッファ１６は、符号化出力を一定レートで出力するために、バッファリングを行う。即ち、可変長符号化回路１５，２５からの発生符号量が大きくなると出力バッファ１６のバッファ占有量が大きくなり、可変長符号化回路１５，２５からの発生符号量が小さくなると出力バッファ１６のバッファ占有量も小さくなる。出力バッファ１６は、バッファ占有量の情報を量子化情報作成部４に出力する。

量子化情報作成部４は、ステップＳ２において、出力バッファ１６のバッファ占有量の情報を取得する。量子化情報作成部４は、図３の特性に従って、バッファ占有量に応じた量子化係数を算出する（ステップＳ３）。量子化情報作成部４は、算出した量子化係数をカメラ筐体本体の動きに基づいて補正する。

先ず、量子化情報作成部４は、バッファ占有量が所定の閾値を超えているか否かによって、カメラ筐体本体の動きに基づく量子化係数の補正特性を選択する（ステップＳ４）。通常のバッファ占有量である場合には、量子化情報作成部４は図４の特性Ａを選択する。量子化情報作成部４は図４の特性Ａに従って、バッファ占有量に基づく量子化係数を補正する（ステップＳ５）。即ち、所定の動き量以上では、動き量に応じて量子化係数を大きくし、所定の動き量以下では、動き量に拘わらず一定の量子化係数に設定する。

また、量子化情報作成部４は、バッファ占有量が十分に小さい場合には、図４の特性Ｂを選択する。特性Ｂにおいては、カメラ筐体本体の動き量が小さい場合でも動き量に応じて量子化係数を小さくする。

量子化情報作成部４からの量子化係数は、動画像符号化部５内の量子化回路１４，２４に与えられる。量子化回路１４，２４は、量子化情報作成部４からの量子化係数に基づいてＤＣＴ係数を量子化することにより、発生符号量を規定レート内に維持する。

例えば、いま、手振れが小さい等の理由によって、加速度検出部３が検出する動きが小さいものとする。この場合には、バッファ占有量が通常であるものとすると、図４の特性Ａの量子化係数一定の領域に相当し、量子化情報作成部４は、略図３の特性のみによって量子化係数を生成する。この場合には、動き検出回路１２は、被写体の動きを十分に検出することができ、予測誤差は小さい。これにより、量子化回路１４からの量子化出力に基づく符号化出力のレート制御は容易となり、出力バッファ１６にはオーバーフローが生じなく、アンダーフローも生じにくくなる。

次に、手振れ等の理由によって、加速度検出部３が検出する動きが大きいものとする。この場合には、動き検出回路１２は、被写体の動きを十分に検出することができず、予測誤差は大きくなる。この場合でも、出力バッファ１６からのバッファ占有量は、前回の符号化出力の発生符号量に基づく値となっており、図３に基づく量子化係数では、発生符号量が増大してしまう。

本実施の形態においては、量子化情報作成部４は、図３に基づく量子化係数を図４の特性Ａ又はＢによって補正する。即ち、この場合には、カメラ筐体の動きが大きいので、量子化情報作成部４は、十分に大きな量子化係数を発生する。量子化回路１４，２４がこの量子化係数を用いて量子化を行うことにより、量子化出力の低域成分は０が連続する確率が大きくなって、可変長符号化回路１５，２５からの発生符号量が増大することを抑制することができる。

このように本実施の形態においては、カメラ筐体の動きを検出して量子化係数を制御しており、動き補償予測符号化のための動き検出精度が低い場合でも、発生符号量を抑制して、出力バッファがオーバーフローすることを防止し、アンダーフローを起こし難くすることができる。これにより、撮像画像がぎくしゃくすることを防止することができ、高品位の画像を得ることができる。

なお、上記実施の形態においては、量子化情報作成部は図３及び図４の特性に基づいて量子化係数を発生したが、図３及び図４の特性以外の特性によって量子化係数を発生させてもよい。例えば、カメラ筐体の動きが大きい場合には、カメラ筐体の動きのみに基づいて量子化係数を決定してもよい。

また、上記実施の形態においては、ＭＰＥＧ４規格で採用される符号化方式の例について説明したが、他の可変長符号化方式にも適用可能であることは明らかである。

本発明の一実施の形態に係る撮像装置を示すブロック図。図１中の動画像符号化部５の具体的な構成を示すブロック図。量子化情報作成部４によるバッファ占有量に基づく量子化係数の生成方法の一例を説明するためのグラフ。量子化情報作成部４による動きベクトルに基づく量子化係数の補正量の一例を説明するためのグラフ。実施の形態の動作を説明するためのフローチャート。

符号の説明

１…カメラ部、２…画像撮像部、３…加速度検出部、４…量子化情報作成部、動画像符号化部。
代理人弁理士伊藤進

Claims

被写体を撮像して画像信号を得る撮像部と、
前記撮像部によって得た画像信号を可変長符号化して符号化出力を出力する符号化手段と、
前記撮像部の動きを検出する加速度検出手段と、
前記加速度検出手段が検出した動きに基づいて前記可変長符号化における符号化特性を決定する符号化特性決定手段とを具備したことを特徴とする撮像装置。
前記符号化手段は、量子化処理を含む可変長符号化処理を行い、
前記符号化特性決定手段は、前記加速度検出手段が検出した動きに基づいて前記量子化係数を決定することを特徴とする請求項１に記載の撮像装置。
前記符号化手段は、前記可変長符号化後の符号化出力をバッファリングする出力バッファを有し、
前記符号化特性決定手段は、前記出力バッファのバッファ占有量及び前記加速度検出手段が検出した動きに基づいて前記量子化係数を決定することを特徴とする請求項２に記載の撮像装置。