JP2009130554A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】回路規模を削減でき、かつ、シャッタータイムラグを低減できる撮像装置を提供する。
【解決手段】電子ズーム回路５は、撮像部３から入力される非圧縮映像を縮小してプレビュー映像を生成し、符号化回路７は、非圧縮映像を符号化して圧縮画像を生成し、セレクタ９は、プレビュー映像と圧縮画像とのいずれかを出力するように切替動作する。符号化制御部１５１は、セレクタ９によりプレビュー映像が選択されている間に、符号化回路７に非圧縮映像の符号化を繰り返し試行させて、圧縮画像のファイルサイズが指定ファイルサイズに収束するように圧縮率を制御する。セレクタ制御部１５５は、プレビュー映像から圧縮画像への変更要求が発生したときに、圧縮画像を出力するようにセレクタ９を切り替える。
【選択図】 図１

Description

本発明は、指定ファイルサイズの圧縮画像を生成するように圧縮率を制御する機能を有する撮像装置に関する。

従来、デジタルカメラや携帯電話用のカメラなど、固体撮像素子を搭載した撮像装置が普及している。この種の撮像装置は、可変長符号化による非可逆圧縮（Lossy圧縮）を撮像画像に施して圧縮画像を記録するように構成されている。符号化規格としてはＪＰＥＧが知られている。

従来の撮像装置は、記録する圧縮画像のファイルサイズを固定長（すなわち指定ファイルサイズ）にするために、符号化器の前段にフレームメモリを備えており、フレームメモリを用いて最適な圧縮率を算出する。この場合、シャッターが押されると、撮影画像がフレームメモリに保持される。そして、圧縮率を変えながら、フレームメモリの画像に対して符号化処理が繰り返し行われる。これにより収束演算が行われて、指定ファイルサイズの圧縮画像が得られる圧縮率が求められる。撮像装置は、この圧縮率で符号化処理された指定ファイルサイズの圧縮画像を記録する。

ただし、上記の圧縮率算出は、符号化を繰り返して最適な圧縮率を求めるために多大な時間がかかる。この圧縮率算出時間を短縮するための技術が特許文献１に開示されている。この従来技術は、主として連写モードに着目している。連写モードでは、連写間隔の間に圧縮率の計算を終える必要がある。そのため、圧縮率の計算時間が、連写間隔の制約になる。そこで、従来技術は、連写モードが設定されているとき、圧縮率の初期値を一つ前の撮像画像の圧縮率と等しく設定し、そして、この初期値を開始点として最適圧縮率を計算する。連写モードでは連続する２つの画像が似ているので、上記の初期値設定により、初期値から最適圧縮率に到達するまでの時間を短縮できる。なお、この従来技術は、フレームメモリに保持された画像を用いて圧縮率を計算しており、この点では、既に述べた従来技術と同様である。
特開平３−２６７８７７号公報

しかしながら、従来の撮像装置においては、圧縮率を算出するためのフレームメモリを実装する必要があり、その分だけ回路規模が大きいという問題があった。また、フレームメモリに撮影画像を保持しておいて符号化を繰り返し行うので、圧縮率計算に時間がかかり、このことが、指定ファイルサイズの画像を得るまでの処理に遅延を生じさせ、シャッタータイムラグを増大させるという問題があった。

この点に関し、上述した特許文献１では、連写モードにて１つ前の画像の圧縮率を初期値として圧縮率の収束演算を行うことにより、圧縮率の計算時間を短縮している。しかし、フレームメモリに撮影画像を保持しておいて符号化を繰り返している点で従来技術と同じであり、計算時間の短縮に限界がある。また、フレームメモリを備えているので、その分だけ回路規模は大きい。

本発明は、従来の問題を解決するためになされたもので、その目的は、回路規模を削減でき、かつ、シャッタータイムラグを低減できる撮像装置を提供することにある。

本発明の撮像装置は、被写体を撮像して非圧縮映像を生成する撮像部と、前記非圧縮映像を縮小してプレビュー映像を生成する電子ズーム回路と、前記非圧縮映像を符号化して圧縮画像を生成する符号化回路と、前記プレビュー映像と前記圧縮画像とのいずれかを出力するように切替動作するセレクタと、前記符号化回路による符号化の圧縮率を制御する符号化制御手段と、前記セレクタの切替えを制御するセレクタ制御手段と、を備え、前記符号化制御手段は、前記セレクタにより前記プレビュー映像が選択されている間に、前記符号化回路に前記非圧縮映像の符号化を繰り返し試行させて、前記圧縮画像のファイルサイズが前記指定ファイルサイズに収束するように圧縮率を制御し、前記セレクタ制御手段は、前記プレビュー映像から前記圧縮画像への変更要求が発生したときに、前記圧縮画像を出力するようにセレクタを切り替えて、前記指定ファイルサイズに収束するように制御された圧縮率にて圧縮された前記圧縮画像を出力する。

この構成により、プレビュー中に生成される非圧縮映像信号の符号化を繰り返し行うことにより、圧縮画像のファイルサイズが指定ファイルサイズに収束するように圧縮率が制御される。プレビュー中及びシャッター押下げ時の画像の変化は比較的小さいと考えられるので、上記の処理によって適切な圧縮率が求められる。そして、プレビュー映像から圧縮画像への変更要求が発生すると、セレクタが圧縮画像を出力するように切り替わり、これにより、指定ファイルサイズに収束するように制御された圧縮率で圧縮された圧縮画像を出力する。したがって、プレビュー中の非圧縮画像を用いて圧縮率を求めるので、圧縮率算出用のフレームメモリが不要になり、回路規模を削減できる。また、プレビュー中に圧縮率を制御するので、指定ファイルサイズの撮像画像を得るまでの時間を短縮でき、シャッタータイムラグを低減できる。

本発明の別の態様は、被写体を撮像して非圧縮映像を生成し、前記非圧縮映像を縮小してプレビュー映像を生成し、前記非圧縮映像を符号化して圧縮画像を生成し、前記プレビュー映像と前記圧縮画像とのいずれかを出力するように切替を行う撮像方法であって、前記セレクタにより前記プレビュー映像が選択されている間に、前記非圧縮映像の符号化を繰り返し試行して、前記圧縮画像のファイルサイズが前記指定ファイルサイズに収束するように圧縮率を制御し、前記プレビュー映像から前記圧縮画像への変更要求が発生したときに、前記圧縮画像を出力するように切替えを行い、前記指定ファイルサイズに収束するように制御された圧縮率にて圧縮された前記圧縮画像を出力する。この方法によっても上述した本発明の利点が得られる。

本発明は、プレビュー中に非圧縮画像の符号化を繰り返して適切な圧縮率を求めておく構成を設けることにより、回路規模を削減でき、かつ、シャッタータイムラグを低減できる撮像装置を提供することができる。

以下、本発明の実施の形態に係る撮像装置について、図面を用いて説明する。

本発明の実施の形態に係る撮像装置を図１に示す。撮像装置１は、例えばデジタルスチルカメラ（ＤＳＣ）であり、また例えば携帯電話に搭載される小型カメラである。

図１に示されるように、撮像装置１は、被写体を撮像して非圧縮映像を生成する撮像部３と、撮像部３から入力される非圧縮映像を縮小してプレビュー映像を生成する電子ズーム回路５と、非圧縮映像を符号化して圧縮画像を生成する符号化回路７と、プレビュー映像と圧縮画像とのいずれかを出力するように切替動作するセレクタ９と、映像を表示する表示部１１と、ユーザにより操作される操作部１３と、符号化回路７およびセレクタ９を含む装置全体を制御する制御部１５とを備える。

上記構成のうち、電子ズーム回路５および符号化回路７は、撮像部３とセレクタ９の間に並列に配置されている。すなわち、撮像装置１は２つの系、すなわち、電子ズーム回路５を通ってプレビュー映像を生成するプレビュー系（非圧縮系）と、電子ズーム回路５を通らずに符号化回路７を通って圧縮画像を生成する符号化系（圧縮系）とを備える。そして、これら２つの系により、プレビュー映像生成と符号化とが同時に別々に行われる。このような構成を利用して、プレビュー表示中、制御部１５が符号化回路７を制御して非圧縮映像信号の符号化を繰り返し、指定ファイルサイズを達成できる圧縮率を計算しておく。そして、シャッターが押されると、セレクタ９がプレビュー系から符号化系に切り替わり、符号化された指定ファイルサイズの圧縮画像が、復号処理を経て表示部１１に表示され、また、メモリ等の記録媒体に記録される。

以下、撮像装置１の各構成要素について説明する。撮像部３は、レンズ、撮像素子等で構成され、被写体像を電気信号に変換することによって非圧縮映像信号を生成する。非圧縮映像信号は連続するフレームの信号であり、各フレームは非圧縮画像である。撮像部３は、電子ズーム回路５および符号化回路７へと接続されており、非圧縮映像信号を電子ズーム回路５および符号化回路７へと出力する。

電子ズーム回路５は、撮像部３から入力される非圧縮映像を縮小してプレビュー映像信号を生成する。プレビュー映像信号は、低サイズ、高フレームレートの映像信号である。

符号化回路７は、非圧縮映像信号を符号化して圧縮画像信号（符号化信号）を生成する。符号化回路７はＪＰＥＧ符号化回路であり、ＪＰＥＧの符号化処理を行う。符号化回路７は、符号化処理において符号化量を計測する機能を有する。符号化量は、符号化により生成された圧縮画像のファイルサイズに対応する。符号化回路７は、符号化量を制御部１５に供給する。また、符号化回路７は、制御部１５により制御され、制御部１５から供給された圧縮率（ＪＰＥＧ圧縮率）にて符号化を行う。

電子ズーム回路５および符号化回路７は、セレクタ９に接続される。電子ズーム回路５からセレクタ９へプレビュー映像信号が供給され、符号化回路７からセレクタ９へ圧縮画像信号が供給される。セレクタ９は、制御部１５の制御下で、電子ズーム回路５を通るプレビュー系と、電子ズームをかけずに符号化回路７を通る符号化系の一方を選択するように構成されており、プレビュー映像信号と圧縮画像信号とのいずれかを出力するように切替動作する。セレクタ９は表示部１１へと接続され、表示部１１は、セレクタ９から供給される画像を表示する。セレクタ９が符号化系に切り替えられたときは、圧縮画像信号に対して図示されない復号回路で復号処理が行われて、復号画像が撮像画像として表示される。また、圧縮画像信号は図示されない記録媒体に記録される。

操作部１３は、ユーザに操作されて、ユーザ操作を示す信号を制御部１５に供給する。操作部１３は、シャッター１３１と指定サイズ入力部１３３を有する。シャッター１３１はボタン等で構成され、シャッターが押されたときにシャッター信号を操作部１３に供給する。指定サイズ入力部１３３は、指定ファイルサイズを入力する。指定ファイルサイズは、圧縮画像のファイルサイズの指定値すなわち固定値である。指定ファイルサイズを示す信号も操作部１３へと供給される。

制御部１５は、マイクロコンピュータで構成されており、撮像装置１の全体を制御する。制御部１５は、本発明の特徴に関連する構成として、符号化制御部１５１、要求発生部１５３、およびセレクタ制御部１５５を有する。

符号化制御部１５１は、符号化回路７を制御して符号化処理を行わせる。特に、符号化制御部１５１は、圧縮画像のファイルサイズが指定ファイルサイズになるように圧縮率を制御する。

圧縮率の制御は、以下のようにして行われる。符号化回路７は、符号化制御部１５１の制御下で、撮像部３から入力される毎フレームに対して符号化を行う。符号化回路７は、各フレームの符号化量を計算して、符号化制御部１５１に供給する。符号化制御部１５１は、こうして得られる実際の圧縮結果である符号化量データを基に圧縮率を変更する。ここでは、圧縮画像のファイルサイズが指定ファイルサイズに近づくように、圧縮率の予測演算が行われる。予測された圧縮率が、符号化制御部１５１から符号化回路７に供給される。符号化回路７は、符号化制御部１５１から指示された圧縮率を用いて次のフレームの符号化を行う。上記の符号化と圧縮率演算が符号化制御部１５１の下で繰り返される。これにより、圧縮画像のファイルサイズが指定ファイルサイズに収束するように圧縮率を制御することができる。

ここで、上記の処理においては、符号化制御部１５１が符号化回路７に符号化命令を送り、順次入力される各フレームの符号化を行わせる。この符号化は、シャッターが押される前のプレビュー中に入力されたフレームに対しても、シャッターが押されたときに入力されたフレームに対しても、その後に入力されたフレームに対しても継続的に行われ、要するに常時符号化が行われる。各フレームの符号化を繰り返しながら、フレーム毎に圧縮率の予測演算が行われる。したがって、指定ファイルサイズが達成されるように圧縮率が常時制御され続ける。

要求発生部１５３は、プレビュー映像から圧縮画像への変更要求を発生する。この変更要求は、シャッター１３１が押されてシャッター信号が制御部１５に入力されたときに発生する。プレビュー映像が低サイズであり、圧縮画像がフルサイズであるので、この変更要求を、以下、サイズ変更要求と呼ぶ。

セレクタ制御部１５５は、セレクタ９を制御して切替動作を行わせる。具体的構成としては、セレクタ制御部１５５はレジスタによって実現されてよい。そして、セレクタ９がレジスタの状態に応じて切替動作を行ってよい。

セレクタ制御部１５５は、シャッターが押されてサイズ変更要求が発生する前は、プレビュー映像信号を出力するようにセレクタ９を動作させる。すなわち、セレクタ制御部１５５は、セレクタ９に、プレビュー系を選択させる。シャッター１３１が押されて要求発生部１５３がサイズ変更要求を発生すると、セレクタ制御部１５５は、セレクタ９にプレビュー系から圧縮系への切替動作を行わせる。

以上に、本実施の形態に係る撮像装置１の構成について説明した。次に、図２および図３を参照し、撮像装置１の動作を説明する。

図２は、撮像装置１の全体的な動作を示している。操作部１３の電源スイッチがユーザにより操作されて撮像装置１が起動すると、プレビュー表示が開始し、同時に圧縮率制御が開始する（Ｓ１）。ここでは、撮像部３から電子ズーム回路５および符号化回路７へ非圧縮映像信号が供給される。電子ズーム回路５はプレビュー映像信号を生成する。セレクタ９は制御部１５のセレクタ制御部１５５により制御されて、電子ズーム回路５側を選択する。したがって、プレビュー映像信号がセレクタ９を通って表示部１１に供給され、プレビュー映像が表示される。

プレビュー表示中、制御部１５の符号化制御部１５１は、符号化命令を送って符号化回路７に非圧縮映像信号を符号化させる。毎フレームの画像が符号化され、符号化量データが符号化制御部１５１に送られる。符号化制御部１５１は、符号化量を基に、圧縮率予測演算を行って、符号化量を目標値である指定ファイルサイズに近づけるように次のフレームの圧縮率を計算し、算出した圧縮率を符号化回路７に送る。符号化回路７は、符号化制御部１５１から指示された圧縮率にて次のフレームを符号化し、符号化量データを符号化制御部１５１に送る。このようにして符号化処理と圧縮率計算とが繰り返されて、圧縮率が制御される。

図３は、圧縮率制御処理を示すフローチャートである。符号化制御部１５１は、符号化回路７から符号ファイルサイズを受け取ると、符号ファイルサイズが指定ファイルサイズの許容範囲に入っているか否かを判定する（Ｓ１１）。符号ファイルサイズは、符号化された画像のファイルサイズであり、上述の符号化量に相当する。指定ファイルサイズは、指定サイズ入力部１３３への操作に従って制御部１５にて指定されている。指定ファイルサイズの中央値が制御部１５に保持されており、また、指定ファイルサイズの許容範囲も予め設定されている。

ステップＳ１１の判定結果がＮＧであり、すなわち、符号ファイルサイズが指定ファイルサイズの許容範囲外である場合、符号化制御部１５１は、圧縮率の予測演算を行う（Ｓ１３）。予測演算は、符号ファイルサイズを指定ファイルサイズに収束させるように決められている。予測演算の例を下記に示す。

「圧縮率」＝「前回圧縮率」×「前回符号ファイルサイズ」÷「指定ファイルサイズ」

前回符号ファイルサイズとは、前回圧縮率を用いた符号化処理にて計測された符号ファイルサイズである。本発明の範囲内で、符号化制御部１５１は、符号ファイルサイズを指定ファイルサイズに収束させることができる他の予測演算を行ってもよい。

ステップＳ１１の判定結果がＹＥＳであり、すなわち、符号ファイルサイズが指定ファイルサイズの許容範囲内である場合、圧縮率が保持される（Ｓ１５）。図３の処理をフレーム毎に繰り返すことにより、圧縮画像のファイルサイズが指定ファイルサイズに収束するように圧縮率が継続的に制御される。

図２に戻り、制御部１５は、プレビュー開始後、サイズ変更要求が発生したか否かを判定する（Ｓ３）。サイズ変更要求が発生していなければ、上述のプレビュー表示と圧縮率制御が継続される。プレビュー中にシャッター１３１が押されると、制御部１５の要求発生部１５３がサイズ変更要求を発生し、Ｓ３の判定がＹＥＳになる。サイズ変更要求が発生すると、セレクタ制御部１５５がセレクタ９を制御して、セレクタ９を符号化回路７の側へ切り替える（Ｓ５）。符号化制御部１５１は、プレビュー中と同様に、サイズ変更要求が発生したときも、符号化回路７に非圧縮映像信号を符号化させ、圧縮率を制御する。したがって、Ｓ５の切替後、即座に、圧縮画像がセレクタ９を通って出力され、撮像画像が表示される（Ｓ７）。

以上に撮像装置１の動作について説明した。上述したように、撮像装置１においては、プレビュー中から符号化処理が繰り返される。すなわち、シャッターが押される前であって記録されない非圧縮画像信号に対して符号化が繰り返し試行されて、圧縮率が制御されており、この点が従来技術と異なっている。従来技術では、シャッターが押されてから初めて指定ファイルサイズを達成する圧縮率が計算される。しかも、圧縮率は、記録対象の撮像画像を用いて計算される。そのため、従来技術は、圧縮率が収束するまで撮像画像を保持するフレームメモリを必要としていた。これに対して、本発明は、プレビュー中の映像信号を用いて圧縮率を制御するので、上記のような圧縮率計算のためのフレームメモリを設ける必要がない。

また、上記のように撮像装置１が動作するので、プレビュー中から、指定ファイルサイズが達成されるように圧縮率を制御しながら、非圧縮映像信号の毎フレームが符号化されている。したがって、シャッターが押されたときにセレクタ９を切り替えるだけで、遅延無しに即座に撮像画像が表示部１１に表示される。このようにして、フレーム間欠無しに撮影画像を表示でき、シャッター後に圧縮率の収束計算を開示する場合のようなタイムラグをなくすことができる。

最後に、本実施の形態が適用された場合のファイルサイズの精度について説明する。本実施の形態では、上記のようにプレビュー中の映像信号を用いて圧縮率が予測されている。記録すべき実際の撮影画像が圧縮率計算に使われていない。プレビュー表示中とシャッター時とでは被写体が完全に同一ではない。この被写体の変化が、指定ファイルサイズに対する実際のファイルサイズの誤差の原因になり、そのため、本実施の形態では、圧縮画像のファイルサイズがばらつく。

しかし、通常の撮影においては、ユーザは、プレビュー表示中の撮像装置の姿勢を極力保ち、そしてシャッターを押す。したがって、プレビュー中とシャッター押下げ時の被写体の変換は比較的小さいと考えられる。被写体の変化が小さいので、プレビュー中の映像信号を使っても適切な圧縮率を求めることができ、ファイルサイズの誤差も比較的小さく抑えられる。ただし、上記のようにファイルサイズの誤差は小さいものの存在するので、本実施の形態は、ファイルサイズの多少のばらつきを許容する撮像装置に好適に適用される。

以上に本発明の好適な実施の形態について説明した。本実施の形態によれば、プレビュー中に生成される非圧縮映像信号の符号化を繰り返し行うことにより、圧縮画像のファイルサイズが指定ファイルサイズに収束するように圧縮率が制御される。プレビュー中及びシャッター押下げ時の画像の変化は比較的小さいと考えられるので、上記の処理によって適切な圧縮率が求められる。そして、プレビュー映像から圧縮画像への変更要求が発生すると、セレクタが圧縮画像を出力するように切り替わり、これにより、指定ファイルサイズに収束するように制御された圧縮率で圧縮された圧縮画像を出力する。したがって、プレビュー中の非圧縮画像を用いて圧縮率を求めるので、圧縮率算出用のフレームメモリが不要になり、回路規模を削減できる。また、プレビュー中に圧縮率を制御するので、指定ファイルサイズの撮像画像を得るまでの時間を短縮でき、シャッタータイムラグを低減できる。

以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。

以上のように、本発明にかかる撮像装置は、プレビュー中に非圧縮画像の符号化を繰り返して適切な圧縮率を求めておく構成を設けることにより、回路規模を削減でき、かつ、シャッタータイムラグを低減できるという効果を有し、デジタルスチルカメラや携帯電話用カメラ等として有用である。

本発明の実施の形態における撮像装置のブロック図 本発明の実施の形態における撮像装置の動作を示すフロー図 圧縮率の予測演算処理を示すフロー図

符号の説明

１ 撮像装置
３ 撮像部
５ 電子ズーム回路
７ 符号化回路
９ セレクタ
１１ 表示部
１３ 操作部
１５ 制御部
１３１ シャッター
１３３ 指定サイズ入力部
１５１ 符号化制御部
１５３ 要求発生部
１５５ セレクタ制御部

Claims (2)

1. 被写体を撮像して非圧縮映像を生成する撮像部と、
   前記非圧縮映像を縮小してプレビュー映像を生成する電子ズーム回路と、
   前記非圧縮映像を符号化して圧縮画像を生成する符号化回路と、
   前記プレビュー映像と前記圧縮画像とのいずれかを出力するように切替動作するセレクタと、
   前記符号化回路による符号化の圧縮率を制御する符号化制御手段と、
   前記セレクタの切替えを制御するセレクタ制御手段と、
   を備え、
   前記符号化制御手段は、前記セレクタにより前記プレビュー映像が選択されている間に、前記符号化回路に前記非圧縮映像の符号化を繰り返し試行させて、前記圧縮画像のファイルサイズが前記指定ファイルサイズに収束するように圧縮率を制御し、
   前記セレクタ制御手段は、前記プレビュー映像から前記圧縮画像への変更要求が発生したときに、前記圧縮画像を出力するようにセレクタを切り替えて、前記指定ファイルサイズに収束するように制御された圧縮率にて圧縮された前記圧縮画像を出力することを特徴とする撮像装置。
2. 被写体を撮像して非圧縮映像を生成し、
   前記非圧縮映像を縮小してプレビュー映像を生成し、
   前記非圧縮映像を符号化して圧縮画像を生成し、
   前記プレビュー映像と前記圧縮画像とのいずれかを出力するように切替を行う撮像方法であって、
   前記セレクタにより前記プレビュー映像が選択されている間に、前記非圧縮映像の符号化を繰り返し試行して、前記圧縮画像のファイルサイズが前記指定ファイルサイズに収束するように圧縮率を制御し、
   前記プレビュー映像から前記圧縮画像への変更要求が発生したときに、前記圧縮画像を出力するように切替えを行い、前記指定ファイルサイズに収束するように制御された圧縮率にて圧縮された前記圧縮画像を出力することを特徴とする撮像方法。