JP2006024993A - 撮像信号処理装置 - Google Patents

Abstract

【課題】ディジタルカメラにおいて、撮像素子から出力されるローデータをＳＤＲＡＭメモリに一時記憶し、ＪＰＥＧ圧縮処理を行った後、外部メモリに半永久記録保存している。しかしながら撮像素子のメガピクセル化により画素数が増加し、ＪＰＥＧ処理量が増加し、ＪＰＥＧ処理速度が連写速度を制限するようになってきている。
【解決手段】1フレーム前のブロックメモリと本フレームのブロックメモリを比較して、閾値以内の誤差範囲であれば、1フレーム前のＪＰＥＧ画像を呼び出す画像番号を外部メモリに一時記憶する。時間的余裕ができたときにその記憶された1フレーム前の画像番号に対応するＪＰＥＧデータを、本フレームの画像番号に合致するところに再度記録する。以上の方法により連写時において、ＪＰＥＧ処理量を軽減する。
【選択図】図３

Description

本発明は、ＣＣＤ（Charge Coupled Device）やＭＯＳ（Metal Oxide Semiconductor）イメージセンサ等の撮像素子からの画素信号にデジタル信号処理を施して得られた画像データと、デジタルビデオインターフェースを介して外部から入力された、例えばＩＴＵ−Ｒ６５６（国際電気通信連合 勧告第６５６号）規格に準拠した画像データの両データフォーマットに対応した画像情報を連続した高精細度の静止画を記録処理するデジタルカメラ等の撮像信号処理装置に関するものである。

動画及び静止画を撮影できる携帯型のデジタルカメラ装置において、ＣＣＤやＭＯＳイメージセンサなどの撮像素子からインタレーススキャン方式、及びプログレッシブスキャン方式で得られた画像データは、例えば静止画のＪＰＥＧ（Joint Photographic Image Coding Experts Group）や動画のＭＰＥＧ４方式又はＪＰＥＧ２０００に従った符号化により圧縮処理が施された後、磁気テープ、磁気ディスク、光ディスク、及び半導体メモリーカード等の着脱可能な記録媒体に記録される。また逆にこの記録媒体から読み出されて、それぞれＪＰＥＧ、ＭＰＥＧ４、ＪＰＥＧ２０００規格に従った復号化により伸長処理が施され、画像データは表示に適したサイズまで拡大処理されて、液晶ディスプレイ等でモニタすることができる。

かかるデジタルカメラ装置では、ＣＣＤからの入力信号をまず比較的安価なＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）等のメモリに一時記憶し、次にその一時記憶から読み出し、拡大又は縮小等のズーム処理などの信号処理演算を行い、演算後のデータを再度ＳＤＲＡＭに一時記憶し、これを読み出してＪＰＥＧ圧縮処理を施して記録に適した規格化された圧縮データに変換し、それを再度ＳＤＲＡＭに一時記憶し、その後ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）制御等により高速にＳＤＲＡＭから読み出して外部の半永久保存メモリへ出力される。

以上がデジタルスチルカメラの1枚静止画撮影つまりいわゆる単写撮像時の信号処理の例である。近年デジタルカメラにおいても単写の信号処理を連続して撮影する連続撮影撮影モードつまりいわゆる連写が一般に使用されるようになってきた。しかしながらメガピクセル対応により画素数が増加するに伴い、ＳＤＲＡＭへの一時記憶のインターフェースおよびＳＤＲＡＭのアクセス部分がネックとなり、連写速度を制限するようになってきている。そこで、メモリ制御回路とメモリ回路を複数個用いて高速化することにより、連写速度を改善する方法が提案されている（例えば、特許文献１参照）。
図９と図１０は、かかるスチルカメラに用いられる連写速度向上における構成図とタイミング図である。以下、図９を参照して、従来の連写時における高速化について説明する。まず構成を説明する。システム制御部とそれにより制御されるシャッター制御部、及びシステム制御部に接続されるバス、及びシャッター制御部により制御されるシャッター、及び光の画像を撮像する撮像と、Ａ／Ｄと、メモリ制御と、画像表示メモリと、画像処理部と、メモリ部と、圧縮伸張部、及びメモリの内容を画像に表示するＤ／Ａ部と画像表示部と、メモリ制御部より指示さえてタイミング発生を行い、撮像、Ａ／Ｄ、Ｄ／Ａ、に必要なタイミングを送っている。さらに半永久記録部としてＩ／Ｆ部を２系統有し、また記録部も２系統有している。

次に動作を説明する。シャッター制御により制御されたシャッターにより、必要な光が撮像素子にあてられ、露光する。撮像素子はタイミング発生部からのタイミングにより電気的に読み出され、Ａ／Ｄコンバータによりデジタル信号に変換された後、メモリ制御部により指定された画像表示メモリとメモリに適宜書き込む。画像を表示装置に表示する場合は画像表示メモリからリードして、Ｄ／Ａでアナログ信号に変換された後、画像表示される。一方記録はメモリにライトされた画像データをリードしてきて圧縮し、Ｉ／Ｆを経由して外部の記録部に記録する。連写においては、バスを経由してメモリへローデータをライトする操作とメモリからリードする操作が必要となり、この処理速度が連写のデータ処理速度の制約になっていた。本従来例においては、この課題を解決すべく、メモリ制御部とメモリと圧縮伸張をパイプライン化することにより図９に示すように、ローデータをメモリにライトする処理と、メモリからリードする処理を平行して行うようにしている。つまり図１０に示すようにシャッターＳＷ２が開いている間に撮像処理が連写３回行われる。撮像処理の１枚目が終わって２枚目から現像圧縮処理を平行して行える。さらに書き込み処理は現像圧縮処理の１枚目が終わって２枚目から書き込み処理を平行して行える。このようにしてメモリを共用する撮像処理と現像圧縮処理と書き込み処理を平行して行うことができるので、メモリとメモリ制御を２系統もつことにより連写が高速化できる。
特開２００２−１９９３２８号公報

上記の従来例によれば、連写時のメモリ制御速度を改善することは可能である。しかしながら、さらにＣＣＤの画素数が増大し、現像圧縮処理時間がよりかかるようになると、今度は現像圧縮処理時間が大幅にかかるようになり連写速度を制約するという問題がおこるようになった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、連写時にＪＰＥＧ等の現像圧縮処理量を軽減する装置、方法を提供することにある。
１つには、画像圧縮のＤＣＴコアを複数個構成することにより、圧縮処理をパイプライン化して次のローデータのライト処理中にデータ圧縮を完了する手段を提供するものであり、
２つには、被写体が移動しているが、カメラは移動しない場合において、手ぶれを除去した後の１フレーム前のブロックメモリと本フレームのブロックメモリを比較して、閾値以内の誤差範囲であれば、圧縮処理は施さずに、単に1フレーム前のＪＰＥＧ画像を再使用するために1フレーム前のブロック番号を外部メモリに短時間で一時記憶しておき、後で時間に余裕ができたとき、1フレーム前の画像番号をてがかりにＪＰＥＧ圧縮画像を書き込む手段を提供するものであり、
３つには、カメラも被写体に応じて移動した場合であるが、加速度センサにより、カメラ本体の移動を検出した場合のさらに被写体に追随してカメラを移動した場合には1コマ前との移動量を計算して、その移動量を元に戻したときにある誤差範囲に入った小ブロックは、1フレーム前のブロック番号を外部メモリに短時間で一時記憶するようにして、圧縮をおこなわない手段を提供するものである。
本発明の第１の特徴は、
撮像素子部と、前記撮像素子部のデータを一時記憶するメモリ部と、前記メモリ部を制御するメモリ制御部と、前記メモリ部からリードしたデータを信号処理する信号処理部と、前記メモリ部から読み出されたデータをＪＰＥＧ処理する第１のＤＣＴと、第２のＤＣＴと、第１の量子化部と、第２の量子化部と、第１の可変長符号化部と、第２の可変長符号化部と、により構成されるＪＰＥＧ処理部と、前記ＪＰＥＧ処理された圧縮データを記録する外部記録部と、により構成されることを特徴とする撮像信号処理装置であって、圧縮処理をパイプライン化して次フレームのローデータをライト処理中にデータ圧縮を完了することが可能である。
本発明の第２の特徴は、
撮像素子部と、前記撮像素子部のデータを一時記憶するメモリ部と、前記メモリ部を制御するメモリ制御部と、前記メモリ部からリードしたデータを信号処理する信号処理部と、ライト用バッファ部と、手ぶれの方向と加速度を感知する加速度センサ部と、前記加速度センサのデータをもとに手ぶれ量を計算する手ぶれ検出部と、前記手ぶれ検出部からの手ぶれ補正データをもとに本フレームに手ぶれ補正を行う手ぶれ補正部と、前記手ぶれ補正部からのブロックデータと前記メモリ部からの前フレームのブロックデータを比較して、閾値以下か以上かを判定するブロック運動判定部と、前記ブロック運動判定部が閾値以上のとき、ＪＰＥＧ処理を行うＪＰＥＧ処理部と、前記ブロック運動判定部が閾値以下のとき１フレーム前のブロック番号を与えるブロック番号付与部と、リードバッファ部と、前記圧縮処理された圧縮データを記録する外部記録部と、により構成されることを特徴とし、圧縮処理を省略できるところを判断して省略し、次フレームのローデータのライト処理中にデータ圧縮を完了することを可能にする撮像信号処理装置である。
本発明の第３の特徴は、
撮像素子部と、前記撮像素子部のデータを一時記憶するメモリ部と、前記メモリ部を制御するメモリ制御部と、前記メモリ部からリードしたデータを信号処理する信号処理部と、ライト用バッファ部と、被写体を追随した移動方向と加速度を感知する加速度センサ部と、前記加速度センサ部のデータをもとに被写体の移動量を計算する被写体移動検出部と、前記被写体移動検出部からの被写体の移動補正データをもとに本フレームに被写体移動補正を行う被写体移動補正部と、前記手ぶれ補正部からのブロックデータと前記メモリ部からの前フレームのブロックデータを比較して、閾値以下か以上かを判定するブロック運動判定部と、前記ブロック運動判定部が閾値以上のとき、ＪＰＥＧ処理を行うＪＰＥＧ処理部と、前記ブロック運動判定部が閾値以下のとき１フレーム前のブロック番号を与えるブロック番号付与部と、リードバッファ部と、前記圧縮処理された圧縮データを記録する外部記録部と、により構成されることを特徴とし、圧縮処理を省略できるところを判別して省略し、次フレームのローデータのライト処理中にデータ圧縮を完了することを可能にする撮像信号処理装置である。

以上説明したように、本発明によれば、連写撮影において連写速度パフォーマンスの改善をはかることができ、８メガピクセル以上の高画素数の撮像素子で８Ｍピクセル以上のＪＰＥＧ圧縮をリアルタイムで処理することができるという格別な効果を奏する。

（実施例１）
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による画像データ圧縮制御は、デジタルカメラ装置に適用されるものとして説明する。
各部の構成を説明する。
大きなブロックとして、画像を光から電気信号に変換する撮像素子１と、前記撮像素子１に接続されるメモリ制御回路２と、前記メモリ制御回路２により制御されるメモリ３と、前記メモリ３からリードしたデータを信号処理する信号処理部５と、前記メモリ制御回路２により制御される外部記録回路４と、ＪＰＥＧ処理部６とから構成される。
前記ＪＰＥＧ処理部はさらに、ライト用バッファ７と、それに接続されるライト切替制御回路８と、それに接続される第１のＤＣＴ９と、それに接続される第１の量子化回路１０と、第１の可変長符号化回路１１と、前記ライト切替制御回路に接続される第２のＤＣＴ１２と、それに接続される第２の量子化回路１３と、第２の可変長符号化回路１４と、前記第１の可変長符号化回路１１と前記第２の可変長符号化回路１４に接続されるリード用バッファ回路１５に接続される。
各部の機能を説明する。
メモリ制御回路２は撮像素子１からリードしたデータを即メモリへライトする機能を有し、またメモリ３からリードしたデータを信号処理５に与えズーム処理などを行い信号処理５からメモリ３にライトする機能を有し、またメモリ３からリードしたデータをＪＰＥＧ圧縮部６にライトし、さらにＪＰＥＧ圧縮部６からリードしたデータをメモリ３にライトし、最後にメモリ３からリードしたデータを外部記録４にライトする機能を有する。ライト用バッファ回路７はＪＰＥＧ処理部６にライトされたデータをバッファする機能を有する。ライト切替制御回路８は２系列あるＪＰＥＧのＤＣＴ処理の空き状況を管理し、空いているＤＣＴにデータを渡す機能を有する。第１のＤＣＴ９と第２のＤＣＴ１２はＪＰＥＧ処理の直交変換を行う演算回路である。第１の量子化回路１０と第２の量子化回路１３は、ＪＰＥＧの機能であってＤＣＴ後の量子化誤差を丸めてデータ量を削減する機能を有する。第１の可変長符号化回路１１と第２の可変長符号化回路１４はＪＰＥＧ機能であって長さの異なるいわゆる可変長の符号にデータを変換して、データ量を削減する機能を有する。リード用バッファ回路１５はメモリ制御２を経由してメモリ３へライトするまでの時間、第１の可変長符号化回路１１と第２の可変長符号化回路１４からリードされるデータを一時バッファし、メモリ制御２を経由してメモリ３へライトする機能を有する。
次に動作を説明する。
図２は本発明の一実施の形態を説明した動作例を示すタイミング図である。
撮像素子１は露光により光を電気信号に変換する。電気信号はデジタルデータを扱うものとする。連写においては、シャッターを１回押すと連続して露光がおこる。本例は自動的に３枚露光が起こる場合を説明している。一般的に露光１枚目に関しては露光している間はＣＣＤデータを取り出すことはできないため、１枚目の露光終了後１枚目のＣＣＤデータをメモリ制御２により撮像素子１よりメモリ３へ取り込む。次にメモリ３のそのデータをメモリ制御２によりリードし信号処理部５に与え、拡大および縮小などのズーム処理あるいはＣＣＤ傷の補正やホワイトバランスおよび色合いの調整などを行う。そのデータは再度メモリ３にライトする。次にメモリ３からズームされたデータをリードして、ＪＰＥＧ処理部６において静止画の画像圧縮規格であるＪＰＥＧに変換する。ＪＰＥＧは８ｘ８のブロック単位でデータをライトする必要があるため、ズームの信号処理などに比べるとＪＰＥＧのブロックデータの処理量は多い。しかしながら本実施例では、２系統のＤＣＴ、量子化回路と可変長符号化回路を有しているので、ＪＰＥＧ処理の１枚目のデータを２系統に時間分散させることにより、処理速度の向上が可能で、ズーム処理されたデータはすみやかにＪＰＥＧ処理されて、メモリ３へライトされることになる。ズーム処理１枚目の最後のズーム処理が終了した時点ですぐに空いているＤＣＴ（図２では第１のＤＣＴ）でＪＰＥＧ処理が開始可能である。このため画素数が大きくなってもＪＰＥＧ処理時間を要して、連写２枚目のズーム信号処理まで時間がかからなくＪＰＥＧ処理を終了でき、撮像からＪＰＥＧ処理完了までのメモリバス制御が連写１枚目と２枚目にオーバーラップさせなくすることが可能である。ＪＰＥＧ処理後のデータはメモリ制御２によりリードされ、外部記録４にライトされる。
次に連写２枚目の動作であるが、前記連写１枚目の動作のくり返しであるので省略する。
連写３枚目の動作も同様であるので省略する。
このようにして、高画素数における連写時の撮像からＪＰＥＧ処理までの高速化が可能となる。

（実施例２）
図３は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による画像データ圧縮制御は、デジタルカメラ装置に適用されるものとして説明する。
各部の構成を説明する。
大きなブロックとして、画像を光から電気信号に変換する撮像素子１と、前記撮像素子１に接続されるメモリ制御回路２と、前記メモリ制御回路２により制御されるメモリ３と、前記メモリ３からリードしたデータを信号処理する信号処理部５と、前記メモリ制御回路２により制御される外部記録回路４と、画像圧縮処理部１６とから構成される。
前記画像圧縮処理部１６はさらに、メモリ制御２に接続されるライト用バッファ回路７と、加速度センサ１７と、それに接続される手ぶれ検出１８と、それに接続される手ぶれ補正１９と、それに接続されるブロック運動判定２１と、それに接続されるブロックメモリ２０と、それに接続されるＪＰＥＧ処理回路２２と、前記ブロック運動判定に接続される１フレーム前のブロック番号付与回路２３と、前記ＪＰＥＧ処理回路２２と前記１フレーム前のブロック番号付与回路２３に接続されるリード用バッファ回路１５とに接続される。
各部の機能を説明する。
メモリ制御回路２は撮像素子１からリードしたデータを即メモリ３へライトする機能を有し、またメモリ３からリードしたデータを信号処理５に与えズーム処理などを行い信号処理５からメモリ３にライトする機能を有し、またメモリ３からリードしたデータを画像圧縮処理部１６にライトし、さらに画像圧縮処理部１６からリードしたデータをメモリ３にライトし、最後にメモリ３からリードしたデータを外部記録４にライトする機能を有する。ライト用バッファ回路７は画像圧縮処理部１６にライトされたデータをバッファする機能を有する。加速度センサ１７は手の振動の方向と揺れの加速度を検出する機能を有し、手ぶれ検出１８は加速度センサ１７からのデータをもとに現在手ぶれであるかどうかの判断と手ぶれ時においては２次元方向とその補正量を算出する機能を有し、手ぶれ補正１９はライト用バッファ７から入力されるデータを、手ぶれでないときはそのまま処理をせずに通過させ、手ぶれのときは手ぶれ移動方向と移動量を補正して手ぶれを削除した画像データに戻す機能を有し、ブロックメモリ２０は１フレーム前のブロックの画像データを一時記憶する機能を有し、ブロック運動判定２１は手ぶれ補正１９からの該画像ブロックのデータとブロックメモリ２０に一時記憶されている１枚前のフレームの画像ブロックデータを比較し、その差分Ｍが運動判定係数σより大きいときは、そのブロックにおいては当フレームが前フレームから運動していると判断し、また差分Ｍがσより小さいかまたは同じ時は運動していないと判断する機能を有する。ＪＰＥＧ処理２２はブロック運動判定の結果、運動していると判断されたときにＪＰＥＧ処理を行う機能を有し、実施の形態１で説明したＪＰＥＧ処理又は従来からある一般的なＪＰＥＧ処理である。１フレーム前のブロック番号付与２３はブロック運動判定の結果、運動していないと判断されたときに１フレーム前のブロック番号付与を行う機能を有する。
次に動作を説明する。
図４は、実施例２における動作制御手順を示すフローチャートである。
連写１枚目において、撮像素子の露光１枚目ｓ２を行なう。その後撮像２の露光ｓ２期間中に、撮像１ｓ３の処理を行なう。ＣＣＤデータを取り込みｓ４を行い、メモリ制御２により制御されてメモリ３へライトｓ５を行い、信号処理できる単位のデータがメモリ３にライトされた後、メモリ制御の制御によりメモリ３からリードｓ６をおこない、ズーム信号処理回路５にてズーム信号処理ｓ７を行い、その結果をメモリ３へライトｓ８を行い、次に圧縮処理のために、メモリ３からブロック単位でリードｓ９を行い、ライト用バッファ７へライトｓ１０を行い、ブロックメモリ２０へライトｓ１１を行う。次に連写１枚目においてはブロックメモリ２０には前のフレームのデータがないので、すべてＪＰＥＧ処理２２を行なう必要がある。このため連写１枚目である場合は、すべてのブロックをＪＰＥＧ圧縮信号処理２２ｓ２１を行い、その結果をリード用バッファ１５へライトｓ２２を行い、メモリ３へライトｓ２３を行い、メモリ制御２の制御によりメモリ３よりリードｓ２４して外部記録４へライトｓ２５を行なう。一方連写２枚目以降の場合は、加速度センサ１７により手ぶれ検出１８ｓ１３を行い、手ぶれを検出された時は手ぶれ補正１９ｓ１４を行い、手ぶれが検出されない時は何もしない。このデータＳｎと同じブロックの前のフレームのデータＳｎ−１と比較を行い、その差分Ｍ＝Ｓｎ−Ｓｎ−１が運動判定閾値σとブロック運動判定２１ｓ１５においてなされる。この判定でＭ≦σのときは１枚目と２枚目の間で被写体の運動がないものと判断できるので、前のフレームのブロック番号を付与２３ｓ１６して、その値をリード用バッファ１５へライトｓ１７を行い、メモリ制御２による制御によりメモリ３へライトｓ１８を行い、メモリ３からリードｓ１９を行い，外部記録４へライトｓ２０を行なう。もしブロック運動判定２１の判定でＭ＞σのときは１枚目と２枚目の間で被写体の運動があったものと判断できるので、前フレームのデータと異なるので、新規にそのブロックはＪＰＥＧ処理ｓ２１を行ない、その後ｓ２２からｓ２５までの同様の処理を行なう。
このようにして手ぶれのあるときは手ぶれを相殺し、手ぶれのないときはもとのデータを使用し、前のフレームのブロックデータと比較することにより運動しているブロックはＪＰＥＧ処理をし、運動していないブロックは単に前のフレームのブロック番号を返すことにより、運動していないときにＪＰＥＧ処理をしないので、画像圧縮処理時間を短くすることが可能である。
図５は実施例２において、３枚連写時を例に各処理のタイミングを説明した図である。
露光、ＣＣＤデータ取り込み、ズーム処理、外部記録は実施例１と同じ動作であるので説明を省略する。
この例では処理する画素数が多く、連写１枚目の全ＪＰＥＧ処理が連写２枚目の処理の後半まで食い込んでいく場合を説明する。連写1枚目は単写と同じ処理である。
連写２枚目は、処理単位であるブロックのうち、Ｍ＞σで運動状態と判断されたブロックは、ＪＰＥＧ処理を行う。しかし、Ｍ≦σで運動状態でないと判断されたブロックは、１枚前のブロックの番号を返すだけであるので、ＪＰＥＧ処理をする場合に比べ短時間でブロック番号をライトする。連写３枚目においてもＭ＞σで運動状態と判断されたブロックはＪＰＥＧ処理を行う。しかし、Ｍ≦σで運動状態でないと判断されたブロックは、１枚前のブロックの番号を返すだけであるので、ＪＰＥＧ処理をする場合に比べ短時間でブロック番号をライトする。このようにして、外部記録１枚目は連写２枚目の処理の後半まで遅れていたが、外部記録３枚目は連写３枚目から少し遅れるだけで記録できる。
このようにして高画素数の撮像素子に対しても、ＪＰＥＧ圧縮処理をほぼフレーム内で行うことが可能になる。

（実施例３）
図６は、本発明の一実施の形態を説明した一構成例を示すブロック図である。
また、本実施の形態による画像データ圧縮制御は、デジタルカメラ装置に適用されるものとして説明する。
各部の構成を説明する。
大きなブロックとして、画像を光から電気信号に変換する撮像素子１と、前記撮像素子１に接続されるメモリ制御回路２と、前記メモリ制御回路２により制御されるメモリ３と、前記メモリ３からリードしたデータを信号処理する信号処理部５と、前記メモリ制御回路２により制御される外部記録回路４と、画像圧縮処理部２４とから構成される。
前記画像圧縮処理部２４はさらに、メモリ制御２に接続されるライト用バッファ回路７と、加速度センサ２５と、それに接続される被写体移動検出２６と、それに接続される被写体移動補正２７と、それに接続されるブロック運動判定２９と、それに接続されるブロックメモリ２８と、それに接続されるＪＰＥＧ処理回路３０と、前記ブロック運動判定２９に接続される１フレーム前のブロック番号付与３１と、前記ＪＰＥＧ処理回路３０と前記１フレーム前のブロック番号付与３１に接続されるリード用バッファ回路１５とに接続される。
各部の機能を説明する。
メモリ制御回路２は撮像素子１からリードしたデータを即メモリ３へライトする機能を有し、またメモリ３からリードしたデータを信号処理５に与えズーム処理などを行い信号処理からメモリ３にライトする機能を有し、またメモリ３からリードしたデータを画像圧縮処理部５にライトし、さらに画像圧縮処理部からリードしたデータをメモリにライトし、最後にメモリからリードしたデータを外部記録にライトする機能を有する。ライト用バッファ回路７は画像圧縮処理部２４にライトされたデータをバッファする機能を有する。加速度センサ２５はカメラの移動の方向と移動の加速度を検出する機能を有し、被写体移動検出２６は加速度センサ２５からのデータをもとに現在カメラが移動運動かどうかの判断と移動運動時においては２次元方向とその移動量を算出する機能を有し、被写体移動補正２７はライト用バッファから入力されるデータを、カメラ移動運動でないときはそのまま処理をせずに通過させ、カメラ移動運動のときは移動方向と移動量を元に戻して移動量を削除した画像データに戻す機能を有し、ブロックメモリ２８は１フレーム前のブロックの画像データを一時記憶する機能を有し、ブロック移動判定２９は移動補正からの該画像ブロックのデータとブロックメモリ２８に一時記憶されている１枚前のフレームの画像ブロックデータを比較し、その差分Ｍが運動判定係数σより大きいときは、そのブロックにおいては当フレームが前フレームから運動していると判断し、また差分Ｍがσより小さいかまたは同じ時は運動していないと判断する機能を有する。ＪＰＥＧ処理３０はブロック運動判定の結果、運動していると判断されたときにＪＰＥＧ処理を行う機能を有し、実施の形態１で説明したＪＰＥＧ処理又は従来からある一般的なＪＰＥＧ処理である。１フレーム前のブロック番号付与はブロック運動判定の結果、運動していないと判断されたときに１フレーム前のブロック番号付与を行う機能を有する。
次に動作を説明する。

図７は、実施例３における動作制御手順を示すフローチャートである。
連写１枚目において、撮像素子の露光１枚目ｓ２を行なう。その後撮像２の露光ｓ２期間中に、撮像１ｓ３の処理を行なう。ＣＣＤデータを取り込みｓ４を行い、メモリ制御２により制御されてメモリ３へライトｓ５を行い、信号処理できる単位のデータがメモリ３にライトされた後、メモリ制御の制御によりメモリ３からリードｓ６をおこない、ズーム信号処理回路５にてズーム信号処理ｓ７を行い、その結果をメモリ３へライトｓ８を行い、次に圧縮処理のために、メモリ３からブロック単位でリードｓ９を行い、ライト用バッファ７へライトｓ１０を行い、ブロックメモリ２０へライトｓ１１を行う。次に連写１枚目においてはブロックメモリ２８には前のフレームのデータがないので、すべてＪＰＥＧ処理３０を行なう必要がある。このため連写１枚目である場合は、すべてのブロックをＪＰＥＧ圧縮信号処理３０ｓ３４を行い、その結果をリード用バッファ１５へライトｓ３５を行い、メモリ３へライトｓ３６を行い、メモリ制御２の制御によりメモリ３よりリードｓ３７して外部記録４へライトｓ３８を行なう。一方連写２枚目以降の場合は、加速度センサ２５により被写体移動検出２６ｓ２６を行い、被写体移動検出２６を検出された時は被写体移動補正２７ｓ２７を行い、被写体移動が検出されない時は何もしない。このデータＳｎと平行移動分離れたブロックの前のフレームのデータＳｎ−１と比較を行い、その差分Ｍ＝Ｓｎ−Ｓｎ−１が運動判定閾値σとブロック運動判定２９ｓ２８においてなされる。この判定でＭ≦σのときは１枚目と２枚目の間でカメラは平行移動したかもしれないが被写体の運動がないものと判断できるので、前のフレームのブロック番号を付与３１ｓ２９して、その値をリード用バッファ１５へライトｓ３０を行い、メモリ制御２による制御によりメモリ３へライトｓ３１を行い、メモリ３からリードｓ３１を行い，外部記録４へライトｓ３２を行なう。もしブロック運動判定２９の判定でＭ＞σのときは１枚目と２枚目の間で被写体の運動があったものと判断できるので、前フレームのデータと異なるので、新規にそのブロックはＪＰＥＧ処理ｓ３４を行ない、その後ｓ３５からｓ３８までの同様の処理を行なう。
このようにしてカメラの移動のあるときはカメラ移動量を削除し、カメラ移動のないときはもとのデータを使用し、前のフレームのブロックデータと比較することにより被写体が運動しているブロックはＪＰＥＧ処理をし、被写体が運動していないブロックは単に前のフレームのブロック番号を返すことにより、被写体が運動していないときにＪＰＥＧ処理をしないので、画像圧縮処理時間を短くすることが可能である。
図８は実施例３において、３枚連写時を例に各処理のタイミングを説明した図である。
基本的には図５と同じ動作をするので説明を省略する。
このようにして高画素数の撮像素子に対しても、ＪＰＥＧ圧縮処理をほぼフレーム内で行うことが可能になる。

撮像素子を有する電子機器全般、特に高精細度の静止画を連続して記録処理するデジタルカメラ装置に採用されるものであって、今後ますます多くの用途で使用されることになる。

本発明の実施例１に係る撮像処理の一構成例を示すブロック図 本発明の実施例１に係る撮像処理の一タイミング図 本発明の実施例２に係る撮像処理の一構成例を示すブロック図 本発明の実施例２に係る撮像処理の一制御例を示すフローチャート 本発明の実施例２に係る撮像処理の一タイミング図 本発明の実施例３に係る撮像処理の一構成例を示すブロック図 本発明の実施例３に係る撮像処理の一制御例を示すフローチャート 本発明の実施例３に係る撮像処理の一タイミング図 従来例に係る撮像処理の一構成例を示すブロック図 従来例に係る撮像処理の一タイミング図

符号の説明

１ 撮像素子
２ メモリ制御
３ メモリ
４ 外部記録
５ 信号処理
６ ＪＰＥＧ処理部
７ ライト用バッファ回路
８ ライト切替制御回路
９ 第１のＤＣＴ
１０ 第１の量子化回路
１１ 第１の可変長符号化回路
１２ 第２のＤＣＴ
１３ 第２の量子化回路
１４ 第２の可変長符号化回路
１５ リード用バッファ回路
１６ 画像圧縮処理部
１７ 加速度センサ
１８ 手ぶれ検出
１９ 手ぶれ補正
２０ ブロックメモリ
２１ ブロック運動判定
２２ ＪＰＥＧ処理
２３ １フレーム前のブロック番号付与
２４ 画像圧縮処理部
２５ 加速度センサ
２６ 被写体移動検出
２７ 被写体移動補正
２８ ブロックメモリ
２９ ブロック運動判定
３０ ＪＰＥＧ処理
３１ １フレーム前のブロック番号付与

Claims (7)

1. 撮像素子部と、前記撮像素子部のデータを一時記憶するメモリ部と、前記メモリ部を制御するメモリ制御部と、前記メモリ部からリードしたデータを信号処理する信号処理部と、前記メモリ部から読み出されたデータをＪＰＥＧ処理する第１のＤＣＴ部と、第２のＤＣＴ部と、第１の量子化部と、第２の量子化部と、第１の可変長符号化部と、第２の可変長符号化部を備えるＪＰＥＧ処理部と、前記ＪＰＥＧ処理された圧縮データを記録する外部記録部と、を備えたことを特徴とする撮像信号処理装置。
2. 前記ＪＰＥＧ処理部において、前記第１のＤＣＴ部と前記第２のＤＣＴ部の使用状況を判断し、使用してない方へ未処理データを送付するライト切替制御部を有することを特徴とする請求項１記載の撮像信号処理装置。
3. 前記ＪＰＥＧ処理部において、前記第１のＤＣＴ部と前記第２のＤＣＴ部の使用状況を判断し、両方とも使用されている場合は一時データを保持するライト用バッファを有することを特徴とする請求項２記載の撮像信号処理装置。
4. 前記ＪＰＥＧ処理部において、前記メモリ制御部が使用中でメモリにライトできない時に前記第１の可変長符号化部及び前記第２の可変長符号化部のデータをバッファするリードバッファを有することを特徴とする請求項３記載の撮像信号処理装置。
5. 前記ＤＣＴをｎ個、前記量子化部をｎ個、前記可変長符号化部をｎ個もち、ＪＰＥＧ処理をｎ系統平行に有することを特徴とする請求項４記載の撮像信号処理装置。
6. 撮像素子部と、前記撮像素子部のデータを一時記憶するメモリ部と、前記メモリ部を制御するメモリ制御部と、前記メモリ部からリードしたデータを信号処理する信号処理部と、ライト用バッファ部と、手ぶれの方向と加速度を感知する加速度センサ部と、前記加速度センサのデータをもとに手ぶれ量を計算する手ぶれ検出部と、前記手ぶれ検出部からの手ぶれ補正データをもとに本フレームに手ぶれ補正を行う手ぶれ補正部と、前記手ぶれ補正部からのブロックデータと前記メモリ部からの前フレームのブロックデータを比較して、閾値以下か以上かを判定するブロック運動判定部と、前記ブロック運動判定部が閾値以上のとき、ＪＰＥＧ処理を行うＪＰＥＧ処理部と、前記ブロック運動判定部が閾値以下のとき１フレーム前のブロック番号を与えるブロック番号付与部と、リードバッファ部と、前記圧縮処理された圧縮データを記録する外部記録部と、を備えたことを特徴とする撮像信号処理装置。
7. 撮像素子部と、前記撮像素子部のデータを一時記憶するメモリ部と、前記メモリ部を制御するメモリ制御部と、前記メモリ部からリードしたデータを信号処理する信号処理部と、ライト用バッファ部と、被写体を追随した移動方向と加速度を感知する加速度センサ部と、前記加速度センサ部のデータをもとに被写体の移動量を計算する被写体移動検出部と、前記被写体移動検出部からの被写体の移動補正データをもとに本フレームに被写体移動補正を行う被写体移動補正部と、前記手ぶれ補正部からのブロックデータと前記メモリ部からの前フレームのブロックデータを比較して、閾値以下か以上かを判定するブロック運動判定部と、前記ブロック運動判定部が閾値以上のとき、ＪＰＥＧ処理を行うＪＰＥＧ処理部と、前記ブロック運動判定部が閾値以下のとき１フレーム前のブロック番号を与えるブロック番号付与部と、リードバッファ部と、前記圧縮処理された圧縮データを記録する外部記録部と、を備えたことを特徴とする撮像信号処理装置。

Images