JP2010028657A - 画像処理装置 - Google Patents

Abstract

【課題】 画像ＩＳを目的とした画像合成時に、合成画像の撮影情報として有効な情報付けをおこなう。
【解決手段】 複数の映像信号を加算して、１つの撮影画像を生成する撮像画像生成手段において、生成した１つの撮影画像の撮影情報として、複数の映像信号の個々の撮影情報が同一なものに関しては、その撮影情報を持たせ、複数の映像信号の個々の撮影情報が異なるものに関しては、その撮影情報に０を持たせる、若しくは撮影情報なしとする。
又、露光時間に関しては、複数の映像信号の露光時間の平均値をその撮影情報として持たせる。
【選択図】 図１

Description

本発明は、デジタルカメラ等の画像処理装置に関するものである。

従来より、デジタルカメラの撮影において、動きのある被写体をブレなく撮影する場合には、露光時間をなるべく短く設定し、撮影を行う必要がある。その解決手段の１つとして、露光時間の短い複数の画像を連続して撮影し、その後、各々撮影された複数の画像を加算し１つの画像をつくる技術がある。特許文献１において、複数の撮影画像間の相対的な動きを補償した後に複数の撮影画像を合成し、像ブレを防ぐ技術が公開されている。この様な画像合成の技術は他にも数多く提案されているが、この合成後の画像に付帯させる撮影情報に関しての技術は、あまり提案されていない。

前述した画像合成技術において、合成後の画像ファイル名を元ファイルを合成したファイル名にする。あるいは、合成後の画像の元画像を合成後の画像が格納されているフォルダにまとめる等の技術は存在するが、合成画像の撮影情報をどの様に処理するか等の技術は提案されていない。
特開２００１−８６３９８号公報

前記、従来のデジタルカメラにおいては、例えば、前記記載の様に、露光時間の短い複数の画像を合成した場合において、合成後の画像の持つ撮影情報の１つとして、露光時間は、どの様に表現されるかが明確には分からない。又、例えば、個々の撮影画像において、ＩＳＯ感度情報の様に各撮影画像毎に情報が異なる可能性のある情報と、各撮影画像毎に異なる可能性のない情報がまざりあっている場合に、合成後の画像に残る撮影情報としては、何が正しい値なのかが明確に分からない等の問題点がある。

上記課題を解決するため、本発明に係る画像処理装置は、
複数の撮影画像を合成して、１つの画像を生成する撮影画像生成手段を備え、生成した１つの撮影画像の撮影情報として、複数の撮影画像の個々の撮影情報が同一なものに関しては、その撮影情報を持たせ、複数の撮影画像の個々の撮影情報が異なるものに関しては、その撮影情報に０もしくは、撮影情報を表示しないことを特徴とすることで、合成後の撮影情報がより明確なものとなり、撮影者には有意義な情報を提供できる。

又、適正露光時間を複数に分割した、複数の撮影画像を合成して、１つの撮影画像を生成する撮影画像生成手段を備え、生成した１つの撮影画像の撮影情報として、露光時間に関しては、複数の撮影画像の露光時間を合成した値をその撮影情報に持たせることを特徴とすることで、実際の露光時間の情報をもつことが可能となる。

又、適正露光時間を複数に分割した、複数の撮影画像を合成して、１つの撮影画像を生成する撮影画像生成手段を備え、生成した１つの撮影画像の撮影情報として、露光時間に関しては、複数の撮影画像の露光時間の平均値をその撮影情報に持たせることを特徴とすることで、合成画像に表現される画像に最も近い露光時間の情報を得ることができ、画像合成によりどの程度、Ｔｖ値が早くなったかを定量的に認識できる。

以上説明したように、本発明によれば、撮影者は、１回の撮影で複数の画像を取り込み１つの画像を作り出す画像合成による撮影において、合成後の画像に付帯しているＥＸＩＦ情報に関して、合成前の各画像について共通の値に関しては、その値をそのまま反映させ、又、値が異なるものに対しては、０若しくは、情報無しの状態にすることで、合成後の画像に対して信頼度の高い情報を得られる。又、複数の画像の取り込みにより通常の１回の撮影時間に対して、時分割された画像の蓄積時間に関しては、撮影者の意図を汲み取るように事前に設定したモードに応じて、各蓄積時間値を平均化する、或いは、その蓄積時間の合計値を記録することで、意図したデータを合成画像に付帯することが可能となり、合成画像に対して撮影者に対して信頼度の高い有効なデータを画像に付帯させることが実現できる。

次に、本発明の詳細を実施例の記述に従って説明する。

以下にデジタル一眼レフカメラを例にして、第１〜第２の実施例を挙げて説明する。

図１は本発明の第１〜第３の実施形態における全体ブロック図である。１９はカメラ本体であり、２０は被写体像をカメラ本体内の撮像素子１３に結像させる為の撮影レンズである。１のＭＰＵ１はカメラ本体全体を制御する為のマイクロプロセッサーであり、２〜９迄の主にカメラ系の動作制御と撮影レンズ２０を制御するレンズ用マイクロプロセッサー２１との通信制御と、１０〜１７迄の主にデジタル系を制御するＤＳＰ１０との通信制御を行っている。まず、１〜９迄の主にカメラ系より構成を説明をする。１のＭＰＵは、被写体のピントを合わせる為にＡＦセンサ４の制御をおこなう、又、そのＡＦセンサ４より得られた像より、ピントを合わせる為の演算とその演算結果に基づき撮影レンズ２０のフォーカス駆動機構２２を駆動させる為、レンズ用マイクロプロセッサー２１への通信、又、被写体の露出を合わせる為のＡＥセンサ３の制御とＡＥセンサ３より得られた情報に基づき、設定されたＩＳＯ感度に応じて、シャッター速度と絞り値の組み合わせを決めるプログラム制御、又、レリーズ釦、電子ダイアル等ユーザーインターフェイスとなるＳＷ操作系５からの情報を受け取る手段、又、ここでは図示していないが、撮影レンズ２０より取り込んだ被写体像をファインダー系と撮像素子系へ分離する為のメインミラーを含めたミラー機構８をモータ駆動ドライバ６の制御によりモータ７を駆動させ制御をおこなっている。又、ＡＥセンサ３により得られた情報によりカメラ内のプログラムに応じ決められたシャッター速度に応じて、先幕、後幕を有するフォーカルプレーンシャッターを制御するシャッター機構９をモータ駆動ドライバ６の制御によりモータ７を駆動させ制御をおこなっている。又、ＡＥセンサ３、ＡＦセンサ４の補正情報、カメラの禁止電圧情報等、電池が抜かれた状態においても記憶が必要となる情報をＥＥＰＲＯＭ２に記憶させ又必要時に読み出す制御を行っている。又、ＭＰＵ１は上記動作をおこなう為のコードを記録する為のフラッシュＲＯＭを内蔵している。

次に、撮影レンズ２０の構成について説明する。撮影レンズ２０は主にＭＰＵ１により演算されたピント情報をＭＰＵ１から通信によりＭＰＵ２１に受信し、その結果にもとづき、フォーカス調整用レンズを駆動させるフォーカス駆動機構２２をＭＰＵ２１において制御しピントを合わせる。又、ＭＰＵ１により演算された絞り値をＭＰＵ１から通信によりＭＰＵ２１に受信し、その結果にもとづき、絞り羽根を制御させる絞り駆動機構２３をＭＰＵ２１により制御し、所定の露出となるように制御をおこなう。

次に、１０〜１７のデジタル部の構成について説明をする。

１３は被写体光を光電変換することによりアナログの電気信号として取り出す撮像素子である。１４はＡ／Ｄ変換器であり、１３より得られたアナログの電気信号をデジタルデータへ変換するものである。１３は被写体を撮像すると共に、測光制御の役割も果たしている。又、１５のＴＧ（タイミングジェネレーター）は、撮像素子１３の撮像駆動制御を行うとともに、撮像素子１３より出力するアナログ信号と同期し１４のＡ／Ｄ変換器によりＡ／Ｄ変換するような同期クロックをＡ／Ｄ変換器１４へ送信している。又、１５のＴＧは、１４のＡ／Ｄ変換からのデジタルデータをＤＳＰ１０においてデータラッチをおこなうタイミングクロック信号をＤＳＰ１０に送信し、Ａ／Ｄ変換器１４からＤＳＰ１０へデジタルデータの転送を行う制御をおこなっている。又、Ａ／Ｄ変換器１４は、内部でアナログのゲイン回路を備えており、撮影時のＩＳＯ値に応じて、ゲイン値を決定している。１２は、データを一次的に記憶する事が可能なＲＡＭであり、撮像素子より取り込んだ無加工データ、或いは、ＤＳＰ１０より現像、圧縮をおこなった加工画像データを一次的に記憶したり、ＤＳＰ１０が動作する為に必要なワークデータの一次記憶、又、液晶パネル１７へ表示する為のデータを記憶する（ＶＲＡＭ）。１１のフラッシュメモリはＤＳＰ１０により加工された画像データを半永久的に記録することが可能な記録メディアであり、これは本体より取り外し可能なものである。次に、１７は液晶パネルであり、画像や撮影情報を表示する表示媒体である。次に１６は液晶コントローラであり、ＲＡＭ９のＶＲＡＭと呼ばれる特定領域のデータをＲＧＢ変換して液晶パネル１７にアナログ信号として供給し、液晶パネルに表示をおこなう為のドライバーである。ＤＳＰ１０は以上述べてきた１１〜１７のデジタル系デバイスの制御を行うとともに、ＭＰＵ１とシリアル通信Ｉ／Ｆで接続され、カメラ系と相互制御をおこなうマイコンであると共に、ＡＤ変換器１４より得られた画像データに対して、現像、圧縮等のデジタル変化処理をおこなっている。又、上記述べた制御におけるコードを記憶するフラッシュＲＯＭを内蔵している。

次に、図２を用いて、本発明において複数の画像の合成処理を行った場合の画像の基本的な流れをＤＳＰ１０，フラッシュメモリ１１、ＲＡＭ１２を用いて説明する。

１回の撮影時に得られた複数の画像は、一度、３０〜３４として、ＲＡＭ１２に展開される。一つの画像で保持するデータとしては、画像データと撮影情報であるＥＸＩＦを備えている。このＥＸＩＦに格納される撮影情報は、個々の画像に用いた撮影パラメータを付帯させている。

次に、各画像３０〜３４をＤＳＰ１０によりＲＡＭ１２のデータを用いて合成処理をおこない、合成処理後の合成画像３５を再びＲＡＭ１２に格納する。この合成画像の撮影情報の処理に関しては後程詳細に説明する。最後にＲＡＭ１２に格納された合成画像のデータをフラッシュメモリ１１に書き込むようにＤＳＰ１０が制御を行う。

次に、図６のフローチャートを用いて、本実施形態の１について詳細に動作説明を行う。本実施形態１においては、合成前の個々の画像のＩＳＯ値が異なった場合の例を挙げる。

ここでは、１駒の撮影を５分割にして撮影をおこなう場合について述べる。

まず、カメラを起動させた状態において（＃１００）、あらかじめ撮影者が画像合成モードに設定し、更に、画像分割数を５という設定と、撮影中の可変パラメータとしてＩＳＯ値を入力する（＃１０１）。

撮影者がファインダーを覗き２段構成のレリーズ釦の１段目を押下すると（＃１０２）、ＭＰＵ１がＡＦセンサ４、２０のレンズ機構を用いてオートフォーカスの動作を行う。又、ＡＥ３により測光動作を行う（＃１０３）。次に、レリーズ釦の２段目を押下すると（＃１０４）、直前のＡＥ演算結果をＭＰＵ１の内部ＲＡＭに格納し、次に被写体に合焦した状態であれば、次の動作に移行し、合焦していない状態であれば、フォーカス駆動機構２２をＭＰＵ２１により制御し、その後、次の動作に移行する。次に、現在得られた、ＡＥ演算結果と、前述で設定した、５分割の撮影条件のため、適性露光量の５分の１に対して、あらかじめＳＷ操作系により決定している撮影モードに応じたプログラム線図に基づき、ＴＶ値、ＡＶ値、ＩＳＯ値を決定する（＃１０５）。

次にモータ駆動機構６を駆動させ、モータ７を介して８のミラー機構を動作させミラーアップ動作をおこない（＃１０６）、次に、前述設定したＡＶ値となるようにＭＰＵ２を介して、絞り駆動機構を動作させる（＃１０７）。

次にモータ駆動機構６を駆動させ、モータ７を介して９のシャッター機構の中の先幕を動作させ、撮像素子１３に露光開始させる（＃１０８）。次に、前述で設定したＩＳＯ値は、１のＭＰＵより１０のＤＳＰに情報を転送され、ＤＳＰの内部演算、或いはＡＤ１４のゲイン回路に反映させる（＃１０９）。そして、１５のＴＧを動作を制御させ、撮像素子１３が被写体像の蓄積を開始し、被写体像は、１３の撮像素子、１４のＡＤ変換器、１０のＤＳＰを介して１２のＲＡＭに格納される。この時、撮影情報に関しても、１のＭＰＵで得られた値と１０のＤＳＰで得られた値をＥＸＩＦ情報として画像に付帯させ、１２のＲＡＭに格納させる（＃１１０）。次に、５分割中の１駒目の蓄積が終了すると、（＃１１１）１０のＤＳＰが１３の撮像素子を１５のＴＧを介して測光制御をおこない現在の被写体の輝度を測定する（＃１１２）。この結果が＃１０３で行った測定値と同じ場合には、次の撮像における、ＩＳＯ値、蓄積時間、Ａｖ値は、変更させないが、測光結果が＃１０３と異なった場合に、現在の測光結果より、残り４駒に対する１駒あたりの露光量を算出し、この場合は、＃１０１で設定した条件に基づき、設定の蓄積時間、Ａｖ値は、固定の為、各駒のＩＳＯ値を変更し残りの４駒が等しい露光量となるように算出し、その算出結果のＩＳＯ値に基づき、前述同様に１０のＤＳＰ内部の演算、或いはＡＤ１４のゲイン回路に反映させる（＃１０９）。以上の様にして、分割した駒数分の撮像処理を行う（＃１１１）。次に１のＭＰＵ１がモータ駆動機構６を用いて、モータ７を介して、シャッター機構９の後幕を動作を動作させ撮像素子１３にたいしての露光を終了させる（＃１１３）。次に、レンズ絞り込み開放動作を行い、最後に１のＭＰＵが、２１のレンズのＭＰＵを介して２３の絞り機構を駆動させ、絞りを開放させる動作を行う（＃１１４）。次に１のＭＰＵがモータ駆動機構６を制御し、モータ７を介してミラー機構８を駆動させミラーＤＯＷＮ動作を行う（＃１１５）。次に、１０のＤＳＰでは、１２のＲＡＭに格納されている５駒の画像に対して、合成処理を行う（＃１１６）。画像データの合成処理に関しては、所定のアルゴリズムにより、その処理がおこなわれるが、ここで詳細動作については割愛する。次に、各画像に付帯しているＥＸＩＦ情報に関しては、この場合、ＴＶ値（蓄積時間）は、ＡＶ値（絞り値）は一定の為、合成後のＥＸＩＦ情報としては、その値を反映させるが、ＩＳＯ値に関しては、５駒の撮影時に被写体輝度変化により、ＩＳＯ値が変化している場合は、０又は、撮影情報なしのデータとして、合成処理後の画像へ付帯させる（＃１１７）。次に合成処理が終わった、画像データとＥＸＩＦデータを１０のＤＳＰを介してフラッシュメモリへ記憶させる（＃１１８）。

又、図３のタイミングチャートは、図６のフローチャートの＃１０６〜＃１１５の動作を時系列的に表したものである。

次に、図７のフローチャートを用いて、本実施形態の２について詳細に動作説明を行う。本実施形態２においては、合成前の個々の画像の蓄積時間が異なった場合の例を挙げる。ここでは、１駒の撮影を５分割にして撮影をおこなう場合について述べる。

まず、カメラを起動させた状態において（＃２００）、あらかじめ撮影者が画像合成モードに設定し、更に、画像分割数を５という設定と、撮影中の可変パラメータとして蓄積時間を入力する。又、蓄積時間のＥＸＩＦ情報の条件として、トータルの合成値、或いは１駒あたりの値を事前に設定しておく（＃２０１）。

撮影者がファインダーを覗き２段構成のレリーズ釦の１段目を押下すると（＃２０２）、ＭＰＵ１がＡＦセンサ４、２０のレンズ機構を用いてオートフォーカスの動作を行う。又、ＡＥ３により測光動作を行う（＃２０３）。次に、レリーズ釦の２段目を押下すると（＃２０４）、直前のＡＥ演算結果をＭＰＵ１の内部ＲＡＭに格納し、次に被写体に合焦した状態であれば、次の動作に移行し、合焦していない状態であれば、フォーカス駆動機構２２をＭＰＵ２１により制御し、その後、次の動作に移行する。次に、現在のＭＰＵ１に格納されたＡＥ演算結果と、前述で設定した、５分割の撮影条件のため、適性露光量の５分の１に対して、あらかじめＳＷ操作系により決定している撮影モードに応じたプログラム線図に基づき、ＴＶ値、ＡＶ値、ＩＳＯ値を決定する（＃２０５）。

次にモータ駆動機構６を駆動させ、モータ７を介して８のミラー機構を動作させミラーアップ動作をおこない（＃２０６）、次に、前述設定したＡＶ値となるようにＭＰＵ２を介して、絞り駆動機構を動作させる（＃２０７）。

次にモータ駆動機構６を駆動させ、モータ７を介して９のシャッター機構の中の先幕を動作させ、撮像素子１３に露光開始させる（＃２０８）。次に、前述（＃２０１）で設定したＩＳＯ値は、１のＭＰＵより１０のＤＳＰに情報を転送され、ＤＳＰの内部演算、或いはＡＤ１４のゲイン回路に反映させる（＃２０９）。そして、１５のＴＧを動作を制御させ、撮像素子１３が被写体像の蓄積を開始し、被写体像は、１３の撮像素子、１４のＡＤ変換器、１０のＤＳＰを介して１２のＲＡＭに格納される。この時、撮影情報に関しても、１のＭＰＵで得られた値と１０のＤＳＰで得られた値をＥＸＩＦ情報として画像に付帯させ、１２のＲＡＭに格納させる（＃２１０）。次に、５分割中の１駒目の蓄積が終了すると、１０のＤＳＰが１３の撮像素子を１５のＴＧを介して測光制御をおこない現在の被写体の輝度を測定する（＃２１２）。この結果が＃２０３で行った測定値と同じ場合には、次の撮像における、ＩＳＯ値、蓄積時間、Ａｖ値は、変更させないが、測光結果が＃２０３と異なった場合に、現在の測光結果より、残り４駒に対する１駒あたりの露光量を算出し、この場合は、＃２０１で設定した条件に基づき、設定のＩＳＯ値、Ａｖ値は、固定の為、各駒の蓄積時間を算出し、その結果に基づき、次駒の蓄積動作を行う（＃２１０）。次に前記同様、被写体輝度を測定し、その結果に応じて、残り３駒に対する１駒あたりの露光量を算出し、その結果に応じた蓄積動作を行う（＃２１０）。以上の様にして、分割した駒数分の撮像処理を行う（＃２１１）。次に１のＭＰＵ１がモータ駆動機構６を用いて、モータ７を介して、シャッター機構９の後幕を動作を動作させ撮像素子１３にたいしての露光を終了させる（＃２１３）。次に、レンズ絞り込み開放動作を行い、最後に１のＭＰＵが、２１のレンズのＭＰＵを介して２３の絞り機構を駆動させ、絞りを開放させる動作を行う（＃２１４）。次に１のＭＰＵがモータ駆動機構６を制御し、モータ７を介してミラー機構８を駆動させミラーＤＯＷＮ動作を行う（＃２１５）。次に、１０のＤＳＰでは、１２のＲＡＭに格納されている５駒の画像に対して、合成処理を行う（＃２１６）。画像データの合成処理に関しては、所定のアルゴリズムにより、その処理がおこなわれるが、ここで詳細動作については割愛する。次に、各画像に付帯しているＥＸＩＦ情報に関しては、この場合、ＩＳＯ値、ＡＶ値（絞り値）は一定の為、合成後のＥＸＩＦ情報としては、その値を反映させるが、ＴＶ値（蓄積時間）に関しては、５駒の撮影時に被写体輝度変化により、ＴＶ値が変化している場合は、その蓄積時間の平均値、或いは、ＴＶ値の合成値をデータとして、合成処理後の画像へ付帯させる（＃２１７）。この選択においては、＃２０１で設定した条件に基づいて行う。最後に合成処理が終わった、画像データとＥＸＩＦデータを１０のＤＳＰを介してフラッシュメモリへ記憶させる（＃２１８）。

又、図４、図５のタイミングチャートは、図７のフローチャートの＃２０６〜＃２１５の動作を時系列的に表したものである。図４では、＃２０１の撮影パラメータ入力時に、蓄積時間可変で且つ、蓄積時間の合成値を合成画像のＥＸＩＦ情報として付帯させる場合であり、５４はＥＸＩＦ合成後のＴｖ値のＥＸＩＦ情報を示したものである。

又、図５では、＃２０１の撮影パラメータ入力時に、蓄積時間可変で且つ蓄積時間の平均値を合成画像のＥＸＩＦ情報として付帯させる場合であり、６４はＥＸＩＦ合成後のＴｖ値のＥＸＩＦ情報を示したものである。

図８は、画像合成前のＥＸＩＦ情報と画像合成後のＥＸＩＦ情報についてのイメージ図である。７０は本実施形態１を仮定した場合であり、同一情報のみ正しく表示する場合のイメージである。又、７１は本実施形態２を仮定した場合であり、蓄積時間を合成させて表示する場合のイメージである。

本発明の実施形態１，２における全体構成図 本発明の実施形態１，２におけるＲＡＭ領域図 本発明の実施形態１におけるタイムチャート 本発明の実施形態２におけるタイムチャート 本発明の実施形態２におけるタイムチャート 本発明の実施形態１におけるフローチャート 本発明の実施形態２におけるフローチャート 本発明の実施形態１，２におけるイメージ図

Claims (6)

1. 複数の撮影画像を合成して１つの画像を生成する撮影画像合成手段を備え、合成した画像の撮影情報として、合成に用いた複数の撮影画像の個々の撮影情報が同一なものに関しては、その撮影情報を記載し、合成に用いた複数の撮影画像の個々の撮影情報が異なるものに関してはその撮影情報に「０」を記載する、もしくは、撮影情報を表示しないことを特徴とする画像処理装置。
2. 複数の撮影画像を合成して１つの画像を生成する撮影画像合成手段を備え、撮像素子に対して所定の露光時間を複数に分割した、複数の撮影画像を合成して、１つの画像を生成する撮影画像生成手段を備えると共に、生成した１つの画像の撮影情報として、露光時間に関しては複数の撮影画像の露光時間を加算した値をその撮影情報に記載することを特徴とする画像処理装置。
3. 複数の撮影画像を合成して１つの画像を生成する撮影画像合成手段を備え、撮像素子に対して所定の露光時間を複数に分割した、複数の撮影画像を合成して、１つの画像を生成する撮影画像生成手段を備えると共に、生成した１つの画像の撮影情報として、露光時間に関しては複数の撮影画像の露光時間の平均値をその撮影情報に記載することを特徴とする画像処理装置。
4. 合成前の複数画像の撮像時には、その複数画像の撮像の直前に測光をおこない、それ以降の撮像の露出条件を決定することを特徴とする請求項１に記載の画像処理装置。
5. 合成前の複数画像の撮像時には、その複数画像の撮像の直前に測光をおこない、それ以降の撮像の露出条件を決定することを特徴とする請求項２に記載の画像処理装置。
6. 合成前の複数画像の撮像時には、その複数画像の撮像の直前に測光をおこない、それ以降の撮像の露出条件を決定することを特徴とする請求項３に記載の画像処理装置。

Images