JP2008236739A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することが可能な撮像装置および撮像方法を提供する。
【解決手段】撮像装置１０は、光学系１１および撮像素子１２により露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影し、信号処理部１３の信号処理後、ＣＰＵ１４で撮影画像間の位置ズレを補正した後、画像間の差分を取ることでエッジとエッジのブレを抽出する。エッジからの距離により複数画像の比率を変化させて合成することによりブレのないノイズ低減を図った画像を形成する。

【選択図】図１

Description

本発明は、撮像画像を合成することによりノイズを低減可能な撮像装置および撮像方法に関するものである。

近年、撮像装置としてカメラの小型化が進み、手振れ補正技術が注目をされてきている。

カメラの小型化により、写真撮影においてホールド性の低下や、携帯電話搭載のカメラなどの撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっている。

このように、撮影する際に、種々の方法や安定性の無い状態で撮影する場合、シャッターボタンを押した際にカメラがブレて手振れが発生してしまう。

たとえば、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなりブレてしまうケースが多々ある。

また露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。

この問題を解消すべく、手振れ補正する装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。

たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。

また、他の方法として、画像処理により複数枚の画像からブレの無い画像を得ることができる撮像装置などが種々提案されている（たとえば特許文献１参照）。
特開平１０−１０８０７９号公報

しかし、従来提案されている撮像装置においては、複数枚分の画像を保持しておくメモリが必要となり高価なものとなってしまうという不利益がある。

また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。

本発明の目的は、異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することが可能な撮像装置および撮像方法を提供することにある。

本発明の第１の観点の撮像装置は、異なる露出条件で撮影した複数枚の撮像画像を合成する機能を有する撮像装置であって、前記複数枚の画像間の位置ズレを検出する検出手段と、前記検出手段の検出結果を基に位置ズレを補正した第１の画像と第２の画像より画像間の差分を取ることで抽出したエッジ部分からの距離により画像の合成における比率を設定し、当該設定した比率をもって画像を合成する合成手段とを有する。

好適には、前記合成手段において、画像間の差分は、輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う。

好適には、前記合成手段において、画像間の差分は、撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う。

好適には、合成対象の前記複数枚の画像は露出時間を異ならせて撮影されたものを含み、露出時間が短い画像は、長い画像に比べてノイズは多いが解像度の高い画像となる。

好適には、合成対象の前記複数枚の画像は露出時間を異ならせて撮影されたものを含み、露出時間が長い画像は、短い画像に比べて解像度は低いがノイズの少ない画像となる。

好適には、前記合成手段は、前記エッジ部分は前記露出時間が短い画像の比率を大きくし、前記エッジ部分からの距離が大きくなるに従い、前記露出時間が長い画像の比率を大きくするように設定する。

好適には、前記合成手段は、前記エッジ部分からの距離があらかじめ設定した距離より近い場合、前記露出時間が短い画像の比率を大きくして画像を合成する。

好適には、前記合成手段は、前記エッジ部分からの距離があらかじめ設定した距離より遠い場合、前記露出時間が長い画像の比率を大きくして画像を合成する。

本発明の第２の観点の撮像方法は、異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、前記複数枚の画像間の位置ズレを検出する第１ステップと、前記第１ステップの検出結果を基に位置ズレを補正した複数画像間の差分を取ることでエッジ部分を抽出する第２ステップと、抽出したエッジ部分からの距離により画像の合成における比率を設定する第３ステップと、前記第３ステップで設定した比率をもって画像を合成する第４ステップとを有する。

本発明によれば、異なる露出条件の少ない画像枚数でブレのない画像を得ることができ、処理時間を短縮することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック図である。

本撮像装置１０は、光学系１１、撮像素子１２、信号処理部１３、制御および演算処理ユニットしてのＣＰＵ１４、およびメモリ１５を有している。

本実施形態の撮像装置１０は、露出時間は短く解像度は高いがノイズの多い画像と露出時間は長いがノイズの少ない解像度の低い画像を含む複数枚の画像を撮影する機能を有している。

そして、撮像装置１０は、撮影画像間の位置ズレを補正し、差分を取ることでエッジとエッジのブレを抽出し、エッジとエッジのブレ部分からの距離により複数画像の合成比率を変化させて合成することによりブレのないノイズ低減を図った画像を形成する機能を有している。

撮像素子１２は、ＣＣＤまたはＣＭＯＳセンサ等により形成され、光学系１１を通った被写体の光学像を受けて光電変換して信号処理部１３に供給する。以下の説明では、撮像素子１２はＣＣＤにより形成されているものとして説明する。

本実施形態の光学系１１と撮像素子１２は、たとえばＣＰＵ１４の制御の下、ＣＣＤ感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影と、ＣＣＤ感度を変えてノイズは多いが露出時間の短い撮影と、を行うことが可能である。

信号処理部１３は、カラー補間、ホワイトバランス、ＹＵＶ変換処理、圧縮、フィルタリング等の処理を行い、メモリ１５への格納等を行う。

本実施形態の信号処理部１３は、光学系１１と撮像素子１２における各撮影データから輝度信号部分を抽出する機能と、輝度信号Ｙのノイズ成分を除去するフィルタリング処理機能を有する。フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。

信号処理部１３は、各撮影データに応じたフィルタリング処理後の画像をメモリ１５に格納する。

ＣＰＵ１４は、露出制御を行うとともに、図示しない操作部などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系１１、撮像素子１２、信号処理部１３等を制御し、システム全体の調停制御を司るものである。

また、ＣＰＵ１４は、メモリ１３に格納された信号処理部１３の信号処理後のデータに基づいて、撮影画像間の位置ズレを補正し、エッジからの距離により複数画像の比率を変化させて合成することにより、ブレのないノイズ低減を図った画像を形成する機能を有している。

より具体的には、露出条件の異なる複数枚の画像間の位置ズレを検出する検出機能と、検出機能の検出結果を基に位置ズレを補正した複数枚の画像間の差分を取ることでエッジとエッジのブレ成分を抽出して、抽出したエッジからの距離により画像の合成における比率を設定し、設定した比率をもって画像を合成する合成機能とを有している。

ＣＰＵ１４は、検出機能において、信号処理部１３で処理された位置ズレを補正処理した露出条件の異なる各撮影の輝度信号Ｙの差（短時間露出画像ＹＳ―長時間画像露出ＹＬ）を算出する。この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ブレを含んだエッジの画像が生成されることになる。

このエッジからの距離に応じて合成における比率を設定する。

位置ズレの補正については、パターンマッチングなどにより正確なズレ量を検出して補正する方法が一般的であるが、ここではその手法については問わない。

ＣＰＵ１４の比率設定に際して、合成機能において、エッジからの距離が大きくなるに従い、長時間露出のノイズの少ない画像の比率を大きく設定する。一方、エッジ部分は短時間露出の解像感のある画像の比率が高くなるように設定する。

たとえば、エッジ部分は短時間露光の画像の比率を１００％とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、５０％ずつの比率まで可変すればよい。

そして、ＣＰＵ１４は、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。

このように、ＣＰＵ１４は、エッジからの距離による画像間の合成比率を設定した上で、画像の合成を行う。これを複数の画像で繰り返し処理を行い、全画像の処理が終了した段階でノイズの低減がされたブレのない出力画像を得る。

ＣＰＵ１４は、処理後の画像データをメモリ１５に格納する。

以下、異なる露出条件で撮影した複数枚の画像例、撮影画像のＹＵＶ変換形式における輝度信号Ｙを画像の合成に用いる理由、撮影した複数画像のＹ信号成分の差分画像についてさらに詳細に説明する。

図２（ａ）〜（ｃ）は、異なる露出条件で撮影した２枚の画像とその合成の画像例を示す図である。

図２（ａ）は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが、感度を上げたため画像全体にノイズがのったものである。

図２（ｂ）は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるが、ノイズの少ない画像である。図２(ｃ)は図２(ａ），（ｂ）を合成した画像である。

複数枚の画像は連続して撮影しても図２（ａ）〜（ｃ）に示すように、撮影間で位置ズレを生じる。そのため、画像間での位置ズレを補正する必要がある。

次に、撮影画像のＹＵＶ形式について説明する。

この形式で扱われる信号は、輝度信号Ｙ、色差信号Ｕ、および色差信号Ｖである。これらの信号ＹＵＶのうち、解像度を決める要素としてＹ信号成分が大きく影響する。

画像圧縮の原理としてＪＰＥＧなど、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Ｙの画像合成を行うことによりノイズの大きな低減効果が図ることができる。

図３（ａ）〜（ｃ）は短時間露出で撮影したＹ信号成分の画像、長時間露出で撮影したＹ信号成分の画像、および位置ズレを補正した複数画像のＹ信号成分の差分画像を示す図である。

この差分画像はエッジ部分とエッジのブレ部分の浮き出た画像となる。

本実施形態においては、この差分画像から、解像度が高いがノイズの多い画像を基準として、エッジからの距離によって設定した比率で複数枚画像の合成を行う。

図４（ａ）〜（ｃ）は、差分画像に基づいた比率設定と合成結果の関係を示す図であって、図４（ａ）は差分画像を、図４（ｂ）は差分画像の被写体部分を拡大した画像と合成比率を、図４（ｃ）は設定した比率で合成した出力画像をそれぞれ示している。

差分画像のエッジ部分とエッジのブレ部分は図に示すようになる。

エッジ部分とエッジのブレ部分については、短時間露出画像のエッジを保存しつつ、長時間露出画像のエッジのブレを抑えるため、短時間露出画像の比率を大きく設定する。

エッジから離れた、変化のない部分はノイズを抑えるために長時間露出画像の比率を大きく設定する。

このときエッジ近傍では図４（ｂ）のように、ある所定の傾斜を持たせて段階的に合成比率を設定する。

たとえば、被写体後方の壁や一様な面など、ノイズののった画像はノイズが目立ちムラのある画像であったものが、この処理を行うことによりノイズ低減が図れる。

本実施形態においては、ＹＵＶのＹ成分のみでノイズ除去を行うことで処理時間の短縮を図っている。

次に、上記構成による動作を、図５のフローチャートに関連付けて説明する。

まず、ＣＰＵ１４の制御の下、光学系１１および撮像素子１２を撮影するために駆動し、ステップＳＴ１において、ＣＣＤ感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影を行う。

次に、ステップＳＴ２において、ＣＣＤ感度を変えてノイズは多いが露出時間の短い撮影を行う。

そして、信号処理部１３が、ステップＳＴ３において、各撮影データから輝度信号部分を抽出し、ステップＳＴ４において、輝度信号のノイズ成分を除去するフィルタリング処理を行う。

以降、ＣＰＵ１４で以下の処理を行う。

ステップＳＴ５において、フィルタリング処理された各画像の位置ズレを検出し、補正する。ここでは、ズレを検出・補正する方法は問わない。

ステップＳＴ６において、位置ズレを補正処理した各画像の差分画像（短時間露出画像ＹＳ−長時間露出画像ＹＬ）を算出する。この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ブレを含んだエッジの画像が生成されることになる。

ステップＳＴ７において、上記のようにステップＳＴ６で生成された差分画像より、エッジ部分からの距離に応じて比率を設定する。この場合、エッジ部分は短時間露出の解像感のある画像の比率が高くなるように設定し、エッジ部分からの距離に従い、長時間露出のノイズの少ない画像の比率を段階的に大きくしていく。

ステップＳＴ８以降ではエッジからの距離に応じてステップＳＴ９またはステップＳＴ１０の処理に分類され、比率による画像の合成を行う。

エッジからの距離があらかじめ設定した距離より近い場合、ステップＳＴ９において短時間露出画像の比率を大きくして画像を合成する。

エッジからの距離があらかじめ設定した距離より遠い場合、ステップＳＴ１０において長時間露出画像の比率を大きくして画像を合成する。

これを複数の画像で繰り返し処理を行う。

ステップＳＴ１１において、全画像の処理が終了した段階でノイズの低減されたブレのない出力画像を得る。

なお、本実施形態では、２枚の画像を合成した場合について説明したが、３枚以上の画像を合成するようにしてもよい。たとえば３枚合成の場合、それぞれの露出条件に応じてエッジからの距離により合成における比率を設定すればよい。

以上の説明のように、本発明では異なる露出条件で撮影した複数の画像から、差分画像によるエッジからの距離により合成比率を変えて画像処理を行うことによりノイズ低減効果が図れ、撮影画像間の位置ズレやブレにも対応した撮影が行える。

したがって、メモリ容量の低減、処理時間の短縮、部品実装スペースの確保、コストの削減と大きな効果が得られる。

本実施形態の合成処理は、撮影画像の信号処理後のＹＵＶ（Ｙは輝度信号、Ｕ，Ｖは色差信号）形式で画像合成処理を行う場合を例に説明したが、撮像素子（センサ）からのＲＧＢベイヤー配列の出力（ＲＡＷデータ）に対して行う場合にも適用できる。

この場合、ＣＰＵ１４は、撮影した複数枚の画像のＲＡＷ画素データよりＧｒ成分を抽出して差分をとり、この差分画像からエッジ、エッジのブレ成分を検出する。ＲＡＷ画像信号は、アナログ段階で既にホワイトバランスのゲインがＲ・Ｂに対してかけられているため、Ｇ成分に比べてＲ・Ｂ成分はノイズが多い。そのため、本実施形態では、ノイズが少ないＧ成分を抽出すればよい。なお、その他のＲ、Ｂで行うことも可能である。

また、たとえばＣＰＵ１４は、位置ズレを補正処理した各画像の差分画像（短時間露出画像ＹＳ―長時間画像露出ＹＬ）の絶対値を算出する。

この画像は短時間露出の画像から長時間露出のブレのある画像を減算するため、ノイズとブレを含んだエッジの画像が生成されることになる。

本発明に係る撮像装置の一実施形態を示すブロック図である。 異なる露出条件で撮影した複数枚の画像例を示す図である。 短時間露出で撮影したＹ信号成分の画像、長時間露出で撮影したＹ信号成分の画像、および複数画像のＹ信号成分の差分画像を示す図である。 差分画像と合成における比率との関係を示す図である。 本実施形態の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・光学系、１２・・・撮像素子、１３・・・信号処理部、１４・・・ＣＰＵ、１５・・・メモリ

Claims (9)

1. 異なる露出条件で撮影した複数枚の撮像画像を合成する機能を有する撮像装置であって、
   前記複数枚の画像間の位置ズレを検出する検出手段と、
   前記検出手段の検出結果を基に位置ズレを補正した第１の画像と第２の画像より画像間の差分を取ることで抽出したエッジ部分からの距離により画像の合成における比率を設定し、当該設定した比率をもって画像を合成する合成手段と
   を有する撮像装置。
2. 前記合成手段において、画像間の差分は、輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う
   請求項１記載の撮像装置。
3. 前記合成手段において、画像間の差分は、撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う
   請求項１記載の撮像装置。
4. 合成対象の前記複数枚の画像は露出時間を異ならせて撮影されたものを含み、露出時間が短い画像は、長い画像に比べてノイズは多いが解像度の高い画像となる
   請求項１から３のいずれかに記載の撮像装置。
5. 合成対象の前記複数枚の画像は露出時間を異ならせて撮影されたものを含み、露出時間が長い画像は、短い画像に比べて解像度は低いがノイズの少ない画像となる
   請求項１から３のいずれかに記載の撮像装置。
6. 前記合成手段は、前記エッジ部分は前記露出時間が短い画像の比率を大きくし、前記エッジ部分からの距離が大きくなるに従い、前記露出時間が長い画像の比率を大きくするように設定する
   請求項１から５のいずれかに記載の撮像装置。
7. 前記合成手段は、前記エッジ部分からの距離があらかじめ設定した距離より近い場合、前記露出時間が短い画像の比率を大きくして画像を合成する
   請求項６記載の撮像装置。
8. 前記合成手段は、前記エッジ部分からの距離があらかじめ設定した距離より遠い場合、前記露出時間が長い画像の比率を大きくして画像を合成する
   請求項６または７記載の撮像装置。
9. 異なる露出条件で撮影した複数枚の撮像画像を合成する撮像方法であって、
   前記複数枚の画像間の位置ズレを検出する第１ステップと、
   前記第１ステップの検出結果を基に位置ズレを補正した複数画像間の差分を取ることでエッジ部分を抽出する第２ステップと、
   抽出したエッジ部分からの距離により画像の合成における比率を設定する第３ステップと、
   前記第３ステップで設定した比率をもって画像を合成する第４ステップと
   を有する撮像方法。