JP2014110622A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】コストの低減を図りつつ、欠陥画素を検出することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、第１の画像よりも露光時間が短い第２の画像とを処理する画像処理装置であって、第１の画像と第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する欠陥判定部を備える、画像処理装置が提供される。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラ、防犯カメラなどの撮像装置では、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device Image Sensor）などの光電変換素子（撮像素子）が複数配置されたイメージセンサが用いられている。上記のようなイメージセンサは、受光量に応じた画像信号（電気信号）を出力する。

ここで、上記のようなイメージセンサには、例えば、入射光に反応しない撮像素子や過度に反応する撮像素子など、欠陥を有する撮像素子（以下、「欠陥画素」と示す。）が含まれていることがほとんどである。そのため、上記のような撮像装置では、製造段階において欠陥画素の位置を検出し、検出された欠陥画素の位置の情報（データ）をメモリなどに記録し、撮像ごとに当該欠陥画素の位置の情報を用いて、画像信号が示す画像における欠陥画素に対応する画素の信号が補正されている。

また、画像信号に基づいて、画像信号が示す画像における判定対象の注目画素が、欠陥画素に対応する画素であるかを判定する技術が開発されている。画像信号が示す画像における注目画素の周辺の画素の画素値を参照して、注目画素が欠陥画素に対応する画素であるか否かを判定することにより欠陥画素を判定する技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、特許文献３に記載の技術が挙げられる。

特開２０１２−１３４６８５号公報 特開２０１２−０９５２１９号公報 特開２００８−３０１１４２号公報

撮像装置の製造段階において欠陥画素の位置を検出する場合には、例えば、初めに、撮像素子を遮光した状態で得られた画像信号が示す画像と所定の閾値とを比較し、当該画像における閾値よりも高い輝度を示す画素を、欠陥画素に対応する画素として検出する。そして、検出された画素の位置を、欠陥画素の位置として記録媒体に記録する。

また、撮像装置の製造段階において欠陥画素の位置を検出する場合には、次に、ある一定の光量の状態で得られた画像信号が示す画像と所定の閾値とを比較し、当該画像における閾値よりも低い輝度を示す画素を、欠陥画素に対応する画素として検出する。そして、検出された画素の位置を、欠陥画素の位置として記録媒体に記録する。

しかしながら、撮像装置の製造段階において欠陥画素の位置を検出する場合には、撮像装置の製造段階において欠陥画素検出工程を設けなければならないので、撮像装置の製造コストの増加を招いている。また、撮像装置の製造段階において欠陥画素の位置を検出する場合には、欠陥画素の位置の情報を記憶する記録媒体を、撮像装置に設ける必要がある。そのため、撮像装置の製造段階において欠陥画素の位置を検出する場合には、撮像装置のコストの増加を招いている。

また、例えば、上記特許文献１に記載の技術や、上記特許文献２に記載の技術、上記特許文献３に記載の技術などの既存の技術のように、画像信号に基づいて、画像信号が示す画像における注目画素の周辺の画素の画素値を参照して、欠陥画素を判定する場合には、上記撮像装置の製造段階における欠陥画素検出工程は必要ではなく、また、欠陥画素の位置の情報を記憶する記録媒体を、撮像装置に設ける必要もない。よって、上記画像信号に基づいて欠陥画素を検出する既存の技術を用いる場合には、コストの低減を図りつつ、欠陥画素を検出することができる可能性はある。

しかしながら、例えば、注目画素が高周波領域に存在する場合には、注目画素の周辺の画素である周辺画素の画素値は、一様ではない。そのため、注目画素が高周波領域に存在する場合には、周辺画素の画素値を参照したとしても、注目画素が欠陥画素に対応する画素であるかを判定することが困難である。また、画像信号を出力したイメージセンサにおいて欠陥画素が、欠陥画素の検出に係る一定領域内に複数存在する場合には、周辺画素の画素値を参照したとしても、注目画素が欠陥画素に対応する画素であるかを判定することは困難である。よって、上記画像信号に基づいて欠陥画素を検出する既存の技術を用いたとしても、欠陥画素を検出することができるとは限らない。

さらに、上記画像信号に基づいて欠陥画素を検出する既存の技術を用いる場合において精度よく欠陥画素を検出するには、注目画素との比較を行う周辺画素数を増やす必要がある。そのため、上記画像信号に基づいて欠陥画素を検出する既存の技術を用いる場合において精度よく欠陥画素を検出するには、より多くのラインメモリが必要になることから、撮像装置などの欠陥画素を検出する装置のコストの増加を招く恐れがある。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コストの低減を図りつつ、欠陥画素を検出することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。

上記目的を達成するために、本発明の第１の観点によれば、同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、上記第１の画像よりも露光時間が短い第２の画像とを処理する画像処理装置であって、上記第１の画像と上記第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する欠陥判定部を備える、画像処理装置が提供される。

かかる構成によって、コストの低減を図りつつ、欠陥画素を検出することができる。

また、上記欠陥判定部は、上記第１の画像と上記第２の画像とにおける対応する位置の画素において、露光時間と画素値との間に線形の関係が成立するか否かに基づいて、欠陥画素を判定してもよい。

また、上記欠陥判定部は、上記第１の画像における画素値が、下記の条件式を満たさない場合に、対応する画素を欠陥画素であると判定してもよい。

また、上記欠陥判定部における判定結果に基づいて、上記第１の画像および上記第２の画像それぞれにおける、欠陥画素と判定された画素に対応する画素値を補正する欠陥補正部をさらに備えていてもよい。

また、上記欠陥補正部において補正された第１の画像と第２の画像とを合成する合成部をさらに備えていてもよい。

また、上記目的を達成するために、本発明の第２の観点によれば、同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、上記第１の画像よりも露光時間が短い第２の画像とを処理する画像処理方法であって、上記第１の画像と上記第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定するステップを有する、画像処理方法が提供される。

かかる方法を用いることによって、コストの低減を図りつつ、欠陥画素を検出することができる。

また、上記目的を達成するために、本発明の第３の観点によれば、同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、上記第１の画像よりも露光時間が短い第２の画像とを処理するプログラムであって、コンピュータを、上記第１の画像と上記第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する欠陥判定手段として機能させるためのプログラムが提供される。

かかるプログラムが用いられることによって、コストの低減を図りつつ、欠陥画素を検出することができる。

本発明によれば、コストの低減を図りつつ、欠陥画素を検出することができる。

本発明の実施形態に係る画像処理方法に係る処理を説明するための説明図である。 本発明の実施形態に係る画像処理方法に係る処理を説明するための説明図である。 本発明の第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の実施形態に係るワイドダイナミックレンジ処理を説明するための説明図である。 本発明の実施形態に係るワイドダイナミックレンジ処理を説明するための説明図である。 本発明の第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置における、欠陥画素と判定された画素の補正に係る処理の一例を説明するための流れ図である。 本発明の第２の実施形態に係る画像処理装置が備える合成部の構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成の一例について説明する前に、本発明の実施形態に係る画像処理方法について説明する。以下では、本発明の実施形態に係る画像処理方法に係る処理を、本発明の実施形態に係る画像処理装置が行うものとして説明する。

上述したように、撮像装置の製造段階において欠陥画素の位置を検出する場合には、コストの増加を招く恐れがある。また、上記画像信号に基づいて欠陥画素を検出する既存の技術のように、画像信号に基づいて、画像信号が示す画像における注目画素の周辺の画素の画素値を参照して、欠陥画素を判定する場合には、欠陥画素を検出することができるとは限られず、また、検出精度を向上させるためにはコストの増加を招く恐れがある。

そこで、本発明の実施形態に係る画像処理装置は、画像信号に基づいて欠陥画素を検出する。より具体的には、本発明の実施形態に係る画像処理装置は、同一の被写体を同一の撮像素子によって撮像することにより得られた、露光時間の異なる２つの画像（画像信号が示す画像）における対応する位置の画素の画素値に基づいて、欠陥画素を判定する。

以下では、本発明の実施形態に係る露光時間の異なる２つの画像のうち、一の画像を「第１の画像」と示し、第１の画像よりも露光時間が短い他の画像を「第２の画像」と示す。また、以下では、本発明の実施形態に係る第１の画像を「Ｌｏｎｇ Ｆｒａｍｅ」と示す場合があり、また、本発明の実施形態に係る第２の画像を「Ｓｈｏｒｔ Ｆｒａｍｅ」と示す場合がある。

以下、本発明の実施形態に係る画像処理方法に係る処理について、より具体的に説明する。

図１は、本発明の実施形態に係る画像処理方法に係る処理を説明するための説明図である。ここで、図１は、正常な撮像素子における、露光時間（「Ｅｘｐｏｓｕｒｅ ｔｉｍｅ」と示す場合がある。）と画素値との一例を示している。

上述したように、イメージセンサが備えるＣＭＯＳなどの撮像素子（光電変換素子）は、受光量に応じた画像信号（電気信号）を出力する。ここで、撮像素子に光が入射される時間、すなわち露光時間が長ければ長いほど、受光量が増えることから、露光時間に応じて画素値は線形に大きくなる。

図２は、本発明の実施形態に係る画像処理方法に係る処理を説明するための説明図である。ここで、図２は、正常な撮像素子における露光時間と画素値との一例（図２に示す“通常画素”）と、正常ではない撮像素子における露光時間と画素値との一例（図２に示す“欠陥画素”）とを示している。ここで、図２に示す“Ｌｏｎｇ Ｅｘｐｏｓｕｒｅ ｔｉｍｅ”は、本発明の実施形態に係る第１の画像に対応する露光時間の一例を示しており、図２に示す“Ｓｈｏｒｔ Ｅｘｐｏｓｕｒｅ ｔｉｍｅ”は、本発明の実施形態に係る第２の画像に対応する露光時間の一例を示している。

図２に示すように、正常ではない撮像素子、すなわち欠陥画素では、撮像により得られる画像において、露光時間と画素値との間に、図２の通常画素に示すような線形の関係は成立しない。

そこで、本発明の実施形態に係る画像処理装置は、図１、図２を参照して示した線形の関係に着目して、第１の画像と第２の画像における対応する位置の画素の画素値に基づいて、欠陥画素を判定することによって、欠陥画素を検出する。

より具体的には、本発明の実施形態に係る画像処理装置は、例えば、第１の画像における判定対象の画素の画素値が、下記の条件式１を満たさない場合に、判定対象の画素（当該画素値に対応する画素）を、欠陥画素であると判定する。ここで、下記の条件式１に基づく判定は、露光の状況変化に影響されているか否かを判定する処理に相当する。本発明の実施形態に係る画像処理装置は、下記の条件式１を満たさない場合に、判定対象の画素が露光の状況変化に影響されていないとして、判定対象の画素を欠陥画素と判定する。

・・・（条件式１）

ここで、上記条件式１に示す露光率は、Ｌｏｎｇ Ｆｒａｍｅ露光時間（第１の画像に対応する露光時間）と、Ｓｈｏｒｔ Ｆｒａｍｅ露光時間（第２の画像に対応する露光時間）との比であり、例えば下記の数式１で表される。なお、本発明の実施形態に係る露光率の算出方法が、下記の数式１に限られないことは、言うまでもない。

Ｋ＝（第１の画像に対応する露光時間）／（第２の画像に対応する露光時間）
・・・（数式１）

また、上記数式１に示す誤差αは、画像信号に含まれうるノイズ成分に対応する値である。本発明の実施形態に係る誤差αの値としては、例えば、予め設定された固定値が挙げられる。なお、本発明の実施形態に係る誤差αの値は、ユーザ操作などに基づき変更可能な可変値であってもよい。

なお、本発明の実施形態に係る欠陥画素の判定方法は、上記条件式１を用いる方法に限られない。例えば、本発明の実施形態に係る画像処理装置は、第１の画像と第２の画像とにおける対応する位置の画素において、露光時間と画素値との間に線形の関係が成立するか否かに基づいて、欠陥画素を判定することができる。ここで、露光時間と画素値との間に線形の関係が成立するか否かに基づく欠陥画素の判定は、例えば、画素値が露光の状況変化に影響されているか否かを判定する方法に相当する。本発明の実施形態に係る欠陥画素の判定方法の他の例については、後述する。

本発明の実施形態に係る画像処理装置は、例えば上記のように、第１の画像と第２の画像における対応する位置の画素の画素値に基づいて、欠陥画素を判定する。

ここで、本発明の実施形態に係る画像処理装置は、画像信号に基づいて欠陥画素を検出するので、撮像装置の製造段階において欠陥画素の位置を検出する場合のような、例えば本発明の実施形態に係る画像処理装置の製造段階において欠陥画素検出工程は、必要ない。また、本発明の実施形態に係る画像処理装置は、画像信号に基づいて欠陥画素を検出するので、撮像装置の製造段階において欠陥画素の位置を検出する場合のように、欠陥画素の位置の情報を記憶する記録媒体を常に備える必要はない。

よって、本発明の実施形態に係る画像処理装置が、本発明の実施形態に係る画像処理方法に係る処理を行うことによって、撮像装置の製造段階において欠陥画素の位置を検出する場合よりも、コストの低減を図ることができる。

また、本発明の実施形態に係る画像処理装置は、上記画像信号に基づいて欠陥画素を検出する既存の技術のように、判定対象の画素の周辺画素の画素値を用いずに、第１の画像と第２の画像における対応する位置の画素の画素値に基づいて欠陥画素を判定する。よって、判定対象の画素が高周波領域に存在場合であっても、本発明の実施形態に係る画像処理装置は、欠陥画素を判定することができる。

また、本発明の実施形態に係る画像処理装置は、欠陥画素の判定に際して、上記画像信号に基づいて欠陥画素を検出する既存の技術のように、より多くのラインメモリは必要ない。よって、本発明の実施形態に係る画像処理方法に係る処理が行われることによって、上記画像信号に基づいて欠陥画素を検出する既存の技術が用いられる場合よりも、コストの低減を図ることができる。

したがって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理を行うことによって、コストの低減を図りつつ、欠陥画素を検出することができる。

（本発明の実施形態に係る画像処理装置）
次に、上述した本発明の実施形態に係る画像処理方法に係る処理を行うことが可能な、本発明の実施形態に係る画像処理装置の構成の一例について説明する。

［１］第１の実施形態に係る画像処理装置
図３は、本発明の第１の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。ここで、図３では、第１の画像を“Ｌｏｎｇ Ｆｒａｍｅ”と示し、第２の画像を“Ｓｈｏｒｔ Ｆｒａｍｅ”と示している。

画像処理装置１００は、例えば、欠陥判定部１０２を備える。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory。図示せず）、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central Processing Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、欠陥判定部１０２の役目を果たしてもよい。なお、欠陥判定部１０２は、欠陥判定部１０２の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。

また、制御部（図示せず）は、例えば、欠陥画素の有無、および／または、欠陥画素の位置などを示す判定データを記憶部（図示せず）に記録する処理や、判定データを外部装置に対して送信させる送信制御処理などを行う役目を果たしてもよい。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。

操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することも可能である。

表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro-Luminescence display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

撮像部（図示せず）は、例えば静止画像や動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）から伝達される画像信号を処理することが可能である。

ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子が挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳなどの撮像素子を複数用いたイメージセンサとで構成される。

欠陥判定部１０２は、本発明の実施形態に係る画像処理方法に係る処理を行う役目を果たし、第１の画像と第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する。より具体的には、欠陥判定部１０２は、例えば、第１の画像における画素値が、上記条件式１を満たさない場合に、対応する画素を欠陥画素であると判定する。

ここで、欠陥判定部１０２が処理する第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）、および第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）としては、例えば、撮像部（図示せず）や外部装置である撮像装置が撮像することにより生成した画像が挙げられるが、欠陥判定部１０２が処理する第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）、および第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）は、上記に限られない。例えば、欠陥判定部１０２は、記憶部（図示せず）や外部記録媒体から読み出された第１の画像および第２の画像や、ネットワークを介して（あるいは、直接的に）接続された外部装置から受信した第１の画像および第２の画像を、処理することも可能である。

また、欠陥判定部１０２は、例えば、欠陥画素の有無、および／または、欠陥画素の位置などを示す判定データを出力する。

画像処理装置１００は、例えば図３に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理を行う。したがって、画像処理装置１００は、例えば図３に示す構成によって、コストの低減を図りつつ、欠陥画素を検出することができる。

なお、本発明の実施形態に係る画像処理装置の構成は、図３に示す構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、露光時間が異なる第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）と第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）とを合成してダイナミックレンジ（「Ｄｙｎａｍｉｃ Ｒａｎｇｅ」と示す場合がある。）が広い画像を生成する、ワイドダイナミックレンジ処理をさらに行うことも可能である。

そこで、次に、ワイドダイナミックレンジ処理をさらに行うことが可能な、第２の実施形態に係る画像処理装置について説明する。

［２］第２の実施形態に係る画像処理装置
第２の実施形態に係る画像処理装置（以下、「画像処理装置２００」と示す場合がある。）の構成の一例をについて説明する前に、まず、本発明の実施形態に係るワイドダイナミックレンジ処理について説明する。

図４は、本発明の実施形態に係るワイドダイナミックレンジ処理を説明するための説明図である。ここで、図４に示すＡは、撮像される被写体の輝度の一例を示しており、図４に示すＢは、図４のＡに示す被写体が撮像されることにより得られた画像信号が示す画素値の一例を示している。

１つの撮像素子に蓄積することができる受光量（最大電荷量）は決まっており、ダイナミックレンジが不足していると、図４のＢに示すように“白とび”や“黒つぶれ”とよばれる画質の低下を招く現象が生じる。

上記のような“白とび”や“黒つぶれ”などの発生を防止するために、露光時間が異なる第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）と第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）とを合成する処理が、ワイドダイナッミクレンジ処理である。

図５は、本発明の実施形態に係るワイドダイナミックレンジ処理を説明するための説明図である。

画像処理装置２００は、第１の画像と、閾値ＴＨ０および閾値ＴＨ１（ＴＨ１＞ＴＨ０）とを用いた閾値処理によって、第１の画像と第２の画像とを選択的に合成する。より具体的には、例えば、第１の画像の位置（ｘ，ｙ）に対応する画素の画素値Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）と、閾値ＴＨ０および／または閾値ＴＨ１とを用いて、例えば下記の（ａ）〜（ｃ）に示すように、画素値Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）と、第２の画像の位置（ｘ，ｙ）に対応する画素の画素値Ｓｈｏｒｔ Ｆｒａｍｅ（ｘ，ｙ）とを、選択的に合成する。

（ａ）ケース１（図５に示すＡに対応）：Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）＜ＴＨ０の場合
画像処理装置２００は、画素値Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）を出力する。つまり、ケース１の場合には、画像処理装置２００は、合成を行わない。

（ｂ）ケース２（図５に示すＢに対応）：ＴＨ０≦Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）≦ＴＨ１の場合
画像処理装置２００は、例えば下記の数式２に示すように、画素値Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）と画素値Ｓｈｏｒｔ Ｆｒａｍｅ（ｘ，ｙ）とを合成し、合成した画素値Ｃｏｍｂｉｎａｔｉｏｎ Ｆｒａｍｅ（ｘ，ｙ）を出力する。ここで、下記の数式２に示す“Ｋ”は、露光率を示す。また、下記の数式２に示す“β”は、画素値Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）と画素値Ｓｈｏｒｔ Ｆｒａｍｅ（ｘ，ｙ）とを合成する割合を示す係数である。

Ｃｏｍｂｉｎａｔｉｏｎ Ｆｒａｍｅ（ｘ，ｙ）＝Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）×（１−β）＋Ｓｈｏｒｔ Ｆｒａｍｅ（ｘ，ｙ）×Ｋ×β
・・・（数式２）

（ｃ）ケース３（図５に示すＣに対応）：Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）＞ＴＨ１の場合
画像処理装置２００は、画素値Ｓｈｏｒｔ Ｆｒａｍｅ（ｘ，ｙ）を出力する。つまり、ケース３の場合には、画像処理装置２００は、合成を行わない。

画像処理装置２００は、例えば上記（ａ）〜上記（ｃ）に示す処理を行うことによって、第１の画像と第２の画像とを選択的に合成することによって、ダイナミックレンジがより広い画像（以下、「Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｇｅ Ｆｒａｍｅ」と示す場合がある。）を得る。

次に、上述したワイドダイナミックレンジ処理をさらに行うことが可能な、第２の実施形態に係る画像処理装置２００の構成の一例について説明する。

図６は、本発明の第２の実施形態に係る画像処理装置２００の構成の一例を示すブロック図である。ここで、図６では、図３と同様に、第１の画像を“Ｌｏｎｇ Ｆｒａｍｅ”と示し、第２の画像を“Ｓｈｏｒｔ Ｆｒａｍｅ”と示している。また、図６では、本発明の実施形態に係るワイドダイナミックレンジ処理が行われた後の画像、すなわち、第１の画像と第２の画像とが選択的に合成されたダイナミックレンジがより広い画像を、「Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｆｒａｍｅ」と示している。

画像処理装置２００は、例えば、欠陥判定部１０２と、欠陥補正部２０２と、合成部２０４とを備える。

また、画像処理装置２００は、例えば、第１の実施形態に係る画像処理装置１００と同様に、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置２００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。

ここで、制御部（図示せず）は、例えば、ＣＰＵや各種処理回路などで構成され、画像処理装置２００全体を制御する。また、制御部（図示せず）は、例えば、欠陥判定部１０２、欠陥補正部２０２、合成部２０４のうちの１または２以上の役目を果たしてもよい。なお、欠陥判定部１０２、欠陥補正部２０２、および合成部２０４は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。

また、制御部（図示せず）は、例えば、処理後の画像Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｆｒａｍｅを、記憶部（図示せず）に記録する処理や、処理後の画像Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｆｒａｍｅを外部装置に対して送信させる送信制御処理などを行う役目を果たしてもよい。

欠陥判定部１０２は、図３に示す第１の実施形態に係る欠陥判定部１０２と同様に、第１の画像と第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する。そして、欠陥判定部１０２は、判定結果を示す判定データを欠陥補正部２０２へ伝達する。

欠陥補正部２０２は、欠陥判定部１０２における判定結果に基づいて、第１の画像および第２の画像それぞれにおける、欠陥画素と判定された画素に対応する画素値を補正する。そして、欠陥補正部２０２は、選択的に補正された第１の画像を示す画像信号と第２の画像を示す画像信号とを、合成部２０４に伝達する。

ここで、欠陥補正部２０２における補正処理としては、例えば、欠陥画素と判定された画素の周辺画素の画素値を参照して、欠陥画素と判定された画素の画素値を線形補間する処理が挙げられる。なお、欠陥補正部２０２における補正処理は、上記に限られない。例えば、欠陥補正部２０２は、画素値を補正することが可能な任意の処理を、補正処理として行うことが可能である。

なお、上記では、欠陥補正部２０２が、欠陥判定部１０２における判定結果に基づいて、欠陥画素と判定された画素に対応する画素値を補正する例を示したが、本発明の第２の実施形態に係る画像処理装置が備える欠陥補正部における処理は、上記に限られない。例えば、第２の実施形態に係る欠陥補正部は、欠陥判定部１０２と同様の機能をさらに有し、第１の画像および第２の画像に基づいて欠陥画素を判定して、欠陥画素と判定された画素に対応する画素値を選択的に補正してもよい。

図７は、本発明の第２の実施形態に係る画像処理装置２００における、欠陥画素と判定された画素の補正に係る処理の一例を説明するための流れ図である。図７では、欠陥判定部１０２における欠陥画素の判定に係る処理の他の例を併せて示している。ここで、図７に示すステップＳ１００、Ｓ１０２、Ｓ１０６の処理が、欠陥判定部１０２における処理に該当し、また、図７に示すステップＳ１０４、Ｓ１０８〜Ｓ１１２の処理が、欠陥補正部２０２における処理に該当する。また、図７に示すステップＳ１００〜Ｓ１１０の処理は、第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）および第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）の全画素に対して行われる。以下では、図７に示す処理を、画像処理装置２００が行うものとして説明する。

画像処理装置２００は、第１の画像における判定対象の画素の画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが、飽和状態を判定するための飽和画素判定閾値ＴＨより小さいか否か（または、飽和画素判定閾値ＴＨ以下か否か。以下、同様とする。）を判定する（Ｓ１００）。ここで、飽和画素判定閾値ＴＨは、例えば、予め設定された固定値であってもよいし、ユーザ操作などに応じて変更可能な可変値であってもよい。

ステップＳ１００において、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが飽和画素判定閾値ＴＨより小さいと判定された場合、すなわち、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが飽和していないと判定された場合には、画像処理装置２００は、例えば、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが上記条件式１を満たすか否かを判定する（Ｓ１０２）。

ステップＳ１０２において、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが上記条件式１を満たすと判定された場合には、画素値が露光の状況変化に影響されているので、欠陥画素に該当しないと判定する。そして、画像処理装置２００は、判定対象の画素の画素値を補正しない（Ｓ１０４）。

また、ステップＳ１０２において、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが上記条件式１を満たすと判定されない場合には、画素値が露光の状況変化に影響されていないので、画像処理装置２００は、欠陥画素に該当すると判定する。そして、画像処理装置２００は、判定対象の画素の画素値を補正する（Ｓ１１０）。

ステップＳ１００において、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが飽和画素判定閾値ＴＨより小さいと判定されない場合、すなわち、画素値Ｌｏｎｇ Ｆｒａｍｅ Ｐｉｘｅｌが飽和していると判定された場合には、画像処理装置２００は、例えば、下記の条件式２を満たすか否かを判定する（Ｓ１０６）。

下記の条件式２に示す“Ｓｈｏｒｔ Ｆｒａｍｅ Ｐｉｘｅｌ”は、第２の画像における判定対象の画素の画素値を示している。また、下記の条件式２に示す“Ｋ”は、露光率を示している。ここで、下記の条件式２に基づく判定は、“第１の画像と第２の画像とにおける対応する位置の画素において、露光時間と画素値との間に線形の関係が成立するか否かに基づく欠陥画素を判定方法”の他の例に該当する。

ＴＨ≦（Ｓｈｏｒｔ Ｆｒａｍｅ Ｐｉｘｅｌ×Ｋ）
・・・（条件式２）

ステップＳ１０６において画素値Ｓｈｏｒｔ Ｆｒａｍｅ Ｐｉｘｅｌが上記条件式２を満たすと判定された場合には、画像処理装置２００は、画素値が露光の状況変化に影響されているので、欠陥画素に該当しないと判定する。そして、画像処理装置２００は、判定対象の画素の画素値を補正しない（Ｓ１０８）。

また、ステップＳ１０６において画素値Ｓｈｏｒｔ Ｆｒａｍｅ Ｐｉｘｅｌが上記条件式２を満たすと判定されない場合には、画像処理装置２００は、画素値が露光の状況変化に影響されていないので、欠陥画素に該当すると判定する。そして、画像処理装置２００は、判定対象の画素の画素値を補正する（Ｓ１１０）。

例えば、第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）および第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）の全画素に対して、ステップＳ１００〜Ｓ１１０の処理が行われると、画像処理装置２００は、選択的に補正された第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）および第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）を出力する。

画像処理装置２００は、欠陥判定部１０２と欠陥補正部２０２とにおいて、例えば図７に示す処理を行う。なお、第２の実施形態に係る画像処理装置２００における、欠陥画素の判定、および欠陥画素と判定された画素の補正に係る処理が、図７に示す例に限られないことは、言うまでもない。

再度図６を参照して、本発明の第２の実施形態に係る画像処理装置２００の構成の一例について説明する。合成部２０４は、上述した本発明の実施形態に係るワイドダイナミックレンジ処理を行う役目を果たし、欠陥補正部２０２において補正された第１の画像と第２の画像とを合成する。

図８は、本発明の第２の実施形態に係る画像処理装置２００が備える合成部２０４の構成の一例を示すブロック図である。合成部２０４は、例えば、乗算部２１０と、レベル判定部２１２と、合成処理部２１４とを備える。

乗算部２１０は、第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）に露光率Ｋを乗算する。そして、乗算部２１０は、乗算された画像を示す画像信号を合成処理部２１４へ伝達する。

レベル判定部２１２は、第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）と、閾値ＴＨ０および閾値ＴＨ１（ＴＨ１＞ＴＨ０）とを用いた閾値処理によって、第１の画像の画素値Ｌｏｎｇ Ｆｒａｍｅ（ｘ，ｙ）それぞれのレベルを判定する。そして、レベル判定部２１２は、判定結果を、合成処理部２１４で伝達する。ここで、レベル判定部２１２における処理は、上記（ａ）〜上記（ｃ）のどのケースに該当するかを判定する処理に該当する。

合成処理部２１４は、レベル判定部２１２から伝達される判定結果に基づいて、第１の画像（Ｌｏｎｇ Ｆｒａｍｅ）と、第２の画像（Ｓｈｏｒｔ Ｆｒａｍｅ）とを選択的に合成する。より具体的には、合成処理部２１４は、レベル判定部２１２から伝達される判定結果に基づいて、例えば上記（ａ）〜上記（ｃ）に示す処理を行う。

合成部２０４は、例えば図８に示す構成によって、上述した本発明の実施形態に係るワイドダイナミックレンジ処理を行う。なお、第２の実施形態に係る合成処理部２０４の構成が、図８に示す構成に限られないことは、言うまでもない。

第２の実施形態に係る画像処理装置２００は、例えば図６に示す構成によって、図３に示す第１の実施形態に係る画像処理装置１００と同様に、本発明の実施形態に係る画像処理方法に係る処理を行う。したがって、画像処理装置２００は、例えば図６に示す構成によって、図３に示す第１の実施形態に係る画像処理装置１００と同様に、コストの低減を図りつつ、欠陥画素を検出することができる。

また、画像処理装置２００は、例えば図６に示す構成によって、欠陥画素の検出結果（判定結果）に基づいて、検出された欠陥画素に対応する画素値を補正し、さらに、本発明の実施形態に係るワイドダイナミックレンジ処理によりダイナミックレンジがより広い画像を生成することができる。

なお、本発明の実施形態に係る画像処理装置の構成は、図３に示す第１の実施形態に係る構成や、図６に示す第２の実施形態に係る構成に限られない。例えば、本発明の実施形態に係るワイドダイナミックレンジ処理を行う外部装置と連携して処理を行う場合などには、本発明の実施形態に係る画像処理装置は、図６に示す構成において合成部２０４を備えない構成をとることも可能である。

以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置や、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号を処理することが可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated Circuit）に適用することもできる。

（本発明の実施形態に係るプログラム）
コンピュータを、本発明の第１の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、コンピュータを、欠陥判定部として機能させることが可能なプログラム）が、コンピュータにおいて実行されることによって、コストの低減を図りつつ、欠陥画素を検出することができる。

また、コンピュータを、本発明の第２の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、コンピュータを、欠陥判定部、欠陥補正部、および合成部２０４として機能させることが可能なプログラム）が、コンピュータにおいて実行されることによって、さらに、検出された欠陥画素に対応する画素値を補正して、ダイナミックレンジがより広い画像を生成することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

１００、２００ 画像処理装置
１０２ 欠陥判定部
２０２ 欠陥補正部
２０４ 合成部
２１０ 乗算部
２１２ レベル判定部
２１４ 合成処理部

Claims (7)

1. 同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、前記第１の画像よりも露光時間が短い第２の画像とを処理する画像処理装置であって、
   前記第１の画像と前記第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する欠陥判定部を備えることを特徴とする、画像処理装置。
2. 前記欠陥判定部は、前記第１の画像と前記第２の画像とにおける対応する位置の画素において、露光時間と画素値との間に線形の関係が成立するか否かに基づいて、欠陥画素を判定することを特徴とする、請求項１に記載の画像処理装置。
3. 前記欠陥判定部は、前記第１の画像における画素値が、下記の条件式を満たさない場合に、対応する画素を欠陥画素であると判定することを特徴とする、請求項２に記載の画像処理装置。
   

   
4. 前記欠陥判定部における判定結果に基づいて、前記第１の画像および前記第２の画像それぞれにおける、欠陥画素と判定された画素に対応する画素値を補正する欠陥補正部をさらに備えることを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記欠陥補正部において補正された第１の画像と第２の画像とを合成する合成部をさらに備えることを特徴とする、請求項４に記載の画像処理装置。
6. 同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、前記第１の画像よりも露光時間が短い第２の画像とを処理する画像処理方法であって、
   前記第１の画像と前記第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定するステップを有することを特徴とする、画像処理方法。
7. 同一の被写体を同一の撮像素子によって撮像することにより得られた、第１の画像と、前記第１の画像よりも露光時間が短い第２の画像とを処理するプログラムであって、
   コンピュータを、前記第１の画像と前記第２の画像とにおける対応する位置の画素の画素値に基づいて、欠陥画素を判定する欠陥判定手段として機能させるためのプログラム。
   

Images