JP2023090628A - 画像処理装置および画像処理方法、撮像装置 - Google Patents

Abstract

【課題】非可視光画像が合成された領域とされていない領域とにおける階調性の関係の不自然さを抑制しながら、可視光画像の階調性を向上させることが可能な画像処理装置および画像処理方法を提供すること。【解決手段】画像処理装置は、可視光画像のうち、決定された、非可視光画像を合成する領域に非可視光画像を合成し、合成画像を生成する。画像処理装置は、合成画像のうち、非可視光画像が合成された領域と合成されていない領域との階調情報の差が予め定められた第１閾値以下となるように非可視光画像を調整してから可視光画像に合成する。【選択図】図３

Description

本発明は、画像処理装置および画像処理方法、撮像装置に関する。

霧やかすみによって視認性が低下したシーンを撮影した可視光画像に、同シーンを撮影した赤外光画像を合成し、可視光画像の視認性を改善する手法が提案されている（特許文献１）。

特開２０１７－１５７９０２号公報

特許文献１では、可視光画像のうち霧の透過率が低い領域に赤外光画像を合成することで、霧によって視認性が低下した領域の階調性を改善することにより、視認性を改善させている。

しかしながら、特定の領域に対して赤外光画像を合成した場合、赤外光画像が合成された領域とされていない領域との階調性の関係が不自然に感じられる場合がある。

本発明はその一態様において、非可視光画像が合成された領域とされていない領域とにおける階調性の関係の不自然さを抑制しながら、可視光画像の階調性を向上させることが可能な画像処理装置および画像処理方法を提供する。

上述の目的は、可視光画像のうち、非可視光画像を合成する領域を決定する決定手段と、決定に基づいて、可視光画像に非可視光画像を合成して合成画像を生成する合成手段と、を有し、合成手段は、前記合成画像のうち、非可視光画像が合成された領域と合成されていない領域との階調情報の差が予め定められた第１閾値以下となるように、非可視光画像を調整してから可視光画像に合成する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、非可視光画像が合成された領域とされていない領域とにおける階調性の関係の不自然さを抑制しながら、可視光画像の階調性を向上させることが可能な画像処理装置および画像処理方法を提供することができる。

実施形態に係る画像処理装置としての撮像装置の機能構成例を示すブロック図 撮像素子の画素配置例を示す図 第１実施形態における階調補正部の機能構成例を示すブロック図 第１実施形態における階調補正部の動作に関するフローチャート 第１実施形態における輝度エンハンス部の機能構成例を示すブロック図 第１実施形態における輝度エンハンス部の動作に関するフローチャート 同シーンを撮影した可視光画像の輝度成分と赤外光画像の例を示す図 第１実施形態における色補正部の機能構成例を示すブロック図 第１実施形態における色補正部の動作に関するフローチャート 第１実施形態における彩度補正ゲインの例を示す図 第２実施形態における階調補正部の機能構成例を示すブロック図 第２実施形態における輝度エンハンス部の機能構成例を示すブロック図 第２実施形態における輝度エンハンス部の動作に関するフローチャート 第２実施形態における色補正部の機能構成例を示すブロック図 第２実施形態における色補正部の動作に関するフローチャート 第２実施形態における、分光特性を考慮するための調整ゲインの例を示す図 第３実施形態における階調補正部の機能構成例を示すブロック図 第３実施形態における階調補正部の動作に関するフローチャート 第３実施形態におけるかすみ濃化部の機能構成例を示すブロック図 第３実施形態におけるかすみ濃化部の動作に関するフローチャート 第３実施形態における濃化ゲイン特性の例を示す図 第３実施形態におけるかすみ濃化処理による画素値の変化を模式的に示す図 第３実施形態における色補正部の機能構成例を示すブロック図 第３実施形態における色補正部の動作に関するフローチャート 第３実施形態における彩度ゲイン特性の例を示す図

●（第１実施形態）
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をデジタルカメラのような撮像装置で実施する場合に関して説明する。しかし、本発明に撮像機能は必須でなく、本発明は画像データを取り扱い可能な任意の電子機器で実施可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

なお、図においてブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路（ＩＣ）によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つのブロックが複数の集積回路パッケージによって実現されてもよいし、複数のブロックが１つの集積回路パッケージによって実現されてもよい。また、同一のブロックが動作環境や要求される能力などに応じて異なる構成で実施されてもよい。

図１は、本発明に係る画像処理装置の一例としての撮像装置１００の機能的な構成の一例を示すブロック図である。制御部１０１は、例えばＣＰＵのようなプログラムを実行可能なプロセッサである。制御部１０１は、例えばＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み込んで実行することにより、撮像装置１００の各機能ブロックの動作を制御し、撮像装置１００の機能を実現する。なお、光学系１０４が交換可能なレンズユニットの場合、制御部１０１は光学系１０４が有するコントローラとの通信を通じて光学系１０４の動作を制御する。

ＲＯＭ１０２は書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、制御部１０１が実行するプログラム、撮像装置１００の各種の設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１０３は、制御部１０１のメインメモリである。ＲＡＭ１０３は制御部１０１が実行するプログラムをロードしたり、プログラムの実行に必要なパラメータを保持したり、画像処理部１０７の作業用メモリとして用いられる。また、ＲＡＭ１０３の一部の領域は表示部１０９に表示する画像データを格納するビデオメモリとして用いられる。

光学系１０４は、可動レンズ（ズームレンズ、フォーカスレンズなど）を含むレンズ群からなる撮像光学系と、可動レンズの駆動回路とを有する。光学系１０４は絞りとその駆動回路を有してもよい。

撮像部１０５は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサ（撮像素子）であってよい。撮像素子は複数の画素が２次元配列された画素アレイと、画素から信号を読み出すための周辺回路とを有する。各画素はフォトダイオードなどの光電変換素子を有し、露光期間における入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像光学系が撮像面に形成した被写体像を表す画素信号群（アナログ画像信号）が得られる。

なお、本実施形態では撮像部１０５が可視光画像と非可視光画像とを撮像可能な撮像素子を有するものとする。このような撮像素子は例えば画素アレイに含まれる複数の画素の一部を、非可視光画像の撮像用画素としたものであってよい。非可視光画像の撮像用画素は、非可視光の波長帯域を透過し、可視光の波長領域を遮断する特性の光学フィルタを有する画素であってよい。

例えば、図２（ａ）に示すように、原色ベイヤ配列のカラーフィルタが設けられた撮像素子において、カラーフィルタの繰り返し単位に含まれる２つの緑（Ｇ）フィルタが設けられる画素（Ｇ画素）の１つを、非可視光画像の撮像用画素に置き換えることができる。この場合、非可視光画像の撮像用画素の位置に本来存在するはずのＧ画素の値を、欠陥画素の値と同様に、他の画素の値を用いて補間することにより可視光画像を生成することができる。また、非可視光画像については、非可視光画像の撮像用画素の信号に基づいて得られる画像を拡大処理して可視光画像と同じ解像度（画素数）とすることができる。

なお、可視光画像および非可視光画像の取得方法に特に制限はなく、他の方法で取得してもよい。例えば、図２（ｂ）に示すように、可視光画像を撮影するための撮像素子（左）と、非可視光画像を撮影するための撮像素子（右）とを別個に設けてもよい。この場合、撮像素子ごとに独立した光学系を設けてもよいし、１つの光学系が形成する光学像をプリズムなどによって２つの撮像素子に振り分けてもよい。また、本実施形態では非可視光画像が赤外光画像であるものとするが、他の不可視波長帯域の画像であってもよい。

Ａ／Ｄ変換部１０６は、撮像部１０５から読み出されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０６は、デジタル画像信号をＲＡＭ１０３に書き込む。

画像処理部１０７は、ＲＡＭ１０３に記憶されているデジタル画像信号に対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１０７は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

画像処理部１０７が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。

補正処理には、ホワイトバランス調整、階調補正、光学系１０４の光学収差に起因する画像劣化の補正（画像回復）、光学系１０４の周辺減光の影響の補正、色補正などの処理が含まれる。また、後述する、可視光画像の階調補正を目的とした赤外光画像の合成処理（エンハンス処理）も補正処理に含まれる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれる。

評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれる。また、後述する、赤外光画像の撮像条件を決定するための評価値の生成も、この処理に含まれる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれる。
なお、これらは画像処理部１０７が適用可能な処理の例示であり、画像処理部１０７が適用する処理を限定するものではない。

記録部１０８は例えばメモリカードなどの記録媒体にデータを記録したり、記録媒体に記録されているデータを読み出したりする。記録媒体は着脱可能でなくてもよい。また、記録媒体は通信可能な外部記憶装置であってもよい。

表示部１０９は、例えば液晶ディスプレイであり、撮像された画像、記録部１０８で読み出された画像、撮像装置１００の情報、メニュー画面などのＧＵＩ、などを表示する。動画撮影と撮影された動画の表示部１０９での表示を継続的に実行することにより、表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させることができる。なお、表示部１０９はタッチディスプレイであってもよい。

操作部１１０は、ユーザが撮像装置１００に指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。操作部１１０を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１１０には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。レリーズスイッチは静止画記録用のスイッチであり、制御部１０１はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、制御部１０１は、動画記録スイッチが撮影待機状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。

図３は、本実施形態で実施するエンハンス処理の説明を目的として、エンハンス処理を実行時の画像処理部１０７を階調補正部３００として模式的に表した機能ブロック図である。したがって、階調補正部３００が有する機能ブロックは実際には画像処理部１０７が実現する機能の一部である。階調補正部３００は、ＩＣｔＣｐ変換部３０１、輝度エンハンス部３０２、色補正部３０３、およびＹＵＶ変換部３０４を有する。

次に、図４に示すフローチャートを用いて、階調補正部３００が可視光画像に適用するエンハンス処理の工程について説明する。ここで、階調補正部３００に入力される可視光画像データおよび赤外光画像データは、撮像部１０５で撮像され、Ａ／Ｄ変換部１０６かを通じて供給されるものであっても、記録部１０８から読み出されたものであってもよい。エンハンス処理に用いる可視光画像データと赤外光画像データは、同時もしくは時間的に十分近いタイミングで同じシーンを撮像した画像データである。

Ｓ４０１において、ＩＣｔＣｐ変換部３０１は、可視光画像データの色空間（例えばＹＵＶ色空間）を、ＩＣｔＣｐ色空間に変換する。ＩＣｔＣｐ色空間はＩＴＵ－Ｒ ＢＴ．２１００で規定された、人間の視覚特性を考慮した均等色空間である。ＩＣｔＣｐ変換部３０１はさらに、ＩＣｔＣｐ形式に変換した可視光画像データを、明るさ（輝度）成分を示すＩ成分と、色成分を示すＣｔＣｐ成分とに分離する。

ＹＵＶ形式やＲＧＢ形式の画像データを、ＩＣｔＣｐ形式の画像データに変換する方法は公知であるため、その詳細に関する説明は省略する。なお、Ｌ*ａ*ｂ*色空間など、ＩＣｔＣｐ色空間以外の均等色空間に変換してもよい。Ｌ*ａ*ｂ*形式に変換した場合、Ｌ*成分とａ*ｂ*成分とに分離する。ＩＣｔＣｐ変換部３０１は、Ｉ成分を輝度エンハンス部３０２へ、ＣｔＣｐ成分を色補正部３０３に出力する。

Ｓ４０２において輝度エンハンス部３０２は、可視光画像データのＩ成分（輝度成分）に対して、赤外光画像データを合成することにより、可視光画像データの階調性（コントラスト）を向上させる。輝度エンハンス部３０２は、可視光画像データの階調補正したＩ成分をＹＵＶ変換部３０４に出力する。また、輝度エンハンス部３０２は、色成分の補正に用いる調整エンハンス情報を色補正部３０３に出力する。可視光画像データの階調補正したＩ成分をＹＵＶ変換部３０４に出力する。輝度エンハンス部３０２によるエンハンス処理の詳細については後述する。

Ｓ４０３において色補正部３０３は、可視光画像データのＣｔＣｐ成分（色成分）に対し、調整エンハンス情報に基づいて色補正処理を適用する。色補正部３０３による色補正処理の詳細については後述する。

Ｓ４０４においてＹＵＶ変換部３０４は、Ｓ４０２でエンハンス処理が適用された輝度成分と、Ｓ４０３で色補正処理が適用された色成分とを統合し、ＩＣｔＣｐ形式の画像データとする。そして、ＹＵＶ変換部３０４は、画像データをＩＣｔＣｐ形式からＹＵＶ形式に変換する。ＩＣｔＣｐ形式の画像データをＹＵＶ形式の画像データに変換する方法は公知であるため、その詳細に関する説明は省略する。

ここでは階調補正部３００にＹＵＶ形式の可視光画像データが入力され、階調補正後に出力する可視光画像データもＹＵＶ形式であるものとした。しかし、ＲＧＢ形式など、他の色空間における画像データとしてもよい。

次に、輝度エンハンス部３０２の詳細について図５および図６を参照して説明する。図５は、輝度エンハンス部３０２の機能構成例を示すブロック図である。輝度エンハンス部３０２は、階調情報抽出部５０１、エンハンス情報生成部５０２、エンハンス情報調整部５０３、およびエンハンス処理部５０４を有する。これらの機能ブロックも画像処理部１０７が実現する機能を模式的に表したものである。

図６は、輝度エンハンス部３０２の動作に関するフローチャートである。
Ｓ６０１において階調情報抽出部５０１は、可視光画像データの輝度成分（Ｉ成分）の階調情報を抽出する。具体的には、階調情報抽出部５０１は、所定の周波数帯域を抽出するバンドパスフィルタ処理を適用することにより、可視光画像データの輝度成分のＡＣ成分を階調情報として抽出する。階調情報抽出部５０１は、階調情報をエンハンス情報生成部５０２に出力する。

Ｓ６０２において階調情報抽出部５０１は、赤外光画像データの階調情報を抽出する。具体的には、階調情報抽出部５０１は、赤外光画像データに対して所定の周波数帯域を抽出するバンドパスフィルタ処理を適用することにより、赤外光画像データのＡＣ成分を階調情報として抽出する。なお、赤外光画像データは輝度成分のみを有するので、輝度成分を分離する必要はない。階調情報抽出部５０１は、階調情報をエンハンス情報生成部５０２に出力する。また、階調情報抽出部５０１は、可視光画像の階調情報はエンハンス情報調整部５０３にも出力する。

図７（ａ）はエンハンス処理の適用前の可視光画像データの輝度成分が表す画像の例を模式的に示した図である。また、図７（ｂ）は図７（ａ）に示す可視光画像データのエンハンス処理に用いる赤外光画像データが表す画像の例を模式的に示した図である。

図７（ａ）に示す可視光画像（輝度成分）は、上部の領域Ｌ７０１が、霧やかすみなどにより階調性が低下している。一方、図７（ｂ）に示す赤外光画像は、赤外光が持つ波長特性によって霧やかすみの影響を受けづらいため、可視光画像よりも領域Ｌ７０１の階調性が良好である。ここで、階調性が良好であるとは、視覚的に十分なコントラストまたはダイナミックレンジを有することと同義である。階調情報抽出部５０１は、空間バンドパスフィルタ処理を適用して、このような２つの画像から階調情報（ＡＣ成分）を抽出する。

Ｓ６０１およびＳ６０２で適用するバンドパスフィルタの周波数特性は、可視光画像（輝度成分）および赤外光画像に含まれる空間周波数の特性に応じて動的に設定してもよい。例えば、赤外光画像を撮像する撮像素子の画素サイズが可視光画像を撮像する撮像素子の画素サイズよりも大きいとする。この場合、可視光画像データと赤外光画像データとから抽出する周波数帯域を合わせるため、可視光画像データに適用するバンドパスフィルタの通過帯域を、赤外光画像データに適用するバンドパスフィルタの通過帯域より低周波側に設定することができる。

Ｓ６０３においてエンハンス情報生成部５０２は、可視光画像データ（輝度成分）と赤外光画像データから抽出した階調情報に基づいてエンハンス情報を生成する。エンハンス情報は、可視光画像データ（輝度成分）のうち、赤外光画像データのＡＣ成分を合成する（エンハンス処理が適用される）領域について有意な値を有し、合成しない（エンハンス処理が適用されない）領域については有意な値を有しない情報である。

具体的には、エンハンス情報生成部５０２は、可視光画像データ（輝度成分）の階調情報が予め定めた閾値以下の領域（低コントラスト領域）については赤外光画像データから抽出した階調情報をエンハンス情報として出力する。また、エンハンス情報生成部５０２は、可視光画像データ（輝度成分）の階調情報が予め定めた閾値を超える領域については所定の固定値（例えば「０」）をエンハンス情報として出力する。なお、閾値は例えば予め実験的に定めておくことができる。

例えば、図７（ａ）に示す可視光画像（輝度成分）で低コントラストな領域Ｌ７０１については、赤外光画像データから抽出した領域Ｌ７０１の階調情報（ＡＣ成分）がエンハンス情報として出力される。また、領域Ｌ７０２については０がエンハンス情報として出力される。エンハンス情報は、可視光画像のうち赤外光画像を合成すべき領域を示す情報でもあり、可視光画像の階調性を補正する補正値でもある。エンハンス情報は、エンハンス情報調整部５０３に出力される。

かすみなどにより可視光画像の階調性が不足している領域についてのみ、赤外光画像データから抽出したＡＣ成分をエンハンス情報として出力する。そのため、階調性の改善が不要な領域については可視光画像の階調性が維持され、不要なコントラストの強調を抑制することができる。

Ｓ６０４においてエンハンス情報調整部５０３は、可視光画像データ（輝度成分）から抽出された階調情報に基づいてエンハンス情報を調整する。エンハンス情報調整部５０３は、調整後のエンハンス情報をエンハンス処理部５０４および色補正部３０３に出力する。エンハンス情報の調整方法の詳細については後述する。

Ｓ６０５においてエンハンス処理部５０４は、調整後のエンハンス情報（調整後の、赤外光画像データのＡＣ成分）を加算することにより、可視光画像データの輝度成分にエンハンス処理を適用する。エンハンス処理部５０４は、エンハンス処理後の輝度成分をＹＵＶ変換部３０４に出力する。

エンハンス処理は以下の式１で表すことができる。本明細書では、画像データが表す画像内の座標を、XY直交座標系の座標（ｘ，ｙ）で表すものとする。
I_out (x,y) = EINFadj (x,y) + I_in (x,y) ・・・式１
Ｉ_ｉｎ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるエンハンス処理前の可視光画像データの輝度成分、ＥＩＮＦａｄｊ（ｘ，ｙ）は、座標（ｘ，ｙ）における調整後のエンハンス情報である。また、Ｉ_ｏｕｔ（ｘ，ｙ）は、座標（ｘ，ｙ）におけるエンハンス処理後の可視光画像データの輝度成分を示す。

なお、エンハンス情報が０の場合、式１を適用してもよいし、しなくてもよい。本明細書では、エンハンス情報が０である領域は、式１が適用されるか否かにかかわらず、エンハンス処理が適用されない領域と呼ぶ。

エンハンス情報調整部５０３の動作の詳細について説明する。図７に関して説明したように、エンハンス情報が、可視光画像における低コントラスト領域Ｌ７０１については赤外光画像データから抽出した階調情報であり、低コントラストでない領域Ｌ７０２では固定値０であるものとする。

この場合、エンハンス情報調整部５０３は、
（１）可視光画像データ（輝度成分）のうち、エンハンス情報が０でない領域Ｌ７０１に対応する領域から抽出した階調情報の絶対値総和（可視光画像のうち、エンハンス処理される領域の階調情報の絶対値総和）、
（２）可視光画像データ（輝度成分）のうち、エンハンス情報が０である領域Ｌ７０２に対応する領域から抽出した階調情報の絶対値総和（可視光画像のうち、エンハンス処理されない領域の階調情報の絶対値総和）、および
（３）エンハンス情報のうち、領域Ｌ７０１に対応する領域の絶対値総和（赤外光画像のうち、エンハンス処理に用いられる領域の階調情報の絶対値総和）、をそれぞれ求める。

そして、エンハンス情報調整部５０３は、領域Ｌ７０１と領域Ｌ７０２についての階調情報の絶対値総和の関係に応じてエンハンス情報を調整する。具体的には、エンハンス情報調整部５０３は、上述した（１）および（３）の和が、（２）と同じ値、もしくは両者の差が閾値以下となるような調整ゲインを求める。後者の場合、閾値は予め例えば実験的に定めておくことができる。

（１）および（３）の和は、エンハンス処理後の可視光画像（合成画像）におけるエンハンス処理された領域の階調情報であり、（２）はエンハンス処理後の可視光画像（合成画像）におけるエンハンス処理されていない領域の階調情報である。調整ゲインで補正したエンハンス情報を用いることで、エンハンス処理後の可視光画像における、エンハンス処理された領域とされていない領域における階調性の不自然さを抑制しつつ、低コントラスト領域の視認性もしくは階調性（コントラスト）を改善できる。

例えば、調整ゲインは、階調情報の絶対値和の比
調整ゲイン＝（（１）＋（３））／（２）
として求めることができる。
なお、エンハンス処理される可視光画像の領域はコントラストが低い領域であるため、（１）と（３）の合計に示す（１）の寄与は小さい。そのため、
調整ゲイン＝（３）／（２）
として求めてもよい。

なお、調整ゲインが１より大きくなると、赤外光画像の階調情報のみならず、赤外光画像のノイズ成分も増強される。したがって、調整ゲインに上限値（＞１）を設けてもよい。上述の式で得られる調整ゲインが上限値を超える場合には、調整ゲインを上限値とする。なお、エンハンス処理で加算されるノイズ成分が目立つかどうかは可視光画像の撮影条件に依存する。そのため、可視光画像の撮影時のＩＳＯ感度が第１の感度である場合の上限値よりも、第２の感度（＞第１の感度）である場合の上限値の方が低くなるようにしてもよい。また、可視光画像の代表輝度値が第１の値である場合の上限値よりも、第２の値（＜第１の値）である場合の上限値の方が低くなるようにしてもよい。代表輝度値は例えば平均輝度値であってよい。

エンハンス情報調整部５０３は、以下の式２に示すように、調整ゲインをエンハンス情報に乗じることによって、エンハンス情報を調整する。
EINFadj (x,y) = EINF (x,y) × I_GAIN (x,y) ・・・式２
ここで、ＥＩＮＦ（ｘ，ｙ）は、座標（ｘ，ｙ）におけるエンハンス情報、Ｉ＿ＧＡＩＮ（ｘ，ｙ）は、座標（ｘ，ｙ）における調整ゲインである。そして、ＥＩＮＦａｄｊ（ｘ，ｙ）は、座標（ｘ，ｙ）における調整後のエンハンス情報である。

ここでは一例として、領域Ｌ７０２の階調情報の絶対値総和と領域Ｌ７０１の階調情報の絶対値総和が同じ値となるように調整ゲインを求める例について説明した。しかし、領域Ｌ７０２の階調情報の絶対値総和と領域Ｌ７０１の階調情報の絶対値総和の差が閾値以下になるように調整ゲインを求めるなど、他の方法で調整ゲインを求めてもよい。

例えば、エンハンス処理が適用される領域Ｌ７０１内の特定被写体（例えば人物）と、同種の、または類似した、領域Ｌ７０２内の被写体とについて、被写体領域の階調情報の絶対値総和が等しいか、差が閾値以下になるように調整ゲインを求めてもよい。特定被写体はテンプレートマッチングや特徴部位の検出などを用いる公知の方法での検出することができる。また、特定被写体と色や輝度が似た領域を類似被写体の領域として検出してもよい。

また、エンハンス情報調整部５０３は、エンハンス情報の値の大きさに応じて調整ゲインを変更してもよい。例えば、エンハンス情報の値が小さい値（例えば、０より大きく、閾値以下の値）の場合、処理領域の可視光画像のコントラストが非常に低いことを示す。そのため、エンハンス情報調整部５０３は、小さい値のエンハンス情報に適用する調整ゲインを低減してもよい。これにより、もともと低コントラストである被写体の領域に対して必要以上にコントラストを高めてしまうことを抑制できる。

また、エンハンス情報調整部５０３は、被写体距離に応じて調整ゲインを変更してもよい。距離が離れた被写体ほどかすみの影響による視認性やコントラストの低下が大きくなる。そのため、エンハンス処理を適用する領域の被写体距離が大きいほど調整ゲインが小さくなるように変更してもよい。これにより、あたかもかすみが薄くなったかのような自然な視認性もしくはコントラストの改善が実現できる。

次に、色補正部３０３の詳細について説明する。図８は色補正部３０３の機能構成例を示すブロック図である。色補正部３０３は、彩度補正ゲイン算出部８０１、彩度補正部８０２を有する。これらの機能ブロックも画像処理部１０７が実現する機能を模式的に表したものである。

図９に示すフローチャートを用いて、色補正部３０３が、調整後のエンハンス情報を用いて可視光画像データの色成分を補正する動作の詳細に関して説明する。
Ｓ９０１において彩度補正ゲイン算出部８０１は、調整後のエンハンス情報を用いて彩度補正ゲインＳ＿ｇａｉｎを求める。彩度補正ゲイン算出部８０１の動作の詳細については後述する。

Ｓ９０２において彩度補正部８０２は、Ｓ４０１で分離した可視光画像データの色成分に対して、Ｓ９０１で求めた彩度補正ゲインＳ＿ｇａｉｎを用いた彩度補正処理を適用する。これにより、輝度成分に対して適用されるエンハンス処理の強さに応じた色補正処理を適用することができる。

彩度補正処理は例えば以下の式３に示すものであってよい。
Ct' (x,y) = Ct (x,y) × S_gain (x,y)
Cp' (x,y) = Cp (x,y) × S_gain(x,y)・・・式３
ここで、Ｃｔ（ｘ，ｙ），Ｃｐ（ｘ，ｙ）は補正前の画像座標（ｘ，ｙ）における色成分の信号値である。また、Ｓ＿ｇａｉｎ（ｘ，ｙ）は画像座標（ｘ，ｙ）における彩度補正ゲインである。そして、Ｃｔ’ （ｘ，ｙ），Ｃｐ’ （ｘ，ｙ）は画像座標（ｘ，ｙ）における彩度補正処理後の色成分の信号値である。

次に、彩度補正ゲイン算出部８０１の動作の詳細について説明する。彩度補正ゲイン算出部８０１は、調整後のエンハンス情報に応じた彩度補正ゲインを、例えば彩度補正テーブルを参照することによって求めることができる。

図１０は彩度補正テーブルに登録されている調整後のエンハンス情報と、彩度補正ゲインとの関係を模式的にグラフで示した図である。横軸はＳ６０４で得られる調整後のエンハンス情報を、縦軸は彩度補正ゲインを示している。

調整後のエンハンス情報があらかじめ決められた閾値Ａ以下の区間については彩度補正ゲインは１倍（×１．０）である。また、調整後のエンハンス情報が閾値Ａよりも大きい区間では、調整後のエンハンス情報の増加に伴って彩度補正ゲインの値は線形増加する。彩度補正テーブルには、調整後のエンハンス情報の離散的な値について、図１０に示す関係を満たす彩度補正ゲインが関連付けられて登録されている。彩度補正ゲイン算出部８０１は、調整後のエンハンス情報に値に最も近い２つの値に対応する彩度補正ゲインをテーブルから読み出し、線形補間によって調整後のエンハンス情報の値に対応する彩度補正ゲインを求めることができる。なお、テーブルの代わりに関数を記憶しておいてもよい。

なお、調整後のエンハンス情報の代わりに、エンハンス処理を適用する前後のＩ成分の差分絶対値または比率に応じた彩度補正ゲインを登録したテーブルを用いてもよい。

また、彩度補正ゲイン算出部８０１は、可視光画像の撮影時の露出条件に応じて彩度補正ゲインを調整してもよい。例えば、撮影感度（ＩＳＯ感度）が高い場合、画像中のノイズ量が増加することにより、調整後のエンハンス情報の値が大きくなる。そのため、撮影感度が予め定められた閾値以上の場合、彩度補正ゲイン算出部８０１は、彩度補正ゲインを通常の値よりも小さい値に調整してもよい。これにより、色ノイズが強調されることを抑制できる。

また、撮影時における赤外補助光の照射の有無もしくは程度を考慮して彩度補正ゲインを調整してもよい。赤外光画像の撮影時に赤外補助光が照射された場合、照射されない場合よりも赤外光画像の画素値（輝度成分の値）が大きくなるため、調整後のエンハンス情報の値も大きくなる。赤外光が照射される場合とされない場合とのそれぞれについて彩度補正テーブルを用意し、式４に示すように彩度補正ゲインを求めることにより、赤外光の照射による影響を考慮した彩度補正ゲインが得られる。そのため、適切な彩度補正が可能になる。

S_gain (x,y) = α1 × S_gain_on (x,y) + (1-α1) × S_gain_off (x,y) ・・・式４
ここで、Ｓ＿ｇａｉｎ＿ｏｎ（ｘ，ｙ）は座標（ｘ，ｙ）における、赤外光照射時用の彩度補正ゲインである。また、Ｓ＿ｇａｉｎ＿ｏｆｆ（ｘ，ｙ）は座標（ｘ，ｙ）における赤外光非照射時用の彩度補正ゲインである。また、α１は赤外光の照射度合いであり、０．０から１．０までの値を有する。１．０が最も照射度合いが高い。例えば、被写体距離とα１との関係を予め登録しておき、座標ごとの被写体距離に応じたα１を用いることができる。Ｓ＿ｇａｉｎ（ｘ，ｙ）は座標（ｘ，ｙ）における彩度補正ゲインを示す。

また、赤外光の照射とは別に、被写体距離に応じて彩度補正ゲインを調整してもよい。遠景撮影時と近景撮影時とのそれぞれについて彩度補正テーブルを用意し、式５に示すように彩度補正ゲインを求めることができる。これにより、遠くの被写体ほど大きく、近くの被写体ほど小さい彩度補正ゲインを用いた彩度補正が可能になる。

S_gain (x,y) = α2 × S_gain_far (x,y) + (1-α2) × S_gain_near (x,y) ・・・式５
具体的には、Ｓ＿ｇａｉｎ＿ｆａｒ（ｘ，ｙ）は遠景用彩度補正ゲインである。また、Ｓ＿ｇａｉｎ＿ｎｅａｒ（ｘ，ｙ）は近景用彩度補正ゲインである。また、α２は被写体距離を示し、０．０から１．０までの値を有する。例えば１．０が無限遠である。そして、Ｓ＿ｇａｉｎ（ｘ，ｙ）は、彩度補正ゲインである。

また、彩度補正後の色が同じもしくは類似した被写体領域内でトーンジャンプしないよう、類似色からなる領域に対する補正量の差が０または閾値以下になるように彩度補正ゲインを調整してもよい。具体的には、階調補正部３００における入力可視光画像の着目位置に対して、信号値が似ている程重みが大きくなるようなフィルタの重みを算出し、Ｓ９０１で求めた彩度補正ゲインに対してフィルタを適用して、彩度補正ゲインを重み付け平滑化する。これにより、類似色からなる領域に対する補正量の差が平滑化される。なお、フィルタは例えばバイラテラルフィルタなど公知のフィルタを用いることができる。このような平滑化処理により、トーンジャンプを抑制することができる。

本実施形態によれば、可視光画像に合成する非可視光画像の成分を、合成画像において、非可視光画像の成分が合成された領域とされていない領域の階調性の差が少なくなるように補正してから合成するようにした。そのため、合成画像における、非可視光画像の成分が合成された領域と合成されていない領域との階調性との差が不自然な印象を与えることを抑制しつつ、部分的に視認性および階調性（コントラスト）を改善できる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、非可視光画像が合成されない可視光画像の領域の輝度成分も含めてコントラスト補正を行う点と、彩度補正調整ゲインを用いて彩度補正を行う点で第１実施形態と異なる。なお、本実施形態は、画像処理部１０７の機能構成もしくは動作以外は第１実施形態と共通であるため、第１実施形態と共通する構成や動作については説明を簡略化する。

図１１は、本実施形態で実施するエンハンス処理の説明を目的として、エンハンス処理を実行時の画像処理部１０７を階調補正部３００’として模式的に表した機能ブロック図である。したがって、階調補正部３００’が有する機能ブロックは実際には画像処理部１０７が実現する機能の一部である。階調補正部３００’は、ＩＣｔＣｐ変換部３０１、輝度エンハンス部１１０１、色補正部１１０２及びＹＵＶ変換部３０４を有する。図１１において、第１実施形態で説明した階調補正部３００と同様の機能ブロックについては図３と同じ参照数字を付してある。

本実施形態は、輝度エンハンス部１１０１および色補正部１１０２の動作が第１実施形態と異なる。そのため、輝度エンハンス部１１０１および色補正部１１０２の動作について詳細に説明する。

図１２は輝度エンハンス部１１０１の機能構成例を示すブロック図である。輝度エンハンス部１１０１は、階調情報抽出部５０１、エンハンス情報生成部５０２、エンハンス処理部１２０１、エンハンス画像階調情報抽出部１２０２、コントラスト補正情報生成部１２０３、およびコントラスト補正部１２０４を有する。これらの機能ブロックも画像処理部１０７が実現する機能を模式的に表したものである。また、図１２において、第１実施形態で説明した輝度エンハンス部３０２と同様の機能ブロックについては図５と同じ参照数字を付してある。

次に、輝度エンハンス部１１０１の動作について、図１３のフローチャートを参照して詳しく説明する。図１３において、第１実施形態の輝度エンハンス部３０２と同じ動作を行う工程については、図６と同じ参照数字を付してある。
Ｓ６０１、Ｓ６０２、およびＳ６０３は第１実施形態で説明したとおりであるため、説明を省略する。なお、Ｓ６０３においてエンハンス情報生成部５０２は、生成したエンハンス情報を、色補正部１１０２、コントラスト補正情報生成部１２０３、およびエンハンス処理部１２０１に出力する。

Ｓ１３０１においてエンハンス処理部１２０１は、可視光画像データの輝度成分にエンハンス処理を適用する。本実施形態でエンハンス処理部１２０１が用いるエンハンス情報は、第１実施形態で説明した調整は施されておらず、エンハンス情報生成部５０２が生成したエンハンス情報である。しかしながら、エンハンス処理の適用動作に関しては第１実施形態と同じであってよい。エンハンス処理が適用された輝度成分（エンハンス画像データ）は、エンハンス画像階調情報抽出部１２０２とコントラスト補正部１２０４に出力される。

Ｓ１３０２においてエンハンス画像階調情報抽出部１２０２は、エンハンス画像データの階調情報を抽出する。具体的には、エンハンス画像データに対して所定の周波数帯域を抽出するバンドパスフィルタ処理を適用することにより、エンハンス画像データのＡＣ成分を階調情報として抽出する。

Ｓ１３０３においてコントラスト補正情報生成部１２０３は、エンハンス画像データの階調情報とエンハンス情報（赤外光画像の階調情報）とに基づいて、コントラスト補正情報を生成する。コントラスト補正情報生成部１２０３は、生成したコントラスト補正情報をコントラスト補正部１２０４に出力する。コントラスト補正情報生成部１２０３の動作に関する詳細については後述する。

Ｓ１３０４においてコントラスト補正部１２０４は、コントラスト補正情報を用いてエンハンス画像データのコントラストを補正する。コントラスト補正部１２０４は、例えば式６に示すように、エンハンス画像にコントラスト補正情報を加算することにより、エンハンス画像のコントラストを補正することができる。
P_out (x,y) = CNTinf (x,y) + P_in (x,y) ・・・式６

ここで、Ｐ_ｉｎ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるエンハンス画像データの画素値であり、ＣＮＴｉｎｆ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるコントラスト補正情報である。そして、Ｐ_ｏｕｔ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるコントラスト補正後のエンハンス画像データ（コントラスト補正画像データ）の画素値である。コントラスト補正画像データはＹＵＶ変換部３０４に出力される。ＹＵＶ変換部３０４は、色補正部１１０２からの色成分と、コントラスト補正画像データ（輝度成分）とから、ＹＵＶ形式の画像データを生成し、階調補正された画像データとして出力する。

コントラスト補正情報生成部１２０３の動作の詳細について説明する。コントラスト補正情報生成部１２０３は、エンハンス画像階調情報抽出部１２０２の出力する階調情報について、
（４）エンハンス情報が０でない領域に対応する階調情報の絶対値総和と、
（５）エンハンス情報が０の領域に対応する階調情報の絶対値総和と
をそれぞれ求める。これは、図７に示した画像であれば、エンハンス画像データの階調情報の絶対値総和を、領域Ｌ７０１と領域Ｌ７０２とについて求めることである。（４）は第１実施形態における（１）＋（３）に相当し、（５）は第１実施形態における（２）に相当する。

そして、コントラスト補正情報生成部１２０３は、（４）と（５）が同じ値、もしくは両者の差が閾値以下となるような調整ゲインを求める。

例えば、調整ゲインは、（４）と（５）の比
調整ゲイン＝（４）／（５）
として求めることができる。

このように、本実施形態の調整ゲインは、エンハンス処理後の合成画像の階調情報を用いることを除き、第１実施形態の調整ゲインと同じように求めることができる。本実施形態においても、第１実施形態と同様に調整ゲインの上限値を設定してもよい。

そして、コントラスト補正情報生成部１２０３は、以下の式７に示すように、調整ゲインをエンハンス画像データの階調情報に乗じることによって、コントラスト補正情報を生成する。
CNTinf (x,y) = TONEinf (x,y) × CNT_GAIN (x,y) ・・・式７

ここで、ＴＯＮＥｉｎｆ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるエンハンス画像データの階調情報であり、ＣＮＴ＿ＧＡＩＮ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるコントラスト補正ゲインである。また、ＣＮＴｉｎｆ（ｘ，ｙ）は、画像座標（ｘ，ｙ）におけるコントラスト補正情報である。

コントラスト補正ゲインによってエンハンス画像データの階調情報を補正することにより、エンハンス処理が適用された領域と適用されていない領域との階調性のバランスがとれたコントラスト補正情報を生成できる。そのため、コントラスト補正情報を適用したエンハンス画像データでは、視覚的な違和感を抑制しつつ、部分的に視認性もしくは階調性（コントラスト）を改善することが可能になる。

ここでは、エンハンス画像データについて、エンハンス処理が適用されていない領域（Ｌ７０２）の階調情報の絶対値総和と、エンハンス処理が適用された領域（Ｌ７０１）の階調情報の絶対値総和が同じ値となるように調整ゲインを求める例について説明した。しかし、エンハンス処理が適用されていない領域（Ｌ７０２）の階調情報の絶対値総和と、エンハンス処理が適用された領域（Ｌ７０１）の階調情報の絶対値総和との差が閾値以下になるように調整ゲインを求めるなど、他の方法で調整ゲインを求めてもよい。

例えば、コントラスト画像データにおける、領域Ｌ７０１内の特定被写体（例えば人物）と、同種の、または類似した、領域Ｌ７０２内の被写体とについて、被写体領域の階調情報の絶対値総和が等しいか、差が閾値以下になるように調整ゲインを求めてもよい。特定被写体はテンプレートマッチングや特徴部位の検出などを用いる公知の方法での検出することができる。また、特定被写体と色や輝度が似た領域を類似被写体の領域として検出してもよい。

次に、色補正部１１０２の詳細について説明する。図１４は色補正部１１０２の機能構成例を示すブロック図である。色補正部１１０２は、彩度補正ゲイン算出部８０１、彩度補正調整ゲイン算出部１４０１、および彩度補正部１４０２を有する。これらの機能ブロックも画像処理部１０７が実現する機能を模式的に表したものである。また、図１４において、第１実施形態で説明した色補正部３０３と同様の機能ブロックについては図８と同じ参照数字を付してある。

図１５に示すフローチャートを用いて、色補正部１１０２の動作の詳細に関して説明する。図１５において、第１実施形態の色補正部３０３と同じ動作を行う工程については、図９と同じ参照数字を付してある。

Ｓ９０１において彩度補正ゲイン算出部８０１は、エンハンス情報を用いて彩度補正ゲインＳ＿ｇａｉｎを求める。彩度補正ゲイン算出部８０１の動作は、エンハンス情報を用いることを除いて第１実施形態と同じでよいため、説明を省略する。

Ｓ１５０１において彩度補正調整ゲイン算出部１４０１は、入力された可視光画像データの画素座標ごとに、赤被写体の画素か否かを判定する。この判定は、画素値から得られる色相に基づく公知の手法により実施可能である。

彩度補正調整ゲイン算出部１４０１は、赤被写体ではないと判定された画素座標については彩度補正調整をしないことを決定し、分光特性を考慮するための調整ゲインを１倍とする。一方、彩度補正調整ゲイン算出部１４０１は、赤被写体であると判定された画素座標については、Ｇ成分の値が閾値Ｂ以上か否かをさらに判定する。

画像座標（ｘ，ｙ）における信号値Ｇ（ｘ，ｙ）が閾値Ｂ以上であると判定された場合、彩度補正調整ゲイン算出部１４０１はＧの波長寄りの赤被写体であるため、彩度補正調整をしないことを決定し、調整ゲインを１倍とする。彩度補正調整ゲイン算出部１４０１が決定する調整ゲインは、撮像素子の分光特性、より具体的にはＲ画素が赤外光の波長に感度を有する場合を考慮した調整ゲインである。

一方、画像座標（ｘ，ｙ）における信号値Ｇ（ｘ，ｙ）が閾値Ｂ未満であると判定された場合、彩度補正調整ゲイン算出部１４０１は、分光特性を考慮するための調整ゲインを求める。ここでは、彩度補正調整ゲイン算出部１４０１は、画像座標（ｘ，ｙ）における赤外光画像の画素値と、可視画像の画素値のＲ成分との差（ＩＲ－Ｒ）の大きさに応じた値を有する調整ゲインを求める。

図１６は、分光特性を考慮するための調整ゲインと、ＩＲ－Ｒとの関係例を示す図である。彩度補正調整ゲイン算出部１４０１は、図１６に示す関係をＩＲ－Ｒの複数の離散的な値と調整ゲインとを関連付けて予め登録したテーブルを用いて、対象画素ごとの調整ゲインを求めることができる。なお、テーブルを用いずに、ＩＲ－Ｒと調整ゲインとの関係を示す関数を用いるなど、他の方法で調整ゲインを求めてもよい。

図１６に示すように、赤外光画像の画素値と、可視光画像のＲ成分値との差ＩＲ－Ｒの値が予め定められた閾値Ｃ以下の区間で場合は調整ゲインを１倍（実質的に調整しない）とする。これは、この区間に該当する画素は、ＩＲ信号があまり含まれない被写体であるためである。一方、閾値Ｃを超える区間では、ＩＲ－Ｒの増加に対して調整ゲインの値を線形減少させる。これは、ＩＲ－Ｒの値が増加する区間では、可視光画像データのＲ成分値に含まれているＩＲ成分の量も増加していると考えられるためである。

彩度補正調整ゲイン算出部１４０１は、Ｓ９０１で算出した彩度補正ゲインを、分光特性を考慮するための調整ゲインによって調整することにより、彩度補正調整ゲインを求める。彩度補正調整ゲイン算出部１４０１は、例えば以下の式８に示すようにして彩度補正調整ゲインを求めることができる。
S_gain_adj_gain (x,y) = S_gain (x,y) × gain (x,y) ・・・式８

ここで、Ｓ＿ａｄｊ＿ｇａｉｎ（ｘ，ｙ）は画像座標（ｘ，ｙ）における彩度補正調整ゲイン、Ｓ＿ｇａｉｎ（ｘ，ｙ）は画像座標（ｘ，ｙ）における調整前の彩度補正ゲインである。また、ｇａｉｎ（ｘ，ｙ）は画像座標（ｘ，ｙ）における分光特性を考慮するための調整ゲインである。

分光特性を考慮するための調整ゲインについても、第１実施形態における彩度補正ゲインと同様に平滑化を適用することができる。具体的には、まず、可視光画像の画像座標（ｘ，ｙ）に対して、信号値が似ている程重みが大きくなるような空間フィルタの重みを算出する。そして、画素座標（ｘ，ｙ）について求めた分光特性を考慮するための調整ゲインに対して空間フィルタを適用することにより、分光特性を考慮するための調整ゲインを重み付け平滑化する。これにより、彩度補正後の色が同じ被写体領域内でのトーンジャンプを抑制することができる。

Ｓ１５０２において彩度補正部１４０２は、Ｓ４０１で分離した可視光画像データの色成分に対して、Ｓ１５０１で求めた彩度補正調整ゲインを適用することにより彩度補正を行う。彩度補正部１４０２は、第１実施形態で説明した式３におけるS_gain (x,y)の代わりにS_gain_adj_gain (x,y)を用いて彩度補正を行うことができる。

赤外光画像のＡＣ成分に基づく彩度補正ゲインを、Ｒ成分値とＩＲ成分値との差を考慮して調整することにより、撮像素子のＲ画素が赤外光に対しても感度を有する場合であっても、赤色被写体に対する彩度補正を適切に行うことができる。

第１実施形態では可視光画像に合成する非可視光画像の成分を非可視光画像が合成されない領域の階調性を考慮して調整することにより、非可視光画像の成分が合成される領域と合成されない領域との階調性に不自然な差が生じることを抑制した。一方、本実施形態では、非可視光画像の成分を合成した後に、非可視光画像の成分が合成されない領域の階調性を考慮した階調補正を適用することにより、非可視光画像の成分合成される領域と合成されない領域との階調性に不自然な差が生じることを抑制する。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、赤外光画像に基づいて抽出した情報を用い、階調性に影響を与える加工を可視光画像に適用する場合に、適用される加工の強度に差がある領域間に生じうる階調性の関係の不自然さを抑制する点で第１および第２実施形態と共通する。なお、本実施形態は、画像処理部１０７の機能構成もしくは動作以外は第１実施形態と共通であるため、第１実施形態と共通する構成や動作については説明を省略もしくは簡単にする。

以下では、赤外光画像に基づいて抽出する輝度成分がかすみ成分であり、加工がかすみ成分の強調（濃化）である場合について説明するが、これに限定されない。図１７は、かすみ成分の強調処理（かすみ濃化処理）の説明を目的として、かすみ濃化処理を実行時の画像処理部１０７を階調補正部１７００として模式的に表した機能ブロック図である。したがって、階調補正部１７００が有する機能ブロックは実際には画像処理部１０７が実現する機能の一部である。階調補正部１７００は、ＩＣｔＣｐ変換部３０１、かすみ濃化部１７０１、色補正部１７０２及びＹＵＶ変換部３０４を有する。図１７において、第１実施形態で説明した階調補正部３００と同様の機能ブロックについては図３と同じ参照数字を付してある。

次に、図１８に示すフローチャートを用いて、階調補正部１７００が可視光画像に適用するかすみ濃化処理の工程について説明する。ここで、階調補正部１７００に入力される可視光画像データおよび赤外光画像データは、撮像部１０５で撮像されてＡ／Ｄ変換部１０６を通じて供給されるものであっても、記録部１０８から読み出されたものであってもよい。かすみ濃化処理に用いる可視光画像データと赤外光画像データは、同時もしくは時間的に十分近いタイミングで同じシーンを撮像した画像データである。図１８において、第１実施形態で説明した階調補正部３００と同じ動作を行う工程については図４と同じ参照数字を付してある。

Ｓ４０１において、ＩＣｔＣｐ変換部３０１は、可視光画像データの色空間（例えばＹＵＶ色空間）を、ＩＣｔＣｐ色空間に変換する。ＩＣｔＣｐ変換部３０１はさらに、ＩＣｔＣｐ形式に変換した可視光画像データを、明るさ（輝度）成分を示すＩ成分と、色成分を示すＣｔＣｐ成分とに分離する。ＩＣｔＣｐ変換部３０１は、Ｉ成分をかすみ濃化部１７０１へ、ＣｔＣｐ成分を色補正部１７０２に出力する。

Ｓ１８０１においてかすみ濃化部１７０１は、可視光画像データのＩ成分（輝度成分）に対して、赤外光画像データに基づきかすみを濃化することにより、可視光画像データの階調性（コントラスト）を低下させると共に、明るさを明るくする。かすみ濃化部１７０１は、可視光画像データの階調補正したＩ成分をＹＵＶ変換部３０４に出力する。また、かすみ濃化部１７０１は、色成分の補正に用いる濃化ゲインを色補正部１７０２に出力する。かすみ濃化部１７０１によるかすみ濃化処理の詳細については後述する。

Ｓ１８０２において色補正部１７０２は、可視光画像データのＣｔＣｐ成分（色成分）に対し、濃化ゲインに基づいて色補正処理を適用する。色補正部１７０２による色補正処理の詳細については後述する。

次にかすみ濃化部１７０１の動作について詳細に説明する。
図１９はかすみ濃化部１７０１の機能構成例を示すブロック図である。かすみ濃化部１７０１は、階調情報抽出部５０１、かすみ量算出部１９０１、濃化ゲイン算出部１９０２、かすみ濃化処理部１９０３、および階調情報抽出部１９０４を有する。これらの機能ブロックも画像処理部１０７が実現する機能を模式的に表したものである。階調情報抽出部５０１は図３を用いて説明したものと同じである。

次に、かすみ濃化部１７０１の動作について、図２０のフローチャートを参照して詳しく説明する。図２０において、第１実施形態の輝度エンハンス部３０２と同じ動作を行う工程については、図６と同じ参照数字を付してある。

Ｓ６０１、およびＳ６０２は第１実施形態で説明したとおりであるため、説明を省略する。なお、階調情報抽出部５０１はＳ６０１およびＳ６０２で抽出した階調情報をかすみ量算出部１９０１に出力する。また、階調情報抽出部５０１はＳ６０１で抽出した可視光画像の階調情報は濃化ゲイン算出部１９０２にも出力する。

ここでは、図７（ａ）に示した画像を、がかすみ濃化処理の適用前の可視光画像データの輝度成分が表す画像の例とする。また、図７（ｂ）に示した画像を、図７（ａ）に示す可視光画像データのかすみ濃化処理に用いる赤外光画像データが表す画像の例とする。

階調情報抽出部５０１は、第１実施形態と同様に、空間バンドパスフィルタ処理を適用して、このような２つの画像から階調情報（ＡＣ成分）を抽出する。なお、本実施形態におけるかすみ濃化処理は、霧やかすみによる階調性の低下を強調し、図７（ａ）に示す可視光画像における領域Ｌ７０１の階調性をより低下させるものである。かすみ濃化処理は、例えば、濃い霧やかすみを表現することで、幻想的な効果を与えるために用いることができる。

Ｓ２００１においてかすみ量算出部１９０１は、可視光画像データ（輝度成分）と赤外光画像データとから階調情報抽出部５０１が抽出した階調情報に基づいて、かすみ量を算出する。かすみ量は、かすみが発生している領域について有意な値を有し、かすみが発生していない領域については有意な値を有する。

具体的には、かすみ量算出部１９０１は、可視光画像データ（輝度成分）の階調情報と赤外光画像データの階調情報の差分絶対値をかすみ量として出力する。したがって、かすみ量は、画素ごとに算出される。なお、差分絶対値が予め定めた閾値以下の領域については、所定の固定値（例えば「０」）としてかすみ量を出力しても良い。なお、閾値は例えば予め実験的に定めておくことができる。

例えば、図７の領域Ｌ７０１はかすみが発生しているため、可視光画像データ（輝度成分）の階調情報と赤外光画像データの階調情報の差分絶対値は大きくなる。一方、図７の領域Ｌ７０２はかすみが発生していないため、可視光画像データ（輝度成分）の階調情報と赤外光画像データの階調情報の差分絶対値は小さくなる。そのため、かすみ量算出部１９０１は、領域Ｌ７０１については大きな値を持つかすみ量を出力し、領域Ｌ７０２については小さな値を持つかすみ量（例えば「０」）を出力する。

Ｓ２００２において濃化ゲイン算出部１９０２は、かすみ量濃化ゲイン特性を設定する。濃化ゲイン特性は、かすみ量と濃化ゲインとの関係を表す。図２１に濃化ゲイン特性の例を示す。図２１（ａ）に示す濃化ゲイン特性は、かすみ量が０または予め定めた閾値ＴＨ以下の範囲では濃化ゲインが等倍であり、かすみ量が閾値ＴＨを超える範囲ではかすみ量が大きくなるにつれて濃化ゲインが線形減少する特性である。濃化ゲインはかすみ量濃化処理の強度を示し、等倍のとき強度０（かすみ量に影響を与えない）であり、等倍未満のときに強度＞０（かすみ量が強調される）である。したがって、図２１（ａ）に示す濃化ゲイン特性では、かすみ量が最大のときに濃化処理の強度も最大となる。

図２１（ｂ）に示す濃化ゲイン特性は、図２１（ａ）に示す濃化ゲイン特性において、濃化ゲインの下限値を大きくしたものである。図２１（ｂ）の濃化ゲイン特性を設定した場合、図２１（ａ）の濃化ゲイン特性を設定した場合よりも、かすみ濃化処理の最大強度を弱めることができる。

なお、図２１に示した濃化ゲイン特性は例示であり、他の特性を用いてもよい。例えば非線形な濃化ゲイン特性を用いてもよい。また、濃化ゲイン算出部１９０２が設定する濃化ゲインはユーザが選択可能であってもよいし、自動的に設定されてもよい。例えば、最大強度の異なる濃化ゲイン特性を複数用意しておき、希望する最大強度に応じてユーザが濃化ゲイン特性を選択してもよい。また、撮影シーンに応じて異なる濃化ゲイン特性を用意しておき、特定のシーンを対象とした撮影モードが設定されている場合には、濃化ゲイン算出部１９０２がシーンに応じた濃化ゲイン特性を設定してもよい。

Ｓ２００３において濃化ゲイン算出部１９０２は、画素ごとに算出したかすみ量を濃化ゲイン特性に適用して、画素ごとに濃化ゲインを求める。濃化ゲイン算出部１９０２は、かすみ量に応じた濃化ゲインを、例えば濃化ゲイン特性に対応したテーブルを参照することによって求めることができる。

テーブルには、かすみ量の離散的な値について、濃化ゲイン特性に応じた補正ゲインが関連付けられて登録されている。濃度ゲイン算出部１９０２は、かすみ量の値に最も近い２つの値に対応する濃化ゲインをテーブルから読み出し、線形補間によってかすみ量の値に対応する濃化ゲインを求めることができる。なお、テーブルの代わりに関数を記憶しておいてもよい。濃化ゲイン算出部１９０２は、得られた濃化ゲインをかすみ濃化処理部１９０３および色補正部１７０２に出力する。

Ｓ２００４においてかすみ濃化処理部１９０３は、濃化ゲインに基づいて可視光画像データの輝度成分にかすみ濃化処理を適用し、かすみ濃化画像を生成する。かすみ濃化処理部１９０３は、かすみ濃化処理後の輝度成分を階調情報抽出部１９０４およびＹＵＶ変換部３０４に出力する。

かすみ濃化処理は以下の式９で表すことができる。
I_out (x,y) = F_TGT － F_GAIN(x,y)×(F_TGT － I_in (x,y))・・・式９
Ｉ_ｉｎ（ｘ，ｙ）は、画像の座標（ｘ，ｙ）におけるかすみ濃化処理前の可視光画像データの輝度成分、Ｆ＿ＧＡＩＮ（ｘ，ｙ）は、座標（ｘ，ｙ）における濃化ゲイン、Ｆ＿ＴＧＴはあらかじめ定められたかすみ量の目標値である。また、Ｉ_ｏｕｔ（ｘ，ｙ）は、座標（ｘ，ｙ）におけるかすみ濃化処理後の可視光画像データの輝度成分を示す。

図２２（ａ）はかすみ濃化処理前の画素値の例を、図２２（ｂ）はかすみ濃化処理後の画素値の例を示す。かすみ濃化処理部１９０３は、可視光画像データの画素値とかすみ量の目標値との差（図２２（ａ）の斜線部）に対して濃化ゲインを適用した値をかすみ量の目標値から減算した値を、かすみ濃化処理後の画素値として算出する。このようなかすみ濃化処理により、座標１～５区間の画素値が低コントラストになると共に、明るくなる階調補正が行われるため、かすみが濃くなったような効果を付与することができる。なお、かすみ量の目標値は予め例えば実験的に定めておくことができる。

Ｓ２００５において階調情報抽出部１９０４はかすみ濃化画像の輝度成分の階調情報を抽出する。階調情報抽出部１９０４は、抽出した階調情報を濃化ゲイン算出部１９０２に出力する。階調情報の抽出方法は、第１実施形態で説明した階調情報抽出部５０１と同様のため説明は省略する。

Ｓ２００６において濃化ゲイン算出部１９０２は、
（６）かすみ濃化画像データ（輝度成分）から抽出された階調情報のうち、かすみ量情報が０でない領域Ｌ７０１に対応する領域から抽出された階調情報の絶対値総和を算出する。これは、かすみ濃化画像のうち、かすみ濃化処理の強度が０でない領域から抽出された階調情報の絶対値総和に相当する。

Ｓ２００７において濃化ゲイン算出部１９０２は、
（７）可視光画像データ（輝度成分）から抽出された階調情報のうち、かすみ量情報が０の領域Ｌ７０２に対応する領域から抽出された階調情報の絶対値総和を算出する。これは、かすみ濃化画像のうち、かすみ濃化処理の強度が０の領域から抽出された階調情報の絶対値総和に相当する。

Ｓ２００８において濃化ゲイン算出部１９０２は（６）と（７）の差があらかじめ定められた所定値以下か否かを判定し、所定値以下と判定されればかすみ濃化処理を終了し、判定されなければＳ２００９を実行する。

Ｓ２００９は、（６）と（７）の差が所定値を超える場合に実行される。この場合、かすみ濃化処理を行った領域とかすみ濃化処理を行わなかった領域の階調性が著しく異なるため、画像全体として見たときにバランスが悪く不自然に見えてしまう。そのため、Ｓ２００９で濃化ゲイン算出部１９０２は、かすみ濃化処理の強度を弱めるために濃化ゲイン特性を再設定する。その後、Ｓ２００３～Ｓ２００７の処理を再実行することで、かすみ濃化処理が適用された領域と適用されなかった領域の階調性の差を抑制したかすみ濃化画像を再生成する。

Ｓ２００９において再設定する濃化ゲイン特性は、例えば図２１（ｂ）に示したような、濃化ゲイン特性であってよい。例えば、最大強度の異なる濃化ゲイン特性を複数用意しておき、Ｓ２００９が実行される都度、段階的に最大強度を弱くするように濃化ゲイン特性を設定することができる。

かすみ濃化部１７０１は、以上のような処理により、最終的に（６）と（７）の差が所定値以下になった場合の濃化ゲインとかすみ濃化画像の輝度成分を出力する。

なお、濃化ゲイン算出部１９０２は、被写体距離に応じて調整ゲインを変更してもよい。距離が遠い被写体ほどかすみの影響による視認性やコントラストの低下が大きくなる。そのため、かすみ濃化処理を適用する領域の被写体距離が遠いほど濃化ゲインが小さくなるように変更してもよい。これにより、遠い被写体ほどかすみが濃くなる自然な視認性もしくはコントラストの低下が実現できる。

次に、色補正部１７０２の詳細について説明する。図２３は色補正部１７０２の機能構成例を示すブロック図である。色補正部１７０２は、彩度補正ゲイン算出部２３０１、および彩度補正部２３０２を有する。

図２４に示すフローチャートを用いて、色補正部１７０２が、濃化ゲインを用いて可視光画像データの色成分を補正する動作の詳細に関して説明する。
Ｓ２４０１において彩度補正ゲイン算出部２３０１は、濃化ゲインを用いて彩度補正ゲインＳ＿ｇａｉｎを求める。彩度補正ゲイン算出部２３０１の動作の詳細については後述する。

Ｓ２４０２において彩度補正部２３０２は、Ｓ４０１でＩＣｔＣｐ変換部３０１が出力する可視光画像データの色成分（ＣｔＣｐ成分）に対して、Ｓ２４０１で求めた彩度補正ゲインＳ＿ｇａｉｎを用いた彩度補正処理を適用する。これにより、輝度成分に対して適用されるかすみ濃化処理の強さに応じた色補正処理を適用することができる。彩度補正処理は第１実施形態と同様、式３にしたがって実行することができる。彩度補正部２３０２は彩度補正処理後の色成分の信号値Ｃｔ’およびＣｐ’をＹＵＶ変換部３０４に出力する。

次に、彩度補正ゲイン算出部２３０１の動作の詳細について説明する。彩度補正ゲイン算出部２３０１は、濃化ゲインに応じた彩度補正ゲインを、例えば彩度ゲイン特性に対応した彩度補正テーブルを参照することによって求めることができる。

図２５は彩度ゲイン特性の例を示す。彩度ゲイン特性は、濃化ゲインと彩度補正ゲインとの関係を表す。横軸はＳ２００３で得られる濃化ゲインを、縦軸は彩度補正ゲインを示している。

図２５に示す彩度ゲイン特性は、濃化ゲインがあらかじめ決められた閾値Ａ以下の区間については、彩度補正ゲインは１倍（×１．０）であり、色成分は実質的に補正されない。また、濃化ゲインが閾値Ａよりも大きい区間では、濃化ゲインの増加に伴って彩度補正ゲインの値は線形減少する。彩度補正ゲインが１倍未満の場合は、彩度補正部２３０２の補正処理により低彩度になるように色補正される。

彩度補正テーブルには、濃化ゲインの離散的な値について、図２５に示す関係を満たす彩度補正ゲインが関連付けられて登録されている。彩度補正ゲイン算出部２３０１は、濃化ゲインに値に最も近い２つの値に対応する彩度補正ゲインをテーブルから読み出し、線形補間によって濃化ゲインの値に対応する彩度補正ゲインを求めることができる。なお、テーブルの代わりに関数を記憶しておいてもよい。

なお、濃化ゲインの代わりに、かすみ濃化処理を適用する前後のＩ成分の差分絶対値または比率に応じた彩度補正ゲインを登録したテーブルを用いてもよい。

本実施形態によれば、非可視光画像を用いて得られる情報を用いて可視光画像を加工する場合に、適用される加工の強度に差がある領域間に生じうる階調性の関係の不自然さを抑制することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の画像処理装置、撮像装置、画像処理方法、およびプログラムを含む。
（項目１）
可視光画像のうち、非可視光画像を合成する領域を決定する決定手段と、
前記決定に基づいて、前記可視光画像に前記非可視光画像を合成して合成画像を生成する合成手段と、を有し、
前記合成手段は、前記合成画像のうち、前記非可視光画像が合成された領域と合成されていない領域との階調情報の差が予め定められた第１閾値以下となるように、前記非可視光画像を調整してから前記可視光画像に合成する、ことを特徴とする画像処理装置。
（項目２）
前記合成手段は、前記合成画像のうち、前記非可視光画像が合成された領域と合成されていない領域とに含まれる同種の被写体の領域における階調情報の差が予め定められた閾値以下となるように前記非可視光画像を調整してから前記可視光画像に合成する、ことを特徴とする項目１に記載の画像処理装置。
（項目３）
前記合成手段は、さらに、被写体距離に応じて前記非可視光画像を調整してから前記可視光画像に合成する、ことを特徴とする項目１または２に記載の画像処理装置。
（項目４）
前記合成手段は、前記非可視光画像を調整せずに前記可視光画像に合成し、
前記画像処理装置が、
前記合成画像のうち、前記非可視光画像が合成された領域と、合成されていない領域との階調情報の差が前記第１閾値以下となるように、前記合成画像のコントラストを補正する補正手段をさらに有する、ことを特徴とする項目１に記載の画像処理装置。
（項目５）
前記決定手段は、前記可視光画像のうち前記階調情報が第２閾値以下である領域を、前記非可視光画像を合成する領域として決定することを特徴とする項目１から４のいずれか１項に記載の画像処理装置。
（項目６）
前記合成手段は、前記可視光画像の輝度成分に対して前記非可視光画像を合成することを特徴とする項目１から５のいずれか１項に記載の画像処理装置。
（項目７）
前記輝度成分は、前記可視光画像を均等色空間で表した場合の輝度成分であることを特徴とする項目６に記載の画像処理装置。
（項目８）
前記均等色空間が、ＩＣｔＣｐ色空間もしくはＬ*ａ*ｂ*色空間であることを特徴とする項目７に記載の画像処理装置。
（項目９）
さらに、前記可視光画像の色成分を補正する補正手段を有することを特徴とする項目１から８のいずれか１項に記載の画像処理装置。
（項目１０）
前記補正手段は、前記非可視光画像の階調情報に基づいて前記色成分を補正することを特徴とする項目９に記載の画像処理装置。
（項目１１）
前記補正手段は、前記非可視光画像を合成する前後の画素値に応じて前記色成分の補正量を調整することを特徴とする項目９に記載の画像処理装置。
（項目１２）
前記補正手段は、前記可視光画像の撮影時の露出条件に応じて前記色成分の補正量を調整することを特徴とする項目９に記載の画像処理装置。
（項目１３）
前記補正手段は、前記可視光画像の撮影時の赤外補助光の照射の有無に応じて前記色成分の補正量を調整することを特徴とする項目９に記載の画像処理装置。
（項目１４）
前記補正手段は、被写体距離に応じて前記色成分の補正量を調整することを特徴とする項目９に記載の画像処理装置。
（項目１５）
前記補正手段は、前記可視光画像に含まれる類似色からなる領域に対する補正量の差が第３閾値以下となるように調整することを特徴とする項目９に記載の画像処理装置。
（項目１６）
前記補正手段は、前記可視光画像に含まれる類似色からなる領域に対する補正量を平滑化することにより、前記調整を行うことを特徴とする項目１５に記載の画像処理装置。
（項目１７）
前記補正手段は、前記可視光画像の画素のうち、赤色被写体の画素に対する補正量を、対応する前記非可視光画像の画素値との差に基づいて調整することを特徴とする項目９に記載の画像処理装置。
（項目１８）
撮像素子を有し、可視光画像および非可視光画像を取得する撮像手段と、
前記撮像手段で取得された前記可視光画像および前記非可視光画像を用いる項目１から１７のいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。
（項目１９）
画像処理装置が実行する画像処理方法であって、
可視光画像のうち、非可視光画像を合成する領域を決定することと、
前記決定に基づいて、前記可視光画像に前記非可視光画像を合成して合成画像を生成することと、を有し、
前記合成することは、
前記合成画像のうち、前記非可視光画像が合成された領域と合成されていない領域との階調情報の差が予め定められた第１閾値以下となるように前記非可視光画像を調整することと、
前記調整した前記非可視光画像を前記可視光画像に合成することと、を有することを特徴とする画像処理方法。
（項目２０）
コンピュータを、項目１から１７のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
（項目２１）
非可視光画像を用いて、前記非可視光画像と対応する可視光画像を加工するための情報を取得する取得手段と、
前記情報に基づく強度で、前記可視光画像に前記加工を適用する補正手段と、を有し、
前記補正手段は、前記加工を適用した可視光画像において、前記加工の強度が０の領域と、前記加工の強度が０でない領域とにおける階調情報の差が予め定められた第４閾値より大きい場合には、前記第４閾値以下となるように前記加工の強度を補正することを特徴とする画像処理装置。
（項目２２）
前記取得手段は、前記非可視光画像の輝度成分と、前記可視光画像の輝度成分とから、前記情報を取得することを特徴とする項目２１に記載の画像処理装置。
（項目２３）
前記補正手段は、被写体距離の増加に応じて前記強度が増加するように前記強度を補正することを特徴とする項目２１または２２に記載の画像処理装置。
（項目２４）
前記補正手段は、前記可視光画像の輝度成分に対して加工を適用することを特徴とする項目２１から２３のいずれか１項に記載の画像処理装置。
（項目２５）
前記輝度成分は、前記可視光画像を均等色空間で表した場合の輝度成分であることを特徴とする項目２４に記載の画像処理装置。
（項目２６）
前記均等色空間が、ＩＣｔＣｐ色空間もしくはＬ*ａ*ｂ*色空間であることを特徴とする項目２５に記載の画像処理装置。
（項目２７）
前記補正手段は、さらに、前記可視光画像の色成分を補正することを特徴とする項目２４から２６のいずれか１項に記載の画像処理装置。
（項目２８）
前記補正手段は、前記加工の強度に基づいて前記色成分を補正することを特徴とする項目２７に記載の画像処理装置。
（項目２９）
撮像素子を有し、可視光画像および非可視光画像を取得する撮像手段と、前記撮像手段で取得された前記可視光画像および前記非可視光画像を用いる項目２１から２８のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
（項目３０）
画像処理装置が実行する画像処理方法であって、
非可視光画像を用いて、前記非可視光画像と対応する可視光画像を加工するための情報を取得することと、
前記情報に基づく強度で、前記可視光画像に前記加工を適用することと、を有し、
適用することは、前記加工を適用した可視光画像において、前記加工の強度が０の領域と、前記加工の強度が０でない領域とにおける階調情報の差が予め定められた第４閾値より大きい場合には、前記第４閾値以下となるように前記加工の強度を補正することを含む、
ことを特徴とする画像処理方法。
（項目３１）
コンピュータを、項目２１から２８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…光学系、１０５…撮像部、１０６…Ａ／Ｄ変換部、１０７…画像処理部、１０８…記録部、１０９…表示部

Claims (31)

1. 可視光画像のうち、非可視光画像を合成する領域を決定する決定手段と、
   前記決定に基づいて、前記可視光画像に前記非可視光画像を合成して合成画像を生成する合成手段と、を有し、
   前記合成手段は、前記合成画像のうち、前記非可視光画像が合成された領域と合成されていない領域との階調情報の差が予め定められた第１閾値以下となるように、前記非可視光画像を調整してから前記可視光画像に合成する、ことを特徴とする画像処理装置。
2. 前記合成手段は、前記合成画像のうち、前記非可視光画像が合成された領域と合成されていない領域とに含まれる同種の被写体の領域における階調情報の差が予め定められた閾値以下となるように前記非可視光画像を調整してから前記可視光画像に合成する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、さらに、被写体距離に応じて前記非可視光画像を調整してから前記可視光画像に合成する、ことを特徴とする請求項１に記載の画像処理装置。
4. 前記合成手段は、前記非可視光画像を調整せずに前記可視光画像に合成し、
   前記画像処理装置が、
   前記合成画像のうち、前記非可視光画像が合成された領域と、合成されていない領域との階調情報の差が前記第１閾値以下となるように、前記合成画像のコントラストを補正する補正手段をさらに有する、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記決定手段は、前記可視光画像のうち前記階調情報が第２閾値以下である領域を、前記非可視光画像を合成する領域として決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記合成手段は、前記可視光画像の輝度成分に対して前記非可視光画像を合成することを特徴とする請求項１に記載の画像処理装置。
7. 前記輝度成分は、前記可視光画像を均等色空間で表した場合の輝度成分であることを特徴とする請求項６に記載の画像処理装置。
8. 前記均等色空間が、ＩＣｔＣｐ色空間もしくはＬ*ａ*ｂ*色空間であることを特徴とする請求項７に記載の画像処理装置。
9. さらに、前記可視光画像の色成分を補正する補正手段を有することを特徴とする請求項１に記載の画像処理装置。
10. 前記補正手段は、前記非可視光画像の階調情報に基づいて前記色成分を補正することを特徴とする請求項９に記載の画像処理装置。
11. 前記補正手段は、前記非可視光画像を合成する前後の画素値に応じて前記色成分の補正量を調整することを特徴とする請求項９に記載の画像処理装置。
12. 前記補正手段は、前記可視光画像の撮影時の露出条件に応じて前記色成分の補正量を調整することを特徴とする請求項９に記載の画像処理装置。
13. 前記補正手段は、前記可視光画像の撮影時の赤外補助光の照射の有無に応じて前記色成分の補正量を調整することを特徴とする請求項９に記載の画像処理装置。
14. 前記補正手段は、被写体距離に応じて前記色成分の補正量を調整することを特徴とする請求項９に記載の画像処理装置。
15. 前記補正手段は、前記可視光画像に含まれる類似色からなる領域に対する補正量の差が第３閾値以下となるように調整することを特徴とする請求項９に記載の画像処理装置。
16. 前記補正手段は、前記可視光画像に含まれる類似色からなる領域に対する補正量を平滑化することにより、前記調整を行うことを特徴とする請求項１５に記載の画像処理装置。
17. 前記補正手段は、前記可視光画像の画素のうち、赤色被写体の画素に対する補正量を、対応する前記非可視光画像の画素値との差に基づいて調整することを特徴とする請求項９に記載の画像処理装置。
18. 撮像素子を有し、可視光画像および非可視光画像を取得する撮像手段と、
    前記撮像手段で取得された前記可視光画像および前記非可視光画像を用いる請求項１から１７のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
19. 画像処理装置が実行する画像処理方法であって、
    可視光画像のうち、非可視光画像を合成する領域を決定することと、
    前記決定に基づいて、前記可視光画像に前記非可視光画像を合成して合成画像を生成することと、を有し、
    前記合成することは、
    前記合成画像のうち、前記非可視光画像が合成された領域と合成されていない領域との階調情報の差が予め定められた第１閾値以下となるように前記非可視光画像を調整することと、
    前記調整した前記非可視光画像を前記可視光画像に合成することと、を有することを特徴とする画像処理方法。
20. コンピュータを、請求項１から１７のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
21. 非可視光画像を用いて、前記非可視光画像と対応する可視光画像を加工するための情報を取得する取得手段と、
    前記情報に基づく強度で、前記可視光画像に前記加工を適用する補正手段と、を有し、
    前記補正手段は、前記加工を適用した可視光画像において、前記加工の強度が０の領域と、前記加工の強度が０でない領域とにおける階調情報の差が予め定められた第４閾値より大きい場合には、前記第４閾値以下となるように前記加工の強度を補正することを特徴とする画像処理装置。
22. 前記取得手段は、前記非可視光画像の輝度成分と、前記可視光画像の輝度成分とから、前記情報を取得することを特徴とする請求項２１に記載の画像処理装置。
23. 前記補正手段は、被写体距離の増加に応じて前記強度が増加するように前記強度を補正することを特徴とする請求項２１に記載の画像処理装置。
24. 前記補正手段は、前記可視光画像の輝度成分に対して加工を適用することを特徴とする請求項２１に記載の画像処理装置。
25. 前記輝度成分は、前記可視光画像を均等色空間で表した場合の輝度成分であることを特徴とする請求項２４に記載の画像処理装置。
26. 前記均等色空間が、ＩＣｔＣｐ色空間もしくはＬ*ａ*ｂ*色空間であることを特徴とする請求項２５に記載の画像処理装置。
27. 前記補正手段は、さらに、前記可視光画像の色成分を補正することを特徴とする請求項２４に記載の画像処理装置。
28. 前記補正手段は、前記加工の強度に基づいて前記色成分を補正することを特徴とする請求項２７に記載の画像処理装置。
29. 撮像素子を有し、可視光画像および非可視光画像を取得する撮像手段と、前記撮像手段で取得された前記可視光画像および前記非可視光画像を用いる請求項２１から２８のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
30. 画像処理装置が実行する画像処理方法であって、
    非可視光画像を用いて、前記非可視光画像と対応する可視光画像を加工するための情報を取得することと、
    前記情報に基づく強度で、前記可視光画像に前記加工を適用することと、を有し、
    適用することは、前記加工を適用した可視光画像において、前記加工の強度が０の領域と、前記加工の強度が０でない領域とにおける階調情報の差が予め定められた第４閾値より大きい場合には、前記第４閾値以下となるように前記加工の強度を補正することを含む、
    ことを特徴とする画像処理方法。
31. コンピュータを、請求項２１から２８のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images