JP2019046277A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法を提供する。【解決手段】同一被写体を同時に撮影した可視光画像と遠赤外画像、さらに、カメラの動き情報を入力し、カメラの動きに起因する可視光画像のブラー（ぼけ）であるカメラ動きベースブラーを推定し、可視光画像と遠赤外画像、およびカメラ動きベースブラーを利用して、可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定し、推定した統合フィルタと逆特性を持つ逆特性フィルタを可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。【選択図】図９

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、可視光画像と赤外線画像に併せてカメラの動き情報を入力して、可視光画像のブラー（ぼけ）を低減する画像処理装置、および画像処理方法、並びにプログラムに関する。

夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するぼけであるブラーが発生しやすくなる。

この問題を解決する従来技術として、例えば特許文献１（特開２００３−２０９７３５号公報）に開示された技術がある。
特許文献１は、可視光カメラによって連続的に撮影された複数の画像を利用して画像の動きを解析し、この動き解析結果に基づいてぼけ補正を行う技術を開示している。

しかし、上記特許文献１に記載の構成では、複数の連続撮影された画像が必要であり、静止画に対する処理は実行できないという問題がある。また、複数の連続撮影画像から画像の動きを解析する処理が必要であり、各画像対応の即時的処理ができないという問題がある。

さらに、上記特許文献１に記載の構成は、固定されたカメラによる撮影画像のぼけ補正を開示しており、カメラが動いた場合の処理についての開示はなく、例えば、車載カメラ等、カメラが動く場合のぼけ低減には効果が発揮されにくいという問題がある。

特開２００３−２０９７３５号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、複数の連続撮影画像を用いることなく、可視光画像と赤外線画像を用いて可視光画像のブラー（ぼけ）の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

さらに、本開示は、例えば、車載カメラ等、カメラが動く場合であってもカメラの動きを考慮した処理を行うことで、効果的な可視光画像のブラー（ぼけ）の解消または低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
同一被写体を同時に撮影した可視光画像と遠赤外画像を入力する画像入力部と、
前記可視光画像を撮影したカメラの動き情報を入力するカメラ動き情報入力部と、
前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するカメラ動きベースブラー推定部と、
前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定部と、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像入力部が、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力するステップと、
カメラ動き情報入力部が、前記可視光画像を撮影したカメラの動き情報を入力するステップと、
カメラ動きベースブラー推定部が、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するステップと、
ブラー推定部が、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定ステップと、
ブラー除去部が、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去ステップを実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力させるステップと、
カメラ動き情報入力部に、前記可視光画像を撮影したカメラの動き情報を入力させるステップと、
カメラ動きベースブラー推定部に、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定させるステップと、
ブラー推定部に、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定させるブラー推定ステップと、
ブラー除去部に、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるブラー除去ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像、さらに、カメラの動き情報を入力し、カメラの動きに起因する可視光画像のブラー（ぼけ）であるカメラ動きベースブラーを推定し、可視光画像と遠赤外画像、およびカメラ動きベースブラーを利用して、可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定し、推定した統合フィルタと逆特性を持つ逆特性フィルタを可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の画像処理装置の実行する処理の概要について説明する図である。 撮影画像の種類と光の波長との対応関係について説明する図である。 可視光画像と遠赤外画像の例について説明する図である。 カメラの動きによって発生する撮影画像中のブラーについて説明する図である。 カメラの動きによって発生する撮影画像中のブラーと被写体の動きの影響について説明する図である。 自動車に対するカメラの装着例とカメラの動き検出について説明する図である。 本開示の画像処理装置の構成例と処理例について説明する図である。 本開示の画像処理装置の構成例と処理例について説明する図である。 本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。 カメラ動きブラーマップについて説明する図である。 本開示の実施例１の画像処理装置の構成例と処理例について説明する図である。 本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例１の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。 フィルタバンクプールの格納データと、カメラ動きに基づくフィルタバンクの選択処理例について説明する図である。 本開示の実施例２の画像処理装置の構成例と処理例について説明する図である。 本開示の実施例２の画像処理装置の実行する処理の処理例について説明する図である。 本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例２の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例３の画像処理装置の構成例と処理例について説明する図である。 本開示の実施例３の画像処理装置の実行する処理の処理例について説明する図である。 本開示の実施例３の画像処理装置の構成例と処理例について説明する図である。 本開示の実施例３の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例３の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例４の画像処理装置の実行する処理の処理例について説明する図である。 本開示の実施例４の画像処理装置の実行する処理の処理例について説明する図である。 本開示の実施例４の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の実施例４の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 画像処理装置のハードウェア構成例について説明する図である。 本開示の画像処理装置の機能を有する車両制御システムの構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理の概要について
２．カメラの動きに起因して発生するブラーの具体例について
３．車に対するカメラ装着例について
４．本開示の画像処理装置の構成と処理の概要について
５．（実施例１）構成Ａ対応の画像処理装置の構成と処理について
６．（実施例２）構成Ｂ対応の画像処理装置の構成と処理について
７．（実施例３）構成Ａ＋Ｃ対応の画像処理装置の構成と処理について
８．（実施例４）構成Ｂ＋Ｃ対応の画像処理装置の構成と処理について
９．画像処理装置のハードウェア構成例について
１０．車両に本開示の画像処理装置を備えた車両制御システムの構成例について
１１．本開示の構成のまとめ

［１．本開示の画像処理装置の構成と処理の概要について］
まず、図１以下を参照して本開示の画像処理装置の構成と処理の概要について説明する。
図１は、本開示の画像処理装置の実行する処理の概要を説明する図である。
本開示の画像処理装置は、同一被写体を撮影した可視光画像と赤外線画像を入力し、さらに、これらの画像を撮影したカメラのカメラ動き情報を入力して可視光画像のブラー（ぼけ）を低減させる処理を実行する。

夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。
本開示の画像処理装置は、例えば、このような環境下で撮影された可視光画像のブラーを低減させるため、同じ被写体を同時に撮影した遠赤外画像を利用する。

赤外線画像は、被写体から発せられる熱に応じた画素値が設定された画像であり、例えば人の体温を検出することができる。従って、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
赤外線の中でも波長の長い遠赤外線は、熱に対してより高感度であり、露光時間の短い撮影でも人等の熱を発生する被写体を比較的、明瞭に撮影することができる。

夜間等、暗闇での可視光画像の撮影合には、露光時間を長くすることが必要であり、カメラや被写体の動きに応じたブラー（ぼけ）が大きくなる。
しかし、遠赤外画像は、暗闇で露光時間を短く設定して撮影しても熱を発生させる被写体、例えば人等を明瞭に撮影できる。
本開示の画像処理装置は、これら可視光画像と、遠赤外画像の特性の違いを利用して、ブラーの大きな可視光画像の補正を行う。すなわち、ブラーの少ない赤外画像を参照画像として用いて補正（ブラー除去）処理を行って、ブラーを解消または低減した可視光画像を生成する。

図１を参照して本開示の画像処理装置の実行する処理の概要について説明する。
図１に示すように、本開示の画像処理装置は、同一被写体を同時に撮影したブラーあり可視光画像１１と、ブラーなし遠赤外画像１２を入力する。
さらに、これらの画像を撮影したカメラ動き情報１３を入力する。

本開示の画像処理装置は、まず、ステップＳ２０において、入力した２つの画像と、カメラ動き情報を利用して、可視光画像のブラー推定を行う。
具体的には、例えば、画像のぼけ量を示す関数である点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の推定を行う。
ＰＳＦは、ある画素位置の画素値の周囲に対するひろがり具合、すなわちぼけ量やぼけ態様を示す関数である。

ステップＳ２０では、ブラーなし遠赤外画像１２に対して、様々な点広がり関数（ＰＳＦ）対応のフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像１１を比較（相関算出）する。
この比較処理（相関算出）に基づいて、ブラーあり可視光画像１１のブラー（ぼけ）と同様のブラー（ぼけ）を発生させる点広がり関数（ＰＳＦ）対応のフィルタを選択する。

なお、このステップＳ２０において選択しようとするフィルタは、ブラー（ぼけ）のない可視光画像に適用した場合、ブラーあり可視光画像１１が生成されるフィルタに相当する。
しかし、撮影画像として、ブラー（ぼけ）のない可視光画像は取得できていないため、その代替画像として、ブラーなし遠赤外画像１２を利用するものである。
すなわち、ブラーなし遠赤外画像１２に適用することで、ブラーあり可視光画像１１に存在するブラー（ぼけ）と同様のブラー（ぼけ）が発生するフィルタを選択、または点広がり関数（ＰＳＦ）を算出する。

次に、ステップＳ４０において、可視光画像のブラーを除去する処理を行う。
ブラー除去処理は、上記の点広がり関数：ＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆の特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像１１に適用する処理である。
この逆フィルタの適用処理により、ブラーあり可視光画像１１から、ブラー（ぼけ）が除去され、ブラー低減可視光画像１５が生成される。

なお、ステップＳ４０の可視光画像ブラー除去処理は、デコンボリューション処理とよばれる周波数領域でのフィルタ処理が適用可能である。
ブラーあり可視光画像１１の点広がり関数（ＰＳＦ）＝ｐ（ｘ，ｙ）とし、
ブラーあり可視光画像１１をｂ（ｘ，ｙ）、ブラーのない真の可視光画像をｓ（ｘ，ｙ）としたとき、それぞれのフーリエ変換を、Ｐ（ｕ，ｖ），Ｂ（ｕ，ｖ），Ｓ（ｕ，ｖ）とすると、以下の関係式が成立する。
ｂ（ｘ，ｙ）＝ｐ（ｘ，ｙ）＊ｓ（ｘ，ｙ）
Ｂ（ｕ，ｖ）＝Ｐ（ｕ，ｖ）・Ｓ（Ｕ，ｖ）
なお、＊はコンボリューション演算である。

さらに、フーリエ変換をＦＴ［］としたとき、
Ｂ（ｕ，ｖ）＝ＦＴ［ｂ（ｘ，ｙ）］
Ｐ（ｕ，ｖ）＝ＦＴ［ｐ（ｘ，ｙ）］
Ｓ（ｕ，ｖ）＝ＦＴ［ｓ（ｘ，ｙ）］
上記関係式が成立する。

ブラーのない真の可視光画像：ｓ（ｘ，ｙ）を算出する処理は、ブラーあり可視光画像１１：ｂ（ｘ，ｙ）から、ブラーのない真の可視光画像：ｓ（ｘ，ｙ）を算出する処理（＝Ｂ（ｕ，ｖ）からＳ（ｕ，ｖ）を算出する処理と同様）であり、この処理を行うフィルタを、デコンボリューションフィルタと呼び、このフィルタ適用処理をデコンボリューション処理と呼ぶ。
デコンボリューションフィルタは、ＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆の特性を持つ逆フィルタである。

このように、ステップＳ４０では、ステップＳ２０で推定したブラーあり可視光画像１１のブラー態様を示すＰＳＦ＝ｐ（ｘ，ｙ）で示される特性を持つフィルタと逆特性を持つ逆フィルタを生成して、生成した逆フィルタをブラーあり可視光画像１１に適用する。すなわち、「デコンボリューション処理」を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１５を生成する。

次に、図２を参照して可視光画像と、赤外線画像について説明する。
図２に示すように、可視光画像は、波長が約０．４μｍ〜０．７μｍの範囲の画像であり、一般的なカメラで撮影されるＲＧＢ画像等のカラー画像である。
一方赤外線画像は、波長が．０．７μｍ以上の長波長光からなる画像である。赤外線画像を撮影する赤外画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
なお、赤外線は、図２に示すように、
波長が約０．７〜１μｍの近赤外線、
波長が約３〜５μｍの中赤外線、
波長が約８〜１４μｍの遠赤外線、
このように区分される。

以下に説明する実施例では、主に波長が約８〜１４μｍの遠赤外線の撮影画像である遠赤外画像を利用した画像処理例について説明する。
ただし、本開示の処理は、遠赤外画像に限らず、その他の赤外画像を利用した処理にも適用可能である。

先に説明したように、夜間等の暗い環境で可視光画像を撮影する場合、露光時間を長くする必要があり、その結果、カメラの動きや被写体の動きに起因するブラーが発生しやすくなる。一方、遠赤外画像は、露光時間を短くした撮影を行っても、人等の熱を発生する被写体を明瞭に撮影することができる。
具体的な撮影画像の例を図３に示す。

図３には、夜間の交差点で撮影した可視光画像と遠赤外画像の撮影画像の例を示している。
これら２つの画像は、暗い環境での撮影画像であり、可視光画像は長時間露光を行っている。
（１）可視光画像、（２）遠赤外画像を比較すると、（１）可視光画像のブラー（ぼけ）が大きく、人の姿がほとんど認識できないが、（２）遠赤外画像には、人の姿が明瞭に示されている。
これは、遠赤外画像は、露光時間が短く、ほとんどブラー（ぼけ）が発生しないためである。

本開示の画像処理装置は、このように、ほとんどブラーが発生しない遠赤外画像を参照画像として用いて、ブラーの発生した可視光画像の補正を行い、ブラーを除去または低減した可視光画像を生成するものである。

［２．カメラの動きに起因して発生するブラーの具体例について］
次に、図４以下を参照して画像を撮影するカメラの動きに起因して発生するブラーの具体例について説明する。

本開示の構成は、例えば、車に可視光画像撮影カメラと、遠赤外画像撮影カメラを搭載し、これらのカメラ撮影画像からぼけのない可視光画像を生成してドライバに提示可能とする構成を実現するものである。

車は、高速で移動するため、カメラも高速で移動しながら画像を撮影することになり、撮影画像にはカメラの動きに応じたブラー（ぼけ）が発生する。
図４は、様々なカメラの動きの種類に応じたブラー態様を説明する図であり、以下の４種類のカメラ動きに対応して撮影画像に発生するブラーの方向と、大きさをベクトルで示している。
（１）カメラが前方に直進
（２）カメラが後方に直進
（３）カメラが右方向に回転
（４）カメラが上方向に回転

例えば、「（１）カメラが前方に直進」する場合、図４（１）に示すように撮影画像の中心部から周囲に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中心では小さく、画像周囲に行くほど大きくなる。
また、「（２）カメラが後方に直進」する場合、図４（２）に示すように撮影画像の周囲から中心部に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中心では小さく、画像周囲に行くほど大きくなる。

また、「（３）カメラが右方向に回転」する場合、図に示すように撮影画像の右から左に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中においてほぼ均一となる。
また、「（４）カメラが上方向に回転」する場合、図に示すように撮影画像の上から下に向かう方向に画像が流れるようにブラーが発生する。ブラーの大きさは、画像中においてほぼ均一となる。
このように、撮影画像にはカメラの動きに応じたブラー（ぼけ）が発生する。

なお、図４に示す各画像のベクトルの設定例は、カメラによる撮影画像に動く被写体がない場合のブラーの方向と大きさを示すベクトルである。
カメラによる撮影画像に動く被写体がある場合は、被写体の動きに応じてブラーの方向と大きさを示すベクトルは変化することになる。

図５は、カメラが動き、さらに、カメラの撮影画像中の被写体が動く場合のブラーの方向と大きさを示すベクトルの例を示す図である。
図５には以下の２つの画像例を示している。
（１）カメラが前方に直進中、左前方の被写体が、カメラより高速で前方に移動、
（２）カメラが後方に直進中、左前方の被写体が、カメラより高速で後方に移動、

図５（１）の例は、例えば、車載カメラを搭載したカメラの前方左側からバイクが高速で追い抜いていく状況に相当する。
カメラが前方に直進し、動く被写体が無い場合のブラーの方向と大きさは、先に図４（１）を参照して説明した設定であるが、この中に動く被写体がある場合は、図５（１）に示す設定となる。

図５（１）に示す点線枠が、カメラより高速で前方に動く被写体によって発生するブラーの方向と大きさを示すベクトルに相当する。
このベクトルは、その他の領域のベクトルの逆方向を向いている。

また、図５（２）の例は、例えば、後方を撮影する車載カメラの撮影画像の例であり、車後方右側からバイクが高速で近づいてくる状況に相当する。
カメラが後方に直進し、動く被写体が無い場合のブラーの方向と大きさは、先に図４（２）を参照して説明した設定であるが、この中に動く被写体がある場合は、図５（２）に示す設定となる。

図５（２）に示す点線枠が、カメラより高速で前方に動く被写体によって発生するブラーの方向と大きさを示すベクトルに相当する。
このベクトルは、その他の領域のベクトルの逆方向を向いている。

このように、カメラが動き、さらに、カメラの撮影画像中の被写体が動く場合には、これらの動きに応じてブラーの方向と大きさが決定される。
従って、ブラーの解消、または低減を高精度に行うためには、カメラの動きや被写体の動きを考慮した処理を行うことが必要となる。

［３．車に対するカメラ装着例について］
次に、本開示の画像処理装置の一構成例として、車に装着したカメラの撮影画像を入力して処理を行う画像処理装置の例について説明する。

前述したように、本開示の画像処理装置の一構成例は、例えば、車に搭載した可視光画像撮影カメラと、遠赤外画像撮影カメラの撮影画像を入力して、ぼけのない可視光画像を生成してドライバに提示可能とする構成を実現する。

図６は、車へのカメラ搭載例の一例を示す図である。
図６（ａ）上面図に示すように、車には、可視光カメラ、遠赤外カメラ、これら２つのカメラが搭載される。これらのカメラの撮影画像は、車内部に備えられた画像処理装置に入力され、可視光画像のブラー（ぼけ）を除去または低減する処理が実行される。
ブラー（ぼけ）の除去、または低減された可視光画像は、運転席に備えられた表示部に表示される。また、自動運転制御部に出力され、自動運転のための情報、例えば障害物検出情報等として利用される。

なお、図６に示す例では、カメラは前方方向のみを撮影する設定として示しているが、これは一例であり、車の後方や側面方向にも、それぞれカメラを設定して、全ての方向の画像を撮影する設定としてもよい。

なお、前述したように、本開示の画像処理装置は、可視光画像と遠赤外画像を入力するとともに、カメラの動き情報を入力して、精度の高いブラー除去処理を実現する。
例えば、カメラは、車と一体で動く設定であり、カメラの動き情報は、カメラ、または車に装着されたセンサから取得する。
センサは、例えばジャイロ、ＩＭＵ、加速度センサ、傾きセンサ等によって構成される。
なお、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）は、３軸方向の角度、または角速度、加速度を検出するセンサである。
センサは、図６（ｃ）に示すように、例えばカメラの移動方向、移動速度、回転半径等を検出し、これらをカメラ動き情報として、画像処理装置のデータ処理部に入力する。

［４．本開示の画像処理装置の構成と処理の概要について］
次に、図７以下を参照して、本開示の画像処理装置の構成と処理の概要について説明する。

先に図１を参照して説明したように、本開示の画像処理装置は、同一被写体を同時に撮影した可視光画像と、遠赤外画像、さらに、これらの画像を撮影したカメラの動き情報を入力して、可視光画像のブラーを解消または低減する処理を実行する。
この処理を実行する画像処理装置の複数の構成例について、図７、図８を参照して説明する。

図７、図８には、本開示の画像処理装置の以下の複数の構成例を示している。
（構成Ａ）可視光画像と遠赤外画像を用いた画像ベースブラー推定後に、カメラ動き情報に基づくカメラ動きベースブラー推定情報を利用して最終的な統合ブラー推定を実行する構成例
（構成Ｂ）可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成例
（構成Ａ＋Ｃ）構成Ａ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
（構成Ｂ＋Ｃ）構成Ｂ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例

本開示の画像処理装置には、図５、図６に示すような様々な構成例がある。
後段で、これらの各構成例の具体的な構成と処理について説明するが、まず、これら４種類の構成に応じた処理の概要について説明する。

（構成Ａ）可視光画像と遠赤外画像を用いた画像ベースブラー推定後に、カメラ動き情報に基づくカメラ動きベースブラー推定情報を利用して最終的な統合ブラー推定を実行する構成例

この構成Ａは、図１を参照して説明した２つの処理ステップ、すなわち、ステップＳ２０のブラー推定処理と、ステップＳ４０におけるブラー除去処理を行う。
ただし、図７に示す構成Ａでは、図１を参照して説明したステップＳ２０のブラー推定処理を、以下の３つのステップによって構成している。
（ステップＳ２１）画像ベースブラー推定（Ｅｔ）
（ステップＳ２２）カメラ動きベースブラー推定（Ｅｃ）
（ステップＳ２３）統合ブラー推定（Ｅａｌｌ）

図７他、以下の説明において使用する記号の意味について説明する。
Ｅｔ：画像ベースブラーであり、可視光画像と遠赤外線画像に基づいて推定される可視光画像のブラー、具体的にはぼけ態様情報であり、例えば点広がり関数（ＰＳＦ）である。
Ｅｃ：カメラ動きベースブラーであり、画像（可視光画像と遠赤外線画像）を撮影したカメラの動きに基づいて推定される可視光画像のブラー、具体的にはぼけ態様情報であり、例えばＰＳＦである。
Ｅａｌｌ：統合ブラーであり、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）を統合した可視光画像のブラー、具体的にはぼけ態様情報であり、例えばＰＳＦである。

さらに、
画像ベースブラー（Ｅｔ）と同様のブラー（ぼけ）を画像に発生させるフィルタ、またはフィルタを構成するフィルタ係数を画像ベースフィルタ（Ｅｔｆ）、
カメラ動きベースブラー（Ｅｃ）と同様のブラー（ぼけ）を画像に発生させるフィルタ、またはフィルタを構成するフィルタ係数をカメラ動きベースフィルタ（Ｅｃｆ）、
統合ブラー（Ｅａｌｌ）と同様のブラー（ぼけ）を画像に発生させるフィルタ、またはフィルタを構成するフィルタ係数を統合フィルタ（Ｅａｌｌｆ）、
とする。

なお、各ブラー、各フィルタは、画像の分割領域であるブロック単位で、取得、算出、適用可能である。
また、１つの態様のブラーから、そのブラーを発生させる１つのフィルタが一義的に決定される。
従って、例えば、ある１つの態様の画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）とを比較して、画像ベースフィルタ（Ｅｔｆ）の適用によって発生するブラー態様と、カメラ動きベースブラー（Ｅｃ）が一致、または類似するか否かを判定する処理も可能である。すなわち、ブラーとフィルタの類似性を判定する処理も行われる。
後段において説明する実施例では、このような処理も行われる。

図７に示す構成Ａの実行する処理について説明する。
まず、ステップＳ２１において、同一被写体を同時に撮影したブラーあり可視光画像１１とブラーなし遠赤外画像１２を入力し、これらの２つの画像を比較して、ブラーあり可視光画像１１の画像ベースブラー（Ｅｔ）の推定処理を行う。

具体的には、ブラーなし遠赤外画像１２に対して、様々な点広がり関数（ＰＳＦ）対応のフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを適用して、故意にブラーを発生させた遠赤外画像を生成し、このフィルタ適用遠赤外画像と、ブラーあり可視光画像１１を比較（相関算出）する。
この比較処理（相関算出）に基づいて、ブラーあり可視光画像１１のブラー（ぼけ）と同様のブラー（ぼけ）を発生させる点広がり関数（ＰＳＦ）対応のフィルタを選択する。

すなわち、ブラーなし遠赤外画像１２に様々なフィルタを適用してブラーを発生させて、ブラーあり可視光画像１１と比較することで、ブラーあり可視光画像１１のブラー態様と同じブラー（ぼけ）を発生させるフィルタを選択、または点広がり関数（ＰＳＦ）を算出する。
なお、フィルタ選択は、例えば、所定の画素ブロック単位で実行される。

次に、ステップＳ２２において、カメラ動きベースブラー（Ｅｃ）の推定処理を行う。
具体的には、例えばＩＭＵ等のセンサによって取得されたカメラの動きに応じて、撮影画像中に発生すると推定されるブラーを推定するる
例えば先に図４を参照して説明したブラーの方向と大きさを示すベクトルを推定する。すなわち、カメラの様々な動きに応じて画像内に発生するブラーを画像の各ブロック単位で推定する。

次に、ステップＳ２３において、ステップＳ２１で推定した画像ベースブラー（Ｅｔ）と、ステップＳ２２で推定したカメラ動きベースブラー（Ｅｃ）を統合した統合ブラー（Ｅａｌｌ）を推定する。
これらの統合処理は、画像の分割領域であるブロック単位で実行する。
この統合処理により、カメラ動きも考慮した可視光画像１１内のブロック単位のブラーが推定される。

これら、ステップＳ２１〜Ｓ２３の処理が修了すると、次にステップＳ４０のブラー除去処理を実行する。
ステップＳ４０では、ステップＳ２３で推定したブラーあり可視光画像１１のブラー態様（Ｅａｌｌ）を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ「逆フィルタ」を算出、または、様々な逆フィルタを格納した逆フィルタバンクから選択し、算出または選択した逆フィルタをブラーあり可視光画像１１に適用する。

なお、前述したように、この逆フィルタ適用処理は、デコンボリューション処理と呼ばれる。デコンボリューション処理を実行して、ブラーあり可視光画像１１から、ブラー（ぼけ）を除去したブラー低減可視光画像１５を生成する。
なお、逆フィルタの算出、または選択、および適用処理は、所定の画素ブロック単位で実行する。

（構成Ｂ）可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成例
次に、構成Ｂについて説明する。
この構成Ｂと前述した構成Ａとの差異は、図１を参照して説明したステップＳ２０のブラー推定処理が、以下の２つのステップで構成した点である。
（ステップＳ２２）カメラ動きベースブラー推定（Ｅｃ）
（ステップＳ２５）統合ブラー推定（Ｅａｌｌ）

まず、ステップＳ２２において、カメラ動きベースブラー（Ｅｃ）の推定処理を行う。
この処理は、上述した（構成Ａ）におけるステップＳ２２の処理と同様の処理である。すなわち、カメラの様々な動きに応じて画像内に発生するブラーを画像の各ブロック単位で推定する。

次に、ステップＳ２５において、統合ブラー（Ｅａｌｌ）の推定処理を実行する。
この処理は、同一被写体を同時に撮影したブラーあり可視光画像１１とブラーなし遠赤外画像１２に基づくブラーあり可視光画像１１のブラー推定処理において、ステップＳ２２において取得済みのカメラ動きベースブラー（Ｅｃ）を利用した処理を行うものである。

具体的な処理については後段で説明するが、例えば、以下の２つの処理のいずれかを実行する。
（１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、ステップＳ２２において取得済みのカメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
（２）フィルタ適用遠赤外画像と、ブラーあり可視光画像１１との相関値を、ステップＳ２２において取得済みのカメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
例えばステップＳ２５では、これら２つの処理のいずれかを実行して、統合ブラー（Ｅａｌｌ）の推定処理を実行する。
具体的な処理については後段で説明する。

ステップＳ４０では、ステップＳ２５で推定したブラーあり可視光画像１１のブラー態様（Ｅａｌｌ）を示すＰＳＦ特性と同様の特性を持つフィルタと逆の特性を持つ「逆フィルタ」を算出、または、様々な逆フィルタを格納した逆フィルタバンクから選択し、算出または選択した逆フィルタをブラーあり可視光画像１１に適用する。

（構成Ａ＋Ｃ）構成Ａ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
次に、（構成Ａ＋Ｃ）について説明する。
この構成は、構成Ａに追加して、「フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を行う構成例である。

この（構成Ａ＋Ｃ）は、図８の（Ａ＋Ｃ）の図に示すように、ステップＳ４０におけるブラー除去処理の前に、ステップＳ３１においてブラー推定信頼度算出処理を実行することが特徴である。
その他の構成は、構成Ａと同様である。

ステップＳ３１におけるブラー推定信頼度算出処理は、ステップＳ２１の画像ベースブラー推定結果（Ｅｔ）と、ステップＳ２２のカメラ動きベースブラー推定結果（Ｅｃ）とを比較し、２つのブラー推定結果の一致度が高いほど、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が高いと判定する。

ステップＳ３１で生成した信頼度情報は、ステップＳ４０におけるブラー除去処理において利用される。
すなわち、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度が、ステップＳ３１で計算された信頼度情報によって調整される。

具体的には、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が低い場合は、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度を弱める処理を行う。なお、信頼度の算出は、例えば、所定の画素ブロック単位で実行される。
このような処理を行うことで、フィルタ（ブラー）推定結果の信頼度に応じた逆フィルタの適用が可能となる。

（構成Ｂ＋Ｃ）構成Ｂ＋フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成例
次に、（構成Ｂ＋Ｃ）について説明する。
この構成は、構成Ｂに追加して、「フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理」を行う構成例である。

この（構成Ｂ＋Ｃ）は、図８の（Ｂ＋Ｃ）の図に示すように、ステップＳ４０におけるブラー除去処理の前に、ステップＳ３２においてブラー推定信頼度算出処理を実行することが特徴である。
その他の構成は、構成Ｂと同様である。

ステップＳ３２におけるブラー推定信頼度算出処理は、ステップＳ２２のカメラ動きベースブラー推定結果（Ｅｃ）と、ステップＳ２５の統合ブラー推定結果（Ｅａｌｌ）とを比較し、２つのブラー推定結果の一致度が高いほど、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が高いと判定する。

ステップＳ３２で生成した信頼度情報は、ステップＳ４０におけるブラー除去処理において利用される。
すなわち、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度が、ステップＳ３２で計算された信頼度情報によって調整される。

具体的には、ステップＳ２３で生成された統合ブラー（Ｅａｌｌ）の推定結果の信頼度が低い場合は、ステップＳ４０におけるブラー除去処理において適用する逆フィルタの強度を弱める処理を行う。なお、信頼度の算出は、例えば、所定の画素ブロック単位で実行される。
このような処理を行うことで、フィルタ（ブラー）推定結果の信頼度に応じた逆フィルタの適用が可能となる。
なお、具体的な構成例や処理例については後段で説明する。

［５．（実施例１）構成Ａ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例１として、図７を参照して説明した構成Ａ対応の画像処理装置の具体的な構成と処理について説明する。

先に図７を参照して説明したように、構成Ａは、可視光画像と遠赤外画像を用いた画像ベースブラー推定後に、カメラ動き情報に基づくカメラ動きベースブラー推定情報を利用して最終的な統合ブラー推定を実行する構成である。

なお、この構成Ａの統合ブラー（Ｅａｌｌ）推定処理の処理態様として、以下の２種類がある。
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。

カメラ動きベースブラー（Ｅｃ）は、先に図４を参照して説明したように、カメラの動きのみに基づいて、画像内のブラー態様を推定するものであり、先に図５を参照して説明したように、撮影画像中内の被写体に動きがある場合は、画像に発生するブラーは、被写体の動きに依存する設定となる。
従って、撮影画像中内の被写体の動きが多い場合は、カメラ動きベースブラー（Ｅｃ）をそのまま適用してしまうと、誤ったブラー推定がなされる。
上記の（Ａ１），（Ａ２）は、このような問題を解決する２種類の方法である。

なお、被写体の動きが多いか少ないかについては、例えば、以下の環境情報を入力して判定する。
（ａ）地図情報：予め記憶部に格納してある地図情報、あるいはネットワークを介して地図情報を入力し、市街地等、車両、歩行者の多いエリアでは被写体動きが多いと判定し、山間部等では被写体動きが少ないと判定する。
（ｂ）時間情報：画像処理装置内、または外部装置、あるいはネット経由で時間情報を取得し、時間帯、例えば昼は被写体動きが多いと判定し、深夜は被写体動きが少ないと判定する。

（ｃ）交通情報：ネットワーク経由で交通情報を入力し、道路が混雑している状況であれば、被写体動きが多いと判定し、混雑していない状況では被写体動きが少ないと判定する。
（ｄ）画像上の位置（ブロック）：画像上の領域単位（ブロック単位）で、被写体動きの多い少ないを予め規定しておく。例えば、水平方向のブロックは、被写体動きが多く、上下方向は被写体動きが少ないと判定する。

構成Ａの画像処理装置は、例えば、上記（ａ）〜（ｄ）の環境情報を入力して、統合ブラー（Ｅａｌｌ）推定処理を実行する。
上述した（Ａ１）の構成では、例えば、上記（ａ）〜（ｄ）の環境情報を入力して、被写体の動きの量を判定し、被写体動きが既定のしきい値以上であると判定した場合は、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用し、しきい値未満である場合は、カメラ動きベースブラー（Ｅｃ）を選択する。

また、上述した（Ａ２）の構成では、例えば、上記（ａ）〜（ｄ）の環境情報を入力して、被写体の動きの量を判定し、判定した被写体動き量に応じて、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均態様を変更して、加重平均結果を、統合ブラー（Ｅａｌｌ）とする。
以下、これら２種類の処理を実行する画像処理装置の構成について、順次、説明する。

まず、図９を参照して、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
上記（Ａ１）の構成について説明する。

図９は、構成Ａ１対応の画像処理装置の構成と処理を説明する図である。
図９に示す画像処理装置Ａ１，２０−Ａ１は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、画像ベースブラー推定部３０、カメラ動きベースブラー推定部４０、統合ブラー推定部５０、ブラー除去部６０、フィルタバンク３５、カメラ動きブラーマップ記憶部４５、環境情報記憶部／入力部５５を有する。

さらに、画像ベースブラー推定部３０は、フィルタ処理部３１、相関演算部３２、画像ベースフィルタ（Ｅｔｆ）決定部３３を有する。
カメラ動きベースブラー推定４０は、カメラ動きブラーマップ取得部４１を有する。
統合ブラー推定部５０は、被写体動き判定部５１、統合フィルタ（Ｅａｌｌｆ）決定部５２を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。

可視光画像入力部２１は、補正前可視光画像２５を画像ベースブラー推定部３０と、ブラー除去部６０に入力する。
また、遠赤外画像入力部２２は、遠赤外画像２６を、画像ベースブラー推定部３０に入力する。
さらに、カメラ動き情報入力部２３は、例えばＩＭＵ等の動きセンサの取得したカメラ動き情報をカメラ動きベースブラー推定部４０に入力する。

可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像２５と、遠赤外画像２６は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像入力部２１の入力する補正前可視光画像２５は、長時間露光によるブラー（ぼけ）が発生している。
一方、遠赤外画像入力部２２の入力する遠赤外画像２６は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。

なお、補正前可視光画像２５と、遠赤外画像２６は、いずれも横＝Ｗ画素、縦＝Ｈ画素のＷ×Ｈ画素の画像である。図には補正前可視光画像［Ｗ＊Ｈ］２５と、遠赤外画像［Ｗ＊Ｈ］２６として示している。
また、図中に示す［Ｗ_Ｂ＊Ｈ_Ｂ］は、画像の区分領域である１つのブロック領域を示す。
１枚の画像フレームのブロック数はＮとする。

次に、画像ベースブラー推定部３０の実行する処理について説明する。
画像ベースブラー推定部３０のフィルタ処理部３１は、遠赤外画像２６に対して、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。すなわち、遠赤外画像２６に様々な態様のブラーを故意に発生させる。

フィルタバンク３５には、ブラー（ぼけ）の大きさや方向の異なる多数のブラー発生用フィルタが格納されている。すなわち様々なＰＳＦ対応の多数のフィルタが格納されている。

画像ベースブラー推定部３０のフィルタ処理部３１が、遠赤外画像２６にフィルタを適用して生成したブラーを故意に発生させた遠赤外画像は、相関運算部３２に出力される。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、補正前可視光画像２５との相関を算出する。

なお、このフィルタ処理部３１と、相関演算部３２の実行するフィルタ適用処理、および相関算出処理は、補正前可視光画像２５のＮ個のブロック領域と、遠赤外画像２６のＮ個のブロック領域の対応ブロック単位で実行する。

フィルタ処理部３１は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。
相関演算部３２は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像２５との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値を画像ベースフィルタ（Ｅｔｆ）決定部３３に出力する。

画像ベースフィルタ（Ｅｔｆ）決定部３３は、相関演算部３２からの入力データ、すなわち、
Ｎ個のブロック各々についての各フィルタ対応の相関値の中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
画像ベースフィルタ（Ｅｔｆ）決定部３３が選択したＮ個のブロック各々についてのＮ個のフィルタは、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力される。

統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２は、
画像ベースフィルタ（Ｅｔｆ）決定部３３から、最も相関の高いブロック対応の画像ベースフィルタ（Ｅｔｆ）を入力し、さらに、
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。

カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力する。

カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップの例を図１０に示す。
図１０には、先に図４を参照して説明したと同様のカメラの動きに応じて撮影画像内に発生するブラーの方向と大きさを示すベクトルを設定した図を示している。
各画像は、所定の大きさのブロックに分割されている。なお、図では、簡略化して示しているが、各ブロック単位でブラーの方向と大きさを示すベクトルが設定されている。

このように、画像の分割領域であるブロック単位でカメラ動きに応じたブラーの方向と大きさを示すベクトルを設定したデータをカメラ動きブラーマップと呼ぶ。
なお、ブロックは、画像ベースブラー推定部３０の相関演算部３２における相関算出処理が実行されるブロックと同じブロックであり、統合ブラー推定部５０において生成される統合フィルタ（Ｅａｌｌ）の生成単位でもある。

図１０には、以下の４種類のカメラ動きに対応するブラーマップの例を示している。
（１）カメラが前方に直進する場合のカメラ動きブラーマップ
（２）カメラが後方に直進する場合のカメラ動きブラーマップ
（３）カメラが右方向に回転する場合のカメラ動きブラーマップ
（４）カメラが上方向に回転する場合のカメラ動きブラーマップ
なお、カメラ動きブラーマップ記憶部４５には、これらの他にも、様々なカメラ動きに応じたブラーマップが格納されている。

カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、検出されたカメラの動きに一致、または最も近い設定のカメラ動き対応のブラーマップを選択して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力する。

統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２は、被写体動き判定部５１から入力する被写体動き量の判定情報、すなわち被写体動きが多いか少ないかの判定情報に基づいて、統合フィルタ（Ｅａｌｌｆ）を画像ベースフィルタ（Ｅｔｆ）に設定するか、カメラ動きベースブラー（Ｅｃ）に基づくカメラ動きベースフィルタ（Ｅｃｆ）にするかを決定する。
なお、この決定処理は、ブロック単位で実行する。

被写体動き判定部５１は、環境情報記憶部／入力部５５から、環境情報を取得して、画像内の各ブロックについて、被写体動きが多いブロックか少ないブロックかを判定する。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。

被写体動き判定部５１は、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、被写体動きが多いブロックであるか少ないブロックであるかを判定し、このブロック単位の判定情報を統合フィルタ（Ｅａｌｌｆ）決定部５２に出力する。

統合フィルタ（Ｅａｌｌｆ）決定部５２は、被写体動き判定部５１から入力するブロック単位の判定情報、すなわち、
被写体動きの多いブロックであるか、
被写体動きの少ないブロックであるか、
これらの判定情報に基づいて、以下の処理を行う。

被写体動きの多いブロックについては、画像ベースブラー推定部３０から入力する画像ベースフィルタ（Ｅｔｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。
一方、被写体動きの少ないブロックについては、カメラ動きベースブラー推定部４０から入力するカメラ動きブラーマップに含まれるブロック単位のカメラ動きベースブラー（Ｅｃ）に基づいて決定されるカメラ動きベースフィルタ（Ｅｃｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。

統合フィルタ（Ｅａｌｌｆ）決定部５２は、上記のようにブロック単位で、画像ベースフィルタ（Ｅｔｆ）、または、カメラ動きベースフィルタ（Ｅｃｆ）のいずれかを、統合フィルタ（Ｅａｌｌｆ）とするフィルタ選択処理を行う。

統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）は、ブラー除去部６０の逆フィルタ算出部６１に入力される。

ブラー除去部６０の逆フィルタ算出部６１は、統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
すなわち、デコンボリューションフィルタを生成して、逆フィルタ処理部６２に出力する。
デコンボリューションフィルタは、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つフィルタである。

ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。

すなわち、逆フィルタ処理部６２は、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位のフィルタである画像ベースフィルタ（Ｅｔｆ）、または、カメラ動きベースフィルタ（Ｅｃｆ）のいずれかと逆の特性を持つ逆フィルタを補正前可視光画像２５の該当ブロックに適用する。

可視光画像入力部２１から入力する補正前可視光画像２５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像２７として出力する。
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。

次に、図１１を参照して、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
上記（Ａ２）の構成について説明する。

図１１は、構成Ａ２対応の画像処理装置の構成と処理を説明する図である。
図１１に示す画像処理装置Ａ２，２０−Ａ２は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、画像ベースブラー推定部３０、カメラ動きベースブラー推定部４０、統合ブラー推定部５０、ブラー除去部６０、フィルタバンク３５、カメラ動きブラーマップ記憶部４５、環境情報記憶部／入力部５５を有する。

さらに、画像ベースブラー推定部３０は、フィルタ処理部３１、相関演算部３２、画像ベースフィルタ（Ｅｔｆ）決定部３３を有する。
カメラ動きベース推定部４１は、カメラ動きブラーマップ取得部４１を有する。
統合ブラー推定部５０は、重み算出部５３、統合フィルタ（Ｅａｌｌｆ）算出部５４を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。

先に図９を参照して説明した構成Ａ１対応の画像処理装置Ａ１，２０−Ａ１との差異は、統合ブラー推定部５０の構成のみであり、統合ブラー推定部５０が重み算出部５３と、統合フィルタ（Ｅａｌｌｆ）算出部５４を有する点である。

その他の構成は、先に図９を参照して説明した構成Ａ１対応の画像処理装置Ａ１，２０−Ａ１と同様の構成であり、処理も同様の処理となる。
以下では、図１１に示す画像処理装置Ａ２，２０−Ａ２における統合ブラー推定部５０の重み算出部５３と、統合フィルタ（Ｅａｌｌｆ）算出部５４の処理について説明する。

統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）算出部５４は、
画像ベースフィルタ（Ｅｔｆ）決定部３３から、最も相関の高いブロック対応の画像ベースフィルタ（Ｅｔｆ）を入力し、さらに、
カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。

カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）算出部５４に入力する。

統合フィルタ（Ｅａｌｌｆ）算出部５４は、カメラ動きブラーマップから取得されるブロック単位のカメラ動きブラー（Ｅｃ）から、そのブラーに対応するフィルタ、すなわち、そのブラーを発生させるフィルタであるカメラ動きフィルタ（Ｅｃｆ）を算出する。

さらに、統合フィルタ（Ｅａｌｌｆ）算出部５４は、重み算出部５３から入力する重み情報を用いて、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を行い、統合フィルタ（Ｅａｌｌｆ）を算出する。

具体的には、例えば、重み係数α、βを用いて、統合ブラー（Ｅａｌｌｆ）を以下の算出式に従って算出する。
Ｅａｌｌｆ＝α（Ｅｔｆ）＋β（Ｅｃｆ）
なお、上記式は、各フィルタのフィルタ係数の算出式に相当する。
また、この統合ブラー（Ｅａｌｌｆ）算出処理は、ブロック単位で実行する。

重み係数α、βは、０〜１の値であり、重み算出部５３から入力される。
重み算出部５３は、環境情報記憶部／入力部５５から、環境情報を取得して、画像内の各ブロックについて、重み係数α、βを算出する。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。

重み算出部５３は、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、重み係数α、βを算出する。
具体的には、被写体動きの多いブロックについては、重み係数αをより大きな値に設定する。すなわち、画像ベースフィルタ（Ｅｔｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）算出を可能とする重み係数の設定を行う。
一方、被写体動きの少ないブロックについては、重み係数βをより大きな値に設定する。すなわち、カメラ動きベースフィルタ（Ｅｃｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）算出を可能とした重み係数の設定を行う。

統合フィルタ（Ｅａｌｌｆ）算出部５４は、重み算出部５３から入力するブロック単位の重み情報、すなわち上述した各ブロック単位の重み係数α、βを用いて、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を行い、統合フィルタ（Ｅａｌｌｆ）を算出する。

この結果、被写体動きの多いブロックについては、画像ベースブラー推定部３０から入力する画像ベースフィルタ（Ｅｔｆ）の寄与率の高い統合フィルタ（Ｅａｌｌｆ）が算出される。
一方、被写体動きの少ないブロックについては、カメラ動きベースブラー推定部４０から入力するカメラ動きブラーマップに含まれるブロック単位のカメラ動きベースブラー（Ｅｃ）に基づいて決定されるカメラ動きベースフィルタ（Ｅｃｆ）の寄与率の高い統合フィルタ（Ｅａｌｌｆ）が算出される。

統合フィルタ（Ｅａｌｌｆ）算出部５４は、上記のようにブロック単位で、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を算出して、統合フィルタ（Ｅａｌｌｆ）の算出処理を行う。

統合フィルタ（Ｅａｌｌｆ）算出部５４の算出したブロック単位の統合フィルタ（Ｅａｌｌｆ）は、ブラー除去部６０の逆フィルタ算出部６１に入力される。

ブラー除去部６０の逆フィルタ算出部６１は、統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。

ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。

これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。

次に、図１２以下に示すフローチャートを参照して、図９、図１１を参照して説明した構成Ａ対応の画像処理装置の実行する処理のシーケンスについて説明する。
なお、図１２以下に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行可能な処理であり、プログラム実行機能を有するＣＰＵ等を備えた制御部（データ処理部）の制御の下で実行することができる。

まず、図１２に示すフローチャートを参照して、図９を参照して説明した、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える画像処理装置−Ａ１の実行する処理のシーケンスについて説明する。
以下、図１２に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、補正対象とする可視光画像を取得する。
この処理は、図９に示す画像処理装置における可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。

（ステップＳ１０２）
次に、ステップＳ１０２において、参照画像として利用される遠赤外画像を取得する。
この処理は、図９に示す画像処理装置における遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。

なお、ステップＳ１０１、およびステップＳ１０２において取得する可視光画像と、遠赤外画像は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像は、長時間露光によるブラー（ぼけ）が発生している。一方、遠赤外画像は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。

（ステップＳ１０３）
次に、ステップＳ１０３において、カメラの動き情報を取得する。
この処理は、図９に示す画像処理装置におけるカメラ動き情報入力部２３によって行われる。具体的には、例えばＩＭＵ等のセンサによって、カメラの動き情報が取得され入力される。

（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で入力したカメラの動き情報に基づいて、カメラ動きブラーマッブが取得される。
この処理は、図９に示す画像処理装置におけるカメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１の実行する処理である。

カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、統合ブラー推定部５０の統合フィルタ（Ｅａｌｌｆ）決定部５２に入力する。

（ステップＳ１０５）
次のステップＳ１０５から、ステップＳ１０７の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）である。
なお、ブロック数はＮとする。

（ステップＳ１０６）
ステップＳ１０６において、各ブロック単位で画像ベースフィルタ（Ｅｔｆ）を取得する。
この処理は、図９に示す画像処理装置における画像ベースブラー推定部３０の実行する処理である。

このステップＳ１０６の処理の詳細について、図１３に示すフローを参照して説明する。
このステップＳ１０６における各ブロック単位の画像ベースフィルタ（Ｅｔｆ）の取得処理には、ステップＳ１０１で取得した可視光画像と、ステップＳ１０２で取得した遠赤外画像を利用するので、図１３には、ステップＳ１０１、Ｓ１０２も併せて示している。

ステップＳ１０６の詳細処理は、図１３に示すステップＳ１２１〜Ｓ１２６の処理である。
以下、この処理について、順次、説明する。

（ステップＳ１２１）
ステップＳ１２１から、ステップＳ１２５の処理は、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行されるループ処理（ループ１ｂ）である。

（ステップＳ１２２）
ステップＳ１２２において、フィルタ（係数）を取得する。
ステップＳ１２２〜Ｓ１２３の処理は、図９に示す画像ベースブラー推定部３０のフィルタ処理部３１の実行する処理である。フィルタ処理部３１は、遠赤外画像の各ブロックに適用するなフィルタ（ブラー（ぼけ）発生フィルタ）をフィルタバンク３５から、順次、取得する。
なお、フィルタバンク３５から、順次、取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。

（ステップＳ１２３）
次に、ステップＳ１２３において、ステップＳ１２２で取得したフィルタを遠赤外画像の１つのブロック、すなわち現在、処理対象として選択されているブロックに適用する。
この処理は、遠赤外画像にブラーを故意に発生させるためのフィルタ処理である。

（ステップＳ１２４）
次に、ステップＳ１２４において、ステップＳ１２３でのフィルタ適用結果の遠赤外画像のブロックと、可視光画像の対応ブロックとの相関値を算出する。
この処理は、図９に示す画像ベースブラー推定部３０の相関演算部３２の実行する処理である。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、可視光画像との相関を算出する。

（ステップＳ１２５）
ステップＳ１２５は、ステップＳ１２１〜Ｓ１２５のループ１ｂの終了位置である。
すなわち、ステップＳ１２２〜Ｓ１２４の処理を、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行する。

（ステップＳ１２６）
１つのブロックについてのステップＳ１２１〜Ｓ１２５のループ１ｂの処理が完了すると、ステップＳ１２６に進む。
すなわち、１つのブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値算出処理が修了するとステップＳ１２６に進む。

ステップＳ１２６の処理は、図９に示す画像ベースブラー推定部３０の画像ベースフィルタ（Ｅｔｆ）決定部３３の実行する処理である。
画像ベースフィルタ（Ｅｔｆ）決定部３３は、ステップＳ１２６において、ステップＳ１２１〜Ｓ１２５のループ１ｂの処理が完了したブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値中、最も高い相関値を持つフィルタのＩＤを選択する。

図１２に示すフローのステップＳ１０６の処理は、これらステップＳ１２１〜Ｓ１２６の処理によって構成される。
図１２に戻り、ステップＳ１０６の処理後の処理について説明する。

（ステップＳ１０７）
ステップＳ１０７は、ステップＳ１０５〜Ｓ１０７のループ１の終了位置である。
すなわち、ステップＳ１０６の処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、最も高い相関値を持つ画像ベースフィルタ（Ｅｔｆ）が決定することになる。

（ステップＳ１０８）
次に、ステップＳ１０８において、画像撮影時の環境情報を取得する。
この処理は、図９に示す画像処理装置の環境情報記憶部／入力部５５を利用して実行される。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。

（ステップＳ１０９）
次のステップＳ１０９からステップＳ１１２の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ２）である。
なお、ブロック数はＮとする。

（ステップＳ１１０）
ステップＳ１１０〜Ｓ１１１の処理は、図９に示す統合ブラー推定部５０の実行する処理である。
まず、ステップＳ１１０において、統合ブラー推定部５０の被写体動き判定部５１が、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、被写体動きが多いブロックであるか少ないブロックであるかを判定する。判定されたブロック単位の判定情報は、統合フィルタ（Ｅａｌｌｆ）決定部５２に出力される。

（ステップＳ１１１）
次に、ステップＳ１１１において、統合フィルタ（Ｅａｌｌｆ）決定部５２が、各ブロック単位で、画像ベースフィルタ（Ｅｔｆ）、または、カメラ動きベースフィルタ（Ｅｃｆ）のいずれかを、統合フィルタ（Ｅａｌｌｆ）とするフィルタ選択処理を行う。

具体的には、被写体動きの多いブロックについては、画像ベースブラー推定部３０から入力する画像ベースフィルタ（Ｅｔｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。
一方、被写体動きの少ないブロックについては、カメラ動きベースブラー推定部４０から入力するカメラ動きブラーマップに含まれるブロック単位のカメラ動きベースブラー（Ｅｃ）に基づいて決定されるカメラ動きベースフィルタ（Ｅｃｆ）を統合フィルタ（Ｅａｌｌｆ）に設定する。

（ステップＳ１１２）
ステップＳ１１２は、ステップＳ１０９〜Ｓ１１２のループ２の終了位置である。
すなわち、ステップＳ１１０〜Ｓ１１１の処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

このループ処理（ループ２）が完了すると、
Ｎ個のブロック全てについて、統合フィルタ（Ｅａｌｌｆ）が決定することになる。

（ステップＳ１１３）
次のステップＳ１１３からステップＳ１１６の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ３）である。
なお、ブロック数はＮとする。

（ステップＳ１１４）
ステップＳ１１４〜Ｓ１１５の処理は、図９に示すブラー除去部６０の実行する処理である。

まず、ステップＳ１１４において、ブラー除去部６０の逆フィルタ算出部６１が、統合フィルタ（Ｅａｌｌｆ）決定部５２の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを算出する。

（ステップＳ１１５）
次に、ステップＳ１１５において、ブラー除去部６０の逆フィルタ処理部６２が、ステップＳ１１４で算出された逆フィルタを、処理対象の可視光画像のブロックに適用する。

（ステップＳ１１６）
ステップＳ１１６は、ステップＳ１１３〜Ｓ１１６のループ３の終了位置である。
すなわち、ステップＳ１１４〜Ｓ１１５の処理を、補正対象画像である可視光画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図９に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図９に示す補正後可視光画像２７が生成されて出力される。

次に、図１４に示すフローチャートを参照して、図１１を参照して説明した、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する画像処理装置−Ａ２の実行する処理のシーケンスについて説明する。

なお、図１４に示すフローと、構成Ａ１対応の処理を説明した図１２に示すフローとの差異は、図１４に示すフロー中のステップＳ１１０ｂ〜Ｓ１１１ｂのみである。すなわち、
図１２に示すフローのステップＳ１１０を、図１４に示すフローのステップＳ１１０ｂに置き換え、
図１２に示すフローのステップＳ１１１を、図１４に示すフローのステップＳ１１１ｂに置き換えた点が異なる。

その他の処理は、図１２に示すフローの各処理と同様の処理であるので説明を省略し、以下、上記のステップＳ１１０ｂ〜Ｓ１１１ｂの処理について説明する。

（ステップＳ１１０ｂ）
次のステップＳ１０９からステップＳ１１２の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ２）である。
なお、ブロック数はＮとする。

ステップＳ１１０ｂ〜Ｓ１１１ｂの処理は、図１１に示す統合ブラー推定部５０の実行する処理である。
まず、ステップＳ１１０ｂにおいて、統合ブラー推定部５０の重み算出部５３が、環境情報記憶部／入力部５５から、環境情報を取得して、画像内の各ブロックについて、重み情報を算出する。
環境情報は、先に説明したように、地図情報、時間情報、交通情報、画像上のブロック位置情報等である。

重み情報とは、例えば、、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均算出式、すなわち、以下に示す重み係数α、βを用いた統合ブラー（Ｅａｌｌｆ）の算出式、
Ｅａｌｌｆ＝α（Ｅｔｆ）＋β（Ｅｃｆ）
上記式における重み係数α、βの各値である。

統合ブラー推定部５０の重み算出部５３は、予め規定されたアルゴリズムを実行して、上記各種の環境情報基づいて各ブロック単位で、重み係数α、βを算出する。
具体的には、被写体動きの多いブロックについては、重み係数αをより大きな値に設定する。
一方、被写体動きの少ないブロックについては、重み係数βをより大きな値に設定する。

（ステップＳ１１１ｂ）
次に、ステップＳ１１１ｂにおいて、統合フィルタ（Ｅａｌｌｆ）算出部５４が、重み算出部５３から入力するブロック単位の重み情報、すなわち上述した各ブロック単位の重み係数α、βを用いて、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）の加重平均を行い、統合フィルタ（Ｅａｌｌｆ）を算出する。

具体的には、被写体動きの多いブロックについては、画像ベースフィルタ（Ｅｔｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）を算出する。
一方、被写体動きの少ないブロックについては、カメラ動きベースフィルタ（Ｅｃｆ）の寄与率を高く設定した統合ブラー（Ｅａｌｌｆ）を算出する。

ステップＳ１０９〜Ｓ１１２では、ステップＳ１１０ｂ〜Ｓ１１１ｂの処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

このループ処理（ループ２）が完了すると、
Ｎ個のブロック全てについて、統合フィルタ（Ｅａｌｌｆ）が決定することになる。
以下のステップＳ１１３以下では、ブラー除去部６０において、統合ブラー（Ｅａｌｌｆ）の逆フィルタの算出と、補正対象可視光画像に対する適用処理が行われる。

これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図１１に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図１１に示す補正後可視光画像２７が生成されて出力される。

［６．（実施例２）構成Ｂ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例２として、図７を参照して説明した構成Ｂ対応の画像処理装置の具体的な構成と処理について説明する。

先に図７を参照して説明したように、構成Ｂは、可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成である。

なお、この構成Ｂにおける統合ブラー（Ｅａｌｌ）生成処理では、以下の２種類の処理のいずれかを実行する。
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。

まず、図１５を参照して、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
上記処理を実行する画像処理装置−Ｂ１の構成について説明する。

図１５は、画像処理装置−Ｂ１の構成と処理を説明する図である。
図１５に示す画像処理装置Ｂ１，２０−Ｂ１は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、ブラー推定部３０ｂ、カメラ動きベースブラー推定部４０、ブラー除去部６０、フィルタバンクプール３６、カメラ動きブラーマップ記憶部４５を有する。

さらに、ブラー推定部３０ｂは、フィルタ処理部３１、相関演算部３２、フィルタバンク選択部３４、統合フィルタ（Ｅａｌｌｆ）決定部３７を有する。
カメラ動きベースブラー推定４０は、カメラ動きブラーマップ取得部４１を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。

可視光画像入力部２１は、補正前可視光画像２５をブラー推定部３０ｂと、ブラー除去部６０に入力する。
また、遠赤外画像入力部２２は、遠赤外画像２６を、ブラー推定部３０ｂに入力する。
さらに、カメラ動き情報入力部２３は、例えばＩＭＵ等の動きセンサの取得したカメラ動き情報をカメラ動きベースブラー推定部４０に入力する。

可視光画像入力部２１と遠赤外画像入力部２２が入力する補正前可視光画像２５と、遠赤外画像２６は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像入力部２１の入力する補正前可視光画像２５は、長時間露光によるブラー（ぼけ）が発生している。
一方、遠赤外画像入力部２２の入力する遠赤外画像２６は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。

なお、補正前可視光画像２５と、遠赤外画像２６は、いずれも横＝Ｗ画素、縦＝Ｈ画素のＷ×Ｈ画素の画像である。図には補正前可視光画像［Ｗ＊Ｈ］２５と、遠赤外画像［Ｗ＊Ｈ］２６として示している。
また、図中に示す［Ｗ_Ｂ＊Ｈ_Ｂ］は、画像の区分領域である１つのブロック領域を示す。
１枚の画像フレームのブロック数はＮとする。

次に、ブラー推定部３０ｂの実行する処理について説明する。
ブラー推定部３０ｂのフィルタ処理部３１は、遠赤外画像２６に対して、フィルタバンク選択部３４が、フィルタバンクプール３６から選択したフィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。すなわち、遠赤外画像２６に様々な態様のブラーを故意に発生させる。

フィルタバンク３５には、ある特定の範囲の大きさや方向を有する複数の異なるブラー（ぼけ）発生用フィルタが格納されている。すなわち様々なＰＳＦ対応の多数のフィルタが格納されている。

フィルタバンク３５は、フィルタバンク選択部３４が、フィルタバンクプール３６から選択した１つのフィルタバンクである。
フィルタバンク選択部３４は、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
なお、このフィルタバンク選択処理は、画像の分割領域であるブロック単位で実行する。

フィルタバンクプール３６に格納されるフィルタバンクの例と、カメラ動きブラーマップに基づくフィルタバンクの選択処理例について図１６を参照して説明する。

図１６（１）は、フィルタバンクプール３６に格納されるフィルタバンクの例を示している。
フィルタバンクプール３６に格納されるフィルタバンクには、図１６（１）に示すように、例えば以下のようなフィルタバンクがある。
（ａ１）横ブラー対応フィルタバンク
（ａ２）長い横ブラー対応フィルタバンク
（ｂ１）縦ブラー対応フィルタバンク
（ｃ）右上斜めブラー対応フィルタバンク

フィルタバンクプール３６には、このように、類似する設定の複数のブラーに対応する複数のフィルタ、すなわち類似するブラーを発生させる類似する係数設定を持つフィルタを複数格納したフィルタバンクが多数、格納されている。

フィルタバンク選択部３４は、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。

図１６（２）は、フィルタバンク選択部３４が、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から入力したカメラ動きに対応したカメラ動きブラーマップの一例である。
このカメラ動きブラーマップは、カメラが前方向に直進しているとの判定に基づいて取得されるブラーマップである。

フィルタバンク選択部３４は、このカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップの各ブロック各々について、ブロックに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。

図１６に示す例では、４つの太い点線枠で示すブロックについて、それぞれ選択されるフィルタバンクを示している。
左端部中央のブロックは、横方向に長いカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この横長ブラーに類似するブラーを発生させるフィルタを格納した、
（ａ２）長い横ブラー対応フィルタバンク
を選択する。

左から３番目の中央のブロックは、横方向のカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この横ブラーに類似するブラーを発生させるフィルタを格納した、
（ａ１）横ブラー対応フィルタバンク
を選択する。

左から５番目、上から２番目のブロックは、縦方向のカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この縦ブラーに類似するブラーを発生させるフィルタを格納した、
（ｂ１）縦ブラー対応フィルタバンク
を選択する。

右から４番目、上から３番目のブロックは、右上斜め方向のカメラ動きベースブラー（Ｅｃ）の設定されたブロックである。
フィルタバンク選択部３４は、このブロックに対するフィルタバンクとして、この右上斜めブラーに類似するブラーを発生させるフィルタを格納した、
（ｃ）右上斜めブラー対応フィルタバンク
を選択する。

フィルタバンク選択部３４は、このように、カメラ動きブラーマップ取得部４１から、カメラの動きに応じたカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップの各ブロック各々について、ブロックに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。

図１５に示すフィルタバンクｎ，３５が、あるブロックに対して選択されたフィルタバンクである。
選択されたフィルタバンク３５は、フィルタ処理部３１に入力される。

ブラー推定部３０ｂのフィルタ処理部３１は、遠赤外画像２６の各ブロックに対して、フィルタバンク選択部３４の選択したフィルタバンク３５に格納されたふぃるたを順次、適用する。
フィルタを適用して生成したブラーを故意に発生させた遠赤外画像は、相関運算部３２に出力される。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、補正前可視光画像２５との相関を算出する。

なお、このフィルタ処理部３１と、相関演算部３２の実行するフィルタ適用処理、および相関算出処理は、補正前可視光画像２５のＮ個のブロック領域と、遠赤外画像２６のＮ個のブロック領域の対応ブロック単位で実行する。

フィルタ処理部３１は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用する。
相関演算部３２は、遠赤外画像２６のＮ個のブロックの各々について、フィルタバンク３５に格納された様々なフィルタ（ブラー（ぼけ）発生フィルタ）を、順次、適用した結果と、補正前可視光画像２５との相関を算出し、Ｎ個のブロック各々についての各フィルタ対応の相関値を統合フィルタ（Ｅａｌｌｆ）決定部３７に出力する。

統合フィルタ（Ｅａｌｌｆ）決定部３７は、相関演算部３２からの入力データ、すなわち、
Ｎ個のブロック各々についての各フィルタ対応の相関値の中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
統合フィルタ（Ｅａｌｌｆ）決定部３７が選択したＮ個のブロック各々についてのＮ個のフィルタは、ブラー除去部６０の逆フィルタ算出部６１に入力される。

ブラー除去部６０の逆フィルタ算出部６１は、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
すなわち、デコンボリューションフィルタを生成して、逆フィルタ処理部６２に出力する。
デコンボリューションフィルタは、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つフィルタである。

ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。

すなわち、逆フィルタ処理部６２は、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）と逆の特性を持つ逆フィルタを補正前可視光画像２５の該当ブロックに適用する。

可視光画像入力部２１から入力する補正前可視光画像２５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像２７として出力する。
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。

次に、図１７を参照して、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
上記処理を実行する画像処理装置−Ｂ２の構成について説明する。

図１７は、画像処理装置−Ｂ２の構成と処理を説明する図である。
図１７に示す画像処理装置Ｂ２，２０−Ｂ２は、可視光画像入力部２１、遠赤外画像入力部２２、カメラ動き情報入力部２３、ブラー推定部３０ｂ、カメラ動きベースブラー推定部４０、ブラー除去部６０、カメラ動きブラーマップ記憶部４５を有する。

さらに、ブラー推定部３０ｂは、フィルタ処理部３１、相関演算部３２、統合フィルタ（Ｅａｌｌｆ）決定部３７、フィルタ（ブラー）比較部３８、相関補正部３９を有する。
カメラ動きベースブラー推定４０は、カメラ動きブラーマップ取得部４１を有する。
また、ブラー除去部６０は、逆フィルタ算出部６１、逆フィルタ処理部６２を有する。

先に図１５を参照して説明した画像処理装置Ｂ１，２０−Ｂ１との差異は、フィルタバンクプール３６を有していない点と、ブラー推定部３０ｂの構成である。
図１７に示す画像処理装置Ｂ２，２０−Ｂ２のブラー推定部３０ｂは、先に図１５を参照して説明したフィルタバンク選択部３４を有しておらず、フィルタ（ブラー）比較部３８と、相関補正部３９を有する。

以下、これら、フィルタ（ブラー）比較部３８と、相関補正部３９の実行する処理を中心に説明する。

フィルタ（ブラー）比較部３８は、以下の各情報を入力する。
フィルタ処理部３１において遠赤外画像２６に適用するためのブラー（ぼけ）発生用のフィルタをフィルタバンク３５から入力する。
さらに、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。

フィルタ（ブラー）比較部３８は、これらの２つのフィルタ（ブラー）の類似度を判定して、類似度に応じた補正係数（０〜１）を算出して相関補正部３９に出力する。
２つのフィルタ（ブラー）の類似度が大きいほど、補正係数は、大きく（１に近く）。類似度が小さいほど補正係数は小さく（０に近く）設定される。

相関補正部３９は、フィルタ（ブラー）比較部３８から入力する補正係数を、相関演算部３２から入力する相関値（補正前可視光画像２５と、フィルタ適用遠赤外画像の対応ブロックの相関値）に乗算して、補正相関値を算出して、統合フィルタ決定部３７に出力する。

これらの一連の処理の具体例について、図１８を参照して説明する。
図１８には、以下の各情報を示している。
（１）フィルタバンク３５からの取得フィルタＦ１
（２）相関演算部３２の算出する相関値
（３）カメラ動きベースブラー
（４）フィルタ（ブラー）の類似度に基づく算出補正係数
（５）相関補正部３９の算出する補正相関値

図１８に示す（１）フィルタバンク３５からの取得フィルタＦ１は、図１７に示すブラー推定部３０ｂのフィルタ処理部３１において遠赤外画像２６に適用するためのブラー（ぼけ）発生用のフィルタである。
フィルタ（ブラー）比較部３８は、このフィルタを入力する。
図１８には３種類のみ示しているが、この他、多数のフィルタがフィルタ処理部３１において遠赤外画像２６に、順次、適用される。
なお、このフィルタ適用処理は、ブロック単位で実行される。

図１８に示す（２）相関演算部３２の算出する相関値は、図１７に示すブラー推定部３０ｂの相関演算部３２において算出される相関値である。
すなわち、補正前可視光画像２５と、フィルタ適用遠赤外画像の対応ブロックの相関値である。
図には、上から、遠赤外画像２６に適用された３種類の各フィルタに対応した３種類の相関値として、
相関値＝０．５，
相関値＝０．４，
相関値＝０．１、
これらの相関値が算出された例を示している。

図１８（３）カメラ動きベースブラーは、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から入力する、カメラ動きに対応したカメラ動きブラーマップから取得されるブラーである。
相関演算部３２における相関値算出対象となったブロックに対応するブロックのカメラ動きベースブラーであり、カメラ動きブラーマップから取得される。
図１８（３）に示す例では、右斜め下がりのカメラ動きベースブラー（Ｅｃ）を示している。

フィルタ（ブラー）比較部３８は、
図１８（１）に示すフィルタバンク３５からの取得フィルタＦ１、
図１８（３）に示すカメラ動きベースブラー（Ｅｃ）、
これらの２つのフィルタ（ブラー）を比較する。
なお、フィルタＦ１は、ブラーを発生させるフィルタであり、図１８（１）に示すフィルタバンク３５から取得するフィルタＦ１によって発生するブラーが、図１８（３）に示すカメラ動きベースブラー（Ｅｃ）に類似するか否かを判定する。

フィルタ（ブラー）比較部３８は、これらの２つのフィルタ（ブラー）の類似度を判定して、類似度に応じた補正係数（０〜１）を算出して相関補正部３９に出力する。
図１８（４）に示すフィルタ（ブラー）の類似度に基づく算出補正係数が、この補正係数である。
図１８に示す例では、上から、遠赤外画像２６に適用された３種類の各フィルタに対応した３種類の補正係数として、
補正係数＝０．３，
補正係数＝０．９，
補正係数＝０．９、
これらの補正係数が算出された例を示している。

補正係数は、２つのフィルタ（ブラー）の類似度が大きいほど大きい値（１に近い値）となる。
図１８に示す例では、図１８（３）に示すカメラ動きベースブラー（Ｅｃ）が右下斜め方向のブラーである。
図１８（１）フィルタバンク３５からの取得フィルタＦ１として示す３種類のフィルタ中、一番目の横方向のブラー対応のフィルタは、右下斜め方向のカメラ動きベースブラー（Ｅｃ）との類似度が低いと判定され、補正係数＝０．３の算出がなされる。

一方、２番目の右下方向のブラー、および３番目の縦方向のブラー対応のフィルタは、図１８（３）に示す右下斜め方向のカメラ動きベースブラー（Ｅｃ）との類似度が高いと判定され、補正係数＝０．９の算出がなされる。

フィルタ（ブラー）比較部３８は、これらの補正係数を相関補正部３９に出力する。
相関補正部３９は、フィルタ（ブラー）比較部３８から入力する補正係数を、相関演算部３２から入力する相関値、すなわち、図１８に示す（２）相関演算部３２の算出する相関値に乗算して、補正相関値を算出する。
図１８（５）に示す補正相関値である。

図１８（５）に示す例では、上から、遠赤外画像２６に適用された３種類の各フィルタに対応した３種類の補正相関値として、
補正相関値＝０．５×０．３＝０．１５，
補正相関値＝０．４×０．９＝０．３６，
補正相関値＝０．１×０．９＝０．０９，
これらの補正相関値が算出された例を示している。

相関補正部３９の算出した補正相関値は、統合フィルタ決定部３７に出力される。
統合フィルタ決定部３７は、相関補正部３９からの入力データ、すなわち、
Ｎ個のブロック各々についての各フィルタ対応の補正相関値の中から、
各ブロックについて、最も相関の高いブロック対応のフィルタを選択する。
統合フィルタ（Ｅａｌｌｆ）決定部３７が選択したＮ個のブロック各々についてのＮ個のフィルタは、ブラー除去部６０の逆フィルタ算出部６１に入力される。

図１８に示す例では、図１８（５）に示すように、２番目のエントリが最も補正相関値の高いエントリとなる。
この場合、２番目のエントリのフィルタ、すなわち、図１８（１）フィルタバンクからの取得フィルタＦ１に示す２番目のフィルタが統合フィルタ（Ｅａｌｌｆ）として決定される。

統合フィルタ（Ｅａｌｌｆ）決定部３７が決定した統合フィルタ（Ｅａｌｌｆ）は、ブラー除去部６０の逆フィルタ算出部６１に入力される。
ブラー除去部６０の逆フィルタ算出部６１は、ブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを生成する。
すなわち、デコンボリューションフィルタを生成して、逆フィルタ処理部６２に出力する。
デコンボリューションフィルタは、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つフィルタである。

ブラー除去部６０の逆フィルタ処理部６２は、各ブロック対応の逆フィルタを逆フィルタ算出部６１から入力し、入力した逆フィルタを、可視光画像入力部２１から入力する補正前可視光画像２５の該当ブロックに適用する。

すなわち、逆フィルタ処理部６２は、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）と逆の特性を持つ逆フィルタを補正前可視光画像２５の該当ブロックに適用する。

可視光画像入力部２１から入力する補正前可視光画像２５のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、この完了画像を補正後可視光画像２７として出力する。
これらの処理により、補正前可視光画像２５から、ブラー（ぼけ）が除去または低減された補正後可視光画像２７が生成され出力される。

次に、図１９以下に示すフローチャートを参照して、図１５、図１７を参照して説明した構成Ｂ対応の画像処理装置の実行する処理のシーケンスについて説明する。

まず、図１９に示すフローチャートを参照して、図１５を参照して説明した、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理。
上記処理を実行する画像処理装置−Ｂ１の実行する処理のシーケンスについて説明する。

なお、図１９に示すフロー中、先に図１２を参照して説明した構成Ａ対応の画像処理装置−Ａ１の実行する処理と同様の処理を実行するステップについては、同一のステップ番号を示している。
以下、図１９に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、補正対象とする可視光画像を取得する。
この処理は、図１５に示す画像処理装置における可視光画像入力部２１によって行われる。具体的には、例えば可視光画像撮影カメラの撮影画像の取得処理である。

（ステップＳ１０２）
次に、ステップＳ１０２において、参照画像として利用される遠赤外画像を取得する。
この処理は、図１５に示す画像処理装置における遠赤外画像入力部２２によって行われる。具体的には、例えば遠赤外画像撮影カメラの撮影画像の取得処理である。

なお、ステップＳ１０１、およびステップＳ１０２において取得する可視光画像と、遠赤外画像は、同一被写体を同時に撮影した画像である。
これらの画像は、例えば暗闇で撮影された画像であり、可視光画像は、長時間露光によるブラー（ぼけ）が発生している。一方、遠赤外画像は短時間露光画像であり、ブラー（ぼけ）のほとんどない画像である。

（ステップＳ１０３）
次に、ステップＳ１０３において、カメラの動き情報を取得する。
この処理は、図１５に示す画像処理装置におけるカメラ動き情報入力部２３によって行われる。具体的には、例えばＩＭＵ等のセンサによって、カメラの動き情報が取得され入力される。

（ステップＳ１０４）
次に、ステップＳ１０４において、ステップＳ１０３で入力したカメラの動き情報に基づいて、カメラ動きブラーマッブが取得される。
この処理は、図１５に示す画像処理装置におけるカメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１の実行する処理である。

カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１は、カメラ動き情報入力部２３から入力するカメラ動き情報に基づいて、カメラ動きブラーマップ記憶部４５に格納された様々なカメラ動きに対応するブラーマップから、１つのカメラ動きブラーマップを取得して、ブラー推定部３０ｂのフィルタバンク選択部３４に入力する。

（ステップＳ１０５）
次のステップＳ１０５から、ステップＳ１０７の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）である。
なお、ブロック数はＮとする。

（ステップＳ１０５ｂ）
ステップＳ１０５ｂの処理は、図１５に示すブラー推定部３０ｂのフィルタバンク選択部３４の実行する処理である。
フィルタバンク選択部３４は、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力し、入力したカメラ動きブラーマップに設定されたブラーの方向や大きさに類似するブラー対応のフィルタを格納したフィルタバンクを、フィルタバンクプール３６から選択する。
なお、このフィルタバンク選択処理は、画像の分割領域であるブロック単位で実行する。

（ステップＳ１０６ｂ）
次に、ステップＳ１０６ｂにおいて、統号フィルタ（Ｅａｌｌｆ）の決定処理を実行する。
このステップＳ１０６ｂの処理は、図１５に示すブラー推定部２０ｂのフィルタ処理部３１、相関演算部３２、統合フィルタ決定部３７において実行する処理であ。

このステップＳ１０６ｂの処理シーケンスは、先に図１３を参照して説明したステップＳ１０６の処理、すなわち、図１３に示すステップＳ１２１〜Ｓ１２６の処理と同一である。
ただし、図１３を参照して説明したステップＳ１２１〜Ｓ１２６の処理では、出力するフィルタは、画像ベースフィルタ（Ｅｔｆ）であるが、図１９のフローのステップＳ１０６ｂは、図１３に示すステップＳ１２６において、図１５に示す統合フィルタ決定部３７が、相関値最大のフィルタを統合フィルタ（Ｅａｌｌｆ）として選択する処理を行う。

（ステップＳ１０７）
ステップＳ１０７は、ステップＳ１０５〜Ｓ１０７のループ１の終了位置である。
すなわち、ステップＳ１０５ｂ〜１０６ｂの処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、最も高い相関値を持つ統合フィルタ（Ｅａｌｌｆ）が決定することになる。

（ステップＳ１１３）
次のステップＳ１１３からステップＳ１１６の処理は、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ３）である。
なお、ブロック数はＮとする。

（ステップＳ１１４）
ステップＳ１１４〜Ｓ１１５の処理は、図１５に示すブラー除去部６０の実行する処理である。

まず、ステップＳ１１４において、ブラー除去部６０の逆フィルタ算出部６１が、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを算出する。

（ステップＳ１１５）
次に、ステップＳ１１５において、ブラー除去部６０の逆フィルタ処理部６２が、ステップＳ１１４で算出された逆フィルタを、処理対象の可視光画像のブロックに適用する。

（ステップＳ１１６）
ステップＳ１１６は、ステップＳ１１３〜Ｓ１１６のループ３の終了位置である。
すなわち、ステップＳ１１４〜Ｓ１１５の処理を、補正対象画像である可視光画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図１５に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図１５に示す補正後可視光画像２７が生成されて出力される。

次に、図２０に示すフローチャートを参照して、図１７を参照して説明した、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理。
上記処理を実行する画像処理装置−Ｂ２の実行する処理シーケンスについて説明する。

図２０に示すフローは、図１９を参照して説明した図１９のフロー中のステップＳ１０５ｂ〜Ｓ１０６ｂの処理を、図２０のフローに示すステップＳ１０６ｃに置き換えた点のみが異なる。
その他の処理は図１９に示すフローを参照して説明した処理と同様であるので、説明を省略し、図２０のフローに示すステップＳ１０６ｃの処理を中心として説明する。

（ステップＳ１０６ｃ）
このステップＳ１０６ｃは、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行されるループ処理（ループ１）として実行される。

ステップＳ１０６は、図１７に示すブラー推定部３０ｂの実行するブロック単位の統合フィルタ（Ｅａｌｌｆ）算出処理である。
このステップＳ１０６ｃの処理の詳細シーケンスについて、図２１に示すフローを参照して説明する。

ステップＳ１０６ｃにおける各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の算出処理には、ステップＳ１０１で取得した可視光画像と、ステップＳ１０２で取得した遠赤外画像、さらに、ステップＳ１０３〜Ｓ１０４で取得されるカメラ動きブラーマップを利用するので、図２１には、ステップＳ１０１〜Ｓ１０４も併せて示している。

ステップＳ１０６ｃの詳細処理は、図２１に示すステップＳ１２１〜Ｓ１２６の処理である。
以下、この処理について、順次、説明する。

（ステップＳ１２１）
ステップＳ１２１から、ステップＳ１２５の処理は、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行されるループ処理（ループ１ｂ）である。

（ステップＳ１２２）
ステップＳ１２２において、フィルタ（係数）を取得する。
ステップＳ１２２〜Ｓ１２３の処理は、図１７に示すブラー推定部３０ｂのフィルタ処理部３１の実行する処理である。フィルタ処理部３１は、遠赤外画像の各ブロックに適用するなフィルタ（ブラー（ぼけ）発生フィルタ）をフィルタバンク３５から、順次、取得する。
なお、フィルタバンク３５から、順次、取得するデータはフィルタ自体、またはフィルタの構成データであるフィルタ係数のいずれでもよい。

（ステップＳ１２３）
次に、ステップＳ１２３において、ステップＳ１２２で取得したフィルタを遠赤外画像の１つのブロック、すなわち現在、処理対象として選択されているブロックに適用する。
この処理は、遠赤外画像にブラーを故意に発生させるためのフィルタ処理である。

（ステップＳ１２４）
次に、ステップＳ１２４において、ステップＳ１２３でのフィルタ適用結果の遠赤外画像のブロックと、可視光画像の対応ブロックとの相関値を算出する。
この処理は、図１７に示すブラー推定部３０ｂの相関演算部３２の実行する処理である。
相関演算部３２は、フィルタ適用によりブラーを故意に発生させた遠赤外画像と、可視光画像との相関を算出する。

（ステップＳ１２５）
ステップＳ１２５は、ステップＳ１２１〜Ｓ１２５のループ１ｂの終了位置である。
すなわち、ステップＳ１２２〜Ｓ１２４の処理を、フィルタバンク３５に格納された全てのフィルタに対応付けられたフィルタＩＤの全てについて、順次、繰り返し実行する。

（ステップＳ１２５ｃ）
１つのブロックについてのステップＳ１２１〜Ｓ１２５のループ１ｂの処理が完了すると、ステップＳ１２５ｃに進む。
すなわち、１つのブロックについて、フィルタバンク３５に格納された全てのフィルタ対応の相関値算出処理が修了するとステップＳ１２５ｃに進む。

ステップＳ１２５ｃの処理は、図１７に示すブラー推定部３０ｂのフィルタ（ブラー）比較部３８と、相関補正部３９の実行する処理である。
フィルタ（ブラー）比較部３８は、以下の各情報を入力する。
フィルタ処理部３１において遠赤外画像２６に適用するためのブラー（ぼけ）発生用のフィルタをフィルタバンク３５から入力する。
さらに、カメラ動きベースブラー推定部４０のカメラ動きブラーマップ取得部４１から、カメラ動きに対応したカメラ動きブラーマップを入力する。

フィルタ（ブラー）比較部３８は、これらの２つのフィルタ（ブラー）の類似度を判定して、類似度に応じた補正係数（０〜１）を算出して相関補正部３９に出力する。
２つのフィルタ（ブラー）の類似度が大きいほど、補正係数は、大きく（１に近く）。類似度が小さいほど補正係数は小さく（０に近く）設定される。

相関補正部３９は、フィルタ（ブラー）比較部３８から入力する補正係数を、相関演算部３２から入力する相関値（補正前可視光画像２５と、フィルタ適用遠赤外画像の対応ブロックの相関値）に乗算して、補正相関値を算出して、統合フィルタ決定部３７に出力する。

（ステップＳ１２６）
ステップＳ１２６の処理は、図１７に示すブラー推定部３０ｂの統合フィルタ（Ｅａｌｌｆ）決定部３７の実行する処理である。

統合フィルタ（Ｅａｌｌｆ）決定部３７は、ステップＳ１２６において、ステップＳ１２５ｂで相関補正部３９の算出したブロック対応の補正相関値中、最も高い相関値を持つフィルタを、ブロック対応の統合フィルタ（Ｅａｌｌｆ）として決定する。
統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック対応の統合フィルタ（Ｅａｌｌｆ）は、図１７に示すブラー除去部６０の逆フィルタ算出部６１に入力される。

（ステップＳ１０７）
ステップＳ１０７は、ステップＳ１０５〜Ｓ１０７のループ１の終了位置である。
すなわち、ステップＳ１０５ｂ〜１０６ｂの処理を、可視光画像、および遠赤外画像に設定された分割領域であるブロックの全てについて、順次、繰り返し実行する。

このループ処理（ループ１）が完了すると、
Ｎ個のブロック全てについて、統合フィルタ（Ｅａｌｌｆ）が決定することになる。

次に、図２０に示すステップＳ１１３〜Ｓ１１６の処理が実行される。
すなわち、ブラー除去部６０の逆フィルタ算出部６１が、統合フィルタ（Ｅａｌｌｆ）決定部３７の決定したブロック単位の統合フィルタ（Ｅａｌｌｆ）を入力し、各ブロック単位の統合フィルタ（Ｅａｌｌｆ）の逆の特性を持つ逆フィルタを算出し、ブラー除去部６０の逆フィルタ処理部６２が、逆フィルタを、処理対象の可視光画像のブロックに適用する。

可視光画像のＮ個のすべてのブロックに対する逆フィルタ適用処理が完了すると、その完了画像を補正後可視光画像として出力する。
これらの処理により、ステップＳ１０１における入力画像である可視光画像、すなわち図１７に示す補正前可視光画像２５から、ブラー（ぼけ）が除去または低減され、図１７に示す補正後可視光画像２７が生成されて出力される。

［７．（実施例３）構成Ａ＋Ｃ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例３として、図８を参照して説明した構成（Ａ＋Ｃ）、すなわち、構成Ａを基本構成として、さらにフィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。

構成Ａは、画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースフィルタ（Ｅｃｆ）を統合した統合フィルタ（Ｅａｌｌｆ）を推定して、この統合フィルタ（Ｅａｌｌｆ）の逆特性を持つ逆フィルタを、ブラーを有する可視光画像に適用する構成である。
以下に説明する実施例３としての構成Ａ＋Ｃは、この構成Ａにおいて推定される画像ベースフィルタ（Ｅｔｆ）や、カメラ動きベースフィルタ（Ｅｃｆ）の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成である。

なお、構成Ａについては、先に図９〜図１４を参照して説明したように、統合ブラー（Ｅａｌｌ）推定処理の処理態様として、以下の２種類がある。
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。

以下、これら構成Ａ１，Ａ２の各々に対して、構成Ｃ、すなわち、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。すなわち、
構成Ａ１＋Ｃ、
構成Ａ２＋Ｃ、
これらの２つの構成例と処理について、図２２以下を参照して説明する。

まず、図２２を参照して、構成Ａ１＋Ｃ、すなわち、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。

図２２に示す画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃは、先に図９を参照して説明した画像処理装置Ａ１，２０−Ａ１の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図９に示す画像処理装置Ａ１，２０−Ａ１と同一である。

信頼度算出部７０と、逆フィルタ補正部６３の実行する処理について説明する。
信頼度算出部７０は、フィルタ（ブラー）比較部７１を有する。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、以下の２つのデータを入力する。
（１）画像ベースブラー推定部３０の生成した画像ベースフィルタ（Ｅｔｆ）
（２）カメラ動きベースブラー推定部４０が取得したカメラ動きブラーマップ

画像ベースブラー推定部３０の生成した画像ベースフィルタ（Ｅｔｆ）は画像の分割領域であるブロック単位のフィルタである。
カメラ動きベースブラー推定部４０が取得したカメラ動きブラーマップは、先に図１０を参照して説明したようにカメラ動きに応じたブラー情報をブロック単位で有するデータである。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、画像ベースブラー推定部３０の生成したブロック単位の画像ベースフィルタ（Ｅｔｆ）と、そのブロックに対応するカメラ動きブラーマップ内のブロックのカメラ動きベースブラー（Ｅｃ）を比較する。

なお、ここで比較対象となるフィルタは、ブラーを発生させるフィルタであり、例えば、フィルタの係数とブラーを示す関数（ＰＳＦ）とを直接比較することが可能であり、この比較により、フィルタとブラーとの類似性を判定することができる。

なお、カメラ動きベースブラー（Ｅｃ）をカメラ動きベースフィルタ（Ｅｃｆ）に変換して、画像ベースフィルタ（Ｅｔｆ）と比較する処理を行ってもよいし、あるいは、画像ベースフィルタ（Ｅｔｆ）を画像ベースブラー（Ｅｃ）に変換して、カメラ動きベースブラー（Ｅｃ）と比較する処理を行ってもよい。

いずれにおいても、画像内の同一位置にある対応するブロック間で、画像ベースブラー（Ｅｔ）、または画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）、またはカメラ動きベースフィルタ（Ｅｃｆ）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定する。
一方、２つのフィルタ（ブラー）の類似度が低い場合は、信頼度の値を低く設定する。
なお、信頼度は、例えば信頼度＝０〜１の値とする。

図２３に信頼度算出部７０のフィルタ（ブラー）比較部７１の実行する信頼度算出処理例を示す。
図２３には、フィルタ（ブラー）比較部７１の実行する信頼度算出処理例として２つの例を示している。

（例１）は、画像ベースブラー推定部３０の生成した画像ベースフィルタ（ブラー）が、横長のフィルタ（ブラー）であり、カメラ動きブラーマップ内のブロックから取得したカメラ動きベースフィルタ（ブラー）が、右下斜め方向のフィルタ（ブラー）である例である。
この場合、これら２つのフィルタ（ブラー）の類似度は低いと判定し、信頼度を低い値、例えば０．１に設定する。

（例２）は、画像ベースブラー推定部３０の生成した画像ベースフィルタ（ブラー）が、右下斜め方向のフィルタ（ブラー）であり、カメラ動きブラーマップ内のブロックから取得したカメラ動きベースフィルタ（ブラー）が、右下斜め方向のフィルタ（ブラー）である例である。
この場合、これら２つのフィルタ（ブラー）の類似度は高いと判定し、信頼度を高い値、例えば０．９に設定する。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

具体的には、例えば、信頼度算出部７０の算出する相関値信頼度が、
相関値信頼度α＝１（高信頼度）〜０（縦い信頼度）の設定である場合、
逆フィルタ補正部６３は、逆フィルタ算出部６１の算出した逆フィルタに設定された係数に対して信頼度αを乗算して補正逆フィルタを生成して、逆フィルタ処理部６２に出力する。

逆フィルタ処理部６２は、逆フィルタ補正部６３から入力する補正逆フィルタを、補正前可視光画像２５の処理対象ブロックに対して適用する。
なお、信頼度算出部７０の信頼度算出処理や、逆フィルタ補正部６３の逆フィルタ補正処理、さらに、逆フィルタ処理部６２における逆フィルタ適用処理はブロック単位の処理として実行される。

このように、本実施例では、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

次に、図２４を参照して、構成Ａ２＋Ｃ、すなわち、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。

図２４に示す画像処理装置Ａ２＋Ｃ，２０−Ａ２Ｃは、先に図１１を参照して説明した画像処理装置Ａ２，２０−Ａ２の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図１１に示す画像処理装置Ａ２，２０−Ａ２と同一である。

信頼度算出部７０と、逆フィルタ補正部６３の実行する処理は、上述した画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃについて、図２２、図２３を参照して説明した処理と同様の処理である。

すなわち、信頼度算出部７０は、画像内の同一位置にある対応するブロック間で、画像ベースブラー（Ｅｔ）、または画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）、またはカメラ動きベースフィルタ（Ｅｃｆ）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

次に、図２２〜図２４を参照して説明した本実施例３、すなわち、構成（Ａ１＋Ｃ）、および構成（Ａ２＋Ｃ）の画像処理装置における処理シーケンスについて、図２５以下に示すフローチャートを参照して説明する。

図２５に示すフローチャートは、先に図２２を参照して説明した構成Ａ１＋Ｃ、すなわち、
（Ａ１）被写体の動きの量に応じて、統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）を適用するか、カメラ動きベースブラー（Ｅｃ）を選択するかを切り換える構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスを説明するフローチャートである。

この図２５に示すフローチャートは、先に、図１２を参照して説明した図９の「構成Ａ１」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。

追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図１２を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様であるので、説明を省略し、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理についてのみ説明する。

（ステップＳ１１２ｂ）
ステップＳ１１２ｂは、信頼度算出処理であり、ブロック単位で繰り返し実行される。
図２２に示す信頼度算出部７０のフィルタ（ブラー）比較部７１は、画像内の同一位置にある対応するブロック間で、画像ベースブラー（Ｅｔ）、または画像ベースフィルタ（Ｅｔｆ）と、カメラ動きベースブラー（Ｅｃ）、またはカメラ動きベースフィルタ（Ｅｃｆ）との比較処理を行い、比較処理結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。
全てのブロックについての信頼度算出処理を完了すると、ステップＳ１１３に進む。

（ステップＳ１１４ｂ）
次に、図２５に示すフローのもう一つの追加ステップの処理であるステップＳ１１４ｂの処理について説明する。

ステップＳ１１４ｂは、図２２に示すブラー除去部６０の逆フィルタ補正部６３において実行する処理である。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

次に、図２６に示すフローチャートを参照して、先に図２４を参照して説明した構成Ａ２＋Ｃ、すなわち、
（Ａ２）統合ブラー（Ｅａｌｌ）として、画像ベースブラー（Ｅｔ）と、カメラ動きベースブラー（Ｅｃ）の加重平均を利用し、被写体の動きの量に応じて加重平均態様を変更する構成。
上記構成に、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスについて説明する。

この図２６に示すフローチャートは、先に、図１４を参照して説明した図１１の「構成Ａ２」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。

追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図１４を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様である。
また、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理は、図２５のフローチャートを参照して説明した構成Ａ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理と同様の処理である。

すなわち、ステップＳ１１２ｂでは、画像ベースフィルタ（ブラー）と、カメラ動きベースフィルタ（ブラー）との類似度に基づく信頼度を算出する。
さらに、ステップＳ１１４ｂでは、信頼度に応じて逆フィルタの適用強度を制御するための逆フィルタ補正処理を実行する。

これらの処理によって、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

［８．（実施例４）構成Ｂ＋Ｃ対応の画像処理装置の構成と処理について］
次に、本開示の画像処理装置の実施例４として、図８を参照して説明した構成（Ｂ＋Ｃ）、すなわち、構成Ｂを基本構成として、さらにフィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。

構成Ｂは、先に図１５〜図２１を参照して説明した構成であり、可視光画像と遠赤外画像を用いた画像ベースブラー推定と、カメラ動き情報に基づくカメラ動きベースブラー推定を併せて実行して統合ブラー推定を実行する構成である。
以下に説明する実施例４としての構成Ｂ＋Ｃは、この構成Ｂにおいて推定される画像ベースフィルタ（Ｅｔｆ）や、カメラ動きベースフィルタ（Ｅｃｆ）の信頼度を算出して、信頼度に応じたブラー除去処理を行う構成である。

なお、先に、図１５〜図２１を参照して説明したように、構成Ｂの統合ブラー（Ｅａｌｌ）生成処理においては、以下の２種類の処理のいずれかを実行する。
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理（図１５）。
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理（図１７）。

以下、これら構成Ｂ１，Ｂ２の各々に対して、構成Ｃ、すなわち、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成と処理について説明する。すなわち、
構成Ｂ１＋Ｃ、
構成Ｂ２＋Ｃ、
これらの２つの構成例と処理について、図２７以下を参照して説明する。

まず、図２７を参照して、構成Ｂ１＋Ｃ、すなわち、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。

図２７に示す画像処理装置Ｂ１＋Ｃ，２０−Ｂ１Ｃは、先に図１５を参照して説明した画像処理装置Ｂ１，２０−Ｂ１の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図１５に示す画像処理装置Ｂ１，２０−Ｂ１と同一である。

信頼度算出部７０と、逆フィルタ補正部６３の実行する処理は、先に図２２、図２３を参照して説明した画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃの実行する処理とほぼ同様の処理である。

ただし、先に図２２、図２３を参照して説明した画像処理装置Ａ１＋Ｃ，２０−Ａ１Ｃの信頼度算出部７０は、画像ベースフィルタ（ブラー）と、カメラ動きベースフィルタ（ブラー）との比較処理を実行していたが、図２７に示す画像処理装置Ｂ１＋Ｃ，２０−Ｂ１Ｃの信頼度算出部７０は、統合フィルタ（ブラー）と、カメラ動きベースフィルタ（ブラー）との比較処理を実行する。

図２７に示すように、信頼度算出部７０は、ブラー推定部３０ｂの生成する統合フィルタと、カメラ動きベースブラー推定部４０の出力するカメラ動きブラーマップを入力して、これらのフィルタ（ブラー）の類似性を判定する。

すなわち、信頼度算出部７０は、画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

次に、図２８を参照して、構成Ｂ２＋Ｃ、すなわち、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の構成について説明する。

図２８に示す画像処理装置Ｂ２＋Ｃ，２０−Ｂ２Ｃは、先に図１７を参照して説明した画像処理装置Ｂ２，２０−Ｂ２の構成に、信頼度算出部７０を追加し、さらに、ブラー除去部６０内に逆フィルタ補正部６３を追加した構成である。
その他の構成は、図１７に示す画像処理装置Ｂ２，２０−Ｂ２と同一である。

信頼度算出部７０と、逆フィルタ補正部６３の実行する処理は、上述の図２７を参照して説明した画像処理装置Ｂ１＋Ｃ，２０−Ｂ１Ｃの実行する処理と同様の処理である。

すなわち、図２８に示す画像処理装置Ｂ２＋Ｃ，２０−Ｂ２Ｃの信頼度算出部７０は画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。

図２８に示す信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

次に、図２７〜図２８を参照して説明した本実施例４、すなわち、構成（Ｂ１＋Ｃ）、および構成（Ｂ２＋Ｃ）の画像処理装置における処理シーケンスについて、図２９以下に示すフローチャートを参照して説明する。

図２９に示すフローチャートは、先に図２７を参照して説明した構成Ｂ１＋Ｃ、すなわち、
（Ｂ１）遠赤外画像に適用するフィルタ、すなわちブラー（ぼけ）を発生させるフィルタを、カメラ動きベースブラー（Ｅｃ）に基づいて選択する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスを説明するフローチャートである。

この図２９に示すフローチャートは、先に、図１９を参照して説明した図１５の「構成Ｂ１」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。

追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図１９を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様である。
また、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理は、図２５のフローチャートを参照して説明した構成Ａ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理と同様の処理である。

ただし、図２５のフローチャートを参照して説明した構成Ａ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂでは信頼度算出に際して比較対象となるデータは画像ベースフィルタ（ブラー）とカメラ動きベースフィルタ（ブラー）であったが、本構成Ｂ１＋Ｃでは、ステップＳ１１２ｂでの信頼度算出に際して比較対象となるデータは統合フィルタ（ブラー）とカメラ動きベースフィルタ（ブラー）となる。
この点のみが異なる。

図２９に示すフローのステップＳ１１２ｂでは、画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

次に、図３０に示すフローチャートを参照して図２８を参照して説明した構成Ｂ２＋Ｃ、すなわち、
（Ｂ２）フィルタ適用遠赤外画像と、ブラーあり可視光画像との相関値を、カメラ動きベースブラー（Ｅｃ）に基づいて補正する処理を行う装置において、フィルタ（ブラー）推定結果の信頼度を算出して、信頼度に応じたブラー除去処理を行う画像処理装置の実行する処理シーケンスについてを説明する。

この図３０に示すフローチャートは、先に、図２０を参照して説明した図１７の「構成Ｂ２」対応の画像処理装置の実行する処理フローのステップＳ１０１〜Ｓ１１６の処理に、ステップＳ１１２ｂと、ステップＳ１１４ｂの処理を追加したフローチャートである。

追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂ以外の処理は、図２０を参照して説明したフローのステップＳ１０１〜Ｓ１１６の処理と同様である。
また、追加処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理は、前述の図２９の構成Ｂ１＋Ｃの画像処理装置の処理であるステップＳ１１２ｂと、ステップＳ１１４ｂの処理と同様の処理である。

図３０に示すフローのステップＳ１１２ｂでは、画像内の同一位置にある対応するブロック間で、統合フィルタ（ブラー）、と、カメラ動きベースフィルタ（ブラー）との比較処理を行う。
この比較処理の結果として、２つのフィルタ（ブラー）の類似度が高い場合は、信頼度の値を高く設定し、類似度が低い場合は、信頼度の値を低く設定する。

信頼度算出部７０のフィルタ（ブラー）比較部７１は、算出した信頼度を、ブラー除去部６０の逆フィルタ補正部６３に出力する。
逆フィルタ補正部６３は、信頼度算出部７０から入力する信頼度に応じて、逆フィルタ処理部６２において適用する逆フィルタの強度を調整する。
例えば、信頼度算出部７０から入力する信頼度が高い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱めることなく、逆フィルタ算出部６１の算出した逆フィルタに設定された係数をそのまま利用する。すなわち、補正前可視光画像２５の処理対象ブロックに対して逆フィルタ算出部６１の算出した逆フィルタをそのまま適用する。

一方、信頼度算出部７０から入力する信頼度が低い場合は、逆フィルタ処理部６２において適用する逆フィルタの強度を弱める。すなわち、逆フィルタ算出部６１の算出した逆フィルタに設定された係数を調整して、逆フィルタの適用効果を小さくする。

このように、本実施例でも、推定されたフィルタ（ブラー）の信頼度に応じた逆フィルタ適用処理が実現されることになり、信頼度の高いブロックは逆フィルタの適用効果を高め、信頼度の低いブロックは逆フィルタの適用効果を低く抑えた処理が可能となり、信頼度に応じた効果的なブラー解消処理が可能となる。

［９．画像処理装置のハードウェア構成例について］
次に、図３１を参照して画像処理装置のハードウェア構成例について説明する。
図３１は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８２、または記憶部８８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８３には、ＣＰＵ８１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３は、バス８４により相互に接続されている。

ＣＰＵ８１はバス８４を介して入出力インタフェース８５に接続され、入出力インタフェース８５には、可視光カメラや（遠）赤外カメラ等によって構成される撮像部９５の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部８６、表示部９６やスピーカなどに対するデータ出力を実行する出力部８７が接続されている。ＣＰＵ８１は、入力部８６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部８７に出力する。

入出力インタフェース８５に接続されている記憶部８８は、例えばハードディスク等からなり、ＣＰＵ８１が実行するプログラムや各種のデータを記憶する。通信部８９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース８５に接続されているドライブ９０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア９１を駆動し、データの記録あるいは読み取りを実行する。

［１０．車両に本開示の画像処理装置を備えた車両制御システムの構成例について］
次に、上述した本開示の画像処理装置を、車両に備え付けた車両制御システムの一構成例について説明する。
図３２は、上述した処理を実行する画像処理装置を含む車両制御システム１００の概略的な機能の構成例を示すブロック図である。

なお、上述した本開示の画像処理装置は、図３２に示す車両制御システム１００の検出部１３１、データ取得部１０２、出力制御部１０５、出力部１０６の構成の一部に対応する。

上述した本開示の画像処理装置が実行する処理は、主に図３２に示す車両制御システム１００の検出部１３１の車外情報検出部１４１によって実行される。
図３２に示す車両制御システム１００のデータ取得部１０２は、可視光カメラと（遠）赤外カメラ、さらにＩＭＵ等のセンサを含み、検出部１３１は、これらのカメラの撮影画像、車両の動き情報（＝カメラの動き情報）を入力して上述した処理を実行する。
なお、処理結果は、例えば、図３２に示す車両制御システム１００の出力部１０６を構成する表示部に表示され、ユーザ（ドライバ）によって確認される。
以下、図３２に示す車両制御システム１００の構成について説明する。

なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラ、可視光カメラ、ステレオカメラ、単眼カメラ、（遠）赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又は、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、又は、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Ｍａｃｈｉｎｅ Ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ ｔｏ Ｈｏｍｅ）の通信、及び、歩車間（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ Ｂｒａｋｅ Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｓｔａｂｉｌｉｔｙ Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ Ｇｒｉｄ Ｍａｐ）とされる。

認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 同一被写体を同時に撮影した可視光画像と遠赤外画像を入力する画像入力部と、
前記可視光画像を撮影したカメラの動き情報を入力するカメラ動き情報入力部と、
前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するカメラ動きベースブラー推定部と、
前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定部と、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する画像処理装置。

（２） 前記カメラ動きベースブラー推定部は、
前記可視光画像の画像ブロック領域単位で、前記カメラ動きベースブラーを推定し、
前記ブラー推定部は、
前記可視光画像の画像ブロック領域単位で、前記統合フィルタを推定し、
前記ブラー除去部は、
前記可視光画像の画像ブロック領域単位で、前記逆特性フィルタを適用する（１）に記載の画像処理装置。

（３） 前記ブラー推定部は、
異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、
前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する（１）または（２）１に記載の画像処理装置。

（４） 前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを画像ベースフィルタとして決定する画像ベースブラー推定部と、
カメラ動きベースブラー相当のブラーを発生させるフィルタであるカメラ動きベースフィルタと、前記画像ベースフィルタのいずれかを選択、あるいは加重平均することで、前記統合フィルタを算出する統合ブラー推定部を有する構成である（１）〜（３）いずれかに記載の画像処理装置。

（５） 前記統合フィルタ推定部は、
環境情報を利用した動き量判定アルゴリズムに従った画像ブロック領域単位の動き量判定処理によって、被写体動き量が多いと判定された画像ブロック領域については、前記画像ベースフィルタを前記統合フィルタとし、
被写体動き量が少ないと判定された画像ブロック領域については、前記カメラ動きベースフィルタを前記統合フィルタとする処理を実行する（４）に記載の画像処理装置。

（６） 前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む（５）に記載の画像処理装置。

（７） 前記統合フィルタ推定部は、
環境情報を利用した重み係数決定アルゴリズムに従って決定される重み係数を利用して、前記画像ベースフィルタと、前記カメラ動きベースフィルタとの加重平均処理を実行して、前記統合フィルタを算出する（４）に記載の画像処理装置。

（８） 前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む（７）に記載の画像処理装置。

（９） 前記画像処理装置は、さらに、
フィルタ特性の類似する複数のフィルタを格納したフィルタバンクを複数格納したフィルタバンクプールを有し、
前記ブラー推定部は、
前記カメラ動きベースブラー相当のブラーを発生させるフィルタに類似するフィルタ特性を有するフィルタを格納したフィルタバンクを、前記フィルタバンクプールから選択するフィルタバンク選択部と、
前記フィルタバンク選択部の選択したフィルタバンクに格納されたフィルタを、前記遠赤外画像に適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出する相関算出部と、
相関の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する（１）〜（３）いずれかに記載の画像処理装置。

（１０） 前記ブラー推定部は、
前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関値を算出する相関算出部と、
前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとの比較処理を実行するフィルタ比較部と、
前記フィルタ比較部における比較結果に応じて、前記相関算出部の算出した相関値を補正する相関補正部と、
前記相関補正部の補正した補正相関値の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する（１）〜（３）いずれかに記載の画像処理装置。

（１１） 前記相関補正部は、
前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとが類似度が低いほど、前記相関算出部の算出した相関値を低下させる相関値補正を行う（１０）に記載の画像処理装置。

（１２） 前記画像処理装置は、
前記ブラー推定部における推定結果の信頼度を算出する信頼度算出部を有し、
前記ブラー除去部は、
前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う（１）〜（１１）いずれかに記載の画像処理装置。

（１３） 前記信頼度算出部は、
前記ブラー推定部において推定された前記画像ベースブラー相当のブラーを発生させる画像ベースブラーフィルタ、または前記統合フィルタの信頼度を算出する（１２）に記載の画像処理装置。

（１４） 前記信頼度算出部は、
前記カメラ動きベースブラーと、
前記画像ベースブラーフィルタ、または前記統合フィルタを比較して、類似度が高いほど高い信頼度を算出する（１３）に記載の画像処理装置。

（１５） 前記ブラー除去部は、
前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを算出する逆フィルタ算出部と、
前記信頼度算出部の算出した信頼度を入力して、前記信頼度が低い場合は、前記逆フィルタの適用強度を弱めた補正逆フィルタを生成する逆フィルタ補正部と、
前記逆フィルタ補正部の生成した補正逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する（１２）〜（１４）いずれかに記載の画像処理装置。

（１６） 画像処理装置において実行する画像処理方法であり、
画像入力部が、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力するステップと、
カメラ動き情報入力部が、前記可視光画像を撮影したカメラの動き情報を入力するステップと、
カメラ動きベースブラー推定部が、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するステップと、
ブラー推定部が、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定ステップと、
ブラー除去部が、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去ステップを実行する画像処理方法。

（１７） 画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力させるステップと、
カメラ動き情報入力部に、前記可視光画像を撮影したカメラの動き情報を入力させるステップと、
カメラ動きベースブラー推定部に、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定させるステップと、
ブラー推定部に、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定させるブラー推定ステップと、
ブラー除去部に、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるブラー除去ステップを実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。
具体的には、同一被写体を同時に撮影した可視光画像と遠赤外画像、さらに、カメラの動き情報を入力し、カメラの動きに起因する可視光画像のブラー（ぼけ）であるカメラ動きベースブラーを推定し、可視光画像と遠赤外画像、およびカメラ動きベースブラーを利用して、可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定し、推定した統合フィルタと逆特性を持つ逆特性フィルタを可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する。
これらの処理により、可視光画像のブラー（ぼけ）を除去または低減した高画質化処理を実行する装置、方法が実現される。

１１・・ブラーあり可視光画像、１２・・ブラーなし遠赤外画像、１３・・カメラ動き情報、１５・・ブラー低減可視光画像、２１・・可視光画像入力部、２２・・遠赤外画像入力部、２３・・カメラ動き情報入力部、２５・・補正前可視光画像、２６・・遠赤外画像、２７・・補正後可視光画像、３０・・画像ベースブラー推定部、３０ｂ・・ブラー推定部、３１・・フィルタ処理部、３２・・相関演算部、３３・・画像ベースフィルタ決定部、３４・・フィルタバンク選択部、３５・・フィルタバンク、３７・・統合フィルタ決定部、３８・・フィルタ（ブラー）比較部、３９・・相関補正部、４０・・カメラ動きベースブラー推定部、４１・・カメラ動きブラーマップ取得部、４５・・カメラ動きブラーマップ記憶部、５０・・統合ブラー推定部、５１・・被写体動き判定部、５２・・統合フィルタ決定部、５５・・環境情報記憶部／入力部、６０・・ブラー除去部、６１・・逆フィルタ算出部、６２・・逆フィルタ処理部、６３・・逆フィルタ補正部、７０・・信頼度算出部、７１・・フィルタ（ブラー）比較部、８１・・ＣＰＵ、８２・・ＲＯＭ、８３・・ＲＡＭ、８４・・バス、８５・・入出力インタフェース、８６・・入力部、８７・・出力部、８８・・記憶部、８９・・通信部、９０・・ドライブ、９１・・リムーバブルメディア、９５・・撮像部（カメラ）、９６・・表示部、１００・・車両走行制御装置、１０１・・入力部、１０２・・データ取得部、１０３・・通信部、１０４・・車内機器、１０５・・出力制御部、１０６・・出力部、１０７・・駆動系制御部、１０８・・駆動系システム、１０９・・ボディ系制御部、１１０・・ボディ系システム、１１１・・記憶部、１１２・・自動運転制御部、１３１・・検出部、１３２・・自己位置推定部、１３３・・状況分析部、１３４・・計画部、１３５・・動作制御部、１４１・・車外情報検出部、１４２・・車内情報検出部、１４３・・車両状態検出部、１５１・・マップ解析部、１５２・・交通ルール認識部、１５３・・状況認識部、１５４・・状況予測部、１６１・・ルート計画部、１６２・・行動計画部、１６３・・動作計画部、１７１・・緊急事態回避部、１７２・・加減速制御部、１７３・・方向制御部、２０１・・表示部、

Claims (17)

1. 同一被写体を同時に撮影した可視光画像と遠赤外画像を入力する画像入力部と、
   前記可視光画像を撮影したカメラの動き情報を入力するカメラ動き情報入力部と、
   前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するカメラ動きベースブラー推定部と、
   前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定部と、
   前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去部を有する画像処理装置。
2. 前記カメラ動きベースブラー推定部は、
   前記可視光画像の画像ブロック領域単位で、前記カメラ動きベースブラーを推定し、
   前記ブラー推定部は、
   前記可視光画像の画像ブロック領域単位で、前記統合フィルタを推定し、
   前記ブラー除去部は、
   前記可視光画像の画像ブロック領域単位で、前記逆特性フィルタを適用する請求項１に記載の画像処理装置。
3. 前記ブラー推定部は、
   異なる多数の点広がり関数対応のフィルタを保持するフィルタバンクから、異なるフィルタを順次、取得して前記遠赤外画像に適用するフィルタ処理部と、
   前記フィルタ処理部の生成したフィルタ適用遠赤外画像と、前記可視光画像との相関を、画像の分割領域であるブロック単位で算出する相関演算部を有する請求項１に記載の画像処理装置。
4. 前記ブラー推定部は、
   前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出し、相関の最も高くなるフィルタを画像ベースフィルタとして決定する画像ベースブラー推定部と、
   カメラ動きベースブラー相当のブラーを発生させるフィルタであるカメラ動きベースフィルタと、前記画像ベースフィルタのいずれかを選択、あるいは加重平均することで、前記統合フィルタを算出する統合ブラー推定部を有する構成である請求項１に記載の画像処理装置。
5. 前記統合フィルタ推定部は、
   環境情報を利用した動き量判定アルゴリズムに従った画像ブロック領域単位の動き量判定処理によって、被写体動き量が多いと判定された画像ブロック領域については、前記画像ベースフィルタを前記統合フィルタとし、
   被写体動き量が少ないと判定された画像ブロック領域については、前記カメラ動きベースフィルタを前記統合フィルタとする処理を実行する請求項４に記載の画像処理装置。
6. 前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む請求項５に記載の画像処理装置。
7. 前記統合フィルタ推定部は、
   環境情報を利用した重み係数決定アルゴリズムに従って決定される重み係数を利用して、前記画像ベースフィルタと、前記カメラ動きベースフィルタとの加重平均処理を実行して、前記統合フィルタを算出する請求項４に記載の画像処理装置。
8. 前記環境情報は、地図情報、時間情報、交通情報、画像ブロック領域情報の少なくともいずれかの情報を含む請求項７に記載の画像処理装置。
9. 前記画像処理装置は、さらに、
   フィルタ特性の類似する複数のフィルタを格納したフィルタバンクを複数格納したフィルタバンクプールを有し、
   前記ブラー推定部は、
   前記カメラ動きベースブラー相当のブラーを発生させるフィルタに類似するフィルタ特性を有するフィルタを格納したフィルタバンクを、前記フィルタバンクプールから選択するフィルタバンク選択部と、
   前記フィルタバンク選択部の選択したフィルタバンクに格納されたフィルタを、前記遠赤外画像に適用したフィルタ適用遠赤外画像と、前記可視光画像との相関を算出する相関算出部と、
   相関の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する請求項１に記載の画像処理装置。
10. 前記ブラー推定部は、
    前記遠赤外画像にフィルタを適用したフィルタ適用遠赤外画像と、前記可視光画像との相関値を算出する相関算出部と、
    前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとの比較処理を実行するフィルタ比較部と、
    前記フィルタ比較部における比較結果に応じて、前記相関算出部の算出した相関値を補正する相関補正部と、
    前記相関補正部の補正した補正相関値の最も高くなるフィルタを統合フィルタとして決定する統合フィルタ決定部を有する請求項１に記載の画像処理装置。
11. 前記相関補正部は、
    前記遠赤外画像に適用したフィルタと、前記カメラ動きベースブラーとが類似度が低いほど、前記相関算出部の算出した相関値を低下させる相関値補正を行う請求項１０に記載の画像処理装置。
12. 前記画像処理装置は、
    前記ブラー推定部における推定結果の信頼度を算出する信頼度算出部を有し、
    前記ブラー除去部は、
    前記信頼度算出部の算出した信頼度が低い場合は、前記可視光画像に対する逆フィルタの適用強度を弱める処理を行う請求項１に記載の画像処理装置。
13. 前記信頼度算出部は、
    前記ブラー推定部において推定された前記画像ベースブラー相当のブラーを発生させる画像ベースブラーフィルタ、または前記統合フィルタの信頼度を算出する請求項１２に記載の画像処理装置。
14. 前記信頼度算出部は、
    前記カメラ動きベースブラーと、
    前記画像ベースブラーフィルタ、または前記統合フィルタを比較して、類似度が高いほど高い信頼度を算出する請求項１３に記載の画像処理装置。
15. 前記ブラー除去部は、
    前記ブラー推定部の推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを算出する逆フィルタ算出部と、
    前記信頼度算出部の算出した信頼度を入力して、前記信頼度が低い場合は、前記逆フィルタの適用強度を弱めた補正逆フィルタを生成する逆フィルタ補正部と、
    前記逆フィルタ補正部の生成した補正逆フィルタを、前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成する請求項１２に記載の画像処理装置。
16. 画像処理装置において実行する画像処理方法であり、
    画像入力部が、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力するステップと、
    カメラ動き情報入力部が、前記可視光画像を撮影したカメラの動き情報を入力するステップと、
    カメラ動きベースブラー推定部が、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定するステップと、
    ブラー推定部が、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定するブラー推定ステップと、
    ブラー除去部が、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成するブラー除去ステップを実行する画像処理方法。
17. 画像処理装置において画像処理を実行させるプログラムであり、
    画像入力部に、同一被写体を同時に撮影した可視光画像と遠赤外画像を入力させるステップと、
    カメラ動き情報入力部に、前記可視光画像を撮影したカメラの動き情報を入力させるステップと、
    カメラ動きベースブラー推定部に、前記カメラの動きに起因する前記可視光画像のブラーであるカメラ動きベースブラーを推定させるステップと、
    ブラー推定部に、前記可視光画像と前記遠赤外画像、および前記カメラ動きベースブラーを利用して、前記可視光画像の画像ベースブラーと、カメラ動きベースブラーを統合した統合ブラー相当のブラーを発生させるフィルタである統合フィルタを推定させるブラー推定ステップと、
    ブラー除去部に、前記ブラー推定ステップにおいて推定した統合フィルタを入力し、前記統合フィルタと逆特性を持つ逆特性フィルタを前記可視光画像に適用してブラーを除去または低減した補正可視光画像を生成させるブラー除去ステップを実行させるプログラム。