JP2018005518A - 画像処理装置、撮像システム、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】コントロール画像にないエッジを有する対象画像のエッジのぼやけを抑制するジョイントバイラテラルフィルタを提供する。
【解決手段】フィルタを対象画像Ｏに適用するフィルタリング処理を実行する画像処理装置であって、フィルタは、注目画素と周辺画素との距離に基づく空間重みＷ_ｓと、注目画素値と周辺画素値との差に基づく画素値重みと、を含む。画素値重みは、対象画像Ｏの撮像対象物と同じ撮像対象物を撮像したコントロール画像Ｉにおける注目画素値と周辺画素値との差に基づく第１重みＷ_ｃと、対象画像Ｏにおける注目画素値と周辺画素値との差に基づく第２重みＷ_ｏと、を含む
【選択図】図２

Description

本発明は、画像処理に関する。

フィルタリング処理によって対象画像の画質を改善する画像処理として、バイラテラルフィルタを用いた処理が知られている。バイラテラルフィルタは、画像中のエッジを保存しつつ画像を平滑化することができる。バイラテラルフィルタは、注目画素と周辺画素との距離に基づく空間重みと、注目画素値と周辺画素値との差に基づく画素値重みとを含む。注目画素値と周辺画素値との差は、エッジのある箇所のように画素値間の差が大きくなる箇所で生じる。注目画素値と周辺画素値との差が大きいと、画素値重みは小さくなる。画素値重みが小さい部分では、エッジが保存されやすい。

画素値重みを、対象画像とは別のコントロール画像によって求めることがある。画素値重みがコントロール画像に基づいて求められたフィルタは、ジョイントバイラテラルフィルタとよばれる。ジョイントバイラテラルフィルタは、クロスバイラテラルフィルタとよばれることもある。ジョイントバイラテラルフィルタは、例えば、特許文献１に開示されている。

特開２０１５−１４４４２３号公報

ジョイントバイラテラルフィルタは、対象画像がコントロール画像にないエッジを有する場合、そのエッジを十分に保存することができない。コントロール画像にないエッジにおいては、コントロール画像に基づく画素値重みは、十分に小さくならない。このため、対象画像におけるエッジは、周辺画素値の影響を大きく受けてぼやける。

したがって、従来のジョイントバイラテラルフィルタの改善が望まれる。

本発明の一の態様において、フィルタは、注目画素値と周辺画素値との差に基づく画素値重みとして、コントロール画像に基づく第１重みだけでなく、対象画像に基づく第２重みをも含む。画素値重みとして、対象画像に基づく第２重みがあることで、対象画像のエッジがぼやけるのを抑制できる。

撮像システムのブロック図である。 トライラテラルフィルタにおける重みの求め方の説明図である。 バイラテラルフィルタにおける重みの求め方の説明図である。 バイラテラルフィルタリングの処理結果を示す画像である。 図４Ａの画像のディザ画像である。 図４Ａの画像の拡大画像である。 図５Ａの画像のディザ画像である。 バイラテラルフィルタリングとトライラテラルフィルタリングの処理結果を示す画像である。 図６Ａの画像のディザ画像である。 トライラテラルフィルタリングと局所トライラテラルフィルタリングの処理結果を示す画像である。 図７Ａの画像のディザ画像である。

［１．実施形態の概要］

（１）実施形態に係る画像処理装置は、フィルタを対象画像に適用するフィルタリング処理を実行する。前記フィルタは、注目画素と周辺画素との距離に基づく空間重みと、注目画素値と周辺画素値との差に基づく画素値重みと、を含む。前記画素値重みは、前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、を含む。画素値重みとして、コントロール画像に基づく第１重みだけでなく、対象画像に基づく第２重もあることで、対象画像のエッジがぼやけるのを抑制できる。

（２）前記対象画像は、前記コントロール画像よりも低解像度の画像であり、前記フィルタリング処理は、画素数が前記コントロール画像に対応するように前記対象画像を変換する変換処理を含み、前記第２重みは、前記変換処理がなされた前記対象画像に基づいて求められ、前記フィルタは、前記変換処理がなされた前記対象画像に適用されるのが好ましい。この場合、対象画像の高解像度化が可能である。

（３）前記コントロール画像は、可視光画像であり、前記対象画像は、赤外線画像であるのが好ましい。この場合、赤外線画像のエッジがぼやけるのを抑制できる。

（４）前記コントロール画像は、可視光画像であり、前記対象画像は、前記可視光画像よりも低解像度の赤外線画像であり、前記フィルタリング処理は、画素数が前記可視光画像に対応するように前記赤外線画像を変換する変換処理を更に含み、前記第２重みは、前記変換処理がなされた前記遠赤外線画像に基づいて求められ、前記フィルタは、前記変換処理がなされた前記赤外線画像に適用されるのが好ましい。この場合、赤外線画像のエッジがぼやけるのを抑制しつつ、赤外線画像を高解像度化することができる。

（５）前記第１重み及び前記第２重みは、前記第１重み及び前記第２重みが適用される局所領域における前記コントロール画像と前記対象画像との相互関連性に基づいて設定されるのが好ましい。この場合、よりフィルタリングがより適切となる。

（６）前記第１重みは、局所的な前記相互関連性が高いほど大きく設定され、前記第２重みは、局所的な前記相互関連性が低いほど大きく設定されるのが好ましい。

（７）実施形態に係る撮像システムは、対象画像及びコントロール画像を撮像する撮像部と、前記フィルタを前記対象画像に適用するフィルタリング処理を実行する画像処理装置と、を備える。

（８）実施形態に係る画像処理方法は、前記フィルタを対象画像に適用するフィルタリング処理を実行することを含む。

（９）実施形態に係るコンピュータプログラムは、前記フィルタを対象画像に適用するフィルタリング処理をコンピュータに実行させる。

［２．実施形態の詳細］

［２．１ 撮像システム］

図１に示す撮像システム１０は、撮像部２０を備える。撮像部２０は、複数の画像を出力する。複数の画像は、対象画像及びコントロール画像を含む。対象画像は、画像処理の対象となる画像である。コントロール画像は、フィルタ重みを求めるために用いられる画像である。コントロール画像は、対象画像と同じ撮像対象物を撮像した画像である。コントロール画像は、例えば、対象画像とは異なる撮像法で、対象画像と同じ撮像対象物を撮像した画像が用いられる。

対象画像とは異なる撮像法とは、例えば、コントロール画像に現れる撮像対象物に、対象画像に現れる撮像対象物とは何らかの相違が生じるような撮像法である。対象画像とは異なる撮像法とは、例えば、対象画像が可視光により像が検出された可視光画像であれば、赤外線により像を検出する撮像法である。対象画像とは異なる撮像法の他の例としては、例えば、対象画像が超音波画像であれば、核磁気共鳴画像法（ＭＲＩ）である。

撮像法の相違は、撮像条件の相違であってもよい。撮像条件の相違は、例えば、撮像時の光量の違いである。光量の違いは、例えば、フラッシュの有無又は環境光の相違によって生じることがある。撮像条件の相違は、例えば、撮像に用いられるレンズの違いであってもよい。レンズの相違は撮像によって得られる像の相違を生じさせる。

撮像部２０は、１又は複数の撮像装置を有する。複数の撮像装置２１，２３を有する撮像部２０は、例えば、アレイカメラとして構成される。複数の撮像装置２１，２３は、近接して配置され、同じ撮像対象物を撮像することができる。複数の撮像装置は、例えば、コントロール画像を撮像する撮像装置２１と、対象画像を撮像する撮像装置２３とを備える。

撮像装置２１は、例えば、可視光カメラ２１である。可視光カメラ２１は、可視光に基づく撮像装置である、可視光カメラ２１によって撮像された可視光画像は、肉眼で見える像と同様の像を有する。実施形態において、可視光画像は、コントロール画像として用いられる。

撮像装置２３は、例えば、赤外線カメラ２３である。赤外線カメラ２３は、赤外線に基づく撮像装置である。赤外線カメラ２３によって撮像された赤外線画像は、撮像対象物からの赤外線を視覚化した画像である。赤外線画像は、サーマル画像とよばれることもある。実施形態において、赤外線画像は、対象画像として用いられる。

赤外線は、赤外線は、波長が、約０．７μから１ｍｍの範囲の電磁波である。赤外線は可視光よりも波長が長い。赤外線は、例えば、近赤外線、中赤外線及び遠赤外線に分類される。遠赤外線は、例えば、波長８〜１４μｍの電磁波である。赤外線カメラ２３は、いずれの赤外線をとらえるものであってもよい。実施形態の赤外線カメラ２３は、例えば、遠赤外線カメラである。遠赤外線カメラは、遠赤外線の強弱をとらえることができる。

赤外線カメラ２３は可視光カメラ２１よりも解像度が劣ることが多い。この結果、赤外線画像は、可視光画像よりも解像度が低いことが多い。特に遠赤外線カメラによって撮像された赤外線画像は解像度が低い。一方、可視光カメラは、ＣＭＯＳ技術の発展により、高解像度であり、比較的、低価格である。赤外線カメラは、低解像度であっても高価格であることが多く、十分に高い解像度を持つものは非常に高価である。とりわけ、遠赤外線カメラにおいてはその傾向が顕著である。

本実施形態では、高解像度であっても比較的安価である可視光カメラ２１で撮像された画像をコントロール画像とし、可視光カメラ２１よりも低解像度の遠赤外線カメラ２３で撮像された画像を対象画像とする。低解像度の遠赤外線カメラ２３の採用により、撮像システム１０の高価格化を抑制できる。

撮像部２０は、複数の撮像装置２１，２３を有している必要はなく、一つの撮像装置だけを有していても良い。一つの撮像装置によって対象画像及びコントロール画像を撮像するには、前述の撮像条件を異ならせればよい。

図１に示すように、撮像システム１０は、画像処理装置３０を備える。画像処理装置３０は、例えば、コンピュータを備える。コンピュータは、プロセッサ５０及び記憶装置４０を備える。プロセッサ５０は、記憶装置４０に格納されたコンピュータプログラムを実行する。コンピュータプログラムは、対象画像に対する画像処理をコンピュータに実行させるコードを含む。実施形態のコンピュータプログラムは、撮像部２０による撮像を制御する処理をコンピュータに実行させるコードも含むことができる。

記憶装置４０は、コントロール画像の記憶領域４１を有する。可視光カメラ２１によって撮像されたコントロール画像は、記憶領域４１に格納される。記憶装置４０は、対象画像の記憶領域４３を有する。赤外線カメラ２３によって撮像された対象画像は、記憶領域４３に格納される。記憶装置４０は、対象画像に対する画像処理によって生成された生成画像の記憶領域４５を有する。

プロセッサ５０によって実行される画像処理は、フィルタリング処理５１を含む。フィルタリング処理５１において、プロセッサ５０は、記憶領域４３に格納された対象画像にフィルタを適用し、生成画像を生成する。プロセッサ５０は、生成画像を、記憶領域４５に格納する。

実施形態のフィルタは、複数のフィルタ重みを有して構成される。実施形態のフィルタは、コントロール画像及び対象画像に基づいて生成される。フィルタリング処理５１の詳細は、後述する。

［２．２ バイラテラルフィルタ（bilateral filter）］

以下では、実施形態のフィルタのベースとなったバイラテラルフィルタについて説明する。バイラテラルフィルタは、ガウス関数を用いた空間重み及び輝度値重みを有する。バイラテラルフィルタは、エッジを保存しつつ画像を平滑化する。バイラテラルフィルタを用いたフィルタリング処理は、例えば、次式で表される。
ここで、Ｉは、対象画像である。Ｆは、フィルタリングにより生成された画像である。ｐは注目画素である。ｑは周辺画素である。周辺画素ｐは、注目画素ｐの周辺領域に含まれる画素である。周辺画素は中心画素を含む。Ｉ（ｑ）は対象画像Ｉの周辺画素ｑにおける画素値である。Ｆ（Ｉ（ｐ））は、生成画像Ｆの注目画素ｐにおける画素値である。Ｎ（ｐ）は、画素ｐの周辺領域の範囲を示す。Ｎ（ｐ）は、式１Ａにおける積和計算の範囲となる。

式１Ａに示すバイラテラルフィルタは、注目画素ｐと周辺画素ｑとの距離に基づく空間重みＷ_ｓを有する。空間重みＷ_ｓは、例えば、次式によって求められる。空間重みＷ_ｓは、注目画素ｐと周辺画素ｑとの距離が大きくなるほど小さくなる。空間重みＷ_ｓによって、画像が平滑化される。
ここで、σ_ｓは、重みＷ_ｓを決定するパラメータであり、分散を示す。

式１Ａに示すバイラテラルフィルタは、対象画像Ｉにおける注目画素値Ｉ（ｐ）と周辺画素値Ｉ（ｐ）との差に基づく画素値重みＷ_ｃを有する。画素値重みは、例えば、次式によって求められる。画素値重みＷ_ｃは、注目画素値Ｉ（ｐ）と周辺画素値Ｉ（ｑ）との差が大きくなるほど小さくなる。画素値重みＷ_ｃによって対象画像Ｉのエッジが保存される。
ここで、σ_ｃは、重みＷ_ｃを決定するパラメータであり、分散を示す。

バイラテラルフィルタを用いたフィルタリングでは、対象画像Ｉの周辺画素値Ｉ（ｑ）に対して、空間重みＷ_ｓと画素値重みＷ_ｃとの積が掛けられ、複数の周辺画素ｑについての総和が求められる。

式１ＡにおけるＷは、正規化パラメータであり、次式のように、Ｗ_ｓとＷ_ｃの積和計算によって得られる。

［２．３ ジョイントバイラテラルフィルタ（joint bilateral filter）］
対象画像Ｏとは別のコントロール画像Ｉに基づいて求めた重みＷ_ｓ，Ｗ_ｃの積が対象画像Ｏに対するフィルタリングに用いられるフィルタは、ジョイントバイラテラルフィルタとよばれる。ジョイントバイラテラルフィルタを用いたフィルタリング処理は、例えば、次式で表される。
ここで、Ｏは、対象画像である。Ｆは、フィルタリングによる生成画像である。ｐは注目画素である。ｑは周辺画素である。Ｏ（ｑ）は対象画像Ｏの周辺画素ｑにおける画素値である。Ｆ（Ｏ（ｐ））は、生成画像Ｆの注目画素ｐにおける画素値である。Ｎ（ｐ）は、画素ｐの周辺領域の範囲を示す。Ｎ（ｐ）は、式１Ｂにおける積和計算の範囲となる。

式１Ｂにおいて、重みＷ_ｓ，Ｗ_ｃは、対象画像Ｏではなく、コントロール画像Ｉに基づいて求められる。式１Ｂにおいて、その他の点は、式１Ａと同様である。

ジョイントバイラテラルフィルタは、可視光画像などのコントロール画像に基づいて求められた重みＷ_ｓ，Ｗ_ｃを利用して、距離画像などの別の対象画像Ｏをフィルタリングするために用いられる。

ジョイントバイラテラルフィルタを、高解像度のコントロール画像と低解像度の対象画像の組に適用すると、対象画像の解像度をコントロール画像の解像度まで高くすることができる。このような高解像度化処理をアップサンプリングとよぶ。アップサンプリングは、次式で表される。
ここで、Ｔは、高解像度のコントロール画像Ｉと低解像度の対象画像Ｏとの間の画素の対応関係を求める変換処理である。変換処理は、例えば、画素の補間処理によって行われる。変換処理が施された対象画像Ｏは、コントロール画像Ｉの画素数に対応した画素数を持つ。Ｔ（ｐ）は、変換処理が施された対象画像Ｏにおける画素ｑの画素値である。式１Ｃにおいて、その他の点は、式１Ｂと同様である。

［２．４ トライラテラルフィルタ（trilateral filter）］
実施形態のフィルタは、コントロール画像Ｉから求めた重みＷ_ｓ，Ｗ_ｃだけでなく、対象画像Ｏから求めた重みＷ_ｏをも有する。重みＷ_ｏは、対象画像Ｏにおける注目画素値Ｏ（ｐ）と周辺画素値Ｏ（ｑ）との差に基づく重みである。重みＷ_ｃは、コントロール画像Ｉから求められるのに対し、重みＷ_ｏは、対象画像Ｏから求められる。以下、重みＷ_ｃを第１重みといい、重みＷ_ｏを第２重みということがある。

以下では、実施形態のフィルタを、トライラテラルフィルタとよぶ。トライラテラルフィルタによるフィルタリング処理は、図１に示すフィルタリング処理５１に対応し、例えば、次式で表される。
ここで、Ｏは、対象画像である。Ｆは、フィルタリングによる生成画像である。ｐは注目画素である。ｑは周辺画素である。Ｔは、高解像度のコントロール画像Ｉと低解像度の対象画像Ｑとの間の画素の対応関係を求める変換処理である。Ｔ（ｐ）は、変換処理が施された対象画像Ｏにおける画素ｑの画素値である。Ｏ（Ｔ（ｑ）は変換処理が施された対象画像Ｏの画素ｑにおける画素値である。Ｆ（Ｏ（ｐ））は、生成画像Ｆの画素ｐにおける画素値である。Ｎ（ｐ）は、画素ｐの周辺領域の範囲を示す。Ｎ（ｐ）は、式１Ｄにおける積和計算の範囲となる。

式１Ｄに示すフィルタは、低解像度の対象画像に対する変換処理Ｔを含む。変換処理Ｔによって、低解像度の対象画像Ｏの画素数を、高解像度のコントロール画像Ｉに対応させることができる。ただし、トライラテラルフィルタは、変換処理Ｔを含まなくても良い。

図２に示すように、式１Ｄにおける空間重みＷ_ｓは、コントロール画像Ｉに基づき、式２によって求められる。式１Ｄにおける輝度値重みである第１重みＷ_ｃは、コントロール画像Ｉに基づき、式３によって求められる。なお、空間重みＷ_ｓは、変換処理Ｔが施された対象画像Ｏに基づいて求められても良い。

図２に示すように、式１Ｄにおける他の輝度値重みである第２重みＷ_ｏは、対象画像Ｏに基づき、次式によって求められる。第２重みＷ_ｏは、対象画像Ｏの注目画素値Ｏ（Ｔ（ｐ））と周辺画素値Ｏ（Ｔ（ｑ））との差が大きくなるほど小さくなる。第２重みＷ_ｏによって、対象画像Ｏのエッジがぼやけるのを防止できる。
ここで、σ_ｏは、重みＷ_ｏを決定するパラメータであり、分散を示す。

プロセッサ５０は、σ_０の値を設定する処理を行うことができる。プロセッサ５０は、σ_ｓ，σ_ｃの値を設定する処理を行うこともできる。プロセッサ５０は、重みＷ_ｃと重みＷ_ｏの大きさのバランスを調整する処理を行うこともできる。重みＷ_ｃを大きくすれば、フィルタリングの際に、コントロール画像Ｉの効きがより強くなり、重みＷ_ｏを大きくすれば、フィルタリングの際に、対象画像Ｉの効きがより強くなる。重みＷ_ｃと重みＷ_ｏの大きさのバランス調整は、例えば、σ_ｃ，σ_ｏの値を調整することで行われても良いし、重みに調整用の係数を掛けることで行われても良い。重みＷ_ｃと重みＷ_ｏのバランスの調整は、画像毎に行われても良いし、画像中の画素毎又は画像中の部分領域毎に局所的に行われても良い。

トライラテラルフィルタを用いたフィルタリング処理５１では、対象画像Ｏの周辺画素値Ｏ（Ｔ（ｑ））に対して、空間重みＷ_ｓと第１重みＷ_ｃと第２重みＷ_ｏとの積が掛けられ、複数の周辺画素ｑについての総和が求められる積和計算が行われる。

式１ＤにおけるＷは、正規化パラメータであり、次式のように、Ｗ_ｓとＷ_ｃとＷ_ｏとの積和計算によって得られる。フィルタリング処理５１では、Ｗによって、空間重みＷ_ｓと第１重みＷ_ｃと第２重みＷ_ｏの積和計算結果が正規化される。正規化された値が、生成画像における画素ｐの画素値となる。

図３は、バイラテラルフィルタにおける重みＷ_ｓ，Ｗ_ｃの求め方を示している。図２と図３との対比からも明らかなように、トライラテラルフィルタは、ジョイントバイラテラルフィルタに、対象画像Ｏから求めた輝度値重みＷ_ｏを追加したものである。対象画像Ｏから求めた輝度値重みＷ_ｏは、対象画像Ｏのエッジを保存するように機能するため、生成画像のエッジがぼやけるのを防止できる。

式１Ｄにおける第２重みＷ_ｏは、対象画像から求められた輝度値重みであるという点で、式１Ａに示すバイラテラルフィルタにおける輝度値重みＷ_ｃと共通する。また、式１Ｄにおける空間重みＷ_ｓも、式１Ａに示すバイラテラルフィルタにおける空間重みＷ_ｓと同様ものである。したがって、式１Ｄに示すトライラテラルフィルタは、式１Ｃに示すジョイントバイラテラルフィルタと、式１Ａに示すバイラテラルフィルタとを融合したものであると考えることができる。

ジョイントバイラテラルフィルタは、対象画像がコントロール画像にないエッジを有する場合、生成画像において対象画像のエッジを保存することができず、生成画像が部分的に対象画像からかけ離れたものとなることがある。しかし、トライラテラルフィルタは、対象画像Ｏのエッジを保存するように機能する輝度値重みＷ_ｏを有するため、コントロール画像にないエッジがぼやけるのを抑制する。この結果、生成画像が対象画像から大きくかけ離れることを抑制できる。しかも、トライラテラルフィルタは、ジョイントバイラテラルフィルタに基づいているため、ジョイントバイラテラルフィルタとしての機能も期待できる。

図４Ａ及び図５Ａは、ジョイントバイラテラルフィルタによるフィルタリング処理結果の例を示している。図４Ａに示すコントロール画像Ｉは、可視光カメラ２１で撮像された高解像度のカラー可視光画像である。撮像対象物は、ある建物の屋上である。図４Ａに示す対象画像Ｏは、同じ撮像対象物を赤外線カメラ２３で撮像した赤外線画像である。赤外線画像は、可視光画像よりも低解像度である。

図５Ａに示す画像Ｉ，Ｏ，Ｆは、図４Ａに示す画像Ｉ，Ｏ，Ｆの拡大画像である。図５Ａにおけるコントロール画像Ｉの領域Ａに着目すると、コントロール画像Ｉでは、屋上面と、屋上面に建てられた構造物の屋根と、は同じ色であり、両者の境界にはエッジが存在しない。これに対して、対象画像Ｏの領域Ｂに着目すると、屋上面と、屋上面に建てられた構造物の屋根と、では温度が異なるため、赤外線画像としては、両者に濃淡差が生じ、両者の境界にエッジが存在する。

領域Ａ及び領域Ｂは撮像対象物における同じ領域であるにもかかわらず、撮像法の違いにより、コントロール画像Ｉの領域Ａではエッジが存在せず、対象画像Ｏの領域Ｂではエッジが存在する。このようなコントロール画像Ｉから求めた重みＷ_ｓ，Ｗ_ｃを有するジョイントバイラテラルフィルタを対象画像Ｏに適用すると、図５Ａにおける生成画像Ｆの領域Ｃに示すように、対象画像Ｏの領域Ｂに存在していたエッジが、エッジを有しないコントロール画像Ｉに引きずられて、ぼやけてしまう。

図６Ａは、バイラテラルフィルタリングによる生成画像１０２ａ，１０２ｂと、トライラテラルフィルタリングによる生成画像１０３ａ，１０３ｂとを示している。生成画像１０２ｂ及び生成画像１０３ｂは、それぞれ、生成画像１０２ａ及び生成画像１０３ａの拡大画像である。バイラテラルフィルタリングによる生成画像１０２ｂの領域Ｃでは、エッジがぼやけているのに対して、トライラテラルフィルタリングによる生成画像１０３ｂの領域Ｄでは、エッジが保存されている。

このようにジョイントバイラテラルフィルタでは、低解像度の赤外線画像を高解像度の可視光画像を用いて高解像度化すると、適切な高解像度化が行えないことがあるのに対して、実施形態のトライラテラルフィルタリングでは、低解像度の赤外線画像を適切に高解像度化することができる。実施形態のトライラテラルフィルタリングを利用すると、比較的安価な低解像度の赤外線カメラ２３を用いて、高解像度の赤外線画像が得られるため、非常に高価な高解像度の赤外線カメラを用いる必要がなく有利である。

なお、図４Ｂ，図５Ｂ及び図６Ｂ中の画像は、図４Ａ，図５Ａ及び図６Ａ中の画像それぞれに対して、ディザリング（Dithering）処理を施して２値のディザ画像としたものである。ディザリング処理を行うことは、本発明及びその実施形態とは無関係である。権限を有する機関による本願の公開に際して、仮に図４Ａ，図５Ａ及び図６Ａ中の画像に劣化が生じた場合であっても、図４Ｂ，図５Ｂ及び図６Ｂによって、第三者が画像を認識できるようにすることが意図されている。後述の図７Ｂも図７Ａのディザ画像であり、同様の意図に基づくものである。

さて、トライラテラルフィルタによるフィルタリング処理は、ベクトル値を持つ対象画像Ｏにも適用できる。ベクトル値を持つ対象画像Ｏへのトライラテラルフィルタリングは、例えば、次式で表される。式１Ｅに関し、特に説明しない点は、式１Ｄと同様である。

式１Ｅにおける第２重みＷ_ｏは、対象画像Ｏに基づき、次式によって求められる。

［２．４ 局所トライラテラルフィルタ（local trilateral filter）］
式１Ｅに示すトライラテラルフィルタでは、対象画像Ｏに基づく第２重みＷ_ｏによるフィルタリングも行われるため、対象画像Ｏの空間解像度が低い場合、空間解像度の向上には限界が生じる。そこで、トライラテラルフィルタにおける第１重みＷ_ｃ及び第２重みＷ_ｏの大きさのバランスを、画像上の場所（座標）に応じて局所的に変更すると、例えば、生成画像Ｆにおける空間解像度をより向上させて、よりシャープな画像を得ることができる。画像上の場所に応じて第１重みＷ_ｃ及び第２重みＷ_ｏの大きさのバランスが変更されるトライラテラルフィルタを、局所トライラテラルフィルタという。局所トライラテラルフィルタは、コントロール画像と解像度が同じ対象画像に適用してもよい。

実施形態の局所トライラテラルフィルタを用いたフィルタリング処理５１では、第１重みＷ_ｃ及び第２重みＷ_ｏのバランスは、コントロール画像Ｉと対象画像Ｏとの局所的な相互関連性に基づいて設定される。局所的な相互関連性とは、２つの画像Ｉ，Ｏの局所的な領域における、２つの画像Ｉ，Ｏ相互の関連性をいう。局所的な領域は、１又は複数の画素からなる範囲である。局所的な相互関連性としては、例えば、コントロール画像Ｉと対象画像Ｏとの局所相互情報量が用いられる。

２つの画像Ｉｘ及び画像Ｉｙの画素ｐにおける局所相互情報量μ_ＸＹ（ｐ）は、例えば、次式で定義される。
ここで、Ｎ（ｐ）は画素Ｐの近傍系、Ｐ_ＸＹ（Ｉ_Ｘ（ｑ），Ｉ_Ｙ（ｑ））は画素値Ｉ_Ｘ（ｑ），Ｉ_Ｙ（ｑ）の同時生起確率、Ｐ_Ｘ（Ｉ_Ｘ（ｑ）），Ｐ_Ｙ（Ｉ_Ｙ（ｑ））は、それぞれ、画素値Ｉ_Ｘ（ｑ），Ｉ_Ｙ（ｑ）の生起確率である。

プロセッサ５０は、フィルタリング処理において、各画素ｐについて、コントロール画像Ｉと対象画像Ｏとの局所相互情報量μ_ｃｏを求める。ある注目画素ｐにおいて、コントロール画像Ｉと対象画像Ｏとの局所相互情報量μ_ｃｏが大きければ、その注目画素ｐ付近においては、二つの画像Ｉ，Ｏ間で相互関連性が高い。相互関連性が高ければ、コントロール画像Ｉの効き方を強めても問題はない。したがって、ある注目画素ｐにおいて局所相互情報量μ_ｃｏが大きければ、プロセッサ５０は、コントロール画像Ｉに基づく第１重みＷ_ｃのほうが大きくなるように、注目画素ｐにおける両重みＷ_ｃ，Ｗ_ｏの大きさのバランスを設定する。

一方、ある注目画素ｐにおいて、コントロール画像Ｉと対象画像Ｏとの局所相互情報量が小さければ、その注目画素ｐ付近においては、二つの画像Ｉ，Ｏ間で相互関連性が低い。相互関連性が低ければ、コントロール画像Ｉの効き方を弱めて対象画像Ｏの効き方を強めるべきである。したがって、ある注目画素ｐにおいて局所相互情報量μ_ｃｏが小さければ、プロセッサ５０は、対象画像Ｏに基づく第２重みＷ_ｏのほうが大きくなるように、注目画素ｐにおける両重みＷ_ｃ，Ｗ_ｏの大きさのバランスを設定する。

重みＷ_ｃ，Ｗ_ｏの大きさのバランス調整は、前述のように、例えば、プロセッサ５０がパラメータσ_ｃ，σ_ｏの値を調整する処理を実行することで行える。パラメータσ_ｃ，σ_ｏの値の調整は、画素毎に行われても良いし、複数の画素を含む部分領域毎に行われても良い。σ_ｃ，σ_ｏの値の調整は、例えば、パラメータσ_ｃ，σ_ｏを、相互関連性の関数とすることで行われる。より具体的には、σ_ｃ，σ_ｏの値の調整は、パラメータσ_ｃ，σ_ｏを、相互情報量μ_ｃｏの関数σ_ｃ（μ_ｃｏ），σ_ｏ（μ_ｃｏ）とすることで行える。

関数σ_ｃ（μ_ｃｏ）は、局所相互情報量μ_ｃｏが大きくなれば、関数σ_ｃ（μ_ｃｏ）の値が小さくなり、局所相互情報量μ_ｃｏが小さくなれば、関数σ_ｃ（μ_ｃｏ）の値が大きくなるものとすればよい。関数σ_ｏ（μ_ｃｏ）は、局所相互情報量μ_ｃｏが大きくなれば、関数σ_ｏ（μ_ｃｏ）の値が大きく、局所相互情報量μ_ｃｏが小さくなれば、関数σ_ｏ（μ_ｃｏ）の値が小さくなる。

換言すると、局所相互情報量μ_ｃｏが大きくなれば、関数σ_ｃ（μ_ｃｏ）の値が小さくなり、関数σ_ｏ（μ_ｃｏ）の値が大きくなる。これにより、コントロール画像Ｉに基づく第１重みＷ_ｃのほうが大きくなる。また、局所相互情報量μ_ｃｏが小さくなれば、関数σ_ｃ（μ_ｃｏ）の値が大きくなり、関数σ_ｏ（μ_ｃｏ）の値が小さくなる。これにより、対象画像Ｏに基づく第２重みＷ_ｏのほうが大きくなる。

相互情報量の関数であるパラメータσ_Ｃ，σ_Ｏの一例を以下に示す。相互情報量の関数であるパラメータσ_Ｃ，σ_Ｏの計算方法は、以下のものに限られない。以下において、σ_ｒＯ，σ_ｇＯ，σ_ｂＯは、それぞれ、カラーコントロール画像Ｉの赤、緑、青チャネルｒ，ｇ，ｂ毎のパラメータである。σ_ｒＣ，σ_ｇＣ，σ_ｂＣは、それぞれ、カラーコントロール画像Ｉの赤、緑、青チャネルｒ，ｇ，ｂ毎のパラメータである。
ここで、μ_ｒｏ，μ_ｇｏ，μ_ｂｏは、それぞれ、カラーコントロール画像Ｉの赤、緑、青チャネルの画像Ｉ_ｒ，Ｉ_ｇ，Ｉ_ｂそれぞれと対象画像Ｏとの局所相互情報量を表している。

式８〜式１０に示すように、パラメータσ_ｒＯ，σ_ｇＯ，σ_ｂＯは、それぞれ、μ_ｒＯ，μ_ｇｏ，μ_ｂＯの関数となっている。第２重みＷ_Ｏのためのパラメータσ_Ｏは、色チャネルｒ，ｇ，ｂ毎に求められたパラメータσ_ｒＯ，σ_ｇＯ，σ_ｂＯに基づき、式１１のように求められる。

式８〜式１０に示すように、パラメータσ_ｒＣ，σ_ｇＣ，σ_ｂＣも、それぞれ、μ_ｒＯ，μ_ｇｏ，μ_ｂＯの関数となっている。第１重みＷ_ｃは、色チャネルｒ，ｇ，ｂ毎に求められたパラメータσ_ｒＣ，σ_ｇＣ，σ_ｂＣに基づき、次式によって求められる。

図７Ａは、トライラテラルフィルタリングによる生成画像１０３ａ，１０３ｂ，１０３ｃと、局所トライラテラルフィルタリングによる生成画像１０４ａ，１０４ｂ，１０４ｃとを示している。生成画像１０３ｂ及び生成画像１０４ｂは、それぞれ、生成画像１０３ａ，１０４ａの拡大画像である。生成画像１０３ｃ，１０４ｃは、それぞれ、生成画像１０３ｂ及び生成画像１０４ｂの拡大画像である。

局所トライラテラルフィルタリングによる生成画像１０４ｃの領域Ｅでは、トライラテラルフィルタリングによる生成画像１０３ｂの領域Ｄに比べて、エッジがよりシャープになっており、空間解像度が向上している。

［３．付記］
本発明は、前述の実施形態に限定されるものではなく、様々な変形が可能である。

１０ 撮像システム
２０ 撮像部
２１ 可視光カメラ
２３ 赤外線カメラ
３０ 画像処理装置
４０ 記憶装置
４１ コントロール画像の記憶領域
４３ 対象画像の記憶領域
４５ 生成画像の記憶領域
５０ プロセッサ
５１ フィルタリング処理
１０２ａ，１０２ｂ 生成画像
１０３ａ，１０３ｂ，１０３ｃ 生成画像
１０４ａ，１０４ｂ，１０４ｃ 生成画像
Ｏ 対象画像
Ｉ コントロール画像

Claims (9)

1. フィルタを対象画像に適用するフィルタリング処理を実行する画像処理装置であって、
   前記フィルタは、
   注目画素と周辺画素との距離に基づく空間重みと、
   注目画素値と周辺画素値との差に基づく画素値重みと、
   を含み、
   前記画素値重みは、
   前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
   前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
   を含む
   画像処理装置。
2. 前記対象画像は、前記コントロール画像よりも低解像度の画像であり、
   前記フィルタリング処理は、画素数が前記コントロール画像に対応するように前記対象画像を変換する変換処理を含み、
   前記第２重みは、前記変換処理がなされた前記対象画像に基づいて求められ、
   前記フィルタは、前記変換処理がなされた前記対象画像に適用される
   請求項１に記載の画像処理装置。
3. 前記コントロール画像は、可視光画像であり、
   前記対象画像は、赤外線画像である
   請求項１に記載の画像処理装置。
4. 前記コントロール画像は、可視光画像であり、
   前記対象画像は、前記可視光画像よりも低解像度の赤外線画像であり、
   前記フィルタリング処理は、画素数が前記可視光画像に対応するように前記赤外線画像を変換する変換処理を更に含み、
   前記第２重みは、前記変換処理がなされた前記遠赤外線画像に基づいて求められ、
   前記フィルタは、前記変換処理がなされた前記赤外線画像に適用される
   請求項１に記載の画像処理装置。
5. 前記第１重み及び前記第２重みは、前記第１重み及び前記第２重みが適用される局所領域における前記コントロール画像と前記対象画像との相互関連性に基づいて設定される
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記第１重みは、局所的な前記相互関連性が高いほど大きく設定され、
   前記第２重みは、局所的な前記相互関連性が低いほど大きく設定される
   請求項５に記載の画像処理装置。
7. 対象画像及びコントロール画像を撮像する撮像部と、
   フィルタを前記対象画像に適用するフィルタリング処理を実行する画像処理装置と、
   を備え、
   前記フィルタは、
   注目画素と周辺画素との距離に基づく空間重みと、
   注目画素値と周辺画素値との差に基づく画素値重みと、
   を含み、
   前記画素値重みは、
   前記コントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
   前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
   を含む
   撮像システム。
8. フィルタを対象画像に適用するフィルタリング処理を実行することを含む画像処理方法であって、
   前記フィルタは、
   注目画素と周辺画素との距離に基づく空間重みと、
   注目画素値と周辺画素値との差に基づく画素値重みと、
   を含み、
   前記画素値重みは、
   前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
   前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
   を含む
   画像処理方法。
9. フィルタを対象画像に適用するフィルタリング処理をコンピュータに実行させるコンピュータプログラムであって、
   前記フィルタは、
   注目画素と周辺画素との距離に基づく空間重みと、
   注目画素値と周辺画素値との差に基づく画素値重みと、
   を含み、
   前記画素値重みは、
   前記対象画像の撮像対象物と同じ撮像対象物を撮像したコントロール画像における注目画素値と周辺画素値との差に基づく第１重みと、
   前記対象画像における注目画素値と周辺画素値との差に基づく第２重みと、
   を含む
   コンピュータプログラム。