JP2020077946A - 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム - Google Patents

Abstract

【課題】撮影された動画を用いて合成画像を生成する際に、動く被写体が存在する場合であっても動きによる違和感の低減された合成画像を生成する。【解決手段】動画像データに含まれる異なる撮影条件で撮影された複数の画像信号を順次取得し、少なくとも所定の撮影条件について、既に生成されているノイズ低減画像に、対応する撮影条件の画像信号を合成することにより、新たなノイズ低減画像を生成し、生成された新たなノイズ低減画像と、他の撮影条件の画像信号とを合成する。対応する撮影条件における合成比率は、対応する撮影条件の画像信号のフレーム間の変化量と、対応する撮影条件の撮影条件を示すパラメータとに応じて決定する。【選択図】図７

Description

本発明は、画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラムに関する。

従来、動画像信号の時間方向に連続する２フレーム（現在のフレームの入力信号と１つ前のフレームの出力信号）を合成することによって、時間方向に発生するランダムノイズを低減することができる巡回型ノイズ低減処理が知られている。巡回型ノイズ低減処理では、フレームを合成する比率（以降、巡回係数と呼ぶ）は、特許文献１で提案されるように２フレーム間の変化量を算出し、その結果に応じて設定することができる。フレーム間の変化量の結果に応じて巡回係数を設定することで、静止被写体と動く被写体を区別したノイズ低減処理を行うことが可能になる。

ところで、ワイドダイナミックレンジ処理（以下、ＷＤＲ処理と呼ぶ）を行う場合や、異なる波長領域の画像の合成処理など、被写体を異なる条件で撮影した複数の画像を合成する技術が知られている。ＷＤＲ処理は、露光時間の短い入力信号（以下、短時間露光画像と呼ぶ）と露光時間の長い入力信号（以下、長時間露光画像と呼ぶ）を一組として撮影し、これらの入力信号を画素ごとに選択的に合成する。このような処理により、幅広いダイナミックレンジを表現する出力信号（以下、ＷＤＲ合成画像と呼ぶ）を生成することができる。

また、異なる波長領域の画像の合成処理として、特許文献２で提案されるように、可視光信号と赤外光信号とを合成する技術が知られている。この技術は、夜などの暗い環境や、霧や霞など可視光画像では視認性が悪い環境において、赤外画像を可視画像に合成、重畳するものであり、背景画像はカラーで、目的の被写体はモノクロで鮮明に撮影された合成画像を得ることができる。

特開２０００−２２４４４４号公報 特開２０１３−２５５１４４号公報 特開２０１２−２３１２７３号公報

短時間露光画像と長時間露光画像との合成処理や異なる波長領域の画像の合成処理を含む場合、撮影時に動く被写体が存在すると、動く被写体周辺に多重像が発生したり、位置によって輝度値やノイズ量が異なる合成画像が生成される場合がある。特に、長時間露光画像における動く被写体は被写体ブレの影響を受けやすいため、ＷＤＲ合成処理後の画像において多重像の発生が広範囲に及ぶ原因になる。

例えば、図１において左から右に移動する動く被写体が存在する場合、図１（ａ）の短時間露光画像と比較すると、図１（ｂ）の長時間露光画像は被写体ブレが広範囲にわたって発生する。この状況で前述の一般的なＷＤＲ合成処理を適用すると、図１（ｃ）に示すように、合成処理後の動く被写体が長時間露光画像で発生している被写体ブレの影響を受けて、多重像が広範囲にわたって発生し視認性が悪化する。

このような課題に対し、特許文献３は、画素ごとに動く被写体領域であるかを判定し、判定結果に基づき合成比率を決定する方法を提案している。具体的には、動く被写体と判定された画素については短時間露光画像の合成比率を大きく設定し、動きがないと判定された画素については長時間露光画像を大きく設定する。

しかしながら、特許文献３に開示される技術では、動く被写体の領域を正確に抽出できることが前提となっている。２枚の露光時間の異なる画像間で動く被写体を判定する際に計算コストがかかる点や、回路規模が大きくなる点、ノイズの影響によって精度が悪くなる点などの課題がある。すなわち、撮影された動画を用いて合成画像を生成する際に、動く被写体が存在する場合であっても動きによる違和感の低減された合成画像を生成可能な技術が望まれている。

本発明は、上記課題に鑑みてなされ、その目的は、撮影された動画を用いて合成画像を生成する際に、動く被写体が存在する場合であっても動きによる違和感の低減された合成画像を生成することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、動画像データに含まれる複数の画像信号を順次取得する取得手段であって、前記複数の画像信号は、異なる撮影条件で撮影された画像信号で構成される、取得手段と、前記異なる撮影条件のうちの少なくとも所定の撮影条件について、対応する撮影条件の既に生成されているノイズ低減画像に、前記複数の画像信号のうちの対応する撮影条件の画像信号を合成するための、対応する撮影条件における合成比率を決定する決定手段と、前記少なくとも所定の撮影条件について、前記対応する撮影条件における合成比率を用いて前記対応する撮影条件の既に生成されているノイズ低減画像に前記対応する撮影条件の画像信号を合成することにより、対応する撮影条件の新たなノイズ低減画像を生成するノイズ低減手段と、前記少なくとも所定の撮影条件について生成された前記新たなノイズ低減画像と、他の撮影条件の画像信号とを合成する合成手段と、を有し、前記決定手段は、前記対応する撮影条件の画像信号のフレーム間の変化量と、対応する撮影条件の撮影条件を示すパラメータとに応じて、前記対応する撮影条件における合成比率を決定する、ことを特徴とする。

本発明によれば、撮影された動画を用いて合成画像を生成する際に、動く被写体が存在する場合であっても動きによる違和感の低減された合成画像を生成することが可能になる。

ＷＤＲ合成画像を生成する際の課題を説明する図 実施形態１における撮像システムのシステム構成例を示す図 実施形態１における撮像装置の一例としての監視カメラの機能構成例を示すブロック図 実施形態１における画像処理部の機能構成例を示すブロック図 実施形態１におけるＮＲ処理部の機能構成例を示すブロック図 実施形態１における巡回型ＮＲ処理部の機能構成例を示すブロック図 実施形態１における巡回型ＮＲ処理の一連の動作を示すフローチャート 実施形態１における一連の入力信号の一例を説明する図 実施形態１におけるフレーム間変化量と巡回係数の関係を折れ線で表す図 実施形態１におけるフレーム間変化量と巡回係数の関係を複数の折れ線で表す図 実施形態１の構成による効果を説明する図 実施形態２における撮像システムの構成例を示すブロック図 実施形態２における撮像装置の一例としての監視カメラの機能構成例を示すブロック図 実施形態２における画像処理部の機能構成例を示すブロック図 実施形態２における巡回型ＮＲ処理部の機能構成例を示すブロック図 実施形態２における巡回型ＮＲ処理の一連の動作を示すフローチャート

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像システムの一例として、異なる撮影条件で撮影される画像信号を用いて合成画像を生成することが可能な監視カメラシステムの例について説明する。しかし、本実施形態は、異なる撮影条件で撮影された画像信号を取得して合成画像を生成することが可能な電子機器に適用することができる。従って、このような電子機器は、監視カメラに限らず、デジタルカメラやデジタルビデオカメラであってもよい。或いは、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末やゲーム機、時計型や眼鏡型の情報端末、工業用カメラ、車載カメラ、医療用カメラなどであってもよい。

図２は、本実施形態における撮像システムのシステム構成例を示している。撮像システムは、動画像を撮像し、画像処理を行う監視カメラ２０１と、ＩＰネットワーク網を介して相互に通信可能な状態で接続され、監視カメラ２０１から送信される動画を閲覧又は記録するクライアント装置２０２とから構成される。以下の例では、監視カメラ２０１が本実施形態の画像処理装置の機能を備える例を説明するが、クライアント装置２０２が本実施形態の画像処理装置の機能を備えるように構成されてもよい。

（監視カメラの構成）
次に、図３を参照して、本実施形態の監視カメラ２０１の機能構成例について説明する。撮像光学系３０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター等を有して構成され、被写体等の光学像を撮像素子部３０２の撮像面上に形成（結像）させる。撮像素子部３０２は、撮像面に入射した光を電気信号へと変換する撮像素子と、撮像素子の各画素に対応したカラーフィルタとを有して構成されたカラー撮像センサである。撮像素子部３０２は、カラーフィルタを透過して撮像面に入射した光を撮像素子により受光し、電気信号へ変換して出力する。なお、撮像素子部３０２は、全ての画素に対して、任意の露光時間を設定可能な撮像センサである。本実施形態の監視カメラ２０１の場合、撮像素子部３０２は動画の撮像を行って、時間軸上で連続したフレームのそれぞれを構成する画像信号を出力する。

ＣＰＵ３０３は、演算用のプロセッサを含み、監視カメラ２０１の各部の動作を制御する。ＣＰＵ３０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０４に格納されたプログラムの命令をＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０５に展開、実行することにより、各部の動作を制御する。ＲＯＭ３０４は、例えば半導体メモリ等の不揮発メモリを含み、ＣＰＵ３０３が実行するプログラムや各種設定値を格納している。ＲＡＭ３０５は、例えばＤＲＡＭなどの揮発性メモリを含み、ＲＯＭ３０４に格納されたプログラムが展開され、また、各構成における処理途中のデータの一時的な記憶等を行う。

撮像系制御部３０６は、ＣＰＵ３０３から供給されるフォーカス制御指示、シャッター制御指示、絞り制御指示などの各指示を基に、撮像光学系３０１のフォーカス合わせ、シャッター開閉、絞り調整などの各制御を行う。リモート制御部３０７は、クライアント装置２０２からの指示に基づき、ＣＰＵ３０３を介して各部の制御を行う。

Ａ／Ｄ変換部３０８は、撮像素子部３０２による光電変換で得られたアナログ電気信号（アナログ撮像信号）をデジタル信号値に変換する。Ａ／Ｄ変換部３０８によるアナログデジタル変換により得られたデジタル信号値は、動画の各フレームの画像信号として画像処理部３０９に送られる。画像処理部３０９は、入力された画像信号に対してノイズ低減処理等の後述する画像処理を適用する。エンコーダ部３１０は、画像処理部３０９による画像処理後の画像信号を用いて、例えばＪＰＥＧやＨ．２６４／Ｈ．２６５などの所定のファイルフォーマットへの変換処理（すなわちエンコード処理）を行う。このエンコーダ部３１０によるエンコード処理後の画像信号は、不図示の通信部を介してクライアント装置２０２に送信される。

（画像処理部３０９の構成）
次に、図４を参照して、本実施形態の画像処理部３０９の機能構成例について説明する。画像入力部４０１には、上述のように撮像素子部３０２によって撮像されて、さらにＡ／Ｄ変換部３０８にてアナログデジタル変換された、動画の各フレームの画像信号が入力される。ＷＤＲ処理が実行される場合、画像入力部４０１には、異なる露光時間で撮影された長時間露光画像と短時間露光画像（すなわち異なる撮影条件で撮影された画像信号）が順次、入力される。なお、本実施形態では、これらの画像が時分割で入力されることを想定しているが、これに限るものでなく、センサラインごとに長時間露光画像と短時間露光画像を同時に取得するような構成を想定してもよい。

現像処理部４０２は、画像入力部４０１に入力された撮像画像データに対して、デモザイク、ホワイトバランス、ガンマ、シャープネスなどの処理を行う。ＮＲ（ノイズリダクション）処理部４０３は、図５に示すように時間方向のフィルタを施す巡回型ＮＲ処理部５０１と、空間方向のフィルタを施す空間ＮＲ処理部５０２とから構成される。ＮＲ処理部４０３は、これらの２つのＮＲ処理を施すことで、時間方向および空間方向に発生するランダムノイズを低減する。本実施形態に係る巡回型ＮＲ処理部５０１の詳細な構成および動作については後述する。

ＷＤＲ処理部４０４部は、ＮＲ処理部４０３部によってノイズが低減された異なる露光時間の複数の画像を合成して、１枚のＷＤＲ合成画像を生成する。異なる露光時間で撮像された画像を合成する際の合成比率は、例えば、長時間露光画像における白とび領域については短時間露光画像の合成比率を大きく設定し、短時間露光画像における黒潰れ領域については長時間露光画像の合成比率を大きく設定する。なお、合成比率の算出方法はこれに限るものでなく、動き補償の結果に基づく算出方法や、ノイズ量に基づく算出方法等、様々な算出方法を用いることができる。画像出力部４０５は、ＷＤＲ処理部４０４から出力されたＷＤＲ合成画像を、エンコーダ部３１０に出力する。

（巡回型ＮＲ処理部の構成）
次に、巡回型ＮＲ処理部５０１について説明する。巡回型ＮＲ処理部５０１について詳述する前に、巡回型ノイズ低減処理の概要について説明する。

時刻ｎ＞２のフレームにおける入力信号をＩＮ（ｖ、ｈ、ｎ）、出力信号をＯＵＴ（ｖ,ｈ,ｎ）、２次元位置の等しい時刻ｎ−１のフレームにおける出力信号をＯＵＴ（ｖ， ｈ，ｎ−１）と表し、該当信号における巡回係数をα（０≦α≦１）とする。

巡回型ノイズ低減処理が施された後の出力信号ＯＵＴ（ｖ，ｈ，ｎ）は、式（１）の重みつけ加算の演算によって算出される。ここで、ｖ、ｈはフレーム内の水平方向と垂直方向の座標位置を示し、ｎ＝１のフレームにおける出力信号は入力信号と同じものとする。

ここで、入力信号のフレーム間の変化量が小さい場合、重みである巡回係数αを大きく設定することで、静止被写体部分のノイズを強く低減する。すなわち、フレーム間の相関が高い静止被写体部分におけるフレーム間の差分信号はノイズを表すため、巡回係数αを大きく設定することでノイズが強く低減される。

一方、入力信号のフレーム間の変化量が大きい場合、巡回係数αの重みを小さく設定することで、フレーム間の差分信号が入力画像から削減され難くなるため、動く被写体の信号成分は保存される。なお、仮に動き被写体に対して巡回係数αを大きく設定すると、動く被写体の成分は入力画像から強く低減される。このように、フレーム間変化量の結果に応じた巡回係数を設定することで、静止被写体のノイズを低減しつつ、動く被写体の視認性を維持することができる。

このような巡回型ノイズ低減処理に対し、本実施形態に係る巡回型ＮＲ処理部５０１は、合成後のＷＤＲ合成画像において動く被写体周辺に発生する違和感を軽減するために、フレーム間の変化量だけでなく、入力画像の露光時間に基づき巡回係数を決定する。

図６は、動画の入力信号に本実施形態の巡回型ＮＲ処理を施すための巡回型ＮＲ処理部５０１の構成例を示している。本実施形態の巡回型ＮＲ処理は、入力信号取得部６０１、カメラ情報取得部６０２、変化量算出部６０３、巡回係数決定部６０４、合成処理部６０５、出力信号保持部６０６、出力信号変換部６０７から構成される。

入力信号取得部６０１は、露光時間の異なる複数の入力信号を順次取得し、変化量算出部６０３および合成処理部６０５に出力する。カメラ情報取得部６０２は、入力信号取得部６０１で取得された複数の入力信号に対する露光時間を取得する。変化量算出部６０３は、露光時間の異なる入力信号ごとにフレーム間変化量を算出する。

巡回係数決定部６０４は、変化量算出部６０３から入力されるフレーム間変化量と、カメラ情報取得部６０２から得られる露光時間とに応じて、露光時間の異なる入力信号ごとの巡回係数を決定する。合成処理部６０５は、露光時間ごとに、入力信号取得部６０１から取得される入力信号と、一時記憶された入力信号と露光時間の一致する１つ前のフレームの出力信号とを、決定された巡回係数に基づいて合成し、巡回型ＮＲ処理が施す。すなわち、合成処理部６０５は、巡回型ＮＲ処理の施された現フレームの出力信号を出力する。

出力信号保持部６０６は、合成処理部６０５からの出力信号を不図示のフレームメモリに一時記憶する。出力信号変換部６０７は、合成処理部６０５からの、露出時間の異なる複数の出力信号を順次、ＷＤＲ処理部４０４部に出力する。

（ノイズ低減処理に係る一連の動作）
図７を参照して、巡回型ＮＲ処理部５０１におけるノイズ低減処理の一連の動作について説明する。なお、ノイズ低減処理の一連の動作は、画像処理部３０９のハードウェアによって、或いは、ＲＯＭ３０４に記録されたプログラムをＣＰＵ３０３又は画像処理部３０９が実行することにより実現される。

Ｓ７０１において、入力信号取得部６０１は、動画像データから、露光時間の異なる複数の入力信号（すなわち異なる撮影条件で撮影された画像信号）を順次取得し、適切な信号成分へ変換を行う。入力信号取得部６０１は、例えば、現像処理部４０２から入力されるＲＧＢ信号をＹＵＶ信号へ変換して巡回型ＮＲ処理を実行する場合、式（２）の変換式に従って、入力信号の変換を変換する。

Ｓ７０２において、カメラ情報取得部６０２は、順次取得される入力信号ごとのカメラ情報（すなわち撮影条件を示すパラメータ）を取得する。本実施形態では、例えば、順次取得される画像に対する露光時間を取得する。図８に示す例は、２種類の異なる露光時間で撮影された、短秒露光時間画像と長秒露光時間画像が繰り返し入力される例を示している。カメラ情報取得部６０２は、入力画像それぞれの露光時間を取得する。ただし、ＷＤＲ合成画像を生成する画像セットは、図８にあるように２種類に限るものではなく、例えば、露光時間の異なる３種類以上の画像を用いてもよい。また、動画像データが１つの動画のみを含むのではなく、短秒露光時間画像と長秒露光時間画像が同期された別の動画に含まれ、それぞれの動画から入力信号を取り出してもよい。

Ｓ７０３において、変化量算出部６０３は、入力信号取得部６０１から取得される入力信号と、入力信号と露光時間の一致する（すなわち撮影条件が同一である）１つ前のフレームの出力信号を不図示のフレームメモリから読み出し、成分ごとの変化量を求める。本実施形態では、例えば式（３）のように差分絶対値を変化量として算出する。ただし、これに限るものではなく、当然のことながら差分二乗値や、低周波あるいは高周波成分の差分絶対値等を変化量として算出してもよい。

ここで、Ｙ_Ｌ（ｖ、ｈ、ｎ）は長時間露光画像の入力信号、Ｙ_Ｌ（ｖ、ｈ、ｎ−１）は長時間露光画像の出力信号、ΔＹ_Ｌ（ｖ、ｈ、ｎ）は長時間露光画像のフレーム間変化量を示す。また、Ｙ_Ｓ（ｖ、ｈ、ｎ）は短時間露光画像の入力信号、Ｙ_Ｓ（ｖ、ｈ、ｎ−１）は短時間露光画像の出力信号、ΔＹ_Ｓ（ｖ、ｈ、ｎ）は短時間露光画像のフレーム間変化量を示す。なお、式（３）は、輝度成分における処理を代表して記載したが、色（ＵＶ）成分に対しても同様の処理を行う。

Ｓ７０４において、巡回係数決定部６０４は、カメラ情報取得部６０２から入力される露光時間と、変化量算出部６０３に基づき、異なる露光時間ごとの巡回係数を算出する。以下、巡回係数を算出する過程を詳細に説明する。

まず、巡回係数決定部６０４は、カメラ情報取得部６０２から入力される露光時間を取得し、長時間露光画像および、短時間露光画像に対応する閾値ＴＨと動被写体巡回係数α１および静止被写体巡回係数α２を、式（４）、（５）に示すように決定する。巡回係数決定部６０４は、短時間露光用の動被写体巡回係数、静止被写体巡回係数（α１_Ｓ、α２_Ｓ）および閾値（ＴＨ_Ｓ）と比較して、長時間露光用の動被写体巡回係数、静止被写体巡回係数（α１_Ｌ、α２_Ｌ）および閾値（ＴＨ_Ｌ）が大きくなるようにする。

特に、本実施形態では、式（４）に示すように、ＷＤＲ合成画像の長時間露光画像における動く被写体の影響を軽減するため、長時間露光用の巡回係数α２_Ｌを０．５より大きな値に設定する。効果については後述する。

式（４）で示したように、巡回係数の取りうる値の範囲は０以上１以下であり、式（５）のフレーム間変化量の閾値は、例として８ビット信号の差分絶対値（０以上２５５以下）を想定したものである。これらの閾値および静止被写体巡回係数、動被写体巡回係数は、式（４）の関係を満たす限り、露光時間の差分や比に基づき算出する方法やあらかじめメモリに設定された値を読み出す方法等、様々な算出方法を採用することができる。また、露光時間の異なる入力信号が３種類以上入力される場合は、露光時間の情報に応じて、短秒側と比較して、長秒側の巡回係数および閾値を大きく設定する。

入力信号が短時間露光画像である場合、短時間露光画像用の巡回係数α１_Ｓ、α２_Ｓ、および、変化量の閾値ＴＨ_Ｓ、並びに変化量算出部６０３から入力される短時間露光画像のフレーム変化量ΔＤ_Ｓ（ｖ、ｈ）に基づき、巡回係数を決定する。具体的には、図９に示すようにフレーム変化量（横軸）が閾値ＴＨ_Ｓ未満の場合、座標位置（ｖ、ｈ）を静止被写体と解釈して、巡回係数の値を大きく設定する。一方、フレーム間変化量の値がＴＨ_Ｓ以上の場合、座標位置（ｖ、ｈ）を動く被写体と解釈して、巡回係数の値を小さく設定する。

また、入力信号が長時間露光画像である場合、長時間露光画像用の巡回係数α１_Ｌ、α２_Ｌおよび、閾値ＴＨ_Ｌ、並びに変化量算出部６０３から入力される長時間露光時間のフレーム変化量ΔＹ_Ｌ（ｖ、ｈ）に基づき、巡回係数を設定する。

図９に示すように、長時間露光画像の巡回係数は、α１_Ｌ、α２_Ｌの値のいずれかをとるため、短時間露光画像の巡回係数がとるα１_Ｓ、α２_Ｓよりも大きな値であり、より強いノイズ低減効果が見込まれる。すなわち、長時間露光画像では、短時間露光画像よりも変化のある信号（すなわち動く被写体部分）がより強く低減されることになる。なお、閾値を２つ以上設定することで、図１０にあるようにフレーム間変化量に応じて巡回係数を滑らかに設定することも可能である。以上の処理により、巡回係数が決定される。

Ｓ７０５において、入力信号取得部６０１から取得される入力信号と露光時間の一致する（すなわち撮影条件が同一である）１つ前のフレームの出力信号を出力信号保持部６０６から読み出す。そして、巡回係数決定部６０４から出力される巡回係数の値に基づき、入力信号とフレームの出力信号とを合成し、巡回型ＮＲ処理が施された出力信号を得る。

Ｓ７０６は、Ｓ７０５で得られた出力信号を出力信号保持部６０６に保持する。Ｓ７０７において、出力信号変換部６０７は、ＹＵＶ出力信号を取得し、式（６）の変換式により、ＲＧＢ出力信号に変換する。

以上説明したＳ７０１〜Ｓ７０７の各処理を、全ての入力信号について行うことにより、本実施形態に係る巡回型ＮＲ処理を施すことができる。このように、巡回型ＮＲ処理部５０１は、異なる撮影条件で撮影された画像信号を順次取得しながら、撮影条件を示すパラメータ（すなわち露光時間）と、撮影条件のそれぞれで撮影されたフレーム間の変化量とを算出する。そして、同一の撮影条件で撮影された画像信号に適用する巡回係数を、（撮影条件ごとに）上記撮影条件を示すパラメータとフレーム間の変化量とに基づいて決定する。同一の撮影条件で撮影された入力信号と１つ前のフレームの出力信号とに対して、決定した巡回係数を適用することにより、異なる撮影条件ごとのノイズ低減画像を得ることができる。

次に、図１１を参照して、本実施形態の巡回型ＮＲ処理が施された露光時間の異なる複数画像を用いて得られるＷＤＲ合成画像の効果について説明する。短時間露光画像の巡回型ＮＲ処理は、式（４）に示すように動被写体巡回係数が０．５未満であるため、動く被写体と判定された領域において、巡回型ＮＲ処理が相対的に弱く施される。従って、図１１（ａ）に示すように、従来の巡回型ＮＲ処理と同様に、巡回型ＮＲ処理が施された画像は動く被写体の信号成分を保持しつつ、ノイズが低減された出力信号が得られる。

一方、長時間露光画像の巡回係数および閾値は短時間露光画像と比較して大きな値を設定され、特に式（４）に示したように動被写体巡回係数が０．５より大きく設定されている。このため、動く被写体部分がより強く低減され、動く被写体の信号成分が保持されにくい。換言すれば、画像全体に巡回型ＮＲ処理を強く施すことで、図１１（ｂ）に示すように、動く被写体の信号成分が静止被写体（背景）に同化しやすく、動く被写体の信号が消えた出力信号が得られる。

これより、本実施形態の巡回型ＮＲ処理が施された短時間露光画像と長時間露光画像を用いたＷＤＲ処理は、図１１（ｃ）に示すように、長時間露光時間で発生している被写体ブレの影響が軽減される。また、少ない計算コストでＷＤＲ合成画像の多重像を抑えることができる。すなわち、撮影された動画を用いて合成画像を生成する際に、動く被写体が存在する場合であっても動きによる違和感の低減された合成画像を生成することが可能になる。

なお、本実施形態ではＹＵＶデータ形式に対して巡回型ＮＲ処理を実行したが、特にこれに制限されない。入力信号取得部６０１で適切な変換を実行することで、例えば、ＲＧＢ成分や、Ｌａｂ成分等、様々な信号成分に対して同様の処理を実行することも可能である。また、本実施形態では、短時間露光画像においても巡回型ＮＲ処理を実行したが、ＷＤＲ処理画像の多重像を抑えることを目的に、長時間露光画像にのみ巡回型ＮＲ処理を実行する構成も可能である。

（実施形態２）
実施形態１では、ＷＤＲ処理時に露光時間の異なる複数の可視光画像に対して巡回型ＮＲ処理および合成処理を実行する方法について説明した。実施形態２では、可視光信号と非可視光信号のセンサから得られる波長の異なる複数の入力画像に対して巡回型ＮＲ処理および合成処理を実行する。なお、実施形態１と同一又は実質的に同一な構成については、同一の参照番号を付してその説明を省略し、相違点について重点的に説明する。

図１２は、本実施形態における撮像システムのシステム構成例を示している。図１２に示す撮像システムは、動画像を撮像し、画像処理を行う装置として、可視光信号および非可視光信号を取得する監視カメラ１２０１と、ＩＰネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置１２０２とから構成されている。ここでは、監視カメラ１２０１が本実施形態の画像処理装置の機能を備える例を説明するが、クライアント装置１２０２が本実施形態の画像処理装置の機能を備えるように構成されてもよい。なお、監視カメラ１２０１は、多眼レンズおよび複数のセンサから構成されるものに限らない。例えば、単一のレンズおよびセンサであってもよく、可視光信号と非可視光信号の領域に感度を持つセンサを用いることや、監視カメラ内部にダイクロイックミラー等を設けて、可視光信号と非可視光信号に分離し、取得する構成などでもよい。

（監視カメラの構成）
次に、図１３を参照して、本実施形態の監視カメラ１２０１の機能構成例について説明する。可視光信号を取得する撮像光学系１３０１は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター等を有して構成され、被写体等の光像を可視光信号の領域に感度を持つ撮像素子部１３０２の撮像面上に形成（結像）させる。非可視光信号を取得する撮像光学系１３０３および、非可視光信号に感度を持つ撮像素子部１３０４は、感度特性を除き、可視光信号を取得する撮像光学系１３０１および、撮像素子部１３０２と同様の構成である。画像処理部１３０５は可視光信号と非可視光信号に対してＮＲ処理および合成処理を実行する。以下、画像処理部１３０５の構成及びその処理について相違点を説明する。

図１４は、本実施形態の画像処理部１３０５の機能構成例を示している。画像処理部１３０５は、ＮＲ処理部１４０１及び可視・非可視合成処理部１４０２が実施形態１と異なる。ＮＲ処理部１４０１は、実施形態１と同様の構成であり、図５に示したように時間方向のフィルタを施す巡回型ＮＲ処理部５０１と、空間方向のフィルタを施す空間ＮＲ処理部５０２とを有する。この２つのＮＲ処理により、時間方向および空間方向に発生するランダムノイズを低減するＮＲ処理を行う。本実施形態の巡回型ＮＲ処理部５０１の詳細な構成および動作については、後述する。

可視・非可視合成処理部１４０２は、ＮＲ処理部１４０１でノイズが低減された複数の波長の異なる画像を合成して、１枚の合成画像を生成する。異なる波長の合成比率の算出方法として、例えば、暗闇のように低照度環境において、動きのある被写体領域は非可視光信号の比率を大きく設定し、動きのない背景領域は可視光信号の比率を大きく設定する。なお、この方法に限らず、可視信号と非可視信号のノイズ量に基づく算出方法や、被写体輝度に基づく算出方法等、様々な手法を用いることができる。

本実施形態の巡回型ＮＲ処理部５０１は、可視信号と非可視信号の合成画像の動く被写体周辺に発生する違和感を軽減するために、動き量の結果だけでなく、入力画像の波長情報およびノイズ量に基づき巡回係数を決定する。

（巡回型ＮＲ処理部の構成）
次に、図１５を参照して、可視信号と非可視信号に巡回型ＮＲ処理を施して出力する、本実施形態の巡回型ＮＲ処理部５０１について説明する。本実施形態の巡回型ＮＲ処理は、入力信号取得部１５０１、カメラ情報取得部１５０２、ノイズ量算出部１５０３、変化量算出部１５０４、巡回係数決定部１５０５、合成処理部１５０６、出力信号保持部１５０７、出力信号変換部１５０８を含む。

入力信号取得部１５０１は、複数の異なる波長の入力信号を順次取得し、カメラ情報取得部１５０２、ノイズ量算出部１５０３、変化量算出部１５０４および合成処理部１５０６に出力する。カメラ情報取得部１５０２は、入力信号取得部１５０１で取得された信号の波長情報（すなわち撮影条件を示すパラメータ）を取得する。例えば、入力信号の波長が可視領域なのか、あるいは、近赤外、遠赤外等の波長の長い非可視領域の信号なのかを取得する。

ノイズ量算出部１５０３は、取得される異なる波長の入力信号のノイズ量を算出する。変化量算出部１５０４は、各波長のフレーム間変化量を算出する。巡回係数決定部１５０５は、変化量算出部１５０４から入力されるフレーム間変化量と、カメラ情報取得部１５０２から得られる該当入力信号の波長情報と、ノイズ量算出部１５０３から得られるノイズ量に応じて巡回係数を決定する。

合成処理部１５０６は、入力信号取得部１５０１から取得される入力信号と入力信号と波長の一致する１つ前のフレームの出力信号とを不図示のフレームメモリから読み出し、巡回係数決定部１５０５から出力される巡回係数の値に基づき合成する。これにより巡回型ＮＲ処理が施された出力信号を得ることができる。出力信号保持部１５０７は、合成処理部１５０６から出力される出力信号をフレームメモリ等に一時記憶する。出力信号変換部１５０８は、合成処理部１５０６から出力される異なる波長の合成画像を順次、可視・非可視合成処理部１４０２に出力する。

（巡回ノイズ低減処理に係る一連の動作）
次に、図１６を参照して、本実施形態の巡回型ノイズ低減処理に係る一連の動作について説明する。なお、ノイズ低減処理の一連の動作は、画像処理部３０９のハードウェアによって、或いは、ＲＯＭ３０４に記録されたプログラムをＣＰＵ３０３又は画像処理部１３０５が実行することにより実現される。

Ｓ１６０１において、入力信号取得部１５０１は、複数の異なる波長の入力信号を順次取得し、実施形態１と同様に適切な信号成分へ変換を行う。

Ｓ１６０２において、カメラ情報取得部１５０２は、取得される入力信号のカメラ情報（すなわち撮影条件を示すパラメータ）を取得する。例えば、順次取得される画像の波長情報を取得する。本実施形態では、２種類の波長の異なる信号（可視信号と近赤外信号）を取得するものとするが、これに限らず、例えば、可視光信号と近赤外信号に加えて遠赤外信号を取得するように異なる３種類以上の信号を用いてもよい。

Ｓ１６０３において、ノイズ量算出部１５０３は、入力信号のノイズ量を算出する。例えば、入力信号に含まれるノイズの分散値を算出する。式（７）、式（８）に従って、可視信号の輝度成分のノイズ分散σ^２ _{ＶＩＲ（ｖ、ｈ、ｔ）}を求める。なお、非可視信号の輝度成分のノイズ分散σ^２ _{ＩＲ（ｖ、ｈ、ｔ）}についても同様の式で算出することができる。

一般に、ｓ１、ｓ２の値を大きく設定することで該当信号に含まれるノイズ分散を正確に算出することができる。なお、ノイズレベルの算出方法は式（７）、（８）に限らず、ノイズの標準偏差、センサのノイズ特性を用いて算出する方法等、様々な算出方法を採用することができる。

Ｓ１６０４において、変化量算出部１５０４は、実施形態１と同様に、入力信号取得部１５０１から取得される入力信号と入力信号と波長領域の一致する１つ前のフレームの出力信号を不図示のフレームメモリから読み出し、波長ごとの変化量を算出する。

Ｓ１６０５において、巡回係数決定部１５０５は、カメラ情報取得部１５０２から入力される波長情報と、ノイズ量算出部１５０３から入力されるノイズ量と、変化量算出部１５０４から入力されるフレーム間変化量に基づき、巡回係数を算出する。以下、巡回係数を算出する過程を詳細に説明する。

まず、カメラ情報取得部１５０２から入力される波長情報とノイズ量算出部１５０３から入力される異なる波長のノイズ量を取得し、可視光信号および近赤外信号に対応する閾値ＴＨ１、ＴＨ２と動被写体巡回係数α１および静止被写体巡回係数α２を算出する。式（９）、（１０）に示すように、近赤外信号の動被写体巡回係数と静止被写体巡回係数（α１_ＩＲ、α２_ＩＲ）および閾値（ＴＨ_ＩＲ）と比較して、可視光信号の動被写体巡回係数・静止被写体巡回係数（α１_ＶＩＲ、α２_ＶＩＲ）および閾値（ＴＨ_ＶＩＲ）が大きくなるように設定する。特に、本実施形態では、式（９）に示すように、可視光信号の動く被写体の影響を軽減するために、可視光信号の動被写体巡回係数・静止被写体巡回係数（α１_ＶＩＲ、α２_ＶＩＲ）を０．５より大きな値に設定する。

式（９）に示すように巡回係数の取りうる値の範囲は０以上１以下であり、式（１０）のフレーム間変化量の閾値は、例として８ビット信号の差分絶対値（０以上２５５以下）を想定したものである。

更に、実施形態２では式（９）の関係を満たしつつ、ノイズ量算出部１５０３から入力されるノイズ量を考慮して、可視光信号と近赤外信号の動被写体巡回係数・静止被写体巡回係数を決定する。例えば、近赤外信号の巡回係数は式（１１）〜（１３）に示すように、可視光信号と近赤外信号のノイズ量の差が大きい場合、巡回係数を大きな値（α１_{ＩＲ＿ＭＡＸ}に近い値）に設定する。

ここで、（１１）におけるＴＨ’１、ＴＨ’２、α１_{ＩＲ＿ＭＩＮ}、α１_{ＩＲ＿ＭＡＸ}は、各信号に対する上限と下限を定めるパラメータである。これらのパラメータは事前に定められた固定値であってよいが、これに限らず、例えば、カメラの露出設定や、照度に応じて変更する方法や、ユーザーが動的に変更する方法や、センサの温度に依存して変更する方法等、様々な要因によって変更してもよい。

一方、可視光信号の巡回係数は、式（１４）、（１５）に示すように、可視光信号と近赤外信号のノイズ量の差が大きい場合、巡回係数を小さな値（α１_{ＶＩＲ＿ＭＩＮ}に近い値）に設定する。

ここで、ＴＨ’３、ＴＨ’４、α１_{ＶＩＲ＿ＭＩＮ}、α１_{ＶＩＲ＿ＭＡＸ}は、式（１１）、（１２）と同様に、各信号に対する上限と下限を定めるパラメータである。以上の処理により、巡回係数が算出される。式（１１）〜（１５）に示すように、可視光信号と非可視光信号のノイズ量の差に応じて巡回係数を決定することで、異なる波長間でノイズ量の差が生じた場合に、その差を小さくするような巡回型ＮＲ処理を行うことができる。

なお、ノイズ量を考慮した巡回係数の算出方法は、上記方法に限らず、可視信号と非可視信号のノイズ量の比に応じて算出する方法や、赤外照射強度によって変化するノイズ量を予めメモリに設定し読み出す方法等、様々な算出方法を採用することができる。

Ｓ１６０６において、合成処理部１５０６は、入力信号取得部１５０１から取得される入力信号と波長領域の一致する１つ前のフレームの出力信号を出力信号保持部１５０７から読み出し、巡回係数決定部１５０５から出力される巡回係数の値に基づき合成する。その後、巡回型ＮＲ処理が施された出力信号を出力する。

Ｓ１６０７において、出力信号保持部１５０７は、Ｓ１６０６で得られた出力信号を一時記憶する。Ｓ１６０８において、出力信号変換部１５０８は、複数の異なる波長領域の出力信号を順次取得して、実施形態１と同様に適切な信号成分へ変換する。以上説明したＳ１６０１〜Ｓ１６０８を全ての入力信号について行うことで、本実施形態に係る巡回型ＮＲ処理を施すことができる。

以下、本実施形態の巡回型ＮＲ処理が施された複数の異なる波長領域の出力信号を用いて得られる合成画像の効果について説明する。

式（９）、（１０）に示すように、可視光信号の巡回係数および閾値は、近赤外光信号の巡回係数および閾値と比較して大きな値を設定している。特に式（９）に示したように動被写体巡回係数は０．５より大きな値を設定する。そのため動く被写体の信号成分が保持されにくく、巡回型ＮＲ処理が施された可視光信号は動く被写体の映らない背景画像として扱うことが可能になる。これにより、合成後の画像に発生する多重像を軽減することが実現される。

更に、式（１１）〜（１５）に示すように、可視光信号と非可視光信号のノイズ量の差に応じて巡回係数を決定することで、合成後の画像について、可視光信号と非可視光信号の間で発生するノイズ量の段差を軽減することが実現される。

本実施形態２においては、合成後の多重像やノイズの段差を抑えることを目的に、可視光信号に対して、巡回型ＮＲ処理の強度を強くかける説明としたが、非可視光信号に対して巡回型ＮＲ処理の強度を強くかける構成も可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０２…撮像素子部、３０９…画像処理部、５０１…巡回型ＮＲ処理部、６０１…入力信号取得部、６０２…カメラ情報取得部、６０３…変化量算出部、６０４…巡回係数決定部、６０５…合成処理部

Claims (14)

1. 動画像データに含まれる複数の画像信号を順次取得する取得手段であって、前記複数の画像信号は、異なる撮影条件で撮影された画像信号で構成される、取得手段と、
   前記異なる撮影条件のうちの少なくとも所定の撮影条件について、対応する撮影条件の既に生成されているノイズ低減画像に、前記複数の画像信号のうちの対応する撮影条件の画像信号を合成するための、対応する撮影条件における合成比率を決定する決定手段と、
   前記少なくとも所定の撮影条件について、前記対応する撮影条件における合成比率を用いて前記対応する撮影条件の既に生成されているノイズ低減画像に前記対応する撮影条件の画像信号を合成することにより、対応する撮影条件の新たなノイズ低減画像を生成するノイズ低減手段と、
   前記少なくとも所定の撮影条件について生成された前記新たなノイズ低減画像と、他の撮影条件の画像信号とを合成する合成手段と、を有し、
   前記決定手段は、前記対応する撮影条件の画像信号のフレーム間の変化量と、対応する撮影条件の撮影条件を示すパラメータとに応じて、前記対応する撮影条件における合成比率を決定する、ことを特徴とする画像処理装置。
2. 前記撮影条件を示すパラメータは露光時間であり、
   前記決定手段は、前記露光時間が長いほど、合成する画像信号の間で変化のある信号が強く低減するように、前記対応する撮影条件における合成比率を決定する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の撮影条件は、前記異なる撮影条件のうちの最も露光時間の長い撮影条件である、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、第１露光時間で撮影された画像信号における、前記変化量が第１閾値より小さい信号に対する合成比率を、前記第１露光時間で撮影された画像信号における、前記変化量が前記第１閾値より大きい信号に対する合成比率より、変化のある信号が強く低減されるように決定する、ことを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、前記第１露光時間より露光時間の短い第２露光時間で撮影された画像信号における、前記変化量が第２閾値より大きい信号に対する合成比率を、前記第２露光時間で撮影された画像信号における、前記変化量が第２閾値より小さい信号に対する合成比率より、変化のある信号が弱く低減されるように決定する、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１閾値は、前記第２閾値より大きい、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記撮影条件を示すパラメータは入力画像の波長であり、かつ前記異なる撮影条件は、可視光の波長から赤外の波長を含む非可視光の波長までの波長を用いる撮影を含み、
   前記決定手段は、前記波長が短いほど、合成する画像信号の間で変化のある信号が強く低減するように、前記対応する撮影条件における合成比率を決定する、ことを特徴とする請求項１に記載の画像処理装置。
8. 前記決定手段は、前記可視光の波長で撮影された画像信号における、前記変化量が第１閾値より小さい信号に対する合成比率を、前記可視光の波長で撮影された画像信号における、前記変化量が前記第１閾値より大きい信号に対する合成比率より、変化のある信号が強く低減されるように決定する、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記非可視光の波長で撮影された画像信号における、前記変化量が第２閾値より大きい信号に対する合成比率を、前記非可視光の波長で撮影された画像信号における、前記変化量が前記第２閾値より小さい信号に対する合成比率より、変化のある信号が弱く低減されるように決定する、ことを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記異なる撮影条件で撮影された画像信号のノイズ量の差を更に考慮して前記合成比率を決定する、ことを特徴とする請求項７から９のいずれか１項に記載の画像処理装置。
11. 前記複数の画像信号は、前記動画像データを構成する１つの動画像の連続したフレームを構成する、ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記複数の画像信号は、同一の撮像素子を用いて撮影される、ことを特徴とする請求項１１に記載の画像処理装置。
13. 動画像データに含まれる複数の画像信号を順次取得する取得工程であって、前記複数の画像信号は、異なる撮影条件で撮影された画像信号で構成される、取得工程と、
    前記異なる撮影条件のうちの少なくとも所定の撮影条件について、対応する撮影条件の既に生成されているノイズ低減画像に、前記複数の画像信号のうちの対応する撮影条件の画像信号を合成するための、対応する撮影条件における合成比率を決定する決定工程と、
    前記少なくとも所定の撮影条件について、前記対応する撮影条件における合成比率を用いて前記対応する撮影条件の既に生成されているノイズ低減画像に前記対応する撮影条件の画像信号を合成することにより、対応する撮影条件の新たなノイズ低減画像を生成するノイズ低減工程と、
    前記少なくとも所定の撮影条件について生成された前記新たなノイズ低減画像と、他の撮影条件の画像信号とを合成する合成工程と、を有し、
    前記決定工程では、前記対応する撮影条件の画像信号のフレーム間の変化量と、対応する撮影条件の撮影条件を示すパラメータとに応じて、前記対応する撮影条件における合成比率を決定する、ことを特徴とする画像処理方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。