JP2019022018A - 映像処理装置、映像処理方法及びプログラム - Google Patents

Abstract

【課題】複数のノイズ低減処理が組み合わせて実行される場合において、映像に含まれるノイズを効果的に低減する。【解決手段】映像処理装置１００は、映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する第１の取得部１１１と、前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する第２の取得部１１２と、前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行するノイズ低減部１２０とを含む。【選択図】 図１

Description

本開示は、映像処理に関する。

画像処理又は映像処理において、さまざまなノイズ低減処理（Noise Reduction。以下「ＮＲ」ともいう。）が知られている（例えば、特許文献１〜４参照）。ノイズ低減処理は、ノイズ除去、デノイズなどとも呼ばれる。ノイズ低減処理は、人間による視認性の改善だけでなく、機械による物体認識の精度向上にも有用である。ノイズ低減処理には、特許文献３、４にも記載されているように、「２次元的」なノイズ低減処理と「３次元的」なノイズ低減処理がある。

ここでいう２次元的なノイズ低減処理とは、一般に、ある映像を構成するフレーム画像を構成する局所領域のノイズを、当該フレーム画像の他の局所領域（例えば近傍の領域）を参照することによって低減する処理をいう。２次元的なノイズ低減処理は、例えば、映像に生じた空間的な高周波ノイズの低減に有効である。

一方、３次元的なノイズ低減処理とは、一般に、ある映像を構成するフレーム画像のノイズを、他のフレーム画像（例えば直近のフレーム画像）を参照することによって低減する処理をいう。３次元的なノイズ低減処理は、例えば、映像に不規則的に発生するノイズや、映像の特定の領域に短期間に映り込んだ被写体（異物等）に起因するノイズの低減に有効である。

国際公開第２０１５／００２２４７号 特開２００６−２２９７４９号公報 特開２０１１−０４１１８３号公報 特開２０１２−０１９２５９号公報

映像に含まれるノイズをより効果的に低減する方法の一つは、複数のノイズ低減処理を組み合わせて適用することである。しかしながら、２次元的又は３次元的なノイズ低減処理を含む複数のノイズ低減処理を単に組み合わせただけでは、必ずしもノイズを効果的に低減できるとはいえないという技術的な課題が存在する。

本開示の例示的な目的は、このような課題に鑑み、複数のノイズ低減処理が組み合わせて実行される場合において、映像に含まれるノイズを効果的に低減するための技術を提供することである。

一の態様において、映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する第１の取得手段と、前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する第２の取得手段と、前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行するノイズ低減手段とを含む映像処理装置が提供される。

別の態様において、映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得し、前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得し、前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行する映像処理方法が提供される。

さらに別の態様において、コンピュータに、映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する処理と、前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する処理と、前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行する処理とを実行させるためのプログラムが提供される。

本開示によれば、複数のノイズ低減処理が組み合わせて実行される場合において、映像に含まれるノイズが効果的に低減される。

図１は、第１の映像処理装置の構成を例示するブロック図である。 図２は、第１の映像処理装置の動作を例示するフローチャートである。 図３は、第２の映像処理装置の構成を例示するブロック図である。 図４は、第２の映像処理装置の動作を例示するフローチャートである。 図５は、第３の映像処理装置の構成を例示するブロック図である。 図６は、第３の映像処理装置の動作を例示するフローチャートである。 図７は、合成処理の一例を示すフローチャートである。 図８Ａは、蓄積数と平滑化処理の関係の第１の例を示す。 図８Ｂは、蓄積数と平滑化処理の関係の第２の例を示す。 図８Ｃは、蓄積数と平滑化処理の関係の第３の例を示す。 図８Ｄは、蓄積数と平滑化処理の関係の第４の例を示す。 図９は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一の実施形態に係る映像処理装置１００の構成を示すブロック図である。映像処理装置１００は、取得部１１０と、ノイズ低減部１２０とを少なくとも含む。なお、映像処理装置１００は、取得部１１０及びノイズ低減部１２０以外の他の構成をさらに含んでもよい。

映像処理装置１００は、映像を構成するフレーム画像に対して映像処理を実行するための装置である。映像処理装置１００により実行される映像処理は、ノイズ低減処理を少なくとも含むが、他の処理（例えば、コントラスト補正、デヘイズ等の鮮明化処理）を含み得る。本実施形態でいうノイズ低減処理は、映像に含まれるノイズを低減、すなわち抑制させる処理である。

本実施形態でいう映像は、一定の又は可変のフレームレートで撮影された複数のフレーム画像によって構成される。本実施形態において、映像のフレームレート、解像度、色深度などは、特に限定されない。例えば、映像は、モノクロであってもカラーであってもよい。

また、本実施形態でいうノイズは、映像において被写体（撮影対象の物体、目標物など）の視認を妨げる情報である。本実施形態におけるノイズは、例えば、高感度撮影に起因するノイズ（いわゆる高感度ノイズ）や、映像に映り込んだ雨、雪などの遮蔽物である。ただし、本実施形態におけるノイズは、特定の種類のノイズに限定されず、一般にノイズとみなされるさまざまなものを含み得る。

取得部１１０は、各種の情報を取得する。取得部１１０は、より詳細には、第１の取得部１１１と第２の取得部１１２とをさらに含む。なお、第１の取得部１１１及び第２の取得部１１２は、ここではそれぞれの機能に基づいて分類されているが、ハードウェアとしては単一の構成要素（通信インタフェース等）であってもよい。

第１の取得部１１１は、フレーム画像を取得する。第１の取得部１１１により取得されるフレーム画像は、ノイズ低減処理があらかじめ実行されている。以下においては、このノイズ低減処理のことを「第１のノイズ低減処理」ともいう。第１のノイズ低減処理は、あらかじめ決められた処理であってもよいが、複数の処理の中から映像又はフレーム画像に基づいて決定された処理であってもよい。

第２の取得部１１２は、第１の取得部１１１により取得されるフレーム画像、すなわちノイズ低減部１２０によりノイズ低減処理が実行されるフレーム画像に対して実行された第１のノイズ低減処理を示すパラメータ（以下「処理パラメータ」ともいう。）を取得する。処理パラメータは、第１のノイズ低減処理の実行結果、すなわち、第１のノイズ低減処理がフレーム画像に対してどのように適用されたかを示しているともいえる。処理パラメータは、例えば、フレーム画像に適用された第１のノイズ低減処理の強度を示す。あるいは、処理パラメータは、フレーム画像のうちの第１のノイズ低減処理が実行された領域や、フレーム画像に適用された第１のノイズ低減処理の種類を示してもよい。

本実施形態において、ノイズ低減処理の強度とは、当該処理によるノイズの低減効果のレベルをいう。ノイズ低減処理は、その強度が高いほど、フレーム画像からノイズを減らす（又は目立たなくする）方向に作用する。ただし、ノイズ低減処理は、必ずしも、強度が高ければ高いほど画質が向上するとはいえない。例えば、ノイズ低減処理は、強度が高くなるほど、原情報、すなわち元の画像に含まれていた情報（物体のエッジ、輪郭等）を失わせる可能性がある。

ノイズ低減部１２０は、第１の取得部１１１により取得されたフレーム画像に対してノイズ低減処理を実行する。以下においては、このノイズ低減処理のことを「第２のノイズ低減処理」ともいう。第２のノイズ低減処理は、強度が可変であり、かつ、第１のノイズ低減処理とは異なるノイズ低減処理である。ノイズ低減部１２０は、あらかじめ決められた複数種類のノイズ低減処理のうちのいずれかを第２のノイズ低減処理として実行してもよい。

いくつかの場合において、第１のノイズ低減処理は、３次元的なノイズ低減処理、すなわち、フレーム画像のノイズを、当該フレーム画像と異なる他のフレーム画像を参照することにより低減する処理である。この場合、第２のノイズ低減処理は、２次元的なノイズ低減処理、すなわち、フレーム画像を構成する局所領域のノイズを、当該局所領域と異なる当該フレーム画像の他の局所領域を参照することにより低減する処理であってもよい。あるいは、第１のノイズ低減処理と第２のノイズ低減処理は、フレーム画像のうちの適用される領域が互いに異なってもよい。

ノイズ低減部１２０は、第１の取得部１１１により取得されたフレーム画像に対して、第２の取得部１１２により取得された処理パラメータを用いて第２のノイズ低減処理を実行する。換言すれば、ノイズ低減部１２０は、フレーム画像に対して、当該フレーム画像に適用された第１のノイズ低減処理に応じた処理パラメータを用いた第２のノイズ低減処理を実行する。したがって、第２のノイズ低減処理は、フレーム画像に対する第１のノイズ低減処理の実行結果に応じて異なり得る。

例えば、処理パラメータが第１のノイズ低減処理の強度を示す場合、ノイズ低減部１２０は、処理パラメータが示す強度に応じた強度で第２のノイズ低減処理を実行してもよい。あるいは、処理パラメータが第１のノイズ低減処理が実行された領域を示す場合、ノイズ低減部１２０は、第２のノイズ低減処理を実行する領域を、処理パラメータが示す領域に基づいて決定してもよい。

ノイズ低減部１２０は、第２のノイズ低減処理が実行されたフレーム画像を出力する。ノイズ低減部１２０は、第２のノイズ低減処理が実行されたフレーム画像を、例えば他の装置に供給する。ノイズ低減部１２０は、フレーム画像を、記憶装置に記録してもよいし、映像再生装置に送信してもよい。なお、映像処理装置１００は、ここでいう記憶装置又は映像再生装置に含まれていてもよい。

図２は、映像処理装置１００の動作を示すフローチャートである。映像処理装置１００は、映像を構成するフレーム画像のそれぞれに対して、ステップＳ１１、Ｓ１２を実行する。ただし、映像処理装置１００は、ノイズ低減処理が不要なフレーム画像が映像に含まれる場合には、当該フレーム画像に対してはステップＳ１１、Ｓ１２を省略（スキップ）してもよい。

ステップＳ１１において、取得部１１０は、フレーム画像と処理パラメータとを取得する。ただし、取得部１１０は、フレーム画像と処理パラメータとを必ずしも同時に取得する必要はなく、フレーム画像と処理パラメータとを異なるタイミングで取得してもよい。

ステップＳ１２において、ノイズ低減部１２０は、ステップＳ１１において取得されたフレーム画像に対して、ステップＳ１１において取得された処理パラメータを用いて第２のノイズ低減処理を実行する。すなわち、ノイズ低減部１２０は、第２のノイズ低減処理に対して第１のノイズ低減処理の実行結果を反映させる。

以上のとおり、本実施形態の映像処理装置１００は、第１のノイズ低減処理が実行されたフレーム画像と、当該フレーム画像に対して実行された第１のノイズ低減処理を示す処理パラメータとに基づいて第２のノイズ低減処理を実行する構成を有する。この構成は、第２のノイズ低減処理に対して第１のノイズ低減処理の実行結果を反映させることを可能にする。例えば、映像処理装置１００は、第１のノイズ低減処理の強度に応じた適切な強度で第２のノイズ低減処理を実行することが可能である。あるいは、映像処理装置１００は、フレーム画像のうちの第１のノイズ低減処理が実行された領域と異なる領域に対して第２のノイズ低減処理を実行することが可能である。したがって、映像処理装置１００によれば、第２のノイズ低減処理に対して第１のノイズ低減処理の実行結果を反映させない場合に比べ、映像に含まれるノイズを効果的に低減することが可能である。

［第２実施形態］
図３は、別の実施形態に係る映像処理装置２００の構成を示すブロック図である。映像処理装置２００は、第１の処理部２１０と、第２の処理部２２０とを少なくとも含む。第２の処理部２２０は、第１実施形態の映像処理装置１００の一例に相当する。

なお、以降の説明において、第１実施形態において用いられている用語は、特段の記載がある場合を除き、第１実施形態における意味と同様の意味で用いられる。

映像処理装置２００は、監視カメラ等の撮影装置により撮影された映像を示す映像データを取得し、取得された映像データに対して複数のノイズ低減処理を実行する。そして、映像処理装置２００は、ノイズ低減処理が実行された映像データを出力する。本実施形態の映像は、第１実施形態の映像と同様に、複数のフレーム画像によって構成される。

第１の処理部２１０は、より詳細には、領域識別部２１１と、３ＤＮＲ（3-Dimensional Noise Reduction）部２１２とを少なくとも含む。また、第２の処理部２２０は、より詳細には、２ＤＮＲ（2-Dimensional Noise Reduction）部２２１を少なくとも含む。

領域識別部２１１は、フレーム画像から第１の領域を識別する。ここにおいて、第１の領域は、３ＤＮＲ部２１２によりノイズ低減処理が実行される領域である。具体的には、第１の領域は、フレーム画像のうちの動きが少ない領域である。以下においては、第１の領域のことを「静止領域」ともいう。領域識別部２１１は、フレーム画像の全体の領域から特定の領域（静止領域）を判定するともいえる。

静止領域は、他の領域に比べ、被写体の動きが少ない領域である。ここでいう動きは、画像の経時変化を意味する。例えば、撮影範囲が固定された監視カメラで撮影された映像の場合、いわゆる静物（道路、建物）に対応する部分が静止領域となり得る。この場合、静止領域は、それ自体が動かない（又はほとんど動かない）被写体に対応する。

また、静止領域は、１つのフレーム画像に複数あってもよい。例えば、領域識別部２１１は、フレーム画像を所定のサイズの小領域（以下「局所領域」ともいう。）に分割し、各々の局所領域が静止領域であるか否かを局所領域毎に識別してもよい。

局所領域のサイズは、特に限定されないが、対象とするノイズのサイズに応じて異なり得る。例えば、局所領域のサイズは、低減させるノイズよりも大きくなるように設定される。一例として、局所領域のサイズは、９×９〜２１×２１画素程度でもよい。

また、静止領域は、時間の経過に伴って変化し得る。例えば、自動車が道路上を走行している場合と走行していない場合とでは、その道路を撮影したときの静止領域は異なる可能性がある。したがって、静止領域は、フレーム画像毎に異なり得る。

領域識別部２１１は、ある時点のフレーム画像における静止領域を、他の時点のフレーム画像を参照することによって識別する。例えば、領域識別部２１１は、ある時点のフレーム画像における静止領域を、直近の１又は複数のフレーム画像との差異に基づいて識別する。この場合、領域識別部２１１は、フレーム画像のうちの他のフレーム画像との差異が少ない領域を静止領域であると識別する。なお、静止領域の識別には、周知のさまざまな手法が利用可能である。例えば、領域識別部２１１は、オプティカルフローに基づいて静止領域とそれ以外の領域を識別してもよい。

３ＤＮＲ部２１２は、映像データに対して３次元的なノイズ低減処理（以下「３ＤＮＲ」ともいう。）を実行する。具体的には、３ＤＮＲ部２１２は、ある時点のフレーム画像のうちの静止領域に対し、直近のいくつかのフレーム画像を参照したノイズ低減処理を実行する。例えば、３ＤＮＲ部２１２は、ある時点のフレーム画像のうちの静止領域と、直近のいくつかのフレーム画像のうちの当該静止領域に対応する領域（すなわち同じ座標の領域）とを比較し、直近のフレーム画像との差異があればその差異を低減させるように画像を変更（すなわち補正）する。

３ＤＮＲ部２１２は、静止領域に対して適用される３ＤＮＲの強度を、局所領域毎に異ならせてもよい。ここでいう強度は、例えば、局所領域における被写体の動きの程度に応じて異なる。一例として、３ＤＮＲ部２１２は、被写体の動きが少ない局所領域ほど、３ＤＮＲの強度を高く（強く）、すなわちノイズの低減効果を高くする。例えば、３ＤＮＲ部２１２は、参照するフレーム数を変更することで３ＤＮＲの強度を変更することができる。ただし、３ＤＮＲの強度を変更する手法は、これに限定されない。

なお、３ＤＮＲ部２１２により実行されるノイズ低減処理は、周知の３ＤＮＲのいずれであってもよい。すなわち、ここでいう３ＤＮＲの具体的な手法は、特定の手法に限定されない。３ＤＮＲ部２１２により実行されるノイズ低減処理は、第１実施形態における第１のノイズ低減処理の一例に相当する。

３ＤＮＲ部２１２は、３ＤＮＲが実行された映像データを第２の処理部２２０に供給する。また、３ＤＮＲ部２１２は、各フレーム画像に対して実行された３ＤＮＲを示す処理パラメータを第２の処理部２２０に供給する。本実施形態の処理パラメータは、フレーム画像のうちの静止領域を示す情報（座標等）及び各静止領域に対する３ＤＮＲの強度の少なくともいずれかを含む。

２ＤＮＲ部２２１は、３ＤＮＲ部２１２により供給された映像データ及び処理パラメータに基づいて、２次元的なノイズ低減処理（以下「２ＤＮＲ」ともいう。）を実行する。本実施形態の２ＤＮＲは、例えば、フレーム画像を構成するある画素に対し、当該画素の近傍の画素を参照して実行される平滑化処理である。ただし、ここでいう２ＤＮＲの具体的な手法は、特定の手法に限定されない。２ＤＮＲ部２２１は、第１実施形態の取得部１１０及びノイズ低減部１２０の一例に相当する。また、２ＤＮＲ部２２１により実行されるノイズ低減処理は、第１実施形態における第２のノイズ低減処理の一例に相当する。

２ＤＮＲ部２２１は、２ＤＮＲの強度を、処理パラメータに基づいて決定してもよい。例えば、２ＤＮＲ部２２１は、各々の局所領域に対する２ＤＮＲの強度を、当該局所領域に対して実行された３ＤＮＲの強度に応じて決定してもよい。この場合、２ＤＮＲ部２２１は、処理パラメータによって示される３ＤＮＲの強度が高い（強い）局所領域ほど、２ＤＮＲの強度を低く（弱く）、すなわちノイズの低減効果を高くする。例えば、２ＤＮＲが平滑化処理である場合、２ＤＮＲ部２２１は、フィルタのサイズや係数を変更することで２ＤＮＲの強度を変更することができる。ただし、２ＤＮＲの強度を変更する手法は、これに限定されない。

また、２ＤＮＲ部２２１は、フレーム画像のうちの静止領域と異なる領域（以下「第２の領域」ともいう。）に対して２ＤＮＲを実行してもよい。この場合、２ＤＮＲ部２２１は、処理パラメータに基づいて静止領域を特定してもよい。例えば、この場合、処理パラメータは、静止領域、すなわち３ＤＮＲが実行された領域を示す。２ＤＮＲ部２２１は、このような処理パラメータを用いて、２ＤＮＲを適用する局所領域を決定する。

以下においては、第２の領域のことを「動き領域」ともいう。動き領域は、ここでは、フレーム画像のうちの静止領域でない領域に相当する。動き領域は、静止領域に比べ、被写体の動きが多い領域である。動き領域と静止領域は、一定の基準に従って決められてもよいが、映像に依存する相対的な基準に従って決められてもよい。

２ＤＮＲ部２２１は、少なくとも動き領域に対して２ＤＮＲを実行する。換言すれば、２ＤＮＲ部２２１は、動き領域に対して２ＤＮＲを実行し、静止領域に対しては２ＤＮＲを実行しなくてもよく、あるいはフレーム画像全体に対して２ＤＮＲを実行してもよい。

図４は、映像処理装置２００の動作を示すフローチャートである。ステップＳ２１において、第１の処理部２１０は、映像データを取得する。第１の処理部２１０は、映像データを、映像データを撮影する撮影装置から取得してもよいが、映像データを蓄積する記憶装置から取得してもよい。また、第１の処理部２１０は、撮影開始時刻から撮影終了時刻までの映像データを一括して取得してもよいが、フレーム単位で逐次取得してもよい。

ステップＳ２２において、第１の処理部２１０は、映像データに含まれるフレーム画像から静止領域を識別する。第１の処理部２１０は、ある時点のフレーム画像における静止領域を、他の時点のフレーム画像を参照することによって識別する。ステップＳ２２は、より詳細には、第１の処理部２１０の領域識別部２１１によって実行される。

なお、静止領域は、必ずしも全てのフレーム画像に含まれていなくてもよい。例えば、映像データに含まれるフレーム画像の一部には、静止領域を含まないものがあってもよい。あるいは、一部のフレーム画像は、その全体が静止画像であってもよい。

ステップＳ２３において、第１の処理部２１０は、ステップＳ２２において静止領域が識別されたフレーム画像に対して３ＤＮＲを実行する。具体的には、第１の処理部２１０は、フレーム画像のうちの静止領域に３ＤＮＲを実行する。換言すれば、第１の処理部２１０は、フレーム画像のうちの特定の領域に対して選択的に３ＤＮＲを実行する。ステップＳ２３は、より詳細には、第１の処理部２１０の３ＤＮＲ部２１２によって実行される。

ステップＳ２４において、第２の処理部２２０は、ステップＳ２３において３ＤＮＲが実行されたフレーム画像に対して２ＤＮＲを実行する。具体的には、第２の処理部２２０は、フレーム画像のうちの少なくとも動き領域に２ＤＮＲを実行する。第２の処理部２２０は、フレーム画像の全体に２ＤＮＲを実行してもよい。このステップＳ２４は、より詳細には、第２の処理部２２０の２ＤＮＲ部２２１によって実行される。

２ＤＮＲ部２２１は、２ＤＮＲを適用する領域や２ＤＮＲの強度を処理パラメータに基づいて決定する。２ＤＮＲ部２２１は、映像データに加えて処理パラメータを、第１の処理部２１０から取得する。

ステップＳ２５において、第２の処理部２２０は、ステップＳ２２〜Ｓ２４が実行された映像データを出力する。第２の処理部２２０は、ノイズ低減処理が終了したフレーム画像から逐次出力してもよいが、映像データ全体を一括して出力してもよい。

以上のとおり、本実施形態の映像処理装置２００は、３ＤＮＲが実行されたフレーム画像に対して、処理パラメータを用いて２ＤＮＲを実行する構成を有する。この構成は、２ＤＮＲに対して３ＤＮＲの実行結果を反映させることを可能にする。したがって、映像処理装置２００によれば、２ＤＮＲに対して３ＤＮＲの結果を反映させない場合に比べ、映像に含まれるノイズを効果的に低減することが可能である。

３ＤＮＲは、雨や雪のような動いている遮蔽物による遮蔽の低減に効果を奏する。その一方で、３ＤＮＲは、映像に含まれる移動体（人間、自動車等）に「透過」や「尾引き」を生じさせ得る。ここでいう透過とは、物体が（そうでないにもかかわらず）光を透過しているように映像に記録される現象をいう。また、尾引きとは、移動する物体の軌跡が残像のように映像に記録される現象をいう。これらの現象は、いずれも、被写体の正確な記録の妨げとなり得る。

そこで、第１の処理部２１０は、フレーム画像のうちの静止領域に対して選択的に３ＤＮＲを適用する。換言すれば、第１の処理部２１０は、フレーム画像のうちの動き領域に対しては３ＤＮＲを適用しない。静止領域は、動き領域に比べ、透過又は尾引きが生じにくい領域であるといえる。したがって、第１の処理部２１０は、３ＤＮＲの適用に伴う透過又は尾引きの発生リスクを低減させることができる。

しかし、フレーム画像の一部の領域のみに対して３ＤＮＲを適用した場合、ノイズ低減処理が実行された領域とそうでない領域とがフレーム画像に併存することになる。ノイズ低減処理が実行されていない領域は、ノイズ低減処理が実行された領域よりもノイズ量が多くなる可能性がある。したがって、このような３ＤＮＲが適用された映像は、ノイズ低減処理が実行された領域とそうでない領域の境界が断続的になって視覚的に目立つなどし、画質を低下させる可能性がある。

そこで、第２の処理部２２０は、フレーム画像に対し、当該フレーム画像に対して適用された第１の処理部２１０を示す処理パラメータを用いて２ＤＮＲを実行する。これにより、第２の処理部２２０は、３ＤＮＲが実行された領域とそうでない領域とに対して異なる処理を実行することが可能である。例えば、第２の処理部２２０は、３ＤＮＲが実行されていない領域に対して選択的に２ＤＮＲを実行したり、それぞれの局所領域に対して３ＤＮＲの実行強度に応じた２ＤＮＲを実行したりすることが可能である。

これにより、映像処理装置２００は、フレーム画像に対して実行されるノイズ低減処理に局所的な偏りを生じさせないようにすることが可能である。したがって、映像処理装置２００は、映像に含まれるノイズを効果的に低減させることが可能である。

［第３実施形態］
図５は、さらに別の実施形態に係る映像処理装置３００の構成を示すブロック図である。映像処理装置３００は、取得部３１０と、領域識別部３２０と、画像蓄積部３３０と、合成部３４０と、パラメータ記録部３５０と、平滑化部３６０と、出力部３７０とを含む。

映像処理装置３００は、第１実施形態の映像処理装置１００及び第２実施形態の映像処理装置２００の一例に相当する。映像処理装置３００は、第１のノイズ低減処理として３ＤＮＲ、第２のノイズ低減処理として２ＤＮＲを実行する点において、映像処理装置２００と共通する。

なお、図５のブロック図に示された矢印は、データの流れの一例を示している。したがって、映像処理装置３００におけるデータの流れは、図示された矢印のみに限定されない。

取得部３１０は、映像データを取得する。本実施形態において、取得部３１０は、映像データをフレーム画像単位で逐次取得するものとする。映像データは、フレーム画像を構成する各画素の明るさを示す輝度情報を少なくとも含む。説明の便宜上、本実施形態の輝度情報は、モノクロ（単色）の輝度値であるとする。本実施形態の輝度情報は、例えば８ビットであれば、最小値が「０」、最大値が「２５５」である。

取得部３１０は、フレーム画像の蓄積数の最大値を局所領域毎に決定する。ここにおいて、蓄積数とは、合成部３４０による合成において参照されるフレーム画像の総数（すなわちフレーム数）をいう。蓄積数は、後述のように、局所領域毎に異なり得る。加えて、蓄積数は、フレーム毎に異なり得る。

領域識別部３２０は、フレーム画像の各局所領域が動き領域と静止領域のいずれかを識別する。本実施形態において、領域識別部３２０は、入力されたフレーム画像と、当該フレーム画像の直前のフレーム画像とを比較することにより、入力されたフレーム画像の各局所領域を動き領域と静止領域のいずれかであると識別する。

画像蓄積部３３０は、フレーム画像を蓄積する。画像蓄積部３３０は、直近の所定のフレーム数分のフレーム画像を蓄積できるように構成されている。画像蓄積部３３０は、フレーム画像を局所領域単位で蓄積することができる。本実施形態において、画像蓄積部３３０によりフレーム画像が蓄積されるフレーム数は、局所領域毎に異なり得る。

合成部３４０は、フレーム画像を局所領域毎に合成する。本実施形態において、合成部３４０は、フレーム画像のうちの静止領域を合成し、動き領域を合成しない。合成部３４０は、フレーム画像のうちの静止領域を、当該領域の蓄積数に従って合成する。ここでいうフレーム画像の合成は、３次元的なノイズ低減処理であり、第１実施形態における第１のノイズ低減処理の一例に相当する。すなわち、合成部３４０は、第２実施形態の３ＤＮＲ部２１２の一例に相当する。

パラメータ記録部３５０は、処理パラメータを記録する。本実施形態の処理パラメータは、上述した局所領域毎の蓄積数を少なくとも含む。パラメータ記録部３５０は、各フレームにおける蓄積数を、記憶媒体の所定の記憶領域に処理パラメータとして記録する。蓄積数は、合成部３４０により実行された３次元的なノイズ低減処理によるノイズ低減効果のレベルを局所領域毎に表しているともいえる。また、蓄積数は、各局所領域に３次元的なノイズ低減処理が実行されたか否かを表しているともいえる。

平滑化部３６０は、フレーム画像に対して平滑化処理を実行する。本実施形態の平滑化処理は、２次元的なノイズ低減処理であり、第１実施形態における第２のノイズ低減処理の一例に相当する。すなわち、平滑化部３６０は、第２実施形態の２ＤＮＲ部２２１の一例に相当する。

平滑化部３６０は、平滑化処理の強度を、処理パラメータに基づいて局所領域毎に制御する。ここでいう平滑化処理の強度は、一般に平滑化パラメータとも呼ばれる。平滑化処理は、高強度であるほどノイズの低減効果が高いといえる。一方で、高強度の平滑化処理は、映像からエッジ等のディテールの情報を失わせたり、映像に（絵画調のような）不自然な変化をもたらしたりする。

出力部３７０は、ノイズ低減処理（フレーム画像の合成及び平滑化処理）が実行された映像データを出力する。出力部３７０は、例えば、映像を表示する表示装置に映像データを出力する。あるいは、出力部３７０は、記憶装置や他の映像処理装置に映像データを出力してもよい。

図６は、映像処理装置３００の動作を示すフローチャートである。映像処理装置３００は、映像データを取得すると、ステップＳ３１０〜Ｓ３００に示す映像処理を実行する。映像処理装置３００は、映像データを構成するフレーム画像のそれぞれに対して、換言すればフレーム毎に、ステップＳ３１０〜Ｓ３００を実行する。

ステップＳ３１０において、取得部３１０は、フレーム画像の局所領域毎に輝度値の分散を算出する。ステップＳ３１０において算出される分散は、局所領域内の画素の輝度値にばらつきが少ないほど小さい値になる。ステップＳ３２０において、取得部３１０は、ステップＳ３１０において算出された局所領域毎の分散に基づいて、蓄積数の最大値を決定する。例えば、取得部３１０は、ステップＳ３１０において算出された分散が所定の閾値より小さい局所領域の蓄積数の最大値を規定値よりも減少させる。この場合、他の局所領域の蓄積数の最大値は、規定値のままでよい。なお、ステップＳ３１０、Ｓ３２０は、必須の処理ではなく、省略可能である。

本実施形態において、蓄積数の最大値には、あらかじめ決められた基準値（例えば「１０」）がある。取得部３１０は、ステップＳ３１０において算出された分散が所定の数値以下である局所領域について、蓄積数の最大値を基準値よりも小さい値（例えば「５」）に変更する。

ステップＳ３３０において、領域識別部３２０は、処理対象のフレーム画像とその直前のフレーム画像との差分画像を算出する。ここにおいて、差分画像とは、あるフレーム画像の各画素の輝度値を別のフレーム画像の同じ座標の画素の輝度値で減じた値を輝度値とみなした画像をいう。例えば、２つのフレーム画像が完全に同一である場合には、これらのフレーム画像の差分画像は、全画素の輝度値が「０」である。なお、領域識別部３２０は、処理対象のフレーム画像を、次のフレームの処理を実行するまで一時的に記憶しておく。

ステップＳ３４０において、領域識別部３２０は、ステップＳ３３０において算出された差分画像の輝度値の分散を局所領域毎に算出する。なお、ステップＳ３４０において算出される分散は、差分画像の分散である点において、ステップＳ３１０において算出される分散と異なる。すなわち、ステップＳ３４０において算出される分散は、差分画像の局所領域毎のばらつきを表す。領域識別部３２０は、ステップＳ３４０において算出された分散を、次のフレームの処理を実行するまで一時的に記憶しておく。

ステップＳ３５０において、領域識別部３２０は、ステップＳ３４０において算出された分散と直前のフレームにおいて算出された差分画像の分散とを局所領域毎に比較する。換言すれば、領域識別部３２０は、差分画像が１フレームの間にどのように変化したかを判断する。領域識別部３２０は、ステップＳ３５０における比較結果が所定の条件を満たす場合に、差分画像が（基準よりも）大きく変化したと判断する。ステップＳ３５０における条件は、例えば、２つの分散の差が所定の閾値以上である局所領域の数が所定の数以上あることである。

差分画像の変化が大きい、すなわちステップＳ３５０における比較結果が所定の条件を満たす場合（Ｓ３５０：ＹＥＳ）、画像蓄積部３３０は、ステップＳ３６０を実行する。一方、差分画像の変化が小さい、すなわちステップＳ３５０における比較結果が所定の条件を満たさない場合（Ｓ３５０：ＮＯ）、領域識別部３２０は、ステップＳ３７０を実行する。

ステップＳ３６０において、画像蓄積部３３０は、蓄積されたフレーム画像をリセットする。ここでいうリセットは、蓄積されたフレーム画像の数を「０」にすることをいう。また、このリセットに応じて、パラメータ記録部３５０は、処理パラメータを更新する。具体的には、パラメータ記録部３５０は、全ての局所領域の蓄積数を「０」に書き換える。なお、ステップＳ３６０を実行する場合、ステップＳ３７０、Ｓ３８０及びＳ３９０は、実行されない。

ステップＳ３７０において、領域識別部３２０は、領域を識別するための閾値を算出する。この閾値は、例えば、ステップＳ３４０において算出される局所領域毎の分散の値を昇順にソートし、その下位ｘ％（例えば３％）に相当する値をｋ倍（例えば５倍）した値である。ここにおいて、ｘ及びｋの具体的な値は、必ずしも特定の値に限定されない。また、ｘ及びｋの値は、入力される映像によって異なってもよい。

ステップＳ３８０において、領域識別部３２０は、それぞれの局所領域を動き領域と静止領域のいずれかであると識別する。領域識別部３２０は、ステップＳ３７０において算出された閾値を用いてこの識別を実行する。具体的には、領域識別部３２０は、ステップＳ３４０において算出された分散の値が閾値以下の領域を静止領域と識別し、当該分散の値が閾値を超える領域を動き領域と識別する。

ステップＳ３９０において、画像蓄積部３３０、合成部３４０及びパラメータ記録部３５０は、合成処理を実行する。この合成処理は、局所領域毎に実行される。合成処理は、各局所領域について、並列的に実行されてもよく、所定の順序で逐次実行されてもよい。

図７は、合成処理を示すフローチャートである。ステップＳ３９１において、合成部３４０は、処理対象である局所領域が動き領域か静止領域かを判断する。局所領域が動き領域である場合（Ｓ３９１：ＹＥＳ）、画像蓄積部３３０は、ステップＳ３９２を実行する。一方、局所領域が静止領域である場合（Ｓ３９１：ＮＯ）、合成部３４０は、ステップＳ３９３を実行する。

ステップＳ３９２において、画像蓄積部３３０は、フレーム画像のうちの処理対象である局所領域の画像をリセットする。すなわち、画像蓄積部３３０は、当該局所領域の画像を蓄積されていない状態にする。なお、ステップＳ３９２は、フレーム画像が局所領域単位でリセットされる点において、ステップＳ３６０と異なる。また、このリセットに応じて、パラメータ記録部３５０は、リセットされた局所領域の処理パラメータを更新する。

ステップＳ３９３において、合成部３４０は、フレーム画像のうちの処理対象である局所領域の画像を合成する。合成部３４０は、処理対象である局所領域の画像と、画像蓄積部３３０に蓄積された当該局所領域の１又は複数の画像とを合成する。ここでいう合成は、例えば、複数の画像の同じ位置の画素の輝度値を相加平均する処理である。ただし、合成部３４０による合成の具体的な手法は、特に限定されない。

合成部３４０は、局所領域の画像と、画像蓄積部３３０に蓄積された当該局所領域の蓄積数分の画像とを合成する。例えば、蓄積数が「５」であれば、合成部３４０は、局所領域の画像と、当該局所領域の直近の５フレーム分の画像とを合成する。なお、合成部３４０は、蓄積数が「０」であれば、合成を実行しなくてよい。

また、合成部３４０は、局所領域の蓄積数が当該局所領域の蓄積数の最大値を超えている場合には、当該局所領域の画像に対して合成される画像の数をその最大値に制限してもよい。これにより、合成される画像の数が過大にならないようにすることが可能である。

ステップＳ３９４において、画像蓄積部３３０は、処理対象である局所領域の合成前の画像を蓄積する。すなわち、画像蓄積部３３０は、当該局所領域の画像の蓄積数を「１」増加させる。また、ステップＳ３９５において、パラメータ記録部３５０は、処理対象である局所領域の蓄積数を更新することによって、処理パラメータを更新する。

平滑化部３６０は、ステップＳ３９１〜Ｓ３９５の合成処理が終了した後か、あるいはステップＳ３６０が終了した後に、ステップＳ３００を実行する。ステップＳ３００において、平滑化部３６０は、フレーム画像に対して平滑化処理を実行する。平滑化部３６０は、合成処理が実行された場合には、合成後のフレーム画像に対して平滑化処理を実行する。一方、差分画像の変化が大きく、合成処理が実行されなかった場合には、平滑化部３６０は、合成されていないフレーム画像に対して平滑化処理を実行する。

ステップＳ３００において、平滑化部３６０は、パラメータ記録部３５０により記録された処理パラメータを用いて平滑化処理を実行する。具体的には、平滑化部３６０は、それぞれの局所領域に対し、当該局所領域の蓄積数に応じた強度で平滑化処理を実行する。例えば、平滑化部３６０は、蓄積数が少ない局所領域ほど、平滑化処理の強度を高くする。あるいは、平滑部３６０は、蓄積数に基づいて、局所領域の一部に対して選択的に平滑化処理を実行する。

図８Ａ、図８Ｂ、図８Ｃ及び図８Ｄは、蓄積数と平滑化処理の関係を例示する。図８Ａ及び図８Ｂは、平滑化処理が実行される領域と蓄積数の関係を示している。図８Ａの例の場合、平滑化部３６０は、蓄積数が「０」の局所領域に対してのみ平滑化処理を実行する。すなわち、この場合、平滑化部３６０は、合成処理が実行されていない領域に平滑化処理を実行し、合成処理が実行された領域に平滑化処理を実行しない。

一方、図８Ｂの例の場合、平滑化部３６０は、蓄積数が比較的少ない、具体的には「２」以下の局所領域に対してのみ平滑化処理を実行する。すなわち、この場合、平滑化部３６０は、合成処理が実行されていない領域と、合成処理が実行された領域の一部とに平滑化処理を実行する。

図８Ｃの例の場合、平滑化部３６０は、局所領域毎の蓄積数に応じて平滑化処理の強度を異ならせる。具体的には、平滑化部３６０は、蓄積数が「０」の局所領域に対して高強度、蓄積数が「１」以上「５」以下の局所領域に対して中程度の強度、蓄積数が「６」以上の局所領域に対して低強度の平滑化処理をそれぞれ実行する。

図８Ｄの例の場合、平滑化部３６０は、蓄積数が比較的少ない、具体的には「５」以下の局所領域に対してのみ平滑化処理を実行する。加えて、平滑化部３６０は、合成処理が実行されていない領域と、合成処理が実行された領域とで平滑化処理の強度と異ならせる。

なお、蓄積数と平滑化処理の関係は、これらの例に限定されない。例えば、平滑化部３６０は、蓄積数を独立変数とする所定の関数を用いて平滑化処理の強度を決定してもよい。また、平滑化部３６０は、特定の局所領域の蓄積数だけでなく、当該局所領域の近傍の局所領域の蓄積数も参照して平滑化処理の強度を決定してもよい。

以上のとおり、本実施形態の映像処理装置３００は、合成処理の結果に応じた平滑化処理を実行する構成を有する。この構成は、例えば、合成処理が実行された領域とそうでない領域とがフレーム画像に混在する場合に、これらの領域の境界を目立ちにくくすることが可能である。したがって、映像処理装置３００によれば、平滑化処理に対して合成処理の結果を反映させない場合に比べ、映像に含まれるノイズを効果的に低減することが可能である。

［変形例］
上述の第１〜第３実施形態は、例えば、以下のような変形を適用することができる。これらの変形例は、必要に応じて適宜組み合わせることも可能である。また、特定の実施形態を用いて記載された変形例は、矛盾を生じない範囲において、他の実施形態にも適用され得る。

（１）第３実施形態の蓄積数は、局所領域毎に異なる値である。しかし、蓄積数は、各局所領域に共通の値、すなわち単一の値であってもよい。すなわち、蓄積数は、合成処理において参照されたフレーム画像の総数に相当してもよい。なお、この場合、平滑化部３６０は、動き領域と静止領域とに対して異なる強度で平滑化処理と実行してもよく、動き領域に対して平滑化処理を実行し、静止領域に対して平滑化処理を実行しなくてもよい。

（２）第３実施形態の処理パラメータは、例えば、静止領域に対する合成処理の強度に関する統計量であってもよい。具体的には、あるフレーム画像に対する合成処理における局所領域毎の蓄積数の平均値や、あるフレーム画像に対する合成処理における局所領域毎の蓄積数の分散が処理パラメータとして用いられてもよい。あるいは、処理パラメータは、あるフレーム画像に占める静止領域（又は動き領域）の割合であってもよい。例えば、平滑化部３６０は、フレーム画像に占める静止領域の割合が高いほど、動き領域に対する平滑化処理の強度を高くする。

（３）第２実施形態において、第１の処理部２１０は、３ＤＮＲに代えて他のノイズ低減処理を実行してもよい。また、第２の処理部２２０は、２ＤＮＲに代えて他のノイズ低減処理を実行してもよい。

（４）第２実施形態において、領域識別部２１１は、静止領域に代えて動き領域を識別してもよい。あるいは、領域識別部２１１は、静止領域と動き領域の双方を識別してもよい。また、第２実施形態のフレーム画像は、静止領域（第１の領域）及び動き領域（第２の領域）のいずれとも異なる領域（第３の領域）をさらに含んでもよい。第３の領域は、例えば、２ＤＮＲ及び３ＤＮＲのいずれも実行されなくてもよく、２ＤＮＲ及び３ＤＮＲのいずれとも異なる別のノイズ低減処理が実行されてもよい。

（５）上述の映像処理装置１００、２００及び３００は、さまざまな用途に適用可能である。例えば、映像処理装置１００、２００及び３００は、道路、鉄道、空港、河川、港湾などの監視に適用可能である。映像処理装置１００、２００及び３００によりノイズが低減された映像データの用途は、特定の用途に限定されない。

（６）本開示に係る装置（映像処理装置１００、２００及び３００）の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図９は、本開示に係る装置を実現するコンピュータ装置４００のハードウェア構成の一例を示すブロック図である。コンピュータ装置４００は、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、記憶装置４０４と、ドライブ装置４０５と、通信インタフェース４０６と、入出力インタフェース４０７とを含んで構成される。

ＣＰＵ４０１は、ＲＡＭ４０３を用いてプログラム４０８を実行する。通信インタフェース４０６は、ネットワーク４１０を介して外部装置とデータをやり取りする。入出力インタフェース４０７は、周辺機器（撮影装置など）とデータをやり取りする。通信インタフェース４０６及び入出力インタフェース４０７は、データを取得又は出力するための構成要素として機能することができる。

なお、プログラム４０８は、ＲＯＭ４０２に記憶されていてもよい。また、プログラム４０８は、メモリカード等の記録媒体４０９に記録され、ドライブ装置４０５によって読み出されてもよいし、外部装置からネットワーク４１０を介して送信されてもよい。

本開示に係る装置は、図９に示す構成（又はその一部）によって実現され得る。例えば、映像処理装置１００の場合、取得部１１０は、通信インタフェース４０６又は入出力インタフェース４０７に対応する。また、ノイズ低減部１２０は、ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３に対応する。この場合において、ノイズ低減部１２０は、ＣＰＵ４０１に代えて、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等の他のプロセッサによって構成されてもよい。

なお、本開示に係る装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。

［付記］
本開示の一部又は全部は、以下の付記のようにも記載され得る。ただし、本発明は、必ずしもこの付記の態様に限定されない。
（付記１）
映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する第１の取得手段と、
前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する第２の取得手段と、
前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行するノイズ低減手段と
を含む映像処理装置。
（付記２）
前記パラメータは、前記第１のノイズ低減処理の強度を示し、
前記ノイズ低減手段は、前記パラメータに応じた強度で前記第２のノイズ低減処理を実行する
付記１に記載の映像処理装置。
（付記３）
前記第１のノイズ低減処理は、前記フレーム画像のうちの一部である第１の領域に対して実行され、
前記ノイズ低減手段は、前記フレーム画像のうち、少なくとも前記第１の領域と異なる第２の領域に対して前記第２のノイズ低減処理を実行する
付記１又は付記２に記載の映像処理装置。
（付記４）
前記ノイズ低減手段は、前記第２の領域に対して、前記第１の領域に対する強度と異なる強度で前記第２のノイズ低減処理を実行する
付記３に記載の映像処理装置。
（付記５）
前記ノイズ低減手段は、前記第２の領域に対して、前記第１の領域よりも高い強度で前記第２のノイズ低減処理を実行する
付記４に記載の映像処理装置。
（付記６）
前記ノイズ低減手段は、前記第２の領域に対して、前記パラメータに応じた強度で前記第２のノイズ低減処理を実行する
付記３から付記５までのいずれかに記載の映像処理装置。
（付記７）
前記第１のノイズ低減処理は、前記フレーム画像のノイズを、前記映像を構成し、当該フレーム画像と異なる他のフレーム画像を参照することにより低減する処理を含み、
前記第２のノイズ低減処理は、前記フレーム画像を構成する局所領域毎のノイズを、当該局所領域と異なる当該フレーム画像の他の局所領域を参照することにより低減する処理を含む
付記１から付記６までのいずれかに記載の映像処理装置。
（付記８）
前記パラメータは、前記第１のノイズ低減処理において参照された前記他のフレーム画像の総数を含む
付記７に記載の映像処理装置。
（付記９）
映像を構成するフレーム画像に対して第１のノイズ低減処理を実行する第１の処理手段と、
前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを用いて、当該フレーム画像に対して第２のノイズ低減処理を実行する第２の処理手段と
を含む映像処理装置。
（付記１０）
前記パラメータは、前記第１のノイズ低減処理の強度を示し、
前記第２の処理手段は、前記パラメータに応じた強度で前記第２のノイズ低減処理を実行する
付記９に記載の映像処理装置。
（付記１１）
前記第１のノイズ低減処理は、前記フレーム画像のうちの一部である第１の領域に対して実行され、
前記第２の処理手段は、前記フレーム画像のうち、少なくとも前記第１の領域と異なる第２の領域に対して前記第２のノイズ低減処理を実行する
付記９又は付記１０に記載の映像処理装置。
（付記１２）
映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得し、
前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得し、
前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行する
映像処理方法。
（付記１３）
前記パラメータは、前記第１のノイズ低減処理の強度を示し、
前記第２のノイズ低減処理は、前記パラメータに応じた強度で実行される
付記１２に記載の映像処理方法。
（付記１４）
前記第１のノイズ低減処理は、前記フレーム画像のうちの一部である第１の領域に対して実行され、
前記第２のノイズ低減処理は、前記フレーム画像のうち、少なくとも前記第１の領域と異なる第２の領域に対して実行される
付記１２又は付記１３に記載の映像処理方法。
（付記１５）
コンピュータに、
映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する処理と、
前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する処理と、
前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行する処理と
を実行させるためのプログラム。
（付記１６）
前記パラメータは、前記第１のノイズ低減処理の強度を示し、
前記第２のノイズ低減処理は、前記パラメータに応じた強度で実行される
付記１５に記載の映像処理方法。
（付記１７）
前記第１のノイズ低減処理は、前記フレーム画像のうちの一部である第１の領域に対して実行され、
前記第２のノイズ低減処理は、前記フレーム画像のうち、少なくとも前記第１の領域と異なる第２の領域に対して実行される
付記１５又は付記１６に記載の映像処理方法。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得るさまざまな態様を適用することができる。

１００、２００、３００ 映像処理装置
１１０ 取得部
１１１ 第１の取得部
１１２ 第２の取得部
１２０ ノイズ低減部
２１０ 第１の処理部
２１１ 領域識別部
２１２ ３ＤＮＲ部
２２０ 第２の処理部
２２１ ２ＤＮＲ部
３１０ 取得部
３２０ 領域識別部
３３０ 画像蓄積部
３４０ 合成部
３５０ パラメータ記録部
３６０ 平滑化部
４００ コンピュータ装置

Claims (10)

1. 映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する第１の取得手段と、
   前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する第２の取得手段と、
   前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行するノイズ低減手段と
   を備える映像処理装置。
2. 前記パラメータは、前記第１のノイズ低減処理の強度を示し、
   前記ノイズ低減手段は、前記パラメータに応じた強度で前記第２のノイズ低減処理を実行する
   請求項１に記載の映像処理装置。
3. 前記第１のノイズ低減処理は、前記フレーム画像のうちの一部である第１の領域に対して実行され、
   前記ノイズ低減手段は、前記フレーム画像のうち、少なくとも前記第１の領域と異なる第２の領域に対して前記第２のノイズ低減処理を実行する
   請求項１又は請求項２に記載の映像処理装置。
4. 前記ノイズ低減手段は、前記第２の領域に対して、前記第１の領域に対する強度と異なる強度で前記第２のノイズ低減処理を実行する
   請求項３に記載の映像処理装置。
5. 前記ノイズ低減手段は、前記第２の領域に対して、前記第１の領域よりも高い強度で前記第２のノイズ低減処理を実行する
   請求項４に記載の映像処理装置。
6. 前記ノイズ低減手段は、前記第２の領域に対して、前記パラメータに応じた強度で前記第２のノイズ低減処理を実行する
   請求項３から請求項５までのいずれか１項に記載の映像処理装置。
7. 前記第１のノイズ低減処理は、前記フレーム画像のノイズを、前記映像を構成し、当該フレーム画像と異なる他のフレーム画像を参照することにより低減する処理を含み、
   前記第２のノイズ低減処理は、前記フレーム画像を構成する局所領域毎のノイズを、当該局所領域と異なる当該フレーム画像の他の局所領域を参照することにより低減する処理を含む
   請求項１から請求項６までのいずれか１項に記載の映像処理装置。
8. 前記パラメータは、前記第１のノイズ低減処理において参照された前記他のフレーム画像の総数を含む
   請求項７に記載の映像処理装置。
9. 映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得し、
   前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得し、
   前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行する
   映像処理方法。
10. コンピュータに、
    映像を構成するフレーム画像であって、第１のノイズ低減処理が実行されたフレーム画像を取得する処理と、
    前記フレーム画像に対して実行された前記第１のノイズ低減処理を示すパラメータを取得する処理と、
    前記フレーム画像に対して前記パラメータを用いて第２のノイズ低減処理を実行する処理と
    を実行させるためのプログラム。

Images