JP2015162759A - 画像処理装置、制御方法及び記録媒体 - Google Patents

画像処理装置、制御方法及び記録媒体 Download PDF

Info

Publication number
JP2015162759A
JP2015162759A JP2014035994A JP2014035994A JP2015162759A JP 2015162759 A JP2015162759 A JP 2015162759A JP 2014035994 A JP2014035994 A JP 2014035994A JP 2014035994 A JP2014035994 A JP 2014035994A JP 2015162759 A JP2015162759 A JP 2015162759A
Authority
JP
Japan
Prior art keywords
image
edge
noise
pixel
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014035994A
Other languages
English (en)
Other versions
JP6378496B2 (ja
Inventor
貴幸 原
Takayuki Hara
貴幸 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014035994A priority Critical patent/JP6378496B2/ja
Publication of JP2015162759A publication Critical patent/JP2015162759A/ja
Application granted granted Critical
Publication of JP6378496B2 publication Critical patent/JP6378496B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】ノイズが含まれる画像おいて、含まれるエッジを好適に検出する。
【解決手段】画像処理装置は、所定の時間内に撮影された複数の入力画像を取得し、取得した複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する。また、生成した複数のエッジ画像間における被写体像の位置ずれを補正し、ノイズがエッジとして検出されている画素を特定する。そして画像処理装置は、ノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する。
【選択図】図1

Description

本発明は、画像処理装置、制御方法及び記録媒体に関し、特に画像に含まれるノイズを低減する技術に関する。
デジタルカメラ等の撮像装置で撮影して得られた画像には、撮影条件によってはノイズが含まれることがある。ノイズは現像過程によるゲイン処理等によって増幅された場合に目立ちうるため、画像にはノイズを低減するためのノイズリダクション処理(NR処理)が適用される。NR処理は、ノイズと判定された画素をその周囲の画素を用いて補正するため、画像の全体に対して該処理を適用した場合に、その適用レベルによっては画像がボケたような状態になりうる。特に、画像内の被写体像のエッジにこのような処理がなされると、画像の解像感を低下させる要因にもなる。
従って、画像に対してNR処理を適用する際には、適用する画素がエッジ部であるか、それ以外の所謂平坦部であるかによって、それぞれ処理を異ならせる行うものがある(特許文献1及び2)。
特開2000−331152号公報 特開2008−61217号公報
一方で、近年の撮像装置の中には、高感度撮影に対応可能な撮像素子が採用されるものもある。高感度撮影は現像過程による信号増幅率がより高いため、画像内に発生したランダムノイズが被写体像の信号レベルよりも高くなることがある。このようなランダムノイズは、エッジ部であるか否かの判断においてエッジ部と判別されることがあり、特許文献1及び2のようなNR処理を行った場合に好適な補正結果が得られない可能性があった。
本発明は、上述の問題点に鑑みてなされたものであり、ノイズが含まれる画像おいて、含まれるエッジを好適に検出する画像処理装置、制御方法及び記録媒体を提供することを目的とする。
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、所定の時間内に撮影された複数の入力画像を取得する取得手段と、取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、特定手段により特定されたノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、を有することを特徴とする。
このような構成により本発明によれば、ノイズが含まれる画像おいて、含まれるエッジを好適に検出することが可能となる。
本発明の実施形態1に係る画像処理装置100の機能構成を示したブロック図 本発明の実施形態に係る第1のエッジ画像生成部101及び第2のエッジ画像生成部102の詳細構成を例示したブロック図 本発明の実施形態に係る出力エッジ画像の生成を説明するための図 本発明の実施形態2に係る画像処理装置100の機能構成を示したブロック図 本発明の実施形態2に係るエッジNR処理部401の詳細構成を例示したブロック図 本発明の実施形態2に係るエッジ方向検出部501において使用する方向テンプレートを例示した図 本発明の実施形態2に係る適応NR処理部502におけるNR処理に使用される画素を例示した図 本発明の実施形態2に係る第1の平坦NR処理部402及び第2の平坦NR処理部403におけるNR処理を説明するための図 本発明の実施形態2に係るエッジ加工部406の詳細構成を例示したブロック図 本発明の実施形態2に係る画像合成部407の詳細構成を例示したブロック図
[実施形態1]
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、画像処理装置の一例として、画像から被写体像のエッジ部を検出したエッジ画像を生成可能なPC等の装置に、本発明を適用した例を説明する。しかし、本発明は、画像から被写体像のエッジ部を検出することが可能な任意の機器に適用可能である。また、本明細書において、「エッジ部」とは、空間周波数が高く、周波数領域における振幅の起伏が急峻となっている領域を指し、「平坦部」とは、周波数領域における振幅の起伏がなだらかな領域を指すものとする。
《画像処理装置100の構成》
図1は、本発明の実施形態に係る画像処理装置100の、エッジ画像生成に係る機能構成を示すブロック図である。本実施形態では画像処理装置100には、同一の被写体を同一の撮影条件で連続撮影して得られた2つの画像を用いて、ランダムノイズを低減し、好適にエッジ部を示すエッジ画像を生成する例について説明する。しかし、本発明の実施において処理対象となる複数の画像はこれに限られるものでなく、同一の被写体を所定の時間内に撮影して得られた複数の画像であってもよい。また、以下に示す画像処理装置100の構成は、各々が入力された画像を順次処理する回路として構成されてもよいし、不図示の制御部により、記録媒体に記録された所定の動作プログラムに基づいてその動作が制御されるものであってもよい。
処理対象となる第1の入力画像及び第2の入力画像は各々、第1のエッジ画像生成部101または第2のエッジ画像生成部102に入力される。第1のエッジ画像生成部101及び第2のエッジ画像生成部102は、入力された画像に対して所定のフィルタを適用することによりエッジ画像を生成する。例えば第1のエッジ画像生成部101及び第2のエッジ画像生成部102は、図2(a)に示すような詳細構成を有していればよい。
図2(a)では、入力された画像には水平Sobelフィルタ201及び垂直Sobelフィルタ203が適用され、水平方向及び垂直方向の各々についてエッジ成分を強調した画像に変換される。水平Sobelフィルタ201及び垂直Sobelフィルタ203で適用されるフィルタは、それぞれ図2(b)、(c)に示すようなフィルタであってよい。このように水平方向及び垂直方向の各々についてエッジが強調された画像は、絶対値フィルタ202または絶対値フィルタ204に入力されて絶対値化がなされたのち、加算器205において加算され、第1のエッジ画像または第2のエッジ画像として出力される。
位置合わせ部103は、第1のエッジ画像生成部101及び第2のエッジ画像生成部102から出力された第1のエッジ画像及び第2のエッジ画像において、被写体像の位置合わせする処理を行う。処理対象である第1の入力画像と第2の入力画像とは、連続して撮影されてはいるが、その間に撮影者の手振れ等によって、とらえている被写体像が2次元に移動している可能性があるため、位置合わせ部103においてその位置ずれを補正する。具体的には位置合わせ部103は、例えば第1のエッジ画像と第2のエッジ画像のユークリッド距離を算出することで位置ずれ量を取得し、第1のエッジ画像と被写体像が一致するように第2のエッジ画像を変更して出力する。また位置合わせ部103は、第1のエッジ画像についてはそのまま出力する。本実施形態では、位置合わせ部103は第1のエッジ画像を基準に第2のエッジ画像の位置合わせを行うものとして説明するが、本発明の実施はこれに限られるものではない。位置合わせ部103は、第1のエッジ画像を第2のエッジ画像に合わせる、あるいは両画像をずれの中間位置に合わせるとしてもよい。
エッジ合成部104は、位置ずれが解消された第1のエッジ画像及び第2のエッジ画像を合成し、ランダムノイズを低減した出力エッジ画像を生成する。
〈出力エッジ画像の生成〉
ここで、エッジ合成部104において生成される出力エッジ画像の生成方法及び原理について以下に詳細を説明する。
エッジ合成部104は、まず入力された第1のエッジ画像及び位置合わせ後の第2のエッジ画像から差分画像を生成する。差分画像の生成においては画像間の違いが判ればよいため、差分画像の各画素の画素値dは、絶対値を用いて
d=|e1−e2|
とする。ここで、e1及びe2はそれぞれ第1のエッジ画像、第2のエッジ画像の同一画素位置の画素値(同一被写体像に係る画素値)である。
上述したように、第1の入力画像及び第2の入力画像のS/N比が低いような場合、画像内に発生したランダムノイズはエッジ画像化後にはエッジとして残存しうる。しかしながら、被写体像において本来エッジである部分については常にエッジとして現れる一方で、ランダムノイズの誤認識によりエッジとして残存した部分は、必ずしも常にエッジとしては現れない。つまり、ランダムノイズは常に同じ位置に同じ信号レベルで発生するとは限らない。従って、本実施形態ではエッジ合成部104においてエッジ画像間の差分をとることにより、ランダムノイズがエッジとして誤認識された箇所を推定する。即ち、本来的にエッジである部分はエッジ画像間の差分をとった場合には差分が0に近くなり、ランダムノイズである部分はエッジ画像間の差分をとった場合には差分が0とはならず、ノイズに応じた値を示すことになる。故に、本実施形態ではエッジ合成部104は、差分絶対値と閾値との大小比較により、各画素がエッジであるか否かを判断する。
なお、本実施形態のように2種類の入力画像が同一の撮影条件にて撮影されたものとすれば、このような現象が現れるが、2種類の入力画像は異なる撮影条件であってもよい。この場合、撮影条件に応じて信号レベルが上下するため、撮影条件に応じて正規化した後に、差分絶対値を算出するようにすればよい。即ち、画像処理装置100に入力される複数の画像は同一の撮影条件により撮影されたものであることが好ましいが、本発明の実施においてこれは必須の要件ではない。
エッジ合成部104は、得られた差分画像の画素値と閾値Tとを比較し、各画素がランダムノイズを誤認識したことにより現れたエッジであるか否かを判断する。具体的にはエッジ合成部104は、画素値が閾値T以下である差分画像の画素については、第1のエッジ画像及び第2のエッジ画像の同じ画素位置の画素が、本来的なエッジ部あるいは正しく認識された平坦部を示すと判断する。またエッジ合成部104は、画素値が閾値Tを上回る差分画像の画素については、第1のエッジ画像及び第2のエッジ画像の同じ画素位置の画素はランダムノイズを誤認識したことにより現れたエッジ、即ち本来的には平坦部であったものと判断する。ここで閾値Tは、第1の入力画像あるいは第2の入力画像の撮影条件のうち、ISO感度や画素に対応するエリア(撮影環境)における輝度の大きさによって決定されるものとする。例えば輝度が高いエリアでは信号レベルが高いノイズが発生しうるため、Tはそれに伴い大きく設定される。
本実施形態ではエッジ合成部104は、本来的なエッジ部あるいは正しく認識された平坦部であると判断した画素については第1のエッジ画像からの画素を出力エッジ画像の同画素位置の画素に割り当てる。またエッジ合成部104は、ランダムノイズを誤認識したことにより現れたエッジであると判断した画素については第1のエッジ画像及び第2のエッジ画像を加重平均することにより出力エッジ画像の同画素位置の画素を生成する。加重平均の重みは閾値Tを用いて線型的に決定されてよく、両方のケースを総合すると第2のエッジ画像の画素に対して割り当てられる加重wは
w=d−T (d>T)
w=0 (d≦T)
として表すことができる。つまり、出力エッジ画像の各画素eは、第1のエッジ画像及び第2のエッジ画像の加重が図3(a)及び(b)のようになるため、
e={e1・(T−w)+e2・w}/T
として算出することができる。
即ち、本実施形態の画像処理装置100において生成される出力エッジ画像は、同一被写体について生成した複数のエッジ画像間における差分が閾値以下の画素についてはランダムノイズがないと判断し、1つのエッジ画像の画素のみを用いる。また、同一被写体について生成した複数のエッジ画像間における差分が閾値を上回る画素についてはランダムノイズが発生していると判断し、複数のエッジ画像の画素を加重平均することにより、ノイズの影響を低減した画素を生成する。このようにすることで、ランダムノイズを低減し、好適に本来的なエッジ部を識別可能なエッジ画像を得ることができる。なお、ノイズであると判断した画素については、複数のエッジ画像の画素値を加重平均する代わりに、複数のエッジ画像のうち最も小さい画素値を選択するようにしてもよい。
また、本実施形態では2つの入力画像から1つの出力エッジ画像を生成する方法について説明したが、本発明の実施において入力画像の数はこれに限られるものでないことは容易に理解されよう。即ち、本発明で生成される出力エッジ画像は、複数のエッジ画像間においてノイズであると判断した画素については複数のエッジ画像の画素値を加重平均し、ノイズではないと判断した画素についてはいずれか1つのエッジ画像の画素値を用いればよいものである。従って、3以上の入力画像についても、同様に本発明が適用であることは言うまでもない。
以上説明したように、本実施形態の画像処理装置は、ノイズが含まれる画像おいて、含まれるエッジを好適に検出することができる。具体的には画像処理装置は、所定の時間内に撮影された複数の入力画像を取得し、取得した複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する。また、生成した複数のエッジ画像間における被写体像の位置ずれを補正し、ノイズがエッジとして検出されている画素を特定する。そして画像処理装置は、ノイズがエッジとして検出されている画素の情報に基づいて、複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する。
[実施形態2]
上述した実施形態では、ノイズの影響を低減したエッジ画像を生成する方法について説明したが、本実施形態では同様のエッジ画像を生成しつつ、エッジ部及び平坦部の各々を適切にノイズ低減した画像を生成する方法について説明する。
《画像処理装置100の機能構成》
図4は、本発明の実施形態に係る画像処理装置100の、エッジ部及び平坦部の各々について異なるノイズリダクション(NR)処理を行った画像の生成に係る機能構成を示すブロック図である。本実施形態では、実施形態1と同様に、同一の被写体を同一の撮影条件で連続撮影して得られた2つの画像を用いて、入力した画像におけるランダムノイズを低減した画像を生成する例について説明する。以下の機能構成の説明において、実施形態1と同様の処理を行うブロックについては同一の参照番号を付して説明を省略し、本実施形態に固有の構成についてのみ説明するものとする。
処理対象となる第1の入力画像は、エッジNR処理部401、第1の平坦NR処理部402、第1のエッジ画像生成部101、位置合わせ部404及び動体検出部405に入力される。また処理対象となる第2の入力画像は、位置合わせ部404、第2のエッジ画像生成部102、第2の平坦NR処理部403に入力される。
エッジNR処理部401は、第1の入力画像のエッジを識別し、該エッジの種類に応じたNR処理を実行し、エッジ部NR画像を生成する。本実施形態ではエッジNR処理部401は、図5に示される構成を有するものとして説明するが、エッジの種類に応じて入力画像のエッジ部のノイズ低減を行う既存の手法のいずれを用いてもよい。
エッジ方向検出部501は、第1の入力画像の全画素がエッジを示すものと仮定し、各画素についてエッジ方向を検出する。具体的にはエッジ方向検出部501は、着目画素を中心とする5×5画素の領域を参照し、図6に示されるようなエッジ方向検出用の方向テンプレートのいずれに該当するかを判定し、着目画素についてのエッジ方向を検出結果として出力する。エッジ方向の検出においてエッジ方向検出部501は、参照している5×5画素から方向テンプレートにおいて直線を構成する画素(図6の各パターンにおいてハッチングされる画素)の画素値を抽出する。そして、抽出した5画素と着目画素について画素値の差の絶対値の総和(SAD値)を算出する。エッジ方向検出部501は、方向テンプレートの全てについてSAD値を算出し、12方向のうちSAD値が最少となる方向を着目画素のエッジ方向として出力する。
適応NR処理部502は、エッジ方向検出部501におけるエッジ方向の検出結果に基づき、第1の入力画像に対してエッジ方向に応じたNR処理を実行する。具体的には適応NR処理部502は、着目画素に対して、図7に示されるようなエッジ方向に対応する7画素(ハッチングで示される画素)のうち、着目画素との画素値の差の絶対値が所定値以下となる画素を用いて画素値の平均値を算出する。そして適応NR処理部502は、平均値をNR処理後の着目画素の画素値として決定する。このようにして適応NR処理部502は、第1の入力画像の全画素についてエッジ方向に適応したNR処理が適用されたエッジ部NR画像を生成し、出力する。
第1の平坦NR処理部402及び第2の平坦NR処理部403は、入力された画像に対してエッジ方向を考慮しないNR処理、即ちエッジNR処理部401で行われるNR処理とは異なる処理を実行する。本実施形態では第1の平坦NR処理部402及び第2の平坦NR処理部403は、第1の入力画像または第2の入力画像の全画素について、図8に示されるような着目画素を中心とする7×7画素を参照する。そして、7×7画素のうち、着目画素の画素値の差の絶対値が所定値以下となる画素を用いて画素値の平均値を算出し、NR処理後の着目画素の画素値として決定する。このようにすることで、第1の平坦NR処理部402及び第2の平坦NR処理部403は、エッジ等の周囲画素との画素値の差が生じうる画像を除いた平坦部に対して、平滑化を適用した第1の平坦部NR画像あるいは第2の平坦部NR画像を出力する。
位置合わせ部404は、入力された第1の入力画像と第2の入力画像において、被写体像の位置合わせをする処理を行い、画像間の手振れの影響を補正する。具体的には位置合わせ部404は、実施形態1の位置合わせ部103と同様に画像間のユークリッド距離から位置ずれ量を取得し、第1の入力画像と被写体像が一致するように第2の入力画像を射影変換等により変更して出力する。また位置合わせ部404は、取得した位置ずれ量を用いて第2のエッジ画像及び第2の平坦部NR画像を変更し、出力する。また位置合わせ部404は、第1の入力画像についてはそのまま出力する。
動体検出部405は、位置ずれが解消された第1の入力画像と第2の入力画像から、画像間において動きのあった被写体に対応する領域を検出する。具体的には動体検出部405は、第1の入力画像と第2の入力画像とを画素ごとに画素値の差分を算出し、該差分が所定値以上となる画素とその周辺画素とを動体領域として特定する。動体検出部405は、検出した動体領域情報を出力する。
エッジ加工部406は、実施形態1と同様にエッジ合成部104で生成された出力エッジ画像に対して、さらにエッジを太く、かつなだらかにするための加工処理を行う。該加工処理は、まず図9(a)に示すように最大値フィルタ901において、例えば着目画素を中心とする5×5画素のうちの最大の画素値を着目画素に割り当てる処理を適用する。その後、ローパスフィルタ902において図9(b)に示されるようなローパスフィルタを適用し、正規化した値を生成することにより行われる。
このようにエッジNR処理部401、第1の平坦NR処理部402、第2の平坦NR処理部403、位置合わせ部404、動体検出部405及びエッジ加工部406において生成された画像等は、画像合成部407に入力され、ノイズ低減画像の生成に用いられる。本実施形態の画像合成部407は、図10に示されるような詳細構成を有する。
平坦画像生成部1001は、入力された第1の平坦部NR画像、第2の平坦部NR画像、及び動体領域情報から、ランダムノイズの影響を低減した平坦部NR画像(平滑化画像)を生成する。具体的には平坦画像生成部1001は、動体領域情報に基づき、動体が検出された領域については所謂二重像の発生を防ぐため第1の平坦部NR画像のみから抽出した画素を平坦部NR画像の画素として使用する。また動体が検出されなかった領域については、第1の平坦部NR画像と第2の平坦部NR画像の画素値の平均値を平坦部NR画像の画素として割り当てる。このようにすることで、平坦画像生成部1001は、第1の平坦NR処理部402あるいは第2の平坦NR処理部403の平滑化処理において残存したランダムノイズに係る画素について、ノイズの影響を低減する。
そしてNR画像生成部1002は、加工後の出力エッジ画像に基づいて、エッジ部NR画像と平坦部NR画像とを合成し、ノイズ低減画像を生成する。具体的にはNR画像生成部1002は、加工後の出力エッジ画像において画素値がエッジ部を示す値域に分類される画素については、エッジ部NR画像から対応する画素を抽出してノイズ低減画像の画素とする。また加工後の出力エッジ画像において画素値が平坦部を示す値域に分類される画素については、平坦部NR画像から対応する画素を抽出してノイズ低減画像の画素とする。また加工後の出力エッジ画像において画素値がエッジ部を示す値域と平坦部を示す値域との中間の値域に分類される画素については、該画素値に応じてエッジ部NR画像と平坦部NR画像とを加重平均することにより得られた画素値を割り当てる。このようにすることで、NR画像生成部1002は、実施形態1の手法により得られた出力エッジ画像を参照し、エッジ部、平坦部、そしてランダムノイズによる影響が現れた部分の各々について好適にノイズを低減した画像を生成することができる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (10)

  1. 所定の時間内に撮影された複数の入力画像を取得する取得手段と、
    前記取得手段により取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成手段と、
    前記第1の生成手段により生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正手段と、
    前記補正手段により位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定手段と、
    前記特定手段により特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成手段と、を有する
    ことを特徴とする画像処理装置。
  2. 前記特定手段は、前記複数のエッジ画像のうち、画像間の画素値の差分の絶対値が閾値を上回る画素を、前記ノイズがエッジとして検出されている画素として特定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2の生成手段は、前記ノイズがエッジとして検出されている画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像の画素値を加重平均することにより画素値を求めることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記第2の生成手段は、前記ノイズがエッジとして検出されていない画素と同一画素位置を有する前記出力エッジ画像の画素については、前記複数のエッジ画像のうちのいずれか1つのエッジ画像の画素値を用いることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記複数の入力画像のうちの1つの入力画像に対して、エッジ方向に応じたノイズを低減する第1のノイズ低減手段と、
    前記複数の入力画像の各々に対して、エッジとして検出された画素を除いた画素のノイズを低減する前記第1のノイズ低減手段とは異なる第2のノイズ低減手段と、
    前記第1のノイズ低減手段によりノイズが低減された前記1つの入力画像と、前記第2のノイズ低減手段によりノイズが低減された前記複数の入力画像とを、前記出力エッジ画像に基づいて合成し、前記1つの入力画像のノイズを低減したノイズ低減画像を生成する第3の生成手段と、をさらに有する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記第3の生成手段は、前記ノイズが低減された複数の入力画像を合成して1つの平滑化画像を生成し、該平滑化画像と前記ノイズが低減された1つの入力画像とを用いて前記ノイズ低減画像を生成することを特徴とする請求項5に記載の画像処理装置。
  7. 前記第3の生成手段は、
    前記出力エッジ画像においてエッジとして認識される画素については前記ノイズが低減された1つの入力画像の画素を前記ノイズ低減画像の画素として用い、
    前記出力エッジ画像においてエッジとして認識されない画素については、前記平滑化画像の画素、あるいは前記ノイズが低減された1つの入力画像と前記平滑化画像とを用いて得られた画素値を有する画素を前記ノイズ低減画像の画素として用いる
    ことを特徴とする請求項6に記載の画像処理装置。
  8. 前記複数の入力画像について、画像間で被写体の動きが生じた動体領域を検出する検出手段をさらに有し、
    前記第3の生成手段は、前記平滑化画像を生成する際に、前記検出手段により検出された動体領域については、前記ノイズが低減された1つの入力画像のうちの1つの画像の画素を、前記平滑化画像の画素として用いる
    ことを特徴とする請求項6または7に記載の画像処理装置。
  9. 画像処理装置の取得手段が、所定の時間内に撮影された複数の入力画像を取得する取得工程と、
    前記画像処理装置の第1の生成手段が、前記取得工程において取得された複数の入力画像から、各々の画像内の被写体像のエッジを強調したエッジ画像を生成する第1の生成工程と、
    前記画像処理装置の補正手段が、前記第1の生成工程において生成された複数のエッジ画像間における被写体像の位置ずれを補正する補正工程と、
    前記画像処理装置の特定手段が、前記補正工程において位置ずれが補正された複数のエッジ画像において、ノイズがエッジとして検出されている画素を特定する特定工程と、
    前記画像処理装置の第2の生成手段が、前記特定工程において特定された前記ノイズがエッジとして検出されている画素の情報に基づいて、前記複数のエッジ画像から、ノイズを低減した出力エッジ画像を生成する第2の生成工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
  10. コンピュータを、請求項1乃至8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラムを記録した記録媒体。
JP2014035994A 2014-02-26 2014-02-26 画像処理装置、制御方法及び記録媒体 Expired - Fee Related JP6378496B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014035994A JP6378496B2 (ja) 2014-02-26 2014-02-26 画像処理装置、制御方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014035994A JP6378496B2 (ja) 2014-02-26 2014-02-26 画像処理装置、制御方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2015162759A true JP2015162759A (ja) 2015-09-07
JP6378496B2 JP6378496B2 (ja) 2018-08-22

Family

ID=54185599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014035994A Expired - Fee Related JP6378496B2 (ja) 2014-02-26 2014-02-26 画像処理装置、制御方法及び記録媒体

Country Status (1)

Country Link
JP (1) JP6378496B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503702A (ja) * 2017-08-30 2020-01-30 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
KR20220126474A (ko) * 2021-03-09 2022-09-16 엘아이지넥스원 주식회사 다중 대역 영상 기반 불량 화소 검출 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109369A (ja) * 2006-10-25 2008-05-08 Olympus Imaging Corp 撮像装置及び画像処理方法
JP2008271024A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2010171753A (ja) * 2009-01-23 2010-08-05 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012235390A (ja) * 2011-05-06 2012-11-29 Canon Inc 画像処理装置及びその制御方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008109369A (ja) * 2006-10-25 2008-05-08 Olympus Imaging Corp 撮像装置及び画像処理方法
JP2008271024A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2010171753A (ja) * 2009-01-23 2010-08-05 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012235390A (ja) * 2011-05-06 2012-11-29 Canon Inc 画像処理装置及びその制御方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503702A (ja) * 2017-08-30 2020-01-30 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
US10846830B2 (en) 2017-08-30 2020-11-24 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR20220126474A (ko) * 2021-03-09 2022-09-16 엘아이지넥스원 주식회사 다중 대역 영상 기반 불량 화소 검출 장치 및 방법
KR102596414B1 (ko) 2021-03-09 2023-10-31 엘아이지넥스원 주식회사 다중 대역 영상 기반 불량 화소 검출 장치 및 방법

Also Published As

Publication number Publication date
JP6378496B2 (ja) 2018-08-22

Similar Documents

Publication Publication Date Title
US8508605B2 (en) Method and apparatus for image stabilization
US10726539B2 (en) Image processing apparatus, image processing method and storage medium
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
US9508153B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method, and program
US9007483B2 (en) Image synthesis device and computer program for image synthesis for synthesizing a plurality of images of different exposure times
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2018041380A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010187348A (ja) 画像処理装置、画像処理方法、画像処理プログラム
US20150206024A1 (en) Image processing apparatus, image processing method, and storage medium
JP6552325B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP6378496B2 (ja) 画像処理装置、制御方法及び記録媒体
US9270883B2 (en) Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium
US20230274398A1 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
JP2016156702A (ja) 撮像装置および撮像方法
JP7009252B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7039215B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
US20180352153A1 (en) Image processing apparatus that generates evaluation value for evaluating luminance of image data, image capturing apparatus, method for processing image, and program
JP6637242B2 (ja) 画像処理装置、撮像装置、プログラム、および画像処理方法
US11928798B2 (en) Image processing apparatus to merge images, image processing method, imaging apparatus, and storage medium
JP6074198B2 (ja) 画像処理装置及び画像処理方法
JP2012070168A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US10839540B2 (en) Apparatus and method for generating intermediate view image
JP2009290831A (ja) 画像追尾装置,画像追尾処理方法および画像追尾処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180727

R151 Written notification of patent or utility model registration

Ref document number: 6378496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees