JP2018055516A - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents

画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 Download PDF

Info

Publication number
JP2018055516A
JP2018055516A JP2016192496A JP2016192496A JP2018055516A JP 2018055516 A JP2018055516 A JP 2018055516A JP 2016192496 A JP2016192496 A JP 2016192496A JP 2016192496 A JP2016192496 A JP 2016192496A JP 2018055516 A JP2018055516 A JP 2018055516A
Authority
JP
Japan
Prior art keywords
image
image processing
disturbance
learning
deterioration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016192496A
Other languages
English (en)
Other versions
JP6910780B2 (ja
Inventor
法人 日浅
Norito Hiasa
法人 日浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016192496A priority Critical patent/JP6910780B2/ja
Publication of JP2018055516A publication Critical patent/JP2018055516A/ja
Application granted granted Critical
Publication of JP6910780B2 publication Critical patent/JP6910780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】移動被写体が存在する場合でも、撮影画像から擾乱による劣化を高精度に推定することが可能な画像処理方法を提供する。【解決手段】画像処理方法は、擾乱により劣化した入力画像の少なくとも一部の領域を取得する工程と、擾乱に関して予め学習された学習情報を取得する工程と、領域と前記学習情報とを用いて領域における劣化を推定または補正する工程とを有し、前記劣化を推定または補正する工程は、Nを2以上の整数、nを1からNまでの整数とするとき、領域に対して、学習情報に基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成する工程と、中間データに対して、学習情報に基づく少なくとも1つの線型関数による第N+1線型変換を実行する工程とを有する。【選択図】図1

Description

本発明は、擾乱により生じた撮影画像の劣化を推定または補正する画像処理方法に関する。
表示装置の高精細化に伴い、撮影画像の更なる高画質化が望まれている。しかし、撮影画像は、撮像装置と被写体との間に存在する媒質の揺らぎ(擾乱)により劣化する。例えば、炎天下における撮影や遠方の被写体を撮影する場合、大気の揺らぎによって、撮影画像は劣化する。また、大気中から水中を撮影する場合の水面の揺らぎや、撮像装置と被写体とが共に水中に存在する場合の水の揺らぎなども、擾乱による劣化として挙げられる。擾乱は、被写体空間中に屈折率の異なる界面を生成するため、この界面で光が屈折して被写体像の形状が歪む(直線が曲線になるなど)。これを像面上の歪みと呼ぶ。また、被写体空間中に屈折率の異なる界面が存在するということは、その界面にレンズが配置されていることと同義であるため、被写体像の結像性能にも影響を与える。具体的には、合焦位置のずれや、合焦位置における結像性能の劣化が発生する。これらを光学性能の劣化と呼ぶ。これらの劣化(像面上の歪みと光学性能の劣化)は、擾乱により発生する屈折率の界面が未知であるため、補正または推定することが困難である。
特許文献1には、擾乱による劣化の対策として、非剛体レジストレーション(non−rigid registration)を用いる手法が開示されている。非剛体レジストレーションとは、像面上の歪みが発生した画像を、局所領域ごとに、歪みのない参照画像と位置合わせし、歪みを推定または補正する手法である。参照画像は、例えば、互いに異なる時間に撮影された複数の画像を時間平均することで取得される。これは、擾乱による像面上の歪みは時間によって連続的に変化し、その変化の時間平均値がゼロになるという仮定に基づく。平均値(時間平均値)がゼロの場合、擾乱による歪みはある時間の中でゼロ近傍になる頻度が最も高いため、時間平均によって像面上の歪みが補正される。ただし、時間平均した参照画像はぼけるため、像面上の歪みのある画像を局所領域ごとに変形することで、歪みのない高解像な画像を得る。
米国特許出願公開第2014/0105515号明細書
Y.LeCun,et al."Gradient−based Learning Applied to Document Recognition",Proc. of The IEEE,1998. G.E.Hinton,et al."A fast learning algorithm for deep belief nets", Neural Comput.2006 Jul;18(7):1527−54. I.J.Goodfellow,et al.,"Maxout networks",arXiv preprint arXiv:1302.4389(2013). G.E.Hinton & R.R.Salakhutdinov(2006−07−28)."Reducing the Dimensionality of Data with Neural Networks",Science 313(5786):504−507. N.Srivastava,et al.,"Dropout:A simple way to prevent neural networks from overfitting",The Journal of Machine Learning Research,15(1):1929-1958,2014. A.Krizhevsky,"Learning Multiple Layers of Features from Tiny Images",2009,https://www.cs.toronto.edu/〜kriz/learning−features−2009−TR.pdf
しかしながら、特許文献1に開示された手法では、擾乱による光学性能の劣化に対応することができない。非剛体レジストレーションは、画像の局所領域ごとに位置合わせを行うため、参照画像と擾乱による劣化画像との間でマッチングを行う必要がある。像面上の歪みは、被写体の空間周波数成分を減少させることはないため、画像にエッジが残存し、マッチングを行うことができる。しかし、光学性能の劣化は、被写体の空間周波数成分を失わせるため、マッチングの精度が低下する。
また非剛体レジストレーションは、参照画像を用意する必要があるため、被写体が既知である場合を除いて、擾乱の異なる複数の画像を用意しなければならない。このため、複数の画像として互いに時間(撮影タイミング)の異なる画像を使用する場合、時間変化する被写体には対応できない。
そこで本発明は、移動被写体が存在する場合でも、撮影画像から擾乱による劣化(像面上の歪みと光学性能の劣化)を高精度に推定または補正することが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供する。
本発明の一側面としての画像処理方法は、擾乱により劣化した入力画像の少なくとも一部の領域を取得する工程と、前記擾乱に関して予め学習された学習情報を取得する工程と、前記領域と前記学習情報とを用いて、該領域における劣化を推定または補正する工程とを有し、前記劣化を推定または補正する工程は、Nを2以上の整数、nを1からNまでの整数とするとき、前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成する工程と、前記中間データに対して、前記学習情報に基づく少なくとも1つの線型関数による第N+1線型変換を実行する工程とを有する。
本発明の他の側面としての画像処理装置は、擾乱に関する学習情報を記憶する記憶部と、前記擾乱により劣化した入力画像の少なくとも一部の領域と、前記学習情報とを用いて、該領域における劣化を推定または補正する画像処理部とを有し、前記画像処理部は、Nを2以上の整数、nを1からNまでの整数とするとき、前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成し、前記中間データに対して、前記学習情報に基づく少なくとも1つの線型関数による第N+1線型変換を実行する。
本発明の他の側面としての撮像装置は、被写体空間の像を入力画像として取得する撮像部と、前記画像処理装置とを有する。
本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させる。
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、移動被写体が存在する場合でも、撮影画像から擾乱による劣化を高精度に推定または補正することが可能な画像処理方法、画像処理方法、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。
実施例1および実施例2における劣化補正のネットワーク構造を示す図である。 実施例1および実施例3における撮像装置のブロック図である。 実施例1および実施例3における撮像装置の外観図である。 実施例1における劣化補正を示すフローチャートである。 実施例1における学習情報の学習を示すフローチャートである。 実施例2における画像処理システムのブロック図である。 実施例2における画像処理システムの外観図である。 実施例2における劣化補正を示すフローチャートである。 実施例3における劣化推定を示すフローチャートである。 実施例3における劣化推定のネットワーク構造を示す図である。 実施例3における学習情報の学習を示すフローチャートである。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
まず、実施例の具体的な説明を行う前に、本発明の要旨を述べる。本発明では、ディープラーニング(深層学習)を用いて、撮影画像から擾乱による劣化を推定または補正する。ここで擾乱とは、撮像装置と被写体との間に存在する媒質の揺らぎであり、大気の揺らぎや水の揺らぎなどが含まれる。擾乱による劣化には、像面上の歪みと光学性能の劣化とが含まれる。
擾乱により劣化した画像と、擾乱により劣化していない画像とを用いて、それらの画像の対応関係をディープラーニングにより学習することにより、擾乱による劣化を高精度に推定または補正することができる。また、学習の際に入力する劣化画像が1枚になるようにネットワーク構造を設定すれば、劣化を推定または補正しようとする被写体に対して、擾乱の異なる複数の画像を撮影する必要がない。その結果、移動被写体にも対応することが可能となる。
まず、図2および図3を参照して、本発明の実施例1における撮像装置について説明する。図2は、撮像装置100のブロック図である。図3は、撮像装置100の外観図である。本実施例において、撮像装置100は、画像処理方法を実行し、擾乱による劣化をディープラーニングにより補正する。
撮像装置100は、被写体空間の像を撮影画像(入力画像)として取得する撮像部101を有する。撮像部101は、被写体空間から入射する光を集光する結像光学系101aと、複数の画素を有する撮像素子101bとを有する。撮像素子101bは、例えば、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal−Oxide Semiconductor)センサである。撮像素子101bで取得された撮影画像には、被写体空間に存在する媒質の揺らぎ(擾乱)による劣化のため、被写体の形状の歪みや空間周波数成分の減衰が発生している。このため、撮影画像を劣化画像とも呼ぶ。
画像処理部102は、撮影画像(入力画像)に対して、擾乱による劣化を補正する。画像処理部102は、学習部102aと補正部102bとを有する。記憶部103は、画像処理部102による劣化補正の際に用いられる学習情報(擾乱に関して予め学習された学習情報)を記憶している。画像処理(劣化補正)の詳細については後述する。画像処理部102により補正された画像(補正画像)は、液晶ディスプレイなどの表示部104に表示されるか、または、記録媒体105に保存される。ただし、劣化画像を記録媒体105に保存し、任意のタイミングで劣化(劣化画像)を補正してもよい。撮影画像は、静止画だけでなく動画であってもよい。この場合、各フレームに対して劣化の補正を行う。以上の一連の制御は、システムコントローラ106により行われる。
次に、図4を参照して、擾乱による劣化の補正(画像処理部102による劣化補正)について説明する。画像処理部102は、劣化補正の際に、擾乱に関して事前に学習された学習情報を用いるが、この学習の詳細については後述する。図4は、擾乱による劣化を補正するフローチャートである。図4の各ステップは、主に、画像処理部102の補正部102bにより実行される。
まずステップS101において、画像処理部102(補正部102b)は、擾乱による劣化画像(撮影画像、入力画像)と学習情報とを取得する。学習情報とは、劣化画像と補正画像(擾乱による劣化が補正された画像)とを結び付けるために予め学習された情報である。続いてステップS102において、補正部102bは、劣化画像から、劣化画像の少なくとも一部の領域(部分領域)を取得する。劣化補正は、この領域(部分領域)を単位として(部分領域ごとに)行われる。
続いてステップS103において、補正部102bは、学習情報を用いて部分領域から擾乱による劣化を補正した補正部分領域(補正領域)を生成する。ここで、図1を参照して、劣化補正について詳述する。図1は、ディープラーニングの1つであるCNN(Convolutional Neural Network)のネットワーク構造を示している。ただし、ディープラーニングとして、CNN以外の手法、例えばDBN(Deep Belief Network)を用いても構わない。CNNおよびDBNの詳細はそれぞれ、非特許文献1および非特許文献2に説明されている。
CNNは、複数の層構造になっており、各層で学習情報を用いた線型変換と非線型変換とが実行される。nを1からNまでの整数とするとき、n番目の層を第n層、第n層における線型変換と非線型変換とをそれぞれ、第n線型変換と第n非線型変換と呼称する。ただし、Nは2以上の整数である。部分領域201に関しては、第1層において、複数のフィルタ202のそれぞれとのコンボリューション(複数の線型関数による第1線型変換)が実行される。その後、活性化関数(Activation Function)と呼ばれる非線型関数を用いて変換(第1非線型変換)が実行される。図1において、活性化関数をAFとして示している。また、部分領域201が複数枚描画されているのは、入力画像(撮影画像)が複数のチャンネルを有するためである。本実施例において、部分領域はRGB(Red、Green、Blue)の3チャンネルを有する。ただし、チャンネルの数はこれに限定されるものではない。また、部分領域がRGBの3チャンネルを有する場合でも、1チャンネルごとに個別にCNNへ入力しても構わない。
フィルタ202は複数存在する。補正部102bは、複数のフィルタ202のそれぞれと部分領域201とのコンボリューションを個別に算出する。フィルタ202の係数は、学習情報に基づいて決定される。学習情報は、フィルタ202の係数(フィルタ係数)そのもの、または、フィルタ202を所定の関数でフィッティングした際の係数でもよい。フィルタ202のそれぞれのチャンネル数は、部分領域201の数と一致する。部分領域201のチャンネル数が2以上の場合、3次元フィルタとなる(3次元目がチャンネル数を表す)。また、コンボリューションの結果に対して、学習情報から決定される定数(負もとり得る)を加算してもよい。
活性化関数f(x)の例として、以下の式(1)〜(3)が挙げられる。
式(1)はシグモイド関数、式(2)はハイパボリックタンジェント関数、式(3)はReLU(Rectified Linear Unit)と呼ばれる。式(3)中のmaxは、引数のうち最大値を出力するMAX関数を表す。式(1)〜(3)に示される活性化関数f(x)は、全て単調増加関数である。また、活性化関数としてMaxoutを使用してもよい。Maxoutは、第n線型変換の出力である複数の画像のうち、各画素で最大値である信号値を出力するMAX関数である。Maxoutの詳細は、非特許文献3に説明されている。
図1において、第1線型変換および第1非線型変換が施された部分領域を、第1変換部分領域203と呼称する。第1変換部分領域203の各チャンネル成分は、部分領域201と複数のフィルタ202のそれぞれとのコンボリューションから生成される。このため、第1変換部分領域203のチャンネル数は、フィルタ202の数と同じになる。
第2層では、第1変換部分領域203に対して、第1層と同様に学習情報から決定される複数のフィルタ204とのコンボリューション(第2線型変換)と、活性化関数による非線型変換(第2非線型変換)とを行う。第2層で用いられるフィルタ204は、一般的に、第1層で用いられるフィルタ202と同一ではない。フィルタ204のサイズや数も、フィルタ204と一致しなくてもよい。ただし、フィルタ204のチャンネル数と第1変換部分領域203のチャンネル数とは互いに一致する。補正部102bは、同様の演算を第N層まで繰り返す(第n線型変換および第n非線型変換(n=1〜N)を実行する)ことにより、中間データ210を取得する。
最後に、第N+1層において、中間データ210と複数のフィルタ211のそれぞれとのコンボリューションに定数を加算すること(第N+1線型変換)により、擾乱による劣化が補正された補正部分領域212が取得される。ここで用いられるフィルタ211および定数もそれぞれ、学習情報に基づいて決定される。補正部分領域212のチャンネル数は、部分領域201と同じである。このため、フィルタ211の数も部分領域201のチャンネル数と同じである。補正部分領域212の各チャンネルの成分は、中間データ210とフィルタ211のそれぞれ(フィルタ211が1つの場合もある)とのコンボリューションを含む演算から求められる。なお、部分領域201と補正部分領域212とのサイズは互いに一致しなくてもよい。コンボリューションの際に、部分領域201の外側にはデータが存在しないため、データの存在する領域のみで演算すると、コンボリューション結果はサイズが小さくなる。ただし、周期境界条件などを設定することにより、サイズを保つこともできる。なお本実施例において、第n線型変換(n=1〜N)および第N+1線型変換のそれぞれに関する各フィルタの係数は、全て異なっている。
ディープラーニングが高い性能を発揮できる理由は、非線型変換を多層構造によって何度も実行することにより、高い非線型性が得られるためである。仮に、非線型変換を担う活性化関数が存在せず、線型変換のみでネットワークが構成されていた場合、いくら多層にしてもそれと等価な単層の線型変換が存在するため、多層構造にする意味がない。ディープラーニングは、より多層にする方が強い非線型を得られるため、高い性能が出やすいと言われている。一般に、少なくとも3層以上を有する場合がディープラーニングと呼ばれる。
続いて、図4のステップS104において、補正部102bは、劣化画像のうち所定の領域(部分領域)の全てに対して劣化補正が完了したか否かを判定する。所定の領域の全てに対して補正部分領域212が生成されている場合、ステップS105へ進む。一方、劣化補正が完了していない領域(部分領域)が残っている場合、ステップS102へ戻り、補正部102bは、まだ劣化補正されていない部分領域を劣化画像から取得する。
ステップS105において、補正部102bは、補正画像を出力する。補正画像は、生成された複数の補正部分領域212を合成することにより生成される。ただし、部分領域が劣化画像の全体である場合、補正部102bは、補正部分領域212をそのまま補正画像として出力する。以上の処理により、擾乱による劣化を補正した画像(補正画像)を取得することができる。
なお本実施例では、劣化画像(入力画像)および補正画像(出力画像)が共に1枚の場合を説明した。しかし、本実施例はこれに限定されるものではない。例えば、複数の劣化画像(複数の入力画像)を入力し、複数の劣化画像のそれぞれの劣化を補正した複数の補正画像(複数の出力画像)が一括で取得することができるように、CNNのネットワークを構成してもよい。また、時間または視点の互いに異なる複数の劣化画像を入力し、1枚の補正画像を取得するように構成してもよい。擾乱は時間変化し、また視点によっても光の経路が変化することから擾乱の影響が変化する。同一の被写体に対して互いに異なる劣化が生じた複数の画像を入力することにより、補正精度を向上することができる。ただし、時間的に異なる画像を入力する場合、被写体が移動している場合に精度が低下する。
次に、図5を参照して、本実施例における学習情報の学習について説明する。図5は、学習情報の学習を示すフローチャートである。図5の各ステップは、主に、画像処理部102の学習部102aにより行われる。ただし本実施例はこれに限定されるものではなく、学習情報の学習は、劣化補正前であれば、撮像装置100とは別の装置(演算装置)に設けられた学習部で行ってもよい。本実施例では、撮像装置100の学習部102aが学習情報を学習する場合について説明する。
まずステップS201において、学習部102aは、少なくとも一対の学習画像を取得する。一対の学習画像とは、同一の被写体が存在する画像であって、擾乱により劣化した画像(擾乱のある画像)と、擾乱により劣化していない画像(擾乱のない画像)とを含む。擾乱のある画像は、擾乱のない画像と一対一に対応しているか、または、1枚の擾乱のない画像に対して複数枚存在していてもよい。後者の場合、擾乱のある画像は、擾乱による劣化(劣化の状態)が互いに異なる複数の画像である。
学習画像のうち擾乱のない画像は、様々な周波数成分を含むことが好ましい。例えば、学習画像にエッジがない場合、歪んだ、または、ぼけたエッジを補正する学習データが存在しないため、エッジに対する劣化補正の効果が充分に得られない可能性がある。学習画像を用意する方法として、シミュレーションを利用するか、または、実写画像を使用してもよい。シミュレーションを行う場合、擾乱のない画像に対して擾乱下の撮像シミュレーションを行うことにより、擾乱のある画像を生成すればよい。実写画像を使用する場合、同一の被写体を擾乱の強弱が異なる条件で撮影した画像を使用すればよい。例えば、擾乱が大気の揺らぎの場合、劣化の強弱は被写体距離や気温などに影響を受ける。または、チャートなどの既知の被写体(擾乱のない画像)を擾乱下で撮影することにより、擾乱のある画像と擾乱のない画像とを含む学習画像を得てもよい。
また、擾乱のある画像に対してディープラーニング以外の手法を用いることで擾乱のない画像を推定し、学習画像を用意してもよい。その例として、同一の被写体を互いに異なる時間または互いに異なる視点で撮影した複数の画像(擾乱のある画像)を用いる方法が挙げられる。時間または視点が互いに異なる(それに応じて擾乱による劣化が異なる)複数の画像を平均化し、像面上の歪みが補正された画像を得る。光学性能の劣化と平均化によるぼけは、ブラインドデコンボリューションにより補正することで、擾乱のない画像を得ることができる。ただしこの際、擾乱を除いて、時間または視点に応じて変化する被写体は除外しておくことが好ましい。時間が互いに異なる複数の画像の場合、移動被写体が変化する被写体として挙げられる。視点が互いに異なる複数の画像の場合、オクルージョンや、等方的な拡散成分以外の要素(鏡面反射など)がある。また、視差ずれにより画像間でずれている被写体は、視差ずれをキャンセルするようにシフトさせてから平均化する必要がある。
学習時に時間の異なる複数の画像を使用したとしても、入出力がそれぞれ一枚の画像になっているネットワーク構造を設定すれば、実際に劣化補正を行う際には、時間的に異なる画像を取得する必要がない。このため、移動被写体に対しても、擾乱による劣化を高精度に補正することができる。なお、学習画像には様々な擾乱の画像が含まれていることが好ましい。学習画像に含まれない劣化の仕方をしている画像は、高精度に補正することができないためである。また、学習画像は、劣化がある画像と劣化がない画像からなる一対の画像を含んでいればよいが、前述の理由により、劣化がある複数の画像を含むことが好ましい。
続いてステップS202において、学習部102aは、ステップS201にて取得した学習画像から、複数の学習ペアを取得する。学習ペアは、学習部分領域(学習領域)と学習劣化部分領域(学習劣化領域)とからなる。学習劣化部分領域は擾乱のある画像から取得され、そのサイズはステップS102にて取得した劣化画像の部分領域と同じである。学習部分領域は擾乱のない画像から取得され、学習部分領域の中心は画像において学習劣化部分領域の中心と同じ位置である。また、学習部分領域のサイズは、ステップS103にて生成された補正部分領域と同じである。前述と同様に、学習部分領域と学習劣化部分領域のペア(学習ペア)は、一対一に対応している必要はない。1つの学習部分領域と、複数の学習劣化部分領域とがペア(グループ)になっていてもよい。
続いてステップS203において、補正部102aは、複数の学習ペア(学習部分領域と学習劣化部分領域)から、学習情報を学習によって取得(生成)する。学習では、劣化補正と同じネットワーク構造を使用する。本実施例では、図1に示されるネットワーク構造に対して学習劣化部分領域を入力し、その出力結果と学習部分領域との誤差を算出する。この誤差が最小となるように、例えば誤差逆伝播法(Backpropagation)などを用いて、第1乃至N+1層で用いる複数のフィルタのそれぞれの係数や加算する定数(学習情報)を更新して最適化する。各フィルタの係数および定数の初期値は任意に設定することができ、例えば乱数から決定される。または、各層ごとに初期値を事前学習するAuto Encoderなどのプレトレーニングを行ってもよい。Auto Encoderの詳細は、非特許文献4に説明されている。
学習ペアの全てをネットワーク構造へ入力し、それら全ての情報を使って学習情報を更新する手法をバッチ学習と呼ぶ。ただし、この学習方法は、学習ペアの数が増えるにつれて計算負荷が膨大になる。逆に、学習情報の更新に1つの学習ペアのみを使用し、更新ごとに異なる学習ペアを使用する学習手法をオンライン学習と呼ぶ。この手法は、学習ペアが増えても計算量が増大しないが、1つの学習ペアに存在するノイズの影響を大きく受ける。このため、これら2つの手法の中間に位置するミニバッチ法を用いて学習することが好ましい。ミニバッチ法は、全学習ペアの中から少数を抽出し、それらを用いて学習情報の更新を行う。次の更新では、異なる小数の学習ペアを抽出して使用する。これを繰り返すことにより、バッチ学習とオンライン学習の不利な点を小さくすることができ、高い補正効果を得やすくなる。
続いてステップS204において、補正部102aは、学習された学習情報を出力する。本実施例において、学習情報は記憶部103に記憶される。以上の処理により、移動被写体にも対応可能であって、かつ擾乱による劣化の補正効果が高い学習情報を学習することができる。
また、以上の処理に加えて、CNNの性能を向上させる工夫を併用してもよい。例えば、ロバスト性の向上のためネットワークの各層において、ドロップアウト(Dropout)やダウンサンプリングであるプーリング(pooling)を行ってもよい。または、学習精度の向上のため、学習画像の画素の平均値を0、分散を1に正規化し、隣接する画素の冗長性をなくすZCAホワイトニング(ZCA whitening)などを併用してもよい。ドロップアウトおよびZCAホワイトニングの詳細はそれぞれ、非特許文献5および非特許文献6に説明されている。
本実施例によれば、移動被写体が存在する場合でも、撮影画像から擾乱による劣化を高精度に補正することが可能な撮像装置を提供することができる。
次に、本発明の実施例2における画像処理システムについて説明する。本実施例の画像処理システムにおいて、擾乱による劣化を補正する画像処理装置と、劣化画像(撮影画像)を取得する撮像装置、および、学習を行うサーバが個別に設けられている。また本実施例では、擾乱による劣化の大きさを判定することにより、使用する学習情報を切り替える。擾乱による劣化の大きさに応じて、劣化の補正に使用する学習情報を個別に学習して使用することにより、より高精度な補正が可能となる。
図6および図7を参照して、本実施例における画像処理システムについて説明する。図6は、画像処理システム200のブロック図である。図7は、画像処理システム200の外観図である。図6および図7に示されるように、画像処理システム200は、撮像装置300、画像処理装置301、サーバ305、表示装置308、記録媒体309、および、出力装置310を備えて構成される。
撮像装置300の基本構成は、劣化補正と学習情報の学習に関する画像処理部を除いて、図2を参照して説明した撮像装置100と同様である。撮像装置300を用いて撮影された劣化画像(撮影画像、入力画像)は、画像処理装置301に設けられた記憶部302に記憶される。画像処理装置301は、ネットワーク304と有線または無線で接続されており、ネットワーク304を介してサーバ305にアクセスすることができる。サーバ305は、劣化画像から擾乱による劣化を補正するための学習情報を学習する学習部307と、学習情報を記憶する記憶部306とを有する。画像処理装置301に設けられた補正部303(画像処理部)は、サーバ305の記憶部306からネットワーク304を介して学習情報を取得し、劣化画像の擾乱による劣化を補正する。補正部303により生成された補正画像は、表示装置308、記録媒体309、および、出力装置310の少なくとも一つに出力される。表示装置308は、例えば液晶ディスプレイやプロジェクタである。ユーザは、表示装置308を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体309は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバである。出力装置310は、例えばプリンタである。画像処理装置301は、必要に応じて現像処理やその他の画像処理を行う機能を有してもよい。
次に、図8を参照して、擾乱による劣化の補正(画像処理装置301による劣化補正)について説明する。図8は、擾乱による劣化を補正するフローチャートである。図8の各ステップは、主に、画像処理装置301の補正部303(画像処理部)により実行される。
まずステップS301において、補正部303は、記憶部302から、擾乱により劣化した劣化画像(撮影画像、入力画像)を取得する。続いてステップS302において、補正部303は、劣化画像に作用している擾乱による劣化の大きさを判定する。劣化の大きさとは、像面上の歪みによって被写体像のある点が移動しうる変異量、または、光学性能の劣化によってぼけうるぼけ量を指す。本実施例では、これらの量(変異量、ぼけ量)を画素サイズで除すことにより、画素数に換算する。以下、劣化の大きさを判定する方法として、3つの例を説明する。
第1の例は、時間平均を用いる方法である。例えば、劣化画像と異なる時間で撮影した複数の画像を平均化し、平均化画像からブラインドデコンボリューションなどを用いてPSF(Point Spread Function)を推定する。このPSFの拡がりが、擾乱による劣化の大きさに相当する。または、非剛体レジストレーションを使用し、参照画像と複数の画像のそれぞれとの間の位置ずれ量に基づいて、劣化の大きさを見積もってもよい。ただし、時間平均に用いる複数の画像は、劣化画像と撮影時間が近いことが好ましい。これは例えば、日中と夜間とでは、日光の有無によって擾乱による劣化の大きさが異なるためである。時間平均に用いる複数の画像の撮影時間が劣化画像と近ければ、擾乱の振る舞いは大きく変化しないため、時間平均に劣化画像自身が含まれていなくてもよい。また、複数画像の時間平均に代えて、長時間露光で撮影した画像を用いてもよい。なお、移動被写体など、擾乱を除いて時間変化する成分は、劣化の大きさを見積もる際に除去することが精度確保のために好ましい。
第2の例は、視点の異なる複数の画像を用いる方法である。視点の異なる複数の画像は、例えば、撮像装置300を多眼構成とすることにより取得することができる。時間の場合と同様に、複数の画像を平均化してブラインドデコンボリューションを利用することにより、劣化の大きさを推定することができる。異なる視点を利用する場合、移動被写体に対しても対応可能であるが、オクルージョンや等方拡散でない成分、視差ずれなどが問題となる。
第3の例は、劣化画像を撮影した際の周囲の環境に関する情報に基づいて、劣化の大きさを見積もる方法である。例えば大気揺らぎは、気温、時刻と天候(太陽光の強度)、海抜高度(大気の濃度)、地面の材質と地面からの高さ(対流)、被写体距離、風速などに応じて変化する。また、重力方向に対する撮像角度(撮像装置300と被写体との間における大気の濃度変化)も影響する。このため、これらの情報を撮影時の周囲の環境に関する情報として取得し、取得した情報に基づいて擾乱による劣化の大きさを算出する。同様に、水の場合も、水温や水流などの情報を撮影時の周囲の環境として取得する。
また、劣化画像の位置に応じて擾乱の大きさが変化する場合がある。このため、劣化画像内の複数の位置のそれぞれに関して擾乱の大きさを判定し、部分領域の位置に応じて学習情報を切り替えてもよい。アスファルトなどの地面近傍は対流によって、特に擾乱が強くなる。
続いてステップS303において、補正部303は、ステップS302にて判定された擾乱による劣化の大きさに基づいて、使用するネットワーク構造と学習情報、および、部分領域のサイズを決定する。本実施例において、補正部303は、図1に示されるCNNを利用して劣化補正を行う。被写体のある点は、擾乱により移動し、ぼけて撮像されている。その移動量やぼけ量が部分領域のサイズよりも大きいと、補正対象の被写体の情報が欠落してしまうため、高精度な補正を行うことができない。また、CNNでは各層で複数のフィルタのそれぞれをコンボリューションして劣化補正を行う。このため、それらのフィルタが影響する範囲を合わせた範囲が被写体の移動量やぼけ量よりも小さいと、正しく補正を行うことができない。例えば、全層数が2で、第1層のフィルタサイズが5×5、第2層のフィルタサイズが3×3である場合、ある画素の補正に使用できる範囲は、この画素を中心とした7×7画素である。このため、このネットワーク構造では、擾乱による劣化の大きさが7画素以下になっていない場合、高精度な補正ができない。したがって、劣化の大きさに基づいて、ある画素の補正に使用される範囲(各層のフィルタのサイズに応じて決定される)を決定することが好ましい。
より詳細には、以下の条件式(4)を満たすように、各層のフィルタのサイズを決定することが好ましい。
条件式(4)において、dは劣化画像(入力画像)の画素に対する擾乱による劣化の大きさであり、長さの次元を有する劣化を画素で除した大きさ(画素に対する比)に相当する。N+1は全層数である。s(m=1〜N+1)は、第m線型変換で使用するフィルタのサイズ(第m線型変換(m=1〜N+1)のそれぞれにおけるフィルタの1次元サイズ)である。第m線型変換で複数のサイズのフィルタが混合して使用される場合、sは最大のフィルタサイズである。条件式(4)の上限は、ある画素の補正に使用できる範囲が、劣化の大きさ以上であることを示している。一方、条件式(4)の下限は、理論的に超えることができない。
ネットワーク構造は、各層で使用するフィルタのサイズだけでなく、1つの層で使用されるフィルタの数や層数なども含む。高精度な補正を行うためには、擾乱による劣化が大きいほど層数やフィルタの数を増やす必要がある。学習情報は、擾乱による劣化の大きさごとに学習されており、その中から劣化画像に作用している劣化の大きさに対応した学習情報を使用する。これにより、より精度の高い補正が可能となる。学習の詳細に関しては後述する。
続いてステップS304において、補正部303は、劣化画像から部分領域(劣化画像の少なくとも一部の領域)を取得する。続いてステップS305において、補正部303は、ステップS303にて決定された学習情報に基づいて、補正部分領域(補正領域)を生成する。続いてステップS306において、補正部303は、劣化画像のうち所定の領域(部分領域)の全てに対して劣化補正が完了したか否かを判定する。所定の領域の全てに対して補正が完了した場合、ステップS307へ進む。一方、劣化補正が完了していない領域(部分領域)が残っている場合、ステップS304へ戻り、補正部303は、まだ劣化補正されていない部分領域(新たな部分領域)を劣化画像から取得する。ステップS307において、補正部303は、補正画像を出力する。
なお、劣化画像中の位置に応じて擾乱による劣化の大きさが大きく異なる場合、補正部303は、ステップS304をステップS302、S303の前に実行することが好ましい。このとき補正部303は、ステップS302、S303において、劣化画像の局所領域に対して劣化の大きさを取得し、対応する学習情報などを取得する。
また本実施例において、入力画像または部分領域の解像力を判定する工程を追加してもよい。解像力は、空間周波数の特性などから判定することができる。解像力が所定の閾値以下の場合、補正部303は、入力画像または部分領域に対してブラインドデコンボリューションを実行した後に劣化補正を行う。この方法は、擾乱による劣化のうち、光学性能の劣化をブラインドデコンボリューションで先に補正し、残りの像面上の歪みをディープラーニングによって補正するものである。ディープラーニングによる補正対象を2種類の劣化要因のうち1つに絞ることで、補正精度が向上する。ここで、像面上の歪みは1枚の画像から補正することがディープラーニング以外の手法で困難であり、逆に光学性能の劣化は可能であることから、前述のように構成することが好ましい。
次に、サーバ305の学習部307により行われる学習情報の学習に関して説明する。本実施例において、学習部307は、擾乱による劣化の大きさに応じて異なる学習情報を学習する。学習方法は、図5を参照して実施例1にて説明した方法と基本的に同様であるが、学習画像の用意の仕方によりその前処理が異なる。
まず、擾乱のある画像と擾乱のない画像とを含む学習画像をシミュレーションによって生成する場合に関して説明する。この場合、劣化の大きさを設定して擾乱のない画像から擾乱のある画像を生成し、一対の学習画像を取得する。学習部307は、取得した学習画像に対してステップS201乃至ステップS204を実行し、その後、異なる劣化の大きさに対して同様の手順を繰り返す。
次に、擾乱のある画像から擾乱がない画像を求めて、学習画像を生成する場合に関して説明する。この場合、擾乱のない画像を求める際に劣化の大きさが求まるため、これにより学習画像を複数のグループに分ける。グループ分けは画像単位で行うことができる。1枚の擾乱のある画像内で擾乱の大きさが変化している場合、画像を分割してグループ分けを行ってもよい。各グループは劣化の大きさが近い画像が含まれているため、グループごとにステップS201乃至ステップS204を実行して、学習情報を生成する。
本実施例によれば、移動被写体が存在する場合でも、撮影画像から擾乱による劣化を高精度に補正することが可能な画像処理システムを提供することができる。
次に、本発明の実施例3における撮像装置について説明する。本実施例の撮像装置は、劣化画像(撮影画像、入力画像)から擾乱による劣化を推定する。なお、本実施例における撮像装置の構成および外観は、図2および図3を参照して実施例1にて説明した撮像装置100と同様である。ただし本実施例の撮像装置には、画像処理部として、補正部102bに代えて推定部が設けられている。
図9を参照して、撮影した劣化画像(入力画像)から擾乱による劣化を推定する処理(劣化推定)について説明する。図9は、劣化推定を示すフローチャートである。図9の各ステップは、主に、画像処理部102の推定部(画像処理部)により実行される。
まずステップS401において、画像処理部102(推定部)は、擾乱による劣化画像(撮影画像、入力画像)と学習情報とを取得する。学習情報の学習に関しては後述する。この学習により、劣化画像の部分領域と部分領域に作用している劣化とを結び付ける学習情報が取得されている。続いてステップS402において、推定部は、劣化画像から、劣化画像の少なくとも一部の領域(劣化を推定するための部分領域)を取得する。本実施例において、推定部は、部分領域に含まれる画素(例えば中心画素)に作用している劣化を、その周辺画素(部分領域に含まれている画素)の情報も利用して推定する。
続いてステップS403において、推定部は、ステップS401にて取得した学習情報に基づいて、劣化を推定する。本実施例において、推定部は、図10に示されるネットワーク構造を使用して推定を行う。図10は、本実施例における劣化推定のネットワーク構造を示す図である。図10において、中間データ410の生成までの工程は、図1を参照して実施例1で説明した工程と同様であるため、それらの説明を省略する。すなわち、図10の部分領域401、フィルタ402、第1変換部分領域403、フィルタ404、および、中間データ410はそれぞれ、図1の部分領域201、フィルタ202、第1変換部分領域203、フィルタ204、および、中間データ210に相当する。
本実施例では、第N+1層における第N+1線型変換として、フルコネクション411を実行する。フルコネクション411は、入力される中間データ410の全信号の線型結合をとる。この際、各信号にかかる係数と加算される定数は、学習情報によって決定される。また、係数と定数は複数種類が存在し、それぞれの係数と定数に対して線型結合が計算され、複数の結果が出力される。フルコネクション411で出力された複数の値は、活性化関数によって変換され(第N+1非線型変換)、ソフトマックス412に入力される。ソフトマックス412は、以下の式(5)で表されるソフトマックス関数を計算する。
式(5)において、ベクトルxは第N+1非線型変換で出力された複数の値を成分とする列ベクトル、ベクトルwは学習情報から決定される係数を成分とした列ベクトルである。ベクトルwの右肩に付いたTは、転置を表す。式(5)によって、部分領域401に作用している擾乱による劣化が、PSF413a〜413d(413e以降は省略)のいずれであるかの確率を求めることができる。式(5)のKはPSFの総数、jとkはPSFの番号を示すインデックスである。図10中のPSF413a〜413dは一例であり、PSF413aは劣化なし、PSF413b、413cは像面上の歪み、PSF413dは光学性能の劣化を示している。図10には描画されていないが、像面上の歪みと光学性能の劣化とが組み合わされたPSFも存在する。また、PSFに代えて、OTF(Optical Transfer Function)と部分領域とを結び付けてもよい。
続いて、図9のステップS404において、推定部は、劣化画像のうち所定の領域(部分領域)の全てに対して劣化推定が完了したか否かを判定する。所定の領域の全てに対して推定が完了した場合、ステップS405へ進む。一方、劣化推定が完了していない領域(部分領域)が残っている場合、ステップS402へ戻り、推定部は、まだ劣化推定されていない部分領域(新たな部分領域)を劣化画像から取得する。
ステップS405において、推定部は、所定の領域内の各部分領域における劣化の推定結果を出力する。劣化の推定結果は、擾乱の起きている媒質(大気など)の状態を解析するため、または、劣化画像を補正するために用いることができる。劣化画像の補正を行う場合、ディープラーニング以外の手法を用いてもよい。例えば、像面上の歪みは局所的な幾何変換で補正することができ、光学性能の劣化はデコンボリューションで補正することが可能である。以上の処理により、擾乱により劣化した劣化画像に基づいて、劣化を高精度に推定することができる。
次に、図11を参照して、本実施例における学習情報の生成に関して説明する。図11は、学習情報の学習を示すフローチャートである。図11の各ステップは、主に、画像処理部102の学習部102aにより行われる。ただし本実施例はこれに限定されるものではなく、学習情報の学習は、劣化補正前であれば、撮像装置100とは別の装置(演算装置)に設けられた学習部で行ってもよい。本実施例では、実施例1と同様に、撮像装置100の学習部102aが学習情報を学習する場合について説明する。
まずステップS501において、学習部102aは、学習画像を取得する。本実施例では、擾乱のない画像に対してシミュレーションを用いて擾乱による劣化を付与した画像を学習画像とする。学習画像は、単数または複数のいずれでもよい。ただし、様々な大きさや方向の劣化を精度よく推定するには、異なる擾乱による劣化が学習画像に含まれている必要がある。
続いてステップS502において、学習部102aは、ステップS501にて取得した学習画像から、複数の学習ペアを取得する。本実施例において、学習ペアは、学習画像(擾乱のある画像)の部分領域(学習劣化部分領域)、および、この部分領域に作用しているPSFに関する情報である。PSFに関する情報とは、複数のPSFのうち特定のPSFを示す番号である。複数のPSFは、図10に示されるPSF413a〜413d(413e以降は省略)であり、これらは事前に用意されて記憶部103に記憶されている。
続いてステップS503において、学習部102aは、学習ペア(PSFに関する情報と学習劣化部分領域)に基づいて、学習情報を生成する。学習情報の生成には、図10のネットワーク構造が用いられる。続いてステップS504において、学習部102aは、生成された学習情報を出力する。
本実施例において、実施例2と同様に、擾乱による劣化の大きさごとに学習情報を用意してもよい。また、入力画像(劣化画像)の解像力を判定する工程を追加し、解像力が不足している場合にはブラインドデコンボリューションを実行し、像面上の歪み成分のみを推定するように構成してもよい。
本実施例によれば、移動被写体が存在する場合でも、撮影画像から擾乱による劣化を高精度に推定することが可能な撮像装置を提供することができる。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施例によれば、移動被写体が存在する場合でも、撮影画像から擾乱による劣化(像面上の歪みと光学性能の劣化)を高精度に推定することが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
102 画像処理部
102b、303 補正部(画像処理部)
103、302 記憶部
301 画像処理装置

Claims (16)

  1. 擾乱により劣化した入力画像の少なくとも一部の領域を取得する工程と、
    前記擾乱に関して予め学習された学習情報を取得する工程と、
    前記領域と前記学習情報とを用いて、該領域における劣化を推定または補正する工程と、を有し、
    前記劣化を推定または補正する工程は、Nを2以上の整数、nを1からNまでの整数とするとき、
    前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成する工程と、
    前記中間データに対して、前記学習情報に基づく少なくとも1つの線型関数による第N+1線型変換を実行する工程と、を有することを特徴とする画像処理方法。
  2. 前記擾乱による劣化の大きさを取得する工程を更に有し、
    前記領域のサイズまたは前記学習情報は、前記劣化の大きさに基づいて決定されることを特徴とする請求項1に記載の画像処理方法。
  3. 前記擾乱による劣化の大きさは、前記入力画像とは異なる時間に撮影された画像、または、該入力画像とは異なる視点から撮影された画像を用いて取得されることを特徴とする請求項2に記載の画像処理方法。
  4. 前記擾乱による劣化の大きさは、前記入力画像の撮影時における周囲の環境に関する情報に基づいて取得されることを特徴とする請求項2または3に記載の画像処理方法。
  5. 前記第n線型変換(n=1〜N)のそれぞれは、前記学習情報に基づく複数のフィルタの各々とのコンボリューションを含むことを特徴とする請求項2乃至4のいずれか一項に記載の画像処理方法。
  6. 前記領域における前記劣化を補正する工程において、前記第N+1線型変換は、前記学習情報に基づくフィルタとのコンボリューションを含むことを特徴とする請求項5に記載の画像処理方法。
  7. 前記第n線型変換(n=1〜N)および前記第N+1線型変換のそれぞれにおける前記フィルタのサイズは、前記擾乱による前記劣化の大きさに基づいて決定されることを特徴とする請求項6に記載の画像処理方法。
  8. 前記入力画像の画素に対する前記擾乱による劣化の大きさをd、前記第n線型変換(n=1〜N)および前記第N+1線型変換のそれぞれにおける前記フィルタの1次元サイズをs(m=1〜N+1)とするとき、

    なる条件式を満たすことを特徴とする請求項6または7に記載の画像処理方法。
  9. 前記学習情報は、同一の被写体が存在する少なくとも一対の学習画像を用いて学習された情報であり、
    前記一対の学習画像は、前記擾乱により劣化した画像と、該擾乱により劣化していない画像を含むことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理方法。
  10. 前記学習画像のうち前記擾乱により劣化していない前記画像は、前記被写体を互いに異なる時間で撮影した複数の画像、または、該被写体を互いに異なる視点から撮影した複数の画像を平均化して、ブラインドデコンボリューションを実行した画像であることを特徴とする請求項9に記載の画像処理方法。
  11. 前記複数の画像は、前記擾乱による影響を除いて、時間または視点に応じて変化する被写体を含まないことを特徴とする請求項10に記載の画像処理方法。
  12. 前記入力画像または前記領域の解像力を判定する工程を更に有し、
    前記解像力が所定の閾値以下の場合、前記劣化を推定または補正する工程は、前記入力画像または前記領域に対してブラインドデコンボリューションを実行した後に実行されることを特徴とする請求項1乃至11のいずれか一項に記載の画像処理方法。
  13. 擾乱に関する学習情報を記憶する記憶部と、
    前記擾乱により劣化した入力画像の少なくとも一部の領域と、前記学習情報とを用いて、該領域における劣化を推定または補正する画像処理部と、を有し、
    前記画像処理部は、Nを2以上の整数、nを1からNまでの整数とするとき、
    前記領域に対して、前記学習情報に基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成し、
    前記中間データに対して、前記学習情報に基づく少なくとも1つの線型関数による第N+1線型変換を実行する、ことを特徴とする画像処理装置。
  14. 被写体空間の像を入力画像として取得する撮像部と、
    請求項13に記載の画像処理装置と、を有することを特徴とする撮像装置。
  15. 請求項1乃至12のいずれか1項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
  16. 請求項15に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
JP2016192496A 2016-09-30 2016-09-30 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 Active JP6910780B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016192496A JP6910780B2 (ja) 2016-09-30 2016-09-30 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016192496A JP6910780B2 (ja) 2016-09-30 2016-09-30 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Publications (2)

Publication Number Publication Date
JP2018055516A true JP2018055516A (ja) 2018-04-05
JP6910780B2 JP6910780B2 (ja) 2021-07-28

Family

ID=61835814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192496A Active JP6910780B2 (ja) 2016-09-30 2016-09-30 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体

Country Status (1)

Country Link
JP (1) JP6910780B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019212139A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
WO2020049828A1 (ja) * 2018-09-06 2020-03-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020039851A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP2021105561A (ja) * 2019-12-26 2021-07-26 アイタックソリューションズ株式会社 認識処理システム、認識処理装置、及び認識処理プログラム
WO2021162274A1 (ko) * 2020-02-11 2021-08-19 삼성전자 주식회사 화질 조정을 지원하는 전자 장치 및 그 방법
WO2021187365A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム
US11922601B2 (en) 2018-10-10 2024-03-05 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method and computer-readable medium
US12040079B2 (en) 2018-06-15 2024-07-16 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method and computer-readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620048A (ja) * 1992-07-01 1994-01-28 Canon Inc 画像処理装置
JP2008109640A (ja) * 2006-09-28 2008-05-08 Sony Corp 予測係数演算装置および方法、画像データ演算装置および方法、プログラム、並びに記録媒体
JP2015133069A (ja) * 2014-01-15 2015-07-23 日本放送協会 画像処理装置、画像処理プログラム及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620048A (ja) * 1992-07-01 1994-01-28 Canon Inc 画像処理装置
JP2008109640A (ja) * 2006-09-28 2008-05-08 Sony Corp 予測係数演算装置および方法、画像データ演算装置および方法、プログラム、並びに記録媒体
JP2015133069A (ja) * 2014-01-15 2015-07-23 日本放送協会 画像処理装置、画像処理プログラム及び撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7129229B2 (ja) 2018-06-07 2022-09-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
WO2019235258A1 (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2019212139A (ja) * 2018-06-07 2019-12-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
US12040079B2 (en) 2018-06-15 2024-07-16 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method and computer-readable medium
WO2020049828A1 (ja) * 2018-09-06 2020-03-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020039851A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US12039704B2 (en) 2018-09-06 2024-07-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method and computer-readable medium
JP7305401B2 (ja) 2018-09-06 2023-07-10 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
US11922601B2 (en) 2018-10-10 2024-03-05 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method and computer-readable medium
JP7016835B2 (ja) 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
US11694310B2 (en) 2019-06-06 2023-07-04 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image processing system, and manufacturing method of learnt weight
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP2021105561A (ja) * 2019-12-26 2021-07-26 アイタックソリューションズ株式会社 認識処理システム、認識処理装置、及び認識処理プログラム
WO2021162274A1 (ko) * 2020-02-11 2021-08-19 삼성전자 주식회사 화질 조정을 지원하는 전자 장치 및 그 방법
WO2021187365A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム
EP4124016A4 (en) * 2020-03-19 2023-10-11 Sony Semiconductor Solutions Corporation DATA GENERATION METHOD, LEARNING METHOD, ESTIMATION METHOD, DATA GENERATION APPARATUS AND PROGRAM

Also Published As

Publication number Publication date
JP6910780B2 (ja) 2021-07-28

Similar Documents

Publication Publication Date Title
JP6910780B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
US10354369B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and storage medium
JP7258604B2 (ja) 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法
JP4566591B2 (ja) 画像変形推定方法および画像変形推定装置
JP2019016275A (ja) 画像処理方法、画像処理プログラム、記憶媒体、画像処理装置、および撮像装置
US20210358081A1 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
JP7246900B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
WO2012034467A1 (zh) 一种天基大视场成像点源/斑状目标的图像恢复增强方法
JP2014006388A (ja) 撮像装置およびその制御方法ならびにプログラム
KR20200084419A (ko) 모아레 제거 모델을 생성하기 위한 장치, 모아레를 제거하기 위한 방법 및 모아레를 제거하기 위한 촬상 장치
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP2019074777A (ja) 画像処理方法、画像処理装置、および撮像装置
JP5587264B2 (ja) 調整方法、調整装置、及び、撮像装置の製造方法
JP2020197774A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP7146461B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2014164574A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
JP7129229B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP7009219B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
CN110958382A (zh) 图像处理方法、图像处理装置、成像装置和存储介质
JP2021140758A (ja) 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム
CA2784817A1 (en) Filter setup learning for binary sensor
JP2019139694A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP2020119333A (ja) 画像処理方法、画像処理装置、画像処理システム、撮像装置、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210707

R151 Written notification of patent or utility model registration

Ref document number: 6910780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151