JP2017102245A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2017102245A JP2017102245A JP2015234814A JP2015234814A JP2017102245A JP 2017102245 A JP2017102245 A JP 2017102245A JP 2015234814 A JP2015234814 A JP 2015234814A JP 2015234814 A JP2015234814 A JP 2015234814A JP 2017102245 A JP2017102245 A JP 2017102245A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- fixed noise
- images
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 139
- 238000003672 processing method Methods 0.000 title claims description 25
- 238000000034 method Methods 0.000 claims abstract description 91
- 238000009499 grossing Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 40
- 230000008859 change Effects 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 64
- 230000003287 optical effect Effects 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 14
- 238000011946 reduction process Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 235000019557 luminance Nutrition 0.000 description 54
- 230000009467 reduction Effects 0.000 description 33
- 238000005259 measurement Methods 0.000 description 28
- 238000006243 chemical reaction Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 230000000996 additive effect Effects 0.000 description 11
- 238000002360 preparation method Methods 0.000 description 11
- 239000000654 additive Substances 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- WBMKMLWMIQUJDP-STHHAXOLSA-N (4R,4aS,7aR,12bS)-4a,9-dihydroxy-3-prop-2-ynyl-2,4,5,6,7a,13-hexahydro-1H-4,12-methanobenzofuro[3,2-e]isoquinolin-7-one hydrochloride Chemical compound Cl.Oc1ccc2C[C@H]3N(CC#C)CC[C@@]45[C@@H](Oc1c24)C(=O)CC[C@@]35O WBMKMLWMIQUJDP-STHHAXOLSA-N 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000008393 encapsulating agent Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成ステップと、前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成ステップと、前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理ステップと、前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定ステップと、を実行する。
【選択図】図5
Description
(システム全体構成)
実施例1では、一例として、図1のような構成のバーチャル・スライド・システムに本発明を適用した例について述べる。
バーチャル・スライド・システムは、検体の撮像データを取得する撮像装置(バーチャル・スライド・スキャナとも呼ぶ)120とそのデータ処理・制御を行う画像処理装置(ホストコンピュータとも呼ぶ)110およびその周辺機器から構成されている。
多数の検体(プレパラート)の撮像をバッチ処理で行う場合、画像処理装置110の制御の下で撮像装置120が各検体を順に撮像し、画像処理装置110が各検体の画像データに対し必要な処理を施す。そして得られた各検体の画像データは、大容量のデータストレージである記憶装置113又は他のコンピュータシステム114へ伝送され、蓄積される。
本計測ユニット101は、プレパラート内の検体診断のための高精細な画像を取得する撮像ユニットである。プレ計測ユニット102は、本計測に先立って撮像を行う撮像ユニットで、本計測で精度の良い画像取得をするための撮像制御情報取得を目的とした画像取得を行う。
またコントローラ108には、本計測ユニット101およびプレ計測ユニット102の
撮像条件を制御するための開口絞り制御104、ステージ制御105、照明制御106、センサ制御107が接続されている。そして、それぞれはコントローラ108からの制御信号に従って、開口絞り、ステージ、照明、イメージセンサの動作を制御する構成となっている。
図2は、実施例1における本計測ユニット101の内部構成を示す図である。
光源201の光は、照明光学系202を通じ、光量ムラが無いように均一化され、ステージ203の上に設置されたプレパラート204を照射する。プレパラート204は観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定したものであり、検体(被写体)を観察可能な状態に準備したものである。
図3は、本実施例における画像処理装置(ホストコンピュータ)110の内部構成を示す図である。
CPU(プロセッサ)301は、RAM302やROM303に格納されているプログラムやデータを用いて画像処理装置全体の制御を行う。またCPU301は、各種演算処理やデータ処理、例えば固定ノイズ低減処理、現像・補正処理、合成処理、圧縮処理、任意視点・焦点ぼけ画像生成処理等を行う。
記憶装置113への情報の書き込みや記憶装置113からの情報の読み出しは、I/O310を介して行われる。制御I/F312は、撮像装置120を制御するためのコントローラ108と制御コマンド(信号)をやりとりするためのI/Fである。
画像処理装置110には、特許文献1に開示される手法を一例とするフィルタ型方式による画像生成処理をコンピュータに実行させるためのプログラム(任意視点・焦点ぼけ画
像生成プログラムと呼ぶ)が実装されている。画像処理装置110は、撮像装置120や記憶装置113、他のコンピュータシステム114を介して取得した焦点ぼけ画像群から、任意視点画像や任意焦点ぼけ画像や全焦点画像などを生成することができる。
顕微鏡の撮像系(図1の本計測ユニット101)では一般的に両側テレセントリック光学系が用いられ、焦点ぼけ画像群を構成する各画像のあいだでは検体像の拡縮(スケールの変化)が非常に小さくなる。このような焦点ぼけ画像群に対し特許文献1のフィルタ型方式を適用する場合、3次元のコンボリューションモデルに合致するように各画像の座標変換処理を行う必要はない。そのため、全焦点画像a(x,y)は、焦点ぼけ画像群の光軸方向の積分b(x,y)を、3次元ぼけの光軸方向の積分c(x,y)でデコンボリューションすることで得られる。デコンボリューションは周波数空間での割算となるため、全焦点画像a(x,y)は以下の式により求まる。
ただし、B(u,v)=F(b(x,y))、C(u,v)=F(c(x,y))であり、Fはフーリエ変換、F−1は逆フーリエ変換を表す。u,vはそれぞれx,yに対応する空間周波数である。
高画質な任意視点画像、任意焦点ぼけ画像を生成するには、任意視点・焦点ぼけ画像生成プログラムに入力する焦点ぼけ画像群に対する前処理として、以降で述べる固定ノイズ低減処理を行い、焦点ぼけ画像群から予め固定ノイズを低減するとよい。なお、前述のように固定ノイズは微弱な場合もあるため、固定ノイズ低減後の焦点ぼけ画像群の画像の画素値は整数値に量子化せず、実数データとして任意視点・焦点ぼけ画像生成プログラムに入力することが望ましい。また、固定ノイズ低減処理は画像処理装置110で実現するため、コンピュータで実行可能な形で実装したプログラムを用いて行うとする。
本実施例では焦点ぼけ画像群は、縦N画素、横N画素の、M枚の画像から構成されるとする。(本実施例では説明簡略化のため、縦および横の画素数が等しい例で説明をするが、縦と横の画素数が一致しない画像にも本発明の方法を適用可能である。)
撮像時にイメージセンサの固定ノイズが加わった焦点ぼけ画像群を
で表す。RN×Nは、実数の要素からなるN行N列の行列を表す。添え字のkは焦点ぼけ画像群を構成する画像の番号であり、kは焦点位置と対応する。焦点ぼけ画像群を構成する画像ykは、イメージセンサの出力信号(ビニング処理により複数のセルの値を加算した信号も含む)そのものでもよい。あるいは、画像ykは、イメージセンサの出力信号に対し、イメージセンサのセルとの対応関係を維持した階調変換や補間等の現像処理をした画像でもよい。以降、画像の画素の値を輝度と呼ぶ。
で表す。また、撮像系の光学的なぼけによる劣化のみを含む焦点ぼけ画像群を
で表す。
焦点ぼけ画像群を構成するk番目の画像ykおよびxkの縦j、横iの位置にある画素の輝度はそれぞれ、(yk)i,j、(xk)i,jで表す。
固定ノイズnの各画素(i,j)での値(n)i,jはイメージセンサの様々な製造誤差に起因するが、本実施例では(n)i,jは出現頻度分布が平均0、標準偏差σの正規分布に従うものとして扱う。ただし、固定ノイズnの各要素の値の出現頻度分布が正規分布に従わない場合でも本実施例の方法では固定ノイズの低減が可能である。
図4A〜図4Dを参照して、本実施例の固定ノイズ低減処理のアイデアを説明する。図4A〜図4Dは、焦点ぼけ画像群の中のある1枚の画像における画素位置に応じた輝度変化を表す模式図であり、横方向が画素位置、縦方向が画像中の輝度を表す。図4Aの401は、ノイズ成分を一切含まない理想的な画像(つまり被写体の像に由来する画像成分)の輝度変化を表す。図4Bの402は、理想的な画像の輝度変化401に固定ノイズが加わったときの輝度変化を表す。
図5は本実施例の固定ノイズ低減処理のフローチャートである。まず、重み係数生成ステップS501では、画像処理装置110が、焦点ぼけ画像群を構成する複数枚の画像のそれぞれと対応する重み係数列を求める。詳細は後述する。次に統合画像生成ステップS502では、画像処理装置110が、重み係数列を用いて焦点ぼけ画像群を構成する複数枚の画像を加重平均し、統合画像を生成する。詳細は後述する。次に平滑化処理ステップS503では、画像処理装置110が、統合画像に対して平滑化処理を適用し、平滑化統合画像を生成する。詳細は後述する。次に固定ノイズ推定処理ステップS504では、画像処理装置110が、ステップS502で生成した統合画像とステップS503で生成した平滑化統合画像を用いて、イメージセンサに起因する固定ノイズの推定値である推定固定ノイズを生成する。詳細は後述する。最後に固定ノイズ補正処理ステップS505では、画像処理装置110が、ステップS504で求めた推定固定ノイズを用いて、焦点ぼけ画像群を構成する複数枚の画像のそれぞれに含まれる固定ノイズを低減する。詳細は後述する。以降、本実施例における各処理の詳細を述べる。
重み係数生成ステップS501では、画像処理装置110は、焦点ぼけ画像群を構成する各画像に対する重み係数を決定し、重み係数列w∈RMを生成する。このとき、輝度変化が滑らかな画像に対する重み係数が相対的に大きく、輝度変化が滑らかでない画像に対する重み係数が相対的に小さくなるように、各画像に対する重み係数が設定される。本実施例では、輝度変化の滑らかさを画像の鮮鋭度という指標で評価する。すなわち、各画像の鮮鋭度を計算し、鮮鋭度と負の相関関係をもつように各画像に対する重み係数が設定される。
ただし、
とする。
統合画像生成ステップS502では、画像処理装置110は、ステップS501で計算した重み係数列wを用いて、焦点ぼけ画像群yk∈RN×Nから統合画像c∈RN×Nを生成する。統合処理には、一例として以下のような加重平均を用いるとよい。
平滑化処理ステップS503では、画像処理装置110は、統合画像cに平滑化処理を施して、平滑化統合画像c′∈RN×Nを生成する。平滑化処理としては、平滑化フィルタを用いたフィルタ処理や、反復計算によるノイズ低減処理などを適用できる。本実施例では、反復計算によるノイズ低減処理の代表的なアルゴリズムである全変動最小化(Total Variation Minimization)を平滑化処理に用いる。
の範囲でxを変化させ、目的関数J(x)を最小とする最適解x(*)を求める最適化問題を表す。「s.t.」は「subject to」の略であり、解xが満たすべき制約条件を表している。式(7)の制約条件は、解x(つまり輝度変更後の画像)と入力画像yとの距離(L2ノルム)が所定値εをこえないという条件である。式(8)の(∇x)i,jは、画像xの座標(i,j)における輝度の勾配(微分又は差分)を表す。目的関数J(x)は、輝度の勾配の絶対値を画像全体で積分した値であり、画像内の輝度変化が全体的に滑らかであるほど値が小さくなる。
で与えることができる。なお、Nσは固定ノイズn∈RN×Nの各要素を1次元に並べたベクトルのL2ノルムの期待値である。適切なεを与えることで適切な固定ノイズの低減が可能となる。固定ノイズnの各要素の値はイメージセンサの個体差に依存するが、標準偏差σはイメージセンサの個体依存性の少ない、共通性の高い情報である。そのため、必ずしも事前に固定ノイズのσを求める必要はない。例えば、イメージセンサの仕様を公開した他のコンピュータシステム114にある情報をネットワークI/F(インターフェース)304を経由して、取得してもよい。
続いて、固定ノイズ補正処理ステップS505では、画像処理装置110は、以下の式(11)を用いて焦点ぼけ画像群yk(k=1,…,M)から推定固定ノイズn′を減算することで、固定ノイズを低減した焦点ぼけ画像群xk(k=1,…,M)を求める。
することができる。
実施例1では、焦点ぼけ画像群に対し、被写体の像の画像成分には依存しない加法性の固定ノイズが加わっている場合の固定ノイズ低減方法について説明した。しかし、固定ノイズには、イメージセンサのセルごとの感度ばらつきや増幅器のゲインばらつきなどに起因する固定ノイズも存在する。このような固定ノイズは、イメージセンサのセルに蓄積される電荷量、すなわち、被写体の像の画像成分に依存した強度をもち、乗法性の固定ノイズと呼ばれる。
式(12),(13)を整理すると以下の式でも表現できる。
式(12)のnk(k=1,…,M)は乗法性の固定ノイズを表す。イメージセンサの同一セルで撮像した場合でも、焦点位置によって被写体の像が変化すれば、乗法性の固定ノイズも変化する。
重み係数生成ステップS501と統合画像生成ステップS502の処理は実施例1と同様であり、説明は省略する。以下、本実施例の平滑化処理ステップS503について説明する。
乗法性の固定ノイズは式(13)で表される。そのため、式(7)に示す最適化問題の制約条件のεとして
式(15)は乗法性の固定ノイズnkの各要素を1次元に並べたベクトルのL2ノルムの期待値の近似値の一例である。
本実施例における固定ノイズ推定処理ステップS504について説明する。(本実施例では実施例1と異なり、固定ノイズ推定処理ステップS504ではゲイン誤差vを推定する処理のみを行う場合もあるが、S504の名称は実施例1と同じく、固定ノイズ推定処理ステップのままとする。)本実施例の固定ノイズ推定処理ステップS504では、画像処理装置110は、以下の式(17)で統合画像cと平滑化統合画像c′の差を求めることで、統合画像の推定固定ノイズn′∈RN×Nを生成する。
すなわち、ゲイン誤差の推定データv′は、既知の情報である平滑化統合画像c′およ
び統合画像の推定固定ノイズn′を用いて、以下の式(19)で求められる。
本実施例における固定ノイズ補正処理ステップS505について説明する。
本実施例では、画像処理装置110は、固定ノイズ推定処理ステップS504で求めたゲイン誤差の推定データv′を用いて、以下の式(20)で固定ノイズを低減した焦点ぼけ画像群xk(k=1,…,M)を求める。
式(21)は、式(13)において固定ノイズnk(k=1,…,M)が微小である仮定の下、ok≒ykとして求めた式である。
意視点画像や任意焦点ぼけ画像を生成する際に問題となっていた画質の劣化を抑制することができる。
固定ノイズが乗法性のノイズの場合、画像に対する適切な変換を施すことで、乗法性のノイズを加法性のノイズとして取り扱うことができ、実施例1で述べた固定ノイズ低減処理を用いて固定ノイズが低減できる。以下、乗法性の固定ノイズを低減する方法について説明する。
まず、輝度変換ステップS601では、画像処理装置110が、乗法性の固定ノイズが加わった撮影時の焦点ぼけ画像群y1,…,yMの各画素の輝度に対数変換を行い、輝度変換焦点ぼけ画像群bk∈RN×N(k=1,…,M)を生成する。
ただし、平滑化処理ステップS604では、式(7)に示す最適化問題の制約条件のεとしてε=Nを設定する。Anscombe transformでは輝度変換後のポアソンノイズの標準偏差は1となるためである。
実施例1〜3で述べた固定ノイズ低減処理は、主に、焦点ぼけ画像群として撮影する被写体が1つの焦点位置に存在する場合を想定して説明した。
本実施例では、焦点ぼけ画像群y1,…,yMの中に焦点位置が異なる複数の被写体が
存在する場合に適した固定ノイズ低減処理の実現方法について述べる。
以降、最も簡単な領域分割の例として、縦と横の画素数がS×S画素となるような矩形ブロックに分割する場合について説明する。
上記のように、領域ごとに固定ノイズ低減処理を適用することで、領域ごとの固定ノイズの推定精度が高められ、その結果、固定ノイズを補正した焦点ぼけ画像群x1,…,x
Mの画質が向上する。
ただし、αは重み係数(w)1〜(w)Mの合計を1とするための定数、kDは該当する分割領域における被写体への合焦位置、kは焦点ぼけ画像群ykの焦点位置である。β(>0)は被写体の合焦位置kDから離れた焦点位置の画像に対する重み係数を大きくするパラメータである。γは定数とする。
これまでの実施例では、焦点ぼけ画像群から固定ノイズを低減する方法について説明し
た。しかし、本発明の適用対象は必ずしも焦点ぼけ画像群に限定されず、動画像データにも適用可能である。
画像処理装置110は、撮像装置120や記憶装置113、他のコンピュータシステム114から動画像データyt∈RN×N(t=1,…,M)を取得する。画像処理装置110は、RAM302やROM303に格納されている固定ノイズ低減処理プログラムを用いて固定ノイズ低減処理を実行する。
以上述べた本実施例で述べる固定ノイズ低減処理を用いれば、動画像データに含まれる固定ノイズを低減することができる。
に画像を分割し、それぞれの領域ごとに固定ノイズ低減処理を行うことも好ましい。
上述した実施例1〜5は本発明の一具体例を示したものにすぎず、本発明の範囲をそれらの実施例の構成に限定する趣旨のものではない。各実施例の構成を適宜変更してもよいし、技術的な矛盾のない限り、実施例同士を組み合わせてもよい。
207:撮像部
Claims (23)
- コンピュータが、同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成ステップと、
コンピュータが、前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成する統合画像生成ステップと、
コンピュータが、前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理ステップと、
コンピュータが、前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定ステップと、を有する
ことを特徴とする画像処理方法。 - 前記複数の画像のデータは、撮像光学系の光軸方向に焦点位置を異ならせて被写体を撮像することで取得された複数の画像のデータである
ことを特徴とする請求項1に記載の画像処理方法。 - 前記撮像光学系は、両側テレセントリック光学系である
ことを特徴とする請求項2に記載の画像処理方法。 - 前記撮像光学系は、顕微鏡を構成する光学系である
ことを特徴とする請求項2又は3に記載の画像処理方法。 - 前記複数の画像のデータは、動画像を構成する複数のフレームのデータである
ことを特徴とする請求項1に記載の画像処理方法。 - 前記重み係数生成ステップでは、前記重み係数が画像の鮮鋭度と負の相関関係をもつように、各画像に対する重み係数が生成される
ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理方法。 - 前記画像の鮮鋭度は、当該画像の輝度の標準偏差から求められる
ことを特徴とする請求項6に記載の画像処理方法。 - 前記重み係数生成ステップでは、前記鮮鋭度が閾値以上の画像に対する重み係数が0に設定される
ことを特徴とする請求項6又は7に記載の画像処理方法。 - 前記重み係数生成ステップでは、前記重み係数が画像の焦点位置と合焦位置の間の距離と正の相関関係をもつように、各画像に対する重み係数が生成される
ことを特徴とする請求項1〜5のうちいずれか1項に記載の画像処理方法。 - 前記重み係数生成ステップでは、画像の焦点位置と合焦位置の間の距離が閾値以下の画像に対する重み係数が0に設定される
ことを特徴とする請求項9に記載の画像処理方法。 - 前記重み係数生成ステップでは、前記複数の画像に対する重み係数の合計が1となるように、各画像に対する重み係数が生成される
ことを特徴とする請求項1〜10のうちいずれか1項に記載の画像処理方法。 - 前記統合画像生成ステップでは、前記重み係数を用いて前記複数の画像のデータを加重平均することにより、前記統合画像のデータを生成する
ことを特徴とする請求項1〜11のうちいずれか1項に記載の画像処理方法。 - 前記平滑化処理は、反復計算によるノイズ低減処理である
ことを特徴とする請求項1〜12のうちいずれか1項に記載の画像処理方法。 - 前記平滑化処理は、平滑化フィルタを用いたフィルタ処理である
ことを特徴とする請求項1〜12のうちいずれか1項に記載の画像処理方法。 - 前記固定ノイズ推定ステップでは、前記統合画像のデータと前記平滑化統合画像のデータの差を計算することにより、前記推定固定ノイズのデータが生成される
ことを特徴とする請求項1〜14のうちいずれか1項に記載の画像処理方法。 - コンピュータが、前記推定固定ノイズのデータに基づいて、前記複数の画像のそれぞれのデータに含まれる前記イメージセンサに起因する固定ノイズを低減する固定ノイズ補正ステップをさらに有する
ことを特徴とする請求項1〜15のうちいずれか1項に記載の画像処理方法。 - 前記固定ノイズ補正ステップでは、前記複数の画像のそれぞれのデータから前記推定固定ノイズのデータを減算することにより、固定ノイズの低減された複数の画像のデータが生成される
ことを特徴とする請求項16に記載の画像処理方法。 - 前記固定ノイズ補正ステップでは、前記推定固定ノイズのデータに基づいて前記イメージセンサのゲインのばらつきを表す推定ゲインのデータを生成する
ことを特徴とする請求項16に記載の画像処理方法。 - 前記複数の画像のそれぞれのデータを前記推定ゲインのデータで除算することにより、固定ノイズの低減された複数の画像のデータが生成される
ことを特徴とする請求項18に記載の画像処理方法。 - 前記複数の画像のそれぞれのデータから、前記複数の画像のそれぞれのデータと前記推定ゲインのデータを掛け算したデータを減算することにより、固定ノイズの低減された複数の画像のデータが生成される
ことを特徴とする請求項18に記載の画像処理方法。 - コンピュータが、前記複数の画像のそれぞれを複数の領域に分割する領域分割ステップをさらに有し、
前記複数の領域のそれぞれについて個別に、前記重み係数の生成、前記統合画像の生成、前記平滑化統合画像の生成、前記推定固定ノイズの生成が行われる
ことを特徴とする請求項1〜20のうちいずれか1項に記載の画像処理方法。 - 請求項1〜21のうちいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
- 同一のイメージセンサで撮像することで取得された複数の画像のデータに基づいて、輝度変化が滑らかな画像に対する重み係数が相対的に大きくなるように、各画像に対する重み係数を生成する重み係数生成手段と、
前記重み係数を用いて前記複数の画像のデータを統合して、統合画像のデータを生成す
る統合画像生成手段と、
前記統合画像のデータに平滑化処理を施して、平滑化統合画像のデータを生成する平滑化処理手段と、
前記統合画像のデータと前記平滑化統合画像のデータに基づいて、前記イメージセンサに起因する固定ノイズの推定値である推定固定ノイズのデータを生成する固定ノイズ推定手段と、を有する
ことを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015234814A JP6598660B2 (ja) | 2015-12-01 | 2015-12-01 | 画像処理装置および画像処理方法 |
US15/354,109 US10417746B2 (en) | 2015-12-01 | 2016-11-17 | Image processing apparatus and image processing method for estimating fixed-pattern noise attributable to image sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015234814A JP6598660B2 (ja) | 2015-12-01 | 2015-12-01 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017102245A true JP2017102245A (ja) | 2017-06-08 |
JP2017102245A5 JP2017102245A5 (ja) | 2019-09-19 |
JP6598660B2 JP6598660B2 (ja) | 2019-10-30 |
Family
ID=58777061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015234814A Expired - Fee Related JP6598660B2 (ja) | 2015-12-01 | 2015-12-01 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10417746B2 (ja) |
JP (1) | JP6598660B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216594A1 (ja) | 2017-05-24 | 2018-11-29 | 日立金属株式会社 | フェライト焼結磁石 |
JP2019032824A (ja) * | 2017-07-21 | 2019-02-28 | ザ・ボーイング・カンパニーThe Boeing Company | ビデオ画像のクラッタの再帰的抑制 |
JP2019145914A (ja) * | 2018-02-16 | 2019-08-29 | 大学共同利用機関法人情報・システム研究機構 | 画像処理装置及び方法、画像処理装置の制御プログラム並びに記録媒体 |
WO2019175920A1 (ja) * | 2018-03-12 | 2019-09-19 | 三菱電機株式会社 | 霧特定装置、霧特定方法及び霧特定プログラム |
JP2021012641A (ja) * | 2019-07-09 | 2021-02-04 | 独立行政法人国立文化財機構 | 画像処理装置、画像処理方法およびプログラム |
KR20210021893A (ko) * | 2019-08-19 | 2021-03-02 | 부산대학교 산학협력단 | 원통 금형에 형성된 나노패턴 측정을 위한 고해상도 구조 조명 현미경 시스템 및 그의 동작 방법 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6685827B2 (ja) * | 2016-05-09 | 2020-04-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN110400281B (zh) * | 2019-08-05 | 2021-06-01 | 山东志盈医学科技有限公司 | 一种数字切片扫描仪中图像增强方法 |
CN113822812A (zh) * | 2021-09-15 | 2021-12-21 | 维沃移动通信有限公司 | 图像降噪方法和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293851A (ja) * | 2005-04-13 | 2006-10-26 | Sony Corp | 画像合成装置及び方法、撮像装置並びに記録媒体 |
JP2010178302A (ja) * | 2009-02-02 | 2010-08-12 | Olympus Corp | 画像処理装置及び画像処理方法 |
JP2010245977A (ja) * | 2009-04-08 | 2010-10-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US20110025919A1 (en) * | 2009-07-31 | 2011-02-03 | Vorontsov Mikhail A | Automated Video Data Fusion Method |
JP2013020212A (ja) * | 2011-07-14 | 2013-01-31 | Canon Inc | 画像処理装置、撮像システム、画像処理システム |
JP2013117848A (ja) * | 2011-12-02 | 2013-06-13 | Canon Inc | 画像処理装置及び画像処理方法 |
CN104662463A (zh) * | 2012-09-28 | 2015-05-27 | 佳能株式会社 | 图像处理装置、成像系统和图像处理系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7304670B1 (en) * | 1997-03-28 | 2007-12-04 | Hand Held Products, Inc. | Method and apparatus for compensating for fixed pattern noise in an imaging system |
JP4534715B2 (ja) * | 2004-10-22 | 2010-09-01 | 株式会社ニコン | 撮像装置および画像処理プログラム |
JP4437228B2 (ja) | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
JP5052189B2 (ja) * | 2007-04-13 | 2012-10-17 | オリンパス株式会社 | 映像処理装置及び映像処理プログラム |
WO2011008239A1 (en) * | 2009-06-29 | 2011-01-20 | Thomson Licensing | Contrast enhancement |
KR101715781B1 (ko) * | 2010-08-31 | 2017-03-13 | 삼성전자주식회사 | 물체 인식 시스템 및 그 물체 인식 방법 |
JP5548087B2 (ja) * | 2010-09-30 | 2014-07-16 | オリンパス株式会社 | 演算装置および演算方法 |
JP2013207788A (ja) | 2012-03-29 | 2013-10-07 | Fujitsu Ten Ltd | 映像処理装置 |
US11089247B2 (en) * | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
JP2014090401A (ja) | 2012-10-05 | 2014-05-15 | Canon Inc | 撮像システム及びその制御方法 |
US9881373B2 (en) | 2012-12-07 | 2018-01-30 | Canon Kabushiki Kaisha | Image generating apparatus and image generating method |
JP2015192238A (ja) | 2014-03-27 | 2015-11-02 | キヤノン株式会社 | 画像データ生成装置および画像データ生成方法 |
-
2015
- 2015-12-01 JP JP2015234814A patent/JP6598660B2/ja not_active Expired - Fee Related
-
2016
- 2016-11-17 US US15/354,109 patent/US10417746B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293851A (ja) * | 2005-04-13 | 2006-10-26 | Sony Corp | 画像合成装置及び方法、撮像装置並びに記録媒体 |
JP2010178302A (ja) * | 2009-02-02 | 2010-08-12 | Olympus Corp | 画像処理装置及び画像処理方法 |
JP2010245977A (ja) * | 2009-04-08 | 2010-10-28 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US20110025919A1 (en) * | 2009-07-31 | 2011-02-03 | Vorontsov Mikhail A | Automated Video Data Fusion Method |
JP2013020212A (ja) * | 2011-07-14 | 2013-01-31 | Canon Inc | 画像処理装置、撮像システム、画像処理システム |
JP2013117848A (ja) * | 2011-12-02 | 2013-06-13 | Canon Inc | 画像処理装置及び画像処理方法 |
CN104662463A (zh) * | 2012-09-28 | 2015-05-27 | 佳能株式会社 | 图像处理装置、成像系统和图像处理系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216594A1 (ja) | 2017-05-24 | 2018-11-29 | 日立金属株式会社 | フェライト焼結磁石 |
JP2019032824A (ja) * | 2017-07-21 | 2019-02-28 | ザ・ボーイング・カンパニーThe Boeing Company | ビデオ画像のクラッタの再帰的抑制 |
JP7128671B2 (ja) | 2017-07-21 | 2022-08-31 | ザ・ボーイング・カンパニー | ビデオ画像のクラッタの再帰的抑制 |
JP2019145914A (ja) * | 2018-02-16 | 2019-08-29 | 大学共同利用機関法人情報・システム研究機構 | 画像処理装置及び方法、画像処理装置の制御プログラム並びに記録媒体 |
WO2019175920A1 (ja) * | 2018-03-12 | 2019-09-19 | 三菱電機株式会社 | 霧特定装置、霧特定方法及び霧特定プログラム |
JPWO2019175920A1 (ja) * | 2018-03-12 | 2020-06-18 | 三菱電機株式会社 | 霧特定装置、霧特定方法及び霧特定プログラム |
US11867870B2 (en) | 2018-03-12 | 2024-01-09 | Mitsubishi Electric Corporation | Fog determination apparatus, fog determination method, and computer readable medium |
JP2021012641A (ja) * | 2019-07-09 | 2021-02-04 | 独立行政法人国立文化財機構 | 画像処理装置、画像処理方法およびプログラム |
JP2021106057A (ja) * | 2019-07-09 | 2021-07-26 | 独立行政法人国立文化財機構 | 画像処理装置、画像処理方法およびプログラム |
KR20210021893A (ko) * | 2019-08-19 | 2021-03-02 | 부산대학교 산학협력단 | 원통 금형에 형성된 나노패턴 측정을 위한 고해상도 구조 조명 현미경 시스템 및 그의 동작 방법 |
KR102473456B1 (ko) * | 2019-08-19 | 2022-12-07 | 부산대학교 산학협력단 | 원통 금형에 형성된 나노패턴 측정을 위한 고해상도 구조 조명 현미경 시스템 및 그의 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6598660B2 (ja) | 2019-10-30 |
US20170154409A1 (en) | 2017-06-01 |
US10417746B2 (en) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
JP5909540B2 (ja) | 画像処理表示装置 | |
KR101574733B1 (ko) | 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 | |
JP4799428B2 (ja) | 画像処理装置及び方法 | |
US9332190B2 (en) | Image processing apparatus and image processing method | |
JP5470959B2 (ja) | マルチフレーム再構築を行う方法、システム及びソフトウエア | |
JP4454657B2 (ja) | ぶれ補正装置及び方法、並びに撮像装置 | |
KR102106537B1 (ko) | 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 | |
JP2010258628A (ja) | 画像処理装置およびその方法 | |
CN106683174B (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
JP2013192224A (ja) | ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置 | |
JP2017208641A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP2013242658A (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
JP2017010092A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US10419698B2 (en) | Image processing apparatus and image processing method | |
JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
JP2022525853A (ja) | 結合前ノイズ除去による高ダイナミックレンジ画像生成 | |
JP5147903B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012003455A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7263149B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2017010094A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6611509B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6468791B2 (ja) | 画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6598660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |