JP2019000727A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2019000727A JP2019000727A JP2018192764A JP2018192764A JP2019000727A JP 2019000727 A JP2019000727 A JP 2019000727A JP 2018192764 A JP2018192764 A JP 2018192764A JP 2018192764 A JP2018192764 A JP 2018192764A JP 2019000727 A JP2019000727 A JP 2019000727A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- tomographic
- images
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
Description
前記算出した類似性を示す情報に基づき前記複数の断層画像から断層画像を生成する生成手段と、
を備えることを特徴とする。
以下、図面を参照しながら、本実施形態に係る画像処理装置を備える画像処理システムについて説明する。
図3(a)において、x、zは座標軸、tは時間軸を表している。T1〜Tnは異なる時点に撮影した黄斑部の二次元断層画像である。すなわち、二次元断層画像群はほぼ同一箇所を撮影した二次元断層画像の集合により形成される。
ステップS201では、網膜層を撮影するために、不図示の制御部により、断層画像撮影装置120を制御する。まず、測定光が照射される方向である深度方向(図3(a)のz方向)とz方向と直交する平面方向(図3(a)のx方向)との位置を調整する。ここで深度方向の位置を合わせるとは、断層像を得るためのコヒーレントゲートの位置を合わせることに相当する。
ステップS201で、不図示の制御部により網膜層を撮影するのに適した位置に調整を行った後、ステップS202で、不図示の撮影指示部により撮影開始を指示する。
ステップS203では、操作者が撮影指示をすると、不図示の制御部により、ほぼ同一箇所を繰り返し走査し、複数の二次元断層画像を撮影する。
ステップS204では、画像処理部113が、記憶部112に記憶された二次元断層画像群を用いて、新たな二次元断層画像を生成する。高画質化した二次元断層画像の生成処理について、図2(b)を参照して説明する。
ステップS210では、第一の位置合わせ部115において、二次元断層画像同士の位置合わせを行う。位置合わせ処理としては、例えば、2つの二次元断層画像の類似性を示す評価関数を事前に定義しておき、この評価関数の値が最も良くなるように断層画像を変形する。評価関数としては、画素値で評価する方法が挙げられる(例えば、式(1)の相関係数を用いて評価を行う方法が挙げられる)。また、画像の変形処理としては、アフィン変換を用いて並進や回転を行ったり、拡大率を変化させたりする処理が挙げられる。位置合わせ処理として、特徴点ベースで位置を合わせてもよい。例えば、二次元断層画像から各網膜層や病変などの特徴部を抽出する。内境界膜、神経線維層、視細胞内節外節接合部、網膜色素上皮層は輝度値が高く、層の境界はコントラストが高いため、これらの層や特徴部の検出結果を利用して位置合わせを行う。
ステップS211では、判定部117において、対応するAスキャン画像毎に重ね合わせを行うAスキャン画像を判定する。この処理について図4を用いて説明を行う。Ti’とTi+1’は、異なる時点で撮像された二次元断層画像で、ステップS210において位置合わせを行ったものである。Aij’、A(i+1)j’は、位置合わせ後のTi’とTi+1’において、それぞれ対応するAスキャン画像を表している。なお、本発明におけるAスキャン画像は、図4において、z軸方向に並行な1本の画素列のことをAスキャン画像としている。
ステップS212では、生成部118が重ね合わせ処理を行う。ここでは、Aスキャン画像が2つの場合の重ね合わせについて説明をする。図3(b)は、二次元断層画像をAスキャン画像毎に処理し、1枚の二次元断層画像を合成画像として生成する処理を説明するための図である。つまり、異なる時点で撮像された、異なる二次元断層画像上に位置するAスキャン画像の加算平均処理を例として説明する。図3(c)は、各画素あたりM個(本例では2個)の画素を用いて加算平均処理を行うことにより生成された高画質化された二次元断層画像である。つまり、図3(c)において、Aij”は対応するAスキャン画像について加算平均処理を行うことにより算出された新たなAスキャン画像である。
ステップS205では、表示制御部114は、ステップS204で生成した高画質な二次元断層画像を不図示の表示部に表示する。また、断層画像撮影装置120の測定光の走査範囲を固定して、ほぼ同一の網膜の領域を走査する例を説明したが、網膜全体を順次走査しても本発明を適用できることは上述したとおりである。
上記第1の実施形態では、位置合わせを行った二次元断層画像において、対応するAスキャン画像と周辺の領域を用いて領域間の類似度を計算し、各領域単位で重ね合わせ処理に用いる領域の判定を行った。本実施形態では、位置合わせを行った二次元断層画像において、Aスキャン画像と周辺の領域を用いて、近傍領域において評価値が高くなる領域を探索し、重ね合わせ処理を行うことを特徴としている。本実施形態によれば、大局的な特徴を用いて全体的に位置合わせを行い、さらに局所的な特徴を用いて位置合わせを行った後に、重ね合わせ処理を行う。
ステップS704では、画像処理部613が、大局的な位置合わせと局所的な位置合わせを行い、画像重ね合わせ処理を行うことで、高画質な二次元断層画像を生成する。高画質な二次元断層画像生成処理について、図7(b)を参照して説明する。
ステップS710では、第一の位置合わせ部115において、二次元断層画像同士の位置合わせを行う。この処理は、第1実施形態のステップS210と同様なので、説明は省略する。
ステップS710で大局的な位置合わせを行った二次元断層画像において、対応するAスキャン画像単位で位置合わせを行うことにより、局所的な位置合わせを行う。この処理について図8(a)を用いて説明を行う。Ti’とTi+1’は、同一断面を異なる時点で撮像した画像で、ステップS710において位置合わせを行った二次元断層画像である。Aij’はTi’におけるAスキャン画像を表している。斜線の領域Rij”はAij’を中心にx軸方向に+−αの範囲を表している。R(i+1)j”は、Ti+1’においてRij”に対応する矩形領域を表しており、S(i+1)j’は、R(i+1)j”の矩形領域を動かす探索範囲を表している。基準Aスキャン画像をAij’とし、類似度を計算する領域をRij”とする場合、探索範囲S(i+1)j’内において、R(i+1)j”の矩形領域を走査して、算出部116が評価値を計算する。
ステップS712では、生成部118において、対応するAスキャン画像同士の重ね合わせ処理を行う。生成部118では、ステップS711において、評価値が最大となる位置の矩形領域R(i+1)j”の中心に位置するAスキャン画像と、基準画像のAスキャン画像Aij’との重ね合わせ処理を行う。
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。
120 断層画像撮影装置
112 記憶部
113 画像処理部
114 表示制御部
115 第一の位置合わせ部
116 算出部
117 判定部
118 生成部
619 第二の位置合わせ部
Claims (9)
- 複数の断層画像の類似性を示す情報を算出する算出手段と、
前記算出した類似性を示す情報に基づき前記複数の断層画像から断層画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記算出手段は基準となる断層画像と他の異なる断層像との類似度を算出し、
前記算出した類似度に基づき前記複数の断層画像から生成手段における生成に用いる断層画像を判定する判定手段とを更に備え、
前記判定手段は、前記複数の断層像を撮像した際の副走査方向の単位時間あたりの移動距離が所定値未満である場合には前記類似度が予め定められた値以上の断層画像を選択する判定をし、
前記複数の断層像を撮像した際の副走査方向の単位時間あたりの移動距離が所定値以上である場合には前記複数の断層像の類似度をソート処理し、ソート処理後の類似度の変化率に基づいて断層像を選択する判定をすることを特徴とする請求項1に記載の画像処理装置。 - 前記算出手段は、前記複数の断層画像における部分領域の類似性を示す情報を算出し、前記生成手段は、前記複数の断層画像における部分領域の画像から新たな部分領域の画像を生成する生成手段と、
を備えることを特徴とする請求項1に記載の画像処理装置。 - 前記部分領域はAスキャン画像であり、前記生成手段は、Aスキャン画像どうしの類似性を示す情報に基づき前記複数のAスキャン画像を加算して新たなAスキャン画像を生成することを特徴とする請求項3に記載の画像処理装置。
- 前記生成手段は、前記類似性を示す値が所定値よりも高い複数の断層画像を加算して断層画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記類似性を示す値が所定値よりも高い固定枚数の断層画像から新たな断層画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 複数の断層画像を取得する取得工程と、
前記取得した複数の断層画像の類似性を示す情報に基づき前記複数の断層画像から新たな断層画像を生成する生成工程と、
を備えることを特徴とする画像処理方法。 - 請求項7に記載の画像処理方法をコンピュータに実行させるためのプログラム。
- 異なる二次元断層画像のそれぞれから得られたAスキャン画像の類似度を算出する算出手段と、
前記類似度に基づいて合成に用いるAスキャン画像を判定する判定手段と、
前記判定に基づいて異なる二次元断層画像のそれぞれから得られたAスキャン画像を合成して合成画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192764A JP6720267B2 (ja) | 2018-10-11 | 2018-10-11 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192764A JP6720267B2 (ja) | 2018-10-11 | 2018-10-11 | 画像処理装置、画像処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016141601A Division JP6419115B2 (ja) | 2016-07-19 | 2016-07-19 | 画像処理装置、画像処理方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043939A Division JP2020093125A (ja) | 2020-03-13 | 2020-03-13 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019000727A true JP2019000727A (ja) | 2019-01-10 |
JP2019000727A5 JP2019000727A5 (ja) | 2019-02-28 |
JP6720267B2 JP6720267B2 (ja) | 2020-07-08 |
Family
ID=65004535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018192764A Active JP6720267B2 (ja) | 2018-10-11 | 2018-10-11 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6720267B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001291087A (ja) * | 2000-04-07 | 2001-10-19 | Fuji Photo Film Co Ltd | 画像の位置合わせ方法および位置合わせ装置 |
JP2007130403A (ja) * | 2005-10-12 | 2007-05-31 | Topcon Corp | 光画像計測装置、光画像計測プログラム、眼底観察装置及び眼底観察プログラム |
WO2008122888A2 (en) * | 2007-04-06 | 2008-10-16 | Global Bionic Optics Pty Ltd | Large depth-of-field imaging system and iris recognition system |
US20090153798A1 (en) * | 2005-07-22 | 2009-06-18 | Manfred Dick | Device and method for monitoring, documenting and/or diagnosing the fundus |
JP2010110392A (ja) * | 2008-11-05 | 2010-05-20 | Nidek Co Ltd | 眼科撮影装置 |
-
2018
- 2018-10-11 JP JP2018192764A patent/JP6720267B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001291087A (ja) * | 2000-04-07 | 2001-10-19 | Fuji Photo Film Co Ltd | 画像の位置合わせ方法および位置合わせ装置 |
US20090153798A1 (en) * | 2005-07-22 | 2009-06-18 | Manfred Dick | Device and method for monitoring, documenting and/or diagnosing the fundus |
JP2007130403A (ja) * | 2005-10-12 | 2007-05-31 | Topcon Corp | 光画像計測装置、光画像計測プログラム、眼底観察装置及び眼底観察プログラム |
WO2008122888A2 (en) * | 2007-04-06 | 2008-10-16 | Global Bionic Optics Pty Ltd | Large depth-of-field imaging system and iris recognition system |
JP2010110392A (ja) * | 2008-11-05 | 2010-05-20 | Nidek Co Ltd | 眼科撮影装置 |
Non-Patent Citations (2)
Title |
---|
B SANDER ET AL.: ""Enhanced optical coherence tomography imaging by multiple scan averaging"", BRITISH JOURNAL OF OPHTHALMOLOGY, vol. 89, no. 2, JPN6017025987, 28 February 2005 (2005-02-28), pages 207 - 212, XP055044967, ISSN: 0004264185, DOI: 10.1136/bjo.2004.045989 * |
ROBERT J. ZAWADZKI ET AL.: ""Ultrahigh-resolution optical coherence tomography with monochromatic and chromatic aberration corre", OPTICS EXPRESS, vol. 16, no. 11, JPN6017025985, 26 May 2008 (2008-05-26), pages 8126 - 8143, ISSN: 0004264186 * |
Also Published As
Publication number | Publication date |
---|---|
JP6720267B2 (ja) | 2020-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6039156B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR102543875B1 (ko) | 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델 | |
JP5025715B2 (ja) | 断層画像撮影装置、画像処理装置、画像処理システム、画像処理装置の制御方法及びプログラム | |
JP7269413B2 (ja) | 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム | |
JP5404358B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
JP7297628B2 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN105395163A (zh) | 眼科设备和眼科设备的控制方法 | |
JP6128841B2 (ja) | 画像処理装置 | |
JP2015160105A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
JP7254682B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2019047838A (ja) | 画像処理装置、位置合わせ方法及びプログラム | |
JP7005382B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6419115B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6720267B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5634587B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020093125A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5631361B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019047841A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6419249B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2021069667A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2015129718A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6720267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |