JP2021083781A - 撮影装置およびその制御方法 - Google Patents
撮影装置およびその制御方法 Download PDFInfo
- Publication number
- JP2021083781A JP2021083781A JP2019215790A JP2019215790A JP2021083781A JP 2021083781 A JP2021083781 A JP 2021083781A JP 2019215790 A JP2019215790 A JP 2019215790A JP 2019215790 A JP2019215790 A JP 2019215790A JP 2021083781 A JP2021083781 A JP 2021083781A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- measurement light
- beam diameter
- wavefront
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 31
- 238000005259 measurement Methods 0.000 claims abstract description 67
- 238000012937 correction Methods 0.000 claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 230000001678 irradiating effect Effects 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004075 alteration Effects 0.000 description 63
- 238000012545 processing Methods 0.000 description 44
- 230000003287 optical effect Effects 0.000 description 38
- 238000013527 convolutional neural network Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 14
- 230000003044 adaptive effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012014 optical coherence tomography Methods 0.000 description 9
- 210000000695 crystalline len Anatomy 0.000 description 8
- 239000013307 optical fiber Substances 0.000 description 7
- 230000010287 polarization Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
を有することを特徴とする。
実施形態1として、本発明を適用した眼底撮影装置の構成について図1から図9を用いて説明する。
まず、画像処理パラメータを学習するための教師データとなる画像の取得方法について説明する。まず、教師データとなる眼底画像を撮影する撮影装置について、図1を用いて説明する。
次に、図5を用いて説明したように取得された第一の画像と第二の画像を用いて、第一の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
次に、前述の学習結果(学習済モデル)を用いて、眼底像を撮影する方法について説明する。
次に実施形態1で説明した測定光のビーム径とは異なるビーム径の測定光で撮影を行って取得する第三の画像も用いて学習し、第三の画像から高分解能な第二の画像を得る例について説明する。
本実施形態の学習用の教師データとなる、第一のビーム径の測定光の波面補正せずに撮影することにより得られる第一の画像と収差補正して撮影することにより得られる第二の画像、第二のビーム径の測定光で撮影する第三の画像を取得する撮影制御フローに関して、図11のフローチャートを用いて説明する。
次に、第一のビーム径で収差補正されていない状態で撮影した第一の画像、第一のビーム径で収差補正を行ったうえで撮影した第二の画像、および、第二のビーム径で撮影した第三の画像を用いて、第一の画像および第三の画像から第二の画像を生成する処理パラメータを学習させる例について説明する。
次に、前述の学習結果を用いて、眼底像を撮影する方法について説明する。
上述したそれぞれの実施形態は、本発明を撮影装置として実現したものである。しかしながら、本発明の実施形態は、撮影装置、或いは、実施形態において述べた撮影方法のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。また、撮影装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、撮影装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現し、画像処理時に行われる各工程を実行することもできる。
Claims (12)
- 測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の第1の画像を生成する生成手段と、
学習済モデルを用いて、第1の分解能の前記第1の画像を、前記測定光の波面を補正して前記被検体に照射することにより得られる前記第1の分解能より高い分解能である第2の分解能の第2の画像に変換する変換手段と
を有することを特徴とする撮影装置。 - 前記変換手段が、前記第1の画像と、前記第1の画像の分解能より低い分解能の第3の画像とから学習済モデルを用いて、前記第1の画像を前記第2の分解能の第2の画像に変換すること
を特徴とする請求項1に記載の撮影装置。 - 前記変換手段が、前記第1の画像の分解能より低い分解能の第3の画像から学習済モデルを用いて、前記第3の画像を前記第2の分解能の第2の画像に変換すること
を特徴とする請求項1に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の測定光に対応する第1の画像、前記第1のビーム径の波面を補正した測定光に対応する第2の画像、及び、前記第1のビーム径より細い第2のビーム径の測定光に対応する第3の画像を用いて深層学習することにより得られるモデルであること
を特徴とする請求項2又は3に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の測定光に対応する第1の画像と、前記第1のビーム径の波面を補正した測定光に対応する第2の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項1に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の測定光に対応する第1の画像と前記第1のビーム径より細い第2のビーム径の測定光に対応する第3の画像の組み合わせ、及び、前記第1のビーム径の波面を補正した測定光に対応する第2の画像と前記第3の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項2に記載の撮影装置。 - 前記学習済モデルは、前記生成手段により生成された、第1のビーム径の波面を補正した測定光に対応する第2の画像と前記第1のビーム径より細い第2のビーム径の測定光に対応する第3の画像の組み合わせを用いて深層学習することにより得られるモデルであること
を特徴とする請求項3に記載の撮影装置。 - 前記第1の画像、前記第2の画像、及び、前記第3の画像は、測定光の波面を測定する測定手段と、前記波面を補正する補正手段と、測定光のビーム径を設定する設定手段とを有する撮影装置により生成された画像であり、
前記第1の画像は、前記設定手段により前記測定光を前記第1のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であり、
前記第2の画像は、前記設定手段により前記測定光を前記第1のビーム径に設定し、前記補正手段による補正を行い生成した画像であり、
前記第3の画像は、前記設定手段により前記測定光を前記第2のビーム径に設定し、前記補正手段による補正を行わずに生成した画像であること
を特徴とする請求項2乃至7のいずれか1項に記載の撮影装置。 - 測定光を被検体に照射することにより得られる戻り光に基づき、前記被検体の第1の画像を生成する生成工程と、
学習済モデルを用いて、第1の分解能の前記第1の画像を、前記測定光の波面を補正して前記被検体に照射することにより得られる前記第1の分解能より高い分解能である第2の分解能の第2の画像に変換する変換工程と
を有することを特徴とする撮影装置の制御方法。 - 前記変換工程において、前記第1の画像と、前記第1の画像の分解能より低い分解能の第3の画像とから学習済モデルを用いて、前記第1の画像を前記第2の分解能の第2の画像に変換すること
を特徴とする請求項9に記載の撮影装置の制御方法。 - 前記変換工程が、前記第1の画像の分解能より低い分解能の第3の画像から学習済モデルを用いて、前記第3の画像を前記第2の分解能の第2の画像に変換すること
を特徴とする請求項9に記載の撮影装置の制御方法。 - 請求項9乃至11の何れか1項に記載の撮影装置の制御方法をコンピュータに実行させるコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215790A JP2021083781A (ja) | 2019-11-28 | 2019-11-28 | 撮影装置およびその制御方法 |
PCT/JP2020/043562 WO2021106824A1 (ja) | 2019-11-28 | 2020-11-24 | 撮影装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215790A JP2021083781A (ja) | 2019-11-28 | 2019-11-28 | 撮影装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021083781A true JP2021083781A (ja) | 2021-06-03 |
Family
ID=76086316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019215790A Pending JP2021083781A (ja) | 2019-11-28 | 2019-11-28 | 撮影装置およびその制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021083781A (ja) |
WO (1) | WO2021106824A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5835938B2 (ja) * | 2011-05-10 | 2015-12-24 | キヤノン株式会社 | 収差補正方法、および該方法を用いた眼底撮像方法、および眼底撮像装置 |
JP6756510B2 (ja) * | 2016-04-11 | 2020-09-16 | 株式会社トプコン | 眼科撮影装置 |
-
2019
- 2019-11-28 JP JP2019215790A patent/JP2021083781A/ja active Pending
-
2020
- 2020-11-24 WO PCT/JP2020/043562 patent/WO2021106824A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021106824A1 (ja) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9131841B2 (en) | Image acquisition apparatus | |
EP2878259B1 (en) | Ophthalmologic apparatus and method of controlling the same | |
JP5511324B2 (ja) | 補償光学装置、補償光学方法、撮像装置、撮像方法 | |
US20120133888A1 (en) | scanning ophthalmoscopes | |
JP5517571B2 (ja) | 撮像装置および撮像方法 | |
KR101453327B1 (ko) | 안저 촬상방법, 안저 촬상장치, 및 기억매체 | |
US9107619B2 (en) | Optical-image pickup apparatus and method for controlling the same | |
US9339185B2 (en) | Imaging apparatus that acquires a first image and, via an aberration correction unit, a second image of an area corresponding to a part of the first image | |
KR101477588B1 (ko) | 보상 광학장치 및 촬상장치 | |
JP2014108212A (ja) | 撮像装置 | |
US10213106B2 (en) | System and method for eye tracking during retinal imaging | |
JP2014079464A (ja) | 眼科装置及びその波面収差補正方法 | |
US9468375B2 (en) | Imaging method and imaging apparatus | |
JP2021153786A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2021106824A1 (ja) | 撮影装置およびその制御方法 | |
JP2020131017A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2016036588A (ja) | 撮像装置および撮像方法 | |
KR101422731B1 (ko) | 쥐과 망막의 단층 촬영을 위한 촬상 장치 | |
WO2020166465A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6572560B2 (ja) | 波面補償付眼底撮影装置 | |
JP5943953B2 (ja) | 撮像装置及びその制御方法 | |
JP2021137256A (ja) | 眼科装置、眼科装置の作動方法、及びプログラム | |
JP2020174852A (ja) | 対物レンズおよび該対物レンズを備える眼底撮影装置 | |
JP2018166713A (ja) | 眼底撮影装置およびその制御方法 | |
JP2014119313A (ja) | 収差測定装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221125 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240205 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |