CN116437848A - 眼科观察装置、眼科图像处理装置、眼科图像处理方法、程序以及记录介质 - Google Patents
眼科观察装置、眼科图像处理装置、眼科图像处理方法、程序以及记录介质 Download PDFInfo
- Publication number
- CN116437848A CN116437848A CN202180071853.2A CN202180071853A CN116437848A CN 116437848 A CN116437848 A CN 116437848A CN 202180071853 A CN202180071853 A CN 202180071853A CN 116437848 A CN116437848 A CN 116437848A
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- images
- ophthalmic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 453
- 238000003384 imaging method Methods 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 34
- 230000009471 action Effects 0.000 claims description 30
- 230000005856 abnormality Effects 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000003754 machining Methods 0.000 claims description 9
- 208000024813 Abnormality of the eye Diseases 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 142
- 210000001508 eye Anatomy 0.000 description 98
- 238000005286 illumination Methods 0.000 description 69
- 210000000695 crystalline len Anatomy 0.000 description 60
- 238000001356 surgical procedure Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 22
- 230000007246 mechanism Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 7
- 208000002177 Cataract Diseases 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 238000013441 quality evaluation Methods 0.000 description 6
- 208000027418 Wounds and injury Diseases 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 210000004127 vitreous body Anatomy 0.000 description 4
- 210000002159 anterior chamber Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012014 optical coherence tomography Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004240 ciliary body Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000004945 emulsification Methods 0.000 description 2
- 230000003511 endothelial effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007721 medicinal effect Effects 0.000 description 1
- 210000004175 meibomian gland Anatomy 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000649 photocoagulation Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/005—Constructional features of the display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
例示性实施方式的眼科观察装置(1)用于观察被检眼。眼科观察装置(1)包括动态图像生成部(手术用显微镜10)、图像处理部(数据处理部210、图像处理部211)以及显示控制部(主控制部201)。动态图像生成部拍摄被检眼而生成第一动态图像。图像处理部对由动态图像生成部生成的第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像。显示控制部使第一显示装置(显示装置3)显示由图像处理部制作出的多个加工图像。
Description
技术领域
本公开涉及眼科观察装置、眼科图像处理装置、眼科图像处理方法、程序以及记录介质。
背景技术
眼科观察装置是用于观察患者的眼睛(称为被检眼)的装置。在检查、手术、治疗等各种场合中用于掌握被检眼的状态而进行眼科观察。
以往的眼科观察装置经由目镜透镜将通过物镜、变倍光学系统得到的放大像提供给用户,但是,近年来,存在具有以下结构的眼科观察装置:通过摄像元件拍摄通过物镜、变倍光学系统得到的放大像,显示得到的摄像图像(第一方式的眼科观察装置)。这样的眼科观察装置包括裂隙灯显微镜、手术用显微镜、眼底相机等。另外,在折射计、角膜散光计、眼压计、角膜内皮显微镜、波前像差仪、微视野计等各种眼科检查装置也设置有作为第一方式的眼科观察装置的功能。
并且,近年来,眼科观察装置还使用光扫描(第二方式的眼科观察装置)。这样的眼科装置包括扫描激光检眼镜(SLO)、光学相干断层扫描(OCT)装置等。
通常,眼科观察装置将被检眼的动态图像提供给用户(例如,医生等医护人员)。典型地,第一方式的眼科观察装置构成为执行将红外光和/或可见光作为照明光的动态图像拍摄和由此得到的图像的实时动态图像显示。另一方面,典型地,第二方式的眼科观察装置构成为执行基于反复光扫描的数据收集、基于逐次收集的数据集的实时图像重建、以及逐次重建的图像的实时动态图像显示。将这样提供的实时动态图像称为观察图像。
为了提供良好的观察图像,需要进行图像质量的调整,期望的图像质量因用户不同而不同,并且检查、手术种类、阶段也不同。例如某些医生喜欢偏红色的图像,而其他某些医生喜欢偏绿色的图像。另外,最常见的眼科手术之一的白内障手术通过对准、创口制作、眼用粘弹剂注入、前囊切开(CCC)、晶状体乳化引流、晶状体皮质引流、人工晶体(IOL)插入、IOL居中、眼用粘弹剂清除、创口闭合等过程来进行,但是医生所期望的图像质量有时根据阶段不同而不同。并且,还有时要选择性地提高关注部位的像的质量。另外,还有时被检眼的状态不同而期望的图像质量不同。
这样,观察图像所期望的质量是各种各样的,但是在以往的典型的眼科观察装置中,每次均手动地进行图像质量的调整,因此非常繁琐和麻烦,而且是导致检查、手术时间延长的主要原因之一。另一方面,还考虑自动地进行图像质量的调整,但是考虑到所期望的图像质量的多样性的结果时,最终要手动地进行调整。
专利文献1:日本特开2003-310556号公报
专利文献2:日本特开2009-118955号公报
发明内容
本发明的目的之一是,提供一种用于使眼科观察容易化的新技术。
几个例示性方式是一种眼科观察装置,用于观察被检眼,包括:动态图像生成部,拍摄所述被检眼而生成第一动态图像;图像处理部,对所述第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像;以及显示控制部,使第一显示装置显示所述多个加工图像。
几个例示性方式的眼科观察装置还包括指示接收部,该指示接收部接收用于从所述第一显示装置所显示的所述多个加工图像中选择至少一个加工图像的指示,所述图像处理部将基于与所述至少一个加工图像对应的所述图像参数的至少一个值的第二图像处理,适用于使用所述指示接收部进行所述至少一个加工图像的选择之后由所述动态图像生成部生成的第二动态图像,所述显示控制部使第二显示装置显示适用了所述第二图像处理的所述第二动态图像。
在几个例示性方式的眼科观察装置中,在使用所述指示接收部选择出所述多个加工图像中的一个加工图像的情况下,所述图像处理部将使用了与所述一个加工图像对应的所述图像参数的一个值的图像处理,作为所述第二图像处理而适用于所述第二动态图像。
在几个例示性方式的眼科观察装置中,在使用所述指示接收部选择出所述多个加工图像中的两个以上的加工图像的情况下,所述图像处理部将使用了与所述两个以上的加工图像中的一个加工图像对应的所述图像参数的一个值的图像处理作为所述第二图像处理而适用于所述第二动态图像。
在几个例示性方式的眼科观察装置中,在使用所述指示接收部选择出所述多个加工图像中的两个以上的加工图像的情况下,所述图像处理部根据与所述两个以上的加工图像分别对应的所述图像参数的两个以上的值来决定一个值,将使用了所述一个值的图像处理作为所述第二图像处理而适用于所述第二动态图像。
在几个例示性方式的眼科观察装置中,还包括用于记录使用于所述第二图像处理的所述图像参数的所述一个值的记录部。
在几个例示性方式的眼科观察装置中,还包括接收用户的标识符的标识符接收部,所述记录部与由所述标识符接收部接收到的所述标识符相关联地记录所述图像参数的所述一个值。
在几个例示性方式的眼科观察装置中,还包括用于获取表示医疗行为对所述被检眼的属性的属性信息的属性信息获取部,所述记录部与由所述属性信息获取部获取到的所述属性信息相关联地记录所述图像参数的所述一个值。
在几个例示性方式的眼科观察装置中,还包括从过去由所述记录部记录的所述图像参数的值中选择至少一个值的选择部,所述图像处理部将基于由所述选择部选择的所述至少一个值的图像处理适用于由所述动态图像生成部生成的第三动态图像。
在几个例示性方式的眼科观察装置中,所述记录部将生成所述第二动态图像时的拍摄条件与所述图像参数的所述一个值相关联地进行记录,所述选择部还选择与由所述选择部选择的所述至少一个值相关联的拍摄条件,还包括根据由所述选择部分别选择的所述至少一个值和所述拍摄条件来决定所述图像参数的值的决定部,所述图像处理部将使用了由所述决定部决定的所述图像参数的所述值的图像处理适用于所述第三动态图像。
在几个例示性方式的眼科观察装置中,所述图像处理部对所述第一动态图像所包括的所述静止图像的一部分即局部图像,适用所述第一图像处理,来制作作为所述多个加工图像的多个局部加工图像,所述显示控制部使所述第一显示装置显示分别包括所述多个局部加工图像的多个图像。
在几个例示性方式的眼科观察装置中,所述图像处理部包括将用于确定所述被检眼的预定部位的像的分割适用于所述第一动态图像所包括的所述静止图像而确定所述局部图像的第一局部图像确定部。
在几个例示性方式的眼科观察装置中,所述第一局部图像确定部将所述分割适用于所述第二动态图像,依次确定所述第二动态图像所包括的静止图像的局部图像,所述图像处理部对从所述第二动态图像所包括的所述静止图像确定的所述局部图像,依次适用所述第二图像处理。
在几个例示性方式的眼科观察装置中,所述显示控制部使所述第一显示装置或所述第二显示装置显示所述第一动态图像或所述第一动态图像所包括的静止图像,还包括用于指定所显示的所述第一动态图像或所述第一动态图像所包括的所述静止图像中的局部区域的图形用户界面,所述图像处理部根据使用所述用户界面指定的所述局部区域,设定所述局部图像。
在几个例示性方式的眼科观察装置中,所述图像处理部包括在所述第二动态图像所包括的静止图像中依次确定与所述局部区域对应的局部图像的第二局部图像确定部,所述图像处理部对从所述第二动态图像所包括的所述静止图像确定的所述局部图像,依次适用所述第二图像处理。
在几个例示性方式的眼科观察装置中,所述显示控制部使所述第一显示装置排列显示所述多个加工图像中的两个以上的加工图像或所述两个以上的加工图像的缩略图。
在几个例示性方式的眼科观察装置中,所述显示控制部使所述第一显示装置依次显示所述多个加工图像中的两个以上的加工图像或所述两个以上的加工图像的缩略图。
在几个例示性方式的眼科观察装置中,还包括用于监视所述被检眼的活动的监视部,所述显示控制部根据来自所述监视部的输出,变更所述多个加工图像的显示状态。
在几个例示性方式的眼科观察装置中,还包括用于检测所述被检眼的异常的异常检测部,所述显示控制部根据来自所述异常检测部的输出,变更所述多个加工图像的显示状态。
在几个例示性方式的眼科观察装置中,所述图像参数包括色调参数、亮度参数、对比度参数、增益参数、伽马参数、色温参数、白平衡参数、RGB平衡参数、灰平衡参数、边缘增强参数、阴影增强参数、锐化参数以及高动态范围参数中的一个以上。
几个例示性方式是一种眼科图像处理装置,对被检眼的图像进行处理,包括:动态图像接收部,接收所述被检眼的第一动态图像;图像处理部,对所述第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像;以及显示控制部,使第一显示装置显示所述多个加工图像。
几个例示性方式的眼科图像处理装置还包括接收用于从所述第一显示装置所显示的所述多个加工图像中选择至少一个加工图像的指示的指示接收部,所述图像处理部将基于与所述至少一个加工图像对应的所述图像参数的至少一个值的第二图像处理适用于在基于所述指示进行所述至少一个加工图像的选择之后由所述动态图像接收部接收到的所述被检眼的第二动态图像,所述显示控制部使第二显示装置显示适用了所述第二图像处理的所述第二动态图像。
几个例示性方式是一种眼科图像处理方法,对被检眼的图像进行处理,接收所述被检眼的第一动态图像,对所述第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像,显示所述多个加工图像,接收用于从所显示的所述多个加工图像中选择至少一个加工图像的指示,在基于所述指示进行所述至少一个加工图像的选择之后,接收所述被检眼的第二动态图像,将基于与所述至少一个加工图像对应的所述图像参数的至少一个值的第二图像处理适用于所述第二动态图像,显示适用了所述第二图像处理的所述第二动态图像。
几个例示性方式是一种程序,使计算机执行例示性方式的眼科图像处理方法。
几个例示性方式是一种记录了例示性方式的程序的计算机可读的非临时性记录介质。
根据例示性方式,能够提供一种用于使眼科观察容易化的新技术。
附图说明
图1是表示例示性实施方式的眼科观察装置(眼科手术用显微镜)的结构的一例的示意图。
图2是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图3是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图4是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图5是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图6是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图7是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图8是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图9是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图10是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图11是表示例示性实施方式的眼科观察装置所执行的处理的一例的流程图。
图12A是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图12B是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图12C是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图12D是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图12E是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图13是表示例示性实施方式的眼科观察装置所执行的处理的一例的流程图。
图14A是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图14B是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图14C是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图14D是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图14E是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图14F是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图14G是用于说明例示性实施方式的眼科观察装置所执行的处理的一例的示意图。
图15是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图16是表示例示性实施方式的眼科观察装置的结构的一例的示意图。
图17是表示例示性实施方式的眼科图像处理装置的结构的一例的示意图。
具体实施方式
参考附图,详细说明实施方式的眼科观察装置、眼科图像处理装置、眼科图像处理方法、程序以及记录介质的几个例示性方式。此外,能够将在本说明书中引用的文献所记载的事项、任意的公知技术与例示性方式进行组合。
例示性方式的眼科观察装置用于在被检眼的检查、手术、治疗等医疗行为中掌握被检眼的状态。以下说明的例示性方式的眼科观察装置为手术用显微镜系统,但是眼科观察装置并不限定于手术用显微镜系统。例如,眼科观察装置即可以是裂隙灯显微镜、眼底相机、折射计、角膜散光计、眼压计、角膜内皮显微镜、波前像差仪、微视野计、SLO以及OCT装置中任一个,也可以是包括它们中的任一个以上的系统。更常见的是,眼科观察装置可以是具有观察功能的任意的眼科装置。
使用了眼科观察装置的观察的对象部位即可以是被检眼的任意的部位,也可以是前眼部的任意的部位和/或后眼部的任意的部位。前眼部的观察对象部位例如包括角膜、虹膜、前房、前房角、晶状体、睫状体、秦氏小带等。后眼部的观察对象部位例如包括视网膜、脉络膜、巩膜、玻璃体等。观察对象部位并不限定于眼球组织,也可以是眼睑、睑板腺、眼窝等在眼科(和/或其它科)中作为观察对象的任意的部位。
本说明书所公开的要素的功能的至少一部分使用电路结构(circuitry)或处理电路结构(processing circuitry)来安装。电路结构或处理电路结构包括以执行所公开的功能的至少一部分的方式构成和/或编程的共通处理器、专用处理器、集成电路、CPU(CentralProcessing Unit:中央处理器)、GPU(Graphics Processing Unit:图形处理器)、ASIC(Application Specific Integrated Circuit:专用集成电路)、可编辑逻辑装置(例如,SPLD(Simple Programmable Logic Device:简单可程序逻辑装置)、CPLD(ComplexProgrammable Logic Device:复杂可编程逻辑装置)、FPGA(Field Programmable GateArray:现场可编程门阵列))、以往的电路结构以及它们的任意组合中的任一个。处理器被视为包括晶体管和/或其它电路结构的处理电路结构或电路结构。在本公开中,电路结构、单元、部件或类似于它们的术语是执行所公开的功能的至少一部分的硬件或以执行所公开的功能的至少一部分的方式编程的硬件。硬件可以是本说明书所公开的硬件或也可以是以执行所记载的功能的至少一部分的方式编程和/或构成的已知的硬件。在硬件为被视为某一种类的电路结构的处理器的情况下,电路结构、单元、部件或类似于它们的术语是硬件与软件的组合,该软件用于构成硬件和/或处理器。
<眼科观察装置>
图1示出例示性方式的眼科观察装置的结构。
实施方式的眼科观察装置1(手术用显微镜系统)包括操作装置2、显示装置3以及手术用显微镜10。在几个方式中,手术用显微镜10也可以包括操作装置2和显示装置3中的至少一个。另外,在几个方式中,显示装置3也可以不包括在眼科观察装置1中。也就是说,显示装置3也可以是眼科观察装置1的外围设备。
<操作装置2>
操作装置2包括操作设备和/或输入设备。例如操作装置2也可以包括按钮、开关、鼠标、键盘、轨迹球、操作面板、转度盘等。典型地,操作装置2与一般的眼科手术用显微镜同样地包括脚踏开关。
<显示装置3>
显示装置3显示由手术用显微镜10获取的被检眼的图像。显示装置3包括平板显示器等显示设备。另外,显示装置3也可以包括触摸面板等各种显示设备。典型的显示装置3包括大屏幕的显示设备。显示装置3包括一个以上的显示设备。在显示装置3包括两个以上的显示设备的情况下,例如一个是较大屏幕的显示设备,另一个是较小屏幕的显示设备。
操作装置2和显示装置3不需要分别单独的设备。例如也可以将触摸面板那样操作功能与显示功能被一体化的设备用作显示装置3。在该情况下,操作装置2包括该触摸面板和计算机程序。对操作装置2的操作内容作为电信号而被输入到处理器(未图示)。另外,也可以使用显示装置3所显示的图形用户界面(GUI)和操作装置2,进行操作、信息输入。在几个方式中,操作装置2和显示装置3的功能也可以通过触摸屏来实现。
<手术用显微镜10>
手术用显微镜10用于观察仰卧位的患者的眼(被检眼)。手术用显微镜10拍摄被检眼而生成数字图像数据。特别是,手术用显微镜10生成被检眼的动态图像。由手术用显微镜10生成的动态图像(映像)通过有线和/或无线的信号线路发送到显示装置3而显示。用户(手术操作者)能够通过所显示的映像一边观察被检眼一边进行手术。几个方式的手术用显微镜10除了这样的显示映像的观察以外,还能够经由以往的目镜透镜进行观察。
在几个方式中,手术用显微镜10包括在与操作装置2之间用于发送接收电信号的通信设备。操作装置2接收用户的操作,生成与此对应的电信号(操作信号)。操作信号通过有线和/或无线的信号线路发送到手术用显微镜10。手术用显微镜10执行与接收到的操作信号对应的处理。
<手术用显微镜10的光学系统>
说明手术用显微镜10的光学系统的结构的例子。以下,为了便于说明,将物镜的光轴方向设为z方向(例如手术时铅直方向、上下方向),将与z方向正交的预定方向设为x方向(例如手术时水平方向、对于手术操作者和患者来说左右方向),将与z方向和x方向两者正交的方向设为y方向(例如手术时水平方向、对于手术操作者来说前后方向、对于患者来说体轴方向)。
另外,以下,主要说明观察光学系统具有左右一对光学系统(能够进行双眼观察的光学系统)的情况。然而,其它方式的观察光学系统也可以具有单眼观察用的光学系统,本领域技术人员可知,能够将以下说明的结构引用于这样的方式。
图2示出手术用显微镜10的光学系统的结构例。图2是将从上方观察光学系统的示意性的俯视图与从侧方观察光学系统的示意性的侧视图对应地示出的图。为了使图示简化,省略了配置于物镜20的上方的照明光学系统30的图示。
手术用显微镜10包括物镜20、分色镜DM1、照明光学系统30以及观察光学系统40。观察光学系统40包括变焦扩展器50以及摄像相机60。在几个方式中,照明光学系统30或观察光学系统40包括分色镜DM1。
物镜20被配置成与被检眼相向。物镜20被配置成其光轴沿z方向。物镜20也可以包括两个以上的透镜。
分色镜DM1使照明光学系统30的光路与观察光学系统40的光路耦合。分色镜DM1配置于照明光学系统30与物镜20之间。分色镜DM1使来自照明光学系统30的照明光透射并经由物镜20引导至被检眼,并且使经由物镜20入射的来自被检眼的返回光反射并引导至观察光学系统40的摄像相机60。
分色镜DM1使照明光学系统30的光路与观察光学系统40的光路进行同轴耦合。也就是说,照明光学系统30的光轴与观察光学系统40的光轴在分色镜DM1上交叉。在照明光学系统30包括左眼用照明光学系统(31L)和右眼用照明光学系统(31R)并且观察光学系统40包括左眼用观察光学系统40L和右眼用观察光学系统40R的情况下,分色镜DM1使左眼用照明光学系统(第一照明光学系统31L)的光路与左眼用观察光学系统40L的光路进行同轴耦合,并且使右眼用照明光学系统(第一照明光学系统31R)的光路与右眼用观察光学系统40R的光路进行同轴耦合。
照明光学系统30是经由物镜20用于照明被检眼的光学系统。照明光学系统30可以构成为通过色温不同的两个以上的照明光中的任一个来照明被检眼。照明光学系统30在后述的控制部(200)的控制下,将指定色温的照明光投射到被检眼。
照明光学系统30包括第一照明光学系统31L和31R以及第二照明光学系统32。
第一照明光学系统31L的光轴OL和第一照明光学系统31R的光轴OR分别与物镜20的光轴大致同轴地配置。由此,能够实现所谓“0度照明”,能够得到利用了眼底的扩散反射的透照像。在本方式中,能够以双眼观察被检眼的透照像。
第二照明光学系统32被配置成其光轴OS从物镜20的光轴偏心。第一照明光学系统31L和31R以及第二照明光学系统32被配置成光轴OS相对于物镜20的光轴的偏位大于光轴OL和OR相对于物镜20的光轴的偏位。由此,能够实现所谓“带角度的照明(斜向照明)”,一边能够防止由角膜反射等引起的重影的混入一边能够以双眼观察被检眼。并且,还能够详细地观察被检眼的部位、组织的凹凸。
第一照明光学系统31L包括光源31LA以及聚光透镜31LB。光源31LA例如输出与3000K(开尔文)的色温相当的可视区域的波长的照明光。从光源31LA输出的照明光通过聚光透镜31LB,并透射分色镜DM1,并且通过物镜20入射到被检眼。
第一照明光学系统31R包括光源31RA以及聚光透镜31RB。光源31RA例如也输出与3000K的色温相当的可视区域的波长的照明光。从光源31RA输出的照明光通过聚光透镜31RB,并透射分色镜DM1,并且通过物镜20入射到被检眼。
第二照明光学系统32包括光源32A以及聚光透镜32B。光源32A例如输出与4000K~6000K的色温相当的可视区域的波长的照明光。从光源32A输出的照明光通过聚光透镜32B,不会经由分色镜DM1而通过物镜20入射到被检眼。
即,来自第一照明光学系统31L和31R的照明光的色温低于来自第二照明光学系统32的照明光的色温。通过设为这样的结构,能够使用第一照明光学系统31L和31R以暖色系的颜色来观察被检眼,能够详细地观察被检眼的结构、方式。
在几个方式中,光轴OL和OR分别相对于物镜20的光轴,能够相对地移动。该相对移动的方向是与物镜20的光轴交叉的方向,该相对移动以x成分和y成分中的至少一个不是零的位移向量来表现。在几个方式中,光轴OL和OR分别可以独立地移动。另一方面,在几个方式中,光轴OL和OR可以一体地移动。例如手术用显微镜10具备使第一照明光学系统31L和31R独立地或一体地移动的移动机构(31d),通过该移动机构,将第一照明光学系统31L和31R独立地或一体地向与物镜20的光轴交叉的方向移动。由此,能够调整被检眼的视觉效果。在几个方式中,在后述的控制部(200)的控制下使移动机构进行动作。
在几个方式中,光轴OS相对于物镜20的光轴能够相对地移动。该相对移动的方向是与物镜20的光轴交叉的方向,该相对移动以x成分和y成分中的至少一个不是零的位移向量来表现。例如手术用显微镜10具备使第二照明光学系统32移动的移动机构(32d),通过该移动机构,使第二照明光学系统32向与物镜20的光轴交叉的方向移动。由此,能够调整被检眼的部位、组织中的凹凸的视觉效果。在几个方式中,在后述的控制部(200)的控制下使移动机构进行动作。
如上所述,在本方式中,在物镜20的正上方的位置(分色镜DM1的透射方向的位置)配置照明光学系统30,并且在分色镜DM1的反射方向的位置配置观察光学系统40。例如,也可以将观察光学系统40配置成与观察光学系统40的光轴和物镜20的光轴正交的平面(xy平面)所形成的角为±20度以下。
根据本方式的结构,通常,光路长度比照明光学系统30长的观察光学系统40被配置成相对于xy平面大致平行,因此不会如观察光学系统在铅直方向上配置于手术操作者的眼前的以往的手术用显微镜那样妨碍手术操作者的视野。因而,手术操作者能够容易地观察设置于正面的显示装置3的画面。也就是说,使手术中等的显示信息(被检眼的图像、映像、其它各种参照信息)的可视性提高。另外,不会在手术操作者的眼前配置壳体,因此不会对手术操作者赋予压迫感,从而减轻手术操作者的负担。
观察光学系统40是用于观察基于经由物镜20从被检眼入射的照明光的返回光形成的像的光学系统。在本方式中,观察光学系统40将像提供给摄像相机60的摄像元件。
如上所述,观察光学系统40包括左眼用观察光学系统40L以及右眼用观察光学系统40R。左眼用观察光学系统40L的结构与右眼用观察光学系统40R的结构相同。在几个方式中,左眼用观察光学系统40L和右眼用观察光学系统40R也可以相互独立地变更光学配置。
变焦扩展器50还被称为光束扩展器、可变光束扩展器等。变焦扩展器50包括左眼用变焦扩展器50L以及右眼用变焦扩展器50R。左眼用变焦扩展器50L的结构与右眼用变焦扩展器50R的结构相同。在几个方式中,左眼用变焦扩展器50L和右眼用变焦扩展器50R也可以相互独立地变更光学配置。
左眼用变焦扩展器50L包括多个变焦透镜51L、52L和53L。多个变焦透镜51L、52L和53L中的至少一个能够通过变倍机构(未图示)在光轴方向上移动。
同样地,右眼用变焦扩展器50R包括多个变焦透镜51R、52R和53R,多个变焦透镜51R、52R、53R中的至少一个能够通过变倍机构(未图示)在光轴方向上移动。
变倍机构可以构成为使左眼用变焦扩展器50L的各变焦透镜和右眼用变焦扩展器50R的各变焦透镜独立地或一体地向光轴方向移动。由此,变更拍摄被检眼时的放大倍率。在几个方式中,在后述的控制部(200)的控制下使变倍机构动作。
摄像相机60是对由观察光学系统40形成的像进行拍摄而生成数字图像数据的设备,典型地是数字相机(数字摄像机)。摄像相机60包括左眼用摄像相机60L以及右眼用摄像相机60R。左眼用摄像相机60L的结构与右眼用摄像相机60R的结构相同。在几个方式中,左眼用摄像相机60L和右眼用摄像相机60R能够相互独立地变更光学配置。
左眼用摄像相机60L包括成像透镜61L以及摄像元件62L。成像透镜61L在摄像元件62L的摄像面上形成基于通过左眼用变焦扩展器50L的返回光的像。摄像元件62L是区域传感器,典型地也可以是电荷耦合元件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。摄像元件62L在后述的控制部(200)的控制下进行动作。
右眼用摄像相机60R包括成像透镜61R以及摄像元件62R。成像透镜61R在摄像元件62L的摄像面上形成基于通过右眼用变焦扩展器50R的返回光的像。摄像元件62R是区域传感器,典型地也可以是CCD图像传感器或CMOS图像传感器。摄像元件62R在后述的控制部(200)的控制下进行动作。
<处理系统>
说明眼科观察装置1的处理系统。图3~图10示出处理系统的几个结构例。至少能够局部地组合以下说明的多个结构例中的任意两个以上。此外,处理系统的结构并不限定于这些例子。
控制部200对眼科观察装置1的各部进行控制。控制部200包括主控制部201和存储部202。主控制部201包括处理器,控制眼科观察装置1的各部。例如处理器为了实现本方式的功能,能够读出并执行存储于存储部202或其它存储装置的程序,并且,还能够利用(参照、加工、运算等)存储于存储部202或其它存储装置的数据、信息。
主控制部201能够对照明光学系统30的光源31LA、31RA和32A、观察光学系统40的摄像元件62L和62R、移动机构31d和32d、变倍机构50Ld和50Rd、操作装置2、显示装置3等进行控制。
光源31LA的控制包括光源的点亮、熄灭、光量调整、光圈的调整等。光源31RA的控制包括光源的点亮、熄灭、光量调整、光圈的调整等。主控制部201能够对光源31LA和31RA相互排他地进行控制。光源32A的控制包括光源的点亮、熄灭、光量调整、光圈的调整等。
在照明光学系统30包括能够变更色温的光源的情况下,主控制部201通过控制该光源,能够变更输出的照明光的色温。
摄像元件62L的控制包括曝光调整、增益调整、成像速率调整等。摄像元件62R的控制包括曝光调整、增益调整、成像速率调整等。另外,主控制部201能够控制摄像元件62L和62R,使得摄像元件62L、62R的摄像时机一致或两者的摄像时机的差在预定时间以内。并且,主控制部201能够对由摄像元件62L和62R得到的数字数据进行读出控制。
移动机构31d使光源31LA和31RA在与物镜20的光轴交叉的方向上独立地或一体地进行移动。主控制部201通过控制移动机构31d,能够使光轴OL和OR相对于物镜20的光轴独立地或一体地进行移动。
移动机构32d在与物镜20的光轴交叉的方向上使光源32A独立地或一体地进行移动。主控制部201通过控制移动机构32d,能够使光轴OS相对于物镜20的光轴进行移动。
在几个方式中,主控制部201能够协同地控制移动机构31d和32d。
变倍机构50Ld在光轴方向上使左眼用变焦扩展器50L的多个变焦透镜51L~53L的至少一个进行移动。主控制部201通过控制变倍机构50Ld,能够变更左眼用观察光学系统40L的放大倍率。
同样地,变倍机构50Rd在光轴方向上使右眼用变焦扩展器50R的多个变焦透镜51R~53R的至少一个进行移动。主控制部201通过控制变倍机构50Rd,能够变更右眼用观察光学系统40R的放大倍率。
对操作装置2的控制包括操作许可控制、操作禁止控制、来自操作装置2的操作信号的发送控制和/或接收控制等。主控制部201接收由操作装置2生成的操作信号,执行与该接收信号对应的控制。
对显示装置3的控制包括信息显示控制等。主控制部201作为显示控制部,能够使显示装置3显示基于由摄像元件62L和62R生成的数字图像数据的图像。典型地,能够使显示装置3显示基于由摄像元件62L和62R生成的数字图像数据(映像信号)的动态图像(映像),并且还能够使显示装置3显示该动态图像所包括的静止图像(帧)。并且,主控制部201能够使显示装置3显示对由摄像元件62L和62R生成的数字图像数据进行加工而得到的图像(动态图像、静止图像等)。另外,主控制部201能够使显示装置3显示由眼科观察装置1生成的任意的信息、眼科观察装置1从外部获取的任意的信息。
另外,主控制部201作为显示控制部,根据由摄像元件62L生成的数字图像数据来制作左眼用图像,并且根据由摄像元件62R生成的数字图像数据来制作右眼用图像,能够使显示装置3可立体观察的方式显示制作出的左眼用图像和右眼用图像。例如主控制部201根据左眼用图像和右眼用图像来制作左右一对视差图像,能够使显示装置3显示该一对视差图像。用户(手术操作者等)能够利用公知的立体观察方法将一对视差图像识别为立体图像。能够适用于本方式的立体观察方法可以是任意的,例如也可以是裸眼的立体观察方法、使用辅助工具(偏振眼睛等)的立体观察方法、利用对左眼用图像和右眼用图像的图像处理(图像合成、渲染等)的立体观察方法、同时显示一对视差图像的立体观察方法、切换显示一对视差图像的立体观察方法以及组合它们中的两个以上的立体观察方法中的任一个。
数据处理部210执行各种数据处理。以下,说明数据处理部210可执行的处理的几个例。
<处理系统的详细例子>
与关联的要素一起说明数据处理部210可执行的处理的几个例子。图4~图10分别示出数据处理部210(和关联要素)的结构例。至少能够局部地组合图4~图10示出的结构例中的任意的两个以上。数据处理部210(其各要素)包括按着预定的软件(程序)进行动作的处理器,通过硬件与软件进行协作来实现。
图4示出的数据处理部210A是图3的数据处理部210的例子。本例的数据处理部210A包括图像处理部211。图像处理部211对由手术用显微镜10生成的被检眼的动态图像(第一动态图像、映像)所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的图像处理(第一图像处理)。由此,制作基于该静止图像的多个加工图像。基于图像处理部211的加工图像制作处理可以与基于手术用显微镜10的被检眼的动态图像拍摄并行地执行。
使用于第一图像处理的图像参数的种类可以是任意的。例如图像参数可以包括以下例示的种类的参数中的一个以上:色调参数(用于色调变换的参数);亮度参数(用于亮度变换的参数);对比度参数(用于对比度变换的参数);增益参数(用于增益变更的参数);伽马参数(用于伽马校正(图像灰度的响应特性的校正)的参数);色温参数(用于色温变换的参数);白平衡参数(用于白平衡变换的参数);RGB平衡参数(用于R值与G值与B值之间的平衡变换的参数);灰平衡参数(用于灰平衡变换的参数);边缘增强参数(用于边缘增强的参数);阴影增强参数(用于阴影增强的参数);锐化参数(用于锐化(sharpening)的参数);高动态范围参数(用于HDR合成的参数)。可适用于本例的图像参数并不限定于在此例示的种类,更常见的是,能够使用于使图像的视觉功效变化的任意的参数(例如显示控制用参数、图像表现用参数、图像校正用参数、图像调整用参数等)。
在第一图像处理中,图像处理部211能够将使用了一个图像参数的多个不同的值的多个图像处理分别适用于第一动态图像所包括的静止图像。例如图像处理部211能够将使用了色调参数的N个值的N个图像处理(色调变换)分别适用于静止图像(N为2以上的整数)。由此,制作出以不同色调表现的N个加工图像。在使用色调参数以外的图像参数的情况下也相同。
另外,在第一图像处理中,图像处理部211能够将使用了两个图像参数分别不同的多个值的组合的多个图像处理分别适用于第一动态图像所包括的静止图像。例如图像处理部211能够将由色调参数的N个值和亮度参数的M个值的组合构成的N×M个图像处理(色调变换和亮度变换)分别适用于静止图像(N和M分别为2以上的整数)。由此,制作出以色调与亮度不同的组合来表现的N×M个加工图像。在使用色调参数与亮度参数的组合以外的组合的情况下也相同。另外,组合的图像参数的个数可以是2个以上的任意的个数。另外,不需要利用对各图像参数准备的所有多个值。例如在准备色调参数的N个值和亮度参数的M个值的情况下,能够考虑色调参数的N1个值与亮度参数的M1个值的组合。在此,N1≤N且M1≤M,并且N1<N和/或M1<M。
这样制作出的多个加工图像通过主控制部201显示在显示装置3中。在此,主控制部201即可以使显示装置3显示由图像处理部211制作的多个加工图像本身,也可以使显示装置3显示这些加工图像的缩略图(缩小图像)。
显示多个加工图像的方式可以是任意的。在几个方式中,主控制部201能够排列地显示多个加工图像中的两个以上的加工图像(或它们的缩略图)。在此,主控制部201也可以执行排列地显示从多个加工图像选择的第一群的处理以及与预定的触发对应地从第一群的排列显示切换为第二群的排列显示的处理。用于切换排列显示的群的触发以手动或自动的方式发出。
另外,在几个方式中,主控制部201能够依次显示多个加工图像中的两个以上的加工图像(或它们的缩略图)。显示的加工图像的切换以手动或自动的方式进行。
在显示缩略图的情况下,主控制部201(或图像处理部211或数据处理部210A)执行根据由第一图像处理制作的加工图像来制作其缩略图的处理。
用户(例如手术操作者、接收到手术操作者的指示的助手等)从显示在显示装置3中的多个加工图像(或其缩略图)中选择期望的加工图像。
所选择的加工图像的个数可以是任意的。在选择了一个加工图像的情况下,该加工图像被提供给以后的处理。在选择了两个以上的加工图像的情况下,它们的全部或一部分被提供给以后的处理。例如图像处理部211A(或数据处理部210A)可以构成为按着预定的算法从选择的两个以上的加工图像中选择一个加工图像。
眼科观察装置1具有接收用于选择加工图像的用户指示的要素(指示接收部)。作为指示接收部而发挥功能的要素可以是任意的。例如用户能够使用操作装置2进行指示。在几个方式中,指示接收部可以包括检测并识别语音指示的语音识别部、检测并识别视线指示的视线识别部、检测并识别脑波指示的脑波识别部、检测并识别手指指示的手指识别部、检测并识别任意的生物体信号指示的生物体信号识别部等。
当用户进行加工图像的选择时,眼科观察装置1执行基于所选择的加工图像的处理。以下说明该处理的几个例子。
说明图5示出的结构例。图5示出的图像处理部211A是图4的图像处理部211的例子。本例的图像处理部211A包括加工图像制作部2111和动态图像处理部2112。
加工图像制作部2111例如执行参照图4说明的所述处理的至少一部分。
动态图像处理部2112根据用户从显示在显示装置3中的多个加工图像中选择的加工图像对动态图像进行处理。例如动态图像处理部2112首先获取与用户选择的加工图像对应的图像参数。也就是说,动态图像处理部2112获取用于制作用户选择的加工图像的第一图像处理所使用的图像参数的值。接着,动态图像处理部2112将基于该图像参数的值的图像处理(第二图像处理)适用于动态图像。适用于第二图像处理的动态图像至少是在用户进行加工图像的选择之后由手术用显微镜10生成的动态图像(称为第二动态图像)。由此,得到实施了与用户选择的加工图像相同的图像处理的动态图像。此外,在保存着用户选择加工图像之前获取到的动态图像(第一动态图像)所包括的一个以上的静止图像的情况下,能够对该一个以上的静止图像的至少一部分适用相同图像处理。
主控制部201使显示装置3显示适用了第二图像处理的第二动态图像。典型地,眼科观察装置1一边通过手术用显微镜10进行被检眼的动态图像拍摄一边能够执行对通过该动态图像拍摄获取的动态图像(第二动态图像)的第二图像处理的实时适用以及实施了该第二图像处理的动态图像的实时显示。由此,用户能够实时地观察适用了以下图像处理的动态图像:使用了与自身选择的加工图像相同的图像参数的值。
如上所述,用户所选择的加工图像的个数可以是任意的。例如在所选择的加工图像的个数为一个的情况下,动态图像处理部2112能够将使用了与所选择的一个加工图像对应的图像参数的值(一个值)的图像处理,作为第二图像处理而适用于第二动态图像。
另一方面,在所选择的加工图像的个数为两个以上的情况下,动态图像处理部2112从所选择的两个以上的加工图像中选择一个加工图像,能够将使用了与该一个加工图像对应的图像参数的值(一个值)的图像处理,作为第二图像处理而适用于第二动态图像。或,动态图像处理部2112从与所选择的两个以上的加工图像对应的图像参数的两个以上的值中选择一个值,能够将使用了该一个值的图像处理作为第二图像处理而适用于第二动态图像。动态图像处理部2112所执行的这些选择处理按着预定的算法来执行。例如动态图像处理部2112也可以构成为对用户所选择的两个以上的加工图像进行分析并计算预定的画质评价值,选择具有最佳画质评价值的一个加工图像。或,在两个以上的图像参数使用于第一图像处理的情况下,动态图像处理部2112也可以构成为参照预先设定的图像参数之间的优先级而进行加工图像的选择或图像参数值的选择。在该情况下,例如动态图像处理部2112构成为从优先级最高的图像参数的多个值中选择最佳的值(例如最高对比度值)。
在所选择的加工图像的个数为两个以上的情况下的其它方式中,动态图像处理部2112根据与所选择的两个以上的加工图像分部对应的图像参数的两个以上的值来决定一个值,能够将使用了该一个值的图像处理作为第二图像处理而适用于第二动态图像。根据两个以上的值来决定一个值的运算处理可以是任意的,例如可以是统计运算。通过该统计运算得到的统计值例如可以是平均值、中值、最大值、最小值等任意种类的统计值。另外,要适用的运算处理即可以预先设定,也可以在每次进行处理时设定。作为后者的例子,动态图像处理部2112能够根据使用于第一图像处理的图像参数的种类、用户所选择的加工图像的个数、由手术用显微镜10获取的图像种类、医疗行为(在本例中手术)的阶段等任意一个以上的因素,决定要适用的运算处理(统计运算)的种类。
接着,参照图6。图6示出的数据处理部210B是图3的数据处理部210的例子。本例的数据处理部210B包括图像处理部211和参数处理部212。
图像处理部211也可以构成为执行与所述图像处理部211或图像处理部211A相同的处理。
参数处理部212执行与图像参数有关的处理。图像处理部211能够利用来自参数处理部212的输出来进行处理。例如参数处理部212构成为记录在动态图像处理部2112的第二图像处理中使用的图像参数的值(记录部),图像处理部211构成为使用由参数处理部212记录的图像参数的值来执行新图像处理(例如新第一图像处理、新第二图像处理)。此外,作为记录部的参数处理部212即可以构成为仅记录用于第二图像处理的图像参数的值,也可以构成为也记录除此以外的值。作为后者的例子,作为记录部的参数处理部212即可以记录与用户所选择的各加工图像对应的图像参数的值,也可以记录与用户所选择的多个加工图像的一部分对应的图像参数的一个以上的值,还可以记录通过手动调整的图像参数的值。
以下说明参数处理部212的结构以及使用该参数处理部212执行的处理的几个例。
图7示出的参数处理部212A是图6的参数处理部212的例子。参数处理部212A包括参数记录部2121和参数选择部2122。在采用本例的参数处理部212A的情况下,眼科观察装置1可以具有标识符接收部221和属性信息获取部222。此外,在几个方式中,眼科观察装置1可以仅具备标识符接收部221和属性信息获取部222中的任一个。
标识符接收部221接收用户的标识符(用户ID)。典型地,该用户是手术操作者。另外,用户ID例如可以通过在该医疗机构中分配给手术操作者(医生)的字符串或图像(例如条形码、二维条形码等)、手术操作者的姓名、手术操作者的生物体信息(例如面部、指纹、掌纹、虹膜图案、声音等)等来表现。
标识符接收部221可以包括用于接收这样的用户ID的任意设备(硬件、软件),例如也可以包括操作装置2、相机、条形码扫描仪、生物体信息扫描仪、麦克风、处理器等。
参数记录部2121作为所述记录部而发挥功能,与由标识符接收部221接收到的用户ID相关联地记录图像参数的值。由此,能够确定哪个用户选择了哪个图像参数的值。例如能够将用户ID作为搜索查询而搜索图像参数的值。
属性信息获取部222获取表示对被检眼的医疗行为的属性的属性信息。也就是说,属性信息获取部222获取表示与使用眼科观察装置1对被检眼进行的医疗行为(在本例中手术)有关的各种属性的属性信息。
作为手术的属性,包括与手术部位相应的手术种类(例如前眼部手术、后眼部手术、角膜手术、前房角手术、睫状体手术、视网膜手术、玻璃体手术等)、与疾病相应的手术种类(例如白内障手术、绿内障手术、角膜移植手术、视网膜细胞移植手术、视网膜剥离手术、激光光凝等)等。手术以外的医疗行为(例如检查、治疗、筛查等)也相同。
医疗行为的属性并不限定于医疗行为的种类。例如属性信息可以包括表示手术的多个阶段的信息。例如白内障手术的阶段包括对准、创口制作、眼用粘弹剂注入、CCC、晶状体乳化引流、晶状体皮质引流、IOL插入、IOL居中、眼用粘弹剂清除、创口闭合等。能够使表示这样的手术阶段的信息包括在属性信息中。此外,属性信息所包括的阶段即可以预先设定,也可以由手术操作者决定。另外,也可以将适用相同的图像参数的值的两个以上的阶段集中到一起(阶段组)。
属性信息例如可以通过在该医疗机构中分配到医疗行为的字符串或图像(例如条形码、二维条形码等)、医疗行为的名称等来表现。
属性信息获取部222即可以包括用于接收这样的属性信息的任意设备(硬件、软件),例如也可以包括操作装置2、相机、条形码扫描仪、生物体信息扫描仪、麦克风、处理器等。
另外,属性信息获取部222也可以构成为通过对由手术用显微镜10生成的图像(映像)、使用操作装置2进行的操作、显示在显示装置3中的图像等进行分析,自动地确定当前的阶段。另外,在预先决定手术过程的情况下,属性信息获取部222也可以构成为通过参照进行到当前阶段的工序,自动地确定当前的阶段。
主控制部201能够使显示装置3显示表示由属性信息获取部222自动地确定的阶段的信息。用户判断所显示的信息是否正确,能够使用操作装置2等来输入该判断的结果。根据这样的结构,能够确认由属性信息获取部222自动地确定的阶段,因此能够防止记录错误的阶段。
作为记录部的参数记录部2121与由属性信息获取部222获取的属性信息相关联地记录图像参数的值。由此,能够确定用户在哪个医疗行为(种类、阶段等)中选择了哪个图像参数的值。例如能够将手术种类、阶段作为搜索查询而搜索图像参数的值。另外,属性信息也可以包括疾病的进度、进行医疗行为的日期、手术操作者的技巧等任意信息。
在设置有标识符接收部221和属性信息获取部222两者的情况下,作为记录部的参数记录部2121能够与由标识符接收部221接收到的用户ID以及由属性信息获取部222获取到的属性信息两者相关联地,记录图像参数的值。由此,能够确定哪个用户在哪个医疗行为(种类、阶段等)中选择了哪个图像参数的值。例如能够将用户ID和/或手术种类、阶段作为搜索查询而搜索图像参数的值。
参数选择部2122从过去由参数记录部2121记录的图像参数的值中选择至少一个值。例如参数选择部2122能够通过所述搜索查询,执行图像参数的值的选择。
图像处理部211(211A)能够将基于由参数选择部2122选择的图像参数的值的图像处理适用于由手术用显微镜10生成的动态图像(第三动态图像)。第三动态图像即可以是任意的动态图像,例如也可以是所述第二动态图像、通过对同一被检者的其它医疗行为获取到的动态图像、通过对其它被检者的医疗行为获取的动态图像等。
在将用户ID作为搜索查询而选择图像参数的值的情况下,能够将使用了该用户(手术操作者等)过去使用的图像参数的值的图像处理适用于第三动态图像,因此能够容易地提供该用户喜欢的显示方式(色泽、亮度、对比度等)的第三动态图像。
在将医疗行为的属性信息作为搜索查询而选择图像参数的值的情况下,能够将使用了与医疗行为的种类、阶段等相应地过去使用的图像参数的值的图像处理适用于第三动态图像,因此能够容易地提供与医疗行为的种类、阶段匹配的显示方式(色泽、亮度、对比度等)的第三动态图像。
图8示出的参数处理部212B是图6的参数处理部212的例子。参数处理部212B与图7的参数处理部212A同样地包括参数记录部2121和参数选择部2122,并且还包括拍摄条件记录部2123、拍摄条件选择部2124以及参数决定部2125。参数记录部2121和参数选择部2122的结构和动作可以与图7的情况相同,省略其说明。
即使在采用本例的参数处理部212B的情况下,眼科观察装置1也可以包括标识符接收部221和属性信息获取部222。此外,在几个方式中,眼科观察装置1可以仅具备标识符接收部221和属性信息获取部222中的任一个。标识符接收部221和属性信息获取部222的结构和动作可以与图7的情况相同,省略其说明。
拍摄条件记录部2123与由参数记录部2121记录的图像参数的值相关联地,记录由手术用显微镜10生成第二动态图像时的拍摄条件。在本例中,参数记录部2121与拍摄条件记录部2123的组合作为记录部而发挥功能。
拍摄条件例如可以包括照明条件、观察条件、环境条件、被检眼条件等。照明条件包括与照明光学系统30的要素有关的条件,作为其例子,包括光量(来自光源31LA、31RA和32A的输出光量、输出强度)、光圈的光圈值、照明模式(0度照明、带角度的照明等)等。观察条件为与观察光学系统40的要素有关的条件,作为其例子,包括光圈的光圈值、放大倍率、摄像元件62L和62R的控制值(增益等)等。环境条件包括与拍摄时的环境有关的条件,作为其例子,包括设置有手术用显微镜10的房间的亮度等。被检眼条件包括与被检眼有关的条件,作为其例子,包括有无疾病、所患的疾病种类、程度、瞳孔直径、部位(角膜、晶状体、玻璃体等)的浑浊程度等。
在本例中,通过参数记录部2121和拍摄条件记录部2123两者来记录信息,因此除了在图7的例子中考虑的信息以外还能够考虑拍摄条件。
拍摄条件选择部2124从由拍摄条件记录部2123过去记录的拍摄条件中选择与由参数选择部2122选择的图像参数的值相关联的拍摄条件。由此,除了获取由参数选择部2122选择的图像参数的值以外,还能够获取与该图像参数的值相关联的拍摄条件。
参数决定部2125根据由参数选择部2122选择的图像参数的值以及由拍摄条件选择部2124选择的拍摄条件,决定图像参数的值。
关于如照明条件、观察条件那样的手术用显微镜10中的可控制的条件,主控制部201能够根据所选择的拍摄条件,控制手术用显微镜10(照明光学系统30、观察光学系统40等)。例如主控制部201能够进行手术用显微镜10的控制,使得再现所选择的拍摄条件。由此,能够实现适用由参数选择部2122选择的图像参数的值时的图像的显示方式的再现。
关于手术用显微镜10中的可控制的条件以外的拍摄条件(环境条件、被检眼条件等),例如参数决定部2125执行基于分别选择的图像参数的值和拍摄条件的处理。该处理可以是基于预定的算法的运算处理。
在几个方式中,事先准备拍摄条件(环境条件、被检眼条件等)的变化与图像参数的值之间的对应关系(图形、表格等)。参数决定部2125将当前的拍摄条件与所选择的拍摄条件进行比较,能够根据该比较结果(拍摄条件的变化量等)和该对应关系,决定图像参数的值。
在几个方式中,代替准备所述对应关系,使用机器学习来学习的系统(人工智能引擎)使用拍摄条件(环境条件、被检眼条件等)的变化与图像参数的值之间的关系。该人工智能引擎例如包括通过将拍摄条件和图像参数的值设为输入、将图像参数的新值设为输出的机器学习来创建的神经网络。该人工智能引擎例如被训练成根据被赋予的图像参数的值来输出与拍摄条件的变化相应的最佳图像参数的值。参数决定部2125包括这样的人工智能引擎,将分别选择的图像参数的值和拍摄条件输入到该人工智能引擎。从该人工智能引擎输出的图像参数的值成为由参数决定部2125得到的结果。
图像处理部211(211A)能够将使用了由参数决定部2125决定的图像参数的值的图像处理适用于由手术用显微镜10生成的动态图像(第三动态图像)。如上所述,第三动态图像即可以是任意的动态图像,例如也可以是所述第二动态图像、通过对同一被检者的其它医疗行为获取的动态图像、通过对其它被检者的医疗行为获取的动态图像等。
根据本例,能够根据拍摄条件的差异来调整(校正)图像参数的值,因此与拍摄条件的差异无关地,能够容易地提供以接近以前达成的良好的显示方式(色泽、亮度、对比度等)的方式来表现的第三动态图像。
接着,说明图9示出的例子。在本例中,通过仅对动态图像所包括的静止图像(帧)的一部分适用图像处理,实现图像处理所需的资源的减少、时间的缩短,并且实现被检眼的观察中的关注部位的像的质量优化。
图9示出的图像处理部211B通过对由手术用显微镜10生成的第一动态图像所包括的静止图像的一部分(局部图像)适用第一图像处理,制作多个局部加工图像。在本例中,作为多个加工图像对多个局部加工图像进行处理。主控制部201使显示装置3显示分别包括制作出的多个局部加工图像的多个图像。所显示的各图像即可以是对应的局部加工图像,也可以是包括对应的局部加工图像的更广域的图像。该广域图像例如可以是将对应的静止图像中的局部图像替换为局部加工图像的图像。这样,通过显示多个局部加工图像,用户能够选择关注部位被最佳地描绘的局部加工图像。
图9示出的图像处理部211B是图4的图像处理部211的例子。本例的图像处理部211B与图5的图像处理部211A同样地,包括加工图像制作部2111和动态图像处理部2112。只要不特别提及,本例的加工图像制作部2111和动态图像处理部2112可以分别与图5的例子中的加工图像制作部2111和动态图像处理部2112相同。
图像处理部211B还包括局部图像确定部2113A。局部图像确定部2113A通过将用于确定被检眼的预定部位的像的分割适用于第一动态图像所包括的静止图像,来确定该静止图像中的局部图像。通常,分割是用于确定图像中的局部区域的处理。分割可以包括任意公知的图像处理技术,例如也可以包括边缘检测等图像处理和/或利用机器学习(例如深度学习)的分割。
本例的加工图像制作部2111对由局部图像确定部2113A确定的局部图像适用第一图像处理。也就是说,本例的加工图像制作部2111的第一图像处理的适用范围限定于由局部图像确定部2113A确定的局部图像。
并且,局部图像确定部2113A对在用户进行加工图像的选择之后由手术用显微镜10生成的第二动态图像,也能够适用同样的分割。更具体地说,局部图像确定部2113A首先对第二动态图像所包括的各静止图像(或通过剔除处理等选择的静止图像的每个图像(以下相同)),适用用于确定相同关注部位的像的分割。
在几个方式中,对第二动态图像所包括的静止图像的分割可以与对第一动态图像所包括的静止图像的分割相同的要领来执行。由此,根据第二动态图像所包括的各静止图像,确定相同关注部位的像。
在几个方式中,眼科观察装置1具备对由手术用显微镜10生成的动态图像进行分析并监视被检眼的活动的功能。局部图像确定部2113A存储有得到第一动态图像所包括的静止图像(适用分割的图像。称为基准静止图像。)时的被检眼的位置(称为基准位置)。另外,局部图像确定部2113A存储有表示第一动态图像所包括的静止图像中的局部图像的范围(局部图像范围)的信息。当开始生成第二动态图像时,对局部图像确定部2113A输入第二动态图像所包括的各静止图像(称为对象静止图像)以及得到该对象静止图像时的被检眼的位置(称为对象位置)。局部图像确定部2113A求出对象位置相对于基准位置的偏位,通过使局部图像范围仅移动该偏位,确定对象静止图像中的局部图像的范围。根据本例,即使是难以分割的部位(例如与周围的亮度、色差较小的部位、较小部位等),能够实时地跟踪(陆续得到帧)第二动态图像中的局部图像。
根据进行这样的处理的本例,局部图像确定部2113A通过对第二动态图像适用分割,能够依次确定该第二动态图像所包括的静止图像的局部图像。并且,图像处理部210B(动态图像处理部2112)能够对根据第二动态图像所包括的静止图像确定的局部图像依次适用第二图像处理。由此,还能够将适用于用户所选择的局部加工图像的图像参数的值适用于第二动态图像,从而能够观察关注部位被最佳描绘的第二动态图像。
接着,说明图10示出的例子。与图9的例子同样地,在本例中,通过仅对动态图像所包括的静止图像(帧)的一部分适用图像处理,实现图像处理所需的资源的减少、时间的缩短,并且实现被检眼的观察中的关注部位的像的质量优化。
图10示出的图像处理部211C通过对由手术用显微镜10生成的第一动态图像所包括的静止图像的一部分(局部图像)适用第一图像处理,制作多个局部加工图像。在本例中,作为多个加工图像对多个局部加工图像进行处理。主控制部201使显示装置3显示分别包括制作出的多个局部加工图像的多个图像。显示的各图像即可以是对应的局部加工图像,也可以是包括对应的局部加工图像的更广域的图像。该广域图像例如可以是将对应的静止图像中的局部图像替换为局部加工图像的图像。这样,通过显示多个局部加工图像,用户能够选择关注部位被最佳地描绘出的局部加工图像。这一点与图9的例子相同,但是本例在确定局部图像的方法上与图9的例子不同。
图10示出的图像处理部211C是图4的图像处理部211的例子。本例的图像处理部211C与图5的图像处理部211A同样地包括加工图像制作部2111和动态图像处理部2112。只要不特别提及,本例的加工图像制作部2111和动态图像处理部2112可以分别与图5的例子中的加工图像制作部2111和动态图像处理部2112相同。图像处理部211C还包括局部图像确定部2113B。
另外,图10示出的控制部200A是图3的控制部200的例子。本例的控制部200A与图3的控制部200同样地包括主控制部201和存储部202。只要不特别提及,本例的主控制部201和存储部202可以分别与图3的例子中的主控制部201和存储部202相同。控制部200A还包括图形用户界面(GUI)控制部203。
主控制部201使显示装置3显示由手术用显微镜10生成的第一动态图像(或该第一动态图像所包括的静止图像(以下相同))。GUI控制部203使显示装置3显示用于指定该第一动态图像中的局部区域的GUI。该GUI例如是具有与关注部位类似的形状和尺寸的图形的图像。作为其一例,关注部位是瞳孔,GUI是圆形或椭圆形的图像。用户例如通过使用操作装置2,能够变更GUI的位置、尺寸、形状。由此,例如用户能够使GUI与第一动态图像中的瞳孔像的外缘一致。当对关注部位的像进行GUI的调整时,GUI控制部203与第一动态图像中的被检眼的活动匹配地能够进行GUI的跟踪。局部图像确定部2113B作为局部区域而确定由GUI确定的范围(例如由GUI围绕的范围(和该外围的预定范围))。
本例的加工图像制作部2111对由局部图像确定部2113B确定的局部图像适用第一图像处理。也就是说,本例的加工图像制作部2111的第一图像处理的适用范围限定于由局部图像确定部2113B确定的局部图像。
并且,局部图像确定部2113B例如能够以与所述跟踪相同的要领来确定在用户进行加工图像的选择之后由手术用显微镜10生成的第二动态图像中的局部图像。
根据进行这样的处理的本例,局部图像确定部2113B通过对第二动态图像适用分割,能够依次确定该第二动态图像所包括的静止图像中与关注部位对应的局部图像。并且,图像处理部210C(动态图像处理部2112)能够对根据第二动态图像所包括的静止图像确定的局部图像依次适用第二图像处理。由此,还能够将适用于用户所选择的局部加工图像的图像参数的值适用于第二动态图像,能够观察关注部位被最佳地描绘出的第二动态图像。另外,在本例中,用户自己指定的范围被设定于局部图像,因此能够以与用户的喜好相应的方式来表现与用户的喜好相应的范围。
<动作和使用方式>
说明眼科观察装置1的动作和使用方式的几个例子。
<第一例>
参照图11~图12E说明眼科观察装置1的动作和使用方式的第一例。此外,能够在本例中组合所述处理、动作和使用方式中的任意事项。
(S1:开始进行实况图像的生成和显示)
首先,用户通过使用操作装置2进行预定的操作,使眼科观察装置1开始进行被检眼的实况图像的生成和显示。具体地说,手术用显微镜10一边通过照明光学系统30照明被检眼一边通过摄像元件62L和62R生成被检眼的数字图像数据(映像)。所生成的映像(实况图像301)实时地显示在显示装置3中(参照图12A)。也就是说,由手术用显微镜10获取的映像作为实况图像显示在显示装置3中。用户一边观察该实况图像一边能够进行手术。该实况图像相当于所述第一动态图像。
(S2:向图像加工模式转移)
接着,用户通过使用操作装置2进行预定的操作,将眼科观察装置1的动作模式切换为图像加工模式。图像加工模式是用于对由眼科观察装置1显示的实况图像进行加工的动作模式。
(S3:捕捉帧)
当动作模式转移到图像加工模式时,眼科观察装置1捕捉实况图像的帧(静止图像)。
要捕捉的帧的个数是任意的。在捕捉到一个帧的情况下,该帧被提供给以下的处理。在捕捉到两个以上的帧的情况下,眼科观察装置1(例如数据处理部210)能够从这些帧选择一个帧或生成一个静止图像。例如眼科观察装置1计算捕捉到的两个以上的帧的画质评价值,通过将这些画质评价值进行比较,能够选择一个帧。作为其它例,眼科观察装置1使显示装置3显示捕捉到的两个以上的帧,能够使用操作装置2选择用户指定的一个帧。并且,作为其它例,眼科观察装置1能够通过在预定的图像处理中合成捕捉到的两个以上的帧,制作一个帧。
(S4:第一图像处理)
数据处理部210(图像处理部211、加工图像制作部2111)将使用了一个以上的图像参数的分别多个不同的值的第一图像处理适用于在步骤S3中捕捉到的帧。由此,制作出基于捕捉到的帧的多个加工图像。
在图12B示出的示例中,对从实况图像301捕捉到的帧(静止图像)302,分别适用第一图像处理所包括的K个图像处理。在K个图像处理中使用I个(I种)的图像参数(I为1以上的整数)。另外,对各图像参数(第i的图像参数;i=1、···、I),准备J个值(J为2以上的整数)。此外,所准备的值的个数J可以与所有图像参数相等或不等。在前者的情况下,为K=I×J。在后者的情况下,为K=Σ[J(i)]。在此,J(i)表示第i个图像参数中的值的个数,Σ为与i有关的和。用P(i、j)表示第i个图像参数的第j个值。通过这样的第一图像处理,得到多个加工图像303-k。在此,为k=1、···、K,K为2以上的整数。
在此,主控制部201或数据处理部210对多个加工图像中的每一个,将使用于制作该加工图像的图像参数的值(一个以上的值)相关联地进行记录。例如在图12B的示例中,对各加工图像303-k,将使用于制作该加工图像303-k的一个以上的图像参数的一个以上的值P(i、j)相关联。将使这样的加工图像与图像参数的值相关联而得到的信息称为关联信息。
(S5:制作加工图像的缩略图)
接着,数据处理部210(图像处理部211)制作在步骤S4中制作出的多个加工图像的每个加工图像的缩略图。
(S6:显示多个缩略图)
接着,主控制部201使显示装置3显示在步骤S5中制作出的多个缩略图。在本例中,如图12C所示,按着预定的排列进行排列的多个缩略图(缩略图组)303显示在实况图像301上。
同时显示的缩略图的个数是任意的,例如可以同时提示在步骤S5中制作出的所有缩略图,也可以同时提示在步骤S5中制作出的所有缩略图的一部分(例如预定的个数)。另外,也能够变更同时提示的缩略图的个数。在仅同时提示在步骤S5中制作出的所有缩略图的一部分的情况下,能够进行用于切换所提示的缩略图的操作。该操作例如可以是页面切换或滚动。
(S7:选择缩略图)
用户将在步骤S6中显示的多个缩略图进行比较,选择期望的缩略图。该选择操作使用所述指示接收部(例如操作装置2所包括的脚踏开关)进行。在图12D示出的示例中,从多个缩略图303中选择一个缩略图304。
(S8:第二图像处理)
主控制部201或数据处理部210通过参照所述关联信息,确定与对应于在步骤S7中选择的缩略图的加工图像相关联的图像参数的值。
并且,数据处理部210(图像处理部211、动态图像处理部2112)使用确定的图像参数的值,实时地对由手术用显微镜10生成的实况图像进行加工(第二图像处理)。实时地加工的实况图像通过主控制部201实时地显示在显示装置3中(结束)。此外,在该阶段生成和显示的实况图像相当于所述第二动态图像(图12E的实况图像305)。
用户一边观察适用了与自己选择的加工图像相同的图像处理的实况图像305一边能够进行手术。
在设置有所述参数处理部212(记录部)的情况下,能够读出过去适用的图像参数的值而再次适用。此时,能够选择性地读出该用户过去采用的图像参数的值并再次适用以及选择性地读出与当前实施的医疗行为的属性(例如手术种类)匹配的图像参数的值并再次适用。另外,能够选择性地读出与当前实施的医疗行为的阶段匹配的图像参数的值并再次适用以及依次再次适用与该医疗行为的多个阶段分别匹配的多个值。
在进行前眼部手术的情况下,作为图像参数,例如使用色调参数、亮度参数、对比度参数、增益参数等。由此,用户例如在白内障手术中,能够以喜欢的显示方式观察角膜、虹膜、瞳孔、晶状体等部位,并且能够明确地掌握创口、侧口、CCC中的前囊切开部位、晶状体的乳化状态和吸引状态、IOL的位置和朝向等。另外,能够简单地且讯速地实现这样的优选图像显示方式。
在进行玻璃体手术、后眼部手术的情况下,作为图像参数,例如使用伽马参数、增益参数、色温参数、白平衡参数、RGB平衡参数等。由此,能够突出显示玻璃体内的浮游物、浑浊、增值膜等,从而能够实现手术作业效率的改善、避免和减少手术错误。
<第二例>
参照图13~图14G说明眼科观察装置1的动作和使用方式的第二例。此外,能够在本例中组合所述处理、动作和使用方式中的任意事项。
(S11:开始进行实况图像的生成和显示)
首先,用户通过使用操作装置2进行预定的操作,使眼科观察装置1开始进行被检眼的实况图像的生成和显示。具体地说,手术用显微镜10一边通过照明光学系统30照明被检眼一边通过摄像元件62L和62R生成被检眼的数字图像数据(映像)。所生成的映像(实况图像401)实时地显示在显示装置3中(参照图14A)。也就是说,由手术用显微镜10获取的映像作为实况图像而显示在显示装置3中。用户一边观察该实况图像一边能够进行手术。该实况图像相当于所述第一动态图像。
(S12:向图像加工模式转移)
接着,用户通过使用操作装置2进行预定的操作,将眼科观察装置1的动作模式切换为图像加工模式。图像加工模式是用于对由眼科观察装置1显示的实况图像进行加工的动作模式。
(S13:捕捉帧)
当动作模式转移到图像加工模式时,眼科观察装置1捕捉实况图像的帧(静止图像)。
要捕捉的帧的个数是任意的。在捕捉到一个帧的情况下,该帧被提供给以下的处理。在捕捉到两个以上的帧的情况下,眼科观察装置1(例如数据处理部210)能够从这些帧选择一个帧或生成一个静止图像。例如眼科观察装置1计算捕捉到的两个以上的帧的画质评价值,能够通过将这些画质评价值进行比较,选择一个帧。作为其它例,眼科观察装置1使显示装置3显示捕捉到的两个以上的帧,能够使用操作装置2选择用户指定的一个帧。并且,作为其它例,眼科观察装置1能够通过在预定的图像处理中合成捕捉到的两个以上的帧,制作一个帧。
(S14:设定局部图像)
接着,眼科观察装置1(图像处理部211、局部图像确定部2113A或2113B)设定在步骤S13中捕捉到的帧的局部图像。
本步骤的处理通过自动或手动进行。在自动进行的情况下,图9的局部图像确定部2113A通过对在步骤S13中捕捉到的帧适用分割来确定局部图像(由图14B示出的框402围绕的图像区域)。在手动进行的情况下,例如主控制部201使显示装置3显示在步骤S13中捕捉到的帧,GUI控制部203使预定的GUI显示在该帧上。用户使用该GUI来指定帧的局部区域。局部图像确定部2113B将通过GUI确定的范围(例如由GUI围绕的范围(和其外围的预定范围))确定为局部区域(由图14B示出的框402围绕的图像区域)。由此,例如得到图14C示出的局部图像403。
(S15:第一图像处理)
数据处理部210(图像处理部211、加工图像制作部2111)将使用了一个以上的图像参数的分别多个不同的值的第一图像处理适用于在步骤S14中得到的局部图像。由此,制作出基于该局部图像的多个局部加工图像。
在图14D示出的示例中,对局部图像403分别适用第一图像处理所包括的K个图像处理。在K个图像处理中使用I个(I种)的图像参数(I为1以上的整数)。另外,各图像参数(第i的图像参数;i=1、···、I)准备J个值(J为2以上的整数)。此外,所准备的值的个数J可以与所有图像参数相等或不等。在前者的情况下,为K=I×J。在后者的情况下,为K=Σ[J(i)]。在此,J(i)表示第i个图像参数中的值的个数,Σ是与i有关的和。用Q(i、j)表示第i个图像参数的第j个值。通过这样的第一图像处理,得到多个局部加工图像404-k。在此,为k=1、···、K,K为2以上的整数。
在此,主控制部201或数据处理部210对多个局部加工图像(或多个加工图像)的每一个,将用于制作该局部加工图像的图像参数的值(一个以上的值)相关联地进行记录。例如在图14D的示例中,对各局部加工图像404-k(或与此对应的加工图像),将用于制作该局部加工图像404-k的一个以上的图像参数的一个以上的值Q(i、j)相关联。将这样的局部加工图像(或加工图像)与图像参数的值相关联而得到的信息称为关联信息。
(S16:制作局部加工图像的缩略图)
接着,数据处理部210(图像处理部211)制作在步骤S15中制作出的多个局部加工图像的每个局部加工图像的缩略图。
(S17:显示多个缩略图)
接着,主控制部201使显示装置3显示在步骤S16中制作出的多个缩略图。在本例中,如图14E所示,按着预定的排列进行排列的多个缩略图(缩略图组)405显示在实况图像401上。
同时显示的缩略图的个数是任意的,例如可以同时提示在步骤S16中制作出的所有缩略图,也可以同时提示在步骤S16中制作出的所有缩略图的一部分(例如预定的个数)。另外,也能够变更同时提示的缩略图的个数。在仅同时提示在步骤S16中制作出的所有缩略图的一部分的情况下,能够进行用于切换所提示的缩略图的操作。该操作例如可以是页面切换或滚动。
(S18:选择缩略图)
用户将在步骤S17中显示的多个缩略图进行比较,选择期望的缩略图。该选择操作使用所述指示接收部(例如操作装置2所包括的脚踏开关)进行。在图14F示出的示例中,从多个缩略图405中选择一个缩略图406。
(S19:第二图像处理)
主控制部201或数据处理部210通过参照所述关联信息,确定与对应于在步骤S18中选择的缩略图的局部加工图像相关联的图像参数的值。
并且,数据处理部210(图像处理部211、动态图像处理部2112)使用所确定的图像参数的值,实时地对由手术用显微镜10生成的实况图像进行加工(第二图像处理)。第二图像处理的适用范围即可以是与图14B的框402对应的实况图像(其帧)的区域,也可以是实况图像(其帧)整体。在前者的情况下,例如通过所述跟踪,依次确定与框402对应的实况图像的区域。实时地加工的实况图像通过主控制部201实时地显示在显示装置3中(结束)。此外,在该阶段生成和显示的实况图像相当于所述第二动态图像。图12E的实况图像407是这样显示的实况图像的例子。在实况图像407中,仅对与框402对应的区域(由框408围绕的区域),适用第二图像处理。
用户能够一边观察适用与自己选择的加工图像相同的图像处理的实况图像407一边进行手术。
在设置有所述参数处理部212(记录部)的情况下,能够读出过去适用的图像参数的值并再次适用。此时,能够选择性地读出该用户过去采用的图像参数的值并再次适用以及选择性地读出与当前实施的医疗行为的属性(例如手术种类)匹配的图像参数的值并再次适用。另外,能够选择性地读出与当前实施的医疗行为的阶段匹配的图像参数的值并再次适用以及依次再次适用与该医疗行为的多个阶段分别匹配的多个值。
在进行前眼部手术的情况下,作为图像参数,例如使用色调参数、亮度参数、对比度参数、增益参数等。由此,用户例如在白内障手术中能够以喜欢的显示方式观察虹膜、瞳孔、晶状体等的部位,并且能够明确地掌握创口、侧口、CCC中的前囊切开部位、晶状体的乳化状态和吸引状态、IOL的位置和朝向等。另外,能够简单地且讯速地实现这样优选图像显示方式。
在进行玻璃体手术、后眼部手术的情况下,作为图像参数,例如使用伽马参数、增益参数、色温参数、白平衡参数、RGB平衡参数等。由此,能够突出显示玻璃体内的浮游物、浑浊、增值膜等,从而能够实现手术的作业效率的改善、避免和减少手术错误。
<变形例>
说明以上说明的例示性实施方式的几个变形例。
在图12C、图12D、图14E、图14F示出的示例中,被检眼的像的一部分被多个缩略图(加工图像、局部加工图像)隐藏。为了消除该状态,能够使并未显示被检眼的像的区域显示多个缩略图。因此,作为可采用的处理的例子,包括减小多个缩略图的显示尺寸、减小各缩略图的显示尺寸、变更多个缩略图的排列、以及减少同时显示的缩略图的个数等。另外,检测被检眼的像的范围,能够使除此以外的区域显示多个缩略图。
图15示出用于实现这样的动作而可采用的结构的例子。图15的数据处理部210C是图3的数据处理部210的例子。本例的数据处理部210C除了图像处理部211以外还包括监视处理部213。图像处理部211执行与所述实施方式的结构和动作相同的结构和动作。
监视处理部213执行用于监视被检眼的活动的数据处理(监视部)。监视处理部213例如通过对由手术用显微镜10生成的动态图像的帧进行分析,检测被检眼的特征点。特征点例如可以是瞳孔(中心、外缘等)、角膜环(虹膜外缘)、前房角、视神经乳头、黄斑、血管等任意的特征点。监视处理部213通过依次对作为实时动态图像(第一动态图像)而依次生成的帧进行分析,实时地检测动态图像中的特征点的移动(特征点的位置的时间变化)。
主控制部201根据来自监视处理部213的输出,能够变更与实时动态图像一起显示的多个加工图像(多个局部加工图像、多个缩略图)的显示状态。该显示状态变更控制例如使并未显示被检眼的像的区域显示多个加工图像。例如主控制部201能够执行减小多个加工图像的显示尺寸的控制、减小各加工图像的显示尺寸的控制、变更多个加工图像的排列的控制、减少同时显示的缩略图的个数的控制、使多个加工图像停止显示的控制(不显示多个加工图像的控制)等。
根据这样的变形例,能够与被检眼的活动相应地(动态地)变更多个加工图像的显示状态,因此多个加工图像不会妨碍观察被检眼的像。此外,用于检测被检眼的活动的结构(监视部)并不限定于所述结构、处理,可以是任意的。
图16示出其它变形例。图15的变形例是着眼于被检眼的活动,但是,本变形例着眼于被检眼发生异常。
图16的数据处理部210D是图3的数据处理部210的例子。本例的数据处理部210D除了包括图像处理部211以外还包括异常检测部214。图像处理部211执行与所述实施方式的结构和动作相同的结构和动作。
异常检测部214执行用于检测被检眼的异常的数据处理。作为检测的对象的异常的种类可以是任意的,例如也可以是出血、伤口等。异常检测部214例如通过对由手术用显微镜10生成的动态图像的帧进行分析来检测异常。例如出血的检测根据图像的颜色变化(红色区域的增加等)来进行。
在几个方式中,异常检测部214也可以包括通过机器学习创建的系统(人工智能引擎),其中,该机器学习使用包括手术图像等的训练数据集。该人工智能引擎例如包括通过将手术图像设为输入、将预定的发生异常的概率设为输出的机器学习创建的神经网络(典型地,卷积神经网络)。本例的异常检测部214将由手术用显微镜10生成的实时动态图像(第一动态图像)的帧依次输入到人工智能引擎。人工智能引擎依次输出基于所输入的帧的发生异常概率。异常检测部214根据依次输出的发生异常概率来进行异常检测。例如在依次输出的发生异常概率超出预定阈值时,异常检测部214判断为检测出异常。作为其它例,异常检测部214能够根据依次输出的发生异常概率的变化(例如变化率、变化量)来进行异常检测。
主控制部201能够根据来自异常检测部214的输出,变更与实时动态图像一起显示的多个加工图像(多个局部加工图像、多个缩略图)的显示状态。该显示状态变更控制例如执行使得使并未显示被检眼的像的区域显示多个加工图像或使检测出异常的区域以外的区域显示多个加工图像。例如主控制部201能够执行减小多个加工图像的显示尺寸的控制、减小各加工图像的显示尺寸的控制、变更多个加工图像的排列的控制、减少同时显示的缩略图的个数的控制、使多个加工图像停止显示的控制(不显示多个加工图像的控制)等。
根据这样的变形例,与被检眼发生异常这一情况对应地能够(动态地)变更多个加工图像的显示状态,因此多个加工图像不会妨碍观察被检眼的像(特别是,异常产生部位)。此外,用于检测被检眼的异常的结构(监视部)并不限定于所述结构、处理,可以是任意的。
所述实施方式的眼科观察装置1构成为对第一动态图像所包括的静止图像(帧)适用第一图像处理,生成并显示多个加工图像。对于此,几个例示性方式可以构成为对第一动态图像所包括的各静止图像(各帧)依次适用第一图像处理,生成并显示多个加工图像(多个加工动态图像)。在这样的方式中,能够排列或依次显示多个加工动态图像。另外,对于多个加工动态图像的至少一部分,还能够显示该加工图像所包括的静止图像(加工静止图像、加工帧)。根据本方式,在要使活动的被检眼的显示方式优化的情况下、要使伴随活动的对象物(浮游物、浑浊、增值膜、液流、血流等)的显示方式优化的情况下等有效。另一方面,为了实时地进行这样的处理,需要比所述实施方式的眼科观察装置1更大量的资源。因此,为了减小对加工动态图像进行处理的情况下的处理负载,也可以适用减少所生成的加工动态图像的个数、减少要处理的加工动态图像(缩略图)的个数、减少要显示的加工动态图像(缩略图)的个数、以及进行帧的剔除处理等任意处理负载减小法。
<眼科图像处理装置>
说明例示性实施方式的眼科图像处理装置。眼科图像处理装置构成为对被检眼的图像进行处理。能够将与所述实施方式的眼科观察装置1有关的任意事项(功能、结构、处理、动作、使用方式等)与以下例示性眼科图像处理装置进行组合。
图17示出本例的眼科图像处理装置的结构例。图17的眼科图像处理装置500的要素中动态图像接收部501以外的要素可以与所述实施方式的眼科观察装置1中的对应要素同样地构成,只要不特别提及,省略它们的详细说明。
眼科图像处理装置500的控制部502相当于所述实施方式的眼科观察装置1的控制部200。眼科图像处理装置500的图像处理部503相当于所述实施方式的眼科观察装置1的数据处理部210(图像处理部211)。眼科图像处理装置500的用户界面(UI)504相当于所述实施方式的眼科观察装置1的操作装置2和显示装置3。
动态图像接收部501接收被检眼的动态图像。动态图像接收部501从手术用显微镜10直接地或间接地接收动态图像。例如动态图像接收部501经由通信线路或线缆与手术用显微镜10相连接。或,动态图像接收部501经由通信线路或线缆与(临时性地)存储有由手术用显微镜10生成的动态图像的装置(缓冲器)相连接。
动态图像接收部501接收所述实施方式的第一动态图像。控制部502将由动态图像接收部501接收到的第一动态图像发送到图像处理部503。
图像处理部503通过执行在所述实施方式中说明的处理,对第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,制作多个加工图像。
控制部502(显示控制部)使UI 504(第一显示装置)显示由图像处理部503制作出的多个加工图像。
除了这样的一系列动作以外,眼科图像处理装置500能够与所述实施方式的眼科观察装置1同样地执行以下处理。用户能够进行用于从显示在UI 504中的多个加工图像中选择至少一个加工图像的指示。该指示能够以与所述实施方式的眼科观察装置1的情况相同的要领进行,例如使用UI 504(指示接收部)进行。
图像处理部503将基于与用户指定的至少一个加工图像对应的图像参数的至少一个值的第二图像处理,适用于在基于该用户指示进行选择之后由动态图像接收部501接收到的被检眼的动态图像(第二动态图像)。该处理(第二图像处理)以与所述实施方式的眼科观察装置1的情况相同的要领执行。
控制部502(显示控制部)使UI 504(第二显示装置)显示适用了第二图像处理的第二动态图像。
根据这样的眼科图像处理装置500,能够起到与所述实施方式的眼科观察装置1相同的作用和效果。另外,通过将与所述实施方式的眼科观察装置1有关的事项(功能、结构、处理、动作、使用方式等)与眼科图像处理装置500进行组合,作为其结果得到的眼科图像处理装置500能够起到与组合的事项对应的作用和效果。
<眼科图像处理方法>
例示性实施方式(例如所述眼科观察装置1或眼科图像处理装置500)提供对眼科图像(被检眼的图像)进行处理的方法。能够将与所述实施方式的眼科观察装置1有关的任意事项与以下例示性眼科图像处理方法进行组合,另外,能够将与所述实施方式的眼科图像处理装置500有关的任意事项进行组合。
例示性方式的眼科图像处理方法首先接收被检眼的第一动态图像。接着,对该第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,制作多个加工图像。接着,显示制作出的多个加工图像。接着,接收用于从所显示的多个加工图像中选择至少一个加工图像的指示。在选择基于该指示的至少一个加工图像之后,接收被检眼的第二动态图像。接着,将基于与所选择的至少一个加工图像对应的图像参数的至少一个值的第二图像处理适用于第二动态图像。接着,显示适用了第二图像处理的第二动态图像。这样的一系列工序作为所述实施方式的眼科观察装置1的动作和使用方式(图11、图12A~图12E、图13、图14A~图14G等)进行说明。
根据这样的眼科图像处理方法,能够起到与所述实施方式的眼科观察装置1和眼科图像处理装置500相同的作用和效果。另外,通过将与所述实施方式的眼科观察装置1或眼科图像处理装置500有关的事项与眼科图像处理方法进行组合,作为其结果得到的眼科图像处理方法能够起到与组合的事项对应的作用和效果。
<程序>
例示性实施方式提供使计算机执行所述眼科图像处理方法的程序。能够将与所述实施方式的眼科观察装置1或眼科图像处理装置500有关的事项与这样的程序进行组合。
根据这样的程序,能够起到与所述实施方式的眼科观察装置1和眼科图像处理装置500相同的作用和效果。另外,通过将与所述实施方式的眼科观察装置1或眼科图像处理装置500有关的事项与程序进行组合,作为其结果得到的程序能够起到与组合的事项对应的作用和效果。
<记录介质>
例示性实施方式提供记录了如上所述的程序的计算机可读取的非临时性记录介质。能够将与所述实施方式的眼科观察装置1或眼科图像处理装置500有关的事项与这样的记录介质进行组合。非临时性记录介质的方式可以是任意的,作为其例子,包括磁盘、光盘、光磁盘、半导体存储器等。
根据这样的记录介质,能够起到与所述实施方式的眼科观察装置1和眼科图像处理装置500相同的作用和效果。另外,通过将与所述实施方式的眼科观察装置1或眼科图像处理装置500有关的事项与记录介质进行组合,作为其结果得到的记录介质能够起到与组合的事项对应的作用和效果。
所述实施方式仅是用于实施本发明的例示。要实施本发明的人在本发明的宗旨范围内能够实施任意的变形、省略、追加、替换等。
(附图标记说明)
1:眼科观察装置;2:操作装置;3:显示装置;10:手术用显微镜;30:照明光学系统;40:观察光学系统;60:摄像相机;200:控制部;201:主控制部;203:GUI控制部;210:数据处理部;211:图像处理部;2111:加工图像制作部;2112:动态图像处理部;212:参数处理部;2121:参数存储部;2122:参数选择部;2123:拍摄条件记录部;2124:拍摄条件选择部;2125:参数决定部;2113A、2113B:局部图像确定部;221:标识符接收部;222:属性信息获取部。
Claims (25)
1.一种眼科观察装置,用于观察被检眼,其中,所述眼科观察装置包括:
动态图像生成部,拍摄所述被检眼而生成第一动态图像;
图像处理部,对所述第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像;以及
显示控制部,使第一显示装置显示所述多个加工图像。
2.根据权利要求1所述的眼科观察装置,其中,
所述眼科观察装置还包括:
指示接收部,接收用于从所述第一显示装置所显示的所述多个加工图像中选择至少一个加工图像的指示,
所述图像处理部将基于与所述至少一个加工图像对应的所述图像参数的至少一个值的第二图像处理,适用于使用所述指示接收部进行所述至少一个加工图像的选择之后由所述动态图像生成部生成的第二动态图像,
所述显示控制部使第二显示装置显示适用了所述第二图像处理的所述第二动态图像。
3.根据权利要求2所述的眼科观察装置,其中,
在使用所述指示接收部选择出所述多个加工图像中的一个加工图像的情况下,所述图像处理部将使用了与所述一个加工图像对应的所述图像参数的一个值的图像处理作为所述第二图像处理而适用于所述第二动态图像。
4.根据权利要求2所述的眼科观察装置,其中,
在使用所述指示接收部选择出所述多个加工图像中的两个以上的加工图像的情况下,所述图像处理部将使用了与所述两个以上的加工图像中的一个加工图像对应的所述图像参数的一个值的图像处理作为所述第二图像处理而适用于所述第二动态图像。
5.根据权利要求2所述的眼科观察装置,其中,
在使用所述指示接收部选择出所述多个加工图像中的两个以上的加工图像的情况下,所述图像处理部根据与所述两个以上的加工图像分别对应的所述图像参数的两个以上的值来决定一个值,并将使用了所述一个值的图像处理作为所述第二图像处理而适用于所述第二动态图像。
6.根据权利要求2至5中的任一项所述的眼科观察装置,其中,
所述眼科观察装置还包括:
记录部,用于记录用于所述第二图像处理的所述图像参数的所述一个值。
7.根据权利要求6所述的眼科观察装置,其中,
所述眼科观察装置还包括:
标识符接收部,接收用户的标识符,
所述记录部与由所述标识符接收部接收到的所述标识符相关联地记录所述图像参数的所述一个值。
8.根据权利要求6或7所述的眼科观察装置,其中,
所述眼科观察装置还包括:
属性信息获取部,获取表示医疗行为对所述被检眼的属性的属性信息,
所述记录部与由所述属性信息获取部获取到的所述属性信息相关联地记录所述图像参数的所述一个值。
9.根据权利要求6至8中的任一项所述的眼科观察装置,其中,
所述眼科观察装置还包括:
选择部,从过去由所述记录部记录的所述图像参数的值中选择至少一个值,
所述图像处理部将基于由所述选择部选择的所述至少一个值的图像处理适用于由所述动态图像生成部生成的第三动态图像。
10.根据权利要求9所述的眼科观察装置,其中,
所述记录部将生成所述第二动态图像时的拍摄条件与所述图像参数的所述一个值相关联地进行记录,
所述选择部还选择与由所述选择部选择的所述至少一个值相关联的拍摄条件,
所述眼科观察装置还包括:
决定部,根据由所述选择部分别选择的所述至少一个值以及所述拍摄条件来决定所述图像参数的值,
所述图像处理部将使用了由所述决定部决定的所述图像参数的所述值的图像处理适用于所述第三动态图像。
11.根据权利要求2至10中的任一项所述的眼科观察装置,其中,
所述图像处理部对所述第一动态图像所包括的所述静止图像的一部分即局部图像,适用所述第一图像处理,来制作作为所述多个加工图像的多个局部加工图像,
所述显示控制部使所述第一显示装置显示分别包括所述多个局部加工图像的多个图像。
12.根据权利要求11所述的眼科观察装置,其中,
所述图像处理部包括将用于确定所述被检眼的预定部位的像的分割适用于所述第一动态图像所包括的所述静止图像而确定所述局部图像的第一局部图像确定部。
13.根据权利要求12所述的眼科观察装置,其中,
所述第一局部图像确定部将所述分割适用于所述第二动态图像,依次确定所述第二动态图像所包括的静止图像的局部图像,
所述图像处理部对从所述第二动态图像所包括的所述静止图像确定的所述局部图像,依次适用所述第二图像处理。
14.根据权利要求11所述的眼科观察装置,其中,
所述显示控制部使所述第一显示装置或所述第二显示装置显示所述第一动态图像或所述第一动态图像所包括的静止图像,
所述眼科观察装置还包括:
图形用户界面,用于指定所显示的所述第一动态图像或所述第一动态图像所包括的所述静止图像中的局部区域,
所述图像处理部根据使用所述用户界面指定的所述局部区域,设定所述局部图像。
15.根据权利要求14所述的眼科观察装置,其中,
所述图像处理部包括在所述第二动态图像所包括的静止图像中依次确定与所述局部区域对应的局部图像的第二局部图像确定部,
所述图像处理部对从所述第二动态图像所包括的所述静止图像确定的所述局部图像,依次适用所述第二图像处理。
16.根据权利要求1至15中的任一项所述的眼科观察装置,其中,
所述显示控制部使所述第一显示装置排列显示所述多个加工图像中的两个以上的加工图像或所述两个以上的加工图像的缩略图。
17.根据权利要求1至15中的任一项所述的眼科观察装置,其中,
所述显示控制部使所述第一显示装置依次显示所述多个加工图像中的两个以上的加工图像或所述两个以上的加工图像的缩略图。
18.根据权利要求1至17中的任一项所述的眼科观察装置,其中,
所述眼科观察装置还包括:
监视部,用于监视所述被检眼的活动,
所述显示控制部根据来自所述监视部的输出,变更所述多个加工图像的显示状态。
19.根据权利要求1至18中的任一项所述的眼科观察装置,其中,
所述眼科观察装置还包括:
异常检测部,用于检测所述被检眼的异常,
所述显示控制部根据来自所述异常检测部的输出,变更所述多个加工图像的显示状态。
20.根据权利要求1至19中的任一项所述的眼科观察装置,其中,
所述图像参数包括色调参数、亮度参数、对比度参数、增益参数、伽马参数、色温参数、白平衡参数、RGB平衡参数、灰平衡参数、边缘增强参数、阴影增强参数、锐化参数以及高动态范围参数中的一个以上。
21.一种眼科图像处理装置,对被检眼的图像进行处理,其中,所述眼科图像处理装置包括:
动态图像接收部,接收所述被检眼的第一动态图像;
图像处理部,对所述第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像;以及
显示控制部,使第一显示装置显示所述多个加工图像。
22.根据权利要求21所述的眼科图像处理装置,其中,
所述眼科图像处理装置还包括:
指示接收部,接收用于从所述第一显示装置所显示的所述多个加工图像中选择至少一个加工图像的指示,
所述图像处理部将基于与所述至少一个加工图像对应的所述图像参数的至少一个值的第二图像处理适用于在基于所述指示进行所述至少一个加工图像的选择之后由所述动态图像接收部接收到的所述被检眼的第二动态图像,
所述显示控制部使第二显示装置显示适用了所述第二图像处理的所述第二动态图像。
23.一种眼科图像处理方法,对被检眼的图像进行处理,其中,
接收所述被检眼的第一动态图像,
对所述第一动态图像所包括的静止图像,分别适用使用了预定的图像参数的多个不同的值的第一图像处理,来制作多个加工图像,
显示所述多个加工图像,
接收用于从所显示的所述多个加工图像中选择至少一个加工图像的指示,
在基于所述指示进行所述至少一个加工图像的选择之后,接收所述被检眼的第二动态图像,
将基于与所述至少一个加工图像对应的所述图像参数的至少一个值的第二图像处理适用于所述第二动态图像,
显示适用了所述第二图像处理的所述第二动态图像。
24.一种程序,使计算机执行权利要求23所述的方法。
25.一种计算机可读的非临时性记录介质,记录有权利要求24所述的程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020177703A JP2022068892A (ja) | 2020-10-23 | 2020-10-23 | 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体 |
JP2020-177703 | 2020-10-23 | ||
PCT/JP2021/037930 WO2022085540A1 (ja) | 2020-10-23 | 2021-10-13 | 眼科観察装置、眼科画像処理装置、眼科画像処理方法、プログラム、及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116437848A true CN116437848A (zh) | 2023-07-14 |
Family
ID=81290797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180071853.2A Pending CN116437848A (zh) | 2020-10-23 | 2021-10-13 | 眼科观察装置、眼科图像处理装置、眼科图像处理方法、程序以及记录介质 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4233689A1 (zh) |
JP (1) | JP2022068892A (zh) |
CN (1) | CN116437848A (zh) |
WO (1) | WO2022085540A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7500417B2 (ja) | 2020-12-25 | 2024-06-17 | 住友理工株式会社 | 口腔用圧力センサシート |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3756127B2 (ja) | 2002-04-19 | 2006-03-15 | 株式会社トプコン | 眼科撮影装置 |
JP2005103030A (ja) * | 2003-09-30 | 2005-04-21 | Seventh Dimension Design:Kk | 医療画像作成装置及び医療画像作成プログラム |
JP2009118955A (ja) | 2007-11-13 | 2009-06-04 | Topcon Corp | 手術用顕微鏡装置 |
JP6101048B2 (ja) * | 2012-02-20 | 2017-03-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5947561B2 (ja) * | 2012-02-20 | 2016-07-06 | キヤノン株式会社 | 画像形成装置及び画像形成方法 |
JP7183590B2 (ja) * | 2018-06-29 | 2022-12-06 | 株式会社ニデック | 眼科画像処理装置、oct装置、および眼科画像処理プログラム |
-
2020
- 2020-10-23 JP JP2020177703A patent/JP2022068892A/ja active Pending
-
2021
- 2021-10-13 WO PCT/JP2021/037930 patent/WO2022085540A1/ja unknown
- 2021-10-13 EP EP21882681.6A patent/EP4233689A1/en active Pending
- 2021-10-13 CN CN202180071853.2A patent/CN116437848A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022068892A (ja) | 2022-05-11 |
WO2022085540A1 (ja) | 2022-04-28 |
EP4233689A1 (en) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5555258B2 (ja) | 適合光学線走査検眼鏡及び方法 | |
JP6518054B2 (ja) | 眼科装置 | |
JP6899632B2 (ja) | 眼科撮影装置 | |
US12011225B2 (en) | Slit lamp microscope and ophthalmic system | |
JP2017158728A (ja) | 眼科装置 | |
JP6100027B2 (ja) | 撮像装置の制御装置、撮像装置の制御方法、およびプログラム | |
WO2019176974A1 (ja) | スリットランプ顕微鏡及び眼科システム | |
WO2018135175A1 (ja) | 眼科装置 | |
EP4233689A1 (en) | Ophthalmological observation device, ophthalmological image processing device, ophthalmological image processing method, program, and recording medium | |
WO2019176973A1 (ja) | スリットランプ顕微鏡及び眼科システム | |
WO2022145129A1 (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム | |
US20220280036A1 (en) | Slit lamp microscope, ophthalmic information processing apparatus, ophthalmic system, method of controlling slit lamp microscope, and recording medium | |
WO2022091430A1 (ja) | 眼科観察装置、その制御方法、プログラム、及び記録媒体 | |
EP3571979A1 (en) | Ophthalmological device | |
WO2023037658A1 (ja) | 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体 | |
JP7118197B2 (ja) | 眼科装置 | |
JP7171162B2 (ja) | 眼科撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |