CN115768337A - 裂隙灯显微镜 - Google Patents
裂隙灯显微镜 Download PDFInfo
- Publication number
- CN115768337A CN115768337A CN202180042613.XA CN202180042613A CN115768337A CN 115768337 A CN115768337 A CN 115768337A CN 202180042613 A CN202180042613 A CN 202180042613A CN 115768337 A CN115768337 A CN 115768337A
- Authority
- CN
- China
- Prior art keywords
- image
- slit
- unit
- images
- lamp microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/135—Slit-lamp microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/117—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Abstract
例示性方式的裂隙灯显微镜(1)包括扫描部(照明系统(2)、拍摄系统(3)以及移动机构(6))、图像组评价部(81)(数据处理部(8))以及控制部(7)。扫描部利用裂隙光扫描被检眼(E)的前眼部来收集图像组。图像组评价部(81)评价由扫描部收集到的图像组的质量。控制部(7)根据由第一评价部获取到的质量的评价结果,选择性地执行预定的两个以上的控制。例如,控制部(7)在评价为质量不良的情况下进行用于将新扫描应用于前眼部的控制,在评价为质量良好的情况下进行用于将该图像组发送到外部装置的控制。
Description
技术领域
本发明涉及一种裂隙灯显微镜。
背景技术
在眼科领域中,图像诊断占有重要的位置。在图像诊断中使用各种各样的眼科拍摄装置。眼科拍摄装置的种类具有裂隙灯显微镜、眼底相机、扫描型激光检眼镜(SLO)、光学相干断层成像仪(OCT)等。
在这些各种各样的眼科装置中最广泛且频繁地使用的装置有裂隙灯显微镜。裂隙灯显微镜用于利用裂隙光对被检眼进行照明,并利用显微镜从斜方、侧方观察或拍摄被照明的截面(例如,参照专利文献1和专利文献2)。
裂隙灯显微镜的主要用途之一为前眼部观察。在前眼部观察中,医生一边使裂隙光的照明场、焦点位置移动,一边观察前眼部整体,从而判断异常的有无。另外,在确认隐形眼镜的佩戴状态等视力矫正器具的处方中,有时也使用裂隙灯显微镜。而且,验光师、医疗保健专业人员、眼镜店的店员那样医生以外的人以筛查眼部疾病等为目的,有时也使用裂隙灯显微镜。
另外,随着近年来信息通信技术的进步,与远程医疗有关的研究开发正在发展。远程医疗是指利用互联网等通信网络对处于远程位置的患者进行诊疗的行为。在专利文献3和专利文献4中公开了用于从远程位置操作裂隙灯显微镜的技术。
专利文献1:日本特开2016-159073号公报
专利文献2:日本特开2016-179004号公报
专利文献3:日本特开2000-116732号公报
专利文献4:日本特开2008-284273号公报
发明内容
一般地,在使用裂隙灯显微镜获得良好的图像时,需要调整照明角度、拍摄角度等细微且复杂的操作。在专利文献3、4所公开的技术中,即使在对位于眼前的被检者的眼睛进行观察的情况下,也必须由位于远程位置的检查者实施难的操作,因此产生检查时间变长或者无法获得良好的图像这样的问题。
另外,如上所述,裂隙灯显微镜对筛查等检查是有效的,但现状是,要向较多的人提供高质量的裂隙灯显微镜检查,熟练该装置的操作的人员不足。
而且,在远程医疗、筛查中,在很多情况下,进行图像读取(图像诊断)的医生不在拍摄位置。在该情况下,有可能将不适合于读取的图像提供给医生。若考虑操作难度、拍摄时间的长度,则预计在裂隙灯显微镜中容易会产生该问题。
本发明的目的在于能够广泛地地提供高质量的裂隙灯显微镜检查。
几个例示性方式的裂隙灯显微镜包括:扫描部,使用裂隙光扫描被检眼的前眼部来收集图像组;第一评价部,对由所述扫描部收集到的所述图像组的质量进行评价;以及控制部,根据由所述第一评价部获取到的所述质量的评价结果,选择性地执行预定的两个以上的控制。
根据例示性方式,能够广泛地提供高质量的裂隙灯显微镜检查。
附图说明
图1是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图2A是用于说明根据例示性方式的裂隙灯显微镜的工作的概要图。
图2B是用于说明根据例示性方式的裂隙灯显微镜的工作的概要图。
图3是用于说明根据例示性方式的裂隙灯显微镜的工作的概要图。
图4A是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图4B是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图4C是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图4D是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图5A是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图5B是用于说明根据例示性方式的裂隙灯显微镜的推断模型的构建的概要图。
图5C是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图5D是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图6是表示根据例示性方式的裂隙灯显微镜的工作的流程图。
图7是表示根据例示性方式的裂隙灯显微镜的工作的流程图。
图8是表示根据例示性方式的裂隙灯显微镜的结构的概要图。
图9A是表示根据例示性方式的裂隙灯显微镜的工作的流程图。
图9B是表示根据例示性方式的裂隙灯显微镜的工作的流程图。
图10A是用于说明根据例示性方式的裂隙灯显微镜的工作的概要图。
图10B是用于说明根据例示性方式的裂隙灯显微镜的工作的概要图。
图10C是用于说明根据例示性方式的裂隙灯显微镜的工作的概要图。
图11是表示根据例示性方式的眼科系统的结构的概要图。
图12是表示根据例示性方式的眼科系统的结构的概要图。
图13是表示根据例示性方式的眼科系统的结构的概要图。
图14是表示根据例示性方式的眼科系统的结构的概要图。
图15是表示根据例示性方式的眼科系统的结构的概要图。
具体实施方式
一边参照附图,一边详细说明几个例示性方式。此外,能够将在本说明书中引用的文献所公开的事项等任意公知技术与例示性方式组合。另外,能够将由本申请人进行的其它申请的公开整体引用于本公开。例如,能够将与由本申请人进行的裂隙灯显微镜(或包括裂隙灯显微镜的系统或能够与裂隙灯显微镜连接的系统)有关的申请的公开整体引用于本公开。
根据例示性方式的裂隙灯显微镜可以是固定型,也可以是可搬运型。典型地,根据例示性方式的裂隙灯显微镜在旁边没有与该装置有关的专业技术人员(熟练者)的状况或环境下使用。此外,根据例示性方式的裂隙灯显微镜既可以在旁边具有熟练者的状况或环境下使用,也可以在熟练者能够从远程位置监视、指示、操作的状况或环境下使用。
作为设置裂隙灯显微镜的设施的例子具有眼镜店、验光店、医疗机构、健康诊断场所、检查场所、患者家、福利设施、公共设施、检诊车等。
根据例示性方式的裂隙灯显微镜是至少具有作为裂隙灯显微镜的功能的眼科拍摄装置,可以还具备其它拍摄功能(模态)。作为其它模态的例子,具有前眼部相机、眼底相机、SLO、OCT等。根据例示性方式的裂隙灯显微镜可以还具备测定被检眼的特性的功能。作为测定功能的例子,具有视力测定、屈光测定、眼压测定、角膜内皮细胞测定、像差测定、视野测定等。根据例示性方式的裂隙灯显微镜可以还具备用于对拍摄图像和测定数据进行分析的应用程序。根据例示性方式的裂隙灯显微镜可以还具备用于治疗和手术的功能。作为其例子,具有光凝治疗和光线力学疗法。
根据例示性方式的眼科系统(第一眼科系统)可以包括一个以上的裂隙灯显微镜、一个以上的信息处理装置和一个以上的图像读取终端,例如能够用于远程医疗。裂隙灯显微镜可以是任意的根据例示性方式的裂隙灯显微镜,也可以是具备其至少一部分的裂隙灯显微镜。
信息处理装置接收由裂隙灯显微镜获取到的图像,并将其发送到图像读取终端。另外,信息处理装置可以具有对由裂隙灯显微镜获取到的图像进行管理的功能。
图像读取终端是医生(典型地,眼科医生或图像读取医生等专科医生)为了对由裂隙灯显微镜获取到的图像进行图像读取(观察图像来获得诊疗上的意见)而使用的计算机。图像读取者输入到图像读取终端的信息例如由图像读取终端或其它计算机变换为图像读取报告或电子病历信息并发送到信息处理装置。在其它例子中,能够将图像读取者输入到图像读取终端的信息发送到信息处理装置。在该情况下,信息处理装置或其它计算机能够将图像读取者输入的信息变换为图像读取报告或电子病历信息。信息处理装置可以自行管理图像读取报告或电子病历信息,也可以转发至其它医疗系统(例如电子病历系统)。
根据其它例示性方式的眼科系统(第二眼科系统)可以包括一个以上的裂隙灯显微镜、一个以上的信息处理装置和一个以上的图像读取装置。裂隙灯显微镜和信息处理装置中的至少一者可以与第一眼科系统的裂隙灯显微镜和信息处理装置相同。
图像读取装置例如是利用按照预定程序进行工作的图像处理处理器和/或人工智能引擎(推断引擎、推断模型等)对由裂隙灯显微镜获取到的图像进行读取的计算机。图像读取装置从图像导出的信息例如可以由图像读取装置或其它计算机变换为读取报告或电子病例信息并发送到信息处理装置。在其它例子中,能够将图像读取装置从图像导出的信息发送到信息处理装置。在该情况下,信息处理装置或其它计算机能够将图像读取装置从图像导出的信息变换为读取报告或电子病例信息。信息处理装置可以自行管理读取报告或电子病例信息,也可以转发至其它医疗系统。
而且,根据其它例示性方式的眼科系统(第三眼科系统)可以包括一个以上的裂隙灯显微镜以及一个以上的信息处理装置。裂隙灯显微镜可以与第一眼科系统的裂隙灯显微镜相同。另外,信息处理装置可以与第一眼科系统的信息处理装置和/或第二眼科系统的信息处理装置相同。换言之,信息处理装置可以与第一眼科系统的图像读取终端之间进行数据通信和/或可以与第二眼科系统的图像读取装置之间进行数据通信。
根据例示性方式的裂隙灯显微镜和眼科系统能够用于远程医疗,但是,如上所述,通过裂隙灯显微镜获得良好的图像不容易,另外,要有效地进行读取和诊断,需要“预先”获取前眼部的大范围的图像。根据这样的情形,可以说使用裂隙灯显微镜的有效的远程医疗并未实现。例示性方式能够提供有助于实现其的技术。然而,例示性方式的用途并不限定于此,也能够将例示性方式应用于其它用途。
例示性方式尤其是着眼于以下问题。即,在例示性方式所假设的应用方式(远程医疗等)中,将用裂隙灯显微镜拍摄表示前眼部的足够大的范围而获得的一系列图像(图像组、图像集)直接地或间接地提供给图像读取者,因此即使在所提供的一系列图像的质量低劣的情况下,也难以重新拍摄,其结果,产生完全不能读取图像或只能进行不充分的读取图像这样的问题。因而,需要“预先”获取“良好的”质量的图像。也就是说,在向图像读取者提供之前,需要集中获取具有能够有效地进行诊断(读取等)的质量的一系列图像。但是,除了裂隙灯显微镜的操作难度以外,若还考虑拍摄时的眨眼、眼球运动的发生,则获得以良好的画质表现观察、图像读取的对象区域整体的一系列图像非常困难。
根据例示性方式的裂隙灯显微镜能够用于获取以良好的画质表现前眼部的大范围的一系列图像(图像组、图像集)。另外,根据例示性方式的眼科系统能够用于使用这样的裂隙灯显微镜的远程医疗。
以下,说明几个例示性方式。能够将这些方式中的任意两种或两种以上至少部分地组合。另外,能够对这样的组合实施基于任意公知技术的变形(附加、替换、省略等)。
本说明书所公开的要件的功能的至少一部分使用电路结构(circuitry)或处理电路结构(processing circuitry)来安装。电路结构或处理电路结构包括以执行所公开的功能的至少一部分的方式构成和/或编程的共通处理器、专用处理器、集成电路、CPU(CentralProcessing Unit:中央处理器)、GPU(Graphics Processing Unit:图形处理器)、ASIC(Application Specific Integrated Circuit:专用集成电路)、可编辑逻辑装置(例如,SPLD(Simple Programmable Logic Device:简单可程序逻辑装置)、CPLD(ComplexProgrammable Logic Device:复杂可编程逻辑装置)、FPGA(Field Programmable GateArray:现场可编程门阵列))、以往的电路结构以及它们的任意组合中的任一个。处理器被视为包括晶体管和/或其它电路结构的处理电路结构或电路结构。在本公开中,电路结构、单元、部件或类似于它们的术语是执行所公开的功能的至少一部分的硬件或以执行所公开的功能的至少一部分的方式编程的硬件。硬件可以是本说明书所公开的硬件或也可以是以执行所记载的功能的至少一部分的方式编程和/或构成的已知的硬件。在硬件为被视为某一类型的电路结构的处理器的情况下,电路结构、单元、部件或类似于它们的术语是硬件与软件的组合,该软件用于构成硬件和/或处理器。
<第一方式>
图1示出根据第一方式的裂隙灯显微镜的例子。
裂隙灯显微镜1用于被检眼E的前眼部拍摄,其包括照明系统2、拍摄系统3、移动机构6、控制部7、数据处理部8以及通信部9。此外,附图标记C表示角膜,附图标记CL表示晶状体。
裂隙灯显微镜1即可以是单一的装置,也可以是包括两个以上的装置的系统。作为后者的例子,裂隙灯显微镜1包括:主体装置,包括照明系统2、拍摄系统3以及移动机构6;计算机,包括控制部7、数据处理部8以及通信部9;以及通信设备,负责主体装置与计算机之间的通信。计算机例如可以与主体装置一起设置,也可以设置于网络上。
<照明系统2>
照明系统2向被检眼E的前眼部照射裂隙光。附图标记2a表示照明系统2的光轴(照明光轴)。照明系统2可以具备与以往的裂隙灯显微镜的照明系统相同的结构。例如,虽然省略了图示,但是照明系统2从远离被检眼E的一侧依次包括照明光源、正透镜、裂隙形成部以及物镜。
照明光源输出照明光。照明系统2可以具备多个照明光源。例如,照明系统2可以包括输出连续光的照明光源以及输出闪光的照明光源。另外,照明系统2可以包括前眼部用照明光源以及后眼部用照明光源。另外,照明系统2可以包括输出波长不同的两个以上的照明光源。典型的照明系统2包括可见光源作为照明光源。照明系统2可以包括红外部光源。从照明光源输出的照明光透过正透镜而投射到裂隙形成部。
裂隙形成部使照明光的一部分通过而生成裂隙光。典型的裂隙形成部具有一对裂隙刃。通过变更这些裂隙刃的间隔(裂隙宽度)来变更照明光通过的区域(裂隙)的宽度,由此变更裂隙光的宽度。另外,裂隙形成部可以构成为能够变更裂隙光的长度。裂隙光的长度是指在与对应于裂隙宽度的裂隙光的截面宽度方向正交的方向上的裂隙光的截面尺寸。典型地,裂隙光的宽度和裂隙光的长度表现为裂隙光在前眼部上的投影图像的尺寸,但是并不限定于此,例如,还能够表现为裂隙光在任意位置上的截面上的尺寸或者表现为由裂隙形成部形成的裂隙的尺寸。
由裂隙形成部生成的裂隙光被物镜折射而照射到被检眼E的前眼部。
照明系统2可以还包括用于变更裂隙光的焦点位置的对焦机构。对焦机构例如使物镜沿着照明光轴2a移动。物镜的移动能够自动和/或手动地执行。此外,也可以在物镜与裂隙形成部之间的照明光轴2a上的位置处配置对焦透镜,并使该对焦透镜沿着照明光轴2a移动,由此变更裂隙光的焦点位置。
此外,图1是俯视图,如该图所示,在本方式中,将沿着被检眼E的轴的方向设为Z方向,将与其正交的方向中对被检者来说为左右方向设为X方向,将与X方向和Z方向两者正交的方向设为Y方向。典型地,X方向是左眼与右眼的排列方向,Y方向是沿着被检者的体轴的方向(体轴方向)。
<拍摄系统3>
拍摄系统3对照射有来自照明系统2的裂隙光的前眼部进行拍摄。附图标记3a表示拍摄系统3的光轴(拍摄光轴)。本方式的拍摄系统3包括光学系统4以及摄像元件5。
光学系统4将来自照射有裂隙光的被检眼E的前眼部的光引导至摄像元件5。摄像元件5通过摄像面接收由光学系统4引导的光。
由光学系统4引导的光(也就是说,来自被检眼E的前眼部的光)包括照射到前眼部的裂隙光的返回光,还可以包括其它光。作为返回光的例子,具有反射光、散射光、荧光。作为其它光的例子,具有来自裂隙灯显微镜1的设置环境的光(室内光、太阳光等)。在用于照明前眼部整体的前眼部照明系统与照明系统2分开而另行设置的情况下,该前眼部照明光的返回光可以包括于由光学系统4引导的光。
摄像元件5是具有二维摄像区域的区域传感器,例如,可以是电荷耦合元件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器。
光学系统4例如可以具备与以往的裂隙灯显微镜的拍摄系统相同的结构。例如,光学系统4从靠近被检眼E的一侧依次包括物镜、变倍光学系统以及成像透镜。来自照射有裂隙光的被检眼E的前眼部的光通过物镜和变倍光学系统,由成像透镜在摄像元件5的摄像面成像。
拍摄系统3例如可以包括第一拍摄系统和第二拍摄系统。典型地,第一拍摄系统和第二拍摄系统具有相同的结构。在其它方式中说明拍摄系统3包括第一拍摄系统和第二拍摄系统的情况。
拍摄系统3可以还包括用于变更其焦点位置的对焦机构。对焦机构例如使物镜沿着拍摄光轴3a移动。物镜的移动能够自动和/或手动地执行。此外,也可以在物镜与成像透镜之间的拍摄光轴3a上的位置处配置对焦透镜,并使该对焦透镜沿着拍摄光轴3a移动,由此变更焦点位置。
照明系统2和拍摄系统3发挥作为沙氏相机的功能。即,照明系统2和拍摄系统3构成为沿着照明光轴2a的物面、光学系统4、摄像元件5的摄像面满足所谓沙氏条件。更具体地,通过照明光轴2a的YZ面(包括物面)、光学系统4的主面以及摄像元件5的摄像面在同一直线上交叉。由此,能够使焦点对焦于物面内的所有位置(沿着照明光轴2a的方向上的所有位置)而进行拍摄。
在本方式中,例如,照明系统2和拍摄系统3构成为拍摄系统3的焦点至少对焦于由角膜C的前表面与晶状体CL的后表面划定的范围。也就是说,能够在拍摄系统3的焦点对焦于从图1示出的角膜C的前表面的顶点(Z=Z1)至晶状体CL的后表面的顶点(Z=Z2)为止的范围整体的状态下进行拍摄。此外,Z=Z0表示照明光轴2a与拍摄光轴3a的交叉点的Z坐标。
典型地,这样的条件通过照明系统2所包括的要件的结构和配置、拍摄系统3所包括的要件的结构和配置、以及照明系统2与拍摄系统3的相对位置来实现。表示照明系统2与拍摄系统3的相对位置的参数例如包括照明光轴2a与拍摄光轴3a所形成的角度θ。角度θ例如设定为17.5度、30度或45度。此外,角度θ也可以是可变的。
<移动机构6>
移动机构6使照明系统2和拍摄系统3进行移动。移动机构6例如包括搭载有照明系统2和拍摄系统3的可动工作台、根据从控制部7输入的控制信号进行工作的致动器、以及基于由该致动器产生的驱动力使可动工作台移动的机构。在其它例子中,移动机构6包括搭载有照明系统2和拍摄系统3的可动工作台以及基于施加到未图示的操作设备的力使可动工作台移动的机构。操作设备例如是操纵杆。可动工作台至少能够在X方向上移动,还能够在Y方向和/或Z方向上移动。
在本方式中,移动机构6例如使照明系统2和拍摄系统3一体地在X方向上移动。也就是说,移动机构6一边保持满足上述沙氏条件的状态,一边使照明系统2和拍摄系统3在X方向上移动。与该移动并行地,拍摄系统3例如以预定的时间间隔(拍摄率)进行动态拍摄。由此,利用裂隙光扫描被检眼E的前眼部的三维区域,并收集与该三维区域内的多个截面对应的多个图像(图像组)。
<控制部7>
控制部7控制裂隙灯显微镜1的各部。例如,控制部7控制照明系统2的要件(照明光源、裂隙形成部、对焦机构等)、拍摄系统3的要件(对焦机构、摄像元件等)、移动机构6、数据处理部8以及通信部9等。另外,控制部7也可以执行用于变更照明系统2与拍摄系统3之间的相对位置的控制。
控制部7包括处理器、主存储装置、辅助存储装置等。在辅助存储装置中存储有控制程序等。控制程序等也可以存储于裂隙灯显微镜1能够访问的计算机、存储装置。控制部7的功能通过控制程序等的软件与处理器等的硬件的协作来实现。
控制部7为了利用裂隙光扫描被检眼E的前眼部的三维区域,能够对照明系统2、拍摄系统3以及移动机构6适用以下控制。
首先,控制部7控制移动机构6,以使得将照明系统2和拍摄系统3配置于预定的扫描开始位置(对准控制)。扫描开始位置例如是与X方向上的角膜C的端部(第一端部)相当的位置或比该位置远离被检眼E的轴的位置。图2A的附图标记X0表示与X方向上的角膜C的第一端部相当的扫描开始位置的例子。另外,图2B的附图标记X0’表示比与X方向上的角膜C的第一端部相当的位置远离被检眼E的轴EA的扫描开始位置的例子。
控制部7控制照明系统2,从而开始针对被检眼E的前眼部照射裂隙光(裂隙光照射控制)。此外,也可以在执行对准控制之前或在执行对准控制的过程中,进行裂隙光照射控制。典型地,裂隙光是连续光,但也可以是间歇光(脉冲光)。脉冲光的点亮控制与拍摄系统3的拍摄率同步。另外,典型地,裂隙光是可见光,但也可以是红外部光,还可以是可见光与红外部光的混合光。
控制部7控制拍摄系统3,从而开始针对被检眼E的前眼部进行动态拍摄(拍摄控制)。此外,也可以在执行对准控制之前或在执行对准控制的过程中,进行拍摄控制。典型地,与裂隙光照射控制同时或在裂隙光照射控制之后,执行拍摄控制。
在执行对准控制、裂隙光照射控制以及拍摄控制之后,控制部7控制移动机构6,从而开始使照明系统2和拍摄系统3移动(移动控制)。通过移动控制使照明系统2和拍摄系统3一体地移动。也就是说,一边维持照明系统2与拍摄系统3的相对位置(角度θ等),一边使照明系统2和拍摄系统3移动。典型地,一边维持满足所述沙氏条件的状态,一边使照明系统2和拍摄系统3移动。照明系统2和拍摄系统3的移动从所述扫描开始位置起进行到预定的扫描结束位置为止。扫描结束位置例如与扫描开始位置同样地,是与在X方向上的第一端部的相反侧的角膜C的端部(第二端部)相当的位置或比该位置远离被检眼E的轴的位置。在这样的情况下,从扫描开始位置起至扫描结束位置为止的范围成为扫描范围。
典型地,一边使将X方向设为宽度方向且将Y方向设为长度方向的裂隙光照射到前眼部且使照明系统2和拍摄系统3在X方向上移动,一边执行由拍摄系统3进行的动态拍摄。
在此,裂隙光的长度(也就是说,Y方向上的裂隙光的尺寸)例如在被检眼E的表面中设定为角膜C的直径以上。即,裂隙光的长度设定为Y方向上的角膜直径以上。另外,如上所述,通过移动机构6使照明系统2和拍摄系统3移动的移动距离(也就是说,扫描范围)设定为X方向上的角膜直径以上。由此,能够利用裂隙光至少扫描角膜C整体。
通过这样的扫描,获得裂隙光的照射位置不同的多个前眼部图像。换言之,获得描绘了裂隙光的照射位置在X方向上移动的样子的动态图像。图3示出这样的多个前眼部图像(也就是说,构成动态图像的帧组)的例子。
图3示出多个前眼部图像(帧组、图像组)F1、F2、F3、…、FN。这些前眼部图像Fn(n=1、2、…、N)的下标n表示时序顺序。也就是说,第n个获取到的前眼部图像用附图标记Fn表示。在前眼部图像Fn中包括裂隙光照射区域An。如图3所示,裂隙光照射区域A1、A2、A3、…、AN按照时序向右方向移动。在图3示出的例子中,扫描开始位置和扫描结束位置对应于X方向上的角膜C的两端。此外,扫描开始位置和/或扫描结束位置并不限定于本例,例如可以是比角膜端部远离被检眼E的轴的位置。另外,扫描的朝向和次数还能够任意地设定。
<数据处理部8>
数据处理部8执行各种数据处理。处理的数据可以是由裂隙灯显微镜1获取到的数据以及从外部输入的数据中的任一个。例如,数据处理部8能够对由拍摄系统3获取到的图像进行处理。此外,数据处理部8的结构、功能除了本方式中的说明以外,还在其它方式中说明。
数据处理部8包括处理器、主存储装置以及辅助存储装置等。在辅助存储装置中存储有数据处理程序等。数据处理程序等可以包括通过机器学习构建的模型(学习过模型、推断模型等)。数据处理程序等可以存储于裂隙灯显微镜1能够访问的计算机、存储装置。数据处理部8的功能通过数据处理程序等软件与处理器等硬件的协作来实现。
说明数据处理部8的几个例子。图4A、图4B、图4C以及图4D分别示出数据处理部8的第一、第二、第三以及第四例子即数据处理部8A、8B、8C以及8D。此外,数据处理部8的结构并不限定于这些。例如,数据处理部8可以包括四数量据处理部8A、8B、8C以及8D中的任意两个以上的组合。另外,能够将用于获得同一种类的结果或类似的种类的结果的任意要件设置于数据处理部8。
本方式的裂隙灯显微镜1对被检眼E的前眼部适用一次以上的扫描。通过各扫描,获得图3示出的多个前眼部图像F1~FN那样的图像组。数据处理部8能够对这样获取到的一个以上的图像组进行处理。
裂隙灯显微镜1能够将两次以上的扫描适用于前眼部。例如,在第一次扫描中未获得良好的图像组的情况下,执行第二次的扫描。更一般地,在第一次至第v次的扫描中未获得良好的一系列图像的情况下,执行第v+1次的扫描(v为一个以上的整数)。在几个例示性方式中,在从通过第一次至第v次的v次扫描获得的v个图像组未获得良好的一系列图像(图像集)的情况下,执行第v+1次的扫描。在其它几个例示性方式中,在通过第一次至第v次的v次扫描获得的v个图像组中的任一个均不是良好的图像集的情况下,执行第v+1次的扫描。此外,执行两次以上的扫描的方式并不限定于这些。
在执行两次以上的扫描的情况下,这些扫描的开始位置和结束位置(即扫描范围)可以相同,开始位置和结束位置中的一个或两者也可以不同。典型地,对相同扫描范围适用两次以上的扫描。由此,图3示出的多个前眼部图像F1~FN那样的图像组仅获得与扫描次数相同的数量程度。
若考虑被检眼E的眼球运动等,则典型地,扫描范围不是前眼部中的位置和范围,而是由裂隙灯显微镜1的工作定义。例如,扫描中的照明系统2和拍摄系统3的移动的起点设为扫描开始位置,终点设为扫描结束位置。
另一方面,还能够由前眼部中的位置和范围定义扫描范围。在该情况下,适用使照明系统2和拍摄系统3以追随被检眼E的活动的方式移动的工作(跟踪)。本例的裂隙灯显微镜1例如具备与以往相同的跟踪功能。跟踪功能例如包括前眼部的动态拍摄、从各帧提取特征点(landmark)、使用特征点计算帧之间的位移、以及用于消除位移的照明系统2和拍摄系统3的移动控制。
作为与扫描范围的定义(设定)有关的其它例,能够对已经收集到的图像设定扫描范围。即,能够构成为在事后(扫描后)进行扫描范围的设定。此外,本例中的扫描范围表示提供给以后的处理的图像的范围。
说明这样的事后扫描范围设定的第一例。本例的裂隙灯显微镜能够拍摄前眼部,并且能够识别前眼部拍摄用光学系统与扫描光学系统(照明系统2和拍摄系统3)的位置关系。在本例中,首先,一边扫描前眼部的足够大的范围(特别是X方向和Y方向)来收集图像组(广域图像组),一边执行前眼部拍摄。接着,对通过前眼部拍摄获得的前眼部图像设定扫描范围。该设定可以通过手动和自动中的任一个进行。自动设定例如包括分析前眼部图像来检测特征点(例如,瞳孔边缘)的处理以及参照该特征点来设定扫描范围的处理。若设定了扫描范围,则基于上述光学系统的位置关系,特定相当于该扫描范围的各广域图像的局部区域。最后,通过从广域图像裁剪该特定的局部区域,从而形成相当于该扫描范围的图像。由此,获得与设定的扫描范围对应的图像组。在本例中,在被检眼的固视稳定的情况(或这样假设的情况或能够这样假设的情况)等下,前眼部拍摄可以是静态图像拍摄。在前眼部拍摄为动态拍摄的情况下,例如广域图像组与动态图像中的帧组基于扫描与动态拍摄的控制(同步信息等)相关联,对相关联的广域图像与帧的每对执行上述相同的处理。
说明事后的扫描范围设定的第二例。在本例中,可以不并行地进行前眼部拍摄,扫描前眼部的足够大的范围(特别是X方向和Y方向)来收集广域图像组。接着,对各广域图像指定相当于期望的扫描范围的局部区域。该指定可以通过手动和自动中的任一个进行。自动指定例如包括分析广域图像来检测特征点(例如,角膜边缘或房角)的处理以及参照该特征点来设定扫描范围的处理。另外,可以对任意的广域图像(基准广域图像)以手动方式指定特征点,分析该基准广域图像与其相邻的广域图像,对该相邻广域图像指定特征点。通过依次适用这样的处理,能够对所有广域图像指定特征点。而且,可以基于特征点来特定相当于扫描范围的广域图像的局部区域,通过从广域图像中裁剪该特定的局部区域,从而形成相当于该扫描范围的图像。由此,获得与设定的扫描范围对应的图像组。
说明数据处理部8的第一例。图4A示出的数据处理部8A包括图像组评价部81。图像组评价部81对通过对被检眼E的前眼部进行一次扫描收集到的图像组的质量进行评价。在几个例示性方式中,图像组评价部81构成为判断图像组是否满足预定条件,典型地,构成为判断图像组所包括的各图像是否满足预定条件。
预定条件(图像组评价条件)例如是与有效地进行读取和诊断所需的图像质量有关的条件,例如,具有与被检眼E有关的条件、与裂隙灯显微镜1有关的条件、与环境有关的条件等。图像组评价条件例如可以包括“评价对象的图像不受眨眼的影响(眨眼条件)”和“评价对象的图像不受眼球运动的影响(眼球运动条件)”中的任一者或两者。另外,图像组评价条件可以是与图像质量评价有关的任意指标,例如,可以包括亮度、对比度、噪声、信噪比(SNR)、灰度再现(tone reproduction)、动态范围、锐度(sharpness)、渐晕(vignetting)、像差(球面像差、像散、彗差、场曲、畸变像差、色差等)、颜色精度(coloraccuracy)、曝光精度(exposure accuracy)、透镜光晕、莫尔条纹以及伪影中的任一个。图像选择条件并不限定于这些例,可以任意地选择。
说明眨眼条件。关于图像组所包括的图像,图像组评价部81例如判断该图像是否包括照射到被检眼E的前眼部的裂隙光的反射像。该判断是利用在眨眼中拍摄的图像中未描绘出裂隙光的反射像以及裂隙光的反射像比其它区域表现得明显亮这一情况的处理,例如基于该图像中的亮度分布来执行。
作为一例,图像组评价部81根据该图像创建亮度直方图,并判断是否存在预定阈值以上的亮度的像素。在判断为存在预定阈值以上的亮度的情况下,判断为该图像包括裂隙光的反射像。本例具有处理非常简单这样的优点,但是有可能错误地检测高亮度的噪声、外部光的映照。
作为其它例,图像组评价部81根据该图像创建亮度直方图,判断预定阈值以上的亮度的像素是否存在预定数量以上。在判断为预定阈值以上的亮度的像素存在预定数量以上的情况下,判断为该图像包括裂隙光的反射像。本例具有能够通过简单的处理来实现防止上述错误检测这样的优点。
说明眼球运动条件。关于图像组所包括的图像,图像组评价部81例如通过该图像与其相邻的图像之间的比较来判断眼球运动的影响的有无。该判断是利用若在动态拍摄中发生眼球运动则产生“图像跳跃”这一情况的处理。
作为一例,图像组评价部81从该图像与相邻图像的每一个检测特征点,并计算这些特征点的位移量,并判断该位移量是否在预定阈值以上。在判断为位移量为预定阈值以上的情况下,判断为发生了眼球运动。在此,特征点例如可以是角膜、虹膜、瞳孔、房角等。另外,例如基于拍摄系统3的拍摄率、通过移动机构6移动的移动速度等预定扫描条件来计算阈值。
在其它例中,图像组评价部81可以构成为根据一个图像判断眼球运动的有无。例如,在拍摄系统3的拍摄率为低速的情况下,若发生高速的眼球运动,则有时图像会产生“重影”。图像组评价部81可以利用重影检测来判断眼球运动的有无。典型地,重影检测使用边缘检测等公知技术进行。
图像组评价部81可以包括用于判断所输入的图像是否满足所述图像选择条件的人工智能引擎。典型地,该人工智能引擎包括卷积神经网络(CNN),该卷积神经网络使用包括由裂隙灯显微镜获取到的多个图像以及各图像是否满足图像选择条件的判断结果的训练数据,预先进行训练。此外,训练数据所包括的图像并不限定于由裂隙灯显微镜获取到的图像,例如,可以是由其它眼科模态(眼底相机、OCT装置、SLO、手术用显微镜等)获取到的图像、由其它诊疗科的图像诊断模态(超声波诊断装置、X射线诊断装置、X射线CT装置、磁共振成象(MRI)装置等)获取到的图像、对实际图像进行加工而生成的图像、伪图像等。另外,用于人工智能引擎的方法、技术(例如,硬件、软件、机器学习法、神经网络的种类等)是任意的。
构成通过一次扫描收集到的图像组的一系列图像可以与扫描范围中的多个位置相关联。例如,由数据处理部8执行该相关联。说明其具体例。沿着X方向的扫描范围划分为(N-1)个区间,扫描开始位置设定于第一个位置,扫描结束位置设定于第N个位置(N是两个以上的整数)。由此,在扫描范围设定N个位置。用B1、B2、B3、…、BN表示N个位置。一次扫描适用于被检眼E的前眼部,获取到图3示出的图像组F1、F2、F3、…、FN。数据处理部8能够对位置Bn分配图像Fn。由此,获得与N个位置Bn(n=1、2、…、N)对应的N个图像Fn(n=1、2、…、N)。
图像组可以仅包括一系列图像,也可以还包括除此以外的信息。作为与一系列图像一起包括在图像组中的信息的例子,具有被检者信息、被检眼信息、拍摄日期和时间、摄像条件等各种附带信息。另外,也可以将通过其它模态获得的图像、由检查装置获取到的检查数据包括在图像组中。参照图5A~图5D在后文中说明图像组评价部81的结构和工作的几个例子。
说明数据处理部8的第二例。本例的有效性尤其是在对被检眼E的前眼部适用两次以上的扫描的情况下发挥作用。图4B示出的数据处理部8B除了包括与图4A相同的图像组评价部81以外,还包括图像集创建部82。向数据处理部8B提供通过适用于被检眼E的前眼部的两次以上的扫描收集到的两个以上的图像组。本例的图像组评价部81可以对这些图像组的每个图形组进行质量评价,并可以仅对通过最先扫描(第一次扫描)收集到的图像组进行质量评价。图像集创建部82从输入到数据处理部8B的两个以上的图像组中选择与扫描范围对应的一系列图像,创建图像集。
构成图像集的一系列图像例如可以是两个以上的扫描中的任一个扫描所适用的(前眼部的)范围,也可以是基于两个以上的扫描中的至少两个扫描中的扫描范围设定的(前眼部的)范围。作为前者的例子,可以在两个以上的扫描分别适用的两个以上的扫描范围中采用最大扫描范围或最小扫描范围。作为后者的例子,可以至少采用两个扫描范围的和集或交集。
另外,图像集可以仅包括该一系列图像,可以还包括除此以外的信息。作为与一系列图像一起包括在图像集中的信息的例子,具有被检者信息、被检眼信息、拍摄日期和时间、摄像条件等各种附带信息。另外,也可以将通过其它模态获得的图像、由检查装置获取到的检查数据包括在图像集中。
说明数据处理部8的第三例。与第二例同样地,本例的有效性尤其是在对被检眼E的前眼部适用两次以上的扫描的情况下发挥作用。图4C示出的数据处理部8C除了包括与图4A相同的图像组评价部81以外,还包括与图4B相同的图像集创建部82,本例的图像集创建部82包括选择部821。
向数据处理部8C提供通过适用于被检眼E的前眼部的两次以上的扫描收集到的两个以上的图像组。本例的图像组评价部81可以对这些图像组的每个图形组进行质量评价,也可以仅对通过最先扫描(第一次扫描)收集到的图像组进行质量评价。图像集创建部82从输入到数据处理部8B的两个以上的图像组中选择与扫描范围对应的一系列图像,创建图像集。在该图像集创建中,选择部821从两个以上的图像组中选择满足预定条件的图像。
预定条件(图像选择条件)可以与前述的图像组评价条件相同,也可以不同。例如,在构成为在由图像组评价部81一个一个地进行图像的质量评价之后将两个以上的图像组提供给选择部821的情况下,选择部821可以构成为考虑与图像排列有关的条件(例如,眨眼条件、眼球运动条件等)而进行图像选择。此外,图像选择条件并不限定于这些例,另外,图像组评价条件与图像选择条件之间的关系也并不限定于这些例。
以下,说明选择部821考虑眨眼条件的情况和考虑眼球运动条件的情况。此外,关于考虑这些以外的条件的情况等,选择部821可以执行与关于图像组评价部81的后述的具体例(参照图5A~图5D)相同的处理。
说明考虑眨眼条件的图像选择。此外,眨眼条件是用于确认“评价对象的图像未受到眨眼的影响”的条件。关于包括在两个以上的图像组中的图像,选择部821例如判断照射到被检眼E的前眼部的裂隙光的反射像是否包括在该图像中。该判断是利用在眨眼过程中拍摄的图像中未描绘出裂隙光的反射像以及裂隙光的反射像表现为比其它区域明显亮这一情况的处理,例如根据该图像中的亮度分布来执行。
作为一例,选择部821从该图像创建亮度直方图,并判断是否存在预定阈值以上的亮度的像素。在判断为存在预定阈值以上的亮度的情况下,判断为该图像包括裂隙光的反射像。本例具有处理非常简单这样的优点,但是有可能错误地检测高亮度的噪声、外部光的映照。
作为其它例,选择部821从该图像创建亮度直方图,并判断预定阈值以上的亮度的像素是否存在预定数量以上。在判断为预定阈值以上的亮度的像素存在预定数量以上的情况下,判断为该图像包括裂隙光的反射像。本例具有可以通过简单的处理实现防止所述错误检测这样的优点。
说明考虑眼球运动条件的图像选择。此外,眼球运动条件是用于确认“评价对象的图像未受到眼球运动的影响”的条件。关于包括在两个以上的图像组中的图像,选择部821例如通过该图像与其相邻的图像的比较来判断眼球运动的影响的有无。该判断是利用若在动态拍摄中发生眼球运动则发生“图像跳跃”这一情况的处理。
作为一例,选择部821从该图像和相邻图像的各图像检测特征点,并计算这些特征点的位移量,并且判断该位移量是否为预定阈值以上。在判断为位移量为预定阈值以上的情况下,判断为发生了眼球运动。在此,特征点例如可以是角膜、虹膜、瞳孔、房角等。另外,例如,基于拍摄系统3的拍摄率、通过移动机构6移动的移动速度等预定扫描条件来计算阈值。
在其它例中,选择部821可以构成为根据一个图像判断眼球运动的有无。例如,在拍摄系统3的拍摄率为低速的情况下,若发生高速的眼球运动,则有时图像产生“重影”。选择部821可以通过利用重影检测来判断眼球运动的有无。典型地,重影检测使用边缘检测等公知技术来进行。
与图像组评价部81的情况同样地,选择部821可以包括用于判断所输入的图像是否满足所述图像选择条件的人工智能引擎。
由图像集创建部82创建的图像集所包括的一系列图像可以与扫描范围内的多个位置相关联。例如,选择部821可以构成为进行图像的选择使得对扫描范围内的多个位置的每一个分配一个以上的图像。
说明具体例。沿着X方向的扫描范围划分为(N-1)个区间,扫描开始位置设定于第一个位置,扫描结束位置设定于第N个位置(N是两个以上的整数)。由此,在扫描范围设定N个位置。用B1、B2、B3、…、BN表示N个位置。
对被检眼E的前眼部适用两次以上的扫描的结果是,获取到图3示出的图像组F1、F2、F3、…、FN。此外,图3示出的N个图像F1~FN在所述说明中被视为通过一次扫描获得的图像组,但是在本说明书中,为了使说明更简单,有时作为任意的图像组(多个图像)而参照图3示出的N个图像F1~FN(以下相同)。例如,在本例的说明中,参照N个图像F1~FN作为图像集所包括的一系列图像。
关于这样的N个位置B1~BN和N个图像F1~FN,选择部821可以对位置Bn分配图像Fn。由此,获得与N个位置Bn(n=1、2、…、N)对应的N个图像Fn(n=1、2、…、N),例如,创建将图像组Fn设为“一系列图像”的图像集。
在几个例示性方式中,在由图像组评价部81评价为通过第一次的扫描获得的图像组的质量不良的情况下,自动地或根据用户的指示来进行第二次的扫描。在适用于前眼部的扫描次数为两次以上的情况下,裂隙灯显微镜1执行对前眼部适用两次以上的扫描的工作以及从由此收集到的两个以上的图像组中选择一系列图像的工作,但是这些工作的执行方式可以是任意的。作为第一例,裂隙灯显微镜1可以构成为与评价为通过第一次的扫描获得的图像组的质量不良这一情况对应地,交替地重复进行对前眼部的扫描以及从通过该扫描获取的图像组中选择图像。作为第二例,裂隙灯显微镜1可以构成为与评价为通过第一次的扫描获得的图像组的质量不良这一情况对应地,在集中进行两次以上的扫描之后,从由此收集到的两个以上的图像组中选择一系列图像。以下,说明这两个例。此外,代替从图像组选择图像或除此以外,可以由图像组评价部81对图像组进行评价。如上所述,图像组评价和图像选择可以是相同的处理、类似的处理或兼容性处理。在几个例示性方式中,可以将作为图像组评价而说明的事项适用于图像选择,相反地,也可以将作为图像选择而说明的事项适用于图像组评价。
在由图像组评价部81评价为通过第一次的扫描获得的图像组的质量不良之后执行的扫描以及图像选择的方式的第一例是扫描以及图像选择的交替重复。更具体地,在第一例中,例如,对前眼部的扫描的适用与从通过该扫描获得的图像组中选择图像的组重复执行预定次数。也就是说,在第一例中,按照第一组的工作(扫描以及图像选择)、第二组的工作(扫描以及图像选择)、…、第U组的工作(扫描以及图像选择)的顺序依次执行U组的工作(U是一个以上的整数)。另外,在该交替重复之前进行的第一次的扫描与通过第一次的扫描获得的图像组的质量评价(图像组评价部81)的组称为第0组的工作。
在此,第u组中的扫描次数可以是一个以上的任意次数(u=0、1、…、U)。另外,第u1组中的扫描次数与第u2组中的扫描次数可以相等,也可以不同(u1=0、1、…、U;u2=0、1、…、U;u1≠u2)。
在第一例中,选择部821可以构成为从通过已经进行的两次以上的扫描收集到的两个以上的图像组中选择图像来创建临时图像集。也就是说,裂隙灯显微镜1可以构成为在执行扫描以及图像选择的交替重复过程中的任意时刻,根据通过实施到该时刻为止的两次以上的扫描获得的两个以上的图像组创建临时图像集。例如,在进行第u组中的扫描之后,选择部821构成为根据通过第0组至第u组获得的所有图像创建临时图像集。根据这样的结构,为了构建最终的图像集,可以根据到当前时刻为止获得的图像组创建临时图像集。
在适用创建临时图像集的上述结构的情况下,可以组合以下结构。在对被检眼E的前眼部适用新的扫描时,选择部821首先从通过该新扫描收集到的新图像组中选择图像。接着,选择部821通过对基于该新的扫描之前进行的一个以上的扫描的临时图像集附加从该新图像组选择的图像来创建新的临时图像集。例如,在进行第(u+1)组的扫描之后,选择部821首先能够从通过第(u+1)组获得的图像组中选择图像。而且,选择部821能够通过对基于通过第0组至第u组获得的图像组的临时图像集附加从通过第(u+1)组获得的图像组选择的图像,创建新的临时图像集。根据这样的结构,每次对前眼部适用扫描,能够基于通过该扫描获得的图像组依次更新临时图像集。由此,能够可靠且有效地进行最终的图像集的构建。
在适用创建(和更新)临时图像集的上述结构的情况下,能够组合以下结构。控制部7(或图像集创建部82(选择部821))包括对临时图像集所包括的图像数量进行计数的图像数量计数器。在临时图像集所包括的图像的数量达到预定数量时,控制部7控制扫描部(照明系统2、拍摄系统3、移动机构6)和选择部821,以使得结束扫描的适用与图像的选择的交替重复。在此,预定数量是最终的图像集所包括的一系列图像的数量,预先或根据处理状况来设定。另外,由控制部7执行临时图像集所包括的图像的数量是否达到预定数量的判断。该判断可以仅是数量的比较。或者,在扫描范围的多个位置与一系列图像关联起来的情况(前述)下,可以针对多个位置的所有位置判断是否分配有对应图像。根据这样的结构,若获得了最终的图像集所需的数量,则能够自动地结束扫描以及图像选择的交替反复。
在适用创建(和更新)临时图像集的所述结构的情况下,能够进一步组合以下结构。控制部7包括对扫描以及图像选择的交替反复的次数进行计数的反复次数计数器。关于计数的次数,可以定义扫描以及图像选择的组(第1组~第U组)作为单位,也可以定义扫描次数作为单位。在反复次数达到预定次数时,控制部7控制扫描部(照明系统2、拍摄系统3、移动机构6)以及选择部821,以使得结束扫描的适用与图像的选择的交替反复。在将扫描以及图像选择的组作为单位来定义反复次数的情况下,预定次数与预先设定的组的总数(U)相等。在将扫描次数作为单位定义反复次数的情况下,预定次数与预先设定的总扫描次数相等。另外,由控制部7执行反复次数是否达到预定次数的判断。根据这样的结构,能够在扫描以及图像选择重复预先设定的次数的阶段中,自动地结束扫描以及图像选择的重复。在没有使用本结构的情况下,扫描以及图像选择重复到选择最终图像集的构建所需的数量的图像为止,所以使被检者疲劳,并且拍摄效率低。尤其是,在依次进行多个被检者的拍摄的情况下,拍摄的接待人数大大受损。
如上所述,本方式可以构成为自动地结束扫描以及图像选择的交替反复。该自动结束的条件不限于上述两个例子,例如可以是来自用户的指示输入。或者,可以计测自扫描以及图像选择的交替反复开始起的经过时间,在达到预定时间时结束交替反复。此外,在扫描以及图像选择的反复率恒定的情况下,基于经过时间的自动结束控制与上述基于反复次数的自动结束控制等同。图像集创建部82能够基于扫描以及图像选择的交替反复结束时的临时图像集创建图像集。临时图像集例如作为与扫描范围对应的一系列图像包括于图像集。向裂隙灯显微镜1额外输入被检者ID、公共ID、姓名、年龄、性别等预定的被检者信息。图像集创建部82通过将这样的被检者信息、被检眼信息(表示左眼/右眼的信息等)、拍摄日期和时间、拍摄条件等构成为一系列图像的附带信息,从而能够创建图像集。另外,图像集可以包括利用裂隙灯显微镜1获得的其它图像、通过其它模式获得的图像、由检查装置获取到的检查数据等。以上,结束扫描以及图像选择的执行方式的第一例的说明。此外,在后文中说明根据本例的处理的具体例。
接着,说明在由图像组评价部81评价为通过第一次的扫描获得的图像组的质量不良之后执行的扫描以及图像选择的方式的第二例。本例构成为在集中进行两次以上的扫描之后从由此收集到的两个以上的图像组中选择一系列图像。而且,从通过该两次以上的扫描收集到的两个以上的图像组以及通过在此之前进行的第一次的扫描获得的图像组中进行图像的选择,并创建包括选择出的一系列图像的图像集。
说明这样的处理的具体例。选择部821首先将与各扫描对应的图像组和与扫描范围的多个位置(前述)相关联。由此,对扫描范围的多个位置的每一个分配与不同的扫描对应的两个以上的图像。
接着,针对扫描范围中的多个位置的每一个,选择部821从分配给该位置的两个以上的图像中选择一个图像。在本例中适用的图像选择条件例如可以是前述的眨眼条件和眼球运动条件。由此,对扫描范围中的多个位置各分配一个图像。采用这样与多个位置相关联的多个图像作为图像集所包括的一系列图像。以上,结束扫描以及图像选择的执行方式的第二例的说明。
说明数据处理部8的第四例。与第二例和第三例同样地,本例的有效性尤其是在对被检眼E的前眼部适用两次以上的扫描的情况下发挥作用。图4D示出的数据处理部8D除了包括与图4A相同的图像组评价部81和与图4B或图4C相同的图像集创建部82以外,还包括图像集评价部83。
图像集评价部83对由图像集创建部82创建的图像集的质量进行评价。该评价是判断图像集是否具有足够的质量以用于有效地进行诊断(图像读取),根据该观点来确定评价项目、评价基准。评价项目、评价基准可以与图像组评价条件的至少一部分和/或图像选择条件的至少一部分通用,但是并不限定于此。
图像集评价部83可以构成为根据图像集的方式来进行不同的评价。例如,适用于与临时图像集所包括的图像的数量达到预定数量对应而创建的图像集的评价和适用于与扫描以及图像选择的交替重复次数达到预定次数对应而创建的图像集的评价可以彼此不同。此外,无论图像集的方式如何,均可以适用相同的评价。
作为图像集的质量评价的例子,除了各图像的质量的评价(可以与图像组的评价相同)以外,还具有一系列图像的“排列顺序”的评价、“图像跳跃(缺失)”的评价、“错位”的评价等。排列顺序的交换、图像跳跃、错位等图像集的缺陷由于眼球运动、固视偏移等产生。
说明一系列图像的排列顺序的评价。在几个例子中,在一系列图像与扫描范围中的多个位置之间设定前述的对应关系(一对一对应)。图像集评价部83能够利用该对应关系进行排列顺序的评价。
在此,与实际空间中的位置关系对应地对扫描范围的多个位置进行排序。作为一个例子。如上所述,沿着X方向的扫描范围划分为(N-1)个区间,从扫描开始位置朝向扫描结束位置依次设定N个位置B1、B2、B3、…、BN。也就是说,与实际空间中的位置关系对应地对N个位置B1~BN进行排序。另外,N个图像F1~FN(一系列图像)以一对一的关系与N个位置B1~BN相关联。
在这样的前提下,图像集评价部83例如按照N个位置B1~BN的排列顺序(相对位置关系)配置N个图像F1~FN。该处理通过以下方式实现,即,例如,在某一三维坐标系内设定N个位置B1~BN的坐标,按照所设定的N个坐标配置(嵌入)N个图像F1~FN。更详细地说,图像集评价部83例如从N个图像F1~FN分别提取裂隙光照射区域A1~AN(二维截面图像),在三维坐标系内设定N个位置B1~BN的坐标,能够按照所设定的N个坐标来嵌入N个二维截面图像A1~AN。
图像集评价部83能够通过对嵌入于三维坐标系的图像F1~FN(二维截面图像A1~AN)进行分析,评价排列顺序是否适当。例如,图像集评价部83能够根据图像F1~FN(二维截面图像A1~AN)检测出关注区域(与角膜前表面、角膜后表面、虹膜、瞳孔、晶状体前表面、晶状体后表面等关注部位对应的图像区域),并基于图像F1~FN(二维截面图像A1~AN)的排列方向(在本例中X方向)上的关注区域的方式(连结性、连续性等)进行评价。例如,在预定尺寸以上的裂缝存在于关注区域的情况下,判断为排列顺序不适当(排列顺序存在交换)。
在其它例子中,图像集评价部83根据嵌入于三维坐标系的图像F1~FN(二维截面图像A1~AN),构建沿着X方向的截面像。而且,图像集评价部83能够基于该截面像的方式(连结性、连续性等)进行评价。
关于图像跳跃的评价、错位的评价,也能够与排列顺序的评价相同的要领执行。
与图像组评价部81、选择部821的情况同样地,图像集评价部83也可以包括人工智能引擎,该人工智能引擎用于对所输入的图像集是否具有进行有效诊断所需的足够的质量进行评价。
在第二方式中说明图像集的评价的又一具体例。
控制部7可以构成为在由图像集评价部83评价为图像集的质量良好的情况下,进行用于将该图像集发送到通信部9的控制。例如,控制部7准备包括该图像集的发送用信息,并控制通信部9以使得将该发送用信息发送到预定的外部装置。
从裂隙灯显微镜1输出图像集等方式并不限定于发送。作为发送以外的输出方式的例子,具有对存储装置(数据库等)的保存、对记录介质的记录、对印刷介质的印刷等。
控制部可以构成为在由图像集评价部83评价为图像集的质量不良的情况下,进行用于获取新图像集的控制。例如,控制部7可以构成为对预定输出信息进行显示和/或声音输出。预定输出信息具有用于促使用户重新拍摄的内容,例如拍摄失败或需要重新拍摄等。
或者,控制部7可以构成为至少向扫描部(照明系统2、拍摄系统3、移动机构6)和图像集创建部81发送指令,以自动地开始重新拍摄(再次执行扫描以及图像集创建)。
<通信部9>
通信部9进行裂隙灯显微镜1与其它装置之间的数据通信。即,通信部9向其它装置发送数据以及接收从其它装置发送来的数据。
通信部9所执行的数据通信方式是任意的。例如,通信部9包括符合互联网的通信接口、符合专用线路的通信接口、符合LAN的通信接口、符合近距离通信的通信接口等各种通信接口中的一个以上。数据通信可以是有线通信,也可以是无线通信。
由通信部9接收发送的数据可以被加密。在该情况下,例如,控制部7和/或数据处理部8包括对由通信部9发送的数据进行加密的加密处理部以及对由通信部9接收到的数据进行解密的解密处理部中的至少一个。
<图像组评价部81>
参照图5A~图5D说明图像组评价部81的几个例子。此外,图像组评价部81并不限定于这些例子,能够进行任意的变形(附加、替换、省略等)。另外,能够将这些例子、变形中的两个以上至少局部地进行组合。
参照图5A和图5B说明图像组评价部81的第一例。在本例中利用人工智能技术来进行图像组的质量评价。图5A示出的图像组评价部81A包括使用推断模型812A进行图像组的质量评价的推断部811A。
推断模型812A通过机器学习来预先构建,该机器学习使用了包括多个前眼部图像的训练数据。构建推断模型812A的装置(推断模型构建装置)设置于裂隙灯显微镜1(数据处理部8等)或其外围设备(计算机等),也可以是其它计算机。
图5B示出的模型构建部90是这样的推断模型构建装置的例子,并设置于裂隙灯显微镜1或其外围设备。模型构建部90包括学习处理部91和神经网络92。
典型地,神经网络92包括卷积神经网络(CNN)。图5B示出卷积神经网络的结构的一例。
向输入层输入图像。在输入层的后侧配置有多个卷积层与池化层的对。在图5B示出的例子中设置有三个卷积层与池化层的对,但是对的数量是任意的。
在卷积层中进行用于根据图像掌握特征(轮廓等)的卷积运算。卷积运算是对所输入的图像的与该图像相同维度的滤波函数(加权系数、滤波核)的积和运算。在卷积层中,对所输入的图像的多个部分分别适用卷积运算。更具体地,在卷积层中,将适用滤波函数的局部图像的各像素的值乘以与其像素对应的滤波函数的值(权重)而计算出积,在该局部图像的多个像素中求出积的总和。这样获得的积和值被代入到所输出的图像的对应像素。通过一边使适用滤波函数的部位(局部图像)移动,一边进行积和运算,从而获得与所输入的图像的整体有关的卷积运算结果。根据这样的卷积运算,获得很多利用多个加权系数提取出各种特征的图像。也就是说,获得平滑化图像、边缘图像等多个滤波处理图像。由卷积层生成的多个图像称为特征图。
在池化层中,对由前一卷积层生成的特征图进行压缩(数据的剔除等)。更具体地,在池化层中,按照每个预定像素间隔计算出特征图内的关注像素的预定附近像素的统计值,并输出尺寸小于所输入的特征图的图像。此外,适用于池化运算的统计值例如为最大值(max pooling)或平均值(average pooling)。另外,适用于池化运算的像素间隔称为步长(stride)。
卷积神经网络通过对卷积层与池化层的多个对进行处理,能够从所输入的图像提取多个特征。
在卷积层与池化层的最后对的后侧设置有全耦合层。在图2示出的例子中设置有两个全耦合层,但是全耦合层的数量是任意的。在全耦合层中,使用通过卷积与池化的组合进行压缩的特征量,从而进行图像分类、图像分割、回归等处理。在最后的全耦合层的后侧设置有用于提供输出结果的输出层。
此外,在几个例示性方式中,卷积神经网络可以不包括全耦合层(例如,全层卷积网络(FCN)),也可以包括支持向量机、递归神经网络(RNN)等。另外,对神经网络92的机器学习可以是转移学习。也就是说,神经网络92可以包括已经进行使用了其它训练数据(训练图像)的学习并进行了参数调整的神经网络。另外,模型构建部90(学习处理部91)可以构成为能够对学习过的神经网络(92)适用微调。神经网络92例如可以包括公知的开源神经网络架构。
学习处理部91将使用了训练数据的机器学习适用于神经网络92。在神经网络92包括卷积神经网络的情况下,由学习处理部91调整的参数例如包括卷积层的滤波系数和全耦合层的耦合权重和偏移。
如上所述,训练数据至少包括多个前眼部图像。典型地,多个前眼部图像是由裂隙灯显微镜获取到的图像,但是并不限定于此,例如,可以包括通过其它眼科模态(眼底相机、OCT装置、SLO、手术用显微镜等)获取到的图像、通过其它诊疗科的图像诊断模态(超声波诊断装置、X射线诊断装置、X射线CT装置、磁共振成象(MRI)装置等获取到的图像、对实际图像进行加工而生成的图像、伪图像等。另外,可以使用数据扩展、数据增强等技术来增加训练数据的数量。
用于构建推断模型的训练方法可以是任意的,但是,例如可以是监督学习、非监督学习以及强化学习中的任一个或两个以上的组合。
在几个例示性方式中,使用对输入图像附加最终输出的标签的训练数据来实施监督学习。例如,对训练数据所包括的多个前眼部图像的每一个预先附带表示可读取或不可读取的标签。例如,通过医生或其它推断模型生成标签。学习处理部91通过将使用这样的训练数据的监督学习适用于神经网络92,能够构建推断模型812A。
这样构建的本例的推断模型812A是输入利用裂隙光扫描前眼部而获得的图像且输出读取可能性的学习过模型。此外,作为推断模型812A的输出的读取可能性,可以是表示评价对象的图像组是否适合于读取的任意的参数,例如,可以是可读取或不可读取的辨别、能够实施读取的概率、实施读取的情况下的结果的妥当性(例如,准确度、精度)等。
为了使得处理不集中于神经网络92的特定单元,学习处理部91可以随机地选择几个单元而使其无效化,并使用剩余的单元进行学习(淘汰)。
用于构建推断模型的方法并不限定于在此示出的例子。例如,能够利用支持向量机、贝叶斯分类器、提升、k平均法、核密度估计、主成分分析、独立成分分析、自组织映射、随机森林、生成敌对网络(GAN)这样的任意的方法构建推断模型。
图5A示出的推断部811A使用这样的推断模型812A对通过对被检眼E的前眼部进行一次扫描收集到的图像组的质量进行评价。更具体地进行说明的话,首先,推断部811A将图像组或该图像组所包括的各图像输入到推断模型812A。推断模型812A从所输入的图像组或图像导出表示图像读取可能性的信息。
推断部811A可以将从推断模型812A输出的图像读取可能性信息直接作为推断结果,也可以基于图像读取可能性信息来生成推断结果。作为后者的例子,推断部811A可以根据图像读取可能性信息生成显示用信息,也可以执行预定统计处理。
参照图5C说明图像组评价部81的第二例。在本例中对图像组进行三维图像化并进行质量评价。图5C示出的图像组评价部81B包括三维图像构建部811B、比较部812B以及评价处理部813B。
三维图像构建部811B根据对被检眼E的前眼部进行一次扫描收集到的图像组来构建三维图像。例如,三维图像构建部811B可以构成为通过对单个三维坐标系嵌入图像组来构建堆栈数据。例如,通过按照前述的N个位置B1~BN的排列顺序(相对位置关系)将图3示出的N个二维截面图像A1~AN嵌入到三维坐标系来构建该堆栈数据。
三维图像构建部811B可以构成为对根据图像组构建的堆栈数据适用体素化处理来构建体数据。而且,三维图像构建部811B能够对堆栈数据或体数据适用预定渲染。作为渲染的例子,具有体渲染、表面渲染等。
比较部812B将由三维图像构建部811B构建的三维图像(堆栈数据、体数据、渲染图像等)与预定的基准三维图像进行比较。基准三维图像仅准备一个以上的任意数量。
基准三维图像可以包括与正常眼对应的一个以上的基准三维图像。与正常眼对应的基准三维图像例如可以是拍摄正常眼(未观察到疾病的眼(健康眼))而获取到的图像。用于获取该基准三维图像的拍摄模态可以是任意的,典型地,是裂隙灯显微镜1或与其相同的裂隙灯显微镜。另外,与正常眼对应的基准三维图像可以是拍摄正常眼的模型(模型眼等)而获取到的图像或从正常眼的模型或临床例通过计算机图形创建的图像。
基准三维图像可以是与患眼对应的一个以上的基准三维图像。与患眼对应的基准三维图像例如可以是拍摄对特定疾病进行确诊的眼睛而获取到的图像。用于获取该基准三维图像的拍摄模态可以是任意的,典型地,是裂隙灯显微镜1或与其相同的裂隙灯显微镜。另外,与患眼对应的基准三维图像可以是拍摄患眼的模型(模型眼等)而获取到的图像或从患眼的模型或临床例通过计算机图形创建的图像。
比较部812B对由三维图像构建部811B构建的三维图像与基准三维图像执行匹配来计算预定参数的值。该图像匹配例如可以是利用图像相关法、特征基匹配、区域基匹配、机器学习(学习过模型)等任意方法而获得的。另外,计算出的参数可以是相关值、匹配参数(角度、尺度、类似度、适合度等)、学习过模型的输出参数等任意的参数。
典型地,这样的图像匹配是定量地(即作为数值)表现三维图像中描绘的组织、部位(角膜、虹膜、瞳孔、房角等)的形状、结构与标准的正常眼的形状、结构多大程度相似和/或与标准的患眼的形状、结构多大程度相似的处理。
评价处理部813B基于由比较部812B计算出的参数值,对该图像组的质量进行评价。例如,评价处理部813B可以构成为通过将由比较部812B计算出的参数值与预定阈值进行比较来评价该图像组的质量。或者,评价处理部813B可以构成为通过判断预定范围是否包括由比较部812B计算出的参数值来评价该图像组的质量。此外,由评价处理部813B执行的处理的方法并不限定于此,可以是能够用于从某一参数的值导出评价结果的任意的方法。
利用三维图像构建的图像组的质量评价并不限定于本例。例如,图像组评价部81可以构成为能够根据与图像集评价部83相同的要领来执行构成图像组的一系列图像的排列顺序的评价、图像跳跃的评价以及错位的评价中的任一个以上的评价处理。
参照图5D说明图像组评价部81的第三例。在本例中,通过图像组的画质的定量评价来评价质量。图5D示出的图像组评价部81C包括评价数据生成部811C和评价处理部812C。
评价数据生成部811C根据对被检眼E的前眼部进行一次扫描而收集到的图像组所包括的图像求出画质评价数据。画质评价数据定量地表现了图像组的画质。
说明评价数据生成部811C所执行的画质评价处理的几个例子。在几个例示性方式中,评价数据生成部811C所执行的画质评价处理可以是任意的处理,例如,可以是利用信噪比(SNR)、对比噪声比(CNR)、均方根(RMS)颗粒度、维纳谱(Wiener Spectrum)、调制传递函数(MTF)、质量指标(Quality Index;QI)等任意公知技术的处理。
例如,评价数据生成部811C作为图像组的画质评价数据,计算预定的画质评价指标的值(画质评价值)。画质评价值可以是定量地表现图像的质量的任意的参数,典型地,图像的质量越高,画质评价值也越大。
作为画质评价值的计算方法的例子,以下,说明用于OCT图像的画质评价的ImageQuality值(IQ值)的计算方法。首先,评价数据生成部811C通过对设定于评价对象的图像的评价区域适用预定的分析处理(例如,分割),检测与前眼部的组织(部位)相当的图像区域(组织图像区域)以及除此以外的图像区域(背景区域、非组织图像区域)。接着,评价数据生成部811C生成组织图像区域中的亮度的直方图,并且生成背景区域中的亮度的直方图。接着,评价数据生成部811C根据这两个直方图的重叠状况来计算画质评价值(IQ值)。例如,以在两个直方图完全重叠的情况下成为IQ值=0且在两个直方图完全分离的情况下成为IQ值=100的方式,在范围[0,100]中定义IQ值。该画质评价运算例如可以包括两个直方图的归一化、概率分布函数的生成、使用预定运算式的IQ值的计算等。
这样,评价数据生成部811C可以构成为执行在评价对象的图像中特定与前眼部的组织相当的组织图像区域和背景区域的处理、创建表示组织图像区域的亮度的度数分布的第一直方图的处理、创建表示背景区域的亮度的度数分布的第二直方图的处理、以及根据第一直方图和第二直方图来计算作为画质评价数据的画质评价值(IQ值)的处理。
评价处理部812C基于由评价数据生成部811C生成的画质评价数据对图像组的质量进行评价。以下,说明基于画质评价数据的质量评价的几个方法,但是质量评价方法并不限定于此,可以是任意的。
说明基于画质评价数据的质量评价的第一例。在针对构成图像组的各图像获得IQ值的情况下,评价处理部812C将针对该图像组获得的多个IQ值的每一个与预定阈值进行比较。在多个IQ值均为阈值以上的情况下,评价处理部812C判断为该图像组的质量良好。另一方面,在多个IQ值中的任一个小于阈值的情况下,评价处理部812C判断为该图像组的质量不良。
说明基于画质评价数据的质量评价的第二例。在针对构成图像组的各图像获得IQ值的情况下,评价处理部812C选择针对该图像组获得的多个IQ值中的最小的IQ值,将该最小IQ值与预定阈值进行比较。在最小IQ值为阈值以上的情况下,评价处理部812C判断为该图像组的质量良好。另一方面,在最小IQ值小于阈值的情况下,评价处理部812C判断为该图像组的质量不良。
说明基于画质评价数据的质量评价的第三例。在针对构成图像组的各图像获得IQ值的情况下,评价处理部812C对针对该图像组获得的多个IQ值适用预定的统计运算而计算统计值。该统计值的种类可以是任意的,例如,可以是平均值、最小值、最大值、最频值、中间值等。此外,统计值为最小值的情况相当于上述第二例。评价处理部812C将计算出的统计值与预定阈值进行比较。在统计值为阈值以上的情况下,评价处理部812C判断为该图像组的质量良好。另一方面,在统计值小于阈值的情况下,评价处理部812C判断为该图像组的质量不良。
评价处理部812C所执行的处理并不限定于基于由评价数据生成部811C生成的画质评价数据的处理。例如,评价处理部812C可以构成为能够执行构成图像组的一系列图像的排列顺序的评价、图像跳跃的评价以及错位的评价中的任一个以上的评价处理(所有评价处理均在以上有说明)。
<其它要件>
除了图1示出的要件之外,裂隙灯显微镜1可以具备显示设备和操作设备。或者,显示设备和操作设备可以是裂隙灯显微镜1的外围设备。
显示设备受控制部7的控制而显示各种信息。显示设备可以包括液晶显示器(LCD)等平板显示器。
操作设备包括用于操作裂隙灯显微镜1的设备和用于输入信息的设备。操作设备例如包括按钮、开关、操纵杆、转度盘、手柄、旋钮、鼠标、键盘、轨迹球、操作面板等。
也可以使用如触摸屏那样显示设备和操作设备一体化的设备。
被检者或辅助者通过使用显示设备和操作设备,能够对裂隙灯显微镜1进行操作。
<对准>
说明裂隙灯显微镜1相对于被检眼E的对准。一般地,对准是使装置光学系统配置于用于拍摄和测定被检眼E的合适位置的工作。本方式的对准是使照明系统2和拍摄系统3配置于用于获取如图3示出的多个前眼部图像(一系列图像、动态图像、图像组或图像集等)的合适位置的工作。
眼科装置的对准具有各种方法。以下,例示几个对准方法,但能够适用于本方式的方法不限于此方式。
作为能够适用于本方式的对准方法具有立体对准。立体对准能够适用于能够从两个以上的不同的方向对前眼部进行拍摄的眼科装置,其具体方法在本申请人的日本特开2013-248376号公报等中有公开。立体对准例如包括以下工序:两个以上的前眼部相机从不同的方向拍摄前眼部来获取两个以上的拍摄图像的工序;处理器对这些拍摄图像进行分析来求出被检眼的三维位置的工序;处理器基于求出的三维位置对光学系统进行移动控制的工序。由此,光学系统(在本例中为照明系统2和拍摄系统3)相对于被检眼配置于合适位置。在典型的立体对准中,将被检眼的瞳孔(瞳孔的中心或重心)的位置设为基准。
除了这样的立体对准以外,还能够采用利用通过对准光获得的浦肯野像的方法、利用光杠杆的方法、利用对准指标的方法等任意公知的对准方法。在利用浦肯野像的方法、利用光杠杆或对准指标的方法中,将被检眼的角膜顶点的位置设为基准。
此外,包括以上例示的以往的典型的对准方法以使被检眼的轴与光学系统的光轴重合为目的而进行,但是在本方式中,也能够执行对准以使照明系统2和拍摄系统3配置于与扫描开始位置对应的位置。
作为本方式中的对准的第一例,能够在适用上述对准方法中的任意方法进行了以被检眼E的瞳孔或角膜顶点为基准的对准之后,使照明系统2和拍摄系统3(在X方向上)移动与预先设定的角膜半径的标准值相当的距离。此外,也可以使用被检眼E的角膜半径的测定值来代替使用标准值。
作为第二例,在适用所述对准方法中的任意方法进行了以被检眼E的瞳孔或角膜顶点为基准的对准之后,分析被检眼E的前眼部的图像来测定角膜半径,能够使照明系统2和拍摄系统3(在X方向上)移动相当于该测定值的距离。在本例中分析的前眼部的图像例如是由拍摄系统3获得的前眼部图像或其它图像。其它图像可以是由前眼部相机获得的图像、由前眼部OCT获得的图像等任意的图像。
作为第三例,能够对由立体对准用前眼部相机或拍摄系统3获得的前眼部的图像进行分析来求出角膜的第一端部,并适用立体对准来使照明系统2和拍摄系统3移动到对应于该第一端部的位置。
此外,可以适用上述的对准方法中的任意一个来执行以被检眼E的瞳孔或角膜顶点为基准的对准,由此从确定的位置开始利用裂隙光的前眼部扫描。在该情况下,也能够设定扫描顺序以使得扫描整个角膜C。例如,将扫描顺序设定为:在从通过该对准确定的位置向左方进行扫描之后,向右方进行扫描。
<其它事项>
裂隙灯显微镜1可以具备输出用于使被检眼E固视的光(固视光)的固视系统。典型地,固视系统包括显示至少一个可见光源(固视光源)、风景图或固视视标等图像的显示设备。固视系统例如配置为与照明系统2或拍摄系统3同轴或非同轴。固视系统可以包括通过装置光学系统的光路向被检者提示固视视标的内部固视系统和/或从该光路的外部向被检者提示固视视标的外部固视系统。
由裂隙灯显微镜1能够获取的图像的种类并不限定于图3示出的多个前眼部图像。例如,裂隙灯显微镜1具有基于多个前眼部图像的三维图像、基于该三维图像的渲染图像、透照像、表示佩戴于被检眼的隐形眼镜的移动的动态图像、通过适用荧光剂来表示隐形眼镜与角膜表面的间隙的图像等。关于渲染图像在其它方式中说明。透照像是通过透照法获得的图像,该透照法利用照明光的视网膜反射来描绘眼内的浑浊和异物。此外,也可以是眼底拍摄、角膜内皮细胞拍摄、睑板腺拍摄等。
<工作>
说明裂隙灯显微镜1的工作的几个例子。
虽然省略了图示,但是用户(被检者、检查者、辅助者等)在任意阶段中向裂隙灯显微镜1输入被检者信息。输入的被检者信息保存于控制部7。典型地,被检者信息包括被检者的识别信息(被检者ID)
而且,能够进行背景信息的输入。背景信息是与被检者有关的任意信息,作为其例子,具有被检者的问诊信息、被检者在预定单子上填写的信息、被检者的电子病历中记录的信息等。典型地,背景信息具有性别、年龄、身高、体重、疾病名称、候补疾病名称、检查结果(视力值、眼屈光度值、眼压值等)、屈光矫正工具(眼镜、隐形眼镜等)的佩戴史、度数、检查史、治疗史等。这些为例示,背景信息不限于这些。
另外,作为拍摄的准备,调整设置有裂隙灯显微镜1的工作台、被检者就坐的椅子、裂隙灯显微镜1的颚托座(均省略图示)。例如,对工作台、椅子、颚托座进行高度调整。在颚托座上设置有用于使被检者的脸部稳定配置的颚托部和额挡。
若完成准备,则被检者坐在椅子上,将下颚放置于颚托,使额头与额挡抵接。在这些工作之前或之后,用户进行用于开始被检眼的拍摄的指示操作。该操作例如是按下未图示的拍摄开始触发按钮、输入指示声音等。或者,控制部7可以检测准备阶段的完成来自动转移到拍摄阶段。另外,可以向被检者(被检眼E或其对侧眼)提示未图示的固视视标。
<第一工作例>
参照图6说明在上述准备之后执行的第一工作例。
(S1:对准)
对应于拍摄开始,裂隙灯显微镜1首先进行照明系统2和拍摄系统3相对于被检眼E的对准。与用于使光学系统光轴与被检眼E的角膜顶点或瞳孔中心重合的一般的对准不同,步骤S1的对准为了使照明系统2和拍摄系统3配置于在步骤S2中进行的前眼部扫描的开始位置而执行。
步骤S1的对准方式可以是任意的,例如,可以是立体对准、使用浦肯野像的手动或自动对准、使用光杠杆的手动或自动对准和使用对准指标的手动或自动对准中的任意一种。
在几个方式中,通过这样的以往方法执行以角膜顶点或瞳孔中心为目标的对准。而且,控制部7将通过以角膜顶点或瞳孔中心为目标的对准而移动的照明系统2和拍摄系统3进一步移动到扫描开始位置(与其对应的位置)。
在其它几个方式中,最初开始以扫描开始位置作为目标执行对准。该对准例如包括对前眼部的图像(例如,从正面或斜方的图像)进行分析来特定扫描开始位置(例如,前述的角膜的第一端部或相对于第一端部在与被检眼E的轴相反的方向上隔开预定距离的位置)的处理、将照明系统2和拍摄系统3移动到与所特定的扫描开始位置对应的位置的处理。
可以在对准的开始前、执行中和/或结束后执行预定的工作。例如,可以进行摄像元件5的调整、焦点调整。
(S2:前眼部扫描)
裂隙灯显微镜1以前述的要领对由照明系统2进行的裂隙光的照射、由拍摄系统3进行的动态拍摄、由移动机构6进行的照明系统2和拍摄系统3的移动进行组合,由此扫描被检眼E的前眼部。通过一次扫描(从扫描开始位置到扫描结束位置的扫描),例如获得图3示出的图像组(多个前眼部图像)F1~FN。另外,选择部81A从通过扫描收集到的图像组选择满足预定条件的一个以上的图像。
数据处理部8可以对通过扫描获得的图像实施预定的处理。例如,能够适用噪声去除、对比度调整、亮度调整、颜色校正等任意信号处理和任意图像处理。
(S3:评价图像组的质量)
图像组评价部81对通过步骤S2的前眼部扫描收集到的图像组的质量进行评价。
(S4:质量良好?)
在步骤S3中判断为图像组的质量良好的情况下(S4:是),工作转移到步骤S5。另一方面,在步骤S3中判断为图像组的质量不良的情况下(S4:否),工作转移到步骤S6。
(S5:输出图像组)
在步骤S3中判断为图像组的质量良好的情况下(S4:是),控制部7进行用于输出该图像组的控制。在本例中,控制部7控制通信部9,从而将图像组发送到其它装置。
作为成为图像组的发送目的地的装置的例子,具有信息处理装置和存储装置。信息处理装置例如为广域线路上的服务器、LAN上的服务器、计算机终端等。存储装置是设置于广域线路上的存储装置、设置于LAN上的存储装置等。
在步骤S5中输出的图像组可以包括前述的背景信息。或者,背景信息可以是图像组的附带信息。一般地,在步骤S5中输出的信息的数据结构可以是任意的。
另外,典型地,在步骤S5中发送的图像组包括被检者的右眼的前眼部的一系列图像和左眼的前眼部的一系列图像。右眼的一系列图像和左眼的一系列图像是将本例的工作分别适用于右眼和左眼而获得的。右眼的一系列图像和左眼的一系列图像分别附带前述的被检眼信息,由此辨别右眼的一系列图像和左眼的一系列图像。
被检者的识别信息与图像组一起发送。该识别信息可以是输入到裂隙灯显微镜1的被检者ID,也可以是根据被检者ID生成的识别信息。例如,能够将在设置有裂隙灯显微镜1的施设内的个人识别中所使用的被检者ID(内部识别信息)变换为在该施设外使用的外部识别信息。由此,能够实现提高图像组、背景信息等与个人信息有关的信息安全。
(S6:促使重新拍摄)
在步骤S3中判断为图像组的质量不良的情况下(S4:否),控制部7进行用于获取新图像组的控制。在本例中,控制部7执行用于促使用户重新拍摄的信息进行显示和/或声音输出的控制。用户进行用于开始进行重新拍摄的指示操作或不进行重新拍摄的指示操作。
在用户进行用于开始进行重新拍摄的指示操作的情况下,控制部7进行用于再次执行从步骤S1(或步骤S2)起的工作的控制。重新拍摄例如以预定次数为上限而重复进行。
另一方面,在用户进行不进行重新拍摄的指示操作的情况下,控制部7例如进行用于将判断为并非是质量良好的图像组发送到其它装置的控制。或者,控制部7可以进行用于删除、保存或记录判断为并非是质量良好的图像组的控制。
在步骤S5(或S6)中从裂隙灯显微镜1发送来的图像组直接或间接地被发送到信息处理装置。该信息处理装置的典型的例子是医生(或验光师)所使用的前述的图像读取终端。
医生能够使用图像读取终端对图像组所包括的一系列图像(例如,图3示出的一系列图像F1~FN)进行图像读取。另外,能够构建基于一系列图像的三维图像、显示该三维图像的渲染图像以及显示背景信息。而且,能够通过图像读取终端或其它信息处理装置来分析一系列图像中的任一个、分析三维图像、分析渲染图像以及分析背景信息。
医生能够使用图像读取终端创建记录有通过图像读取获得的信息的报告(图像读取报告)。图像读取报告例如被提供给设置有裂隙灯显微镜1的施设、被检者等指定的医疗机关、被检者等指定的医生所使用的信息处理装置、被检者登记的地址(电子邮件地址、住所等)等。另外,可以将图像读取报告发送给预定数据库系统,并使其保管和管理图像读取报告。
作为成为在步骤S5(或步骤S6)中从裂隙灯显微镜1发送来的图像组的发送目的地的信息处理装置的其它例,具有图像读取装置。图像读取装置包括图像读取处理器。图像读取处理器例如按照图像读取用程序进行工作,并对图像组所包括的一系列图像进行分析而获得意见。而且,图像读取处理器基于获取到的意见创建报告。
图像读取处理器可以包括使用学习过模型(推断模型)进行图像读取的人工智能引擎。典型地,该人工智能引擎包括使用训练数据训练的卷积神经网络(CNN),该训练数据包括由裂隙灯显微镜获取到的多个图像和它们的图像读取信息。
在图像读取装置包括人工智能引擎并且裂隙灯显微镜1(数据处理部8)包括人工智能引擎的情况下,这些人工智能引擎能够调整为具有同等的能力。也就是说,能够调整为在图像读取装置的人工智能引擎与裂隙灯显微镜1的人工智能引擎之间没有差异(差异小)。而且,换言之,设置于图像读取装置的人工智能引擎可以与设置于裂隙灯显微镜1的前述的人工智能引擎至少部分相同。
例如,能够对两者的人工智能引擎适用相同的神经网络模型和相同的参数。另外,能够使两者的人工智能引擎中的模型、参数的更新同步。
通过这样的人工智能引擎的统一调整,能够防止裂隙灯显微镜1的人工智能引擎的输出和图像读取装置的人工智能引擎的输出之间产生矛盾和误差的缺陷。另外,如上所述,在从裂隙灯显微镜1发送图像组之前进行的质量评价是对用于有效地进行图像读取和诊断所需的图像质量进行评价,因此通过进行人工智能引擎的统一调整,能够适当地进行发送前的图像组的质量评价。也就是说,能够在从裂隙灯显微镜1发送之前将由图像读取装置的人工智能引擎能够图像读取的图像组作为“能够图像读取的图像组”以高准确度进行评价,另外,能够在从裂隙灯显微镜1发送之前将由图像读取装置的人工智能引擎不能图像读取的图像组作为“不能图像读取的图像组”以高准确度进行评价。
此外,在不进行这样的人工智能引擎的统一调整的情况或依赖其它图像读取装置(包括模型和/或参数不同的人工智能引擎)进行图像读取的情况等下,能够使图像集附带裂隙灯显微镜1的人工智能引擎的处理条件(表示模型、参数等)以及使图像集附带图像读取装置的人工智能引擎的处理条件。
根据这样的第一工作例,在通过第一次扫描获得质量良好的图像组的情况下,能够将该图像组提供给以后的处理(图像读取等)。另外,在通过第一次扫描未获得质量良好的图像组的情况下,能够再次获取图像组。更一般地,能够将拍摄反复进行直到获取到质量良好的图像组。因此,即使在通过第一次扫描获得质量良好的图像组的情况下或未获得的情况下,均能够将质量良好的图像组提供给以后的处理。以上,结束第一工作例的说明。
<第二工作例>
参照图7说明裂隙灯显微镜1的第二工作例。
第一工作例以直到获得质量良好的图像组(通过一次扫描收集到的一系列图像)为止反复进行前眼部扫描(拍摄)的方式执行,但是本工作例以直到获得质量良好的图像集(例如,排列在预定的扫描范围的一系列图像)为止反复进行前眼部扫描(拍摄)的方式执行。
换言之,在第一工作例中最终获得的数据是通过一次扫描收集到的一系列图像,与此相对,在本工作例中最终获得的数据例如是排列在预定的扫描范围的一系列图像。即,在本工作例中最终获得的数据可以是与第一工作例同样的通过一次扫描获得一系列图像,或也可以是与第一工作例不同的从通过两次以上的扫描获得的两个以上的图像组选择的一系列图像。
本工作例的步骤S11~S13可以分别以与第一工作例的步骤S1~S3相同的要领来执行。因而,省略与步骤S11~S13有关的说明。另外,只要不特别提及,能够将在第一工作例中说明的事项与本工作例组合。
(S14:质量良好?)
在步骤S13中判断为图像组的质量良好的情况下(S14:是),工作转移到步骤S15。另一方面,在步骤S13中判断为图像组的质量不良的情况下(S14:否),工作转移到步骤S16。
(S15:输出图像组)
在步骤S13中判断为通过第一次扫描收集到的图像组的质量良好的情况下(S14:是),控制部7进行用于输出该图像组的控制。与第一工作例同样地,控制部7通过控制通信部9,能够将该图像组发送到其它装置。
(S16:促使重新拍摄)
在步骤S13中判断为图像组的质量不良的情况下(S14:否),控制部7进行用于促使用户重新拍摄的控制。用户进行用于开始进行重新拍摄的指示操作或不进行重新拍摄的指示操作。
此外,以下,在本工作例中,说明进行重新拍摄的情况。在不进行重新拍摄的情况下,在本工作例中也能够执行与第一工作例相同的工作。
(S17:对准)
若用户进行用于开始进行重新拍摄的指示操作,则控制部7以与步骤S11相同的要领来执行对准。
(S18:前眼部扫描)
若完成了步骤S17的对准,则裂隙灯显微镜1以与步骤S12相同的要领对被检眼E的前眼部进行扫描。由此,获得新图像组。
(S19:图像选择)
选择部821从包括通过步骤S12的前眼部扫描收集到的图像组和通过步骤S19的前眼部扫描收集到的图像组的图像的集合中选择满足预定条件的一个以上的图像。此外,在步骤S14中判断为两次以上“否”的情况下,选择部821从包括通过步骤S12的前眼部扫描收集到的图像组和通过两次以上进行的步骤S19的前眼部扫描接收到的两个以上的图像组的图像的集合中选择满足预定条件的一个以上的图像。
在几个例示性方式中,如上所述,步骤S18和步骤S19的工作可以是使扫描以及图像选择交替地重复的工作以及在执行所有扫描之后进行图像选择的工作中的任一个。通过这样的扫描以及图像选择的联动工作,从通过两次以上的扫描获得两个以上的图像组中选择一系列图像。此外,在后述的第二方式中说明关于扫描以及图像选择的交替重复的具体例。
(S20:创建图像集)
图像集创建部82创建包括在步骤S19中选择的一系列图像的图像集。
(S21:评价图像集的质量)
图像集评价部83对在步骤S20中创建的图像集的质量进行评价。
(S14:质量良好?)
在步骤S21中判断为图像集的质量良好的情况下(S14:是),工作转移到步骤S15。另一方面,在步骤S21中判断为图像集的质量不良的情况下(S14:否),工作转移到步骤S16,再次执行步骤S16~S14。
(S15:输出图像集)
在步骤S14中判断为图像集的质量良好的情况下(S14:是),控制部7进行用于输出该图像集的控制。在本例中,控制部7控制通信部9,从而将图像集发送到其它装置。
图像集的发送目的地可以与图像组的发送目的地相同,也可以不同。输出的图像集可以包括前述的背景信息。或者,背景信息可以是图像集的附带信息。与图像组的情况同样地,发送的图像集可以包括被检者的右眼的前眼部的一系列图像和左眼的前眼部的一系列图像,而且,右眼的一系列图像和左眼的一系列图像可以分别附带被检眼信息。另外,被检者的识别信息可以与图像集一起发送。
在步骤S15中从裂隙灯显微镜1发送来的图像集直接或间接地被发送到信息处理装置。该信息处理装置的典型的例子是医生(或验光师)所使用的前述的图像读取终端。
医生能够使用图像读取终端对图像集所包括的一系列图像进行图像读取。另外,能够构建基于一系列图像的三维图像、显示该三维图像的渲染图像、以及显示背景信息。而且,能够分析一系列图像中的任一个、分析三维图像、分析渲染图像、以及分析背景信息。
医生能够使用图像读取终端来创建记录有通过图像集的图像读取获得的信息的报告(图像读取报告)。读取报告例如被提供给设置有裂隙灯显微镜1的施设、被检者等指定的医疗机关、被检者等指定的医生所使用的信息处理装置、被检者登记的地址(电子邮件地址、住所等)等。另外,可以将图像读取报告发送给预定数据库系统,并使其保管和管理图像读取报告。
作为成为在步骤S15中从裂隙灯显微镜1发送来的图像集的发送目的地的信息处理装置的其它例,具有图像读取装置。图像读取装置包括图像读取处理器。图像读取处理器例如按照图像读取用程序进行工作,并对图像集所包括的一系列图像进行分析而获得意见。而且,图像读取处理器基于获取到的意见创建报告。
图像读取处理器可以包括使用学习过模型(推断模型)进行图像读取的人工智能引擎。典型地,该人工智能引擎包括使用训练数据训练的卷积神经网络(CNN),该训练数据包括由裂隙灯显微镜获取到的多个图像和它们的图像读取信息。
在图像读取装置包括人工智能引擎并且裂隙灯显微镜1(数据处理部8)包括人工智能引擎的情况下,这些人工智能引擎能够调整为具有同等的能力。也就是说,能够调整为图像读取装置的人工智能引擎与裂隙灯显微镜1的人工智能引擎之间没有差异(差异小)。进而,换言之,设置于图像读取装置的人工智能引擎可以与设置于裂隙灯显微镜1的前述的人工智能引擎至少部分相同。例如,能够对两者的人工智能引擎适用相同的神经网络模型和相同的参数。另外,能够使两者的人工智能引擎中的模型、参数的更新同步。也就是说,能够在裂隙灯显微镜1与图像读取装置之间进行人工智能引擎的统一调整。在不进行这样的人工智能引擎的统一调整的情况下、依赖其它图像读取装置(包括模型和/或参数不同的人工智能引擎)进行读取的情况等下,能够使图像集附带裂隙灯显微镜1的人工智能引擎的处理条件(表示模型、参数等)以及使图像集附带图像读取装置的人工智能引擎的处理条件。
根据这样的第二工作例,在通过第一次扫描获得质量良好的图像组的情况下,能够将该图像组提供给以后的处理(图像读取等)。另外,在通过第一次扫描未获得质量良好的图像组的情况下,能够获取新图像组的同时,从直到该时刻为止获得的两个以上的图像组中选择一系列图像来创建质量良好的图像集。更一般地,能够反复进行拍摄直到获得质量良好的图像集。因此,在通过第一次扫描获得质量良好的图像组的情况下,能够将该图像组提供给以后的处理,并且在通过第一次扫描未获得质量良好的图像组的情况下,能够根据通过两次以上的扫描获得的两个以上的图像组来创建质量良好的图像集而提供给以后的处理。以上,结束第二工作例的说明。
此外,本方式的裂隙灯显微镜1所能够执行的工作并不限定于上述的两个例子。例如,裂隙灯显微镜1能够进行至少基于在本方式中说明的事项、其变形以及任意的公知技术中的任一个或两个以上的工作。
<效果等>
说明本方式的裂隙灯显微镜1的几个特征、几个作用以及几个效果。
裂隙灯显微镜1包括扫描部(照明系统2、拍摄系统3以及移动机构6)、图像组评价部81(第一评价部)以及控制部7。扫描部利用裂隙光扫描被检眼E的前眼部来收集图像组。图像组评价部81对由扫描部收集到的图像组的质量进行评价。控制部7根据由第一评价部获取到的质量的评价结果来选择性地执行预定的两个以上的控制。
如上所述,使用以往的裂隙灯显微镜获得良好的图像需要细微且繁杂的操作,另一方面,在专利文献3、4所公开的远程操作技术中,必须从远程位置进行这样难的操作,因此认为获得具有能够经得起诊断(图像读取)的质量的图像非常困难。另外,裂隙灯显微镜在筛查等中发挥其威力,但是若考虑到远程操作的困难性,则可以说将裂隙灯显微镜用于远程医疗在以往的技术中不可能实现。
与此相对,根据本方式的裂隙灯显微镜1,首先,构成为对被检眼E的前眼部进行扫描来收集图像组,因此不需要进行以往那样由医生进行远程操作。
另外,能够由裂隙灯显微镜本身对扫描前眼部而收集到的图像组的质量进行评价,因此在提供给医生、图像读取装置之前能够确认图像组的质量。
而且,能够根据图像组评价部81对图像组的质量的评价结果来切换控制内容,因此在获得了质量良好的图像组的情况下,能够执行与之相应的合适处理,另外,在未获得质量良好的图像组的情况下,能够执行与之相应的合适处理。
这样,根据本方式的裂隙灯显微镜1,能够将通过扫描前眼部获得质量良好的图像组提供给医生、图像读取装置,因此能够广泛地提供高质量的裂隙灯显微镜检查。
另外,以往,医生一边从远程位置进行操作,一边进行诊察,在本方式中,医生仅读取预先获取到的图像组即可。也就是说,在本方式中,能够将医生从拍摄的工作和时间中解放出来,集中于图像读取。因此,在本方式中有助于扩大高质量的裂隙灯显微镜检查的提供范围。
本方式的裂隙灯显微镜1可以还包括用于进行数据通信的通信部9。另外,控制部7可以构成为在图像组评价部81评价为由扫描部收集到的图像组的质量良好的情况下,控制通信部9,以使得向预定的外部装置(例如,图像读取终端、图像读取装置)发送该图像组。
根据该结构,与获得质量良好的图像组对应地,例如能够将该图像组提供给位于远程位置的医生、位于远程位置的图像读取装置。
在本方式中,控制部7可以构成为在图像组评价部81评价为图像组的质量不良的情况下,执行用于使扫描部执行对被检眼E的前眼部的新扫描的控制。这是能够选择性地执行的控制内容的一个例子。此外,用于使扫描部执行新扫描的控制例如可以是用于促使用户进行重新拍摄的控制或用于自动地进行重新拍摄的控制(用于自动地转移到重新拍摄的控制)。
根据该结构,在通过一次扫描未获得质量良好的图像组的情况下,能够顺利地转移到重新拍摄(重新扫描)。
本方式的裂隙灯显微镜1可以还包括图像集创建部82。图像集创建部82构成为从包括由前眼部的扫描已经获得的图像组和通过新扫描收集到的新图像组的两个以上的图像组中选择与预定的扫描范围对应的一系列图像来创建图像集。
根据该结构,在对前眼部适用两次以上的扫描的情况下,能够通过从由此获得两个以上的图像组中选择的一系列图像来创建图像集,获得质量良好的图像集的可能性提高。例如,即使在执行某一扫描时发生眨眼、眼球运动而未获得良好的图像的情况下,也能够使用通过其它扫描获得的图像将其补充。
图像集创建部82可以包括选择部821,该选择部821从通过两次以上的扫描获取到的两个以上的图像组中选择满足预定条件的图像。
根据该结构,为了创建图像集,能够选择满足预定条件的良好的图像。
例如,选择部821可以构成为从两个以上的图像组中选择包括照射于被检眼E的前眼部的裂隙光的反射像的图像。由此,能够将在发生眨眼时拍摄到的图像(未描绘有前眼部的图像)排除来创建图像集。
选择部821可以构成为通过相邻的图像的比较而从两个以上的图像组中选择图像。
根据该结构,能够将在发生眼球运动时拍摄到的图像(产生了位置不对齐的图像)排除来创建图像集。
在本方式中,可以对扫描范围设定多个位置(B1~BN)。而且,选择部821可以构成为进行图像选择,以使得对多个位置(B1~BN)的每一个分配一个以上的图像。
根据该结构,获得分别与扫描范围中的多个位置(B1~BN)对应的多个图像(F1~FN)。
此外,典型地,对多个位置(B1~BN)各分配一个图像,但是也能够对多个位置(B1~BN)的任意一个分配两个以上的图像。例如,能够将分配给某个位置Bn的两个以上的图像相加并平均来降低噪声。另外,医生能够对分配给某个位置Bn的两个以上的图像进行比较而进行取舍选择。另外,能够对某个位置Bn分配以彼此不同的条件(波长、荧光剂施加的有无等)拍摄到的两个以上的图像。
在本方式中,控制部7可以构成为控制扫描部和选择部821,以使得交替反复地进行对被检眼E的前眼部适用一次(以上)扫描和从通过该一次(以上)扫描收集到的一个(以上)图像组选择图像。也就是说,裂隙灯显微镜1可以构成为为了获取图像集所包括的一系列图像,进行扫描以及图像选择的交替反复。
在扫描以及图像选择的交替反复中,扫描期间和图像选择期间可以局部重复,也可以彼此分离。也就是说,可以使扫描以及图像选择局部地并行执行,也可以使扫描以及图像选择在时间上排他性地执行。
选择部821可以构成为在扫描以及图像选择的交替反复中,从通过已经进行的一次以上的扫描收集到的一个以上的图像组选择图像来创建临时图像集。也就是说,选择部821可以构成为根据通过到当前时刻为止进行的一次以上的扫描收集到的一个以上的图像组来创建临时图像集。
而且,选择部821可以构成为在扫描以及图像选择的交替反复中,在对被检眼E的前眼部适用新的扫描时,执行从通过该新的扫描收集到的新图像组选择图像的处理和将从该新图像组选择的图像附加于基于在该新的扫描之前进行的一次以上的扫描的临时图像集由此创建新的临时图像集的处理。也就是说,选择部821可以构成为在每次对前眼部适用扫描时,依次地从由此收集到的图像组选择图像并追加于临时图像集。更一般地,在一次以上的扫描之后对前眼部适用新扫描时,选择部821可以构成为从通过该新扫描收集到的新图像组中选择图像而更新临时图像集。在此,“更新”并不限定于“追加”,例如也可以是“替换”、“合成(例如,加和平均)”等。
根据以上的进行扫描以及图像选择的交替反复的结构,能够一边从通过各扫描获得的图像组依次地选择图像,一边获取与扫描范围对应的一系列图像,并创建图像集。而且,能够从通过各扫描获得的图像组依次选择良好的图像。
控制部7可以构成为控制扫描部和选择部821,以使得在临时图像集所包括的图像的数量达到预定数量时,结束扫描的适用与图像选择的交替反复。而且,图像集创建部82可以构成为基于扫描的适用和图像选择的交替反复结束时的临时图像集来创建图像集。
根据该结构,若获得用于创建图像集所需的足够数量的图像,则能够自动地结束扫描以及图像选择的交替反复,所以能够有效地进行拍摄和图像集创建。
控制部7可以构成为控制扫描部和选择部821,以使得在扫描的适用和图像选择的交替反复的次数达到预定次数时,结束扫描的适用与图像选择的交替反复。而且,图像集创建部82可以构成为基于扫描的适用和图像选择的交替反复结束时的临时图像集来创建图像集。
根据该结构,能够防止用于创建图像集的拍摄花费长的时间的情况。
代替如上所述的扫描以及图像选择的交替重复,裂隙灯显微镜1可以构成为在集中进行多次扫描之后进行图像选择。具体地,在评价为由扫描部收集到的图像组的质量不良的情况下,控制部7可以构成为在控制扫描部以使得对前眼部适用两次以上的扫描之后,控制选择部821以使得从包括通过该两次以上的扫描收集到的两个以上的图像组和通过之前执行的扫描收集到的图像组的三个以上的图像组中选择图像。而且,图像集创建部82可以构成为创建包括由选择部821选择的一系列图像的图像集。
本方式的裂隙灯显微镜1可以还包括对由图像集创建部82创建的图像集的质量进行评价的图像集评价部83。例如,关于图像集所包括的一系列图像,图像集评价部83能够对排列顺序、图像缺失以及错位中的任一个进行评价。通过对图像集中的一系列图像进行分析来进行该评价。例如,基于一系列帧中的特征点(与角膜、虹膜、瞳孔等组织对应的图像区域)来进行一系列图像的质量评价。
通过进行这样的图像集的评价,能够准备能够使医生、图像读取装置有效地实施图像读取的质量良好的图像集。
本方式的裂隙灯显微镜1可以还包括输出部。而且,控制部7可以构成为:在由图像集评价部83评价为图像集的质量良好的情况下,进行用于使输出部输出该图像集的控制。在此,输出部例如可以是用于将图像集发送给外部装置的通信部9、保存图像集的存储装置(数据库等)、将图像集写入存储介质的存储设备(数据写入器、驱动装置等)和将图像集所包括的信息存储于印刷介质的打印机中的任一个。
根据该结构,为了提供给医生或图像读取装置,能够输出质量良好的图像集。
在本方式中,控制部7可以构成为在由图像集评价部83评价为图像集的质量不良的情况下,进行用于获取新的图像集的控制。该控制例如可以是用于促使用户重新拍摄的控制或用于自动地开始重新拍摄(扫描以及图像集创建的再次执行)的控制。
本方式的裂隙灯显微镜1通过以下结构实现利用裂隙光扫描前眼部。即,扫描部包括照明系统2、拍摄系统3以及移动机构6。照明系统2向被检眼E的前眼部照射裂隙光。拍摄系统3从与照明系统2不同的方向拍摄前眼部。移动机构6使照明系统2和拍摄系统3移动。拍摄系统3与由移动机构6进行的照明系统2和拍摄系统3的移动并行地进行重复拍摄。该重复拍摄例如是预定拍摄率的动态拍摄。
在本方式中,移动机构6在利用裂隙光进行的前眼部的扫描中使照明系统2和拍摄系统3在X方向上移动。另外,移动机构6可以在对准中能够使照明系统2和拍摄系统3三维地移动。
而且,本方式的裂隙灯显微镜1为了一次拍摄例如从角膜前表面到晶状体后表面的范围,可以具有作为沙氏相机的功能。为此,拍摄系统3可以包括对来自照射有裂隙光的前眼部的光进行引导的光学系统4和利用摄像面接收由光学系统4引导来的光的摄像元件5。而且,裂隙灯显微镜1可以构成为沿着照明系统2的光轴的物面、光学系统4和摄像元件5(摄像面)满足沙氏条件。
在本方式中,图像组评价部81的结构和工作是任意的。图像组评价部81可以包括以下示出的优选例(图像组评价部81A、81B、81C)中的任一个以上。
图像组评价部81A构成为使用通过机器学习构建的推断模型812A对由扫描部收集到的图像组的质量进行评价,所述机器学习使用了包括多个前眼部图像的训练数据。
在此,训练数据所包括的多个前眼部图像的每一个可以附带表示能够读取或不能读取的标签。而且,推断模型812A可以构建成通过使用所述训练数据的监督学习,将利用裂隙光扫描前眼部而获得的图像设为输入且将图像读取可能性设为输出。
在由裂隙灯显微镜1获得的图像组(或图像集)被提供给搭载有使用推断模型进行图像读取的人工智能引擎的图像读取装置的情况下,设置于裂隙灯显微镜1的推断模型812A可以与设置于图像读取装置的推断模型相同或类似。
图像组评价部81B包括三维图像构建部811B、比较部812B以及评价处理部813B。三维图像构建部811B构成为根据由扫描部收集到的图像组构建三维图像。比较部812B构成为将由三维图像构建部811B构建的三维图像与一个以上的预定的基准三维图像进行比较。评价处理部813B构成为基于由比较部812B获得的比较结果来进行该图像组的质量的评价。
在此,通过比较部812B参照的一个以上的预定的基准三维图像可以包括与正常眼对应的一个以上的基准三维图像以及与患眼对应的一个以上的基准三维图像中的任一者或两者。也就是说,通过比较部812B参照的一个以上的预定的基准三维图像可以仅包括与正常眼对应的一个以上的基准三维图像,也可以仅包括与患眼对应的一个以上的基准三维图像,也可以包括与正常眼对应的一个以上的基准三维图像和与患眼对应的一个以上的基准三维图像两者。
另外,比较部812B可以构成为通过执行由三维图像构建部811B构建的三维图像与一个以上的预定的基准三维图像分别进行匹配来计算预定的参数的值。而且,评价处理部813B可以构成为基于由比较部812B计算出的值对图像组的质量进行评价。
图像组评价部81C包括评价数据生成部811C和评价处理部812C。评价数据生成部811C构成为根据由扫描部收集到的图像组所包括的图像求出画质评价数据。评价处理部812C构成为基于由评价数据生成部811C生成的画质评价数据对该图像组的质量进行评价。
在此,评价数据生成部811C可以构成为执行在由扫描部收集到的图像组所包括的图像中特定与前眼部的组织相当的组织图像区域和背景区域的处理、创建表示组织图像区域中的亮度的度数分布的第一直方图的处理、创建表示背景区域中的亮度的度数分布的第二直方图的处理、以及根据第一直方图和第二直方图对作为画质评价数据的画质评价值进行计算的处理。
〈第二方式〉
在本方式中,说明能够适用于第一方式的裂隙灯显微镜1的光学系统的结构及其应用。在图8中示出本方式的光学系统的结构的一个例子。此外,除了图8示出的要件组之外,也可以设置其它方式示出的要件。例如,可以设置第一方式的控制部7、数据处理部8、通信部9等。只要没有特别提及,能够使用第一方式的事项。
图8示出的照明系统20是第一方式的照明系统2的例子,左拍摄系统30L和右拍摄系统30R是拍摄系统3的例子。以下,有时将照明系统20记载为照明系统2,将左拍摄系统30L和/或右拍摄系统30R记载为拍摄系统3。在几个方式中,可以构成为,仅设置左拍摄系统30L和右拍摄系统30R中的一者,将其作为拍摄系统3的例子。附图标记20a表示照明系统20的光轴(照明光轴),附图标记30La表示左拍摄系统30L的光轴(左拍摄光轴),附图标记30Ra表示右拍摄系统30R的光轴(右拍摄光轴)。左拍摄光轴30La和右拍摄光轴30Ra配置为彼此不同的朝向。用θL表示照明光轴20a与左拍摄光轴30La所成的角度,用θR表示照明光轴20a与右拍摄光轴30Ra所成的角度。角度θL和角度θR可以彼此相等,也可以不同。照明光轴20a、左拍摄光轴30La和右拍摄光轴30Ra在一点交叉。与图1同样地,用Z0表示该交点的Z坐标。
移动机构6能够使照明系统20、左拍摄系统30L和右拍摄系统30R在用箭头49表示的方向(X方向)上移动。典型地,照明系统20、左拍摄系统30L和右拍摄系统30R载置于至少能够在X方向上移动的工作台上,并且,移动机构6按照来自控制部7的控制信号使该可动工作台移动。
照明系统20向被检眼E的前眼部照射裂隙光。与以往的裂隙灯显微镜的照明系统同样,照明系统20从远离被检眼E的一侧依次包括照明光源21、正透镜22、裂隙形成部23和物镜组24、25。
从照明光源21输出的照明光(典型地为可见光)被正透镜22折射并投射于裂隙形成部23。被投射的照明光的一部分通过裂隙形成部23所形成的裂隙而变成裂隙光。生成的裂隙光在被物镜组24、25折射后,被分束器47反射,并照射于被检眼E的前眼部。
左拍摄系统30L包括反射器31L、成像透镜32L和摄像元件33L。反射器31L和成像透镜32L将来自由照明系统20照射有裂隙光的前眼部的光(向左拍摄系统30L的方向行进的光)引导至摄像元件33L。
从前眼部向左拍摄系统30L的方向行进的光是来自照射有裂隙光的前眼部的光,是向远离照明光轴20a的方向行进的光。反射器31L向接近照明光轴20a的方向反射该光。成像透镜32L将被反射器31L反射的光折射并在摄像元件33L的摄像面34L上成像。摄像元件33L利用摄像面34L接收该光。
与第一方式同样地,左拍摄系统30L与由移动机构6进行的照明系统20、左拍摄系统30L和右拍摄系统30R的移动并行地进行重复拍摄。由此,获得多个前眼部图像(图像组)。
与第一方式同样地,沿着照明光轴20a的物面、包括反射器31L和成像透镜32L的光学系统和摄像面34L满足沙氏条件。更具体地说,若考虑通过反射器31L使拍摄系统30L的光路偏转,则通过照明光轴20a的YZ面(包括物面)、成像透镜32L的主面和摄像面34L在同一直线上交叉。由此,左拍摄系统30L能够对焦于物面内的所有位置(例如,从角膜前表面到晶状体后表面的范围)并进行拍摄。
右拍摄系统30R包括反射器31R、成像透镜32R和摄像元件33R。与左拍摄系统30L同样地,右拍摄系统30R利用反射器31R和成像透镜32R将来自通过照明系统20照射有裂隙光的前眼部的光引导至摄像元件33R的摄像面34R。而且,与左拍摄系统30L同样地,右拍摄系统30R通过与由移动机构6进行的照明系统20、左拍摄系统30L和右拍摄系统30R的移动并行地进行重复拍摄,由此获取多个前眼部图像(图像组)。与左拍摄系统30L同样地,沿着照明光轴20a的物面、包括反射器31R和成像透镜32R的光学系统和摄像面34R满足沙氏条件。
控制部7能够使由左拍摄系统30L进行的重复拍摄和由右拍摄系统30R进行的重复拍摄同步。由此,获得由左拍摄系统30L获得的多个前眼部图像与由右拍摄系统30R获得的多个前眼部图像之间的对应关系。该对应关系是时间上的对应关系,更具体地说,将实质上同时获取到的图像彼此配对。
或者,控制部7或数据处理部8能够执行求出由左拍摄系统30L获得的多个前眼部图像与由右拍摄系统30R获得的多个前眼部图像之间的对应关系的处理。例如,控制部7或数据处理部8能够将从左拍摄系统30L依次输入的前眼部图像和从右拍摄系统30R依次输入的前眼部图像按照它们的输入时刻进行配对。
本方式还包括动态拍摄部40。动态拍摄部40与由左拍摄系统30L和右拍摄系统30R进行的拍摄并行地从固定位置动态拍摄被检眼E的前眼部。“从固定位置动态拍摄”表示,当为了扫描前眼部,照明系统20、左拍摄系统30L和右拍摄系统30R移动时,动态拍摄部40不移动。此外,动态拍摄部40也能够进行静态图像拍摄。
本方式的动态拍摄部40与照明系统20同轴地配置,但是其配置不限于此。例如,能够与照明系统20非同轴地配置动态拍摄部。另外,可以设置有以动态拍摄部40具有灵敏度的频带的照明光对前眼部进行照明的光学系统。
透过了分束器47的光被反射器48反射并入射至动态拍摄部40。入射至动态拍摄部40的光在被物镜41折射后,由成像透镜42在摄像元件43的摄像面成像。摄像元件43是区域传感器。摄像元件43例如在可见光和红外部光的任意一者或两者的频带具有灵敏度。
在设置有动态拍摄部40的情况下,能够监控被检眼E的运动并进行跟踪。另外,也能够使用动态拍摄部40进行对准。
按照照明系统20的输出波长和动态拍摄部40的检测波长,分束器47例如是分色镜或半反射镜。
说明本方式的裂隙灯显微镜的几个特征、几个作用以及几个效果。
作为第一方式的拍摄系统3的例子,本方式提供左拍摄系统30L和右拍摄系统30R。左拍摄系统30L和右拍摄系统30R是前述的第一拍摄系统和第二拍摄系统的例子。左拍摄系统30L包括:反射器31L和成像透镜32L(第一光学系统),对来自照射有裂隙光的前眼部的光进行引导;以及摄像元件33L(第一摄像元件),在摄像面34L(第一摄像面)接收被引导来的光。同样地,右拍摄系统30R包括:反射器31R和成像透镜32R(第二光学系统),对来自照射有裂隙光的前眼部的光进行引导;以及摄像元件33R(第二摄像元件),在摄像面34R(第二摄像面)接收被引导来的光。
左拍摄系统30L的光轴(左拍摄光轴30La)和右拍摄系统30R的光轴(右拍摄光轴30Ra)配置为彼此不同的朝向。而且,沿着照明系统20的光轴(照明光轴20a)的物面、反射器31L和成像透镜32L和摄像面34L满足沙氏条件。同样地,该物面、反射器31L和成像透镜32L和摄像面34L满足沙氏条件。
左拍摄系统30L通过与由移动机构6进行的照明系统20、左拍摄系统30L和右拍摄系统30R的移动并行地进行重复拍摄,由此获取第一图像组。同样地,右拍摄系统30R通过与由移动机构6进行的照明系统20、左拍摄系统30L和右拍摄系统30R的移动并行地进行重复拍摄,由此获取第二图像组。
控制部7例如能够对照明系统20、左拍摄系统30L、右拍摄系统30R以及移动机构6进行控制,以使得左拍摄系统30L和右拍摄系统30R并行地对被检眼E的前眼部适用一次扫描。数据处理部8能够从通过该扫描收集到的左右一对图像组中选择与扫描范围对应的一系列图像来创建一个图像组。图像组评价部81能够对创建的图像组的质量进行评价。在评价为该图像组的质量良好的情况下,控制部7能够控制通信部9,以使得将该图像组发送给预定的外部装置。
在评价为该图像组的质量不良的情况下,控制部7能够对照明系统20、左拍摄系统30L、右拍摄系统30R以及移动机构6进行控制,以使得对被检眼E的前眼部适用新扫描(一次以上的扫描)。通过该追加性扫描,左拍摄系统30L收集与一次以上的扫描对应的一个以上的第一图像组,并且右拍摄系统30R收集与一次以上的扫描对应的一个以上的第二图像组。图像集创建部82例如能够从通过第一次扫描和追加性扫描获得的两个以上的第一图像组中选择与扫描范围对应的第一一系列图像来创建第一图像集,并且从通过第一次扫描和追加性扫描获得的两个以上的第二图像组中选择与扫描范围对应的第二一系列图像来创建第二图像集。或者,图像集创建部82可以构成为从通过第一次的扫描和追加性扫描获得的两个以上的第一图像组和两个以上的第二图像组中选择与扫描范围对应的一系列图像来创建图像集。能够将前述的第一方式中的任意事项(结构、控制、处理、作用、功能等)与这样的第二方式进行组合。
根据这样的第二方式,能够分别从彼此不同的方向对照射有裂隙光的前眼部进行动态拍摄。即使在由一个拍摄系统获得的图像包括伪影的情况下,也有时由另一个拍摄系统与该图像实质上同时获得的图像不包括伪影。另外,即使在由两个拍摄系统实质上同时获得的一对图像两者包括伪影的情况下、一个图像中的伪影与关注区域(例如裂隙光照射区域)重叠的情况下,也有时另一个图像中的伪影不与关注区域重叠。因而,能够获得合适的图像的可能性提高。因而,能够更进一步提高获得质量良好的图像组和/或图像集的概率。
此外,拍摄系统3除了包括第一拍摄系统和第二拍摄系统以外,还包括相同结构的第三拍摄系统、…、第K拍摄系统(K是3以上的整数)。由此,光学系统的结构变得复杂,但是能够更进一步提高获得质量良好的图像组和/或图像集的概率。要实施本方式的人能够考虑权衡关系的这些事项(光学系统的复杂度以及获得高质量的图像集的概率)来设计裂隙灯显微镜。
本方式的左拍摄系统30L包括反射器31L和成像透镜32L。反射器31L将是来自照射有裂隙光的前眼部的光且向远离照明光轴20a的方向行进的光向接近照明光轴20a的方向反射。而且,成像透镜32L使被反射器31L反射的光在摄像面34L成像。在此,成像透镜32L包括一个以上透镜。
同样地,右拍摄系统30R包括反射器31R和成像透镜32R。反射器31R将是来自照射有裂隙光的前眼部的光且向远离照明光轴20a的方向行进的光向接近照明光轴20a的方向反射。而且,成像透镜32R使被反射器31R反射的光在摄像面34R成像。在此,成像透镜32R包括一个以上透镜。
根据这样的结构,能够实现装置的小型化。即,由摄像元件33L(33R)获取到的图像通过从摄像面34L(34R)的相反侧的面延伸的电缆输出,但是根据本结构,能够从位于与照明光轴20a比较接近的位置的摄像元件33L(33R)的背面朝向被检眼E的相反方向配置电缆。因而,能够合适地进行电缆的迂回,能够使装置小型化。
另外,根据本结构,能够将角度θL和角度θR设定得大,所以在由一个拍摄系统获取到的图像中包括伪影的情况下,能够提高在由另一个拍摄系统在与该图像实质上同时获取到的图像中不包括伪影的可能性。另外,在由两个拍摄系统实质上同时获取到的一对图像的两者中都包括伪影且一个图像中的伪影与关注区域(例如裂隙光照射区域)重合的情况下,能够降低另一个图像中的伪影与关注区域重合的可能性。
本方式包括动态拍摄部40。左拍摄系统30L和右拍摄系统30R与由移动机构6进行的照明系统20、左拍摄系统30L和右拍摄系统30R的移动并行地重复拍摄前眼部。与该重复拍摄并行地,动态拍摄部40从固定位置动态拍摄前眼部。
根据这样的结构,通过与利用裂隙光进行的前眼部的扫描并行地从固定位置(例如正面)进行动态拍摄,能够掌握扫描中的被检眼E的状态,并按照被检眼E的状态进行控制。
例如,在本方式的裂隙灯显微镜包括第一方式的图像组评价部81(图像集评价部83)的情况下,本方式的裂隙灯显微镜能够对由左拍摄系统30L和/或右拍摄系统30R获得图像组(图像集)是否具有经得起图像读取的质量进行评价。本方式的图像组评价部81(图像集评价部83)能够通过与动态拍摄部40进行组合来进行以下工作。此外,还能够使用用于立体对准的两个以上的前眼部相机、类似的拍摄单元来进行同样的工作。
动态拍摄部40与对被检眼E的前眼部适用扫描并行地从固定位置动态拍摄前眼部。该动态拍摄例如在控制部7的控制下进行。也就是说,控制部7为了扫描被检眼E的前眼部,能够联动地控制照明系统2(照明系统20)、拍摄系统3(左拍摄系统30L和/或右拍摄系统30R)、移动机构6和动态拍摄部40。
在该联动控制中,控制部7能够使拍摄系统3的拍摄率与动态拍摄部40的拍摄率同步。例如,拍摄系统3的拍摄率和动态拍摄部40的拍摄率设定为相等,并且拍摄系统3的拍摄时刻和动态拍摄部40的拍摄时刻一致。由此,能够将在扫描中由拍摄系统3获取到的帧组和由动态拍摄部40获取到的帧组在时间上相关联。
此外,在拍摄率和拍摄时刻的一者或两者不同的情况下,例如允许预定范围内的时间差,由此能够使在扫描中由拍摄系统3获取到的帧组和由动态拍摄部40获取到的帧组在时间上相关联。
能够认为在时间上相关联的一对帧(由拍摄系统3获得的帧和由动态拍摄部40获得的帧的组)实质上同时获取。因而,在考虑在时间上相关联的一对帧时,能够忽略因眼球运动引起的错位。
在这样的前提下,图像组评价部81(图像集评价部83)可以构成为基于由动态拍摄部40获取到的动态图像(帧组),对图像组(图像集)所包括的一系列图像的质量进行评价。
此时,图像组评价部81(图像集评价部83)可以构成为基于图像组(图像集)所包括的一系列图像与由动态拍摄部40获取到的动态图像所包括的一系列帧之间的对应关系,对图像组(图像集)的质量进行评价。即,图像组评价部81(图像集评价部83)可以构成为基于由拍摄系统3获得的帧组与由动态拍摄部40获取到的帧组之间的时间的对应关系,对图像组(图像集)的质量进行评价。而且,图像组评价部81(图像集评价部83)可以构成为基于一系列帧中的特征点和该对应关系,对图像组(图像集)的质量进行评价。
说明一个具体例。在本例中,关于由拍摄系统3获取到的帧组F1~FN(前述)和与其并行地由动态拍摄部40获取到的帧组D1~DN,设为帧Fn与帧Dn相关联(n=1、2、…、N)。
图像组评价部81(图像集评价部83)特定帧组D1~DN的每一个的特征点。特征点例如可以是与虹膜对应的图像区域(虹膜区域)。
接着,图像组评价部81(图像集评价部83)基于在帧组D1~DN中分别特定的N个特征点的位置(例如,空间上的位置的变化),求出帧组D1~DN的排列顺序(空间的排列顺序)。
如上所述,帧组D1~DN按照顺序在时间上排列(时间的排列顺序)。在时间的排列顺序与空间的排列顺序不同的情况下,受到眼球运动的影响而有可能顺序交换或错位。另外,受到眨眼的影响而有可能发生帧的跳跃。
在检测出这样的缺陷的情况下、即时间的排列顺序与空间的排列顺序不同的情况下,图像组评价部81(图像集评价部83)判断为该图像组(图像集)的质量不良。
根据这样的结构,能够与利用裂隙光进行的前眼部的扫描并行地(至少在X方向和Y方向上)获取较大地描绘了前眼部的动态图像,利用该动态图像来检测图像组(图像集)所包括的一系列图像的缺陷。
图像组(图像集)所包括的一系列图像的图像的每一个是在深度方向(Z方向)上延伸的图像。因此,预要根据一系列图像本身识别与Z方向正交的X方向和Y方向上的一系列图像的配置、排列,需要利用第一方式那样的图像处理(图像分析)。
在本例中,对一系列图像不适用图像分析,利用与扫描并行地另行获取到的动态图像来实现一系列图像的质量评价。此外,与第一方式同样地,本例的评价项目可以是一系列图像的排列顺序、图像缺失以及错位中的任一个。另外,还能够将本例的评价处理与在第一方式中说明的任意的评价来处理组合。
说明动态拍摄部40的其它应用。本例的目的在于,例如在评价为通过第一次扫描收集到的图像组的质量不良之后进行两次以上的扫描的情况下,通过对该两次以上的追加性扫描的开始时刻进行调整,防止扫描间的被检眼E的错位。
在本例中,动态拍摄部40也从固定位置拍摄被检眼E的前眼部。控制部7构成为对应于由动态拍摄部40获取到的与基准图像大致相同的图像,使扫描部开始第二扫描,所述基准图像是由动态拍摄部40对应于两次以上的追加扫描中的第一扫描的开始而获取到的图像。
更具体地说明。将为了创建图像集而对前眼部适用的两次以上扫描中的任一次扫描称为第一扫描。在本例中,两次以上扫描中的最先执行的扫描设为第一扫描。
首先,控制部7存储在第一扫描的开始时机由动态拍摄部40获取到的图像(基准图像)。基准图像例如可以是第一扫描开始前开始拍摄的动态图像的帧组中的在与第一扫描的开始时最接近的时间获取到的帧。或者,动态拍摄部40可以通过在控制部7的控制下,在第一扫描的开始时(即将开始前、同时或刚开始后)对前眼部进行静态图像拍摄,从而获取基准图像。
在第一扫描之后执行的任意的扫描(第二扫描)在由动态拍摄部40进行前眼部动态拍摄时开始。控制部7(或数据处理部8)将由动态拍摄部40依次获取的帧与基准图像进行比较。该比较例如可以包括特定特征点的分割、图像匹配、图像相关等任意的图像处理。
若判断为获得了与基准图像大致相同的帧,则控制部7控制照明系统2、拍摄系统3和移动机构6,以使得开始第二扫描。
本例的裂隙灯显微镜重复执行上述的一系列处理,直到对前眼部的扫描适用次数达到用于创建图像集的扫描反复次数为止。由此,能够降低扫描间的被检眼E的错位,能够防止因眼球运动引起的图像集的质量降低。另外,能够实现图像选择的效率化和容易化。
说明本方式的裂隙灯显微镜的工作和使用方式。图9A和图9B示出工作和使用方式的一例。设为在第一方式的工作例中说明的各种准备(在图5的步骤S1之前进行的工作)已经进行。而且,设为第一方式的工作例的对准(步骤S1或步骤S11)、第一次扫描(步骤S2或步骤S12)、图像组的质量的评价(步骤S3或步骤S13)也已经进行。而且,在步骤S3或步骤S13中评价为图像组的质量不良(步骤S4“否”或步骤S14“否”)。图9A的步骤S31例如在步骤S4中判断为“否”或在步骤S14中判断为“否”时开始。
在本例中,假设为在步骤S2或步骤S12中收集到的图像组所包括的一系列图像均被评价为质量不良。因此,通过图9A和图9B的工作创建的图像集不包括在步骤S2或步骤S12中获得的图像。
此外,可以在将通过步骤S2或步骤S12收集到的图像组所包括的一系列图像中的任意图像评价为质量良好的情况下,创建包括该图像的图像集。关于该情况下执行的工作,只要是本领域技术人员,则能够根据图9A和图9B示出的工作来类推。
另外,在本例中,将通过一次的前眼部扫描获得的图像的张数(图像组所包括的图像的数量)设为256张,还将图像集所包括的一系列图像的张数也同样设为256张。另外,扫描的重复次数的上限设为5次。此外,只要不特别提及,能够适用第一方式的事项。
(S31:对准)
首先,以与第一方式的步骤S1相同的要领执行对准。由此,照明系统2(照明系统20)和拍摄系统3(左拍摄系统30L和右拍摄系统30R中的一者。也可以是两者。)配置于与扫描开始位置对应的位置,动态拍摄部40例如配置于被检眼E的正面位置。
(S32:开始动态拍摄)
在完成对准后,开始由动态拍摄部40对前眼部进行的动态拍摄。该动态拍摄的拍摄率可以与后述的前眼部扫描中的拍摄系统3的拍摄率相等。
为了扫描前眼部而使照明系统2和拍摄系统3移动,但是动态拍摄部40从固定位置对前眼部进行动态拍摄。另外,若与动态拍摄并行地进行前眼部扫描,则对由前眼部扫描收集到的图像组与由动态拍摄部40收集到的帧组之间分配前述的对应关系。
动态拍摄的开始时机可以是任意的,例如可以是对准的执行前或执行中。
(S33:前眼部扫描)
与第一方式同样地,裂隙灯显微镜1通过组合由照明系统2进行的裂隙光的照射、由拍摄系统3进行的动态拍摄和由移动机构6进行的照明系统2和拍摄系统3的移动,扫描被检眼E的前眼部。
在本例中,通过一次扫描(从扫描开始位置到扫描结束位置的扫描),获取256张图像。用H1(1)~H1(256)表示通过第一次扫描(在第一次的步骤S33中执行的扫描。以下相同。)获得的256张图像(图像组)。将256张图像H1(1)~H1(256)分配给在扫描范围(将扫描开始位置和扫描结束位置作为两端的X方向的范围)中排序的256个位置。
(S34:选择质量良好的图像)
选择部821以与第一方式相同的要领从在步骤S33中获取到的256张图像H1(1)~H1(256)中选择满足预定的图像选择条件的图像。
在本例中,如图10A所示,第71张~第170张的100张图像H1(71)~H1(170)不满足图像选择条件,第1张~第70张和第171张~第256张的156张图像H1(1)~H1(70)、H1(171)~H1(256)满足图像选择条件。在该情况下,选择部821从256张图像H1(1)~H1(256)中选择第1张~第70张和第171张~第256张的156张图像H1(1)~H1(70)、H1(171)~H1(256)。
(S35:创建临时图像集)
选择部821创建基于到当前时刻为止获得的(一个以上)图像组的临时图像集。在本例的当前阶段,创建包括156张图像H1(1)~H1(70)、H1(171)~H1(256)的临时图像集。
(S36:选择图像张数=预定数?)
选择部821对在之前的步骤S35中创建的临时图像集所包括的图像的张数(选择的图像张数)与预定张数进行比较。如上所述,在本例中,预定张数(图像集所包括的图像张数)设定为256张。
在临时图像集所包括的图像张数达到256张的情况下(S36:是),工作转移到步骤S38。另外,临时图像集所包括的图像张数未达到256张的情况下(S36:否),工作转移到步骤S37。
(S37:扫描次数=预定数?)
选择部821将在到当前阶段为止进行的扫描次数(扫描以及图像选择的交替反复的次数)与预定次数进行比较。如上所述,在本例中,预定次数设定为5次。
在到当前阶段为止进行的扫描次数达到5次的情况下(S37:是),工作转移到步骤S18。另外,在到当前阶段为止进行的扫描次数未达到5次的情况下(S17:否),工作返回到步骤S33。
重复执行步骤S33~步骤37,直到在步骤S36或步骤S37中判断为“是”为止。在步骤S36中判断为“是”相当于准备了与创建图像集所需要的张数(256张)的图像。另外,在步骤S37中判断为“是”相当于扫描以及图像选择反复了上限次数。
(S38:创建图像集)
若在步骤S36或步骤S37中判断为“是”,则图像集创建部82以与第一方式相同的要领,基于在之前的步骤S35中创建的临时图像集来创建图像集。
在此,针对步骤S33~S38说明具体例。如上所述,在图10A的例子中,基于第一次扫描(步骤S33)和第一次图像选择(步骤S34)来创建包括156张图像H1(1)~H1(70)、H1(171)~H1(256)的临时图像集(步骤S35)。
在该阶段,由于临时图像集所包括的图像的张数未达到256张(S36:否),所以工作转移到步骤S37。在该阶段,由于只进行了一次扫描(S37:否),所以工作返回到步骤S33。
若工作返回到步骤S33,则进行第二次前眼部扫描。用H2(1)~H2(256)表示通过第二次扫描获得的256张图像。与通过第一次扫描获得的图像组同样地,将256张图像H2(1)~H2(256)分配给在扫描范围中排序的256个位置。而且,借助256个位置,将通过第一次扫描获得的图像H1(n)与通过第二次扫描获得的图像H2(n)相关联(n=1、2、…、256)。通过在此之后的扫描获得的图像组也同样。
在步骤S34中,选择部821从在步骤S33中获取到的256张图像H2(1)~H2(256)中选择满足预定的图像选择条件的图像。在本例中,如图10B所示,设为第1张~第100张的100张图像H2(1)~H2(100)不满足图像选择条件,第101张~第256张的156张图像H2(101)~H2(256)满足图像选择条件。在该情况下,选择部821从256张图像H2(1)~H2(256)中选择第101张~第256张的156张图像H2(101)~H2(256)。
在此,在选择两个以上与扫描范围的某个位置对应的图像的情况下,选择部821能够从这些图像中选择一个。在图10A和图10B示出的例子中,例如,选择图像H1(256)和图像H2(256)作为与第256个位置对应的图像。
选择部821可以构成为执行选择图像H1(256)和图像H2(256)中的一个的处理。例如,选择部821可以构成为选择先获取到的图像H1(256),或者选择后获取到的图像H2(256)。此外,在本例中,选择部821构成为选择先获取到的图像。
作为其它例子,选择部821可以构成为通过对图像H1(256)和图像H2(256)进行比较来选择一者。例如,可以构成为计算图像H1(256)的画质评价值,计算图像H2(256)的画质评价值,对这些画质评价值进行比较来选择图像H1(256)和图像H2(256)的一者。典型地,选择画质评价值最高的图像。
通过这样的处理,对扫描范围中的256个位置的位置分别分配最多一张图像。也就是说,临时图像集所包括的图像的张数最多为256张。
选择部821创建基于到当前时刻为止获得的两个图像组(图像组H1(1)~H1(256)和图像组H2(1)~H2(256))的临时图像集。在本例的当前阶段,创建包括基于第一次扫描的156张图像H1(1)~H1(70)、H1(171)~H1(256)和基于第二次扫描的70张图像H2(101)~H2(170)的临时图像集。
也就是说,在该阶段获得的临时图像集包括与扫描范围中的256个位置中的第1个~第70个和第101个~第256个位置(226个位置)对应的226张图像H1(1)~H1(70)、H2(101)~H2(170)、H1(171)~H1(256)。
在该阶段,由于临时图像集所包括的图像的张数未达到256张(S36:否),所以工作转移到步骤S37。在该阶段,扫描仅进行两次(S37:否),所以工作再次返回到步骤S33。
当工作返回到步骤S33时,进行第三次前眼部扫描。用H3(1)~H3(256)表示通过第三次扫描获得的256张图像。
在步骤S34中,选择部821从在步骤S33中获取到的256张图像H3(1)~H3(256)中选择满足预定的图像选择条件的图像。在本例中,如图10C所示,第227张~第256张的30张图像H3(227)~H3(256)不满足图像选择条件,第1张~第226张的226张图像H3(1)~H3(226)满足图像选择条件。在该情况下,选择部821从256张图像H3(1)~H3(256)中选择第1张~第226张的226张图像H3(1)~H3(226)。
而且,选择部821从226张图像H3(1)~H3(226)中选择与扫描范围中的256个位置中除了已经分配有图像的第1个~第70个和第101个~第256个位置以外的第71个~第100个位置对应的30张图像H3(71)~H3(100)。
选择部821创建基于到当前时刻为止获得的三个图像组(图像组H1(1)~H1(256)、图像组H2(1)~H2(256)和图像组H3(1)~H3(256))的临时图像集。在本例的当前阶段,创建包括基于第一次扫描的156张图像H1(1)~H1(70)、H1(171)~H1(256)、基于第二次扫描的70张图像H2(101)~H2(170)和基于第三次扫描的30张图像H3(71)~H3(100)的临时图像集。
也就是说,在该阶段获得的临时图像集可以包括与扫描范围中的256个位置的所有位置对应的256张图像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、H1(171)~H1(256)。因此,在步骤S36中判断为“是”,工作转移到步骤S38。
在步骤S38中,图像集创建部82基于在之前的步骤35中创建的临时图像集所包括的256张图像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、H1(171)~H1(256)来创建图像集。
图9A示出的工作提供使用扫描以及图像选择的交替反复来创建图像集的处理的例子。接着执行图9B示出的工作。
(S39:评价图像集的质量)
图像集评价部83以与第一方式相同的要领评价在步骤S38中创建的图像集的质量。
或者,在本方式中,可以以前述的要领,利用由动态拍摄部40获取到的动态图像来评价图像集的质量。例如,基于图10A~图10C示出的例子的图像集包括由256张图像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、H1(171)~H1(256)构成的一系列图像。为了收集这些图像而进行三次扫描,与各扫描并行地进行由动态拍摄部40进行的动态拍摄。
用J1(n)表示通过与第一次扫描并行的动态拍摄获得的帧组中的与图像H1(n)相关联的帧(n=1、2、…、256)。另外,用J2(n)表示通过与第二次扫描并行的动态拍摄获得的帧组中的与图像H2(n)相关联的帧(n=1、2、…、256)。另外,用J3(n)表示通过与第三次扫描并行的动态拍摄获得的帧组中的与图像H3(n)相关联的帧(n=1、2、…、256)。
因此,帧J1(1)~J1(70)、J3(71)~J3(100)、J2(101)~J2(170)、J1(171)~J1(256)分别与本例的图像集所包括的256张图像H1(1)~H1(70)、H3(71)~H3(100)、H2(101)~H2(170)、H1(171)~H1(256)相关联。
图像集评价部83能够通过对与本例的图像集所包括的256张图像相关联的256个帧适用与对前述的帧组D1~DN的处理同样的处理,对该图像集进行评价。
(S40:质量良好?)
在步骤S39中判断为图像集的质量良好的情况下(S40:是),工作转移到步骤S43。另一方面,在步骤S39中判断为图像集的质量不良的情况下(S40:否),工作转移到步骤S41。
(S41:促使重新拍摄)
在步骤S39中判断为图像集的质量不良的情况下(S40:否),控制部7以与第一方式相同的要领显示和/或声音输出用于促使用户重新拍摄的信息。
(S42:重新拍摄?)
用户作为对在步骤S41中显示和/或声音输出的信息的响应,进行用于开始重新拍摄的指示操作或用于不进行重新拍摄的指示操作。
在用户进行了用于开始重新拍摄的指示操作的情况下(S42:是),工作返回到步骤S31。在该情况下,裂隙灯显微镜再次执行到此为止的一系列处理。此外,例如,将预定次数作为上限,重复重新拍摄。
另一方面,在用户进行了用于不进行重新拍摄的指示操作的情况下(S42:否),工作转移到步骤S43。
(S43:发送图像集)
在步骤S39中判断为图像集的质量良好的情况下(S40:是),或者在步骤S42中进行了用于不进行重新拍摄的指示操作的情况下(S42:否),控制部7控制通信部9,以使得向图像读取终端和/或图像读取装置发送图像集。
(S44:对图像集进行图像读取)
图像读取终端是医生为了进行图像读取而使用的计算机。另外,图像读取装置是具有图像读取功能的计算机。
在步骤S43中向图像读取终端发送了图像集的情况下,医生使用图像读取终端对该图像集所包括的一系列图像进行图像读取。在步骤S43中向图像读取装置发送了图像集的情况下,图像读取装置对该图像集进行图像读取。
(S45:创建图像读取报告)
在步骤S44中医生进行了图像读取的情况下,医生将图像读取的结果输入预定的报告模板。在步骤S44中图像读取装置进行了图像读取的情况下,图像读取装置将图像读取结果输入到预定的报告模板。由此,创建与图像集有关的图像读取报告。
(S46:保存图像集和图像读取报告)
将图像集和图像读取报告例如提供并保存于设置有裂隙灯显微镜1的设施、被检者等指定的医疗机构、被检者等指定的医生使用的信息处理装置、被检者登记的地址(电子邮件地址、住址等)等。另外,也可以将图像集和图像读取报告发送到预定的数据库系统进行保管和管理。
以上,结束本例的工作的说明。
说明本方式的裂隙灯显微镜所起到的几个效果。此外,关于与第一方式的裂隙灯显微镜1共通的效果,只要未特别提及,就省略说明。
本方式的裂隙灯显微镜在扫描以及图像选择的交替反复中使扫描开始时的前眼部图像一致来防止扫描间的被检眼的错位。因此,本方式的裂隙灯显微镜不仅包括第一方式的要件,还包括从固定位置拍摄被检眼的前眼部的动态拍摄部40(拍摄部)。控制部7构成为对应于由动态拍摄部40获取到与基准图像大致相同的图像,使扫描部开始第二扫描,所述基准图像是与第一扫描的开始相对应地由动态拍摄部40获取到的图像。
本方式的裂隙灯显微镜在图像集的质量评价中能够利用由动态拍摄部40获取到的动态图像(帧组)。因此,本方式的裂隙灯显微镜不仅包括第一方式的要件,还包括与对被检眼的前眼部适用扫描并行地从固定位置对前眼部进行动态拍摄的动态拍摄部40。图像集评价部83构成为基于由动态拍摄部40获取到的动态图像对图像集质量进行评价。
此时,图像集评价部83可以构成为基于图像集所包括的一系列图像与由动态拍摄部40获取到的动态图像所包括的一系列帧之间的对应关系,对图像集的质量进行评价。
而且,图像集评价部83可以构成为基于由动态拍摄部40获取到的动态图像所包括的一系列帧中的特征点、图像集所包括的一系列图像与动态图像所包括的一系列帧之间的对应关系,对图像集的质量进行评价。
根据本方式的图像集评价,能够提供与第一方式不同的评价方法。此外,采用本方式的评价方法和第一方式的评价方法中的哪个方法是任意的。
<第三方式>
在本方式中,说明包括眼科拍摄装置、信息处理装置和图像读取终端的眼科系统。眼科拍摄装置至少具有作为裂隙灯显微镜的功能。眼科拍摄装置所包括的裂隙灯显微镜可以是第一方式或第二方式的裂隙灯显微镜。以下,一边适当援用第一方式和/或第二方式的要件、结构和附图标记,一边进行说明。
图11中例示的眼科系统1000利用将进行眼科拍摄的T个设施(第一设施~第T设施)的各设施、服务器4000和图像读取终端5000m连接的通信路(通信线)1100而构建。
在此,眼科拍摄至少包括使用裂隙灯显微镜的前眼部拍摄。该前眼部拍摄至少包括在第一方式和/或第二方式中说明的使用裂隙光的前眼部扫描。
在各设施(第t设施:t=1~T,T为1以上的整数)设置有眼科拍摄装置2000-it(it=1~Kt,Kt为1以上的整数)。也就是说,在各设施(第t设施)上设置有一个以上的眼科拍摄装置2000-it。眼科拍摄装置2000-it结构眼科系统1000的一部分。此外,眼科系统1000可以包括能够实施除了眼科以外的检查的检查装置。
本例的眼科拍摄装置2000-it具备作为实施被检眼的拍摄的“拍摄装置”的功能和作为进行与各种数据处理和外部装置的通信的“计算机”的功能两者。在其它例子中,也能够分别设置拍摄装置和计算机。在该情况下,拍摄装置和计算机可以构成为能够彼此通信。而且,拍摄装置的数量和计算机的数量分别是任意的,例如能够设置单个计算机和多个拍摄装置。
眼科拍摄装置2000-it中的“拍摄装置”至少包括裂隙灯显微镜。该裂隙灯显微镜可以是第一方式或第二方式的裂隙灯显微镜。
而且,在各设施(第t设施)设置有能够由辅助者和被检者使用的信息处理装置(终端3000-t)。终端3000-t是在该设施中使用的计算机,例如可以是平板终端和智能电话等移动终端、设置于该设施的服务器等。而且,终端3000-t可以包括无线耳机等可穿戴设备。此外,终端3000-t只要在该设施中是能够使用其功能的计算机就足够了,例如也可以是设置于该设施之外的计算机(云服务器等)。
眼科拍摄装置2000-it和终端3000-t可以构成为,利用在第t设施内构建的网络(设施内LAN等)、广域网络(互联网等)和近距离通信技术进行通信。
眼科拍摄装置2000-it可以具备作为服务器等通信设备的功能。在该情况下,能够构成为眼科拍摄装置2000-it和终端3000-t直接进行通信。由此,能够借助眼科拍摄装置2000-it进行服务器4000与终端3000-t之间的通信,所以不需要设置在终端3000-t与服务器4000之间进行通信的功能。
典型地,服务器4000设置于与第一至第T设施中的任一个都不同的设施,例如设置于管理中心。服务器4000能够借助网络(LAN、广域网络等)与图像读取终端5000m(m=1~M,M为1以上的整数)进行通信。而且,服务器4000能够借助广域网络在设置于第一至第T设施的眼科拍摄装置2000-it的至少一部分之间进行通信。
服务器4000例如具备对眼科拍摄装置2000-it与图像读取终端5000m之间的通信进行中继的功能、存储该通信内容的功能、存储由眼科拍摄装置2000-it获取到的数据和信息的功能和存储由图像读取终端5000m获取到的数据和信息的功能。服务器4000可以具备数据处理功能。
图像读取终端5000m包括能够在由眼科拍摄装置2000-it获取到的被检眼的图像(例如,图像组或图像集所包括的多个前眼部图像或基于这些图像的三维图像的渲染图像)的图像读取和报告创建中使用的计算机。图像读取终端5000m可以具备数据处理功能。
说明服务器4000。图12中例示的服务器4000具备控制部4010、通信建立部4100和通信部4200。
控制部4010执行服务器4000的各部分的控制。控制部4010也可以执行其它运算处理。控制部4010包括处理器。控制部4010还可以包括RAM(Random Access Memory:随机存取器)、ROM(Read Only Memory:只读存储器)、硬盘驱动器,固态驱动器等。
控制部4010包括通信控制部4011和传输控制部4012。
通信控制部4011执行与包括多个眼科拍摄装置2000-it、多个终端3000-t和多个图像读取终端5000m的多个装置间的通信的建立有关的控制。例如,通信控制部4011向由后述的选择部4120从眼科系统1000所包括的多个装置中选择的两个以上的装置的各装置发送用于建立通信的控制信号。
传输控制部4012进行与由通信建立部4100(和通信控制部4011)建立了通信的两个以上的装置之间的信息交换有关的控制。例如,传输控制部4012发挥功能,以使得将由通信建立部4100(和通信控制部4011)建立了通信的至少两个装置中的一个装置发送来的信息传输至其它装置。
作为具体例子,在建立了眼科拍摄装置2000-it与图像读取终端5000m之间的通信的情况下,传输控制部4012能够将从眼科拍摄装置2000-it发送来的信息(例如,图像组或图像集)传输至图像读取终端5000m。相反地,传输控制部4012能够将从图像读取终端5000m发送来的信息(例如,对眼科拍摄装置2000-it的指示、图像读取报告等)传输至眼科拍摄装置2000-it。
传输控制部4012可以具有对从发送源的装置接收到的信息进行加工的功能。在该情况下,传输控制部4012能够将接收到的信息和通过加工处理获得的信息中的至少一个发送到传输目的装置。
例如,传输控制部4012能够对从眼科拍摄装置2000-it等发送来的信息的一部分进行提取并发送到图像读取终端5000m等。例如,传输控制部4012能够从眼科拍摄装置2000-it发送来的图像组或图像集提取一系列图像并发送到图像读取终端5000m。
另外,可以由服务器4000或其它装置对从眼科拍摄装置2000-it等发送来的信息(例如,图像组或图像集)进行分析,将该分析结果(以及原信息)发送到图像读取终端5000m等。例如,能够使用人工智能引擎等执行从眼科拍摄装置2000-it发送来的图像组或图像集的图像读取,将其结果与图像组或图像集一起发送到图像读取终端5000m。
在从眼科拍摄装置2000-it发送图像组或图像集的情况下,服务器4000或其它装置能够构成为,根据该图像组或图像集所包括的一系列图像构建三维图像(例如,堆栈数据或体数据),传输控制部4012将构建的三维图像发送到图像读取终端5000m。
在从眼科拍摄装置2000-it发送了堆栈数据的情况下,服务器4000或其它装置能够构成为,根据该堆栈数据构建体数据,传输控制部4012将构建的体数据发送到图像读取终端5000m。
能够由服务器4000或其它装置执行的数据加工处理不限于所述例子,可以包括任意的数据处理。例如,服务器4000或其它装置能够执行三维图像的渲染、伪影去除、失真矫正、计测等。
通信建立部4100执行用于建立从包括多个眼科拍摄装置2000-it、多个终端3000-t和多个图像读取终端5000m的多个装置中选择的至少两个装置间的通信。在本方式中,“通信的建立”例如是包括下述的(1)至(4)中的至少一个的概念:(1)从通信切断的状态建立单向通信,(2)从通信切断的状态建立双向通信,(3)从仅能够接收的状态切换为也能够发送的状态,(4)从仅能够发送的状态切换为也能够接收的状态。
而且,通信建立部4100也能够执行将建立的通信切断的处理。在本方式中,“通信的切断”例如是包括下述的(1)至(5)中的至少一个的概念:(1)从建立了单向通信的状态切断通信,(2)从建立了双向通信的状态切断通信,(3)从建立了双向通信的状态切换为单向通信,(4)从能够发送和接收的状态切换为仅能够接收的状态,(5)从能够发送和接收的状态切换为仅能够发送的状态。
眼科拍摄装置2000-it、终端3000-t和图像读取终端5000m能够分别向服务器4000发送用于调用其它装置(其用户)的通信请求(调用请求)和用于阻断其它两个装置之间的通信的通信请求(阻断请求)中的至少一个。调用请求和阻断请求手动或自动地发信。服务器4000(通信部4200)接收从眼科拍摄装置2000-it、终端3000-t或图像读取终端5000m发送来的通信请求。
在本方式中,通信建立部4100可以包括选择部4120。选择部4120例如基于从眼科拍摄装置2000-it、终端3000-t或图像读取终端5000m发送来的通信请求,从眼科拍摄装置2000-it、终端3000-t和图像读取终端5000m中选择发送该通信请求的装置以外的一个以上的装置。
说明选择部4120执行的处理的具体例。在接收了来自眼科拍摄装置2000-it或终端3000-t的通信请求(例如,由眼科拍摄装置2000-it获取到的图像的图像读取请求)的情况下,选择部4120例如选择多个图像读取终端5000m中的任一个。通信建立部4100建立所选择的图像读取终端5000m与眼科拍摄装置2000-it和终端3000-t中的至少一个之间的通信。
按照通信请求的装置选择例如基于预先设定的属性执行。作为该属性的例子,具有检查种类(例如,拍摄模式种类、图像种类、疾病种类、候补疾病种类等)、所要求的专业程度和熟练度和语言种类等。在本例中,例如,参照图像读取者的专业领域和熟练度。为了实现本例的处理,通信建立部4100可以包括存储有预先创建的属性信息的存储部4110。属性信息存储有图像读取终端5000m和/或其用户(医生、验光师等)的属性。
用户的识别根据预先分配的用户ID进行。另外,图像读取终端5000m的识别例如按照预先分配的装置ID或网络地址进行。在典型的例子中,属性信息作为各用户的属性包括专业领域(例如,临床科、专科疾病等)、专业度和熟练度、可使用的语言种类等。
在选择部4120参照属性信息的情况下,从眼科拍摄装置2000-it、终端3000-t或图像读取终端5000m发送的通信请求可以包括与属性有关的信息。例如,从眼科拍摄装置2000-it发送的图像读取请求(诊断请求)可以包括以下任意信息:(1)表示拍摄模式种类的信息;(2)表示图像种类的信息;(3)表示疾病名称和候补疾病名称的信息;(4)表示图像读取的难易度的信息;(5)表示眼科拍摄装置2000-it和/或终端3000-t的用户的使用语言的信息。
在接收了这样的图像读取请求的情况下,选择部4120能够基于该图像读取请求和存储部4110中存储的属性信息,选择任意的图像读取终端5000m。此时,选择部4120对与图像读取请求所包括的属性有关的信息和存储部4110中存储的属性信息所存储的信息进行对照。由此,选择部4120例如选择相当于以下任意属性的医生(或验光师)所对应的图像读取终端5000m:(1)专攻该拍摄模式的医生;(2)专攻该图像种类的医生;(3)专攻该疾病(该候补疾病)的医生;(4)能够进行该难易度的图像读取的医生;(5)能够使用该语言的医生。
此外,例如根据在登录图像读取终端5000m(或眼科系统1000)时输入的用户ID进行医生或验光师与图像读取终端5000m之间的相关联。
通信部4200与其它装置(例如,眼科拍摄装置2000-it、终端3000-t和图像读取终端5000m中的任一个)之间进行数据通信。数据通信的方式和加密可以与设置于眼科拍摄装置2000-it的通信部(第一方式的通信部9)同样。
服务器4000包括数据处理部4300。数据处理部4300执行各种数据处理。数据处理部4300能够对由眼科拍摄装置2000-it(尤其是裂隙灯显微镜)获取到的多个前眼部图像或三维图像进行处理。数据处理部4300包括处理器、主存储装置、辅助存储装置等。在辅助存储装置中存储有数据处理程序等。数据处理部4300的功能通过数据处理程序等软件与处理器等硬件的协同工作实现。
服务器4000能够将由数据处理部4300获得的数据提供给其它装置。例如,在数据处理部4300根据由眼科拍摄装置2000-it获取到的多个前眼部图像构建三维图像的情况下,服务器4000能够由通信部4200将该三维图像发送到图像读取终端5000m。在数据处理部4300对由眼科拍摄装置2000-it或数据处理部4300构建的三维图像进行渲染的情况下,服务器4000能够由通信部4200将构建的渲染图像发送到图像读取终端5000m。在数据处理部4300对一个以上的前眼部图像或三维图像适用计测处理的情况下,服务器4000能够由通信部4200将获得的计测数据发送到图像读取终端5000m。在数据处理部4300对一个以上的前眼部图像或三维图像适用失真矫正的情况下,服务器4000能够由通信部4200将矫正了的图像发送到图像读取终端5000m。
接着,说明图像读取终端5000m。图13中例示的图像读取终端5000m具备控制部5010、数据处理部5100、通信部5200和操作部5300。
控制部5010执行图像读取终端5000m的各部分的控制。控制部5010可以执行其它运算处理。控制部5010包括处理器、RAM、ROM、硬盘驱动器、固态驱动器等。
控制部5010包括显示控制部5011。显示控制部5011控制显示装置6000m。显示装置6000m可以包括在图像读取终端5000m中,也可以是与图像读取终端5000m连接的外围设备。显示控制部5011使显示装置6000m显示被检眼E的前眼部的图像(例如,图像组或图像集所包括的一系列图像)。
控制部5010包括报告创建控制部5012。报告创建控制部5012执行用于对与由显示控制部5011显示的信息有关的报告进行创建的各种控制。例如,报告创建控制部5012使显示装置6000m显示用于创建报告的画面或图形用户界面(GUI)。另外,报告创建控制部5012将用户输入的信息、前眼部的图像、计测数据和分析数据等输入预定的报告模板。
数据处理部5100执行各种数据处理。数据处理部5100能够对由眼科拍摄装置2000-it(尤其是裂隙灯显微镜)获取到的多个前眼部图像或三维图像进行处理。另外,数据处理部5100能够对由服务器4000等其它信息处理装置构建的三维图像或渲染图像进行处理。数据处理部5100包括处理器、主存储装置、辅助存储装置等。在辅助存储装置中存储有数据处理程序等。数据处理部5100的功能通过数据处理程序等软件与处理器等硬件的协同工作实现。
通信部5200与其它装置(例如,眼科拍摄装置2000-it、终端3000-t和服务器4000中的任意装置)之间进行数据通信。关于数据通信方式和加密可以与眼科拍摄装置2000-it的通信部同样。
操作部5300用于操作图像读取终端5000m、向图像读取终端5000m输入信息等。在本方式中,操作部5300在创建报告中使用。操作部5300包括操作设备和输入设备。操作部5300例如包括鼠标、键盘、轨迹球、操作面板、开关、按钮、转度盘等。操作部5300可以包括触摸屏。
本方式的眼科系统1000能够执行以下工作。
首先,眼科拍摄装置2000-it(裂隙灯显微镜)利用裂隙光扫描被检眼的前眼部来收集图像组。在评价为该图像组的质量良好的情况下,眼科拍摄装置2000-it将包括该图像组的第一发送信息通过通信线路1100发送到服务器4000。另一方面,在评价为该图像组的质量不良的情况下,眼科拍摄装置2000-it例如对前眼部适用两次以上的扫描。眼科拍摄装置2000-it从与该两次以上的扫描对应地收集的两个以上的图像组(以及被评价为质量不良的所述图像组)中选择与扫描范围对应的一系列图像来创建图像集。而且,眼科拍摄装置2000-it将包括所创建的图像集的第一发送信息通过通信线路1100发送到服务器4000。这样的眼科拍摄装置2000-it的工作可以以与第一方式或第二方式相同的要领来执行。另外,眼科拍摄装置2000-it能够执行第一方式或第二中的任意处理。
服务器4000通过通信部4200(接收部)接收从眼科拍摄装置2000-it发送的第一发送信息,将该第一发送信息存储到存储部4110。而且,服务器4000使用通信部4200(发送部)将至少包括第一发送信息所包括的图像组或图像集的第二发送信息通过通信线路1100发送到图像读取终端5000m。
图像读取终端5000m通过通信部5200(接收部)接收从服务器4000发送的第二发送信息。图像读取终端5000m的用户(图像读取者)利用用户接口(操作部5300、显示装置6000m、报告创建控制部5012等)对图像组或图像集进行读取。图像读取终端5000m通过通信部5200(发送部)将包括使用用户接口输入的信息(图像读取报告等)的第三发送信息通过通信线路1100发送到服务器4000。
服务器4000通过通信部4200(接收部)接收从图像读取终端5000m发送的第三发送信息,将该第三发送信息与第一发送信息相关联地存储到存储部4110。
根据这样的眼科系统1000,能够将基于对被检眼的前眼部的一次以上扫描而创建的质量良好的图像组或图像集提供给医生(图像读取者),所以能够广泛地提供高质量的裂隙灯显微镜检查。
另外,以往,医生一边从远程位置进行操作,一边进行诊察,但是,在本方式中,医生可以仅对预先获取到的图像组或图像集进行图像读取。也就是说,在本方式中,能够将医生从拍摄工作和时间中解放出来,可以集中于图像读取。由此,本方式有助于扩大高质量的裂隙灯显微镜检查的提供范围。
<第四方式>
在本方式中,说明包括眼科拍摄装置、信息处理装置和图像读取装置的眼科系统。与第三方式的不同点在于,代替图像读取终端,而设置有图像读取装置。此外,也能够将第三方式和第四方式组合,构建包括图像读取终端和图像读取装置两者的眼科系统。以下,适当地援用第一方式、第二方式以及第三方式中的任意要件、结构和附图标记并进行说明。
如上所述,图14中例示的眼科系统1000A将第三方式的眼科系统1000的图像读取终端5000m置换为图像读取装置7000m。图像读取装置7000m例如是利用图像处理处理器或人工智能引擎,对由眼科拍摄装置2000-it(裂隙灯显微镜)获取到的图像组或图像集进行图像读取的计算机。
在图15中示出图像读取装置7000m的结构例。本例的图像读取装置7000m包括图像读取处理部7100和通信部7200。通信部7200与其它装置(例如,眼科拍摄装置2000-it、终端3000-t以及服务器4000中的任一个)之间进行数据通信。
图像读取处理部7100例如包括按照图像读取用的程序进行工作的图像图像读取处理器,对图像组或图像集所包括的一系列图像进行分析来获得意见。在几个方式中,图像读取处理部7100为了从图像组或图像集所包括的一系列图像获得意见,可以包括第一方式的人工智能引擎。而且,图像读取处理部7100基于获取到的意见创建报告。
本方式的眼科系统1000A能够执行以下那样的工作。
首先,眼科拍摄装置2000-it(裂隙灯显微镜)利用裂隙光扫描被检眼的前眼部来收集图像组。在本例中,与第三方式同样地,对前眼部适用一次以上的扫描,获得图像组或图像集。而且,将包括图像组或图像集的第一发送信息通过通信线路1100发送到服务器4000。
服务器4000由通信部4200(接收部)接收从眼科拍摄装置2000-it发送来的第一发送信息,将该第一发送信息存储于存储部4110。而且,服务器4000利用通信部4200(发送部)将至少包括第一发送信息所包括的图像组或图像集的第二发送信息通过通信线1100发送到图像读取终端5000m。
图像读取装置7000m由通信部7200(接收部)接收从服务器4000发送来的第二发送信息。图像读取装置7000m由图像读取处理部7100对图像组或图像集进行图像读取。图像读取装置7000m由通信部7200(发送部)将包括由图像读取处理部7100获取到的信息的第四发送信息通过通信线1100发送到服务器4000。
服务器4000由通信部4200(接收部)接收从图像读取装置7000m发送来的第四发送信息,将该第四发送信息与第一发送信息关联起来并存储于存储部4110。
根据这样的眼科系统1000A,能够将基于针对被检眼的前眼部的一次以上的扫描而创建的质量良好的图像组或图像集提供给图像读取装置,所以能够广泛地提供高质量的裂隙灯显微镜检查。
另外,能够通过使用图像读取装置的自动图像读取来支援医生(图像读取者)的操作,所以本方式有助于扩大高质量的裂隙灯显微镜检查的提供范围。
在图像读取装置7000m包括人工智能引擎且眼科拍摄装置2000-it(裂隙灯显微镜)包括人工智能引擎的情况下,可以选择安装有与创建图像组或图像集的眼科拍摄装置2000-it(裂隙灯显微镜)等同能力的人工智能引擎的图像读取装置7000m来提供该图像组或图像集。
由此,能够防止眼科拍摄装置2000-it(裂隙灯显微镜)的人工智能引擎的输出与由图像读取装置7000m的人工智能引擎的输出之间产生矛盾和误差的不便。
另外,在包括图像读取终端5000m和图像读取装置7000m两者的眼科系统中,在不存在与创建图像组或图像集的眼科拍摄装置2000-it(裂隙灯显微镜)等同能力的人工智能引擎的图像读取装置7000m的情况下,可以将该图像组或图像集发送到图像读取终端5000m。
〈其它事项〉
以上说明的几个方式只不过是本发明的例示。因而,能够对所述方式适当地施加本发明的宗旨范围内的任意变形(省略、替换、附加等)。
能够提供控制任一个方式的裂隙灯显微镜的方法。裂隙灯显微镜包括处理器和利用裂隙光扫描被检眼的前眼部来收集图像组的扫描部。本控制方法首先使处理器执行用于对被检眼的前眼部适用扫描的扫描部的控制。而且,本控制方法使处理器执行由扫描部收集到的图像组的质量的评价。除此以外,本控制方法根据对图像组的质量进行评价而获得的结果,使处理器选择性地执行预定的两个以上的控制。
能够构成使计算机执行该控制方法的程序。而且,能够创建记录有该程序的计算机可读非临时性存储介质。该非临时性存储介质可以是任意的方式,作为其例子,具有磁盘、光盘、光磁盘、半导体存储器等。
同样地,能够提供在第一至第四方式中的任一方式中公开的任意的控制方法。另外,能够提供在第一至第四方式中的任一方式中公开的任意的处理方法(运算方法、图像处理方法、图像分析方法等)。而且,能够构成使计算机执行该处理方法的程序。而且,能够创建记录有该程序的计算机可读非临时性存储介质。
(附图标记说明)
1:裂隙灯显微镜
2:照明系统
3:拍摄系统
4:光学系统
5:摄像元件
6:移动机构
7:控制系统
8:数据处理部
81:图像组评价部
811A:推断部
812A:推断模型
811B:三维图像构建部
812B:比较部
813B:评价处理部
811C:评价数据生成部
812C:评价处理部
82:图像集创建部
821:选择部
83:图像集评价部
9:通信部
Claims (34)
1.一种裂隙灯显微镜,包括:
扫描部,利用裂隙光扫描被检眼的前眼部来收集图像组;
第一评价部,评价由所述扫描部收集到的所述图像组的质量;以及
控制部,根据由所述第一评价部获取到的所述质量的评价结果,选择性地执行预定的两个以上的控制。
2.根据权利要求1所述的裂隙灯显微镜,其中,
在由所述第一评价部评价为所述图像组的质量不良的情况下,所述控制部执行用于使所述扫描部执行对所述前眼部的新扫描的控制。
3.根据权利要求2所述的裂隙灯显微镜,其中,
所述裂隙灯显微镜还包括:
图像集创建部,从包括所述图像组和通过所述新扫描收集到的新图像组的两个以上的图像组中选择与扫描范围对应的一系列图像来创建图像集。
4.根据权利要求3所述的裂隙灯显微镜,其中,
所述图像集创建部包括从所述两个以上的图像组中选择满足预定条件的图像的选择部。
5.根据权利要求4所述的裂隙灯显微镜,其中,
所述选择部从所述两个以上的图像组中选择包括照射到所述前眼部的所述裂隙光的反射像的图像。
6.根据权利要求4或5所述的裂隙灯显微镜,其中,
所述选择部通过相邻的图像的比较从所述两个以上的图像组中选择图像。
7.根据权利要求4至6中任一项所述的裂隙灯显微镜,其中,
对所述扫描范围设定多个位置,
所述选择部进行图像的选择,以使得对所述多个位置的每一个分配一个以上的图像。
8.根据权利要求4至7中任一项所述的裂隙灯显微镜,其中,
所述控制部控制所述扫描部以及所述选择部,以使得交替重复对所述前眼部的扫描的适用和从通过该扫描收集到的图像组的图像的选择。
9.根据权利要求8所述的裂隙灯显微镜,其中,
所述选择部从通过已经进行的一次以上的扫描收集到的一个以上的图像组中选择图像来创建临时图像集。
10.根据权利要求9所述的裂隙灯显微镜,其中,
在所述一次以上的扫描之后适用新扫描时,所述选择部从通过所述新扫描收集到的新图像组中选择图像来更新所述临时图像集。
11.根据权利要求9或10所述的裂隙灯显微镜,其中,
在所述临时图像集所包括的图像的数量达到预定数量时,所述控制部控制所述扫描部以及所述选择部,以使得结束所述扫描的适用和所述图像的选择。
12.根据权利要求9至11中任一项所述的裂隙灯显微镜,其中,
在所述扫描的适用和所述图像的选择的交替重复的次数达到预定次数时,所述控制部控制所述扫描部以及所述选择部,以使得结束所述扫描的适用和所述图像的选择。
13.根据权利要求11或12所述的裂隙灯显微镜,其中,
所述图像集创建部基于所述扫描的适用和所述图像的选择的交替重复结束时的所述临时图像集来创建所述图像集。
14.根据权利要求3至13中任一项所述的裂隙灯显微镜,其中,
所述裂隙灯显微镜还包括:
摄像部,从固定位置拍摄所述前眼部,
所述控制部对应于由所述拍摄部获取到与基准图像大致相同的图像,使所述扫描部开始第二扫描,所述基准图像是由所述拍摄部对应于第一扫描的开始而获取到的图像。
15.根据权利要求3至14中任一项所述的裂隙灯显微镜,其中,
所述裂隙灯显微镜还包括:
第二评价部,对由所述图像集创建部创建的所述图像集的质量进行评价。
16.根据权利要求15所述的裂隙灯显微镜,其中,
所述裂隙灯显微镜还包括:
动态拍摄部,与对所述前眼部适用扫描并行地从固定位置对所述前眼部进行动态拍摄,
所述第二评价部基于由所述动态拍摄部获取到的动态图像来进行所述质量的评价。
17.根据权利要求16所述的裂隙灯显微镜,其中,
所述第二评价部基于所述图像集所包括的所述一系列图像与所述动态图像所包括的一系列帧之间的对应关系来进行所述质量的评价。
18.根据权利要求17所述的裂隙灯显微镜,其中,
所述第二评价部基于所述一系列帧中的特征点与所述对应关系来进行所述质量的评价。
19.根据权利要求15至18中任一项所述的裂隙灯显微镜,其中,
所述第二评价部对所述图像集所包括的所述一系列图像进行分析来进行所述质量的评价。
20.根据权利要求19所述的裂隙灯显微镜,其中,
所述第二评价部基于所述一系列图像中的特征点来进行所述质量的评价。
21.根据权利要求15至20中任一项所述的裂隙灯显微镜,其中,
所述第二评价部对所述图像集所包括的所述一系列图像的排列顺序进行评价。
22.根据权利要求15至21中任一项所述的裂隙灯显微镜,其中,
所述第二评价部对所述图像集所包括的所述一系列图像中的图像缺失进行评价。
23.根据权利要求15至22中任一项所述的裂隙灯显微镜,其中,
所述第二评价部对所述图像集所包括的所述一系列图像的错位进行评价。
24.根据权利要求15至23中任一项所述的裂隙灯显微镜,其中,
所述裂隙灯显微镜还包括:
通信部,用于进行数据通信,
在由所述第二评价部评价为所述图像集的质量良好的情况下,所述控制部控制所述通信部,以使得向预定的外部装置发送所述图像集。
25.根据权利要求1至24中任一项所述的裂隙灯显微镜,其中,
所述裂隙灯显微镜还包括:
通信部,用于进行数据通信,
在由所述第一评价部评价为由所述扫描部收集到的所述图像组的质量良好的情况下,所述控制部控制所述通信部,以使得向预定的外部装置发送所述图像组。
26.根据权利要求1至25中任一项所述的裂隙灯显微镜,其中,
所述第一评价部使用通过机器学习构建的推断模型,对由所述扫描部收集到的所述图像组的质量进行评价,所述机器学习使用包括多个前眼部图像的训练数据。
27.根据权利要求26所述的裂隙灯显微镜,其中,
所述训练数据所包括的所述多个前眼部图像的每一个附带表示能够读取或不能读取的标签,
所述推断模型构建成通过使用所述训练数据的监督学习,将利用裂隙光扫描前眼部而获得的图像设为输入且将图像读取可能性设为输出。
28.根据权利要求1至27中任一项所述的裂隙灯显微镜,其中,
所述第一评价部包括:
三维图像构建部,根据由所述扫描部收集到的所述图像组构建三维图像;以及
比较部,对一个以上的预定的基准三维图像与所述三维图像进行比较,
所述第一评价部基于由所述比较部获得的比较结果对所述图像组的质量进行评价。
29.根据权利要求28所述的裂隙灯显微镜,其中,
所述一个以上的预定的基准三维图像包括与正常眼对应的一个以上的基准三维图像和与患眼对应的一个以上的基准三维图像。
30.根据权利要求29所述的裂隙灯显微镜,其中,
所述比较部对所述一个以上的预定的基准三维图像的每一个与所述三维图像执行匹配来计算值,
所述第一评价部基于由所述比较部计算出的所述值对所述图像组的质量进行评价。
31.根据权利要求1至30中任一项所述的裂隙灯显微镜,其中,
所述第一评价部包括:
评价数据生成部,根据由所述扫描部收集到的所述图像组所包括的图像求出画质评价数据,
所述第一评价部基于所述画质评价数据对所述图像组的质量进行评价。
32.根据权利要求31所述的裂隙灯显微镜,其中,
所述评价数据生成部在所述图像中特定与所述前眼部的组织相当的组织图像区域以及背景区域,
并创建表示所述组织图像区域中的亮度的度数分布的第一直方图以及表示所述背景区域中的亮度的度数分布的第二直方图,
并且基于所述第一直方图和所述第二直方图,计算作为所述画质评价数据的画质评价值。
33.根据权利要求1至32中任一项所述的裂隙灯显微镜,其中,
所述扫描部包括:
照明系统,对所述前眼部照射所述裂隙光;
拍摄系统,从与所述照明系统不同的方向拍摄所述前眼部;以及
移动机构,使所述照明系统和所述拍摄系统移动,
所述拍摄系统与通过所述移动机构使所述照明系统以及所述拍摄系统移动并行地重复进行拍摄。
34.根据权利要求33所述的裂隙灯显微镜,其中,
所述拍摄系统包括:
光学系统,对来自照射有所述裂隙光的所述前眼部的光进行引导;以及
摄像元件,通过摄像面接收由所述光学系统引导的所述光,
沿着所述照明系统的光轴的物面、所述光学系统以及所述摄像面满足沙氏条件。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020104223A JP2021194339A (ja) | 2020-06-17 | 2020-06-17 | スリットランプ顕微鏡 |
JP2020-104223 | 2020-06-17 | ||
PCT/JP2021/018134 WO2021256130A1 (ja) | 2020-06-17 | 2021-05-13 | スリットランプ顕微鏡 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115768337A true CN115768337A (zh) | 2023-03-07 |
Family
ID=79196647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180042613.XA Pending CN115768337A (zh) | 2020-06-17 | 2021-05-13 | 裂隙灯显微镜 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230157542A1 (zh) |
EP (1) | EP4170427A1 (zh) |
JP (1) | JP2021194339A (zh) |
CN (1) | CN115768337A (zh) |
WO (1) | WO2021256130A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024009572A1 (ja) * | 2022-07-07 | 2024-01-11 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3589567B2 (ja) * | 1998-03-31 | 2004-11-17 | 株式会社ニデック | 眼科撮影装置 |
JP2000116732A (ja) | 1998-10-21 | 2000-04-25 | Kowa Co | 遠隔医療システム |
DK1441640T3 (da) * | 2001-10-16 | 2013-09-08 | Univ Indiana Res & Tech Corp | Billeddannelsesanordning til afbildning af et fokalplan af et mål inden i øjet gennem pupillen af øjet |
JP5083758B2 (ja) | 2007-05-21 | 2012-11-28 | 国立大学法人山梨大学 | 眼科遠隔診断システム |
JP5989523B2 (ja) | 2012-05-01 | 2016-09-07 | 株式会社トプコン | 眼科装置 |
JP2016179004A (ja) | 2015-03-24 | 2016-10-13 | 株式会社トプコン | スリットランプ顕微鏡及びその制御方法 |
JP7182884B2 (ja) * | 2018-03-14 | 2022-12-05 | 株式会社トプコン | スリットランプ顕微鏡及び眼科システム |
JP7228342B2 (ja) * | 2018-06-13 | 2023-02-24 | 株式会社トプコン | スリットランプ顕微鏡及び眼科システム |
JP7321678B2 (ja) * | 2018-06-13 | 2023-08-07 | 株式会社トプコン | スリットランプ顕微鏡及び眼科システム |
-
2020
- 2020-06-17 JP JP2020104223A patent/JP2021194339A/ja active Pending
-
2021
- 2021-05-13 EP EP21826892.8A patent/EP4170427A1/en active Pending
- 2021-05-13 US US18/010,469 patent/US20230157542A1/en active Pending
- 2021-05-13 CN CN202180042613.XA patent/CN115768337A/zh active Pending
- 2021-05-13 WO PCT/JP2021/018134 patent/WO2021256130A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
EP4170427A1 (en) | 2023-04-26 |
JP2021194339A (ja) | 2021-12-27 |
US20230157542A1 (en) | 2023-05-25 |
WO2021256130A1 (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6923384B2 (ja) | 眼科システム及び眼科情報処理装置 | |
JP7466607B2 (ja) | スリットランプ顕微鏡 | |
JP7321678B2 (ja) | スリットランプ顕微鏡及び眼科システム | |
WO2019240149A1 (ja) | スリットランプ顕微鏡及び眼科システム | |
JP2022050738A (ja) | スリットランプ顕微鏡システム | |
CN114364305A (zh) | 裂隙灯显微镜、眼科信息处理装置、眼科系统、裂隙灯显微镜的控制方法、程序以及记录介质 | |
WO2021256130A1 (ja) | スリットランプ顕微鏡 | |
WO2021261103A1 (ja) | スリットランプ顕微鏡 | |
WO2021049104A1 (ja) | スリットランプ顕微鏡、眼科情報処理装置、眼科システム、スリットランプ顕微鏡の制御方法、及び記録媒体 | |
JP2022035168A (ja) | スリットランプ顕微鏡システム | |
JP7345610B2 (ja) | スリットランプ顕微鏡 | |
WO2022030364A1 (ja) | スリットランプ顕微鏡 | |
JP2022048413A (ja) | スリットランプ顕微鏡システム | |
WO2023037658A1 (ja) | 眼科装置、眼科装置を制御する方法、眼画像を処理する方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |