CN113950278A

CN113950278A - 图像分析装置及图像分析方法

Info

Publication number: CN113950278A
Application number: CN201980097401.4A
Authority: CN
Inventors: 三泽将史; 森悠一; 工藤进英; 胁坂隆史; 华原革夫
Original assignee: Showa University; Cybernet Systems Co Ltd
Current assignee: Showa University; Cybernet Systems Co Ltd
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2022-01-18
Also published as: KR20220007667A; WO2021005733A1; EP3998015A1; EP3998015A4; US20220292671A1

Abstract

本公开的目的是：在使用图像分析来分析上皮的状态的计算机诊断辅助系统中，能够自动判别超放大图像与非放大图像。本公开的图像分析装置(10)是连接内窥镜(20)的图像分析装置(10)，包括：目标图像判定单元(111)，从内窥镜(20)获取图像，使用图像中所含的光晕区域，判定为目标图像；以及，图像分析单元(112)，当图像为目标图像时，使用该目标图像，分析由内窥镜(20)拍摄的上皮的状态。

Description

图像分析装置及图像分析方法

技术领域

本公开涉及图像分析装置及图像分析方法。

背景技术

近年来，已开发出了具有380倍以上显微镜级别的放大倍数的超放大功能的内窥镜，并且已开发了可以在细胞核、血管和腺腔等细胞水平上放大并观察活体内腔的上皮的内窥镜Endocytoscopy。Endocytoscopy是一种接触式内窥镜，将镜片表面与作为目标的上皮接触，并使用搭载于内窥镜的变焦机构进行聚焦，以获取超放大图像。据报道，超放大图像可用于食道(例如，参见非专利文献1。)、胃(例如，参见非专利文献2。)、十二指肠(例如，参见非专利文献3。)、大肠(例如，参见非专利文献4。)等器官的病理组织诊断的预测。

然而，即使使用Endocytoscopy拍摄超放大图像，为了执行病理组织诊断的预测，也需要对超放大图像的图像分析具有一定程度以上的熟练程度(例如，参见非专利文献4。)；因此，开发了计算机诊断辅助系统，以便在没有这种程度以上的熟练程度的情况下，也能进行病理组织诊断的预测。已发现这可用于病理组织诊断的预测(例如，参照非专利文献5和6。)。

现有技术文献

非专利文献

非专利文献1：Y.Kumagai，K.Monma，K.Kawada，“Magnifying chromoendoscopy ofthe esophagus:in-vivo pat hological diagnosis using an endocytoscopy system”，Endoscopy 2004；36：590-4。

非专利文献2：H.Sato，H.lnoue，B.Hayee，et al.，“In vivo histopathologyusing endocytoscopy for non-neoplastic changes in the gastric mucosa:aprospective pilot study(with video)"，Gastrointest Endosc2015；81：875-81。

非专利文献3：S.Miyamoto，T.Kudo，S.Abiko，et al.，“Endocytoscopy ofSuperficial Nonampullary Duodenal Epithelial Tumor:Two Cases of TubularAdenoc arcinoma and Adenoma"，Am J Gastroe nterol2017；112：1638。

非专利文献4：SE Kudo，K.Wakamura，N.Ikehara，et al.，"Diagnosis ofcolorectal Iesions with a novel endocytoscopic classification-a pilot study"，E ndoscopy2011；43：869-75。

非专利文献5：Y.Mori，S.Kudo，K.Wakamura，et al.，“Novel computer-aideddiagnostic system for colorectal lesions by using endocytoscopy(withvideos)"，Gastrointestinal Endoscopy 2015；81：621-629。

非专利文献6：M.Misawa，S.Kudo，Y.Mori，et al.，"Characterization ofcolorectal lesions using a computer-aided diagnostic system for narrow-bandimaging endocyt os copy",Gast roenterolo gy2016；150:1531-1532。

发明内容

发明要解决的问题

使用Endocytoscape也可以拍摄放大倍数小于超放大图像的非放大图像。因此，为了将计算机诊断辅助系统适用于Endocytoscape，需要区分内窥镜拍摄的图像中的超放大图像和非放大图像。然而，自动判别超放大图像和非放大图像的技术是不存在的。因此，系统的操作者需要从Endocytoscape所拍摄的图像中，确定作为进行上皮状态图像分析的目标的超放大图像，并输入至系统中。

虽然可以考虑在系统的输入中设置专用的开关或按钮，但是增加这样的开关或按钮不是优选的。另一方面，对于系统的操作者，如果能够自动判断超放大图像的存在，则系统的操作会更简便，也会减轻患者的负担。因此，本公开的目的在于，在使用图像分析进行上皮状态分析的计算机诊断辅助系统中，能够自动判别超放大图像与非放大图像。

解决问题的手段

由于超放大图像是接触式内窥镜的图像，因此图像中不会产生光源的光晕。本公开着眼于光源的光晕，如果在图像中没有检测到光晕，则判定为超放大图像。由此，本公开能够自动判别超放大图像和非放大图像，并且使得在计算机诊断辅助中自动选择要进行图像分析的目标图像成为可能。

本公开的图像分析装置，

是连接内窥镜的图像分析装置，包括：

目标图像判定单元，从所述内窥镜获取图像，使用图像中所含的光晕区域，判定为目标图像；以及，

图像分析单元，当图像为目标图像时，使用该目标图像，分析由所述内窥镜成像的上皮的状态。

本公开的图像分析方法，

是连接内窥镜的图像分析装置执行的图像分析方法，该图像分析装置执行：

目标图像判定步骤，从所述内窥镜获取图像，使用图像中所含的光晕区域，判定为目标图像；以及，

图像分析步骤，当图像为目标图像时，使用该目标图像，分析由所述内窥镜成像的上皮的状态。

本公开的图像分析程序，是用于在计算机上实现本公开的图像分析装置中具备的各个功能单元的程序，并且是使计算机执行本公开的图像分析方法中具备的各个步骤的程序，可以存储于计算机可读的存储介质中。

有益效果

根据本公开，在使用超放大图像分析上皮状态的计算机诊断辅助系统中，可以自动判别超放大图像和非放大图像，因此能够自动选择作为图像分析的分析目标的图像。也就是说，可以自动选定在计算机诊断辅助系统中需要设定的成为分析目标的感兴趣区域(Region of Interest：ROI)。由此，可以使系统的操作更简便，减轻患者的负担。另外，在本公开中，由于计算机诊断辅助的目标图像是自动选择的，因此可以缩短输出病理组织诊断的预测结果所需的时间。

附图说明

图1示出了实施例的计算机诊断辅助系统的示例。

图2示出了内窥镜前端部的构造的示例。

图3示出了由拍摄装置拍摄的图像的第一示例。

图4示出了由拍摄装置拍摄的图像的第二示例。

图5示出了由拍摄装置拍摄的图像的第三示例。

图6示出了细胞核的示意图。

具体实施方式

下文将参照附图详细描述本公开的实施例。此外，本公开不限于以下所示的实施例。这些实施的示例仅仅是示例，本公开可以基于本领域技术人员的知识，以各种变更、改良的形式实施。此外，在本说明书以及附图中具有相同附图标记的技术特征表示彼此相同的技术特征。

图1示出了实施例的计算机诊断辅助系统的示例。本实施例的计算机诊断辅助系统包括：图像分析装置10、拍摄装置24以及显示装置30。图像分析装置10包括CPU(CentralProcessing Unit，中央处理单元)11和存储器12。CPU11用作目标图像判定单元111以及图像分析单元112。显示装置30也可以被包括于图像分析装置10中。

图像分析装置10可以通过执行存储于存储器12中的计算机程序来实现。计算机程序是用于使计算机执行本公开的图像分析方法中具备的各个步骤的程序。本公开的图像分析方法中，由图像分析装置10执行目标图像判定步骤和图像分析步骤。

在目标图像判定步骤中，目标图像判定单元111从内窥镜获取图像，并使用图像中所含的光晕区域，判定为目标图像。当图像为目标图像时，图像分析单元112执行图像分析步骤。在图像分析步骤中，图像分析单元112使用目标图像，分析由内窥镜成像的上皮的状态。

拍摄装置24是搭载于内窥镜的任意的拍摄元件，例如，可以例示CCD(ChargeCoupled Device，电荷耦合元件)。拍摄装置24具有拍摄运动图像的功能，还具有拍摄静止图像的功能。因此，拍摄装置24拍摄的图像不仅包括运动图像还包括静止图像。当CPU11获取由拍摄装置24拍摄的图像时，将其显示在显示装置30上。

图2中示出了内窥镜前端部的构造的示例。内窥镜20的前端设置有光导透镜22以及物镜23。物镜23设置于内窥镜20前端的凸部，光导透镜22设置于比物镜23低的位置。

从光源装置(未示出)输出的照射光，经由光导21从光导透镜22出射。被照射光照亮的内腔的上皮的像，通过物镜23并被导入到拍摄装置24。由此，内腔的上皮的图像被拍摄装置24拍摄。

拍摄装置24拍摄的图像通过信号线25被传输给图像分析装置10。该传输也可以使用安装于拍摄装置24的无线通信功能单元(未示出)来发送给图像分析装置10。此外，虽然在物镜23和拍摄装置24之间还可以设置有1个以上的透镜，但在图2中被省略。此外，虽然图2中示出了内窥镜20的前端部具有凸部的示例，但是本公开不限于此，例如也可以是内窥镜20的前端部是平坦的，该平坦面上设置有物镜23以及光导透镜22。

图3、图4以及图5中，示出了由拍摄装置24拍摄的图像的示例。图4所示的图像示出了图3的图像的一部分被放大和聚焦后的图像。图5所示的图像示出了图4的图像的一部分被进一步放大和聚焦后的超放大图像。为了将计算机诊断辅助系统应用于病理组织诊断的预测，对超放大到细胞水平的病理组织的观察是必不可少的。为此，需要在由内窥镜20拍摄的图像中，区分超放大图像和非放大图像；但是，内窥镜20通常不仅能拍摄超放大图像，还能拍摄如图3以及图4所示的通常放大倍数的非放大图像。

当计算机诊断辅助系统的操作者在显示装置30所显示的图像中发现怀疑是病变的部位时，如图3、4和5所示，在按顺序放大的同时拍摄静止图像。由于图3和图4所示的图像包括ROI和其以外的部分，因此，需要对ROI进行设置才能进行图像分析。另一方面，图5所示的超放大图像是不包括ROI以外的区域，而是拍摄ROI其本身的图像。

系统的操作者需要为非放大图像设置ROI，但由于超放大图像是对ROI其本身拍摄的图像，因此不需要为超放大图像设置ROI。因此，通过自动判定超放大图像，能够自动选定待图像分析的ROI的图像。

在图2所示的物镜23不与上皮接触的状态下，当拍摄装置24拍摄时，光导透镜22的像在上皮的表面反射，并映入拍摄装置24。因此，在物镜23不与粘膜上皮接触的状态下的图像中，如图3和图4中由单点划线包围的区域所示，存在产生光晕的区域。

另一方面，在拍摄超放大图像时，由于图2所示的物镜23与上皮接触，因此在上皮表面反射的光导透镜22的图像不会被映入拍摄装置24。另外，入射至拍摄装置24的光均为透过上皮的细胞的光。因此，在图5所示的超放大图像中，不会产生图3以及图4所示的光晕发生区域，光晕区域的像素数为一定比例以下。此处，一定比例为，例如，0.0000077％以下。

因此，目标图像判定单元111从拍摄装置24获取图像，使用图像中所含的光晕区域，判定是否为拍摄透过上皮细胞的透射光而成的超放大图像。例如，由于图3以及图4所示的图像中存在光晕区域，因此，目标图像判定单元111判定该图像不是目标图像。另一方面，由于图5所示的图像中不存在光晕区域，因此，目标图像判定单元111判定该图像为目标图像。由此，本公开可以通过选择超放大图像并对该图像进行图像分析，来自动执行ROI的病理组织诊断的预测。

此处，视频和静止图像从内窥镜20输入至图像分析装置10。在本公开中，待图像分析的图像为超放大图像。因此，优选地，目标图像判定单元111判定从内窥镜20获取的图像是否为静止图像，并在为静止图像的情况下判定是否为目标图像。

当从内窥镜20获取的图像是超放大图像时，该图像是拍摄ROI的图像。因此，当图像是目标图像时，图像分析单元112将判定为目标图像的图像作为ROI的拍摄图像存储于存储器12中。由此，本公开的系统可以有效地收集ROI信息。

图像分析单元112，当图像为目标图像时，使用该目标图像进行图像分析，分析由拍摄装置24拍摄的上皮的状态。图像分析单元112使用上皮状态的分析结果来进行病理组织诊断的预测。病理组织诊断的预测例如是非肿瘤、腺瘤、癌症的识别。病理组织诊断的预测也可以包括可能变成肿瘤的无蒂锯齿状腺瘤(sessile serrated adenoma)/息肉(SSA/P)。CPU11将图像分析单元112的分析结果输出至显示装置30，显示装置30显示病理组织诊断的预测结果。CPU11进一步地，将图像分析单元112的分析结果存储于存储器12中。

优选地，将机器学习用于病理组织诊断的预测，这使得能够使用计算机诊断辅助系统来实现病理组织诊断的预测，而不需要进行专业性的训练。在这种情况下，为了病理组织诊断的预测，对于非肿瘤、腺瘤、癌症、SSA/P中的每一个，将作为学习用样本的数据提供给图像分析装置10。

作为机器学习，例如可以使用SVM(Support Vector Machine)、神经网络、朴素贝叶斯分类器、决策树、集群分析、线性回归分析、逻辑回归分析和随机森林。神经网络可以是使用多层神经网络的深度学习(deep learning)。

图像分析单元112在图像分析时，也可以使用非放大图像。例如，在分析图5所示的超放大图像时，使用图3以及图4中的至少一个图像。非放大图像还包括ROI以外的区域。因此，图像分析单元112获取输入至图像分析装置10的非放大图像中的ROI区域设置，并将由该区域设置定义的区域的图像用于图像分析。

以下，将描述在目标图像判定单元111中判定光晕区域是否存在的具体示例。

光晕区域是否存在，是通过提取拍摄装置24拍摄的图像，并对提取出的像素中所含的产生光晕的像素的数量进行计数来确定的。然后，当提取出的像素中产生光晕的像素的数量为预设的固定比例以下时，判定为超放大图像，即分析目标的图像；当提取出的像素中产生光晕的像素的数量超过预设的固定比例时，判定为非放大图像。

此处，对拍摄装置24拍摄的图像的提取意味着，例如，提取由图3至图5中所示的虚线包围的区域。另外，尽管固定比例是任意的，但是，也可以使用例如上述的0.0000077％以下。

另外，例如，基于亮度是否超过预定值来确定是否为光晕区域。例如，如果像素的各个颜色信息(R值、G值、B值)具有255个灰度，则当每个颜色变为240以上时，判定为光晕区域。该判断不限于此，只要能够提取白色区域即可。例如，可以使用合成了各个颜色信息(R值、G值、B值)的白光的亮度进行，也可以使用由色调、饱和度和亮度表示的颜色空间。

在使用内窥镜的上皮观察中，从光导透镜22出射的光的波长与拍摄装置24要拍摄的光的波长可以不同。例如，可以用白光进行上皮观察，也可以用窄带光进行观察(NBI：Narrow Band Imaging，窄带成像；BLI：Blue Laser Imaging，蓝激光成像)。关于从光导透镜22出射的光的光源，使用氙光源、激光光源、卤素光源、LED(Light Emitting Side)等各种光源。因此，优选地，根据从光导透镜22出射的照射光的波长和由拍摄装置24拍摄的波长来设置用于判定光晕区域的阈值。

例如，在从光导透镜22出射的照射光为白色光的情况下，目标图像判定单元111在各个颜色信息(R值、G值、B值)为240以上时判定为光晕区域。例如，用窄带光进行观察(NBI：Narrow Band Imaging，窄带成像；BLI：Blue Laser Imaging，蓝激光成像)的情况下，目标图像判定单元111在各个颜色信息(R值、G值、B值)为200以上、240以上、180以上时判定为光晕区域。

下面将描述在图像分析单元112中，使用目标图像进行图像分析的细节。

使用目标图像的图像分析，例如，可以例示纹理分析。在纹理分析中，提取如图5中虚线所示的上皮图像，并对提取的图像进行分析。尽管纹理分析方法是任意的，但优选地，能够分析可用于识别物体或面部的局部图像特征量。这种分析方法的示例例如包括：SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)、SURF(Speed-Upped RobustFeature，加速稳健特征)和Haar-Like特征。

使用目标图像的图像分析例如可以例示：对从超放大图像获取的特征量进行分析。从图像获取的特征量例如是细胞核、血管以及腺腔的特征量。

图6示出了细胞核的示意图。细胞核的特征量例如可以示例：细胞核的长轴DL、细胞核的短轴DS、细胞核的周长、细胞核的面积、细胞核的圆度以及细胞核的颜色。细胞核的特征也可以包括：离心度、弦节比、凹凸形状、分形维数、线的集中度、密度对比度。

当使用细胞核的特征量时，图像分析单元112提取图像中所含的细胞核。提取细胞核的方法是任意的，例如通过对细胞核区域进行分割并去除伪影。对于细胞核区域的分割，例如，使用带有R分量的大津二值化方法。在伪影去除中，例如，将二值化图像的白色像素连续的像素设置为一个区域，并针对每个区域计算面积、长轴和圆度。将面积在设定范围(例如，30μm²至500μm²)、且长轴为设定值(例如，30μm以下)、且圆度为设定值(例如，0.3以上)的区域作为分析目标保留，并去除其他区域。长轴和圆度是例如用椭圆近似区域来计算的。当提取的核数为预设数目(例如30个)以下时，可以将其排除在分析目标的特征量之外。

尽管细胞核的特征量可以是目标图像中所含的一部分的细胞核的特征量，但优选地，测量全部的细胞核的特征量。优选地，细胞核的特征量包括：根据目标图像中所含的细胞核的特征计算出的平均值或标准偏差。

血管的特征量例如是：最大血管的最大直径、最大血管的最小最大直径比、以及血管区域占整个图像的比例。当使用血管的特征量时，图像分析单元112提取图像中所含的血管区域。提取血管区域的方法可以是任意的，例如可以执行：创建一个线性图像，将多个线性图像组合起来生成血管候选区域图像，然后从该图像中去除不是血管的区域。

细胞核和血管的特征量可以适用于：将口腔、咽喉、口、食道、胃、十二指肠、空肠、回肠、大肠、气管、胆管、胰管、子宫、膀胱、输尿管等任何器官作为目标的图像分析。

对于胃和大肠，可以在超放大图像上观察腺腔。因此，图像分析单元112在进行胃以及大肠的病理组织诊断的预测时，优选地，对腺腔的特征量进行分析。腺腔的特征量例如可以示例：腺腔的长轴、腺腔的短轴、腺腔的周长、腺腔的面积、腺腔的圆度和腺腔的颜色。

对于十二指肠、空肠、回肠，在超放大图像上可以观察到绒毛结构。因此，图像分析单元112在进行十二指肠、空肠、回肠的病理组织诊断的预测时，优选地，对绒毛结构的特征量进行分析。绒毛结构的特征量例如可以示例：绒毛前端的长轴、绒毛前端的短轴和每视野的绒毛数。

如上所述，优选地，图像分析单元112在圆柱上皮区域中除了细胞核和血管之外还分析腺腔或绒毛结构的特征量，并在除此之外的多层扁平上皮、线毛上皮等中分析核和血管的特征量。

此处，关于图像是否聚焦在细胞核、血管、腺腔以及绒毛结构中的任一个的信息，没有附加到从内窥镜20获取的图像中。因此，优选地，图像分析单元112在提取细胞核、血管、腺腔以及绒毛结构的特征之前，判定是拍摄细胞核、血管、腺腔以及绒毛结构中的哪一个的图像。例如，图像分析单元112从图像中分别提取细胞核、血管、腺腔以及绒毛结构，并从能够提取出的对象中提取特征量。通过这样，可以减少图像分析中的计算量，并能够缩短病理组织诊断的预测所需的时间。

此处，在胃和大肠以外的器官中，正常不会观察到腺腔。然而，由于肿瘤的形成，腺腔可能出现在胃以及大肠以外的器官中。因此，优选地，图像分析单元112对于胃以及大肠以外的器官，对腺腔的特征量进行分析。

另外，在十二指肠、空肠、回肠以外的器官中，正常不会观察到绒毛结构。然而，由于肿瘤的形成，绒毛结构可能出现在十二指肠、空肠、回肠以外的器官中。因此，优选地，图像分析单元112对于十二指肠、空肠、回肠以外的器官，对绒毛结构的特征量进行分析。

如上所述，由于本公开可以自动判别超放大图像和非放大图像，因此可以自动判别ROI，且可以提供计算机诊断辅助系统，通过使用超放大图像自动进行病理组织诊断的预测。

符号说明

10：图像分析装置

11：CPU

111：目标图像判定单元

112：图像分析单元

12：存储器

20：内窥镜

21：光导

22：光导透镜

23：物镜

24：拍摄装置

25：信号线

30：显示装置。

Claims

1.图像分析装置，

是连接内窥镜的图像分析装置，包括：

2.根据权利要求1所述的图像分析装置，所述目标图像为使用透过上皮的细胞的透射光所拍摄的图像。

3.根据权利要求1或2所述的图像分析装置，所述目标图像是所述内窥镜具有的物镜与上皮接触的状态下拍摄的图像。

4.根据权利要求1至3中任一项所述的图像分析装置，所述目标图像判定单元将判定为目标图像的图像，作为在感兴趣区域拍摄的图像存储于存储器中。

5.根据权利要求1至4中任一项所述的图像分析装置，所述目标图像是对细胞核、血管、腺腔以及绒毛结构中的至少一个拍摄的图像。

6.根据权利要求5所述的图像分析装置，所述图像分析单元包括从所述目标图像中提取细胞核、血管、腺腔和绒毛结构中的至少一个的特征量的处理，并使用提取结果进行上皮的状态的分析。

7.根据权利要求5或6所述的图像分析装置，所述图像分析单元判定是否为拍摄细胞核、血管、腺腔和绒毛结构中的任一个的图像。

8.根据权利要求1至7中任一项所述的图像分析装置，所述图像分析单元使用上皮状态的分析结果进行病理组织诊断的预测。

9.根据权利要求8所述的图像分析装置，所述病理组织诊断的预测为非肿瘤、腺瘤、癌症的识别。

10.根据权利要求1至9中任一项所述的图像分析装置，所述目标图像判定单元在所述图像中所含的光晕区域的像素数为一定比例以下时，判断为目标图像。

11.根据权利要求1至10中任一项所述的图像分析装置，所述目标图像判定单元判定从内窥镜获取的图像是否为静止图像，在为静止图像的情部下判定是否为目标图像。

12.一种程序，用于使计算机实现权利要求1至11中任一项所述的图像分析装置所具备的各个功能单元。

13.图像分析装置执行的图像分析方法，