CN105979847B - 内窥镜图像诊断辅助系统 - Google Patents

内窥镜图像诊断辅助系统 Download PDF

Info

Publication number
CN105979847B
CN105979847B CN201580007579.7A CN201580007579A CN105979847B CN 105979847 B CN105979847 B CN 105979847B CN 201580007579 A CN201580007579 A CN 201580007579A CN 105979847 B CN105979847 B CN 105979847B
Authority
CN
China
Prior art keywords
identification
region
processing unit
endoscopic images
histological type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580007579.7A
Other languages
English (en)
Other versions
CN105979847A (zh
Inventor
小出哲士
黄英俊
吉田成人
三岛翼
重见悟
玉木徹
平川翼
宫木理惠
杉幸树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NAT UNIVERSITY OF CORP HIROSHI
Original Assignee
NAT UNIVERSITY OF CORP HIROSHI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NAT UNIVERSITY OF CORP HIROSHI filed Critical NAT UNIVERSITY OF CORP HIROSHI
Publication of CN105979847A publication Critical patent/CN105979847A/zh
Application granted granted Critical
Publication of CN105979847B publication Critical patent/CN105979847B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

一种内窥镜图像诊断辅助系统(100)具备：存储装置(10)，其保存预先分类成各病理类型的学习用图像群；以及处理装置(20)，其接收内窥镜图像，并进行该图像中的识别对象区域的图像与学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型。处理装置(20)进行识别对象区域以及识别对象区域的各个细化区域的图像与学习用图像群之间的特征量匹配，来计算识别对象区域以及各个细化区域中的各病理类型的识别概率，处理装置(20)将识别对象区域以及各个细化区域中的各病理类型的识别概率的平均值作为识别对象区域以及各个细化区域的分层重叠区域中的各病理类型的识别概率来计算。

Description

内窥镜图像诊断辅助系统
技术领域
本发明涉及一种对内窥镜图像中的识别对象区域的病理类型进行识别的内窥镜图像诊断辅助系统，特别涉及一种提高识别精度的技术。
背景技术
随着内窥镜技术的进步，近年来开发出了多种图像诊断设备。目前，在利用放大内窥镜诊查的图像增强内窥镜(Image Enhanced Endoscopy，IEE)领域中，提出了NBI(NarrowBand Imaging，窄带成像)、BLI(Blue Laser Imaging，蓝激光成像)放大内窥镜图像等的数字光学成像法(optical digital method)、数字成像法(digital method)，它们作为对肿瘤的筛选、质变诊断方法在临床上的意义逐渐地明朗。很多医生曾实施过消化道内窥镜检查，但是有时对此的诊断会受到观察者的感性、经验的影响。于是，就需要一种对症状进行定量性评价以作为“二次诊断(second opinion)”来辅助医生的诊断的CAD(Computer-Aided Diagnosis，计算机辅助诊断)系统。
迄今为止，本申请发明人开发了下述方法，该方法是根据大肠的放大内窥镜图像而对与病理组织诊断之间具有较强关联性的分光图像(NBI图像)进行解析，对适合于计算机诊断辅助CAD的诊断基准进行设定的方法，并且开发出了能够给出与病理组织诊断之间具有较强关联性的定量性数字的图像辨别系统(内窥镜图像诊断辅助系统)。该系统中通过使用被称为Bag-of-Features(BoF，特征袋)或者Bag-of-Keypoints(关键点袋)的方法，将从内窥镜图像中的识别对象区域(下面又称为扫描窗SW)的图像中提取出的局部特征量转换成视觉词(Visual Word，VW)的直方图，进行与预先分类成各病理类型的学习用图像群(表现为各个视觉词的直方图的特征量)之间的图像匹配(特征量匹配)，由此计算识别对象区域中的各病理类型的识别概率。
进而，本申请发明人使根据上述系统中计算成本特别高的识别对象区域的图像进行的特征量提取处理和病理判断(识别)处理硬件化，从而能够实时且以高识别精度来处理图像质量在Full HD(1920×1080像素)以上的内窥镜图像(例如参照非专利文献1、2)。
非专利文献1：T.Mishima,S.Shigemi,A.T.Hoang，T.Koide，T.Tamaki，B.Raytchev，K.Kaneda，Y.Kominami,R.Miyaki,T.Matsuo，S.Yoshida and S.Tanaka，"Development of feature extraction architecture for computer-aided diagnosissystem for colorectal endoscopic images with nbi magnification，"The 15th IEEEHiroshima Student Symposium(HISS)，November 16-17 2013，p.B84-1-B84-4
非专利文献2：S.Shigemi，T.Mishima，A.T.Hoang，T.Koide，T.Tamaki,B.Raytchev,K.Kaneda,Y.Kominami,R.Miyaki,T.Matsuo,S.Yoshida and S.Tanaka,"Development of type identification architecture for computer-aided diagnosissystem for colorectal endoscopic images with nbi magnification,"The 15th IEEEHiroshima Student Symposium(HISS),November 16-17 2013,p.B79-1-B79-4
发明内容
－发明要解决的技术问题－
在现有的内窥镜图像诊断辅助系统中，在扫描窗(Scan Window，SW)(例如尺寸120×120像素的区域)中扫描了整个Full HD(全高清)内窥镜图像，然后判断出各扫描窗中的病理类型。但是，由于显现在内窥镜图像中的实际患部并非矩形的情况比较多，因此，多个病理类型混在一个扫描窗中的情况下多个病理类型的识别概率不相上下，从而很难判断该扫描窗中的病理类型。若为了解决该问题而减小扫描窗尺寸，则从一个扫描窗的图像中提取的特征量减少，因此这次会存在识别精度降低的可能性。此外，如果扫描窗尺寸减小，则整个Full HD(1920×1080像素)内窥镜图像的扫描量增加而导致处理速度降低，或者直到显示处理结果为止的时间(等待时间)增加，从而很难实时显示。
本发明是鉴于所述问题而完成的。其目的在于：提高内窥镜图像诊断辅助系统的识别精度，其中，该内窥镜图像诊断辅助系统识别内窥镜图像中的识别对象区域中的病理类型。
－用以解决技术问题的技术方案－
根据本发明一方面的内窥镜图像诊断辅助系统，具备：存储装置，所述存储装置保存预先分类成各病理类型的学习用图像群；以及处理装置，所述处理装置接收内窥镜图像，并进行该内窥镜图像中的识别对象区域的图像与所述学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型，所述处理装置进行所述识别对象区域的图像与所述学习用图像群之间的特征量匹配，来计算所述识别对象区域中的各病理类型的识别概率，在所述识别概率的最大值比阈值还小的情况下，所述处理装置细化所述识别对象区域来进行各个细化区域的图像与所述学习用图像群之间的特征量匹配，由此计算各个所述细化区域中的各病理类型的识别概率，所述处理装置将所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率的平均值作为所述识别对象区域以及各个所述细化区域的分层重叠区域中的各病理类型的识别概率来计算。
此外，根据本发明另一方面的内窥镜图像诊断辅助系统具备：存储装置，所述存储装置保存预先分类成各病理类型的学习用图像群；以及处理装置，所述处理装置接收内窥镜图像，并进行该内窥镜图像中的识别对象区域的图像与所述学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型，所述处理装置进行所述识别对象区域以及所述识别对象区域的各个细化区域的图像与所述学习用图像群之间的特征量匹配，来计算所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率，所述处理装置将所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率的平均值作为所述识别对象区域以及各个所述细化区域的分层重叠区域中的各病理类型的识别概率来计算。
根据上述方式，在内窥镜图像中分层重叠的多种尺寸的区域中计算各病理类型的识别概率，然后求这些识别概率的平均值，由此能够识别形状复杂的患部的病理类型。
也可以为：所述处理装置用于根据不同尺寸的区域的识别精度来对所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率进行加权处理，从而计算所述平均值。根据上述方式，能够进一步提高识别精度。
也可以为：根据所述识别对象区域以及各个所述细化区域的图像而得到的特征量是用基于特征袋法的视觉词的直方图来表现的，所述处理装置用于将如下所述的直方图相加来计算表示根据上位层次区域的图像而得到的特征量的直方图：所述直方图表示根据分层重叠的下位层次区域的图像而得到的特征量。根据上述方式，生成如下所述的直方图的处理变得简单，从而能够减少计算量来提高处理速度，其中，所述直方图表示根据上位层次区域的图像而得到的特征量。
也可以为：所述处理装置用于对各病理类型进行一对多式的二分类识别，并基于所述的二分类识别的识别结果来计算所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率。根据上述方式，能够提高识别精度。
－发明的效果－
根据本发明，能够提高内窥镜图像诊断辅助系统的识别精度，其中，该内窥镜图像诊断辅助系统识别内窥镜图像中的识别对象区域中的病理类型。
附图说明
图1是本发明一实施方式所涉及的内窥镜图像诊断辅助系统的简要结构图。
图2是级联识别的概念图。
图3是表示使级联识别硬件化的情况下的结构例的图。
图4是对识别对象区域(扫描窗，SW)的分层细化进行说明的图。
图5是表示自上而下的分层识别的例子的图。
图6是表示自下而上的分层识别的例子的图。
图7是表示不同病理类型和扫描窗的不同尺寸下的识别精度(True Positive)的例子的图表。
图8A表示一个例子所涉及的内窥镜图像。
图8B是表示用自下而上分层识别方法来解析在图8A中示出的内窥镜图像所得到的解析结果的图。
图9A表示另一个例子所涉及的内窥镜图像。
图9B是表示用自下而上分层识别方法来解析在图9A中示出的内窥镜图像所得到的解析结果的图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。需要说明的是，为了便于说明，在下面的说明中，作为内窥镜图像使用了大肠NBI放大内窥镜图像，作为病理类型选用了广岛大学医院的NBI放大观察的意见分类(特别是类型A、类型B、类型C3这三种类型)。但是，本发明并不限于下述的实施方式，例如，本发明还能够适用于使用了消化道内窥镜图像的诊断辅助系统中。
图1表示本发明一实施方式所涉及的内窥镜图像诊断辅助系统(下面称为“本系统”)的简要结构。本系统100是如下所述的系统，其基于客观指标来识别显现在大肠NBI放大内窥镜图像中的患部的病理类型，由此来辅助医生进行内窥镜诊断，或者向给经验少的医生进行的教育提供辅助。
具体而言，本系统100具备存储装置10、处理装置20以及显示装置30。存储装置10由闪存等非易失性存储器、硬盘驱动器等构成。处理装置20由CPU(Central ProcessingUnit，中央处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)、GPU(Graphics Processing Unit，图形处理器)等各种硬件构成。显示装置30由CRT(CathodeRay Tube，阴极射线管)、LCD(Liquid Crystal Display，液晶显示器)等构成。
处理装置20接收内窥镜图像，判断该图像中的识别对象区域(扫描窗，SW)中的各病理类型。判断结果例如作为不同病理类型的概率(识别概率)来予以显示，在显示装置30中将上述判断结果和内窥镜图像一起实时显示，或者在不同画面上实时显示判断结果。
向处理装置20输入的内窥镜图像可以是来自正在进行诊查的内窥镜摄像头的实时影像，也可以是在过去的诊查中拍摄并保存下来的影像。在为前者的情况下，进行诊查时能够实时判断患部的病理类型。在为后者的情况下，能够有效地利用过去的数量庞大的归档影像来进行对内窥镜诊断的教育、训练。
处理装置20包括特征量提取处理部21、识别特征矢量转换处理部22、识别判断部23以及识别概率计算部24。其中，针对特征量提取处理部21和识别判断部23实现了硬件化(参照非专利文献1、2)。对于剩余的识别特征矢量转换处理部22和识别概率计算部24而言，既可以实现硬件化，也可以通过处理装置20中的未图示的CPU等以软件处理方式进行处理。
特征量提取处理部21从内窥镜图像中的扫描窗的图像提取局部特征量。在此，作为局部特征描述符，例如能够利用D-SIFT(Dense Scale-Invariant Feature Transform，密集的尺度不变特征转换)。
D-SIFT是如下所述的处理，即：在从输入图像网格(grid)状地取出特征点(关键点)时，将该特征点周围的局部区域中亮度值的梯度信息转换为128维参数(特征量)。首先，特征量提取处理部21利用高斯滤波器(Gaussian filter)进行平滑化处理，针对每一个像素求朝向x方向和y方向的亮度梯度。接下来，特征量提取处理部21利用所求出的亮度梯度将各像素的梯度方向分类成八个方向，并计算梯度强度。然后，针对将局部区域分割成4×4＝16个块中的每一个块(block)，特征量提取处理部21在每个方向(八个方向)上进行叠加，进而在每个块中利用自特征点开始算起的距离来进行基于高斯函数的加权处理。通过对按照上述方式得到的4×4×8方向＝128维的值进行归一化，从而得到128维的特征量矢量群。
需要说明的是，如非专利文献1中的公开内容，通过省略对与自特征点开始算起的距离相对应的块的加权处理，能够共有相重叠的特征量描述区域的所有块的值。由此，能够大幅减少所需要的存储器容量。进而，如上述非专利文献1中的公开内容，通过做到了能够在不用反正切(arctan)函数的情况下计算各像素的亮度梯度方向、将亮度梯度方向减少成四个方向、或将归一化处理改变成阈值处理等等，从而将D-SIFT算法封装在软件、硬件中的处理变得容易，特征量提取处理速度会大幅提高。
识别特征矢量转换处理部22将由特征量提取处理部21提取出的特征量矢量群转换成基于Bag-of-Features(BoF)法的视觉词(Visual Word，VW)的直方图。
通过对从学习用图像群提取出的特征量矢量群进行分组即可得到视觉词。进一步详细而言如下。从预先分类为类型A的学习用图像群提取特征量矢量群，通过k-means(k-均值)法等方法来将特征量矢量群分组成多个(例如256个)组。各个组的中心即为视觉词。即，根据预先分类为类型A的学习用图像群而得到被赋予的特征为类型A的多个(例如256个)视觉词。同样，根据预先分类为类型B的学习用图像群而得到被赋予的特征为类型B的多个(例如256个)视觉词，此外，根据预先分类为类型C3的学习用图像群而得到被赋予的特征为类型C3的多个(例如256个)视觉词。
对于上述的各组256个视觉词的三个集合，识别特征矢量转换处理部22找出与由特征量提取处理部21提取出的特征量矢量最为类似的部分、即矢量间距离最小的部分，将其给上述三个集合中的视觉词各投票一次。对由特征量提取处理部21提取出的特征量矢量群进行该投票处理，由此，特征量矢量群被转换成768(＝256×3)个视觉词的直方图。即，内窥镜图像中的扫描窗的图像由768维识别空间中的特征矢量表现。
需要说明的是，还可以为：使用预先从学习用图像群提取出的特征量矢量，通过其它方法生成视觉词。此外，视觉词的维数也可以改变。
在存储装置10中保存预先分类成各病理类型的学习用图像群。已保存在存储装置10中的学习用图像群也能够由上述的768个视觉词的直方图、即768维识别空间中的特征矢量来表现。
识别判断部23将已保存在存储装置10中的学习用图像群用作教师数据，来识别已由识别特征矢量转换处理部22生成的视觉词的直方图属于类型A、类型B、类型C3中的哪一种病理类型。作为识别器，例如能够使用SVM(Support Vector Machine，支持向量机)。
如非专利文献2中的公开内容，作为基于二分类识别器亦即SVM的多类分类识别方法，存在一对一法(One-versus-One approach)和两阶段判断法。例如，在一对一法下，并联地布置对类型A与类型B进行识别的识别器“A vs B”、对类型B与类型C3进行识别的识别器“B vs C3”以及对类型C3与类型A进行识别的识别器“C3vs A”，根据各识别器的识别结果能够得到最终的识别结果。
除此之外，还能够将进行一对多式二分类识别的识别器级联连接来而对各病理类型进行识别(下面称为级联识别)。图2是级联识别的概念图。如图2所示，将对类型A与除类型A之外的部分进行识别的识别器“A vs￢A”、对类型B与除类型B之外的部分进行识别的识别器“B vs￢B”、对类型C3与除类型C3之外的部分进行识别的识别器“C3vs￢C3”级联连接，根据各识别器的识别结果能够得到最终的识别结果。
进而，也可以为：在识别器“C3vs￢C3”的后级连接对类型A与类型B进行识别的识别器“A vs B”。其理由如下：在应该被分类为类型A的未知数据x在初级识别器“A vs￢A”中被分类到￢A类的情况下，为了再一次赋予被分类为类型A的机会。这在识别器“A vs￢A”的精度不是100％的情况下有效。因此，通过在末级连接该识别器“A vs B”，从而能够提高识别判断部23的识别精度。
此外，向处理装置20输入的内窥镜图像存在下述问题，即：由光引起的图像的高光溢出(blown out highlights)、伴随利用水进行的冲洗的图像的紊乱、由大肠壁面的血管引起的脉动、由内窥镜操作引起的图像的离焦模糊等等。由于针对这样的离焦模糊图像不能准确地识别病理类型的概率较高，因此还可以为：在上述级联识别的初级识别器上连接二分类识别器，其中，所述二分类识别器对离焦模糊图像与除此之外的图像进行识别。
上述级联识别可通过软件处理和硬件处理中任一者来实现。图3表示使级联识别硬件化的情况下的结构例。在利用硬件处理来实现级联识别的情况下，并联地布置各识别器，根据各识别器的识别结果能够得到最终的识别结果。
返回图1，识别概率计算部24接收识别判断部23中各识别器的识别结果，例如通过最速下降法来计算各病理类型的识别概率。
如上所述，处理装置20接收内窥镜图像，进行该图像中的扫描窗的图像与所述学习用图像群之间的图像匹配(特征量匹配)，从而识别扫描窗中的各病理类型。
进而，处理装置20将扫描窗分层细化，使得能够识别非矩形的形状复杂的患部的病理类型。
图4是对扫描窗的分层细化进行说明的图。例如，如图4所示，对内窥镜图像中的各扫描窗SW1～SW9进行处理，从而计算各病理类型的识别概率。在此，由于在扫描窗SW1、SW9中类型A几乎占了整个区域，因此在这些扫描窗中，类型A的识别概率非常高。此外，由于在扫描窗SW5中类型B几乎占了整个区域，因此在该扫描窗中，类型B的识别概率非常高。另一方面，由于在其它扫描窗中类型A和类型B是混在一起的，因此难以判断病理类型是类型A还是类型B。于是，对这样的扫描窗进行分层细化，从而生成尺寸更小的下位层次(例如级别2)的扫描窗或尺寸进一步小的下位层次(例如级别3)的扫描窗，在这些小尺寸扫描窗中对病理类型进行识别(以下称为分层识别)。需要说明的是，在下面的说明中，级别(level)是指扫描窗SW的层次。
分层识别方法包括两种，即自上而下的方法和自下而上的方法。下面针对各种方法进行说明。
图5表示自上而下的分层识别的例子。在自上而下的分层识别方法中，首先，用大尺寸扫描窗、即最上位级别的扫描窗对内窥镜图像进行扫描，在各扫描窗中进行识别处理。图5中的左侧部分表示将内窥镜图像分为扫描窗SW1,1～SW9,1并在各扫描窗进行识别处理后得到的结果。需要说明的是，SW的下标中的右侧数字表示扫描窗的级别(设最上位为级别1)，SW的下标中的左侧数字表示该级别下的扫描窗的序号，这在下面的说明中也是同样的。在图5的例子中，在扫描窗SW1,1～SW4,1、SW6,1～SW9,1中类型A的识别概率达到了90％。由此能够判断这些扫描窗中的病理类型为类型A。另一方面，在扫描窗SW5,1中，三种病理类型的识别概率不相上下。由此在扫描窗SW5,1中难以判断病理类型。
如扫描窗SW5,1那样难以判断到底是哪一种病理类型的情况下，具体而言是识别概率的最大值比阈值(例如80～90％)还小的情况下，处理装置20对该扫描窗进行细化，从而在下位级别的扫描窗、即尺寸更小的扫描窗中进行识别处理。
例如，如图5中的右侧部分所示，将三种病理类型的识别概率不相上下的扫描窗SW5,1分割成四个部分，在小的扫描窗SW1,2～SW4,2进行识别处理。这样，通过对扫描窗进行细化，能够以更佳的精度来识别非矩形的形状复杂的患部的病理类型。
需要说明的是，在图5的例子中，将扫描窗SW5,1细化成区域之间彼此不重叠的扫描窗SW1,2～SW4,2，然而也可以为：细化后的各扫描窗的区域的一部分相重叠。
上述的自上而下的识别处理是在识别概率的最大值比阈值还小的情况下进行将扫描窗细化下去这样的串行处理的，从这一点上来说，该自上而下的识别处理特别适合软件处理。而且，其不是用小尺寸扫描窗对整个内窥镜图像进行识别处理，而是只在必要的情况(识别概率的最大值比阈值还小的情况)下，用更小尺寸的扫描窗进行识别处理，因此能够高速地处理Full HD(1920×1080像素)的整个内窥镜图像。
图6表示通过自下而上的方法进行的分层识别的例子。在自下而上的分层识别方法中，用多种尺寸大小的扫描窗进行识别处理。例如，在图6的例子中，用大(级别1)、中(级别2)、小(级别3)这样的各种尺寸的扫描窗进行识别处理。不仅是不同级别之间的各扫描窗的一部分或者全部区域可以相重叠，而且相同级别内的各扫描窗的一部分或者全部区域也可以相重叠。
在自下而上的分层识别方法中，能够通过对根据下位层次扫描窗的图像的特征量而得到的直方图进行加权和求和，来计算根据上位层次扫描窗的图像的特征量而得到的视觉词的直方图。在此，如上所述，在特征量提取处理部21中，通过省略对与自特征点开始算起的距离相对应的块的加权处理，由此，只简单地相加对根据下位层次扫描窗的图像而得到的特征量予以表示的直方图并进行归一化，就能够生成对根据上位层次扫描窗的图像而得到的特征量予以表示的直方图。即，只要仅针对最下位级别(在图6的例子中为级别3)的各扫描窗生成视觉词的直方图即可，该最下位级别的上位级别的各扫描窗的直方图则能够根据最下位级别的各扫描窗的直方图而容易地计算出来。此外，对最下位级别的各扫描窗中的特征量的计算，则能够采用并行处理。从这样的方面来说，自下而上的识别处理特别适合于并行处理比较容易的硬件处理。
在自上而下和自下而上中的任一分层识别方法中，各扫描窗的分层重叠区域中各病理类型的识别概率都是作为重叠区域的各扫描窗中各病理类型的识别概率的平均值来计算的。在图5的例子中，处理装置20计算扫描窗SW1,2及其上位层次扫描窗SW5,1中各病理类型的识别概率的平均值。此外，在图6的例子中，处理装置20计算扫描窗SW6,3、其上位层次扫描窗SW1,2、SW5,2、SW6,2、SW9,2、更上位层次扫描窗SW1,1～SW4,1中各病理类型的识别概率的平均值。
图7是表示不同病理类型(类型A、类型B、类型C3以及所有类型的平均(all))和扫描窗的不同尺寸(60×60像素、120×120像素、200×200像素、500×500像素)下的识别精度(True Positive)的例子的图表。需要说明的是，将i设为类型A、类型B、类型C3、所有(All)中的任一者，则True Positive(i)由下述式来定义。
True Positive(i)＝Posi_Num(i)/Img_Num(i)×100[％]
其中，Img_Num(i)表示类型为i的所有输入图像数据数，Posi_Num(i)表示类型为i的所有输入图像数据中准确地识别为类型i的数量。
如图7所示，随着扫描窗的尺寸减小，所有病理类型的识别精度(True Positive)均降低。因此，在计算各扫描窗中各病理类型的识别概率的平均值的情况下，处理装置20还可以根据各扫描窗的不同尺寸下的识别精度来进行加权处理。由此能够提高识别精度。
如上所述，根据本实施方式，能够高速且高精度地识别非矩形的形状复杂的患部的病理类型。
需要说明的是，扫描窗无需是矩形的，其还可以具有多种形状。此外，扫描窗的尺寸也可以是任意的。
(实施例)
下面，举出使用本实施方式所涉及的内窥镜图像诊断辅助系统100并通过自下而上分层识别方法来对内窥镜图像进行了解析的例子。
图8A是一个例子所涉及的内窥镜图像。在该内窥镜图像的中央部显现出了轮廓由曲线与斜线形成的类型B的患部。此外，图9A是另一个例子所涉及的内窥镜图像。在该内窥镜图像的从中央部到右下方的位置上显现出了曲线轮廓的类型C3的患部。
图8B是表示用自下而上分层识别方法来解析在图8A中示出的内窥镜图像所得到的解析结果的图。此外，图9B是表示用自下而上分层识别方法来解析在图9A中示出的内窥镜图像所得到的解析结果的图。需要说明的是，在两幅附图中，附图中的网格表示自下而上分层识别中的最下位层的扫描窗、即最小的识别对象区域，其尺寸是60×60像素。
根据图8B所示的解析结果，在类型B的患部中的扫描窗中，所计算的类型B的识别概率高，能够准确地识别在图8A中示出的内窥镜图像中类型B的患部。
此外，根据图9B所示的解析结果，在类型C3的患部中的扫描窗中，所计算的类型C3的识别概率高，能够准确地识别在图9A中示出的内窥镜图像中类型C3的患部。
以上对本发明的实施方式和实施例进行了说明，但是本发明并不限于上述的实施方式的构成方式，而是能够进行多种变形。
此外，利用上述实施方式来说明的构成方式只不过是本发明的一实施方式而已，并没有意图将本发明限定在该构成方式内。

Claims (4)

1.一种内窥镜图像诊断辅助系统，其特征在于：具备：
存储装置，所述存储装置保存预先分类成各病理类型的学习用图像群；以及
处理装置，所述处理装置接收内窥镜图像，并进行该内窥镜图像中的识别对象区域的图像与所述学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型，
所述处理装置进行所述识别对象区域的图像与所述学习用图像群之间的特征量匹配，来计算所述识别对象区域中的各病理类型的识别概率，在所述识别概率的最大值比阈值还小的情况下，所述处理装置细化所述识别对象区域来进行各个细化区域的图像与所述学习用图像群之间的特征量匹配，由此计算各个所述细化区域中的各病理类型的识别概率，所述处理装置将所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率的平均值作为所述识别对象区域以及各个所述细化区域的分层重叠区域中的各病理类型的识别概率来计算。
2.根据权利要求1所述的内窥镜图像诊断辅助系统，其特征在于：
所述处理装置用于根据不同尺寸的区域的识别精度来对所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率进行加权处理，从而计算所述平均值。
3.根据权利要求1所述的内窥镜图像诊断辅助系统，其特征在于：
根据所述识别对象区域以及各个所述细化区域的图像而得到的特征量是用基于特征袋法的视觉词的直方图来表现的，
所述处理装置用于将如下所述的直方图相加来计算表示根据上位层次区域的图像而得到的特征量的直方图：所述直方图表示根据分层重叠的下位层次区域的图像而得到的特征量。
4.根据权利要求1所述的内窥镜图像诊断辅助系统，其特征在于：
所述处理装置用于对各病理类型进行一对多式的二分类识别，并基于所述的二分类识别的识别结果来计算所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率。
CN201580007579.7A 2014-02-07 2015-02-02 内窥镜图像诊断辅助系统 Expired - Fee Related CN105979847B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-022425 2014-02-07
JP2014022425A JP6235921B2 (ja) 2014-02-07 2014-02-07 内視鏡画像診断支援システム
PCT/JP2015/000448 WO2015118850A1 (ja) 2014-02-07 2015-02-02 内視鏡画像診断支援システム

Publications (2)

Publication Number Publication Date
CN105979847A CN105979847A (zh) 2016-09-28
CN105979847B true CN105979847B (zh) 2018-03-30

Family

ID=53777665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580007579.7A Expired - Fee Related CN105979847B (zh) 2014-02-07 2015-02-02 内窥镜图像诊断辅助系统

Country Status (5)

Country Link
US (1) US10062161B2 (zh)
EP (1) EP3095376B1 (zh)
JP (1) JP6235921B2 (zh)
CN (1) CN105979847B (zh)
WO (1) WO2015118850A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6235921B2 (ja) * 2014-02-07 2017-11-22 国立大学法人広島大学 内視鏡画像診断支援システム
KR101847587B1 (ko) * 2016-07-28 2018-04-10 한림대학교 산학협력단 유사 세포 이미지 탐색 장치 및 방법
KR102707594B1 (ko) * 2016-11-11 2024-09-19 삼성전자주식회사 홍채 영역 추출 방법 및 장치
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN108280826A (zh) * 2018-01-23 2018-07-13 北京易智能科技有限公司 一种ct肺亚实性结节特征提取及检测方法
CN108364025A (zh) * 2018-02-11 2018-08-03 广州市碳码科技有限责任公司 基于深度学习的胃镜图像识别方法、装置、设备及介质
CN112189236B (zh) 2018-05-28 2024-07-23 富士胶片株式会社 内窥镜用学习数据收集装置、内窥镜用学习数据收集方法和记录介质、学习系统、学习完毕模型、以及内窥镜图像处理装置
JP7104375B2 (ja) 2018-07-09 2022-07-21 日本電気株式会社 施術支援装置、施術支援方法、及びプログラム
JP7326308B2 (ja) * 2018-09-11 2023-08-15 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN112771516A (zh) * 2018-09-26 2021-05-07 国立研究开发法人理化学研究所 分类装置、分类方法、程序以及信息记录介质
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
CN109801207B (zh) * 2019-01-08 2023-05-30 桂林电子科技大学 Cpu-fpga协同的影像特征高速检测与匹配系统
US12020397B2 (en) 2019-02-14 2024-06-25 Nec Corporation Lesion area dividing device, medical image diagnostic system, lesion area dividing method, and non-transitory computer-readable medium storing program
US11195060B2 (en) * 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications
AU2020352836B2 (en) 2019-09-23 2023-05-25 Boston Scientific Scimed, Inc. System and method for endoscopic video enhancement, quantitation and surgical guidance
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341703A (zh) * 2009-03-04 2012-02-01 日本电气株式会社 诊断成像支持设备、诊断成像支持方法和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
US8812431B2 (en) * 2010-02-03 2014-08-19 Siemens Aktiengesellschaft Method and system for medical decision support using organ models and learning based discriminative distance functions
US8712505B2 (en) * 2010-11-11 2014-04-29 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Automated macular pathology diagnosis in three-dimensional (3D) spectral domain optical coherence tomography (SD-OCT) images
JP5167442B2 (ja) * 2011-02-17 2013-03-21 三洋電機株式会社 画像識別装置およびプログラム
WO2013028762A1 (en) * 2011-08-22 2013-02-28 Siemens Corporation Method and system for integrated radiological and pathological information for diagnosis, therapy selection, and monitoring
JP6235921B2 (ja) * 2014-02-07 2017-11-22 国立大学法人広島大学 内視鏡画像診断支援システム
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341703A (zh) * 2009-03-04 2012-02-01 日本电气株式会社 诊断成像支持设备、诊断成像支持方法和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Computer-aided colorectal tumor classification in NBI endoscopy using local features;Toru Tamaki,Junki Yoshimuta,Misato Kawakami et al.;《Medical Image Analysis》;20120803;第17卷(第1期);全文 *

Also Published As

Publication number Publication date
EP3095376A4 (en) 2017-05-10
EP3095376A1 (en) 2016-11-23
JP2015146970A (ja) 2015-08-20
WO2015118850A1 (ja) 2015-08-13
US10062161B2 (en) 2018-08-28
EP3095376B1 (en) 2018-06-27
CN105979847A (zh) 2016-09-28
JP6235921B2 (ja) 2017-11-22
US20160350912A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
CN105979847B (zh) 内窥镜图像诊断辅助系统
Brandao et al. Fully convolutional neural networks for polyp segmentation in colonoscopy
AU2019431299B2 (en) AI systems for detecting and sizing lesions
Wang et al. Automatic ischemic stroke lesion segmentation from computed tomography perfusion images by image synthesis and attention-based deep neural networks
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
US11017526B2 (en) Method and apparatus for real-time detection of polyps in optical colonoscopy
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
US20100124365A1 (en) Image display device, computer readable storage medium storing image processing program, and image processing method
Wang et al. U-net using stacked dilated convolutions for medical image segmentation
US8457376B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20130028470A1 (en) Image processing apparatus, image processing method, and comupter readable recording device
WO2021159811A1 (zh) 青光眼辅助诊断装置、方法及存储介质
Nie et al. Specular reflections detection and removal for endoscopic images based on brightness classification
CN116935051B (zh) 一种息肉分割网络方法、系统、电子设备及存储介质
CN113689412A (zh) 甲状腺图像处理方法、装置、电子设备及存储介质
US8774521B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
CN104766068A (zh) 一种多规则融合的随机游走舌像提取方法
JP4925111B2 (ja) 類似画像検索装置
Khan et al. Voting neural network (vnn) for endoscopic image segmentation
Sanderson et al. A Study on Self-Supervised Pretraining for Vision Problems in Gastrointestinal Endoscopy
KR20200041773A (ko) 암 영역 정보 보정 장치 및 방법
Gómez-Zuleta et al. Artificial intelligence techniques for the automatic detection of colorectal polyps

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180330

Termination date: 20210202