CN112437948A - 图像诊断支援系统及图像诊断支援装置 - Google Patents

图像诊断支援系统及图像诊断支援装置 Download PDF

Info

Publication number
CN112437948A
CN112437948A CN201880095782.8A CN201880095782A CN112437948A CN 112437948 A CN112437948 A CN 112437948A CN 201880095782 A CN201880095782 A CN 201880095782A CN 112437948 A CN112437948 A CN 112437948A
Authority
CN
China
Prior art keywords
interest
region
classification
image
classification result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880095782.8A
Other languages
English (en)
Inventor
白谷文行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112437948A publication Critical patent/CN112437948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

图像诊断支援系统(100)具备：图像输入部(110)，其受理图像的输入；第1处理部(112)，其从图像检测包括关心对象的关心区域，对检测到的关心区域进行分类并输出第1分类结果；以及第2处理部(114)，其对关心区域执行语义分割，基于执行语义分割的结果对关心区域进行分类并输出第2分类结果。针对关心区域，在规定的条件成立的情况下，采用第1分类结果作为关心区域的分类，在规定的条件不成立的情况下，采用第2分类结果作为关心区域的分类。

Description

图像诊断支援系统及图像诊断支援装置
技术领域
本发明涉及图像诊断支援系统及图像诊断支援装置。
背景技术
近年来，开始了将以深度学习为代表的监督式学习应用于内窥镜图像的诊断的尝试。以往，提出了通过现有方法和监督式学习的组合并根据内窥镜图像来检测作为关心对象的病变的技术(专利文献1)。
现有技术文献
专利文献
专利文献1：WO2017/042812号公报
发明内容
发明要解决的问题
在专利文献1中，存在通过监督式学习对包括检测到的关心对象的关心区域进行分类(鉴别)的记载，但未公开用于高精度地对关心区域进行分类的问题和研究。本发明人摸索能够更高精度地对关心区域进行分类的技术，想到了本发明。
本发明是鉴于这种状况而完成的，其目的在于，提供一种能够更高精度地对关心区域进行分类的技术。
用于解决问题的手段
为了解决上述问题，本发明的某个方案的图像诊断支援系统具备：输入部，其受理图像的输入；第1处理部，其从图像检测包括关心对象的关心区域，对检测到的关心区域进行分类并输出第1分类结果；以及第2处理部，其对关心区域执行语义分割，基于执行语义分割的结果对关心区域进行分类并输出第2分类结果，针对关心区域，在规定的条件成立的情况下，采用第1分类结果作为关心区域的分类，在规定的条件不成立的情况下，采用第2分类结果作为关心区域的分类。
本发明的另一方案是图像诊断支援装置。该装置具备：输入部，其受理图像的输入；第1处理部，其从图像检测包括关心对象的关心区域，对检测到的关心区域进行分类并输出第1分类结果；以及第2处理部，其对关心区域执行语义分割，基于执行语义分割的结果对关心区域进行分类并输出第2分类结果，针对关心区域，在规定的条件成立的情况下，采用第1分类结果作为关心区域的分类，在不满足规定的条件的情况下，采用第2分类结果作为关心区域的分类。
本发明的又一方案是图像诊断支援系统。该图像诊断支援系统具备：输入部，其受理图像的输入；第1处理部，其从降低图像的分辨率而得到的图像检测包括关心对象的关心区域；以及第2处理部，其针对分辨率比降低了分辨率后的图像高的图像中的与关心区域对应的区域执行语义分割，基于执行语义分割的结果对关心区域进行分类。
另外，以上的结构要素的任意组合、在方法、装置、系统、记录介质、计算机程序等之间转换本发明的表现而得到的实施方式作为本发明的方案也是有效的。
发明的效果
根据本发明，可提供能够更高精度地对关心区域进行分类的技术。
附图说明
图1是示出第1实施方式的图像诊断支援系统的功能及结构的框图。
图2是用于说明由图1的决定部进行的处理的图。
图3是示出第1实施方式的图像诊断支援系统中的一系列处理的一例的流程图。
图4是示出第2实施方式的图像诊断支援系统中的一系列处理的一例的流程图。
图5是示出第4实施方式的图像诊断支援系统的功能及结构的框图。
具体实施方式
以下，基于优选的实施方式，参照附图对本发明进行说明。
(第1实施方式)
图1是示出第1实施方式的图像诊断支援系统100的功能及结构的框图。这里所示的各模块在硬件方面能够由以计算机的CPU(central processing unit：中央处理单元)为代表的元件、机械装置实现，在软件方面由计算机程序等实现，但这里，描绘通过它们的协同配合而实现的功能块。因此，本领域技术人员应理解这些功能块能够通过硬件、软件的组合以各种各样的形式实现。后述的图4也是同样的。
图像诊断支援系统100支援使用了内窥镜图像的病变的诊断。另外，例如通过将镜体向体内插入的现有型的内窥镜、胶囊内窥镜或者NBI(Narrow Band Imaging：窄带成像)内窥镜来拍摄内窥镜图像。
图像诊断支援系统100具备图像输入部110、第1处理部112、第2处理部114、决定部116以及输出部118。
图像输入部110从用户终端或者其他的装置受理内窥镜图像的输入。第1处理部112针对由图像输入部110受理到的内窥镜图像，执行检测病变候选区域(关心区域)的检测处理。病变候选区域是包括病变(关心对象)的矩形区域。然后，第1处理部112执行对检测到的病变候选区域(即病变)的恶性度进行分类(鉴别)的第1分类处理，输出该分类结果即第1分类结果。
具体而言，第1处理部112作为检测处理而向检测用的学习模型输入内窥镜图像，该学习模型是以从内窥镜图像检测包括病变的病变候选区域的方式进行了学习的学习完毕的学习模型。另外，检测用的学习模型优选构筑为神经网络，更优选构筑为例如RegionProposal Network(RPN)等卷积神经网络。即，作为检测处理，第1处理部112优选执行基于神经网络的处理，更优选执行基于卷积神经网络的处理。根据内窥镜图像的不同，既存在在检测处理中未检测到病变候选区域的情况，也存在检测到1个或多个病变候选区域的情况。
此外，作为第1分类处理，第1处理部112向以对病变候选区域进行分类的方式学习的学习完毕的第1分类用的学习模型输入与检测到的病变候选区域相关的信息。这里，第1分类用的学习模型是以将病变候选区域分类为良性、轻度恶性、恶性中的任意一方的方式学习而得到的模型。另外，第1分类用的学习模型优选构筑为神经网络，更优选构筑为例如Fast R-CNN(FRCNN)等卷积神经网络。即，作为第1分类处理，第1处理部112优选执行基于神经网络的处理，更优选执行基于卷积神经网络的处理。
第2处理部114执行对通过检测处理检测到的病变候选区域的各像素的恶性度进行分类、即以像素单位对病变候选区域进行分类的语义分割，进而基于语义分割的执行结果即各像素的分类结果，执行对病变候选区域的恶性度进行分类的第2分类处理，输出该分类结果即第2分类结果。
具体而言，第2处理部114向学习完毕的语义分割用的学习模型输入与检测到的病变候选区域相关的信息。这里，语义分割用的学习模型是以将病变候选区域的各像素分类为良性、轻度恶性、恶性或者正常中的任意一方的方式学习而得到的模型。另外，语义分割用的学习模型优选构筑为神经网络，更优选构筑为例如DeepLab等卷积神经网络。即，作为第2分类处理，第2处理部114优选执行基于神经网络的处理，更优选执行基于卷积神经网络的处理。
此外，第2处理部114在第2分类处理中，例如，将分类为病变的像素(即分类为良性、轻度恶性或恶性的像素)中比例最多的分类设为作为病变候选区域(即病变)的分类结果即第2分类结果。
决定部116决定采用第1分类结果和第2分类结果中的哪一个分类结果作为病变候选区域的分类。这里，在第1分类处理中，将病变候选区域整体上分类为一个类别，因此，在病变候选区域中的病变的专有面积较小的情况下，具体而言在病变沿倾斜方向细长的情况下，分类精度趋向于变低。对此，决定部116在病变候选区域中的病变的专有面积较大的情况下，决定为采用第1分类处理的第1分类结果作为病变候选区域的分类，在病变候选区域中的病变的专有面积较小的情况下，决定为采用第2分类处理的第2分类结果作为病变候选区域的分类。
图2(a)、(b)是用于说明由决定部116进行的处理的图。图2(a)示出语义分割的执行结果。图2(b)示出基于公知的方法对图2(a)的病变区域进行椭圆近似而得到的椭圆。参照图2(a)、(b)，更加具体地说明由决定部116进行的处理。首先，决定部116对语义分割的执行结果中的病变区域A1，即作为通过语义分割而分类为病变(即良性、轻度恶性或恶性)的像素集合的病变区域A1进行椭圆近似。接着，决定部116确定通过椭圆近似而得到的病变区域A2的长径DL、短径DM及长轴Ax的方向。然后，决定部116在下述的条件成立的情况下，估计为病变没有那么细长或者即便细长也不在倾斜方向上细长，决定为采用第1分类结果作为病变候选区域的分类。另一方面，决定部116在下述的条件不成立的情况下，估计为病变在倾斜方向上以某种程度以上细长，决定为采用第2分类结果作为病变候选区域的分类结果。
(条件)
短径DM/长径DL≥阈值Th1(例如Th1＝0.3)
或者图像的纵向与长轴Ax所成的锐角α在规定的角度范围(例如0°～30°)内
输出部118将由决定部116决定作为病变候选区域的分类而采用的分类输出到例如显示器。
以上是图像诊断支援系统100的结构。接着对图像诊断支援系统100的动作进行说明。
图3是示出图像诊断支援系统100中的一系列处理的一例的流程图。图像输入部110受理内窥镜图像的输入(S110)。第1处理部112对内窥镜图像执行检测病变候选区域的检测处理(S112)。在检测到病变候选区域的情况下，即在内窥镜图像中存在病变候选区域的情况下(S114的是)，第1处理部112对检测到的病变候选区域执行第1分类处理，输出第1分类结果(S116)。第2处理部114对检测到的病变候选区域执行语义分割(S118)，执行基于该结果输出第2分类结果的第2分类处理(S120)。决定部116基于语义分割的执行结果所示的病变区域的形状，决定采用第1分类结果和第2分类结果中的哪一个分类结果作为病变候选区域的分类(S122)。输出部118输出被决定采用的分类(S124)。在未检测到病变候选区域的情况下(S114的否)，跳过S116～S124而结束处理。
另外，也可以在S112的检测处理中检测到病变候选区域的情况下，跳过S116的第1分类处理而进入S118的语义分割的执行。然后，也可以在执行语义分割之后，跳过S120的第2分类处理而进入S122的决定要采用的分类结果的处理。然后，也可以在决定为采用第1分类结果的情况下，执行S116的第1分类处理，在决定为采用第2分类结果的情况下，执行S120的第2分类处理。
另外，以上的动作设想了内窥镜图像是静态图像的情况，但在动态图像的情况下，也可以根据内窥镜图像的读入而持续输出分类结果，例如在成为动态图像的最后的时间点结束处理。
根据以上说明的第1实施方式的图像诊断支援系统100，在病变候选区域中的病变在倾斜方向上细长的情况下，不采用在这种情况下分类精度趋向于变低的第1分类结果，而采用第2分类结果。由此，能够提高分类精度。
(第2实施方式)
在第1实施方式中，说明了基于第2处理部的语义分割的执行结果所示的病变的形状来决定采用第1分类结果和第2分类结果中的哪一个分类结果作为病变候选区域的分类的情况。在第2实施方式中，说明基于病变候选区域的形状来决定采用第1分类结果和第2分类结果中的哪一个分类结果作为病变候选区域的分类的情况。以与第1实施方式的不同点为中心进行说明。
这里，在通过第1处理部112的检测处理而检测到的病变候选区域是细长形状的情况下，估计为该病变候选区域所包含的病变的形状是细长形状。另一方面，大多情况下，从侧方观察病变时看起来是细长的，在由第1处理部112进行的分类中，从侧方拍摄到的病变的分类精度趋向于变低。对此，决定部116在病变候选区域为正方形或者不那么细长的矩形的情况下，决定为采用第1分类处理的第1分类结果作为病变候选区域的分类，在病变候选区域为某种程度以上细长的矩形的情况下，决定为采用第2分类处理的第2分类结果作为病变候选区域的分类。
具体而言，决定部116在下述的条件成立的情况下，决定为采用第1分类结果作为病变候选区域的分类，在下述的条件不成立的情况下，决定为采用第2分类结果作为病变候选区域的分类结果。
(条件)
病变候选区域的短边的长度/病变候选区域的长边的长度≥阈值Th2(例如Th2＝0.2)
接着，对图像诊断支援系统的动作进行说明。
图4是示出第2实施方式的图像诊断支援系统中的一系列处理的一例的流程图。以与图3的不同点为中心进行说明。当第1分类结果被输出时，决定部116基于病变候选区域的形状，决定采用第1分类结果和第2分类结果中的哪一个分类结果作为病变候选区域的分类(S118)。在决定为采用第1分类结果的情况下(S118的是)，跳过S120的语义分割的执行及S122的第2分类处理，输出被决定采用的第1分类结果(S124)。在决定为采用第2分类结果的情况下(S118的否)，执行语义分割及第2分类处理(S120、S122)，将第2分类结果作为分类结果而输出(S124)。
另外，S118的由决定部116进行的处理也可以紧跟S114的处理之后执行。在该情况下，也可以仅在决定为采用第1分类结果的情况下执行第1分类处理，仅在决定为采用第2分类结果的情况下执行第2分类处理。
此外，在病变候选区域为正方形或者接近正方形的矩形的情况下，可能存在病变在倾斜方向上细长的情况。因此，也可以进一步组合第1实施方式的技术，在病变候选区域为正方形或者接近正方形的矩形的情况下，进一步判定采用第1分类结果还是采用第2分类结果。
根据以上说明的第2实施方式的图像诊断支援系统，在病变候选区域为某种程度以上细长的矩形的情况下，不采用在这种情况下分类精度趋向于变低的第1分类结果，而采用第2分类结果。由此，能够提高分类精度。
(第3实施方式)
本发明人确认出，在学习时将实施了SoftMax函数的输出设为似然度且在识别时将未实施SoftMax函数的输出设为似然度的情况下，在分类的似然度与分类的精度之间存在相关性。对此，在第3实施方式中，说明基于第1分类结果的似然度和第2分类结果的似然度来决定采用第1分类结果和第2分类结果中的哪一个分类结果作为病变候选区域的分类的情况。以与第1实施方式的不同点为中心进行说明。
第1处理部112执行检测处理及第1分类处理。决定部116判定第1分类处理的第1分类结果的似然度是否为规定的阈值Th3(例如Th3＝0.6)以上。在第1分类结果的似然度为阈值Th3以上的情况下，决定部116决定为采用第1分类结果作为病变候选区域的分类。在第1分类结果的似然度小于阈值Th3的情况下，决定部116决定为不采用第1分类结果作为病变候选区域的分类。在该情况下，第2处理部114执行语义分割及第2分类处理。决定部116判定第2分类处理的第2分类结果的似然度是否为规定的阈值Th4(例如Th4＝0.6)以上。在第2分类结果的似然度为阈值Th4以上的情况下，决定部116决定为采用第2分类结果作为病变候选区域的分类。在第2分类结果的似然度小于阈值Th4的情况下，决定部116决定为不采用第2分类结果作为病变候选区域的分类。在该情况下，决定部116将病变候选区域设为不能分类。输出部118输出第1分类结果、第2分类结果或者不能分类。
根据以上说明的第3实施方式的图像诊断支援系统，不采用分类的似然度较低的分类结果，因此，能够提高分类精度。
(第4实施方式)
图5是示出第4实施方式的图像诊断支援系统200的功能及结构的框图。以与第1实施方式的不同点为中心进行说明。
图像诊断支援系统200不具备决定部。第1处理部112针对图像输入部110受理到的内窥镜图像或者降低该内窥镜图像的分辨率而得到的图像，执行检测处理。另外，本实施方式的第1处理部112不执行第1分类处理。第2处理部114针对与通过检测处理而检测到的病变候选区域对应的区域、且分辨率比用于检测处理的图像高的图像中的与该病变候选区域对应的区域，执行第2分类处理。输出部118将第2分类处理的第2分类结果作为病变候选区域的分类而输出。
根据以上说明的第4实施方式的图像诊断支援系统200，
以上，基于实施方式对本发明进行了说明。该实施方式是例示，本领域技术人员应理解这些各结构要素和各处理过程的组合可以具有各种变形例，并且这样的变形例也处于本发明的范围内。
在实施方式中，说明了图像诊断支援系统100支援使用了由医疗用的内窥镜拍摄到的内窥镜图像的病变的诊断的情况，但不限于此。图像诊断支援系统100例如也能够应用于支援使用了由工业用的内窥镜拍摄到的内窥镜图像的金属表面的伤痕检查等的情况。例如，也可以是，在确认伤痕的损伤程度的情况下，根据内窥镜图像检测作为伤痕候选区域的关心区域，确定关心区域的镜面反射区域和非镜面反射区域，从非镜面反射区域提取边缘，计算边缘的模糊量，基于模糊量来判定关心区域是否为伴有模糊的诊断不合格区域，在不是诊断不合格区域的情况下，执行对伤痕的损伤程度进行分类的分类处理，输出其分类结果，在是诊断不合格区域的情况下，不执行分类处理，输出该关心区域是诊断不合格区域。
在实施方式中，说明了将检测用的学习模型和第1分类用的学习模型构筑为不同的学习模型的情况，但它们也可以构筑为1个学习模型，优选构筑为1个神经网络，更优选构筑为例如Faster R-CNN等1个卷积神经网络。
第1实施方式～第4实施方式的方法在不矛盾的范围内也可以任意组合。
在实施方式及变形例中，图像诊断支援系统也可以包括处理器、以及存储器等储存器。关于这里的处理器，例如各部的功能可以由独立的硬件实现，或者各部的功能也可以由一体的硬件实现。例如，处理器包括硬件，该硬件能够包括对数字信号进行处理的电路及对模拟信号进行处理的电路中的至少一方。例如，处理器能够由安装于电路基板的1个或多个电路装置(例如IC等)、1个或多个电路元件(例如电阻、电容等)构成。处理器例如也可以是CPU(Central Processing Unit：中央处理单元)。但是，处理器不限于CPU，能够使用GPU(Graphics Processing Unit：图形处理单元)或者DSP(Digital Signal Processor：数字信号处理器)等各种处理器。另外，处理器也可以是基于ASIC(Application SpecificIntegrated Circuit：专用集成电路)或FPGA(Field-programmable Gate Array：现场可编程门阵列)的硬件电路。另外，处理器也可以包括对模拟信号进行处理的放大器电路或滤波器电路等。存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器，也可以是硬盘装置等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储有能够由计算机读取的命令，由处理器执行该命令，由此，实现图像诊断支援系统的各部的功能。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。
此外，在实施方式及变形例中，图像诊断支援系统的各处理部例如也可以通过通信网络这样的数字数据通信的任意的形式或介质而连接。通信网络的例子例如包括LAN、WAN、以及形成因特网的计算机及网络。
标号说明
100图像诊断支援系统，110图像输入部，112第1处理部，114第2处理部，116决定部。
产业利用性
本发明涉及图像诊断支援系统及图像诊断支援装置。

Claims (8)

1.一种图像诊断支援系统，其特征在于，
所述图像诊断支援系统具备：
输入部，其受理图像的输入；
第1处理部，其从所述图像检测包括关心对象的关心区域，对检测到的所述关心区域进行分类并输出第1分类结果；以及
第2处理部，其对所述关心区域执行语义分割，基于执行语义分割的结果对所述关心区域进行分类并输出第2分类结果，
针对所述关心区域，在规定的条件成立的情况下，采用所述第1分类结果作为所述关心区域的分类，在规定的条件不成立的情况下，采用所述第2分类结果作为所述关心区域的分类。
2.根据权利要求1所述的图像诊断支援系统，其特征在于，
针对基于通过语义分割被分类为所述关心对象的像素而确定的所述关心对象的形状，在规定的条件成立的情况下，采用所述第1分类结果作为所述关心区域的分类，在规定的条件不成立的情况下，采用所述第2分类结果作为所述关心区域的分类。
3.根据权利要求2所述的图像诊断支援系统，其特征在于，
所述条件是，如下的椭圆的短径与长径之比为规定的阈值以上、并且该椭圆的长轴与所述图像的纵向所成的锐角在规定的角度范围内，其中，所述椭圆是对通过语义分割被分类为所述关心对象的像素的集合进行椭圆近似而得到的。
4.根据权利要求1所述的图像诊断支援系统，其特征在于，
针对所述关心区域的形状，在规定的条件成立的情况下，采用所述第1分类结果作为所述关心区域的分类，在规定的条件不成立的情况下，采用所述第2分类结果作为所述关心区域的分类。
5.根据权利要求1所述的图像诊断支援系统，其特征在于，
在所述第1分类结果的似然度为规定的阈值以上的情况下，采用所述第1分类结果作为所述关心区域的分类，在所述第1分类结果的似然度小于阈值的情况下，采用所述第2分类结果作为所述关心区域的分类或者将所述关心区域设为不能分类。
6.根据权利要求1至5中的任意一项所述的图像诊断支援系统，其特征在于，
所述第1处理部、所述第2处理部分别执行基于卷积神经网络的处理。
7.一种图像诊断支援装置，其特征在于，
所述图像诊断支援装置具备：
输入部，其受理图像的输入；
第1处理部，其从所述图像检测包括关心对象的关心区域，对检测到的所述关心区域进行分类并输出第1分类结果；以及
第2处理部，其对所述关心区域执行语义分割，基于执行语义分割的结果对所述关心区域进行分类并输出第2分类结果，
针对所述关心区域，在规定的条件成立的情况下，采用所述第1分类结果作为所述关心区域的分类，在不满足规定的条件的情况下，采用所述第2分类结果作为所述关心区域的分类。
8.一种图像诊断支援系统，其特征在于，
所述图像诊断支援系统具备：
输入部，其受理图像的输入；
第1处理部，其从降低所述图像的分辨率而得到的图像检测包括关心对象的关心区域；以及
第2处理部，其针对分辨率比降低了分辨率后的所述图像高的图像中的与所述关心区域对应的区域执行语义分割，基于执行语义分割的结果对所述关心区域进行分类。
CN201880095782.8A 2018-07-31 2018-07-31 图像诊断支援系统及图像诊断支援装置 Pending CN112437948A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028689 WO2020026349A1 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援装置

Publications (1)

Publication Number Publication Date
CN112437948A true CN112437948A (zh) 2021-03-02

Family

ID=69232480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880095782.8A Pending CN112437948A (zh) 2018-07-31 2018-07-31 图像诊断支援系统及图像诊断支援装置

Country Status (4)

Country Link
US (1) US11488311B2 (zh)
JP (1) JP6937438B2 (zh)
CN (1) CN112437948A (zh)
WO (1) WO2020026349A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4302679A4 (en) * 2021-03-01 2024-04-24 Nec Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND STORAGE MEDIUM
KR102600401B1 (ko) * 2021-06-03 2023-11-10 주식회사 크레스콤 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP7366111B2 (ja) * 2021-12-10 2023-10-20 広州智睿医療科技有限公司 病理診断支援方法
JP7400035B1 (ja) 2022-07-27 2023-12-18 日本農薬株式会社 害虫の検査のためのプログラム及び害虫検査装置
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050185835A1 (en) * 2004-01-29 2005-08-25 Canon Kabushiki Kaisha Learning method and device for pattern recognition
US20060222221A1 (en) * 2005-04-05 2006-10-05 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
CN101061513A (zh) * 2004-11-22 2007-10-24 伊斯曼柯达公司 超声图像中病变的检测和分类
US20100172543A1 (en) * 2008-12-17 2010-07-08 Winkler Thomas D Multiple object speed tracking system
CN102104759A (zh) * 2009-12-09 2011-06-22 精工爱普生株式会社 图像处理装置、图像显示装置以及图像处理方法
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN103823962A (zh) * 2012-11-16 2014-05-28 三星电子株式会社 诊断设备和方法
CN104334086A (zh) * 2012-06-07 2015-02-04 日立阿洛卡医疗株式会社 关心区域设定方法及超声波诊断装置
CN104933711A (zh) * 2015-06-10 2015-09-23 南通大学 一种肿瘤病理图像自动快速分割方法
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
CN105640577A (zh) * 2015-12-16 2016-06-08 深圳市智影医疗科技有限公司 一种自动检测放射影像中局部性病变的方法和系统
CN107330883A (zh) * 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225551B2 (en) * 2004-04-07 2007-06-05 Siemens Vdo Automotive Corporation Electronic compass and method for tracking vehicle rotation
JP5413408B2 (ja) 2011-06-09 2014-02-12 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP6339872B2 (ja) 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
US20180108138A1 (en) 2015-04-29 2018-04-19 Siemens Aktiengesellschaft Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
WO2017042812A2 (en) 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2018105062A1 (ja) 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
WO2019142243A1 (ja) 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050185835A1 (en) * 2004-01-29 2005-08-25 Canon Kabushiki Kaisha Learning method and device for pattern recognition
CN101061513A (zh) * 2004-11-22 2007-10-24 伊斯曼柯达公司 超声图像中病变的检测和分类
US20060222221A1 (en) * 2005-04-05 2006-10-05 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
US20100172543A1 (en) * 2008-12-17 2010-07-08 Winkler Thomas D Multiple object speed tracking system
CN102104759A (zh) * 2009-12-09 2011-06-22 精工爱普生株式会社 图像处理装置、图像显示装置以及图像处理方法
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN104334086A (zh) * 2012-06-07 2015-02-04 日立阿洛卡医疗株式会社 关心区域设定方法及超声波诊断装置
CN103823962A (zh) * 2012-11-16 2014-05-28 三星电子株式会社 诊断设备和方法
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
CN104933711A (zh) * 2015-06-10 2015-09-23 南通大学 一种肿瘤病理图像自动快速分割方法
CN105640577A (zh) * 2015-12-16 2016-06-08 深圳市智影医疗科技有限公司 一种自动检测放射影像中局部性病变的方法和系统
CN107330883A (zh) * 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统

Also Published As

Publication number Publication date
US11488311B2 (en) 2022-11-01
WO2020026349A1 (ja) 2020-02-06
JP6937438B2 (ja) 2021-09-22
US20210118145A1 (en) 2021-04-22
JPWO2020026349A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
CN112437948A (zh) 图像诊断支援系统及图像诊断支援装置
JP4533836B2 (ja) 変動領域検出装置及びその方法
US20140204238A1 (en) Feature extraction apparatus, feature extraction program, and image processing apparatus
JP5950441B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP4724638B2 (ja) オブジェクト検出方法
US20200342598A1 (en) Image diagnosis support system and image diagnosis support method
CN114897806A (zh) 缺陷检测方法、电子设备及计算机可读存储介质
CN110675407A (zh) 一种图像实例分割方法、装置、电子设备及存储介质
US20130201358A1 (en) Efficient Line Detection Method
US8442348B2 (en) Image noise reduction for digital images using Gaussian blurring
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
Hegenbart et al. Systematic assessment of performance prediction techniques in medical image classification a case study on celiac disease
CN117496560B (zh) 一种基于多维向量的指纹纹线识别方法及装置
JP2018142828A (ja) 付着物検出装置および付着物検出方法
CN117115117B (zh) 基于小样本下的病理图像识别方法、电子设备及存储介质
CN111753775B (zh) 鱼的生长评估方法、装置、设备及存储介质
KR100513784B1 (ko) 영상 개선 방법 및 장치
KR101829386B1 (ko) 표적 검출 장치 및 방법
JP2013164643A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP4771887B2 (ja) 受動式及びインタラクティブ式の即時影像認識方法
JP5773935B2 (ja) シーンにおけるオブジェクトを分類する方法
US11636577B2 (en) Method and apparatus with blur estimation
EP3839877B1 (en) Method and system for processing artifacts on digital images
JP4230960B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4471202B2 (ja) 画像処理装置、画像処理方法及び同方法に用いるプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination