CN114596247A - 血管检测装置和基于图像的血管检测方法 - Google Patents

血管检测装置和基于图像的血管检测方法 Download PDF

Info

Publication number
CN114596247A
CN114596247A CN202110074836.6A CN202110074836A CN114596247A CN 114596247 A CN114596247 A CN 114596247A CN 202110074836 A CN202110074836 A CN 202110074836A CN 114596247 A CN114596247 A CN 114596247A
Authority
CN
China
Prior art keywords
blood vessel
detection
detection result
image
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110074836.6A
Other languages
English (en)
Inventor
吕昀寰
谢成典
李爱先
庄文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acer Inc
Far Eastern Memorial Hospital
Original Assignee
Acer Inc
Far Eastern Memorial Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc, Far Eastern Memorial Hospital filed Critical Acer Inc
Publication of CN114596247A publication Critical patent/CN114596247A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A61B5/02014—Determining aneurysm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurosurgery (AREA)
  • Cardiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明提供一种血管检测装置和基于图像的血管检测方法。在方法中，通过第一检测模型对第一待评估数据检测，以获得第一检测结果；通过第二检测模型对第二待评估数据检测，以获得第二检测结果。第一待评估数据包括对血管拍摄所得的一张或更多张医疗图像，且第一检测模型所输出的第一检测结果包括医疗图像中的一个或更多个像素属于血管。第一和第二检测模型是基于机器学习算法所建构，第二待评估数据包括第一检测结果，且第二检测模型所输出的第二检测结果包括医疗图像中的一个或更多个像素属于血管。藉此，可提升血管识别准确度。

Description

血管检测装置和基于图像的血管检测方法
技术领域
本发明涉及一种图像识别技术，具体来说，涉及一种血管检测装置和基于图像的血管检测方法。
背景技术
血管图像是作为多种疾病在病灶确定的重要根据。而医生根据血管图像进行诊断时，往往会纳入主观的因素，让诊断的结果产生偏差。此外，人工判读也是一个耗时、耗财的一个过程。从病患的角度，整个诊断的过程像是个黑盒子，病患无法理解如何得出诊断结果，进而导致沟通不良产生纠纷。
现有血管分割技术包括主要分成计算法。计算法根据图像上各像素强度作分析。例如，将像素对图像的两个维度计算二阶的偏微分，再根据得到的二阶偏微分矩阵的特征向量以和特征值，来确定这像素点是否属于血管。然而，由于血管的样式很多，再加上血管医疗图像照影的血管很有可能已经病态，从而增加血管差异程度，使得通过特征向量和特征值的确定无法涵盖各种血管的型态。此外，这种方法只局限于小尺度的确定，而没有考虑大尺度的信息。
发明内容
本发明是针对一种血管检测装置和基于图像的血管检测方法，可准确地检测血管图像中的血管。
根据本发明的实施例，基于图像的血管检测方法包括(但不仅限于)下列步骤：通过第一检测模型对第一待评估数据检测，以获得第一检测结果；通过第二检测模型对第二待评估数据检测，以获得第二检测结果。第一检测模型是基于机器学习算法所建构，第一待评估数据包括对血管拍摄所得的一张或更多张医疗图像，且第一检测模型所输出的第一检测结果包括医疗图像中的一个或更多个像素属于血管。第二检测模型是基于机器学习算法所建构，第二待评估数据包括第一检测结果，且第二检测模型所输出的第二检测结果包括医疗图像中的一个或更多个像素属于血管。
根据本发明的实施例，血管检测装置包括(但不仅限于)存储器和处理器。存储器存储程序代码。处理器耦接存储器，并经组态加载且执行那些程序代码而用以通过第一检测模型对第一待评估数据检测，以获得第一检测结果，并通过第二检测模型对第二待评估数据检测，以获得第二检测结果。第一检测模型是基于机器学习算法所建构，第一待评估数据包括对血管拍摄所得的一张或更多张医疗图像，且第一检测模型所输出的第一检测结果包括医疗图像中的一个或更多个像素属于血管。第二检测模型是基于机器学习算法所建构，第二待评估数据包括第一检测结果，且第二检测模型所输出的第二检测结果包括医疗图像中的一个或更多个像素属于血管。
基于上述，根据本发明实施例的血管检测装置和基于图像的血管检测方法，可提供多阶段的血管检测机制，并让先前检测结果作为后续检测模型的输入数据，以提升识别的准确度。
附图说明
包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
图1为根据本发明一实施例的血管检测装置的组件方块图；
图2为根据本发明一实施例的基于图像的血管检测方法的流程图；
图3为根据本发明一实施例的血管检测方法的流程示意图；
图4A和图4B示出检测结果比对的实例；
图5为根据本发明一实施例的基于时间序列的目标追踪的示意图；
图6A～图6C示出医疗图像和检测结果的对照实例；
图7为根据本发明一实施例的主要血管检测方法的流程示意图；
图8示出主要血管检测的实例；
图9为根据本发明一实施例的目标血管检测方法的流程示意图；
图10示出不同投照体位的实例；
图11示出血管头端检测的实例。
附图标号说明
100:血管检测装置；
110：存储器；
130：处理器；
150：显示器；
S210～S230、S301、S710、S901～S905：步骤；
D1～D3：待评估数据；
M1～M3：检测模型；
R1～R7、R31～R33：检测结果；
SD1～SD5：补充数据；
R11、R12、R21、R22：分割图像；
Sk：骨干；
O11～O13、MI：医疗图像；
Vh、Lh1、Lh2：血管头端；
P：位置；
LCX：左回旋支；
LAD-proximal：左前降支-近端；
Diagonal：对角支；
OM：钝缘支；
RCA：右冠状动脉；
AcM：锐缘支；
Box：追踪区域；
FP：假阳性。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
图1为根据本发明一实施例的血管检测装置100的组件方块图。请参照图1，血管检测装置100包括(但不仅限于)存储器110和处理器130。血管检测装置100可以是台式计算机、笔记本电脑、智能手机、平板、服务器、医疗检测仪器或其他运算装置。
存储器110可以是任何型态的固定或可移动随机存取内存(Radom AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(flash memory)、传统硬盘(HardDisk Drive，HDD)、固态硬盘(Solid-State Drive，SSD)或类似组件。在一实施例中，存储器110用以记录程序代码、软件模块、组态配置、数据或文件。
处理器130耦接存储器110，处理器130并可以是中央处理单元(CentralProcessing Unit，CPU)、图形处理单元(Graphic Processing unit，GPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、现场可程序化逻辑门阵列(FieldProgrammable Gate Array，FPGA)、特殊应用集成电路(Application-SpecificIntegrated Circuit，ASIC)、神经网络加速器或其他类似组件或上述组件的组合。在一实施例中，处理器130用以执行血管检测装置100的所有或部份作业，且可加载并执行存储器110所记录的各程序代码、软件模块、文件和数据。
在一些实施例中，血管检测装置100还包括显示器150。显示器150可以是液晶显示器(Liquid-Crystal Display，LCD)、(Light-Emitting Diode，LED)显示器、有机发光二极管(Organic Light-Emitting Diode，OLED)、量子点显示器(Quantum dot display)或其他类型显示器。在一实施例中，显示器150用以显示医疗图像或经处理的医疗图像。
下文中，将搭配血管检测装置100中的各项装置、组件和模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而随之调整，且并不仅限于此。
图2为根据本发明一实施例的基于图像的血管检测方法的流程图。请参照图2，处理器130经配置用以通过第一检测模型对第一待评估数据检测，以获得第一检测结果(步骤S210)。具体而言，第一检测模型是基于机器学习算法所建构。机器学习算法可以是卷积神经网络(Convolutional Neural Network，CNN)、递归神经网络(Recurrent NeuralNetwork，RNN)、多层感知器(Multi-Layer Perceptron，MLP)、支持向量机(Support VectorMachine，SVM)或其他算法。机器学习算法可分析训练样本以自中获得规律，从而通过规律对未知数据预测。而检测模型即是经学习后所建构出的机器学习模型，并据以对待评估数据推论。在一实施例中，第一检测模型是将对血管拍摄的医疗图像(或称为血管图像)和其经标记属于血管的结果作为训练样本。
第一待评估数据包括对一条或更多条血管拍摄所得的一张或更多张医疗图像。须说明的是，本发明实施例不限制血管所处的身体部位。此外，第一检测模型经配置用以对第一待评估数据分析，并据以输出的第一检测结果。这第一检测结果可以是医疗图像中的一个或更多个像素属于血管或不属于血管。
在另一实施例中，第一待评估数据可还包括血管的其他特征。例如，轮廓、大小、或边缘等。在一些实施例中，第一待评估数据可还包括不同时间点对相同部位拍摄的医疗图像的特征。
处理器130经配置用以通过第二检测模型对第二待评估数据检测，以获得第二检测结果(步骤S230)。具体而言，第二检测模型也是基于机器学习算法所建构。第一和第二检测模型可能使用相同或不同的机器学习算法，本发明不加以限制。与第一待评估数据不同处在于，用于作为第二检测模型的输入数据的第二待评估数据包括第一检测模型所输出的第一检测结果。此外，第二检测模型所输出的第二检测结果可以是医疗图像中的一个或更多个像素属于血管或不属于血管。
在一实施例中，处理器130可对医疗图像进行图像处理，且这图像处理相关于增强血管的轮廓。例如，边缘强化处理、对比度调整或其他提升轮廓识别度的处理。而第二待评估数据可还包括经图像处理的医疗图像。藉此，结合计算法(例如，增进轮廓识别度)以及学习法(例如，机器学习)的特征，将以较少的数据提升识别结果的准确性。此外，增强血管的轮廓将有助于减少血管检测区域不连续的情形。
举例而言，图3为根据本发明一实施例的血管检测方法的流程示意图。请参照图3，一张医疗图像作为待评估数据D1并输入至检测模型M1，以获得检测结果R1。接着，检测结果R1和两补充数据SD1,SD2(例如，原医疗图像和经边缘强化的图像)作为待评估数据D2并输入至检测模型M2，以获得检测结果R2。
在另一实施例中，第二待评估数据可还包括血管的其他特征。例如，轮廓、大小、或粗细等。在一些实施例中，第二待评估数据可还包括不同时间点对相同部位拍摄的医疗图像的特征。
在一些实施例中，处理器130可根据医疗图像的第一或第二检测结果分割出各医疗图像中属于血管的一个或多个像素，以形成分割图像。例如，通过二值化将属于血管的像素的灰度极小化，并对不属于血管的像素的灰度极大化。
图4A和图4B示出检测结果比对的实例。请参照图4A和图4B，左图为根据检测结果R2所形成的分割图像R21,R22，且右图为根据检测结果R1所形成的分割图像R11,R12。图中方框处可见，分割图像R11,R12有血管不连续的情形，但分割图像R21,R22中的血管轮廓连续。
请参照图3，处理器130可对检测结果R2进行基于时间序列的背景移除(步骤S301)，以得出检测结果R3。在一实施例中，那些医疗图像为根据时间序列排序。即，对相同投照体位和/或角度但不同时间点所拍摄的医疗图像(或称，不同影帧(frame)的医疗图像)。处理器130可根据那些医疗图像的第二检测结果分割出各医疗图像中属于血管的一个或更多血管区域，以获得分别对应于不同影帧的那些医疗图像的多张分割图像。
值得注意的是，医生在判读医疗图像时，往往会参考不同时间序列上影帧的变化，进而增进判读结果的准确性。处理器130可根据时间序列确定那些分割图像中的各血管区域的各像素的位移。例如，处理器130可使用光流(optical flow)或其他目标追踪技术分析各像素在连续影帧之间的位移(即，动态变化)。
处理器130可根据各血管区域对应的位移与先前影帧的分割图像中的血管区域的比对结果分类那些血管区域。比对结果相关于位移与那些血管区域的重叠大小。例如，处理器130可利用得到的位移与前一张或更前张影帧的分割图像中的血管区域做比对。比对结果是与位移(或轨迹)的位置重叠最大的两个血管区域将归类为相同类别(例如，组合成一个区域)，进而得到各血管区域在时间序列上大小的变化情形。藉此，可移除分割图像中的背景噪声(例如，其他类别的区域被视为噪声)。即，检测结果R3的分割图像相较于检测结果R2的分割图像更少背景噪声。
举例而言，图5为根据本发明一实施例的基于时间序列的目标追踪的示意图。请参照图5，使用光流背景移除，血管区域的形状在不同影帧上变化。藉此，可根据时间序列逐渐将完整的血管轮廓分割出来，并移除血管轮廓外的噪声。然而，若未使用光流背景移除，则血管轮廓外仍有些许斑纹。
图6A～图6C示出医疗图像O11～O13和检测结果R31～R33的对照实例。请参照图6A至图6C，以心血管摄影中的血管分割作为例，检测结果R31～R33所得出的分割图像的血管轮廓相当接近于医疗图像O11～O13，且血管可连续不间断。
值得注意的是，分割图像中可能存在许多血管支路，部分支路无助于诊断。针对主要血管，在一实施例中，处理器130可通过第三检测模型对第三待评估数据检测，以获得第三检测结果。具体而言，第三检测模型也是基于那些机器学习算法中的一个个所建构。与第一和第二待评估数据不同处在于，第三待评估数据包括当前影帧的医疗图像的第二检测结果和与先前影帧的医疗图像的第二检测结果(即，前一阶检测模型的输出)。相似地，基于血管在时间序列中的关联性，前后影帧的医疗图像将有助于血管检测。而第三检测模型所输出的第三检测结果即包括医疗图像中的主要血管。在学习阶段中，第三检测模型是基于多种受标记为特定主要血管(例如，冠状动脉的左回旋支、左前降支等)的训练样本来训练。
举例而言，图7为根据本发明一实施例的主要血管检测方法的流程示意图。请参照图7，在图3获得检测结果R3之后，检测结果R3和三个补充数据SD3～SD5(例如，前一张影帧的第三检测结果R3、前后影帧经光流推算并模糊化后再加上当前影帧的边界、以及当前影帧的原始医疗图像)作为待评估数据D3并输入至检测模型M3，以获得检测结果R4。此时，检测结果R4对应的分割图像仅包括主要血管，且其他支路将视为背景并被移除。
须说明的是，主要血管可基于评估多个血管段的病灶复杂度的权重所决定。以syntax score为例，右冠状动脉可划分成：右冠状动脉近端、右冠状动脉中端、右冠状动脉远程、右冠-后降支、右冠-后侧支等血管段。根据病灶位置、严重程度、分岔、钙化等解剖特点定量评估病灶的复杂程度，其中各血管段赋予对应的权重。这些权重的大小相关于主要血管的认定。例如，权重大于特定门坎值(例如，0.8、1或1.2等)者为主要血管。而权重小于特定门坎值者不为主要血管。然而，主要血管不以冠状动脉为限。
在一些实施例中，处理器130可进一步对检测结果R4进行如步骤S301所述的基于时间序列的背景移除(步骤S710)，以移除额外噪声。
在一实施例中，处理器130可根据第二检测模型所输出的检测结果和第三检测模型所输出的检测结果确定主要血管的骨干。具体而言，第二检测模型的检测结果可作为广域(global)特征参考，以对第三检测模型所输出的检测结果进一步修饰血管轮廓。
举例而言，图8示出主要血管检测的实例。请参照图8，例如，处理器130可自检测结果R2中得出其他支路，并将这些支路在检测模型M3所输出的检测结果R4的对应位置中移除，以形成检测结果R5。其中，相较于检测结果R4，检测结果R5的主要血管的轮廓可连续且未有旁支。
接着，处理器130可自血管头端寻找到达血管尾端的最短路径，并将这最短路径作为骨干。具体而言，图9为根据本发明一实施例的目标血管检测方法的流程示意图。请参照图9，针对识别血管头端，在一实施例中，处理器130可根据医疗图像映射的投照体位决定目标血管，以进行场景/视图分类(步骤S901)。具体而言，根据医学图像诊断学(Radiology)的相关文件，不同投照体位和/或角度对应到不同的目标血管。目标血管可以是医生或其他观察者所欲在医疗图像中观看的特定血管，也可以是前述主要血管。
以冠状动脉为例，图10示出不同投照体位的实例。请参照图10，左图是右前斜位(RAO)10度且足位(Caudal)30度的肋下视图(subcostal view)，并可观察到左回旋支LCX、左前降支-近端LAD-proximal、对角支diagonal和钝缘支OM。然而，左回旋支LCX和左前降支-近端LAD-proximal较能分辨，但部分左回旋支LCX与钝缘支OM不易分辨。右图是左前斜位(LAO)10度且头位(Cranial)30度的视图，并可观察到右冠状动脉RCA和锐缘支AcM。虽然可清楚呈现RCA所形成的大C型，但其远程可能与其他支路重叠而不易分辨。由此可知，在特定视图下，部分血管可被清楚分辨(这些血管可作为这视图的目标血管)，但另一部分可能与其他者重叠或轮廓不清晰。
须说明的是，针对管状动脉或是其他部位的视图还有很多，本发明实施例不加以限制视图的类型。
在一实施例中，处理器130可通过机器学习算法相关的分类器来分类医疗图像所属的场景/视图，并据推断场景/视图对应的目标血管。在另一实施例中，处理器130可采用其他图像识别技术(例如，尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)、或边缘检测)来推断医疗图像所属的场景/视图。
接者，处理器130可确定医疗图像的目标血管的血管头端(步骤S903)。具体而言，处理器130可基于对象检测技术(例如，区域卷积神经网络(Region Convolutional NeuralNetwork，R-CNN)、快速(fast)R-CNN、或YOLO(You only look once))识别医疗图像MI中的一个或更多个候选区域中的对象所属类别，并决定类别为血管头端Vh的候选区域。举例而言，图11示出血管头端检测的实例。请参照图11，在第T张影帧的医疗图像中，可检测出血管头端Lh1。
须说明的是，程序代码可加载诸如TensorFlow、PyTorch、Keras或其他链接库(Library)所提供的应用程序编程接口(Application Programming Interface，API)来实现对象检测。
在一实施例中，处理器130可利用目标追踪技术(例如，光流法)追踪血管头端的区域，并据以减少假阳性和假阴性的检测结果。以图11为例，在第T+1张影帧的医疗图像中，可检测出两血管头端Lh1,Lh2。而基于光流法分析第T张和第T+1张影帧的医疗图像，可形成追踪区域Box(例如是比对像素位移与区域的重叠大小)，并据以将血管头端Lh2视为假阳性FP。最后，在第T+2张影帧的医疗图像中，可仅保留追踪区域Box(对应于血管头端Lh1)，并将假阳性FP的血管头端Lh2移除。
处理器130可根据血管头端将目标血管映像到检测结果R2对应的分割图像(步骤S905)(即，图像后处理)。具体而言，检测结果对应的分割图像R2包括属于血管的像素。处理器130可对血管头端的检测结果和第二检测结果(例如是检测结果R2)利用对象检测技术(例如，R-CNN、fast R-CNN、或YOLO)进行还精细的检测，从而确定血管头端，并据以映像到分割图像上的对应位置P且产生检测结果R7(即，血管头端标记在血管的分割图像)。
血管头端确定后，在检测结果R7中，处理器130可对自血管尾端到达血管头端的多条路径中寻找所有可能为骨干的路径。接着，处理器130可根据主要血管的宽度和长度决定主要血管的骨干。例如，路径中任一点的边缘长度平方与宽度总和平方的比值与路径决策相关。请参照图8，最后，处理器130产生检测结果R6。而检测结果R6包括主要血管的骨干Sk。而这骨干Sk可以是自血管尾端到达血管头端的最短路径。
在一些实施例中，处理器130可进一步将前述检测结果R1～R7呈现在显示器150上，以便医生或其他观看者检视。此外，考虑血管在时间序列上的变化，显示器150可实时或机显示血管的动态变化。
综上所述，在本发明实施例的血管检测装置和基于图像的血管检测方法中，提供多阶段基于机器学习的检测模型，并可进一步识别主要血管。此外，本发明实施例还参考时间变化的因素。藉此，可提升血管检测的准确性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种基于图像的血管检测方法，其特征在于，包括：
通过第一检测模型对第一待评估数据检测，以获得第一检测结果，其中所述第一检测模型是基于多个机器学习算法中的一个个所建构，所述第一待评估数据包括对血管拍摄所得的至少一医疗图像，且所述第一检测模型所输出的所述第一检测结果包括所述至少一医疗图像的中至少一像素属于所述血管；以及
通过第二检测模型对第二待评估数据检测，以获得第二检测结果，其中所述第二检测模型是基于所述机器学习算法中的一个个所建构，所述第二待评估数据包括所述第一检测结果，且所述第二检测模型所输出的所述第二检测结果包括所述至少一医疗图像中的所述至少一像素属于所述血管。
2.根据权利要求1所述的基于图像的血管检测方法，其特征在于，还包括：
对所述至少一医疗图像进行图像处理，其中所述图像处理相关于增强所述血管的轮廓，且所述第二待评估数据还包括经所述图像处理的所述至少一医疗图像。
3.根据权利要求1所述的基于图像的血管检测方法，其特征在于，所述至少一医疗图像包括根据时间序列排序的多张医疗图像，且获得所述第二检测结果的步骤之后，还包括：
根据所述医疗图像的所述第二检测结果分割出每一所述医疗图像中属于所述血管的多个血管区域，以获得多张分割图像；
根据所述时间序列确定所述分割图像中的所述血管区域的每一像素的位移；以及
根据每一所述血管区域对应的位移与先前所述分割图像中的血管区域的比对结果分类所述血管区域，其中所述比对结果相关于所述位移与所述血管区域的重叠大小。
4.根据权利要求1所述的基于图像的血管检测方法，其特征在于，所述至少一医疗图像包括根据时间序列排序的多张医疗图像，且获得所述第二检测结果的步骤之后，还包括：
通过第三检测模型对第三待评估数据检测，以获得第三检测结果，其中所述第三检测模型是基于所述机器学习算法中的一个个所建构，所述第三待评估数据包括当前所述医疗图像的所述第二检测结果和与先前所述医疗图像的所述第二检测结果，所述第三检测模型所输出的所述第三检测结果包括所述至少一医疗图像中的主要血管，且所述主要血管是基于评估多个血管段的病灶复杂度的权重所决定。
5.根据权利要求4所述的基于图像的血管检测方法，其特征在于，获得所述第三检测结果的步骤之后，还包括：
根据所述第二检测结果和所述第三检测结果确定所述主要血管的骨干，其中所述骨干为根据其宽度和长度所决定。
6.根据权利要求1所述的基于图像的血管检测方法，其特征在于，获得所述第二检测结果的步骤之后，还包括：
根据所述至少一医疗图像映射的投照体位决定目标血管；以及
确定所述至少一医疗图像的所述目标血管的血管头端。
7.根据权利要求6所述的基于图像的血管检测方法，其特征在于，确定所述至少一医疗图像的所述目标血管的所述血管头端的步骤之后，还包括：
根据所述血管头端将所述目标血管映像到所述第二检测结果对应的分割图像，其中所述分割图像包括属于所述血管的所述至少一像素。
8.一种血管检测装置，包括：
存储器，存储多个程序代码；以及
处理器，耦接所述存储器，并经组态加载且执行所述程序代码而用以：
通过第一检测模型对第一待评估数据检测，以获得第一检测结果，其中所述第一检测模型是基于多个机器学习算法中的一个个所建构，所述第一待评估数据包括对血管拍摄所得的至少一医疗图像，且所述第一检测模型所输出的所述第一检测结果包括所述至少一医疗图像中至少一像素属于所述血管；以及
通过第二检测模型对第二待评估数据检测，以获得第二检测结果，其中所述第二检测模型是基于所述机器学习算法中的一个个所建构，所述第二待评估数据包括所述第一检测结果，且所述第二检测模型所输出的所述第二检测结果包括所述至少一医疗图像中的所述至少一像素属于所述血管。
9.根据权利要求8所述的血管检测装置，其特征在于，所述处理器还经组态用以：
对所述至少一医疗图像进行图像处理，其中所述图像处理相关于增强所述血管的轮廓，且所述第二待评估数据还包括经所述图像处理的所述至少一医疗图像。
10.根据权利要求8所述的血管检测装置，其特征在于，所述至少一医疗图像包括根据时间序列排序的多张医疗图像，且所述处理器还经组态用以：
根据所述医疗图像的所述第二检测结果分割出每一所述医疗图像中属于所述血管的多个血管区域，以获得多张分割图像；
根据所述时间序列确定所述分割图像中的所述血管区域的每一像素的位移；以及
根据每一所述血管区域对应的位移与先前所述分割图像中的血管区域的比对结果分类所述血管区域，其中所述比对结果相关于所述位移与所述血管区域的重叠大小。
11.根据权利要求8所述的血管检测装置，其特征在于，所述至少一医疗图像包括根据时间序列排序的多张医疗图像，且所述处理器还经组态用以：
通过第三检测模型对第三待评估数据检测，以获得第三检测结果，其中所述第三检测模型是基于所述机器学习算法中的一个个所建构，所述第三待评估数据包括当前所述医疗图像的所述第二检测结果和与先前所述医疗图像的所述第二检测结果，所述第三检测模型所输出的所述第三检测结果包括所述至少一医疗图像中的主要血管，且所述主要血管是基于评估多个血管段的病灶复杂度的权重所决定。
12.根据权利要求11所述的血管检测装置，其特征在于，所述处理器还经组态用以：
根据所述第二检测结果和所述第三检测结果确定所述主要血管的骨干，其中所述骨干为根据其宽度和长度所决定。
13.根据权利要求8所述的血管检测装置，其特征在于，所述处理器还经组态用以：
根据所述至少一医疗图像映射的投照体位决定目标血管；以及
确定所述至少一医疗图像的所述目标血管的血管头端。
14.根据权利要求13所述的血管检测装置，其特征在于，所述处理器还经组态用以：
根据所述血管头端将所述目标血管映像到所述第二检测结果对应的分割图像，其中所述分割图像包括属于所述血管的所述至少一像素。
CN202110074836.6A 2020-11-30 2021-01-20 血管检测装置和基于图像的血管检测方法 Pending CN114596247A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109142116A TWI790508B (zh) 2020-11-30 2020-11-30 血管偵測裝置及基於影像的血管偵測方法
TW109142116 2020-11-30

Publications (1)

Publication Number Publication Date
CN114596247A true CN114596247A (zh) 2022-06-07

Family

ID=81753040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110074836.6A Pending CN114596247A (zh) 2020-11-30 2021-01-20 血管检测装置和基于图像的血管检测方法

Country Status (3)

Country Link
US (1) US11690569B2 (zh)
CN (1) CN114596247A (zh)
TW (1) TWI790508B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096338A (zh) * 2014-12-30 2015-11-25 天津航天中为数据系统科技有限公司 运动目标提取方法及装置
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel
CN108198184A (zh) * 2018-01-09 2018-06-22 北京理工大学 造影图像中血管分割的方法和系统
CN111798498A (zh) * 2020-07-16 2020-10-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315812B2 (en) * 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
GB201402643D0 (en) * 2014-02-14 2014-04-02 Univ Southampton A method of mapping images of human disease
US10206587B2 (en) * 2014-05-16 2019-02-19 Toshiba Medical Systems Corporation Image processing apparatus, image processing method, and storage medium
WO2017147500A1 (en) * 2016-02-26 2017-08-31 Heartflow, Inc. Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models
CN106548213B (zh) 2016-11-30 2019-04-23 上海联影医疗科技有限公司 血管识别方法和装置
TW201903708A (zh) * 2017-06-06 2019-01-16 國立陽明大學 數位減影血管攝影圖像的分析方法與系統
US10937549B2 (en) * 2018-05-22 2021-03-02 Shenzhen Keya Medical Technology Corporation Method and device for automatically predicting FFR based on images of vessel
CN109222980A (zh) * 2018-06-19 2019-01-18 北京红云智胜科技有限公司 基于深度学习的测量冠状动脉造影图像血管直径的方法
CN109003270B (zh) 2018-07-23 2020-11-27 北京市商汤科技开发有限公司 一种图像处理方法、电子设备及存储介质
CN110211111A (zh) * 2019-05-31 2019-09-06 上海联影医疗科技有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
TWI698225B (zh) 2019-06-11 2020-07-11 宏碁股份有限公司 血管狀態評估方法與血管狀態評估裝置
CN110288611A (zh) 2019-06-12 2019-09-27 上海工程技术大学 基于注意力机制和全卷积神经网络的冠状血管分割方法
TWI711051B (zh) * 2019-07-11 2020-11-21 宏碁股份有限公司 血管狀態評估方法與血管狀態評估裝置
KR102343889B1 (ko) * 2019-08-05 2021-12-30 재단법인 아산사회복지재단 초음파 영상 기반의 기계 학습을 통한 관상동맥 병변 진단 시스템 및 이의 진단 방법
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096338A (zh) * 2014-12-30 2015-11-25 天津航天中为数据系统科技有限公司 运动目标提取方法及装置
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel
CN108198184A (zh) * 2018-01-09 2018-06-22 北京理工大学 造影图像中血管分割的方法和系统
CN111798498A (zh) * 2020-07-16 2020-10-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI790508B (zh) 2023-01-21
US20220167912A1 (en) 2022-06-02
TW202223839A (zh) 2022-06-16
US11690569B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
Huang et al. Mask scoring r-cnn
Yao et al. Weakly supervised medical diagnosis and localization from multiple resolutions
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
JP6339872B2 (ja) 画像処理装置、内視鏡システム及び画像処理方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
WO2018057714A1 (en) Systems, methods and media for automatically generating a bone age assessment from a radiograph
Mai et al. Comparing salient object detection results without ground truth
Xu et al. An improved faster R-CNN algorithm for assisted detection of lung nodules
Hatamizadeh et al. Deep dilated convolutional nets for the automatic segmentation of retinal vessels
Liao et al. A flexible PCB inspection system based on statistical learning
Zhang et al. Multiple sclerosis lesion segmentation-a survey of supervised CNN-based methods
Bortsova et al. Automated segmentation and volume measurement of intracranial internal carotid artery calcification at noncontrast CT
Khan et al. GGM classifier with multi-scale line detectors for retinal vessel segmentation
Zhou et al. Scale adaptive kernelized correlation filter tracker with feature fusion
Algarni et al. Multi-constraints based deep learning model for automated segmentation and diagnosis of coronary artery disease in X-ray angiographic images
Xu et al. Geometry-Aware End-to-End Skeleton Detection.
Phan et al. Detection and classification of brain hemorrhage using Hounsfield unit and deep learning techniques
Rama et al. Image pre-processing: enhance the performance of medical image classification using various data augmentation technique
Ter-Sarkisov One shot model for the prediction of COVID-19 and lesions segmentation in chest CT scans through the affinity among lesion mask features
CN114596247A (zh) 血管检测装置和基于图像的血管检测方法
Pratiwi et al. Effect of CT-scan image resizing, enhancement and normalization on accuracy of covid-19 detection
Graves et al. Siamese pyramidal deep learning network for strain estimation in 3D cardiac cine-MR
Ibrahim et al. Lung Segmentation Using ResUnet++ Powered by Variational Auto Encoder-Based Enhancement in Chest X-ray Images
Liu et al. Multi-stage image quality assessment of diffusion MRI via semi-supervised nonlocal residual networks
Szijártó et al. Design of a Machine Learning System to Predict the Thickness of a Melanoma Lesion in a Non-Invasive Way from Dermoscopic Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination