CN111091536A - 医学图像处理方法、装置、设备、介质以及内窥镜 - Google Patents

医学图像处理方法、装置、设备、介质以及内窥镜 Download PDF

Info

Publication number
CN111091536A
CN111091536A CN201911168526.XA CN201911168526A CN111091536A CN 111091536 A CN111091536 A CN 111091536A CN 201911168526 A CN201911168526 A CN 201911168526A CN 111091536 A CN111091536 A CN 111091536A
Authority
CN
China
Prior art keywords
target
size
mask
medical image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911168526.XA
Other languages
English (en)
Other versions
CN111091536B (zh
Inventor
付星辉
郑瀚
邱俊文
尚鸿
孙钟前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911168526.XA priority Critical patent/CN111091536B/zh
Publication of CN111091536A publication Critical patent/CN111091536A/zh
Priority to PCT/CN2020/125764 priority patent/WO2021103938A1/zh
Priority to EP20892052.0A priority patent/EP3998579B1/en
Priority to US17/520,715 priority patent/US20220058821A1/en
Application granted granted Critical
Publication of CN111091536B publication Critical patent/CN111091536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

公开了一种医学图像处理方法、装置、设备、介质以及内窥镜。所述医学图像处理方法包括：对所述医学图像执行目标检测，以确定所述医学图像中存在的目标对象的目标掩码以及具有参考尺寸的参考对象的参考掩码，其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界；基于所述目标掩码确定所述目标对象的特征尺寸；基于所述参考掩码确定所述参考对象的特征尺寸；基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸，其中所述参考尺寸和所述参考对象的特征尺寸之间具有预定义的映射关系。

Description

医学图像处理方法、装置、设备、介质以及内窥镜
技术领域
本申请涉及图像处理领域，更具体地涉及一种医学图像处理方法、装置、设备、介质以及内窥镜。
背景技术
在利用医疗电子设备进行医学检查和操作的过程中，需要对医疗电子设备采集的医学图像进行处理，从而帮助用户了解到更多的信息。利用内窥镜这一类医疗电子设备，用户能够实时地观察到被检查的对象的生物组织的状态。例如，利用内窥镜能够进入被检查对象的体腔，例如消化道、肠道、气管等腔内并进行观察。
发明内容
根据本申请的一方面，提出了一种医学图像处理方法，包括：对所述医学图像执行目标检测，以确定所述医学图像中存在的目标对象的目标掩码以及具有参考尺寸的参考对象的参考掩码，其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界；基于所述目标掩码确定所述目标对象的特征尺寸；基于所述参考掩码确定所述参考对象的特征尺寸；基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸，其中所述参考尺寸和所述参考对象的特征尺寸之间具有预定义的映射关系。
在一些实施例中，对所述医学图像执行目标检测包括：利用Mask RCNN网络对所述医学图像进行处理，以确定所述医学图像中存在的目标对象的类型和所述目标对象的目标掩码，以及所述参考对象的类型和所述参考对象的目标掩码。
在一些实施例中，基于所述目标掩码确定所述目标对象的特征尺寸包括：确定所述目标掩码中的两个目标特征点，其中所述两个目标特征点之间的距离指示所述目标掩码的最大尺寸；将所述两个目标特征点之间的距离确定为所述目标掩码的第一特征尺寸；将所述两个目标特征点中的一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第二特征尺寸；以及将所述两个目标特征点中的另一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第三特征尺寸。
在一些实施例中，基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸包括：基于所述参考尺寸和所述参考对象的特征尺寸确定用于所述映射关系的至少一个映射参数；以及利用所确定的映射参数，基于所述映射关系对所述目标尺寸的特征尺寸进行处理，以确定所述目标对象的目标尺寸。
在一些实施例中，所述至少一个映射参数是通过以下步骤确定的：对利用至少一个医学图像确定的参考掩码的特征尺寸进行拟合，以确定所述至少一个映射参数。
在一些实施例中，基于所述参考掩码确定所述参考对象的特征尺寸包括：确定所述参考掩码中的两个参考特征点，其中所述两个参考特征点之间的距离指示所述参考掩码中的最大尺寸；将所述两个参考特征点之间的距离确定为第一特征尺寸；将所述两个参考特征点中的一个参考特征点与该医学图像的中心之间的距离确定为第二特征尺寸；以及将所述两个参考特征点中的另一个参考特征点与该医学图像的中心之间的距离确定为第三特征尺寸。
在一些实施例中，所述映射关系表示为多项式的形式，所述多项式包括至少一个变量，所述至少一个变量表示所述特征尺寸，所述映射参数指的是所述多项式中每一项的系数。
在一些实施例中，在确定所述目标对象的目标尺寸之前，根据所述目标掩码和所述参考掩码确定所述医学图像是否符合预设条件，当所述医学图像符合预设条件时，基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸。
根据本申请的另一方面，还提供了一种医学图像处理装置，包括：目标检测单元，配置成对所述医学图像执行目标检测，以确定所述医学图像中存在的目标对象的目标掩码以及具有参考尺寸的参考对象的参考掩码，其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界；特征尺寸确定单元，配置成基于所述目标掩码确定所述目标对象的特征尺寸；基于所述参考掩码确定所述参考对象的特征尺寸；目标尺寸确定单元，配置成基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸，其中所述参考尺寸和所述参考对象的特征尺寸之间具有映射关系，以及所述目标尺寸。
在一些实施例中，所述目标检测单元配置成：利用Mask RCNN网络对所述医学图像进行处理，以确定所述医学图像中存在的目标对象的类型和所述目标对象的目标掩码，以及所述参考对象的类型和所述参考对象的目标掩码。
在一些实施例中，所述特征尺寸确定单元配置成确定所述目标掩码中的两个目标特征点，其中所述两个目标特征点之间的距离指示所述目标掩码的最大尺寸；将所述两个目标特征点之间的距离确定为所述目标掩码的第一特征尺寸；将所述两个目标特征点中的一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第二特征尺寸；以及将所述两个目标特征点中的另一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第三特征尺寸。
在一些实施例中，所述目标尺寸确定单元配置成：基于所述参考尺寸和所述参考对象的特征尺寸确定用于所述映射关系的至少一个映射参数；以及利用所确定的映射参数，基于所述映射关系对所述目标尺寸的特征尺寸进行处理，以确定所述目标对象的目标尺寸。
在一些实施例中，所述至少一个映射参数是通过以下步骤确定的：对利用至少一个医学图像确定的参考掩码的特征尺寸进行拟合，以确定所述至少一个映射参数。
在一些实施例中，所述特征尺寸确定单元配置成：确定所述参考掩码中的两个参考特征点，其中所述两个参考特征点之间的距离指示所述参考掩码中的最大尺寸；将所述两个参考特征点之间的距离确定为第一特征尺寸；将所述两个参考特征点中的一个参考特征点与该医学图像的中心之间的距离确定为第二特征尺寸；以及将所述两个参考特征点中的另一个参考特征点与该医学图像的中心之间的距离确定为第三特征尺寸。
在一些实施例中，所述映射关系表示为多项式的形式，所述多项式包括至少一个变量，所述至少一个变量表示所述特征尺寸，所述映射参数指的是所述多项式中每一项的系数。
在一些实施例中，所述医学图像处理装置还包括判断单元，所述判断单元配置成在确定所述目标对象的目标尺寸之前，根据所述目标掩码和所述参考掩码确定所述医学图像是否符合预设条件，当所述医学图像符合预设条件时，基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸。
根据本申请的又一方面，还提供了一种内窥镜，包括：图像采集单元，配置成采集医学图像；处理单元，配置成执行如前所述的方法，以确定所述医学图像中的目标对象的目标尺寸；以及输出单元，配置成输出所述目标对象的目标尺寸。
在一些实施例中，所述图像采集单元配置成采集包括至少两个医学图像的视频流；以及所述处理单元配置成基于所述至少两个医学图像实时地确定所述目标对象的目标尺寸。
根据本申请的又一方面，还提供了一种医学图像处理设备，包括：一个或多个处理器；和一个或多个存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，执行如前所述的方法。
根据本申请的又一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如前所述的方法。
利用本申请提供的医学图像处理方法、装置、设备、介质以及内窥镜，可以实时地对医学图像中存在的目标对象进行处理并确定目标对象的实际尺寸，从而能够向用户实时地提供目标对象的尺寸信息。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1示出了根据本申请的用于实现医学图像处理的图像处理系统的示例性的场景图；
图2示出了根据本申请的实施例的医学图像处理方法的一种示意性的流程图；
图3示出了Mask RCNN的网络架构；
图4示出了用于提取图像特征的网络结构的架构图；
图5示出了对感兴趣区域进行对齐的操作的示意图；
图6示出了根据本申请的实施例的医学图像处理装置的示意性的框图；
图7示出了根据本申请实施例的医疗电子设备的示意性的框图；
图8示出了根据本申请的实施例的医疗电子设备的应用过程的示意性的过程；以及
图9示出了根据本申请的实施例的计算设备的架构。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
在利用医疗电子设备对待检查的对象进行检查时，有时需要对观察到的目标对象的尺寸进行测量。例如，在利用电子内窥镜进行结肠检查的过程中，息肉的大小是检查结果的关键指标。根据统计，6mm和10mm这两个息肉的大小值具有重要的临床意义。
在现有的操作方法中，需要利用人工的方式对图像中的目标对象(例如息肉)进行测量。人工测量的数据会受到镜头的形变或者操作过程中生物组织的性质变化导致的影响。
因此，本申请提供了一种新的医学图像处理方法，其目的是能够快速、实时地向用户提供图像中目标对象的尺寸测量结果。
图1示出了根据本申请的用于实现医学图像处理的图像处理系统的示例性的场景图。如图1所示，该图像处理系统100可以包括用户终端110、网络120、服务器130以及数据库140。
用户终端110可以是例如图1中示出的电脑110-1、手机110-2。可以理解的是，事实上，用户终端可以是能够执行数据处理的任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备、监控设备、医疗电子设备等。
根据本申请提供的用户终端可以用于接收待处理的图像，并利用本申请提供的方法实现图像处理。例如，用户终端可以通过用户终端上设置的图像采集设备(例如照相机、摄像机等)采集待处理的图像。又例如，用户终端也可以从独立设置的图像采集设备接收待处理的图像。再例如，用户终端也可以经由网络从服务器接收待处理的图像。这里所述的待处理的图像可以是单独的图像，也可以是视频中的一帧。在待处理的图像是医学图像的情况下，用户终端也可以连接到医学电子设备，并从医学电子设备接收待处理的图像。这里所说的医学图像可以是例如通过CT、MRI、超声、X光、核素显像(如SPECT、PET)等方法采集的医学图像，也可以是例如心电图、脑电图、光学摄影等显示人体生理信息的图像。
在一些实施例中，可以利用用户终端的处理单元执行本申请提供的图像处理方法。在一些实现方式中，用户终端可以利用用户终端内置的应用程序执行图像处理方法。在另一些实现方式中，用户终端可以通过调用用户终端外部存储的应用程序执行本申请提供的图像处理方法。
在另一些实施例中，用户终端将接收的待处理的图像经由网络120发送至服务器130，并由服务器130执行图像处理方法。在一些实现方式中，服务器130可以利用服务器内置的应用程序执行图像处理方法。在另一些实现方式中，服务器130可以通过调用服务器外部存储的应用程序执行图像处理方法。
网络120可以是单个网络，或至少两个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器130可以是本地的或远程的。
数据库140可以泛指具有存储功能的设备。数据库130主要用于存储从用户终端110和服务器130工作中所利用、产生和输出的各种数据。数据库140可以是本地的，或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。
数据库140可以经由网络120与服务器130或其一部分相互连接或通信，或直接与服务器130相互连接或通信，或是上述两种方式的结合。
在一些实施例中，数据库150可以是独立的设备。在另一些实施例中，数据库150也可以集成在用户终端110和服务器140中的至少一个中。例如，数据库150可以设置在用户终端110上，也可以设置在服务器140上。又例如，数据库150也可以是分布式的，其一部分设置在用户终端110上，另一部分设置在服务器140上。
下文中将详细阐述本申请提供的图像处理方法的流程。
图2示出了根据本申请的实施例的医学图像处理方法的一种示意性的流程图。
在步骤S202中，可以对所述医学图像执行目标检测，以确定所述医学图像中的目标对象和参考对象。其中目标对象可以是用户希望在医学图像中观察到的组织对象，例如癌变组织、息肉、溃疡、糜烂、充血、水肿等对象。参考对象可以是具有已知的参考尺寸的对象，利用在利用医疗电子设备进行操作时使用的器械，例如手术刀、电刀、缝合器、镊子、活检钳等。
在一些实施例中，在利用内窥镜进行肠道检查所采集的医学图像中，目标图像可以是息肉，参考图像可以是活检钳等。可以理解的是，在利用其他类型的医疗电子设备进行采集时，本申请涉及的目标对象和参考对象可以是其他任何对象。
在一些实现方式中，参考尺寸可以是器械的最大尺寸。例如，当参考对象是活检钳时，参考尺寸可以是活检钳的钳体长度。
在一些实施例中，可以利用神经网络对所述医学图像进行处理以执行目标检测。例如，可以利用RCNN、Fast RCNN、Faster RCNN、YOLO、SSD、Mask RCNN、deepLab系列等网络对医学图像进行处理，以识别出医学图像中存在的目标对象和参考对象。下文中将以利用Mask RCNN为例描述本申请的原理。可以理解的是，在不脱离本申请的原理的情况下，也可以利用任何其他形式的神经网络或神经网络的变型实现目标检测。
图3示出了Mask RCNN的网络架构。如图3所示，Mask RCNN采用的是两阶段检测网络Faster RCNN的思想。Mask RCNN的第一阶段采用Resnet_FPN网络架构，并用于提取候选区域特征。Mask RCNN的第二阶段包括两个分支。其中第一个分支用于预测目标类别和目标矩形框坐标，第二个分支用于预测目标掩码(Mask，又称掩膜)。
如图3所示，在第一阶段中，可以利用卷积网络对输入的医学图像(或任何其他图像)进行处理，以得到图像的图像特征。
图4示出了用于提取图像特征的网络结构的架构图。
在一些实施例中，可以利用Resnet-50网络作为骨干网络提取图像特征。可以理解的是，在不脱离本申请原理的情况下，也可以利用Resnet-18、Resnet-34、Resnet-101等网络实现图像特征的提取。
以图4中示出的Resnet-50作为骨干网络为例，可以将Resnet-50网络中的conv2_x、conv3_x、conv4_x、conv5_x层分别输出的结果作为输入图像的图像特征，并可以对卷积网络的上述四个层输出的结果以相加的方式进行融合。如图4所示，上述四个层输出的结果是分别具有不同尺寸的图像特征，可以利用1×1的卷积核以及上采样操作对这四个不同尺寸的图像特征进行尺寸上的归一化，并可以对归一化后的不同图像特征进行相加，从而实现对于不同尺度的图像特征的融合。
可以基于融合了不同尺度的图像特征的融合结果进行候选区域预测。在一些实施例中，可以利用滑动窗口、选择搜索(select search)、edgebox算法和区域建议网络(Region Proposal Network，RPN)中一种或多种对融合结果进行处理，以得到候选区域的检测结果。
返回参考图3，利用图4中示出的Resnet-FPN网络架构，能够根据输入图像确定所述输入图像中的多个候选区域，并在后续处理中将所述多个候选区域当作感兴趣区域。如图3所示，多个感兴趣区域可以具有不同的尺寸。为了方便后续处理，可以对所述不同尺寸的多个感兴趣区域执行对其操作，从而得到具有相同尺寸的归一化后的感兴趣区域。
图5示出了对感兴趣区域进行对齐的操作的示意图。在一些实施例中，可以利用插值的方式对感兴趣区域进行对齐。例如，可以基于感兴趣区域所对应的特征图上所采样的点的浮点数坐标及其对应的特征值进行双线性插值，以得到对齐后的感兴趣区域中的坐标点的值。
如图5所示，图5中的虚线格表示特征图，实线表示利用图4中的过程确定的感兴趣区域，实点表示感兴趣区域中采样的坐标点，其中每个坐标点的值是通过对应的特征图上邻近的虚线交叉点的值进行双线性插值得到的。由此，可以对图4中确定的感兴趣区域的尺寸进行调整，将尺寸为2*2的感兴趣区域的尺寸调整为4*4。
返回参考图3，在利用图5中示出的过程确定具有相同尺寸的多个感兴趣区域后，可以利用图3中示出的第二阶段的网络结构对所述相同尺寸的感兴趣区域进行处理。
如图3所示，第二阶段的网络结构包括两个分支。第一个分支用于确定输入图像中的目标类别以及目标矩形框的坐标和尺寸。
在一些实施例中，第一个分支可以利用1个卷积网络(例如图3中示出的7*7*256的卷积网络或任何其他形式的卷积网络)和两个全连接层(在图3示出的示例中，全连接层具有1024个神经元)来预测输入图像中存在的目标的类别以及目标矩形框的坐标。在本申请提供的实施例中，利用图3中示出的过程检测到的目标类型可以包括生物组织类型的目标和非生物组织类型的目标。其中，生物组织类型的目标可以被认为是本申请实施例中涉及的目标对象，而非生物组织类型的目标可以被认为是本申请实施例中涉及的参考对象。
在一种实现方式中，生物组织类型的目标可以包括癌变组织、息肉、溃疡、糜烂、充血、水肿等。非生物组织类型的目标可以包括手术刀、电刀、缝合器、镊子、活检钳。
第二个分支可以用于确定输入图像中检测到的目标的掩码。如图3所示，可以利用4个卷积层来确定目标的掩码。在图3示出的示例中，四个卷积层的尺寸分别是14*14*256、14*14*256、28*28*256、28*28*80。可以理解的是，图3中示出的网络结构不构成对本申请的限制。本领域技术人员可以根据实际情况任意设置网络结构中各卷积层的参数和结构。
利用图3中示出的方式能够确定目标对象的目标掩码以及参考对象的参考掩码。其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界。
在一些实施例中，目标掩码和参考掩码可以是由0和1组成的二进制的图像，其中1值区域可以对应于在输入图像中检测到的目标对象和参考对象。可以理解的是，利用1值区域的位置和边界能够分别确定目标对象的位置和边界，以及参考对象的位置和边界。
可以理解的是，由于参考对象是诸如手术刀、电刀、缝合器、镊子、活检钳的非生物组织，因此，这样的参考对象通常具有已知的形状和尺寸。由于利用图3中示出的方法能够从输入图像中分别分割出目标对象的位置和边界以及参考对象的位置和边界，因此，可以利用已知的参考对象的形状和尺寸确定目标对象的尺寸。
在步骤S204中，可以基于所述目标掩码确定所述目标对象的特征尺寸。在一些实施例中，目标对象可以包括多个特征尺寸。例如，所述多个特征尺寸可以包括所述目标对象中距离最远的两个点之间的距离、以及上述距离最远的两个点与医学图像的中心点之间的距离。
步骤S204可以包括：确定所述目标掩码中的两个目标特征点，其中所述两个目标特征点之间的距离指示所述目标掩码的最大尺寸。可以将所述两个目标特征点之间的距离确定为所述目标掩码的第一特征尺寸。
进一步地，步骤S204还可以包括：将所述两个目标特征点中的一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第二特征尺寸，以及将所述两个目标特征点中的另一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第三特征尺寸。
在步骤S206中，可以基于所述参考掩码确定所述参考对象的特征尺寸。在一些实施例中，所述参考对象的特征尺寸与所述目标对象的特征尺寸是利用相同的方式确定的。
在一种实现方式中，参考对象可以包括多个特征尺寸。其中所述多个特征尺寸可以包括所述参考对象中距离最远的两个点之间的距离、以及上述距离最远的两个点与医学图像的中心点之间的距离。
例如，步骤S206可以包括确定所述参考掩码中的两个参考特征点，其中所述两个参考特征点之间的距离指示所述参考掩码中的最大尺寸，并将所述两个参考特征点之间的距离确定为第一特征尺寸。
进一步地，步骤S206还可以包括将所述两个参考特征点中的一个参考特征点与该医学图像的中心之间的距离确定为第二特征尺寸，以及将所述两个参考特征点中的另一个参考特征点与该医学图像的中心之间的距离确定为第三特征尺寸。
在步骤S208中，可以基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸。其中所述参考尺寸和所述参考对象的特征尺寸之间具有预定义的映射关系。
在一些实施例中，步骤S208可以包括基于所述参考尺寸和所述参考对象的特征尺寸确定用于所述映射关系的至少一个映射参数。在一些实现方式中，所述至少一个映射参数是通过以下步骤确定的：对利用至少一个医学图像确定的参考掩码的特征尺寸进行拟合，以确定所述至少一个映射参数。
在一些实现方式中，所述映射关系可以表示为：所述参考尺寸能够被表示为所述参考对象的特征尺寸的函数f。即：
L＝f(x,y,z,…) (1)
其中L表示参考对象的参考尺寸，x、y、z表示参考对象的三个特征尺寸。尽管在本申请中以参考对象包括三个特征尺寸为例描述了本申请的原理，然而，本领域技术人员可以理解，当参考对象包括更多通过其他方式确定的特征尺寸时，也可以相应地对公式(1)表示的映射关系进行扩展。
在一些实现方式中，f可以表示为多项式的形式。所述多项式包括至少一个变量，所述至少一个变量表示所述特征尺寸，所述映射参数指的是所述多项式中每一项的系数。例如，可以利用公式(2)表示所述映射关系：
L＝∑a,b,ckabc*xa*yb*zc (2)
其中，a、b、c是取值为[0,1]的整数，L是参考对象的参考尺寸，x、y、z分别表示参考对象的第一特征尺寸、第二特征尺寸、第三特征尺寸。kabc表示映射参数。上述公式(2)可以等价于公式(3)：
L＝k0+k1*x+k2*y+k3*z+k4*xy+k5*xz+k6*yz+k7*xyz (3)
也就是说，参考对象的参考尺寸可以表示为由参考对象的特征尺寸作为变量形成的多项式。
在所述映射关系被表示为上述公式(2)(即公式(3))的情况下，由于映射关系包括8个映射参数，因此可以利用基于八张医学图像分别确定的参考对象的特征尺寸和已知的参考对象的参考尺寸进行拟合，以确定上述映射参数k0～k7。
在另一些实现方式中，上述映射关系f还可以形成为任何其他形式的函数式。例如，还可以利用幂函数、指数函数、三角函数等任何形式的函数表示映射关系f，并可以相应地确定映射关系中的至少一个映射参数。
利用所确定的映射参数，可以基于所述映射关系对所述目标尺寸的特征尺寸进行处理，以确定所述目标对象的目标尺寸。
也就是说，在利用前述方法确定了公式(2)中的映射参数的值之后，可以利用公式(4)确定所述目标对象的目标尺寸：
Figure BDA0002288094960000131
其中D表示所述目标对象的目标尺寸，kabc是利用前述方法确定的映射参数，xo、yo、zo分别表示目标对象的第一特征尺寸、目标对象的第二特征尺寸以及目标对象的第三特征尺寸。
当已经利用前述方法确定了映射参数后，针对任意一张医学图像，可以利用公式(4)确定医学图像中目标对象的目标尺寸。
在一些实现方式中，对于任一医学图像，可以基于包括该医学图像的包括多个医学图像的医学图像集确定该医学图像中目标对象的目标尺寸。
例如，可以利用公式(4)确定所述医学图像集中每个医学图像中目标对象的候选目标尺寸，并可以给予公式(5)确定该医学图像中目标对象的目标尺寸。
Psize＝∑i{D}i/n (5)
其中n表示医学图像集中包括的多个医学图像的数量，i是索引参数，{D}i是利用第i张医学图像确定的目标对象的候选目标尺寸。
也就是说，可以基于多个医学图像所确定的目标对象的候选目标尺寸的平均值确定所述目标对象的目标尺寸。在另一些实现方式中，也可以利用多个医学图像所确定的目标对象的候选目标尺寸的加权平均值确定所述目标对象的目标尺寸。在一些示例中，n可以是大于10的整数。
在一些实施例中，在执行步骤S204之前，可以根据步骤S202确定的目标掩码和参考掩码确定所述医学图像是否符合预设条件。当所述医学图像符合预设条件时，可以继续执行步骤S204～步骤S208。当所述医学图像不符合预设条件时，可以不基于所述医学图像确定目标对象的尺寸。
在一种实现方式中，所述目标掩码和所述参考掩码需要满足以下条件：
·医学图像中存在预定类型的目标对象(如息肉)和预定类型的参考对象(如活检钳器械头)
·所述目标掩码和所述参考掩码不重叠
·所述目标掩码和所述参考掩码与所述医学图像的边界之间的距离超过预设的第一阈值(如20像素)
·所述目标掩码和所述参考掩码的中心点与所述医学图像的中心点小于预设的第二阈值(如50像素)
当所述医学图像中确定的目标掩码和参考掩码符合上述条件时，可以认为医学图像中符合确定目标对象的尺寸的条件，并且所述医学图像中包含完整的目标对象与参考对象，以及所述目标对象和参考对象距离图像中心较近，因此变形较小。
可以理解的是，在具体应用中，本领域技术人员可以根据实际情况调整上述条件。例如，可以根据实际情况设置上述第一阈值和第二阈值的具体值。此外，本领域技术人员也可以选择删除上述四个条件中的至少一个，或者根据实际情况增加新的条件。
上述医学图像处理方法可以应用于视频流中的视频帧。例如，当输入的医学图像是视频帧时，可以利用在此之前接收的多个视频帧(例如8个)中的参考对象的参考掩码确定上述映射关系中的映射参数，并利用确定好的映射参数确定当前视频帧中的目标对象的目标尺寸。
在一些实施例中，可以在每次确定医学图像中的目标对象的目标尺寸之前利用参考对象的特征尺寸更新映射关系中的映射参数。
在另一些实施例中，可以利用先前确定的映射参数的结果确定当前视频帧中的目标对象的目标尺寸。
利用本申请提供的医学图像处理方法，能够通过对医学图像进行目标检测的结果确定医学图像中存在的目标对象的尺寸，从而为在医学图像进行目标的实时测量提供了可能。通过利用图像中具有已知的参考尺寸的参考掩码和真实尺寸的拟合来确定目标对象的真实尺寸，本申请提供的方法具有更强的鲁棒性，有效规避了因图像采集单元的镜头导致的形变而造成的测量不准的问题。
图6示出了根据本申请的实施例的医学图像处理装置的示意性的框图。如图6所示，医学图像处理装置600可以包括目标检测单元610、特征尺寸确定单元620以及目标尺寸确定单元630。
目标检测单元610可以配置成对所述医学图像执行目标检测，以确定所述医学图像中的目标对象和参考对象。其中目标对象可以是用户希望在医学图像中观察到的组织对象，例如癌变组织、息肉、溃疡、糜烂、充血、水肿等对象。参考对象可以是具有已知的参考尺寸的对象，利用在利用医疗电子设备进行操作时使用的器械，例如手术刀、电刀、缝合器、镊子、活检钳等。在一些实施例中，在利用内窥镜进行肠道检查所采集的医学图像中，目标图像可以是息肉，参考图像可以是活检钳等。可以理解的是，在利用其他类型的医疗电子设备进行采集时，本申请涉及的目标对象和参考对象可以是其他任何对象。
在一些实施例中，可以利用神经网络对所述医学图像进行处理以执行目标检测。例如，可以利用RCNN、Fast RCNN、Faster RCNN、YOLO、SSD、Mask RCNN、deepLab系列等网络对医学图像进行处理，以识别出医学图像中存在的目标对象和参考对象。
利用图3-图5中示出的Mask RCNN网络架构，可以对医学图像进行处理，并确定医学图像中存在目标对象的目标掩码以及参考对象的参考掩码。其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界。
在一些实施例中，目标掩码和参考掩码可以是由0和1组成的二进制的图像，其中1值区域可以对应于在输入图像中检测到的目标对象和参考对象。可以理解的是，利用1值区域的位置和边界能够分别确定目标对象的位置和边界，以及参考对象的位置和边界。
可以理解的是，由于参考对象是诸如手术刀、电刀、缝合器、镊子、活检钳的非生物组织，因此，这样的参考对象通常具有已知的形状和尺寸。由于利用图3中示出的方法能够从输入图像中分别分割出目标对象的位置和边界以及参考对象的位置和边界，因此，可以利用已知的参考对象的形状和尺寸确定目标对象的尺寸。
特征尺寸确定单元620可以配置成基于所述目标掩码确定所述目标对象的特征尺寸。在一些实施例中，目标对象可以包括多个特征尺寸。例如，所述多个特征尺寸可以包括所述目标对象中距离最远的两个点之间的距离、以及上述距离最远的两个点与医学图像的中心点之间的距离。
例如，特征尺寸确定单元620可以配置成确定所述目标掩码中的两个目标特征点，其中所述两个目标特征点之间的距离指示所述目标掩码的最大尺寸。可以将所述两个目标特征点之间的距离确定为所述目标掩码的第一特征尺寸。
进一步地，特征尺寸确定单元620还可以配置成将所述两个目标特征点中的一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第二特征尺寸，以及将所述两个目标特征点中的另一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第三特征尺寸。
相应地，特征尺寸确定单元620可以配置成基于所述参考掩码确定所述参考对象的特征尺寸。在一些实施例中，所述参考对象的特征尺寸与所述目标对象的特征尺寸是利用相同的方式确定的。
在一种实现方式中，参考对象可以包括多个特征尺寸。其中所述多个特征尺寸可以包括所述参考对象中距离最远的两个点之间的距离、以及上述距离最远的两个点与医学图像的中心点之间的距离。
例如，特征尺寸确定单元620可以配置成确定所述参考掩码中的两个参考特征点，其中所述两个参考特征点之间的距离指示所述参考掩码中的最大尺寸，并将所述两个参考特征点之间的距离确定为第一特征尺寸。
进一步地，特征尺寸确定单元620还可以配置成将所述两个参考特征点中的一个参考特征点与该医学图像的中心之间的距离确定为第二特征尺寸，以及将所述两个参考特征点中的另一个参考特征点与该医学图像的中心之间的距离确定为第三特征尺寸。
目标尺寸配置单元630可以配置成基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸。其中所述参考尺寸和所述参考对象的特征尺寸之间具有预定义的映射关系。
在一些实施例中，目标尺寸配置单元630可以配置成基于所述参考尺寸和所述参考对象的特征尺寸确定用于所述映射关系的至少一个映射参数。在一些实现方式中，所述至少一个映射参数是通过以下步骤确定的：对利用至少一个医学图像确定的参考掩码的特征尺寸进行拟合，以确定所述至少一个映射参数。
在一些实现方式中，所述映射关系可以表示为：所述参考尺寸能够被表示为所述参考对象的特征尺寸的函数f。
在一些实现方式中，f可以表示为多项式的形式。所述多项式包括至少一个变量，所述至少一个变量表示所述特征尺寸，所述映射参数指的是所述多项式中每一项的系数。
在另一些实现方式中，上述映射关系f还可以形成为任何其他形式的函数式。例如，还可以利用幂函数、指数函数、三角函数等任何形式的函数表示映射关系f，并可以相应地确定映射关系中的至少一个映射参数。
利用所确定的映射参数，可以基于所述映射关系对所述目标尺寸的特征尺寸进行处理，以确定所述目标对象的目标尺寸。
也就是说，在利用前述方法确定了公式(2)中的映射参数的值之后，可以利用公式(4)确定所述目标对象的目标尺寸。
在一些实现方式中，对于任一医学图像，可以基于包括该医学图像的包括多个医学图像的医学图像集确定该医学图像中目标对象的目标尺寸。例如，可以基于多个医学图像所确定的目标对象的候选目标尺寸的平均值确定所述目标对象的目标尺寸。在另一些实现方式中，也可以利用多个医学图像所确定的目标对象的候选目标尺寸的加权平均值确定所述目标对象的目标尺寸。
在一些实施例中，医学图像处理装置600还可以包括判断单元(未图示)，判断单元可以配置成根据目标检测单元610确定的目标掩码和参考掩码确定所述医学图像是否符合预设条件。当所述医学图像符合预设条件时，可以确定医学图像中存在的目标对象的尺寸。当所述医学图像不符合预设条件时，可以不基于所述医学图像确定目标对象的尺寸。
在一种实现方式中，所述目标掩码和所述参考掩码需要满足以下条件：
·医学图像中存在预定类型的目标对象(如息肉)和预定类型的参考对象(如活检钳器械头)
·所述目标掩码和所述参考掩码不重叠
·所述目标掩码和所述参考掩码与所述医学图像的边界之间的距离超过预设的第一阈值(如20像素)
·所述目标掩码和所述参考掩码的中心点与所述医学图像的中心点小于预设的第二阈值(如50像素)
当所述医学图像中确定的目标掩码和参考掩码符合上述条件时，可以认为医学图像中符合确定目标对象的尺寸的条件，并且所述医学图像中包含完整的目标对象与参考对象，以及所述目标对象和参考对象距离图像中心较近，因此变形较小。
可以理解的是，在具体应用中，本领域技术人员可以根据实际情况调整上述条件。例如，可以根据实际情况设置上述第一阈值和第二阈值的具体值。此外，本领域技术人员也可以选择删除上述四个条件中的至少一个，或者根据实际情况增加新的条件。
利用本申请提供的医学图像处理装置，能够通过对医学图像进行目标检测的结果确定医学图像中存在的目标对象的尺寸，从而为在医学图像进行目标的实时测量提供了可能。通过利用图像中具有已知的参考尺寸的参考掩码和真实尺寸的拟合来确定目标对象的真实尺寸，本申请提供的方法具有更强的鲁棒性，有效规避了因图像采集单元的镜头导致的形变而造成的测量不准的问题。
图7示出了根据本申请实施例的医疗电子设备的示意性的框图。如图7所示，医疗电子设备700可以包括图像采集单元710、目标检测单元720、特征尺寸确定单元730以及目标尺寸确定单元740。
图像采集单元710可以用于采集医学图像。这里所说的医学图像可以是例如通过CT、MRI、超声、X光、核素显像(如SPECT、PET)、光学成像等方法采集的医学图像，也可以是例如心电图、脑电图、光学摄影等显示人体生理信息的图像。在本申请提供的实施例中，医疗电子设备700可以是内窥镜。图像采集单元可以是位于内窥镜前端的图像采集模块，包括CCD或CMOS以及用于成像的光学组件。
在一些实施例中，图像采集单元710可以配置成采集包括至少两个医学图像的视频流。
目标检测单元720、特征尺寸确定单元730以及目标尺寸确定单元740可以实现为图6中示出的目标检测单元610、特征尺寸确定单元620以及目标尺寸确定单元630，在此不再加以赘述。
在一些实现方式中，可以利用医疗电子设备中设置的处理单元(例如处理器)实现目标检测单元720、特征尺寸确定单元730以及目标尺寸确定单元740的功能。所述处理单元可以配置成基于所述至少两个医学图像实时地确定所述目标对象的目标尺寸。
医疗电子设备700还可以包括输出单元750。输出单元750可以配置成输出所确定的所述目标对象的目标尺寸。
例如，输出单元750可以以视觉、听觉或任何其他方式输出所确定的目标对象的目标尺寸。例如，输出单元可以在显示器上实时地显示当前显示的医学图像中存在的目标对象的目标尺寸，从而能够实现实时地向用户提供目标尺寸的信息的效果，以帮助用户进行下一步操作的决策。
图8示出了根据本申请的实施例的医疗电子设备的应用过程的示意性的过程。
如图8所示，在训练阶段，可以利用预先确定的训练集图片对目标参数网络(例如前述Mask RCNN网络)进行训练，以确定目标检测网络中的参数。
在应用阶段，可以利用训练好的目标检测网络对医疗电子设备采集到的输入图像(拍摄的照片或采集的视频流中的视频帧)进行处理。通过对待处理的图像进行筛选可以筛选出符合条件的图像，并可以利用结合图2-图5描述的方法对符合条件的图像进行处理，以确定图像中存在的目标对象的目标尺寸。
此外，根据本申请实施例的方法或装置也可以借助于图9所示的计算设备的架构来实现。图9示出了该计算设备的架构。如图9所示，计算设备900可以包括总线910、一个或至少两个CPU 920、只读存储器(ROM)930、随机存取存储器(RAM)940、连接到网络的通信端口950、输入/输出组件960、硬盘970等。计算设备900中的存储设备，例如ROM 930或硬盘970可以存储本申请提供的目标检测方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备900还可以包括用户界面980。当然，图9所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图9示出的计算设备中的一个或至少两个组件。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (15)

1.一种医学图像处理方法，包括：
对所述医学图像执行目标检测，以确定所述医学图像中存在的目标对象的目标掩码以及具有参考尺寸的参考对象的参考掩码，其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界；
基于所述目标掩码确定所述目标对象的特征尺寸；
基于所述参考掩码确定所述参考对象的特征尺寸；
基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸，
其中所述参考尺寸和所述参考对象的特征尺寸之间具有预定义的映射关系。
2.如权利要求1所述的方法，其中，对所述医学图像执行目标检测包括：
利用Mask RCNN网络对所述医学图像进行处理，以确定所述医学图像中存在的目标对象的类型和所述目标对象的目标掩码，以及所述参考对象的类型和所述参考对象的目标掩码。
3.如权利要求1所述的方法，其中，基于所述目标掩码确定所述目标对象的特征尺寸包括：
确定所述目标掩码中的两个目标特征点，其中所述两个目标特征点之间的距离指示所述目标掩码的最大尺寸；
将所述两个目标特征点之间的距离确定为所述目标掩码的第一特征尺寸；
将所述两个目标特征点中的一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第二特征尺寸；以及
将所述两个目标特征点中的另一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第三特征尺寸。
4.如权利要求1-3任一项所述的方法，其中基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸包括：
基于所述参考尺寸和所述参考对象的特征尺寸确定用于所述映射关系的至少一个映射参数；以及
利用所确定的映射参数，基于所述映射关系对所述目标尺寸的特征尺寸进行处理，以确定所述目标对象的目标尺寸。
5.如权利要求4所述的方法，其中所述至少一个映射参数是通过以下步骤确定的：
对利用至少一个医学图像确定的参考掩码的特征尺寸进行拟合，以确定所述至少一个映射参数。
6.如权利要求1所述的方法，其中，基于所述参考掩码确定所述参考对象的特征尺寸包括：
确定所述参考掩码中的两个参考特征点，其中所述两个参考特征点之间的距离指示所述参考掩码中的最大尺寸；
将所述两个参考特征点之间的距离确定为第一特征尺寸；
将所述两个参考特征点中的一个参考特征点与该医学图像的中心之间的距离确定为第二特征尺寸；以及
将所述两个参考特征点中的另一个参考特征点与该医学图像的中心之间的距离确定为第三特征尺寸。
7.如权利要求4所述的方法，其中，所述映射关系表示为多项式的形式，所述多项式包括至少一个变量，所述至少一个变量表示所述特征尺寸，所述映射参数指的是所述多项式中每一项的系数。
8.如权利要求1所述的方法，其中，在确定所述目标对象的目标尺寸之前，根据所述目标掩码和所述参考掩码确定所述医学图像是否符合预设条件，当所述医学图像符合预设条件时，基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸。
9.一种医学图像处理装置，包括：
目标检测单元，配置成对所述医学图像执行目标检测，以确定所述医学图像中存在的目标对象的目标掩码以及具有参考尺寸的参考对象的参考掩码，其中所述目标掩码指示所述目标对象的位置和所述目标对象的边界，以及所述参考掩码指示所述参考对象的位置和所述参考对象的边界；
特征尺寸确定单元，配置成
基于所述目标掩码确定所述目标对象的特征尺寸；
基于所述参考掩码确定所述参考对象的特征尺寸；
目标尺寸确定单元，配置成基于所述参考对象的特征尺寸、所述目标对象的特征尺寸以及所述参考尺寸确定所述目标对象的目标尺寸，
其中所述参考尺寸和所述参考对象的特征尺寸之间具有映射关系，以及所述目标尺寸。
10.如权利要求9所述的装置，其中，所述特征尺寸确定单元配置成：
确定所述目标掩码中的两个目标特征点，其中所述两个目标特征点之间的距离指示所述目标掩码的最大尺寸；
将所述两个目标特征点之间的距离确定为所述目标掩码的第一特征尺寸；
将所述两个目标特征点中的一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第二特征尺寸；以及
将所述两个目标特征点中的另一个目标特征点与所述医学图像的中心之间的距离确定为所述目标掩码的第三特征尺寸。
11.如权利要求9或10所述的方法，其中，所述目标尺寸确定单元配置成：
基于所述参考尺寸和所述参考对象的特征尺寸确定用于所述映射关系的至少一个映射参数；以及
利用所确定的映射参数，基于所述映射关系对所述目标尺寸的特征尺寸进行处理，以确定所述目标对象的目标尺寸。
12.一种内窥镜，包括：
图像采集单元，配置成采集医学图像；
处理单元，配置成执行如权利要求1-8任一项所述的方法，以确定所述医学图像中的目标对象的目标尺寸；以及
输出单元，配置成输出所述目标对象的目标尺寸。
13.如权利要求12所述的内窥镜，其中，
所述图像采集单元配置成采集包括至少两个医学图像的视频流；以及
所述处理单元配置成基于所述至少两个医学图像实时地确定所述目标对象的目标尺寸。
14.一种医学图像处理设备，包括：
一个或多个处理器；和
一个或多个存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器运行时，执行如权利要求1-8中任一项所述的方法。
15.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述的方法。
CN201911168526.XA 2019-11-25 2019-11-25 医学图像处理方法、装置、设备、介质以及内窥镜 Active CN111091536B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911168526.XA CN111091536B (zh) 2019-11-25 2019-11-25 医学图像处理方法、装置、设备、介质以及内窥镜
PCT/CN2020/125764 WO2021103938A1 (zh) 2019-11-25 2020-11-02 医学图像处理方法、装置、设备、介质以及内窥镜
EP20892052.0A EP3998579B1 (en) 2019-11-25 2020-11-02 Medical image processing method, apparatus and device, medium and endoscope
US17/520,715 US20220058821A1 (en) 2019-11-25 2021-11-07 Medical image processing method, apparatus, and device, medium, and endoscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168526.XA CN111091536B (zh) 2019-11-25 2019-11-25 医学图像处理方法、装置、设备、介质以及内窥镜

Publications (2)

Publication Number Publication Date
CN111091536A true CN111091536A (zh) 2020-05-01
CN111091536B CN111091536B (zh) 2023-04-07

Family

ID=70393855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168526.XA Active CN111091536B (zh) 2019-11-25 2019-11-25 医学图像处理方法、装置、设备、介质以及内窥镜

Country Status (4)

Country Link
US (1) US20220058821A1 (zh)
EP (1) EP3998579B1 (zh)
CN (1) CN111091536B (zh)
WO (1) WO2021103938A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112075914A (zh) * 2020-10-14 2020-12-15 深圳市资福医疗技术有限公司 胶囊内窥镜检查系统
CN112089392A (zh) * 2020-10-14 2020-12-18 深圳市资福医疗技术有限公司 胶囊内窥镜控制方法、装置、设备、系统及存储介质
CN112580437A (zh) * 2020-11-26 2021-03-30 复旦大学附属中山医院 一种测量目标大小的方法、装置
WO2021103938A1 (zh) * 2019-11-25 2021-06-03 腾讯科技（深圳）有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
CN113240726A (zh) * 2021-05-20 2021-08-10 南开大学 一种内窥镜下光学目标尺寸实时测量方法
CN113361437A (zh) * 2021-06-16 2021-09-07 吉林建筑大学 一种微创手术器械类别及位置检测方法与系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362351A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120312961A1 (en) * 2011-01-21 2012-12-13 Headwater Partners Ii Llc Setting imaging parameters for image guided radiation treatment
CN103505217A (zh) * 2012-06-28 2014-01-15 吕海涛 内镜下病灶尺寸的精确测量方法
CN104240264A (zh) * 2014-08-29 2014-12-24 青岛海信电器股份有限公司 一种运动物体的高度检测方法和装置
CN109141250A (zh) * 2018-08-08 2019-01-04 深圳码隆科技有限公司 箱包尺寸测量方法、装置和箱包尺寸测量服务器
CN109165645A (zh) * 2018-08-01 2019-01-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及相关设备
US10262432B1 (en) * 2017-12-30 2019-04-16 Gabriel Keilholz System and method for measuring and comparing items using computer vision

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5967968A (en) * 1998-06-25 1999-10-19 The General Hospital Corporation Apparatus and method for determining the size of an object during endoscopy
WO2005023086A2 (en) * 2003-08-25 2005-03-17 University Of North Carolina At Chapel Hill Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning
US9122951B2 (en) * 2010-11-01 2015-09-01 Drvision Technologies Llc Teachable object contour mapping for biology image region partition
US8900113B2 (en) * 2011-01-21 2014-12-02 Headwater Partners Ii Llc Tracking of tumor location for targeted radiation treatment
US20140307930A1 (en) * 2013-04-15 2014-10-16 Drvision Technologies Llc Teachable object contour mapping for biology image region partition
CN103505218B (zh) * 2013-10-10 2015-06-24 南京普派医疗科技有限公司 内镜下病灶组织尺寸的测量方法
JP6584090B2 (ja) * 2015-02-23 2019-10-02 Hoya株式会社 画像処理装置
US9990712B2 (en) * 2015-04-08 2018-06-05 Algotec Systems Ltd. Organ detection and segmentation
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
CN107507188B (zh) * 2016-06-13 2022-09-27 北京理工大学 一种基于机器学习提取图像信息的方法及装置
GB201610594D0 (en) * 2016-06-17 2016-08-03 Ucl Business Plc Method and apparatus for estimating the value of a physical parameter in a biological tissue
US11087461B2 (en) * 2016-06-28 2021-08-10 Sony Corporation Image processing device, image processing method, medical imaging system
WO2020025696A1 (en) * 2018-07-31 2020-02-06 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method and system for augmented imaging using multispectral information
EP3841559A1 (en) * 2018-08-21 2021-06-30 Koninklijke Philips N.V. Salient visual explanations of feature assessments by machine learning models
JP7037220B2 (ja) * 2018-11-21 2022-03-16 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7128135B2 (ja) * 2019-03-08 2022-08-30 富士フイルム株式会社 内視鏡画像学習装置、方法及びプログラム、内視鏡画像認識装置
CN111091536B (zh) * 2019-11-25 2023-04-07 腾讯科技（深圳）有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
US20220012890A1 (en) * 2020-07-01 2022-01-13 University Of Iowa Research Foundation Model-Based Deep Learning for Globally Optimal Surface Segmentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120312961A1 (en) * 2011-01-21 2012-12-13 Headwater Partners Ii Llc Setting imaging parameters for image guided radiation treatment
CN103505217A (zh) * 2012-06-28 2014-01-15 吕海涛 内镜下病灶尺寸的精确测量方法
CN104240264A (zh) * 2014-08-29 2014-12-24 青岛海信电器股份有限公司 一种运动物体的高度检测方法和装置
US10262432B1 (en) * 2017-12-30 2019-04-16 Gabriel Keilholz System and method for measuring and comparing items using computer vision
CN109165645A (zh) * 2018-08-01 2019-01-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置以及相关设备
CN109141250A (zh) * 2018-08-08 2019-01-04 深圳码隆科技有限公司 箱包尺寸测量方法、装置和箱包尺寸测量服务器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
H.Q. YING 等: "A Mask R-CNN Based Approach to Automatically Construct As-is IFC BIM Objects from Digital Images" *
TAKUMI EGE 等: "A New Large-scale Food Image Segmentation Dataset and Its Application to Food Calorie Estimation Based on Grains of Rice" *
宋俊芳: "基于3D模型的精确车型识别" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103938A1 (zh) * 2019-11-25 2021-06-03 腾讯科技（深圳）有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
CN112075914A (zh) * 2020-10-14 2020-12-15 深圳市资福医疗技术有限公司 胶囊内窥镜检查系统
CN112089392A (zh) * 2020-10-14 2020-12-18 深圳市资福医疗技术有限公司 胶囊内窥镜控制方法、装置、设备、系统及存储介质
CN112580437A (zh) * 2020-11-26 2021-03-30 复旦大学附属中山医院 一种测量目标大小的方法、装置
CN113240726A (zh) * 2021-05-20 2021-08-10 南开大学 一种内窥镜下光学目标尺寸实时测量方法
CN113361437A (zh) * 2021-06-16 2021-09-07 吉林建筑大学 一种微创手术器械类别及位置检测方法与系统

Also Published As

Publication number Publication date
EP3998579A1 (en) 2022-05-18
EP3998579A4 (en) 2022-08-31
WO2021103938A1 (zh) 2021-06-03
CN111091536B (zh) 2023-04-07
EP3998579B1 (en) 2023-09-06
US20220058821A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN111091536B (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
US10810735B2 (en) Method and apparatus for analyzing medical image
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
CN111225611B (zh) 用于帮助分析目标对象中的伤口的系统和方法
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN112348125B (zh) 基于深度学习的胶囊内窥镜影像识别方法、设备及介质
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
Zhang et al. A survey of wound image analysis using deep learning: Classification, detection, and segmentation
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN111325709A (zh) 无线胶囊内窥镜图像检测系统及检测方法
CN112288683A (zh) 基于多模态融合的肺结核病判定装置和方法
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
CN115018795B (zh) 医学影像中的病灶的匹配方法、装置、设备及存储介质
CN117078664B (zh) 计算机可读存储介质、超声图像质量评估装置及电子设备
CN117036788B (zh) 图像分类方法、训练图像分类模型的方法及装置
US20240087115A1 (en) Machine learning enabled system for skin abnormality interventions
Krishnadas et al. Medical Image Classification Based On Optimal Feature Selection For Brain Cancer Detection
Li et al. Image Segmentation of Lesions in Wireless Capsule Endoscopy Based on Mask R-CNN
Singh et al. Skin Disease Classification Using Image Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant