CN104933288A - 用于对医学图像中的解剖元素进行可视化的设备和方法 - Google Patents

用于对医学图像中的解剖元素进行可视化的设备和方法 Download PDF

Info

Publication number
CN104933288A
CN104933288A CN201510118887.9A CN201510118887A CN104933288A CN 104933288 A CN104933288 A CN 104933288A CN 201510118887 A CN201510118887 A CN 201510118887A CN 104933288 A CN104933288 A CN 104933288A
Authority
CN
China
Prior art keywords
dissection element
dissection
described multiple
medical image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510118887.9A
Other languages
English (en)
Other versions
CN104933288B (zh
Inventor
赵百焕
成英庆
金叡薰
金荷映
全胄奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201910671282.0A priority Critical patent/CN110415227A/zh
Publication of CN104933288A publication Critical patent/CN104933288A/zh
Application granted granted Critical
Publication of CN104933288B publication Critical patent/CN104933288B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

提供了一种用于对医学图像中的解剖元素进行可视化的设备和方法。所述方法包括：接收医学图像；从医学图像检测多个解剖元素；基于包括所述多个解剖元素之间的位置关系的解剖情境信息来验证所述多个解剖元素中的每个解剖元素的位置；调整所述多个解剖元素之间的位置关系；对所述多个解剖元素的验证和调整的信息与医学图像进行组合。

Description

用于对医学图像中的解剖元素进行可视化的设备和方法
本申请要求于2014年3月18日提交到韩国知识产权局的第10-2014-0031837号韩国专利申请的权益，所述韩国专利申请的全部公开通过引用合并于此以用于所有目的。
技术领域
以下描述涉及一种对包括在医学图像中的解剖元素进行可视化的技术。
背景技术
计算机辅助检测(CAD)是为了辅助医生进行诊断的目的而使用计算机从医学图像中自动地检测病变的技术。具体地讲，乳房摄影术和胸部超声波扫描术是应用CAD来诊断病变的两个重要领域。但是，因医学图像的低分辨率和不规则特性，所以难以提高CAD的准确度。例如，通过由用户任意选择位置和角度的探头捕获的超声图像在图像的位置和角度相互不一致上表现出不规则性。如果自动检测病变的算法应用于不规则图像，则不仅是病变，而且解剖元素可被检测为实际病变。
发明内容
提供本发明内容来以简化的形式介绍选择的构思，所述构思将在下面在具体实施方式中进一步描述。本发明内容不意图识别要求保护的主题的关键特征或必要特征，也不意图用于帮助确定要求保护的主题的范围
在一总体方面，一种用于对医学图像中的解剖元素进行可视化的设备包括：图像接收器，被构造为接收医学图像；解剖元素检测器，被构造为从医学图像检测多个解剖元素；分析器，被构造为基于包括所述多个解剖元素之间的位置关系的解剖情境信息来验证所述多个解剖元素中的每个解剖元素的位置，并在调整所述多个解剖元素之间的位置关系；图像组合器，被构造为对所述多个解剖元素的验证和调整的信息与医学图像进行组合。
医学图像可以是使用超声波捕获的人胸部的胸部超声图像，解剖元素检测器还可被构造为从胸部超声图像检测皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个，解剖情境信息可包括皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个之间的位置关系，分析器还可被构造为基于包括皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个之间的位置关系的解剖情境信息执行验证和调整。
解剖元素检测器还可包括多个单独的检测器，其中，所述多个单独的检测器中的每个检测器被构造为从医学图像检测所述多个解剖元素中的对应的一个解剖元素。
所述多个单独的检测器中的每个检测器还可被构造为使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来检测所述多个解剖元素中的对应的一个解剖元素。
解剖元素检测器可包括：单个检测器，被构造为从医学图像同时检测所述多个解剖元素。
所述单个检测器还可被构造为使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来从医学图像同时检测所述多个解剖元素。
所述单个检测器还可被构造为通过从医学图像提取多个特征图，将所述多个特征图分配给对应的各个解剖元素并将分配给特定解剖元素的特征图在医学图像中的位置标注为所述特定解剖元素，来从医学图像同时检测所述多个解剖元素。
分析器还可被构造为使用卷积随机场技术或马尔科夫随机场技术来调整由解剖元素检测器从医学图像检测的所述多个解剖元素的检测结果。
解剖情境信息还可包括关于每个解剖元素在医学图像中所位于的位置的概率分布的信息，并且概率分布可从预先建立的学习数据获得。
医学图像可以是多个连续帧之一或多个三维(3D)图像之一，并且解剖情境信息还可包括相邻图像信息，该相邻图像信息包括从相邻帧或相邻剖面检测的解剖元素的位置信息。
将与医学图像组合的所述多个解剖元素的验证和调整的信息可包括指示每个解剖元素在医学图像中的区域的区域信息。
区域信息可包括：所述多个解剖元素中的每个解剖元素的区域的轮廓、表示所述多个解剖元素中的每个解剖元素的名称的文本和区分所述多个解剖元素中的每个解剖元素的区域的颜色中的任意一个或任意组合。
将与医学图像组合的所述多个解剖元素的验证和调整的信息还可包括：指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息。
置信度信息可包括在所述多个解剖元素中的每个解剖元素的区域内显示的文本、所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色和所述多个解剖元素中的每个解剖元素的区域的轮廓的透明度中的任意一个或任意组合。
将与医学图像组合的所述多个解剖元素的验证和调整的信息可由用户从所述多个解剖元素的信息中选择。
将与医学图像组合的所述多个解剖元素的验证和调整的信息可包括以下项中的任意一个或任意组合：关于所述多个解剖元素中的每个解剖元素在医学图像中的区域的区域信息；指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息；所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色或透明度；表示所述多个解剖元素中的每个解剖元素的名称的文本的颜色或透明度；区分所述多个解剖元素中的每个解剖元素的区域的颜色层的透明度。
所述设备还可包括：病变验证器，被构造为基于从医学图像检测的感兴趣区域(ROI)所位于的解剖元素的病变检测概率，来验证ROI是否是病变。
在另一总体方面，一种用于对医学图像中的解剖元素进行可视化的方法包括：接收医学图像；从医学图像检测多个解剖元素；基于包括所述多个解剖元素之间的位置关系的解剖情境信息来验证所述多个解剖元素中的每个解剖元素的位置，并调整所述多个解剖元素之间的位置关系；对所述多个解剖元素的验证和调整的信息与医学图像进行组合。
医学图像可以是使用超声波捕获的人胸部的胸部超声图像，检测所述多个解剖元素的步骤可包括从胸部超声图像检测皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个，解剖情境信息可包括皮肤、脂肪、腺组织、肌肉和骨骼中的两个或更多个之间的位置关系，验证和调整的步骤可包括基于包括皮肤、脂肪、腺组织、肌肉和骨骼中的两个或更多个之间的位置关系的解剖情境信息来执行验证和调整。
检测所述多个解剖元素的步骤可包括：从医学图像单独地检测所述多个解剖元素中的各个解剖元素。
单独地检测所述多个解剖元素中的各个解剖元素的步骤可包括：使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来从医学图像单独地检测所述多个解剖元素中的各个解剖元素。
检测所述多个解剖元素的步骤可包括：从医学图像同时检测所述多个解剖元素。
同时检测所述多个解剖元素的步骤可包括：使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来从医学图像同时检测所述多个解剖元素。
同时检测所述多个解剖元素的步骤可包括：从医学图像提取多个特征图；将所述多个特征图分配给对应的各个解剖元素；将分配给特定解剖元素的特征图在医学图像中的位置标注为所述特定解剖元素。
调整的步骤可包括使用卷积随机场技术或马尔科夫随机场技术来调整从医学图像检测的所述多个解剖元素的检测结果。
解剖情境信息可包括关于所述多个解剖元素中的每个解剖元素在医学图像中所位于的位置的概率分布的信息，概率分布从预先建立的学习数据获得。
医学图像可以是多个连续帧之一或多个三维(3D)图像之一，解剖情境信息还可包括相邻图像信息，该相邻图像信息包括从相邻帧或相邻剖面检测的解剖元素的位置信息。
将与医学图像组合的所述多个解剖元素的验证和调整的信息可包括指示所述多个解剖元素中的每个解剖元素在医学图像中的区域的区域信息。
区域信息可包括：所述多个解剖元素中的每个解剖元素的区域的轮廓、表示所述多个解剖元素中的每个解剖元素的名称的文本和区分所述多个解剖元素中的每个解剖元素的区域的颜色中的任意一个或任意组合。
将与医学图像组合的所述多个解剖元素的验证和调整的信息还可包括：指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息。
置信度信息可包括在所述多个解剖元素中的每个解剖元素的区域内显示的文本、所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色和所述多个解剖元素中的每个解剖元素的区域的轮廓的透明度中的任意一个或任意组合。
所述方法还可包括：根据用户的执令从所述多个解剖元素的信息中选择将与医学图像组合的所述多个解剖元素的验证和调整的信息。
将与医学图像组合的所述多个解剖元素的验证和调整的信息可包括以下项中的任意一个或任意组合：关于所述多个解剖元素中的每个解剖元素在医学图像中的区域的区域信息；指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息；所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色或透明度；表示所述多个解剖元素中的每个解剖元素的名称的文本的颜色或透明度；区分所述多个解剖元素中的每个解剖元素的区域的颜色层的透明度。
所述方法还可包括：基于从医学图像检测的感兴趣区域(ROI)所位于的解剖元素的病变检测概率，来验证检测的ROI是否是病变。
在另一总体方面，一种用于对医学图像中的解剖元素进行可视化的方法包括：从医学图像检测多个解剖元素；基于包括所述多个解剖元素之间的位置关系的解剖情境信息，来校正检测到的解剖元素的边界以匹配医学图像中的解剖元素的实际边界；对具有校正的边界的检测到的解剖元素的解剖元素信息与医学图像进行组合。
所述方法还可包括：基于解剖情境信息忽略与医学图像中的实际解剖元素不对应的任何检测到的解剖元素。
所述方法还可包括：根据用户的指令选择将与医学图像组合的解剖元素信息。
将从以下的详细描述、附图和权利要求中清楚其它特征和方面。
附图说明
图1示出胸部超声图像中的解剖结构的示例。
图2示出用于对医学图像中的解剖元素进行可视化的设备的示例。
图3示出用于对医学图像中的解剖元素进行可视化的设备的另一示例。
图4示出图3中的解剖元素检测器的示例。
图5示出图4中的解剖元素检测器的特征图的示例。
图6示出图3中的解剖元素检测器的另一示例。
图7示出图3中的图像组合器通过将解剖结构叠加在原始图像之上来产生组合图像的处理的示例。
图8示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的示例。
图9示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图10示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图11示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图12示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图13示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图14示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图15示出用于使用户能够选择由图3中的图像组合器产生的组合图像的元素的用户界面的另一示例。
图16示出对医学图像中的解剖元素进行可视化的方法的示例。
图17示出对医学图像中的解剖元素进行可视化的方法的另一示例。
图18示出对医学图像中的解剖元素进行可视化的方法的另一示例。
图19示出对医学图像中的解剖元素进行可视化的方法的另一示例。
图20示出对医学图像中的解剖元素进行可视化的方法的另一示例。
具体实施方式
提供以下详细描述，以帮助读者获得在此描述的方法、设备和/或系统的全面理解。但是，在此描述的方法、设备和/或系统的各种改变、修改和等同物对于本领域普通技术人员是清楚的。在此描述的操作的顺序仅是示例，并且操作的顺序不限于在此阐述的顺序，而是除了必须以特定顺序发生的操作之外，可以如本领域普通技术人员清楚的那样改变操作的顺序。此外，为了更加清楚和简明，可省略本领域技术人员公知的功能和结构的描述。
贯穿附图和详细描述，相同附图标号指示相同元件。附图可不必按比例绘制，并且为了清楚、示意和方便，可夸大附图中元件的相对尺寸、比例和描绘。
本申请描述了在用于对医学图像中的解剖元素进行可视化的设备和方法中可被实现为计算机辅助诊断的一部分的技术。例如，所述技术可被用于通过乳房X射线摄影或胸部超声波图产生的胸部医学图像的可视化。
在下面的描述中，术语“解剖元素”表示通过特定解剖属性或功能而区分的元素。例如，胸部的解剖元素包括皮肤、皮下脂肪、腺组织、乳房后脂肪(retromammary fat)、胸肌和肋骨。
另外，术语“解剖结构”表示解剖元素彼此之间按特定关系组合或排列的结构。例如，可在胸部超声图像中观察到的解剖结构是胸部包括位于上部的皮肤以及按所列出的顺序位于皮肤之下的皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨的结构。
用于对医学图像中的解剖元素进行可视化的设备和方法是识别和可视化医学图像中的解剖元素的技术。在所述设备和方法中，从图像中首先检测解剖元素。然后，基于解剖情境信息(anatomical context information)分析(即，验证和调整)检测到的解剖元素的位置和检测到的解剖元素之间的位置关系。最后，将验证和调整的解剖元素信息与原始图像进行组合。
在一示例中，医学图像可以是使用超声波捕获的人胸部的胸部超声图像。从胸部超声图像中检测解剖元素，诸如，皮肤、脂肪、腺组织、肌肉和骨骼。
在一示例中，可从一个胸部超声图像中单独检测解剖元素。在这种情况下，可使用本领域普通技术人员所熟知的各种深度学习技术(诸如，卷积神经网络、卷积深度信念网络、解卷积深度学习或本领域普通技术人员所熟知的任意其它深度学习技术)。在该示例中，可针对每个解剖元素使用不同的检测器，例如，用于检测皮肤的皮肤检测器、用于检测脂肪的脂肪检测器、用于检测腺组织的腺组织检测器、用于检测肌肉的肌肉检测器和用于检测骨骼的骨骼检测器。
在另一示例中，可从胸部超声图像中同时检测多个解剖元素。在这种情况下，可使用滑动窗口技术或超像素技术。在该示例中，可首先从胸部超声图像提取各种特征图，可将提取的特征图分配给对应的解剖元素，然后可使用特定解剖元素的名称对分配给特定解剖元素的特征图的位置进行标注。
基于指示解剖元素之间的位置关系的解剖情境信息，来分析(即，验证和调整)按这种方式检测到的解剖元素(诸如，皮肤、脂肪、肌肉和骨骼)。
解剖情境信息可包括包含例如“人体的特定部分具有预定解剖结构的解剖元素”、“相同的解剖元素聚集”等的领域知识。表述“相同的解剖元素聚集”表示多个相同的解剖元素被组合在一起，例如，在肌肉层中的多个“肌肉解剖元素”或在骨骼层中的多个“骨骼元素”。另外，解剖情境信息可包括每个解剖元素在特定身体部分的医学图像中所位于的位置的概率分布。所述概率分布可基于预先建立的训练数据而获得。此外，如果医学图像是多个连续二维(2D)帧之一或多个三维(3D)图像之一，则解剖情境信息可包括从相邻帧或相邻剖面获得的解剖元素的位置信息。
将与原始图像组合的验证和调整的解剖元素信息可包括每个解剖元素的区域和/或置信度。解剖元素的区域表示解剖元素在原始图像中所占的区域。解剖元素的置信度表示关于检测到的解剖元素实际上是否是解剖元素的置信度。可使用轮廓、文本和颜色透明度中的一个或任意组合来显示解剖元素的区域和置信度。
此外，将与原始图像组合的验证和调整的解剖元素信息可被用户选择。用户可选择显示原始图像中的所有解剖元素的解剖元素信息，或者可选择显示原始图像中的一些解剖元素的解剖元素信息。用户可选择显示原始图像中的每个解剖元素的区域信息和置信度之一或区域信息和置信度二者。用户可选择使用轮廓、半透明颜色层和文本中的一个或更多个来显示关于原始图像中的解剖元素中的全部或一些的信息。
以下，参照附图描述用于对医学图像中的解剖元素进行可视化的设备和方法。
以下，考虑2D胸部超声图像的示例来描述所述设备和方法，但是本发明的各方面不限于此。例如，医学图像可以是胸部或不同的身体部分的超声图像、X射线图像、2D图像或3D图像。
图1示出胸部超声图像中的解剖结构的示例。
参照图1，人胸部的二维超声图像10包括包含皮肤11、皮下脂肪12、腺组织13、乳房后脂肪14、胸肌15和肋骨16的解剖元素。所述解剖元素形成皮肤11、皮下脂肪12、腺组织13、乳房后脂肪14、胸肌15和肋骨16从表面到内部按所列出的顺序排列的解剖结构。但是，如果不是熟练的医生，则很难从胸部超声图像中辨别这种解剖结构。用于对医学图像中的解剖元素进行可视化的设备和方法的示例可从如图1所示的医学图像中自动地分类识别解剖元素，并以用户友好方式呈现所识别的解剖元素。
图2示出用于对医学图像中的解剖元素进行可视化的设备的示例。
参照图2，用于对医学图像中的解剖元素进行可视化的设备30包括图像接收器31、解剖元素检测器33、分析器35、用于存储解剖情境信息的存储器37和图像组合器39。虽然图2示出解剖情境信息存储在包括在用于对医学图像中的解剖元素进行可视化的设备30中的存储器中，但是解剖情境信息可不存储在存储器37中，而是从外部装置接收。
图像接收器31是用于接收医学图像的组件。医学图像可以是例如如图1所示的使用超声波捕获的人胸部的超声图像。医学图像可从医学图像诊断/捕获装置接收，可从使用超声波或X射线来捕获人体的特定部分的成像设备接收或者从存储了由医学图像诊断/捕获装置或成像设备捕获的医学图像的存储装置接收。
解剖元素检测器33和分析器35通过分析医学图像来检测解剖元素，以通过基于解剖情境信息验证和调整解剖元素来识别解剖元素。
解剖元素检测器33从医学图像中检测多个解剖元素。如果医学图像是胸部超声图像10，则解剖元素检测器33从图像10将皮肤、脂肪、腺组织、肌肉和骨骼检测为解剖元素。将参照图4和图5来详细描述解剖元素检测器33的示例。
分析器35基于解剖情境信息来验证和调整由解剖元素检测器33检测到的解剖元素。解剖情境信息包括指示解剖元素之间的位置关系的信息。如果医学图像是胸部超声图像10，则分析器35使用指示诸如皮肤、脂肪、腺组织、肌肉和骨骼的解剖元素之间的位置关系的解剖情境信息。基于指示解剖元素之间的位置关系的解剖情境信息，分析器35验证每个解剖元素的位置并在医学图像的全部区域中调整解剖元素之间的位置关系。
例如，解剖元素检测器33通过使用滑动窗口技术分析图像10并将图像10的特定区域确定为“具有95％的置信度的皮下脂肪”，来检测解剖元素“皮下脂肪”。相似地，解剖元素检测器33检测其它解剖元素，诸如，“皮肤”、“腺组织”、“乳房后脂肪”、“胸肌”和“肋骨”。
分析器35能够验证看似皮下脂肪的检测到的“皮下脂肪”实际上是否是皮下脂肪。例如，基于解剖情境信息，例如，关于被检测为“具有95％的置信度的皮下脂肪”的特定区域(以下称为“区域A”)是否接近被检测为“具有95％的置信度的皮下脂肪”的其它区域的信息以及关于区域A是否接近被检测为其它解剖元素(诸如，“皮肤”、“腺组织”、“乳房后脂肪”、“胸肌”和“肋骨”)的其它区域(以下称为“区域B”)的信息，分析器35能够验证区域A实际上是否是皮下脂肪。
分析器35可使用条件随机场(CRF)技术或马尔科夫随机场(MRF)技术来调整由解剖元素检测器33检测到的解剖元素的检测结果，其中，由于上述两种技术是本领域技术人员所熟知的技术，因此在此不再详细描述。例如，如果区域A被确定为不是皮下脂肪，则分析器35通过忽略区域A是“具有95％的置信度的皮下脂肪”的检测结果，来调整解剖元素检测结果。在另一示例中，假设解剖元素检测器33通过分析图像10按从顶部至底部的所列出的顺序检测“皮肤”、“皮下脂肪”、“乳房后脂肪”、“胸肌”、“腺组织”和“肋骨”，从而按不正确的顺序检测这些解剖元素。随后，分析器35基于解剖情境信息将这些解剖元素的检测结果调整为按从顶部至底部所列出的顺序的“皮肤”、“皮下脂肪”、“腺组织”、“乳房后脂肪”、“胸肌”和“肋骨”，从而调整这些解剖元素之间的位置关系，使得它们按正确顺序被检测到。虽然该示例陈述了分析器35可使用条件随机场(CRF)技术或马尔科夫随机场(MRF)技术来调整由解剖元素检测器33检测到的解剖元素的检测结果，但是分析器可使用其它机器学习方法(诸如，深度学习)来调整由解剖元素检测器33检测的解剖元素的检测结果，所述其它机器学习方法是本领域普通技术人员熟知的机器学习方法，因此在此将不详细描述。
验证和调整操作的一个结果是从图像10检测出的解剖元素的边界被校正为与图像10中的解剖元素的实际边界匹配。验证和调整操作的另一结果是与图像10中的实际解剖元素不对应的任何检测出的解剖元素被忽略。
图像组合器39从图像接收器31接收原始图像10并接收由分析器35分析(即，验证和调整)的解剖元素检测结果。图像组合器39通过将验证和调整的解剖元素检测结果的全部或一部分叠加在原始图像15之上，来组合原始图像10和验证和调整的解剖元素检测结果的全部或一部分。将参照图7至图15来详细描述组合结果的示例。
图3示出用于对医学图像中的解剖元素进行可视化的设备的另一示例。
参照图3，除以上参照图2描述的设备30的组件31、33、35、37和39之外，用于对解剖元素进行可视化的设备300还包括用户输入装置310和呈现装置320。此外，存储器37包括用于存储解剖情境信息的领域知识的第一存储模块372、用于存储解剖情境信息的概率信息的第二模块374和用于存储解剖情境信息的相邻图像信息的第三模块376。此外，设备300包括病变验证器38。
用户输入装置310是使用户能够输入命令或数据以与图像组合器39交互的装置。用户输入装置310可包括键盘、鼠标、触敏输入装置和麦克风中的任意一个或任意组合。呈现装置320是用于将由图像组合器39组合的图像呈现给用户的装置。呈现装置320可包括显示器、打印机、扬声器和振动装置中的任意一个或任意组合。
在该示例中，当在显示屏幕上显示组合图像时，图像组合器39提供使用户能够输入命令的用户界面。响应于来自用户输入装置310的命令，图像组合器39根据输入命令而重新组合图像并在显示屏幕上显示重新组合的图像。
在解剖情境信息中，领域知识是指示区域之间的位置关系的信息。例如，领域知识包括“人体的特定部分具有预定的解剖元素”、“不同解剖元素在人体的特定部分中具有预定位置关系”和“相同解剖元素聚集”。表述“相同的解剖元素聚集”表示多个相同的解剖元素被组合在一起，例如，在肌肉层中的多个“肌肉解剖元素”或在骨骼层中的多个“骨骼元素”。例如，如果医学图像是胸部超声图像在，则领域知识可包括指示例如“胸部包括作为解剖对象的皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨”的信息。
在解剖情境信息中，概率信息从预先建立的学习数据中获得。概率信息是每个解剖元素在特定医学图像中所位于的位置的概率分布。例如，如果医学图像是胸部超声图像，则概率信息可包括关于概率分布的信息，诸如，“皮肤以100％的概率存在于图像的顶部”、“可以以50％的概率在距离图像顶部10cm处发现皮下脂肪”、“可以以10％至31％的概率在皮下脂肪与乳房后脂肪之间发现诸如乳腺癌囊肿的病变”。
在医学图像是多个连续二维(2D)帧之一或多个三维(3D)图像之一的情况下，解剖情境信息中的相邻图像信息包括从相邻帧或相邻剖面获得的解剖元素的位置信息。例如，如果当前医学图像是3D超声体图像的多个切片之一，则分析先前的相邻切片发现：从先前相邻切片检测到的解剖元素的位置与从当前医学图像检测到的解剖元素的位置非常相关。因此，包括在相邻图像信息中的先前检测到的解剖元素的位置信息可被用作用于验证和调整从当前医学图像检测到的解剖元素的位置的有用参考信息。
病变验证器38验证从医学图像检测的感兴趣区域(ROI)是否是病变区域。在一示例中，病变验证器38验证ROI是否是针对从原始图像检测到的解剖元素的病变。实际上，在一个解剖元素中发现特定病变的机会可能是高的，而在另一解剖元素中发现该特定病变的机会可能是低的。例如，临床试验示出在脂肪中很少发现乳腺癌病变，而在腺组织中经常发现乳腺癌病变。病变验证器38基于临床概率数据通过确定感兴趣区域(ROI)所位于的解剖元素的类型来验证ROI是否是病变。
在图3的示例中，病变验证器38从图像接收器31接收原始图像并从原始图像检测一个或更多个ROI。然后，参照由分析器35确定的解剖元素信息，病变验证器38确定每个检测到的ROI位于哪个解剖元素中。然后，病变验证器38基于存储在其中的指示在特定解剖元素中发现病变的概率的数据验证每个ROI是否是病变。例如，在医学图像是胸部图像的情况下，如果特定ROI位于很少发现乳腺癌的解剖元素中，则病变验证器38确定特定ROI不是病变。在另一示例中，如果特定ROI位于经常发现乳腺癌的解剖元素中，则病变验证器38确定特定ROI可能是病变。
此外，由病变验证器38验证的病变和/或ROI通过图像组合器39叠加在原始图像之上，使得病变和/或ROI可视地显示给用户。因此，例如，在包括根据一示例的用于对医学图像中的解剖元素进行可视化的设备的计算装置的显示屏幕上，用户可将特定医学图像和包括在该医学图像中的解剖元素一起显示并可视化关于位于特定医学图像中的解剖元素中的ROI是否是病变的信息。
图4示出图3中的解剖元素检测器33的示例。
参照图4，从图像同时检测多个解剖元素的单个检测器40是图3中示出的解剖元素检测器33的示例。在该示例中，单个检测器40使用利用方向梯度直方图(HOG)特征的滑动窗口技术。这种滑动窗口技术是本领域普通技术人员所熟知的，因此在此不再详细描述。
单个检测器40还使用深度学习技术。各种深度学习技术是本领域普通技术人员所熟知的，因此在此不再详细描述。使用通过深度学习技术产生的特征图，单个检测器40检测解剖元素。为此，单个检测器40包括特征图提取器41、特征图分配器43和图像标注器45。特征图提取器41从图像提取至少一个特征图。特征图分配器43将提取的特征图分配给对应的解剖元素。为此，提取的特征图可以与多个预存储的特征图相比较。如果提取的特征图与预存储的特征图中的任意一个匹配，则特征图分配器43将提取的特征图分配给与预存储的特征图对应的解剖元素，其中，该预存储的特征图与提取的特征图相匹配。图像标注器45将分配给特定解剖元素的特征图的位置标注为该特定解剖元素。因此，分配给特定解剖元素的特征图的位置被检测为特定解剖元素。虽然在该示例中，单个检测器40使用滑动窗口技术和深度学习技术二者，但是在其它示例中，单个检测器40可仅使用滑动窗口技术或可仅使用深度学习技术。
在另一示例中，单个检测器40使用超像素技术。在该示例中，单个检测器40被构造为分类器，将图像的像素分配为超像素并针对每个超像素使用利用深度信念网络的图像信息(诸如强度、纹理和稀疏编码特征)。各种超像素技术是本领域普通技术人员所熟知的，因此在此不再详细描述。
图5示出图4中的解剖元素检测器40的特征图的示例。
参照图5，特征图组50包括囊肿的特征图51、另一囊肿的特征图53、恶性病变的特征图55和腺组织的特征图57。但是，特征图组50仅是示例，且本领域普通技术人员清楚的是，还可包括各种其它特征图以识别多个病变和/或多个解剖结构。
图6示出图3中的解剖元素检测器33的另一示例。
参照图6，包括多个单独的检测器61、63、65和67的多检测器60是图3中示出的解剖元素检测器33的示例。皮肤检测器61从原始图像10中仅检测皮肤11的区域。皮下脂肪检测器63从原始图像10中仅检测皮下脂肪12的区域。腺组织检测器65从原始图像10中仅检测腺组织13的区域。胸肌检测器67从原始图像10中仅检测胸肌15的区域。在该示例中，单独的检测器61、63、65和67的中的每一个可使用本领域普通技术人员所熟知的各种深度学习技术中的任意一种。例如，可使用卷积神经网络、深度分层网络、卷积深度信念网络、解卷积深度网络或本领域普通技术人员所熟知的任意其它深度学习技术。这些深度学习技术是本领域普通技术人员所熟知的，因此在此不再详细描述。可选择地，单独的检测器61、63、65和67中的每个检测器可使用本领域普通技术人员所熟知的滑动窗口技术、超像素技术或滑动窗口技术和超像素技术二者，因此对此将不进行详细描述。
图7示出图3中的图像组合器通过将解剖图像叠加在原始图像之上来产生组合图像的处理的示例。
参照图7，图像组合器33通过将解剖元素信息75可视地叠加在原始图像10的全部或一部分上，来产生组合图像70。解剖元素信息75可被呈现为颜色层755、轮廓751、文本753或它们的任意组合。解剖元素信息75可包括每个解剖元素的位置、区域的尺寸和置信度。另外，可由用户选择将与原始图像10组合的解剖元素信息75。
图8至图15示出提供菜单以使用户能够选择由图像组合器产生的组合图像的特定内容的用户界面的示例。但是，这些示例仅是示意性的，且具有不同选项组合的各种其它菜单也是可行的。例如，用户界面可提供使用户能够选择使用半透明层来显示具有等于或大于50％的置信度的解剖元素的菜单。
另外，图8至图15示出菜单排列在正在显示图像的窗口的外部的用户界面的示例。但是，这些示例仅是示意性的，具有不同排列的菜单的用户界面也是可行的。例如，菜单的选项可响应于对于特定位置的用户触摸输入而被选择。
图8示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的示例。
参照图8，用户界面向用户提供菜单800和组合图像80。在该示例中，菜单800包括三个选项。“轮廓”选项允许用户选择使用轮廓显示解剖元素的区域。“文本”选项允许用户选择将解剖元素的名称显示为文本。“颜色”选项允许用户选择使用颜色层显示解剖元素的区域。
在该示例中，“透明度”选项被提供为“颜色”选项的子选项。“透明度”选项是允许用户选择“颜色”选项显示的颜色层的透明度(例如，0％至100％的范围内)的选项。在该示例中，仅“颜色”选项具有作为子选项的“透明度”选项，但是其它选项也可具有作为子选项的“透明度”选项。例如，“轮廓”选项和“文本”选项也可具有作为子选项的“透明度”选项以选择轮廓和文本的透明度。另外，“轮廓”选项和“文本”选项还可具有使用户能够选择轮廓和文本的其它附加属性(诸如，颜色和宽度)的其它子选项。
在图8的示例中，在菜单800中，“轮廓”被选中，使得通过将描绘皮肤81、皮下脂肪82、腺组织83、乳房后脂肪84、胸肌85和肋骨86的轮廓叠加在原始胸部超声图像上，来产生组合图像80。
图9示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图9，用户界面向用户提供菜单900和组合图像90。在该示例中，与图8的菜单800相似，菜单900包括三个选项和一个子选项。
在图9的示例中，在菜单900中，“轮廓”和“文本”被选中，使得通过将描绘皮肤91、皮下脂肪92、腺组织93、乳房后脂肪94、胸肌95和肋骨96的轮廓以及在对应区域中表示这些解剖元素的名称的文本叠加在原始胸部超声图像上，来产生组合图像90。
图10示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图10，用户界面向用户提供菜单1000和组合图像100。在该示例中，与图8的菜单800相似，菜单1000具有三个选项和一个子选项。
在图10的示例中，在菜单1000中，“文本”和“颜色”被选中，且“50％”被设置为颜色的透明度。因此，通过将区分皮肤101、皮下脂肪102、腺组织103、乳房后脂肪104、胸肌105和肋骨106的不同颜色的半透明度层和在对应区域中表示这些解剖元素的名称的文本叠加在原始胸部超声图像上，来产生组合图像100。
图11示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图11，用户界面向用户提供菜单1100和组合图像110。在该示例中，与图8的菜单800相似，菜单1100具有三个选项和一个子选项。
在图11的示例中，在菜单1100中，“轮廓”、“文本”和“颜色”被选中，且“50％”被设置为颜色的透明度。因此，通过将区分皮肤111、皮下脂肪112、腺组织113、乳房后脂肪114、胸肌115和肋骨116的不同颜色的半透明度层、描绘这些解剖元素的轮廓以及在对应区域中表示这些解剖元素的名称叠的文本加在原始胸部超声图像上，来产生组合图像110。
图12示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图12，用户界面向用户提供两个菜单1200和1220以及组合图像120。在该示例中，左侧菜单1200与图8的菜单800相似地列出包括三个选项和一个子选项的指示符。右侧菜单1220列出包括皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨的区域。
在图12的示例中，在左侧菜单1200中，“轮廓”、“文本”和“颜色”被选中且“50％”被设置为颜色的透明度，而在右侧菜单1220中，“胸肌”被选中。因此，通过将仅区分胸肌125的一个颜色的半透明度层、描绘该解剖元素的轮廓以及在对应区域中表示该解剖元素的名称的文本叠加在原始胸部超声图像上，来产生组合图像120。
图13示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图13，用户界面向用户提供两个菜单1300和1320以及组合图像130。在该示例中，左侧菜单1300与图8的菜单800相似地列出包括三个选项和一个子选项的指示符。右侧菜单1320列出包括皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨的区域。
在图13的示例中，在左侧菜单1300中，“轮廓”、“文本”和“颜色”被选中且“50％”被设置为颜色的透明度，而在右侧菜单1320中，“皮下脂肪”和“腺组织”被选中。因此，通过将区分皮下脂肪132和腺组织133的两个不同颜色的半透明度层、这些解剖元素的轮廓以及在对应区域中表示这些解剖元素的名称的文本叠加在原始胸部超声图像上，来产生组合图像130。
图14示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图14，用户界面向用户提供两个菜单1400和1420以及组合图像140。在该示例中，左侧菜单1400与图8的菜单800相似地列出包括三个选项和一个子选项的指示符。右侧菜单1420提供用于能够显示每个解剖元素的置信度的“置信度”选项。虽然图14中仅提供了“置信度”选项，但是还可提供与能够使单独的解剖元素被显示的图13的右侧菜单1320相似的附加菜单选项，以单独地显示皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨中的每个的置信度。
在图14的示例中，在左侧菜单1400中，“轮廓”、“文本”和“颜色”被选中且“50％”被设置为颜色的透明度，而在右侧菜单1420中，“置信度”被选中。因此，通过将区分皮肤141、皮下脂肪142、腺组织143、胸肌145和肋骨146中的每一个的不同颜色的半透明度层、描绘这些解剖元素的轮廓以及在对应区域中表示这些解剖元素的名称和置信度的文本叠加在原始胸部超声图像上，来产生组合图像140。
在图14的示例中，使用轮廓、文本和与颜色层不同的附加文本来显示置信度。但是，这仅是可显示置信度的一种方式。可使用轮廓、文本、颜色层的颜色和/或颜色层的透明度来显示置信度。
图15示出用于使用户能够选择由图3中的图像组合器39产生的组合图像的元素的用户界面的另一示例。
参照图15，用户界面向用户提供菜单1500和组合图像150。在该示例中，菜单1500列出三个选项。“轮廓”选项允许用户选择使用轮廓显示每个解剖元素的区域。“文本”选项允许用户选择将每个解剖元素的置信度而不是其名称显示为文本。“颜色”选项允许用户选择使用颜色层显示每个解剖元素的区域。
在图15的示例中，在菜单1500中，“轮廓”、“文本”和“颜色”被选中且“50％”被设置为颜色的透明度。因此，通过将区分皮肤151、皮下脂肪152、腺组织153、胸肌155和肋骨156的不同颜色的半透明度层、描绘这些解剖元素的轮廓以及在对应区域中不表示这些解剖元素的名称而表示这些解剖元素的置信度的文本叠加在原始胸部超声图像上，来产生组合图像150。
图16示出对医学图像中的解剖元素进行可视化的方法的示例。
参照图16，对解剖元素进行可视化的方法160包括，在操作161中，接收输入到图2所示出的设备30的医学图像接收器31的医学图像。医学图像可从捕获人体的特定部分的医学图像诊断装置、捕获装置或存储由这些装置捕获的图像的存储装置输入。
在操作163中，分析接收的图像以检测存在于所述图像内的特定位置的至少一个解剖元素。可通过分别检测不同解剖元素的多个检测器，来执行解剖元素的检测。可选择地，可通过从图像一次检测所有解剖元素的单个检测器来执行解剖元素的检测。在操作163中，如果接收的图像是胸部超声图像，则检测皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨。
在操作165中，基于包括解剖元素之间的位置关系的解剖情境信息来分析检测的解剖元素。例如，如果接收的图像是胸部超声图像，则可使用指示胸部的检测的解剖元素(诸如，皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨)之间的位置关系的解剖情境信息。
最后，在操作167中，组合关于分析的解剖元素的解剖元素信息与原始图像。例如，将每个解剖元素的名称、每个解剖元素在原始图像中的区域的位置和尺寸和每个解剖元素的置信度可视地叠加在原始图像之上。
图17示出对医学图像中的解剖元素进行可视化的方法的另一示例。
参照图17，对医学图像中的解剖元素进行可视化的方法170包括，在操作171中，接收输入到图3所示出的设备30的医学图像接收器31的医学图像。在操作173中，如果接收的图像是胸部超声图像，则皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨被检测为解剖元素。在操作175中，基于包括指示解剖元素之间的位置关系的领域知识、概率信息和相邻图像信息的解剖情境信息，来分析解剖元素。
在解剖情境信息中，领域知识表示区域之间的位置关系。例如，如果接收的医学图像是胸部超声图像，则领域知识可包括诸如“胸部包括作为解剖对象的皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨”和“胸部包括位于上部的皮肤以及按所列出的顺序位于皮肤之下的皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨”的信息。
概率信息是每个解剖元素在图像中所位于的位置的概率分布。例如，概率信息可包括关于概率分布的信息，诸如，“皮肤以100％的概率存在于图像的上部”、“可以以50％的概率在距离图像顶部10cm处发现皮下脂肪”、“可以以10％至31％的概率在皮下脂肪与乳房后脂肪之间发现诸如乳腺癌囊肿的病变”。
相邻图像信息是关于在时间上或空间上与当前医学图像相邻的图像的信息。例如，如果当前医学图像是多个2D连续帧之一或多个3D剖面图像之一，则从先前医学图像检测到的解剖元素的位置可以与从当前解剖元素检测到的解剖元素的位置高度相关。因此，包括在相邻图像信息中的先前检测到的解剖元素的位置信息可被用作用于验证和调整从当前图像检测到的解剖元素的位置的有用参考信息。
最后，在操作177中，组合验证和调整的解剖元素的解剖元素信息与原始图像。例如，将每个解剖元素的名称、每个解剖元素在原始图像中的区域的位置和尺寸和每个解剖元素的置信度可视地叠加在原始图像之上。
图18示出对医学图像中的解剖元素进行可视化的方法的另一示例。
参照图18，对医学图像中的解剖元素进行可视化的方法180包括，在操作181中，接收输入到图2或图3所示出的设备30的医学图像接收器31的医学图像。在操作183中，如果接收的图像是胸部超声图像，则皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨被检测为解剖元素。在操作185中，基于包括解剖元素之间的位置关系的解剖情境信息，来分析解剖元素。
在操作187中，组合分析的解剖元素的解剖元素信息与原始图像。例如，可将区分每个解剖元素的不同颜色的半透明层、描绘每个解剖元素的轮廓和在对应区域中表示每个解剖元素的名称的文本中的一个或更多个可视地叠加在原始图像之上。
图19示出对医学图像中的解剖元素进行可视化的方法的另一示例。
参照图19，对解剖元素进行可视化的方法190包括，在操作191中，接收输入到图2或图3所示出的设备30的医学图像接收器31的医学图像。在操作193中，如果接收的图像是胸部超声图像，则皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨被检测为解剖元素。在操作195中，基于包括解剖元素之间的位置关系的解剖情境信息，来分析解剖元素。
在操作197中，在所有分析的解剖元素的解剖元素信息中，仅将由用户选择的一个或更多个解剖元素的解剖元素区域信息与原始图像进行组合。例如，如果皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨被检测为解剖元素，则用户可从这些解剖元素中选择任何期望的解剖元素。例如，用户可仅选择皮肤，可选择皮下脂肪和腺组织二者或可选择所有检测到的解剖元素。然后，将所选择的解剖元素中的每一个的解剖元素区域信息可视地叠加到原始图像之上。例如，可将区分所选择的每个解剖元素的不同颜色的半透明层、描绘所选择的每个解剖元素的轮廓和在对应区域中表示所选择的每个解剖元素的名称的文本中的一个或更多个可视地叠加在原始图像之上。
图20示出对医学图像中的解剖元素进行可视化的方法的另一示例。
参照图20，对医学图像中的解剖元素进行可视化的方法200包括，在操作201中，接收输入到图2或图3所示出的设备30的医学图像接收器31的医学图像。在操作203中，如果接收的图像是胸部超声图像，则皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨被检测为解剖元素。在操作205中，基于包括与解剖元素之间的关系相关联的领域知识、概率信息和相邻图像信息的解剖情境信息，来分析解剖元素。
在操作207中，在所有分析的解剖元素的解剖元素信息中，仅将由用户选择的一个或更多个解剖元素的置信度与原始图像进行组合。例如，如果皮肤、皮下脂肪、腺组织、乳房后脂肪、胸肌和肋骨被检测为解剖元素，则用户可选择任何期望的解剖元素。例如，用户可仅选择皮肤。可选择皮下脂肪和腺组织二者或可选择所有检测到的解剖元素。然后，将所选择的每个解剖元素的解剖元素置信度信息可视地叠加到原始图像之上。例如，可将区分所选择的每个解剖元素的不同颜色的半透明层、描绘所选择的每个解剖元素的轮廓、在对应区域中表示所选择的每个解剖元素的名称的文本和所选择的每个解剖元素的置信度中的一个或更多个可视地叠加在原始图像之上。
可通过包括处理器、存储器、用户输入装置和呈现装置的计算装置来实现用于对医学图像中的解剖元素进行可视化的设备。存储器是存储计算机可读软件、应用程序、程序模块、例程或指令的介质，其中，当计算机可读软件、应用程序、程序模块、例程或指令被处理器执行时，计算机可读软件、应用程序、程序模块、例程和指令中的每一个能够执行特定任务。
处理器可读取并执行存储在存储器中的计算机可读软件、应用程序、程序模块、例程或指令。用户输入装置可以是使用户能够将针对特定任务的命令输入到处理器或输入执行特定任务所需的数据的装置。用户输入装置可包括物理或虚拟键盘、小键盘、鼠标、操纵杆、轨迹球、触敏输入装置或麦克风。呈现装置可包括显示器、打印机、扬声器和振动装置。
计算装置可以使诸如智能电话、平板电脑、膝上型计算机、台式机、服务器和客户机装置的各种装置中的任何一种装置。计算装置可以是单个独立的装置，或者是在分布式环境下彼此交互的多个计算装置。
可通过包括存储器的计算装置来实现用于对医学图像中的解剖元素进行可视化的方法，其中，该存储器存储了被编码以实现上述方法的计算机可读软件、应用程序、程序模块、例程或指令。
上面参照图1至图15描述的用于对医学图像中的解剖元素进行可视化的各种设备仅是示例性的。本领域的普通技术人员将清楚的是，具有各种元件的组合的不同设备落入权利要求及其等同物的范围内。用于对医学图像中的解剖元素进行可视化的设备的组件可通过执行上述各个组件的功能的硬件来实现。另外，用于对医学图像中的解剖元素进行可视化的设备的组件可通过用于在被计算装置的处理器、固件或硬件执行时执行特定任务的计算机可读软件、应用程序、程序模块、例程或指令的组合来实现。
另外，上面参照图16至图20描述的各种方法仅是示例性的。本领域的普通技术人员将清楚的是，具有各种操作的组合的不同方法落入权利要求及其等同物的范围内。用于对医学图像中的解剖元素进行可视化的方法的示例可通过能够在被计算装置的处理器执行时执行特定任务的计算机可读软件、应用程序、程序模块、例程或指令编码。计算机可读软件、应用程序、程序模块、例程或指令可以以编程语言(诸如，Basic、Fortran、C、C++以及本领域普通技术人员所熟知的其它编程语言)被编码，然后以机器语言被编译。
可使用一个或更多个硬件组件、一个或更多个软件组件或一个或更多个硬件组件和一个或更多个软件组件组合来实现执行针对图1至图20描述的操作的图2和图3中的图像接收器31、解剖元素检测器33、分析器35、存储器37和图像组合器39、图3中的病变验证器38、图像组合器39、第一存储模块372、第二存储模块374和第三存储模块376、图4中的特征图提取器41、特征图分配器43和图像标注器45和图6中的皮肤检测器61、皮下脂肪检测器63、腺组织检测器65和胸肌检测器67
硬件组件可以是例如物理地执行一个或更多个操作的物理装置，但不限于此。硬件组件的示例包括电阻器、电容器、电感器、电源、频率发生器、运算放大器、功率放大器、低通滤波器、高通滤波器、带通滤波器、模数转换器、数模转换器和处理装置。
软件组件可例如通过由用于执行一个或更多个操作的软件或指令控制的处理装置来实施，但不限于此。计算机、控制器或其它控制装置可以使处理装置运行软件或执行指令。一个软件组件可通过一个处理装置实施，或者两个或更多个软件组件可通过一个处理装置实施，或者一个软件组件可通过两个或更多个处理装置实施，或者两个或更多个软件组件可通过两个或更多个处理装置实施。
可使用一个或更多个通用计算机或专用计算机(诸如，处理器、控制器和算术逻辑单元、数字信号处理器、微计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够运行软件或执行指令的任意其它装置)来实现处理装置。处理装置可运行操作系统(OS)，且可运行在OS下操作的一个或更多个软件应用。处理装置可在运行软件或执行指令时访问、存储、操作、处理和创建数据。为了简洁，可在描述中使用单数术语“处理装置”，但是本领域普通技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括一个或更多个处理器或一个或更多个处理器和一个或更多个控制器。另外，诸如并行处理或多核处理的不同处理配置是可行的。
被构造为实施用于执行操作A的软件组件的处理装置可包括这种处理器，即，该处理器被编程为运行软件或执行指令来控制该处理器执行操作A。另外，被构造为实施用于执行操作A、操作B和操作C的软件组件的处理装置可具有各种构造，例如，被构造为实施用于执行操作A、操作B和操作C的软件组件的处理器；被构造为实施用于执行操作A的软件组件的第一处理器、被构造为实施用于执行操作B和操作C的软件组件的第二处理器；被构造为实施用于执行操作A和操作B的软件组件的第一处理器、被构造为实施用于执行操作C的软件组件的第二处理器；被构造为实施用于执行操作A的软件组件的第一处理器、被构造为实施用于执行操作B的软件组件的第二处理器以及被构造为实施用于执行操作C的软件组件的第三处理器；被构造为实施用于执行操作A、操作B和操作C的软件组件的第一处理器、被构造为实施用于执行操作A、操作B和操作C的软件组件的第二处理器；或一个或更多个处理器的任何其他配置，所述一个或更多个处理器中的每个处理器实施操作A、操作B和操作C中的一个或更多个操作。虽然这些示例指示三个操作A、B和C，但是可实施的操作的数量不限于三个，而可以是实现期望结果或执行期望任务所需的任意数量的操作。
用于实施在此公开的示例的功能程序、代码和代码段可被示例所属领域的编程人员基于在此提供的附图及其相应描述容易地构建。
虽然本公开包括特定示例，但本领域的普通技术人员将清楚，可在不脱离权利要求及其等同物的精神和范围的情况下对这些示例做出形式和细节上的各种改变。例如，如果以不同的顺序执行描述的技术，和/或如果以不同的方式组合和/或由其它组件或其等同物代替或补充描述的系统、架构、装置或电路中的组件，均可获得合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，权利要求及其等同物的范围内的全部改变将被解释为包括在本公开中。

Claims (37)

1.一种用于对医学图像中的解剖元素进行可视化的设备，所述设备包括：
图像接收器，被构造为接收医学图像；
解剖元素检测器，被构造为从医学图像检测多个解剖元素；
分析器，被构造为基于包括所述多个解剖元素之间的位置关系的解剖情境信息来验证所述多个解剖元素中的每个解剖元素的位置，并调整所述多个解剖元素之间的位置关系；
图像组合器，被构造为对所述多个解剖元素的验证和调整的信息与医学图像进行组合。
2.根据权利要求1所述的设备，其中，医学图像是使用超声波捕获的人胸部的胸部超声图像，
解剖元素检测器还被构造为从胸部超声图像检测皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个，
解剖情境信息包括皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个之间的位置关系，
分析器还被构造为基于包括皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个之间的位置关系的解剖情境信息执行验证和调整。
3.根据权利要求1所述的设备，其中，解剖元素检测器还还被构造为包括多个单独的检测器，其中，所述多个单独的检测器中的每个检测器被构造为从医学图像检测所述多个解剖元素中的对应的一个解剖元素。
4.根据权利要求3所述的设备，其中，所述多个单独的检测器中的每个检测器还被构造为使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来检测所述多个解剖元素中的对应的一个解剖元素。
5.根据权利要求1所述的设备，其中，解剖元素检测器包括：单个检测器，被构造为从医学图像同时检测所述多个解剖元素。
6.根据权利要求5所述的设备，其中，所述单个检测器还被构造为使用深度学习技术、滑动窗口技术和超像素技术中的任意一种从医学图像同时检测所述多个解剖元素。
7.根据权利要求5所述的设备，其中，所述单个检测器还被构造为通过从医学图像提取多个特征图，将所述多个特征图分配给对应的各个解剖元素并将分配给特定解剖元素的特征图在医学图像中的位置标注为所述特定解剖元素，来从医学图像同时检测所述多个解剖元素。
8.根据权利要求1所述的设备，其中，分析器还被构造为使用卷积随机场技术或马尔科夫随机场技术来调整由解剖元素检测器从医学图像检测的所述多个解剖元素的检测结果。
9.根据权利要求1所述的设备，其中，解剖情境信息还包括关于每个解剖元素在医学图像中所位于的位置的概率分布的信息，
概率分布从预先建立的学习数据获得。
10.根据权利要求1所述的设备，其中，医学图像是多个连续帧之一或多个三维图像之一，
解剖情境信息还包括相邻图像信息，该相邻图像信息包括从相邻帧或相邻剖面检测的解剖元素的位置信息。
11.根据权利要求1所述的设备，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息包括指示每个解剖元素在医学图像中的区域的区域信息。
12.根据权利要求11所述的设备，其中，区域信息包括：所述多个解剖元素中的每个解剖元素的区域的轮廓、表示所述多个解剖元素中的每个解剖元素的名称的文本和区分所述多个解剖元素中的每个解剖元素的区域的颜色中的任意一个或任意组合。
13.根据权利要求11所述的设备，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息还包括：指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息。
14.根据权利要求13所述的设备，其中，置信度信息包括在所述多个解剖元素中的每个解剖元素的区域内显示的文本、所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色和所述多个解剖元素中的每个解剖元素的区域的轮廓的透明度中的任意一个或任意组合。
15.根据权利要求1所述的设备，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息由用户从所述多个解剖元素的信息中选择。
16.根据权利要求1所述的设备，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息包括以下项中的任意一个或任意组合：
关于所述多个解剖元素中的每个解剖元素在医学图像中的区域的区域信息；
指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息；
所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色或透明度；
表示所述多个解剖元素中的每个解剖元素的名称的文本的颜色或透明度；
区分所述多个解剖元素中的每个解剖元素的区域的颜色层的透明度。
17.根据权利要求1所述的设备，还包括：病变验证器，被构造为基于从医学图像检测的感兴趣区域所位于的解剖元素的病变检测概率，来验证感兴趣区域是否是病变。
18.一种用于对医学图像中的解剖元素进行可视化的方法，所述方法包括：
接收医学图像；
从医学图像检测多个解剖元素；
基于包括所述多个解剖元素之间的位置关系的解剖情境信息来验证所述多个解剖元素中的每个解剖元素的位置，并调整所述多个解剖元素之间的位置关系；
对所述多个解剖元素的验证和调整的信息与医学图像进行组合。
19.根据权利要求18所述的方法，其中，医学图像是使用超声波捕获的人胸部的胸部超声图像，
检测所述多个解剖元素的步骤包括：从胸部超声图像检测皮肤、脂肪、腺组织、肌肉和骨骼中的任意两个或更多个，
解剖情境信息包括皮肤、脂肪、腺组织、肌肉和骨骼中的两个或更多个之间的位置关系，
验证和调整的步骤包括：基于包括皮肤、脂肪、腺组织、肌肉和骨骼中的两个或更多个之间的位置关系的解剖情境信息来执行验证和调整。
20.根据权利要求18所述的方法，其中，检测所述多个解剖元素的步骤包括：从医学图像单独地检测所述多个解剖元素中的各个解剖元素。
21.根据权利要求20所述的方法，其中，单独地检测所述多个解剖元素中的各个解剖元素的步骤包括：使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来从医学图像单独地检测所述多个解剖元素中的各个解剖元素。
22.根据权利要求18所述的方法，其中，检测所述多个解剖元素的步骤包括：从医学图像同时检测所述多个解剖元素。
23.根据权利要求22所述的方法，其中，同时检测所述多个解剖元素的步骤包括：使用深度学习技术、滑动窗口技术和超像素技术中的任意一种来同时检测所述多个解剖元素。
24.根据权利要求22所述的方法，其中，同时检测所述多个解剖元素的步骤包括：
从医学图像提取多个特征图；
将所述多个特征图分配给对应的各个解剖元素；
将分配给特定解剖元素的特征图在医学图像中的位置标注为所述特定解剖元素。
25.根据权利要求18所述的方法，其中，调整的步骤包括使用卷积随机场技术或马尔科夫随机场技术来调整从医学图像检测的所述多个解剖元素的检测结果。
26.根据权利要求18所述的方法，其中，解剖情境信息包括关于所述多个解剖元素中的每个解剖元素在医学图像中所位于的位置的概率分布的信息，
概率分布从预先建立的学习数据获得。
27.根据权利要求18所述的方法，其中，医学图像是多个连续帧之一或多个三维图像之一，
解剖情境信息还包括相邻图像信息，该相邻图像信息包括从相邻帧或相邻剖面检测的解剖元素的位置信息。
28.根据权利要求18所述的方法，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息包括指示所述多个解剖元素中的每个解剖元素在医学图像中的区域的区域信息。
29.根据权利要求28所述的方法，其中，区域信息包括：所述多个解剖元素中的每个解剖元素的区域的轮廓、表示所述多个解剖元素中的每个解剖元素的名称的文本和区分所述多个解剖元素中的每个解剖元素的区域的颜色中的任意一个或任意组合。
30.根据权利要求28所述的方法，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息还包括：指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息。
31.根据权利要求30所述的方法，其中，置信度信息包括在所述多个解剖元素中的每个解剖元素的区域内的文本、所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色和所述多个解剖元素中的每个解剖元素的区域的轮廓的透明度中的任意一个或任意组合。
32.根据权利要求18所述的方法，还包括：根据用户的执令从所述多个解剖元素的信息中选择将与医学图像组合的所述多个解剖元素的验证和调整的信息。
33.根据权利要求18所述的方法，其中，将与医学图像组合的所述多个解剖元素的验证和调整的信息包括以下项中的任意一个或任意组合：
关于所述多个解剖元素中的每个解剖元素在医学图像中的区域的区域信息；
指示所述多个解剖元素中的每个解剖元素实际上是解剖元素的置信度的置信度信息；
所述多个解剖元素中的每个解剖元素的区域的轮廓的颜色或透明度；
表示所述多个解剖元素中的每个解剖元素的名称的文本的颜色或透明度；
区分所述多个解剖元素中的每个解剖元素的区域的颜色层的透明度。
34.根据权利要求18所述的方法设备，还包括：基于从医学图像检测的感兴趣区域所位于的解剖元素的病变检测概率，来验证检测的感兴趣区域是否是病变。
35.一种用于对医学图像中的解剖元素进行可视化的方法，所述方法包括：
从医学图像检测多个解剖元素；
基于包括所述多个解剖元素之间的位置关系的解剖情境信息，来校正检测到的解剖元素的边界以匹配医学图像中的解剖元素的实际边界；
对具有校正的边界的检测到的解剖元素的解剖元素信息与医学图像进行组合。
36.根据权利要求35所述的方法，还包括：基于解剖情境信息忽略与医学图像中的实际解剖元素不对应的任何检测到的解剖元素。
37.根据权利要求35所述的方法，还包括：根据用户的指令选择将与医学图像组合的解剖元素信息。
CN201510118887.9A 2014-03-18 2015-03-18 用于对医学图像中的解剖元素进行可视化的设备和方法 Expired - Fee Related CN104933288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910671282.0A CN110415227A (zh) 2014-03-18 2015-03-18 用于对医学图像中的解剖元素进行可视化的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140031837A KR20150108701A (ko) 2014-03-18 2014-03-18 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
KR10-2014-0031837 2014-03-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910671282.0A Division CN110415227A (zh) 2014-03-18 2015-03-18 用于对医学图像中的解剖元素进行可视化的设备和方法

Publications (2)

Publication Number Publication Date
CN104933288A true CN104933288A (zh) 2015-09-23
CN104933288B CN104933288B (zh) 2019-08-16

Family

ID=53039664

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910671282.0A Withdrawn CN110415227A (zh) 2014-03-18 2015-03-18 用于对医学图像中的解剖元素进行可视化的设备和方法
CN201510118887.9A Expired - Fee Related CN104933288B (zh) 2014-03-18 2015-03-18 用于对医学图像中的解剖元素进行可视化的设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910671282.0A Withdrawn CN110415227A (zh) 2014-03-18 2015-03-18 用于对医学图像中的解剖元素进行可视化的设备和方法

Country Status (4)

Country Link
US (2) US10383602B2 (zh)
EP (2) EP2922025B1 (zh)
KR (1) KR20150108701A (zh)
CN (2) CN110415227A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886791A (zh) * 2016-12-28 2017-06-23 四川木牛流马智能科技有限公司 一种基于条件随机场的二维ct图片中脂肪位置识别方法
CN107146222A (zh) * 2017-04-21 2017-09-08 华中师范大学 基于人体解剖结构相似性的医学图像压缩算法
WO2018042272A1 (en) * 2016-08-31 2018-03-08 International Business Machines Corporation Updating probabilities of conditions based on annotations on medical images
CN108665454A (zh) * 2018-05-11 2018-10-16 复旦大学 一种内镜图像智能分类及不规则病变区域检测方法
CN108701493A (zh) * 2016-02-29 2018-10-23 皇家飞利浦有限公司 用于验证医学图像的图像相关信息的设备、系统和方法
US10276265B2 (en) 2016-08-31 2019-04-30 International Business Machines Corporation Automated anatomically-based reporting of medical images via image annotation
US10729396B2 (en) 2016-08-31 2020-08-04 International Business Machines Corporation Tracking anatomical findings within medical images
CN111883236A (zh) * 2020-06-22 2020-11-03 王储 医学辅助图像的处理方法、装置、电子设备及存储介质

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826958B2 (en) 2009-11-27 2017-11-28 QView, INC Automated detection of suspected abnormalities in ultrasound breast images
US10251621B2 (en) 2010-07-19 2019-04-09 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US9439621B2 (en) 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
US10603007B2 (en) 2009-11-27 2020-03-31 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US10043112B2 (en) * 2014-03-07 2018-08-07 Qualcomm Incorporated Photo management
KR20150108701A (ko) 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
KR102545008B1 (ko) * 2015-10-26 2023-06-20 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어 방법
US11369337B2 (en) 2015-12-11 2022-06-28 Acist Medical Systems, Inc. Detection of disturbed blood flow
US9760807B2 (en) 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
TWI574671B (zh) * 2016-06-27 2017-03-21 太豪生醫股份有限公司 乳房影像的分析方法以及其電子裝置
US11151721B2 (en) 2016-07-08 2021-10-19 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US10706348B2 (en) * 2016-07-13 2020-07-07 Google Llc Superpixel methods for convolutional neural networks
KR101740464B1 (ko) 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 뇌졸중 진단 및 예후 예측 방법 및 시스템
JP6796085B2 (ja) 2016-12-02 2020-12-02 アヴェント インコーポレイテッド 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法
US20180161015A1 (en) * 2016-12-09 2018-06-14 General Electric Company Variable speed of sound beamforming based on automatic detection of tissue type in ultrasound imaging
JP6888950B2 (ja) 2016-12-16 2021-06-18 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置、外界認識装置
KR101962110B1 (ko) * 2016-12-21 2019-03-27 전자부품연구원 영상 분할 방법 및 장치
US20180189992A1 (en) * 2017-01-04 2018-07-05 Clarius Mobile Health Corp. Systems and methods for generating an ultrasound multimedia product
JP2018110615A (ja) * 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置および画像処理方法
WO2018147674A1 (ko) * 2017-02-10 2018-08-16 연세대학교 산학협력단 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
US10140709B2 (en) * 2017-02-27 2018-11-27 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
EP3646240A4 (en) 2017-06-26 2021-03-17 The Research Foundation for The State University of New York SYSTEM, PROCEDURE AND COMPUTER-ACCESSIBLE MEDIUM FOR VIRTUAL PANCREATOGRAPHY
EP3443888A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for displaying automatically segmented individual parts of anatomy in a surgical navigation system
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
US11264135B2 (en) * 2017-11-10 2022-03-01 Siemens Medical Solutions Usa, Inc. Machine-aided workflow in ultrasound imaging
KR102122767B1 (ko) * 2018-03-05 2020-06-15 고려대학교산학협력단 초음파 검사 지원 장치 및 방법
KR102030533B1 (ko) * 2018-03-27 2019-10-10 울산대학교 산학협력단 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
KR102027974B1 (ko) * 2018-08-31 2019-10-04 길재소프트 주식회사 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법
EP3846696A1 (en) * 2018-09-05 2021-07-14 Koninklijke Philips N.V. Fat layer identification with ultrasound imaging
US11922622B2 (en) 2018-09-20 2024-03-05 Ajou University Industry-Academic Cooperation Foundation Convolutional neural network based breast image analysis method using four-channel inputs and system therefor
KR102330340B1 (ko) * 2018-12-04 2021-11-22 엘지전자 주식회사 의료 영상 처리 장치
US20200178934A1 (en) * 2018-12-10 2020-06-11 General Electric Company Ultrasound imaging system and method for displaying a target object quality level
KR102366290B1 (ko) * 2019-05-13 2022-02-22 (주)비주얼터미놀로지 의료기계 학습 시스템
KR20200132144A (ko) * 2019-05-15 2020-11-25 삼성메디슨 주식회사 초음파 영상 장치 및 그 표시 방법
KR102254844B1 (ko) * 2019-05-29 2021-05-21 전북대학교산학협력단 기계학습을 이용한 의료 영상 처리 방법 및 장치
US11024034B2 (en) 2019-07-02 2021-06-01 Acist Medical Systems, Inc. Image segmentation confidence determination
KR102295929B1 (ko) 2019-09-18 2021-09-03 원광대학교산학협력단 척추 위치에 기반한 관심 의료 영상 선별 장치 및 방법
JP7236109B2 (ja) * 2019-11-21 2023-03-09 粘曉菁 肝腫瘍知能分析装置およびその作動方法
KR102409464B1 (ko) * 2019-12-20 2022-06-15 (주)시안솔루션 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법
WO2021125889A1 (ko) * 2019-12-20 2021-06-24 (주)시안솔루션 영상 분할을 통한 기관의 3차원 모델링 장치 및 방법
EP4205665A4 (en) * 2020-08-27 2024-02-21 Fujifilm Corp ULTRASOUND DIAGNOSTIC DEVICE AND METHOD FOR CONTROLLING AN ULTRASOUND DIAGNOSTIC DEVICE
US20220101518A1 (en) * 2020-09-25 2022-03-31 GE Precision Healthcare LLC System and method for stylizing a medical image
KR102667231B1 (ko) * 2020-12-21 2024-05-20 주식회사 인피니트헬스케어 딥 러닝 알고리듬과 해부학적 특성에 기반한 의료 영상 셋의 컨투어링 시스템 및 방법
KR102569976B1 (ko) * 2021-04-01 2023-08-23 주식회사 뷰노 의료 영상 처리 방법
WO2023152530A2 (en) * 2021-12-10 2023-08-17 Mofaip, Llp Multidimensional anatomic mapping, descriptions, visualizations, and translations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369529A (zh) * 2009-04-02 2012-03-07 皇家飞利浦电子股份有限公司 用于图像引导治疗规划的自动解剖结构描绘
CN103337074A (zh) * 2013-06-18 2013-10-02 大连理工大学 一种基于主动轮廓模型分割乳腺dce-mri病灶的方法
CN103608843A (zh) * 2011-06-21 2014-02-26 皇家飞利浦有限公司 图像显示装置

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204625A (en) 1990-12-20 1993-04-20 General Electric Company Segmentation of stationary and vascular surfaces in magnetic resonance imaging
US6405072B1 (en) 1991-01-28 2002-06-11 Sherwood Services Ag Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus
US5412563A (en) 1993-09-16 1995-05-02 General Electric Company Gradient image segmentation method
US6048314A (en) 1998-09-18 2000-04-11 Hewlett-Packard Company Automated measurement and analysis of patient anatomy based on image recognition
KR100319155B1 (ko) * 1999-02-01 2001-12-29 구자홍 신뢰도를 이용한 대표칼라 지정방법
US6174285B1 (en) 1999-02-02 2001-01-16 Agilent Technologies, Inc. 3-D ultrasound imaging system with pre-set, user-selectable anatomical images
US6352507B1 (en) 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
US6264609B1 (en) 1999-09-15 2001-07-24 Wake Forest University Ultrasound apparatus and method for tissue characterization
US6549646B1 (en) * 2000-02-15 2003-04-15 Deus Technologies, Llc Divide-and-conquer method and system for the detection of lung nodule in radiological images
US7615008B2 (en) 2000-11-24 2009-11-10 U-Systems, Inc. Processing and displaying breast ultrasound information
US7556602B2 (en) 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
AU2003216295A1 (en) 2002-02-15 2003-09-09 The Regents Of The University Of Michigan Lung nodule detection and classification
US7218766B2 (en) 2002-04-15 2007-05-15 General Electric Company Computer aided detection (CAD) for 3D digital mammography
US20040024292A1 (en) 2002-07-25 2004-02-05 Meddetect Inc. System and method for assigning a computer aided detection application to a digital image
EP1554695A2 (en) 2002-10-16 2005-07-20 Koninklijke Philips Electronics N.V. Hierarchical image segmentation
AU2003296015A1 (en) 2002-11-29 2004-06-23 Wang Shih-Ping Thick-slice display of medical images
US7092749B2 (en) 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
WO2004112577A2 (en) 2003-06-20 2004-12-29 U-Systems, Inc. Full-field breast ultrasound system and architecture
US7640051B2 (en) 2003-06-25 2009-12-29 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for breast imaging
KR100639959B1 (ko) * 2003-11-20 2006-10-31 한국전자통신연구원 인체 영상 처리 시스템 및 그 방법
US7869647B2 (en) * 2004-04-02 2011-01-11 Agilent Technologies, Inc. System and method for processing training data for a statistical application
US7678052B2 (en) 2004-04-13 2010-03-16 General Electric Company Method and apparatus for detecting anatomic structures
US7397935B2 (en) * 2004-05-10 2008-07-08 Mediguide Ltd. Method for segmentation of IVUS image sequences
US20060074287A1 (en) 2004-09-30 2006-04-06 General Electric Company Systems, methods and apparatus for dual mammography image detection
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US7599542B2 (en) * 2005-04-08 2009-10-06 John Philip Brockway System and method for detection and display of diseases and abnormalities using confidence imaging
US20100266179A1 (en) 2005-05-25 2010-10-21 Ramsay Thomas E System and method for texture visualization and image analysis to differentiate between malignant and benign lesions
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US8150498B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US8150497B2 (en) 2006-09-08 2012-04-03 Medtronic, Inc. System for navigating a planned procedure within a body
US20080107321A1 (en) 2006-11-02 2008-05-08 Fujifilm Corporation Spiculation detection method and apparatus for CAD
US8051386B2 (en) 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
US8460190B2 (en) 2006-12-21 2013-06-11 Siemens Medical Solutions Usa, Inc. Automated image interpretation with transducer position or orientation sensing for medical ultrasound
JP5052123B2 (ja) 2006-12-27 2012-10-17 富士フイルム株式会社 医用撮像システム及び方法
US7953262B2 (en) 2007-02-05 2011-05-31 General Electric Company Vascular image extraction and labeling system and method
US7995820B2 (en) 2007-03-30 2011-08-09 Siemens Medical Solutions Usa, Inc. System and method for detection of fetal anatomies from ultrasound images using a constrained probabilistic boosting tree
US8160341B2 (en) 2007-12-21 2012-04-17 Siemens Medical Solutions Usa, Inc. Systems and methods for automatic robust anatomy detection through local voting and prediction
CA2707246C (en) * 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
EP2247237B1 (en) 2008-03-06 2020-08-12 Edda Technology, Inc. System and method for interactive liver lobe segmentation
EP2130497A1 (en) 2008-06-05 2009-12-09 Medison Co., Ltd. Anatomical feature extraction from an ultrasound liver image
EP2257636A4 (en) 2008-07-03 2014-10-15 Nec Lab America Inc EPITHELIAL LAYER DETECTOR AND RELATED METHODS
US20100124364A1 (en) * 2008-11-19 2010-05-20 Zhimin Huo Assessment of breast density and related cancer risk
US9146663B2 (en) * 2008-12-08 2015-09-29 Hologic, Inc. Displaying computer-aided detection information with associated breast tomosynthesis image information
WO2010067219A1 (en) 2008-12-09 2010-06-17 Koninklijke Philips Electronics N.V. Synopsis of multiple segmentation results for breast lesion characterization
US8139832B2 (en) 2008-12-12 2012-03-20 Hologic, Inc. Processing medical images of the breast to detect anatomical abnormalities therein
US20100158332A1 (en) 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
WO2010114620A1 (en) * 2009-04-03 2010-10-07 Certusview Technologies, Llc Methods, apparatus, and systems for documenting and reporting events via geo-referenced electronic drawings
US20110026791A1 (en) 2009-07-29 2011-02-03 Icad, Inc. Systems, computer-readable media, and methods for classifying and displaying breast density
WO2011044295A2 (en) * 2009-10-07 2011-04-14 Hologic, Inc. Processing and displaying computer-aided detection information associated with breast x-ray images
KR101111055B1 (ko) 2009-10-12 2012-02-15 서울대학교산학협력단 디지털 유방 ｘ-선 영상에서 유방 밀도 자동 측정 방법
US8799013B2 (en) 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
US8064677B2 (en) 2009-11-25 2011-11-22 Fujifilm Corporation Systems and methods for measurement of objects of interest in medical images
US9579120B2 (en) 2010-01-29 2017-02-28 University Of Virginia Patent Foundation Ultrasound for locating anatomy or probe guidance
US8335364B2 (en) 2010-03-11 2012-12-18 Virtual Radiologic Corporation Anatomy labeling
JP5719017B2 (ja) * 2010-04-22 2015-05-13 ザ ユニバーシティ オブ ワシントン スルー イッツ センター フォーコマーシャライゼーションＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｗａｓｈｉｎｇｔｏｎ Ｔｈｒｏｕｇｈ Ｉｔｓ Ｃｅｎｔｅｒ Ｆｏｒ Ｃｏｍｍｅｒｃｉａｌｉｚａｔｉｏｎ 結石を検出し、その除去を促進する超音波ベースの方法及び装置
US8675933B2 (en) * 2010-04-30 2014-03-18 Vucomp, Inc. Breast segmentation in radiographic images
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
DE102010022307A1 (de) * 2010-06-01 2011-12-01 Siemens Aktiengesellschaft Verfahren zur Überprüfung der Segmentierung einer Struktur in Bilddaten
JP5467958B2 (ja) 2010-07-16 2014-04-09 富士フイルム株式会社 放射線画像処理装置および方法並びにプログラム
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US20120099771A1 (en) * 2010-10-20 2012-04-26 Lao Zhiqiang Computer aided detection of architectural distortion in mammography
US9113817B2 (en) 2010-10-20 2015-08-25 Siemens Medical Solutions Usa, Inc. System for locating anatomical objects in ultrasound imaging
CN103339652A (zh) * 2010-12-01 2013-10-02 皇家飞利浦电子股份有限公司 靠近伪影源的诊断图像特征
US9767550B2 (en) * 2010-12-13 2017-09-19 Koninklijke Philips N.V. Method and device for analysing a region of interest in an object using x-rays
US8715187B2 (en) 2010-12-17 2014-05-06 General Electric Company Systems and methods for automatically identifying and segmenting different tissue types in ultrasound images
US20120165671A1 (en) 2010-12-27 2012-06-28 Hill Anthony D Identification of objects in ultrasound
US20140184608A1 (en) * 2011-05-05 2014-07-03 Richard A. Robb Systems and methods for analyzing in vivo tissue volumes using medical imaging data
KR20130012297A (ko) 2011-07-25 2013-02-04 삼성전자주식회사 병변 검출 장치, 병변 검출 방법 및 병변 진단 장치
KR20130049638A (ko) 2011-11-04 2013-05-14 삼성전자주식회사 병변 진단 장치 및 방법
KR101258814B1 (ko) 2011-11-09 2013-04-26 서울여자대학교 산학협력단 동적조영증강 유방 ｍｒ 영상에서 조직별 밝기값 보정 및 종양 강성 제약을 적용한 비강체 정합 방법 및 시스템
WO2013096546A1 (en) * 2011-12-21 2013-06-27 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
EP2939217B1 (en) * 2012-12-27 2022-06-22 Koninklijke Philips N.V. Computer-aided identification of a tissue of interest
KR20140093359A (ko) * 2013-01-15 2014-07-28 삼성전자주식회사 사용자 인터랙션 기반의 영상 세그멘테이션 장치 및 방법
US9256661B2 (en) * 2013-01-15 2016-02-09 International Business Machines Corporation Indicating level of confidence in digital content
US9700284B2 (en) * 2013-11-13 2017-07-11 Siemens Medical Solutions Usa, Inc. Three-dimensional ultrasound reconstruction with confidence information
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR20150108701A (ko) 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
US9390086B2 (en) * 2014-09-11 2016-07-12 Palantir Technologies Inc. Classification system with methodology for efficient verification
CN107454960A (zh) * 2015-02-09 2017-12-08 三星电子株式会社 用于处理磁共振图像的方法和设备
US10402981B2 (en) * 2015-02-18 2019-09-03 Vanderbilt University Image segmentation via multi-atlas fusion with context learning
CN107533649A (zh) 2015-03-27 2018-01-02 西门子公司 使用图像分类的自动脑肿瘤诊断方法和系统
EP3289563B1 (en) * 2015-04-30 2020-08-05 Koninklijke Philips N.V. Brain tissue classification
US10692607B2 (en) 2015-08-18 2020-06-23 Case Western Reserve University Treatment planning and evaluation for rectal cancer via image analytics
US10769452B2 (en) * 2016-11-14 2020-09-08 Lyft, Inc. Evaluating and presenting pick-up and drop-off locations in a situational-awareness view of an autonomous vehicle
US10360380B2 (en) * 2017-01-19 2019-07-23 Cylance Inc. Advanced malware classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369529A (zh) * 2009-04-02 2012-03-07 皇家飞利浦电子股份有限公司 用于图像引导治疗规划的自动解剖结构描绘
CN103608843A (zh) * 2011-06-21 2014-02-26 皇家飞利浦有限公司 图像显示装置
CN103337074A (zh) * 2013-06-18 2013-10-02 大连理工大学 一种基于主动轮廓模型分割乳腺dce-mri病灶的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALBERT GUBERN MERIDA，ET AL.: "Multi-class probabilistic atlas-based segmentation method in breast MRI", 《IBPRIA’11 PROCEEDINGS OF THE 5TH IBERIAN CONFERENCE ON PATTERN RECOGNITION AND IMAGE ANALYSIS》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108701493A (zh) * 2016-02-29 2018-10-23 皇家飞利浦有限公司 用于验证医学图像的图像相关信息的设备、系统和方法
WO2018042272A1 (en) * 2016-08-31 2018-03-08 International Business Machines Corporation Updating probabilities of conditions based on annotations on medical images
US10276265B2 (en) 2016-08-31 2019-04-30 International Business Machines Corporation Automated anatomically-based reporting of medical images via image annotation
GB2569069A (en) * 2016-08-31 2019-06-05 Ibm Updating probabilities of conditions based on annotations on medical images
US10460838B2 (en) 2016-08-31 2019-10-29 International Business Machines Corporation Automated anatomically-based reporting of medical images via image annotation
US10729396B2 (en) 2016-08-31 2020-08-04 International Business Machines Corporation Tracking anatomical findings within medical images
CN106886791A (zh) * 2016-12-28 2017-06-23 四川木牛流马智能科技有限公司 一种基于条件随机场的二维ct图片中脂肪位置识别方法
CN107146222A (zh) * 2017-04-21 2017-09-08 华中师范大学 基于人体解剖结构相似性的医学图像压缩算法
CN107146222B (zh) * 2017-04-21 2020-03-10 华中师范大学 基于人体解剖结构相似性的医学图像压缩方法
CN108665454A (zh) * 2018-05-11 2018-10-16 复旦大学 一种内镜图像智能分类及不规则病变区域检测方法
CN111883236A (zh) * 2020-06-22 2020-11-03 王储 医学辅助图像的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP3462414A1 (en) 2019-04-03
CN110415227A (zh) 2019-11-05
US20150265251A1 (en) 2015-09-24
KR20150108701A (ko) 2015-09-30
EP2922025A1 (en) 2015-09-23
US10383602B2 (en) 2019-08-20
CN104933288B (zh) 2019-08-16
EP2922025B1 (en) 2018-11-07
US20180296193A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
CN104933288A (zh) 用于对医学图像中的解剖元素进行可视化的设备和方法
JP7317077B2 (ja) トモシンセシス画像スラブを生成し表示するためのシステムおよび方法
US11983799B2 (en) System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
CN110621231B (zh) 用于分层次多级特征图像合成和表示的系统以及方法
US10885392B2 (en) Learning annotation of objects in image
JP5814504B2 (ja) 統計モデルを用いた医療画像自動セグメンテーションシステム、装置並びにプロセッサ
CN104840209A (zh) 用于病变检测的设备和方法
Liu et al. Automatic detection of pulmonary nodules on CT images with YOLOv3: development and evaluation using simulated and patient data
EP3326535A1 (en) Displaying system for displaying digital breast tomosynthesis data
EP3828818A1 (en) Method and system for identifying pathological changes in follow-up medical images
EP2535829A2 (en) Processing and displaying computer-aided detection information associated with breast x-ray images
CN107636659A (zh) 使用深度神经网络检测医学图像中的地标的方法和系统
EP3796210A1 (en) Spatial distribution of pathological image patterns in 3d image data
US11657497B2 (en) Method and apparatus for registration of different mammography image views
EP3893198A1 (en) Method and system for computer aided detection of abnormalities in image data
Junior et al. A mass classification using spatial diversity approaches in mammography images for false positive reduction
CN111223556B (zh) 集成医学图像可视化和探索
EP2144199A1 (en) Method and apparatus for multimodal visualization of volume data sets
CN106062782A (zh) 针对基于图集的配准的无监督的训练
CN107209946A (zh) 图像数据分割和显示
US11783476B2 (en) System and method for analyzing three-dimensional image data
WO2017216318A1 (en) A method and apparatus for mapping at least part of a structure in an image of at least part of a body of a subject
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
US20210192717A1 (en) Systems and methods for identifying atheromatous plaques in medical images
JP6797858B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190816

Termination date: 20210318