CN110675398B - 乳腺超声筛查方法、装置及计算机设备 - Google Patents

乳腺超声筛查方法、装置及计算机设备 Download PDF

Info

Publication number
CN110675398B
CN110675398B CN201911007842.9A CN201911007842A CN110675398B CN 110675398 B CN110675398 B CN 110675398B CN 201911007842 A CN201911007842 A CN 201911007842A CN 110675398 B CN110675398 B CN 110675398B
Authority
CN
China
Prior art keywords
screening
breast
scanning
user
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911007842.9A
Other languages
English (en)
Other versions
CN110675398A (zh
Inventor
孙熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwei Taizhou Intelligent Medical Technology Co ltd
Original Assignee
Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hanwei Intelligent Medical Technology Co ltd filed Critical Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority to CN201911007842.9A priority Critical patent/CN110675398B/zh
Publication of CN110675398A publication Critical patent/CN110675398A/zh
Application granted granted Critical
Publication of CN110675398B publication Critical patent/CN110675398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Technology Law (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种乳腺超声筛查方法，其包括：获取用户胸部区域的深度图像；根据深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据三维结构模型生成超声探头的扫查轨迹；根据扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；对获取到的超声图像进行分析处理，以生成诊断结果，并根据所述诊断结果生成复检计划及/或健康保险方案。本发明的乳腺超声筛查方法借助自动化技术及人工智能技术，可以使低成本、大范围的群体性乳腺癌筛查成为可能，将大幅度提高我国适龄女性参加乳腺癌筛查的比例，有助于对乳腺癌防控。

Description

乳腺超声筛查方法、装置及计算机设备
技术领域
本发明涉及超声诊断技术领域，尤其涉及一种乳腺超声筛查方法、装置及计算机设备。
背景技术
乳腺癌对全球女性健康的威胁日益增大，据《2018年全球癌症统计数据》报告显示，乳腺癌超过人类发病率最高的肺癌，成为目前女性发病率占比最高的癌症。从乳腺癌的发病特点来看，乳腺癌在早期阶段发展缓慢，筛查时间充足，可长达十年，只要女性保证每年做一次乳腺癌筛查，基本就能确保远离乳腺癌。乳腺癌早期是属于原位癌，不需要进行放疗或化疗，直接干预的成功率非常高，患者5年存活率能超过95％。
2009年，国家开始全国范围内推动乳腺癌早期筛查。但截至目前，我国每年的乳腺癌早期筛查量非常有限，同时还存在地域分布不均的问题。什么原因导致了中国乳腺癌群体性筛查的普及性不足？主要是基层医生资源和设备的配备不足造成。超声技术是公认的适合做乳腺癌筛查的技术，在中国的乳腺癌筛查指南中，超声检查被列为检查乳腺癌的主要手段之一。因此，按照传统的乳腺癌筛查方式，受制于医生资源不足和超声设备成本高等因素，难以缓解当前乳腺癌群体性筛查的困境。同时，基于现有的乳腺癌筛查方式，获得的筛查结果一般用作单次参考，并且在不同的筛查机构进行乳腺癌筛查获得的筛查结果也是缺乏共享渠道的，因此难以对每一位参与筛查的用户建立筛查档案，以跟踪评估乳腺生理指标的变化趋势，不能给用户提供有效的防治参考。
发明内容
本发明的主要目的在于提供一种乳腺超声筛查方法，旨在解决现有的乳腺超声筛查方式对专业医生依赖程度高以及缺乏对筛查结果进行有效管理的技术问题。
为实现上述目的，本发明提供一种乳腺超声筛查方法，包括：
获取用户胸部区域的深度图像；
根据所述深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据所述三维结构模型生成超声探头的扫查轨迹；
根据所述扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；
对获取到的超声图像进行分析处理，以生成诊断结果，并根据所述诊断结果生成复检计划及/或健康保险方案。
优选地，所述方法还包括：按照筛查用户的筛查账户将所述诊断结果存储在数据库中。
优选地，在所述获取用户胸部区域的深度图像的步骤之前，所述方法还包括：
根据采集到的用户信息，判断数据库中是否存在与该用户信息对应的筛查账户；
若存在，则针对所述筛查账户建立筛查节点；
若不存在，则在数据库中建立与该用户信息对应的筛查账户，并针对所述筛查账户建立筛查节点。
优选地，在所述对获取到的超声图像进行分析处理，以生成诊断结果的步骤之前，所述方法还包括：
对获取到的超声图像进行有效性分析，并根据所述有效性分析的结果调整超声探头的扫查姿态。
优选地，所述根据所述深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据所述三维结构模型生成超声探头的扫查轨迹包括：
对不同视角下的多幅所述深度图像的点云数据进行坐标变换，以得到位于同一基坐标系下的胸部区域三维点云；
根据预设的点云分割算法对所述胸部区域三维点云进行分割，以得到乳房扫查区域点云；
根据所述乳房扫查区域点云对乳房区域结构进行骨架模型重建，以得到曲线骨架；
按照预设的曲线分割条件对所述曲线骨架中的各条曲线进行分割，并取各条曲线上的所有分割点；
根据预设的超声扫查方向从分割点集合中选取多组分割点，并将每一组分割点连接成一条扫查轨迹曲线；
从所述扫查轨迹曲线中提取多个轨迹点，并计算各轨迹点的姿态角。
优选地，所述对获取到的超声图像进行分析处理，以生成诊断结果，并根据所述诊断结果生成复检计划及/或健康保险方案包括：
将获取到的超声图像输入至AI诊断算法模型中进行分析处理，以得到诊断数据；
根据BI-RADS分级对所述诊断数据进行分级处理，以生成诊断结果；
根据所述诊断结果对应的BI-RADS分级，生成筛查用户的复检计划及/或健康保险方案。
优选地，所述根据所述诊断结果对应的BI-RADS分级，生成筛查用户的复检计划及/或健康保险方案包括：
若所述诊断结果对应的BI-RADS分级为Ⅰ级或Ⅱ级，则生成筛查用户的超声复检计划以及健康保险方案；
若所述诊断结果对应的BI-RADS分级为0级或Ⅲ级，则生成筛查用户的钼靶乳腺复检计划；
若所述诊断结果对应的BI-RADS分级为Ⅳ级或Ⅴ级，则生成筛查用户的乳腺活检病理检查计划。
优选地，在所述对获取到的超声图像进行分析处理，以生成诊断结果的步骤之后，所述方法还包括：
将获取到的超声图像和所述诊断结果发送至远程诊断终端进行分析处理，以生成诊断报告。
为实现上述目的，本发明还提供一种乳腺超声筛查装置，包括：
图像获取模块，用于获取用户胸部区域的深度图像；
轨迹生成模块，用于根据所述深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据所述三维结构模型生成超声探头的扫查轨迹；
扫查控制模块，用于根据所述扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；
诊断模块，用于对获取到的超声图像进行分析处理，以生成诊断结果；
服务模块，用于根据所述诊断结果生成复检计划及/或健康保险方案。
为实现上述目的，本发明还提供一种计算机设备，包括处理器、存储器和存储在所述存储器中的计算机程序代码，所述处理器在调用所述计算机程序代码时，实现上述任意一项实施例中乳腺超声筛查方法的步骤。
相较于现有技术，本发明通过制定一套适用于对乳腺进行群体性超声筛查方案，以降低对专业医生的依赖程度，从而降低筛查成本和扩大应用范围；并且，为每一位筛查用户建立筛查账户，根据每次获得的筛查结果形成筛查档案，从而便于对筛查用户的乳腺生理指标进行评估，为筛查用户制定筛查计划和推荐健康保障方案。针对每一位用户的乳房特点构建乳房区域的全表面三维空间信息，并生成扫查轨迹，根据扫查轨迹转换得到的运动控制代码控制扫查机构带动超声探头运动，整个过程采用全自动机械化的扫查方式来对用户乳房区域进行超声扫查，可以使超声探头能够根据接触区域的形状调整扫查姿态，保证获取到的每一帧超声图像所涵盖的信息全面、准确，从而对乳腺及其周边器官、组织的生理状况进行全面、准确的判断。因此，流水线式的操作使得大范围的群体性乳腺癌筛查成为可能。
附图说明
图1为本发明公开的多个实施例可以在其中实施的其中一种示例环境的结构示意图；
图2为本发明公开的多个实施例可以在其中实施的另一种示例环境的结构示意图；
图3为本发明公开的多个实施中乳腺超声筛查的操作流程图；
图4为本发明公开的多个实施例中在采集胸部区域点云时的离线标定示意图；
图5为本发明公开的多个实施例中第一视角下的点云图；
图6为本发明公开的多个实施例中第二视角下的点云图；
图7为本发明公开的多个实施例中通过坐标变换得到的胸部区域点云；
图8为本发明公开的多个实施例中对胸部区域图像进行预处理后得到的点云的示意图；
图9为本发明公开的多个实施例中对胸部区域点云进行裁剪后得到的乳房扫查区域点云的示意图；
图10为本发明公开的多个实施例中经过骨架模型重建得到的曲线骨架示意图；
图11为本发明的乳腺超声筛查方法一实施例的流程示意图；
图12为本发明的乳腺超声筛查方法另一实施例的流程示意图；
图13为本发明的乳腺超声筛查方法又一实施例的流程示意图；
图14为本发明的乳腺超声筛查方法又一实施例的流程示意图；
图15为本发明的乳腺超声筛查方法又一实施例的流程示意图；
图16为本发明的乳腺超声筛查方法又一实施例的流程示意图；
图17为本发明的乳腺超声筛查装置一实施例的功能模块示意图；
图18为本发明公开的多个实施例能够在其中实施的计算机设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为解决上述技术问题，本发明提供一种乳腺超声筛查方法，针对每一位用户的乳房特点构建乳房区域的全表面三维空间信息，并生成扫查轨迹，根据扫查轨迹转换得到的运动控制代码控制扫查机构带动超声探头运动，整个过程采用全自动机械化的扫查方式来对用户乳房区域进行超声扫查。并且，为每一位筛查用户建立筛查账户，根据每次获得的筛查结果形成筛查档案，从而便于对筛查用户的乳腺生理指标进行评估，为筛查用户制定筛查计划和推荐健康保障方案。
为了给上述乳腺超声筛查方法的实施提供硬件基础，如图1所示，在本发明的多个实施例中，其中一种实施方式下的乳腺超声筛查系统主要包括主机(图未示)、拍摄设备30、扫查机构10和超声探头13，在本实施例中，该乳腺超声筛查系统还包括水平放置的筛查平台20，由此采用平卧的姿势进行超声筛查，而在其它实施例中，还可以采用直立的姿势进行超声筛查，由此可以省略前述的筛查平台20。主机可以是工控机，或者是其它适用的计算机设备，在本实施例的硬件配置中，主机用作上位机，而与主机通信连接的扫查机构10用作下位机，主机与扫查机构10之间可通过TCP/IP通信协议建立连接。筛查平台20可以是固定式的支撑结构，也可以设置成能够提供位置调节的活动结构，比如通过设置升降机构，以调节筛查平台20的支撑面的高度，又比如通过设置水平移动机构，以调节筛查平台20的支撑面的水平位置，其中升降机构和水平移动机构可以是液压装置，也可以是由电机驱动的丝杠或齿轮齿条传动装置，从而在不需要用户挪动身躯的情况下调节用户的初始位置。
拍摄设备30设置在筛查平台20的上方，为了更加全面地获取深度图像(包含三维点云数据)，比如本实施例的深度图像包含RGB图像和点云数据，可以按照图1所示结构的指引，配置两套拍摄设备30，此示例中是以用户身躯的横向为参照方向布置拍摄设备30的，在其它实施方案中，以用户身躯的纵向为参照方向布置拍摄设备30也是能够满足要求的，本实施例的拍摄设备30可以是结构光传感器，当然也可以是激光雷达；又比如，拍摄设备30是安装在一个运动机构上的，通过该运动机构实现不同拍摄视角的变换，从而减少拍摄设备30的数量，在最低限度的情况下，可以仅布置一个拍摄设备30，该拍摄设备30通过沿某一设定的圆周运动而实现拍摄视角的变换，从而获取多个视角下的点云图，如图5、6所示，通过在两个不同视角下采集到的两幅胸部区域的点云图。
扫查机构10主要包括控制装置11和与控制装置11通信连接的机械臂12，超声探头13安装在该机械臂12的执行末端处，本实施例中，控制装置11具有能够实现通信、数据处理和运动控制功能的相应硬件，机械臂12被构造成能够提供三个直线运动自由度和两个以上旋转自由度的多轴结构，从而保证超声探头13能够根据待扫查区域的表面形状作适应性的姿态变换，具体应用时，机械臂12可以是五轴机械臂，或者是六轴机械臂。
如图2所示，在另一实施例中，扫查机构10′通过在两个机械臂12′上安装的超声探头13′对应采集用户左右两乳房的超声图像，其中两个机械臂12′均至少具有在相互垂直的三个方向上的自由度。两个机械臂12′均由直线运动机构驱动在上下(即Z轴)、前后(即Y轴)及左右(即X轴)方向上运动。
两个机械臂12′均通过直线运动机构设置在支撑架(图未示)上，且两个机械臂12′呈吊装状态布置，以方便机械臂12′驱动超声探头13′运动。具体地，本发明实现了两个机械臂12′在运动过程中，两个机械臂12′在各自的运动工作过程中互不干扰。
直线运动机构包括两个沿X轴方向布置的第一直线导轨121′、两个沿Y轴方向布置的第二直线导轨122′和两个沿Z轴方向布置的第三直线导轨123′，两个第一直线导轨121′呈水平状态且间隔布置在支撑架上；两个第二直线导轨122′通过与第一直线导轨121′滑动配合的滑块安装在第一直线导轨121′上；两个第三直线导轨123′通过与第二直线导轨122′滑动配合的滑块分别安装在两个第二直线导轨121′上，两个机械臂12′分别与两个第三直线导轨123′上的滑块连接。本实施例采用双机械臂12′的方案，可以同时驱动两个超声探头13′执行扫查动作，由此可以大大缩减执行一次乳腺超声筛查的时间。
具体地，本实施例提供的机械臂12′包括第一旋转组件124′、第二旋转组件125′以及夹具，第一旋转组件124′与直线运动机构的输出端(即第三直线导轨123′上的滑块)连接，且第一旋转组件124′用于驱动第二旋转组125′件绕X轴转动，第二旋转组件125′用于驱动夹具绕Y轴转动，夹具用于夹持超声探头13′，且第一旋转组件124′与第二旋转组件125′上下状态布置。其中，第一旋转组件124′和第二旋转组件125′均可采用同样的结构或不同的结构，如同步轮组件、齿轮齿条以及单独的电机等方式。
进一步地，该乳腺超声筛查系统还包括用户信息录入装置(图未示)，该用户信息录入装置包括信息录入模块和叫号模块。其中，信息录入模块用于录入用户个人信息，比如信息录入模块为身份证信息读取器，主要通过RFID芯片完成对身份证信息的读取，通过读取用户个人信息，可以据此在数据库中建立一个新的筛查账户，也可以据此在数据库中匹配已经建立的筛查账户。在其它实施例中，除了采用前述的非接触式信息读取技术，还可以采用人工录入的方式写入用户个人信息，比如提供一个触控显示屏，通过在触控显示屏上生成用于录入用户个人信息的交互界面。叫号模块用于根据用户个人信息生成筛查序列号并加入筛查等候队列，采用这种方式轮候乳腺超声筛查，可以保证筛查工作有序进行。此外，还可以通过无线网络(WI-FI、4G、5G被公众广泛使用的无线频道等)将用户终端接入乳腺超声筛查系统中，比如，用户终端通过在微信(WeChat)关注“乳腺筛查”(这里的公众号名称仅为示例)公众号，以建立其与乳腺超声筛查系统的数据处理中心的通信连接；又比如，用户终端安装有乳腺超声筛查服务商提供的APP，通过启动该APP以建立其与乳腺超声筛查系统的数据处理中心的通信连接，由此可以通过公众号或APP接收来自乳腺超声筛查系统的信息，这些信息包括账户信息、叫号信息、超声图像以及诊断结果等。
如图3所示，采用本发明的乳腺超声筛查系统对用户进行群体性乳腺癌筛查的主要过程包括：用户信息采集；扫查模型建立；超声扫查；图像分析诊断。其中，“用户信息采集”可以通过用户信息录入装置获取得到；“扫查模型建立”可以通过采集特定位置的深度图像，并根据设定的算法模型对深度图像进行处理获得；“超声扫查”是通过将规划好的扫查轨迹输入至扫查机构中，通过扫查机构带动超声探头运动，以获取超声图像的过程；“图像分析诊断”是利用基于深度学习的算法模型对输入的超声图像进行分析处理，从而输出诊断结果。针对每一位用户的乳房特点构建乳房区域的全表面三维空间信息，并生成扫查轨迹，根据扫查轨迹转换得到的运动控制代码控制扫查机构带动超声探头运动，整个过程采用全自动机械化的扫查方式来对用户乳房区域进行超声扫查，可以使超声探头能够根据接触区域的形状调整扫查姿态，保证获取到的每一帧超声图像所涵盖的信息全面、准确。因此，流水线式的操作使得大范围的群体性乳腺癌筛查成为可能。
至此，已经详细介绍了本发明各个实施例的应用环境和相关设备的硬件结构和功能，并且上述乳腺超声筛查系统的结构组成仅为本发明的一部分实施例，并不是全部实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面，将基于上述应用环境和相关设备，详细介绍乳腺超声筛查方法的各个实施例。
如图11所示，本发明提供一种乳腺超声筛查方法，包括：
步骤S10，获取用户胸部区域的深度图像。
用户的胸部区域(针对女性)作为容易受到自身姿势和外力影响而产生形状变化的部位，为了满足前述扫查机构的技术要求，在执行全面的扫查动作前，需要对胸部区域进行束形，比如通过穿上具有一定弹性的束胸背心来调整胸部区域的形状，并保持外形的稳定性。因此，针对每一次的超声扫查过程，一般而言，均需要重新采集三维点云数据(深度图像)，以获取准确的乳房表面三维结构。在实际应用时，以平卧的姿势进行超声扫查为例，用户先平躺在筛查平台上，并根据实际情况调整位置，直至满足三维点云数据采集和超声扫查的要求，然后通过拍摄设备采集胸部区域的深度图像。在实际应用时，可以通过围绕筛查平台布置多个拍摄设备，这种情况下，可以同时采集不同视角下的胸部区域图像；还可以布置一个可以围绕筛查平台运动的拍摄设备，这种情况下，可以分时采集不同视角下的胸部区域图像，可以根据乳腺超声筛查系统的具体结构从前后两种方案中选择其中一种。为了保证获取到乳房区域的全面三维结构，应当保持一定数量的拍摄视角(比如至少保持两个不同的视角)，并且拍摄的视场足够重叠，本实施例的胸部区域图像可以是RGB-D图像。
如图4所示，用户平躺在筛查平台之后，可以通过与拍摄设备配套设置的光标定位装置(图未示)对用户的位置进行调整，比如该光标定位装置能产生十字激光线(分别是正交的横向激光线C和纵向激光线L)，用户的姿势满足十字激光线对齐是点云处理算法输出准确结果的保证。在具体操作时，使用户的身体纵向中心线与纵向激光线L足够重合，同时使用户的身体胸部上侧的扫查起始线与横向激光线C足够重合，该处提及的扫查起始线大概位于锁骨所在位置或锁骨下方一定距离的位置，具体应用时可根据待扫查对象的差异性进行合理选择。
考虑到获取的原始点云数据覆盖面较广，需要对原始点云数据进行界限过滤，以简化数据的后期处理难度。通过采集胸部区域的三维点云数据，可以准确地描述胸部区域的三维结构，由此通过后期的扫查轨迹规划算法生成符合实际扫查接触面的超声探头运动轨迹。
进一步地，在一较佳实施例中，该乳腺超声筛查方法还包括：
对每一幅深度图像进行预处理，该预处理包括点云降采样、点云滤波和点云平滑等。
该步骤是在获取到深度图像之后执行的，通过对三维点云数据进行预处理操作，可以获得更加符合超声扫查应用场景的点云数据，同时降低数据的复杂程度，提高设备的数据处理效率。具体地，输入的点云比较稠密，全部处理的话耗时较长，因此先对输入点云进行降采样，降低点云的密度，加快处理速度。直观上来说，点云降采样就是对原始点云每间隔一定的空间距离取一个点代表其邻域内的其它点，这样就可以得到一个更稀疏的点云，具体的点云降采样设定标准可以根据拍摄设备的数据采集规格和后期数据处理精度选择，在此不作限制。此外，理论上胸部区域的点云应当构成一个平滑连续的曲面，但由于各种原因会存在一些异常点云(如孤立的几个离散点)，通过点云滤波就可以滤除这些异常点云，输出一个更高质量的点云供后续步骤使用。滤波后的点云由于传感器的测量误差，会有不平滑的现象，如水浪般的波纹，因此，还可以进一步对点云进行平滑处理，使点云曲面更加平滑。
为了提高乳腺超声筛查的自动化程度，在上述步骤S10之前，该乳腺超声筛查方法还包括：
录入用户个人信息；根据用户个人信息生成筛查序列号并加入筛查等候队列。
比如通过身份证信息读取器录入用户个人信息，身份证信息读取器主要通过RFID芯片完成对身份证信息的读取，通过读取用户个人信息，用户个人信息包括一些表示用户身份信息的内容，还包括既往病史、过敏特性等，可以据此在数据库中建立一个新的筛查账户，也可以据此在数据库中匹配已经建立的筛查账户。在其它实施例中，除了采用前述的非接触式信息读取技术，还可以采用人工录入的方式写入用户个人信息，比如提供一个触控显示屏，通过在触控显示屏上生成用于录入用户个人信息的交互界面。采用这种方式轮候乳腺超声筛查，可以保证筛查工作有序进行。此外，还可以通过无线网络(WI-FI、4G、5G等)将用户终端接入乳腺超声筛查系统中，比如，用户终端通过在微信(WeChat)关注“乳腺筛查”(这里的公众号名称仅为示例)公众号，以建立其与乳腺超声筛查系统的数据处理中心的通信连接；又比如，用户终端安装有乳腺超声筛查服务商提供的APP，通过启动该APP以建立其与乳腺超声筛查系统的数据处理中心的通信连接，由此可以通过公众号或APP接收来自乳腺超声筛查系统的信息，这些信息包括账户信息、叫号信息、超声图像以及诊断结果等。
进一步地，为了实现对每一位筛查用户的数据管理，建立乳腺健康档案，该乳腺超声筛查方法还包括：
根据采集到的用户信息，判断数据库中是否存在与该用户信息对应的筛查账户；
若存在，则针对筛查账户建立筛查节点；
若不存在，则在数据库中建立与该用户信息对应的筛查账户，并针对筛查账户建立筛查节点。
在本实施例中，乳腺超声筛查系统还配置有用于存储用户数据的数据库，该数据库可以是在本地终端构建形成的，也可以是在远程服务端构建形成，其中本地终端可以是前述主机，而远程服务端可以是服务器，数据库可以是MySQL、MariaDB或Oracle数据库等。
根据采集到的用户信息(比如姓名、身份证号码、医疗账号等)在数据库中执行检索操作，以判断是否存在与该用户信息对应的筛查账户，筛查账户是针对每一位筛查用户建立的，用于管理筛查用户的历史筛查数据以及其它相关的信息，从而对筛查用户进行科学有效的健康管理。在实际操作中，若存在筛查账户，则将该筛查账户调取出来，并针对该筛查账户建立筛查节点，其中筛查节点是指每一次进行乳腺超声筛查时建立的一次档案节点，比如该筛查节点设置有筛查用户当前的年龄、身体状况指标、超声图像以及诊断结果等；若不存在筛查账户，则在数据库中建立与该用户信息对应的筛查账户，并针对筛查账户建立筛查节点，其中筛查账户的建立过程可以是全自动的，根据采集到的用户信息自动填充筛查账户的一些目录项，当然也可以通过提供可视化的操作界面，供筛查用户手动输入用户建立筛查账户的必填目录项。因此，在针对筛查账户建立筛查节点后，可以将乳腺超声筛查方法中涉及的各个环节与筛查节点关联，实现全自动化超声筛查过程中的数据管理。
步骤S20，根据深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据三维结构模型生成超声探头的扫查轨迹。
在该步骤中，主要是对深度图像进行处理，以得到扫查轨迹的图像处理环节。图像处理环节主要包括模型重建、区域分割和轨迹规划等，通过模型重建，可以将多个不同视角下的深度图像变换至统一的坐标系下；通过区域分割，可以从原始点云数据中提取出待扫查区域的点云，以供后续的轨迹规划使用。在本实施例中，采用全自动的扫查方式获取用户乳房的超声图像，通过特定的算法模型对深度图像进行处理，从而得到扫查轨迹，由此可以保证扫查位置的准确性。
如图14所示，在一较佳实施例中，步骤S20具体包括：
步骤S21，对不同视角下的多幅深度图像进行坐标变换，以得到位于同一基坐标系下的胸部区域三维点云。
在本实施例中，采用离线标定的方式计算坐标变换的标定参数，然后根据标定参数对采集到的胸部区域点云进行在线重建，从而将在线采集到的多个视图点云变换至同一基坐标系中。具体而言，比如在一种情形下，“离线标定”环节中获取到的2D图像和3D点云是来自特定的标定物体，比如标定板或其它具有丰富纹理特征的物体，而“在线重建”环节中获取到的2D图像和3D点云是来自待超声扫查用户的胸部区域。
对深度图像进行特征提取和特征匹配，以得到若干匹配点对：
以“离线标定”环节采用标定物的图像数据为例，比如标定物为标定板，分别对每一幅标定板2D图像提取surf特征，并且，分别匹配每两幅2D图像的surf特征，从而得到若干2D匹配点对。这里，2D图像是深度图像中包含的RGB图像。
在其它实施例中，上述surf特征可以替换为sift或ORB特征。
根据2D匹配点对得到3D匹配点对，并计算3D匹配点对的坐标变换，以得到该两幅具有重叠区域的3D点云的变换矩阵：
在本实施例中，为了获得每个特征点在三维点云中的对应3D坐标，首先，根据特征点的像素坐标x计算出该点在拍摄设备的焦平面上的三维坐标X，将拍摄设备的原点标记为O＝[0 0 1]T，则射线OX与点云的交点即为特征点对应的3D点。具体地，在一较佳实施方式中，为求出该交点，截取点云中所有与射线OX的夹角小于一定值的三维点云，并将该点云片拟合成空间平面，然后，计算射线OX与该空间平面的交点作为特征点对应的3D点。
在获得特征点对应的3D点后，可以将上述2D匹配点对转换为3D匹配点对，最后将3D匹配点对输入到ICP算法计算出变换关系，以得到两幅视图的变换矩阵，利用变换矩阵的标定参数{Hij}表示不同视图之间的转换关系，其中，i和j为正整数。
根据变换矩阵计算全视图变换矩阵：
若仅对两视图进行重建，则全视图变换矩阵是该两幅视图的变换矩阵；若对两幅以上的视图进行重建，则全视图变换矩阵可以是变换矩阵集合中的一个，或者是变换矩阵集合中的一个，并经过参数修正的。全视图变换矩阵是与所有用于重建的视图关联的，因此可以得到全覆盖的基坐标系下的标定参数。
在一具体实施方式中，上述步骤“根据变换矩阵计算全视图变换矩阵”包括：
根据变换矩阵确定存在关联的两两拍摄设备，以建立拍摄设备的拓扑连接图：
在该步骤中，主要是建立拍摄设备的拓扑连接图(graph)，以表示互连节点的关系，具体是通过变换矩阵确定存在关联的两两拍摄设备，若两两拍摄设备之间存在有效的变换矩阵，则建立一条边，并且定义每条边的距离为该边两端点对应拍摄设备之间的空间距离，这种距离的计算方式仅为优选方案。由此得到的互连节点的集合即为拍摄设备的拓扑连接图。
从拓扑连接图中选择参考节点，计算其余节点分别到参考节点的最短路径：
在该步骤中，参考节点可以根据拍摄设备拍摄得到的视图的数量选择，也就是说，在两两标定参数{Hij}中，出现次数最多的视图所对应的节点为参考节点，或者，在重建计算环节中通过人工指定某一节点为参考节点。在确定了参考节点后，即可计算其余节点分别到参考节点的所有路径，并从这些路径中选出最短路径，具体的选择计算方法可以通过直接调用最短路径算法实现，在此不作赘述。
沿最短路径计算位于末端的节点到参考节点的全视图变换矩阵：
沿最短路径计算得到的变换矩阵，可以表示所有视图到及基坐标系的变换参数，即获得全视图变换矩阵。
根据全视图变换矩阵，将胸部区域所有视角下的3D点云变换到同一基坐标系中，以生成胸部区域的完整三维点云：
通过计算两两视图之间的变换矩阵，并采用最短路径的算法从标定参数{Hij}中确定全覆盖的标定参数，由此可以将所有胸部区域的3D点云变换到同一基坐标系中，再通过后期处理环节生成适用于点云分割和轨迹规划的三维点云，处理结果可参见图7所示图像。需要说明的是，通过对多个视图进行矩阵变换，得到了能够覆盖全部视图的标定参数后，基于与“离线标定”中设定的拍摄视角，采集用户胸部区域在多个视角下的2D图像和3D点云，并将3D点云变换到同一基坐标系中。
进一步地，为了减少拍摄设备在某些拍摄角度下造成的精度误差，本实施例采用的方案是：从存在重叠区域的视图中选取拍摄精度较高的拍摄设备所成的图像区域。具体地，在“生成胸部区域的完整三维点云”的环节中，确定存在点云重叠的重叠区域，并根据重叠区域内的点云与拍摄设备之间的拍摄参数，从存在重叠区域来自多个拍摄设备的点云中筛选出最佳点云，以用于该重叠区域的三维重建。比如，拍摄参数是拍摄设备30的光轴相当于标的点云的偏转角，根据成像特性，偏转角越小，像素表示的空间信息越准确。即，计算每一个重叠点云与每一个拍摄设备的原点连线与该拍摄设备的光轴之间的夹角；根据夹角从同一位置的若干重叠点云中筛选出最佳点云，以组合成用于三维重建的点云区域。因此，在剔除冗余点云时，可以根据本实施例的算法选择能够表示准确位置信息的点云，所获得的乳房表面三维结构更加准确。
进一步地，在上述对重叠区域的点云进行筛选的步骤之后，在“生成胸部区域的完整三维点云”的环节中，该乳腺超声筛查方法还包括：
对基坐标系中的点云进行区域分割，以得到若干连续的曲面；
根据预设的过滤条件从曲面中筛选出有效的点云片。
在本实施例中，主要是将空间中存在的噪声点云进一步滤除，而噪声点云一般是较小范围的区域，因此通过以连续曲面特征为划分条件，即可将剩余的点云分割成若干点云区域。乳房所在的点云区域的面积最大，通过计算各个点云区域的面积并进行比较，即可将曲面面积最大的一个作为需要保留的点云区域，从而以面积作为过滤条件从多个曲面中筛选出有效的点云片。
而在得到了有效的点云片后，为了克服由于标定误差、结构光测量误差等因素引起的多个视图的点云不能完全重合的问题，本实施例通过提取点云片的所有过渡区域，并对过渡区域进行点云平滑操作，以使主要区域的点云拼接成连续的一片。这里，过渡区域是点云片之间的断层位置，若数据缺失严重，则会对后期的数据处理造成较大影响。
步骤S22，根据预设的点云分割算法对所述胸部区域三维点云进行分割，以得到乳房扫查区域点云。
通过上述的模型重建操作，实现了将多幅不同拍摄视角下的深度图像统一到同一坐标系中，因此给本步骤中的点云分割提供了基础。具体地，该步骤中采用的点云分割算法主要包括：
根据预设条件从三维点云数据中将床平面区域对应的点云删除，以获得胸部区域点云；通过离线标定确定胸部区域点云的胸部上侧分割边界和中心分割边界；以床平面为基准，按照预设的高度递增值向上构建水平切平面，直到水平切平面上的点云满足预设的边界分割条件时，将当前水平切平面上的点云拟合成腋侧分割边界；根据胸部上侧分割边界构建第一竖直切平面，并以第一竖直切平面为基准往人体的头部至脚部的方向偏移预设距离，以得到第二竖直切平面，将第二竖直切平面上的点云拟合成胸部下侧分割边界；分别对应左右两侧乳房提取以胸部上侧分割边界、中心分割边界、腋侧分割边界和胸部下侧分割边界围合区域内的点云作为乳房扫查区域点云。
为了更进一步提高点云数据的处理效率，减少冗余数据的影响，本实施例还可以在点云分割算法中增加感兴趣3D区域裁剪这一环节。由于点云获取装置30是固定的，而且人躺在床上后所处的3D空间也是在一个确定的有限区域内，因此可以仅考虑一定空间范围内的点云数据。在本实施例中，感兴趣3D区域定义为一个3D立方体包围盒，具体地，按照能够包含筛查平台行程范围内的床面和人体胸部区域的原则，通过离线标定确定包围盒XYZ三个方向的最大和最小坐标值。离线标定出包围盒后，直接裁剪出包围盒内的所有点云供后续算法步骤使用。图8给出了对图7所示点云进行感兴趣3D区域裁剪后的结果，在图7中A区域示出的部分为关键的胸部区域，该裁剪后的结果主要包含胸部区域P1和床平面区域P2，点云数据得到了极大简化。需要说明的是，图7和图8中所示点云仅为人体其中一侧乳房对应的胸部区域。
如图8所示，以其中一侧的乳房位置为例，通过对点云进行感兴趣3D区域裁剪后，得到包含胸部区域P1和床平面区域P2的点云集合。在本实施例中，还需要将床平面区域P2的点云删除，床平面和人体表面有着显著的区别特征，即床平面在点云采集空间内是一片具有较大面积的平面区域，而人体表面在点云采集空间内是一片具有较大面积的曲面区域，在实际应用时，因为床平面显露出来的面积受到人体覆盖位置的影响，所以点云中表示床平面的区域会在一定范围内变化，但是不会对本实施例中准确检测床平面造成影响。
具体地，这里的预设条件主要包括两点，一是平面区域的面积，二是平面区域是否位于整个点云的下部，通过从整个点云中分离出平面区域，并利用该预设条件对平面区域进行判断即可。在一较佳实施方式中，可以采用PCL(Point Cloud Library)中的相关算法识别属于平面区域的点云(比如利用每个点的特征向量作为关联参数)，以及计算平面区域的面积，关于点云覆盖区域的面积计算方法已为PCL的算法库中较为常见的内容，在此不作赘述。
将床平面区域对应的点云删除后，剩下的点云包含胸部区域点云和噪声点云。然后，根据连续性将剩下的点云分割成若干连续的曲面。
进一步地，将空间中存在的噪声点云进一步滤除，而噪声点云一般是较小范围的区域，因此通过以连续曲面特征为划分条件，即可将剩余的点云分割成若干点云区域。乳房所在的点云区域的面积最大，通过计算各个点云区域的面积并进行比较，即可将曲面面积最大的一个作为最显著点云区域，从而以最显著点云区域包含的点云作为胸部区域点云。进一步地，还可以对胸部区域点云进行筛选处理，剔除一些在后期规划扫查轨迹中使用不到的点云，比如筛选出所有离最高点(比如乳头位置)的垂直距离小于一定值(比如10cm)的点云，构成优化后的胸部区域点云。
如图9所示，对于胸部上侧分割边界和中心分割边界，其切平面是固定的，可以离线标定出来，也即采集点云数据时，用户的身体纵向中心线与纵向激光线L的重合线，以及用户的身体胸部上侧的扫查起始线与横向激光线C重合的重合线。由此，可以直接根据离线标定数据确定胸部上侧分割边界的横向竖直切平面，和中心分割边界的纵向竖直切平面。
腋侧分割边界可以是腋中线或接近腋中线的位置，具体位置可以根据扫查机构的运动行程确定，腋侧分割边界的选取位置是可能产生变化的。在本实施例中，采用等距切片的方式来确定腋侧分割边界的位置，具体是以床平面为基准，结合图9，比如由XY轴确定的坐标平面与床平面重合，也就是沿着Z轴往上按一定步长(比如0.5cm)构建水平切平面，针对每一次构建的水平切平面，均判断水平切平面上的点云是否满足预设的边界分割条件，当满足时停止向上的切片操作，并将当前水平切平面上的点云拟合成腋侧分割边界。可以理解的是，因为胸部区域点云表现出来的是曲面特征，所以水平切平面与胸部区域点云相交时会形成一条相交线，即水平切平面上的点云为该相交线上的点云。
为了减少数据的运算量，可以从床平面的预设高度开始构建水平切平面，该预设高度可以根据每一位用户的身材作具体选择，并输入数据处理设备中，比如预设高度为5～8cm，通过重新设定构建水平切平面的起始位置，大大减少了切片的数量。
水平切平面上的点云的曲面法线代表了腋侧表面的曲面走向，因此通过计算点云的曲面法线，并计算曲面法线与水平切平面的夹角，可以评估腋侧表面的位置是否满足扫查机构的行程要求。
因为水平切平面上的点云足够多，所以将夹角的平均值与预设角度值作比较，具有更高的准确性。
胸部下侧分割边界确定的原则是至少超过乳房下边界，从而保证超声扫查的范围能将整个乳房所在区域覆盖。因此，根据已经确定的胸部上侧分割边界构建第一竖直切平面，并以第一竖直切平面为基准往人体的头部至脚部的方向偏移预设距离，即可得到第二竖直切平面。作为一种实现方式，第一竖直切平面的偏移距离可以设置为若干组常量，在实际应用时，根据用户的年龄、身高和体重等信息从数据库中选择其中一个常量作为偏移距离即可，比如该常量可以是20～30cm范围中任意选择的数值。得到第二竖直切平面后，就可以从胸部区域点云中筛选出与第二竖直切平面相交的点云，并根据该部分点云拟合成胸部下侧分割边界。
针对每一侧的乳房，在获取了其对应的胸部上侧分割边界、中心分割边界、腋侧分割边界和胸部下侧分割边界后，就可以利用该四处分割边界的切平面来筛选胸部扫查区域点云，为后续的扫查轨迹规划算法提供精确的点云基础。
在本发明的另一实施例中，为了保证数据处理的准确性，增加一个平躺位姿校验环节，具体地，该云分割算法还包括：
根据胸部区域点云计算胸部左右两侧的直线方程，并根据左右两侧的直线方程确定出角平分线，若角平分线与预设参考线之间所成的夹角小于预设值，则根据左右两侧的直线方程计算身体宽度。
理想的受试者平躺位姿是身体中线与床体中线平行，当身体中线相对床体中线倾斜超过一定角度时，会造成扫查不完全或出现意外情况。因此，为了保证扫查的安全性和获取到全面、准确的超声图像，需要检测受试者的位姿是否符合要求，如果不符合足够平行的要求则程序返回并提示调整位姿。通过求得角平分线，就可以评估平躺位姿的实际情况。
对单侧胸部，首先对胸部区域点云进行身体横向等间隔分片，间隔距离可调(比如取0.5cm)，这样得到胸部区域点云的一系列横向切片。然后，从每个横向切片中选取身体边缘的极值点，也就是每个切片的最低且最靠身体边缘的点，对图9示出的情况(表示左胸)就是Y坐标最大且Z坐标最小的点，但对右胸则是Y坐标最小且Z坐标最小的点。最后，将提取出的所有点投影到XY轴所在平面并进行直线拟合，得到直线方程。在本实施例中，可以采用RANSAC或最小二乘法将点云拟合成直线方程。以图9所示的坐标系为例，上述预设参考线与X轴平行，如果角平分线与X轴的角度足够小则通过平行校验，比如用作参照的夹角预设值为0～5°，否则返回失败。
此外，在获取到了胸部左右两侧的直线方程后，还可以根据该两直线方程计算竖直切平面偏移距离。具体地，根据如下公式计算所述预设距离的大小：
d＝max(Wbd·r，dmin)
其中，Wbd为身体宽度，r为比例系数，dmin为最小扫查长度。
身体宽度可以根据两直线方程确定，比如取两条边缘直线的中点，并计算两个中点之间的距离作为身体宽度。比例系数可以根据用户的个体差异设置，或者采用通用值，比如r＝0.7。最小扫查长度的设置是为了避免估算得到的身体宽度过小，而未能全面覆盖待扫查区域，比如dmin＝20cm，或者是大于20cm的一些可用数值。因此，采用量化的计算方式确定第一竖直切平面的偏移距离，准确性更高。
步骤S23，根据乳房扫查区域点云对乳房区域结构进行骨架模型重建，以得到曲线骨架。
经过前述的点云分割操作，可以获得较小范围的点云区域，在这个基础上进行轨迹规划，可以得到更加精确的结果。
获取到的三维点云数据的数据量较为庞大，需要对其进行模型的重建，在简化数据的同时，满足扫查轨迹规划算法的应用要求。具体地，根据预设方向对点云进行切片，以人体身躯的方向为参照，主要沿身躯的横向和纵向这两个方向进行切片操作，并且在优选的切片约束条件中，以等间距的方式切片，从而获得一段段等宽的子点云，每段子点云的宽度可以根据实际情况灵活调整。作为一种可能的实施方式，超声探头采用条形扫查的方式，并且该条形扫查的方向沿身躯的纵向，因此沿身躯的横向进行点云切片，这种扫查方式对运动机构的要求较低，并且能够保证超声图像的质量。
通过对三维点云数据进行横向切片以得到若干段子点云；使用贝塞尔曲线对每一段子点云进行曲线拟合以得到曲线骨架。
如图10所示，重建出的曲线骨架是胸部区域结构的更稳定可靠的表示方式，有利于算法的后期处理。本步骤中，关于贝塞尔曲线的拟合操作可参照现有技术中关于这方面的详细说明，在此不作赘述。
步骤S24，按照预设的曲线分割条件对曲线骨架中的各条曲线进行分割，并取各条曲线上的所有分割点。
在该步骤中，以前述选择的纵向条形扫查方式为例，对横向分布的各条曲线进行等弧长分割，并且根据超声探头的覆盖面大小设定分割间距，从而保证超声探头在扫查过程中能够覆盖完整的待扫查区域，同时又能减少重合区。在执行曲线分割的环节，所得到的分割点表示为{Sij,0≤i＜A,0≤j＜Bi}，其中A是曲线骨架中曲线的条数，Bi是第i条曲线上的分割点数，i和j均取正整数，通过对点云进行坐标变换，可以得到各个分割点在超声探头对应的运动坐标系下的XYZ坐标值，关于点云坐标变换的原理，可参照现有技术的详细说明，在此不作赘述。
步骤S25，根据预设的超声扫查方向从分割点集合中选取多组分割点，并将每一组分割点连接成一条扫查轨迹曲线。
在该步骤中，根据预设的超声扫查方向从分割点集合中选取能够组合成扫查轨迹曲线的多组分割点，以纵向的条形扫查为例，最简单的分组方式是，选取曲线骨架中每条曲线上同序号j的分割点为一组，这样即可得到了一条完整的轨迹{S0j,S1j,S2j,…,SAj}。除了上述作为示例的分割点组合方式，还可以采用其它任意适用的方式进行分割点分组。
步骤S26，从扫查轨迹曲线中提取多个轨迹点，并计算各轨迹点的姿态角。
在该步骤中，作为较佳的实施方式，轨迹点即为前述分割点，这种轨迹点的提取方式能够简化数据处理的过程。当然，除了提取前述的分割点，还可以在相邻分割点之间额外提取一个或多个点作为轨迹点，这里需要结合扫查机构的运动参数，避免造成数据冗余。以提取的分割点作为轨迹点为例，并且匹配五自由度的扫查机构，则需要获取每个轨迹点坐标值和相应的姿态角，将轨迹点表示为Pi＝[Xi,Yi,Zi,Ri,Pi]，这五个量分别表示Pi的XYZ坐标值和Pi的Roll、Pitch姿态角，其中Pi的XYZ坐标值根据前述的点云数据计算可以得到，因此该步骤主要计算轨迹点的两个姿态角。但是，如果提取得到的轨迹点并非前述分割点，那么还需计算这些未知轨迹点的XYZ坐标值。通过确定每个轨迹点的五个坐标量，根据XYZ坐标值可以在运动控制程序中控制超声探头运动至待扫查区域的具体位置，而根据Roll、Pitch姿态角可以在运动控制程序中控制超声探头应当调整到哪种角度姿态，以使探头表面与待扫查区域表面紧密贴合。
在一较佳实施例中，前述计算各轨迹点的姿态角主要采用以下算法，具体步骤包括：
提取轨迹点的邻域点集，并通过对邻域点集求PCA得到轨迹点在Z轴的单位方向向量Vz；
按照公式Vy＝Vz×[0 0 1]T、Vx＝Vy×Vz计算轨迹点在XY轴的单位方向向量Vx、Vy；
将轨迹点XYZ坐标轴的单位方向向量转换为欧拉角的表示形式，并提取姿态角。
以轨迹点为中心提取的邻域点集可根据所期望的计算精度选择边界半径，这里不对邻域点集的范围设定作出限制，设定好邻域点集的提取范围后，即可通过对邻域点集求PCA得到轨迹点在Z轴的单位方向向量Vz。
在将单位方向向量转换为欧拉角的表示形式后，实际上可以获取到三个方向的姿态角，具体是提取几个姿态角，可以结合超声探头所能提供的运动自由度，本实施例以提取Roll、Pitch姿态角作为示例。
此外，在计算各轨迹点的姿态角的步骤之后，考虑到一些轨迹点可能位于超声探头末端运动范围之外，因此需要对各轨迹点进行校验。导入超声探头末端的行程极限数据，并根据行程极限数据从轨迹点中滤除超声探头末端不可到达的点。
通常，可标定出超声探头的运动极限，并以数据表的形式存储起来备用，根据该数据表来对轨迹点进行校验，可以避免设备在扫查过程中出现意外。同时，滤除了一些轨迹点后，对每条扫查轨迹曲线进行平滑滤波，使得超声探头在扫查过程中动作更加平滑，减少对人体的局部挤压。
步骤S30，根据扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查。
在确定了扫查轨迹后，即可根据扫查轨迹上的点表示的位置信息生成运动控制代码，比如运动控制代码采用G代码的表示形式，通过将运动控制代码输入至扫查机构，具体可通过配置的多轴联动运动控制卡实现，从而控制扫查机构带动超声探头对用户的乳房区域进行超声扫查。在该步骤中，点的坐标信息转换成运动控制代码的实现过程已为本领域的普通技术人员所熟知，故在此不作赘述。根据已规划好的扫查轨迹，控制超声探头以一定压力接触乳房表面，并且在每一道扫查路径上，均根据乳房表面的曲面特点调整超声探头的声波发射面的姿态，从而保证获取到高质量的超声图像。
步骤S40，对获取到的超声图像进行分析处理，以生成诊断结果，并根据诊断结果生成复检计划及/或健康保险方案。
通过特定的图像处理算法获取乳房区域表面的三维结构特征，然后基于该三维结构特征规划扫查路径，再采用智能化的扫查机构进行乳腺筛查，最后采用人工智能技术对于乳腺超声图像进行分析处理，以得出诊断结果，并且根据诊断结果的给筛查用户推荐复检计划及/或健康保险方案，替代以往依赖于传统超声医生进行人工筛查的方式，从而解决超声医生人力不足的问题，同时形成了一整套乳腺筛查服务流程，可以使大范围的群体性乳腺癌筛查工作能够得到普及和持续发展。在本实施例中，诊断结果、复检计划以及健康保险方案可以通过多种方式呈现给筛查用户，比如微信公众号/小程序、APP、短信等，又比如提供网页登录入口，通过账户信息登录筛查网页查看。其中，复检计划包括医疗检查的类型和时间，医疗检查的类型不仅限于上述实施例中提供的乳腺超声筛查，当识别出筛查用户的乳腺存在病灶时，还根据系统收录的医疗机构信息，按照病灶的具体情况给筛查用户匹配作进一步筛查的医疗机构。健康保险方案可以是由系统生成的电子化保单或链接，也可以是与保险服务商建立通信，通过将筛查用户的诊断结果发送给保险服务商的数据终端，健康保险方案由保险服务商提供。
如图15所示，上述步骤S40具体包括：
步骤S41，将获取到的超声图像输入至AI诊断算法模型中进行分析处理，以得到诊断数据；
步骤S42，根据BI-RADS分级对诊断数据进行分级处理，以生成诊断结果；
步骤S43，根据诊断结果对应的BI-RADS分级，生成筛查用户的复检计划及/或健康保险方案。
基于深度学习技术，建立卷积神经网络(即AI诊断算法模型)对超声图像进行分析处理，卷积神经网络可以通过提供多种病灶训练样本训练得到，并使用随机测试样本校验该卷积神经网络的可靠性。病灶快速检测跟踪采用基于卷积神经网络的目标检测和跟踪算法，实时检测超声图像中的良/恶性病灶目标，并进行目标跟踪。诊断结果可以通过文本形式体现，也可以通过图文形式体现，比如将诊断结果发送到用户终端，具体可以通过微信公众号、小程序、APP、网页、短信和彩信等方式呈现，从而方便用户查看。
病灶分级识别基于提取的病灶基础特征，通过分类算法来给出良恶性分类或更细致的分级。对于用户的超声筛查结果，系统会按照BI-RADS(Breast imaging reportingand data system，即乳腺影像报告和数据系统)分级归纳为不同等级，从而给用户提供更加规范、易懂的诊断报告。其中，各个分级含义如下：
0级：需要召回，结合其他检查后再评估；
I级：未见异常；
II级：考虑良性改变，建议定期随访(如每年一次)；
III级：良性疾病可能，但需要缩短随访周期(如3～6个月一次)；
IV级：有异常，不能完全排除恶性病变可能，需要活检明确；
IVa级：倾向恶性可能性低；
IVb级：倾向恶性可能性中等；
IVc级：倾向恶性可能性高；
V级：高度怀疑为恶性病变(几乎认定为恶性疾病)，需要手术切除活检；
VI级：已经由病理证实为恶性病变。
在本实施例中，对于获取到的超声图像，可以通过本地的数据处理设备进行分析处理，比如主机，也可以通过有线/无线网络发送到远程数据处理设备进行分析处理，比如远程数据处理设备是服务器或远程诊断终端。
此外，为了实现更好的健康管理，将每一位用户的诊断结果存储到数据库中，并且诊断结果与账户信息关联，根据用户的诊断结果给用户推送后续的筛查安排以及与乳腺相关的医疗资讯。在一示例中，如果用户的筛查结果为BI-RADS 1和BI-RADS 2，可以认为该用户目前乳腺为正常状态，但是并不能保证后续不会有乳腺疾病的发生。在这种情况下，在本次检查11个月后，本系统会给该用户发送提醒信息，提醒用户及时进行第二年度的乳腺癌筛查。
如图16所示，为了对筛查用户的乳腺生理状况形成持续跟踪，本实施例的乳腺超声筛查方法还根据BI-RADS分级的情况制定具有针对性的筛查计划，同时在一些情况下为筛查用户推荐健康保险方案，有助于帮助筛查用户选择符合自身需求的方案，减轻经济负担。
在具体应用实例中，主要将BI-RADS分级划分为三类，并针对每一类制定相关服务方案，具体地：
①若根据诊断结果对应的BI-RADS分级为Ⅰ级或Ⅱ级，则生成筛查用户的超声复检计划以及健康保险方案；
在BI-RADS分级为Ⅰ级或Ⅱ级的情况下，可以认为该用户的乳腺目前为正常状态，但是并不能保证后续不会有乳腺疾病的发生。在这种情况下，本系统会为该用户推送乳腺癌商业保险一份(比如三年期)，如果在保险期内该用户发现乳腺癌，则服务商会按照约定的保险条款给予赔付，为用户的医疗支出提供保障。如果该用户在三年周期内每年都采用本系统进行乳腺癌筛查，则三年到期后，本系统会继续为用户提供乳腺癌保险，以此类推，直至用户年满设定的截止年龄，比如70岁。在本次检查11个月后(或者其它间隔时间)，本系统会给该用户发送提醒信息，提醒用户及时进行第二年度的乳腺癌筛查。
②若根据诊断结果对应的BI-RADS分级为0级或Ⅲ级，则生成筛查用户的钼靶乳腺复检计划；
在BI-RADS分级为0级或Ⅲ级的情况下，则可以认为该用户目前乳腺的生理状况通过超声影像检查还不能确定。因此，系统会发送消息建议用户尽快去专业医疗机构使用钼靶乳腺机做检查，以进一步确认乳腺的情况。并且本系统会在本次检查后的一段时间(比如半年)对用户进行随访，以确认用户乳腺的情况。如果该用户经过上级医院钼靶乳腺机检查，确认乳腺结果健康，则在本次检查11个月后(或者其它间隔时间)，本系统会给该用户发提醒信息，提醒用户及时进行第二年度的乳腺癌筛查。如果该用户经过钼靶乳腺机检查，确认乳腺恶化，则系统建议用户及时进行治疗，及时的医疗干预会使乳腺疾病对于健康的影响降低到最小，并且对于病人的预后效果会起到很大的帮助。同时，本系统还会为该用户推送线上问诊APP，方便用户对乳腺问题进行线上问诊、乳腺保健知识查询及与其他患者互动交流。
③若根据诊断结果对应的BI-RADS分级为Ⅳ级或Ⅴ级，则生成筛查用户的乳腺活检病理检查计划。
在BI-RADS分级为Ⅳ级或Ⅴ级的情况下，则可以认为该用户目前乳腺为疑似不正常状态。因此，系统会发送消息建议用户尽快去专业医疗机构做乳腺活检病理检查，以进一步确认乳腺的情况。并且本系统会在本次检查后的一段时间(比如半年)与用户进行随访，以确认用户乳腺的情况。如果该用户经过上级医院乳腺活检病理检查，确认乳腺结果健康，则在本次检查11个月后(或者其它间隔时间)，本系统会给该用户发送提醒信息，提醒用户及时进行第二年度的乳腺癌筛查。如果该用户经过乳腺活检病理检查，确认乳腺不健康，则系统建议用户及时进行治疗，及时的医疗干预会使乳腺疾病对于健康的影响降低到最小，并且对于病人的预后效果会起到很大的帮助。同时，本系统还会为该用户推送线上问诊APP，方便用户对乳腺问题进行线上问诊、乳腺保健知识查询及与其他患者互动交流。
此外，在前述实施例建立有筛查账户的基础上，还可以按照筛查用户的筛查账户将诊断结果存储在数据库中，比如将诊断结果存储在服务器的数据库中，通过对筛查用户的筛查数据进行保存，可以获得持续数年的筛查数据，形成筛查档案，以用于对乳腺健康的综合评估。同时，通过收集大量筛查样例的用户信息和筛查数据，还可以建立乳腺超声筛查的大数据模型，通过卷积神经网络技术对乳腺癌的发病因素进行分析处理，识别产生乳腺癌的主要诱因，从而给群体性的乳腺癌防治提供指导。
如图12所示，为了保证最后输出的超声图像满足分析诊断的要求，在对获取到的超声图像进行分析处理之前，该乳腺超声筛查方法还包括：
步骤S50，对获取到的超声图像进行有效性分析，并根据有效性分析的结果调整超声探头的扫查姿态。
在该步骤中，主要是对实时获取到的超声图像进行有效性分析，这里的有效性分析是指超声图像是否完整，而超声图像的缺失主要是超声探头未与乳房表面紧密接触导致的，无效图像的体现是出现大面积的黑色像素点，因此利用图像评估反馈策略来调整超声探头的扫查姿态，尽可能地保证超声探头的声波发射面紧贴于乳房表面。在本实施例中，主要通过识别超声图像中出现无效区域的位置，根据无效区域的位置使超声探头发生偏转，进而实现姿态调整。
如图13所示，上述步骤S50具体包括：
步骤S51，将获取到的超声图像划分成多个子区域，并计算每个子区域的黑色像素点的数量占比。
应当理解的是，黑色像素点的像素值为零，黑色像素点的数量占比为被划分的单个子区域内的黑色像素点的数量与该单个子区域内的所有像素点的数量比。
具体地，超声图像被分割成连续分布的若干矩形区域(子区域)，每个矩形区域内都分布有一定数量的黑色像素点，通过计算各矩形区域内的黑色像素点的数量与所有像素点的数量，可计算出该矩形区域内的黑色像素点的数量占比。
步骤S52，根据黑色像素点的数量占比判断其对应的子区域是否为无效成像区域。
容易理解的是，各子区域中的黑色像素点的数量越多，则越容易在该区域内形成无效成像区域(黑色区域)，当子区域内的黑色像素点的数量占比超出某一阈值后，则可判定该黑色像素点所在子区域为无效成像区域。具体的，本发明所提出的无效成像区域内的黑色像素点的数量占比的阈值为75％～88％，以此作为判断依据，确认个子区域是否为无效成像区域。比如，假设超声图像被划分成连续分布且大小相同的若干矩形区域，在该矩形区域内分布有15960个像素点，若在矩形区域内分布有12000-14000个黑色像素点，则表明该矩形区域为无效成像区域。
步骤S53，以超声图像的居中线为参照划分出左右区域，统计无效成像区域分别在左右区域的数量，并计算左右区域中所有无效成像区域在超声图像中的面积占比。
本实施例中，以超声图像的居中线为参照，将超声图像划分为左区域和右区域，分别统计左区域和右区域内的无效成像区域的数量，并计算各自与超声图像的面积比。可以理解的是，通过将获得的超声图像划分为左区域和右区域，以据此确认各无效成像区域的位置。
步骤S54，根据面积占比，计算超声探头的位姿补偿量，以调整超声探头的扫查姿态。
本实施例中，根据超声图像左右区域内的无效成像区域的面积占比，计算得到超声探头的位姿补偿量，实为对具有多个自由度的机械臂的位姿进行补偿，以通过机械臂对超声探头的位姿进行实时的调整，具体根据计算得到的补偿量，控制超声探头的旋转和/或下压。
需要说明的是，当左区域中无效成像区域的面积占比等于右区域中无效成像区域的面积占比时，表明无需对超声探头进行旋转补偿，仅需对超声探头进行下压补偿即可。具体的，通过将左区域中无效成像区域的面积占比或右区域中无效成像区域的面积占比与预设的下压系数相乘，即可获得超声探头的下压补偿量，通过超声探头的下压补偿，可使得超声探头与人体皮肤贴合，减少超声图像中的无效成像区域，从而提高超声图像的成像质量。
本实施例中，根据计算得到的下压补偿量，控制超声探头下压预设高度以达到预设位置，从而使得超声探头能够与乳房表面贴合，从而获得较为清晰的超声图像，从而提高诊断结果的准确性。
当左区域中无效成像区域的面积占比不等于右区域中无效成像区域的面积占比时，需要将左区域中无效成像区域的面积占比与右区域中无效成像区域的面积占比进行作差，并将获得的差值与预设的旋转系数相乘，从而获得超声探头的旋转补偿量。
本实施例中，根据计算获得的旋转补偿量，控制超声探头旋转一定角度，以使得左区域中无效成像区域的面积占比与右区域中无效成像区域的面积占比相同。需要说明的是，若左区域中的无效成像区域的面积占比大于右区域中无效成像区域的面积占比，则控制超声探头向人体左侧旋转一定角度；若左区域中的无效成像区域的面积占比小于右区域中无效成像区域的面积占比，则控制超声探头向人体右侧旋转一定角度。
当超声探头按照旋转补偿量旋转一定角度后，计算此时左区域或右区域中所有无效成像区域在超声图像中的面积占比，以供后续下压补偿量的计算使用。
最后，将旋转后的左区域中无效成像区域的面积占比或右区域中无效成像区域的面积占比与预设的下压系数相乘，以获得超声探头的下压补偿量，据此控制超声探头的下压。
由此可见，本发明的乳腺超声筛查方法借助自动化技术及人工智能技术，可以使低成本、大范围的群体性乳腺癌筛查成为可能，将大幅度提高我国适龄女性参加乳腺癌筛查的比例，有助于对乳腺癌防控。
此外，本发明还提供一种乳腺超声筛查装置，如图16所示，该乳腺超声筛查装置包括：
图像获取模块100，用于获取用户胸部区域的深度图像；
轨迹生成模块200，用于根据深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据三维结构模型生成超声探头的扫查轨迹；
扫查控制模块300，用于根据扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；
诊断模块400，用于对获取到的超声图像进行分析处理，以生成诊断结果；
服务模块500，用于根据诊断结果生成复检计划及/或健康保险方案。
上述乳腺超声筛查装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中，也可以以软件形式存储于服务器中的存储器中，以便于计算机设备调用执行以上各个模块对应的操作。该计算机设备可以为中央处理单元(CPU)、微计算机设备、单片机等。上述各功能模块所起到的工作原理及起到的作用可参见图11-16中所示的乳腺超声筛查方法的实现过程，在此不作赘述。
本发明还提供一种计算机程序存储介质，该计算机程序存储介质中存储有计算机程序代码，该计算机程序代码被处理器执行时实现如下步骤：
获取用户胸部区域的深度图像；
根据深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据三维结构模型生成超声探头的扫查轨迹；
根据扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；
对获取到的超声图像进行分析处理，以生成诊断结果，并按照筛查用户的筛查账户将诊断结果存储在数据库中。
该计算机程序被处理器执行时还实现了乳腺超声筛查方法的其它步骤，具体可参见上述乳腺超声筛查方法实施例的说明，在此不作赘述。
本发明还提供了一种计算机设备，如图18所示，该计算机设备包括处理器40、存储器50和存储在存储器50中的计算机程序代码，处理器40在调用该计算机程序代码时，实现上述各实施例中提供的一种乳腺超声筛查方法的步骤。
具体地，该计算机设备可为个人计算机或服务器。该计算机设备包括通过系统总线连接的处理器40、存储器50和通信接口(图未示)。其中，处理器40用于提供计算和控制能力，支撑整个计算机设备的运行。存储器50包括非易失性存储介质和内存储器。非易失性存储介质中存储有操作系统和计算机程序，该计算机程序被处理器40执行时以实现一种乳腺超声筛查方法。内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。通信接口用于与外部的服务器或终端通过网络连接通信。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种乳腺超声筛查方法，其特征在于，包括：
获取用户胸部区域的深度图像；
根据所述深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据所述三维结构模型生成超声探头的扫查轨迹，包括：对不同视角下的多幅所述深度图像的点云数据进行坐标变换，以得到位于同一基坐标系下的胸部区域三维点云；根据预设的点云分割算法对所述胸部区域三维点云进行分割，以得到乳房扫查区域点云；根据所述乳房扫查区域点云对乳房区域结构进行骨架模型重建，以得到曲线骨架；按照预设的曲线分割条件对所述曲线骨架中的各条曲线进行分割，并取各条曲线上的所有分割点；根据预设的超声扫查方向从分割点集合中选取多组分割点，并将每一组分割点连接成一条扫查轨迹曲线；从所述扫查轨迹曲线中提取多个轨迹点，并计算各轨迹点的姿态角；
根据所述扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；
对获取到的超声图像进行分析处理，以生成诊断结果，并根据所述诊断结果生成复检计划及/或健康保险方案。
2.根据权利要求1所述的乳腺超声筛查方法，其特征在于，所述方法还包括：
按照筛查用户的筛查账户将所述诊断结果存储在数据库中。
3.根据权利要求1所述的乳腺超声筛查方法，其特征在于，在所述获取用户胸部区域的深度图像的步骤之前，所述方法还包括：
根据采集到的用户信息，判断数据库中是否存在与该用户信息对应的筛查账户；
若存在，则针对所述筛查账户建立筛查节点；
若不存在，则在数据库中建立与该用户信息对应的筛查账户，并针对所述筛查账户建立筛查节点。
4.根据权利要求1所述的乳腺超声筛查方法，其特征在于，在所述对获取到的超声图像进行分析处理，以生成诊断结果的步骤之前，所述方法还包括：
对获取到的超声图像进行有效性分析，并根据所述有效性分析的结果调整超声探头的扫查姿态。
5.根据权利要求1所述的乳腺超声筛查方法，其特征在于，所述对获取到的超声图像进行分析处理，以生成诊断结果，并根据所述诊断结果生成复检计划及/或健康保险方案包括：
将获取到的超声图像输入至AI诊断算法模型中进行分析处理，以得到诊断数据；
根据BI-RADS分级对所述诊断数据进行分级处理，以生成诊断结果；
根据所述诊断结果对应的BI-RADS分级，生成筛查用户的复检计划及/或健康保险方案。
6.根据权利要求5所述的乳腺超声筛查方法，其特征在于，所述根据所述诊断结果对应的BI-RADS分级，生成筛查用户的复检计划及/或健康保险方案包括：
若所述诊断结果对应的BI-RADS分级为Ⅰ级或Ⅱ级，则生成筛查用户的超声复检计划以及健康保险方案；
若所述诊断结果对应的BI-RADS分级为0级或Ⅲ级，则生成筛查用户的钼靶乳腺复检计划；
若所述诊断结果对应的BI-RADS分级为Ⅳ级或Ⅴ级，则生成筛查用户的乳腺活检病理检查计划。
7.根据权利要求5所述的乳腺超声筛查方法，其特征在于，在所述对获取到的超声图像进行分析处理，以生成诊断结果的步骤之后，所述方法还包括：
将获取到的超声图像和所述诊断结果发送至远程诊断终端进行分析处理，以生成诊断报告。
8.一种乳腺超声筛查装置，其特征在于，包括：
图像获取模块，用于获取用户胸部区域的深度图像；
轨迹生成模块，用于根据所述深度图像进行模型重建，以得到待扫查区域的三维结构模型，并根据所述三维结构模型生成超声探头的扫查轨迹，包括：对不同视角下的多幅所述深度图像的点云数据进行坐标变换，以得到位于同一基坐标系下的胸部区域三维点云；根据预设的点云分割算法对所述胸部区域三维点云进行分割，以得到乳房扫查区域点云；根据所述乳房扫查区域点云对乳房区域结构进行骨架模型重建，以得到曲线骨架；按照预设的曲线分割条件对所述曲线骨架中的各条曲线进行分割，并取各条曲线上的所有分割点；根据预设的超声扫查方向从分割点集合中选取多组分割点，并将每一组分割点连接成一条扫查轨迹曲线；从所述扫查轨迹曲线中提取多个轨迹点，并计算各轨迹点的姿态角；
扫查控制模块，用于根据所述扫查轨迹控制扫查机构带动超声探头对用户的乳房区域进行超声扫查；
诊断模块，用于对获取到的超声图像进行分析处理，以生成诊断结果；
服务模块，用于根据所述诊断结果生成复检计划及/或健康保险方案。
9.一种计算机设备，包括处理器、存储器和存储在所述存储器中的计算机程序代码，其特征在于，所述处理器在调用所述计算机程序代码时，实现权利要求1至7中任意一项所述乳腺超声筛查方法的步骤。
CN201911007842.9A 2019-10-22 2019-10-22 乳腺超声筛查方法、装置及计算机设备 Active CN110675398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911007842.9A CN110675398B (zh) 2019-10-22 2019-10-22 乳腺超声筛查方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911007842.9A CN110675398B (zh) 2019-10-22 2019-10-22 乳腺超声筛查方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110675398A CN110675398A (zh) 2020-01-10
CN110675398B true CN110675398B (zh) 2022-05-17

Family

ID=69083681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911007842.9A Active CN110675398B (zh) 2019-10-22 2019-10-22 乳腺超声筛查方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110675398B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110786887B (zh) * 2019-10-22 2021-11-26 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及系统
CN111134724A (zh) * 2020-01-21 2020-05-12 深圳瀚维智能医疗科技有限公司 乳腺超声扫查床
CN111603199B (zh) * 2020-04-24 2023-03-14 中国人民解放军总医院第二医学中心 一种基于体表定位测量仪的三维重建超声诊断系统
TWI799705B (zh) * 2020-05-20 2023-04-21 倍利科技股份有限公司 醫學影像輔助判讀系統
CN111784638B (zh) * 2020-06-04 2024-06-25 广东省智能制造研究所 一种基于卷积神经网络的肺结节假阳性筛除方法及系统
CN112085698A (zh) * 2020-07-27 2020-12-15 深圳瀚维智能医疗科技有限公司 左右乳腺超声图像自动分析方法及装置
CN112057107A (zh) * 2020-09-14 2020-12-11 无锡祥生医疗科技股份有限公司 超声扫查方法、超声设备及系统
CN112270993B (zh) * 2020-09-22 2023-12-05 深圳市人工智能与机器人研究院 一种以诊断结果为反馈的超声机器人在线决策方法及系统
CN114305501A (zh) * 2020-09-29 2022-04-12 深圳迈瑞生物医疗电子股份有限公司 乳腺超声扫描方法和装置
CN112633342B (zh) * 2020-12-16 2022-08-16 武汉大学 一种基于深度学习的人体超声检测实时引导策略
CN112767319B (zh) * 2020-12-30 2024-06-25 无锡祥生医疗科技股份有限公司 基于点云数据分割的乳腺超声成像方法、装置及存储介质
CN115965570A (zh) * 2021-10-13 2023-04-14 青岛海信医疗设备股份有限公司 超声乳腺三维全景图的生成方法和超声设备
CN115311407B (zh) * 2022-04-19 2023-09-12 北京和华瑞博医疗科技有限公司 一种特征点标记方法、装置、设备及存储介质
CN115778429A (zh) * 2022-11-28 2023-03-14 中国科学院深圳先进技术研究院 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统
CN117788539B (zh) * 2024-02-28 2024-06-18 菲特（天津）检测技术有限公司 一种点云数据配准方法、系统及电子设备
CN118452985B (zh) * 2024-07-12 2024-09-20 浙江省肿瘤医院 一种自动化乳腺超声筛查装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102743188A (zh) * 2011-04-22 2012-10-24 李百祺 超声波自动扫描系统及其扫描方法
CN105877780A (zh) * 2015-08-25 2016-08-24 上海深博医疗器械有限公司 全自动超声扫描仪及扫描检测方法
CN107397557A (zh) * 2017-07-13 2017-11-28 深圳市前海博志信息技术有限公司 乳腺超声波检查报告生成系统及方法
CN109637629A (zh) * 2018-10-31 2019-04-16 泰格麦迪(北京)医疗科技有限公司 一种bi-rads分级模型建立方法
CN109674494A (zh) * 2019-01-29 2019-04-26 深圳瀚维智能医疗科技有限公司 超声扫查实时控制方法、装置、存储介质及计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10426556B2 (en) * 2016-06-01 2019-10-01 Vanderbilt University Biomechanical model assisted image guided surgery system and method
CN107049248A (zh) * 2017-03-25 2017-08-18 深圳市前海安测信息技术有限公司 基于医疗云平台的乳腺筛查影像分析系统及方法
CN107423562A (zh) * 2017-07-15 2017-12-01 深圳市前海博志信息技术有限公司 乳腺筛查用户复查管理系统及方法
CN107569257A (zh) * 2017-09-29 2018-01-12 深圳开立生物医疗科技股份有限公司 超声图像处理方法及系统、超声诊断设备
US10952705B2 (en) * 2018-01-03 2021-03-23 General Electric Company Method and system for creating and utilizing a patient-specific organ model from ultrasound image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102743188A (zh) * 2011-04-22 2012-10-24 李百祺 超声波自动扫描系统及其扫描方法
CN105877780A (zh) * 2015-08-25 2016-08-24 上海深博医疗器械有限公司 全自动超声扫描仪及扫描检测方法
CN107397557A (zh) * 2017-07-13 2017-11-28 深圳市前海博志信息技术有限公司 乳腺超声波检查报告生成系统及方法
CN109637629A (zh) * 2018-10-31 2019-04-16 泰格麦迪(北京)医疗科技有限公司 一种bi-rads分级模型建立方法
CN109674494A (zh) * 2019-01-29 2019-04-26 深圳瀚维智能医疗科技有限公司 超声扫查实时控制方法、装置、存储介质及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic Three-Dimensional Ultrasound Scanning System Based on RGB-D Camera;JiuLong Lan et al.;《2018 2nd International Conference on Robotics and Automation》;20180823;第1-6页 *
乳腺癌中超声的应用现状及进展研究;王文 等;《中外医疗》;20161231(第07期);第196-198页 *

Also Published As

Publication number Publication date
CN110675398A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110675398B (zh) 乳腺超声筛查方法、装置及计算机设备
CN110786887B (zh) 乳腺超声筛查方法、装置及系统
WO2021078064A1 (zh) 超声扫查轨迹规划方法、装置、存储介质及计算机设备
Han et al. Synthesizing diverse lung nodules wherever massively: 3D multi-conditional GAN-based CT image augmentation for object detection
CN110751719B (zh) 乳房三维点云重建方法、装置、存储介质及计算机设备
US10405796B2 (en) Estimating and predicting tooth wear using intra-oral 3D scans
US8634622B2 (en) Computer-aided detection of regions of interest in tomographic breast imagery
EP0757544B1 (en) Computerized detection of masses and parenchymal distortions
EP2212859B1 (en) Method and apparatus for volume rendering of data sets
CN102460471B (zh) 用于胸腔层析x射线合成成像中的计算机辅助肺结节检测的系统
WO2016003787A1 (en) Detecting tooth wear using intra-oral 3d scans
DE102012108121A1 (de) Verfahren und System für ultraschallgestützte automatische Erkennung, Quantifizierung und Nachverfolgung von Pathologien
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
US20220313176A1 (en) Artificial Intelligence Training with Multiple Pulsed X-ray Source-in-motion Tomosynthesis Imaging System
CN110766704A (zh) 乳房点云分割方法、装置、存储介质及计算机设备
US20150223777A1 (en) Methods of, and apparatuses for, producing augmented images of a spine
CN110738633A (zh) 一种机体组织的三维图像处理方法及相关设备
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
US20230252748A1 (en) System and Method for a Patch-Loaded Multi-Planar Reconstruction (MPR)
CN104658016A (zh) 一种用于ct透视影像的目标跟踪方法、装置及ct机
EP3381010B1 (en) Process for processing medical images of a face for recognition of facial dysmorphisms
CN112515705A (zh) 用于投影轮廓启用的计算机辅助检测(cad)的方法和系统
Guo et al. A Benchmark and Transformer-based Approach for Automated Hyperparathyroidism Detection
Ciora et al. A Simple Method for 3D Thyroid Reconstruction from 2D Ultrasound Slices
CN115120270A (zh) 乳腺自动筛查系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Methods, devices and computer equipment for breast ultrasound screening

Effective date of registration: 20221213

Granted publication date: 20220517

Pledgee: Wenling Yigang Life Health Technology Co.,Ltd.

Pledgor: SHENZHEN HANWEI INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.

Registration number: Y2022980026941

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230714

Address after: 318000 Floor 5, No. 2 Plant, No.139 Huitou, Caishiqiao Village, Xinhe Town, Wenling City, Taizhou City, Zhejiang Province

Patentee after: Hanwei (Taizhou) Intelligent Medical Technology Co.,Ltd.

Address before: 518000 804a, 8th floor, Cuilin building, No.10, Kaifeng Road, Maling community, Meilin street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN HANWEI INTELLIGENT MEDICAL TECHNOLOGY Co.,Ltd.