CN116687452A - 一种早孕期胎儿超声自主扫查方法、系统及设备 - Google Patents

一种早孕期胎儿超声自主扫查方法、系统及设备 Download PDF

Info

Publication number
CN116687452A
CN116687452A CN202310936504.3A CN202310936504A CN116687452A CN 116687452 A CN116687452 A CN 116687452A CN 202310936504 A CN202310936504 A CN 202310936504A CN 116687452 A CN116687452 A CN 116687452A
Authority
CN
China
Prior art keywords
mechanical arm
image
ultrasonic
fetal
ultrasonic probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310936504.3A
Other languages
English (en)
Other versions
CN116687452B (zh
Inventor
吴青青
雷文嘉
宋世晶
闫琳
张少华
毓星
王晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING OBSTETRICS AND GYNECOLOGY HOSPITAL CAPITAL MEDICAL UNIVERSITY
Original Assignee
BEIJING OBSTETRICS AND GYNECOLOGY HOSPITAL CAPITAL MEDICAL UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING OBSTETRICS AND GYNECOLOGY HOSPITAL CAPITAL MEDICAL UNIVERSITY filed Critical BEIJING OBSTETRICS AND GYNECOLOGY HOSPITAL CAPITAL MEDICAL UNIVERSITY
Priority to CN202310936504.3A priority Critical patent/CN116687452B/zh
Publication of CN116687452A publication Critical patent/CN116687452A/zh
Application granted granted Critical
Publication of CN116687452B publication Critical patent/CN116687452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4411—Device being modular
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及智能医疗技术领域，更具体地，涉及一种早孕期胎儿超声自主扫查方法、系统及设备。包括：取超声探头采集的当前早孕期胎儿超声图像；从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；基于所述距离输出机械臂带动超声探头的动作向量。本发明创新对于跨区域胎儿远程会诊、基层地区早孕期胎儿筛查等具有非常重要的临床意义。

Description

一种早孕期胎儿超声自主扫查方法、系统及设备
技术领域
本发明涉及智能医疗技术领域，更具体地，涉及一种早孕期胎儿超声自主扫查方法、系统、设备及可读存储介质。
背景技术
随着产前超声医师诊断水平及超声仪器分辨率的不断提高，早孕期超声检查胎儿结构、筛查胎儿畸形成为可能。国际妇产超声协会、英国胎儿医学基金会等诸多国际超声学会都发布了针对早孕期胎儿结构超声筛查规范和异常诊断的共识和指南，其中胎儿颈项部皮肤透明层（nuchal translucency, NT）的评价成为早孕期胎儿筛查的重要指标，NT增厚是早孕期筛查胎儿染色体异常的有效指标，其还与结构异常和某些遗传综合症相关。早孕期NT的测量需要在胎儿正中矢状面上进行测量。此外，早孕期胎儿正中矢状面上的颅内超声声像改变亦可被用于胎儿神经系统畸形筛查，如颅内透明层和后颅窝形态异常发现开放性脊柱裂畸形。基于该切面还可对胎儿颜面部进行分析，获取遗传综合症线索。但是早孕期标准正中矢状面的获取对于基层医院仍存在挑战。
发明内容
为解决上述问题，本申请提出一种早孕期胎儿三维超声自主扫查方法，该方法基于人工智能、机器人和智能力控技术，可以针对基层医院孕妇群体开展远程自主早孕期胎儿超声扫查，以适应远程医疗的临床实际需求。
本申请公开了一种早孕期胎儿超声自主扫查方法，所述方法包括：
获取超声探头采集的当前早孕期胎儿超声图像；
从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；
基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；
基于所述距离输出机械臂带动超声探头的动作向量。
进一步，所述基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离具体包括：从当前超声图像中分割得到含有胎儿关键解剖器官的分割图像；对所述分割图像进行特征提取形成用于表征所述胎儿关键解剖器官的特征向量；基于当前超声图像中器官图像的特征向量与标准正中矢状面的器官图像的特征向量计算当前切面到标准正中矢状面的距离。
进一步，输出的机械臂带动超声探头的动作向量A是基于自适应PID控制器将当前超声图像中器官图像的图像特征向量Fc与标准正中矢状面的器官图像的特征向量Fd之间的偏差转换为对机械臂带动超声探头的动作向量，具体公式为：
A = PID(Fc, Fd)
其中Fc表示当前超声图像中器官图像的图像特征向量，Fd表示标准正中矢状面的器官图像的特征向量，A表示动作向量，PID()表示自适应PID控制器；
或者，所述机械臂带动超声探头的动作向量A’具体表示为：
A’ = [px’, py’, rx, ry, rz, fz]
其中，px’, py’为机械臂末端TCP坐标系下的平移量，rx, ry, rz为机械臂末端相对于世界坐标系的姿态欧拉角；fz表示机械臂末端TCP坐标系下Z方向的期望力。
进一步，所述机械臂带动超声探头的动作向量A’或动作向量A是基于所述距离决定，具体为，当所述距离较远，则输出机械臂带动超声探头的动作向量A’；当所述距离较近，则输出机械臂带动超声探头的动作向量A；优选的，所述机械臂带动超声探头的动作向量A’或动作向量A是基于所述距离决定，具体为，基于所述距离得到当前早孕期胎儿超声图像所处切面的图像质量评分，当质量评分低于阈值，则输出机械臂带动超声探头的动作向量A’；当质量评分大于或等于阈值，则输出机械臂带动超声探头的动作向量A。
进一步，所述图像的特征向量包括图像中胎儿关键解剖器官的中心点坐标、轮廓面积、倾斜角，具体表示为：
F= [px,py, α, θ…]
其中，px, py为器官的中心点坐标；α表示器官的轮廓面积；θ表示器官的倾斜角；优选的，对超声图像中含有胎儿关键解剖器官的部分AI分割之后的轮廓，采用椭圆或者矩形等可以用数学表达式表示的方式，对轮廓进行拟合，进而得到分割轮廓的数学表达，进而，px, py为器官轮廓拟合之后的中心点坐标，α表示器官轮廓拟合之后的轮廓面积；θ表示器官轮廓拟合之后的倾斜角。
基于所述距离输出机械臂带动超声探头的动作向量具体为：将所述距离输入到贝叶斯优化模型中，贝叶斯优化模型通过迭代方式构建一个逼近真实函数的高斯模型，进而逐步输出接近标准正中矢状面的最优动作向量，所述最优动作向量为输出的机械臂带动超声探头的动作向量A’。优选的，采用图像质量评分用于评估当前切面到标准切面的距离，分数越高表示当前切面越接近标准切面。将所述图像质量评分输入贝叶斯优化模型中，贝叶斯优化模型通过迭代方式构建一个逼近真实函数的高斯模型，进而逐步输出接近标准正中矢状面的最优动作向量，所述最优动作向量为输出的机械臂带动超声探头的动作向量A’。图像质量评分的标签值来源于超声专家的打分。
进一步，所述输出机械臂带动超声探头的动作向量A’具体表示为：
A’= [px’,py’,rx,ry, rz, fz]
其中，px’,py’为机械臂末端TCP坐标系下的平移量，rx,ry, rz为机械臂末端相对于世界坐标系的姿态欧拉角；fz表示机械臂末端TCP坐标系下Z方向的期望力。
进一步，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行插值，所述插值公式如下：
其中，与/>分别为机械臂的期望位置与期望姿态；/>与/>分别为当前机械臂的位置与姿态；/>与/>分别为下一时刻机械臂的期望位置与期望姿态，即插值结果；/>表示插值比例；/>表示/>与/>之间的姿态夹角。
进一步，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行位置约束和/或姿态约束，所述位置约束是将机械臂末端超声探头的运动空间约束在可控范围内；所述姿态约束是将机械臂末端超声探头的最大偏转角约束在可控范围内。
进一步，所述偏转角为TZ’向量与BZ向量之间的夹角，偏转角的计算公式为：
其中，=(0, 0, 1)T表示BZ方向的单位向量，/>表示 TZ’方向的单位向量在BZ坐标系的坐标表示；
当上述偏转角大于阈值时，需要对机械臂的期望姿态进行约束，具体为：
(a) 计算在BX-BY平面内的投影长度/>;
(b) 计算在BX-BY平面内的投影长度/>;
(c) 那么在BX方向的分量/> = /> * />/ />, 在BY方向的分量 = /> * />/ />, 在BZ方向的分量
(d) 根据计算得到的以及欧拉角与旋转矩阵的转换关系，可以计算得到满足约束的旋转矩阵；
其中，表示根据专家端发送的期望姿态矩阵计算得到的TZ’方向的单位向量在BX-BY-BZ坐标系的坐标表示，/>表示最大偏转角/>所对应的TZ’方向的单位向量在BX-BY-BZ坐标系的坐标表示，TX-TY-TZ为机械臂末端工具（TCP）坐标系，BX-BY-BZ为机械臂基坐标系（世界坐标系），TX-TY-TZ绕TY旋转180°得到机械臂末端超声探头坐标系TX’-TY’-TZ’。
进一步，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行柔顺力控制，所述柔顺力控制为输入期望的接触力r与机械臂上六维力传感器采集的当前实际力f，经过自适应PID控制器调整输出机械臂的控制量u。
进一步，所述胎儿关键解剖器官包括胎儿下颌与胸部前方的羊水暗区和/或下列器官中的一种或几种：鼻前皮肤、鼻骨、上腭、间脑、中脑、外生殖器。
本申请的提供一种早孕期胎儿超声自主扫查系统，所述系统包括：
图像获取模块，用于获取超声探头采集的当前早孕期胎儿超声图像；
图像分割模块，用于从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；
距离计算模块，基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；
机器臂运动控制模块，基于所述距离输出机械臂带动超声探头的动作向量。
申请的提供一种早孕期胎儿超声自主扫查系统，所述系统包括计算机程序，所述计算机程序被处理器执行时实现上述的早孕期胎儿超声自主扫查方法步骤。
本申请提供一种早孕期胎儿超声自主扫查设备，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现上述的早孕期胎儿超声自主扫查方法步骤。
本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的早孕期胎儿超声自主扫查方法步骤。
本申请的优点：
1.本申请提供了一种早孕期胎儿超声自主扫查方法，可基于超声图像中胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离，进而引导远程筛查的机械臂带动超声探头移动到筛查所需位置，即械臂带动超声探头跟随期望值运动；
2.为了避免机械臂运动幅度、接触力过大对胎儿、孕妇等造成伤害，本申请还对机械臂带动超声探头的动作向量进行位置约束和/或姿态约束、柔顺力控制，并公开了具体的计算公式和力控制算法；
3.为了提高动作向量的精度，本申请根据当前切面到标准正中矢状面的距离或者基于距离得到的图像质量评分高低来选择最适合的动作向量，当距离较远或图像质量评分较低时，图像中可能会缺少关键解剖器官，此时适合用贝叶斯优化模型计算得到动作向量；当距离较近或图像质量评分较高时，采用PID控制器进行图像伺服跟踪更为精准；
4.本申请提供的早孕期胎儿超声自主扫查设备可用于隔离病房的胎儿扫查，医联体、社区医院、边疆等基层地区早孕期胎儿筛查，跨区域胎儿远程会诊，接近医疗资源不平衡等问题，具有非常重要的临床意义。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1是本发明实施例提供的一种早孕期胎儿超声自主扫查方法示意流程图；
图2是本发明实施例提供的一种早孕期胎儿超声自主扫查系统示意图；
图3是本发明实施例提供的一种早孕期胎儿超声自主扫查设备示意图；
图4是本发明实施例提供的一种从超声图像中分割得到含有胎儿关键解剖器官的分割图像的示意图；
图5是本发明实施例提供的一种机械臂带动超声探头的动作向量A’示意图；
图6是本发明实施例提供的一种机械臂末端超声探头的最大偏转角坐标表示示意图；
图7是本发明实施例提供的一种机械臂力自适应控制示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例提供的一种早孕期胎儿超声自主扫查方法示意流程图，所述方法步骤包括：
S101：获取超声探头采集的当前早孕期胎儿超声图像；
在一个实施例中，所述早孕期胎儿超声图像包括二维超声图像或三维超声图像。
在一个实施例中，所述早孕期胎儿超声图像是启动三维扫描模式，获取胎儿三维超声数据。三维超声成像技术系利用计算机将一系列按照一定规律超声探头采集的二维图像信息进行重建构成三维图像，以提供更多的空间切面信息，三维容积可在相关分析软件电脑中处理。基于所述三维容积数据，提取胎儿关键解剖器官等需要的相关信息，通过基于正中矢状面可诊断早孕期胎儿畸形。
在一个实施例中，通过机器人机械臂末端内置的三维超声探头设置扫查角度，确定三维容积，可完整扫查早孕期胎儿，扫查更全面。优选的，采用三维容积超声探头采集早孕期胎儿正中矢状面超声图像，并通过高性能视频采集卡将图像数实时上传至上位机。
S102：从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；
在一个实施例中，所述胎儿关键解剖器官/结构包括胎儿下颌与胸部前方的羊水暗区和/或下列器官/结构中的一种或几种：鼻前皮肤、鼻骨、上腭、间脑、中脑、外生殖器。图4示例性的示意了超声图像中几个关键解剖器官/结构的分割图像，所述几个关键解剖器官/结构同时显示时，即为标准正中矢状切面，触发超声探头图像采集功能。
在一个实施例中，所述从所述超声图像中分割得到含有胎儿关键解剖器官/结构的分割图像采用Transformer网络模型，对获取的超声图像进行分割，得到各个器官的二值图像，将得到的上述各个器官/结构的二值图像进行特征提取，得到各个器官/结构的位置、面积、倾斜角等信息，并形成图像的特征向量F，如下：
F= [px,py,α,θ…] (式1)
其中，px, py为器官轮廓拟合之后的中心点坐标；α表示器官轮廓面积；θ表示器官轮廓拟合之后的倾斜角，用于表征器官的姿态信息。
胎儿关键解剖器官/结构包括：鼻前皮肤、鼻骨、上腭、间脑、中脑、外生殖器，此外为了保证胎儿处于自然伸展姿势，需定位获得胎儿下颌与胸部前方的羊水暗区。以上这些解剖器官/结构和区域是评估早孕期胎儿矢状切面的重点关注对象。根据上述关键特征得到实时的胎儿空间位姿信息，上述关键解剖特征同时获取时，即为标准正中矢状面。在超声自主扫查系统扫查过程中，实时跟踪这些解剖结构，根据距离计算模块计算当前切面和标准正中矢状切面的距离，输出并引导机械臂带动超声探头的动作，避免由于胎儿的运动，导致关键特征丢失。
S103：基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；
在一个实施例中，从当前超声图像中分割得到含有胎儿关键解剖器官的分割图像；对所述分割图像进行特征提取形成用于表征所述胎儿关键解剖器官的特征向量；基于当前超声图像中器官图像的特征向量与标准正中矢状面的器官图像的特征向量计算当前切面到标准正中矢状面的距离。优选的，采用图像质量评分用于评估当前切面到标准正中矢状面的距离，分数越高表示当前切面越接近标准切面。图像质量评分的标签值可来源于超声专家的打分或计算机计算得到，即图像质量评分的阈值可来源于超声专家的打分或计算机计算得到。
S104：基于所述距离输出机械臂带动超声探头的动作向量。
在一个实施例中，基于所述距离输出机械臂带动超声探头的动作向量具体为：将所述距离输入到机器学习模型中，所述机器学习模型通过迭代方式构建一个逼近真实函数的模型，进而逐步输出接近标准正中矢状面的最优动作向量，所述最优动作向量即机械臂带动超声探头的动作向量A’。
在一个实施例中，基于所述距离输出机械臂带动超声探头的动作向量具体为：将所述距离输入到贝叶斯优化模型中，贝叶斯优化模型通过迭代方式构建一个逼近真实函数的高斯模型，进而逐步输出接近标准正中矢状面的最优动作向量，进而输出机械臂带动超声探头的动作向量。具体的，贝叶斯优化模型输出的动作向量A’如下：
A’= [px’,py’,rx,ry, rz, fz] (式2)
其中，px’,py’为机械臂末端TCP坐标系下的平移量；rx,ry, rz为机械臂末端相对于世界坐标系的姿态欧拉角；fz表示机械臂末端TCP坐标系下Z方向的期望力（见图5）；
或者所述机械臂带动超声探头的动作向量A是基于自适应PID控制器将当前超声图像中器官图像的图像特征向量Fc与标准正中矢状面的器官图像的特征向量Fd之间的偏差转换为对机械臂带动超声探头的动作向量，具体公式为：
A = PID(Fc, Fd) (式3)
其中Fc表示当前超声图像中器官图像的图像特征向量，Fd表示标准正中矢状面的器官图像的特征向量，A表示动作向量，PID()表示自适应PID控制器。
可选的，机械臂带动超声探头的动作向量A’或动作向量A是基于所述距离决定，具体为，当所述距离高于距离阈值，则输出机械臂带动超声探头的动作向量A’；当距离低于或等于距离阈值，则输出机械臂带动超声探头的动作向量A。所述距离阈值可来源于超声专家的打分或计算机计算得到。
可选的，机械臂带动超声探头的动作向量A’或动作向量A是基于所述距离决定，具体为，基于所述距离得到当前早孕期胎儿超声图像所处切面的图像质量评分，当质量评分低于阈值，则输出机械臂带动超声探头的动作向量A’；当质量评分大于或等于阈值，则输出机械臂带动超声探头的动作向量A。
在一个实施例中，基于所述距离得到所述当前早孕期胎儿超声图像的图像质量评分，将所述图像质量评分输入到贝叶斯优化模型中，贝叶斯优化模型通过迭代方式构建一个逼近真实函数的高斯模型，进而逐步输出接近标准正中矢状面的最优动作向量，进而引导机械臂带动超声探头的动作向量，所述输出接近标准正中矢状面的最优动作向量即机械臂带动超声探头的动作向量。
PID()表示自适应PID控制器，其公式如下：
(式4)
其中，u(k)表示控制输出，e(k)表示第k次的误差值，KP、KI、KD分别为PID控制器的比例系数、积分系数、微分系数，KI、KD为固定常量，KP= αe(k)，α表示自适应比例系数。
根据式(3)可知，自适应PID控制器会将当前图像的特征向量Fc与标准正中矢状面的器官图像的特征向Fd之间的偏差转换为对机械臂的控制动作向量，进而使机械臂带动探头跟随期望值运动（即动作向量）。示例的，以轮廓面积为例说明机器臂的控制过程，假如当前轮廓面积是100，期望的最大轮廓面积为1000，按照式(3)进行PID控制，PID控制器输出机械臂带动超声探头的动作向量，比如绕Z轴旋转的角度，进而使轮廓面积趋向于最优值。
在一个实施例中，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行位置约束和/或姿态约束，所述位置约束是将机械臂末端超声探头的运动空间约束在可控范围内；所述姿态约束是将机械臂末端超声探头的最大偏转角约束在可控范围内。
(a) 对目标位置与姿态进行插值。对所述机械臂带动超声探头的动作向量进行插值，所述插值公式如下：
(式5)
其中，与/>分别为贝叶斯优化模型输出的机械臂的期望位置与期望姿态（姿态用四元数表示）；/>与/>分别为当前机械臂的位置与姿态；/>与/>分别为下一时刻机械臂的期望位置与期望姿态，即插值结果；/>表示插值比例；/>表示/>与/>之间的姿态夹角。
(b)有效性约束，包括位置约束和姿态约束。主要是避免机械臂运动幅度过大对孕妇、胎儿等造成伤害。
所述位置约束是将机械臂末端超声探头的运动空间约束在可控范围内（）：
= Max(Min(/>), />) (式6)
其中，为下一时刻机械臂的期望位置，/>分别表示最小位置和最大位置；
所述姿态约束是将机械臂末端超声探头的最大偏转角约束在可控范围内：
偏转角是指机械臂末端超声探头Z轴方向与机械臂基坐标系Z轴的夹角，如图6所示，其中TX-TY-TZ为机械臂末端工具坐标系，绕TY旋转180°得到机械臂末端超声探头坐标系TX’-TY’-TZ’，BX-BY-BZ为机械臂基坐标系，偏转角即为TZ’向量与BZ向量之间的夹角。
假设TX’-TY’-TZ’相对于BX-BY-BZ坐标系的旋转矩阵为, /> = {/>} ,其中/>分别表示TX’-TY’-TZ’三个轴方向的单位向量在BX-BY-BZ坐标系的坐标表示，那么偏转角的计算公式为：
(式7)
其中=(0, 0, 1)T表示BZ方向的单位向量。
为了保证机械臂运行的安全性，当上述偏转角大于阈值时，需要对机械臂的期望姿态进行约束。其中表示最大的偏转角度，/>表示期望偏转角度，/>表示根据期望姿态矩阵计算得到的TZ’方向的单位向量在BX-BY-BZ坐标系的坐标表示，/>表示最大偏转角/>所对应的TZ’方向的单位向量在BX-BY-BZ坐标系的坐标表示。期望偏转角度可以是专家端发送的。
(a) 计算在BX-BY平面内的投影长度/>;
(b) 计算在BX-BY平面内的投影长度/>;
(c) 那么在BX方向的分量/> = /> * />/ />, 在BY方向的分量 = /> * />/ />, 在BZ方向的分量/>
(d) 根据计算得到的以及欧拉角与旋转矩阵的转换关系，可以计算得到满足约束的旋转矩阵。
在一个实施例中，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行柔顺力控制，所述柔顺力控制为输入期望的接触力r与机械臂上六维力传感器采集的当前实际力f与偏差e，经过自适应PID控制器调整输出机械臂的控制量u。采用的算法为底层自适应控制算法，可确保整个扫查过程中，超声探头与孕妇皮肤表面的接触力在期望的范围内，进而保证自主扫查的安全性，如图7所示，力控制算法的输入为期望的接触力r与六维力传感器采集的当前实际力f,经过自适应PID控制器输出对机械臂的控制量u。检测器（Detector）根据机器臂的运动位移x以及传感器（sensor）的当前力f估计出人体的刚度值s，计算公式如下：
(式8)
其中中，表示力变化值，/>表示位移变化值，/>为常量。
校正器（Corrector）根据估计的刚度值s计算出PID控制器的比例系数K,实现根据探头与人体的接触状态，自适应调整PID参数的能力，进而实现对人体的自适应力控制。
可选的，机械臂内置阻力探测装置，设定安全限度；另外孕妇有紧急停止按键，当感觉不适时停止检查，机械臂复原，具体检查位置：通过对胎儿图像的分析，判断胎位，进而校正检查位置及角度。
在一个实施例中，所述早孕期胎儿超声自主扫查方法可反复执行直到检查完成：从当前超声图像中分割得到含有胎儿关键解剖器官的分割图像；对所述分割图像进行特征提取形成用于表征所述胎儿关键解剖器官的特征向量；基于当前超声图像中器官图像的特征向量与标准正中矢状面的器官图像的特征向量计算当前切面到标准正中矢状面的距离；基于所述距离引导机械臂带动超声探头的动作向量到下一个动作位置采集下一个动作位置的超声图像，从所述下一个动作位置的超声图像分割得到含有胎儿关键解剖器官的分割图像，重复上述步骤，直到检查完成。优选的，所述检查完成为采集的超声图像为标准正中矢状面。
图2是本发明实施例提供的一种早孕期胎儿超声自主扫查系统，包括：
图像获取模块201，用于获取超声探头采集的当前早孕期胎儿超声图像；
图像分割模块202，用于从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；
距离计算模块203，基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；
机器臂运动控制模块204，基于所述距离输出机械臂带动超声探头的动作向量。
优选的，所述系统还包括柔顺力控制模块，用于对所述机械臂带动超声探头的动作向量进行柔顺力控制。
优选的，所述系统还包括运动规划模块，用于对所述机械臂带动超声探头的动作向量进行位置约束和/或姿态约束，所述位置约束是将机械臂末端超声探头的运动空间约束在可控范围内；所述姿态约束是将机械臂末端超声探头的最大偏转角约束在可控范围内。
本发明实施例提供的一种早孕期胎儿超声自主扫查系统，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的早孕期胎儿超声自主扫查方法步骤。
图3是本发明实施例提供的一种早孕期胎儿超声自主扫查设备，包括：存储器和处理器；所述存储器用于存储程序指令；所述处理器用于调用程序指令，当程序指令被执行时实现上述的早孕期胎儿超声自主扫查方法步骤。
本发明的一个目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的早孕期胎儿超声自主扫查方法步骤。
本验证实施例的验证结果表明，为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种早孕期胎儿超声自主扫查方法，其特征在于，所述方法包括：
获取超声探头采集的当前早孕期胎儿超声图像；
从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；
基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；
基于所述距离输出机械臂带动超声探头的动作向量。
2.根据权利要求1所述的早孕期胎儿超声自主扫查方法，其特征在于，所述基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离具体包括：从当前超声图像中分割得到含有胎儿关键解剖器官的分割图像；对所述分割图像进行特征提取形成用于表征所述胎儿关键解剖器官的特征向量；基于当前超声图像中器官图像的特征向量与标准正中矢状面的器官图像的特征向量计算当前切面到标准正中矢状面的距离。
3.根据权利要求2所述的早孕期胎儿超声自主扫查方法，其特征在于，所述图像的特征向量包括图像中胎儿关键解剖器官的中心点坐标、轮廓面积、倾斜角，具体表示为：
F = [px, py, α, θ…]
其中，px, py为器官的中心点坐标；α表示器官的轮廓面积；θ表示器官的倾斜角。
4.根据权利要求2所述的早孕期胎儿超声自主扫查方法，其特征在于，所述机械臂带动超声探头的动作向量A’具体表示为：
A’= [px’, py’, rx, ry, rz, fz]
其中，px’, py’为机械臂末端TCP坐标系下的平移量，rx, ry, rz为机械臂末端相对于世界坐标系的姿态欧拉角；fz表示机械臂末端TCP坐标系下Z方向的期望力；
或所述机械臂带动超声探头的动作向量A是基于自适应PID控制器将当前超声图像中器官图像的图像特征向量Fc与标准正中矢状面的器官图像的特征向量Fd之间的偏差转换为对机械臂带动超声探头的动作向量，具体公式为：
A = PID(Fc, Fd)
其中Fc表示当前超声图像中器官图像的图像特征向量，Fd表示标准正中矢状面的器官图像的特征向量，A表示动作向量，PID()表示自适应PID控制器。
5.根据权利要求4所述的早孕期胎儿超声自主扫查方法，其特征在于，所述机械臂带动超声探头的动作向量A’或动作向量A是基于所述距离决定，具体为，基于所述距离得到当前早孕期胎儿超声图像所处切面的图像质量评分，当质量评分低于阈值，则输出机械臂带动超声探头的动作向量A’；当质量评分大于或等于阈值，则输出机械臂带动超声探头的动作向量A。
6.根据权利要求1所述的早孕期胎儿超声自主扫查方法，其特征在于，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行插值，所述插值公式如下：
其中，与/>分别为机械臂的期望位置与期望姿态；/>与/>分别为当前机械臂的位置与姿态；/>与/>分别为下一时刻机械臂的期望位置与期望姿态，即插值结果；/>表示插值比例；/>表示/>与/>之间的姿态夹角。
7.根据权利要求1所述的早孕期胎儿超声自主扫查方法，其特征在于，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行位置约束和/或姿态约束，所述位置约束是将机械臂末端超声探头的运动空间约束在可控范围内；所述姿态约束是将机械臂末端超声探头的最大偏转角约束在可控范围内。
8.根据权利要求7所述的早孕期胎儿超声自主扫查方法，其特征在于，所述偏转角为TZ’向量与BZ向量之间的夹角，
偏转角的计算公式为：
其中，=(0, 0, 1)T表示BZ方向的单位向量，/>表示 TZ’方向的单位向量在BZ坐标系的坐标表示；
当上述偏转角大于阈值时，需要对机械臂的期望姿态进行约束，具体为：
(a) 计算在BX-BY平面内的投影长度/>；
(b) 计算在BX-BY平面内的投影长度/>；
(c) 那么在BX方向的分量/> = /> * />/ />, 在BY方向的分量 = /> * />/ />, 在BZ方向的分量
(d) 根据计算得到的以及欧拉角与旋转矩阵的转换关系，可以计算得到满足约束的旋转矩阵；
其中，表示期望姿态矩阵计算得到的TZ’方向的单位向量在BX-BY-BZ坐标系的坐标表示，/>表示最大偏转角/>所对应的TZ’方向的单位向量在BX-BY-BZ坐标系的坐标表示，TX-TY-TZ为机械臂末端工具坐标系，BX-BY-BZ为机械臂基坐标系。
9.根据权利要求3所述的早孕期胎儿超声自主扫查方法，其特征在于，所述自主扫查方法还包括对所述机械臂带动超声探头的动作向量进行柔顺力控制，所述柔顺力控制为输入期望的接触力r与机械臂上六维力传感器采集的当前实际力f，经过自适应PID控制器调整输出机械臂的控制量u。
10.根据权利要求1所述的早孕期胎儿超声自主扫查方法，其特征在于，所述胎儿关键解剖器官包括胎儿下颌与胸部前方的羊水暗区和/或下列器官中的一种或几种：鼻前皮肤、鼻骨、上腭、间脑、中脑、外生殖器。
11.一种早孕期胎儿超声自主扫查系统，其特征在于，所述系统包括：
图像获取模块，用于获取超声探头采集的当前早孕期胎儿超声图像；
图像分割模块，用于从所述超声图像中分割得到含有胎儿关键解剖器官的分割图像；
距离计算模块，基于所述胎儿关键解剖器官计算当前早孕期胎儿超声图像所处切面到标准正中矢状面的距离；
机器臂运动控制模块，基于所述距离输出机械臂带动超声探头的动作向量。
12.一种早孕期胎儿超声自主扫查设备，其特征在于，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用程序指令，当程序指令被执行时实现权利要求1-10任意一项所述的早孕期胎儿超声自主扫查方法步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的早孕期胎儿超声自主扫查方法步骤。
CN202310936504.3A 2023-07-28 2023-07-28 一种早孕期胎儿超声自主扫查方法、系统及设备 Active CN116687452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310936504.3A CN116687452B (zh) 2023-07-28 2023-07-28 一种早孕期胎儿超声自主扫查方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310936504.3A CN116687452B (zh) 2023-07-28 2023-07-28 一种早孕期胎儿超声自主扫查方法、系统及设备

Publications (2)

Publication Number Publication Date
CN116687452A true CN116687452A (zh) 2023-09-05
CN116687452B CN116687452B (zh) 2023-11-03

Family

ID=87826004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310936504.3A Active CN116687452B (zh) 2023-07-28 2023-07-28 一种早孕期胎儿超声自主扫查方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116687452B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074280A1 (en) * 2007-09-18 2009-03-19 Siemens Corporate Research, Inc. Automated Detection of Planes From Three-Dimensional Echocardiographic Data
CN106456084A (zh) * 2014-06-18 2017-02-22 皇家飞利浦有限公司 超声成像装置
CN109074671A (zh) * 2017-04-26 2018-12-21 深圳迈瑞生物医疗电子股份有限公司 一种图像数据调节方法及设备
CN109069119A (zh) * 2016-04-26 2018-12-21 皇家飞利浦有限公司 用于超声胎儿成像的3d图像合成
CN109330626A (zh) * 2018-11-16 2019-02-15 中聚科技股份有限公司 一种自适应调节超声探头位置的装置及方法
US20190209130A1 (en) * 2016-05-16 2019-07-11 Bk Medical Holding Company, Inc. Real-Time Sagittal Plane Navigation in Ultrasound Imaging
CN113520458A (zh) * 2021-07-12 2021-10-22 逸超科技(北京)有限公司 一种用于超声诊断设备的梯形扩展成像方法和设备
CN115376205A (zh) * 2022-07-25 2022-11-22 武汉库柏特科技有限公司 超声扫描机器人控制方法、装置、设备及存储介质
WO2022252430A1 (zh) * 2021-06-04 2022-12-08 山东建筑大学 一种高空挂拆接地线作业车的机械臂轨迹规划控制系统
CN115890749A (zh) * 2022-11-11 2023-04-04 中山大学 Rcm约束下的内窥镜机器人视觉伺服与优化控制方法、系统及机器人
CN116236227A (zh) * 2023-04-07 2023-06-09 武汉库柏特科技有限公司 一种机器人超声探头控制方法、系统、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090074280A1 (en) * 2007-09-18 2009-03-19 Siemens Corporate Research, Inc. Automated Detection of Planes From Three-Dimensional Echocardiographic Data
CN106456084A (zh) * 2014-06-18 2017-02-22 皇家飞利浦有限公司 超声成像装置
CN109069119A (zh) * 2016-04-26 2018-12-21 皇家飞利浦有限公司 用于超声胎儿成像的3d图像合成
US20190209130A1 (en) * 2016-05-16 2019-07-11 Bk Medical Holding Company, Inc. Real-Time Sagittal Plane Navigation in Ultrasound Imaging
CN109074671A (zh) * 2017-04-26 2018-12-21 深圳迈瑞生物医疗电子股份有限公司 一种图像数据调节方法及设备
CN109330626A (zh) * 2018-11-16 2019-02-15 中聚科技股份有限公司 一种自适应调节超声探头位置的装置及方法
WO2022252430A1 (zh) * 2021-06-04 2022-12-08 山东建筑大学 一种高空挂拆接地线作业车的机械臂轨迹规划控制系统
CN113520458A (zh) * 2021-07-12 2021-10-22 逸超科技(北京)有限公司 一种用于超声诊断设备的梯形扩展成像方法和设备
CN115376205A (zh) * 2022-07-25 2022-11-22 武汉库柏特科技有限公司 超声扫描机器人控制方法、装置、设备及存储介质
CN115890749A (zh) * 2022-11-11 2023-04-04 中山大学 Rcm约束下的内窥镜机器人视觉伺服与优化控制方法、系统及机器人
CN116236227A (zh) * 2023-04-07 2023-06-09 武汉库柏特科技有限公司 一种机器人超声探头控制方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN116687452B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
Droste et al. Automatic probe movement guidance for freehand obstetric ultrasound
Chatelain et al. Confidence-driven control of an ultrasound probe
US8908944B2 (en) Information processing apparatus, information processing method, and program
EP1861016B1 (en) Method for acquiring and generating standardized operator independent ultrasound images of fetal organs
JP5335280B2 (ja) 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
CN112040876A (zh) 自适应超声扫描
EP2506215B1 (en) Information processing apparatus, imaging system, information processing method, and program causing computer to execute information processing
CN112270993B (zh) 一种以诊断结果为反馈的超声机器人在线决策方法及系统
CN112151169B (zh) 一种仿人操作的超声机器人自主扫描方法及系统
JP7204106B2 (ja) 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置
CN107427279A (zh) 使用具有用户控制的心脏模型腔室的心脏功能的超声诊断
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
CN112998749B (zh) 一种基于视觉伺服的自动超声检查系统
CN117279573A (zh) 机器人化成像系统
US20220273267A1 (en) Ultrasonic imaging method and ultrasonic imaging system
CN115546287A (zh) 经食管超声心动图的处理方法、系统、终端设备和介质
CN111820948B (zh) 胎儿生长参数测量方法、系统及超声设备
Al-Zogbi et al. Autonomous robotic point-of-care ultrasound imaging for monitoring of COVID-19–induced pulmonary diseases
CN112132805B (zh) 一种基于人体特征的超声机器人状态归一化方法及系统
CN113057677B (zh) 超声和ct图像融合的心脏影像建模方法、系统及设备
CN116687452B (zh) 一种早孕期胎儿超声自主扫查方法、系统及设备
WO2023167830A1 (en) Autonomous robotic point of care ultrasound imaging
WO2022059539A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
Huang et al. Robot-Assisted Deep Venous Thrombosis Ultrasound Examination Using Virtual Fixture
Li et al. A virtual scanning framework for robotic spinal sonography with automatic real-time recognition of standard views

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant