CN112568935A - 基于三维追踪相机的三维超声成像方法和系统 - Google Patents

基于三维追踪相机的三维超声成像方法和系统 Download PDF

Info

Publication number
CN112568935A
CN112568935A CN201911125286.5A CN201911125286A CN112568935A CN 112568935 A CN112568935 A CN 112568935A CN 201911125286 A CN201911125286 A CN 201911125286A CN 112568935 A CN112568935 A CN 112568935A
Authority
CN
China
Prior art keywords
dimensional
space information
ultrasonic
initial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911125286.5A
Other languages
English (en)
Other versions
CN112568935B (zh
Inventor
郑永平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefield Medical Imaging Ltd
Original Assignee
Telefield Medical Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefield Medical Imaging Ltd filed Critical Telefield Medical Imaging Ltd
Priority to AU2020355865A priority Critical patent/AU2020355865A1/en
Priority to CA3152758A priority patent/CA3152758A1/en
Priority to JP2022519263A priority patent/JP7375180B2/ja
Priority to PCT/CN2020/118249 priority patent/WO2021057993A1/zh
Priority to EP20869326.7A priority patent/EP4035603A4/en
Publication of CN112568935A publication Critical patent/CN112568935A/zh
Priority to US17/706,575 priority patent/US20220240897A1/en
Application granted granted Critical
Publication of CN112568935B publication Critical patent/CN112568935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种基于三维追踪相机的三维超声成像系统，包括：超声探头，用于对目标的感兴趣区域进行超声扫描；二维超声成像装置，用于基于超声扫描生成目标的感兴趣区域的二维超声图像；三维空间信息获取装置，与超声探头连接，用于获取超声探头的三维空间信息；三维重建模块，用于基于超声探头的三维空间信息和二维超声图像重建三维超声图像。本发明还涉及基于三维追踪相机的三维超声成像方法。本发明可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰。

Description

基于三维追踪相机的三维超声成像方法和系统
技术领域
本发明涉及三维超声成像领域，更具体地说，涉及一种基于三维追踪相机的三维超声成像方法和系统。
背景技术
自由臂(free-hand)三维成像，即由人手自由移动超声探头在目标物上作扫描，利用三维空间传感技术捕获超声探头的位置及方向信息。目前常用的三维空间传感技术包括空间参照物或信号及相应的探测器。举例来说，使用电磁发射器来发射电磁波作为参考信号，探测器根据电磁波场强的变化来判断探头的位置和方向变化。再比如，使用安放在探头表面的一个或多个的视觉标识物来作为参考物，并使用一个或多个环绕超声探头的摄像头来探测探头的位置及方向。
上述的三维空间传感技术各自存在着自身的优点与局限性。就电磁传感技术而言，其会受到周遭金属物体的干扰。而基于摄像头的传感系统通常体积庞大，费用高昂。到目前为止还没有自由臂三维超声成像系统可以在任何场合没有特定的参考物的情况下使用。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种抗干扰能力强、成本低、体积小、并且可以完全不需要特定参考物的任何环境下使用的基于三维追踪相机的三维超声成像方法和系统。
本发明解决其技术问题所采用的技术方案是：构造一种基于三维追踪相机的三维超声成像系统，包括：
超声探头，用于对目标的感兴趣区域进行超声扫描；
二维超声成像装置，用于基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
三维空间信息获取装置，与所述超声探头连接，用于获取所述超声探头的三维空间信息；
三维重建模块，用于基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。
在本发明的基于三维追踪相机的三维超声成像系统中，所述三维空间信息获取装置包括三维追踪相机和处理模块，所述三维追踪相机用于获取环境图像，并基于所述环境图像生成初始三维空间信息；所述处理模块用于将所述初始三维空间信息转换为所述超声探头的三维空间信息。
在本发明的基于三维追踪相机的三维超声成像系统中，所述三维空间信息获取装置包括多个所述三维追踪相机，多个所述三维追踪相机安装于所述超声探头的不同部位以获取多组初始三维空间信息；所述处理模块根据获取的多组初始三维空间信息生成所述超声探头的三维空间信息。
在本发明的基于三维追踪相机的三维超声成像系统中，所述三维空间信息获取装置还包括修正模块，用于基于测量到的所述初始三维空间信息的变化与所述二维超声图像的内容的变化对所述初始三维空间信息和所述二维超声图像在三维空间中的位置进行修正。
在本发明的基于三维追踪相机的三维超声成像系统中，在所述初始三维空间信息的变化大于三维空间信息变化阈值且所述二维超声图像的内容的变化小于二维超声图像内容变化阈值时，所述修正模块对所述初始三维空间信息进行修正。
在本发明的基于三维追踪相机的三维超声成像系统中，在所述初始三维空间信息的变化小于三维空间信息变化阈值且所述二维超声图像的内容的变化大于二维超声图像内容变化阈值时，所述修正模块对所述二维超声图像在所述三维空间中的位置进行修正。
在本发明的基于三维追踪相机的三维超声成像系统中，还包括连接所述三维空间信息获取装置和所述超声探头的安装模块，所述安装模块包括供操作者握住的手柄。
在本发明的基于三维追踪相机的三维超声成像系统中，还包括数据集成及通信装置，用于将所述二维超声成像装置得到的二维超声图像和所述三维空间信息获取装置得到的三维空间信息进行整合并通过有线或无线的模式传输给三维重建模块。
根据本发明的另一方面，还提供一种基于三维追踪相机的三维超声成像方法，包括：
S1、采用超声探头对目标的感兴趣区域进行超声扫描；
S2、基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
S3、由三维空间信息获取装置获取所述超声探头的三维空间信息；
S4、基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。
在本发明提供的基于三维追踪相机的三维超声成像方法中，步骤S3包括：
S31、由所述三维空间信息获取装置的三维追踪相机获取环境图像；
S32、基于所述环境图像生成初始三维空间信息；
S33、对所述初始三维空间信息进行转换，生成所述探头的三维空间信息。
在本发明提供的基于三维追踪相机的三维超声成像方法中，在步骤S31中，使用多个安装于所述超声探头的不同部位的所述三维追踪相机获取多个环境图像；在步骤S32中，基于多个环境图像生成多组初始三维空间信息；在步骤S33中，对多组初始三维空间信息进行转换得到所述超声探头的三维空间信息。
在本发明提供的基于三维追踪相机的三维超声成像方法中，在步骤S32和S33之间还包括：
基于测量到的所述初始三维空间信息的变化与所述二维超声图像的内容的变化对所述初始三维空间信息和所述二维超声图像在三维空间中的位置进行修正。
在本发明提供的基于三维追踪相机的三维超声成像方法中，在所述初始三维空间信息的变化大于三维空间信息变化阈值且所述二维超声图像的内容的变化小于二维超声图像内容变化阈值时，所述修正模块对所述初始三维空间信息进行修正。
在本发明提供的基于三维追踪相机的三维超声成像方法中，在所述初始三维空间信息的变化小于三维空间信息变化阈值且所述二维超声图像的内容的变化大于二维超声图像内容变化阈值时，所述修正模块对所述二维超声图像在所述三维空间中的位置进行修正。
实施本发明的基于三维追踪相机的三维超声成像系统和方法，通过采用三维追踪相机获取超声探头的三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，并且可以有效避免干扰，而且可以完全不需要特定的参考物。进一步地，可以通过比较测量到的三维空间信息的变化和有超声探头采集到有关目标的图像信息的变化，从而可以修正两者各自的突然变化造成的误差。再进一步地，通过设置多追踪相机的方式，进一步提升三维超声图像的质量。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的基于三维追踪相机的三维超声成像系统的第一优选实施例的原理示意图；
图2是本发明的基于三维追踪相机的三维超声成像系统的第一优选实施例的系统示意图；
图3是本发明的基于三维光追踪相机的三维超声成像系统在对脊柱扫描示意图；
图4是本发明的基于三维追踪相机的三维超声成像方法的第一优选实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
传统的三维空间定位仪通常都是需要有特别参考物获取准确的三维空间信息。而追踪相机是结合立体摄像头通过检测周边环境的三维图像来对自身在三维空间中的位置和角度进行定位，比如传感器与英特尔的Realsense T265。追踪相机除了光学追踪外，还可以利用内置的运动传感器(加速度计、角加速度计、磁场计等)对三维空间信息进行进一步的修正。这样，追踪相机可以在没有特别参考物的情况下，可以获取其自身的准确的三维空间信息。
本发明的发明构思是将超声探头和三维追踪相机结合在一起，采用由三维追踪相机提供的超声探头的三维空间信息和二维超声成像装置提供的二维超声影像信息进行三维图像重建。本发明进一步的构想是可以通过比较测量到的三维空间信息的变化和有超声探头采集到有关目标的图像信息的变化，从而可以修正两者各自的突然变化造成的误差。再进一步地，通过设置多追踪相机的方式，进一步提升三维超声图像的质量。
图1是本发明的基于三维追踪相机的三维超声成像系统的第一优选实施例的原理示意图。图2是本发明的基于三维追踪相机的三维超声成像系统的第一优选实施例的系统示意图。如图1和2所示，本发明的基于三维追踪相机的三维超声成像系统包括超声探头10、二维超声成像装置15、三维空间信息获取装置12和三维重建模块16。具体地，二维超声成像装置15可以内置在超声探头10内或外置并与超声探头10有线或无线连接，基于超声探头10扫描生成目标的感兴趣区域的二维超声图像；三维空间信息获取装置12与所述超声探头10通信连接，获取超声探头的三维空间信息；三维重建模块16与二维超声成像装置15和三维空间信息获取装置12通信连接，基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。
具体地，在本发明一实施例中，所述二维超声成像装置15与所述超声探头10通信连接或内置于超声探头内，从而基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像。进一步地，该感兴趣区域可以是所述目标的至少一部分，或者其整体。本领域技术人员可以理解的是，可以采用本领域中已知的任何超声探头、二维超声成像装置构造本发明的超声探头10、二维超声成像装置15，本发明并不以此为限。
具体地，在本发明一实施例中，三维空间信息获取装置12包括三维追踪相机13和与三维追踪相机结合的处理模块17，通过三维追踪相机获取环境图像，并基于所述环境图像生成初始三维空间信息，其中，初始三维信息是指三维追踪相机自身的三维空间信息，本领域技术人员可以知悉的是，基于环境图像生成三维追踪相机自身的三维空间信息为三维追踪相机自带的功能，在此就不再累述了；在获取了三维追踪相机的三维空间信息后，通过处理模块对初始三维空间信息进行空间转换以真实反映超声探头的三维空间信息，并将其转换的所述超声探头的三维空间信息以有线或无线形式将所述超声探头的三维空间信息传输给三维重建模块，本领域技术人员可以知悉的是，可以通过本领域已知的空间变化方法将三维追踪相机的三维空间信息转换为超声探头的三维空间信息，本发明在此不再赘述。追踪相机与处理模的结合可以使得本发明的三维超声成像系统更加细小、方便使用。进一步地，处理模块在获取三维追踪相机的初始三维空间信息后，还对其进行预处理，包括平滑处理和/或降噪处理。本领域技术人员知悉，可以采用本领域中的任何追踪相机，包括但不限于英特尔的Realsense T265追踪相机，以及未来发展出来的类似的设备。
进一步地，在本发明另一实施例中，三维空间信息获取装置12可以包括多个三维追踪相机，通过将多个三维追踪相机安装在超声探头10或安装模块11的不同地方或朝不同方向，就可以得到多组初始三维空间信息；处理模块根据多组初始三维空间信息来生成超声探头的三维空间信息，以提高所生成的超声探头的三维空间信息的准确性。本领域技术人员可以理解的是，可以通过多种方法对多组初始三维空间信息进行处理，包括最简单的平均算法或其他已知的方法，本发明并不以此为限。
具体地，在本发明一实施例中，三维重建模块16通过数据集成及通信装置(图中未示出)与二维超声成像装置15和三维空间信息获取装置12通信连接。数据集成及通信装置将所述二维超声成像装置得到的二维超声图像和所述三维空间信息获取装置得到的三维空间信息进行整合并通过有线或无线的模式传输给三维重建模块。三维重建模块基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。本领域技术人员知悉，可以采用本领域中已知的任何重建方法实现三维超声图像的重建，在此就不再累述了。
具体地，在本发明一实施例中，三维超声成像系统还包括连接所述三维空间信息获取装置和所述超声探头的安装模块11，所述安装模块11包括供操作者握住的手柄14。所述超声探头10通过安装模块11与追踪相机相连并一起在三维空间中移动，追踪相机通过立体相机观测周边的图像并不断比较，再结合其他传感器的信息得到其自身的初始三维空间信息，经处理模块处理后从而可以得知超声探头的三维空间信息。图3是所述超声探头在对脊柱21作三维扫描，由操作者的手22握住连接安装模块的手柄来移动超声探头。
进一步地，在本发明一实施例中，三维空间信息获取装置还包括修正模块(图中未示出)，用于基于测量到的所述初始三维空间信息的变化与所述二维超声图像的内容的变化对所述初始三维空间信息和所述二维超声图像在三维空间中的位置进行修正。
进一步地，在初始三维空间信息的变化大于三维空间信息变化阈值且所述二维超声图像的内容的变化小于二维超声图像内容变化阈值时，则对初始三维空间信息进行修正。修正模块对相邻两次或特定时间内获取的初始三维空间信息的变化与二维超声图像的内容的变化进行比较，根据经验超声探头的移动在实际应用中是不会突然有大的变化，因此，所得到的二维超声图像也就不会突然变化，所以，若二维超声成像装置得到的二维超声图像的内容的变化非常小，但三维追踪相机测量到的初始三维空间信息的变化却很大，即表示测量到的三维追踪相机的三维空间信息有误差，需要对测量到的初始三维空间信息进行修正。在正常情况下如果超声探头在进行对目标内的感兴趣的区域扫描时突然移动，那么二维超声图像的内容也会突然地变化。所以，如果测量到的三维空间信息有大的变化，但二维超声图像并没有大的变化(实际经验是被扫描目标通常是不动或动的很少很慢)，这时我们就知道测量到的三维空间信息有误，从而需要修正。具体的修正方法包括如下几种：1)可以用已经测量到的并且判断为两个或以上的正确的三维空间信息来对判断为需要修正的三维空间信息值进行外插值；2)也可以进一步等到得到下一个或多个正确的三维空间信息值获得后与前一个或多个正确的三维空间信息值进行内插值；3)也可以等到扫描完成后，利用所有判断为正确的三维空间信息值进行三维曲线拟合从而得到那些判断为需要修正的三维空间信息值。本领域技术人员还可以采用其它本领域中已知的任何修正方法实现三维空间信息的修正。
进一步地，在所述初始三维空间信息的变化小于三维空间信息变化阈值且所述二维超声图像的内容的变化大于二维超声图像内容变化阈值时，所述修正模块对所述二维超声图像在所述三维空间中的位置进行修正。根据经验，如果被扫描对象发生移动，则二维超声图像的内容会发生较大变化，因此，若测量到的初始三维空间信息的变化非常小，但所述二维超声图像的内容的变化却很大，即表示所述的目标的感兴趣区域在超声扫描过程中移动了，根据所述初始三维空间信息对所述二维超声图像在三维空间中的位置进行修正。具体的修正方法包括如下几种：1)可以用已经测量到的并且判断为两个或以上的正确的三维空间信息来对判断为需要修正的三维空间信息值进行外插值；2)也可以进一步等到得到下一个或多个正确的三维空间信息值获得后与前一个或多个正确的三维空间信息值进行内插值；3)也可以等到扫描完成后，利用所有判断为正确的三维空间信息值进行三维曲线拟合从而得到那些判断为需要修正的三维空间信息值。本领域技术人员还可以采用其它本领域中已知的任何修正方法实现三维空间信息的修正。
实施本发明的基于三维追踪相机的三维超声成像系统，通过采用三维追踪相机获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，可以有效避免干扰，而且在扫描过程中不需要特定的参考物。
图4是本发明的基于三维光追踪相机的三维超声成像方法的第一优选实施例的流程图。如图4所示，基于三维光追踪相机的三维超声成像方法包括以下步骤：
S1、采用超声探头对目标的感兴趣区域进行超声扫描；
具体地，在本发明一实施例中，该感兴趣区域可以是所述目标的至少一部分，或者其整体。本领域技术人员知悉，所述超声探头可以采用不同的频率、宽度、及形状。
S2、基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
具体地，在本发明一实施例中，由与所述超声探头10通信连接或内置于超声探头内的二维超声成像装置15，基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像。
S3、由三维空间信息获取装置获取所述超声探头的三维空间信息；
具体地，在本发明一实施例中，由所述的三维空间信息获取装置获取其自身的三维空间信息，并得到与其一起移动的超声探头的三维空间信息。因此，步骤S3包括：
S31、由所述三维空间信息获取装置的三维追踪相机获取环境图像；
S32、基于所述环境图像生成初始三维空间信息；
S33、对所述初始三维空间信息进行转换，生成所述探头的三维空间信息。
具体地，在本发明一实施例中，初始三维信息是指三维追踪相机自身的三维空间信息，本领域技术人员可以知悉的是，基于环境图像生成三维追踪相机自身的三维空间信息为三维追踪相机自带的功能，在此就不再累述了；在获取了三维追踪相机的三维空间信息后，对初始三维空间信息进行空间转换以真实反映超声探头的三维空间信息，并将其转换的所述超声探头的三维空间信息以有线或无线形式将所述超声探头的三维空间信息传输给三维重建模块，本领域技术人员可以知悉的是，可以通过本领域已知的空间变化方法将三维追踪相机的三维空间信息转换为超声探头的三维空间信息，本发明在此不再赘述。
进一步地，在获取三维追踪相机的初始三维空间信息后，还对其进行预处理，包括平滑处理和/或降噪处理。
进一步地，在本发明另一实施例中，三维空间信息获取装置12可以包括多个三维追踪相机，通过将多个三维追踪相机安装在超声探头10或安装模块11的不同地方或朝不同方向，就可以得到多组初始三维空间信息。因此，在本发明另一实施例中，在步骤S31中，使用多个安装于所述超声探头的不同部位的所述三维追踪相机获取多个环境图像；在步骤S32中，基于多个环境图像生成多组初始三维空间信息；在步骤S33中，对多组初始三维空间信息进行转换得到所述超声探头的三维空间信息。根据多组初始三维空间信息来生成超声探头的三维空间信息，以提高所生成的超声探头的三维空间信息的准确性。本领域技术人员可以理解的是，可以通过多种方法对多组初始三维空间信息进行处理，包括最简单的平均算法或其他已知的方法，本发明并不以此为限。
进一步地，在本发明又一实施例中，在步骤S32和S33之间还包括：
基于测量到的所述初始三维空间信息的变化与所述二维超声图像的内容的变化对所述初始三维空间信息和所述二维超声图像在三维空间中的位置进行修正。
具体地，在所述初始三维空间信息的变化大于三维空间信息变化阈值且所述二维超声图像的内容的变化小于二维超声图像内容变化阈值时，对所述初始三维空间信息进行修正。修正模块对相邻两次或特定时间内获取的初始三维空间信息的变化与二维超声图像的内容的变化进行比较，根据经验超声探头的移动在实际应用中是不会突然有大的变化，因此，所得到的二维超声图像也就不会突然变化，所以，若二维超声成像装置得到的二维超声图像的内容的变化非常小，但三维追踪相机测量到的初始三维空间信息的变化却很大，即表示测量到的三维追踪相机的三维空间信息有误差，需要对测量到的初始三维空间信息进行修正。在正常情况下如果超声探头在进行对目标内的感兴趣的区域扫描时突然移动，那么二维超声图像的内容也会突然地变化。所以，如果测量到的三维空间信息有大的变化，但二维超声图像并没有大的变化(实际经验是被扫描目标通常是不动或动的很少很慢)，这时我们就知道测量到的三维空间信息有误，从而需要修正。本领域技术人员知悉的是，可以采用本领域中已知的任何修正方法实现三维空间信息的修正，最简单的方法是将这一时刻的三维空间信息由其他时间点的数据推断出，在此就不再累述了。
进一步地，在所述初始三维空间信息的变化小于三维空间信息变化阈值且所述二维超声图像的内容的变化大于二维超声图像内容变化阈值时，所述修正模块对所述二维超声图像在所述三维空间中的位置进行修正。根据经验，如果被扫描对象发生移动，则二维超声图像的内容会发生较大变化，因此，若测量到的初始三维空间信息的变化非常小，但所述二维超声图像的内容的变化却很大，即表示所述的目标的感兴趣区域在超声扫描过程中移动了，根据所述初始三维空间信息对所述二维超声图像在三维空间中的位置进行修正。
S4、基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。
具体地，在本发明一实施例中，可以采用本领域中已知的任何重建方法实现三维超声图像的重建，在此就不再累述了。
实施本发明的基于三维追踪相机的三维超声成像方法，通过采用三维光追踪相机获取三维空间信息，可以灵活、低成本和小体积的方式重建三维超声图像，可以有效避免干扰，而且不需要特定的参考物。
本领域技术人员进一步知悉，本发明的基于三维追踪相机的三维超声成像系统和方法可以互为应证和说明，其中各自记载的功能和步骤都可以彼此组合，结合或者替换。
以上还借助于说明某些重要功能的功能模块对本发明进行了描述。为了描述的方便，这些功能组成模块的界限在此处被专门定义。当这些重要的功能被适当地实现时，变化其界限是允许的。类似地，流程图模块也在此处被专门定义来说明某些重要的功能，为广泛应用，流程图模块的界限和顺序可以被另外定义，只要仍能实现这些重要功能。上述功能模块、流程图功能模块的界限及顺序的变化仍应被视为在权利要求保护范围内。
本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种基于三维追踪相机的三维超声成像系统，其特征在于，包括：
超声探头，用于对目标的感兴趣区域进行超声扫描；
二维超声成像装置，用于基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
三维空间信息获取装置，与所述超声探头连接，用于获取所述超声探头的三维空间信息；
三维重建模块，用于基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。
2.根据权利要求1所述的基于三维追踪相机的三维超声成像系统，其特征在于，所述三维空间信息获取装置包括三维追踪相机和处理模块，所述三维追踪相机用于获取环境图像，并基于所述环境图像生成初始三维空间信息；所述处理模块用于将所述初始三维空间信息转换为所述超声探头的三维空间信息。
3.根据权利要求2所述的基于三维追踪相机的三维超声成像系统，其特征在于，所述三维空间信息获取装置包括多个所述三维追踪相机，多个所述三维追踪相机安装于所述超声探头的不同部位以获取多组初始三维空间信息；所述处理模块根据获取的多组初始三维空间信息生成所述超声探头的三维空间信息。
4.根据权利要求2所述的基于三维追踪相机的三维超声成像系统，其特征在于，所述三维空间信息获取装置还包括修正模块，用于基于测量到的所述初始三维空间信息的变化与所述二维超声图像的内容的变化对所述初始三维空间信息和所述二维超声图像在三维空间中的位置进行修正。
5.根据权利要求4所述的基于三维追踪相机的三维超声成像系统，其特征在于，在所述初始三维空间信息的变化大于三维空间信息变化阈值且所述二维超声图像的内容的变化小于二维超声图像内容变化阈值时，所述修正模块对所述初始三维空间信息进行修正。
6.根据权利要求4所述的基于三维追踪相机的三维超声成像系统，其特征在于，在所述初始三维空间信息的变化小于三维空间信息变化阈值且所述二维超声图像的内容的变化大于二维超声图像内容变化阈值时，所述修正模块对所述二维超声图像在所述三维空间中的位置进行修正。
7.根据权利要求1所述基于三维追踪相机的三维超声成像系统，其特征在于，还包括连接所述三维空间信息获取装置和所述超声探头的安装模块，所述安装模块包括供操作者握住的手柄。
8.根据权利要求1所述基于三维追踪相机的三维超声成像系统，其特征在于，还包括数据集成及通信装置，用于将所述二维超声成像装置得到的二维超声图像和所述三维空间信息获取装置得到的三维空间信息进行整合并通过有线或无线的模式传输给三维重建模块。
9.一种基于三维追踪相机的三维超声成像方法，其特征在于，包括：
S1、采用超声探头对目标的感兴趣区域进行超声扫描；
S2、基于所述超声扫描生成所述目标的感兴趣区域的二维超声图像；
S3、由三维空间信息获取装置获取所述超声探头的三维空间信息；
S4、基于所述超声探头的三维空间信息和所述二维超声图像重建三维超声图像。
10.根据权利要求9所述的基于三维追踪相机的三维超声成像方法，其特征在于，步骤S3包括：
S31、由所述三维空间信息获取装置的三维追踪相机获取环境图像；
S32、基于所述环境图像生成初始三维空间信息；
S33、对所述初始三维空间信息进行转换，生成所述探头的三维空间信息。
11.根据权利要求10所述的基于三维追踪相机的三维超声成像方法，其特征在于，在步骤S31中，使用多个安装于所述超声探头的不同部位的所述三维追踪相机获取多个环境图像；在步骤S32中，基于多个环境图像生成多组初始三维空间信息；在步骤S33中，对多组初始三维空间信息进行转换得到所述超声探头的三维空间信息。
12.根据权利要求10所述的基于三维追踪相机的三维超声成像方法，其特征在于，在步骤S32和S33之间还包括：
基于测量到的所述初始三维空间信息的变化与所述二维超声图像的内容的变化对所述初始三维空间信息和所述二维超声图像在三维空间中的位置进行修正。
13.根据权利要求12所述的基于三维追踪相机的三维超声成像方法，其特征在于，在所述初始三维空间信息的变化大于三维空间信息变化阈值且所述二维超声图像的内容的变化小于二维超声图像内容变化阈值时，所述修正模块对所述初始三维空间信息进行修正。
14.根据权利要求12所述的基于三维追踪相机的三维超声成像方法，其特征在于，在所述初始三维空间信息的变化小于三维空间信息变化阈值且所述二维超声图像的内容的变化大于二维超声图像内容变化阈值时，所述修正模块对所述二维超声图像在所述三维空间中的位置进行修正。
CN201911125286.5A 2019-09-29 2019-11-18 基于三维追踪相机的三维超声成像方法和系统 Active CN112568935B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AU2020355865A AU2020355865A1 (en) 2019-09-29 2020-09-28 Three-dimensional ultrasound imaging method and system based on three-dimensional tracking camera
CA3152758A CA3152758A1 (en) 2019-09-29 2020-09-28 Three-dimensional ultrasound imaging method and system based on three-dimensional tracking camera
JP2022519263A JP7375180B2 (ja) 2019-09-29 2020-09-28 ３次元トラッキングカメラをベースとする３次元超音波イメージング方法及びシステム
PCT/CN2020/118249 WO2021057993A1 (zh) 2019-09-29 2020-09-28 基于三维追踪相机的三维超声成像方法和系统
EP20869326.7A EP4035603A4 (en) 2019-09-29 2020-09-28 THREE-DIMENSIONAL ULTRASOUND IMAGING METHOD AND SYSTEM BASED ON A THREE-DIMENSIONAL TRACKING CAMERA
US17/706,575 US20220240897A1 (en) 2019-09-29 2022-03-28 Three-dimensional ultrasound imaging method and system based on three-dimensional tracking camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910933434X 2019-09-29
CN201910933434 2019-09-29

Publications (2)

Publication Number Publication Date
CN112568935A true CN112568935A (zh) 2021-03-30
CN112568935B CN112568935B (zh) 2024-06-25

Family

ID=75116998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911125286.5A Active CN112568935B (zh) 2019-09-29 2019-11-18 基于三维追踪相机的三维超声成像方法和系统

Country Status (7)

Country Link
US (1) US20220240897A1 (zh)
EP (1) EP4035603A4 (zh)
JP (1) JP7375180B2 (zh)
CN (1) CN112568935B (zh)
AU (1) AU2020355865A1 (zh)
CA (1) CA3152758A1 (zh)
WO (1) WO2021057993A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114533111A (zh) * 2022-01-12 2022-05-27 电子科技大学 一种基于惯性导航系统的三维超声重建系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267454A1 (en) * 2007-04-26 2008-10-30 Canon Kabushiki Kaisha Measurement apparatus and control method
CN101569541A (zh) * 2008-04-29 2009-11-04 香港理工大学 三维超声波成像系统
US20090306509A1 (en) * 2005-03-30 2009-12-10 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors
US20110172526A1 (en) * 2010-01-12 2011-07-14 Martin Lachaine Feature Tracking Using Ultrasound
US20120277588A1 (en) * 2011-04-26 2012-11-01 General Electric Company Systems and methods for fusing sensor and image data for three-dimensional volume reconstruction
CN103750860A (zh) * 2014-01-20 2014-04-30 华南理工大学 一种无线三维超声成像方法和装置
JP2017213357A (ja) * 2016-05-26 2017-12-07 東芝メディカルシステムズ株式会社 超音波診断装置及び医用画像処理装置
CN107635468A (zh) * 2015-03-18 2018-01-26 韩国威泰有限公司 用于重建医学图像的设备和方法
CN109223030A (zh) * 2017-07-11 2019-01-18 中慧医学成像有限公司 一种掌上式三维超声成像系统和方法
CN109259793A (zh) * 2018-07-11 2019-01-25 浙江京新术派医疗科技有限公司 超声校准系统、方法、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451928B2 (en) * 2006-09-13 2016-09-27 Elekta Ltd. Incorporating internal anatomy in clinical radiotherapy setups
US10542962B2 (en) * 2009-07-10 2020-01-28 Elekta, LTD Adaptive radiotherapy treatment using ultrasound
JP2013164643A (ja) * 2012-02-09 2013-08-22 Honda Elesys Co Ltd 画像認識装置、画像認識方法および画像認識プログラム
EP3001219B1 (en) * 2013-08-20 2019-10-02 CureFab Technologies GmbH Optical tracking
US20150327841A1 (en) * 2014-05-13 2015-11-19 Kabushiki Kaisha Toshiba Tracking in ultrasound for imaging and user interface
JP6745998B2 (ja) * 2016-12-16 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 手術を誘導する画像を提供するシステム
CA3062330A1 (en) * 2017-05-11 2018-11-15 Verathon Inc. Probability map-based ultrasound scanning
CN109171808A (zh) * 2018-09-07 2019-01-11 东南大学 基于三维轮廓测量的三维超声成像系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090306509A1 (en) * 2005-03-30 2009-12-10 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors
US20080267454A1 (en) * 2007-04-26 2008-10-30 Canon Kabushiki Kaisha Measurement apparatus and control method
CN101569541A (zh) * 2008-04-29 2009-11-04 香港理工大学 三维超声波成像系统
US20110172526A1 (en) * 2010-01-12 2011-07-14 Martin Lachaine Feature Tracking Using Ultrasound
US20120277588A1 (en) * 2011-04-26 2012-11-01 General Electric Company Systems and methods for fusing sensor and image data for three-dimensional volume reconstruction
CN103750860A (zh) * 2014-01-20 2014-04-30 华南理工大学 一种无线三维超声成像方法和装置
CN107635468A (zh) * 2015-03-18 2018-01-26 韩国威泰有限公司 用于重建医学图像的设备和方法
JP2017213357A (ja) * 2016-05-26 2017-12-07 東芝メディカルシステムズ株式会社 超音波診断装置及び医用画像処理装置
CN109223030A (zh) * 2017-07-11 2019-01-18 中慧医学成像有限公司 一种掌上式三维超声成像系统和方法
CN109259793A (zh) * 2018-07-11 2019-01-25 浙江京新术派医疗科技有限公司 超声校准系统、方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114533111A (zh) * 2022-01-12 2022-05-27 电子科技大学 一种基于惯性导航系统的三维超声重建系统

Also Published As

Publication number Publication date
JP2022549698A (ja) 2022-11-28
CN112568935B (zh) 2024-06-25
US20220240897A1 (en) 2022-08-04
WO2021057993A1 (zh) 2021-04-01
EP4035603A4 (en) 2022-11-09
JP7375180B2 (ja) 2023-11-07
EP4035603A1 (en) 2022-08-03
AU2020355865A1 (en) 2022-05-19
CA3152758A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
CN111432733B (zh) 用于确定超声探头的运动的设备和方法
CN108403146B (zh) 基于多传感器信息融合的三维超声成像方法及装置
CN107831180B (zh) X射线原位成像方法及系统
KR101182999B1 (ko) 초음파 영상 처리를 수행하는 초음파 시스템 및 방법
CN111487320A (zh) 基于三维光学成像传感器的三维超声成像方法和系统
CN101352348B (zh) 考虑运动过程的患者测量数据拍摄方法及有关医疗设备
JP2004144557A (ja) ３次元視覚センサ
US20140285655A1 (en) Apparatus and method for measuring shape of underwater object
CN102772225A (zh) 图像处理装置、图像处理方法、图像处理系统和探测器
CN107811652B (zh) 自动调整参数的超声成像方法及系统
US20140290368A1 (en) Method and apparatus for remote position tracking of an industrial ultrasound imaging probe
JP2016121917A (ja) ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法
US20220240897A1 (en) Three-dimensional ultrasound imaging method and system based on three-dimensional tracking camera
CN114533111A (zh) 一种基于惯性导航系统的三维超声重建系统
CN109833055B (zh) 图像重建方法和装置
AU2018301579B2 (en) Imaging method for obtaining human skeleton
KR101941209B1 (ko) 인공지능 기반 독립형 자동 질환 진단 시스템 및 방법
JP2010217984A (ja) 像検出装置及び像検出方法
US20020114022A1 (en) Image input apparatus, recording medium and image synthesis method
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
US20190365358A1 (en) Ultrasonic imaging system, ultrasonic imaging device, ultrasonic imaging method, and image synthesizing program
CN115248446A (zh) 一种基于激光雷达的三维超声成像方法和系统
JP4225131B2 (ja) 磁界補正データ生成装置
KR20110057740A (ko) 움직임 가이드 정보를 제공하는 초음파 시스템 및 방법
KR102645254B1 (ko) 디블러링네트워크 학습방법, 모션블러 저감방법 및 로봇

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40048785

Country of ref document: HK

GR01 Patent grant