CN104574329B - 超声融合成像方法、超声融合成像导航系统 - Google Patents

超声融合成像方法、超声融合成像导航系统 Download PDF

Info

Publication number
CN104574329B
CN104574329B CN201310468271.5A CN201310468271A CN104574329B CN 104574329 B CN104574329 B CN 104574329B CN 201310468271 A CN201310468271 A CN 201310468271A CN 104574329 B CN104574329 B CN 104574329B
Authority
CN
China
Prior art keywords
frame
ultrasonoscopy
respiration
mrow
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310468271.5A
Other languages
English (en)
Other versions
CN104574329A (zh
Inventor
康锦刚
王广志
朱磊
张倩
丁辉
杨明雷
丛龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Shenzhen Mindray Bio Medical Electronics Co Ltd
Original Assignee
Tsinghua University
Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Shenzhen Mindray Bio Medical Electronics Co Ltd filed Critical Tsinghua University
Priority to CN201310468271.5A priority Critical patent/CN104574329B/zh
Priority to PCT/CN2014/074451 priority patent/WO2015051622A1/zh
Priority to EP14852089.3A priority patent/EP3056151B1/en
Publication of CN104574329A publication Critical patent/CN104574329A/zh
Priority to US15/094,821 priority patent/US10751030B2/en
Application granted granted Critical
Publication of CN104574329B publication Critical patent/CN104574329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Abstract

本申请涉及超声融合成像方法、超声融合成像导航系统。方法包括：选择步骤，根据输入的指令，从预先存储的至少一段超声视频数据选择至少一帧超声图像，超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与超声图像对应的位置指向信息；配准步骤，将选择出的至少一帧超声图像与另一模态图像进行配准，所述配准过程中使用所述至少一帧超声图像的位置指向信息；融合步骤，对配准后的超声图像和另一模态图像进行图像融合。不同于现有的基于实时超声的配准融合方法，本申请采用在配准前录制扫查目标对象的一段配准视频，然后选取一帧或多帧超声图像进行配准。

Description

超声融合成像方法、超声融合成像导航系统
技术领域
本申请涉及超声成像技术，尤其涉及一种用于将超声图像与预先获取的另一模态图像进行融合的方法、以及一种超声融合成像导航系统。
背景技术
在临床中对目标对象的成像可以使用一种以上的成像系统，从而让医务人员可获得多种模态的医学图像，例如CT(Computed Tomography，计算机断层扫描)图像、MR(Magnetic Resonance，磁共振)图像、超声图像等。超声融合成像导航的原理是通过空间定位装置(通常是绑定在探头上的磁定位传感器)，建立起实时的超声图像和提前获取的其它模态数据(如CT或MR图像)的空间对应关系，并将超声与对应另一模态数据切面叠加显示，达到两种图像的融合，实现两种图像对诊断和治疗过程的共同引导，充分发挥CT或MR高分辨率的优势和超声实时的特点，为临床医生提供更多的诊断信息，提高治疗效果。
在超声融合成像导航中，重要的一步是将超声图像与另一模态数据配准，其实质是，将超声图像中的点(或平面)在世界坐标系中的位置与另一模态数据中的点(或平面)在世界坐标系中的位置一一对应起来，精确获得目标点在世界坐标系中的位置对提高配准精度有很大影响。
目前的配准技术是基于实时超声，医护人员通过冻结当前帧的方式来获取用来提供配准用信息的超声图像，这种一帧一帧地对实时超声图像进行处理的操作方式已形成习惯。此外，医生为了获取某个呼吸深度下的特定切面的超声图像，经常需要病人很好地控制呼吸进行配合，特别是对于一些采用腹式呼吸的病人进行腹部脏器的融合时，呼吸运动造成的脏器位移、旋转及形变会造成很大的误差，因此需要病人例如在特定呼吸状态保持较长时间。这对于使用超声融合成像导航的医生和病人都提出了较高的要求，如果病人呼吸控制较差或者医生的操作经验不足，往往不能取得令人满意的效果，如导致配准精度不高，融合成像成功率下降，。目前用于消除呼吸影响的方法主要是靠医生人工判断呼吸相位或者加传感器进行简单的呼吸门控，然效果不佳。
发明内容
本申请提供用于将超声图像与预先获取的另一模态图像进行融合的方法、以及一种超声融合成像导航系统。
根据本申请的第一方面，本申请提供一种用于将超声图像与预先获取的另一模态图像进行融合的方法，包括：选择步骤，根据输入的指令，从预先存储的至少一段超声视频数据中选择至少一帧超声图像，所述超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与每一帧超声图像对应的位置指向信息，所述位置指向信息由在超声图像获取过程中固定于超声探头上的位置传感器根据感应的超声探头的移动状况而产生；配准步骤，将选择出的至少一帧超声图像与所述另一模态图像进行配准，所述配准过程中使用所述至少一帧超声图像的位置指向信息；融合步骤，对配准后的超声图像和另一模态图像进行图像融合。
一种实施例中，所述选择步骤中选择多帧超声图像；所述方法还包括：建立呼吸模型步骤，根据所述超声视频数据建立呼吸模型；呼吸校正步骤，在将选择出的多帧超声图像和另一模态图像进行配准之前和/或进行融合过程中，采用呼吸模型将所述多帧超声图像校正到同一个呼吸深度。
根据本申请的第二方面，本申请提供一种用于将超声图像与预先获取的另一模态图像进行融合的方法，包括：
选择步骤，从至少一段超声视频数据中选择多帧超声图像，所述超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与每一帧超声图像对应的位置指向信息，所述位置指向信息是在超声图像获取过程中由固定于超声探头上的位置传感器感应得到；
建立呼吸模型步骤，根据所述超声视频数据建立呼吸模型；
配准步骤，将待配准的多帧超声图像与所述另一模态图像进行配准；
融合步骤，对配准后的超声图像和另一模态图像进行图像融合；
其中，在将待配准的多帧超声图像和另一模态图像进行配准之前和/或进行融合过程中，采用所述呼吸模型将所述待配准的多帧超声图像校正到同一个呼吸深度。
根据本申请的第三方面，本申请提供一种超声融合成像导航系统，包括：探头及固定于所述探头上的位置传感器；采集模块，用于从至少一个平面对所述目标对象进行采集，得到包含配准用信息的至少一段超声视频数据，对于每一段超声视频数据中的每一帧超声图像，记录位置指向信息，所述位置指向信息由在超声图像获取过程中位置传感器根据感应的超声探头的移动状况而产生；回放模块，用于根据输入的指令，回放预先存储的所述超声视频数据；选择模块，用于根据输入的选择指令，从回放的超声视频数据中选择至少一帧超声图像；配准模块，用于将选择出的至少一帧超声图像与所述另一模态图像进行配准，所述配准过程中使用所述至少一帧超声图像的位置指向信息；融合模块，用于对配准后的超声图像和另一模态图像进行图像融合。
本申请的有益效果是：采用不同于现有的基于实时超声的配准融合方法，而是在配准前事先录制扫查目标对象的一段配准视频，然后选取一帧或多帧超声图像进行配准。
附图说明
图1为超声融合成像导航系统的结构示意图；
图2为本申请一种实施例的超声图像与预先获取的另一模态图像的融合方法的流程示意图；
图3为本申请一种实施例的空间变换示意图；
图4为本申请一种实施例的多个配准平面显示方式示意图，其中每个窗口显示一幅超声图像；
图5为本申请一种实施例的建立呼吸模型流程示意图；
图6为呼吸深度随时间变化示意图；
图7为通过线性拟合得到的目标器官相对于基准位置在世界坐标系三个方向上的位移随呼吸深度变化的示意图；
图8为本申请一种实施例的建立呼吸模型后进行配准融合的流程示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
实施例1：
一种典型的超声融合成像导航系统的框图如图1所示(不包括虚线框)：超声探头101向人体检查部位发射超声波，接收到的回波信号经过超声成像模块102处理，获得目标器官的超声图像；提前获取的另一模态图像数据，如CT或MR图像，在进行配准前被导入配准融合模块105；固定在探头101上的位置传感器103，随着探头的移动，不断地提供位置信息，通过定位控制器104得到探头的六自由度(包括垂直向、横向、纵向、俯仰、滚转和摇摆)空间方位的信息；配准融合模块105利用图像信息和位置信息将超声图像和另一模态数据进行配准和融合；显示模块106用于显示融合结果。
结合图1所示的超声融合成像导航系统，本实施例提供的一种超声图像与预先获取的另一模态图像的融合方法如图2所示，包括如下步骤S11～S13：
选择步骤S11，根据输入的指令从预先存储的至少一段超声视频数据中选择至少一帧超声图像。
预先存储的超声视频数据包括：事先对目标对象(目标器官，如肝脏)进行采集，得到包含配准用信息的超声视频，即配准视频，对于其中的每一帧超声图像t，同时记录固定于超声探头上的位置传感器的位置指向信息Rprobe(t)，Rprobe(t)由在超声图像获取过程中位置传感器根据感应的超声探头的移动状况而产生，也就是说配准视频的内容除了超声图像数据外，还包括位置传感器的位置指向信息Rprobe(t)。其中，位置传感器可以是基于电磁感应的位置传感器，也可以是基于光学原理的位置传感器，也可以是基于声学原理等的其它类型位置传感器。本申请各实施例中以基于电磁感应的位置传感器为例进行说明。
在选择步骤中，该输入的指令可以是来自外部的用户输入的指令，也可以是系统内部在进行配准融合时自动触发的指令。一种实现中，在选择时，可以先回放预先存储的超声视频，然后再回放的过程中进行选择，系统所接收到的输入的播放指令和选择指令可视用户需要而定，结合常用的相关技术实现，只要其能满足超声视频的回放以及帧图像的选取即可。本步骤的回放超声视频中，可以是将预先存储的超声视频从头到尾逐帧播放，也可以是通过例如进度条或者旋钮转动等方式将超声视频拖曳到感兴趣的切面所对应的帧位置。另一种实现中，也可以通过预先设定的一些条件进行选择，例如预先设定选择超声视频中的某些帧如前20帧等。
配准步骤S12，将选择出的至少一帧超声图像与另一模态图像进行配准，系统同时使用这些超声图像对应的位置指向信息参与配准。
为了提高配准的整场精度，也可以在配准视频中选择两帧或者更多帧超声图像进行配准。当然，选择多帧超声图像进行配准的前提条件是，这些帧的超声图像具有相同或者相似的呼吸状态，或者说这些超声图像是在相同或相似的呼吸状态下采集得到的。一般地，如果超声视频是在病人屏住呼吸的状态下采集的，视频中所有帧的超声图像具有相似的呼吸状态，可以直接同时使用多帧超声图像进行配准。
在进行图像配准时，需要寻找一种空间变换把一幅图像映射到另一幅图像，使得两图像中对应于空间同一位置的点一一对应起来，从而达到将信息正确融合的目的。基于此，在超声融合成像导航系统中，可以通过如图3的空间变换关系实现超声图像与另一模态图像的配准，即，先将超声图像中的点从超声图像的坐标系变换到位置传感器的坐标系，再从位置传感器的坐标系变换到世界坐标系，最后将世界坐标系变换为另一模态图像的坐标系。本实施例和其它实施例中的世界坐标系是用作参考的坐标系，可以是任意指定的，例如磁场发生器坐标系，当然也可以采用其它的坐标系作为参考坐标系。图3所示空间变换关系以公式的形式可表示为：
Xsec＝P·Rprobe·A·Xus
(1)
其中，Xus是超声图像中某一点的坐标，Xsec是该点在另一模态图像的坐标，A是超声图像空间到位置传感器空间的变换矩阵，Rprobe是位置传感器空间到参考坐标系如磁场发生器空间的变换矩阵，P是参考坐标系到另一模态图像空间的变换矩阵。
对于变换矩阵A，由于位置传感器固定在探头上不动，超声探头深度不变时，A固定不变，因此可在配准前结合位置指向信息Rprobe(t)通过标定的方法获取变换矩阵A，具体可参考现有超声图像空间变换到位置传感器空间的相关技术，不作详述。
对于变换矩阵Rprobe，可以由与位置传感器相连的定位控制器直接读取，随着探头的移动，Rprobe不断变化，具体也可参考常用的相关技术实现。
对于变换矩阵P，也可称为配准矩阵，可通过在超声图像空间和另一模态图像空间找到对应的点或者面，根据公式(1)计算得到。一种实例中，对人体检查部位的某些特定的点或区域作标记，在超声图像空间中成像后得到所标记的点或区域的位置Xus，同时在另一模态图像空间中成像也得到这些点或区域的位置Xsec，从而通过公式(1)进行计算即可得到P；另一种实例中，在将超声图像空间的某些点或区域变换到世界坐标系后，将另一模态图像的某些点或区域也变换到世界坐标系，通过图像匹配方法，得到超声图像空间成像的点或区域的位置Xus对应在另一模态图像空间的点或区域的位置Xsec，由此也可以计算出P。本领域普通技术人员将易于领会到，可以应用逆变换以获得从一个图像空间至另一个的相反的坐标变换。
融合步骤S13，对配准后的超声图像和另一模态图像进行图像融合。
图像融合采用的技术具体可以参见现有图像融合处理的方法，例如基于空域的图像融合方法，如图像像素灰度值极大(小)融合法、图像像素灰度值加权融合法等，或是基于变换域的图像融合方法，如基于多分辨率的金字塔融合法、基于傅里叶变换的图像融合法等，在此不作详述。
从而，通过上述步骤实现超声图像与另一模态图像的配准与融合，这里采用的配准方法不同于现有的配准方法。现有的方法基于实时超声，通过一帧一帧进行冻结的方式进行。而本实施例的配准方法是在配准前录制扫查目标对象的一段配准视频，通过视频回放的方式选取一帧或多帧超声图像进行配准。
除了上述步骤，一种实施例的超声图像与另一模态图像的融合方法还包括：多帧显示步骤，在配准步骤中选择多帧超声图像进行配准后，在显示配准或融合后的多帧超声图像的同时，还显示这些帧图像之间的交线和夹角，如图4所示，左右两个方框显示了不同帧超声图像之间的相交线位置305和两帧之间的夹角307。如果是要显示多帧配准或融合后的图像，则，可以选择其中的一帧为参考帧，所显示的相交线位置和两者之间的夹角为其余每一帧与该参考帧的相交线和夹角。该实施例的优点在于，能更为直观地反应这些帧的相对位置关系，便于后续对配准的微调。
实施例2：
在应用超声融合成像导航系统时，通常很多病人的呼吸控制能力是比较差的，配准视频的采集和融合是在病人呼吸自由状态下进行的，然而，由于人在自由呼吸时，脏器也随之进行比较复杂的运动，运动形式既包括平移、旋转等刚性运动，也包括器官间挤压等造成的整体或局部形变等非刚性运动。这就使得呼吸造成的脏器运动将对融合结果产生很大影响，因此需要减弱或消除呼吸对配准和融合的影响。基于此，本实施例提出一种用于将超声图像和预先获取的另一模态图像进行配准和融合的方法，其首先基于超声视频和位置传感器的位置指向信息，建立用来描述脏器随呼吸运动的规律的呼吸模型，然后利用呼吸模型获取随时间变化的校正空间映射并应用到配准和融合中，达到减弱或消除呼吸影响的目的。
这里采用校正的方式消除或减弱呼吸运动造成的影响，以公式的形式可表示为：
Xsec＝P·T(Rprobe·A·Xus) (2)
其中T为用于校正的某种空间映射方式，其可以是线性映射、仿射映射以及其它形式非线性映射，即T可以是定义在三维中间的任意连续映射。
一般地，自由呼吸时呼吸运动比较规律，可以近似看成是一个周期性的运动。呼吸时，病人的腹部表皮主要沿人体前后方向运动，可近似为前后往复运动。对运动主要由呼吸引起的目标器官，类似于腹部表皮运动，其运动也可以近似看作是周期性的。假设这类目标器官如肝脏等随呼吸的运动是刚性运动，可用线性模型来描述其随呼吸运动的规律。本实施例中以线性模型为例进行说明，对于具有非刚性分量的其它实施例，可结合非刚性运动中常用的算法公式对本实施例做简单推演即可。对于线性模型，空间中所有点有相同的映射关系，公式(2)可表示为
Xsec＝P·T·Rprobe·A·Xus (3)
此时，空间映射T退化为一个矩阵。
为了建立呼吸模型，需要在实施例1的超声融合成像导航系统的基础上，增加呼吸传感器109，如图1所示的虚线部分，将其固定在病人的腹部表皮，用来跟踪病人腹部表皮呼吸传感器所在位置如何随呼吸而运动。呼吸传感器可以是基于电磁感应的位置传感器或其他类型的位置传感器。
为便于下文的描述，首先对相关的术语给出如下解释：
(1)基准位置：可以是呼吸传感器随腹部运动路径上的任一点，例如其可以是传感器运动路径的中间位置；
(2)呼吸深度：在某一帧超声图像对应的时刻，呼吸传感器相对于基准位置的位移，称为呼吸深度，用来近似描述呼吸的状态，可用d(t)表示，其可通过呼吸位置信息Rresp(t)得到，具体可采用常用的呼吸传感器的位置信息的转换方法得到，不作详述；
(3)基准呼吸深度：基准位置对应的呼吸深度称为基准呼吸深度，可表示为d0。
(4)参考系相对运动量：以处于基准呼吸深度d0下的目标器官的位置为基准位置，则在世界坐标系下，目标器官在不同呼吸深度d(t)下相对于该基准位置的运动量，称为参考系相对运动量。本实施例采用的是刚性运动为例进行说明，并且忽略旋转运动仅考虑参考系相对位移，这里用来W(d(t))来描述。
如图5所示，本实施例的建立呼吸模型的方法包括以下步骤S21～S25：
步骤S21，对于预先存储的超声视频，设定基准呼吸深度和基准位置。
预先存储的超声视频为从一个或互成角度的多个平面(如n个，n为正整数)对腹部采集而得，一个平面采集一段超声视频，得到n段超声视频USVi，i＝1,…,n，视频的帧号用t表示，可用USVi(t)表示第i段超声视频中的第t帧超声图像。同时，对于采集的每一帧超声图像，记录固定于超声探头上的位置传感器的位置指向信息Rprobe(t)、以及固定在病人腹部表皮上的呼吸传感器的呼吸位置信息Rresp(t)。在每一段超声视频的采集过程中，采集时间包含一个或者多个呼吸周期。
如前述分析的呼吸运动特性，呼吸运动呈现出周期性的特点，在周期内各呼吸运动相位均有差异，而在周期间这一运动过程是不断重复的过程，类似图6所示的正弦曲线的波形，其中横轴t表示呼吸周期，纵轴表示呼吸深度d(t)，每一个重复的曲线表示一个呼吸周期。图6中，横向的虚线为给定基准位置d0，呼吸深度随视频帧号t变化，这里基准位置设为传感器运动路径的中间位置。当然，基准位置也可以是其它位置，例如传感器运动路径的最低位置或最高位置等。而由于同一呼吸深度对应的可能是吸气状态，也可能是呼气状态，因此，也可以进一步将呼吸状态区分为呼气相位和吸气相位，类似地也可以得到正弦曲线的波形。
步骤S22，对于每一段视频，选取基准帧，获取其它帧超声图像对应的目标对象相对于基准帧的运动位移Vi(d(t))。
对每一段超声视频USVi，如选定呼吸深度d0对应的某一帧超声图像为基准帧，可以通过运动跟踪，如模板匹配等常用算法，获取其它帧t超声图像对应的目标器官相对于基准帧的运动位移Vi(d(t))。
步骤S23，转换到同一参考坐标系以消除探头抖动的影响。
由于采集呼吸校正视频的时候，难以保证探头绝对静止不动，所以需要将运动跟踪限定在基准帧的平面内以消除探头抖动的影响。本步骤中，假设x0是基准帧中的某一点的位置，x(t)是经过跟踪得到的该点在第t帧超声图像中的位置，用Rprobe_0和Rprobe(t)分别表示基准帧和第t帧超声图像对应的探头位置，x0和x(t)在世界坐标系中对应的点分别表示为m0和m(t)，则有：
m0＝Rprobe_0·A·x0 (4)
m(t)＝Rprobe(t)·A·x(t) (5)
假设其它帧(即非基准帧)对应的目标器官的参考系相对位移W(d(t))在基准帧对应的平面上的投影分量表示为proji(W(d(t)))，其它帧对应的目标器官相对于基准帧的运动位移Vi(d(t))即为该投影分量的观察值。如前假设，此时m(t)-m0在基准帧对应的平面的投影分量为proji(m(t)-m0)，它是proji(W(d(t)))的观察值Vi(d(t))的一种普遍表达方式，即：
Vi(d(t))＝proji(m(t)-m0) (6)
这里通过将基准帧和非基准帧转换到同一世界坐标系中进行投影，消除了探头抖动可能带来的位移计算误差。在采集每一段超声视频时，可以用探头夹等装置固定探头位置，尽可能地保持探头位置不移动，病人体位保持不变，这时可认为探头位置在采集的过程中保持不变，Rprobe(t)＝Rprobe_0，这时有Vi(d(t))＝x(t)-x0。
步骤S24，根据步骤S22得到的运动位移Vi(d(t))，计算在同一个参考坐标系下，其它帧超声图像对应的目标器官在不同呼吸深度下的参考系相对位移W(d(t))。
为所有段视频设定相同的基准呼吸深度d0，在某一呼吸深度d(t)＝D下，目标器官相对于基准位置的参考系相对位移W(D)可以用以下公式(7)通过优化的方法得到，即W(D)为当最外层∑为最小值时对应的值：
其中argmin()是使得其括号内的函数取得最小值的函数。
在多个呼吸深度d(t)下，对公式(7)进行求解得到该呼吸深度下的位移W(d)。
步骤S25，通过对不同呼吸深度及其对应的参考系相对位移进行拟合，得到呼吸模型。
本发明的实施例中，所说的“呼吸模型”是指目标器官位移随呼吸深度变化的规律。所说的“建立呼吸模型”即是指根据已有的超声视频数据计算或者确定目标器官位移随呼吸深度变化的这个规律，即获得目标器官位移随呼吸深度变化的规律的数学表达。
本步骤中，以d为自变量，对(d,W(d))点对进行一定方式的拟合，就可以得到目标器官位移随呼吸深度变化的规律，完成呼吸模型的建立。
在本实施例，公式(7)中以两个向量之差模的平方来度量在平面i(即视频i)中某一呼吸深度D下观察到的目标器官运动Vi(d(t))和参考系相对位移W(d(t))在该平面上投影proji(W(D))之间的误差，即||proji(W(D))-Vi(d(t))||2，其它实施例中也可以用其它方式来描述该误差的大小，如||proji(W(D))-Vi(d(t))||等。
图7所示的三条直线为通过线性拟合得到的目标器官相对于基准位置在世界坐标系三个方向上的位移随呼吸深度d变化规律的示意图。其它实施例中可以用采用其它的拟合方式，例如通过其他类型的曲线如二次曲线或者三次曲线的方式来描述。
本实施例中，在得到呼吸模型后，在对超声图像和另一模态图像采用实施例1的方法进行配准之前，采用呼吸模型进行校正，即在配准前利用呼吸模型将不同帧的超声图像校正到同一呼吸深度(即同一呼吸状态)下，达到消除或减弱呼吸影响的目的。具体校正过程见下文的描述。
假设t为医生选择的待配准帧中的某一帧，该帧对应的呼吸深度为d(t)。根据呼吸模型，呼吸深度d(t)下目标器官相对于基准位置的参考系相对位移为W(d(t))。假设x是该帧中的一点，其在世界坐标系中位置为Rprobe(t)·A·x，则根据公式(3)可知，在将其校正到基准呼吸深度d0后该点的位置变为：
T(W(d(t)))·Rprobe(t)·A·x (8)
其中T(W(d(t)))是以超声图像帧t对应的呼吸深度d(t)为自变量，根据呼吸模型校正后得到的呼吸校正矩阵。本实施例中，T(W(d(t)))可以是利用目标器官的参考系相对位移W(d(t))在三个维度上随呼吸运动的规律对呼吸影响进行的线性补偿而得到，假设W(d(t))＝(Wx(d(t)),Wy(d(t)),Wz(d(t)))，则在齐次坐标系下的呼吸校正矩阵为：
其中[-Wx(d(t)) -Wy(d(t)) -Wz(d(t))]为平移向量。
其它实施例中，T(W(d(t)))也可以是对一个或多个维度上的运动规律经过一定处理后进行补偿而得到，这些处理可以是如非线性变换或者某几个方向上给定不同的权重。
本实施例是在进行配准之前，采用呼吸模型进行校正。其它实施例中，也可以在配准完成后，在融合的过程中进行呼吸校正。假设配准时的基准呼吸深度为d0，可以利用已经建立的呼吸模型，在融合的过程中对呼吸造成的影响进行实时校正，校正的原理与前述配准过程中将不同帧校正到同一呼吸深度相同，则校正后融合中Xus和Xsec的对应关系可由公式(3)具体化为公式(10)：
Xsec＝P·T(W(d(t)))·Rprobe(t)·A·Xus (10)
图8所示为建立呼吸模型的情况下，基于超声视频、位置传感器的位置指向信息及呼吸传感器的位置信息等进行配准和融合的流程示意图。在进行配准时，医生可以进行视频回放，选定一帧或者多帧超声图像进行配准，同时提取位置传感器的位置指向信息进行配准。如果选择的多帧超声图像不在同一呼吸深度下，可以利用呼吸模型校正到同一深度下然后进行配准。配准完成后，如果希望在同一呼吸深度下观察融合结果，也可以利用呼吸模型进行校正到该深度。
上述实施例在描述如何用呼吸模型把配准用的多帧超声图像校正到某一呼吸深度、以及如何把融合结果校正到某一呼吸深度时，都是假设校正的目标深度为建立呼吸模型时的基准深度d0，当然校正的目标深度可以为任一有意义的呼吸深度D，可以理解，这时的呼吸校正矩阵由T(W(d(t)))变为T-1(W(D))·T(W(d(t)))。
实施例3：
本实施例提供的一种超声图像与预先获取的另一模态图像的融合方法包括如下步骤：
回放步骤，根据输入的播放指令逐帧播放或者回放预先存储的至少一段超声视频数据，该超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与每一帧超声图像对应的位置指向信息和呼吸位置信息，其中位置指向信息是在超声图像获取过程中由固定于超声探头上的位置传感器感应得到，呼吸位置信息是在超声图像获取过程中由固定于目标对象上的呼吸传感器感应目标对象的呼吸得到；
配准步骤，从超声视频数据中选择多帧超声图像与另一模态图像进行配准，这里配准的方法可采用常用的图像配准算法，而不是采用本申请前述实施例提供的配准方法；
融合步骤，对配准后的多帧超声图像和另一模态图像进行图像融合，在融合过程中，利用呼吸模型将配准后的多帧超声图像校正到同一个呼吸深度，从而可在同一个呼吸深度下观察融合结果。
在融合步骤中，呼吸模型的建立以及如何校正到同一个呼吸深度的方法可参考前述实施例2中相对应的部分，在此不作重述。
实施例4：
本实施例提供的一种超声图像与预先获取的另一模态图像的融合方法包括如下步骤：
选择步骤，从至少一段超声视频数据中选择多帧超声图像，其中超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与每一帧超声图像对应的位置指向信息，位置指向信息是在超声图像获取过程中由固定于超声探头上的位置传感器感应得到，同时，超声视频数据还包括与每一帧超声图像对应的呼吸位置信息，该呼吸位置信息是在超声图像获取过程中由固定于目标对象上的呼吸传感器感应目标对象的呼吸得到；
建立呼吸模型步骤，根据所述超声视频数据建立呼吸模型；
配准步骤，将待配准的多帧超声图像与另一模态图像进行配准；
融合步骤，对配准后的超声图像和另一模态图像进行图像融合；
其中，在将待配准的多帧超声图像和另一模态图像进行配准之前和/或进行融合过程中，采用呼吸模型将待配准的多帧超声图像校正到同一个呼吸深度。
一种实现中，建立呼吸模型的步骤包括：
相对运动计算子步骤，对于每一段超声视频数据，选取基准呼吸深度对应的一帧超声图像为基准帧，获取其它帧超声图像对应的目标对象相对于基准帧的运动量，根据该运动量，在同一个参考坐标系下，计算其它帧超声图像对应的目标对象在不同呼吸深度下的参考系相对运动量；
拟合建模子步骤，对不同呼吸深度及其对应的参考系相对运动量进行拟合，得到呼吸模型。
又一种实现中，将待配准的多帧超声图像校正到同一个呼吸深度包括：
计算子步骤，对于待配准的多帧超声图像中的任一帧超声图像，结合其对应的呼吸位置信息，得到该帧超声图像对应的呼吸深度，根据呼吸模型得到该帧超声图像中目标对象相对于基准位置的参考系相对运动量；
校正子步骤，根据呼吸模型，将该多帧超声图像对应的参考系相对运动量校正到同一个预定呼吸深度。
上述步骤及子步骤的具体说明可参考前述实施例2中相对应的部分，在此不作重述。本实施例的配准步骤中的待配准的多帧超声图像可以是建立呼吸模型时选择的多帧图像，也可以是基于实时超声图像得到的多帧超声图像。
综上，为解决现有配准技术基于实时超声往往配准精度和融合成功率不高，及消除呼吸影响的方法效果不佳这两个问题，本申请各实施例提出一种新的基于回顾性的超声视频结合位置传感器信息进行配准融合的方法，同时还建立呼吸模型以进行呼吸校正。为了进行呼吸校正，需要请病人正常呼吸，在互成角度的若干位置采集一个以上呼吸周期的超声视频，一个位置采集一个视频，记录每一帧超声数据对应的超声探头上的传感器位置及指向信息，以及固定在病人腹部的呼吸传感器位置信息，然后根据视频及传感器信息建立病人的呼吸模型。在配准之前，已采集的包含配准需要信息的超声视频中，每一帧超声数据同时记录着固定在超声探头上的传感器位置及指向信息，及固定在病人腹部的呼吸传感器位置信息。进行配准时，允许医生进行逐帧或连续的视频回放搜索，选定一帧或多帧数据进行配准，系统同时提取对应的超声探头位置传感器信息等进行配准。选择多帧配准时，医生可以利用呼吸模型和呼吸传感器信息可以将不同帧的超声数据校正到同一呼吸状态下。在融合过程中，还可以利用呼吸模型实时地根据呼吸传感器位置信息校正融合结果，达到消除或减弱呼吸影响的目的。
本申请实施例提出的基于超声视频进行与其他模态数据进行配准、融合及对配准数据和融合结果进行呼吸校正的方法，不仅适用于肝脏，还适用于肾脏、前列腺等其它腹部器官。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。

Claims (11)

1.一种用于将超声图像与预先获取的另一模态图像进行融合的方法，其特征在于，包括：
选择步骤，根据输入的指令，从预先存储的至少一段超声视频数据中选择至少一帧超声图像，所述超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与每一帧超声图像对应的位置指向信息，所述位置指向信息是在超声图像获取过程中由固定于超声探头上的位置传感器感应得到；
配准步骤，将选择出的至少一帧超声图像与所述另一模态图像进行配准，所述配准使用所述至少一帧超声图像的位置指向信息；
融合步骤，对配准后的超声图像和另一模态图像进行图像融合；
其中，
所述选择步骤中选择多帧超声图像；
所述方法还包括：
建立呼吸模型步骤，根据所述超声视频数据建立呼吸模型；以及
呼吸校正步骤，在将选择出的多帧超声图像和另一模态图像进行配准之前和/或进行融合过程中，采用所述呼吸模型将所述多帧超声图像校正到同一个呼吸深度；
所述超声视频数据还包括与每一帧超声图像对应的呼吸位置信息，所述呼吸位置信息是在超声图像获取过程中由固定于所述目标对象上的呼吸传感器感应目标对象的呼吸得到；
所述建立呼吸模型步骤包括：
相对运动计算子步骤，对于每一段超声视频数据，选取基准呼吸深度对应的一帧超声图像为基准帧，获取其他帧超声图像对应的目标对象相对于所述基准帧的运动量，根据所述运动量，在同一个参考坐标系下，计算所述其他帧超声图像对应的目标对象在不同呼吸深度下的参考系相对运动量；
拟合建模子步骤，对所述不同呼吸深度及其对应的所述参考系相对运动量进行拟合，得到呼吸模型。
2.如权利要求1所述的方法，其特征在于，所述其他帧超声图像对应的目标对象在不同呼吸深度下的参考系相对运动量满足：使在同一个预定呼吸深度下目标对象相对于基准帧的运动量和参考系相对运动量之间的误差为最小。
3.如权利要求2所述的方法，其特征在于，所述参考系相对运动量为刚性运动量，所述参考系相对运动量为位移量，所述其他帧超声图像对应的目标对象在不同呼吸深度下的参考系相对运动量通过如下公式计算：
<mrow> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mrow> <mi>W</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>(</mo> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>A</mi> <mi>l</mi> <mi>l</mi> <mi>d</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>D</mi> </mrow> </munder> <mrow> <mo>(</mo> <mrow> <mi>f</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>proj</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>W</mi> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>V</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中，t为视频帧号，d(t)为呼吸深度，Vi(d(t))为目标对象相对于基准帧的位移量，W(D)为目标对象在呼吸深度d(t)＝D下的位移量，proji(W(D))为W(D)在基准帧对应的平面的投影分量，n为所有段超声视频数据的段数，i＝1,…,n，f(proji(W(D))-Vi(d(t)))为proji(W(D))和Vi(d(t))的误差函数。
4.如权利要求1所述的方法，其特征在于，所述将多帧超声图像校正到同一个呼吸深度包括：
计算子步骤，对于所述多帧超声图像中的任一帧超声图像，结合其对应的呼吸位置信息，得到该任一帧超声图像对应的呼吸深度，根据所述呼吸模型得到该任一帧超声图像中目标对象相对于基准位置的参考系相对运动量；
校正子步骤，根据所述呼吸模型，将所述多帧超声图像对应的参考系相对运动量校正到同一个预定呼吸深度。
5.如权利要求4所述的方法，其特征在于，所述参考系相对运动量为刚性运动量，所述参考系相对运动量为位移量，所述校正子步骤包括：
根据所述位移量，得到目标对象在参考坐标系的各个维度上的平移向量；
根据所述呼吸模型，确定旋转因子；
根据所述平移向量和旋转因子，得到呼吸校正矩阵；
根据所述呼吸校正矩阵，将所述多帧超声图像对应的参考系相对运动量校正到同一个预定呼吸深度。
6.如权利要求4所述的方法，其特征在于，将所述多帧超声图像对应的参考系相对运动量校正到同一个预定呼吸深度，具体包括：
对于所述多帧超声图像中的任一帧超声图像上的任一点，计算其在参考坐标系中的位置，并采用公式P·T(Rprobe·A·Xus)进行计算以得到该点在预定呼吸深度的位置，其中P为超声图像空间到另一模态图像空间的变换矩阵，T为用于校正的空间映射方式，Rprobe为位置传感器空间到世界坐标系的变换矩阵，A为超声图像空间到位置传感器空间的变换矩阵，Xus为该点在超声图像空间中的坐标。
7.如权利要求5所述的方法，其特征在于，经所述呼吸校正步骤后，所述融合步骤中通过如下公式得到：
Xsec＝P·T(W(d(t)))·Rprobe(t)·A·Xus
其中，Xus表示超声图像中一像素点的坐标，Xsec表示该像素点在另一模态图像的坐标，P表示超声图像空间到另一模态图像空间的变换矩阵，t为视频帧号，d(t)为呼吸深度，W(d(t))为目标对象在呼吸深度d(t)下的位移量，T(W(d(t)))表示呼吸校正矩阵，Rprobe(t)为位置传感器空间到世界坐标系的变换矩阵，A表示超声图像空间到位置传感器空间的变换矩阵。
8.如权利要求1所述的方法，其特征在于，还包括：
多帧显示步骤，显示配准或融合后的多帧超声图像，同时显示所述配准或融合后的多帧超声图像之间的交线和夹角。
9.一种用于将超声图像与预先获取的另一模态图像进行融合的方法，其特征在于，包括：
选择步骤，从至少一段超声视频数据中选择多帧超声图像，所述超声视频数据包括从至少一个平面对目标对象进行采集得到的超声图像、以及与每一帧超声图像对应的位置指向信息，所述位置指向信息是在超声图像获取过程中由固定于超声探头上的位置传感器感应得到；
建立呼吸模型步骤，根据所述超声视频数据建立呼吸模型；
配准步骤，将待配准的多帧超声图像与所述另一模态图像进行配准；
融合步骤，对配准后的超声图像和另一模态图像进行图像融合；
其中，在将待配准的多帧超声图像和另一模态图像进行配准之前和/或进行融合过程中，采用所述呼吸模型将所述待配准的多帧超声图像校正到同一个呼吸深度；
所述超声视频数据还包括与每一帧超声图像对应的呼吸位置信息，所述呼吸位置信息是在超声图像获取过程中由固定于所述目标对象上的呼吸传感器感应目标对象的呼吸得到；
所述建立呼吸模型步骤包括：
相对运动计算子步骤，对于每一段超声视频数据，选取基准呼吸深度对应的一帧超声图像为基准帧，获取其他帧超声图像对应的目标对象相对于所述基准帧的运动量，根据所述运动量，在同一个参考坐标系下，计算所述其他帧超声图像对应的目标对象在不同呼吸深度下的参考系相对运动量；
拟合建模子步骤，对所述不同呼吸深度及其对应的所述参考系相对运动量进行拟合，得到呼吸模型。
10.如权利要求9所述的方法，其特征在于，所述将待配准的多帧超声图像校正到同一个呼吸深度包括：
计算子步骤，对于所述多帧超声图像中的任一帧超声图像，结合其对应的呼吸位置信息，得到该任一帧超声图像对应的呼吸深度，根据所述呼吸模型得到该任一帧超声图像中目标对象相对于基准位置的参考系相对运动量；
校正子步骤，根据所述呼吸模型，将所述多帧超声图像对应的参考系相对运动量校正到同一个预定呼吸深度。
11.一种超声融合成像导航系统，其特征在于，包括：
探头及固定于所述探头上的位置传感器；
采集模块，用于从至少一个平面对目标对象进行采集，得到包含配准用信息的至少一段超声视频数据，对于每一段超声视频数据中的每一帧超声图像，记录位置指向信息，所述位置指向信息是在超声图像获取过程中由位置传感器感应得到；
选择模块，用于根据输入的指令，从预先存储的超声视频数据中选择至少一帧超声图像；
配准模块，用于将选择出的至少一帧超声图像与另一模态图像进行配准，所述配准使用所述至少一帧超声图像的位置指向信息；
融合模块，用于对配准后的超声图像和另一模态图像进行图像融合；
其中，所述的超声融合成像导航系统还包括：
固定于所述目标对象上的呼吸传感器；
呼吸校正模块，用于在将选择出的多帧超声图像和另一模态图像进行配准之前和/或进行融合过程中，采用呼吸模型将所述多帧超声图像校正到同一个呼吸深度；
所述采集模块还用于，对于每一段超声视频数据中的每一帧超声图像，还记录呼吸位置信息，所述呼吸传感器是在超声图像获取过程中由呼吸传感器感应目标对象的呼吸得到；
所述呼吸模型的建立包括：对于每一段超声视频数据，选取基准呼吸深度对应的一帧超声图像为基准帧，获取其他帧超声图像对应的目标对象相对于所述基准帧的运动量，根据所述运动量，在同一个参考坐标系下，计算所述其他帧超声图像对应的目标对象在不同呼吸深度下的参考系相对运动量；对所述不同呼吸深度及其对应的所述参考系相对运动量进行拟合，得到所述呼吸模型。
CN201310468271.5A 2013-10-09 2013-10-09 超声融合成像方法、超声融合成像导航系统 Active CN104574329B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310468271.5A CN104574329B (zh) 2013-10-09 2013-10-09 超声融合成像方法、超声融合成像导航系统
PCT/CN2014/074451 WO2015051622A1 (zh) 2013-10-09 2014-03-31 超声融合成像方法、超声融合成像导航系统
EP14852089.3A EP3056151B1 (en) 2013-10-09 2014-03-31 Ultrasound fusion imaging method and ultrasound fusion imaging navigation system
US15/094,821 US10751030B2 (en) 2013-10-09 2016-04-08 Ultrasound fusion imaging method and ultrasound fusion imaging navigation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310468271.5A CN104574329B (zh) 2013-10-09 2013-10-09 超声融合成像方法、超声融合成像导航系统

Publications (2)

Publication Number Publication Date
CN104574329A CN104574329A (zh) 2015-04-29
CN104574329B true CN104574329B (zh) 2018-03-09

Family

ID=52812492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310468271.5A Active CN104574329B (zh) 2013-10-09 2013-10-09 超声融合成像方法、超声融合成像导航系统

Country Status (4)

Country Link
US (1) US10751030B2 (zh)
EP (1) EP3056151B1 (zh)
CN (1) CN104574329B (zh)
WO (1) WO2015051622A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2017134276A (ru) * 2015-03-31 2019-04-03 Конинклейке Филипс Н.В. Аппарат медицинской визуализации
CN105708492A (zh) * 2015-12-31 2016-06-29 深圳市一体医疗科技有限公司 一种融合b超成像和微波成像的方法及系统
CN106934807B (zh) * 2015-12-31 2022-03-01 深圳迈瑞生物医疗电子股份有限公司 一种医学影像分析方法、系统及医疗设备
WO2017202795A1 (en) * 2016-05-23 2017-11-30 Koninklijke Philips N.V. Correcting probe induced deformation in an ultrasound fusing imaging system
CN106373108A (zh) * 2016-08-29 2017-02-01 王磊 一种将实时超声图像与术前核磁图像进行融合的方法及装置
CN106780643B (zh) * 2016-11-21 2019-07-26 清华大学 磁共振多次激发扩散成像运动矫正方法
CN106691504A (zh) * 2016-11-29 2017-05-24 深圳开立生物医疗科技股份有限公司 自定义导航切面的方法、装置及超声设备
EP3508132A1 (en) * 2018-01-04 2019-07-10 Koninklijke Philips N.V. Ultrasound system and method for correcting motion-induced misalignment in image fusion
CN108694705B (zh) * 2018-07-05 2020-12-11 浙江大学 一种多帧图像配准与融合去噪的方法
CN108992084B (zh) * 2018-09-07 2023-08-01 广东工业大学 使用ct系统与超声系统组合成像的方法及ct-超声检查设备
WO2020103103A1 (zh) * 2018-11-22 2020-05-28 深圳迈瑞生物医疗电子股份有限公司 一种超声数据处理方法、超声设备及存储介质
CN111292277B (zh) * 2018-12-10 2021-02-09 深圳迈瑞生物医疗电子股份有限公司 超声融合成像方法及超声融合成像导航系统
CN111292248B (zh) * 2018-12-10 2023-12-19 深圳迈瑞生物医疗电子股份有限公司 超声融合成像方法及超声融合导航系统
CN109657593B (zh) * 2018-12-12 2023-04-28 深圳职业技术学院 一种路侧信息融合方法及系统
CN109727223B (zh) 2018-12-27 2021-02-05 上海联影医疗科技股份有限公司 一种医学图像自动融合方法和系统
CN111179409B (zh) * 2019-04-23 2024-04-02 艾瑞迈迪科技石家庄有限公司 一种呼吸运动建模方法、装置和系统
CN110706357B (zh) * 2019-10-10 2023-02-24 青岛大学附属医院 导航系统
CN111127529B (zh) * 2019-12-18 2024-02-02 浙江大华技术股份有限公司 图像配准方法及装置、存储介质、电子装置
CN113129342A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、装置及存储介质
US11497475B2 (en) * 2020-01-31 2022-11-15 Caption Health, Inc. Ultrasound image acquisition optimization according to different respiration modes
CN111327840A (zh) * 2020-02-27 2020-06-23 努比亚技术有限公司 一种多帧特效视频获取方法、终端及计算机可读存储介质
CN111358492A (zh) * 2020-02-28 2020-07-03 深圳开立生物医疗科技股份有限公司 一种四维造影图像生成方法、装置、设备及存储介质
CN112184781A (zh) * 2020-09-14 2021-01-05 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备
CN112386282B (zh) * 2020-11-13 2022-08-26 声泰特（成都）科技有限公司 一种超声自动容积扫描成像方法与系统
CN114073581B (zh) * 2021-06-29 2022-07-12 成都科莱弗生命科技有限公司 一种支气管电磁导航系统
CN113674393B (zh) * 2021-07-12 2023-09-26 中国科学院深圳先进技术研究院 呼吸运动模型的构建方法和无标记呼吸运动预测方法
CN113768527B (zh) * 2021-08-25 2023-10-13 中山大学 基于ct与超声影像融合的实时三维重建装置及存储介质
CN114842239B (zh) * 2022-04-02 2022-12-23 北京医准智能科技有限公司 一种基于超声视频的乳腺病灶属性预测方法及装置
CN114973887B (zh) * 2022-05-19 2023-04-18 北京大学深圳医院 一种多模块结合实现超声影像一体化的交互显示系统
CN116740219B (zh) * 2023-08-14 2024-01-09 之江实验室 一种三维光声断层成像方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123721A (zh) * 2011-11-17 2013-05-29 重庆海扶医疗科技股份有限公司 一种实时减少图像中伪影的方法以及装置
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501981B1 (en) * 1999-03-16 2002-12-31 Accuray, Inc. Apparatus and method for compensating for respiratory and patient motions during treatment
US9572519B2 (en) * 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
DE10015826A1 (de) * 2000-03-30 2001-10-11 Siemens Ag System und Verfahren zur Erzeugung eines Bildes
CN1612713A (zh) * 2001-11-05 2005-05-04 计算机化医学体系股份有限公司 用于外部波束放射治疗的记录,引导和目标命中的装置和方法
EP2460474B1 (en) * 2003-05-08 2015-12-16 Hitachi Medical Corporation Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
US7853308B2 (en) * 2004-02-17 2010-12-14 Siemens Medical Solutions Usa, Inc. System and method for patient positioning for radiotherapy in the presence of respiratory motion
DE102004011156A1 (de) * 2004-03-08 2005-10-06 Siemens Ag Verfahren zur endoluminalen Bildgebung mit Bewegungskorrektur
US20060020204A1 (en) * 2004-07-01 2006-01-26 Bracco Imaging, S.P.A. System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
DE102005023167B4 (de) * 2005-05-19 2008-01-03 Siemens Ag Verfahren und Vorrichtung zur Registrierung von 2D-Projektionsbildern relativ zu einem 3D-Bilddatensatz
US7713205B2 (en) * 2005-06-29 2010-05-11 Accuray Incorporated Dynamic tracking of soft tissue targets with ultrasound images, without using fiducial markers
US7467007B2 (en) * 2006-05-16 2008-12-16 Siemens Medical Solutions Usa, Inc. Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
US8126239B2 (en) * 2006-10-20 2012-02-28 Siemens Aktiengesellschaft Registering 2D and 3D data using 3D ultrasound data
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
WO2009060348A1 (en) * 2007-11-09 2009-05-14 Koninklijke Philips Electronics, N.V. Mr-pet cyclic motion gating and correction
JP5896737B2 (ja) * 2008-04-03 2016-03-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 呼吸測定器、呼吸測定器の作動方法、及び呼吸測定コンピュータプログラム
US8131044B2 (en) * 2008-04-08 2012-03-06 General Electric Company Method and apparatus for determining the effectiveness of an image transformation process
US20090276245A1 (en) * 2008-05-05 2009-11-05 General Electric Company Automated healthcare image registration workflow
WO2010055816A1 (ja) * 2008-11-14 2010-05-20 株式会社 日立メディコ 超音波診断装置、超音波診断装置の規格画像データ生成方法
US8317705B2 (en) * 2008-12-10 2012-11-27 Tomtec Imaging Systems Gmbh Method for generating a motion-corrected 3D image of a cyclically moving object
DE102009030110A1 (de) * 2009-06-22 2010-12-23 Siemens Aktiengesellschaft Verfahren zur Ermittlung der Ventilation einer Lunge
EP2680778B1 (en) * 2011-03-03 2019-07-31 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US8831708B2 (en) * 2011-03-15 2014-09-09 Siemens Aktiengesellschaft Multi-modal medical imaging
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
US20130172730A1 (en) * 2011-12-29 2013-07-04 Amit Cohen Motion-Compensated Image Fusion
US9451926B2 (en) * 2012-05-09 2016-09-27 University Of Washington Through Its Center For Commercialization Respiratory motion correction with internal-external motion correlation, and associated systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123721A (zh) * 2011-11-17 2013-05-29 重庆海扶医疗科技股份有限公司 一种实时减少图像中伪影的方法以及装置
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multimodality imaging using ultrasound image fusion in renal lesions;A. Helck et al;《Clinical Hemorheology and Microcirculation》;20121231;第50卷(第1-2期);79-89 *
图像融合在医学超声影像中的应用;刘贵栋 等;《仪器仪表学报》;20050831;第26卷(第8期);838-840 *

Also Published As

Publication number Publication date
CN104574329A (zh) 2015-04-29
EP3056151A1 (en) 2016-08-17
US10751030B2 (en) 2020-08-25
EP3056151B1 (en) 2020-08-19
EP3056151A4 (en) 2017-06-14
US20170020489A1 (en) 2017-01-26
WO2015051622A1 (zh) 2015-04-16

Similar Documents

Publication Publication Date Title
CN104574329B (zh) 超声融合成像方法、超声融合成像导航系统
US11369339B2 (en) Sensor guided catheter navigation system
JP5067398B2 (ja) 超音波映像とｃｔ映像の整合システム
CN108289651B (zh) 用于跟踪身体部位中的超声探头的系统
KR101428005B1 (ko) 소수의 저선량 ｃｔ 영상을 이용하여 ｐｅｔ 영상을 움직임 보상 및 감쇠 보정하는 방법
JP5797352B1 (ja) ３次元物体を追跡するための方法
CN102727236B (zh) 通过使用3d模型产生身体器官的医疗图像的方法和设备
EP2192855B1 (en) Patent breathing modeling
US8731268B2 (en) CT device and method based on motion compensation
CN106687046A (zh) 用于定位进行医学成像的患者的引导系统
KR20120111871A (ko) 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
US11779241B2 (en) Systems, methods, and computer-readable media of estimating thoracic cavity movement during respiration
WO2009117419A2 (en) Virtual interactive system for ultrasound training
Deligianni et al. Nonrigid 2-D/3-D registration for patient specific bronchoscopy simulation with statistical shape modeling: Phantom validation
CN104887257A (zh) 图像处理装置
CN115005985A (zh) 呼吸运动补偿数据处理方法、医学图像生成方法及装置
CN113893033B (zh) 一种肺部经皮穿刺导航方法及系统
Li et al. How do you breathe-a non-contact monitoring method using depth data
JP2023519150A (ja) Ｘ線装置内で患者を位置決めするための方法
Li et al. Subject-specific and respiration-corrected 4D liver model from real-time ultrasound image sequences
Chen QUiLT (Quantitative Ultrasound in Longitudinal Tissue Tracking): Stitching 2D images into 3D Volumes for Organ Health Monitoring
CN115919462A (zh) 影像数据处理系统、方法和手术导航系统
JP2023526014A (ja) 拡張現実を使用した解剖学的構造の動的位置合わせ
CN116784824A (zh) 呼吸监测方法、装置、电子设备及存储介质
CN116612241A (zh) 三维重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant