CN115251983A - 一种3d视觉与接触力融合传感优化的超声扫描系统 - Google Patents

一种3d视觉与接触力融合传感优化的超声扫描系统 Download PDF

Info

Publication number
CN115251983A
CN115251983A CN202210892348.0A CN202210892348A CN115251983A CN 115251983 A CN115251983 A CN 115251983A CN 202210892348 A CN202210892348 A CN 202210892348A CN 115251983 A CN115251983 A CN 115251983A
Authority
CN
China
Prior art keywords
dimensional
ultrasound
ultrasonic
information
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210892348.0A
Other languages
English (en)
Inventor
白仲皖
鱼晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hualichuang Science Shenzhen Co ltd
Original Assignee
Hualichuang Science Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hualichuang Science Shenzhen Co ltd filed Critical Hualichuang Science Shenzhen Co ltd
Priority to CN202210892348.0A priority Critical patent/CN115251983A/zh
Publication of CN115251983A publication Critical patent/CN115251983A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/429—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种3D视觉与接触力融合传感优化的超声扫描系统，所述系统包括：超声探头，超声探头被配置成对患者进行连续超声扫描而形成多个超声图像；一个或多个三维视觉采集模块，一个或多个三维视觉采集模块用于连续采集患者和超声探头而形成三维视觉信息；处理设备，处理设备用于根据三维视觉采集模块的第一位置信息、多个超声图像和三维视觉信息，实时产生与多个超声图像匹配的三维超声模型，三维超声模型中包括三维患者模型和超声探头的位置及朝向。本发明通过提供三维超声模型以加强超声医生的感知，并将超声扫描的过程进行规范化、数字化、形象化，同时，由于整个扫描过程可以被记录，可以用于指导其他超声医师阅读超声图像。

Description

一种3D视觉与接触力融合传感优化的超声扫描系统
技术领域
本发明涉及超声扫描技术领域，尤其涉及一种3D视觉与接触力融合传感优化的超声扫描系统。
背景技术
超声扫描是医疗当中常用的手段，而超声医生的经验与水平直接决定了超声扫描的质量。而超声扫描的质量评估需要借助超声扫描中的额外信息进行评判，例如利用超声探头与病人身体的相对位置。由于不同的超声操作医生采用超声探头对人体部位进行超声扫描时，会存在不同的超声探头朝向，这样会导致在针对同一人体部位的扫描中，不同的医生操作会产生不同的超声图像。此种情况的弊端在于，医生在对超声图像进行判断时，若该超声图像不是自己操作扫描的，将会无法读懂该超声图像。这将会为治疗病患带来阻碍。
发明内容
鉴于以上技术问题，本发明提供了一种3D视觉与接触力融合传感优化的超声扫描系统，以解决上述提及的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本发明公开一种3D视觉与接触力融合传感优化的超声扫描系统，所述系统包括：超声探头，所述超声探头被配置成对患者进行连续超声扫描而形成多个超声图像；一个或多个三维视觉采集模块，一个或多个所述三维视觉采集模块用于连续采集患者和所述超声探头而形成三维视觉信息；处理设备，所述处理设备用于根据所述三维视觉采集模块的第一位置信息、多个所述超声图像和所述三维视觉信息，实时产生与多个所述超声图像匹配的三维超声模型，所述三维超声模型中包括三维患者模型和所述超声探头的位置及朝向。
进一步的，所述处理设备包括位置测量模块、三维重建模块、融合模块，其中：所述位置测量模块用于计算所述第一位置信息和所述三维视觉信息，得到所述超声探头相对于患者的第二位置信息，所述第二位置信息包括所述超声探头的空间坐标和朝向；所述三维重建模块用于根据所述第一位置信息和所述三维视觉信息，得到所述三维患者模型；所述融合模块用于将所述第二位置信息和所述三维患者模型合成得到所述三维超声。
进一步的，所述位置测量模块在获得所述第二位置信息的过程中，具体执行以下情况中的一种或多种：
在所述三维视觉信息中获取所述超声探头的三维点云模型，并根据所述超声探头的三维点云模型的空间位置转移矩阵以得到所述第二位置信息；
识别所述三维视觉信息中包含的二维图像，二维图像中具有所述超声探头的外壳上设置的第一标记图片，计算出所述第一标记图片与所述三维视觉采集模块的相对空间位置关系，得到所述超声探头的第二位置信息；
识别所述三维视觉信息中设置于所述超声探头上的数据线缆的多个第二标记图片，计算出所述第二标记图片与所述三维视觉采集模块的相对空间位置关系，得到所述超声探头的第二位置信息；
在所述三维视觉信息中获取设置于所述超声探头的物理标记结构的三维点云模型，并根据所述物理标记结构的三维点云模型的空间位置转移矩阵以得到所述第二位置信息，其中，所述物理标记结构具有多个，其呈规则或不规则形状，以及别呈现不同的颜色。
进一步的，所述位置测量模块还用于获取包含有所述物理标记结构的二维图像，通过计算出在二维图像中所述物理标记结构与所述三维视觉采集模块的相对空间位置关系而得到所述超声探头的第二位置信息。
进一步的，一个或多个所述三维视觉采集模块与所述超声探头连接于同一机械臂上；或一个或多个所述三维视觉采集模块设置于一个或多个可独立自由移动的多轴机器人上，所述多轴机器人设置于可采集到一个或多个所述超声探头及患者姿态的任意位置上，以及所述多轴机器人具有多个运动自由度。
进一步的，所述处理设备在获得超声图像时，还获得所述超声探头接触患者所产生的接触力信息，所述处理设备将所述接触力信息匹配进所述三维超声模型中。
进一步的，所述超声探头的超声波发生区域内覆盖有弹性传感材料，所述超声图像中包括所述弹性传感材料的形状；所述处理设备基于所述超声图像计算出所述弹性传感材料的形变量，及基于所述形变量而求得所述弹性传感材料所受到的所述接触力信息。
进一步的，所述超声探头与力传感模块连接，所述力传感模块用于在所述超声探头被施加外力时感知所述接触力信息。
进一步的，所述三维视觉采集模块包括三维相机、三维线扫激光扫描仪中的一种或两种。
进一步的，所述处理设备还用于将包括有所述超声图像和所述三维视觉信息的所述三维超声模型实时显示，和以流媒体或图片形式存储。
本公开的技术方案具有以下有益效果：
提供一种3D视觉与接触力融合传感优化的超声扫描系统，该系统可对超声扫描过程进行优化后的标准化处理。由于超声医生的经验与水平直接决定了超声扫描的质量。而超声扫描的质量评估需要借助超声扫描中的额外信息进行评判，例如利用超声探头与病人身体的相对位置，本系统提供三维超声模型以加强超声医生的感知，利用超声探头的相对位置以确认三维超声模型与二维超声图像的采集点，并且借助力传感技术感知超声探头与患者之间的接触力，以判断医生在扫描过程中的手法。因此，在此基于本公开可以记录超声医生在扫图过程中行为，并辅以对应的三维超声模型、二维为超声图像及接触力信息。借助本公开，可为任意超声扫描过程采集标准化信息，并一次建立标准化模型。
所需要的信息将不但可以在超声扫描过程中实时显示，同时也会被记录下来并在扫描完成后作为交叉验证。在读片诊断过程中，该系统可为读片医生提供扫图医生在超声扫描过程中的全部信息，从而辅助读片医生更好地对超声结果进行判断。
附图说明
图1为本说明书实施例中超声扫描系统的结构示意图；
图2为本说明书实施例中三维视觉采集模块的其中一种示例性结构图；
图3为本说明书实施例中三维视觉采集模块的再一种示例性结构图
图4为本说明书实施例中超声探头的弹性传感材料的受力示意图；
图5为本说明书实施例中由形变量计算得到接触力信息的方法流程图；
图6为本说明书实施例中超声探头的其中一种示例性结构图；
图7为本说明书实施例中处理设备的结构框图；
图8为本说明书实施例中超声探头的再一种示例性结构图。
附图标记说明：100、超声探头；101、弹性传感材料；102、被检测物；103、第一外壳；104、第二外壳；105、第一标记图片；106、第二标记图片；107、物理标记结构；200、三维视觉设备；201、三维视觉采集模块；202、多轴机器人；203、行动轮；300、处理设备；301、位置测量模块；302、三维重建模块；303、融合模块；304、接触力计算模块；400、显示设备。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提供一个通俗易懂的3D视觉引导下手术导航系统框架，在下列系统描述中涉及了许多具体的细节，例如设计、部件、方法等的具体实例。然而，本专利所保护的权益包括但不限于文中所述具体实例，任何可以被部署或替换以实现此技术路线的具体实例均应受到保护。
本专利中的“三维视觉采集模块”可以是一个能够提供场景内三维深度图像、点云或其他数字输出的设备。“超声探头”的可以是指具有“+"形、“T”形或矩阵形等形状的超声探头，可扫描多个平面或提供实时三维容积式超声扫描。
如图1所示，本说明书实施例提供一种3D视觉与接触力融合传感优化的超声扫描系统，包括：超声探头100，超声探头100被配置成对患者进行连续超声扫描而形成多个超声图像；三维视觉设备200，其包括一个或多个三维视觉采集模块201，一个或多个三维视觉采集模块201用于连续采集患者和超声探头100而形成三维视觉信息；处理设备300，处理设备300用于根据三维视觉采集模块201的第一位置信息、多个超声图像和三维视觉信息，实时产生与多个超声图像匹配的三维超声模型，三维超声模型中包括三维患者模型和超声探头100的位置及朝向。
其中，处理设备300可以是诸如计算机、控制器、服务器等具有计算、存储功能的设备，其对第一位置信息、多个超声图像和三维视觉信息进行计算得到三维超声模型，可以由其运行的一个或多个模块/单元实现，该模块/单元中存储有超声扫描算法、AI模型等，AI模型中又可以区分为视觉三维模型重建、超声三维模型重建等功能区。
三维视觉设备200将其工作范围内的内容进行扫描记录，可得到患者、超声探头100的三维模型的初始信息，也就是三维视觉信息。三维视觉信息在处理设备300中被识别、处理，根据实际扫描的数据，生成三维患者模型和超声探头100的模型，即患者的身体和超声探头100被匹配到了三维模型中。
超声图像是由超声探头100产生的，其每次产生时对应的超声探头100的位置和朝向均会有所不同，而这些不同均会被三维视觉设备200记录下来，体现在三维超声模型中。换而言之，处理设备300可以利用不同超声图像的相关特征、三维视觉信息和超声探头100的姿势信息，获得的超声图像与三维视觉信息融合得到三维超声模型。根据该三维超声模型，任何超声医师都得知当前阅读的超声图像，其产生时对应的超声探头100朝向、与患者的相对位置和扫描了患者身体的何处，如此一来，超声医师便可以对该超声图像进行判断诊断了。
另外，为了提高本发明的实用性，超声扫描系统还可以包括有显示设备400，显示设备400则可以实时播放超声图像，使得使用者可以得知超声扫描情况。显示设备400还可以实时显示三维超声模型，以更直观的方式展示。
在一实施方式中，如图2所示，一个或多个三维视觉采集模块201与超声探头100连接于同一机械臂上；或如图3所示，一个或多个三维视觉采集模块201设置于一个或多个可独立自由移动的多轴机器人202上，多轴机器人202设置于可采集到一个或多个超声探头100及患者姿态的任意位置上，以及多轴机器人202具有多个运动自由度。
另外，多轴机器人202可以由机器人控制器进行主动或手动的动作操控，以使得可以获得更加理想的视觉采集视野，以及，机器人控制器的存在，使得三维视觉采集模块201的空间位置是已知的。
同时，为了确保三维视觉采集模块201可以采集到一个或多个超声探头100及患者姿态，多轴机器人202可以在底部设置行动轮203，以便于根据使用场景移动多轴机器人202。
作为补充的，三维视觉采集模块201包括三维相机、三维线扫激光扫描仪中的一种或两种。
在一实施方式中，处理设备300在获得超声图像时，还获得超声探头100接触患者所产生的接触力信息，处理设备300将接触力信息匹配进三维超声模型中。
由于接触力也是判断超声成像质量的标准之一，获得接触力信息除了在后续可以为超声医师提供判断依据，还可以用作正在进行超声扫描时，为超声医师提供操作标准。
如图4所示，超声探头100的超声波发生区域内覆盖有弹性传感材料101，超声图像中包括弹性传感材料101的形状；处理设备300基于超声图像计算出弹性传感材料101的形变量，及基于形变量而求得弹性传感材料101所受到的接触力信息。
其中，为了便于理解弹性传感材料101和超声探头100的位置关系和应用场景，请继续参阅图4，超声探头100外表覆盖的弹性传感材料101接触到被检测物102的表面，此时会在弹性传感材料101的表面施加一个分布式的力，在弹性传感材料101为任意可以形变的材料时，施加的力会使得弹性传感材料101产生形变。弹性传感材料101以保护套的形式嵌套在超声探头100的超声发生部件上。示范性提供的第一外壳103可以对超声探头100进行保护，以及对弹性传感材料101进行固定。
在对病患的超声成像时，也可以对弹性传感材料101进行超声成像。而一般而言，弹性传感材料101中的各个点与超声探测的距离和位置是固定的，具体可以是弹性传感材料101是覆盖/贴合在超声探头100上的，且为了不影响超声波的发射，弹性传感材料101与超声探头100之间是没有空气的，具体可以通过在弹性传感材料101和超声探头100之间设置耦合剂而得到良好的成像质量保证。另外，弹性传感材料101应为可与超声检测兼容的材料，即可以理解为超声探头100所发出的超声波能量可以轻松穿过该弹性传感材料101并对超声成像效果无影响。
弹性传感材料101可在超声图像中显示，如图5所示，区域6为获取的超声图像，区域7为被检测物102的成像，将超声图像中弹性传感材料101的区域提取出如区域8，通过规律的算法/方法对区域8进行计算，弹性传感材料101的形变量可以被提取出，如区域9。由于弹性传感材料101中每一面/点的受力不同，其则产生的形变量也不同，对每个点/面的形变量进行计算，即对其的位移量进行计算，则可以求得每个点/面的受力，如区域10。示范性的，计算方式可以如下：
Δd＝di-de，Δd是形变量，初始位置di与形变位置de之间的差。
每个点/面的形变量Δd都需要被计算，每个点/面处的受力可使用Δd进行如下计算以得到：F＝k×Δd。
其中k是满足胡克定律的弹性系数k，此可以由已知的弹性传感材料的得知，便可以求得接触力信息。
在另一种实施方式中，为了获得接触力信息，还可以采用力传感模块，超声探头100与力传感模块连接，力传感模块用于在超声探头100被施加外力时感知所述接触力信息。
其中，如图6所示，力传感模块可以是一个多轴力传感器，其分布超声探头100的第二外壳104内，连接于第二外壳104与超声探头100之间，在超声探头100被触动时，其产生的作用力直接反馈于多轴力传感器，因此，接触力信息便可以被记录下来。
在一实施方式中，如图7所示，处理设备300包括位置测量模块301、三维重建模块302、融合模块303和接触力模块，其中：位置测量模块301用于计算第一位置信息和三维视觉信息，得到超声探头100相对于患者的第二位置信息，第二位置信息包括超声探头100的空间坐标和朝向；三维重建模块302用于根据第一位置信息和三维视觉信息，得到三维患者模型；融合模块303用于将第二位置信息和三维患者模型合成得到三维超声，接触力计算模块304用于对上述中基于弹性传感材料101的形变或力传感器模块的作用力而计算得到接触力信息。
其中，三维视觉采集模块201将超声探头100与被扫描者身体的三维视觉信息和三维输入到位置测量模块301、三维重建模块302、融合模块303，和输入超声探头100与被扫描者身体的二维图片、三维视觉采集模块201的第一位置信息、二维的超声图像。接触力计算模块304得到的接触力信息输入到融合模块303中。
在超声扫描开始时，多轴机器人202移动三维视觉采集模块201至合适位置以采集被扫描者身体。三维视觉采集模块201的第一位置信息与三维视觉信息被发送至三维重建模块302，三维重建模块302可利用第一位置信息与三维视觉信息对人体表面进行重建。因此，三维重建模块302可输出受扫者的身体三维模型。三维视觉信息中的超声探头100部分及三维视觉采集模块201的第一位置信息会被发送至位置测量模块301，位置测量模块301据此获得第二位置信息。
位置测量模块301根据超声探头100的设置的不同而执行不同的流程，如图8中区域A-D所示，区域A-D中包括了四种超声探头100的形态，根据超声探头100的形态的不同，位置测量模块301具体执行的过程如下步骤S701-S704的一种。
在步骤S701中，在三维视觉信息中获取超声探头100的三维点云模型，并根据超声探头100的三维点云模型的空间位置转移矩阵以得到第二位置信息。
具体如图8的区域A所示，超声探头100表面可以不设置任何标记，仅依靠超声探头100本身的形状而被位置测量模块301识别，位置测量模块301获得超声探头100在三维视觉信息中的三维数据，分析该三维数据中的各个点，并通过空间位置转移矩阵计算确定该超声探头100与三维视觉采集模块201的相对距离，由于三维视觉采集模块201的位置是已知的，因而，在确定了超声探头100与三维视觉采集模块201的相对位置后，也就可以确定超声探头100与受扫描者的相对位置。至于受扫描者与三维视觉采集模块201的相对位置，可以是预先设定的，也可以是用同样的三维点云方法获得。
在步骤S702中，如图8的区域B所示，识别三维视觉信息中包含的二维图像，二维图像中具有超声探头100的外壳上设置的第一标记图片105，计算出第一标记图片105与三维视觉采集模块201的相对空间位置关系，得到超声探头100的第二位置信息；。
其中，在超声探头100上设置第一标记图片105，则识别的方法和识别效率相对高效简单，可以在三维视觉信息中截取出多个二维图像，也可以是由额外的相机中获得。获得二维图像后，只需要对第一标记图片105进行分析，分析的原理与步骤S701相似，在已知三维视觉采集模块201的位置的情况下，通过惯用的标定算法即可得到超声探头100的位置，即得到第二位置信息。
在步骤S703中，识别三维视觉信息中设置于超声探头100上的数据线缆的多个第二标记图片106，计算出第二标记图片106与三维视觉采集模块201的相对空间位置关系，得到超声探头100的第二位置信息。
其中，如图8的区域C所示，在步骤S702中提供一种利用第一标记图片105获得超声探头100的方法，但在实际应用中，超声探头100时常处于被超声医师手握的状态，第一标记图片105可能会存在被遮挡的情况。因而，在超声探头100的连接线缆上设置第二标记图片106，为步骤S702提供补充。
在步骤S704中，在三维视觉信息中获取设置于超声探头100的物理标记结构107的三维点云模型，并根据物理标记结构107的三维点云模型的空间位置转移矩阵以得到第二位置信息。
其中，如图8的区域D所示，区别于步骤S701-S703，超声探头100上还可以设置一些可被识别的物理标记结构107，该物理标记结构107可以是球形结构、方形结构及替他结构，物理标记结构107必须存在于超声探头100的上表面以避免对扫图医生握持及操作的影响。通过设置物理标记结构107，由于其拥有与第一标记图片105或第二标记图片106不同的物理触感，超声医师在手握超声探头100时，可以避免对物理标记结构107的遮挡。因此，对第二位置信息的获取，可以采用与步骤S701相同的方法，但检测的对象变成了物理标记结构107。
作为对步骤S704的补充，物理标记结构107具有多个，其呈规则或不规则形状，以及别呈现不同的颜色。进而，位置测量模块301可以获取包含有物理标记结构107的二维图像，通过计算出在二维图像中物理标记结构107与三维视觉采集模块201的相对空间位置关系而得到超声探头100的第二位置信息。即采用与步骤S702-S703相似的二维标定方法。
在一实施方式中，处理设备300应具有存储单元，使得处理设备300可以将包括有超声图像和三维视觉信息的三维超声模型实时显示，还可以通过存储单元将上述数据以流媒体或图片形式存储。
通过上述的实施方式得知，本发明提供一种3D视觉与接触力融合传感优化的超声扫描系统，该系统可对超声扫描过程进行优化后的标准化处理。由于超声医生的经验与水平直接决定了超声扫描的质量。而超声扫描的质量评估需要借助超声扫描中的额外信息进行评判，例如利用超声探头100与病人身体的相对位置，本系统提供三维超声模型以加强超声医生的感知，利用超声探头100的相对位置以确认三维超声模型与二维超声图像的采集点，并且借助力传感技术感知超声探头100与患者之间的接触力，以判断医生在扫描过程中的手法。因此，在此基于本公开可以记录超声医生在扫图过程中行为，并辅以对应的三维超声模型、二维为超声图像及接触力信息。借助本公开，可为任意超声扫描过程采集标准化信息，并一次建立标准化模型。
所需要的信息将不但可以在超声扫描过程中实时显示，同时也会被记录下来并在扫描完成后作为交叉验证。在读片诊断过程中，该系统可为读片医生提供扫图医生在超声扫描过程中的全部信息，从而辅助读片医生更好地对超声结果进行判断
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在上面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

Claims (10)

1.一种3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述系统包括：
超声探头，所述超声探头被配置成对患者进行连续超声扫描而形成多个超声图像；
一个或多个三维视觉采集模块，一个或多个所述三维视觉采集模块用于连续采集患者和所述超声探头而形成三维视觉信息；
处理设备，所述处理设备用于根据所述三维视觉采集模块的第一位置信息、多个所述超声图像和所述三维视觉信息，实时产生与多个所述超声图像匹配的三维超声模型，所述三维超声模型中包括三维患者模型和所述超声探头的位置及朝向。
2.根据权利要求1所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述处理设备包括位置测量模块、三维重建模块、融合模块，其中：
所述位置测量模块用于计算所述第一位置信息和所述三维视觉信息，得到所述超声探头相对于患者的第二位置信息，所述第二位置信息包括所述超声探头的空间坐标和朝向；
所述三维重建模块用于根据所述第一位置信息和所述三维视觉信息，得到所述三维患者模型；
所述融合模块用于将所述第二位置信息和所述三维患者模型合成得到所述三维超声。
3.根据权利要求2所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述位置测量模块在获得所述第二位置信息的过程中，具体执行以下情况中的一种或多种：
在所述三维视觉信息中获取所述超声探头的三维点云模型，并根据所述超声探头的三维点云模型的空间位置转移矩阵以得到所述第二位置信息；
识别所述三维视觉信息中包含的二维图像，二维图像中具有所述超声探头的外壳上设置的第一标记图片，计算出所述第一标记图片与所述三维视觉采集模块的相对空间位置关系，得到所述超声探头的第二位置信息；
识别所述三维视觉信息中设置于所述超声探头上的数据线缆的多个第二标记图片，计算出所述第二标记图片与所述三维视觉采集模块的相对空间位置关系，得到所述超声探头的第二位置信息；
在所述三维视觉信息中获取设置于所述超声探头的物理标记结构的三维点云模型，并根据所述物理标记结构的三维点云模型的空间位置转移矩阵以得到所述第二位置信息，其中，所述物理标记结构具有多个，其呈规则或不规则形状，以及别呈现不同的颜色。
4.根据权利要求3所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述位置测量模块还用于获取包含有所述物理标记结构的二维图像，通过计算出在二维图像中所述物理标记结构与所述三维视觉采集模块的相对空间位置关系而得到所述超声探头的第二位置信息。
5.根据权利要求1所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，一个或多个所述三维视觉采集模块与所述超声探头连接于同一机械臂上；
或一个或多个所述三维视觉采集模块设置于一个或多个可独立自由移动的多轴机器人上，所述多轴机器人设置于可采集到一个或多个所述超声探头及患者姿态的任意位置上，以及所述多轴机器人具有多个运动自由度。
6.根据权利要求1所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述处理设备在获得超声图像时，还获得所述超声探头接触患者所产生的接触力信息，所述处理设备将所述接触力信息匹配进所述三维超声模型中。
7.根据权利要求6所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述超声探头的超声波发生区域内覆盖有弹性传感材料，所述超声图像中包括所述弹性传感材料的形状；所述处理设备基于所述超声图像计算出所述弹性传感材料的形变量，及基于所述形变量而求得所述弹性传感材料所受到的所述接触力信息。
8.根据权利要求6所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述超声探头与力传感模块连接，所述力传感模块用于在所述超声探头被施加外力时感知所述接触力信息。
9.根据权利要求1所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述三维视觉采集模块包括三维相机、三维线扫激光扫描仪中的一种或两种。
10.根据权利要求1所述的3D视觉与接触力融合传感优化的超声扫描系统，其特征在于，所述处理设备还用于将包括有所述超声图像和所述三维视觉信息的所述三维超声模型实时显示，和以流媒体或图片形式存储。
CN202210892348.0A 2022-07-27 2022-07-27 一种3d视觉与接触力融合传感优化的超声扫描系统 Pending CN115251983A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210892348.0A CN115251983A (zh) 2022-07-27 2022-07-27 一种3d视觉与接触力融合传感优化的超声扫描系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210892348.0A CN115251983A (zh) 2022-07-27 2022-07-27 一种3d视觉与接触力融合传感优化的超声扫描系统

Publications (1)

Publication Number Publication Date
CN115251983A true CN115251983A (zh) 2022-11-01

Family

ID=83771845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210892348.0A Pending CN115251983A (zh) 2022-07-27 2022-07-27 一种3d视觉与接触力融合传感优化的超声扫描系统

Country Status (1)

Country Link
CN (1) CN115251983A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014757A (zh) * 2008-04-25 2011-04-13 株式会社日立医疗器械 超声波诊断装置
CN111487320A (zh) * 2019-01-29 2020-08-04 中慧医学成像有限公司 基于三维光学成像传感器的三维超声成像方法和系统
CN112057110A (zh) * 2019-05-22 2020-12-11 深圳市德力凯医疗设备股份有限公司 一种三维血管超声图像的成像方法及超声术中导航设备
CN114711964A (zh) * 2022-04-29 2022-07-08 华力创科学(深圳)有限公司 基于机器人超声扫描的手术导航系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102014757A (zh) * 2008-04-25 2011-04-13 株式会社日立医疗器械 超声波诊断装置
CN111487320A (zh) * 2019-01-29 2020-08-04 中慧医学成像有限公司 基于三维光学成像传感器的三维超声成像方法和系统
WO2020156299A1 (zh) * 2019-01-29 2020-08-06 中慧医学成像有限公司 基于三维光学成像传感器的三维超声成像方法和系统
CN112057110A (zh) * 2019-05-22 2020-12-11 深圳市德力凯医疗设备股份有限公司 一种三维血管超声图像的成像方法及超声术中导航设备
CN114711964A (zh) * 2022-04-29 2022-07-08 华力创科学(深圳)有限公司 基于机器人超声扫描的手术导航系统及方法

Similar Documents

Publication Publication Date Title
CN113613852B (zh) 机器人手术碰撞检测系统
EP3125809B1 (en) Surgical system with haptic feedback based upon quantitative three-dimensional imaging
CN109009211B (zh) 智能设备、基于超声波检测的方法及装置
JP5127371B2 (ja) 超音波画像診断システム、及びその制御方法
JP4136859B2 (ja) 位置姿勢計測方法
Boctor et al. A novel closed form solution for ultrasound calibration
JP6083103B2 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
CN107238396A (zh) 超声换能器的姿态恢复
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
JP6014931B2 (ja) 視線計測方法
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
CN111166387B (zh) 甲状腺的超声成像方法和装置
CN112132805B (zh) 一种基于人体特征的超声机器人状态归一化方法及系统
CN110288653A (zh) 一种多角度超声图像融合方法、系统及电子设备
CN115089212A (zh) 一种三维视觉引导的机械臂自动颈部超声扫描方法及系统
CN117392109A (zh) 一种乳腺病灶三维重建方法及系统
Cai et al. A low-cost camera-based ultrasound probe tracking system: Design and prototype
JP2005353036A (ja) 情報処理装置および情報処理方法
US20030154201A1 (en) Data storage format for topography data
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
JP6501796B2 (ja) 超音波画像のモデル・ベースのセグメンテーションのための取得方位依存特徴
JP6580243B2 (ja) 情報処理装置、超音波画像診断システム、情報処理方法及びプログラム
CN115251983A (zh) 一种3d视觉与接触力融合传感优化的超声扫描系统
KR101601021B1 (ko) 자이로 센서를 이용한 3ｄ 내시경 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination