CN117257346A - 基于影像识别的超声探头引导方法及装置 - Google Patents

基于影像识别的超声探头引导方法及装置 Download PDF

Info

Publication number
CN117257346A
CN117257346A CN202311103904.2A CN202311103904A CN117257346A CN 117257346 A CN117257346 A CN 117257346A CN 202311103904 A CN202311103904 A CN 202311103904A CN 117257346 A CN117257346 A CN 117257346A
Authority
CN
China
Prior art keywords
target
ultrasonic probe
biological structure
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311103904.2A
Other languages
English (en)
Inventor
汪南
严亚飞
唐井飞
谢红宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Aiyunji Information Technology Co Ltd
Original Assignee
Guangzhou Aiyunji Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Aiyunji Information Technology Co Ltd filed Critical Guangzhou Aiyunji Information Technology Co Ltd
Priority to CN202311103904.2A priority Critical patent/CN117257346A/zh
Publication of CN117257346A publication Critical patent/CN117257346A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4209Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58Testing, adjusting or calibrating the diagnostic device
    • A61B8/585Automatic set-up of the device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于影像识别的超声探头引导方法及装置,该方法包括:获取目标超声探头实时扫描得到的当前超声影像;根据影像识别算法,确定所述当前超声影像对应的生物结构信息;根据所述生物结构信息,确定所述目标超声探头对应的引导规则;确定所述目标超声探头的当前位姿信息;根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数;所述移动参数用于通过控制指令控制所述目标超声探头移动以满足所述引导规则。可见,本发明能够实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。

Description

基于影像识别的超声探头引导方法及装置
技术领域
本发明涉及影像处理技术领域,尤其涉及一种基于影像识别的超声探头引导方法及装置。
背景技术
随着超声成像技术的发展,越来越多的公司或机构采用超声成像技术来进行相关生物结构的影像获取,并进一步根据获取到的影像进行相关的研究。但现有技术中,在进行超声成像时,一般由操作人员来控制超声探头的位置,操作人员会根据一些预设的探头移动路线来移动探头,以获取到想要的影像。但现有技术没有考虑到结合影像识别来自动地引导超声探头进行移动,其扫描效率较低,且智能化程度不高。可见,现有技术存在缺陷,亟待解决。
发明内容
本发明所要解决的技术问题在于,提供一种基于影像识别的超声探头引导方法及装置,能够实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
为了解决上述技术问题,本发明第一方面公开了一种基于影像识别的超声探头引导方法,所述方法包括:
获取目标超声探头实时扫描得到的当前超声影像;
根据影像识别算法,确定所述当前超声影像对应的生物结构信息;
根据所述生物结构信息,确定所述目标超声探头对应的引导规则;
确定所述目标超声探头的当前位姿信息;
根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数;所述移动参数用于通过控制指令控制所述目标超声探头移动以满足所述引导规则。
作为一个可选的实施方式,在本发明第一方面中,所述确定所述目标超声探头的当前位姿信息,包括:
获取设置在所述目标超声探头的目标摄像设备获取到的实时附近图像;
获取设置在所述目标超声探头的位姿传感器的传感信息;
根据所述实时附近图像和所述传感信息,确定所述目标超声探头的当前位姿信息。
作为一个可选的实施方式,在本发明第一方面中,所述引导规则包括异常检查引导规则、全貌查看引导规则和三维重构引导规则中的至少一种;和/或,所述当前位姿信息包括当前位置信息和/或当前探头朝向信息;和/或,所述移动参数包括移动距离、移动方向和旋转角度中的至少一种。
作为一个可选的实施方式,在本发明第一方面中,所述根据所述生物结构信息,确定所述目标超声探头对应的引导规则,包括:
根据所述生物结构信息对应的异常检测规则,判断所述当前超声影像是否为异常影像,得到第一判断结果;
若所述第一判断结果为是,将所述生物结构信息对应的异常检查规则,确定为所述目标超声探头对应的引导规则;所述异常检查规则用于指示至少一个所述目标超声探头应达到的针对所述生物结构信息的异常观察位置;
和/或,
判断所述生物结构信息是否存在视角局限情况,得到第二判断结果;所述视角局限情况用于指示所述当前超声影像无法全面展示所述生物结构信息;
若所述第二判断结果为是,将所述生物结构信息对应的全貌检查规则,确定为所述目标超声探头对应的引导规则;所述全貌检查规则用于指示至少一个所述目标超声探头应达到的针对所述生物结构信息的全貌观察位置;
和/或,
判断所述生物结构信息是否存在三维重建需求,得到第三判断结果;
若所述第三判断结果为是,将所述生物结构信息对应的三维重建引导规则,确定为所述目标超声探头对应的引导规则;所述三维重建引导规则用于指示多个所述目标超声探头应达到的针对所述生物结构信息的扫描位置,所述扫描位置用于使得所述目标超声探头扫描得到的所有影像足以完成对所述生物结构信息的三维建模。
作为一个可选的实施方式,在本发明第一方面中,所述引导规则用于指示至少一个所述目标超声探头应达到的目标位置;以及,所述根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数,包括:
对于所述引导规则对应的任一所述目标位置,根据该目标位置以及所述生物结构信息,确定该目标位置对应的目标对准方向;
根据该目标位置和所述当前位姿信息,确定所述目标超声探头对应的移动距离和移动方向;
根据所述目标对准方向和所述当前位姿信息,确定所述目标超声探头在该目标位置对应的旋转角度;
将所有所述目标位置对应的所述移动距离、所述移动方向和所述旋转角度确定为所述目标超声探头的移动参数。
作为一个可选的实施方式,在本发明第一方面中,所述将所述生物结构信息对应的全貌检查规则,确定为所述目标超声探头对应的引导规则,包括:
控制所述目标超声探头沿预设的扫描路线进行移动和扫描,获取所述目标超声探头实时扫描得到的第一扫描影像;
根据影像识别算法,判断所述第一扫描影像是否包括有与所述生物结构信息对应的关联生物结构,得到第四判断结果;
若第四判断结果为是,确定所述第一扫描影像对应的所述目标超声探头的第一扫描位置,以及所述当前超声影像对应的所述目标超声探头的第二扫描位置;
将至少包括有所述第一扫描位置和所述第二扫描位置的全貌检查规则,确定为所述目标超声探头对应的引导规则。
作为一个可选的实施方式,在本发明第一方面中,所述方法还包括:
实时获取通过所述控制指令控制所述目标超声探头移动的过程中,所述目标超声探头扫描得到的至少一个第二扫描影像;
判断所述至少一个第二扫描影像是否满足所述引导规则或所述生物结构信息对应的扫描目的条件,得到第五判断结果;
若所述第五判断结果为是,停止控制所述目标超声探头移动。
本发明实施例第二方面公开了一种基于影像识别的超声探头引导装置,所述装置包括:
影像获取模块,用于获取目标超声探头实时扫描得到的当前超声影像;
影像识别模块,用于根据影像识别算法,确定所述当前超声影像对应的生物结构信息;
引导确定模块,用于根据所述生物结构信息,确定所述目标超声探头对应的引导规则;
位姿确定模块,用于确定所述目标超声探头的当前位姿信息;
探头引导模块,用于根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数;所述移动参数用于通过控制指令控制所述目标超声探头移动以满足所述引导规则。
作为一个可选的实施方式,在本发明第二方面中,所述位姿确定模块确定所述目标超声探头的当前位姿信息的具体方式,包括:
获取设置在所述目标超声探头的目标摄像设备获取到的实时附近图像;
获取设置在所述目标超声探头的位姿传感器的传感信息;
根据所述实时附近图像和所述传感信息,确定所述目标超声探头的当前位姿信息。
作为一个可选的实施方式,在本发明第二方面中,所述引导规则包括异常检查引导规则、全貌查看引导规则和三维重构引导规则中的至少一种;和/或,所述当前位姿信息包括当前位置信息和/或当前探头朝向信息;和/或,所述移动参数包括移动距离、移动方向和旋转角度中的至少一种。
作为一个可选的实施方式,在本发明第二方面中,所述引导确定模块根据所述生物结构信息,确定所述目标超声探头对应的引导规则的具体方式,包括:
根据所述生物结构信息对应的异常检测规则,判断所述当前超声影像是否为异常影像,得到第一判断结果;
若所述第一判断结果为是,将所述生物结构信息对应的异常检查规则,确定为所述目标超声探头对应的引导规则;所述异常检查规则用于指示至少一个所述目标超声探头应达到的针对所述生物结构信息的异常观察位置;
和/或,
判断所述生物结构信息是否存在视角局限情况,得到第二判断结果;所述视角局限情况用于指示所述当前超声影像无法全面展示所述生物结构信息;
若所述第二判断结果为是,将所述生物结构信息对应的全貌检查规则,确定为所述目标超声探头对应的引导规则;所述全貌检查规则用于指示至少一个所述目标超声探头应达到的针对所述生物结构信息的全貌观察位置;
和/或,
判断所述生物结构信息是否存在三维重建需求,得到第三判断结果;
若所述第三判断结果为是,将所述生物结构信息对应的三维重建引导规则,确定为所述目标超声探头对应的引导规则;所述三维重建引导规则用于指示多个所述目标超声探头应达到的针对所述生物结构信息的扫描位置,所述扫描位置用于使得所述目标超声探头扫描得到的所有影像足以完成对所述生物结构信息的三维建模。
作为一个可选的实施方式,在本发明第二方面中,所述引导规则用于指示至少一个所述目标超声探头应达到的目标位置;以及,所述探头引导模块根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数的具体方式,包括:
对于所述引导规则对应的任一所述目标位置,根据该目标位置以及所述生物结构信息,确定该目标位置对应的目标对准方向;
根据该目标位置和所述当前位姿信息,确定所述目标超声探头对应的移动距离和移动方向;
根据所述目标对准方向和所述当前位姿信息,确定所述目标超声探头在该目标位置对应的旋转角度;
将所有所述目标位置对应的所述移动距离、所述移动方向和所述旋转角度确定为所述目标超声探头的移动参数。
作为一个可选的实施方式,在本发明第二方面中,所述引导确定模块将所述生物结构信息对应的全貌检查规则,确定为所述目标超声探头对应的引导规则的具体方式,包括:
控制所述目标超声探头沿预设的扫描路线进行移动和扫描,获取所述目标超声探头实时扫描得到的第一扫描影像;
根据影像识别算法,判断所述第一扫描影像是否包括有与所述生物结构信息对应的关联生物结构,得到第四判断结果;
若第四判断结果为是,确定所述第一扫描影像对应的所述目标超声探头的第一扫描位置,以及所述当前超声影像对应的所述目标超声探头的第二扫描位置;
将至少包括有所述第一扫描位置和所述第二扫描位置的全貌检查规则,确定为所述目标超声探头对应的引导规则。
作为一个可选的实施方式,在本发明第二方面中,所述装置还包括实时判断模块,用于执行以下步骤:
实时获取通过所述控制指令控制所述目标超声探头移动的过程中,所述目标超声探头扫描得到的至少一个第二扫描影像;
判断所述至少一个第二扫描影像是否满足所述引导规则或所述生物结构信息对应的扫描目的条件,得到第五判断结果;
若所述第五判断结果为是,停止控制所述目标超声探头移动。
本发明第三方面公开了另一种基于影像识别的超声探头引导装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的基于影像识别的超声探头引导方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的基于影像识别的超声探头引导方法中的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,公开了一种基于影像识别的超声探头引导方法及装置,该方法包括:获取目标超声探头实时扫描得到的当前超声影像;根据影像识别算法,确定所述当前超声影像对应的生物结构信息;根据所述生物结构信息,确定所述目标超声探头对应的引导规则;确定所述目标超声探头的当前位姿信息;根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数;所述移动参数用于通过控制指令控制所述目标超声探头移动以满足所述引导规则。可见,本发明实施例能够对实时扫描得到的影像进行识别得到生物结构信息,并进一步确定出该生物结构对应的引导规则,以实现对超声探头的引导,从而能够实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于影像识别的超声探头引导方法的流程示意图。
图2是本发明实施例公开的另一种基于影像识别的超声探头引导方法的流程示意图。
图3是本发明实施例公开的一种基于影像识别的超声探头引导装置的结构示意图。
图4是本发明实施例公开的另一种基于影像识别的超声探头引导装置的结构示意图。
图5是本发明实施例公开的又一种基于影像识别的超声探头引导装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于影像识别的超声探头引导方法及装置,能够对实时扫描得到的影像进行识别得到生物结构信息,并进一步确定出该生物结构对应的引导规则,以实现对超声探头的引导,从而能够实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于影像识别的超声探头引导方法的流程示意图。其中,图1所描述的基于影像识别的超声探头引导方法应用于数据处理系统/数据处理设备/数据处理服务器(其中,该服务器包括本地处理服务器或云处理服务器)中。如图1所示,该基于影像识别的超声探头引导方法可以包括以下操作:
101、获取目标超声探头实时扫描得到的当前超声影像。
可选的,本发明所述的超声探头是超声检测设备中在超声波检测过程中发射和接收超声波的装置,其可以包括实现电能和声能转换的换能器。可选的,目标超声探头可以为直探头、斜探头、带曲率探头、聚焦探头或表面波探头,需要注意的是,任何能够实现对生物结构的超声成像的超声探头都应被认为包括在本发明的保护范围中。
可选的,本发明所述的超声影像可以通过超声成像设备对检测对象进行扫描成像而获得,例如,超声成像设备的发射模块可以将一组经过延迟聚焦的脉冲发送到超声探头,而超声探头向检测对象发射超声波,经一定延时后超声探头接收从检测对象反射回来的带有组织信息的超声回波,并将此超声回波重新转换为电信号。接着,超声成像设备接收这些电信号,并将这些超声回波信号送入波束合成模块完成聚焦延时、加权和通道求和,再经过信号处理模块进行信号处理,得到超声影像。
可选的,当前超声影像可以是目标超声探头根据历史的引导规则进行自动移动的过程中获得的,也可以是目标超声探头被操作人员控制移动的过程中获得的,本发明不做限定。
102、根据影像识别算法,确定当前超声影像对应的生物结构信息。
可选的,可以采用神经网络算法或模板匹配算法等影像识别算法,来确定当前超声影像对应的生物结构信息。可选的,本发明所述的生物结构信息可以为人体内或动物体内的生物组织,优选的,本发明的方法应用在针对人体的超声扫描场景中有较为优异的效果,但其仍然可以应用在针对动物的超声扫描场景中,本发明不做限定。
103、根据生物结构信息,确定目标超声探头对应的引导规则。
可选的,可以先预先设置有不同的生物结构信息对应的不同的引导规则,后续可以直接根据识别得到的生物结构信息来直接确定出对应的引导规则。可选的,引导规则可以指示引导位置或引导路线,用于限定超声探头应该到达的单个位置和朝向,或多个位置和朝向形成的集合。
可选的,引导规则可以包括异常检查引导规则、全貌查看引导规则和三维重构引导规则中的至少一种,其中,异常检查引导规则用于引导超声探头到达至少一个位置以获得能够完成对生物结构信息的异常检查的超声影像,全貌查看引导规则用于引导超声探头到达至少一个位置以获得能够完成对生物结构信息的全貌查看的超声影像,异常检查引导规则用于引导超声探头到达至少一个位置以获得能够完成对生物结构信息的三维重构的超声影像。
104、确定目标超声探头的当前位姿信息。
可选的,当前位姿信息可以包括当前位置信息和/或当前探头朝向信息。可选的,当前位姿信息可以通过设置在目标超声探头上的传感器进行获取。可选的,传感器可通过磁场定位、加速度、陀螺仪、欧拉角、光学检测、多目摄像头定位等技术中的一种或多种来确定目标超声探头的当前位姿信息。
105、根据引导规则和当前位姿信息,确定目标超声探头的移动参数。
可选的,移动参数可以包括移动距离、移动方向和旋转角度中的至少一种。具体的,移动参数用于通过控制指令控制目标超声探头移动以满足引导规则。可选的,可以发送包含有移动参数的控制指令至目标超声探头或其驱动装置,以驱动目标超声探头进行移动。可选的,也可以将移动参数发送至用户对应的终端进行显示以指示用户控制目标超声探头移动以满足引导规则。
可见,上述发明实施例能够对实时扫描得到的影像进行识别得到生物结构信息,并进一步确定出该生物结构对应的引导规则,以实现对超声探头的引导,从而能够实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,上述步骤104中的,确定目标超声探头的当前位姿信息,包括:
获取设置在目标超声探头的目标摄像设备获取到的实时附近图像;
获取设置在目标超声探头的位姿传感器的传感信息;
根据实时附近图像和传感信息,确定目标超声探头的当前位姿信息。
可选的,目标摄像设备可以设置在目标超声探头的侧边,用于获取目标超声探头附近的实时附近图像,后续可以根据实时附近图像中的标记物图像来反向推导目标超声探头的当前推定位置。
可选的,可以通过安装于超声探头侧边的摄像头获取的实时附近图像,结合位姿传感器获取的探头本身的内部定位信息(例如陀螺仪传感信息或欧拉角传感信息),计算出超声探头的世界坐标和姿态角度,以得到目标超声探头的当前位姿信息。
可见,通过实施该可选的实施方式,能够结合目标摄像设备获取到的实时附近图像和位姿传感器的传感信息来准确地确定出目标超声探头的当前位姿信息,从而在后续能够根据引导规则进行更加精确地探头引导,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,引导规则用于指示至少一个目标超声探头应达到的目标位置。可选的,上述步骤105中的,根据引导规则和当前位姿信息,确定目标超声探头的移动参数,包括:
对于引导规则对应的任一目标位置,根据该目标位置以及生物结构信息,确定该目标位置对应的目标对准方向;
根据该目标位置和当前位姿信息,确定目标超声探头对应的移动距离和移动方向;
根据目标对准方向和当前位姿信息,确定目标超声探头在该目标位置对应的旋转角度;
将所有目标位置对应的移动距离、移动方向和旋转角度确定为目标超声探头的移动参数。
可选的,移动距离和移动方向用于指示目标超声探头从当前位置移动到引导规则中指示的至少一个目标位置的距离和方向,而旋转角度用于指示目标超声探头从当前朝向旋转至能够在引导规则中指示的至少一个目标位置对准生物结构的方向所要经过的角度。
可见,通过实施该可选的实施方式,能够根据目标位置以及生物结构信息,和当前位姿信息,确定目标超声探头对应的移动距离、移动方向和旋转角度等移动参数,从而能够更加精确地在后续实现对超声探头的引导,进而实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,上述步骤103中的,根据生物结构信息,确定目标超声探头对应的引导规则,包括:
根据生物结构信息对应的异常检测规则,判断当前超声影像是否为异常影像,得到第一判断结果;
若第一判断结果为是,将生物结构信息对应的异常检查规则,确定为目标超声探头对应的引导规则。
具体的,异常检查规则用于指示至少一个目标超声探头应达到的针对生物结构信息的异常观察位置。
可选的,异常检测规则可以用于指示该生物结构信息存在异常,如病变、移位等异常情况时的图像表征规则,其可以为特定的图像模板匹配算法或神经网络检测算法。在一个具体的实施方案中,可以通过异常检测规则来判断当前超声影像是否有异常病变的情况,并在判断结果为是时实时引导超声探头移动,以方便操作者查看相关区域或此结构的不同角度切面,同时计算超声探头末姿态与探头初始姿态的参数变换,实时给出探头移动的方向、距离及倾斜角度等,从而可给操作者提供快速的引导,提高检查效率。
更具体的,以针对人类的颅脑水平切面的异常检测场景为例,首先以超声探头扫描到的影像数据作为输入,使用端到端目标检测方法,通过识别的关键特征判断该影像是否为标准颅脑水平切面,如果符合,则进行按照颅脑水平切面相关的引导规则引导探头运动。具体的,如果识别到“透明隔腔消失”或者“泪滴状侧脑室”等异常图像特征,则此时可能为“胼胝体发育不全”的异常情况,需要引导探头运动至能够进一步确认病症的头颅正中央矢状切面的探头位置。优选的,在引导的过程中,首先通过安装于探头侧边的摄像头,结合探头本身的内部定位信息(陀螺仪,欧拉角等)计算出探头的世界坐标x,y,z和姿态角度yaw,pitch,roll,然后根据引导规则中转换切面需要的旋转角度,获得探头的旋转角度和移动距离,实时计算探头与目标位置的位移距离和角度偏差,当探头与目标位置之间的误差小于设定值后,提示完成引导,操作者可继续扫描检查。
进一步的,完成引导后,探头可以检测到颅脑正中央矢状切面和胼胝体相关的图像特征,并最终确定是否为“胼胝体发育不良”的异常情况,之后可以恢复探头的自由探索模式,或是停止探头的移动,或者操作者也可以自行中断引导。
可见,通过实施该可选的实施方式,能够根据生物结构信息对应的异常检测规则判断当前超声影像是否为异常影像,并根据判断结果将生物结构信息对应的异常检查规则,确定为目标超声探头对应的引导规则,从而能够实现引导超声探头完成对异常的生物结构图像的移动观察,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,上述步骤103中的,根据生物结构信息,确定目标超声探头对应的引导规则,包括:
判断生物结构信息是否存在视角局限情况,得到第二判断结果;
若第二判断结果为是,将生物结构信息对应的全貌检查规则,确定为目标超声探头对应的引导规则。
具体的,全貌检查规则用于指示至少一个目标超声探头应达到的针对生物结构信息的全貌观察位置。
可选的,视角局限情况可以用于指示当前超声影像无法全面展示生物结构信息,例如生物结构信息为对称的生物结构,如婴儿的双手,而此时的超声影像角度仅能够观察到其中一只手,或是生物结构信息为分布较为分散的结构,如脊椎,而此时的超声影像角度仅能够观察到其中的一部分结构,这些时候需要移动探头进行更加全面的探查。可选的,视角局限情况可以由操作人员根据经验设置在系统中,并在检测到相应的生物结构信息时触发执行后续的引导步骤。
在一个具体的实施方案中,可以当超声探头不足以完全扫查大区域结构时,基于只有超声影像采集作为输入的场景来说,所得到的识别信息也相对应为局部信息,难以对全局判断产生有效的结果。此时,超声影像采集结合探头实时定位,可完成超声空间上的补充,通过连续扫查可实现图像拼接且查看大结构的全貌。
可见,通过实施该可选的实施方式,能够判断生物结构信息是否存在视角局限情况,并根据判断结果将生物结构信息对应的全貌检查规则,确定为目标超声探头对应的引导规则,从而能够实现引导超声探头完成对存在视角局限的生物结构图像的移动全貌观察,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,上述步骤中的,将生物结构信息对应的全貌检查规则,确定为目标超声探头对应的引导规则,包括:
控制目标超声探头沿预设的扫描路线进行移动和扫描,获取目标超声探头实时扫描得到的第一扫描影像;
根据影像识别算法,判断第一扫描影像是否包括有与生物结构信息对应的关联生物结构,得到第四判断结果;
若第四判断结果为是,确定第一扫描影像对应的目标超声探头的第一扫描位置,以及当前超声影像对应的目标超声探头的第二扫描位置;
将至少包括有第一扫描位置和第二扫描位置的全貌检查规则,确定为目标超声探头对应的引导规则。
可选的,预设的扫描路线可以为自由扫描路线或是由操作人员控制的扫描路线,或是根据其他引导规则引导的探头移动路线。
可选的,关联生物结构可以为一个或多个与生物结构信息在特定生物结构类别的意义上存在关联的结构,例如左右手存在关联,左右脑存在关联这样的关系,因此针对其的扫描可以有助于对生物结构信息的全貌检查。相应的,第二扫描位置也可以包括一个或多个对应于关联生物结构的位置。
更具体的,以针对中晚孕期胎儿左右手的检测场景为例,首先以探头扫描到的影像数据作为输入,使用端到端目标检测方法,通过识别的关键特征判断该影像是否为手切面,如果符合,则记录当前探头的世界坐标xyz和姿态yaw,pitch,roll以及当前的时间t0,记录这个手切面为hand_1。优选的,当再次检测到手切面时,与上一次检测到的手切面的探头位置与姿态角度进行比对,当世界坐标偏差小于b_x,b_y,b_z,探头姿态偏差小于b_yaw,b_pitch,b_roll时,更新hand_1的信息(包含探头的世界坐标和姿态,时间t);当世界坐标偏差大于b_x,b_y,b_z,探头姿态偏差大于b_yaw,b_pitch,b_roll时,记录当前手切面为hand_2,并记录对应的探头世界坐标和姿态。最后,通过先前记录的hand_1和hand_2的探头信息,引导操作者将探头运动到对应两个位置,反复若干次,以完全确认胎儿双手同时存在,当操作者已经确认完毕,可手动中止引导。
可见,通过该可选的实施方式,可以通过至少包括有第一扫描位置和第二扫描位置的全貌检查规则来引导超声探头对生物结构信息进行全貌检查,能够实现引导超声探头在至少两个位置完成与生物结构信息相关的结构的扫描,以实现对存在视角局限的生物结构图像的移动全貌观察,实现更加智能以及更加高效的超声扫描。
作为一个可选的实施方式,上述步骤103中的,根据生物结构信息,确定目标超声探头对应的引导规则,包括:
判断生物结构信息是否存在三维重建需求,得到第三判断结果;
若第三判断结果为是,将生物结构信息对应的三维重建引导规则,确定为目标超声探头对应的引导规则。
具体的,三维重建引导规则用于指示多个目标超声探头应达到的针对生物结构信息的扫描位置,具体的,该多个扫描位置用于使得目标超声探头扫描得到的所有影像足以完成对生物结构信息的三维建模。
具体的,三维重建需求用于指示生物结构信息需要进行三维建模,其可以是该生物结构信息的结构面积太大需要进行建模,或是系统中预设储存有针对该生物结构信息的三维重建需求,或是接收到的操作人员实时发送的三维建模需求,本发明不做限定。
在一个具体的实施方案中,可以根据三维重建引导规则控制超声探头移动扫查切面的多个超声影像记录,以及超声探头的固定或匀速移动过程中的多个位姿信息,实现超声影像的三维影像重构,完成三维影像重构后,可实现目标生物结构的查看或分割或识别。
更具体的,以针对胎儿肢体的三维重建场景为例,首先以超声探头扫描到的影像数据作为输入,使用端到端目标检测方法,通过识别的关键特征判断是否为胎儿的身体部位,如肱骨或者股骨特征,若结果为是,在当检测到“膝侧/肘侧”和“肩侧/髋侧”等图像特征时,通过“膝侧/肘侧”和“肩侧/髋侧”图像特征计算肱骨或者股骨的方向,得到对应的引导规则,根据探头的位姿信息,计算探头应该运动的方向yaw,pitch,roll和距离xyz,在屏幕中显示以引导操作者移动和转动探头,或通过驱动设备直接控制探头移动。优选的,当操作者或驱动设备按照引导规则操作探头,目标检测系统可依次检测到“胫腓骨”、“尺桡骨”、“手掌”和“脚掌”等特征,当肢体中的所有特征都被检测到时,完成引导和检查,会自动退出引导,当无法检测到部分肢体时,操作者或驱动设备可根据引导规则反复检查,当确认肢体缺失时,可自行退出引导。
可见,通过实施该可选的实施方式,能够判断生物结构信息是否存在三维重建需求,并根据判断结果将生物结构信息对应的三维重建引导规则,确定为目标超声探头对应的引导规则,从而能够实现引导超声探头完成对需三维重建的生物结构图像的移动扫描以获得多个可以进行三维重建的超声影像,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
实施例二
请参阅图2,图2是本发明实施例公开的另一种基于影像识别的超声探头引导方法的流程示意图。其中,图2所描述的基于影像识别的超声探头引导方法应用于数据处理系统/数据处理设备/数据处理服务器(其中,该服务器包括本地处理服务器或云处理服务器)中。如图2所示,该基于影像识别的超声探头引导方法可以包括以下操作:
201、获取目标超声探头实时扫描得到的当前超声影像。
202、根据影像识别算法,确定当前超声影像对应的生物结构信息。
203、根据生物结构信息,确定目标超声探头对应的引导规则。
204、确定目标超声探头的当前位姿信息。
205、根据引导规则和当前位姿信息,确定目标超声探头的移动参数。
本发明实施例中,针对步骤201-205的相关描述和技术细节请参照实施例一中针对步骤101-步骤105的详细描述,本发明实施例不再赘述。
206、实时获取通过控制指令控制目标超声探头移动的过程中,目标超声探头扫描得到的至少一个第二扫描影像。
可选的,该控制指令中包括有上述移动参数,其用于控制目标超声探头移动以满足该引导规则。
207、判断至少一个第二扫描影像是否满足引导规则或生物结构信息对应的扫描目的条件,得到第五判断结果。
可选的,扫描目的条件用于指示引导规则或生物结构信息对应的需要达到的扫描目的,其可以包括异常检查完成条件、全貌查看完成条件和三维重构完成条件中的至少一种。
可选的,异常检查完成条件用于指示已扫描得到的超声影像能够判断出生物结构信息对应的异常情况,其可以通过训练好的神经网络模型来判断,例如可以将至少一个第二扫描影像输入至训练好的异常判断神经网络模型,并获取模型输出的判断结果和置信度,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足异常检查完成条件。
可选的,异常检查完成条件用于指示已扫描得到的超声影像能够判断出生物结构信息对应的异常情况,其可以通过人工判断,或是通过训练好的神经网络模型来判断,例如可以将至少一个第二扫描影像输入至训练好的异常判断神经网络模型,并获取模型输出的判断结果和置信度,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足异常检查完成条件。
可选的,全貌查看完成条件用于指示已扫描得到的超声影像能够查看到生物结构信息对应的全貌情况,其可以通过人工判断,或是通过训练好的神经网络模型来判断,例如可以将至少一个第二扫描影像输入至训练好的全貌判断神经网络模型,并获取模型输出的判断结果和置信度,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足全貌查看完成条件。
可选的,三维重构完成条件用于指示已扫描得到的超声影像足够进行该生物结构信息的三维建模工作,其可以通过人工判断,或是直接根据基于第二扫描影像进行的三维建模操作的操作结果来判断,例如可以对至少一个第二扫描影像和对应的探头位姿信息进行三维建模操作,并获取建模结果,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足全貌查看完成条件。
208、若第五判断结果为是,停止控制目标超声探头移动。
优选的,可以记录下本次目标超声探头移动的路线以及扫描影像以及该第五判断结果,以用作后续的引导优化工作的数据基础。
可见,本发明实施例可以实时判断根据引导规则引导探头扫描得到的第二扫描影像是否满足扫描目的条件,并在满足时停止引导探头,从而能够实现实时监测探头的引导扫描效果,实现更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
实施例三
请参阅图3,图3是本发明实施例公开的一种基于影像识别的超声探头引导装置的结构示意图。其中,图3所描述的基于影像识别的超声探头引导装置应用于数据处理系统/数据处理设备/数据处理服务器(其中,该服务器包括本地处理服务器或云处理服务器)中。如图3所示,该基于影像识别的超声探头引导装置可以包括:
影像获取模块301,用于获取目标超声探头实时扫描得到的当前超声影像。
可选的,本发明所述的超声探头是超声检测设备中在超声波检测过程中发射和接收超声波的装置,其可以包括实现电能和声能转换的换能器。可选的,目标超声探头可以为直探头、斜探头、带曲率探头、聚焦探头或表面波探头,需要注意的是,任何能够实现对生物结构的超声成像的超声探头都应被认为包括在本发明的保护范围中。
可选的,本发明所述的超声影像可以通过超声成像设备对检测对象进行扫描成像而获得,例如,超声成像设备的发射模块可以将一组经过延迟聚焦的脉冲发送到超声探头,而超声探头向检测对象发射超声波,经一定延时后超声探头接收从检测对象反射回来的带有组织信息的超声回波,并将此超声回波重新转换为电信号。接着,超声成像设备接收这些电信号,并将这些超声回波信号送入波束合成模块完成聚焦延时、加权和通道求和,再经过信号处理模块进行信号处理,得到超声影像。
可选的,当前超声影像可以是目标超声探头根据历史的引导规则进行自动移动的过程中获得的,也可以是目标超声探头被操作人员控制移动的过程中获得的,本发明不做限定。
影像识别模块302,用于根据影像识别算法,确定当前超声影像对应的生物结构信息。
可选的,可以采用神经网络算法或模板匹配算法等影像识别算法,来确定当前超声影像对应的生物结构信息。可选的,本发明所述的生物结构信息可以为人体内或动物体内的生物组织,优选的,本发明的方法应用在针对人体的超声扫描场景中有较为优异的效果,但其仍然可以应用在针对动物的超声扫描场景中,本发明不做限定。
引导确定模块303,用于根据生物结构信息,确定目标超声探头对应的引导规则。
可选的,可以先预先设置有不同的生物结构信息对应的不同的引导规则,后续可以直接根据识别得到的生物结构信息来直接确定出对应的引导规则。可选的,引导规则可以指示引导位置或引导路线,用于限定超声探头应该到达的单个位置和朝向,或多个位置和朝向形成的集合。
可选的,引导规则可以包括异常检查引导规则、全貌查看引导规则和三维重构引导规则中的至少一种,其中,异常检查引导规则用于引导超声探头到达至少一个位置以获得能够完成对生物结构信息的异常检查的超声影像,全貌查看引导规则用于引导超声探头到达至少一个位置以获得能够完成对生物结构信息的全貌查看的超声影像,异常检查引导规则用于引导超声探头到达至少一个位置以获得能够完成对生物结构信息的三维重构的超声影像。
位姿确定模块304,用于确定目标超声探头的当前位姿信息。
可选的,当前位姿信息可以包括当前位置信息和/或当前探头朝向信息。可选的,当前位姿信息可以通过设置在目标超声探头上的传感器进行获取。可选的,传感器可通过磁场定位、加速度、陀螺仪、欧拉角、光学检测、多目摄像头定位等技术中的一种或多种来确定目标超声探头的当前位姿信息。
探头引导模块305,用于根据引导规则和当前位姿信息,确定目标超声探头的移动参数。
可选的,移动参数可以包括移动距离、移动方向和旋转角度中的至少一种。具体的,移动参数用于通过控制指令控制目标超声探头移动以满足引导规则。可选的,可以发送包含有移动参数的控制指令至目标超声探头或其驱动装置,以驱动目标超声探头进行移动。可选的,也可以将移动参数发送至用户对应的终端进行显示以指示用户控制目标超声探头移动以满足引导规则。
可见,上述发明实施例能够对实时扫描得到的影像进行识别得到生物结构信息,并进一步确定出该生物结构对应的引导规则,以实现对超声探头的引导,从而能够实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,位姿确定模块304确定目标超声探头的当前位姿信息的具体方式,包括:
获取设置在目标超声探头的目标摄像设备获取到的实时附近图像;
获取设置在目标超声探头的位姿传感器的传感信息;
根据实时附近图像和传感信息,确定目标超声探头的当前位姿信息。
可选的,目标摄像设备可以设置在目标超声探头的侧边,用于获取目标超声探头附近的实时附近图像,后续可以根据实时附近图像中的标记物图像来反向推导目标超声探头的当前推定位置。
可选的,可以通过安装于超声探头侧边的摄像头获取的实时附近图像,结合位姿传感器获取的探头本身的内部定位信息(例如陀螺仪传感信息或欧拉角传感信息),计算出超声探头的世界坐标和姿态角度,以得到目标超声探头的当前位姿信息。
可见,通过实施该可选的实施方式,能够结合目标摄像设备获取到的实时附近图像和位姿传感器的传感信息来准确地确定出目标超声探头的当前位姿信息,从而在后续能够根据引导规则进行更加精确地探头引导,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,引导确定模块303根据生物结构信息,确定目标超声探头对应的引导规则的具体方式,包括:
根据生物结构信息对应的异常检测规则,判断当前超声影像是否为异常影像,得到第一判断结果;
若第一判断结果为是,将生物结构信息对应的异常检查规则,确定为目标超声探头对应的引导规则。
具体的,异常检查规则用于指示至少一个目标超声探头应达到的针对生物结构信息的异常观察位置。
可选的,异常检测规则可以用于指示该生物结构信息存在异常,如病变、移位等异常情况时的图像表征规则,其可以为特定的图像模板匹配算法或神经网络检测算法。
可见,通过实施该可选的实施方式,能够根据生物结构信息对应的异常检测规则判断当前超声影像是否为异常影像,并根据判断结果将生物结构信息对应的异常检查规则,确定为目标超声探头对应的引导规则,从而能够实现引导超声探头完成对异常的生物结构图像的移动观察,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,引导确定模块303根据生物结构信息,确定目标超声探头对应的引导规则的具体方式,包括:
判断生物结构信息是否存在视角局限情况,得到第二判断结果;
若第二判断结果为是,将生物结构信息对应的全貌检查规则,确定为目标超声探头对应的引导规则。
具体的,全貌检查规则用于指示至少一个目标超声探头应达到的针对生物结构信息的全貌观察位置。
可选的,视角局限情况可以用于指示当前超声影像无法全面展示生物结构信息,例如生物结构信息为对称的生物结构,如婴儿的双手,而此时的超声影像角度仅能够观察到其中一只手,或是生物结构信息为分布较为分散的结构,如脊椎,而此时的超声影像角度仅能够观察到其中的一部分结构,这些时候需要移动探头进行更加全面的探查。可选的,视角局限情况可以由操作人员根据经验设置在系统中,并在检测到相应的生物结构信息时触发执行后续的引导步骤。
可见,通过实施该可选的实施方式,能够判断生物结构信息是否存在视角局限情况,并根据判断结果将生物结构信息对应的全貌检查规则,确定为目标超声探头对应的引导规则,从而能够实现引导超声探头完成对存在视角局限的生物结构图像的移动全貌观察,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,引导确定模块303根据生物结构信息,确定目标超声探头对应的引导规则的具体方式,包括:
判断生物结构信息是否存在三维重建需求,得到第三判断结果;
若第三判断结果为是,将生物结构信息对应的三维重建引导规则,确定为目标超声探头对应的引导规则。
具体的,三维重建引导规则用于指示多个目标超声探头应达到的针对生物结构信息的扫描位置,具体的,该多个扫描位置用于使得目标超声探头扫描得到的所有影像足以完成对生物结构信息的三维建模。
具体的,三维重建需求用于指示生物结构信息需要进行三维建模,其可以是该生物结构信息的结构面积太大需要进行建模,或是系统中预设储存有针对该生物结构信息的三维重建需求,或是接收到的操作人员实时发送的三维建模需求,本发明不做限定。
可见,通过实施该可选的实施方式,能够判断生物结构信息是否存在三维重建需求,并根据判断结果将生物结构信息对应的三维重建引导规则,确定为目标超声探头对应的引导规则,从而能够实现引导超声探头完成对需三维重建的生物结构图像的移动扫描以获得多个可以进行三维重建的超声影像,实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,引导规则用于指示至少一个目标超声探头应达到的目标位置;以及,探头引导模块305根据引导规则和当前位姿信息,确定目标超声探头的移动参数的具体方式,包括:
对于引导规则对应的任一目标位置,根据该目标位置以及生物结构信息,确定该目标位置对应的目标对准方向;
根据该目标位置和当前位姿信息,确定目标超声探头对应的移动距离和移动方向;
根据目标对准方向和当前位姿信息,确定目标超声探头在该目标位置对应的旋转角度;
将所有目标位置对应的移动距离、移动方向和旋转角度确定为目标超声探头的移动参数。
可选的,移动距离和移动方向用于指示目标超声探头从当前位置移动到引导规则中指示的至少一个目标位置的距离和方向,而旋转角度用于指示目标超声探头从当前朝向旋转至能够在引导规则中指示的至少一个目标位置对准生物结构的方向所要经过的角度。
可见,通过实施该可选的实施方式,能够根据目标位置以及生物结构信息,和当前位姿信息,确定目标超声探头对应的移动距离、移动方向和旋转角度等移动参数,从而能够更加精确地在后续实现对超声探头的引导,进而实现更加智能以及更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
作为一个可选的实施方式,引导确定模块303将生物结构信息对应的全貌检查规则,确定为目标超声探头对应的引导规则的具体方式,包括:
控制目标超声探头沿预设的扫描路线进行移动和扫描,获取目标超声探头实时扫描得到的第一扫描影像;
根据影像识别算法,判断第一扫描影像是否包括有与生物结构信息对应的关联生物结构,得到第四判断结果;
若第四判断结果为是,确定第一扫描影像对应的目标超声探头的第一扫描位置,以及当前超声影像对应的目标超声探头的第二扫描位置;
将至少包括有第一扫描位置和第二扫描位置的全貌检查规则,确定为目标超声探头对应的引导规则。
可选的,预设的扫描路线可以为自由扫描路线或是由操作人员控制的扫描路线,或是根据其他引导规则引导的探头移动路线。
可选的,关联生物结构可以为一个或多个与生物结构信息在特定生物结构类别的意义上存在关联的结构,例如左右手存在关联,左右脑存在关联这样的关系,因此针对其的扫描可以有助于对生物结构信息的全貌检查。相应的,第二扫描位置也可以包括一个或多个对应于关联生物结构的位置。
可见,通过该可选的实施方式,可以通过至少包括有第一扫描位置和第二扫描位置的全貌检查规则来引导超声探头对生物结构信息进行全貌检查,能够实现引导超声探头在至少两个位置完成与生物结构信息相关的结构的扫描,以实现对存在视角局限的生物结构图像的移动全貌观察,实现更加智能以及更加高效的超声扫描。
作为一个可选的实施方式,如图4所示,该装置还包括实时判断模块306,用于执行以下步骤:
实时获取通过控制指令控制目标超声探头移动的过程中,目标超声探头扫描得到的至少一个第二扫描影像;
判断至少一个第二扫描影像是否满足引导规则或生物结构信息对应的扫描目的条件,得到第五判断结果;
若第五判断结果为是,停止控制目标超声探头移动。
可选的,该控制指令中包括有上述移动参数,其用于控制目标超声探头移动以满足该引导规则。
可选的,扫描目的条件用于指示引导规则或生物结构信息对应的需要达到的扫描目的,其可以包括异常检查完成条件、全貌查看完成条件和三维重构完成条件中的至少一种。
可选的,异常检查完成条件用于指示已扫描得到的超声影像能够判断出生物结构信息对应的异常情况,其可以通过训练好的神经网络模型来判断,例如可以将至少一个第二扫描影像输入至训练好的异常判断神经网络模型,并获取模型输出的判断结果和置信度,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足异常检查完成条件。
可选的,异常检查完成条件用于指示已扫描得到的超声影像能够判断出生物结构信息对应的异常情况,其可以通过人工判断,或是通过训练好的神经网络模型来判断,例如可以将至少一个第二扫描影像输入至训练好的异常判断神经网络模型,并获取模型输出的判断结果和置信度,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足异常检查完成条件。
可选的,全貌查看完成条件用于指示已扫描得到的超声影像能够查看到生物结构信息对应的全貌情况,其可以通过人工判断,或是通过训练好的神经网络模型来判断,例如可以将至少一个第二扫描影像输入至训练好的全貌判断神经网络模型,并获取模型输出的判断结果和置信度,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足全貌查看完成条件。
可选的,三维重构完成条件用于指示已扫描得到的超声影像足够进行该生物结构信息的三维建模工作,其可以通过人工判断,或是直接根据基于第二扫描影像进行的三维建模操作的操作结果来判断,例如可以对至少一个第二扫描影像和对应的探头位姿信息进行三维建模操作,并获取建模结果,若置信度大于预设的置信度阈值,则确定该第二扫描影像已经满足全貌查看完成条件。
优选的,可以记录下本次目标超声探头移动的路线以及扫描影像以及该第五判断结果,以用作后续的引导优化工作的数据基础。
可见,本可选的实施方式可以实时判断根据引导规则引导探头扫描得到的第二扫描影像是否满足扫描目的条件,并在满足时停止引导探头,从而能够实现实时监测探头的引导扫描效果,实现更加高效的超声扫描,为后续的医学研究获得更加精确的数据基础。
实施例四
请参阅图5,图5是本发明实施例公开的又一种基于影像识别的超声探头引导装置。图5所描述的基于影像识别的超声探头引导装置应用于数据处理系统/数据处理设备/数据处理服务器(其中,该服务器包括本地处理服务器或云处理服务器)中。如图5所示,该基于影像识别的超声探头引导装置可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
其中,处理器402调用存储器401中存储的可执行程序代码,用于执行实施例一或实施例二所描述的基于影像识别的超声探头引导方法的步骤。
实施例五
本发明实施例公开了一种计算机读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一或实施例二所描述的基于影像识别的超声探头引导方法的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的基于影像识别的超声探头引导方法的步骤。
上述对本说明书特定实施例进行了描述,其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书实施例可提供为方法、系统、或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后应说明的是:本发明实施例公开的一种基于影像识别的超声探头引导方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于影像识别的超声探头引导方法,其特征在于,所述方法包括:
获取目标超声探头实时扫描得到的当前超声影像;
根据影像识别算法,确定所述当前超声影像对应的生物结构信息;
根据所述生物结构信息,确定所述目标超声探头对应的引导规则;
确定所述目标超声探头的当前位姿信息;
根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数;所述移动参数用于通过控制指令控制所述目标超声探头移动以满足所述引导规则。
2.根据权利要求1所述的基于影像识别的超声探头引导方法,其特征在于,所述确定所述目标超声探头的当前位姿信息,包括:
获取设置在所述目标超声探头的目标摄像设备获取到的实时附近图像;
获取设置在所述目标超声探头的位姿传感器的传感信息;
根据所述实时附近图像和所述传感信息,确定所述目标超声探头的当前位姿信息。
3.根据权利要求1所述的基于影像识别的超声探头引导方法,其特征在于,所述引导规则包括异常检查引导规则、全貌查看引导规则和三维重构引导规则中的至少一种;和/或,所述当前位姿信息包括当前位置信息和/或当前探头朝向信息;和/或,所述移动参数包括移动距离、移动方向和旋转角度中的至少一种。
4.根据权利要求3所述的基于影像识别的超声探头引导方法,其特征在于,所述根据所述生物结构信息,确定所述目标超声探头对应的引导规则,包括:
根据所述生物结构信息对应的异常检测规则,判断所述当前超声影像是否为异常影像,得到第一判断结果;
若所述第一判断结果为是,将所述生物结构信息对应的异常检查规则,确定为所述目标超声探头对应的引导规则;所述异常检查规则用于指示至少一个所述目标超声探头应达到的针对所述生物结构信息的异常观察位置;
和/或,
判断所述生物结构信息是否存在视角局限情况,得到第二判断结果;所述视角局限情况用于指示所述当前超声影像无法全面展示所述生物结构信息;
若所述第二判断结果为是,将所述生物结构信息对应的全貌检查规则,确定为所述目标超声探头对应的引导规则;所述全貌检查规则用于指示至少一个所述目标超声探头应达到的针对所述生物结构信息的全貌观察位置;
和/或,
判断所述生物结构信息是否存在三维重建需求,得到第三判断结果;
若所述第三判断结果为是,将所述生物结构信息对应的三维重建引导规则,确定为所述目标超声探头对应的引导规则;所述三维重建引导规则用于指示多个所述目标超声探头应达到的针对所述生物结构信息的扫描位置,所述扫描位置用于使得所述目标超声探头扫描得到的所有影像足以完成对所述生物结构信息的三维建模。
5.根据权利要求1所述的基于影像识别的超声探头引导方法,其特征在于,所述引导规则用于指示至少一个所述目标超声探头应达到的目标位置;以及,所述根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数,包括:
对于所述引导规则对应的任一所述目标位置,根据该目标位置以及所述生物结构信息,确定该目标位置对应的目标对准方向;
根据该目标位置和所述当前位姿信息,确定所述目标超声探头对应的移动距离和移动方向;
根据所述目标对准方向和所述当前位姿信息,确定所述目标超声探头在该目标位置对应的旋转角度;
将所有所述目标位置对应的所述移动距离、所述移动方向和所述旋转角度确定为所述目标超声探头的移动参数。
6.根据权利要求4所述的基于影像识别的超声探头引导方法,其特征在于,所述将所述生物结构信息对应的全貌检查规则,确定为所述目标超声探头对应的引导规则,包括:
控制所述目标超声探头沿预设的扫描路线进行移动和扫描,获取所述目标超声探头实时扫描得到的第一扫描影像;
根据影像识别算法,判断所述第一扫描影像是否包括有与所述生物结构信息对应的关联生物结构,得到第四判断结果;
若第四判断结果为是,确定所述第一扫描影像对应的所述目标超声探头的第一扫描位置,以及所述当前超声影像对应的所述目标超声探头的第二扫描位置;
将至少包括有所述第一扫描位置和所述第二扫描位置的全貌检查规则,确定为所述目标超声探头对应的引导规则。
7.根据权利要求1所述的基于影像识别的超声探头引导方法,其特征在于,所述方法还包括:
实时获取通过所述控制指令控制所述目标超声探头移动的过程中,所述目标超声探头扫描得到的至少一个第二扫描影像;
判断所述至少一个第二扫描影像是否满足所述引导规则或所述生物结构信息对应的扫描目的条件,得到第五判断结果;
若所述第五判断结果为是,停止控制所述目标超声探头移动。
8.一种基于影像识别的超声探头引导装置,其特征在于,所述装置包括:
影像获取模块,用于获取目标超声探头实时扫描得到的当前超声影像;
影像识别模块,用于根据影像识别算法,确定所述当前超声影像对应的生物结构信息;
引导确定模块,用于根据所述生物结构信息,确定所述目标超声探头对应的引导规则;
位姿确定模块,用于确定所述目标超声探头的当前位姿信息;
探头引导模块,用于根据所述引导规则和所述当前位姿信息,确定所述目标超声探头的移动参数;所述移动参数用于通过控制指令控制所述目标超声探头移动以满足所述引导规则。
9.一种基于影像识别的超声探头引导装置,其特征在于,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-7任一项所述的基于影像识别的超声探头引导方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-7任一项所述的基于影像识别的超声探头引导方法。
CN202311103904.2A 2023-08-29 2023-08-29 基于影像识别的超声探头引导方法及装置 Pending CN117257346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311103904.2A CN117257346A (zh) 2023-08-29 2023-08-29 基于影像识别的超声探头引导方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311103904.2A CN117257346A (zh) 2023-08-29 2023-08-29 基于影像识别的超声探头引导方法及装置

Publications (1)

Publication Number Publication Date
CN117257346A true CN117257346A (zh) 2023-12-22

Family

ID=89216892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311103904.2A Pending CN117257346A (zh) 2023-08-29 2023-08-29 基于影像识别的超声探头引导方法及装置

Country Status (1)

Country Link
CN (1) CN117257346A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117898764A (zh) * 2024-03-20 2024-04-19 北京智源人工智能研究院 一种超声探查装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117898764A (zh) * 2024-03-20 2024-04-19 北京智源人工智能研究院 一种超声探查装置

Similar Documents

Publication Publication Date Title
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
US20200187906A1 (en) System and methods for at-home ultrasound imaging
US7565019B2 (en) Method of volume-panorama imaging processing
CN113412086B (zh) 超声扫描控制方法及系统、超声扫描设备及存储介质
US20220183775A1 (en) Method for guiding a robot arm, guiding system
CN113260313A (zh) 用于超声数据收集的方法和装置
CN101861526A (zh) 用于跟踪超声自动校准的系统和方法
CN117257346A (zh) 基于影像识别的超声探头引导方法及装置
JP2014085933A (ja) 3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム
CN113116386B (zh) 超声成像引导方法、超声设备及存储介质
Erdoǧan et al. KEBOT: an artificial intelligence based comprehensive analysis system for FUE based hair transplantation
CN111145137B (zh) 基于神经网络的静脉与动脉识别方法
CN116869652B (zh) 基于超声图像和电子皮肤的手术机器人及其定位方法
AU2021204525B1 (en) Generating point cloud completion network and processing point cloud data
Li et al. Comparative quantitative analysis of robotic ultrasound image calibration methods
US20230206561A1 (en) Method for generating a three-dimensional working surface of a human body, system
CN117252853A (zh) 基于动作捕捉的心脏超声标准切面自动指引方法及系统
KR20200096125A (ko) 초음파 진단을 위한 처방적 안내
US10991113B2 (en) Gyroscope-based system and method for assisting in tracking heat source on mechanical arm
Zhou et al. A VS ultrasound diagnostic system with kidney image evaluation functions
CN116197900A (zh) 车窗图像处理方法、装置、设备及介质
WO2020246238A1 (ja) 3次元超音波撮像支援装置、方法、及びプログラム
CN113116384A (zh) 超声扫查引导方法、超声设备及存储介质
CN112515705A (zh) 用于投影轮廓启用的计算机辅助检测(cad)的方法和系统
CN105117000A (zh) 一种医学三维图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination