CN112288742A - 用于超声探头的导航方法、装置、存储介质以及电子设备 - Google Patents

用于超声探头的导航方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN112288742A
CN112288742A CN202011321102.5A CN202011321102A CN112288742A CN 112288742 A CN112288742 A CN 112288742A CN 202011321102 A CN202011321102 A CN 202011321102A CN 112288742 A CN112288742 A CN 112288742A
Authority
CN
China
Prior art keywords
information
image
ultrasonic
ultrasonic probe
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011321102.5A
Other languages
English (en)
Other versions
CN112288742B (zh
Inventor
赵明昌
龚栋梁
莫若理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Publication of CN112288742A publication Critical patent/CN112288742A/zh
Application granted granted Critical
Publication of CN112288742B publication Critical patent/CN112288742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种用于超声探头的导航方法、装置、存储介质以及电子设备，所述方法包括获取所述超声探头的初始位姿信息以及目标位姿信息；基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。采用本实施例使得所述超声探头移动的速度快且准确度高，大大提高所述超声探头到达目标位置并且呈现目标姿态的操作效率。

Description

用于超声探头的导航方法、装置、存储介质以及电子设备
技术领域
本公开实施例涉及医疗设备的技术领域，特别涉及一种用于超声探头的导航方法、装置、存储介质以及电子设备。
背景技术
目前，医护人员对患者进行超声成像时，医护人员通常目前手拿换能器，然后放置在需要检查的部位进行扫描成像。然而，不同身高、体重、性别的人的器官位置是有差异的，放置超声探头的位置不一定是需要检查的部位。此外，有些操作经验差的操作者在知道需要检查的部位后，并不能准确找到需要检查的部位。
发明内容
为了改善上述的问题，本公开实施例的目的在于提供一种用于超声探头的导航方法、装置、存储介质以及电子设备，以解决现有技术中存在上述问题。
为了解决上述技术问题，本公开的实施例采用了如下技术方案：一种用于超声探头的导航方法，包括以下步骤：获取所述超声探头的初始位姿信息以及目标位姿信息；基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
本公开还提供一种用于超声探头的导航装置，其包括以下部分：获取模块，其用于获取所述超声探头的初始位姿信息以及目标位姿信息；第一确定模块，其用于基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；第二确定模块，其用于基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；引导模块，其用于根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
本公开还提供一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本公开还提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述方法的步骤。
本公开实施例的有益效果在于：在本公开实施例中通过所述超声探头的初始位姿信息以及目标位姿信息，从而确定多个对应的候选导航路径，并从多个所述候选导航路径中确定第一推荐导航路径和第一导航路径计划，从而根据所述第一导航路径计划引导所述超声探头按照所述第一推荐导航路径移动至所述目标器官的目标位置并呈现目标姿态以准备对所述目标器官进行超声扫查，采用本实施例使得所述超声探头移动的速度快且准确度高，大大提高所述超声探头到达目标位置并且呈现目标姿态的操作效率。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开的实施例中导航方法的步骤示意图；
图2为本公开的实施例中导航方法的步骤示意图；
图3为本公开的实施例中导航方法的步骤示意图；
图4为本公开的实施例中追踪神经网络模型的结构图；
图5为本公开的实施例中导航方法的步骤示意图；
图6为本公开的实施例中导航方法的步骤示意图；
图7为本公开的实施例中分割模型的结构示意图；
图8为本公开的实施例中检测模型的结构示意图；
图9为本公开的实施例中导航方法的步骤示意图；
图10为本公开的实施例中导航方法的步骤示意图；
图11为本公开的实施例中索引神经网络模型的结构示意图；
图12为本公开的实施例中全卷积神经网络模型的结构示意图；
图13为本公开的实施例中导航方法的步骤示意图；
图14为本公开的实施例中在显示器上的扫查引导示意图；
图15为本公开的另一实施例中在显示器上的扫查引导示意图；
图16为本公开的实施例中导航方法的步骤示意图；
图17为本公开的实施例中导航方法的步骤示意图；
图18为本公开的实施例中导航方法的步骤示意图；
图19为本公开的实施例中循环神经网络模型的结构示意图；
图20为本公开的实施例中通过CNN深度卷积神经网络模型确定当前超声图像位置信息和角度信息的结构示意图；
图21为本公开的实施例中导航方法的步骤示意图；
图22为本公开的实施例中在检测对象表面进行成像引导的示意图；
图23为本公开的实施例中导航方法的步骤示意图。
具体实施方式
此处参考附图描述本公开的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。
本公开的第一实施例提供一种用于超声探头的导航方法，本公开实施例的所述导航方法用于引导所述超声探头移动至能够便于扫描检测对象的待扫查目标器官的所需要的位置并呈现对应的姿态，具体地，在本公开实施例中通过所述超声探头的初始位姿信息以及目标位姿信息，从而确定多个对应的候选导航路径，并从多个所述候选导航路径中确定第一推荐导航路径和第一导航路径计划，从而根据所述第一导航路径计划引导所述超声探头按照所述第一推荐导航路径移动至所述目标器官的目标位置并呈现目标姿态以准备对所述目标器官进行超声扫查，采用本实施例使得所述超声探头移动的速度快且准确度高，大大提高所述超声探头到达目标位置并且呈现目标姿态的操作效率，如图1所示，其具体包括以下步骤；
S101，获取所述超声探头的初始位姿信息以及目标位姿信息。
在本步骤中，需要获取所述超声探头的初始位姿信息以及目标位姿信息，这里的位姿信息既包括位置信息，也包括姿态信息，通过位置信息和姿态信息共同判断所述超声探头移动的准确性。其中，对于所述超声探头的初始位姿信息，是指所述超声探头在准备移动的初始时刻的位姿信息，其可以通过多种方式获取，例如可以通过配合所述超声探头使用的磁传感器以获取所述超声探头在初始时刻的初始位姿信息，这里的所述磁传感器包括磁发射器和磁感应器，所述磁发射器通过发射形成磁场，相当于建立一世界坐标系，通过设置在所述超声探头中的磁感应器就可以获取所述超声探头在该世界坐标系中的初始位姿信息；当然还可通过其他方式获取所述超声探头在初始时刻的初始位姿信息，例如可以通过摄像装置拍摄图像的方式获取所述超声探头在初始时刻的初始位姿信息等。需要理解的是，通过摄像装置拍摄图像也可以相当于建立一世界坐标系，所述超声探头的初始位姿信息可以从所述图像中基于该世界坐标系获取。这里的摄像装置可以是医学摄像装置，也可以是普通的摄像装置。
进一步地，在本步骤中，还在与获取所述超声探头的初始位姿信息所采用的同一世界坐标系下获取所述超声探头的目标位姿信息，其中，所述目标位姿信息表示所述超声探头在目标时刻的位姿信息，这里的目标时刻是移动至能够扫描目标器官的目标位置和对应的目标姿态，所述目标位姿信息可以通过预先设定的方式确定，也可以根据目标器官的信息而确定。
S102，基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径。
目前，规划超声探头引导路径的方法大都采用获取超声探头的初始位置信息以及需要扫查器官的位置信息，再根据超声探头与需要扫查器官之间的最短距离规划导航路径。但是，这种规划方式规划的导航路径的准确性是无法确定的，且以两点之间最短距离作为规划依据的方式没有考虑到目标器官是在检测对象体表处是非平面的情况，例如乳腺，也没有考虑到医师的常规操作习惯，因此，对于不同的器官不适合采用相同的方式进行导航路径规划。
为此，在通过上述步骤S101获取所述超声探头的初始位姿信息以及目标位姿信息后，在本步骤中，基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径。具体地，可以基于所述初始位姿信息和所述目标位姿信息在历史导航路径数据中筛选并确定多个候选导航路径。
进一步地，可以根据所述超声探头的所述初始位姿信息和所述目标位姿信息，在所述历史导航路径数据中确定具有相同的所述初始位姿信息和相同的所述目标位姿信息的多个候选导航路径。
当然，如果仅有所述目标位姿信息在所述历史导航数据中具有对应信息的情况下，也就是，当所述历史导航路径数据中没有任何一条历史导航路径同时匹配所述初始位姿信息和所述目标位姿信息的情况下，则以所述目标位姿信息为基础在所述历史导航路径数据中匹配多个导航路径，然后在多个导航路径的初始点中匹配预定个与所述初始位姿信息达到一定阈值的初始点，这样，通过可以调整初始位姿信息的方式以获取候选导航路径。
如果仅有所述初始位姿信息具有匹配的信息或者所述初始位姿信息和所述目标位姿信息都不存在匹配信息的情况下，则在历史导航数据库中，确定与所述目标位姿信息的匹配度达到第一阈值的历史目标点的位姿信息，并基于所述历史目标点的位姿信息对应的导航路径中在所述历史导航数据库中确定与所述初始位姿信息的匹配度达到第二阈值的历史初始点的位姿信息，这些对应的导航路径即为候选导航路径。
S103，基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定。
在通过上述步骤S102基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径后，基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划对应于所述第一推荐导航路径，其至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定，所述第一导航路径计划配合所述第一推荐导航路径使用，以使得所述超声探头能够按照所述第一导航路径计划沿着所述第一推荐导航路径基于预定时间点进行位置移动和姿态调整。
其中，在确定候选导航路径后通过预设条件的方式进行筛选以获取第一推荐导航路径，这里的推荐导航路径即是推荐给用户的最合适的导航路径，其中，这里的第一预设条件基于用户的使用需求、实际的候选导航路径等情况确定，例如，可以选择以实际导航的次数为第一预设条件，这样，能够在多个所述候选导航路径中确定被实际导航使用次数最多的导航路径作为第一推荐导航路径，当然，还可以选择其他的预设条件，例如可以选择以候选导航路径的距离为第一预设条件，这样，能够在多个所述候选导航路径中确定实际距离最短的导航路径的为第一推荐导航路径。
进一步地，确定所述第一推荐导航路径后，从而确定与所述第一推荐导航路径对应的第一导航路径计划，为了确保所述超声探头能够严格按照所述第一推荐导航路径进行移动，不会出现基于时间的位置和姿态等方面的偏差，需要通过所述第一导航路径计划规划导航路径中的预定时间点的位置和姿态，具体地，这里的所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点是在初始时刻和目标时刻之间基于预定时间间隔确定，实际实现时，预定时间点可以有1个，也可以有多个，并且预定时间点的个数可以基于第一推荐导航路径的长短来确定，比如，间隔预设长度可以设置一个预定时间点，则可以根据第一推荐导航路径的长度按需设置对应个数的预定时间点，本实施例在此并不做限定。在另一种可能的实施例中，还可以通过基于所述预定时间间隔设置所述预定时间点，如每隔3S设置一个预定时间点，并基于所述预定时间点设置计划中对应的所述超声探头的位置和姿态信息，能够保证所述超声探头从初始时刻开始按照所述第一导航路径计划在每个所述预定时间点都移动到对应的位置并呈现对应的姿态，最终在所述目标时刻移动至目标位置并呈现目标姿态。
S104，根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
在通过上述步骤S103确定所述第一推荐导航路径以及所述第一导航路径计划后，在本步骤中根据所述第一推荐导航路径引导所述超声探头移动至基于目标器官的目标位置并呈现目标姿态。一般而言，所述超声探头会根据所述第一推荐导航路径并基于所述第一导航路径计划移动。当然，所述超声探头在实际移动中可能会出现位置偏离和/或姿态偏差的情况。这种位置偏离或者姿态偏差可以基于所述第一导航路径计划确定。
具体地，对于步骤S104，所述根据所述第一推荐导航路径引导所述超声探头移动至目标器官，如图2所示，包括以下步骤：
S201，根据所述第一推荐导航路径引导所述超声探头移动。
S202，在所述超声探头的移动过程中，基于所述预定时间点，获取所述超声探头的实时位姿信息。
在本步骤中，由于所述超声探头从所述初始时刻开始将按照所述第一导航路径计划进行移动，在移动过程中将基于所述预定时间点，获取所述超声探头的实时位姿信息。
S203，将所述实时位姿信息与所述第一导航路径计划比较。
在通过上述步骤S201获取所述超声探头的实时位姿信息后，将与所述第一导航路径计划中的在预定时间点的位姿信息进行比较，这里的比较包括在所述预定时间点的位置和姿态信息的比较和判断。
S204，当所述实时位姿信息中在所述预定时间点的实时位置与所述第一导航路径计划中在所述预定时间点的计划位置之间的第一差异值大于等于第一预定值的情况下，基于所述实时位姿信息和所述目标位姿信息确定第二推荐导航路径。
在本步骤中，在将所述实时位姿信息与所述第一导航路径计划比较中，当所述超声探头在偏离所述第一导航路径计划中在第一预定时间点的计划位置的距离超出预设距离范围内时，则认为本次导航失败，将基于所述超声探头的当前位置和姿态重新确定所述超声探头的初始位态信息，并基于上述步骤重新确定导航路径。这里优选地，预设距离为0.5cm。
还包括：
S205，当所述实时位姿信息中的所述预定时间点的实时位置与所述第一导航路径计划中在所述预定时间点的计划位置之间的第一差异值小于第一预定值的情况下，调整所述超声探头的所述实时位置至所述计划位置，并将所述实时位姿信息中在所述预定时间点的实时姿态与所述第一导航路径计划中在所述预定时间点的计划姿态之间的第二差异值与第二预定值进行比较，在所述第二差异值大于等于所述第二预定值的情况下，调整所述超声探头的所述实时姿态至所述计划姿态。
在本步骤中，例如在第一预定时间点，所述超声探头的位置偏离所述第一导航路径计划中在第一预定时间点的计划位置的距离在预设距离范围内时，则发出偏离提示，所述偏离提示包括指示灯提示、语音提示以及触感提示中的一种或几种，其中，这里的触感提示能够更容易提示进行操作的医生，需要说明的是，触感提示可以是控制超声探头触感，医师可以根据所述超声探头反馈的触感判断是否偏离所述第一推荐导航路径，偏离的距离越大触感的频率和幅度越大。
进一步地，在第一预定时间点，在所述超声探头偏离所述第一导航路径计划中在第一预定时间点的计划位置的距离比较小也就是没有超出预设距离范围的情况下，则认为无需重新规划路径，只需提示并控制所述超声探头返回原来的所述第一推荐导航路径上的计划位置上继续移动即可。
当然，在所述超声探头偏离所述第一导航路径计划中在预定时间点的计划位置的距离比较小也就是没有超出预设距离范围的情况下，进一步地基于预定时间点，判断所述超声探头的姿态是否出现偏差以及与所述第一导航路径计划中在预定时间点的计划姿态的偏差是否在预设误差范围内时，如果在预设误差范围内，还可以调整所述超声探头的当前姿态返回所述第一导航路径计划中在所述预定时间点的姿态，如果不在预设误差范围内，则同样需要发出偏差提示，如上所述，所述偏差提示同样可以包括指示灯提示、语音提示以及触感提示中的一种或几种。
进一步地，对于所述步骤S202,所述基于所述预定时间点，获取所述超声探头的实时位姿信息，如图3所示，包括以下步骤：
S301，获取所述超声探头在所述预定时间点的模型图像和环境影像。
在本步骤中，所述超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。通过摄像装置拍摄至少包含超声探头的环境影像，这里的环境影像可以是RGB图像也可以是RGB视频。优选地，所述摄像装置为深度摄像机。深度摄像机与传统摄像机相比拍摄的图片或视频的每个像素点具有深度信息。
S302，将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征。
S303，以所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图。进一步地，所述空间响应图包括：所述第一特征在所述第二特征上的响应强度；所述模型图像与所述环境影像中各个位置的相似度值。
S304，将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位姿信息。
如图4所示，s代表要跟踪的目标，在本实施例中为所述超声探头，d代表摄像装置拍摄的环境影像，所述环境影像中至少包含超声探头。在本实施例中，通过追踪神经网络模型实时追踪所述环境影像中的所述超声探头。具体地，将所述模型图像和所述环境影像输入同一个全卷积神经网络，所述全卷积神经网络用于将特征映射，将原所述模型图像和所述环境影像映射到特定的特征空间。其中，通过所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征。随后，将所述模型图像得到的所述第一特征用作于卷积核，以所述第一特征为卷积核与所述第二特征进行卷积操作，得到空间响应图，即得到第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相似度值。需要说明的是，由于采用全卷积神经网络，可接受任意尺寸的图像。
需要理解的是，这里的环境影像可以是RGB图像，也可以是RGB视频，若所述环境影像为RGB视频时，即对RGB视频中的每一帧RGB图像进行处理。
在制作追踪神经网络模型训练样本时，在环境影像中，超声探头周围一定范围内的点作为正样本，标记为1，其余为负样本，标记为0，并映射到追踪神经网络结构的输出上，也就是每个环境影像都有一个对应的标签，大小为目标跟踪网络结构输出的大小。损失函数采用逻辑回归损失或交叉熵损失，优化器不做限制。
共用全卷积神经网络的结构：卷积+BN(批量归一化)+ReLU(线性整流函数)+最大池化。在实际跟踪时，将跟追踪神经网络的输出线性插值到和环境影像一样的大小，这样跟踪网络输出的响应强度映射到环境影像，此时选取响应值最大的区域即为超声探头的位置。在摄像机为深度摄像机是，获取的是RGBD的环境影像，基于RGBD的环境影像，只需要更改输入，在网络的输出上附加D信息。
需要理解的是，追踪神经网络模型的训练数据为摄像装置所拍摄的至少包含所述超声探头的环境影像，在该环境影像中会有一把超声探头，此时目标检测的对象是超声探头，也就是目标检测的类别数为2，超声探头和其他背景。因为实时的要求，可以简化上述器官检测的网络结构，例如减少通道数，或者去除双线性插值的模块，直接采用池化后的输出作为后续预测的输入等。在实际运用中，可以依据不同的超声探头定制各自的检测模型，或者一个检测模型可以检测多种超声探头，此时检测的类别即探头种类数量+1。
在另一个实施方式中，对于所述步骤S101，所述获取所述超声探头的初始位姿信息以及目标位姿信息，如图5所示，包括以下步骤：
S401，获取检测对象的待扫查目标器官的目标器官信息。
在本步骤中，所述超声探头的所述初始位姿信息较为容易获得，所述超声探头的所述目标位姿信息较难获得。除了预先设定所述初始位姿信息和所述目标位姿信息的情况之外，需要可以根据图像信息获取所述超声探头的所述初始位姿信息和所述目标位姿信息。在本步骤中，首先需要获取检测对象待扫查目标器官的目标器官信息。具体地，通过超声设备上的输入单元输入目标器官的特征信息，使得超声设备能够获取检测对象的待扫查的目标器官的基本信息，例如位置、形状等信息，这里的输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。
S402，获取至少包含所述检测对象以及所述超声探头的在初始时刻的第一环境影像和至少包含所述检测对象的在目标时刻的第二环境影像。
在通过上述步骤S401获取待扫查的目标器官的所述目标器官信息后，在本步骤，获取至少包含所述检测对象以及所述超声探头的在初始时刻的第一环境影像和至少包含所述检测对象的在目标时刻的第二环境影像。具体地，通过摄像装置拍摄至少包含检测对象以及所述超声探头在所述超声探头位于初始时刻的第一环境影像以及所述检测对象在目标时刻的第二环境影像，这里的摄像装置可以是医学摄像装置或者其他摄像装置，这里的环境影像可以是RGB图像也可以是RGB视频。这里的所述第一环境影像表示在初始时刻所述检测对象和所述超声探头之间的位置关系，所述第二环境影像表示所述检测对象在所述目标时刻的位置、姿态等信息。
S403，基于所述目标器官信息利用训练好的识别网络模型从所述第一环境影像中确定所述超声探头的所述初始位姿信息，从所述第二环境影像中确定所述目标位姿信息。
在通过上述步骤获取至少包含所述检测对象以及所述超声探头的在初始时刻的第一环境影像和至少包含所述检测对象的在目标时刻的第二环境影像后，基于所述目标器官信息以及所述第一环境影像和所述第二环境影像，利用训练好的识别网络模型从所述第一环境影像中识别所述超声探头在初始时刻的初始位姿信息，从所述第二环境影像中识别所述超声探头在所述目标时刻的目标位姿信息。
进一步地，对于所述步骤S403在所述第一环境影像和所述第二环境影像为RGB图像时，所述基于所述目标器官信息利用训练好的识别网络模型从所述第一环境影像中确定所述超声探头的所述初始位姿信息，从所述第二环境影像中确定所述目标位姿信息，如图6所示，包括以下步骤：
S501，从所述RGB图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域。具体地，首先通过识别网络模型将所述RGB图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域，不同的器官以及探头进行区别显示，例如，不同的器官或超声探头的分布区域采用不同颜色或者明暗度进行区别显示。
S502，识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别。具体地，在通过识别网络模型识别不同分布区域对应的器官信息，进而可以识别不同器官的名称或类别。需要理解的是因为环境影像中只有一个超声探头，因此识别出超声探头的分布区域之后不需要再确定超声探头的信息了。
S503，基于所述目标器官信息确定所述目标器官的分布区域。
可以理解的是，基于获取的检测对象待扫查的目标器官信息可以定位目标器官的分布区域。
进一步地，在所述第一环境影像和所述第二环境影像为RGB视频时，所述基于所述目标器官信息利用训练好的识别网络模型从所述第一环境影像中确定所述超声探头的所述初始位姿信息，从所述第二环境影像中确定所述目标位姿信息，包括：选取所述RGB视频中任意一帧RGB图像；从所述RGB图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；基于所述目标器官信息确定目标器官的分布区域。
在一实施例中，所述识别网络模型为基于分割不同器官轮廓以及超声探头轮廓的分割模型，其中，所述分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，所述双线性插值层的通道数与需要识别的器官以及所述探头的数量相同。
如图7所示，分割模型的输入是一幅三通道的RGB图像，接着是两层卷积+池化的模块，卷积核大小为3×3，步长为1，卷积的核数量以32的倍数递增，池化层的核大小为2×2，步长为2，此模块的数量与后续的双线性插值+卷积的模块相一致，可依据训练测试效果增加或减少模块的数量。在两个模块间会有两层卷积(卷积核3×3，步长1)用于连接，增强特征提取。双线性插值+卷积层输出的通道数为器官和超声探头的类别数，并在卷积后加入ReLU激活函数，用于缓解梯度消失的问题。在前面池化层后接着一层卷积层，卷积核大小为1×1，目的是和前者输出的通道数(即器官和超声探头的类别数)相同，同时也增加了非线性，增加网络的拟合能力，此部分会与前者相加作为下一次上采样的输入，起到改善网络分类的能力。在最后的双线性插值+卷积层里，在输出的通道数上做softmax，取最大值的索引，即每个像素都会对应一个类别，此时的输出为1通道，也就是最终的器官分割图像，在此图像上不同的器官区域会有不同的类别值表示。
在另一实施例中，所述识别网络模型为基于矩形框识别器官以及超声探头分布区域的检测模型，所述检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，其中，所述双线性插值层与所述卷积层相加的输出再通过两层卷积进入所述输出层输出。如图8所示，与分割模型类似，在卷积+池化的模块中，尺寸不断减半，图像的分辨率不断减小，有用的语义信息不断增强，在与双线性插值+卷积模块的融合后，有效增强了网络对目标的检测能力，而不同分辨率阶段的预测，有效增强了网络对小目标的检测。与分割模型不同的是，取每次双线性插值+卷积与池化后卷积相加的输出，再加上两层卷积，一层是为了回归目标矩形框(x,y,w,h)，(x,y)为目标矩形框的左上点，(w,h)为目标矩形框的宽高；另一层是为了得到目标矩形框框所对应的类别分数，类别分数最高的类别代表该目标矩形框为该类别对应的器官。
本公开的第二实施例提供一种用于超声探头的导航方法，本公开实施例的所述导航方法除了通过上述任意实施例的方式引导所述超声探头移动至能够便于扫描待扫查目标器官的位置并呈现对应的姿态之后，还包括：执行超声扫查，如图9所示，所述执行超声扫查包括以下步骤：
S601，加载检测对象的待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。
在本步骤中，在加载检测对象待扫查目标器官对应的三维超声模型需要获取检测对象待扫查的目标器官信息，目标器官信息可以是输入的目标器官名称或者超声设备上目标器官的指示图标。可以通过超声设备上的输入单元输入目标器官信息，使得超声设备能够获取检测对象的待扫查的目标器官；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，也可以通过机器视觉或者训练好的识别网络模型识别超声探头准备扫查的目标器官。
这里的三维超声模型是预先存储在存储介质，根据需要扫查的目标器官加载对应器官的三维超声模型。需要理解的是，三维超声模型是预先对人体进行扫查重建而成。具体地，通过超声探头沿预设方向对待建模组织进行超声扫描，获取待建模组织的每个切面的超声图像；获取所述探头扫查不同切面的超声图像所对应的六自由度参数；将每个切面的超声图像以及对应的六自由度参数输入训练好的深度神经网络模型得到待建模组织的三维超声模型。
三维超声模型中的每个切面的超声图像都带有位置信息和角度信息。在超声探头扫查过程中通过磁场发生器生成包含所述探头以及待建模组织的世界坐标系；通过安装在探头上的磁定位器获取所述探头的六自由度参数，所述六自由度参数包括探头的位置参数和方向参数。在实际超声诊断过程中，往往需要观察器官不同的切面以辅助医师进行诊断，因此本公开的所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。
S602，获取所述超声探头扫查的当前超声图像。
在通过上述步骤S601加载检测对象的待扫查目标器官对应的三维超声模型之后，需要获取所述超声探头扫查的当前超声图像，其中，所述超声探头用于发射和接收超声波，超声探头受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得目标组织的超声图像。医师操作超声探头或者通过机械臂操作超声探头时，首先需要获取超声探头获取的当前超声图像。并且需要计算当前超声图像的位置信息和角度信息。
S603，基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息。
在通过上述步骤获取超声探头获取的当前超声图像之后，需要计算当前超声图像的位置信息和角度信息。需要理解的是，位置信息和角度信息为六自由度坐标(x,y,z,ax,ay,az)，ax、ay、az为在xyz方向的角度信息。本实施例通过训练好的索引神经网络模型或全卷积神经网络模型，确定所述当前超声图像的位置信息和角度信息。
具体地，包括：
在一实施例中，将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。其中索引神经网络模型至少包括：二维卷积神经网络和三维卷积神经网络。其中，二维卷积神经网络用于对输入的当前超声图像进行处理，二维卷积神经网络至少包含二维卷积层、最大池化层、平均池化层、激活函数层。三维卷积神经网络用于对输入的三维超声模型进行处理。三维卷积神经网络至少包含三维卷积层、最大池化层、平均池化层、激活函数层。
其中，将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
具体地，将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，如图10所示，具体步骤包括：
S701，通过二维卷积神经网络提取所述当前超声图像中的第一特征向量。
索引神经网络模型至少包含二维卷积神经网络和三维卷积神经网络，当前超声图像输入对应的二维卷积神经网络，通过二维卷积神经网络提取所述当前超声图像中的第一特征向量，其中，第一特征向量为一维特征向量。如图11所示，a代表输入的当前超声图像。
S702，通过三维卷积神经网络提取所述三维超声模型中的第二特征向量。
加载的三维超声模型输入对应的三维卷积神经网络进行处理，通过三维卷积神经网络提取所述三维超声模型中的第二特征向量。三维卷积神经网络至少包含三维卷积层、最大池化层、平均池化层、激活函数层，输出是在通道上进行平均或相加，从而得到一维的特征向量，即第二特征向量也是一维特征向量。其中三维卷积层的卷积核可以为3×3×3，如图11所示，b代表三维超声模型。
S703，在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量。
S704，将所述第一拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。
如图12所示，在另一实施例中，将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
如图13所示，具体步骤包括：
S705，将所述当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图。
S706，对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量。
S707，对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量。
S708，将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量。
S709，将所述第二拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。本公开的全卷积神经网络模型是基于二维卷积神经网络训练，二维卷积神经网络至少包括二维卷积层、最大池化层、平均池化层、激活函数层。需要理解的是，虽然全卷积神经网络模型比索引神经网络模型少了三维卷积网络，但是全卷积神经网络模型的数据处理能力比索引神经网络模型中的二维卷积神经网络处理能力强。三维超声模型为沿某个角度扫描的多张切面图像，每张切面图像带有对应的(x,y,z,ax,ay,az)，b可看做该器官的三维模型。
需要理解的是，全卷积神经网络模型是对某个器官进行多角度扫描，得到多角度多张切面图像，每张切面图像带有对应的(x,y,z,ax,ay,az)，网络的目的是建立一张器官的切面图像和对应位置的关系模型，即预测阶段，例如，对若干不同人的同一器官进行采样(例如：5000人)，每一个器官进行不同角度的扫查(例如：360个角度)，每个角度方向上可以获得200帧超声图像，那么全卷积神经网络模型的训练样本数为5000*360*200＝360000000；通过对庞大的样本超声图像进行训练，更新全卷积神经网络的参数，得到全卷积神经网络模型。当输入一张超声探头获取的当前超声图像输入全卷积神经网络模型，可以得到当前超声图像的位置信息和角度信息(x,y,z,ax,ay,az)。训练采用回归方法，损失函数为均方误差。
S604，根据所述当前超声图像的位置信息和角度信息以及所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
具体地，上一步骤以及确定了当前超声图像的位置信息和角度信息(x,y,z,ax,ay,az)，三维超声图像中预设的标准扫查切面的位置信息和角度信息(X,Y,Z,AX,AY,AZ)。根据所述当前超声图像的位置信息和角度信息以及所述标准扫查切面的位置信息和角度信息，规划所述超声探头运动至所述标准扫查切面的引导路径，所述位置信息和角度信息为六自由度坐标。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，为根据所述当前超声图像的位置信息和角度信息与所述标准扫查切面的位置信息和角度信息。
如图14所示，显示器上显示的扫查引导区1000至少包括第一引导区1600和第二引导区1700，其中第一引导区1600至少显示当前超声探头的位置信息和角度信息、标准扫查切面的位置信息和角度信息，以及操作提示信息。本公开的操作提示信息至少包括平移的距离以及选择的角度，也可以是超声探头下压的压力。第二引导区包括待检测对象1100、在检测对象1100上突出显示的目标器官1500、当前超声探头1200、引导路径1400，以及目标虚拟探头1300，需要理解的是，突出显示可以是高亮显示整个目标器官1500或目标器官1500的轮廓。当前超声探头1200根据其实时位置进行移动，目标虚拟探头1300为获得标准扫查切面对应的超声探头需要运动到的位置。
如图15所示，在另一实施例中，医师对某一目标器官进行超声扫查时可能需要检查多个标准扫查切面，本公开会根据不同标准扫查切面的位置信息相对当前超声探头1200的距离规划引导路径1400。需要理解的是引导路径1400也进行突出显示，可以采用区别颜色、闪烁等方式进行突出显示。
为了提高引导超声探头扫查的准确度，本公开还实时显示所述引导路径、标准扫查切面以及所述超声探头。可以理解的是，医师可以操作超声探头沿着引导路径运动至标准扫查切面。引导路径可以显示在显示器上，也可以通过投影装置投影在检测对象对应的位置处。
针对上述步骤S604，针对超声探头在移动扫查过程中，医师操作失误使得超声探头偏离引导路径的情况，本公开根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，如图16所示，包括以下步骤：
步骤S801，根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径。
步骤S802，获取所述超声探头的实时位置。
在一实施例中，可以通过将超声探头实时采集的超声图像输入索引神经网络模型中获取超声探头获取的当前超声图像的实时位置信息和角度信息。也可以同获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，具体包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位置。
需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。空间响应图包括所述第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相似度值。
步骤S803，根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径。
在所述超声探头偏离所述引导路径预设距离范围内，发出偏离提示；所述偏离报警提示包括指示灯、语音提示以及振动提示中的一种或几种；发出偏离纠正提示，所述偏离纠正提示包括在显示器上提示所述超声探头移动的方向和距离，需要理解的是，由于超声探头偏离引导路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的引导路径上继续移动即可，本公开的显示器包括VR、AR等显示设备的显示器；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离，具体地，可以通过投影设备或者激光引导装置在检测对象体表处显示引导路径、以及超声探头的操作提示步骤。在所述超声探头偏离所述引导路径超出预设范围后，根据所述超声探头的实时位置重新规划引导路径。具体地，根据此时超声探头的实时位置与目标器官的位置从新选择最短的引导路径。所示在显示器上提示所述超声探头移动的方向和距离；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离。
步骤S804，实时显示所述引导路径、标准扫查切面以及所述超声探头。
具体地，在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。其中，所述引导路径、标准扫查切面以及所述超声探头可以通过不同颜色或者明暗度等方式进行区别显示。
进一步地，为了进一步提示标准扫查切面的位置，在所述标准扫查切面对应的检测对象位置处显示目标虚拟探头，以引导所述超声探头。需要理解的是，可以是在显示器中检测对象的对应的位置显示，也可以将三维的虚拟超声探头投影在实际检测对象对应的位置处。
本公开的第三实施例提供一种用于超声探头的导航方法，本公开实施例的所述导航方法除了通过上述任意实施例的方式引导所述超声探头移动至能够便于扫描待扫查目标器官的位置并呈现对应的姿态之后，还包括：执行超声扫查，不同于第二实施例的是，如图17所示，所述执行超声扫查包括以下步骤：
S611，加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。
具体地，在加载检测对象待扫查目标器官对应的三维超声模型需要获取检测对象待扫查的目标器官信息，目标器官信息可以是输入的目标器官名称或者超声设备上目标器官的指示图标。可以通过超声设备上的输入单元输入目标器官信息，使得超声设备能够获取检测对象的待扫查的目标器官；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，也可以通过机器视觉或者训练好的识别网络模型识别超声探头准备扫查的目标器官。
三维超声模型是预先存储在存储介质，根据需要扫查的目标器官加载对应器官的三维超声模型。需要理解的是，三维超声模型是预先对人体进行扫查重建而成。具体地，通过超声探头沿预设方向对待建模组织进行超声扫描，获取待建模组织的每个切面的超声图像；获取所述探头扫查不同切面的超声图像所对应的六自由度参数；将每个切面的超声图像以及对应的六自由度参数输入训练好的深度神经网络模型得到待建模组织的三维超声模型。
三维超声模型中的每个切面的超声图像都带有位置信息和角度信息。在超声探头扫查过程中通过磁场发生器生成包含所述探头以及待建模组织的世界坐标系；通过安装在探头上的磁定位器获取所述探头的六自由度参数，所述六自由度参数包括探头的位置参数和方向参数。在实际超声诊断过程中，往往需要观察器官不同的切面以辅助医师进行诊断，因此本公开的所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。
S612，获取所述超声探头扫查的当前超声图像。
医师操作超声探头或者通过机械臂操作超声探头时，首先需要获取超声探头获取的当前超声图像，并且需要计算当前超声图像的位置信息和角度信息。
S613，获取设置在所述超声探头中的惯性测量单元采集的IMU信息。
本公开的惯性测量单元5000(Inertial measurement unit)，惯性测量单元至少包括加速度计和陀螺仪，以多轴方式组合精密陀螺仪、加速度计，经过融合为稳定和导航应用提供可靠的位置和运动识别功能。即使在复杂的工作环境和动态或极端运动动力学条件下，精密MEMS IMU亦能提供所需的精度水平。获取IMU信息能够提高计算当前超声图像位置信息和角度信息的精度。一个惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。
为了提高惯性测量单元采集的IMU信息的准确度，在一实施例中，获取设置在所述超声探头中的惯性测量单元采集的IMU信息，如图18所示，具体包括以下步骤：
S711，通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；S712，获取预先测量并存储的所述超声探头当前时刻前预设时间段内的多个IMU信息；
S713，将超声探头当前时刻的第一IMU信息以及当前时刻前预设时间段内的多个IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度，将所述第二IMU信息确定为所述超声探头中的惯性测量单元采集的IMU信息。
本公开的循环神经网络模型为级联循环神经网络模型，IMU信息至少包括多轴的角速度数据和加速度数据。如图19所示，X1(t0)表示t0时刻惯性测量单元中的陀螺仪采集的数据；X1(t1)表示t1时刻惯性测量单元中的陀螺仪采集的数据；X1(tn)表示当前时刻惯性测量单元中的陀螺仪采集的数据。需要理解的是，获取超声探头当前时刻前预设时间段内的IMU信息为预设时间段内不同时刻的IMU信息。X2(t0)表示t0时刻惯性测量单元中的加速度计采集的数据；X2(t1)表示t1时刻惯性测量单元中的加速度计采集的数据；X2(tn)表示当前时刻惯性测量单元中的加速度计采集的数据。根据惯性测量单元中传感器类别设置循环神经网络结构(RNN)的级联数量。如图19所示，本公开的一个实施例中设置了两级RNN网络，用于分别提取陀螺仪采集数据的特征信息和加速度计采集数据的特征信息。循环神经网络结构输出的特征信息进行拼接后输入全连接网络进行特征融合，最后输出超声探头的第二IMU信息。需要理解的是，第二IMU信息为超声探头当前时刻准确度高的IMU信息。需要理解的是，陀螺仪和加速度计采集的原始数据可以直接作为输入，也可以通过嵌入向量层(embedding)再输入RNN进行处理。
S614，将所述当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
如图19和图20所示，可以理解的是，引导超声探头进行超声扫查首先需要获取当前超声图像的位置信息和角度信息为六自由度坐标(x,y,z,ax,ay,az)，ax、ay、az为在xyz方向的角度。在一实施例中，CNN深度卷积神经网络模型通过如下步骤获取当前超声图像的位置信息和角度信息，如图21所示：
步骤S811，通过所述CNN深度卷积神经网络提取所述当前超声图像中的第五特征向量；
步骤S812，通过所述CNN深度卷积神经网络提取所述三维超声模型中的第六特征向量；
步骤S813，通过所述CNN深度卷积神经网络提取所述IMU信息中的第七特征向量；具体地，通过所述CNN深度卷积神经网络中的嵌入向量层提取所述第七特征向量
步骤S814，将所述第五特征向量、第六特征向量以及第七特征向量进行拼接，得到第三拼接特征向量；
步骤S815，将所述第三拼接特征向量输入全连接层进行特征向量融合，得到所述当前超声图像的位置信息和角度信息，全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。
在一实施例中本公开的所述CNN深度卷积神经网络包括二维卷积神经网络和三维卷积神经网络。本公开通过二维卷积神经提取所述当前超声图像中的第五特征向量，其中，二维卷积神经网络至少包含二维卷积、最大池化、平均池化、激活函数，所述第五特征向量为一维特征向量。通过三维卷积神经网络提取所述三维超声模型中的第六特征向量；通过三维卷积神经网络至少包含三维卷积，卷积核可以为3×3×3，最大池化、平均池化、激活函数，输出是在通道上进行平均或相加，从而得到一维的第六特征向量。
根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
所述当前超声图像与所述标准扫查切面的位置信息和角度信息，为当前超声图像的位置信息和角度信息和标准扫查前面的位置信息和角度信息。具体地，上一步骤以及确定了当前超声图像的位置信息和角度信息(x,y,z,ax,ay,az)，三维超声图像中预设的标准扫查切面的位置信息和角度信息(X,Y,Z,AX,AY,AZ)。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，规划所述超声探头运动至所述标准扫查切面的引导路径，所述位置信息和角度信息为六自由度坐标。如图22所示，显示器上显示的扫查引导区1000至少包括第一引导区1600和第二引导区1700，其中第一引导区1600至少显示当前超声探头的位置信息和角度信息和角度信息、标准扫查切面的位置信息和角度信息和角度信息，以及操作提示信息。本公开的操作提示信息至少包括平移的距离以及选择的角度，也可以是超声探头下压的压力。第二引导区包括待检测对象1100、在检测对象1100上突出显示的目标器官1500、当前超声探头1200、引导路径1400，以及目标虚拟探头1300，需要理解的是，突出显示可以是高亮显示整个目标器官1500或目标器官1500的轮廓。当前超声探头1200根据其实时位置进行移动，目标虚拟探头1300为获得标准扫查切面对应的超声探头需要运动到的位置。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息为根据所述当前超声图像的位置信息和角度信息与所述标准扫查切面的位置信息和角度信息。
为了提高引导超声探头扫查的准确度，本公开还实时显示所述引导路径、标准扫查切面以及所述超声探头。可以理解的是，医师可以操作超声探头沿着引导路径运动至标准扫查切面。需要理解的是所述引导路径、标准扫查切面以及所述超声探头可以显示在显示器上，也可以通过投影装置投影在检测对象对应的位置处。如图22所示，还包括投影装置3000，投影装置可以在标准扫查前面对应的超声探头位置处生成目标虚拟探头1300，以引导超声探头运动至所述标准扫查切面处，其中摄像机2000为至少包含检测对象以及超声探头的环境影像。需要理解的是，引导路径和操作提示信息也都可以显示在检测对象体表处。
针对超声探头在移动扫查过程中，医师操作失误使得超声探头偏离引导路径的情况，本公开根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，如图23所示，包括以下步骤：
步骤S911，根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；
步骤S912，获取所述超声探头的实时位置；
在一实施例中，可以通过将超声探头实时采集的超声图像输入三维超模型中获取超声探头获取的当前超声图像的实时位置信息和角度信息。也可以同获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，具体包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位置。
需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。空间响应图包括所述第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相似度值。
步骤S913，根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；
在所述超声探头偏离所述引导路径预设距离范围内，发出偏离提示；所述偏离报警提示包括指示灯、语音提示以及振动提示中的一种或几种；发出偏离纠正提示，所述偏离纠正提示包括在显示器上提示所述超声探头移动的方向和距离，需要理解的是，由于超声探头偏离引导路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的引导路径上继续移动即可，本公开的显示器包括VR、AR等显示设备的显示器；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离，具体地，可以通过投影设备或者激光引导装置在检测对象体表处显示引导路径、以及超声探头的操作提示步骤。在所述超声探头偏离所述引导路径超出预设范围后，根据所述超声探头的实时位置重新规划引导路径。具体地，根据此时超声探头的实时位置与目标器官的位置从新选择最短的引导路径。所示在显示器上提示所述超声探头移动的方向和距离；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离。
步骤S914，实时显示所述引导路径、标准扫查切面以及所述超声探头。
具体地，在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。其中，所述引导路径、标准扫查切面以及所述超声探头可以通过不同颜色或者明暗度等方式进行区别显示。
进一步地，为了进一步提示标准扫查切面的位置，在在所述标准扫查切面对应的检测对象体表位置显示目标虚拟探头，以引导所述超声探头。。需要理解的是，可以是在显示器中检测对象的对应的位置显示，也可以将三维的虚拟超声探头投影在实际检测对象对应的位置处。
为了进一步提高扫查的速度和准确度，本公开还包括：在引导所述超声探头运动至所述标准扫查切面处的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成虚拟指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。当超声探头运动到标准扫查切面时进行振动，以提示到达目标位置，或者在扫查过程中未到达标准扫查切面处时就发现病灶，也可以发出语音提示或者振动提示。
本公开的超声成像引导方法通过CNN深度卷积神经网络模型以及加载的三维超声模型，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息，根据当前超声图像与标准扫查切面的位置关系，引导超声探头运动至标准扫查切面处。本公开提高了超声探头查找标准扫查切面的速度和准确度。进一步地，本公开的超声成像引导方法能够生成直观地引导路径，并且实时显示所述引导路径、标准扫查切面以及所述超声探头，提高了扫查的准确度。
本公开的第四实施例提供一种用于超声探头的导航装置，其包括以下部分：获取模块，其用于获取所述超声探头的初始位姿信息以及目标位姿信息；第一确定模块，其用于基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；第二确定模块，其用于基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；引导模块，其用于根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
需要说明的是，本公开实施例涉及的导航装置还能通过设置其他模块、单元的方式执行上述第一至第三实施例中的任意导航方法。
本公开的第五实施例提供了一种存储介质，该存储介质为计算机可读介质，存储有计算机程序，该计算机程序被处理器执行时实现本公开第一实施例至第三实施例提供的方法，包括如下步骤S11至S14：
S11，获取所述超声探头的初始位姿信息以及目标位姿信息；
S12，基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；
S13，基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；
S14，根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
进一步地，该计算机程序被处理器执行时实现本公开第一实施例至第三实施例提供的其他方法。
本公开的第六实施例提供了一种电子设备，该电子设备至少包括存储器和处理器，存储器上存储有计算机程序，处理器在执行存储器上的计算机程序时实现本公开任意实施例提供的方法。示例性的，电子设备计算机程序步骤如下S21至S24：
S21，获取所述超声探头的初始位姿信息以及目标位姿信息；
S22，基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；
S23，基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；
S24，根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
进一步地，处理器还执行上述第一实施例至第三实施例中的计算机程序
上述存储介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括至少两个网际协议地址的节点评价请求，其中，节点评价设备从至少两个网际协议地址中，选取网际协议地址并返回；接收节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。
或者，上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在乘客计算机上执行、部分地在乘客计算机上执行、作为一个独立的软件包执行、部分在乘客计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到乘客计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
需要说明的是，本公开上述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上对本公开多个实施例进行了详细说明，但本公开不限于这些具体的实施例，本领域技术人员在本公开构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本公开所要求保护的范围。

Claims (22)

1.一种用于超声探头的导航方法，其特征在于，包括以下步骤：
获取所述超声探头的初始位姿信息以及目标位姿信息；
基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；
基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；
根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
2.根据权利要求1所述的导航方法，其特征在于，所述根据所述第一推荐导航路径引导所述超声探头移动至目标器官，包括：
根据所述第一推荐导航路径引导所述超声探头移动；
在所述超声探头的移动过程中，基于所述预定时间点，获取所述超声探头的实时位姿信息；
将所述实时位姿信息与所述第一导航路径计划比较；
当所述实时位姿信息中在所述预定时间点的实时位置与所述第一导航路径计划中在所述预定时间点的计划位置之间的第一差异值大于等于第一预定值的情况下，基于所述实时位置和目标位置确定第二推荐导航路径。
3.根据权利要求2所述的导航方法，其特征在于，还包括：
当所述实时位姿信息中的所述预定时间点的实时位置与所述第一导航路径计划中在所述预定时间点的计划位置之间的第一差异值小于第一预定值的情况下，调整所述超声探头的所述实时位置至所述计划位置，并且将所述实时位姿信息中在所述预定时间点的实时姿态与所述第一导航路径计划中在所述预定时间点的计划姿态之间的第二差异值与第二预定值进行比较，在所述第二差异值大于等于所述第二预定值的情况下，调整所述超声探头的所述实时姿态至所述计划姿态。
4.根据权利要求2所述的导航方法，其特征在于，所述基于所述预定时间点，获取所述超声探头的实时位姿信息，包括：
获取所述超声探头在所述预定时间点的模型图像和环境影像；
将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征以及所述环境影像对应的第二特征；
以所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；
将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位姿信息。
5.根据权利要求4所述的导航方法，其特征在于，所述空间响应图包括：
所述第一特征在所述第二特征上的响应强度；
所述模型图像与所述环境影像中各个位置的相似度值。
6.根据权利要求1所述的导航方法，其特征在于，所述获取所述超声探头的初始位姿信息以及目标位姿信息，包括：
获取检测对象待扫查目标器官的目标器官信息；
获取至少包含所述检测对象以及所述超声探头的在初始时刻的第一环境影像和至少包含所述检测对象的在目标时刻的第二环境影像；
基于所述目标器官信息利用训练好的识别网络模型从所述第一环境影像中确定所述超声探头的所述初始位姿信息，从所述第二环境影像中确定所述目标位姿信息。
7.根据权利要求6所述的导航方法，其特征在于，在所述第一环境影像和所述第二环境影像为RGB图像时，所述基于所述目标器官信息利用训练好的识别网络模型从所述第一环境影像中确定所述超声探头的所述初始位姿信息，从所述第二环境影像中确定所述目标位姿信息，包括：
从所述RGB图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；
识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；
基于所述目标器官信息确定所述目标器官的分布区域。
8.根据权利要求6所述的导航方法，其特征在于，在所述第一环境影像和所述第二环境影像为RGB视频时，所述基于所述目标器官信息利用训练好的识别网络模型从所述第一环境影像中确定所述超声探头的所述初始位姿信息，从所述第二环境影像中确定所述目标位姿信息，包括：
选取所述RGB视频中任意一帧RGB图像；
从所述RGB图像中分割出所述检测对象的不同器官的分布区域以及所述超声探头的分布区域；
识别不同分布区域对应的器官信息，所述器官信息至少包括器官名称或器官类别；
基于所述目标器官信息确定目标器官的分布区域。
9.根据权利要求1所述的导航方法，其特征在于，在所述根据所述第一推荐导航路径引导所述超声探头移动至目标器官之后，还包括：执行超声扫查，所述执行超声扫查包括以下步骤：
加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；
获取所述超声探头扫查的当前超声图像；
基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息；
根据所述当前超声图像的位置信息和角度信息以及所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
10.根据权利要求9所述的导航方法，其特征在于，所述基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息，包括：
将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
11.根据权利要求10所述的导航方法，其特征在于，所述将所述当前超声图像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：
通过二维卷积神经网络提取所述当前超声图像中的第一特征向量；
通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；
在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；
将所述第一拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
12.根据权利要求9所述的导航方法，其特征在于，所述基于所述当前超声图像获取所述当前超声图像的位置信息和角度信息，包括：
将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息。
13.根据权利要求12所述的导航方法，其特征在于，所述将所述当前超声图像输入训练好的全卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：
将所述当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图；
对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量；
对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量；
将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量；
将所述第二拼接特征向量输入全连接层，输出所述当前超声图像的位置信息和角度信息。
14.根据权利要求9-13中任一项所述的导航方法，其特征在于，所述根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，包括：
根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；
获取所述超声探头的实时位置；
根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；
实时显示所述引导路径、标准扫查切面以及所述超声探头。
15.根据权利要求1所述的导航方法，其特征在于，在所述根据所述第一推荐导航路径引导所述超声探头移动至目标器官之后，还包括：执行超声扫查，所述执行超声扫查包括以下步骤：
加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；
获取所述超声探头扫查的当前超声图像；
获取设置在所述超声探头中的惯性测量单元采集的IMU信息；
将所述当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息；
根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
16.根据权利要求15所述的导航方法，其特征在于，所述将所述当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：
通过所述CNN深度卷积神经网络提取所述当前超声图像中的第五特征向量；
通过所述CNN深度卷积神经网络提取所述三维超声模型中的第六特征向量；
通过所述CNN深度卷积神经网络提取所述IMU信息中的第七特征向量；
将所述第五特征向量、第六特征向量以及第七特征向量进行拼接，得到第三拼接特征向量；
将所述第三拼接特征向量输入全连接层进行特征向量融合，得到所述当前超声图像的位置信息和角度信息。
17.根据权利要求16所述的导航方法，其特征在于，所述通过CNN深度卷积神经网络提取所述IMU信息中的第七特征向量，具体为：
通过CNN深度卷积神经网络中的嵌入向量层提取所述第七特征向量。
18.根据权利要求15-17中任一项所述的导航方法，其特征在于，所述获取设置在所述超声探头中的惯性测量单元采集的IMU信息，包括：
通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；
获取预先测量并存储的所述超声探头当前时刻前预设时间段内的多个IMU信息；
将超声探头当前时刻的第一IMU信息以及当前时刻前预设时间段内的多个IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度，将所述第二IMU信息确定为所述超声探头中的惯性测量单元采集的IMU信息。
19.根据权利要求15所述的导航方法，其特征在于，所述根据所述当前超声图像的位置与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，包括：
根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；
获取所述超声探头的实时位置；
根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；
实时显示所述引导路径、标准扫查切面以及所述超声探头。
20.一种用于超声探头的导航装置，其特征在于，包括以下部分：
获取模块，其用于获取所述超声探头的初始位姿信息以及目标位姿信息；
第一确定模块，其用于基于所述初始位姿信息和所述目标位姿信息，确定多个候选导航路径；
第二确定模块，其用于基于第一预设条件在多个所述候选导航路径中确定第一推荐导航路径以及第一导航路径计划，所述第一导航路径计划至少包括所述超声探头在预定时间点的位姿信息，所述预定时间点在初始时刻和目标时刻之间基于预定时间间隔确定；
引导模块，其用于根据所述第一推荐导航路径和所述第一导航路径计划引导所述超声探头移动至目标器官。
21.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至19中任一项所述方法的步骤。
22.一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至19中任一项所述方法的步骤。
CN202011321102.5A 2019-12-31 2020-11-23 用于超声探头的导航方法、装置、存储介质以及电子设备 Active CN112288742B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019114136300 2019-12-31
CN201911413630 2019-12-31

Publications (2)

Publication Number Publication Date
CN112288742A true CN112288742A (zh) 2021-01-29
CN112288742B CN112288742B (zh) 2021-11-19

Family

ID=74068186

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011326525.6A Active CN112215843B (zh) 2019-12-31 2020-11-23 超声智能成像导航方法、装置、超声设备及存储介质
CN202011321102.5A Active CN112288742B (zh) 2019-12-31 2020-11-23 用于超声探头的导航方法、装置、存储介质以及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011326525.6A Active CN112215843B (zh) 2019-12-31 2020-11-23 超声智能成像导航方法、装置、超声设备及存储介质

Country Status (1)

Country Link
CN (2) CN112215843B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180731A (zh) * 2021-03-31 2021-07-30 上海深至信息科技有限公司 一种超声扫查引导系统及方法
CN117132587A (zh) * 2023-10-20 2023-11-28 深圳微创心算子医疗科技有限公司 超声扫描导航方法、装置、计算机设备和存储介质
WO2024022062A1 (zh) * 2022-07-28 2024-02-01 杭州堃博生物科技有限公司 一种内窥镜位姿估计方法、装置及存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112807025A (zh) * 2021-02-08 2021-05-18 威朋（苏州）医疗器械有限公司 超声扫查引导方法、装置、系统、计算机设备和存储介质
CN112885450A (zh) * 2021-02-09 2021-06-01 青岛大学附属医院 一种超声体标智能识别系统
CN113171118B (zh) * 2021-04-06 2023-07-14 上海深至信息科技有限公司 一种基于生成式对抗网络的超声检查操作引导方法
CN113274051B (zh) * 2021-04-30 2023-02-21 中国医学科学院北京协和医院 超声辅助扫查方法、装置、电子设备和存储介质
CN113317816A (zh) * 2021-05-07 2021-08-31 武汉凯进医疗技术有限公司 支持实时状态显示的无线便携式掌上超声处理设备及方法
CN113842165B (zh) * 2021-10-14 2022-12-30 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
CN114098807A (zh) * 2021-11-26 2022-03-01 中国人民解放军海军军医大学 一种胸腹部超声扫查辅助装置、方法、介质及电子设备
CN113951932A (zh) * 2021-11-30 2022-01-21 上海深至信息科技有限公司 一种超声设备的扫查方法及设备
CN116887776A (zh) * 2022-03-04 2023-10-13 武汉迈瑞科技有限公司 医疗导航装置、导航处理装置及方法、以及医疗导航系统
CN114578348B (zh) * 2022-05-05 2022-07-29 深圳安德空间技术有限公司 一种基于深度学习的探地雷达自主式智能扫查及导航方法
CN116158851B (zh) * 2023-03-01 2024-03-01 哈尔滨工业大学 医用远程超声自动扫描机器人的扫描目标定位系统及方法
CN115990032B (zh) * 2023-03-22 2023-06-02 中国科学院自动化研究所 基于先验知识的超声扫描视觉导航方法、装置及设备
CN117058146B (zh) * 2023-10-12 2024-03-29 广州索诺星信息科技有限公司 一种基于人工智能的超声数据安全监管系统及方法
CN117679161A (zh) * 2023-12-27 2024-03-12 中南大学湘雅医院 一种辅助生殖过程中取卵穿刺路径规划方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414411A (zh) * 2007-10-17 2009-04-22 财团法人工业技术研究院 影像式的空位侦测系统与方法
CN102662190A (zh) * 2012-05-04 2012-09-12 同济大学 一种超声波快速扫描勘探的方法与所用系统
CN109044398A (zh) * 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
CN109480908A (zh) * 2018-12-29 2019-03-19 无锡祥生医疗科技股份有限公司 换能器导航方法及成像设备
CN109567865A (zh) * 2019-01-23 2019-04-05 上海浅葱网络技术有限公司 一种面向非医护人员的智能超声诊断设备
CN110279467A (zh) * 2019-06-19 2019-09-27 天津大学 光学定位下的超声图像与穿刺活检针的术中信息融合方法
CN110584714A (zh) * 2019-10-23 2019-12-20 无锡祥生医疗科技股份有限公司 超声融合成像方法、超声装置及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103371870B (zh) * 2013-07-16 2015-07-29 深圳先进技术研究院 一种基于多模影像的外科手术导航系统
US11832969B2 (en) * 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
WO2018127498A1 (en) * 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization
CN108664844A (zh) * 2017-03-28 2018-10-16 爱唯秀股份有限公司 卷积深度神经网络的图像目标语义识别及追踪
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
US10905498B2 (en) * 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
CN109589141A (zh) * 2018-12-28 2019-04-09 深圳开立生物医疗科技股份有限公司 一种超声诊断辅助方法、系统和超声诊断设备
CN109480906A (zh) * 2018-12-28 2019-03-19 无锡祥生医疗科技股份有限公司 超声换能器导航系统及超声成像设备
CN109549667B (zh) * 2018-12-29 2022-05-27 无锡祥生医疗科技股份有限公司 超声换能器扫描系统、方法及超声成像设备
CN109805963B (zh) * 2019-03-22 2022-07-05 深圳开立生物医疗科技股份有限公司 一种子宫内膜分型的判定方法及系统
CN110070576A (zh) * 2019-04-29 2019-07-30 成都思多科医疗科技有限公司 一种基于深度学习网络的超声采图智能定位方法和系统
CN110363746B (zh) * 2019-06-13 2022-02-11 西安交通大学 一种基于卷积神经网络的超声无损检测信号分类方法
CN110090069B (zh) * 2019-06-18 2021-04-09 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110477956A (zh) * 2019-09-27 2019-11-22 哈尔滨工业大学 一种基于超声图像引导的机器人诊断系统的智能扫查方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414411A (zh) * 2007-10-17 2009-04-22 财团法人工业技术研究院 影像式的空位侦测系统与方法
CN102662190A (zh) * 2012-05-04 2012-09-12 同济大学 一种超声波快速扫描勘探的方法与所用系统
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
CN109044398A (zh) * 2018-06-07 2018-12-21 深圳华声医疗技术股份有限公司 超声系统成像方法、装置及计算机可读存储介质
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN109480908A (zh) * 2018-12-29 2019-03-19 无锡祥生医疗科技股份有限公司 换能器导航方法及成像设备
CN109567865A (zh) * 2019-01-23 2019-04-05 上海浅葱网络技术有限公司 一种面向非医护人员的智能超声诊断设备
CN110279467A (zh) * 2019-06-19 2019-09-27 天津大学 光学定位下的超声图像与穿刺活检针的术中信息融合方法
CN110584714A (zh) * 2019-10-23 2019-12-20 无锡祥生医疗科技股份有限公司 超声融合成像方法、超声装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113180731A (zh) * 2021-03-31 2021-07-30 上海深至信息科技有限公司 一种超声扫查引导系统及方法
WO2024022062A1 (zh) * 2022-07-28 2024-02-01 杭州堃博生物科技有限公司 一种内窥镜位姿估计方法、装置及存储介质
CN117132587A (zh) * 2023-10-20 2023-11-28 深圳微创心算子医疗科技有限公司 超声扫描导航方法、装置、计算机设备和存储介质
CN117132587B (zh) * 2023-10-20 2024-03-01 深圳微创心算子医疗科技有限公司 超声扫描导航方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112288742B (zh) 2021-11-19
CN112215843A (zh) 2021-01-12
CN112215843B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
Droste et al. Automatic probe movement guidance for freehand obstetric ultrasound
US20190033447A1 (en) Systems and methods for detecting objects in underwater environments
CN111094895B (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
US9974618B2 (en) Method for determining an imaging specification and image-assisted navigation as well as device for image-assisted navigation
CN113260313A (zh) 用于超声数据收集的方法和装置
CN113116386B (zh) 超声成像引导方法、超声设备及存储介质
JP7131994B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム
CN111035408B (zh) 用于超声探头定位反馈的增强的可视化的方法和系统
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
US9679406B2 (en) Systems and methods for providing a visualization of satellite sightline obstructions
EP2851868A1 (en) 3D Reconstruction
CN108827252B (zh) 绘制水下实景地图的方法、装置、设备、系统及存储介质
WO2022098859A1 (en) Robust segmentation through high-level image understanding
KR101772220B1 (ko) 멀티빔소나와 카메라의 상대위치 추정을 위한 캘리브레이션 방법
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
US20200129153A1 (en) Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer
CN117257346A (zh) 基于影像识别的超声探头引导方法及装置
KR102537328B1 (ko) 라이다 센서 기반 흉상 모델링 및 흉부 치수 측정 방법 및 장치
KR102441272B1 (ko) 인공 지능에 기초하여 균열을 측정하기 위한 방법 및 장치
US20220087652A1 (en) Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program
CN113384347B (zh) 一种机器人标定方法、装置、设备及存储介质
EP3916507A1 (en) Methods and systems for enabling human robot interaction by sharing cognition
CN113116384A (zh) 超声扫查引导方法、超声设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant