CN111477318A - 一种用于远程操纵的虚拟超声探头跟踪方法 - Google Patents

一种用于远程操纵的虚拟超声探头跟踪方法 Download PDF

Info

Publication number
CN111477318A
CN111477318A CN202010336133.1A CN202010336133A CN111477318A CN 111477318 A CN111477318 A CN 111477318A CN 202010336133 A CN202010336133 A CN 202010336133A CN 111477318 A CN111477318 A CN 111477318A
Authority
CN
China
Prior art keywords
probe
sequence data
normal vector
motion
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010336133.1A
Other languages
English (en)
Other versions
CN111477318B (zh
Inventor
黄庆华
潘丰鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010336133.1A priority Critical patent/CN111477318B/zh
Publication of CN111477318A publication Critical patent/CN111477318A/zh
Application granted granted Critical
Publication of CN111477318B publication Critical patent/CN111477318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种用于远程操纵的虚拟超声探头运动跟踪方法。所述方法包括如下步骤：使用基于深度摄像仪的图像跟踪算法，结合深度摄像仪的彩色图和深度信息实时捕捉远程端虚拟超声探头在进行平移和旋转时标记点，通过实时记录标记点平面法向量的位置坐标及方向信息形成序列数据，利用基于时序数据的深度学习模型将序列数据与预定义的运动模式对应起来，实现运动控制。本发明方法能够实现超声扫描的远程操纵，在远程医疗等领域有着很大的前景和应用价值。

Description

一种用于远程操纵的虚拟超声探头跟踪方法
技术领域
本发明涉及超声远程扫描技术领域，具体涉及一种用于远程操纵的虚拟超声探头运动跟踪方法。
背景技术
相较于CT、MRI等放射性检查技术，超声检查具有低成本、无创、无辐射等优点，是进行初步检查的最佳选择。
目前，超声扫描诊断已经得到了较广泛地运用，但超声图像的质量非常依赖于操作者的操作技术水平，同一个病变，不同医生的手法、经验不同，将有可能得到不一样的诊断结果。在偏远的地区，熟练医师的资源非常缺乏，这极大地制约了超声检查技术的发展。
传统的超声扫描需要医师手持超声探头在患者身体上操作，这意味着需要专业医师在患者的身旁，而无论是往这些地区输送专家或者运送病人都将耗费大量的人力物力资源，远程操纵超声扫描将是解决这些问题的关键技术。孟勃等人提出一种采用Kinect传感器作为视觉伺服的机器人辅助超声扫描系统(孟勃,曹蕾.基于Kinect的机器人辅助超声扫描系统研究[J].计算机工程与科学,2016,38(3):494-500.)，来规划引导机器人的扫描路径，以实现机器人辅助的超声扫描操作。系统采用深度摄像仪获取的超声探头的彩色图像和深度图像计算探头当前位姿，结合坐标系配准结果，得到机器人的位姿信息。最后根据术前的机器人轨迹规划，引导机器人的超声扫描路径。
现有远程操纵超声扫描技术有两大不足：第一，机器臂控制探头运动的路径是根据视觉图像预定义的，无法根据被扫描部位的实际情况实时调整探头的位置与方向，更无法模拟医师的扫描手法；第二，机器臂按路径运动时需要通过坐标系配准、动力学求解、运动学求解来获得机器臂的运动参数，涉及大量复杂的非线性计算，求解困难。
发明内容
本发明的目的在于克服上述现有技术的缺点和不足,提供一种用于远程操纵的虚拟超声探头运动跟踪方法。
本发明的目的至少通过如下技术方案之一实现。
一种用于远程操纵的虚拟超声探头运动跟踪方法，包括以下步骤：
S1、在远程端，使用基于深度摄像仪的核相关滤波算法(Henriques,J.F.,et al.,High-Speed Tracking with Kernelized Correlation Filters.IEEE Trans PatternAnal Mach Intell,2015.37(3):p.583-96.)分别追踪医师操纵虚拟超声探头时与探头冠状面共面的三角形三个标记点的位置变化，结合深度摄像仪实时采集探头与深度摄像仪水平距离的深度信息，通过矢量积与矢量叉乘获得虚拟超声探头冠状面法向量方位信息；
S2、根据实时记录的法向量方位信息形成序列数据；
S3、使用序列数据训练具有记忆功能的神经网络模型，神经网络模型用于学习序列数据的前后时序蕴含的方位信息与运动模式之间的映射关系，当远程探头运动时采集到的序列数据输入到训练好的神经网络模型，神经网络模型将输出一个对应的运动模式；
S4、工控机收到运动模式后，命令机械臂控制实际扫描探头的法向量按对应的运动模式进行跟踪运动，实现超声扫描的远程操纵。
进一步地，步骤S1中，在图像跟踪的过程中，需要保证虚拟超声探头始终在深度摄像仪的拍摄范围内。
进一步地，步骤S1中，在图像跟踪过程的初始化时，需要令虚拟超声探头冠状面的法向量与实际扫描探头冠状面的法向量平行，并与深度摄像仪的成像平面垂直，使得朝深度摄像仪的位移量由深度摄像仪的深度信息直接反映，此初始化方式较符合超声探头的操作习惯。
进一步地，步骤S1中，所述法向量方位信息为虚拟超声探头冠状面法向量在探头进行平移和旋转运动时的空间位置和方向；在通过计算三个标记点的重心与向量叉乘来实时获得虚拟超声探头冠状面法向量的空间位置与方向时，应对相邻K帧做平均处理后再进行记录，用于避免一次性测量产生的误差而令机械臂运动到错误的位置，K的缺省值为5。
进一步地，步骤S2中，序列数据每个元素格式为法向量的空间位置和方向(x,y,z,u,v,w)，因此一个运动模式对应的序列数据为(time_step,x,y,z,u,v,w)，其中x,y,z表示三个标记点重心的坐标值，u,v,w表示步骤S1中求解的法向量的方向向量坐标，time_step表示采集的帧数；在产生序列数据后，标记该序列数据为沿x轴正反方向平移、沿y轴正反方向平移、沿z轴正反反向平移、绕x轴顺逆时针方向旋转、绕y轴顺逆时针方向旋转、绕z轴顺逆时针方向旋转共12种运动模式中的其中一种。
进一步地，步骤S3中，所述具有记忆功能的深度学习模型采用RNN或者LSTM；神经网络模型输入数据对应的格式为(time_step,x,y,z,u,v,w),其中x,y,z表示的是三个标记点的重心坐标，u,v,w表示冠状面法向量的方向，time_step表示采集的帧数。
进一步地，步骤S3中，提取部分标记好的序列数据作为训练集；在训练时将训练集输入到神经网络模型中，以交叉熵损失函数衡量神经网络模型输出值与真实标注的差值，并迭代优化神经网络模型的参数，使得输出值与真实标注差异最小化。
与现有技术相比本发明的有益效果在于:
传统的超声扫描需要医师手持超声探头在患者身上扫描，而本发明提供了一种用于远程操纵的虚拟超声探头运动跟踪方法，使医师能够在远端通过操纵虚拟超声探头，让实际扫描探头也跟踪虚拟超声探头进行相应的运动。同时，机器臂运动时只需按照当前神经网络模型输出的运动模式进行运动，避免了复杂的数学求解，在远程医疗领域有着很大的应用价值和前景。
本发明提供了一种用于远程操纵的虚拟超声探头运动跟踪方法，增加了超声探头扫描的应用场景，易于在缺少熟练医师的地区推广使用。本发明方法简单，便于操作，具有很高的实用性。
附图说明
图1是本发明实施例中远程操纵系统各装置的示意图；
图2是本发明实施例中远程虚拟探头标记点的示意图；
图3是本发明实施例中运动跟踪方法的流程图；
图4是本发明实施例中使用的深度学习模型的具体结构图。
具体实施方式
下面结合具体实施例和附图对本发明的具体实施作进一步具体详细描述,但本发明的实施方式不限于此,对于未特别注明的工艺参数,可参照常规技术进行。
实施例：
如图1所示，本实施例中，用于远程操纵的扫描装置包括超声扫描装置1以及与其连接的实际超声扫描探头、六轴机械臂2、深度摄像仪4、医生手持的虚拟超声探头3以及计算机5；所述六轴机械臂2用于控制实际超声扫描探头进行移动，所示计算机5用于实时获得法向量运动的位置和方向。
如图2所示，n1和n2表示虚拟探头冠状面的法向量方向。
一种用于远程操纵的虚拟超声探头运动跟踪方法，如图3所示，包括以下步骤：
S1、在远程端，使用基于深度摄像仪的核相关滤波算法分别追踪医师操纵虚拟超声探头时与探头冠状面共面的三角形三个标记点的位置变化，结合深度摄像仪实时采集探头与深度摄像仪水平距离的深度信息，通过矢量积与矢量叉乘获得虚拟超声探头冠状面法向量方位信息；
在图像跟踪的过程中，如图1所示，需要保证虚拟超声探头3始终在深度摄像仪4的拍摄范围内。
在图像跟踪过程的初始化时，如图1所示，需要令虚拟超声探头3冠状面的法向量与实际超声扫描探头冠状面的法向量平行，并与深度摄像仪4的成像平面垂直，使得朝深度摄像仪4的位移量由深度摄像仪4的深度信息直接反映，此初始化方式较符合超声探头的操作习惯。
所述法向量方位信息为虚拟超声探头3冠状面法向量在探头进行平移和旋转运动时的空间位置和方向；在通过计算三个标记点的重心与向量叉乘来实时获得虚拟超声探头冠状面法向量的空间位置与方向时，应对相邻K帧做平均处理后再进行记录，用于避免一次性测量产生的误差而令机械臂运动到错误的位置，K的缺省值为5。
S2、根据实时记录的法向量方位信息形成序列数据；
序列数据的每个元素格式为法向量的空间位置和方向(x,y,z,u,v,w)，因此一个运动模式对应的序列数据为(time_step,x,y,z,u,v,w)，其中x,y,z表示三个标记点重心的坐标值，u,v,w表示步骤S1中求解的法向量的方向向量坐标，time_step表示采集的帧数；在产生序列数据后，标记该序列数据为沿x轴正反方向平移、沿y轴正反方向平移、沿z轴正反反向平移、绕x轴顺逆时针方向旋转、绕y轴顺逆时针方向旋转、绕z轴顺逆时针方向旋转共12种运动模式中的其中一种。
S3、使用序列数据训练具有记忆功能的神经网络模型，神经网络模型用于学习序列数据的前后时序蕴含的方位信息与运动模式之间的映射关系，当远程探头运动时采集到的序列数据输入到训练好的神经网络模型，神经网络模型将输出一个对应的运动模式；
本实施例中，使用的深度学习模型为RNN，其具体结构如图4所示。
神经网络模型输入数据对应的格式为(time_step,x,y,z,u,v,w),其中x,y,z表示的是三个标记点的重心坐标，u,v,w表示冠状面法向量的方向，time_step表示采集的帧数。
提取部分标记好的序列数据作为训练集；在训练时将训练集输入到神经网络模型中，以交叉熵损失函数衡量神经网络模型输出值与真实标注的差值，并迭代优化神经网络模型的参数，使得输出值与真实标注差异最小化。
S4、本实施例中，计算机5收到运动模式后，命令六轴机械臂2控制超声扫描探头的法向量按对应的运动模式进行跟踪运动，实现超声扫描的远程操纵。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (7)

1.一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，包括以下步骤：
S1、在远程端，使用基于深度摄像仪的核相关滤波算法分别追踪医师操纵虚拟超声探头时与探头冠状面共面的三角形三个标记点的位置变化，结合深度摄像仪实时采集探头与深度摄像仪水平距离的深度信息，通过矢量积与矢量叉乘获得虚拟超声探头冠状面法向量方位信息；
S2、根据实时记录的法向量方位信息形成序列数据；
S3、使用序列数据训练具有记忆功能的神经网络模型，神经网络模型用于学习序列数据的前后时序蕴含的方位信息与运动模式之间的映射关系，当远程探头运动时采集到的序列数据输入到训练好的神经网络模型，神经网络模型将输出一个对应的运动模式；
S4、工控机收到运动模式后，命令机械臂控制实际扫描探头的法向量按对应的运动模式进行跟踪运动，实现超声扫描的远程操纵。
2.根据权利要求1所述的一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，步骤S1中，在图像跟踪的过程中，需要保证虚拟超声探头始终在深度摄像仪的拍摄范围内。
3.根据权利要求1所述的一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，步骤S1中，在图像跟踪过程的初始化时，需要令虚拟超声探头冠状面的法向量与实际扫描探头冠状面的法向量平行，并与深度摄像仪的成像平面垂直，使得朝深度摄像仪的位移量由深度摄像仪的深度信息直接反映。
4.根据权利要求1所述的一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，步骤S1中，所述法向量方位信息为虚拟超声探头冠状面法向量在探头进行平移和旋转运动时的空间位置和方向；在通过计算三个标记点的重心与向量叉乘来实时获得虚拟超声探头冠状面法向量的空间位置与方向时，对相邻K帧做平均处理后再进行记录，K的缺省值为5。
5.根据权利要求1所述的一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，步骤S2中，序列数据的每个元素格式为法向量的空间位置和方向(x，y，z，u，v，w)，因此一个运动模式对应的序列数据为(time_step，x，y，z，u，v，w)，其中x，y，z表示三个标记点重心的坐标值，u，v，w表示步骤S1中求解的法向量的方向向量坐标，time_step表示采集的帧数；在产生序列数据后，标记该序列数据为沿x轴正反方向平移、沿y轴正反方向平移、沿z轴正反反向平移、绕x轴顺逆时针方向旋转、绕y轴顺逆时针方向旋转、绕z轴顺逆时针方向旋转共12种运动模式中的其中一种。
6.根据权利要求1所述的一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，步骤S3中，所述具有记忆功能的深度学习模型采用RNN或者LSTM；神经网络模型输入数据对应的格式为(time_step，x，y，z，u，v，w)，其中x，y，z表示的是三个标记点的重心坐标，u，v，w表示冠状面法向量的方向，time_step表示采集的帧数。
7.根据权利要求1所述的一种用于远程操纵的虚拟超声探头运动跟踪方法，其特征在于，步骤S3中，提取部分标记好的序列数据作为训练集；在训练时将训练集输入到神经网络模型中，以交叉熵损失函数衡量神经网络模型输出值与真实标注的差值，并迭代优化神经网络模型的参数，使得输出值与真实标注差异最小化。
CN202010336133.1A 2020-04-25 2020-04-25 一种用于远程操纵的虚拟超声探头跟踪方法 Active CN111477318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010336133.1A CN111477318B (zh) 2020-04-25 2020-04-25 一种用于远程操纵的虚拟超声探头跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010336133.1A CN111477318B (zh) 2020-04-25 2020-04-25 一种用于远程操纵的虚拟超声探头跟踪方法

Publications (2)

Publication Number Publication Date
CN111477318A true CN111477318A (zh) 2020-07-31
CN111477318B CN111477318B (zh) 2022-12-16

Family

ID=71755630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010336133.1A Active CN111477318B (zh) 2020-04-25 2020-04-25 一种用于远程操纵的虚拟超声探头跟踪方法

Country Status (1)

Country Link
CN (1) CN111477318B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151169A (zh) * 2020-09-22 2020-12-29 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN114052795A (zh) * 2021-10-28 2022-02-18 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955961A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 基于统计学的超声序列图像三维重建方法和系统
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和系统
CN109077752A (zh) * 2017-05-31 2018-12-25 西门子医疗有限公司 移动机器臂
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955961A (zh) * 2014-04-14 2014-07-30 中国人民解放军总医院 基于统计学的超声序列图像三维重建方法和系统
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
CN106846306A (zh) * 2017-01-13 2017-06-13 重庆邮电大学 一种超声图像自动描述方法和系统
CN109077752A (zh) * 2017-05-31 2018-12-25 西门子医疗有限公司 移动机器臂

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘盛锋 等: "深度学习在医学超声图像分析中的应用综述", 《ENGINEERING》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112151169A (zh) * 2020-09-22 2020-12-29 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN112151169B (zh) * 2020-09-22 2023-12-05 深圳市人工智能与机器人研究院 一种仿人操作的超声机器人自主扫描方法及系统
CN114052795A (zh) * 2021-10-28 2022-02-18 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统
CN114052795B (zh) * 2021-10-28 2023-11-07 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统

Also Published As

Publication number Publication date
CN111477318B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Zimmermann et al. Freihand: A dataset for markerless capture of hand pose and shape from single rgb images
US10507002B2 (en) X-ray system and method for standing subject
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
US8064669B2 (en) Fast 3D-2D image registration system with application to continuously guided endoscopy
CN111012506B (zh) 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法
CN111477318B (zh) 一种用于远程操纵的虚拟超声探头跟踪方法
Wang et al. Robotic ultrasound: View planning, tracking, and automatic acquisition of transesophageal echocardiography
Sganga et al. Offsetnet: Deep learning for localization in the lung using rendered images
WO2024027647A1 (zh) 机器人控制方法、系统和计算机程序产品
Hao et al. Vision-based surgical tool pose estimation for the da vinci® robotic surgical system
Pachtrachai et al. Hand-eye calibration with a remote centre of motion
CN112270993B (zh) 一种以诊断结果为反馈的超声机器人在线决策方法及系统
CN112151169B (zh) 一种仿人操作的超声机器人自主扫描方法及系统
WO2022194126A1 (zh) 基于胶囊内窥镜构建阅片模型的方法、设备及介质
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
Peng et al. Autonomous recognition of multiple surgical instruments tips based on arrow OBB-YOLO network
CN115089212A (zh) 一种三维视觉引导的机械臂自动颈部超声扫描方法及系统
CN112183316B (zh) 一种运动员人体姿态测量方法
CN112132805B (zh) 一种基于人体特征的超声机器人状态归一化方法及系统
CN113786228A (zh) 一种基于ar增强现实的辅助穿刺导航系统
CN113066111A (zh) 一种基于ct影像的心脏二尖瓣顶点的自动定位方法
WO2024016670A1 (zh) 一种面向三维超声点云内标测导管识别定位跟踪方法
CN112181135B (zh) 一种基于增强现实的6-dof视触觉交互方法
Fan et al. 3D posture estimation and automatic adjustment of zebrafish larvae
Xu et al. Graph-based Pose Estimation of Texture-less Surgical Tools for Autonomous Robot Control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant