CN110993087A - 一种远程超声扫描操纵设备及方法 - Google Patents

一种远程超声扫描操纵设备及方法 Download PDF

Info

Publication number
CN110993087A
CN110993087A CN201911076063.4A CN201911076063A CN110993087A CN 110993087 A CN110993087 A CN 110993087A CN 201911076063 A CN201911076063 A CN 201911076063A CN 110993087 A CN110993087 A CN 110993087A
Authority
CN
China
Prior art keywords
ultrasonic probe
analog
scanning
skin
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911076063.4A
Other languages
English (en)
Inventor
付庄
沈运�
谢荣理
赵艳娜
张俊
费健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911076063.4A priority Critical patent/CN110993087A/zh
Publication of CN110993087A publication Critical patent/CN110993087A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种远程超声扫描操纵设备及方法,其中:模拟超声探头,用于模拟实际超声探头的运动,并将模拟中模拟超声探头的姿态旋转、以及模拟超声探头与模拟皮肤平台间的正压力,发给信息交互模块;模拟皮肤平台,用于模拟实际超声探头在皮肤上的运动,并将模拟超声探头在模拟皮肤平台表面的二维坐标发给信息交互模块;信息交互模块,接收模拟超声探头和模拟皮肤平台发送的信息,并传递给现场执行机构;现场执行机构,将控制信号与实际超声探头扫描过程中受到的压力进行融合,得到实际超声探头的最终控制信号,根据最终控制信号对实际超声探头进行控制。本发明大大增加了操作者的临场感,使操作者在进行远程扫描时更为方便。

Description

一种远程超声扫描操纵设备及方法
技术领域
本发明涉及机器人人机协作领域及顺应性控制技术,具体地,涉及一种远程超声扫描操纵设备及方法。
背景技术
医学超声成像技术通过组织结构对超声声束的不同声阻抗来获取不同的反射信号,从而判断生物组织的内部结构信息。作为四大医学成像技术之一,超声成像不但不会对人体造成辐射污染,而且计量累积误差小、成像速度快,在加个上还远低于其余三种医学成像技术,因此在临床上业已成为一种广泛使用的病症检查方式,在甲状腺、腹腔、膀胱等人体器官和结构上有着普遍的应用和广阔的前景。
然而,主流的超声扫描仍然需要医护人员手动进行,而且超声扫查对于医师的操作和使用技术有着较高的要求。在一些二、三线城市和许多较为偏远的地区,具备这种技术的医师是非常稀缺的。这些城市或地区的患者只能前往大城市就医,不但增加了医疗的成本,也容易耽误病情;抑或是让符合条件的医师去这些地区出差,这又使得医师的负担过重,不仅影响医师的身体健康,也会直接影响到医师的工作质量,降低病情判断的准确性。
因此,为了打破超声扫描的地域限制,远程超声扫描具有很大的优势。但是目前远程超声扫描技术的临场感较低,不能把超声探头的控制很形象地反应到远程操作医师的手中,也很难将医师对探头的压感很好地反应到病患的皮肤上。
经检索,公开号为CN108577886A、CN108994861A、CN109288540A、CN109998590A的中国发明专利,分别涉及;第一个专利CN108577886A中操作者在远程端控制机器人让现场机器人复现其扫描动作,使得操作者临场感差,操作不便;第二个专利CN108994861A中采用触摸屏采集位置信息,使得模拟扫描介质过硬,操作者临场感差,而且没有现场音视频反馈;第三个专利CN109288540A中操作者利用圆形手柄进行模拟扫描操作,不能将操作者的手感实时反应到实际扫描中,临场感不高;第四个个专利CN109998590A中,使用可三维重构的体模增加操作者的临场感,但是操作前的三维扫描耗时大、硬件成本高而且实时重构对数据传输的实时性要求过高,此外机械臂上没有安装力传感器,难以准确复现操作者的手感到实际扫描中。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种远程超声扫描操纵设备及方法。
根据本发明第一个方面,提供一种远程超声扫描操纵设备,包括:模拟超声探头、模拟皮肤平台、信息交互模块以及现场执行机构,其中:
所述模拟超声探头,用于模拟实际超声探头的运动,并将模拟中所述模拟超声探头的姿态旋转、以及所述模拟超声探头与所述模拟皮肤平台间的正压力,发给所述信息交互模块;
所述模拟皮肤平台,用于模拟实际超声探头在皮肤上的运动,并将所述模拟超声探头在所述模拟皮肤平台表面的二维坐标发给所述信息交互模块;
所述信息交互模块,接收所述模拟超声探头和所述模拟皮肤平台发送的信息,并作为控制信号传递给所述现场执行机构;
所述现场执行机构,接收所述信息交互模块发送的控制信号,根据所述控制信号对所述实际超声探头进行控制;同时,采集现场扫描状况和超声图像反馈给所述信息交互模块,所述信息交互模块接受所述现场执行机构反馈信息,用于操作者对现场超声扫描的监控,并使得操作者能够结合现场的扫描状况和超声图像对所述模拟超声探头下一步的移动和旋转进行操纵。
本发明上述设备中,信息交互模块接收所述模拟超声探头和所述模拟皮肤平台发送的信息,并作为控制信号传递给所述现场执行机构,来实现对所述实际超声探头的对应控制,即:根据所述姿态旋转、所述正压力控制所述实际超声探头的姿态旋转以及所述实际超声探头与患者皮肤间的正压力;根据所述模拟皮肤平台的的二维坐标来控制所述实际超声探头在患者皮肤表面的平面运动。
可选地,所述模拟超声探头包括陀螺仪传感器和压电传感器;其中:所述陀螺仪传感器安装在所述模拟超声探头的内部,用来采集所述模拟超声探头的姿态信息;所述压电传感器安装在所述模拟超声探头的表面,用来采集所述模拟超声探头与所述模拟皮肤平台接触的正压力。
可选地,所述模拟皮肤平台包括红外线传感器和仿真橡胶皮肤;其中:所述红外线传感器安装在所述模拟皮肤平台的四周,用来采集所述模拟超声探头在所述模拟皮肤平台表面运动时的平面二维坐标;所述仿真橡胶皮肤安装在所述红外线传感器的下方,为所述模拟超声探头提供扫描的介质。
可选地,所述信息交互模块包括远程客户端和现场服务器;其中:所述远程客户端的输入端连接所述模拟超声探头和模拟皮肤平台,接收所述模拟超声探头、所述模拟皮肤平台的控制信号,并发送给所述现场服务器,所述现场服务器连接所述现场执行机构,将所述控制信号发送给所述现场执行机构以控制所述实际超声探头的运动。
可选地,所述远程客户端和所述现场服务器之间建立加密通讯,其中:
所述远程客户端向所述现场服务器请求建立通讯连接,所述现场服务器收到请求后确认并将RSA公钥发送给所述远程客户端;
所述远程客户端接收到确认信号和所述RSA公钥后,使用该公钥对AES密钥进行加密并把加密后的所述AES密钥发送给所述现场服务器;
所述现场服务器接收到加密过的所述AES密钥后,利用所述RSA密钥解密得到所述AES密钥,则所述远程客户端和所述现场服务器之间的加密通讯连接正式成立。
本发明所述远程客户端和所述现场服务器之间建立加密通讯,采用加密信道在一定程度上保证了数据传输的安全性;一方面,加密使得现场扫描图像不容易被恶意截获,保护了患者的个人隐私;另一方面,加密使得控制信号不容易被恶意篡改,同时能作为一种校验方式来保证数据的完整性,提高了远程扫描的稳定性。
可选地,所述现场执行机构包括控制器、力传感器、机械臂、摄像头、实际超声探头和超声检测仪;其中:
所述力传感器安装在所述机械臂末端,输出端连接所述控制器,用来实时反馈所述实际超声探头扫描过程中受到的压力;
所述控制器的输入端连接所述现场服务器和所述力传感器,输出端连接所述机械臂,所述控制器将远程传输的控制信号和所述力传感器传输的力信号进行融合,将融合结果作为最终控制信号,对所述机械臂进行实时控制;
所述机械臂输入端连接所述控制器,根据所述控制器的最终控制信号驱动所述实际超声探头完成扫描任务;
所述摄像头的输出端连接所述现场服务器,将现场扫描的状况反馈给操作者;
所述实际超声探头由所述机械臂驱动进行扫描,输出端连接所述超声检测仪,向其传输超声扫描数据;
所述超声检测仪的输入端连接所述实际超声探头,输出端连接所述现场服务器,将超声图像反馈给操作者。
可选地,所述控制器将远程传输的控制信号和所述力传感器传输的力信号进行融合,包括:
所述控制器接收远程的所述控制信号,同时通过所述力传感器采集实际超声探头和患者皮肤间的正压力,将该正压力与收到的所述模拟超声探头与所述模拟皮肤平台之间的正压力进行对比,将所得误差转换成实际超声探头垂直于皮肤表面方向的位移,并和远程接收到的实际超声探头姿态旋转及其平行于皮肤表面方向的位移,组合成实际超声探头在下一个控制周期的目标位姿,利用得到的目标位姿作为最终控制信号对所述机械臂进行控制。
根据本发明第二个方面,提供了一种远程超声扫描操纵方法,包括:
S1:建立远程客户端和现场服务器之间的加密通讯连接;
S2:操作者手持模拟超声探头并将其置于模拟皮肤平台上,将所述模拟超声探头摆放到指定位姿后按下开始按钮,则所述远程客户端将此时所述模拟超声探头和所述模拟皮肤平台所采集的控制信号作为初始值通过建立的所述加密通讯的信道传输给所述现场服务器;所述现场服务器收到信号后将其保存下来,并同时保存所述实际超声探头此时各项对应的状态,将两者进行同步;
S3:现场扫描状况和超声图像以设定的周期回传给所述信息交互模块中的远程客户端,由远程客户端通过显示器呈现给操作者;操作者根据显示的现场扫描状况判断所述模拟超声探头的下一步移动的距离和旋转的角度,根据显示的超声图像判断所述模拟超声探头进一步压紧或放松对皮肤的挤压;所述模拟超声探头和所述模拟皮肤平台采集操作者的下一步动作后,由所述远程客户端按照设定的周期发送相应的控制信号给所述现场执行机构进行动作的复现以完成扫描过程;
S4:扫描完成后,按下按钮终止远程扫描,所述远程客户端即发送终止指令给所述现场服务器;所述现场服务器收到指令后,回传确认信息并下达停止指令给所述控制器,所述控制器则停止所述机械臂运动。
可选地,所述方法还包括:所述远程客户端以设定周期发送心跳信号给所述现场服务器,用以通知所述现场服务器通讯连接依然维持的状态,使得即使正常通讯逻辑发生异常时,仍可以据此判断通讯连接的状态;当现场服务器在数倍周期的时间内没有收到心跳信号时,可以认为通讯事实上已经由于未知原因而中断,为了保证远程扫描的安全性,立即断开连接并下达停止指令给所述控制器,所述控制器则停止所述机械臂运动。
可选地,所述方法还包括:所述控制器利用接收的控制信号控制所述实际超声探头的三个旋转自由度和两个平行于患者皮肤表面的平移自由度,而通过所述力传感器反馈的压力信号自主控制垂直于患者皮肤表面的平移自由度。
本发明模拟超声探头和模拟皮肤平台中,实时采集得到远程操作者对模拟超声探头的操作,进而将其发送到现场,通过服务器接收和传递到达控制器,使得实际超声探头按照远程操作者的动作进行驱动,来复现远程操作者的扫描动作;其中,远程操作者对模拟超声探头的旋转以及平行于模拟皮肤的平移被直接复现到实际超声探头上,而垂直于模拟皮肤的平移被模拟探头对模拟皮肤的正压力替代,使得实际超声探头将复现操作者手持探头挤压皮肤的力度,也促使实际超声探头和皮肤间的挤压力处于一定范围内而让扫描过程更为安全;同时,现场执行机构将实时反馈扫描现场的音视频流和超声图像,远程操作者根据图像做出反应来完成整个扫描过程。
与现有技术相比,本发明具有如下至少一种有益效果:
本发明上述设备及方法中采集包括探头位移、旋转和压力三个方面的信息,使得远程的模拟超声扫描能更为真实得反应到现场实际扫描上,大大增加了操作者的临场感,使操作者在进行远程扫描时更为方便,解决了现有技术难以准确复现操作者的手感到实际扫描中的问题。
本发明上述设备及方法通过压电传感器测量模拟探头和皮肤表面间的压力更为真实,并由机械臂根据力反馈来复现操作者的力度有助于提高超声成像的质量。
本发明上述设备和方法中,采用加密信道在一定程度上保证了数据传输的安全性,提高了远程扫描的稳定性。
本发明上述方法中由操作者控制探头的五个自由度,由机械臂根据力反馈自主控制余下的一个自由度,而无需现场医护人员的辅助,大大减轻了他们的负担。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明中一优选实施例中远程超声扫描操纵设备总体连接示意图;
图2为本发明中一优选实施例中模拟超声探头的结构示意图;
图3为本发明中一优选实施例中模拟皮肤平台的结构示意图;
图4为本发明中一优选实施例中现场执行机构及相关模块组成示意图;
图5为本发明中一优选实施例中远程超声扫描操纵设备信息交互过程示意图;
图6为本发明中一优选实施例中远程超声扫描操纵设备的控制流程示意图;
图中标记分别表示为:1为模拟超声探头、2为陀螺仪传感器、3为压电传感器、4为压电信号采集电路、5为模拟皮肤平台、6为红外线传感器、7为仿真橡胶皮肤、8为信息交互模块、9为远程客户端、10为现场服务器、11为现场执行机构、12为机械臂、13为控制器、14为力传感器、15为摄像头、16为实际超声探头、17为超声检测仪、18为患者。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
参照图1-图3所示,为本发明一实施例的远程超声扫描操纵设备示意图,该远程超声扫描操纵设备用于实现远程超声扫描的动作采集、传输和复现。
具体的,参照图1所示,该实施例中的远程超声扫描操纵设备包括模拟超声探头1、模拟皮肤平台5、信息交互模块8和现场执行机构11;其中:模拟超声探头1由操作者控制,位于远程端,输出端连接信息交互模块8中远程客户端9的输入端,模拟超声探头1将其实时姿态和压力信息输出到信息交互模块8。模拟皮肤平台5,位于远程端,输出端连接信息交互模块8的输入端,模拟皮肤平台5将模拟超声探头1在其上的实时平面运动坐标输出到信息交互模块8;信息交互模块8一侧输入端连接模拟超声探头1和模拟皮肤平台5,输出端连接现场执行机构11,信息交互模块8将控制信号输出到现场执行机构11;现场执行机构11一侧输入端连接信息交互模块8,现场执行机构11从信息交互模块8中获取控制信号;现场执行机构11位于现场端,另一侧输出端连接信息交互模块8,现场执行机构11将现场扫描状况和超声图像反馈给信息交互模块8,再由信息交互模块8呈现给操作者。
具体的,模拟超声探头1用于模拟实际超声探头的运动,同时,在操作者操作过程中,模拟超声探头1实时将以下信号传给信息交互模块8:模拟超声探头1的姿态旋转,模拟超声探头1与模拟皮肤平台5之间的正压力;这两种信号分别用于控制实际超声探头16的姿态旋转,以及实际超声探头16与患者18皮肤间的正压力。
类似的,模拟皮肤平台5用于模拟实际超声探头在皮肤上的运动,同时,在操作者操作过程中,模拟皮肤平台5实时模拟超声探头1在模拟皮肤平台5表面的二维坐标(平面运动坐标),并传给信息交互模块8,用于控制实际超声探头16在患者18皮肤表面的平面运动。
信息交互模块8一方面实时接收模拟超声探头1和模拟皮肤平台5发送的控制信号,并通过网络通讯传递给现场执行机构11来实现对实际超声探头16的控制;另一方面实时接收现场执行机构11发送的现场扫描状况和超声图像,并通过网络通讯传递给操作者来实现操作者对现场超声扫描的监控,以及对模拟超声探头1的进一步操纵。
现场执行机构11一方面实时接收信息交互模块8发送的控制信号,对实际超声探头16进行控制;另一方面实时采集现场扫描状况和超声图像,来向操作者反馈超声扫描的情况和质量;即:现场执行机构11从信息交互模块8中获取控制信号,并将现场扫描状况和超声图像输出给信息交互模块8。
本发明上述实施例中,通过采集包括探头位移、旋转和压力三个方面的信息,使得远程的模拟超声扫描能更为真实得反应到现场实际扫描上,大大增加了操作者的临场感,使操作者在进行远程扫描时更为方便,解决了现有技术难以准确复现操作者的手感到实际扫描中的问题。
参照图2所示,在一优选实施例中,模拟超声探头1包括陀螺仪传感器2和压电传感器4;其中:陀螺仪传感器2安装在拟超声探头1的内部,用来采集模拟超声探头1的姿态信息;压电传感器4安装在模拟超声探头1的表面,用来采集模拟超声探头1与模拟皮肤平台5接触的正压力。进一步的,在具体实施例中,模拟超声探头1还包括压电信号采集电路3,该压电信号采集电路3将压电传感器4采集的数据进行放大和数模转换,进而传递给信息交互模块8。本实施例通过压电传感器测量模拟探头和皮肤表面间的压力更为真实,有助于提高超声成像的质量。
参照图3所示,在一优选实施例中,模拟皮肤平台5包括红外线传感器6和仿真橡胶皮肤7;其中:红外线传感器6安装在模拟皮肤平台5的四周,通过红外线的反射光强度分布采集模拟超声探头1在模拟皮肤平台5表面运动时的平面二维坐标;仿真橡胶皮肤7安装在红外线传感器6的下方,并使用压板将红外线传感器6和仿真橡胶皮肤7压紧,为模拟超声探头1提供扫描的介质,扫描得到的数据通过红外线传感器6的数据连接线直接传输给信息交互模块8。
参照图4所示,在一较优实施例中,信息交互模块8包括远程客户端9和现场服务器10;其中:远程客户端9的输入端连接模拟超声探头1和模拟皮肤平台5,输出端连接公共传输介质,用于将所采集的控制信号通过TCP/IP协议推送到公共传输介质上并转发到现场服务器10;此外,如图4所示,远程客户端9的输入端连接公共传输介质,输出端连接操作者,通过UDP协议获取公共传输介质上的现场扫描状况和超声图像反馈给操作者;现场服务器10的输入端连接公共传输介质,输出端连接现场执行机构11中的控制器13,通过TCP/IP协议获取公共传输介质上的控制信号并转送给现场执行机构11中的控制器13来控制实际超声探头16;此外,现场服务器10的输入端连接现场执行机构11,输出端连接公共传输介质,用于将所采集到的现场扫描状况和超声图像通过UDP协议推送到公共传输介质上并回传给远程客户端9。
在另一较优实施例中,为了保证传输数据的安全性和完整性,从而提高远程扫描的控制稳定性,并保护患者的个人隐私,在远程客户端9和现场服务器10之间建立加密通讯连接。具体的,远程客户端9向现场服务器10请求建立通讯连接,现场服务器10收到请求后确认并将RSA公钥发送给远程客户端9;远程客户端9接收到确认信号和RSA公钥后,使用该公钥对AES密钥进行加密并把加密后的AES密钥发送给现场服务器10;现场服务器10接收到加密过的AES密钥后,利用RSA密钥解密得到AES密钥,则远程客户端9和现场服务器10之间的加密通讯连接正式成立。
参照图4所示,在一较优实施例中,现场执行机构11包括机械臂12、控制器13、力传感器14、摄像头15、实际超声探头16和超声检测仪17;其中:控制器13的输入端连接现场服务器10和力传感器14,输出端连接机械臂12,控制器13将远程传输的控制信号和力传感器13实时采集的力信号融合,将融合结果作为机械臂12的最终控制信号,实现对机械臂12进行实时控制;机械臂12输入端连接控制器13,根据控制器13的最终控制信号驱动实际超声探头16完成扫描任务;力传感器14安装在机械臂12的末端,输出端连接控制器13,用来实时反馈实际超声探头16在扫描过程中受到的压力,从而使得机械臂12能够自主控制实际超声探头16和患者18皮肤之间的压力;摄像头15的输出端连接现场服务器10,利用UDP协议将现场扫描的状况通过现场服务器10转送给远程客户端9,从而反馈给操作者;实际超声探头16由机械臂12驱动对患者18进行扫描,输出端连接超声检测仪17用来向其传输超声波束能量分布信息;超声检测仪17的输入端连接实际超声探头16,输出端连接现场服务器10,通过正投影方式将波束能量分布信息转换成超声图像,并利用UDP协议将超声图像通过现场服务器10转送给远程客户端9,从而反馈给操作者。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
参照图5所示,为上述优选实施例提供的远程超声扫描操纵设备的信息交互图,以下结合该图5对上述远程超声扫描操纵设备的使用过程进行详细说明:
首先,操作者操纵模拟超声探头1在模拟皮肤平台5上进行模拟扫描时,模拟超声探头1中的陀螺仪传感器2和压电传感器4分别采集模拟超声探头1的姿态和模拟超声探头1与模拟皮肤平台5之间的正压力,模拟皮肤平台5中的红外线传感器6采集模拟超声探头1在模拟皮肤平台5上扫描时的平面位移,并将采集到的姿态、正压力和平面位移信息传递给远程客户端9;
其次,远程客户端9将传递来的信息作为控制信号,并将控制信号通过TCP/IP协议借由公共传输介质传送到现场服务器10,现场服务器10进一步将控制信号传送给控制器13;
然后,控制器13一方面接收远程控制信号,另一方面通过力传感器14采集实际超声探头16和患者18皮肤间的正压力,并将该正压力和远程收到的正压力(控制信号中的模拟超声探头1与模拟皮肤平台5之间的正压力)进行对比,将所得两者误差通过阻抗控制方式转换成实际超声探头16垂直于皮肤表面方向的位移,并和远程接收到的控制信号(实际超声探头16的姿态旋转,以及其平行于皮肤表面方向的位移)组合成实际超声探头16在下一个控制周期的目标位姿,利用得到的目标位姿作为最终控制信号,对机械臂12进行控制;此处所述目标位姿是六维矢量,其中从控制信号中得到五个维度信息,即三个旋转姿态信息(x、y、z方向,由陀螺仪传感器2采集)和两个平行于皮肤表面的平面位移信息(由红外线传感器6采集),从正压力误差转换得到一个维度信息,即一个垂直于皮肤表面的平面位移信息,组合在一起成为六维目标位姿矢量,用来控制机械臂。
最后,机械臂12根据最终控制信号驱动实际超声探头16对患者18进行超声扫描,扫描过程中的现场图像和声音通过摄像头15采集,扫描过程中的超声波束能量经过超声检测仪17转换成超声图像,和采集的现场图像和声音一同反馈到现场服务器10,现场服务器10则进一步通过UDP协议借由公共传输介质传送到远程客户端9,远程客户端9立即将接收到的现场扫描状况及超声图像呈现给操作者,使得操作者可以根据现场的反馈决定下一步操作,进而操纵模拟超声探头1继续进行远程超声扫描。现场扫描状况包括现场的音视频信息,比如现场病人,医护人员的语音及背景环境声音。
以上操作过程反复进行,直至完成操作。
参照图6所示,在本发明另一实施例中,提供一种远程超声扫描操纵方法,该方法应用于上述任一项的远程超声扫描操纵设备。
具体的,该实施例中的远程超声扫描操纵方法,可以参照以下步骤进行:
S1:建立远程客户端和现场服务器之间的加密通讯连接;
较佳的,在一实施例中,远程客户端9向现场服务器10请求建立通讯连接,现场服务器10收到请求后确认并将RSA公钥发送给远程客户端9;远程客户端9接收到确认信号和RSA公钥后,使用该公钥对AES密钥进行加密并把加密后的AES密钥发送给现场服务器10;现场服务器10接收到加密过的AES密钥后,利用RSA密钥解密得到AES密钥,则此时远程客户端9和现场服务器10之间的加密通讯连接正式成立。
S2:操作者手持模拟超声探头1并将其置于模拟皮肤平台5上,在将模拟超声探头1摆放到合适的位姿后按下开始按钮,则远程客户端9就将此时模拟超声探头1和模拟皮肤平台5所采集的控制信号作为初始值通过之前建立的信道传输给现场服务器10;现场服务器10收到信号后将其保存下来,并同时保存实际超声探头16此时各项对应的状态,将两者进行同步;
S3:现场扫描状况和超声图像通过摄像头15和超声检测仪17反馈,并以一设定周期(比如大约100ms)实时通过之前建立的信道回传给操作者,操作者据此改变模拟超声探头1的位置和姿态;远程客户端9按照设定的周期(比如56ms)发送相应的控制信号给现场服务器10,进而转送到控制器13来驱动机械臂12,使得实际超声探头16进行远程操作者动作的复现以完成扫描过程;
S4:操作者根据超声图像对患者病情做出判断后,按下按钮终止远程扫描,远程客户端9即发送终止指令给现场服务器10;现场服务器10收到指令后,回传确认信息并下达停止指令给控制器13,控制器13则立即停止机械臂12的运动。
本发明一较优实施例中,在上述实施例基础上,方法还包括:远程客户端9以500ms的周期发送心跳信号给现场服务器10,当现场服务器10在两倍周期的时间,即1000ms内没有收到心跳信号时,立即断开连接并下达停止指令给控制器13,控制器13则立即停止机械臂12的运动。本实施例将该特征作为正常通讯逻辑外对通讯连接状态进行判断的判据,用于正常通讯逻辑发生异常时及时判断通讯连接的状态;若心跳信号接收失败,可以认为通讯事实上已经由于未知原因而中断,出于保证远程扫描的安全性的目的而将机械臂12的运动停止。当然,上述的周期可以根据实际情况进行调整,并不局限于500ms、1000ms。
本发明一较优实施例中,在上述实施例基础上,方法还包括:控制器13利用接收的控制信号控制实际超声探头16的三个旋转自由度(x、y、z方向)和两个平行于患者皮肤表面的平移自由度,而通过力传感器14反馈的压力信号自主跟踪远程发送的正压力信息,控制垂直于患者皮肤表面的平移自由度。本实施例由操作者控制探头的五个自由度,由机械臂根据力反馈自主控制余下的一个自由度,而无需现场医护人员的辅助,大大减轻了他们的负担。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (10)

1.一种远程超声扫描操纵设备,其特征在于,包括:模拟超声探头、模拟皮肤平台、信息交互模块以及现场执行机构,其中:
所述模拟超声探头,用于模拟实际超声探头的运动,并将模拟中所述模拟超声探头的姿态旋转、以及所述模拟超声探头与所述模拟皮肤平台间的正压力,发给所述信息交互模块;
所述模拟皮肤平台,用于模拟实际超声探头在皮肤上的运动,并将所述模拟超声探头在所述模拟皮肤平台表面的二维坐标发给所述信息交互模块;
所述信息交互模块,接收所述模拟超声探头和所述模拟皮肤平台发送的信息,并作为控制信号传递给所述现场执行机构;
所述现场执行机构,接收所述信息交互模块发送的控制信号,并将所述控制信号与所述实际超声探头扫描过程中受到的压力进行融合,得到所述实际超声探头的最终控制信号,根据所述最终控制信号对所述实际超声探头进行控制;同时,采集现场扫描状况和超声图像反馈给所述信息交互模块,所述信息交互模块接受所述现场执行机构反馈信息,用于操作者对现场超声扫描的监控,并使得操作者能够结合现场的扫描状况和超声图像对所述模拟超声探头下一步的移动和旋转进行操纵。
2.根据权利要求1所述的远程超声扫描操纵设备,其特征在于,所述模拟超声探头包括陀螺仪传感器和压电传感器;其中:所述陀螺仪传感器安装在所述模拟超声探头的内部,用来采集所述模拟超声探头的姿态信息;所述压电传感器安装在所述模拟超声探头的表面,用来采集所述模拟超声探头与所述模拟皮肤平台接触的正压力。
3.根据权利要求1所述的远程超声扫描操纵设备,其特征在于,所述模拟皮肤平台包括红外线传感器和仿真橡胶皮肤;其中:所述红外线传感器安装在所述模拟皮肤平台的四周,用来采集所述模拟超声探头在所述模拟皮肤平台表面运动时的平面二维坐标;所述仿真橡胶皮肤安装在所述红外线传感器的下方,为所述模拟超声探头提供扫描的介质。
4.根据权利要求1所述的远程超声扫描操纵设备,其特征在于,所述信息交互模块包括远程客户端和现场服务器;其中:所述远程客户端的输入端连接所述模拟超声探头和模拟皮肤平台,接收所述模拟超声探头、所述模拟皮肤平台的控制信号,并发送给所述现场服务器,所述现场服务器连接所述现场执行机构,将所述控制信号发送给所述现场执行机构以控制所述实际超声探头的运动。
5.根据权利要求4所述的远程超声扫描操纵设备,其特征在于,所述远程客户端和所述现场服务器之间建立加密通讯,其中:
所述远程客户端向所述现场服务器请求建立通讯连接,所述现场服务器收到请求后确认并将RSA公钥发送给所述远程客户端;
所述远程客户端接收到确认信号和所述RSA公钥后,使用该公钥对AES密钥进行加密并把加密后的所述AES密钥发送给所述现场服务器;
所述现场服务器接收到加密过的所述AES密钥后,利用所述RSA密钥解密得到所述AES密钥,则所述远程客户端和所述现场服务器之间的加密通讯连接正式成立。
6.根据权利要求4所述的远程超声扫描操纵设备,其特征在于,所述现场执行机构包括控制器、力传感器、机械臂、摄像头、实际超声探头和超声检测仪;其中:
所述力传感器安装在所述机械臂末端,输出端连接所述控制器,用来实时反馈所述实际超声探头扫描过程中受到的压力;
所述控制器的输入端连接所述现场服务器和所述力传感器,输出端连接所述机械臂,所述控制器将远程传输的控制信号和所述力传感器传输的力信号进行融合,将融合结果作为最终控制信号,对所述机械臂进行实时控制;
所述机械臂输入端连接所述控制器,根据所述控制器的最终控制信号驱动所述实际超声探头完成扫描任务;
所述摄像头的输出端连接所述现场服务器,将现场扫描的状况反馈给操作者;
所述实际超声探头由所述机械臂驱动进行扫描,输出端连接所述超声检测仪,向其传输超声扫描数据;
所述超声检测仪的输入端连接所述实际超声探头,输出端连接所述现场服务器,将超声图像反馈给操作者。
7.根据权利要求6所述的远程超声扫描操纵设备,其特征在于,所述控制器将远程传输的控制信号和所述力传感器传输的力信号进行融合,包括:
所述控制器通过所述力传感器采集实际超声探头和患者皮肤间的正压力,将该正压力与收到的所述模拟超声探头与所述模拟皮肤平台之间的正压力进行对比,将所得误差转换成所述实际超声探头垂直于皮肤表面方向的位移,并将转换得到的位移和远程接收到的所述实际超声探头姿态旋转及其平行于皮肤表面方向的位移组合成所述实际超声探头在下一个控制周期的目标位姿,利用得到的目标位姿作为最终控制信号对所述机械臂进行控制。
8.一种远程超声扫描操纵方法,其特征在于,应用于权利要求1-7任一项所述远程超声扫描操纵设备,所述方法包括:
S1:建立远程客户端和现场服务器之间的加密通讯连接;
S2:操作者手持模拟超声探头并将其置于模拟皮肤平台上,将所述模拟超声探头摆放到指定位姿后按下开始按钮,则所述远程客户端将此时所述模拟超声探头和所述模拟皮肤平台所采集的控制信号作为初始值通过建立的所述加密通讯的信道传输给所述现场服务器;所述现场服务器收到信号后将其保存下来,并同时保存所述实际超声探头此时各项对应的状态,将两者进行同步;
S3:现场扫描状况和超声图像以设定的周期回传给所述信息交互模块中的远程客户端,由远程客户端通过显示器呈现给操作者;操作者根据显示的现场扫描状况判断所述模拟超声探头的下一步移动的距离和旋转的角度,根据显示的超声图像判断所述模拟超声探头进一步压紧或放松对皮肤的挤压;所述模拟超声探头和所述模拟皮肤平台采集操作者的下一步动作后,由所述远程客户端按照设定的周期发送相应的控制信号给所述现场执行机构进行动作的复现以完成扫描过程;
S4:扫描完成后,按下按钮终止远程扫描,所述远程客户端即发送终止指令给所述现场服务器;所述现场服务器收到指令后,回传确认信息并下达停止指令给所述控制器,所述控制器则停止所述机械臂运动。
9.根据权利要求8所述的一种远程超声扫描操纵方法,其特征在于,所述方法还包括:所述远程客户端以设定周期发送心跳信号给所述现场服务器,用以通知所述现场服务器通讯连接依然维持的状态;当现场服务器在数倍周期的时间内没有收到心跳信号时,立即断开连接并下达停止指令给所述控制器,所述控制器则停止所述机械臂运动。
10.根据权利要求8所述的一种远程超声扫描操纵方法,其特征在于,所述方法还包括:所述控制器利用接收的控制信号控制所述实际超声探头的三个旋转自由度和两个平行于患者皮肤表面的平移自由度,通过所述力传感器反馈的压力信号自主控制垂直于患者皮肤表面的平移自由度。
CN201911076063.4A 2019-11-06 2019-11-06 一种远程超声扫描操纵设备及方法 Pending CN110993087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076063.4A CN110993087A (zh) 2019-11-06 2019-11-06 一种远程超声扫描操纵设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076063.4A CN110993087A (zh) 2019-11-06 2019-11-06 一种远程超声扫描操纵设备及方法

Publications (1)

Publication Number Publication Date
CN110993087A true CN110993087A (zh) 2020-04-10

Family

ID=70083303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076063.4A Pending CN110993087A (zh) 2019-11-06 2019-11-06 一种远程超声扫描操纵设备及方法

Country Status (1)

Country Link
CN (1) CN110993087A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112206006A (zh) * 2020-09-27 2021-01-12 上海交通大学 自主评估甲状腺结节良恶性的智能辅助识别设备及方法
CN112297035A (zh) * 2020-11-24 2021-02-02 武汉大学苏州研究院 一种用于b超机器人的六维操控装置
CN112650120A (zh) * 2020-12-22 2021-04-13 华中科技大学同济医学院附属协和医院 一种机器人远程操控系统、方法及存储介质
CN112802594A (zh) * 2021-01-26 2021-05-14 巴超飞 一种远程诊疗系统
CN113180738A (zh) * 2021-05-25 2021-07-30 山东大学 一种用于远程心脏超声的虚拟探头及诊疗系统
CN113907788A (zh) * 2021-10-14 2022-01-11 合肥合滨智能机器人有限公司 一种用于远程超声检查的便携式遥操作手持装置
CN114041828A (zh) * 2022-01-13 2022-02-15 深圳瀚维智能医疗科技有限公司 超声扫查控制方法、机器人及存储介质
CN114694825A (zh) * 2020-12-29 2022-07-01 无锡祥生医疗科技股份有限公司 超声探头扫查方法、装置及存储介质
CN114748101A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 超声扫查控制方法、系统及计算机可读存储介质
CN115177210A (zh) * 2022-07-05 2022-10-14 重庆医科大学 一种光声断层成像系统及方法
CN115444448A (zh) * 2022-10-25 2022-12-09 山东印迹生物技术有限公司 超声诊断图像实时处理系统
WO2023061113A1 (zh) 2021-10-14 2023-04-20 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203825919U (zh) * 2014-04-29 2014-09-10 哈尔滨医科大学 手持式探头仿真超声系统
CN104219041A (zh) * 2014-09-23 2014-12-17 中国南方电网有限责任公司 一种适用于移动互联网的数据传输加密方法
CN107693050A (zh) * 2017-11-23 2018-02-16 复旦大学附属中山医院 一种远程医学超声检查系统以及方法
CN207663598U (zh) * 2017-08-25 2018-07-27 段军 皮肤模型及超声模拟系统
CN108992086A (zh) * 2017-10-20 2018-12-14 深圳华大智造科技有限公司 超声检测装置、台车及超声系统
CN110379277A (zh) * 2019-07-23 2019-10-25 浙江大学 一种具有呼吸运动仿真功能的人体脊柱超声成像扫查测试平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203825919U (zh) * 2014-04-29 2014-09-10 哈尔滨医科大学 手持式探头仿真超声系统
CN104219041A (zh) * 2014-09-23 2014-12-17 中国南方电网有限责任公司 一种适用于移动互联网的数据传输加密方法
CN207663598U (zh) * 2017-08-25 2018-07-27 段军 皮肤模型及超声模拟系统
CN108992086A (zh) * 2017-10-20 2018-12-14 深圳华大智造科技有限公司 超声检测装置、台车及超声系统
CN107693050A (zh) * 2017-11-23 2018-02-16 复旦大学附属中山医院 一种远程医学超声检查系统以及方法
CN110379277A (zh) * 2019-07-23 2019-10-25 浙江大学 一种具有呼吸运动仿真功能的人体脊柱超声成像扫查测试平台

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112206006A (zh) * 2020-09-27 2021-01-12 上海交通大学 自主评估甲状腺结节良恶性的智能辅助识别设备及方法
CN112297035A (zh) * 2020-11-24 2021-02-02 武汉大学苏州研究院 一种用于b超机器人的六维操控装置
CN112650120A (zh) * 2020-12-22 2021-04-13 华中科技大学同济医学院附属协和医院 一种机器人远程操控系统、方法及存储介质
CN114694825A (zh) * 2020-12-29 2022-07-01 无锡祥生医疗科技股份有限公司 超声探头扫查方法、装置及存储介质
CN112802594A (zh) * 2021-01-26 2021-05-14 巴超飞 一种远程诊疗系统
CN112802594B (zh) * 2021-01-26 2023-07-25 巴超飞 一种远程诊疗系统
CN113180738A (zh) * 2021-05-25 2021-07-30 山东大学 一种用于远程心脏超声的虚拟探头及诊疗系统
WO2023061112A1 (zh) 2021-10-14 2023-04-20 合肥合滨智能机器人有限公司 一种用于远程超声检查的便携式遥操作手持装置
WO2023061113A1 (zh) 2021-10-14 2023-04-20 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
CN113907788A (zh) * 2021-10-14 2022-01-11 合肥合滨智能机器人有限公司 一种用于远程超声检查的便携式遥操作手持装置
US20240164749A1 (en) * 2021-10-14 2024-05-23 Hefei Hebin Intelligent Robots Co., Ltd. Portable teleoperation hand-held devices for remote ultrasound examination
CN114041828B (zh) * 2022-01-13 2022-04-29 深圳瀚维智能医疗科技有限公司 超声扫查控制方法、机器人及存储介质
CN114041828A (zh) * 2022-01-13 2022-02-15 深圳瀚维智能医疗科技有限公司 超声扫查控制方法、机器人及存储介质
CN114748101A (zh) * 2022-06-15 2022-07-15 深圳瀚维智能医疗科技有限公司 超声扫查控制方法、系统及计算机可读存储介质
CN114748101B (zh) * 2022-06-15 2022-11-01 深圳瀚维智能医疗科技有限公司 超声扫查控制方法、系统及计算机可读存储介质
CN115177210A (zh) * 2022-07-05 2022-10-14 重庆医科大学 一种光声断层成像系统及方法
CN115444448A (zh) * 2022-10-25 2022-12-09 山东印迹生物技术有限公司 超声诊断图像实时处理系统

Similar Documents

Publication Publication Date Title
CN110993087A (zh) 一种远程超声扫描操纵设备及方法
CN107693050B (zh) 一种远程医学超声检查系统以及方法
CN113842165B (zh) 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
TW201936114A (zh) 用於遠距醫療的方法和設備
CN100379391C (zh) 医疗舱系统
KR20120026038A (ko) 소프트웨어 모듈성, 프로젝터 및 레이저 포인터를 가진 원격-존재 로보트 시스템
JP2021534919A (ja) 脊椎外科的処置のためのシステム及び方法
CN108992086A (zh) 超声检测装置、台车及超声系统
CN104023645A (zh) 超声波诊断装置、医用图像诊断装置及超声波诊断装置控制程序
CN102811666A (zh) 超声成像中的成像平面的自动定位
EP3299007B1 (en) Apparatus, system and method for remotely determining acupuncture point
CN111166387B (zh) 甲状腺的超声成像方法和装置
JP2021511903A (ja) 手術室の遠隔監視
US20240221239A1 (en) Systems and methods for clinical workspace simulation
CN111513855B (zh) 心脏内科介入导管手术系统及其应用方法
WO2023000085A1 (en) System and apparatus for remote interaction with an object
Black et al. A mixed reality system for human teleoperation in tele-ultrasound
Black et al. Mixed reality human teleoperation
Rovetta et al. A new telerobotic application: Remote laparoscopic surgery using satellites and optical fiber networks for data exchange
Seo et al. Feasibility evaluation of mobile internet based robot-assisted tele-echography system
KR100997759B1 (ko) 영상 유도 원격 수술 로봇 시스템
JP2007222322A (ja) 超音波診断装置
US11648075B2 (en) Robotic surgical system control arm including dual encoders
CN208598426U (zh) 超声检测装置、台车及超声系统
Shen et al. Supermedia interface for internet-based telediagnostics of breast pathology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination