CN114631892A - 一种自动诊断治疗智能型皮肤病医疗机器人系统 - Google Patents

一种自动诊断治疗智能型皮肤病医疗机器人系统 Download PDF

Info

Publication number
CN114631892A
CN114631892A CN202210254294.5A CN202210254294A CN114631892A CN 114631892 A CN114631892 A CN 114631892A CN 202210254294 A CN202210254294 A CN 202210254294A CN 114631892 A CN114631892 A CN 114631892A
Authority
CN
China
Prior art keywords
robot
treatment
skin disease
liquid nitrogen
operating arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210254294.5A
Other languages
English (en)
Other versions
CN114631892B (zh
Inventor
吴伟国
刘凤坤
郭亚冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210254294.5A priority Critical patent/CN114631892B/zh
Publication of CN114631892A publication Critical patent/CN114631892A/zh
Application granted granted Critical
Publication of CN114631892B publication Critical patent/CN114631892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/02Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/18Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
    • A61B18/20Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Laser Surgery Devices (AREA)

Abstract

一种自动诊断治疗智能型皮肤病医疗机器人系统,属于医疗机器人技术领域,为了实现根据患者皮损部位的图像和相关病历进行自动诊断。本发明硬件部分包括机器人操作臂、深度相机、计算机、快换装置、医用手术刀、末端治疗器;软件部分包括皮肤病诊断专家系统,皮肤病图像处理模块和治疗路径规划模块和控制系统软件模块。机器人操作臂末端关节上的深度相机采集图像和深度信息并传输给计算机,计算机根据图像信息由皮肤病诊断专家系统诊断皮肤病并给出治疗方案,机器人操作臂末端根据治疗方案中的治疗方式选择对应的激光治疗器、全自动液氮枪或仿人多指灵巧手通过快换装置连接。依据图像和深度信息对病变组织表面进行治疗路径规划,根据皮肤病诊断专家系统得到的治疗方式控制液氮枪流量、激光治疗器的功率或由仿人多指灵巧手操作医用手术刀,通过轨迹追踪控制进行运动控制实现皮肤病的自动诊断治疗。

Description

一种自动诊断治疗智能型皮肤病医疗机器人系统
技术领域
本发明涉及一种皮肤病医疗机器人系统,属于医疗机器人技术领域。
背景技术
当下,我国医疗资源人均占有率较低,且地域性分布不均现象较为严重。而即使在医疗发达的地区,医院内的紧张情况也不容乐观,普通人看病往往排上很长时间,这对一些疾病是尤为不利的,问题在偏远地区的情况更加严峻。皮肤病作为一种成因和病症都相对复杂的疾病,种类繁杂,相似度高,其诊断具有一定的难度,即便有经验的医师,也会因过于相似的病症而做出误诊,从而耽误一些隐患较大的疾病,而对普通人而言,求教于专家则又受到诸多客观条件的限制。冷冻治疗和激光治疗是当前两种常用且有效的皮肤病物理治疗方法。目前,以冷冻治疗和激光治疗的方式对皮肤病的治疗需要医生用眼睛观察患者的病变皮肤,诊断皮肤病,并手工操控治疗器对目标病变组织进行治疗,同时实时观察治疗效果,以控制治疗进程和操作方式。人工诊断治疗的方法存在治疗操作精度低、医生易疲劳、不同医生水平不同治疗效果不一的问题。
目前已有该领域发明专利一种激光治疗机器人系统(公布号CN109045485A),该专利提出了使用包括激光光路调整系统、深度传感器、机器人操作臂、计算机和多个CCD相机的激光医疗机器人,该机器人以深度传感器和多个CCD相机对病区定位和构建轮廓进行激光治疗路径规划,可完成对异常组织的激光自动治疗。但是该机器人无法做到对皮肤病的自动诊断,也没有自动制定治疗方案的功能,只能通过机器人对皮肤病病变组织进行按路径的自动治疗,在皮肤病的诊断治疗全流程中仍需要医生人为干预。该机器人治疗手段单一,只能进行激光治疗。而且多个CCD相机在机器人操作臂以外的定位平台进行视觉信息采集,患者只能将病变部位放置在平台上治疗,限制了对人体不同部位的皮肤病治疗的可行性。已有专利一种基于远程控制的液氮治疗皮肤用机器人(公布号CN108403206A)提供了一种基于远程控制的液氮治疗皮肤用机器人,本发明的液氮治疗皮肤用机器人可进行动态位置的检测和固定,提高了治疗精度。同时可进行无线信号传输,实现远程控制,药液的注射更加精确,全程可实现智能化操作,但是仍无法诊断皮肤病需要人为制定治疗量。已有的发明专利机器人化激光美容和治疗系统(公布号CN111420290)根据特征利用人工智能方法,得出参考执行参数,包括激光能量、激光照射频率、激光末端轨迹和路径规划中的一种或几种。仍无法诊断皮肤病。已有的发明专利诊断和治疗一体化激光理疗智能机器人(公布号CN106806996B)医疗诊断系统部分,由医疗红外热成像仪、温度图形显示系统和分析软件构成。红外热成像仪可对人体定位局部拍照,形成温度场图片,通过显示器来显示,通过集成的分析软件可以找到人体的发热点或者不正常的炎症发热区域。已有专利一种自动激光治疗机器人(公布号CN110464456A)三维扫描完成后,将三维扫描数据导入控制系统,按照软件导引进行治疗方案设计。治疗方案设计过程从图像分析开始,分析治疗区域范围、病变程度。通过深度学习,控制系统可自动分析治疗区域情况。图像分析完成后,根据患者病情,生成完整的治疗方案。在利用软件进行皮肤病诊断方面,专利号为CN201911041543.7的专利公开了一种皮肤病综合数据分析诊断辅助系统及其信息处理方法,将数据库技术与机器学习技术结合,使用VGG16卷积神经网络进行皮肤病图像的特征提取,获得特征与疾病之间的映射关系,并结合迁移学习进行优化,能自动生成并反馈目标疾病范围,给出客观可靠的诊疗意见。但该专利存在诊断机理的可解释性差的问题。专利号为CN201810450124.8的专利公开了一种基于云数据库的色素障碍性皮肤病分类专家系统,通过集成的若干机器学习算法得到皮肤所属的具体皮肤差异化类型,再使用皮肤病的ABCD规则库进行皮肤病的诊断,并将新的案例存入云数据库以备系统的自学习,使系统的性能不断提高,但该专利仅考虑了色素性皮肤病。专利号为201910828583.的专利公开了一种基于机器学习的皮肤病智能问诊方法和系统,使用SVM,CNN等方法对皮肤病图像进行分类,并结合知识库数据生成智能问诊报告,提高了问诊的易用性和客观性,但并未给出具体的诊断指标和特征。专利号CN201811237578.3的专利公开了一种诊断脱色素性皮肤病的系统,通过将患者患病信息与脱色素性皮肤病疾病库中的病种进行对比,给出与病种的相似度,再根据相似度计算得出可能的病种,并给出处理意见。该系统仅考虑了脱色素性皮肤病。上述若干涉及皮肤病诊断的软件系统所做出的工作要么围绕已有成熟的程序化诊断标准的黑色素瘤展开,且大多只涉及皮肤病图片给出的信息,要么只是用现代的机器学习方法进行分类,可解释性欠佳。
所以,如能开发出一种具有皮肤病诊断专家系统的皮肤病医疗机器人,可根据患者皮损部位的图像和相关病历进行自动诊断,则可以大大降低患者的就医成本,节约宝贵的治疗时间。专家系统作为一种人工智能技术,其旨在让计算机(软件)拥有媲美领域内专家的专业水平与能力,模拟专家的思维方式和推理过程,从而实现对专业问题的可靠解决。
发明内容
本发明要解决的技术问题是:
本发明为了解决现有的皮肤病医疗系统或皮肤病医疗机器人存在的以下问题:没有兼具自动诊断和治疗的功能,没有实现根据患者皮损部位的图像和相关病历进行自动诊断,治疗操作精度不高、患者就医成本较高、治疗时间较长等问题,进而提供了一种自动诊断治疗智能型皮肤病医疗机器人系统(一种皮肤病医疗机器人系统)。
本发明为解决上述技术问题所采用的技术方案为:
一种自动诊断治疗智能型皮肤病医疗机器人系统,所述系统包括硬件部分(硬件系统)和软件部分(软件系统);硬件部分包括机器人操作臂、深度相机、计算机、快换装置、激光治疗器、医用手术刀、仿人多指灵巧手、全自动液氮枪;软件部分包括皮肤病诊断专家系统、皮肤病图像处理模块、治疗路径规划模块和控制系统软件模块;通过机器人操作臂末端关节上的深度相机采集图像和深度信息并传输给计算机,计算机的软件系统中的皮肤病图像处理模块接收图像和深度信息并进行处理后输出至皮肤病诊断专家系统,由皮肤病诊断专家系统诊断皮肤病并给出治疗方案,机器人操作臂末端根据治疗方案中的治疗方式选择对应的激光治疗器、全自动液氮枪或仿人多指灵巧手通过快换装置连接;然后依据图像和深度信息对病变组织表面进行治疗路径规划,根据皮肤病诊断专家系统得到的治疗方式控制液氮枪流量、激光治疗器的功率或由仿人多指灵巧手操作医用手术刀,通过轨迹追踪控制进行运动控制实现皮肤病的自动诊断治疗;激光治疗器、自动液氮枪和/或仿人多指灵巧手构成末端治疗器。
进一步地,在所述硬件部分中,末端治疗器(激光治疗器、全自动液氮枪等)通过快换装置与机器人操作臂相连,快换装置带有电气接口可为末端治疗器提供电源和信号传输,当末端治疗器为全自动液氮枪时,全自动液氮枪的一组电源线和控制流量的信号线与机器人操作臂连接;当末端治疗器为激光治疗器时,激光治疗器的一组电源线和信号线与机器人操作臂连接;机器人操作臂通过USB接口与计算机通信,深度相机安装在机器人操作臂末端并通过USB与计算机通信;计算机和机器人操作臂分别接外部电源供电;快换装置分为两部分:机器人端和工具端;机器人端安装于机器人操作臂末端;工具端可安装末端治疗器,并带有对中柱体和三个带孔凸台用以和机器人端对中和锁死,所述对中柱体中部为锥面,末端为球面;机器人端的对中机构由多个均匀分布的套管、弹簧和压力传感器组成,机器人操作臂对快换装置的机器人端发送对接指令时,工具端的锥面缓缓进入机器人端的锥孔并与套管接触,随着接入过程弹簧被压缩,压力传感器测得数据,比较多个传感器的数据调整机器人末端姿态进行对中;当工具端触碰到行程开关,推拉电磁铁的推杆推出卡在工具端凸台对应的孔上,同时机器人端电气接口与工具端电气接口接触使电路连通,快换装置完成锁死并保持状态;机器人操作臂对快换装置的机器人端发送脱开指令时,推拉电磁铁的推杆拉回使其与工具端的凸台分离,机器人操作臂操作快换装置的机器人端分离实现脱开;激光治疗器作为皮肤病激光治疗装置,其输入为功率;深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供激光治疗所需的激光功率,计算机通过USB通信将功率信号传输到机器人操作臂,机器人操作臂再通过输入输出口将功率信号输入到激光治疗器,激光治疗器由输入的功率信号对激光进行光强控制来进行皮肤病的激光消融精准治疗;医用手术刀为带有刀柄,刀柄上带有适合仿人多指灵巧手抓握、方便仿人多指灵巧手操作的凹槽;仿人多指灵巧手有九个自由度,拇指三个自由度,其余三指每根手指两个自由度(根指节一个自由度,中指节和末指节联动一个自由度),可操作医用手术刀进行皮肤病切除或皮肤病表面病理采样;仿人多指灵巧手用于操作医用手持液氮枪、激光治疗器、手术刀这些医疗器械进行皮肤病治疗;全自动液氮枪为自动控制的液氮冷冻治疗装置,其输入为液氮流量;在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供低温冷冻治疗所需的液氮流量,计算机通过USB通信将流量信号传输到机器人操作臂系统,机器人操作臂再通过输入输出口将流量信号输入到全自动液氮枪,全自动液氮枪由输入的流量信号对液氮流量进行自动控制进行皮肤病的冷冻治疗。
进一步地,在所述硬件部分中,还包括治疗器存放架,治疗器存放架用来存放激光治疗器医用手术刀、仿人多指灵巧手和全自动液氮枪,其位置与机器人操作臂的基座相对固定,器械存放位置带有凹槽限位,使器械在治疗器存放架上保持固定的位置和姿态,在切换治疗方式时方便机器人操作臂存取末端治疗器。
进一步地,所述使用的深度相机(深度相机又叫3D相机)在符合使用需求条件下可选用不同型号,能够获取图像及深度信息,可用相机和深度传感器或距离传感器组合代替使用;所述使用的激光治疗器在符合激光输出功率和使用需求条件下可选用不同型号。
进一步地,当使用的全自动液氮枪为自动控制的液氮冷冻治疗装置,其输入为液氮流量;在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供低温冷冻治疗所需的液氮流量,计算机通过USB通信将流量信号传输到机器人操作臂系统,机器人操作臂系统再通过输入输出口将流量信号输入到全自动液氮枪,全自动液氮枪由输入的流量信号对液氮流量进行自动控制进行皮肤病的冷冻治疗;机器人搭载末端治疗器按照规划的治疗路径进行皮肤病的自动治疗。
进一步地,激光治疗器为皮肤病激光治疗装置,其输入为功率;在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供激光治疗所需的激光功率,计算机通过USB通信将功率信号传输到机器人操作臂系统,机器人操作臂系统再通过输入输出口将功率信号输入到激光治疗器,激光治疗器由输入的功率信号对进行皮肤病的激光消融治疗;激光治疗器工作时,激光治疗器上的吹风机构持续将烧蚀产生的烟及碎屑吹出治疗区域。上述通信接口可选用RS-232等其他可用接口。
进一步地,深度相机采集的图像和深度信息传输到计算机软件系统中的皮肤病图像处理模块,通过滤波、增强和边缘提取找到皮肤病病区的轮廓,根据深度信息可得病区与机器人操作臂末端的相对坐标,进而计算得到病区在机器人工作空间中的位置,结合治疗方案在机器人关节空间和笛卡尔空间内分别进行机器人操作臂轨迹规划,在关节空间内计算求得关节角度序列和关节角的位置、速度和加速度变化,进而完成从初始位置到终止位置的治疗路径轨迹规划;机器人搭载末端治疗器通过轨迹追踪控制完成规划的治疗路径进行皮肤病的自动治疗。
进一步地,所述皮肤病诊断专家系统接收从皮肤病图像中提取的特征和患者的部分病史信息,将这些信息形式化为事实,结合基于置信规则库的知识表示和ER推理算法进行皮肤病的诊断,给出诊断结果和治疗方案,并可根据用户的要求对诊断过程进行解释。
进一步地,所述控制系统软件模块使用的控制方法包括但不限于加速度分解法。
进一步地,控制系统软件模块接收治疗轨迹规划模块的输出作为运动参考值,结合相机、位置传感器反馈的数据信息,选择合适的控制算法实现不同的控制功能;该控制系统软件模块的控制功能包括:机器人运动控制、快换装置切换末端操作器的控制以及末端操作器的控制;机器人运动控制,以轨迹追踪控制算法实现机械臂的运动控制;快换装置末端操作器的控制,机器人从治疗器存放架取出需要使用的末端操作器并完成自动对接;末端操作器的控制,包括液氮枪使用过程中的的流量控制,激光治疗仪使用过程中的功率控制以及由仿人多指灵巧手使用手术刀的过程中的柔顺控制一系列具体末端操作器使用过程的控制;机器人运动控制方式采用轨迹追踪控制,使末端治疗器沿着在基坐标系内给定的轨迹运动;将机器人追从的轨迹设为末端治疗器在固定在空间中的基坐标系中的位置矢量,对加速度进行PD反馈控制;以加速度分解法为控制方法在基坐标系内进行动态控制,以机器人操作臂末端治疗器追从基坐标系内给定的目标轨迹进行控制,实施皮肤病自动治疗。
本发明具有以下有益技术效果:
本发明的皮肤病医疗机器人系统包括硬件部分和软件部分。硬件部分包括机器人操作臂、深度相机、计算机、快换装置、激光治疗器、医用手术刀、仿人多指灵巧手、全自动液氮枪、治疗器存放架。软件部分包括皮肤病诊断专家系统,皮肤病图像处理模块和治疗路径规划模块和控制系统软件模块。本发明皮肤病医疗机器人可通过机器人操作臂末端关节上的深度相机采集图像和深度信息并传输给计算机,计算机根据图像信息由皮肤病诊断专家系统诊断皮肤病并给出治疗方案,机器人操作臂末端根据治疗方案中的治疗方式选择对应的激光治疗器、全自动液氮枪或仿人多指灵巧手通过快换装置连接。然后依据图像和深度信息对病变组织表面进行治疗路径规划,根据皮肤病诊断专家系统得到的治疗方式控制液氮枪流量、激光治疗器的功率或由仿人多指灵巧手操作医用手术刀,通过轨迹追踪控制进行运动控制实现皮肤病的自动诊断治疗。
本发明使用专家系统,知识工程等相关技术构建一种基于产生式规则的知识表示的皮肤病诊断专家系统。皮肤病医疗机器人分为诊断和治疗两部分,诊断方面使用专家系统技术,治疗方面通过机器人技术完成治疗所需过程。专家系统作为一种人工智能技术,其旨在让计算机(软件)拥有媲美领域内专家的专业水平与能力,模拟专家的思维方式和推理过程,从而实现对专业问题的可靠解决。本发明可根据患者皮损部位的图像和相关病历进行自动诊断,则可以大大降低患者的就医成本,节约宝贵的治疗时间。
附图说明
图1为本发明所述的皮肤病医疗机器人系统结构示意图;图2为末端连接激光治疗器时的皮肤病医疗机器人示意图;图3为末端连接全自动液氮枪时的皮肤病医疗机器人示意图;图4为末端连接灵巧手操作手术刀时的皮肤病医疗机器人示意图;图5为治疗器存放架示意图;图6为皮肤病医疗机器人选择末端治疗器动作示意图;图7为快换装置机器人端结构示意图(图中:a表示主视图,b表示右视图,c表示a的A-A剖面图,d表示b的B-B剖面图,e表示a的C-C剖面图);图8为快换装置工具端结构示意图(图中:a表示主视图,b表示俯视图);图9为加速度分解法控制系统框图;图10为皮肤病医疗机器人软件系统的结构;图11皮肤病图像处理模块结构;图12为皮肤病诊断专家系统结构;图13为患者信息采集的过程示意图;图14为皮肤诊断推理过程的分段描述示意图;图15为皮肤医疗知识库的知识组织形式;图16为皮肤病诊断过程的推理流程图。
具体实施方式
下面给合附图1至16对本发明所述的一种自动诊断治疗智能型皮肤病医疗机器人系统进行如下阐述:
具有该特征的皮肤病医疗机器人系统包括硬件部分和软件部分。硬件部分(如图1、图2至图8)包括机器人操作臂1、深度相机2、计算机3、快换装置4、激光治疗器5、医用手术刀6、仿人多指灵巧手7、全自动液氮枪8、治疗器存放架9。软件系统包括皮肤病诊断专家系统,皮肤病图像处理模块,治疗轨迹规划模块和控制系统软件模块。机器人操作臂末端关节上的深度相机采集图像和深度信息并传输给计算机,计算机的软件系统中的皮肤病图像处理模块接收图像和深度信息并进行处理后输出至皮肤病诊断专家系统,专家系统给出诊断结果和治疗方案,然后若治疗方案可由机器人硬件系统执行,则依据图像和深度信息对病变组织表面进行治疗路径规划,并由控制系统进行液氮枪流量、激光治疗器的功率的控制或控制仿人多指灵巧手操作医用手术刀,以及机器人的运动控制,进而实施皮肤病的自动治疗。机器人操作臂1末端关节上的深度相机2采集图像和深度信息并传输给计算机,计算机根据图像信息由皮肤病诊断专家系统诊断皮肤病并给出治疗方案,机器人操作臂1末端根据治疗方案中的治疗方式选择对应的末端治疗器激光治疗器5、全自动液氮枪8或仿人多指灵巧手7操作医用手术刀6,通过快换装置4连接。然后依据图像和深度信息对病变组织表面进行治疗路径规划,控制液氮枪流量或激光治疗器的功率,通过轨迹追踪控制中的加速度分解法进行运动控制实施皮肤病的自动诊断治疗。
末端治疗器(激光治疗器、全自动液氮枪)通过快换装置4与机器人操作臂1相连,快换装置4带有电气接口可为末端治疗器提供电源和信号传输,当末端治疗器为全自动液氮枪5时,全自动液氮枪5的一组电源线和控制流量的信号线与机器人操作臂1连接;当末端治疗器为激光治疗器4时,激光治疗器的一组电源线和信号线与机器人操作臂1连接。机器人操作臂1通过USB接口与计算机通信,深度相机2安装在机器人操作臂1末端并通过USB与计算机3通信。计算机3和机器人操作臂1分别接外部电源供电。
快换装置4分为两部分:机器人端和工具端。机器人端安装于机器人操作臂末端,工具端可安装末端治疗器械,并带有对中锥面和三个带孔凸台用以和机器人端对中和锁死。机器人端的对中机构由六个均匀分布的套管41、弹簧42和压力传感器43组成,机器人操作臂1对快换装置4的机器人端发送对接指令时,工具段的锥面缓缓进入机器人端的锥孔并与套管41接触,随着接入过程弹簧42被压缩,压力传感器43测得数据,比较六个传感器的数据调整机器人末端姿态进行对中。当工具端触碰到行程开关44,推拉电磁铁45的推杆推出卡在工具端凸台对应的孔上,同时机器人端电气接口46与工具端电气接口47接触使电路连通,快换装置完成锁死并保持状态。机器人操作臂1对快换装置4的机器人端发送脱开指令时,推拉电磁铁45的推杆拉回使其与工具端的凸台分离,机器人操作臂1操作快换装置4的机器人端分离实现脱开。
激光治疗器5为皮肤病激光治疗装置,其输入为功率。在皮肤病医疗机器人中,深度相机2采集的图像和深度信息经皮肤病诊断专家系统诊断,提供激光治疗所需的激光功率,计算机通过USB通信将功率信号传输到机器人操作臂1,机器人操作臂1再通过输入输出口将功率信号输入到激光治疗器5,激光治疗器由输入的功率信号对激光进行光强控制来进行皮肤病的激光消融精准治疗。
医用手术刀6为带有刀柄,刀柄上带有适合仿人多指灵巧手抓握的凹槽,方便仿人多指灵巧手操作。
仿人多指灵巧手7有九个自由度,拇指三个自由度,其余三指每根手指两个自由度(根指节一个自由度,中指节和末指节联动一个自由度)。可操作医用手术刀6进行皮肤病切除或皮肤病表面病理采样。仿人多指灵巧手可以操作医用手持液氮枪、激光治疗器、手术刀等医疗器械进行皮肤病治疗。
全自动液氮枪8为自动控制的液氮冷冻治疗装置,其输入为液氮流量。在皮肤病医疗机器人中,深度相机2采集的图像和深度信息经皮肤病诊断专家系统诊断,提供低温冷冻治疗所需的液氮流量,计算机3通过USB通信将流量信号传输到机器人操作臂系统,机器人操作臂1再通过输入输出口将流量信号输入到全自动液氮枪8,全自动液氮枪8由输入的流量信号对液氮流量进行自动控制进行皮肤病的冷冻治疗。
治疗器存放架9用来存放激光治疗器5、医用手术刀6、仿人多指灵巧手7和全自动液氮枪8,其位置与机器人操作臂1的基座相对固定,器械存放位置带有凹槽限位,使器械在治疗器存放架9上保持固定的位置和姿态,在切换治疗方式时方便机器人操作臂1存取末端治疗器。
本发明的软件系统包括皮肤病图像处理模块,皮肤病诊断专家系统,治疗轨迹规划模块和控制系统软件模块。整个软件系统构成如图10所示。
皮肤病图像处理模块接收来自于皮肤医疗机器人硬件系统输送过来的皮肤病图像,主要功能为图像的预处理与特征提取。其中,预处理包括滤波,增强与分割,滤波的主要作用为滤去皮肤表面如毛发,斑点等与诊断无关的噪声数据,增强的主要作用是使图像的灰度分布不均,皮损边界不清晰等现象得到抑制,以方便后续的处理任务。同一个图像处理任务可视情况而选择多种算法一起使用或备用,如对于图像的分割任务,可以根据皮损边界内外的复杂程度选择分水岭算法或水平集算法等。皮肤病图像处理模块的完整结构如图11所示,将滤波、增强、分割,特征提取所需要的算法存入图像处理算法库中。在预处理阶段和特征提取阶段,用户均可通过人机交互界面选择合适的算法并可以通过滑动条等方式实时地进行参数调整,以达到满意的处理效果。提取的特征将用于皮肤病诊断专家系统的推理,同时预处理过后图像用于治疗轨迹规划。
皮肤病诊断专家系统部分包括患者信息采集模块,皮肤病动态数据库模块,皮肤医疗知识库模块,皮肤病诊断推理机模块,皮肤医疗知识获取模块,解释与人机交互模块六个部分,其结构如图12所示。
患者信息采集模块采集皮肤病诊断中无法以图像给出的必要信息,这个过程发生在两种场合:诊断开始前和推理过程中。信息种类包括个人基本信息(年龄,性别等),主观感觉自述信息(疼痛,发热等)和一些诊断过程中用到的非视觉指标(软硬,干湿,实验室化验结果等)。其中个人基本信息可直接获知,且有固定的形式,直接由人机交互界面输入即可。主观自述信息可直接获知,且可以根据诊断需求设定固定的形式,如限定性问答,此时,直接按照给出的问题由人机交互界面直接输入即可。非视觉指标未必可以直接获知,但具有量化或可量化的形式。有时需要结合其他硬件条件来获取,例如软硬可由触觉传感器获得,化验指标则由实验获知等。可以借由一些传感器获取易于获取的指标,其他的指标由用户输入给出(具体获取过程在机器人系统之外),整个过程如图13所示。
皮肤病动态数据库模块存放来自皮肤病图像处理模块提取出的图像特征信息和患者信息采集模块给出的关于病人的信息,推理过程产生的间接结论和最终诊断结果。所有上述的数据和信息被称为事实,本系统中的事实分为两种,概念型事实和关系型事实。概念型事实用四元组表达:
CFi:(obj,att,val,bel) (1)
其中:CFi为概念型事实的标识序号
obj为客观概念的一个实例对象
att为对象的属性
val为属性的值
bel为属性取值的置信度
例如,一个概念型事实四元组(皮损,形状,圆,0.8)的含义为皮损形状是圆的,置信度为0.8。
关系型事实表示两个对象(或概念)间的关系,用如下四元组来表达:
RFi:(obj1,obj2,rel,bel) (2)
其中:RFi为关系型事实的标识序号
obj1,obj2为对象(或概念)
rel为表征obj1与obj2关系的符号,如is-a代表obj1是obj2
bel为关系的置信度
例如,一个关系型事实四元组(皮损,丘疹,is-a,0.7)的含义为皮损是丘疹,(该关系的)置信度为0.7。
在诊断过程中,皮肤病动态数据库中会不断进行事实的更新,直至最终诊断结果的出现,即出现一系列关于皮肤病种类的关系型四元组。
皮肤医疗知识库模块存储推理过程所需的知识。从领域来看,本系统的知识可分为数字图像领域和医学领域,从知识类型来看,又可分为事实型知识和规则型知识,其中事实型知识主要指人们对客体和事件的评价,因而具有主观认识上的模糊性。本系统的事实型知识主要有两类,第一类是推理过程中涉及的模糊性概念,由一个四元组进行表达:
FKi:(L,V,d,μ) (3)
其中:FKi为知识的标识序号(FN代表事实型知识)
L为语言变量(对应事实中对象的属性)
V为语言变量取值的基本项(对应事实中对象属性的值)
d为程度修饰词
μ为定义在某论域的语言变量的基本项的隶属度函数
例如:在有关图像特征提取的知识中,知识四元组(皮损形状,圆,很,μ(x))的含义为:形状很圆的隶属度函数为μ(x)2,其中μ(x)为定义在圆度率x上的圆的隶属度函数,则根据图像中感兴趣皮损区域的圆度率的值即可描绘皮损圆的程度。
第二类事实型知识为有关治疗方案的知识,该知识涉及对诊断结果的治疗建议,包括药物治疗,手术治疗等,其中若手术治疗可由本发明的机器人完成,则该治疗方案将指导治疗路径规划模块进行路径规划,故该知识为定量描述性的知识。这类知识需由皮肤科专家和知识工程师合作给出,此处不进行具体阐述。
规则型知识主要描述事实间的因果关系,其中大部分为经验性知识,难以从书籍等系统化的学科知识中获取,是皮肤科专家与普通医师的差别所在。本系统中主要指IF-THEN形式的知识,综合考虑知识的不确定性和不精确性,采用基于置信规则库理论的表达形式如下:
Figure BDA0003548196090000101
其中:Rk为规则的标识序号
Figure BDA0003548196090000102
为第k条规则的第i个前提,可以是事实型知识,也可以是推理过程中产生的中间结论等。
δi为第i个前提的权重
Ci为第i个结论
Figure BDA0003548196090000103
为第k条规则中第i个结论的置信度
θk为第k条规则的权重
上述规则型知识的含义为:基于一系列前提条件的加权组合可以以不同的置信度推出若干可能的结论。
皮肤病诊断推理机模块通过结合病人的初始事实,中间结论,皮肤医疗知识库中的知识等信息,在一定的推理控制策略下实现对皮肤病的诊断。具体地,皮肤病诊断推理可以看作一个阶段性的动态过程,前一阶段的结论作为后一阶段的前提,直至获得最终结论,该过程中,某些用于推理的必要的前提事实可能未出现,此时,系统会向用户请求获取该事实,如果用户给出该事实,推理得以正常进行,如果用户不给出该事实,则系统按照某种预设的方法给出该事实的缺省值,推理仍可进一步执行,这个过程可由图14予以表达。
置信规则的每一步推理要结合知识库内所有拥有同类结论的规则,故知识库按照图11中所述的分段推理过程进行划分,每一个可用于置信推理的库称为BRB子库。过程2中的规则型知识均为识别皮损类别的知识,拥有相同的形式,过程4涉及的知识则为确定皮肤病种类的知识,故过程2和过程4的知识可分别作为一个BRB子库,称为皮损种类BRB子库和皮肤病种类BRB子库。过程1和过程3中的规则型知识用以得出关于诊断的中间结论,其种类不尽相同,如颜色相关的规则型知识和形状相关的规则型知识在推理过程中是相互独立的模块,故将这些知识分别形成BRB子库。过程1~4的推理过程中使用的规则型知识的前提还会涉及事实型知识或由其产生的间接结论,前者以子库单独存储,并按照知识领域进一步组织。最终本系统的知识库组织模式如图15所示。
每一个BRB子库内的推理过程由如下两个步骤组成:
(1)计算置信规则激活权重
首先将BRB子库内的规则重写为以下等价形式:
Figure BDA0003548196090000111
其中<fi,Fi k>的含义为事实fi与前提Fi k匹配。将事实组成的向量f=(f1,f2......fM)与规则前件进行匹配,令
Figure BDA0003548196090000112
为事实fi与Fi k相匹配的置信度,则根据事实与前件的不同形式,
Figure BDA0003548196090000113
有不同的计算方法,常见以下两种情况:
a.事实fi为概念型事实,则Fi k为事实性知识,此时fi属性的值在Fi k的论域内,其对应隶属度值与事实fi中的置信度乘积即为
Figure BDA0003548196090000114
b.事实为fi关系型事实,则若Fi k为与之不同的事实描述,两者不匹配,
Figure BDA0003548196090000115
为0。否则事实fi中的的置信度即为
Figure BDA0003548196090000116
第k条规则前提中的所有
Figure BDA0003548196090000117
计算完毕后,该条规则的激活权重计算方法如下:
Figure BDA0003548196090000118
(2)利用ER算法进行推理
当同一BRB子库中的所有规则的激活权重计算完毕后,使用ER算法实现这些规则的组合,该算法得到的最终输出为:
Figure BDA0003548196090000121
该结果即是结论和对应结论的置信度的序列,其中,
Figure BDA0003548196090000122
为关于结论Cj的置信度。可以将该输出结果改写为式(1)或(2)的关于事实的标准形式。
Figure BDA0003548196090000123
的计算方法如下:
Figure BDA0003548196090000124
其中,μ的计算方法如下:
Figure BDA0003548196090000125
当上述规则的前提中含有∨连接符时,上述计算过程稍有不同,此处不再赘述。
结合以上内容,整个推理的过程由图16的流程图给出。
皮肤医疗知识获取模块从书籍中获取系统化的皮肤医疗知识,或者从专家等处获取经验性的皮肤医疗知识,以构建和扩充专家系统知识库。该模块可以为手动获取或自动获取形式,其中手动获取即通过人机交互界面手动输入知识,由于知识已被形式化定义,且一次性获取的知识一般具有较大的数据量,也可以选择将知识制成表格导入系统,由该模块完成表信息的提取。自动知识获取可以采用语音识别软件,文字识别软件等从专家的口述,书籍的扫描中自动提取知识,无论是哪种知识获取方式,将知识导入知识库中时将进行知识的检查,返回重复的知识或涉及冲突的知识,然后用户根据实际情况可以对知识库进行修改。
解释与人机交互模块是图形化的人机交互界面,其主要功能有以下几个方面:
a.启动诊断程序
即启动皮肤病诊断专家系统。
b.图像处理算法与参数的选择
在皮肤病图像处理模块中,用户通过人机交互界面观察不同算法,不同参数下的实时处图像理效果,以获得满意的处理效果。
c.信息的索取与输入
在患者信息采集模块中,通过人机交互界面,实现推理机向用户索取诊断事实和用户输入事实。
d.知识的输入与修改
在知识获取模块中,通过人机交互界面实现知识的手动输入(或表格文件的导入),并实现对重复和冲突知识的处理。
e.用户寻求解释
用户有时会针对诊断过程中用到的事实,知识以及推理方法寻求解释,通过人机交互界面实现该功能。
f.启动治疗
该功能不属于皮肤病诊断专家系统模块,但其与诊断结果紧密相关,故共用同一交互界面,选择启动治疗即开始进行治疗路径规划和机器人的控制,进而开始实施治疗方案。
开始使用时,交互界面上将首先显示a和d功能对应的选项,此时若用户执行a功能,则出现b和c的功能对应的选项,诊断过程开始执行,诊断结束后显示出诊断结果和治疗方案等信息,并出现e和f功能对应的选项,此时用户可以选择对诊断过程进行询问或开始治疗。若用户开始时选择d功能对应的选项,则单独进入知识获取相关功能。交互界面上的功能选项内一般以树形结构安排若干层子选项,以满足用户多样化的需求,用户通过选择对应的选项实现当前的目标。
治疗轨迹规划模块首先接收两个模块的输入,皮肤病诊断专家系统和皮肤病图像处理模块,其中前者提供量化的治疗方案(如采用液氮治疗时,在不同厚度不同位置的作用时间等数据),后者提供病患部位的具体情况,给出规划需要的位置信息,然后将两者结合起来,进行皮肤医疗机器人末端操作器的三维空间轨迹规划,具体地,首先根据治疗方案确定末端操作器在笛卡尔空间内的路径点序列,然后将路径点序列映射到关节空间,选择合适的插值函数,最后根据约束条件完成插值函数中参数的确定,生成皮肤医疗机器人关节空间内的轨迹。
控制系统软件模块接收治疗轨迹规划模块的输出作为运动参考值,结合相机,位置传感器等反馈的数据信息,选择合适的控制算法实现不同的控制功能。该模块的控制功能有三个方面,机器人运动控制,快换装置切换末端操作器的控制以及末端操作器的控制。具体地,机器人运动控制方面,以轨迹追踪控制算法实现机械臂的运动控制;快换装置末端操作器的控制方面,机器人从治疗器存放架取出需要使用的末端操作器并完成自动对接。末端操作器的控制方面,包括液氮枪使用过程中的的流量控制,激光治疗仪使用过程中的功率控制以及由仿人多指灵巧手使用手术刀的过程中的柔顺控制等一系列具体末端操作器使用过程的控制。
机器人运动控制方式采用轨迹追踪控制,使末端治疗器沿着在基坐标系内给定的轨迹运动。将机器人追从的轨迹设为末端治疗器在固定在空间中的基坐标系中的位置矢量,对加速度进行PD反馈控制:
Figure BDA0003548196090000131
机器人以上式中
Figure BDA0003548196090000141
加速度运动时,误差方程为:
Figure BDA0003548196090000142
其中:e=xd-x。适当设定Kv、Kp,可实现稳定的控制。
机器人操作臂各关节的速度
Figure BDA0003548196090000143
和末端操作器的速度
Figure BDA0003548196090000144
的关系可写为:
Figure BDA0003548196090000145
对时间积分得:
Figure BDA0003548196090000146
Figure BDA0003548196090000147
代入
Figure BDA0003548196090000148
解得加速度分解法的控制律为:
Figure BDA0003548196090000149
以加速度分解法为控制方法在基坐标系内进行动态控制,以机器人操作臂末端治疗器追从基坐标系内给定的目标轨迹进行控制,实施皮肤病自动治疗。
皮肤病医疗机器人开始工作后,病人向皮肤病医疗机器人搭载的深度相机展示皮肤病表面,深度相机采集的图像和深度信息传输到计算机中的皮肤病图像处理模块,用户在交互界面上选择启动诊断程序并输入初始信息后,诊断过程开始进行,诊断结束后用户可以选择查看诊断的解释,然后选择启动治疗,则治疗轨迹规划模块开始执行,根据深度信息可得病区与机器人操作臂末端的相对坐标,进而计算得到病区在机器人工作空间中的位置。在机器人关节空间和笛卡尔空间内分别进行机器人操作臂轨迹规划,在关节空间内计算求得关节角度序列和关节角的位置、速度和加速度变化,进而完成从初始位置到终止位置的治疗路径轨迹规划。然后机器人在控制系统模块的控制下开始进行治疗。
为了使本领域技术人员更好地理解本发明方案,下面结合附图对本发明再做进一步详细阐述。
参见图10,本发明的皮肤医疗机器人的软件系统包括皮肤病图像处理模块,皮肤病诊断专家系统模块,治疗轨迹规划模块和控制系统模块。
参见图12,本发明提供的一种皮肤病诊断专家系统的结构方框图,包括患者信息采集模块、皮肤病动态数据库模块、皮肤医疗知识库模块、皮肤病诊断推理机模块、皮肤医疗知识获取模块、解释与人机交互模块。
用户通过机器人硬件系统中的深度相机获取皮肤病图像和深度信息,在解释与交互模块上启动诊断程序后,图像信息被输入至皮肤病图像处理模块,其模块内部结构参见图8,其中图像处理算法库中包含预处理和特征提取所需的算法,具体地,滤波方面,皮肤病图像存在毛发伪影,斑点伪影等噪音数据,故应进行滤除,考虑到医学图像应尽量保证重要信息的完整性,尽应量避免使用非线性滤波,可使用高斯滤波,均值滤波等,另一方面,由于使用环境的差异,不同图像的对比度可能会有很大差异,应对对比度不足的图像进行增强操作,以突出病患部位的信息,图像增强的方法较多,且使用条件和效果不尽相同,根据一般皮肤病图像的特点,我们有三种按照优先顺序排序的增强方法可以采用:直方图校正,局部方差增强和形态学操作。
其中,直方图校正涉及图片全局的灰度的均匀化,使得原本集中于亮或者暗范围内的灰度在全灰度范围内尽可能均匀分布,进而增加对比度。这种方法仅考虑全局灰度,可能无法处理到微小的细节,一个改进版本是使用沿像素阵列移动的局部邻域直方图校正,这种方法有利于我们增强细节,将这两种方法统称为直方图校正并优先采用全局直方图校正。
局部方差增强涉及反锐化掩模技术。图像被分成两个部分,低频的反锐化掩模部分和高频成分部分。高频部分被放大并加入到反锐化掩模中去,最后得到增强的图像。当采用直方图校正方法的效果不理想时,可以采用这种方法。
形态学操作涉及将不均匀背景均匀化的操作,有时由于关照不均匀的影响,图片的前景和背景总是难以分割,这时可考虑使用形态学操作中的顶帽操作,具体地,首先采用大于前景尺寸的结构元对图像进行开操作,得到一个消除了前景的近似背景,再用原图像减去该背景即可实现对背景不均匀的校正。当采用前述方法不理想时,考虑使用此方法。
经增强和滤波后的图像需要进行分割操作,以从图像中正确地识别出病患部位,此处也按照优先顺序给出三种分割方法,阈值处理,形态学分水岭算法,水平集算法。
其中,阈值处理是一种原理简单,计算方便的基于灰度值分布的分割方法,当病患部位整体与背景间灰度差异较大时可以获得很好的效果,其中最常用的是最佳全局阈值处理,可以根据类间方差自动获取分割阈值,故首先考虑使用该分割方法。
形态学分水岭算法是基于图像形态学操作和地理上的地形学概念而实现的算法,通过简单的手动标记引导图像完成自动分割,是一种结合了一定先验知识的算法,故具有更好的灵活性和准确性,当阈值处理方法不能很好的进行分割时,可以考虑该方法。
形态学分水岭算法可以解决大部分分割问题,但在皮肤病图像中,有些较大的病患部位内部“地形“较为复杂,存在若干局部“盆地”,此时手动标记几乎难以将其区分,故往往导致过度分割。另一种分割方法是水平集算法,该方法基于活动轮廓法,以能量泛函的极小化指导初始曲线演化逼近病患部位边缘,也是一种可以结合先验知识的分割方法,其优点在于分割效果好,可直接获得连续边缘,但计算复杂,当上述方法效果不佳时,尝试使用此种方法。
上述的预处理过程算法的选择包括参数的调整均由解释与交互界面提供的实时处理的视觉效果作为依据,用户根据自己的判断和需求来进行选择操作。
预处理结束后根据后续皮肤病诊断的需要识别和提取特征,用以后续的推理。根据推理过程的描述,首先需要进行皮损的初步分类,具体地,皮损初步分类一般是仅根据病患部位视觉信息进行的,其具体类型涉及以下几种:
丘疹,斑块结节,风团,水疱,大疱,脓疱,囊肿,斑疹,斑片,肿块,鳞屑,剥脱与抓痕,浸渍,糜烂,皲裂,苔藓化,硬化,痂,溃疡,萎缩,瘢痕,异色等。
区分上述皮损类型的指标则主要有如下几种:
皮损形状,皮损高低,皮损大小,皮损颜色,皮损表面性质(粗糙,光滑的程度),内容物(透明液,浑浊或固体),皮损硬度,皮损干湿情况
例如丘疹的特征可描述如下:皮损为尖形,圆形扁圆形或脐窝状,表面隆起,直径一般小于0.5cm,表面性质不定,无内容物,颜色多为红,紫,黄或者白,干皮损,硬度不定(不予考虑)。
考虑到医疗诊断的不确定性,用模糊集合理论对上述内容进行描述,其中区分皮损类型的指标称为语言变量,其取值称为语言值,如对应于语言变量“皮损颜色”的一个语言值“红色”,语言值可以由程度词进行修饰,如“非常红”,,不用程度词修饰的语言值称为基本项,于是一个语言变量的所有语言值由若干基本项及其由程度词修饰的项组成。其中,根据其含义,每一个语言值均是某一论域上的模糊子集,以隶属度进行表征。
上述指标一部分可由图像给出,如皮损形状,皮损高低,皮损大小,皮损颜色,皮损表面性质,这些指标都对应若干图像特征描绘子,特征提取步骤即使找出这些描绘子。另一部分难以从图像中获得或者根本不能来自图像信息,这一部分将由患者信息采集模块给出。
将从皮肤病图像处理模块提取出的特征信息和从患者信息采集模块获得的信息输入至皮肤病动态数据库中,即可开始进行推理,具体地推理步骤参见图13和E。具体地,根据图11,第一个推理阶段是利用动态数据库中的事实进行有关皮损初步分类的间接结论的推理,如丘疹的形状可以为尖形或者圆形或者扁圆形或者脐窝状,则可以将这些由或连接词连接起来的条件合并为一个中间结论,例如“丘疹形”。第二推理阶段为确定皮损的类型,结合了上一阶段获得的中间结论和最初获得的若干事实。第三阶段与第一阶段类似,在皮损类型确定的情况下获得一些用于进一步诊断的中间结论,最后一步结合上一步的中间结论,皮损的类型和最初的若干事实获得关于皮肤病种类的结论。在每一个阶段中,若推理过程中检测到规则前件确定的事实缺失,推理机都会通过解释与交互界面给出相应的索取信息,用户可以选择输入信息或不输入,若不输入,推理将以该事实缺省的情况下继续进行。每一个阶段使用的推理算法均为前述的ER算法,其具体实现方法已在发明内容中进行阐述。
诊断结束后,解释与交互界面会给出诊断结果,由于使用了ER推理算法,诊断结果不是单一的结果,而是以置信度排序的可能疾病目录,用户可以通过进入解释选项对诊断过程,用到的事实和知识进行查看,然后选择某一皮肤病疾病结果(如最高置信度)可以查看对应皮肤病的治疗方案。
若给出的治疗方案有必要且可以由皮肤医疗机器人完成,则在患者的同意下可以进入启动治疗选项。该选项首先启动治疗路径规划模块,治疗路径规划模块从皮肤病诊断专家系统处获取定量的治疗方案,治疗方案涉及激光或液氮治疗仪的功率,治疗轨迹的关键插补点等信息,然后该模块接收皮肤病图像处理模块预处理过后的皮肤病图像,获取皮损的详细坐标信息,在治疗方案的指导下进行轨迹规划。
轨迹规划有两种常用方法。第一种方法是在沿轨迹选定的位置点上显式地给定广义坐标位置、速度和加速度地一组约束,然后从满足插值点约束的函数中选定参数化轨迹。第二种方法是以解析函数显式的方式给定机器人路径。
关节变量空间内的轨迹规划
t=t0
循环,等待下一个控制间隔;
t=t+Δt
h(t)=t//t时刻关节所处位置
如果t=tf,则退出循环。
上述算法中在每个控制间隔必须更新h(t),对于连接初始位置和终止位置的每个关节变量,一个七次多项式就足够,或者用两段四次多项式和一段三次多项式组合,或者用两段三次多项式和一段五次多项式组合,或者用五段三次多项式。
如用两段四次多项式和一段三次多项式组合的轨迹设置四个点:初始点、提升点、下放点和终止点。第一段由初始点到提升点的轨迹用四次多项式表示;第二段由提升点到下放点的轨迹用三次多项式表示;第三段由下放点到终止点的轨迹用四次多项式表示。每段轨迹函数为:
Figure BDA0003548196090000171
笛卡尔空间的轨迹规划
实现笛卡尔路径规划:沿笛卡尔路径以笛卡尔坐标生成或选择一组结点或插值点;规定一种函数,按某些准则连接这些结点。
根据治疗方案中的治疗方式选择末端治疗器,若治疗方式为低温冷冻治疗机器人操作臂则通过快换装置与治疗器存放架的全自动液氮枪对接;若治疗方式为激光治疗机器人操作臂则通过快换装置与治疗器存放架的激光治疗器对接。若治疗方式为用医用手术刀切除治疗机器人操作臂则通过快换装置与治疗器存放架的仿人多指灵巧手对接,并通过仿人多指灵巧手操作医用手术刀。
机器人操作臂对快换装置的机器人端发送对接指令时,工具段的锥面缓缓进入机器人端的锥孔并与套管接触,随着接入过程弹簧被压缩,压力传感器测得数据,比较六个传感器的数据调整机器人末端姿态进行对中。当工具端触碰到行程开关,推拉电磁铁的推杆推出卡在工具端凸台对应的孔上,快换装置完成锁死并保持状态。
当使用全自动液氮枪为自动控制的液氮冷冻治疗装置,其输入为液氮流量。在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供低温冷冻治疗所需的液氮流量,计算机通过USB通信将流量信号传输到机器人操作臂系统,机器人操作臂系统再通过输入输出口将流量信号输入到全自动液氮枪,全自动液氮枪由输入的流量信号对液氮流量进行自动控制进行皮肤病的冷冻治疗。机器人搭载末端治疗器按照规划的治疗路径进行皮肤病的自动治疗。
当使用激光治疗器为皮肤病激光治疗装置,其输入为功率。在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供激光治疗所需的激光功率,计算机通过USB通信将功率信号传输到机器人操作臂系统,机器人操作臂系统再通过输入输出口将功率信号输入到激光治疗器,激光治疗器由输入的功率信号对进行皮肤病的激光消融治疗。激光治疗器工作时,激光治疗器上的吹风机构持续将烧蚀产生的烟及碎屑吹出治疗区域。机器人搭载末端治疗器按照规划的治疗路径进行皮肤病的自动治疗。
当使用仿人多指灵巧手操作医用手术刀进行皮肤病治疗时,机器人操作臂与仿人多指灵巧手对接,控制灵巧机器手操作医用手术刀根据治疗方案进行皮肤病切除或皮肤病表面病理采样。
机器人运动控制方式采用轨迹追踪控制,使末端治疗器沿着在基坐标系内给定的轨迹运动。将机器人追从的轨迹设为末端治疗器在固定在空间中的基坐标系中的位置矢量,对加速度进行PD反馈控制,以加速度分解法为控制方法在基坐标系内进行动态控制,以机器人操作臂末端治疗器追从基坐标系内给定的目标轨迹进行控制。加速度分解法的控制律为:
Figure BDA0003548196090000181
皮肤病医疗机器人按照治疗方案治疗结束后将末端治疗器放回治疗器存放架,机器人操作臂返回初始位置。

Claims (10)

1.一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于,所述系统包括硬件部分和软件部分;硬件部分包括机器人操作臂(1)、深度相机(2)、计算机(3)、快换装置(4)、激光治疗器(5)、医用手术刀(6)、仿人多指灵巧手(7)、全自动液氮枪(8);软件部分包括皮肤病诊断专家系统、皮肤病图像处理模块、治疗路径规划模块和控制系统软件模块;通过机器人操作臂末端关节上的深度相机(2)采集图像和深度信息并传输给计算机,计算机的软件系统中的皮肤病图像处理模块接收图像和深度信息并进行处理后输出至皮肤病诊断专家系统,由皮肤病诊断专家系统诊断皮肤病并给出治疗方案,机器人操作臂末端根据治疗方案中的治疗方式选择对应的激光治疗器、全自动液氮枪或仿人多指灵巧手通过快换装置连接;然后依据图像和深度信息对病变组织表面进行治疗路径规划,根据皮肤病诊断专家系统得到的治疗方式控制液氮枪流量、激光治疗器的功率或由仿人多指灵巧手操作医用手术刀,通过轨迹追踪控制进行运动控制实现皮肤病的自动诊断治疗;激光治疗器(5)、自动液氮枪(8)和/或仿人多指灵巧手(7)构成末端治疗器。
2.根据权利要求1所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于,在所述硬件部分中,
末端治疗器通过快换装置(4)与机器人操作臂(1)相连,快换装置(4)带有电气接口可为末端治疗器提供电源和信号传输,当末端治疗器为全自动液氮枪(5)时,全自动液氮枪(5)的一组电源线和控制流量的信号线与机器人操作臂(1)连接;当末端治疗器为激光治疗器(4)时,激光治疗器的一组电源线和信号线与机器人操作臂(1)连接;机器人操作臂(1)通过USB接口与计算机通信,深度相机(2)安装在机器人操作臂(1)末端并通过USB与计算机(3)通信;计算机(3)和机器人操作臂(1)分别接外部电源供电;
快换装置(4)分为两部分:机器人端和工具端;机器人端安装于机器人操作臂末端;工具端可安装末端治疗器,并带有对中柱体和三个带孔凸台用以和机器人端对中和锁死,所述对中柱体中部为锥面,末端为球面;机器人端的对中机构由多个均匀分布的套管(41)、弹簧(42)和压力传感器(43)组成,机器人操作臂(1)对快换装置(4)的机器人端发送对接指令时,工具端的锥面缓缓进入机器人端的锥孔并与套管(41)接触,随着接入过程弹簧(42)被压缩,压力传感器(43)测得数据,比较多个传感器的数据调整机器人末端姿态进行对中;当工具端触碰到行程开关(44),推拉电磁铁(45)的推杆推出卡在工具端凸台对应的孔上,同时机器人端电气接口(46)与工具端电气接口(47)接触使电路连通,快换装置完成锁死并保持状态;机器人操作臂(1)对快换装置(4)的机器人端发送脱开指令时,推拉电磁铁(45)的推杆拉回使其与工具端的凸台分离,机器人操作臂(1)操作快换装置(4)的机器人端分离实现脱开;
激光治疗器(5)作为皮肤病激光治疗装置,其输入为功率;深度相机(2)采集的图像和深度信息经皮肤病诊断专家系统诊断,提供激光治疗所需的激光功率,计算机通过USB通信将功率信号传输到机器人操作臂(1),机器人操作臂(1)再通过输入输出口将功率信号输入到激光治疗器(5),激光治疗器由输入的功率信号对激光进行光强控制来进行皮肤病的激光消融精准治疗;
医用手术刀(6)为带有刀柄,刀柄上带有适合仿人多指灵巧手抓握、方便仿人多指灵巧手操作的凹槽;
仿人多指灵巧手(7)有九个自由度,拇指三个自由度,其余三指每根手指两个自由度,可操作医用手术刀(6)进行皮肤病切除或皮肤病表面病理采样;仿人多指灵巧手用于操作医用手持液氮枪、激光治疗器、手术刀这些医疗器械进行皮肤病治疗;
全自动液氮枪(8)为自动控制的液氮冷冻治疗装置,其输入为液氮流量;在皮肤病医疗机器人中,深度相机(2)采集的图像和深度信息经皮肤病诊断专家系统诊断,提供低温冷冻治疗所需的液氮流量,计算机(3)通过USB通信将流量信号传输到机器人操作臂系统,机器人操作臂(1)再通过输入输出口将流量信号输入到全自动液氮枪(8),全自动液氮枪(8)由输入的流量信号对液氮流量进行自动控制进行皮肤病的冷冻治疗。
3.根据权利要求1所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于,在所述硬件部分中,还包括治疗器存放架(9),治疗器存放架(9)用来存放激光治疗器(5)、医用手术刀(6)、仿人多指灵巧手(7)和全自动液氮枪(8),其位置与机器人操作臂(1)的基座相对固定,器械存放位置带有凹槽限位,使器械在治疗器存放架(9)上保持固定的位置和姿态,在切换治疗方式时方便机器人操作臂(1)存取末端治疗器。
4.根据权利要求1、2或3所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于所述使用的深度相机(2)在符合使用需求条件下可选用不同型号,能够获取图像及深度信息;所述使用的激光治疗器(5)在符合激光输出功率和使用需求条件下可选用不同型号。
5.根据权利要求4所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于当使用的全自动液氮枪(8)为自动控制的液氮冷冻治疗装置,其输入为液氮流量;在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供低温冷冻治疗所需的液氮流量,计算机通过USB通信将流量信号传输到机器人操作臂系统,机器人操作臂系统再通过输入输出口将流量信号输入到全自动液氮枪,全自动液氮枪由输入的流量信号对液氮流量进行自动控制进行皮肤病的冷冻治疗;机器人搭载末端治疗器按照规划的治疗路径进行皮肤病的自动治疗。
6.根据权利要求5所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于,激光治疗器(5)为皮肤病激光治疗装置,其输入为功率;在皮肤病医疗机器人中,深度相机采集的图像和深度信息经皮肤病诊断专家系统诊断,提供激光治疗所需的激光功率,计算机通过USB通信将功率信号传输到机器人操作臂系统,机器人操作臂系统再通过输入输出口将功率信号输入到激光治疗器,激光治疗器由输入的功率信号对进行皮肤病的激光消融治疗;激光治疗器工作时,激光治疗器上的吹风机构持续将烧蚀产生的烟及碎屑吹出治疗区域。上述通信接口可选用RS-232等其他可用接口。
7.根据权利要求6所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于,深度相机采集的图像和深度信息传输到计算机软件系统中的皮肤病图像处理模块,通过滤波、增强和边缘提取找到皮肤病病区的轮廓,根据深度信息可得病区与机器人操作臂末端的相对坐标,进而计算得到病区在机器人工作空间中的位置,结合治疗方案在机器人关节空间和笛卡尔空间内分别进行机器人操作臂轨迹规划,在关节空间内计算求得关节角度序列和关节角的位置、速度和加速度变化,进而完成从初始位置到终止位置的治疗路径轨迹规划;机器人搭载末端治疗器通过轨迹追踪控制完成规划的治疗路径进行皮肤病的自动治疗。
8.根据权利要求1或7所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,其特征在于,所述皮肤病诊断专家系统接收从皮肤病图像中提取的特征和患者的部分病史信息,将这些信息形式化为事实,结合基于置信规则库的知识表示和ER推理算法进行皮肤病的诊断,给出诊断结果和治疗方案,并可根据用户的要求对诊断过程进行解释。
9.根据权利要求1所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,所述控制系统软件模块使用的控制方法包括但不限于加速度分解法。
10.根据权利要求1或9所述的一种自动诊断治疗智能型皮肤病医疗机器人系统,控制系统软件模块接收治疗轨迹规划模块的输出作为运动参考值,结合相机、位置传感器反馈的数据信息,选择合适的控制算法实现不同的控制功能;该控制系统软件模块的控制功能包括:机器人运动控制、快换装置切换末端操作器的控制以及末端操作器的控制;
机器人运动控制,以轨迹追踪控制算法实现机械臂的运动控制;快换装置末端操作器的控制,机器人从治疗器存放架取出需要使用的末端操作器并完成自动对接;末端操作器的控制,包括液氮枪使用过程中的的流量控制,激光治疗仪使用过程中的功率控制以及由仿人多指灵巧手使用手术刀的过程中的柔顺控制一系列具体末端操作器使用过程的控制;
机器人运动控制方式采用轨迹追踪控制,使末端治疗器沿着在基坐标系内给定的轨迹运动;将机器人追从的轨迹设为末端治疗器在固定在空间中的基坐标系中的位置矢量,对加速度进行PD反馈控制;以加速度分解法为控制方法在基坐标系内进行动态控制,以机器人操作臂末端治疗器追从基坐标系内给定的目标轨迹进行控制,实施皮肤病自动治疗。
CN202210254294.5A 2022-03-15 2022-03-15 一种自动诊断治疗智能型皮肤病医疗机器人系统 Active CN114631892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210254294.5A CN114631892B (zh) 2022-03-15 2022-03-15 一种自动诊断治疗智能型皮肤病医疗机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210254294.5A CN114631892B (zh) 2022-03-15 2022-03-15 一种自动诊断治疗智能型皮肤病医疗机器人系统

Publications (2)

Publication Number Publication Date
CN114631892A true CN114631892A (zh) 2022-06-17
CN114631892B CN114631892B (zh) 2023-05-30

Family

ID=81947472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210254294.5A Active CN114631892B (zh) 2022-03-15 2022-03-15 一种自动诊断治疗智能型皮肤病医疗机器人系统

Country Status (1)

Country Link
CN (1) CN114631892B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180085175A1 (en) * 2015-08-19 2018-03-29 Brainlab Ag Determining a configuration of a medical robotic arm

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
CN107976910A (zh) * 2017-12-21 2018-05-01 大连大华中天科技有限公司 一种仿人多指灵巧手的拇指参数优化方法
CN111420290A (zh) * 2019-01-10 2020-07-17 中国科学院沈阳自动化研究所 机器人化激光美容和治疗系统
CN112107363A (zh) * 2020-08-31 2020-12-22 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
CN114098944A (zh) * 2021-11-10 2022-03-01 哈尔滨工业大学 一种多传感器、驱动与控制功能集成化的全自动智能型皮肤冷冻治疗液氮枪及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1785608A (zh) * 2005-11-10 2006-06-14 上海大学 多指机械灵巧手闭环实时动作控制平台
CN107976910A (zh) * 2017-12-21 2018-05-01 大连大华中天科技有限公司 一种仿人多指灵巧手的拇指参数优化方法
CN111420290A (zh) * 2019-01-10 2020-07-17 中国科学院沈阳自动化研究所 机器人化激光美容和治疗系统
CN112107363A (zh) * 2020-08-31 2020-12-22 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
CN114098944A (zh) * 2021-11-10 2022-03-01 哈尔滨工业大学 一种多传感器、驱动与控制功能集成化的全自动智能型皮肤冷冻治疗液氮枪及其控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180085175A1 (en) * 2015-08-19 2018-03-29 Brainlab Ag Determining a configuration of a medical robotic arm

Also Published As

Publication number Publication date
CN114631892B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
JP7152513B2 (ja) 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム
JP2023126480A (ja) 訓練又は支援機能を有する手術システム
KR101975808B1 (ko) 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
CN113766997A (zh) 用于引导机械臂的方法、引导系统
CN111420290A (zh) 机器人化激光美容和治疗系统
Van Amsterdam et al. Gesture recognition in robotic surgery with multimodal attention
CN109002846B (zh) 一种图像识别方法、装置和存储介质
Yang et al. Motion prediction for beating heart surgery with GRU
CN114631892B (zh) 一种自动诊断治疗智能型皮肤病医疗机器人系统
CN112206006A (zh) 自主评估甲状腺结节良恶性的智能辅助识别设备及方法
Mendizabal et al. Force classification during robotic interventions through simulation-trained neural networks
Lu et al. A learning-driven framework with spatial optimization for surgical suture thread reconstruction and autonomous grasping under multiple topologies and environmental noises
CN113974589B (zh) 多模态行为范式评估优化系统及认知能力评价方法
CN116725487A (zh) 激光美容诊疗区域识别系统
US20230206561A1 (en) Method for generating a three-dimensional working surface of a human body, system
Becker et al. Real-time retinal vessel mapping and localization for intraocular surgery
Yamada et al. Task segmentation based on transition state clustering for surgical robot assistance
WO2023046630A1 (en) Surgical microscope system and corresponding system, method and computer program for a surgical microscope system
Chan et al. A combined deep learning and anatomical inch measurement approach to robotic acupuncture points positioning
Zhang et al. Visual Perception and Convolutional Neural Network-Based Robotic Autonomous Lung Ultrasound Scanning Localization System
Fathabadi et al. Fuzzy logic supervisor–A surgical skills assessment system using multi-class detection of laparoscopic box-trainer instruments
Omisore et al. On Task-specific Autonomy in Robotic Interventions: A Multimodal Learning-based Approach for Multi-level Skill Assessment during Cyborg Catheterization
Yuan et al. Brain teleoperation of a mobile robot using deep learning technique
Konduri et al. Full resolution convolutional neural network based organ and surgical instrument classification on laparoscopic image data
CN114327046B (zh) 一种多模态人机交互与状态智能预警的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant