CN116196106A - 一种毛囊移植视觉辅助系统及毛囊移植机器人 - Google Patents

一种毛囊移植视觉辅助系统及毛囊移植机器人 Download PDF

Info

Publication number
CN116196106A
CN116196106A CN202310150568.0A CN202310150568A CN116196106A CN 116196106 A CN116196106 A CN 116196106A CN 202310150568 A CN202310150568 A CN 202310150568A CN 116196106 A CN116196106 A CN 116196106A
Authority
CN
China
Prior art keywords
hair follicle
hair
transplantation
planting
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310150568.0A
Other languages
English (en)
Other versions
CN116196106B (zh
Inventor
王迎智
柳常清
高倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jixian Artificial Intelligence Co Ltd
Original Assignee
Jixian Artificial Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jixian Artificial Intelligence Co Ltd filed Critical Jixian Artificial Intelligence Co Ltd
Priority to CN202310150568.0A priority Critical patent/CN116196106B/zh
Publication of CN116196106A publication Critical patent/CN116196106A/zh
Application granted granted Critical
Publication of CN116196106B publication Critical patent/CN116196106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/322—Skin grafting apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/448—Hair evaluation, e.g. for hair disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00747—Dermatology
    • A61B2017/00752—Hair removal or transplantation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Plastic & Reconstructive Surgery (AREA)
  • Transplantation (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Surgical Instruments (AREA)

Abstract

本发明涉及机器视觉辅助医疗技术领域，公开了一种毛囊移植视觉辅助系统及毛囊移植机器人，所述毛囊移植视觉辅助系统包括控制工作站，以及与所述控制工作站连接的手术显微镜系统；所述手术显微镜系统包括双目视觉显微相机和结构光3D相机，其中，所述双目视觉显微相机用于获取头部毛囊图像，所述结构光3D相机用于获取头部三维表面模型，以及对操作目标位置投射标记；所述控制工作站被配置为，获取毛囊移植规划方案，在执行取发、打孔或种植过程中，控制所述结构光3D相机操作目标位置投射标记。本发明通过设置手术显微镜系统，基于头部模型和毛囊图像的叠加图像，为取发区域毛囊的精确提取，以及植发区域的打孔和种植提供精确引导。

Description

一种毛囊移植视觉辅助系统及毛囊移植机器人
技术领域
本发明属于机器视觉辅助医疗技术领域，尤其涉及一种毛囊移植视觉辅助系统及毛囊移植机器人。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
毛囊移植手术又称毛发移植手术，是一种应用显微外科技术，取出后枕部健康的毛囊组织，经过特殊的分离毛囊组织后，移植到脱发部位，起到重新生发的一种方式。其难度在于要在显微镜下使用1mm直径的器械切割2000个以上的毛囊，长时间操作对医生而言，工作压力大，难免对提取出的毛囊成活率造成影响。
综上所述，毛发移植非常依赖于医生的经验和能力，并且，手术过程漫长且繁琐，对于医生而言工作量和耗费精力大，对于病人而言，即使主治医生的经验足够丰富，也不可避免的是个漫长且痛苦的过程。尽管目前已有毛囊移植机器人的相关记载，但是，无论是取发还是植发过程，无法保证在毛囊间距很小的前提下，毛囊提取机到达待提取毛囊以及种植笔到达需种植区域的准确性，仍需人工辅助实现。
发明内容
为克服上述现有技术的不足，本发明提供了一种毛囊移植视觉辅助系统及毛囊移植机器人，通过设置双目视觉显微相机和结构光3D相机，基于头部模型和毛囊图像的叠加图像，为取发区域毛囊的精确提取，以及植发区域的打孔和种植提供精确引导。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种毛囊移植视觉辅助系统，包括控制工作站，以及与所述控制工作站连接的手术显微镜系统；
所述手术显微镜系统包括双目视觉显微相机和结构光3D相机，其中，所述双目视觉显微相机用于获取头部毛囊图像，所述结构光3D相机用于获取头部三维表面模型，以及对操作目标位置投射标记；
所述控制工作站被配置为，获取毛囊移植规划方案，在执行取发、打孔或种植过程中，控制所述结构光3D相机操作目标位置投射标记，所述毛囊移植规划方案中包括待提取毛囊位置和待种植毛囊位置。
进一步地，所述系统还包括与所述控制工作站连接的第一机械臂，所述手术显微镜系统设于所述第一机械臂末端。
进一步地，所述系统还包括立体显示器。
进一步地，所述控制工作站被配置为执行：
获取患者的头部毛囊图像和头部三维表面模型，并进行叠加显示；
获取针对所述患者的毛囊移植规划方案，所述规划方案中包括取发区域和待提取毛囊位置；
根据所述待提取毛囊位置，控制结构光3D系统在患者头部投射毛囊标记，用于引导毛囊提取。
进一步地，所述控制工作站还被配置为执行：
获取针对所述患者的毛囊移植规划方案，所述规划方案中包括植发区域和预种植毛囊位置；
根据所述预种植毛囊位置，控制结构光3D相机在患者头部投射毛囊标记，用于引导打孔和毛囊种植。
进一步地，毛囊提取机上设有定位标记；所述控制工作站被配置为：毛囊提取过程中，实时接收所述双目视觉显微相机拍摄的包含待提取毛囊和毛囊提取机的图像，对待提取毛囊的角度进行计算，同时，基于毛囊提取机上的定位标记，实时计算种植笔与待提取毛囊角度的偏差，并将所述偏差投射至相应标记处。
进一步地，毛囊提取机/种植笔的末端针尖上设有深度判断标记；毛囊提取过程中或种植过程中，实时接收所述双目视觉显微相机拍摄的包含待提取毛囊和毛囊提取机/种植笔的图像，根据所述深度判断标记计算插入深度。
一个或多个实施例提供了一种毛囊移植机器人，包括所述的毛囊移植视觉辅助系统，所述毛囊移植机器人还包括：与控制工作站连接的第二机械臂，所述第二机械臂末端用于安装应用工具，所述应用工具为毛囊提取机、宝石刀或种植笔。
进一步地，所述应用工具上均设有定位标记，用于通过手术显微镜系统对所述应用工具进行定位。
进一步地，所述应用工具为毛囊提取机或种植笔时，其末端针尖上均设有深度判断标记，用于通过手术显微镜系统对所述应用工具的插入深度进行识别。
进一步地，所述毛囊移植机器人还包括辅助设备，所述辅助设备包括皮肤张紧器，所述皮肤张紧器上设有定位标记，用于通过手术显微镜系统对所述皮肤张紧器进行定位。
进一步地，所述控制工作站被配置为进行取发控制：
获取毛囊移植规划方案，所述毛囊移植规划方案包括取发区域和待提取毛囊位置；
获取头部表面，以及毛囊和头发的融合图像；
控制结构光3D相机在待提取毛囊位置处投射标记；
在取发操作过程中，实时获取包含标记和毛囊提取机的图像；
根据所述毛囊提取机上的定位标记，对所述毛囊提取机进行定位；
根据所述毛囊提取机和标记的位置，控制第二机械臂携带毛囊提取机运动到其中一个标记位置，以便执行毛囊提取操作。
进一步地，所述控制工作站还被配置为进行打孔控制：
获取毛囊移植规划方案，所述毛囊移植规划方案包括植发区域和预种植毛囊位置；
获取头部表面，控制结构光3D相机在预种植毛囊位置投射标记；
在打孔操作过程中，实时获取包含标记和宝石刀的图像；
根据所述宝石刀上的定位标记，对所述宝石刀进行定位；
根据所述宝石刀和标记的位置，控制第二机械臂携带宝石刀运动到其中一个标记位置，以便执行打孔操作。
进一步地，所述控制工作站还被配置为进行种植控制：
在种植操作过程中，实时获取包含标记和种植笔的图像；
根据所述种植笔上的定位标记，对所述种植笔进行定位；
根据所述种植笔和标记的位置，控制第二机械臂携带种植笔运动到其中一个标记位置，以便执行种植操作。
进一步地，在取发或种植操作过程中，还根据所述毛囊提取机或种植笔末端针尖上的深度判断标记，实时监控插入深度。
以上一个或多个技术方案存在以下有益效果：
通过设置手术显微镜系统，即双目视觉显微相机和结构光3D相机，实现了头部表面和毛囊、头发的图像融合，在识别毛囊位置的基础上，能够兼顾头部表面的形态，从而为取发区域毛囊的精确提取，以及植发区域的打孔和种植提供精确引导，为后续人工或机器人的精确操作提供依据。
并且，借助结构光3D相机投影机能够通过增强现实的方式投射指示性标记信息的功能，在医生手动或者机器人进行手术过程中实现了视觉引导。
同时，通过实时监测毛囊提取机与待提取毛囊角度之间的偏差，提高了引导的精细化程度。
在设置了手术显微镜系统的基础上，增设用于夹持和控制应用工具的操作机械臂，即第二机械臂，进一步为毛囊提取、打孔和种植实际操作提供准确定位，提高效率的同时，最大程度上避免了术中为患者带来不必要的伤害。
通过在应用工具上设置定位标记，使得手术机器人能够在术中实时定位应用工具，进一步保证了应用工具能够准确到达待操作位置。
本申请实现了毛囊提取、打孔和种植的一体化，能极大程度降低医生取毛囊手术的的强度、保证了毛囊存活率以及提高种植的均匀性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明一个或多个实施例中手术显微镜系统示意图；
图2为本发明一个或多个实施例中双目视觉显微相机中长焦摄像头周围照明光源分布示意图；
图3为本发明一个或多个实施例中机械臂及末端手术显微镜系统整体结构图；
图4为本发明一个或多个实施例中结构光3D相机和双目视觉系统视野分布示意图；
图5为本发明一个或多个实施例中的种植笔示意图；
图6为本发明一个或多个实施例中ArUco定位标记示意图；
图7为本发明实施例二中毛囊移植机器人的取发操作全景示意图；
图8为本发明实施例二中第二机械臂的机构图；
图9为本发明实施例二中前端微调机构的结构图；
图10为本发明实施例中控制工作站执行的毛囊提取控制流程图；
图11为本发明实施例中投射毛囊标记以及毛囊提取机和毛囊角度之间偏差的示意图；
图12为本发明实施例中控制工作站执行的打孔控制流程图；
图13为本发明实施例中控制工作站执行的毛囊种植控制流程图。
图中，1——第一机械臂，2——双目视觉显微相机，3——照明光源，4——结构光3D相机，4-1——投影机，4-2——广角摄像头，5——立体显示器，6——手术显微镜系统，7——种植笔，7-1——二维码标记，7-2——深度判断标记，7-3——种植笔手柄，7-4——末端按钮，8——第二机械臂，9——皮肤张紧器，10——前端微调机构，10-1——底座，10-2——伸缩臂，10-3——快换盘，10-4——滑块，10-5——连接件，10-6——滑动块，10-7——推杆，10-8——连杆组件。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
一种毛囊移植视觉辅助系统，包括控制工作站，以及与所述控制工作站连接的第一机械臂1，所述机械臂末端设有手术显微镜系统6。
所述第一机械臂1采用6自由度机械臂，具有拖拽示教功能和碰撞检测功能。如图1和图3所示，末端的手术显微镜系统6包括双目视觉显微相机2、结构光3D相机4以及立体显示器5。此外，所述双目视觉显微相机2、结构光3D相机4以及立体显示器5均连接至控制工作站。
所述双目视觉显微相机2包括两个长焦摄像头，每个长焦摄像头周围均设有照明光源3，用于对毛囊和头发进行立体成像。
本实施例中，每个长焦摄像头周围的照明光源3均包括多个LED，沿圆周均匀排列在长焦摄像头周围。并且，为了适应各种肤色，所述多个LED包括红绿蓝三色及不可见红外，从而可以调整色彩，同时避免强的可见光干扰医生操作，一种典型的布局如图2所示。
所述结构光3D相机4包括投影机4-1和广角摄像头4-2，既可以拍摄大范围单目图像，也可以拍摄3D结构光数据，用于对头部表面进行立体成像，所述立体成像方法可采用现有方法实现。并且，所述投影机4-1能够通过增强现实的方式投射指示性标记信息，用于标记待提取毛囊位置、打孔目标位置或植发目标位置。
本实施例中，所述双目视觉显微相机2和结构光3D相机4固定在同一底座上。通过对所述双目视觉显微相机2和结构光3D相机4标定至同一坐标系，即可实现头部三维表面和毛囊、头发三维图像的叠加显示。如图4所示，此外，结构光3D相机4的视野范围大于双目视觉显微相机2的视野范围，本实施例中，结构光3D相机4的视野范围为80mm×100mm，双目视觉显微相机2的视野范围为48mm×40mm且位于结构光3D相机4视野中心。双目视觉每像素不应大于0.02mm，考虑头发直径0.06-0.09mm，每个头发至少3到4个像素。在3D结构光系统下每像素不应大于0.04mm，单一头发的毛囊也至少对应1个像素。
基于上述毛囊移植视觉辅助系统，医生能够借助毛囊提取机、种植笔7、宝石刀等应用工具，和皮肤张紧器等辅助设备，实现取发和植发操作。
所述皮肤张紧器是种植手术上常用的拉紧皮肤的工具，为了便于定位，在所述皮肤张紧器上设有二维码标记，本实施例中，所述二维码标记为ArUco定位标记。
所述毛囊提取机、宝石刀或种植笔7上均设有二维码标记7-1，用于手术过程中根据图像信息识别所述二维码标记7-1，从而实现对所述应用工具的定位。具体地，在毛囊提取机、宝石刀或种植笔手柄7-3的前部通过激光刻蚀生成所述二维码标记7-1，本实施例中，所述二维码标记7-1为ArUco定位标记，如图6所示。通过设置二维码标记7-1，使得视觉辅助系统能够在术中实时定位应用工具，为医生的精准操作提供了保障。
此外，所述毛囊提取机和种植笔7，其末端针尖上均设有深度判断标记7-2，用于毛囊提取或种植过程中根据图像信息，对所述深度判断标记7-2裸露在头部以外的剩余长度信息进行识别，从而对插入深度进行准确控制。具体地，所述深度判断标记7-2为等间距的多条线状标记，在所述毛囊提取机或种植笔7末端针件上自尖端开始，每隔设定间隔沿针件周向，通过激光刻蚀生成一条线状标记。
基于此，本实施例提供了一种基于所述毛囊移植视觉辅助系统的毛囊移植引导方法，应用于控制工作站。借助结构光3D相机4投影机4-1能够通过增强现实的方式投射指示性标记信息的功能，对医生的取发和植发操作进行引导。具体地，所述方法包括取发阶段和植发阶段。
（一）取发阶段
步骤1：获取患者的头部毛囊图像和头部三维表面模型；以及获取针对所述患者的取发区域，以及规划方案，所述规划方案中包括取发计划和植发计划。所述取发计划包括待提取毛囊位置，所述植发计划包括待种植毛囊位置。
步骤2：根据取发区域，控制结构光3D相机4在患者头部投射皮肤张紧器粘贴标记，用于在安装皮肤张紧器时进行定位，所述粘贴标记为方形或圆形标记。
后续操作过程中，所述手术显微镜系统6能够根据皮肤张紧器上的定位标记，快速锁定取发区域，避免目标丢失。
步骤3：待安装皮肤张紧器后，获取所述患者的头部毛囊图像和头部三维表面模型，并进行叠加显示；
步骤4：根据所述待提取毛囊位置，控制结构光3D系统在患者头部投射毛囊标记，其中，所述毛囊标记优选为圆圈，投射时使毛囊位于圆圈标记中心，如图11所示，用于引导毛囊提取。
所述步骤4中，由于毛囊的角度可能与头部表面不是垂直的，为了实现引导的精细化，本实施例还实时接收所述手术显微镜系统6双目视觉显微相机2获取的包含待提取毛囊和毛囊提取机的图像，对待提取毛囊的角度进行计算，同时，基于毛囊提取机上的定位标记，实时计算毛囊提取机与待提取毛囊角度的偏差，并将所述偏差投射至相应标记处。本实施例中，所述偏差包括水平偏差和垂直偏差，如图11所示，黑色箭头表示当前毛囊提取机方向，医生可参考所述偏差值对毛囊提取机的角度进行调整，当两个偏差都近似于0时，说明取发器与毛囊共线，可以取毛囊。
投射毛囊标记后，进入取发阶段，提醒医生执行毛囊提取机的准备工作。毛囊提取完成之后，进入植发阶段，所述植发阶段包括打孔和种植两个过程。
（二）植发阶段
步骤5：获取针对所述患者的植发区域，以及预种植毛囊位置；
步骤6：根据所述预种植毛囊位置，控制结构光3D相机4在患者头部投射毛囊标记，其中，所述毛囊标记优选为圆圈，投射时使毛囊位于圆圈标记中心，用于引导打孔和毛囊种植。
投射毛囊标记后，进入植发阶段，提醒医生根据标记，依次对预种植毛囊位置进行打孔和毛囊种植。其中，打孔过程采用宝石刀实现，种植过程采用种植笔7实现。
取发阶段和植发阶段中，还实时接收所述双目视觉显微相机2拍摄的包含待提取毛囊和毛囊提取机/种植笔7的图像，对毛囊提取机或种植笔7末端针尖的深度判断标记7-2进行识别，并计算插入深度，实现插入深度的实时监控，避免术中对患者造成不必要的伤害。
实施例二
在实施例一提供的毛囊移植视觉辅助系统的基础上，本实施例增加用于提取毛囊、打孔和种植的操作机构，得到毛囊提取、打孔和种植的一体化的毛囊移植机器人。如图7所示，所述毛囊移植机器人包括控制工作站，以及与所述控制工作站连接的第一机械臂1和第二机械臂8，所述第一机械臂1末端设有手术显微镜系统6，所述第二机械臂8末端用于安装应用工具。所述应用工具包括毛囊提取机、种植笔7和宝石刀等。
所述第一机械臂1的设置与实施例一中相同，在此不做赘述。
如图8所示，所述第二机械臂8采用6自由度机械臂，所述第二机械臂8末端连接前端微调机构10，如图9所示，所述前端微调机构10用于安装应用工具，以及控制应用工具执行操作。本实施例中，所述前端微调机构10包括底座10-1、安装在底座上的相互平行的多个伸缩臂10-2、以及与所述多个机械臂连接、且能够沿与伸缩臂伸缩平行和垂直方向运动的快换盘10-3，所述快换盘10-3用于安装应用工具。
所述多个伸缩臂10-2相互平行，且伸缩臂10-2的伸缩方向垂直于底座10-1；所述伸缩臂10-2包括一节固定臂和套设于所述固定臂外部的至少一节运动臂，所述固定臂用于固定在底座10-1上。
在所述多个伸缩臂10-2相背的一侧，最后一节运动臂上均设有滑轨，每个所述滑轨上均套设可沿滑轨在伸缩臂10-2伸缩方向上运动的滑块，每个所述滑块外表面均通过连杆组件10-8与快换盘10-3连接，从而使得滑块10-4在伸缩臂10-2上运动时能够带动快换盘10-3运动。具体地，每个所述滑块10-4外表面均设有连接件10-5，所述连接件10-5上设有通孔，所述快换盘10-3外边缘相应位置也设有通孔，通孔方向均与伸缩臂10-2方向垂直；所述连杆组件10-8包括依次活动连接的四个连杆，相对的两个连杆分别穿过滑块10-4和快换盘10-3上相对应的通孔中。
上述多个伸缩臂10-2上设置的滑块10-4分别与一个步进电机连接，每个步进电机均连接至控制工作站。通过对各个滑块10-4的滑动距离进行协同控制，可以实现快换盘10-3垂直和水平运动。当所述控制工作站控制伸缩臂10-2上的滑块10-4同步运动时，所述连杆组件10-8带动快换盘10-3沿伸缩臂方向直线运动，通过协同控制滑块10-4的运动距离，还可以实现快换盘10-3在水平方向上的位置微调，使得应用工具能够更精确的到达待操作位置，以弥补操作臂运动控制过程中累计误差造成的位置偏移。
所述推动组件设于所述多个伸缩臂10-2之间，包括滑动块10-6和推杆10-7。所述滑动块10-6能够沿所述多个伸缩臂10-2的最后一节运动臂进行直线运动，具体地，可通过在伸缩臂最后一节运动臂上设置滑轨，滑动块相应位置设置滑块的形式，在此不做限定，只要能够实现滑动块10-6可以沿伸缩臂最后一节运动臂运动即可。所述推杆10-7可拆卸地连接在滑动块10-6上，与伸缩臂10-2平行。所述推杆用于按压种植笔7的末端按钮7-4，本领域技术人员可以理解，当采用种植笔7的时候安装所述推杆10-7，当采用其他应用工具时无需安装。
上述多个伸缩臂10-2之间设置的滑动块10-6与步进电机连接，每个步进电机均连接至控制工作站。本实施例中，所述多个伸缩臂10-2具体为三个。
所述快换盘10-3中心设有通孔和夹持组件，所述通孔方向与伸缩臂10-2伸缩方向一致，所述夹持组件用于将应用工具安装在通孔内，作为一个示例，图中安装的应用工具为种植笔7。所述夹持组件的具体结构在此不做限定，只要能够实现应用工具的稳定夹持即可。
通过在操作臂安装了前端微调机构10以携带应用工具，设置互相平行的多个伸缩臂，以及与所述多个机械臂连接的快换盘，使得应用工具能够在与伸缩臂平行和垂直的方向上进行位置微调，使得应用工具能够更精确的到达待操作位置。
如图5所示，所述应用工具上均设有二维码标记7-1，用于手术过程中根据图像信息识别所述二维码标记7-1，从而实现对所述应用工具的定位。具体地，在毛囊提取机、宝石刀或种植笔手柄7-3的前部通过激光刻蚀生成所述二维码标记，本实施例中，所述二维码标记为ArUco定位标记，如图6所示。通过设置二维码标记7-1，使得手术机器人能够在术中实时定位应用工具，进一步保证了应用工具能够准确到达待操作位置。
所述毛囊提取机和种植笔7，其末端针件上均设有深度判断标记7-2，用于毛囊提取或种植过程中根据图像信息，对所述深度判断标记7-2裸露在头部以外的剩余长度信息进行识别，从而对插入深度进行准确控制。具体地，所述深度判断标记7-2为等间距的多条线状标记，在所述毛囊提取机或种植笔7末端针件上自尖端开始，每隔设定间隔沿针件周向，通过激光刻蚀生成一条线状标记。
此外，所述毛囊移植机器人还具有辅助设备，主要包括无菌套和皮肤张紧器9。其中，所述无菌套是有弹性的塑料套，能够保持密闭的传递推杆压力和旋转动力。所述皮肤张紧器9是种植手术上常用的拉紧皮肤的工具，为了便于机器人对其进行定位，在所述皮肤张紧器9上设有二维码标记，本实施例中，所述二维码标记为ArUco定位标记。
所述控制工作站被配置为执行毛囊提取控制方法、打孔控制方法以及毛囊种植控制方法。
如图10所示，所述毛囊提取控制方法以下步骤：
步骤1：获取规划方案，所述规划方案包括取发计划和植发计划；所述取发计划包括头部轮廓、取发区域、待提取毛囊数量、预期保留毛囊密度等参数；所述植发计划包括头部轮廓、植发区域和植发密度；
步骤2：获取头部表面，以及毛囊和头发的融合图像，根据头部轮廓将取发计划匹配至所述融合图像，根据取发区域，控制结构光3D相机4投射皮肤张紧器粘贴标记，用于在安装皮肤张紧器时进行定位，所述粘贴标记为方形或圆形标记。
步骤3：待安装皮肤张紧器后，获取头部表面，以及毛囊和头发的融合图像，根据所述皮肤张紧器上的二维码标记，定位头部模型张紧器内区域的图像数据，基于双目视觉显微相机2获取的毛囊图像识别毛囊位置、角度和毛囊中毛发数；其中，毛囊位置、角度和毛发数等参数可以基于现有目标识别算法实现，在此不做限定。
步骤4：根据取发计划中待提取毛囊数量、预期保留毛囊密度、毛囊内头发数等参数，确定需要提取毛囊的位置；
步骤5：控制结构光3D系统投射毛囊标记，其中，所述毛囊标记优选为圆圈，投射时使毛囊位于圆圈标记中心，如图12所示。
投射毛囊标记后，进入取发阶段，提醒医生执行毛囊提取机的准备工作，所述准备工作包括将毛囊提取机、无菌隔离套等设备安装在第二机械臂上；
步骤6：在取发操作过程中，实时获取双目视觉显微相机2拍摄的图像，根据第二机械臂末端毛囊提取机上的定位标记确定所述毛囊提取机的位置；
步骤7：基于所述毛囊提取机的位置，以及待提取毛囊的标记位置，对第二机械臂的运动路径进行规划，控制所述第二机械臂运动到其中一个待提取毛囊上；
步骤8：基于双目视觉系统拍摄的待提取毛囊图像，对所述待提取毛囊位置和角度进行识别，控制所述第二机械臂的微调机构对准，从而实现该毛囊的提取。
具体地，本实施例实时接收所述手术显微镜系统6双目视觉显微相机2获取的包含待提取毛囊和毛囊提取机的图像，对待提取毛囊的角度进行计算，同时，基于毛囊提取机上的定位标记，实时计算毛囊提取机与待提取毛囊角度的偏差，并将所述偏差投射至相应标记处，如图11所示。本实施例中，所述偏差包括水平角度偏差和垂直角度偏差，基于所述偏差，控制所述第二机械臂的微调机构对准。
毛囊提取完成之后，进入植发阶段，所述植发阶段包括打孔和种植两个过程。
如图12所示，所述打孔控制方法包括以下步骤：
步骤9：获取头部表面图像，根据头部轮廓将植发计划匹配至所述头部表面图像；根据植发区域和植发密度，确定预种植毛囊位置；
步骤10：基于所述预种植毛囊位置，控制结构光3D相机4投射毛囊标记，供医生确认。
待医生确认后，提醒其进入打孔过程或种植过程。进入打孔过程前，医生需将宝石刀、无菌隔离罩等设备安装在第二机械臂上。
步骤11：在打孔操作过程中，实时获取摄像头拍摄的图像，根据第二机械臂末端宝石刀上的定位标记确定所述宝石刀的位置；
步骤12：基于所述宝石刀的位置，以及待植入毛囊的标记位置，对第二机械臂的运动路径进行规划，控制所述第二机械臂运动到其中一个标记位置上，执行打孔操作。
进入种植过程前，需将无菌隔离套和种植笔7安装在第二机械臂上。
如图13所示，所述毛囊种植控制方法包括以下步骤：
步骤13：在植发操作过程中，实时获取摄像头拍摄的图像，根据第二机械臂末端种植笔7的定位标记确定所述种植笔7的位置；
步骤14：基于所述种植笔7的位置，以及待植入毛囊的标记位置，对第二机械臂的运动路径进行规划，控制所述第二机械臂运动到其中一个标记位置上，执行种植操作，将毛囊种植在宝石刀打好的孔内。
在以上取发、打孔和种植操作过程中，还根据所述毛囊提取机、宝石刀或种植笔7末端针尖上的深度判断标记7-2，实时监控插入深度，避免术中对患者造成不必要的伤害。
以上一个或多个实施例实现了毛囊提取、打孔和种植的一体化，能极大程度降低医生取毛囊手术的的强度、保证了毛囊存活率以及提高种植的均匀性。通过设置双目视觉显微相机2和结构光3D相机4，实现了头部表面和毛囊、头发的图像融合，为取发区域毛囊的精确提取，以及植发区域的打孔和种植提供依据。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (15)

1.一种毛囊移植视觉辅助系统，其特征在于，包括控制工作站，以及与所述控制工作站连接的手术显微镜系统；
所述手术显微镜系统包括双目视觉显微相机和结构光3D相机，其中，所述双目视觉显微相机用于获取头部毛囊图像，所述结构光3D相机用于获取头部三维表面模型，以及对操作目标位置投射标记；
所述控制工作站被配置为，获取毛囊移植规划方案，在执行取发、打孔或种植过程中，控制所述结构光3D相机操作目标位置投射标记，所述毛囊移植规划方案中包括待提取毛囊位置和待种植毛囊位置。
2.如权利要求1所述的毛囊移植视觉辅助系统，其特征在于，所述系统还包括与所述控制工作站连接的第一机械臂，所述手术显微镜系统设于所述第一机械臂末端。
3.如权利要求1所述的毛囊移植视觉辅助系统，其特征在于，所述系统还包括立体显示器。
4.如权利要求1所述的毛囊移植视觉辅助系统，其特征在于，所述控制工作站被配置为执行：
获取患者的头部毛囊图像和头部三维表面模型，并进行叠加显示；
获取针对所述患者的毛囊移植规划方案，所述规划方案中包括取发区域和待提取毛囊位置；
根据所述待提取毛囊位置，控制结构光3D系统在患者头部投射毛囊标记，用于引导毛囊提取。
5.如权利要求4所述的毛囊移植视觉辅助系统，其特征在于，所述控制工作站还被配置为执行：
获取针对所述患者的毛囊移植规划方案，所述规划方案中包括植发区域和预种植毛囊位置；
根据所述预种植毛囊位置，控制结构光3D相机在患者头部投射毛囊标记，用于引导打孔和毛囊种植。
6.如权利要求4所述的毛囊移植视觉辅助系统，其特征在于，毛囊提取机上设有定位标记；所述控制工作站被配置为：毛囊提取过程中，实时接收所述双目视觉显微相机拍摄的包含待提取毛囊和毛囊提取机的图像，对待提取毛囊的角度进行计算，同时，基于毛囊提取机上的定位标记，实时计算种植笔与待提取毛囊角度的偏差，并将所述偏差投射至相应标记处。
7.如权利要求4所述的毛囊移植视觉辅助系统，其特征在于，毛囊提取机/种植笔的末端针尖上设有深度判断标记；毛囊提取过程中或种植过程中，实时接收所述双目视觉显微相机拍摄的包含待提取毛囊和毛囊提取机/种植笔的图像，根据所述深度判断标记计算插入深度。
8.一种毛囊移植机器人，其特性在于，包括如权利要求1-7任一项所述的毛囊移植视觉辅助系统，所述毛囊移植机器人还包括：与控制工作站连接的第二机械臂，所述第二机械臂末端用于安装应用工具，所述应用工具为毛囊提取机、宝石刀或种植笔。
9.如权利要求8所述的一种毛囊移植机器人，其特征在于，所述应用工具上均设有定位标记，用于通过手术显微镜系统对所述应用工具进行定位。
10.如权利要求8所述的一种毛囊移植机器人，其特征在于，所述应用工具为毛囊提取机或种植笔时，其末端针尖上均设有深度判断标记，用于通过手术显微镜系统对所述应用工具的插入深度进行识别。
11.如权利要求8所述的一种毛囊移植机器人，其特征在于，所述毛囊移植机器人还包括辅助设备，所述辅助设备包括皮肤张紧器，所述皮肤张紧器上设有定位标记，用于通过手术显微镜系统对所述皮肤张紧器进行定位。
12.如权利要求9任一项所述的一种毛囊移植机器人，其特征在于，所述控制工作站被配置为进行取发控制：
获取毛囊移植规划方案，所述毛囊移植规划方案包括取发区域和待提取毛囊位置；
获取头部表面，以及毛囊和头发的融合图像；
控制结构光3D相机在待提取毛囊位置处投射标记；
在取发操作过程中，实时获取包含标记和毛囊提取机的图像；
根据所述毛囊提取机上的定位标记，对所述毛囊提取机进行定位；
根据所述毛囊提取机和标记的位置，控制第二机械臂携带毛囊提取机运动到其中一个标记位置，以便执行毛囊提取操作。
13.如权利要求12所述的一种毛囊移植机器人，其特征在于，所述控制工作站还被配置为进行打孔控制：
获取毛囊移植规划方案，所述毛囊移植规划方案包括植发区域和预种植毛囊位置；
获取头部表面，控制结构光3D相机在预种植毛囊位置投射标记；
在打孔操作过程中，实时获取包含标记和宝石刀的图像；
根据所述宝石刀上的定位标记，对所述宝石刀进行定位；
根据所述宝石刀和标记的位置，控制第二机械臂携带宝石刀运动到其中一个标记位置，以便执行打孔操作。
14.如权利要求13所述的一种毛囊移植机器人，其特征在于，所述控制工作站还被配置为进行种植控制：
在种植操作过程中，实时获取包含标记和种植笔的图像；
根据所述种植笔上的定位标记，对所述种植笔进行定位；
根据所述种植笔和标记的位置，控制第二机械臂携带种植笔运动到其中一个标记位置，以便执行种植操作。
15.如权利要求10任一项所述的一种毛囊移植机器人，其特征在于，在取发或种植操作过程中，还根据所述毛囊提取机或种植笔末端针尖上的深度判断标记，实时监控插入深度。
CN202310150568.0A 2023-02-22 2023-02-22 一种毛囊移植视觉辅助系统及毛囊移植机器人 Active CN116196106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310150568.0A CN116196106B (zh) 2023-02-22 2023-02-22 一种毛囊移植视觉辅助系统及毛囊移植机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310150568.0A CN116196106B (zh) 2023-02-22 2023-02-22 一种毛囊移植视觉辅助系统及毛囊移植机器人

Publications (2)

Publication Number Publication Date
CN116196106A true CN116196106A (zh) 2023-06-02
CN116196106B CN116196106B (zh) 2024-03-26

Family

ID=86518731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310150568.0A Active CN116196106B (zh) 2023-02-22 2023-02-22 一种毛囊移植视觉辅助系统及毛囊移植机器人

Country Status (1)

Country Link
CN (1) CN116196106B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117582290A (zh) * 2024-01-17 2024-02-23 大麦毛发医疗(深圳)集团股份有限公司 一种新型毛囊微针种植控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3977335A (en) * 1974-09-25 1976-08-31 Bonham Albert W Automated hair implantation system
CN110720986A (zh) * 2019-11-21 2020-01-24 复旦大学附属眼耳鼻喉科医院 一种多模态显微外科手术导航系统
CN112957041A (zh) * 2021-03-08 2021-06-15 北京伟浩君智能技术有限公司 基于血管图像的采血机器人控制方法及装置
CN113284111A (zh) * 2021-05-26 2021-08-20 汕头大学 一种基于双目立体视觉的毛囊区域定位方法及系统
CN115049528A (zh) * 2022-06-30 2022-09-13 深圳微美机器人有限公司 毛发图像处理方法、系统、计算机设备、介质和程序产品
CN115590584A (zh) * 2022-09-06 2023-01-13 汕头大学（Cn） 一种基于机械臂的毛囊取发控制方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3977335A (en) * 1974-09-25 1976-08-31 Bonham Albert W Automated hair implantation system
CN110720986A (zh) * 2019-11-21 2020-01-24 复旦大学附属眼耳鼻喉科医院 一种多模态显微外科手术导航系统
CN112957041A (zh) * 2021-03-08 2021-06-15 北京伟浩君智能技术有限公司 基于血管图像的采血机器人控制方法及装置
CN113284111A (zh) * 2021-05-26 2021-08-20 汕头大学 一种基于双目立体视觉的毛囊区域定位方法及系统
CN115049528A (zh) * 2022-06-30 2022-09-13 深圳微美机器人有限公司 毛发图像处理方法、系统、计算机设备、介质和程序产品
CN115590584A (zh) * 2022-09-06 2023-01-13 汕头大学（Cn） 一种基于机械臂的毛囊取发控制方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117582290A (zh) * 2024-01-17 2024-02-23 大麦毛发医疗(深圳)集团股份有限公司 一种新型毛囊微针种植控制系统
CN117582290B (zh) * 2024-01-17 2024-04-02 大麦毛发医疗(深圳)集团股份有限公司 一种新型毛囊微针种植控制系统

Also Published As

Publication number Publication date
CN116196106B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
KR101155258B1 (ko) 모낭 유닛들을 채취 및 이식하기 위한 장치 및 방법들
US10327850B2 (en) Automated system and method for harvesting or implanting follicular units
US20070106307A1 (en) Methods for implanting follicular units using an automated system
US20070078466A1 (en) Methods for harvesting follicular units using an automated system
CN116196106B (zh) 一种毛囊移植视觉辅助系统及毛囊移植机器人
US10028802B2 (en) Locator device for medical procedures on the body surface and method of its use
AU2011250755B2 (en) Automated systems and methods for harvesting and implanting follicular units
CN109620366A (zh) 一种自动导航穿刺系统及控制方法
CN214966572U (zh) 一种用于毛细血管扩张性疾病的激光治疗系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant