CN115590584B - 一种基于机械臂的毛囊取发控制方法及系统 - Google Patents

一种基于机械臂的毛囊取发控制方法及系统 Download PDF

Info

Publication number
CN115590584B
CN115590584B CN202211084291.8A CN202211084291A CN115590584B CN 115590584 B CN115590584 B CN 115590584B CN 202211084291 A CN202211084291 A CN 202211084291A CN 115590584 B CN115590584 B CN 115590584B
Authority
CN
China
Prior art keywords
hair
hair follicle
image
mechanical arm
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211084291.8A
Other languages
English (en)
Other versions
CN115590584A (zh
Inventor
范衠
刘嘉诚
宁为博
郑振邦
夏文念
黄铿
林常敏
陈少克
吴嘉丽
朱家祺
周伟骏
谭业成
何树星
徐千睿
陈伟龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Shantou University Medical College
Original Assignee
Shantou University
Shantou University Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University, Shantou University Medical College filed Critical Shantou University
Priority to CN202211084291.8A priority Critical patent/CN115590584B/zh
Publication of CN115590584A publication Critical patent/CN115590584A/zh
Application granted granted Critical
Publication of CN115590584B publication Critical patent/CN115590584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B17/322Skin grafting apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Plastic & Reconstructive Surgery (AREA)
  • Transplantation (AREA)
  • Surgical Instruments (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于机械臂的毛囊取发控制方法及系统,其中所述方法包括:控制RGB相机采集第一图像,第一图像为包含有人体头部的毛囊密集区域的视野图像;根据第一图像,控制机械臂横向移动直至其所携带的植发笔的刀尖朝向毛囊密集区域;控制结构光相机采集第二图像,第二图像为毛囊密集区域的完整点云图像;将第二图像降维转换为二维俯视图,利用预先创建的毛囊识别模型对二维俯视图进行识别,得到若干个采集毛囊目标框;根据若干个采集毛囊目标框,确定植发笔的进刀参数;根据进刀参数,控制植发笔进行取发。本发明可以实现毛囊提取手术的自动化和智能化,提高手术效率和手术质量,同时有效地降低人力成本和时间成本。

Description

一种基于机械臂的毛囊取发控制方法及系统
技术领域
本发明涉及医疗信息处理技术领域,具体是涉及一种基于机械臂的毛囊取发控制方法及系统。
背景技术
传统的毛囊提取手术通常依赖于具有丰富临床经验的外科医生和助理医师来配合完成,手术过程需要高度集中精力且工作重复性高,手术所需的人力成本和时间成本高,也会存在因人工筛选毛囊位置不准确而导致手术质量不佳的问题。因此,有必要提出一种更为简单可靠且智能化的毛囊提取方法,也可确保毛囊提取手术的实施质量。
发明内容
本发明提供一种基于机械臂的毛囊取发控制方法及系统,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
本发明实施例提供一种基于机械臂的毛囊取发控制方法,所述方法包括:
步骤S100、控制RGB相机采集第一图像,所述第一图像为包含有人体头部的毛囊密集区域的视野图像;
步骤S200、根据所述第一图像,控制机械臂横向移动直至其所携带的植发笔的刀尖朝向所述毛囊密集区域;
步骤S300、控制结构光相机采集第二图像,所述第二图像为所述毛囊密集区域的完整点云图像;
步骤S400、将所述第二图像降维转换为二维俯视图,利用预先创建的毛囊识别模型对所述二维俯视图进行识别,得到若干个采集毛囊目标框;
步骤S500、根据所述若干个采集毛囊目标框,确定所述植发笔的进刀参数;
步骤S600、根据所述进刀参数,控制所述植发笔进行取发。
进一步地,所述RGB相机、所述结构光相机和所述植发笔集成在一个末端执行器,所述末端执行器固定设置在所述机械臂上。
进一步地,所述步骤S200包括:从所述第一图像中提取出所述毛囊密集区域的中心位置,控制所述机械臂横向移动直至所述植发笔的刀尖位于所述中心位置的上方。
进一步地,所述步骤S300包括:
步骤S310、控制所述结构光相机采集所述毛囊密集区域的点云图像;
步骤S320、判断所述点云图像是否出现边缘区域缺失;若是,则执行步骤S330;若否,则将所述点云图像作为所述第二图像输出;
步骤S330、按照既定步长控制所述机械臂往既定方向进行纵向移动,再返回执行步骤S310。
进一步地,在所述步骤S310之后,还包括:
获取所述点云图像中的点云数量,记为第一数量;
获取所述结构光相机在上一个位置采集的点云图像中的点云数量,记为第二数量;
判断所述第一数量是否小于所述第二数量;若是,则按照所述既定步长的两倍控制所述机械臂进行纵向移动,其移动方向为与所述既定方向相反的方向,再重新执行步骤S310;若否,则继续执行步骤S320。
进一步地,所述毛囊识别模型是以改进后的YOLOv5网络作为基准网络进行创建的,YOLOv5网络包括Backbone网络和Neck网络,对YOLOv5网络的改进方式是将Neck网络中的concat模块替换为DCSF模块,所述DCSF模块用于接收Backbone网络的输出结果进行融合处理;其中,所述DCSF模块包括自适应平均池化层、第一卷积层、最大值池化层和第二卷积层。
进一步地,所述步骤S500包括:
步骤S510、从每一个采集毛囊目标框中提取出采集毛囊位置信息,再对所述采集毛囊位置信息进行坐标转换,得到所述机械臂可识别到的进刀位置;
步骤S520、根据每一个采集毛囊目标框中的所有点数据进行平面拟合,再根据拟合得到的平面上的法向量确定所述机械臂可识别到的进刀角度。
进一步地,在所述步骤S100之前,还包括:
获取若干张毛发图像,每一张毛发图像表征人体头部不同区域的毛发供区;
利用预先创建的毛发密度检测模型对所述若干张毛发图像进行识别,得到毛发密度最大的一张毛发图像,并将该毛发图像所表征的毛发供区作为人体头部的毛囊密集区域。
另外,本发明实施例提供一种基于机械臂的毛囊取发控制系统,所述系统包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述任意一项所述的基于机械臂的毛囊取发控制方法。
本发明至少具有以下有益效果:通过设计一种至少集成有RGB相机、结构光相机和植发笔的末端执行器,利用机械臂携带末端执行器进行移动以使得植发笔可对人体头皮进行不同毛囊的提取,由此实现毛囊提取手术的自动化;且末端执行器的结构设计简单,安装拆卸较为方便。由于RGB相机的拍摄范围广以及结构光相机的拍摄精度高,利用RGB相机获取毛囊密集区域的大致位置并对机械臂进行移动引导,随后在结构光相机和毛囊识别模型的配合作用下从毛囊密集区域内获取到更为详细的采集毛囊位置,进而通过坐标转换方式获取到进刀位置以及通过平面拟合方式获取到进刀角度,使得植发笔可对采集毛囊进行准确进刀,由此实现毛囊提取手术的智能化,也可以提高手术效率和手术质量,同时有效地降低人力成本和时间成本。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明实施例中的末端执行器的部分结构组成示意图;
图2是本发明实施例中的一种基于机械臂的毛囊取发控制方法的流程示意图;
图3是本发明实施例中的取发操作平台的结构组成示意图;
图4是本发明实施例中的完整点云图像的示意图;
图5是本发明实施例中的点云图像存在成像缺陷时的示意图;
图6是本发明实施例中的改进后的YOLOv5网络的框架示意图;
图7是本发明实施例中的DCSF模块的组成示意图;
图8是本发明实施例中的二维俯视图的识别结果示意图;
图9是本发明实施例中的拟合平面的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在系统示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于系统中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
请参考图1,图1是本发明实施例提供的末端执行器的部分结构组成示意图,所述末端执行器(在图1中显示为去掉封装外壳)固定设置在机械臂200上,所述末端执行器的内部集成有RGB相机110、结构光相机120、植发笔130和测距传感器140;更为具体的,所述末端执行器设置有一外壳150,所述结构光相机120设置在所述外壳150的内部,所述RGB相机110、所述植发笔130和所述测距传感器140固定设置在所述外壳150的外表面上,且所述RGB相机110和所述测距传感器140分别设置在所述植发笔130的两侧。
在实际应用时,所述RGB相机110、所述结构光相机120、所述植发笔130和所述测距传感器140均受控于外部计算机,所述机械臂200的移动也受控于所述外部计算机。
基于图1所示出的末端执行器,图2是本发明实施例提供的一种基于机械臂的毛囊取发控制方法的流程示意图,所述方法包括如下:
步骤S100、控制RGB相机采集第一图像,所述第一图像为包含有人体头部的毛囊密集区域的视野图像;
步骤S200、根据所述第一图像,控制机械臂横向移动直至其所携带的植发笔的刀尖朝向所述毛囊密集区域;
步骤S300、控制结构光相机采集第二图像,所述第二图像为所述毛囊密集区域的完整点云图像;
步骤S400、将所述第二图像降维转换为二维俯视图,利用预先创建的毛囊识别模型对所述二维俯视图进行识别,得到若干个采集毛囊目标框;
步骤S500、根据所述若干个采集毛囊目标框,确定所述植发笔的进刀参数;
步骤S600、根据所述进刀参数,控制所述植发笔进行取发。
在本发明实施例中,执行所述步骤S100之前,还包括:首先利用常规毛发镜对人体头部不同区域的毛发供区进行拍摄,进而获取到若干张毛发图像;其次利用预先创建的毛发密度检测模型对所述若干张毛发图像进行识别,进而从所述若干张毛发图像中获取到毛发密度最大的一张毛发图像,并将该毛发图像所表征的毛发供区作为人体头部的毛囊密集区域。
其中,所述毛发密度检测模型是以ResNet-34网络模型为基准进行搭建的,并通过对常规毛发镜拍摄得到的标注出各个毛发数据的毛发图像进行训练;利用所述毛发密度检测模型对毛发图像中的所有毛发数据进行统计可以获取到对应的毛发密度,进而避免现有技术中需要依赖临床医生的诊断经验来对毛发数量进行判断,克服前期诊断耗时长、容易出现主观误差的问题。
此外,根据图3所示出的取发操作平台可知,所述取发操作平台实际上包括第一平台300和第二平台400,且在取发操作过程中,所述第一平台300和所述第二平台400之间的位置是相对固定的,所述机械臂200固定设置在所述第二平台400上;在获取到人体头部的毛囊密集区域之后,需要将人体头部固定于所述第一平台300上,再将头皮张紧器500佩戴于人体头部,使得所述头皮张紧器500可以覆盖所述毛囊密集区域。
在本发明实施例中,所述步骤S100的实施目的在于:所述RGB相机的工作半径相对于所述结构光相机的工作半径较大,可以在其视野范围内探测到所述毛囊密集区域(即所述头皮张紧器)的具体方位,从而使得所述机械臂可以更加准确地移动至接近所述毛囊密集区域。
在本发明实施例中,所述步骤S200的具体实施过程为:从所述第一图像中提取出所述毛囊密集区域的中心位置,控制所述机械臂横向移动直至所述植发笔的刀尖位于所述中心位置的上方,由此使得所述毛囊密集区域可以落在所述结构光相机的工作半径内。
在本发明实施例中,所述步骤S300的具体实施过程包括如下:
步骤S310、控制所述结构光相机采集所述毛囊密集区域的点云图像;
步骤S320、判断所述点云图像是否出现边缘区域缺失;若是,则说明所述点云图像存在成像缺陷,此时执行步骤S330;若否,则说明所述点云图像符合完整成像的要求,此时将所述点云图像作为所述第二图像输出;
步骤S330、按照既定步长控制所述机械臂往既定方向进行纵向移动,再返回执行步骤S310。
在本发明实施例中,由于受到所述机械臂的移动精度限制,所述既定步长优选地设置为0.2mm。
在本发明实施例中,为了避免所述机械臂往错误方向进行纵向移动,从而导致无法获取到最终的第二图像,在上述步骤S300的实施过程中可以额外加入方向识别机制,所述方向识别机制是在执行上述步骤S310之后才被触发的,其相应的实施原理包括如下步骤:
(1)获取所述点云图像中的点云数量,记为第一数量;
(2)获取所述结构光相机在上一个位置采集的点云图像(确定存在成像缺陷)中的点云数量,记为第二数量;
(3)判断所述第一数量是否小于所述第二数量;若是,则按照所述既定步长的两倍控制所述机械臂进行纵向移动,其移动方向为与所述既定方向相反的方向,再重新执行上述步骤S310;若否,则继续执行上述步骤S320。
在本发明实施例中,上述步骤S320的实施过程包括如下:
步骤S321、从所述点云图像中提取出点云轮廓线,获取所述点云轮廓线上包含的角数量;
步骤S322、判断所述角数量是否等于4;若是,则说明所述点云图像符合完整成像的要求,如图4所示;若否,则说明所述点云图像存在成像缺陷,如图5所示。
需要说明的是,当所述机械臂在进行横向移动和纵向移动的过程中,将控制所述测距传感器实时采集所述植发笔的刀尖与人体头皮之间的距离,再将所述距离与预设距离阈值进行判断,通过实时调整控制所述距离至少大于所述预设距离阈值,以此避免在所述机械臂的移动过程中所述植发笔的刀尖对人体头皮产生误伤。
在本发明实施例中,所述步骤S400提及到的所述毛囊识别模型是以改进后的YOLOv5网络作为基准网络进行创建的,现有YOLOv5网络包括Backbone网络、Neck网络和Head网络,如图6所示;在Backbone网络中,focus模块为切片结构,conv模块为卷积结构,CSP模块是由卷积层(conv)、归一化层(BN)和激活层(ReLU)组成的,SPP模块为空间金字塔池化结构;在Neck网络中,upsample模块为上采样结构,concat模块为级联结构;Head网络用于输出预测得到的目标检测框及其对应的类别。
由于所述二维俯视图中的毛囊和噪点过于相似,容易导致误检,本发明实施例提出对现有的YOLOv5网络进行改进,具体表现为:将Neck网络中的concat模块替换为技术人员自行设计的DCSF(Double Channel Space Fusion,双通道空间融合)模块,所述DCSF模块用于接收Backbone网络的输出结果进行融合处理,所述DCSF模块包括自适应平均池化层、第一卷积层、最大值池化层和第二卷积层,如图7所示。
以图6中的第一个DCSF模块为例,结合图7对其相应的实施过程进行描述如下:该DCSF模块在获取到与其连接的upsample模块所输出的图像数据Fn以及Backbone网络中的conv模块所输出的图像数据Fb之后,利用内部的自适应平均池化层分别对图像数据Fn和图像数据Fb进行快速下采样,得到对应的下采样结果Mn和下采样结果Mb;利用内部的第一卷积层对下采样结果Mn和下采样结果Mb进行逐元素相加与卷积,再利用内部的最大值池化层对卷积结果进行池化得到通道注意力图Mc;将通道注意力图Mc作为权值赋值给图像数据Fn以得到第一特征图Ms1,接着利用内部的第二卷积层对第一特征图Ms1和图像数据Fb分别进行一次卷积后再进行求和,再对求和结果进行二次卷积得到空间注意力图M;将空间注意力图M作为权值赋值给图像数据Fn以得到第二特征图Ms2,由此作为该DCSF模块的输出结果。
在本发明实施例中,所述步骤S400提及到的利用所述毛囊识别模型对所述二维俯视图进行识别,得到的识别结果如图8所示;其中,由灰色方框所框选出来的毛囊为保留毛囊,由黑色方框所框选出来的毛囊为采集毛囊,有且仅有采集毛囊达到采集密度要求。
在本发明实施例中,所述步骤S500的具体实施过程包括如下:
步骤S510、从每一个采集毛囊目标框中提取出采集毛囊位置信息,再对所述采集毛囊位置信息进行坐标转换,得到所述机械臂可识别到的进刀位置;
步骤S520、根据每一个采集毛囊目标框中的所有点数据进行平面拟合,再根据拟合得到的平面上的法向量确定所述机械臂可识别到的进刀角度。
在本发明实施例中,上述步骤S510的实施原理为:从每一个采集毛囊目标框中提取出中心位置信息并将其定义为采集毛囊位置信息,再将所述采集毛囊位置信息从所述二维俯视图所在的图像空间坐标系转换到所述机械臂所在的机械臂基坐标系进行表示,即首先构建所述图像空间坐标系与所述机械臂基坐标系之间的转换关系为:
其中,为所述图像空间坐标系与所述机械臂基坐标系之间的转换矩阵,为所述图像空间坐标系与所述结构光相机所在的相机坐标系之间的转换矩阵,在上述步骤S400提及到所述二维俯视图(表征于所述图像空间坐标系)是由所述第二图像(表征于所述相机坐标系)进行降维处理得到的,这一降维过程需要依赖于降维矩阵,转换矩阵是由该降维矩阵进行求逆得到的,/>为所述相机坐标系与所述机械臂基坐标系之间的转换矩阵,可以预先通过手眼标定方式进行求解得到;
最后根据上述转换矩阵对所述采集毛囊位置信息进行转换,得到所述机械臂可识别到的进刀位置,从而使得所述机械臂可以携带所述植发笔移动至所述进刀位置以对其关联的一个采集毛囊目标框进行准确取发操作。
在本发明实施例中,上述步骤S520的实施原理为:首先根据上述转换矩阵将每一个采集毛囊目标框中的所有点数据进行逐个的坐标转换,再采用最小二乘法对转换得到的所有点数据进行拟合,得到该采集毛囊目标框所关联的平面,如图9所示;由于所述平面的方程为z=αx+βy+γ,可以获取到所述平面上的法向量为(α,β,γ),即为所述机械臂可识别到的进刀角度,且在发生平面拟合之后可以得知这三个参数的具体取值,其中(x,y,z)为在所述机械臂基坐标系下表示的一个坐标点;需要说明的是,所述进刀角度的求解意义在于确保所述植发笔能够垂直进刀以最大程度地保全毛囊。
在本发明实施例中,所述步骤S600的实施过程为:首先,由所述机械臂锁定对其中一个采集毛囊目标框进行取发操作,控制所述机械臂按照该采集毛囊目标框所关联的进刀位置进行移动完毕之后,再按照该采集毛囊目标框所关联的进刀角度调整其所携带的所述植发笔的进刀姿态;接着,控制所述植发笔旋转其钻孔刀头进入人体头皮,在所述钻孔刀头达到预设深度之后停止进刀,再利用所述钻孔刀头内的夹片夹断毛囊;最后,控制所述植发笔反向旋转所述钻孔刀头离开人体头皮,即完成对该采集毛囊目标框的取发操作。
需要说明的是,所述植发笔在进刀过程中将实时检测所述钻孔刀头的压力值,在识别到所述压力值达到预先设定的压力安全阈值之后,将自动停止进刀并将所述钻孔刀头进行复位操作。
在本发明实施例中,通过设计一种至少集成有RGB相机、结构光相机和植发笔的末端执行器,利用机械臂携带末端执行器进行移动以使得植发笔可对人体头皮进行不同毛囊的提取,由此实现毛囊提取手术的自动化;且末端执行器的结构设计简单,安装拆卸较为方便。由于RGB相机的拍摄范围广以及结构光相机的拍摄精度高,利用RGB相机获取毛囊密集区域的大致位置并对机械臂进行移动引导,随后在结构光相机和毛囊识别模型的配合作用下从毛囊密集区域内获取到更为详细的采集毛囊位置,进而通过坐标转换方式获取到进刀位置以及通过平面拟合方式获取到进刀角度,使得植发笔可对采集毛囊进行准确进刀,由此实现毛囊提取手术的智能化,也可以提高手术效率和手术质量,同时有效地降低人力成本和时间成本。
另外,本发明实施例提供一种基于机械臂的毛囊取发控制系统,所述系统包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述方法实施例所述的基于机械臂的毛囊取发控制方法。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所实现的功能与上述方法实施例相同,并且所达到的有益效果与上述方法实施例相同。
所述处理器可以是中央处理单元(Central-Processing-Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor,DSP)、专用集成电路(Application-Specific-Integrated-Circuit,ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述基于机械臂的毛囊取发控制系统的控制中心,利用各种接口和线路连接整个基于机械臂的毛囊取发控制系统可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述基于机械臂的毛囊取发控制系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中:存储程序区用于存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区用于存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart-Media-Card,SMC),安全数字(Secure-Digital,SD)卡,闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件或者其他易失性固态存储器件。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求,考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本申请的预定范围。此外,上文以发明人可预见的实施例对本申请进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。

Claims (6)

1.一种基于机械臂的毛囊取发控制系统,其特征在于,所述系统包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现一种基于机械臂的毛囊取发控制方法,所述方法包括:
步骤S100、控制RGB相机采集第一图像,所述第一图像为包含有人体头部的毛囊密集区域的视野图像;
步骤S200、根据所述第一图像,控制机械臂横向移动直至其所携带的植发笔的刀尖朝向所述毛囊密集区域;
步骤S300、控制结构光相机采集第二图像,所述第二图像为所述毛囊密集区域的完整点云图像;
步骤S400、将所述第二图像降维转换为二维俯视图,利用预先创建的毛囊识别模型对所述二维俯视图进行识别,得到若干个采集毛囊目标框;
步骤S500、根据所述若干个采集毛囊目标框,确定所述植发笔的进刀参数;
步骤S600、根据所述进刀参数,控制所述植发笔进行取发;
其中,所述毛囊识别模型是以改进后的YOLOv5网络作为基准网络进行创建的,YOLOv5网络包括Backbone网络和Neck网络,对YOLOv5网络的改进方式是将Neck网络中的concat模块替换为DCSF模块,所述DCSF模块用于接收Backbone网络的输出结果进行融合处理;其中,所述DCSF模块包括自适应平均池化层、第一卷积层、最大值池化层和第二卷积层;
其中,所述步骤S500包括:
步骤S510、从每一个采集毛囊目标框中提取出采集毛囊位置信息,再对所述采集毛囊位置信息进行坐标转换,得到所述机械臂可识别到的进刀位置;
步骤S520、根据每一个采集毛囊目标框中的所有点数据进行平面拟合,再根据拟合得到的平面上的法向量确定所述机械臂可识别到的进刀角度。
2.根据权利要求1所述的基于机械臂的毛囊取发控制系统,其特征在于,所述RGB相机、所述结构光相机和所述植发笔集成在一个末端执行器,所述末端执行器固定设置在所述机械臂上。
3.根据权利要求1所述的基于机械臂的毛囊取发控制系统,其特征在于,所述步骤S200包括:从所述第一图像中提取出所述毛囊密集区域的中心位置,控制所述机械臂横向移动直至所述植发笔的刀尖位于所述中心位置的上方。
4.根据权利要求1所述的基于机械臂的毛囊取发控制系统,其特征在于,所述步骤S300包括:
步骤S310、控制所述结构光相机采集所述毛囊密集区域的点云图像;
步骤S320、判断所述点云图像是否出现边缘区域缺失;若是,则执行步骤S330;若否,则将所述点云图像作为所述第二图像输出;
步骤S330、按照既定步长控制所述机械臂往既定方向进行纵向移动,再返回执行步骤S310。
5.根据权利要求4所述的基于机械臂的毛囊取发控制系统,其特征在于,在所述步骤S310之后,还包括:
获取所述点云图像中的点云数量,记为第一数量;
获取所述结构光相机在上一个位置采集的点云图像中的点云数量,记为第二数量;
判断所述第一数量是否小于所述第二数量;若是,则按照所述既定步长的两倍控制所述机械臂进行纵向移动,其移动方向为与所述既定方向相反的方向,再重新执行步骤S310;若否,则继续执行步骤S320。
6.根据权利要求1所述的基于机械臂的毛囊取发控制系统,其特征在于,在所述步骤S100之前,还包括:
获取若干张毛发图像,每一张毛发图像表征人体头部不同区域的毛发供区;
利用预先创建的毛发密度检测模型对所述若干张毛发图像进行识别,得到毛发密度最大的一张毛发图像,并将该毛发图像所表征的毛发供区作为人体头部的毛囊密集区域。
CN202211084291.8A 2022-09-06 2022-09-06 一种基于机械臂的毛囊取发控制方法及系统 Active CN115590584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211084291.8A CN115590584B (zh) 2022-09-06 2022-09-06 一种基于机械臂的毛囊取发控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211084291.8A CN115590584B (zh) 2022-09-06 2022-09-06 一种基于机械臂的毛囊取发控制方法及系统

Publications (2)

Publication Number Publication Date
CN115590584A CN115590584A (zh) 2023-01-13
CN115590584B true CN115590584B (zh) 2023-11-14

Family

ID=84843622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211084291.8A Active CN115590584B (zh) 2022-09-06 2022-09-06 一种基于机械臂的毛囊取发控制方法及系统

Country Status (1)

Country Link
CN (1) CN115590584B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116196098B (zh) * 2023-02-22 2024-03-22 极限人工智能有限公司 一种植发规划方案生成方法、系统、介质及电子设备
CN116196106B (zh) * 2023-02-22 2024-03-26 极限人工智能有限公司 一种毛囊移植视觉辅助系统及毛囊移植机器人
CN117159157B (zh) * 2023-09-27 2024-02-06 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 一种用于不剃发植发的机械手及控制模块

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109452959A (zh) * 2018-11-27 2019-03-12 王鹏君 一种无痕分层提取的方法及装置
CN112037281A (zh) * 2020-08-18 2020-12-04 重庆大学 一种用于引导自动化毛囊采集机器的视觉系统
CN113627425A (zh) * 2021-07-16 2021-11-09 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及系统
CN114565900A (zh) * 2022-01-18 2022-05-31 广州软件应用技术研究院 基于改进YOLOv5和双目立体视觉的目标检测方法
CN114581413A (zh) * 2022-03-07 2022-06-03 南京新生医疗科技有限公司 一种应用于植发的图像处理工作方法及系统
CN114842185A (zh) * 2022-03-21 2022-08-02 昭通亮风台信息科技有限公司 用于火灾的目标识别方法、装置、设备及介质
CN114842238A (zh) * 2022-04-01 2022-08-02 苏州视尚医疗科技有限公司 一种嵌入式乳腺超声影像的识别方法
CN114882222A (zh) * 2022-05-27 2022-08-09 江苏大学 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN114972307A (zh) * 2022-06-20 2022-08-30 重庆智泊特机器人有限公司 基于深度学习的毛囊自动识别方法和系统及植发机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109452959A (zh) * 2018-11-27 2019-03-12 王鹏君 一种无痕分层提取的方法及装置
CN112037281A (zh) * 2020-08-18 2020-12-04 重庆大学 一种用于引导自动化毛囊采集机器的视觉系统
CN113627425A (zh) * 2021-07-16 2021-11-09 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及系统
CN114565900A (zh) * 2022-01-18 2022-05-31 广州软件应用技术研究院 基于改进YOLOv5和双目立体视觉的目标检测方法
CN114581413A (zh) * 2022-03-07 2022-06-03 南京新生医疗科技有限公司 一种应用于植发的图像处理工作方法及系统
CN114842185A (zh) * 2022-03-21 2022-08-02 昭通亮风台信息科技有限公司 用于火灾的目标识别方法、装置、设备及介质
CN114842238A (zh) * 2022-04-01 2022-08-02 苏州视尚医疗科技有限公司 一种嵌入式乳腺超声影像的识别方法
CN114882222A (zh) * 2022-05-27 2022-08-09 江苏大学 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN114972307A (zh) * 2022-06-20 2022-08-30 重庆智泊特机器人有限公司 基于深度学习的毛囊自动识别方法和系统及植发机器人

Also Published As

Publication number Publication date
CN115590584A (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN115590584B (zh) 一种基于机械臂的毛囊取发控制方法及系统
DE102015101710B4 (de) Verfahren zum Kalibrieren eines beweglichen Greiforgans unter Verwendung einer entfernten Digitalkamera
US10515259B2 (en) Method and system for determining 3D object poses and landmark points using surface patches
US11250580B2 (en) Method, system and computer readable storage media for registering intraoral measurements
CN113538522B (zh) 一种用于腹腔镜微创手术的器械视觉跟踪方法
CN113627425B (zh) 一种基于神经网络模型的毛囊识别和提取方法及系统
CN110288661A (zh) 手术灯的位置调整方法、装置、计算机设备和存储介质
CN111950391A (zh) 果树芽体的识别方法及装置
CN112767309A (zh) 超声扫查方法、超声设备及系统
CN115861999A (zh) 一种基于多模态视觉信息融合的机器人抓取检测方法
CN114505864A (zh) 一种手眼标定方法、装置、设备及存储介质
CN113284111A (zh) 一种基于双目立体视觉的毛囊区域定位方法及系统
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN116421277A (zh) 毛囊移植控制方法、装置、计算机设备和存储介质
CN116525133A (zh) 核酸的自动采集方法、系统、电子设备及介质
US20230141945A1 (en) Quantifying biotic damage on plants, by separating plant-images and subsequently operating a convolutional neural network
Xie et al. Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot
CN116630350B (zh) 假发佩戴监测管理方法及系统
JPH09196636A (ja) 物品形状獲得方法
US20230009292A1 (en) Improved method for labelling a training set involving a gui
CN115861322B (zh) 口腔区域定位方法、系统、可读存储介质及电子设备
Liu et al. A Novel Robot System for Hair Transplant Surgery Based on Self-Calibration and Structured Light Hair Follicle Detection
CN116690551A (zh) 基于视觉检测的咽拭子采样引导方法、装置和存储介质
CN114782537A (zh) 基于3d视觉的人体颈动脉定位方法及装置
CN115120345A (zh) 导航定位方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant