CN115590584A - 一种基于机械臂的毛囊取发控制方法及系统 - Google Patents
一种基于机械臂的毛囊取发控制方法及系统 Download PDFInfo
- Publication number
- CN115590584A CN115590584A CN202211084291.8A CN202211084291A CN115590584A CN 115590584 A CN115590584 A CN 115590584A CN 202211084291 A CN202211084291 A CN 202211084291A CN 115590584 A CN115590584 A CN 115590584A
- Authority
- CN
- China
- Prior art keywords
- hair
- hair follicle
- image
- mechanical arm
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003780 hair follicle Anatomy 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000004209 hair Anatomy 0.000 claims abstract description 67
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 239000012636 effector Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000003803 hair density Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003306 harvesting Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- XTWQOSYEUVHDIT-CQRHUGCQSA-M sodium 3alpha,7alpha-dihydroxy-5beta-cholane-24-sulfonate Chemical compound [Na+].C([C@H]1C[C@H]2O)[C@H](O)CC[C@]1(C)[C@@H]1[C@@H]2[C@@H]2CC[C@H]([C@@H](CCCS([O-])(=O)=O)C)[C@@]2(C)CC1 XTWQOSYEUVHDIT-CQRHUGCQSA-M 0.000 claims 3
- 238000000605 extraction Methods 0.000 abstract description 8
- 206010063385 Intellectualisation Diseases 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 10
- 210000004761 scalp Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005553 drilling Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000002054 transplantation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003325 follicular Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003648 hair appearance Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/32—Surgical cutting instruments
- A61B17/322—Skin grafting apparatus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Plastic & Reconstructive Surgery (AREA)
- Transplantation (AREA)
- Manipulator (AREA)
- Surgical Instruments (AREA)
Abstract
本发明公开了一种基于机械臂的毛囊取发控制方法及系统，其中所述方法包括：控制RGB相机采集第一图像，第一图像为包含有人体头部的毛囊密集区域的视野图像；根据第一图像，控制机械臂横向移动直至其所携带的植发笔的刀尖朝向毛囊密集区域；控制结构光相机采集第二图像，第二图像为毛囊密集区域的完整点云图像；将第二图像降维转换为二维俯视图，利用预先创建的毛囊识别模型对二维俯视图进行识别，得到若干个采集毛囊目标框；根据若干个采集毛囊目标框，确定植发笔的进刀参数；根据进刀参数，控制植发笔进行取发。本发明可以实现毛囊提取手术的自动化和智能化，提高手术效率和手术质量，同时有效地降低人力成本和时间成本。
Description
技术领域
本发明涉及医疗信息处理技术领域，具体是涉及一种基于机械臂的毛囊取发控制方法及系统。
背景技术
传统的毛囊提取手术通常依赖于具有丰富临床经验的外科医生和助理医师来配合完成，手术过程需要高度集中精力且工作重复性高，手术所需的人力成本和时间成本高，也会存在因人工筛选毛囊位置不准确而导致手术质量不佳的问题。因此，有必要提出一种更为简单可靠且智能化的毛囊提取方法，也可确保毛囊提取手术的实施质量。
发明内容
本发明提供一种基于机械臂的毛囊取发控制方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明实施例提供一种基于机械臂的毛囊取发控制方法，所述方法包括：
步骤S100、控制RGB相机采集第一图像，所述第一图像为包含有人体头部的毛囊密集区域的视野图像；
步骤S200、根据所述第一图像，控制机械臂横向移动直至其所携带的植发笔的刀尖朝向所述毛囊密集区域；
步骤S300、控制结构光相机采集第二图像，所述第二图像为所述毛囊密集区域的完整点云图像；
步骤S400、将所述第二图像降维转换为二维俯视图，利用预先创建的毛囊识别模型对所述二维俯视图进行识别，得到若干个采集毛囊目标框；
步骤S500、根据所述若干个采集毛囊目标框，确定所述植发笔的进刀参数；
步骤S600、根据所述进刀参数，控制所述植发笔进行取发。
进一步地，所述RGB相机、所述结构光相机和所述植发笔集成在一个末端执行器，所述末端执行器固定设置在所述机械臂上。
进一步地，所述步骤S200包括：从所述第一图像中提取出所述毛囊密集区域的中心位置，控制所述机械臂横向移动直至所述植发笔的刀尖位于所述中心位置的上方。
进一步地，所述步骤S300包括：
步骤S310、控制所述结构光相机采集所述毛囊密集区域的点云图像；
步骤S320、判断所述点云图像是否出现边缘区域缺失；若是，则执行步骤S330；若否，则将所述点云图像作为所述第二图像输出；
步骤S330、按照既定步长控制所述机械臂往既定方向进行纵向移动，再返回执行步骤S310。
进一步地，在所述步骤S310之后，还包括：
获取所述点云图像中的点云数量，记为第一数量；
获取所述结构光相机在上一个位置采集的点云图像中的点云数量，记为第二数量；
判断所述第一数量是否小于所述第二数量；若是，则按照所述既定步长的两倍控制所述机械臂进行纵向移动，其移动方向为与所述既定方向相反的方向，再重新执行步骤S310；若否，则继续执行步骤S320。
进一步地，所述毛囊识别模型是以改进后的YOLOv5网络作为基准网络进行创建的，YOLOv5网络包括Backbone网络和Neck网络，对YOLOv5网络的改进方式是将Neck网络中的concat模块替换为DCSF模块，所述DCSF模块用于接收Backbone网络的输出结果进行融合处理；其中，所述DCSF模块包括自适应平均池化层、第一卷积层、最大值池化层和第二卷积层。
进一步地，所述步骤S500包括：
步骤S510、从每一个采集毛囊目标框中提取出采集毛囊位置信息，再对所述采集毛囊位置信息进行坐标转换，得到所述机械臂可识别到的进刀位置；
步骤S520、根据每一个采集毛囊目标框中的所有点数据进行平面拟合，再根据拟合得到的平面上的法向量确定所述机械臂可识别到的进刀角度。
进一步地，在所述步骤S100之前，还包括：
获取若干张毛发图像，每一张毛发图像表征人体头部不同区域的毛发供区；
利用预先创建的毛发密度检测模型对所述若干张毛发图像进行识别，得到毛发密度最大的一张毛发图像，并将该毛发图像所表征的毛发供区作为人体头部的毛囊密集区域。
另外，本发明实施例提供一种基于机械臂的毛囊取发控制系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任意一项所述的基于机械臂的毛囊取发控制方法。
本发明至少具有以下有益效果：通过设计一种至少集成有RGB相机、结构光相机和植发笔的末端执行器，利用机械臂携带末端执行器进行移动以使得植发笔可对人体头皮进行不同毛囊的提取，由此实现毛囊提取手术的自动化；且末端执行器的结构设计简单，安装拆卸较为方便。由于RGB相机的拍摄范围广以及结构光相机的拍摄精度高，利用RGB相机获取毛囊密集区域的大致位置并对机械臂进行移动引导，随后在结构光相机和毛囊识别模型的配合作用下从毛囊密集区域内获取到更为详细的采集毛囊位置，进而通过坐标转换方式获取到进刀位置以及通过平面拟合方式获取到进刀角度，使得植发笔可对采集毛囊进行准确进刀，由此实现毛囊提取手术的智能化，也可以提高手术效率和手术质量，同时有效地降低人力成本和时间成本。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1是本发明实施例中的末端执行器的部分结构组成示意图；
图2是本发明实施例中的一种基于机械臂的毛囊取发控制方法的流程示意图；
图3是本发明实施例中的取发操作平台的结构组成示意图；
图4是本发明实施例中的完整点云图像的示意图；
图5是本发明实施例中的点云图像存在成像缺陷时的示意图；
图6是本发明实施例中的改进后的YOLOv5网络的框架示意图；
图7是本发明实施例中的DCSF模块的组成示意图；
图8是本发明实施例中的二维俯视图的识别结果示意图；
图9是本发明实施例中的拟合平面的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
请参考图1，图1是本发明实施例提供的末端执行器的部分结构组成示意图，所述末端执行器(在图1中显示为去掉封装外壳)固定设置在机械臂200上，所述末端执行器的内部集成有RGB相机110、结构光相机120、植发笔130和测距传感器140；更为具体的，所述末端执行器设置有一外壳150，所述结构光相机120设置在所述外壳150的内部，所述RGB相机110、所述植发笔130和所述测距传感器140固定设置在所述外壳150的外表面上，且所述RGB相机110和所述测距传感器140分别设置在所述植发笔130的两侧。
在实际应用时，所述RGB相机110、所述结构光相机120、所述植发笔130和所述测距传感器140均受控于外部计算机，所述机械臂200的移动也受控于所述外部计算机。
基于图1所示出的末端执行器，图2是本发明实施例提供的一种基于机械臂的毛囊取发控制方法的流程示意图，所述方法包括如下：
步骤S100、控制RGB相机采集第一图像，所述第一图像为包含有人体头部的毛囊密集区域的视野图像；
步骤S200、根据所述第一图像，控制机械臂横向移动直至其所携带的植发笔的刀尖朝向所述毛囊密集区域；
步骤S300、控制结构光相机采集第二图像，所述第二图像为所述毛囊密集区域的完整点云图像；
步骤S400、将所述第二图像降维转换为二维俯视图，利用预先创建的毛囊识别模型对所述二维俯视图进行识别，得到若干个采集毛囊目标框；
步骤S500、根据所述若干个采集毛囊目标框，确定所述植发笔的进刀参数；
步骤S600、根据所述进刀参数，控制所述植发笔进行取发。
在本发明实施例中，执行所述步骤S100之前，还包括：首先利用常规毛发镜对人体头部不同区域的毛发供区进行拍摄，进而获取到若干张毛发图像；其次利用预先创建的毛发密度检测模型对所述若干张毛发图像进行识别，进而从所述若干张毛发图像中获取到毛发密度最大的一张毛发图像，并将该毛发图像所表征的毛发供区作为人体头部的毛囊密集区域。
其中，所述毛发密度检测模型是以ResNet-34网络模型为基准进行搭建的，并通过对常规毛发镜拍摄得到的标注出各个毛发数据的毛发图像进行训练；利用所述毛发密度检测模型对毛发图像中的所有毛发数据进行统计可以获取到对应的毛发密度，进而避免现有技术中需要依赖临床医生的诊断经验来对毛发数量进行判断，克服前期诊断耗时长、容易出现主观误差的问题。
此外，根据图3所示出的取发操作平台可知，所述取发操作平台实际上包括第一平台300和第二平台400，且在取发操作过程中，所述第一平台300和所述第二平台400之间的位置是相对固定的，所述机械臂200固定设置在所述第二平台400上；在获取到人体头部的毛囊密集区域之后，需要将人体头部固定于所述第一平台300上，再将头皮张紧器500佩戴于人体头部，使得所述头皮张紧器500可以覆盖所述毛囊密集区域。
在本发明实施例中，所述步骤S100的实施目的在于：所述RGB相机的工作半径相对于所述结构光相机的工作半径较大，可以在其视野范围内探测到所述毛囊密集区域(即所述头皮张紧器)的具体方位，从而使得所述机械臂可以更加准确地移动至接近所述毛囊密集区域。
在本发明实施例中，所述步骤S200的具体实施过程为：从所述第一图像中提取出所述毛囊密集区域的中心位置，控制所述机械臂横向移动直至所述植发笔的刀尖位于所述中心位置的上方，由此使得所述毛囊密集区域可以落在所述结构光相机的工作半径内。
在本发明实施例中，所述步骤S300的具体实施过程包括如下：
步骤S310、控制所述结构光相机采集所述毛囊密集区域的点云图像；
步骤S320、判断所述点云图像是否出现边缘区域缺失；若是，则说明所述点云图像存在成像缺陷，此时执行步骤S330；若否，则说明所述点云图像符合完整成像的要求，此时将所述点云图像作为所述第二图像输出；
步骤S330、按照既定步长控制所述机械臂往既定方向进行纵向移动，再返回执行步骤S310。
在本发明实施例中，由于受到所述机械臂的移动精度限制，所述既定步长优选地设置为0.2mm。
在本发明实施例中，为了避免所述机械臂往错误方向进行纵向移动，从而导致无法获取到最终的第二图像，在上述步骤S300的实施过程中可以额外加入方向识别机制，所述方向识别机制是在执行上述步骤S310之后才被触发的，其相应的实施原理包括如下步骤：
(1)获取所述点云图像中的点云数量，记为第一数量；
(2)获取所述结构光相机在上一个位置采集的点云图像(确定存在成像缺陷)中的点云数量，记为第二数量；
(3)判断所述第一数量是否小于所述第二数量；若是，则按照所述既定步长的两倍控制所述机械臂进行纵向移动，其移动方向为与所述既定方向相反的方向，再重新执行上述步骤S310；若否，则继续执行上述步骤S320。
在本发明实施例中，上述步骤S320的实施过程包括如下：
步骤S321、从所述点云图像中提取出点云轮廓线，获取所述点云轮廓线上包含的角数量；
步骤S322、判断所述角数量是否等于4；若是，则说明所述点云图像符合完整成像的要求，如图4所示；若否，则说明所述点云图像存在成像缺陷，如图5所示。
需要说明的是，当所述机械臂在进行横向移动和纵向移动的过程中，将控制所述测距传感器实时采集所述植发笔的刀尖与人体头皮之间的距离，再将所述距离与预设距离阈值进行判断，通过实时调整控制所述距离至少大于所述预设距离阈值，以此避免在所述机械臂的移动过程中所述植发笔的刀尖对人体头皮产生误伤。
在本发明实施例中，所述步骤S400提及到的所述毛囊识别模型是以改进后的YOLOv5网络作为基准网络进行创建的，现有YOLOv5网络包括Backbone网络、Neck网络和Head网络，如图6所示；在Backbone网络中，focus模块为切片结构，conv模块为卷积结构，CSP模块是由卷积层(conv)、归一化层(BN)和激活层(ReLU)组成的，SPP模块为空间金字塔池化结构；在Neck网络中，upsample模块为上采样结构，concat模块为级联结构；Head网络用于输出预测得到的目标检测框及其对应的类别。
由于所述二维俯视图中的毛囊和噪点过于相似，容易导致误检，本发明实施例提出对现有的YOLOv5网络进行改进，具体表现为：将Neck网络中的concat模块替换为技术人员自行设计的DCSF(Double Channel Space Fusion，双通道空间融合)模块，所述DCSF模块用于接收Backbone网络的输出结果进行融合处理，所述DCSF模块包括自适应平均池化层、第一卷积层、最大值池化层和第二卷积层，如图7所示。
以图6中的第一个DCSF模块为例，结合图7对其相应的实施过程进行描述如下：该DCSF模块在获取到与其连接的upsample模块所输出的图像数据Fn以及Backbone网络中的conv模块所输出的图像数据Fb之后，利用内部的自适应平均池化层分别对图像数据Fn和图像数据Fb进行快速下采样，得到对应的下采样结果Mn和下采样结果Mb；利用内部的第一卷积层对下采样结果Mn和下采样结果Mb进行逐元素相加与卷积，再利用内部的最大值池化层对卷积结果进行池化得到通道注意力图Mc；将通道注意力图Mc作为权值赋值给图像数据Fn以得到第一特征图Ms1，接着利用内部的第二卷积层对第一特征图Ms1和图像数据Fb分别进行一次卷积后再进行求和，再对求和结果进行二次卷积得到空间注意力图M；将空间注意力图M作为权值赋值给图像数据Fn以得到第二特征图Ms2，由此作为该DCSF模块的输出结果。
在本发明实施例中，所述步骤S400提及到的利用所述毛囊识别模型对所述二维俯视图进行识别，得到的识别结果如图8所示；其中，由灰色方框所框选出来的毛囊为保留毛囊，由黑色方框所框选出来的毛囊为采集毛囊，有且仅有采集毛囊达到采集密度要求。
在本发明实施例中，所述步骤S500的具体实施过程包括如下：
步骤S510、从每一个采集毛囊目标框中提取出采集毛囊位置信息，再对所述采集毛囊位置信息进行坐标转换，得到所述机械臂可识别到的进刀位置；
步骤S520、根据每一个采集毛囊目标框中的所有点数据进行平面拟合，再根据拟合得到的平面上的法向量确定所述机械臂可识别到的进刀角度。
在本发明实施例中，上述步骤S510的实施原理为：从每一个采集毛囊目标框中提取出中心位置信息并将其定义为采集毛囊位置信息，再将所述采集毛囊位置信息从所述二维俯视图所在的图像空间坐标系转换到所述机械臂所在的机械臂基坐标系进行表示，即首先构建所述图像空间坐标系与所述机械臂基坐标系之间的转换关系为：
其中，
为所述图像空间坐标系与所述机械臂基坐标系之间的转换矩阵，
为所述图像空间坐标系与所述结构光相机所在的相机坐标系之间的转换矩阵，在上述步骤S400提及到所述二维俯视图(表征于所述图像空间坐标系)是由所述第二图像(表征于所述相机坐标系)进行降维处理得到的，这一降维过程需要依赖于降维矩阵，转换矩阵
是由该降维矩阵进行求逆得到的，
为所述相机坐标系与所述机械臂基坐标系之间的转换矩阵，可以预先通过手眼标定方式进行求解得到；
最后根据上述转换矩阵
对所述采集毛囊位置信息进行转换，得到所述机械臂可识别到的进刀位置，从而使得所述机械臂可以携带所述植发笔移动至所述进刀位置以对其关联的一个采集毛囊目标框进行准确取发操作。
在本发明实施例中，上述步骤S520的实施原理为：首先根据上述转换矩阵
将每一个采集毛囊目标框中的所有点数据进行逐个的坐标转换，再采用最小二乘法对转换得到的所有点数据进行拟合，得到该采集毛囊目标框所关联的平面，如图9所示；由于所述平面的方程为z＝αx+βy+γ，可以获取到所述平面上的法向量为(α,β,γ)，即为所述机械臂可识别到的进刀角度，且在发生平面拟合之后可以得知这三个参数的具体取值，其中(x,y,z)为在所述机械臂基坐标系下表示的一个坐标点；需要说明的是，所述进刀角度的求解意义在于确保所述植发笔能够垂直进刀以最大程度地保全毛囊。
在本发明实施例中，所述步骤S600的实施过程为：首先，由所述机械臂锁定对其中一个采集毛囊目标框进行取发操作，控制所述机械臂按照该采集毛囊目标框所关联的进刀位置进行移动完毕之后，再按照该采集毛囊目标框所关联的进刀角度调整其所携带的所述植发笔的进刀姿态；接着，控制所述植发笔旋转其钻孔刀头进入人体头皮，在所述钻孔刀头达到预设深度之后停止进刀，再利用所述钻孔刀头内的夹片夹断毛囊；最后，控制所述植发笔反向旋转所述钻孔刀头离开人体头皮，即完成对该采集毛囊目标框的取发操作。
需要说明的是，所述植发笔在进刀过程中将实时检测所述钻孔刀头的压力值，在识别到所述压力值达到预先设定的压力安全阈值之后，将自动停止进刀并将所述钻孔刀头进行复位操作。
在本发明实施例中，通过设计一种至少集成有RGB相机、结构光相机和植发笔的末端执行器，利用机械臂携带末端执行器进行移动以使得植发笔可对人体头皮进行不同毛囊的提取，由此实现毛囊提取手术的自动化；且末端执行器的结构设计简单，安装拆卸较为方便。由于RGB相机的拍摄范围广以及结构光相机的拍摄精度高，利用RGB相机获取毛囊密集区域的大致位置并对机械臂进行移动引导，随后在结构光相机和毛囊识别模型的配合作用下从毛囊密集区域内获取到更为详细的采集毛囊位置，进而通过坐标转换方式获取到进刀位置以及通过平面拟合方式获取到进刀角度，使得植发笔可对采集毛囊进行准确进刀，由此实现毛囊提取手术的智能化，也可以提高手术效率和手术质量，同时有效地降低人力成本和时间成本。
另外，本发明实施例提供一种基于机械臂的毛囊取发控制系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述方法实施例所述的基于机械臂的毛囊取发控制方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所实现的功能与上述方法实施例相同，并且所达到的有益效果与上述方法实施例相同。
所述处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于机械臂的毛囊取发控制系统的控制中心，利用各种接口和线路连接整个基于机械臂的毛囊取发控制系统可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于机械臂的毛囊取发控制系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中：存储程序区用于存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区用于存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件或者其他易失性固态存储器件。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。
Claims (9)
1.一种基于机械臂的毛囊取发控制方法，其特征在于，所述方法包括：
步骤S100、控制RGB相机采集第一图像，所述第一图像为包含有人体头部的毛囊密集区域的视野图像；
步骤S200、根据所述第一图像，控制机械臂横向移动直至其所携带的植发笔的刀尖朝向所述毛囊密集区域；
步骤S300、控制结构光相机采集第二图像，所述第二图像为所述毛囊密集区域的完整点云图像；
步骤S400、将所述第二图像降维转换为二维俯视图，利用预先创建的毛囊识别模型对所述二维俯视图进行识别，得到若干个采集毛囊目标框；
步骤S500、根据所述若干个采集毛囊目标框，确定所述植发笔的进刀参数；
步骤S600、根据所述进刀参数，控制所述植发笔进行取发。
2.根据权利要求1所述的基于机械臂的毛囊取发控制方法，其特征在于，所述RGB相机、所述结构光相机和所述植发笔集成在一个末端执行器，所述末端执行器固定设置在所述机械臂上。
3.根据权利要求1所述的基于机械臂的毛囊取发控制方法，其特征在于，所述步骤S200包括：从所述第一图像中提取出所述毛囊密集区域的中心位置，控制所述机械臂横向移动直至所述植发笔的刀尖位于所述中心位置的上方。
4.根据权利要求1所述的基于机械臂的毛囊取发控制方法，其特征在于，所述步骤S300包括：
步骤S310、控制所述结构光相机采集所述毛囊密集区域的点云图像；
步骤S320、判断所述点云图像是否出现边缘区域缺失；若是，则执行步骤S330；若否，则将所述点云图像作为所述第二图像输出；
步骤S330、按照既定步长控制所述机械臂往既定方向进行纵向移动，再返回执行步骤S310。
5.根据权利要求4所述的基于机械臂的毛囊取发控制方法，其特征在于，在所述步骤S310之后，还包括：
获取所述点云图像中的点云数量，记为第一数量；
获取所述结构光相机在上一个位置采集的点云图像中的点云数量，记为第二数量；
判断所述第一数量是否小于所述第二数量；若是，则按照所述既定步长的两倍控制所述机械臂进行纵向移动，其移动方向为与所述既定方向相反的方向，再重新执行步骤S310；若否，则继续执行步骤S320。
6.根据权利要求1所述的基于机械臂的毛囊取发控制方法，其特征在于，所述毛囊识别模型是以改进后的YOLOv5网络作为基准网络进行创建的，YOLOv5网络包括Backbone网络和Neck网络，对YOLOv5网络的改进方式是将Neck网络中的concat模块替换为DCSF模块，所述DCSF模块用于接收Backbone网络的输出结果进行融合处理；其中，所述DCSF模块包括自适应平均池化层、第一卷积层、最大值池化层和第二卷积层。
7.根据权利要求1所述的基于机械臂的毛囊取发控制方法，其特征在于，所述步骤S500包括：
步骤S510、从每一个采集毛囊目标框中提取出采集毛囊位置信息，再对所述采集毛囊位置信息进行坐标转换，得到所述机械臂可识别到的进刀位置；
步骤S520、根据每一个采集毛囊目标框中的所有点数据进行平面拟合，再根据拟合得到的平面上的法向量确定所述机械臂可识别到的进刀角度。
8.根据权利要求1所述的基于机械臂的毛囊取发控制方法，其特征在于，在所述步骤S100之前，还包括：
获取若干张毛发图像，每一张毛发图像表征人体头部不同区域的毛发供区；
利用预先创建的毛发密度检测模型对所述若干张毛发图像进行识别，得到毛发密度最大的一张毛发图像，并将该毛发图像所表征的毛发供区作为人体头部的毛囊密集区域。
9.一种基于机械臂的毛囊取发控制系统，其特征在于，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至8中任意一项所述的基于机械臂的毛囊取发控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211084291.8A CN115590584B (zh) | 2022-09-06 | 2022-09-06 | 一种基于机械臂的毛囊取发控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211084291.8A CN115590584B (zh) | 2022-09-06 | 2022-09-06 | 一种基于机械臂的毛囊取发控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115590584A true CN115590584A (zh) | 2023-01-13 |
| CN115590584B CN115590584B (zh) | 2023-11-14 |
Family
ID=84843622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211084291.8A Active CN115590584B (zh) | 2022-09-06 | 2022-09-06 | 一种基于机械臂的毛囊取发控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115590584B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116196098A (zh) * | 2023-02-22 | 2023-06-02 | 极限人工智能有限公司 | 一种植发规划方案生成方法、系统、介质及电子设备 |
| CN116196106A (zh) * | 2023-02-22 | 2023-06-02 | 极限人工智能有限公司 | 一种毛囊移植视觉辅助系统及毛囊移植机器人 |
| CN117159157A (zh) * | 2023-09-27 | 2023-12-05 | 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 | 一种用于不剃发植发的机械手及控制模块 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109452959A (zh) * | 2018-11-27 | 2019-03-12 | 王鹏君 | 一种无痕分层提取的方法及装置 |
| CN112037281A (zh) * | 2020-08-18 | 2020-12-04 | 重庆大学 | 一种用于引导自动化毛囊采集机器的视觉系统 |
| CN113627425A (zh) * | 2021-07-16 | 2021-11-09 | 汕头大学 | 一种基于神经网络模型的毛囊识别和提取方法及系统 |
| CN114565900A (zh) * | 2022-01-18 | 2022-05-31 | 广州软件应用技术研究院 | 基于改进YOLOv5和双目立体视觉的目标检测方法 |
| CN114581413A (zh) * | 2022-03-07 | 2022-06-03 | 南京新生医疗科技有限公司 | 一种应用于植发的图像处理工作方法及系统 |
| CN114842238A (zh) * | 2022-04-01 | 2022-08-02 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN114842185A (zh) * | 2022-03-21 | 2022-08-02 | 昭通亮风台信息科技有限公司 | 用于火灾的目标识别方法、装置、设备及介质 |
| CN114882222A (zh) * | 2022-05-27 | 2022-08-09 | 江苏大学 | 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法 |
| CN114972307A (zh) * | 2022-06-20 | 2022-08-30 | 重庆智泊特机器人有限公司 | 基于深度学习的毛囊自动识别方法和系统及植发机器人 |
-
2022
- 2022-09-06 CN CN202211084291.8A patent/CN115590584B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109452959A (zh) * | 2018-11-27 | 2019-03-12 | 王鹏君 | 一种无痕分层提取的方法及装置 |
| CN112037281A (zh) * | 2020-08-18 | 2020-12-04 | 重庆大学 | 一种用于引导自动化毛囊采集机器的视觉系统 |
| CN113627425A (zh) * | 2021-07-16 | 2021-11-09 | 汕头大学 | 一种基于神经网络模型的毛囊识别和提取方法及系统 |
| CN114565900A (zh) * | 2022-01-18 | 2022-05-31 | 广州软件应用技术研究院 | 基于改进YOLOv5和双目立体视觉的目标检测方法 |
| CN114581413A (zh) * | 2022-03-07 | 2022-06-03 | 南京新生医疗科技有限公司 | 一种应用于植发的图像处理工作方法及系统 |
| CN114842185A (zh) * | 2022-03-21 | 2022-08-02 | 昭通亮风台信息科技有限公司 | 用于火灾的目标识别方法、装置、设备及介质 |
| CN114842238A (zh) * | 2022-04-01 | 2022-08-02 | 苏州视尚医疗科技有限公司 | 一种嵌入式乳腺超声影像的识别方法 |
| CN114882222A (zh) * | 2022-05-27 | 2022-08-09 | 江苏大学 | 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法 |
| CN114972307A (zh) * | 2022-06-20 | 2022-08-30 | 重庆智泊特机器人有限公司 | 基于深度学习的毛囊自动识别方法和系统及植发机器人 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116196098A (zh) * | 2023-02-22 | 2023-06-02 | 极限人工智能有限公司 | 一种植发规划方案生成方法、系统、介质及电子设备 |
| CN116196106A (zh) * | 2023-02-22 | 2023-06-02 | 极限人工智能有限公司 | 一种毛囊移植视觉辅助系统及毛囊移植机器人 |
| CN116196098B (zh) * | 2023-02-22 | 2024-03-22 | 极限人工智能有限公司 | 一种植发规划方案生成方法、系统、介质及电子设备 |
| CN116196106B (zh) * | 2023-02-22 | 2024-03-26 | 极限人工智能有限公司 | 一种毛囊移植视觉辅助系统及毛囊移植机器人 |
| CN117159157A (zh) * | 2023-09-27 | 2023-12-05 | 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 | 一种用于不剃发植发的机械手及控制模块 |
| CN117159157B (zh) * | 2023-09-27 | 2024-02-06 | 北京碧莲盛不剃发植发医疗美容门诊部有限责任公司 | 一种用于不剃发植发的机械手及控制模块 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115590584B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115590584A (zh) | 一种基于机械臂的毛囊取发控制方法及系统 | |
| CN112288742B (zh) | 用于超声探头的导航方法、装置、存储介质以及电子设备 | |
| US10515259B2 (en) | Method and system for determining 3D object poses and landmark points using surface patches | |
| US11250580B2 (en) | Method, system and computer readable storage media for registering intraoral measurements | |
| JP6091560B2 (ja) | 画像解析方法 | |
| JP5743499B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| KR100693262B1 (ko) | 화상 처리 장치 | |
| US20210374452A1 (en) | Method and device for image processing, and elecrtonic equipment | |
| CN112767309B (zh) | 超声扫查方法、超声设备、系统以及存储介质 | |
| CN106570484A (zh) | 基于序列切片的显微镜图像采集方法 | |
| CN113627425A (zh) | 一种基于神经网络模型的毛囊识别和提取方法及系统 | |
| CN113284111A (zh) | 一种基于双目立体视觉的毛囊区域定位方法及系统 | |
| US20230141945A1 (en) | Quantifying biotic damage on plants, by separating plant-images and subsequently operating a convolutional neural network | |
| JP2019211364A (ja) | 動物体の体重推定装置及び体重推定方法 | |
| CN111950391A (zh) | 果树芽体的识别方法及装置 | |
| CN116421277A (zh) | 毛囊移植控制方法、装置、计算机设备和存储介质 | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| CN114505864A (zh) | 一种手眼标定方法、装置、设备及存储介质 | |
| CN113116377A (zh) | 超声成像导航方法、超声设备及存储介质 | |
| CN116525133A (zh) | 核酸的自动采集方法、系统、电子设备及介质 | |
| CN113116384A (zh) | 超声扫查引导方法、超声设备及存储介质 | |
| WO2016049681A1 (en) | Ultrasound image processing system and method | |
| EP2136334A2 (en) | System, apparatus, method, and computer program product for optical position recognition | |
| CN114782537A (zh) | 基于3d视觉的人体颈动脉定位方法及装置 | |
| Hou et al. | Detection and localization of citrus picking points based on binocular vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |