CN112037281B - 一种用于引导自动化毛囊采集机器的视觉系统 - Google Patents
一种用于引导自动化毛囊采集机器的视觉系统 Download PDFInfo
- Publication number
- CN112037281B CN112037281B CN202010833617.7A CN202010833617A CN112037281B CN 112037281 B CN112037281 B CN 112037281B CN 202010833617 A CN202010833617 A CN 202010833617A CN 112037281 B CN112037281 B CN 112037281B
- Authority
- CN
- China
- Prior art keywords
- stepping motor
- hair follicle
- iii
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003780 hair follicle Anatomy 0.000 title claims abstract description 100
- 238000003306 harvesting Methods 0.000 title claims abstract description 17
- 230000000007 visual effect Effects 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000012216 screening Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 18
- 229910000831 Steel Inorganic materials 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 9
- 239000010959 steel Substances 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000003325 follicular Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 210000004209 hair Anatomy 0.000 abstract description 12
- 238000002054 transplantation Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 9
- 244000309464 bull Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003028 elevating effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 201000004384 Alopecia Diseases 0.000 description 1
- 231100000360 alopecia Toxicity 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00747—Dermatology
- A61B2017/00752—Hair removal or transplantation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于引导自动化毛囊采集机器的视觉系统，包括上位机、Matlab相机标定工具箱、棋盘标定板、高斯滤波器、双目全局摄像头和电子显微镜。双目全局摄像头和3个电子显微镜安装在自动化毛囊采集机器上，上位机上的Matlab相机标定工具箱和棋盘标定板对双目全局摄像头和3个电子显微镜进行标定，双目全局摄像头寻找到毛囊区域并指导电子显微镜对焦，电子显微镜的采集图像进行滤波、降噪处理，并转换色彩空间，3个电子显微镜筛选出目标毛囊并计算出目标毛囊和刀头的位姿，指导刀头拔取目标毛囊。本发明取代了纯手工植发，完成高效率高精度低成本的植发手术,填补国内植发机器人的技术空缺。
Description
技术领域
本发明涉及一种用于引导自动化毛囊采集机器的视觉系统。
背景技术
被脱发困扰的人们为了重新获取一头乌黑亮丽的头发，往往会选择去美容机构进行植发手术。目前行业内的植发手术分为两类：一是广泛采用的价格亲民的纯手工植发，即完全由人工提取待培养毛囊并进行人工种植；二是价格高昂的国外植发机器人植发。
上述两种方案存在如下缺点：
对纯手工植发而言,由于植发手术提取毛囊对美容师熟练度要求较高，且手术流程繁琐精细，故纯人工植发存在效率低下和美容师误操作意外破坏头发毛囊的问题。
根据现有资料得知，国内尚无国产的植发机器人系统。植发机器人技术被收费高昂的国外公司垄断。制造一台成本低，可靠性强的国产植发机器人，亟需一套稳定的高效率高精度的机器视觉系统。
发明内容
本发明的目的是提供一种用于引导自动化毛囊采集机器的视觉系统。
为实现本发明目的而采用的技术方案是这样的，一种用于引导自动化毛囊采集机器的视觉系统，包括上位机、Matlab相机标定工具箱、棋盘标定板、高斯滤波器、双目全局摄像头和电子显微镜，上位机安装有Matlab相机标定工具箱和棋盘标定板。
所述双目全局摄像头和3个电子显微镜均与上位机通讯连接，双目全局摄像头和3个电子显微镜均安装在自动化毛囊采集机器上，自动化毛囊采集机器包括粗调螺旋、滑槽、滑块、微调螺旋、微调升降部件、电子显微镜升降部件、连接臂Ⅱ和刀具。
所述粗调螺旋包括转杆、平台和步进电机Ⅰ，平台上设置有供转杆穿过的通孔Ⅰ，转杆竖直设置，转杆的上端穿过平台上的通孔Ⅰ并伸出平台的上表面，转杆与平台固定。所述平台上安装有步进电机Ⅰ，步进电机Ⅰ的输出轴通过皮带与转杆的上端传动连接。
所述滑槽呈弧形，滑槽的开口位于滑槽凹面上，转杆的下端与滑槽的外表面连接，连接点靠近滑槽的一端，这一端记为滑槽的上端。所述滑槽的上端连接有步进电机Ⅱ，步进电机Ⅱ的下表面连接有双目全局摄像头。
所述滑块安装到滑槽内，滑块上连接有皮带，该皮带与步进电机Ⅱ传动连接。
所述微调螺旋包括连接杆、转动板、带轮、圆锥滚子轴承和步进电机Ⅲ，连接杆的上端连接到滑块的下表面。所述转动板设置有供连接杆穿过的通孔Ⅱ和供步进电机Ⅲ输出轴穿过的通孔Ⅲ。所述步进电机Ⅲ安装在转动板的上表面，步进电机Ⅲ的输出轴穿过转动板的通孔Ⅲ并伸到转动板的下方。
所述连接杆的下端穿过转动板的通孔Ⅱ并伸到转动板的下方，位于转动板下方的圆锥滚子轴承的内钢圈套设并固定在连接杆上，圆锥滚子轴承外钢圈的上边缘连接在转动板的下表面。位于所述圆锥滚子轴承下方的带轮套设在连接杆上，带轮的上边缘与圆锥滚子轴承外钢圈的下边缘连接。所述带轮通过皮带与步进电机Ⅲ的输出轴传动连接。
所述电子显微镜升降部件包括步进电机Ⅳ、丝杆Ⅰ、升降圆环、限位块和连接件Ⅰ，连接件Ⅰ的上端连接在转动板的下表面，下端连接有输出端朝上的步进电机Ⅳ，步进电机Ⅳ的输出端连接有丝杆Ⅰ，丝杆Ⅰ的上端设置有限位块，限位块连接在连接件Ⅰ上。所述丝杆Ⅰ上旋入丝杆螺母Ⅰ，丝杆螺母Ⅰ的侧壁上连接有若干撑杆，若干撑杆沿丝杆螺母Ⅰ的周向间隔布置，若干撑杆连接到升降圆环的内壁上。
所述升降圆环的下表面连接有3个电子显微镜，3个电子显微镜沿升降圆环的周向等间距布置。
所述微调升降部件包括步进电机Ⅴ、丝杆Ⅱ、丝杆螺母Ⅱ和连接臂Ⅰ，转动板上设置有供步进电机Ⅴ输出轴穿过的通孔Ⅳ，步进电机Ⅴ安装在转动板的上表面，步进电机Ⅴ的输出轴穿过转动板的通孔Ⅳ并伸到转动板的下方。
所述步进电机Ⅴ的输出轴与丝杆Ⅱ连接，丝杆Ⅱ上旋入丝杆螺母Ⅱ，连接臂Ⅰ的上端连接到丝杆螺母Ⅱ的侧壁上。
所述连接臂Ⅰ的下端设置有供步进电机Ⅵ输出轴穿过的通孔Ⅴ，步进电机Ⅵ的输出轴穿过连接臂Ⅰ的通孔Ⅴ并与连接臂Ⅱ的上端连接。所述连接臂Ⅱ的下端设置有供步进电机Ⅶ输出轴穿过的通孔Ⅵ。
所述刀具包括刀架、步进电机Ⅷ和刀头，步进电机Ⅶ的输出轴穿过连接臂Ⅱ的通孔Ⅵ并与刀架连接，步进电机Ⅷ安装到刀架上，步进电机Ⅷ的输出轴连接有丝杆Ⅲ，丝杆Ⅲ上旋入丝杆螺母Ⅲ，刀头连接到丝杆螺母Ⅲ的外壁上。
工作时，通过所述Matlab相机标定工具箱和棋盘标定板标定双目全局摄像头和3个电子显微镜，得到双目全局摄像头和3个电子显微镜的相机矩阵，计算出相邻两个电子显微镜之间的基本矩阵与本质矩阵。所述双目全局摄像头通过图像分割法找到使用者头部的毛囊区域，并将毛囊区域的视觉信息发送至上位机。所述上位机通过控制系统控制步进电机Ⅰ和步进电机Ⅱ转动，转杆转动，滑块滑动，刀头和3个电子显微镜移动到毛囊区域正上方。所述控制系统控制步进电机Ⅲ和步进电机Ⅳ转动，使用索贝尔算子与电子显微镜采集到的图像进行卷积操作，得到各个像素点的梯度值，筛选出梯度大于10的像素点作为图像角点。将3个所述电子显微镜完全对焦。3个所述电子显微镜将拍摄到的毛囊区域图像发送至上位机，并将图像从RGB色彩空间转化到HSV色彩空间。根据预先调试毛囊的HSV色彩值，将毛囊区域的所有毛囊放入HSV色彩空间进行筛选，留下毛囊的图像轮廓，采用高斯滤波器对图像轮廓进行处理去除图像噪点。对图像轮廓进行轮廓查找，区分图像中的连通区域与非连通区域，再寻找连通区域的最小外接矩形。根据毛囊的几何特征对最小外接矩形进行筛选，在总体毛囊中选出目标毛囊。通过所述刀头与目标毛囊的几何特征，获取毛囊的首末两端及刀头的像素坐标。再利用所述电子显微镜之间的基本矩阵与本质矩阵构建每一个目标像素点与电子显微镜之间的核面，根据核面几何学，对三个电子显微镜的目标像素进行一一匹配。匹配完成后，采用相机中央透视模型与相机矩阵计算出每一个目标像素点相对于相机坐标系的相对坐标，通过三维坐标变换，计算得到目标毛囊与所述刀头的空间绝对位姿和相对位姿。基于目标毛囊与所述刀头的空间绝对位姿和相对位姿，控制系统控制步进电机Ⅴ、步进电机Ⅵ和步进电机Ⅶ转动，刀头移动到工作位姿，控制系统控制步进电机Ⅷ转动，刀头通过伸缩对目标毛囊进行拔取。
进一步，所述控制系统包括控制系统Ⅰ、控制系统Ⅱ、控制系统Ⅲ和控制系统Ⅳ。
所述控制系统Ⅰ包括单片机Ⅰ、步进电机Ⅰ驱动模块、步进电机Ⅱ驱动模块、编码器Ⅰ、编码器Ⅱ、电源模块Ⅰ和电路保护模块Ⅰ。所述上位机向控制系统Ⅰ发送控制信息，单片机Ⅰ接收到控制信息并向步进电机Ⅰ驱动模块和步进电机Ⅱ驱动模块发送脉冲波，从而控制步进电机Ⅰ和步进电机Ⅱ转动。所述编码器Ⅰ和编码器Ⅱ分别采集步进电机Ⅰ和步进电机Ⅱ的旋转信息并发送至单片机Ⅰ，单片机Ⅰ将旋转信息反馈给上位机。
所述控制系统Ⅱ包括单片机Ⅱ、步进电机Ⅲ驱动模块、步进电机Ⅳ驱动模块、编码器Ⅲ、编码器Ⅳ、电源模块Ⅱ和电路保护模块Ⅱ。所述上位机向控制系统Ⅱ发送控制信息，单片机Ⅱ向步进电机Ⅲ驱动模块和步进电机Ⅳ驱动模块发送脉冲波，控制步进电机Ⅲ和步进电机Ⅳ转动。所述编码器Ⅲ和编码器ⅣⅡ分别采集步进电机Ⅲ和步进电机Ⅳ的旋转信息并发送至单片机Ⅱ，单片机Ⅱ将旋转信息反馈给上位机。
所述控制系统Ⅲ包括单片机Ⅲ、步进电机Ⅴ驱动模块、步进电机Ⅵ驱动模块、步进电机Ⅶ驱动模块、编码器Ⅴ、编码器Ⅵ、编码器Ⅶ、电源模块Ⅲ和电路保护模块Ⅲ。所述上位机将旋转信息发送至单片机Ⅲ，单片机Ⅲ向步进电机Ⅴ驱动模块、步进电机Ⅵ驱动模块和步进电机Ⅶ驱动模块发送脉冲波，控制步进电机Ⅴ、步进电机Ⅵ和步进电机Ⅶ转动。所述编码器Ⅴ、编码器Ⅵ和编码器Ⅶ分别采集步进电机Ⅴ、步进电机Ⅵ和步进电机Ⅶ的旋转信息并发送至单片机Ⅲ，单片机Ⅲ将旋转信息反馈给上位机。
所述控制系统Ⅳ包括单片机Ⅳ、步进电机Ⅷ驱动模块、编码器Ⅷ、电源模块Ⅳ和电路保护模块Ⅳ。所述上位机将旋转信息发送至单片机Ⅳ，单片机Ⅳ向步进电机Ⅷ驱动模块发送脉冲波，控制步进电机Ⅷ转动。所述编码器Ⅷ采集步进电机Ⅷ的旋转信息并发送至单片机Ⅲ，单片机Ⅲ将旋转信息反馈给上位机。
进一步，所述上位机设置有安全控制系统，当上位机检测到步进电机Ⅰ、步进电机Ⅱ、步进电机Ⅲ、步进电机Ⅳ、步进电机Ⅴ、步进电机Ⅵ、步进电机Ⅶ或步进电机Ⅷ的旋转情况与规划情况相差较大时，安全控制系统停止所有步进电机的运行。
当所述刀头与目标毛囊的距离小于设定的安全距离时，安全控制系统停止所有步进电机的运行。
所述刀头上设置有压力传感器，刀头拔取目标毛囊时，压力传感器将监测数据通过单片机Ⅳ发送至上位机。当所述压力传感器的监测数据发生异常时，安全控制系统控制刀头缩到最短，并停止所有步进电机的运行。
进一步，所述双目全局摄像头和3个电子显微镜的标定均包括以下步骤：
4-1)拍摄棋盘标定板的图像。
4-2)对每一张标定图片，提取角点信息。
4-3)求解理想无畸变情况的内参数和外参数，包括以下分步骤：
描述一平面空间坐标到图像坐标的映射为：
式中：s为坐标系的尺度因子，A为相机内参矩阵，u0,v0为相主点坐标，α,β为焦距与像纵横比的融合，γ为径向畸变参数。
Q＝A[r1 r2 t] (4)
Q＝[h1h2h3] (5)
Q为单应性矩阵，根据单应性矩阵的性质得到：
从而求出图像平面到世界平面的单应性矩阵Q，Q为内参阵和外参阵的组合。
由于r1,r2正交，且旋转向量为模为1，可得：
C为对称阵，
vij＝[hi1hj1 h11hj2+hi2hj1 hi2hj2 hi3hj1+h11hj3 hi3hj2+hi2hj3 hi3hj3]T (12)
求出C，通过Cholesky分解，得到摄相机的内参阵的六个自由度，即：
则外参也进一步求得：
r1＝λA-1h1 r2＝λA-1h2 r3＝r1×r2 t＝λA-1h3
λ＝1/||A-1h1||＝1/||A-1h2|| (15)
相机矩阵由内参与外参组成K＝A[D T]，其中，[D T]为未消参的完整相机位姿变换矩阵；
相邻两个所述电子显微镜之间的基本矩阵F按如下公式计算：
式中，p1和p2为相匹配的像点，l2为对极线。
设定p1＝[u1,v1,1]，p2＝[u2,v2,1]，采用8点法计算基础矩阵：
相邻两个所述电子显微镜之间的本质矩阵E按如下公式计算：
进一步，采用图像分割法找到所述使用者头部的毛囊区域包括以下步骤：
5-1)将图像RGB空间转换到HSV空间。
5-2)对HSV色彩空间进行筛选。
5-3)使用[15,15]大小的卷积核对图像进行腐蚀操作。
5-4)使用[19,19]大小的卷积核对图像进行膨胀操作
5-5)求取图像中连通区域的所有像素坐标位置的平均值作为连通区域的圆心，再计算距离圆心最远的像素点的欧几里得距离作为该圆的半径，圆半径大于80mm的连通区域，为毛囊区域。
进一步，像素点的筛选过程包括以下步骤：
选用索贝尔算子：
其中，Gx为水平方向梯度算子，Gy为竖直方向梯度算子，使用算子对图像进行卷积操作，得到：
式中，Hx和Hy分别为两个算子卷积操作后得到的结果，继续对Hx和Hy进行运算：
I记录了图形中各个像素点的梯度值,从而对该梯度值进行筛选。
进一步，所述电子显微镜的对焦包括以下步骤：
7-1)所述步进电机Ⅳ带动电子显微镜下降，电子显微镜以0.1秒为步长采样3秒，得到一组角点数目的数据以及一组步进电机Ⅳ转角的数据。
7-2)对所述角点数据每个元素循环比较，找到数值最大的角点元素，当极大值角点数目大于2500个时，确定步进电机Ⅳ的调焦转角。当极大值角点数目小于等于2500个时，重复步骤7-1)，直到极大值角点数目大于2500个。
7-3)所述步进电机Ⅳ根据调焦转角进行调节对焦。
进一步，所述连通区域的最小外接矩形的计算包括以下步骤：
8-1)对目标轮廓绕中心点旋转一个微小角度，旋转公式为：
其中，x1,y1为旋转前坐标，x2,y2为旋转后坐标，x0,y0为中心点坐标。
8-2)找出轮廓像素点中x坐标最大值的像素点，x坐标最小值的像素点，y坐标最大值的像素点，y坐标最小值的像素点。
8-3)通过x坐标最大值的像素点，x坐标最小值的像素点做两条水平线，通过y坐标最大值的像素点，y坐标最小值的像素点做两条竖直线。形成了包围图像的矩形框，求出该矩形框的四个角点。
8-4)记录所述矩形框的面积，重复步骤8-1)，直到计算完所有角度对应的矩形面积。
8-5)找出面积最小的矩形框即为目标所求的最小外接矩形。
进一步，三个所述电子显微镜的目标像素的匹配包括以下步骤：
9-1)根据基本矩阵的定义与核面几何学有：
p2,p1是齐次形式的两个图像中匹配的图像点，F为基本矩阵。
令：
l2＝Fp1 (23)
则：
9-2)任取第一幅图像中的一个像素点，带入式(22)，只有当第二幅图像中的p2满足式(23)时，第二幅图像中的p2才可能与第一幅图像的p1匹配，l2为核线，考虑到畸变，需将第二幅图像中所有的目标像素点依次进行计算，选取其中计算结果最小且小于0.01的第二幅图像中的目标像素点与第一幅图像中的像素点进行匹配。
进一步，基于相机中央透视模型与相机矩阵计算每一个目标像素点相对于相机坐标系的相对坐标包括以下步骤：
10-1)设定相机中央透视模型为：
则相机Ⅰ和相机Ⅱ的中央透视模型为：
化简上式后，消去Zc1与Zc2，得到：
将一对匹配点
带入式(28)，解出目标点在空间中的坐标
本发明的技术效果是毋庸置疑的，本发明系统能自动选取出较为粗壮的毛囊作为目标毛囊，省去了人工选取的繁琐；电子显微镜能精确获得目标毛囊和刀头的空间绝对位姿和相对位姿，用于指导刀头对目标毛囊的拔取，提高了操作的精确度，避免了对其他毛囊的伤害；同时，本发明系统成本低，自动化程度高，便于操作。
附图说明
图1为毛囊提取结构的简要示意图；
图2为毛囊提取结构的三维图；
图3为微调螺旋的放大图；
图4为电子显微镜升降部件的放大图；
图5为微调升降部件的放大图；
图6为连接臂Ⅱ与刀具连接示意图；
图7为本发明视觉系统的工作流程图；
图8为双目全局摄像头的图像从RGB转换到HSV的对比图；
图9为对HSV色彩空间进行筛选的结果图；
图10为图像进行腐蚀操作后的结果图；
图11为图像进行膨胀操作的结果图；
图12为选取毛囊区域的效果图；
图13为像素点筛选前和筛选后的效果图；
图14为电子显微镜的图像从RGB空间转换到HSV空间的对比图；
图15为去噪前后的对比图；
图16为目标轮廓旋转前后的对比图；
图17形成包围图像的矩形框示意图。
图中：粗调螺旋1、转杆101、平台102、步进电机Ⅰ103、滑槽2、步进电机Ⅱ201、滑块3、微调螺旋4、连接杆401、转动板402、带轮403、圆锥滚子轴承404、步进电机Ⅲ405、微调升降部件5、步进电机Ⅴ501、丝杆Ⅱ502、丝杆螺母Ⅱ503、连接臂Ⅰ504、限位板505、连接件Ⅱ506、电子显微镜升降部件6、步进电机Ⅳ601、丝杆Ⅰ602、升降圆环603、限位块604、丝杆螺母Ⅰ605、撑杆606、连接件Ⅰ607、双目全局摄像头7、连接臂Ⅱ8、刀具10、刀架1001、步进电机Ⅷ1002、刀头1003、丝杆Ⅲ1004、丝杆螺母Ⅲ1005、电子显微镜11、步进电机Ⅵ12和步进电机Ⅶ13和使用者头部14。
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
本实施例公开了一种用于引导自动化毛囊采集机器的视觉系统，包括上位机、Matlab相机标定工具箱、棋盘标定板、高斯滤波器、双目全局摄像头7和电子显微镜11，上位机安装有Matlab相机标定工具箱和棋盘标定板。
所述双目全局摄像头7和3个电子显微镜11均与上位机通讯连接，双目全局摄像头7和3个电子显微镜11均安装在自动化毛囊采集机器上，自动化毛囊采集机器包括包括粗调螺旋1、滑槽2、滑块3、微调螺旋4、微调升降部件5、电子显微镜升降部件6、连接臂Ⅱ8和刀具10。图1展示出了各个部件的调节方向。
参见图2，所述粗调螺旋1包括转杆101、平台102和步进电机Ⅰ103，平台102上设置有供转杆101穿过的通孔Ⅰ，转杆101竖直设置，转杆101的上端穿过平台102上的通孔Ⅰ并伸出平台102的上表面，转杆101与平台102固定。所述平台102上安装有步进电机Ⅰ103，步进电机Ⅰ103的输出轴通过皮带与转杆101的上端传动连接。
参见图2，所述滑槽2呈弧形，滑槽2的开口位于滑槽2凹面上，转杆101的下端与滑槽2的外表面连接，连接点靠近滑槽2的一端，这一端记为滑槽2的上端。所述滑槽2的上端连接有步进电机Ⅱ201，步进电机Ⅱ201的下表面连接有双目全局摄像头7。
所述滑块3安装到滑槽2内，滑块3上连接有皮带，该皮带与步进电机Ⅱ201传动连接。所述双目全局摄像头7用于对粗调螺旋1和滑块3的调节进行监控指导。
参见图3，所述微调螺旋4包括连接杆401、转动板402、带轮403、圆锥滚子轴承404和步进电机Ⅲ405，连接杆401的上端连接到滑块3的下表面。所述转动板402设置有供连接杆401穿过的通孔Ⅱ和供步进电机Ⅲ405输出轴穿过的通孔Ⅲ。所述步进电机Ⅲ405安装在转动板402的上表面，步进电机Ⅲ405的输出轴穿过转动板402的通孔Ⅲ并伸到转动板402的下方。
所述连接杆401的下端穿过转动板402的通孔Ⅱ并伸到转动板402的下方，位于转动板402下方的圆锥滚子轴承404的内钢圈套设并固定在连接杆401上，圆锥滚子轴承404外钢圈的上边缘连接在转动板402的下表面。位于所述圆锥滚子轴承404下方的带轮403套设在连接杆401上，带轮403的上边缘与圆锥滚子轴承404外钢圈的下边缘连接。所述带轮403通过皮带与步进电机Ⅲ405的输出轴传动连接。
参见图4，所述电子显微镜升降部件6包括步进电机Ⅳ601、丝杆Ⅰ602、升降圆环603、限位块604和连接件Ⅰ607，连接件Ⅰ607的上端连接在转动板402的下表面，下端连接有输出端朝上的步进电机Ⅳ601，步进电机Ⅳ601的输出端连接有丝杆Ⅰ602，丝杆Ⅰ602的上端设置有限位块604，限位块604连接在连接件Ⅰ607上。所述丝杆Ⅰ602上旋入丝杆螺母Ⅰ605，丝杆螺母Ⅰ605的侧壁上连接有若干撑杆606，若干撑杆606沿丝杆螺母Ⅰ605的周向间隔布置，若干撑杆606连接到升降圆环603的内壁上。
参见图4，所述升降圆环603的下表面连接有3个电子显微镜11，3个电子显微镜11沿升降圆环603的周向等间距布置。
参见图5，所述微调升降部件5包括步进电机Ⅴ501、丝杆Ⅱ502、丝杆螺母Ⅱ503和连接臂Ⅰ504，转动板402上设置有供步进电机Ⅴ501输出轴穿过的通孔Ⅳ，步进电机Ⅴ501安装在转动板402的上表面，步进电机Ⅴ501的输出轴穿过转动板402的通孔Ⅳ并伸到转动板402的下方。
所述步进电机Ⅴ501的输出轴与丝杆Ⅱ502连接，丝杆Ⅱ502上旋入丝杆螺母Ⅱ503，连接臂Ⅰ504的上端连接到丝杆螺母Ⅱ503的侧壁上。所述丝杆Ⅱ502的下端设置有限位板505，限位板505上固定有连接件Ⅱ506，连接件Ⅱ506的上端与转动板402连接。
参见图6，所述连接臂Ⅰ504的下端设置有供步进电机Ⅵ12输出轴穿过的通孔Ⅴ，通孔Ⅴ上设置有45°角的圆锥滚子轴承Ⅰ，圆锥滚子轴承Ⅰ的外圈固定在通孔Ⅴ的孔壁上，步进电机Ⅵ12的输出轴穿过圆锥滚子轴承Ⅰ的内圈并与连接臂Ⅱ8的上端连接，形成毛囊采集机构的肩关节。所述连接臂Ⅱ8的下端设置有供步进电机Ⅶ13输出轴穿过的通孔Ⅵ。
参见图6，所述刀具10包括刀架1001、步进电机Ⅷ1002和刀头1003，连接臂Ⅱ8的通孔Ⅵ上设置有45°角的圆锥滚子轴承Ⅱ，该圆锥滚子轴承Ⅱ的外圈固定在通孔Ⅵ的孔壁上，步进电机Ⅶ13的输出轴穿过圆锥滚子轴承Ⅱ的内圈并与刀架1001连接，形成毛囊采集机构的肘关节，步进电机Ⅷ1002安装到刀架1001上，步进电机Ⅷ1002的输出轴连接有丝杆Ⅲ1004，丝杆Ⅲ1004上旋入丝杆螺母Ⅲ1005，刀头1003连接到丝杆螺母Ⅲ1005的外壁上。
参见图7，为本实施例所述视觉系统的工作流程图，包括以下步骤：
1.通过所述Matlab相机标定工具箱和棋盘标定板标定双目全局摄像头7和3个电子显微镜11，得到双目全局摄像头7和3个电子显微镜11的相机矩阵，计算出相邻两个电子显微镜11之间的基本矩阵与本质矩阵，具体包括以下分步骤：
4-1)拍摄棋盘标定板的图像。
4-2)对每一张标定图片，提取角点信息。
4-3)求解理想无畸变情况的内参数和外参数，包括以下分步骤：
描述一平面空间坐标到图像坐标的映射为：
式中：s为坐标系的尺度因子，A为相机内参矩阵，u0,v0为相主点坐标，α,β为焦距与像纵横比的融合，γ为径向畸变参数。
Q＝A[r1 r2 t] (4)
Q＝[h1h2h3] (5)
Q为单应性矩阵，根据单应性矩阵的性质得到：
从而求出图像平面到世界平面的单应性矩阵Q，Q为内参阵和外参阵的组合，想要最终分别获得内参和外参，需要先把内参求出来。
由于r1,r2正交，且旋转向量为模为1，可得：
易知C为对称阵；
vij＝[hi1hj1 h11hj2+hi2hj1 hi2hj2 hi3hj1+h11hj3 hi3hj2+hi2hj3 hi3hj3]T (12)
求出C，通过Cholesky分解，得到摄相机的内参阵的六个自由度，即：
则外参也进一步求得：
r1＝λA-1h1 r2＝λA-1h2 r3＝r1×r2 t＝λA-1h3
λ＝1/||A-1h1||＝1/||A-1h2|| (15)
相机矩阵由内参与外参组成K＝A[D T]，其中，[D T]为未消参的完整相机位姿变换矩阵；
相邻两个所述电子显微镜11之间的基本矩阵F按如下公式计算：
式中，p1和p2为相匹配的像点，l2为对极线。
设定p1＝[u1，v1，1]，p2＝[u2，v2，1]，采用8点法计算基础矩阵：
把基础矩阵F的各个元素当作一个向量处理：
f＝[f1，f2，f3，f4，f5，f6，f7，f8，f9] (18)
则公式(17)推导为：
[u1 u2，u1 v2，u1，υ1 u2，v1 v2，v1，u2，v2，1]·f＝0 (19)
将所有点的方程放到一起，得到一个线性方程组，(ui，vi)表示第i个特征点：
求解上面的方程组就可以得到基础矩阵的各个元素了。
相邻两个所述电子显微镜11之间的本质矩阵E按如下公式计算：
经计算，三个所述电子显微镜11的相机矩阵为：
三个所述电子显微镜11的基本矩阵为：
三个所述电子显微镜11的本质矩阵为：
2.所述双目全局摄像头7通过图像分割法找到使用者头部14的毛囊区域，并将毛囊区域的视觉信息发送至上位机，本实施例采用人头塑料模型作为试验对象，具体包括以下分步骤：
5-1)采用如下方法将图像RGB空间转换到HSV空间：
V＝max(R,G,B)
IfH＜0thenH＝H+360
参见图8中的(1)图和(2)图，分别为转换前后的效果图。
5-2)对HSV色彩空间进行筛选，筛选条件为20＜H＜40,20＜S＜120,160＜V＜255，参见图9，为筛选的结果图。
5-3)使用[15,15]大小的卷积核对图像进行腐蚀操作，腐蚀是图像处理基础卷积运算之一，将目标像素的值替换为卷积核覆盖区域的局部最小值，运算结果如图10所示。
5-4)使用[19,19]大小的卷积核对图像进行膨胀操作，膨胀是图像处理基础卷积运算之一，将目标像素的值替换为卷积核覆盖区域的局部最大值，运算结果如图11所示。
5-5)用圆形去拟合上述连通区域：求取图像中连通区域的所有像素坐标位置的平均值作为连通区域的圆心，再计算距离圆心最远的像素点的欧几里得距离作为该圆的半径，圆半径大于80mm的连通区域，为毛囊区域，图12中圈出了找到的毛囊区域。
3.所述上位机通过控制系统控制步进电机Ⅰ103和步进电机Ⅱ201转动，转杆101转动，滑块3滑动，刀头1003和3个电子显微镜11移动到毛囊区域正上方。所述控制系统控制步进电机Ⅲ405和步进电机Ⅳ601转动，使用索贝尔算子与电子显微镜11采集到的图像进行卷积操作，得到各个像素点的梯度值，筛选出梯度大于10的像素点作为图像角点。其中，像素点的筛选过程包括以下步骤：
选用索贝尔算子：
其中，Gx为水平方向梯度算子，Gy为竖直方向梯度算子，使用算子对图像进行卷积操作，得到：
式中，Hx和Hy分别为两个算子卷积操作后得到的结果，继续对Hx和Hy进行运算：
I记录了图形中各个像素点的梯度值,从而对该梯度值进行筛选。参见图13中的(1)图和(2)图分别为筛选前和筛选后的效果图。
4.通过寻找图像角点的数量极大值使得上述电子显微镜(11)的对焦达标，若对焦不达标，则继续转动步进电机Ⅲ(405)和步进电机Ⅳ(601)，直到3个电子显微镜(11)均对焦达标，具体步骤如下：
7-1)所述步进电机Ⅳ601带动电子显微镜11下降，电子显微镜11以0.1秒为步长采样3秒，得到一组角点数目的数据以及一组步进电机Ⅳ601转角的数据。
7-2)对所述角点数据每个元素循环比较，找到数值最大的角点元素，当极大值角点数目大于2500个时，确定步进电机Ⅳ601的调焦转角。当极大值角点数目小于等于2500个时，重复步骤7-1)，直到极大值角点数目大于2500个。
7-3)所述步进电机Ⅳ601根据调焦转角进行调节对焦。
5.3个所述电子显微镜11将拍摄到的毛囊区域图像发送至上位机，并将图像从RGB色彩空间转化到HSV色彩空间，转化方法如下：
V＝max(R,G,B)
IfH＜0thenH＝H+360
参见图14中的(1)图和(2)图，分别为色彩空间转化前后的效果图。
6.根据预先调试毛囊的HSV色彩值，将毛囊区域的所有毛囊放入HSV色彩空间进行筛选，筛选条件为0＜H＜180,0＜S＜1,0＜V＜125，留下毛囊的图像轮廓，采用高斯滤波器对图像轮廓进行处理去除图像噪点。其中，高斯滤波器的处理步骤如下：
选用5×5的高斯核作为卷积算子能达到最好的效果，形如：
使用该算子与图像进行卷积操作；
其中G为原图像，L为卷积核，H为卷积后结果图像。参见图15中的(1)图和(2)图，分别为去噪前后的图像效果图。
7.对图像轮廓进行轮廓查找，区分图像中的连通区域与非连通区域，再寻找连通区域的最小外接矩形，所述连通区域的最小外接矩形的计算包括以下步骤：
8-1)对目标轮廓绕中心点旋转一个微小角度，旋转公式为：
其中，x1,y1为旋转前坐标，x2,y2为旋转后坐标，x0,y0为中心点坐标。参见图16中的(1)图和(2)图，分别为旋转前后的效果图。
8-2)找出轮廓像素点中x坐标最大值的像素点，x坐标最小值的像素点，y坐标最大值的像素点，y坐标最小值的像素点。
8-3)通过x坐标最大值的像素点，x坐标最小值的像素点做两条水平线，通过y坐标最大值的像素点，y坐标最小值的像素点做两条竖直线。形成了包围图像的矩形框，求出该矩形框的四个角点，图17中显现出这四个点。
8-4)记录所述矩形框的面积，重复步骤8-1)，直到计算完所有角度对应的矩形面积。
8-5)找出面积最小的矩形框即为目标所求的最小外接矩形，在本实施例中，当旋转角度为-74.931510925293度时，则找到了最小包围矩形框。
8.根据毛囊的几何特征对最小外接矩形进行筛选，在总体毛囊中选出目标毛囊。其中，目标毛囊的选取条件为：
毛囊宽度大于2个像素值。
9.通过所述刀头1003与目标毛囊的几何特征，获取毛囊的首末两端及刀头1003的像素坐标。再利用所述电子显微镜11之间的基本矩阵与本质矩阵构建每一个目标像素点与电子显微镜11之间的核面，根据核面几何学，对三个电子显微镜的目标像素进行一一匹配匹配过程如下：
9-1)根据基本矩阵的定义与核面几何学有：
p2,p1是齐次形式的两个图像中匹配的图像点，F为基本矩阵。
令：l2＝Fp1(28)
则：
9-2)任取第一幅图像中的一个像素点，带入式(27)，只有当第二幅图像中的p2满足式(28)时，第二幅图像中的p2才可能与第一幅图像的p1匹配，l2为核线，由于存在少量畸变，需将第二幅图像中所有的目标像素点依次进行计算，选取其中计算结果最小且小于0.01的第二幅图像中的目标像素点与第一幅图像中的像素点进行匹配。
10.匹配完成后，采用相机中央透视模型与相机矩阵计算出每一个目标像素点相对于相机坐标系的相对坐标，具体包括以下步骤：
10-1)设定相机中央透视模型为：
则相机Ⅰ和相机Ⅱ的中央透视模型为：
化简上式后，消去Zc1与Zc2，得到：
将一对匹配点
带入式(33)，解出目标点在空间中的坐标
通过三维坐标变换，计算得到目标毛囊与所述刀头1003的空间绝对位姿和相对位姿。基于目标毛囊与所述刀头1003的空间绝对位姿和相对位姿，控制系统控制步进电机Ⅴ501、步进电机Ⅵ12和步进电机Ⅶ13转动，刀头1003移动到工作位姿，控制系统控制步进电机Ⅷ1002转动，刀头1003通过伸缩对目标毛囊进行拔取。
所述控制系统包括控制系统Ⅰ、控制系统Ⅱ、控制系统Ⅲ和控制系统Ⅳ。
所述控制系统Ⅰ包括单片机Ⅰ、步进电机Ⅰ驱动模块、步进电机Ⅱ驱动模块、编码器Ⅰ、编码器Ⅱ、电源模块Ⅰ和电路保护模块Ⅰ。所述上位机向控制系统Ⅰ发送控制信息，单片机Ⅰ接收到控制信息并向步进电机Ⅰ驱动模块和步进电机Ⅱ驱动模块发送脉冲波，从而控制步进电机Ⅰ103和步进电机Ⅱ201转动。所述编码器Ⅰ和编码器Ⅱ分别采集步进电机Ⅰ103和步进电机Ⅱ201的旋转信息并发送至单片机Ⅰ，单片机Ⅰ将旋转信息反馈给上位机。
所述控制系统Ⅱ包括单片机Ⅱ、步进电机Ⅲ驱动模块、步进电机Ⅳ驱动模块、编码器Ⅲ、编码器Ⅳ、电源模块Ⅱ和电路保护模块Ⅱ。所述上位机向控制系统Ⅱ发送控制信息，单片机Ⅱ向步进电机Ⅲ驱动模块和步进电机Ⅳ驱动模块发送脉冲波，控制步进电机Ⅲ405和步进电机Ⅳ601转动。所述编码器Ⅲ和编码器ⅣⅡ分别采集步进电机Ⅲ405和步进电机Ⅳ601的旋转信息并发送至单片机Ⅱ，单片机Ⅱ将旋转信息反馈给上位机。
所述控制系统Ⅲ包括单片机Ⅲ、步进电机Ⅴ驱动模块、步进电机Ⅵ驱动模块、步进电机Ⅶ驱动模块、编码器Ⅴ、编码器Ⅵ、编码器Ⅶ、电源模块Ⅲ和电路保护模块Ⅲ。所述上位机将旋转信息发送至单片机Ⅲ，单片机Ⅲ向步进电机Ⅴ驱动模块、步进电机Ⅵ驱动模块和步进电机Ⅶ驱动模块发送脉冲波，控制步进电机Ⅴ501、步进电机Ⅵ12和步进电机Ⅶ13转动。所述编码器Ⅴ、编码器Ⅵ和编码器Ⅶ分别采集步进电机Ⅴ501、步进电机Ⅵ12和步进电机Ⅶ13的旋转信息并发送至单片机Ⅲ，单片机Ⅲ将旋转信息反馈给上位机。
所述控制系统Ⅳ包括单片机Ⅳ、步进电机Ⅷ驱动模块、编码器Ⅷ、电源模块Ⅳ和电路保护模块Ⅳ。所述上位机将旋转信息发送至单片机Ⅳ，单片机Ⅳ向步进电机Ⅷ驱动模块发送脉冲波，控制步进电机Ⅷ1002转动。所述编码器Ⅷ采集步进电机Ⅷ1002的旋转信息并发送至单片机Ⅲ，单片机Ⅲ将旋转信息反馈给上位机。
所述上位机设置有安全控制系统，当上位机检测到步进电机Ⅰ103、步进电机Ⅱ201、步进电机Ⅲ405、步进电机Ⅳ601、步进电机Ⅴ501、步进电机Ⅵ12、步进电机Ⅶ13或步进电机Ⅷ1002的旋转情况与规划情况相差较大时，安全控制系统停止所有步进电机的运行。
当所述刀头1003与目标毛囊的距离小于设定的安全距离时，安全控制系统停止所有步进电机的运行。
所述刀头1003上设置有压力传感器，刀头1003拔取目标毛囊时，压力传感器将监测数据通过单片机Ⅳ发送至上位机。当所述压力传感器的监测数据发生异常时，安全控制系统控制刀头1003缩到最短，并停止所有步进电机的运行。
操作者也可通过所述人机交互界面启动安全控制系统，进一步确保操作安全。
Claims (10)
1.一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：包括上位机、Matlab相机标定工具箱、棋盘标定板、高斯滤波器、双目全局摄像头(7)和电子显微镜(11)，上位机安装有Matlab相机标定工具箱和棋盘标定板；
所述双目全局摄像头(7)和3个电子显微镜(11)均与上位机通讯连接，双目全局摄像头(7)和3个电子显微镜(11)均安装在自动化毛囊采集机器上，自动化毛囊采集机器包括粗调螺旋(1)、滑槽(2)、滑块(3)、微调螺旋(4)、微调升降部件(5)、电子显微镜升降部件(6)、连接臂Ⅱ(8)和刀具(10)；
所述粗调螺旋(1)包括转杆(101)、平台(102)和步进电机Ⅰ(103)，平台(102)上设置有供转杆(101)穿过的通孔Ⅰ，转杆(101)竖直设置，转杆(101)的上端穿过平台(102)上的通孔Ⅰ并伸出平台(102)的上表面，转杆(101)与平台(102)固定；所述平台(102)上安装有步进电机Ⅰ(103)，步进电机Ⅰ(103)的输出轴通过皮带与转杆(101)的上端传动连接；
所述滑槽(2)呈弧形，滑槽(2)的开口位于滑槽(2)凹面上，转杆(101)的下端与滑槽(2)的外表面连接，连接点靠近滑槽(2)的一端，这一端记为滑槽(2)的上端；所述滑槽(2)的上端连接有步进电机Ⅱ(201)，步进电机Ⅱ(201)的下表面连接有双目全局摄像头(7)；
所述滑块(3)安装到滑槽(2)内，滑块(3)上连接有皮带，该皮带与步进电机Ⅱ(201)传动连接；
所述微调螺旋(4)包括连接杆(401)、转动板(402)、带轮(403)、圆锥滚子轴承(404)和步进电机Ⅲ(405)，连接杆(401)的上端连接到滑块(3)的下表面；所述转动板(402)设置有供连接杆(401)穿过的通孔Ⅱ和供步进电机Ⅲ(405)输出轴穿过的通孔Ⅲ；所述步进电机Ⅲ(405)安装在转动板(402)的上表面，步进电机Ⅲ(405)的输出轴穿过转动板(402)的通孔Ⅲ并伸到转动板(402)的下方；
所述连接杆(401)的下端穿过转动板(402)的通孔Ⅱ并伸到转动板(402)的下方，位于转动板(402)下方的圆锥滚子轴承(404)的内钢圈套设并固定在连接杆(401)上，圆锥滚子轴承(404)外钢圈的上边缘连接在转动板(402)的下表面；位于所述圆锥滚子轴承(404)下方的带轮(403)套设在连接杆(401)上，带轮(403)的上边缘与圆锥滚子轴承(404)外钢圈的下边缘连接；所述带轮(403)通过皮带与步进电机Ⅲ(405)的输出轴传动连接；
所述电子显微镜升降部件(6)包括步进电机Ⅳ(601)、丝杆Ⅰ(602)、升降圆环(603)、限位块(604)和连接件Ⅰ(607)，连接件Ⅰ(607)的上端连接在转动板(402)的下表面，下端连接有输出端朝上的步进电机Ⅳ(601)，步进电机Ⅳ(601)的输出端连接有丝杆Ⅰ(602)，丝杆Ⅰ(602)的上端设置有限位块(604)，限位块(604)连接在连接件Ⅰ(607)上；所述丝杆Ⅰ(602)上旋入丝杆螺母Ⅰ(605)，丝杆螺母Ⅰ(605)的侧壁上连接有若干撑杆(606)，若干撑杆(606)沿丝杆螺母Ⅰ(605)的周向间隔布置，若干撑杆(606)连接到升降圆环(603)的内壁上；
所述升降圆环(603)的下表面连接有3个电子显微镜(11)，3个电子显微镜(11)沿升降圆环(603)的周向等间距布置；
所述微调升降部件(5)包括步进电机Ⅴ(501)、丝杆Ⅱ(502)、丝杆螺母Ⅱ(503)和连接臂Ⅰ(504)，转动板(402)上设置有供步进电机Ⅴ(501)输出轴穿过的通孔Ⅳ，步进电机Ⅴ(501)安装在转动板(402)的上表面，步进电机Ⅴ(501)的输出轴穿过转动板(402)的通孔Ⅳ并伸到转动板(402)的下方；
所述步进电机Ⅴ(501)的输出轴与丝杆Ⅱ(502)连接，丝杆Ⅱ(502)上旋入丝杆螺母Ⅱ(503)，连接臂Ⅰ(504)的上端连接到丝杆螺母Ⅱ(503)的侧壁上；
所述连接臂Ⅰ(504)的下端设置有供步进电机Ⅵ(12)输出轴穿过的通孔Ⅴ，步进电机Ⅵ(12)的输出轴穿过连接臂Ⅰ(504)的通孔Ⅴ并与连接臂Ⅱ(8)的上端连接；所述连接臂Ⅱ(8)的下端设置有供步进电机Ⅶ(13)输出轴穿过的通孔Ⅵ；
所述刀具(10)包括刀架(1001)、步进电机Ⅷ(1002)和刀头(1003)，步进电机Ⅶ(13)的输出轴穿过连接臂Ⅱ(8)的通孔Ⅵ并与刀架(1001)连接，步进电机Ⅷ(1002)安装到刀架(1001)上，步进电机Ⅷ(1002)的输出轴连接有丝杆Ⅲ(1004)，丝杆Ⅲ(1004)上旋入丝杆螺母Ⅲ(1005)，刀头(1003)连接到丝杆螺母Ⅲ(1005)的外壁上；
工作时，通过所述Matlab相机标定工具箱和棋盘标定板标定双目全局摄像头(7)和3个电子显微镜(11)，得到双目全局摄像头(7)和3个电子显微镜(11)的相机矩阵，计算出相邻两个电子显微镜(11)之间的基本矩阵与本质矩阵；所述双目全局摄像头(7)通过图像分割法找到使用者头部(14)的毛囊区域，并将毛囊区域的视觉信息发送至上位机；所述上位机通过控制系统控制步进电机Ⅰ(103)和步进电机Ⅱ(201)转动，转杆(101)转动，滑块(3)滑动，刀头(1003)和3个电子显微镜(11)移动到毛囊区域正上方；所述控制系统控制步进电机Ⅲ(405)和步进电机Ⅳ(601)转动，使用索贝尔算子与电子显微镜(11)采集到的图像进行卷积操作，得到各个像素点的梯度值，筛选出梯度大于10的像素点作为图像角点；将3个所述电子显微镜(11)完全对焦；3个所述电子显微镜(11)将拍摄到的毛囊区域图像发送至上位机，并将图像从RGB色彩空间转化到HSV色彩空间；根据预先调试毛囊的HSV色彩值，将毛囊区域的所有毛囊放入HSV色彩空间进行筛选，留下毛囊的图像轮廓，采用高斯滤波器对图像轮廓进行处理去除图像噪点；对图像轮廓进行轮廓查找，区分图像中的连通区域与非连通区域，再寻找连通区域的最小外接矩形；根据毛囊的几何特征对最小外接矩形进行筛选，在总体毛囊中选出目标毛囊；通过所述刀头(1003)与目标毛囊的几何特征，获取毛囊的首末两端及刀头(1003)的像素坐标；再利用所述电子显微镜(11)之间的基本矩阵与本质矩阵构建每一个目标像素点与电子显微镜(11)之间的核面，根据核面几何学，对三个电子显微镜的目标像素进行一一匹配；匹配完成后，采用相机中央透视模型与相机矩阵计算出每一个目标像素点相对于相机坐标系的相对坐标，通过三维坐标变换，计算得到目标毛囊与所述刀头(1003)的空间绝对位姿和相对位姿；基于目标毛囊与所述刀头(1003)的空间绝对位姿和相对位姿，控制系统控制步进电机Ⅴ(501)、步进电机Ⅵ(12)和步进电机Ⅶ(13)转动，刀头(1003)移动到工作位姿，控制系统控制步进电机Ⅷ(1002)转动，刀头(1003)通过伸缩对目标毛囊进行拔取。
2.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：所述控制系统包括控制系统Ⅰ、控制系统Ⅱ、控制系统Ⅲ和控制系统Ⅳ；
所述控制系统Ⅰ包括单片机Ⅰ、步进电机Ⅰ驱动模块、步进电机Ⅱ驱动模块、编码器Ⅰ、编码器Ⅱ、电源模块Ⅰ和电路保护模块Ⅰ；所述上位机向控制系统Ⅰ发送控制信息，单片机Ⅰ接收到控制信息并向步进电机Ⅰ驱动模块和步进电机Ⅱ驱动模块发送脉冲波，从而控制步进电机Ⅰ(103)和步进电机Ⅱ(201)转动；所述编码器Ⅰ和编码器Ⅱ分别采集步进电机Ⅰ(103)和步进电机Ⅱ(201)的旋转信息并发送至单片机Ⅰ，单片机Ⅰ将旋转信息反馈给上位机；
所述控制系统Ⅱ包括单片机Ⅱ、步进电机Ⅲ驱动模块、步进电机Ⅳ驱动模块、编码器Ⅲ、编码器Ⅳ、电源模块Ⅱ和电路保护模块Ⅱ；所述上位机向控制系统Ⅱ发送控制信息，单片机Ⅱ向步进电机Ⅲ驱动模块和步进电机Ⅳ驱动模块发送脉冲波，控制步进电机Ⅲ(405)和步进电机Ⅳ(601)转动；所述编码器Ⅲ和编码器ⅣⅡ分别采集步进电机Ⅲ(405)和步进电机Ⅳ(601)的旋转信息并发送至单片机Ⅱ，单片机Ⅱ将旋转信息反馈给上位机；
所述控制系统Ⅲ包括单片机Ⅲ、步进电机Ⅴ驱动模块、步进电机Ⅵ驱动模块、步进电机Ⅶ驱动模块、编码器Ⅴ、编码器Ⅵ、编码器Ⅶ、电源模块Ⅲ和电路保护模块Ⅲ；所述上位机将旋转信息发送至单片机Ⅲ，单片机Ⅲ向步进电机Ⅴ驱动模块、步进电机Ⅵ驱动模块和步进电机Ⅶ驱动模块发送脉冲波，控制步进电机Ⅴ(501)、步进电机Ⅵ(12)和步进电机Ⅶ(13)转动；所述编码器Ⅴ、编码器Ⅵ和编码器Ⅶ分别采集步进电机Ⅴ(501)、步进电机Ⅵ(12)和步进电机Ⅶ(13)的旋转信息并发送至单片机Ⅲ，单片机Ⅲ将旋转信息反馈给上位机；
所述控制系统Ⅳ包括单片机Ⅳ、步进电机Ⅷ驱动模块、编码器Ⅷ、电源模块Ⅳ和电路保护模块Ⅳ；所述上位机将旋转信息发送至单片机Ⅳ，单片机Ⅳ向步进电机Ⅷ驱动模块发送脉冲波，控制步进电机Ⅷ(1002)转动；所述编码器Ⅷ采集步进电机Ⅷ(1002)的旋转信息并发送至单片机Ⅲ，单片机Ⅲ将旋转信息反馈给上位机。
3.根据权利要求2所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：所述上位机设置有安全控制系统，当所述刀头(1003)与目标毛囊的距离小于设定的安全距离时，安全控制系统停止所有步进电机的运行；
所述刀头(1003)上设置有压力传感器，刀头(1003)拔取目标毛囊时，压力传感器将监测数据通过单片机Ⅳ发送至上位机；当所述压力传感器的监测数据发生异常时，安全控制系统控制刀头(1003)缩到最短，并停止所有步进电机的运行。
4.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：所述双目全局摄像头(7)和3个电子显微镜(11)的标定均包括以下步骤：
4-1)拍摄棋盘标定板的图像；
4-2)对每一张标定图片，提取角点信息；
4-3)求解理想无畸变情况的内参数和外参数，包括以下分步骤：
描述一平面空间坐标到图像坐标的映射为：
式中：s为坐标系的尺度因子，A为相机内参矩阵，u0,v0为相主点坐标，α,β为焦距与像纵横比的融合，γ为径向畸变参数；
Q＝A[r1 r2 t] (4)
Q＝[h1h2h3] (5)
Q为单应性矩阵，根据单应性矩阵的性质得到：
从而求出图像平面到世界平面的单应性矩阵Q，Q为内参阵和外参阵的组合；
由于r1,r2正交，且旋转向量为模为1，可得：
C为对称阵；
vij＝[hi1hj1 h11hj2+hi2hj1 hi2hj2 hi3hj1+h11hj3 hi3hj2+hi2hj3 hi3hj3]T (12)
求出C，通过Cholesky分解，得到摄相机的内参阵的六个自由度，即：
则外参也进一步求得：
r1＝λA-1h1 r2＝λA-1h2 r3＝r1×r2 t＝λA-1h3
λ＝1/||A-1h1||＝1/||A-1h2|| (15)
相机矩阵由内参与外参组成K＝A[D T]，其中，[D T]为未消参的完整相机位姿变换矩阵；
相邻两个所述电子显微镜(11)之间的基本矩阵F按如下公式计算：
式中，p1和p2为相匹配的像点，l2为对极线；
设定p1＝[u1,v1,1]，p2＝[u2,v2,1]，采用8点法计算基础矩阵：
相邻两个所述电子显微镜(11)之间的本质矩阵E按如下公式计算：
5.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：采用图像分割法找到所述使用者头部(14)的毛囊区域包括以下步骤：
5-1)将图像RGB空间转换到HSV空间；
5-2)对HSV色彩空间进行筛选；
5-3)使用[15,15]大小的卷积核对图像进行腐蚀操作；
5-4)使用[19,19]大小的卷积核对图像进行膨胀操作；
5-5)求取图像中连通区域的所有像素坐标位置的平均值作为连通区域的圆心，再计算距离圆心最远的像素点的欧几里得距离作为该圆的半径，圆半径大于80mm的连通区域，为毛囊区域。
6.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：像素点的筛选过程包括以下步骤：
选用索贝尔算子：
其中，Gx为水平方向梯度算子，Gy为竖直方向梯度算子，使用算子对图像进行卷积操作，得到：
式中，Hx和Hy分别为两个算子卷积操作后得到的结果，继续对Hx和Hy进行运算：
I记录了图形中各个像素点的梯度值,从而对该梯度值进行筛选。
7.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：所述电子显微镜(11)的对焦包括以下步骤：
7-1)所述步进电机Ⅳ(601)带动电子显微镜(11)下降，电子显微镜(11)以0.1秒为步长采样3秒，得到一组角点数目的数据以及一组步进电机Ⅳ(601)转角的数据；
7-2)对所述角点数据每个元素循环比较，找到数值最大的角点元素，当极大值角点数目大于2500个时，确定步进电机Ⅳ(601)的调焦转角；当极大值角点数目小于等于2500个时，重复步骤7-1)，直到极大值角点数目大于2500个；
7-3)所述步进电机Ⅳ(601)根据调焦转角进行调节对焦。
8.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：所述连通区域的最小外接矩形的计算包括以下步骤：
8-1)对目标轮廓绕中心点旋转一个微小角度，旋转公式为：
其中，x1,y1为旋转前坐标，x2,y2为旋转后坐标，x0,y0为中心点坐标；
8-2)找出轮廓像素点中x坐标最大值的像素点，x坐标最小值的像素点，y坐标最大值的像素点，y坐标最小值的像素点；
8-3)通过x坐标最大值的像素点，x坐标最小值的像素点做两条水平线，通过y坐标最大值的像素点，y坐标最小值的像素点做两条竖直线；形成了包围图像的矩形框，求出该矩形框的四个角点；
8-4)记录所述矩形框的面积，重复步骤8-1)，直到计算完所有角度对应的矩形面积；
8-5)找出面积最小的矩形框即为目标所求的最小外接矩形。
9.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：三个所述电子显微镜的目标像素的匹配包括以下步骤：
9-1)根据基本矩阵的定义与核面几何学有：
p2,p1是齐次形式的两个图像中匹配的图像点，F为基本矩阵；
令：
l2＝Fp1 (23)
则：
9-2)任取第一幅图像中的一个像素点，带入式(22)，只有当第二幅图像中的p2满足式(23)时，第二幅图像中的p2才可能与第一幅图像的p1匹配，l2为核线，考虑到畸变，需将第二幅图像中所有的目标像素点依次进行计算，选取其中计算结果最小且小于0.01的第二幅图像中的目标像素点与第一幅图像中的像素点进行匹配。
10.根据权利要求1所述的一种用于引导自动化毛囊采集机器的视觉系统，其特征在于：基于相机中央透视模型与相机矩阵计算每一个目标像素点相对于相机坐标系的相对坐标包括以下步骤：
10-1)设定相机中央透视模型为：
则相机Ⅰ和相机Ⅱ的中央透视模型为：
化简上式后，消去Zc1与Zc2，得到：
将一对匹配点
带入式(28)，解出目标点在空间中的坐标
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010833617.7A CN112037281B (zh) | 2020-08-18 | 2020-08-18 | 一种用于引导自动化毛囊采集机器的视觉系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010833617.7A CN112037281B (zh) | 2020-08-18 | 2020-08-18 | 一种用于引导自动化毛囊采集机器的视觉系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112037281A CN112037281A (zh) | 2020-12-04 |
| CN112037281B true CN112037281B (zh) | 2022-09-23 |
Family
ID=73578024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010833617.7A Active CN112037281B (zh) | 2020-08-18 | 2020-08-18 | 一种用于引导自动化毛囊采集机器的视觉系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037281B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284111A (zh) * | 2021-05-26 | 2021-08-20 | 汕头大学 | 一种基于双目立体视觉的毛囊区域定位方法及系统 |
| CN115590584B (zh) * | 2022-09-06 | 2023-11-14 | 汕头大学 | 一种基于机械臂的毛囊取发控制方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
| CN106646845A (zh) * | 2016-10-26 | 2017-05-10 | 广西师范大学 | 实现自动对焦和三维重建的显微系统及其图像获取方法 |
| CN106730106A (zh) * | 2016-11-25 | 2017-05-31 | 哈尔滨工业大学 | 机器人辅助的显微注射系统的坐标标定方法 |
| CN107918203A (zh) * | 2017-12-25 | 2018-04-17 | 湖北汉水荣盛医疗科技有限公司 | 显微镜自动进样装置 |
| WO2019080229A1 (zh) * | 2017-10-25 | 2019-05-02 | 南京阿凡达机器人科技有限公司 | 基于机器视觉的棋子定位方法、系统、存储介质及机器人 |
| CN110794569A (zh) * | 2019-11-14 | 2020-02-14 | 武汉兰丁医学高科技有限公司 | 细胞微型显微图像采集装置及图像识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6693664B2 (en) * | 1999-06-30 | 2004-02-17 | Negevtech | Method and system for fast on-line electro-optical detection of wafer defects |
-
2020
- 2020-08-18 CN CN202010833617.7A patent/CN112037281B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
| CN106646845A (zh) * | 2016-10-26 | 2017-05-10 | 广西师范大学 | 实现自动对焦和三维重建的显微系统及其图像获取方法 |
| CN106730106A (zh) * | 2016-11-25 | 2017-05-31 | 哈尔滨工业大学 | 机器人辅助的显微注射系统的坐标标定方法 |
| WO2019080229A1 (zh) * | 2017-10-25 | 2019-05-02 | 南京阿凡达机器人科技有限公司 | 基于机器视觉的棋子定位方法、系统、存储介质及机器人 |
| CN107918203A (zh) * | 2017-12-25 | 2018-04-17 | 湖北汉水荣盛医疗科技有限公司 | 显微镜自动进样装置 |
| CN110794569A (zh) * | 2019-11-14 | 2020-02-14 | 武汉兰丁医学高科技有限公司 | 细胞微型显微图像采集装置及图像识别方法 |
Non-Patent Citations (6)
| Title |
|---|
| Follicular unit extraction with the Artas robotic hair transplant system system: an evaluation of FUE yield;Rashid;《Dermatology Online Journal》;20140430;1-5 * |
| Usage of Stereo Projections for Robot Orientation;A.V. Karpov;《2006 International Conference on Actual Problems of Electron Devices Engineering》;20070212;1-5 * |
| 基于改进SIFT算法的双目视觉距离测量;李奇敏;《传感器与微系统》;20171206;119-122 * |
| 直线超声电机驱动的平面3-PRR并联平台视觉精密定位关键技术研究;周丽平;《中国博士学位论文全文数据库 (工程科技Ⅱ辑)》;20160115;C042-45 * |
| 眼科手术机器人双目视觉标定方法研究;闫兴等;《工具技术》;20191220(第12期);1-6 * |
| 移动机器人双目立体视觉技术研究;胡凌山;《万方》;20060425;1-65 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112037281A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106338521B (zh) | 增材制造表面及内部缺陷与形貌复合检测方法及装置 | |
| CN112037281B (zh) | 一种用于引导自动化毛囊采集机器的视觉系统 | |
| CN101532926A (zh) | 冲击试样自动加工装置在线检测视觉系统及其图像处理方法 | |
| CN101456159B (zh) | 火花识别对刀方法及磨削加工自动化系统 | |
| CN106841206A (zh) | 大型零件化学铣削切割非接触在线检测方法 | |
| CN101561249B (zh) | 手术刀片配合尺寸自动检测方法 | |
| CN108544531B (zh) | 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法 | |
| CN107507174A (zh) | 基于手持智能巡检的电厂仪表设备图像识别方法及系统 | |
| CN105666246B (zh) | 基于ccd的刀具参数测量装置及其测量方法 | |
| CN109839384B (zh) | 用于微型振动马达缺陷检测的视觉检测仪及检测方法 | |
| CN113724216A (zh) | 一种波峰焊点缺陷检测方法及系统 | |
| CN110196252B (zh) | 坡口缺陷检测算法及装置 | |
| CN107957245A (zh) | 基于机器视觉的发动机连杆尺寸测量装置及其测量方法 | |
| CN113689401A (zh) | 一种直拉硅单晶炉晶棒直径检测方法及其装置 | |
| CN107160241A (zh) | 一种基于数控机床的视觉定位系统及方法 | |
| CN110640303B (zh) | 高精度视觉定位系统及其定位校准方法 | |
| CN109540918B (zh) | 一种热轧卷边部缺陷检测装置及方法 | |
| CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
| CN108074265A (zh) | 一种基于视觉辨识的网球定位系统、方法及装置 | |
| CN110954555A (zh) | Wdt 3d视觉检测系统 | |
| CN114659463B (zh) | 一种植物表型采集装置及其采集方法 | |
| CN103707300A (zh) | 机械手装置 | |
| CN110956624A (zh) | 一种针对立体物体的图像清晰度评价方法 | |
| CN107139003A (zh) | 模块化视觉系统制作方法 | |
| CN114113116A (zh) | 一种大口径元件表面微缺陷精确检测工艺方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |