CN117582290A - 一种新型毛囊微针种植控制系统 - Google Patents

一种新型毛囊微针种植控制系统 Download PDF

Info

Publication number
CN117582290A
CN117582290A CN202410066505.1A CN202410066505A CN117582290A CN 117582290 A CN117582290 A CN 117582290A CN 202410066505 A CN202410066505 A CN 202410066505A CN 117582290 A CN117582290 A CN 117582290A
Authority
CN
China
Prior art keywords
hair follicle
opening
image
included angle
hair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410066505.1A
Other languages
English (en)
Other versions
CN117582290B (zh
Inventor
李兴东
王小平
崔韶艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Damai Hair Medical Shenzhen Group Co ltd
Original Assignee
Damai Hair Medical Shenzhen Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Damai Hair Medical Shenzhen Group Co ltd filed Critical Damai Hair Medical Shenzhen Group Co ltd
Priority to CN202410066505.1A priority Critical patent/CN117582290B/zh
Publication of CN117582290A publication Critical patent/CN117582290A/zh
Application granted granted Critical
Publication of CN117582290B publication Critical patent/CN117582290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3468—Trocars; Puncturing needles for implanting or removing devices, e.g. prostheses, implants, seeds, wires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种新型毛囊微针种植控制系统，属于毛囊植发技术领域，包括毛囊开口位置识别模块、毛囊孔方向估计模块、参照毛囊开口位置识别模块、微针方向识别模块、报警模块。本发明通过设置的毛囊孔方向估计模块等，能够较为准确地估计毛囊孔的方向信息，在后续进行毛囊植入时，能够在该毛囊孔附近植入一个方向基本一致的新毛囊，保证了毛囊植入的质量，避免了传统采用医生肉眼判断毛囊孔的方向存在的会导致植入的毛囊受损或者种植效果不理想，使患者的植发体验大大降低的问题。

Description

一种新型毛囊微针种植控制系统
技术领域
本发明涉及毛囊植发技术领域，具体涉及一种新型毛囊微针种植控制系统。
背景技术
毛囊微针是一种微针植发设备，通过使用微针设备将毛囊植入头皮。微针植发技术具有以下优点：微针植发可以更好地保护毛囊，因为微针植发的种植孔很小，可以减少对毛囊的损伤。微针植发可以更精准地定位毛囊，使种植的毛囊方向自然、密度更高。微针植发的恢复时间更短，因为微针植发的创口更小，术后恢复较快。
在利用毛囊微针将毛囊植入头皮时，需要对毛囊微针种植时的方向进行更加精准的控制，现有技术主要是通过医生肉眼判断既有坏死毛囊的毛囊孔的方向，进而控制在该既有坏死毛囊的毛囊孔附近植入毛囊时毛囊微针方向，如果医生判断失误，没有确定准确的既有坏死毛囊的毛囊孔的方向，极可能会导致植入的毛囊受损或者种植效果不理想，使患者的植发体验大大降低。
上述问题亟待解决，为此，提出一种新型毛囊微针种植控制系统。
发明内容
本发明所要解决的技术问题在于：如何解决现有技术中通过医生肉眼判断既有坏死毛囊的毛囊孔的方向，进而控制在该既有坏死毛囊的毛囊孔附近植入毛囊时毛囊微针方向，如果医生判断失误，没有确定准确的既有坏死毛囊的毛囊孔的方向，极可能会导致植入的毛囊受损或者种植效果不理想，使患者的植发体验大大降低的问题，提供了一种新型毛囊微针种植控制系统。
本发明是通过以下技术方案解决上述技术问题的，本发明包括毛囊开口位置识别模块、毛囊孔方向估计模块、参照毛囊开口位置识别模块、微针方向识别模块、报警模块；
所述毛囊开口位置识别模块，用于在植入毛囊前，获取待植发区域中各毛囊开口在第一待植发区域图像中的位置信息；
所述毛囊孔方向估计模块，用于得到表征各个毛囊开口对应的毛囊孔的方向信息的两个夹角估计值；
所述参照毛囊开口位置识别模块，用于获取距离当前毛囊微针的针头组件端部最近的毛囊开口的位置信息，即得到参考毛囊开口位置信息；
所述微针方向识别模块，用于得到表征当前毛囊微针方向信息的两个夹角值；
所述报警模块，用于根据参照毛囊开口位置识别模块获取的距离当前针头组件端部最近的毛囊开口的位置信息，进而获取与之关联的两个夹角估计值，将上述两个夹角估计值与微针方向识别模块的获取两个夹角值，进行分别比较，判断当前微针方向是否准确，不准确时进行报警提示。
更进一步地，所述毛囊开口位置识别模块包括第一拍摄单元、第一位置识别单元；所述第一拍摄单元用于从上方对待植发区域进行俯拍，获得第一待植发区域图像；所述第一位置识别单元用于利用经过训练的第一检测模型对第一待植发区域图像中的毛囊开口进行识别，获取待植发区域中各毛囊开口在图像中的位置信息。
更进一步地，所述第一位置识别单元的具体处理过程如下：
S11：利用第一检测模型对第一待植发区域图像中的各毛囊开口进行识别；
S12：获得各毛囊开口检测框及其左上角点、右下角点在图像中的坐标，记为（xi，yi）；
S13：根据各毛囊开口检测框左上角点、右下角点在图像中的坐标，计算各毛囊开口检测框中心点坐标，记为（xci，yci），各毛囊开口检测框中心点坐标即为待植发区域中各毛囊开口在第一待植发区域图像中的位置信息，其中，下标中的i表示各毛囊开口的序号，下标中的c表示该坐标为中心点。
更进一步地，所述毛囊孔方向估计模块包括第二拍摄单元、第一角度估计单元、第二角度估计单元；所述第二拍摄单元用于根据待植发区域中各毛囊开口在第一待植发区域图像中的位置信息，对各个毛囊开口进行分别拍摄，获取各个毛囊开口的深度图像，即毛囊开口深度图像；所述第一角度估计单元用于利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与竖直方向的夹角进行估计，得到夹角估计值Pi；所述第二角度估计单元用于利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与毛囊开口深度图像坐标系X轴正方向的夹角进行估计，得到夹角估计值Fi。
更进一步地，所述第一角度估计单元的具体处理过程如下：
S201：对于各个毛囊开口深度图像，利用OpenCV中的轮廓识别函数对毛囊开口深度图像中的毛囊开口轮廓进行识别，获得毛囊开口轮廓线坐标信息；
S202：根据毛囊开口轮廓线坐标信息将各个毛囊开口深度图像中的毛囊开口区域从图像中裁剪下来，得到多个毛囊开口区域图像；
S203：对于单个毛囊开口区域图像，获取毛囊开口区域图像内各个像素点的像素值，将各个像素点的像素值进行比较，得到像素值最大点；
S204：选取毛囊开口轮廓线上在图像中距离像素值最大点最远的轮廓点，即得到最远轮廓点；
S205：计算与像素值最大点相邻的所有像素点的像素均值Savg，同时计算与最远轮廓点相邻的所有像素点的像素均值Lavg；
S206：计算像素均值Lavg与Savg的像素差值D，根据像素差值D在像素差值-夹角范围数据库中进行查找比对，获取夹角估计值P，夹角估计值P为范围值；其中，像素差值-夹角范围数据库中存储有像素差值D与夹角估计值P的对应关系；
S207：重复步骤S203～S206，直到获取所有毛囊开口区域图像中各个毛囊开口对应的毛囊孔与竖直方向的夹角估计值Pi，并将各夹角估计值Pi与各毛囊开口在第一待植发区域图像中的位置信息进行关联。
更进一步地，所述第二角度估计单元的具体处理过程如下：
S211：根据步骤S203、步骤S204中获取的像素值最大点、最远轮廓点，对于单个毛囊开口区域图像，获取像素值最大点与最远轮廓点在图像中的坐标；
S212：根据像素值最大点与最远轮廓点得到直线L；
S213：计算直线L与图像坐标系的X轴正方向的夹角，即得到夹角估计值F；
S214：重复步骤S211～S213，直到获取所有毛囊开口区域图像中各个毛囊开口对应的毛囊孔与图像坐标系X轴正方向的夹角估计值Fi，并将各夹角估计值Fi与各毛囊开口在第一待植发区域图像中的位置信息进行关联。
更进一步地，所述参照毛囊开口位置识别模块包括第二位置识别单元、毛囊开口判断单元；所述第二位置识别单元用于利用第一检测模型对第二待植发区域图像中的各毛囊开口、针头组件端部进行识别，获取各毛囊开口检测框中心点坐标、针头组件端部检测框中心点坐标；所述毛囊开口判断单元用于计算各毛囊开口检测框中心点与针头组件端部检测框中心点之间的距离，获取距离当前针头组件端部最近的毛囊开口的位置信息，同时根据毛囊开口的位置信息获取与之关联的夹角估计值Pi、Fi。
更进一步地，所述微针方向识别模块包括第三拍摄单元、第一角度识别单元、第二角度识别单元；所述第三拍摄单元用于对当前针头组件端部进行拍摄，获取针头组件端部侧拍图像；第一角度识别单元用于利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，计算获取当前针头组件端部与竖直方向的夹角值p，视为毛囊微针与竖直方向的夹角；所述第二角度识别单元用于根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算获取针头组件端部与第二待植发区域图像坐标系X轴正方向的夹角值f，视为毛囊微针与第二待植发区域图像坐标系X轴正方向的夹角。
更进一步地，各毛囊开口深度图像的中心点与各毛囊开口检测框中心点为同一点，且各毛囊开口深度图像的X轴、Y轴与第一待植发区域图像/第二待植发区域图像中的X轴、Y轴平行，方向一致；各毛囊开口深度图像均包含一个完整的毛囊开口。
更进一步地，所述第一角度识别单元的具体处理过程如下：
S301：利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，获取针头组件端部检测框及其左上角点、右下角点坐标；
S302：根据针头组件端部侧拍图像中针头组件端部检测框及其左上角点、右下角点坐标，计算得到针头组件端部检测框四个角点的坐标，根据四个角点的坐标计算得到针头组件端部检测框两端短边的中心点坐标；
S303：根据针头组件端部检测框两端短边的中心点得到直线Z1，计算直线Z1与针头组件端部侧拍图像的图像坐标系中的Y轴之间的夹角，即得到针头组件端部与竖直方向的夹角值p；
所述第二角度识别单元的具体处理过程如下：
S311：根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算得到针头组件端部检测框四个角点的坐标，根据四个角点的坐标计算得到针头组件端部检测框两端短边的中心点坐标；
S312：根据针头组件端部检测框两端短边的中心点得到直线Z2，计算直线Z2与第二待植发区域图像坐标系中X轴正方向之间的夹角，即得到针头组件端部与第二待植发区域坐标系X轴正方向的夹角f。
更进一步地，在所述针头组件端部侧拍图像中，其坐标系中的Y轴在竖直方向上，第三拍摄单元为高清相机，其光轴在水平方向上，且与针头组件端部中轴线垂直，由侧面进行拍摄，针头组件端部中轴线即毛囊微针中轴线。
本发明相比现有技术具有以下优点：该新型毛囊微针种植控制系统，通过设置的毛囊孔方向估计模块等，能够较为准确地估计毛囊孔的方向信息，在后续进行毛囊植入时，能够在该毛囊孔附近植入一个方向基本一致的新毛囊，保证了毛囊植入的质量，避免了传统采用医生肉眼判断毛囊孔的方向存在的会导致植入的毛囊受损或者种植效果不理想，使患者的植发体验大大降低的问题。
附图说明
图1是本发明实施例中新型毛囊微针种植控制系统的结构示意图；
图2是本发明实施例中第一待植发区域图像示意图；
图3是本发明实施例中毛囊开口区域图像示意图；
图4是本发明实施例中针头组件端部侧拍图像示意图；
图5是本发明实施例中毛囊开口与毛囊孔的相对位置示意图。
图中：1、毛囊开口；11、毛囊开口轮廓线；12、毛囊开口检测框；2、像素值最大点；3、最远轮廓点；4、针头组件端部；41、针头组件端部检测框；5、毛囊孔。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种技术方案：一种新型毛囊微针种植控制系统，包括毛囊开口位置识别模块、毛囊孔方向估计模块、参照毛囊开口位置识别模块、微针方向识别模块、报警模块；
在本实施例中，所述毛囊开口位置识别模块，用于在植入毛囊前对待植发区域进行拍摄，得到第一待植发区域图像（见图2），并对第一待植发区域图像中的各毛囊开口进行识别，获得待植发区域中各毛囊开口在图像中的位置信息。通过获得各毛囊开口在图像中的位置信息，能够更方便后续对各毛囊开口对应的毛囊孔方向进行估计。此时第一待植发区域图像仅包含多个毛囊开口。
在本实施例中，所述毛囊开口位置识别模块包括第一拍摄单元、第一位置识别单元；所述第一拍摄单元用于从上方对待植发区域进行俯拍，获得第一待植发区域图像；所述第一位置识别单元用于利用经过训练的第一检测模型对第一待植发区域图像中的毛囊开口进行识别，获取待植发区域中各毛囊开口在图像中的位置信息。
作为更佳的，第一检测模型基于YOLOv3网络训练得到，通过大量含有毛囊开口、（毛囊微针的）针头组件端部的第一待植发区域图像形成数据集，将数据集分为训练集和验证集，对训练集和验证集中的图像中的毛囊开口、（毛囊微针的）针头组件端部进行人工标注，将训练集中的图像输入到YOLOv3网络中进行训练，得到训练后的模型，并通过验证集对训练后的模型进行性能验证，当通过验证后，保存模型参数，即得到第一检测模型，需要说明的是，在得到目标检测框后，YOLOv3网络还会对目标类别进行分类。
在本实施例中，需要说明的是，待植发区域内包括多个既有坏死毛囊，无正常毛囊，既有坏死毛囊的毛囊孔顶部开口在第一待植发区域图像中以毛囊开口的形式显示，毛囊开口的形状近似为圆形。
在本实施例中，所述第一位置识别单元的具体处理过程如下：
S11：利用第一检测模型对第一待植发区域图像中的各毛囊开口进行识别；
S12：获得各毛囊开口检测框及其左上角点、右下角点在图像中的坐标，记为（xi，yi）；
S13：根据各毛囊开口检测框左上角点、右下角点在图像中的坐标，计算各毛囊开口检测框中心点坐标，记为（xci，yci），各毛囊开口检测框中心点坐标即为待植发区域中各毛囊开口在图像中的位置信息，其中，下标中的i表示各毛囊开口的序号，下标中的c表示该坐标为中心点。
作为更佳的，所述第一拍摄单元为高清相机，其光轴在竖直方向上，且向下拍摄。
在本实施例中，所述毛囊孔方向估计模块，用于根据待植发区域中各毛囊开口在第一待植发区域图像中的位置信息，对各个毛囊开口进行分别拍摄，获取各个毛囊开口的深度图像，即毛囊开口深度图像；然后利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与竖直方向的夹角以及与毛囊开口深度图像坐标系X轴正方向的夹角进行估计，得到夹角估计值Pi、Fi，夹角估计值Pi、Fi用于表征毛囊孔的方向。其中，与竖直方向的夹角用于表示毛囊孔相对于竖直方向的偏斜角度，与毛囊开口深度图像坐标系X轴正方向的夹角用于表示毛囊孔相对于毛囊开口深度图像坐标系X轴正方向的偏斜角度，两个偏斜角度共同表征毛囊孔的方向信息。
在本实施例中，所述毛囊孔方向估计模块包括第二拍摄单元、第一角度估计单元、第二角度估计单元；所述第二拍摄单元用于根据待植发区域中各毛囊开口在第一待植发区域图像中的位置信息，对各个毛囊开口进行分别拍摄，获取各个毛囊开口的深度图像，即毛囊开口深度图像；所述第一角度估计单元用于利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与竖直方向的夹角进行估计，得到夹角估计值Pi；所述第二角度估计单元用于利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与毛囊开口深度图像坐标系X轴正方向的夹角进行估计，得到夹角估计值Fi。
在本实施例中，各毛囊开口深度图像的中心点与各毛囊开口检测框中心点为同一点，且各毛囊开口深度图像的X轴、Y轴与第一待植发区域图像中的X轴、Y轴平行，方向一致；所述第二拍摄单元为深度相机，通过微型伺服电机控制，可在两轴移动架进行移动，其光轴在竖直方向上，且向下拍摄。各毛囊开口深度图像均包含一个完整的毛囊开口。
在本实施例中，所述第一角度估计单元的具体处理过程如下：
S201：对于各个毛囊开口深度图像，利用OpenCV中的轮廓识别函数对毛囊开口深度图像中的毛囊开口轮廓进行识别，获得毛囊开口轮廓线坐标信息；
S202：根据毛囊开口轮廓线坐标信息将各个毛囊开口深度图像中的毛囊开口区域从图像中裁剪下来，得到多个毛囊开口区域图像；
S203：对于单个毛囊开口区域图像，获取毛囊开口区域图像内各个像素点的像素值，将各个像素点的像素值进行比较，得到像素值最大点；
S204：选取毛囊开口轮廓线上在图像中距离像素值最大点最远的轮廓点，即得到最远轮廓点；此步骤中的距离远近通过欧式距离判断；
S205：计算与像素值最大点相邻的所有像素点的像素均值Savg，同时计算与最远轮廓点相邻的所有像素点的像素均值Lavg；
S206：计算像素均值Lavg与Savg的像素差值D，根据像素差值D在像素差值-夹角范围数据库中进行查找比对，获取夹角估计值P，夹角估计值P为范围值；
S207：重复步骤S203～S206，直到获取所有毛囊开口区域图像中各个毛囊开口对应的毛囊孔与竖直方向的夹角估计值Pi，并将各夹角估计值Pi与各毛囊开口在第一待植发区域图像中的位置信息进行关联。
在本实施例中，在所述步骤S206中，像素差值-夹角范围数据库中存储有像素差值D与夹角估计值P的对应关系。
在本实施例中，第二角度估计单元的具体处理过程如下（见图3）：
S211：根据步骤S203、步骤S204中获取的像素值最大点、最远轮廓点，对于单个毛囊开口区域图像，获取像素值最大点与最远轮廓点在图像中的坐标；
S212：根据像素值最大点与最远轮廓点得到直线L；
S213：计算直线L与图像坐标系的X轴正方向的夹角，即得到夹角估计值F；
S214：重复步骤S211～S213，直到获取所有毛囊开口区域图像中各个毛囊开口对应的毛囊孔与图像坐标系X轴正方向的夹角估计值Fi，并将各夹角估计值Fi与各毛囊开口在第一待植发区域图像中的位置信息进行关联。
需要说明的是，在深度图像中，各个像素点的像素值即表示其与深度相机的距离。
在本实施例中，所述参照毛囊开口位置识别模块，用于在植入毛囊时，利用第一拍摄单元在相同位置再次对待植发区域进行拍摄，获取第二待植发区域图像；并对第二待植发区域图像中的各毛囊开口以及毛囊微针的针头组件端部进行识别，获取距离当前针头组件端部最近的毛囊开口的位置信息，该毛囊开口对应的毛囊孔的方向信息视为针头组件当前毛囊植入方向的依据，毛囊微针须参照该方向信息将毛囊植入，才能够保证毛囊植入方向的准确性。此时第二待植发区域图像包含多个毛囊开口与针头组件端部。
在本实施例中，所述参照毛囊开口位置识别模块包括第二位置识别单元、毛囊开口判断单元；所述第二位置识别单元用于利用第一检测模型对第二待植发区域图像中的各毛囊开口、针头组件端部进行识别，获取各毛囊开口检测框中心点坐标、针头组件端部检测框中心点坐标；所述毛囊开口判断单元用于计算各毛囊开口检测框中心点与针头组件端部检测框中心点之间的距离，获取距离当前针头组件端部最近的毛囊开口的位置信息，同时根据毛囊开口的位置信息获取与之关联的夹角估计值Pi、Fi。
需要说明的是，在所述参照毛囊开口位置识别模块中，各毛囊开口检测框中心点坐标、针头组件端部检测框中心点坐标获取方式此处不再赘述，参照毛囊开口位置识别模块的方式即可获取。在计算中心点距离时，距离也是欧氏距离。
在本实施例中，所述微针方向识别模块，用于在植入毛囊时，对当前针头组件端部进行拍摄，获取针头组件端部侧拍图像；并用于利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，计算获取针头组件端部与竖直方向的夹角值p；还用于根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算获取针头组件端部与图像坐标系X轴正方向的夹角f。夹角值p、f用于表征当前毛囊微针的方向信息。
在本实施例中，所述微针方向识别模块包括第三拍摄单元、第一角度识别单元、第二角度识别单元；所述第三拍摄单元用于对当前针头组件端部进行拍摄，获取针头组件端部侧拍图像；第一角度识别单元用于利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，计算获取当前针头组件端部与竖直方向的夹角值p，视为毛囊微针与竖直方向的夹角；所述第二角度识别单元用于根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算获取针头组件端部与第二待植发区域图像坐标系X轴正方向的夹角值f，视为毛囊微针与第二待植发区域图像坐标系X轴正方向的夹角。
需要说明的是，在所述针头组件端部侧拍图像中，其坐标系中的Y轴在竖直方向上（见图4），第三拍摄单元为高清相机，其光轴在水平方向上，且与针头组件端部中轴线垂直，由侧面进行拍摄。针头组件端部中轴线即毛囊微针中轴线。
在本实施例中，所述第一角度识别单元的具体处理过程如下：
S301：利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，获取针头组件端部检测框及其左上角点、右下角点坐标；
S302：根据针头组件端部侧拍图像中针头组件端部检测框及其左上角点、右下角点坐标，计算得到针头组件端部检测框四个角点的坐标，根据四个角点的坐标计算得到针头组件端部检测框两端短边的中心点坐标；
S303：根据针头组件端部检测框两端短边的中心点得到直线Z1，计算直线Z1与针头组件端部侧拍图像的图像坐标系中的Y轴之间的夹角，即得到针头组件端部与竖直方向的夹角值p。
需要说明的是，在本实施例中，第二检测模型基于YOLOv1网络训练得到，训练过程可参照第一检测模型的训练过程，此处不再赘述。
在本实施例中，所述第二角度识别单元的具体处理过程如下：
S311：根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算得到针头组件端部检测框四个角点的坐标，根据四个角点的坐标计算得到针头组件端部检测框两端短边的中心点坐标；
S312：根据针头组件端部检测框两端短边的中心点得到直线Z2，计算直线Z2与第二待植发区域图像坐标系中X轴正方向之间的夹角，即得到针头组件端部与第二待植发区域坐标系X轴正方向的夹角f。
在本实施例中，所述报警模块，用于根据参照毛囊开口位置识别模块获取的距离当前针头组件端部最近的毛囊开口的位置信息，进而获取与之关联的夹角估计值Pi、Fi，将夹角估计值Pi、Fi分别与夹角值p、夹角f比较，当夹角值p不在夹角估计值Pi范围内时或夹角估计值Fi与夹角f的差值超过设定阈值F预设时，表示当前微针方向不准确，对医生报警提醒，直到夹角值p在夹角估计值Pi范围内且夹角估计值Fi与夹角f的差值不超过设定阈值F预设，即可指示医生可以进行毛囊植入动作。
综上所述，上述实施例的新型毛囊微针种植控制系统，通过设置的毛囊孔方向估计模块等，能够较为准确地估计毛囊孔的方向信息，在后续进行毛囊植入时，能够在该毛囊孔附近植入一个方向基本一致的新毛囊，保证了毛囊植入的质量，避免了传统采用医生肉眼判断毛囊孔的方向存在的会导致植入的毛囊受损或者种植效果不理想，使患者的植发体验大大降低的问题。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种新型毛囊微针种植控制系统，其特征在于，包括：毛囊开口位置识别模块、毛囊孔方向估计模块、参照毛囊开口位置识别模块、微针方向识别模块、报警模块；
所述毛囊开口位置识别模块，用于在植入毛囊前，获取待植发区域中各毛囊开口在第一待植发区域图像中的位置信息；
所述毛囊孔方向估计模块，用于得到表征各个毛囊开口对应的毛囊孔的方向信息的两个夹角估计值；
所述参照毛囊开口位置识别模块，用于获取距离当前毛囊微针的针头组件端部最近的毛囊开口的位置信息，即得到参考毛囊开口位置信息；
所述微针方向识别模块，用于得到表征当前毛囊微针方向信息的两个夹角值；
所述报警模块，用于根据参照毛囊开口位置识别模块获取的距离当前针头组件端部最近的毛囊开口的位置信息，进而获取与之关联的两个夹角估计值，将上述两个夹角估计值与微针方向识别模块的获取两个夹角值，进行分别比较，判断当前微针方向是否准确，不准确时进行报警提示。
2.根据权利要求1所述的一种新型毛囊微针种植控制系统，其特征在于，所述毛囊开口位置识别模块包括第一拍摄单元、第一位置识别单元；所述第一拍摄单元用于从上方对待植发区域进行俯拍，获得第一待植发区域图像；所述第一位置识别单元用于利用经过训练的第一检测模型对第一待植发区域图像中的毛囊开口进行识别，获取待植发区域中各毛囊开口在图像中的位置信息。
3.根据权利要求1所述的一种新型毛囊微针种植控制系统，其特征在于，所述第一位置识别单元的具体处理过程如下：
步骤S11：利用第一检测模型对第一待植发区域图像中的各毛囊开口进行识别；
步骤S12：获得各毛囊开口检测框及其左上角点、右下角点在图像中的坐标，记为（xi，yi）；
步骤S13：根据各毛囊开口检测框左上角点、右下角点在图像中的坐标，计算各毛囊开口检测框中心点坐标，记为（xci，yci），各毛囊开口检测框中心点坐标即为待植发区域中各毛囊开口在第一待植发区域图像中的位置信息，其中，下标中的i表示各毛囊开口的序号，下标中的c表示该坐标为中心点。
4.根据权利要求1所述的一种新型毛囊微针种植控制系统，其特征在于，所述毛囊孔方向估计模块包括第二拍摄单元、第一角度估计单元、第二角度估计单元；所述第二拍摄单元用于根据待植发区域中各毛囊开口在第一待植发区域图像中的位置信息，对各个毛囊开口进行分别拍摄，获取各个毛囊开口的深度图像，即毛囊开口深度图像；所述第一角度估计单元用于利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与竖直方向的夹角进行估计，得到夹角估计值Pi；所述第二角度估计单元用于利用各个毛囊开口深度图像分别对各个毛囊开口对应的毛囊孔与毛囊开口深度图像坐标系X轴正方向的夹角进行估计，得到夹角估计值Fi。
5.根据权利要求4所述的一种新型毛囊微针种植控制系统，其特征在于，所述第一角度估计单元的具体处理过程如下：
步骤S201：对于各个毛囊开口深度图像，利用OpenCV中的轮廓识别函数对毛囊开口深度图像中的毛囊开口轮廓进行识别，获得毛囊开口轮廓线坐标信息；
步骤S202：根据毛囊开口轮廓线坐标信息将各个毛囊开口深度图像中的毛囊开口区域从图像中裁剪下来，得到多个毛囊开口区域图像；
步骤S203：对于单个毛囊开口区域图像，获取毛囊开口区域图像内各个像素点的像素值，将各个像素点的像素值进行比较，得到像素值最大点；
步骤S204：选取毛囊开口轮廓线上在图像中距离像素值最大点最远的轮廓点，即得到最远轮廓点；
步骤S205：计算与像素值最大点相邻的所有像素点的像素均值Savg，同时计算与最远轮廓点相邻的所有像素点的像素均值Lavg；
步骤S206：计算像素均值Lavg与Savg的像素差值D，根据像素差值D在像素差值-夹角范围数据库中进行查找比对，获取夹角估计值P，夹角估计值P为范围值；其中，像素差值-夹角范围数据库中存储有像素差值D与夹角估计值P的对应关系；
步骤S207：重复步骤S203～S206，直到获取所有毛囊开口区域图像中各个毛囊开口对应的毛囊孔与竖直方向的夹角估计值Pi，并将各夹角估计值Pi与各毛囊开口在第一待植发区域图像中的位置信息进行关联；
所述第二角度估计单元的具体处理过程如下：
步骤S211：根据步骤S203、步骤S204中获取的像素值最大点、最远轮廓点，对于单个毛囊开口区域图像，获取像素值最大点与最远轮廓点在图像中的坐标；
步骤S212：根据像素值最大点与最远轮廓点得到直线L；
步骤S213：计算直线L与图像坐标系的X轴正方向的夹角，即得到夹角估计值F；
步骤S214：重复步骤S211～S213，直到获取所有毛囊开口区域图像中各个毛囊开口对应的毛囊孔与图像坐标系X轴正方向的夹角估计值Fi，并将各夹角估计值Fi与各毛囊开口在第一待植发区域图像中的位置信息进行关联。
6.根据权利要求5所述的一种新型毛囊微针种植控制系统，其特征在于，所述参照毛囊开口位置识别模块包括第二位置识别单元、毛囊开口判断单元；所述第二位置识别单元用于利用第一检测模型对第二待植发区域图像中的各毛囊开口、针头组件端部进行识别，获取各毛囊开口检测框中心点坐标、针头组件端部检测框中心点坐标；所述毛囊开口判断单元用于计算各毛囊开口检测框中心点与针头组件端部检测框中心点之间的距离，获取距离当前针头组件端部最近的毛囊开口的位置信息，同时根据毛囊开口的位置信息获取与之关联的夹角估计值Pi、Fi。
7.根据权利要求6所述的一种新型毛囊微针种植控制系统，其特征在于，所述微针方向识别模块包括第三拍摄单元、第一角度识别单元、第二角度识别单元；所述第三拍摄单元用于对当前针头组件端部进行拍摄，获取针头组件端部侧拍图像；第一角度识别单元用于利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，计算获取当前针头组件端部与竖直方向的夹角值p，视为毛囊微针与竖直方向的夹角；所述第二角度识别单元用于根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算获取针头组件端部与第二待植发区域图像坐标系X轴正方向的夹角值f，视为毛囊微针与第二待植发区域图像坐标系X轴正方向的夹角。
8.根据权利要求7所述的一种新型毛囊微针种植控制系统，其特征在于，各毛囊开口深度图像的中心点与各毛囊开口检测框中心点为同一点，且各毛囊开口深度图像的X轴、Y轴与第一待植发区域图像/第二待植发区域图像中的X轴、Y轴平行，方向一致；各毛囊开口深度图像均包含一个完整的毛囊开口。
9.根据权利要求8所述的一种新型毛囊微针种植控制系统，其特征在于，所述第一角度识别单元的具体处理过程如下：
步骤S301：利用第二检测模型对针头组件端部侧拍图像中的针头组件端部进行识别，获取针头组件端部检测框及其左上角点、右下角点坐标；
步骤S302：根据针头组件端部侧拍图像中针头组件端部检测框及其左上角点、右下角点坐标，计算得到针头组件端部检测框四个角点的坐标，根据四个角点的坐标计算得到针头组件端部检测框两端短边的中心点坐标；
步骤S303：根据针头组件端部检测框两端短边的中心点得到直线Z1，计算直线Z1与针头组件端部侧拍图像的图像坐标系中的Y轴之间的夹角，即得到针头组件端部与竖直方向的夹角值p；
所述第二角度识别单元的具体处理过程如下：
步骤S311：根据第二待植发区域图像中针头组件端部检测框的左上角点及右下角点坐标，计算得到针头组件端部检测框四个角点的坐标，根据四个角点的坐标计算得到针头组件端部检测框两端短边的中心点坐标；
步骤S312：根据针头组件端部检测框两端短边的中心点得到直线Z2，计算直线Z2与第二待植发区域图像坐标系中X轴正方向之间的夹角，即得到针头组件端部与第二待植发区域坐标系X轴正方向的夹角f。
10.根据权利要求9所述的一种新型毛囊微针种植控制系统，其特征在于，在所述针头组件端部侧拍图像中，其坐标系中的Y轴在竖直方向上，第三拍摄单元为高清相机，其光轴在水平方向上，且与针头组件端部中轴线垂直，由侧面进行拍摄，针头组件端部中轴线即毛囊微针中轴线。
CN202410066505.1A 2024-01-17 2024-01-17 一种新型毛囊微针种植控制系统 Active CN117582290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410066505.1A CN117582290B (zh) 2024-01-17 2024-01-17 一种新型毛囊微针种植控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410066505.1A CN117582290B (zh) 2024-01-17 2024-01-17 一种新型毛囊微针种植控制系统

Publications (2)

Publication Number Publication Date
CN117582290A true CN117582290A (zh) 2024-02-23
CN117582290B CN117582290B (zh) 2024-04-02

Family

ID=89911881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410066505.1A Active CN117582290B (zh) 2024-01-17 2024-01-17 一种新型毛囊微针种植控制系统

Country Status (1)

Country Link
CN (1) CN117582290B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093238A (ko) * 2019-01-28 2020-08-05 주식회사 아프스 모발 식별 장치 및 이를 구비하는 자동 모낭 분리 장치
CN113081262A (zh) * 2021-06-09 2021-07-09 南京新生医疗科技有限公司 一种智能定点规划植发区域的方法及系统
CN113627425A (zh) * 2021-07-16 2021-11-09 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及系统
CN116196106A (zh) * 2023-02-22 2023-06-02 极限人工智能有限公司 一种毛囊移植视觉辅助系统及毛囊移植机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093238A (ko) * 2019-01-28 2020-08-05 주식회사 아프스 모발 식별 장치 및 이를 구비하는 자동 모낭 분리 장치
CN113081262A (zh) * 2021-06-09 2021-07-09 南京新生医疗科技有限公司 一种智能定点规划植发区域的方法及系统
CN113627425A (zh) * 2021-07-16 2021-11-09 汕头大学 一种基于神经网络模型的毛囊识别和提取方法及系统
CN116196106A (zh) * 2023-02-22 2023-06-02 极限人工智能有限公司 一种毛囊移植视觉辅助系统及毛囊移植机器人

Also Published As

Publication number Publication date
CN117582290B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
US20210056360A1 (en) System and method using machine learning for iris tracking, measurement, and simulation
CN107346422B (zh) 一种基于眨眼检测的活体人脸识别方法
CN105740780B (zh) 人脸活体检测的方法和装置
JP4692526B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN110287790B (zh) 一种面向静态多人场景的学习状态混合分析方法
KR20090030341A (ko) 모낭 단위 분류 방법 및 시스템, 종단점 결정 방법과, 화상처리기
CN104915656B (zh) 一种基于双目视觉测量技术的快速人脸识别方法
CN108765392B (zh) 一种基于滑动窗口的消化道内镜病变检测和识别方法
CN110263755B (zh) 眼底图像识别模型训练方法、眼底图像识别方法和设备
JP4936491B2 (ja) 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
KR102657095B1 (ko) 탈모 상태 정보 제공 방법 및 장치
CN111476883A (zh) 多视角无标记动物的三维姿态轨迹重建方法及装置
CN108052919A (zh) 一种基于人脸识别的安防系统及方法
CN114642444A (zh) 口腔种植精度评价方法、系统和终端设备
CN117582290B (zh) 一种新型毛囊微针种植控制系统
WO2020237940A1 (zh) 一种基于人眼状态识别的疲劳检测方法及装置
CN109934798A (zh) 体内目标物信息标注方法及装置、电子设备、存储介质
CN113705466A (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN113180865A (zh) 一种三维牙模的快速绘出切割线方法
JP3711053B2 (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
CN110276333B (zh) 眼底身份识别模型训练方法、眼底身份识别方法和设备
CN109730769B (zh) 一种基于机器视觉的皮肤肿瘤精准手术智能追踪方法及系统
CN114549598A (zh) 人脸模型重建方法、装置、终端设备和存储介质
JPH11113885A (ja) 個体識別装置およびその方法
CN116740768B (zh) 基于鼻颅镜的导航可视化方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant