CN113967070A - 机械臂控制方法和皮肤表面处理设备 - Google Patents

机械臂控制方法和皮肤表面处理设备 Download PDF

Info

Publication number
CN113967070A
CN113967070A CN202010714728.6A CN202010714728A CN113967070A CN 113967070 A CN113967070 A CN 113967070A CN 202010714728 A CN202010714728 A CN 202010714728A CN 113967070 A CN113967070 A CN 113967070A
Authority
CN
China
Prior art keywords
point cloud
dimensional point
mechanical arm
dimensional
robot arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010714728.6A
Other languages
English (en)
Inventor
连俊文
李志杰
多明戈·戈麦斯·多明戈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010714728.6A priority Critical patent/CN113967070A/zh
Priority to KR1020237000481A priority patent/KR20230051477A/ko
Priority to US17/628,564 priority patent/US20230356394A1/en
Priority to PCT/CN2021/108045 priority patent/WO2022017485A1/zh
Priority to EP21844943.7A priority patent/EP4186457A4/en
Publication of CN113967070A publication Critical patent/CN113967070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00084—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00747—Dermatology
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及机械控制技术领域，公开了一种机械臂控制方法、皮肤表面处理设备和计算机可读存储介质，机械臂控制方法包括如下步骤：将机械臂的处理对象的需处理表面分为至少两个关注区域；通过三维扫描装置，获取每个关注区域所对应的三维点云；优化各个三维点云；将各三维点云合并以获得执行点云；基于所述执行点云生成所述机械臂的移动路径；所述机械臂根据所述移动路径，对所述对象的表面进行处理。本申请相对于现有技术而言具有更好的经济性，并能够提高处理效率，提升设备的安全性。

Description

机械臂控制方法和皮肤表面处理设备
技术领域
本发明涉及机械控制技术领域，特别涉及一种可应用于皮肤表面处理的机械臂控制方法和皮肤表面处理设备。
背景技术
皮肤美容，是在不介入人体的美容方法，包括在皮肤、毛发等可为人们所视的部位局部实施的、非治疗目的的修饰方法。皮肤美容能够改善皮肤不理想的现状，提高皮肤健康度，延缓皮肤衰老。
具体来说，通过皮肤美容治疗能够改善包括且不限于如下症状：色斑、痤疮、毛孔、脱毛、皱纹和发黑。能让皮肤恢复正常的新陈代谢系统。
皮肤美容从肤色、肤质、肤龄、肤健四个方面全面地对皮肤进行改善提升，从症状、新陈代谢、根源、长远管理四个维度深入皮肤不同层次彻底解决皮肤问题。
在针对皮肤的处理操作中，会常用到多种工具。例如激光美容仪、IPL光子美容装置、射频仪器、超声紧肤仪器、脱毛仪、高压注水喷头等等。这些工具通常由经过训练的从业人员来操作，人工成本高昂。此外，过多且不同的人工介入无法保证和提供水平稳定且全程可控的服务品质，而且还有可能因为员工经验不足或人为粗心导致错误的处理引发医疗事故。
在对人体的表面进行处理的过程中，可以通过机器人手臂，也就是机械臂来握持这些美容设备和工具，并结合另外附设的各类传感器而提供稳定的非治疗目的的皮肤美容服务。具体而言，就是利用机械臂的运动特性，使之沿人类皮肤表面的几何形状移动，因此需要设计机械臂的运动轨迹，而且需要确保机械臂不会接触到人体表面的敏感区域或禁止处理的特殊区域（例如眼睛周边或伤口区域）以策安全。
为此，在现有技术中，往往尝试利用三维扫描装置，获取人体表面的三维点云，并根据这些三维点云生成机械臂的移动路径。
然而，在对整个皮肤表面部位进行处理的时候，三维点云的数据量将十分庞大。具体说来，取决于相机的分辨率和数据采集，仅针对人面部的扫描都可能会创建数十万个数据点， 由于机械臂的运动轨迹是点对点的运动的，根据如此数量的数据点进行运动也是不切实际的，因此需要对三维点云进行优化处理。
而，对于巨量的三维点云而言，无论是输入、存储、优化或是输出，都对控制器的性能提出了很高的要求。而如果控制器达不到要求，则很可能会导致数据溢出。
发明内容
为了解决或部分解决上述技术问题，本申请的实施方式提供了一种机械臂控制方法。
其中，机械臂控制方法包括如下步骤：
将机械臂的处理对象的需处理表面分为至少两个关注区域；
通过三维扫描装置，获取每个关注区域所对应的三维点云；
优化各个三维点云；
将各三维点云合并以获得执行点云；
基于执行点云生成机械臂的移动路径；
机械臂根据移动路径，对对象的表面进行处理。
本申请实施方式还公开了一种皮肤表面处理设备，包括：
三维扫描装置、机械臂和控制器；
其中，控制器用于将机械臂的处理对象的需处理表面分为至少两个关注区域；
三维扫描装置用于获取每个关注区域所对应的三维点云；
控制器用于优化各个三维点云，将各三维点云合并以获得执行点云，并基于执行点云生成机械臂的移动路径；
机械臂用于根据移动路径，对对象的表面进行处理。
本申请实施方式还公开了一种计算机可读存储介质，存储有计算机程序，其中，计算机程序被执行时能够实现上述方法中的步骤。
本申请实施方式还公开了一种皮肤表面处理设备，包括存储器、处理器及通信组件，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以用于：
将机械臂的处理对象的需处理表面分为至少两个关注区域；
通过三维扫描装置，获取每个关注区域所对应的三维点云；
优化各个三维点云；
将各三维点云合并以获得执行点云；
基于执行点云生成机械臂的移动路径；
机械臂根据移动路径，对对象的表面进行处理。
相比于现有技术而言，本申请的实施方式借助于：
1、通过初步扫描来分析待处理对象的表面，以识别并设定禁止机械臂处理的区域，确保机械臂的处理安全性。
2、将处理对象的表面分为多个关注区域，使得数据量得到了分割；
3、通过过滤和优化，摒弃了无用的三维点云数据，减少了单个三维点云的数据量；
4、通过对多个三维点云的合并，获得了数据量小、可以被精确执行的执行点云。
因此相比于现有技术而言，本申请的实施方式对控制器性能要求低，可以降低皮肤表面处理设备的生产制造成本，提高其处理效率。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅用于示意本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图中未提及的技术特征、连接关系乃至方法步骤。
图1是本申请实施方式的将两个深度摄像头设置在同一结构元件上时的示意图；
图2是本申请实施方式的将一个深度摄像头设置在机械臂上时的示意图；
图3是本申请实施方式的一种机械臂控制方法的简要流程示意图；
图4是本申请实施方式的三维点云在优化过滤前的示意图；
图5是本申请实施方式的三维点云经优化过滤后的示意图；
图6是本申请实施方式的一种机械臂控制方法在针对需处理表面进行处理的过程中的流程示意图；
图7是本申请实施方式的一种皮肤表面处理设备的系统框图。
附图标记说明：
1、三维扫描装置；11、深度摄像头；12、结构元件；2、机械臂；3、控制器； 31、上位机；32、下位控制模块；4、处理对象的表面；
51、存储器；52、处理器；53、通信组件；54、显示器；55、电源组件；56、音频组件；6、表面处理工具；7、传感器。
具体实施方式
下面结合说明书附图，对本发明进行进一步的详细说明。
实施方式一
如前文背景技术所分析的，现有技术尚缺乏一种具有更好的经济性和高性能的机械臂控制方法。
有鉴于此，本申请的第一实施方式提供了一种皮肤表面处理设备，参见图1或图2所示，包括：
三维扫描装置1、机械臂2和控制器3；
其中，控制器3将机械臂2的处理对象的需处理表面分为至少两个关注区域；
三维扫描装置1是用于获取物体立体表面三维点云的装置。在本申请的实施方式中，三维扫描装置1用于获取每个关注区域所对应的三维点云；
控制器3用于优化各个三维点云，将各三维点云合并以获得执行点云，并基于执行点云生成机械臂2的移动路径；
机械臂2根据移动路径针对对象的表面4进行相应的处理。
在本申请的实施方式中，机械臂2上可以安装有各种表面处理工具6，如激光器、IPL光子美容装置、射频仪器、超声紧肤仪器、脱毛仪、高压注水喷头等。这些表面处理工具6同样可以与控制器3电性连接，以便其与机械臂2的移动路径彼此配合动作。
可以理解地，控制器3为广义上的控制器，其可以部分分立设置于机械臂2之外，也可以被完全集成在机械臂2以内。典型地，如图1或图2中所示，其可以包括装设在机械臂2上的下位控制模块32，以及连接下位控制模块32的上位机31（如计算机工作站、或是其他可移动、不可移动的终端），当控制器3同时包括下位控制模块32和上位机31时，上位机31可以负责将三维扫描装置1所获取和收集的数据分析处理之后，得出机械臂的执行动作数据。然后，上位机31将执行动作数据输出到下位控制模块32之中，从而通过下位控制模块32实现机械臂2的操作逻辑。
另外，下位控制模块32往往可以是机械臂2自带的控制器，其不但提供针对机械臂2的控制接口，而且通常还可以负责为机械臂2供电。
可选地，三维扫描装置1可以包括静态地安装在同一结构元件12上的两个深度摄像头11。参见图1所示，在这一可选示例中，可以使用两个深度摄像头11，并将其安装在结构元件12上。其中，结构元件12可以是支撑架或一些常见种类的夹具。结构元件12的位置可以通过标尺标定，并可以被调整，以便适应不同体型的处理对象。在固定好深度摄像头11之后，可以在控制器3中预置深度摄像头11的坐标，从而保持校准。
在对物体的表面进行扫描的过程中，每个深度摄像头11都会生成一个三维点云。在此基础上，通过任意一个深度摄像头11都可以描绘出待处理对象的一侧表面。例如，以人脸作为待处理对象为例，通过设置于人脸左右两侧的深度摄像头11，可以在同一时间绘制出左脸和右脸的三维点云。进一步可选地，当处理对象为人脸时，关注区域可以为6至8个，对应地，深度摄像头11的数量也可以根据需求对应调整。
据此，控制器3可以针对这些三维点云进行优化和合并，从而获得执行点云并进而生成机械臂2的移动路径，而后驱动机械臂2沿着这一移动路径运动。
当然，在采用更多数量的深度摄像头11时，将这些深度摄像头11分别与各个关注区域对应，可以显著地提高扫描效率。
而可选地，三维扫描装置1也可以包括安装在机械臂2上的一个或多个深度摄像头11。
在一个可选示例中，参见图2所示，可以使用一个深度摄像头11，并将其安装在机械臂2上。
在控制器3中，可以根据机械臂2的运动轨迹随时获知机械臂2本身的确切位置，因此同样可以获知这一深度摄像头11的确切位置。因此借助于控制器3来控制机械臂2，在待处理对象前通过预设轨迹移动的过程中，即可借助单个深度摄像头11获得多个三维点云。在控制器3中，可以针对每个三维点云数据，标定深度摄像头11在拍摄该三维点云时的坐标数据，以便后续处理。
据此，控制器3同样可以针对这些三维点云进行优化和合并，从而获得执行点云并进而生成机械臂2的移动路径，而后驱动机械臂2沿着这一移动路径运动。
采用设置于机械臂2上的单个深度摄像头11时，由于无需设置多个深度摄像头11，因此可以显著地降低成本。
也就是说，本申请的实施方式还提供了一种机械臂控制方法，参见图3所示，包括如下步骤：
将机械臂2的处理对象的需处理表面分为至少两个关注区域；
通过三维扫描装置1，获取每个关注区域所对应的三维点云；
优化各个三维点云；
将各三维点云合并以获得执行点云；
基于执行点云生成机械臂2的移动路径；
机械臂2根据移动路径，对所述对象的表面进行处理。
可选地，控制器3可以通过初步扫描来分析处理对象的表面4，以识别并设定禁止机械臂2处理的区域。也就是说，在将机械臂的处理对象的需处理表面分为至少两个关注区域的步骤之前，还可以包括如下步骤：预扫描处理对象的表面4，以将处理对象的表面4标记为需处理表面和非处理表面。其中，需处理表面，顾名思义为需要被处理的表面。而非处理表面则是无需被处理的表面。非处理表面可以包括皮肤上的伤口、特殊器官如眼睛、耳朵、乳头、肚脐等等，或是在计划内并不打算处理的皮肤区域。
预扫描可以借助于快速扫描模式来实现，而通过预扫描摒弃了非处理表面，可以减少后续的关注区域的精细扫描和处理的时间，显著地提高机械臂的操作效率。优选地，可以基于AI图像识别技术来自动化地识别需处理表面和非处理表面。当然，在AI图像识别之后，为了确保准确性，还可以借助人工对识别的区域进行复核。
在深度摄像机从关注区域获取三维点云后，其所获取的三维点云数据量十分庞大，往往无法被直接使用。因此，可以通过多种方式优化各个三维点云，从而减少计算量。
具体可选地，参见图3、图6所示，优化各个三维点云的步骤，可以包括：
使用双边过滤器对三维点云进行过滤处理，以减少其噪声。
双边过滤器属于图像去噪的一种方法。图像去噪的方法很多，如中值滤波，高斯滤波，维纳滤波等等。但这些降噪方法容易模糊图片的边缘细节，对于高频细节的保护效果并不明显。相比较而言，双边滤波器可以提供很好的边缘保护，也就是可以在去噪的同时，保护图像的边缘特性。而，本申请的发明人发现，对应构造机械臂2的移动路径这一技术方案而言，图像的边缘特性的清晰程度对提供最优化的移动路径至关重要。
在本申请的实施方式中，所采用的双边过滤器的核可以用数学表示为：
Figure DEST_PATH_IMAGE001
其中Ω是以𝑥为中心的窗口，𝑥是用于平滑强度差异的范围核，而𝑔𝑠是用于平滑坐标差异的空间核。
图4和图5分别示意出了采用双边滤波器前后的三维点云变化，可以看到经过双边滤波器的过滤之后，获得了锐利、清晰、噪声少的三维点云。
而可选地，将各三维点云合并以获得执行点云的步骤，可以包括：
将第一个三维点云和第二个三维点云的最近点进行迭代配准，合并成新的三维点云，将所合并成的新的三维点云和下一个三维点云进行迭代配准，如此反复，直到所有的三维点云都合并成执行点云。
所谓配准，指的是给定两个来自不同坐标系的三维数据点集，找到两个点集空间的变换关系，使得两个点集能统一到同一坐标系统中的过程。
本申请实施方式所选用的迭代配准算法，又可称之为迭代最近点（IterativeClosest Point, ICP）算法，是一种三维点云匹配算法。这一算法允许将从不同的深度相机（或位于不同位置的同一深度相机）获得的不同三维点云合并到单个三维点云中，平移和旋转三维点云以使其匹配而不会变形，直到获得最小误差为止。
经过这一算法获得的执行点云，其数据量相比于三维扫描装置1所获得的初始三维点云而言要小得多，从而易于被控制器3处理和执行。
具体说来，在执行点云中，具有表示3D信息的单个坐标原点。这一坐标原点可以被选择为与任意一深度摄像头11相同。由于坐标原点的位置是已知的，并且与机械臂2的坐标相关联，因此可以依据执行点云，增加补偿来为机械臂2生成任意的移动路径。
基于执行点云的移动路径无需考虑各个深度摄像头11所获取的三维点云之间因不同的坐标原点而带来的位置关系的计算，因此大幅度地降低了计算量。
据此，本申请的技术方案相比于现有技术而言，能够简化计算量并提高系统性能。
另外值得一提的是，对本申请的实施方式而言，在上述的合并步骤中，将三维点云合并后形成的执行点云可以仅仅是合并了某一两个关注区域的三维点云之后的产物，也可以是将所有的关注区域的关注区域全部合并之后的最终点云。取决于数据量的多寡，可以如图1所示，在全部合并之后统一由机械臂2执行，也可以如图6所示，由机械臂2一边执行，一边持续合并三维点云。因此可选地，移动路径可以在每覆盖一个关注区域之后连接至下一个关注区域，以便机械臂2能够顺畅地完成处理操作。
在现有技术中，未经过良好的数据处理，直接利用三维扫描装置1所获取的三维点云来生成机械臂2的运动轨迹。其数据量过于庞大，对机械臂2的工作系统提出了很高的要求。
而相比于现有技术而言，本申请的实施方式借助于：
1、通过初步的预扫描来分析处理对象的表面4，识别并设定禁止机械臂处理的区域，确保了机械臂的处理安全性。
2、将处理对象的表面4分为多个关注区域，使得数据量得到了分割；
3、通过过滤和优化，摒弃了无用的三维点云数据，减少了单个三维点云的数据量；
4、通过对多个三维点云的合并，获得了数据量小、可以被精确执行的执行点云。
因此相比于现有技术而言，本申请的实施方式对控制器3性能要求低，可以降低皮肤表面处理设备的生产制造成本，提高其处理效率。由于借助了机械臂来替代传统的人工处理，因此提高了皮肤表面处理操作的品质稳定性和处理安全性。
实施方式二
本申请的第二实施方式是第一实施方式的进一步改进，主要改进之处在于，在本申请的第二实施方式中，机械臂控制方法中的机械臂2根据移动路径处理对象的表面4的步骤，参见图1、图2所示，还包括：
通过传感器7获取对象表面的状态数据；
根据状态数据调整机械臂2的处理操作。
与之对应地，皮肤表面处理设备则包括：传感器7，获取对象表面的状态数据；
控制器3根据所述状态数据调整所述机械臂2的处理操作。
可选地，状态数据可以包括温度或湿度。
在本申请中，传感器7可以是可以用对人体皮肤的状态进行检测的设备。传感器7的种类有多种。例如温度传感器7，可用于测量皮肤表面温度；湿度传感器7，可用于测量皮肤的湿度；摄像头，可用于检测皮肤的纹理；光谱传感器7，可用于对照射至皮肤的光谱或激光能量进行检测。传感器7的设置位置可以和深度摄像头11的设置位置相一致，也就是说，当深度摄像头11被设置在结构元件12上时，传感器7也可以被设置在结构元件12上。而当深度摄像头11被设置在机械臂2上时，传感器7也可以被设置在机械臂2上。
当然，当多个深度摄像头11被设置在结构元件12上时，传感器7还可以被设置在机械臂2上，跟随机械臂运动并更准确及时地给予当前操作区域的状态数据反馈。而且，将传感器7设置在机械臂2上还能够防止机械臂2动作过程中可能对传感器7所产生的阻挡，提高了数据精度。
接下来，将以一些典型的传感器7为例，说明如何根据状态数据调整机械臂2的处理操作。
当传感器7包括温度传感器7时，温度传感器7可以检测机械臂2上的处理工具，如激光器的操作区域的温度，并发送给控制器3。
由于皮肤受到激光器的照射温度会上升。控制器3在检测到这一温度的上升达到或超过阈值时，可以控制激光器调低输出功率，也可以控制激光器关闭，甚至可以加快机械臂2在移动路径上的移动速度，从而缩短激光器在温度上升超过阈值的皮肤表面的停留时间。
当传感器7包括湿度传感器7时，湿度传感器7可以检测机械臂2上的处理工具的操作区域的湿度，并发送给控制器3。
由于皮肤湿度下降时，容易发生损伤。控制器3在检测到这一湿度的下降达到或超过阈值时，可以控制激光器调低输出功率，也可以控制高压喷头使其喷水，或控制雾化器起雾补充皮肤水分等等。
当传感器7包括光谱传感器7时，光谱传感器7可以检测机械臂2上的处理工具的操作区域的皮肤接收到的激光能量，并发送给控制器3。
由于皮肤短时间接收到过强的激光能量时，容易发生损伤。控制器3在检测到这一激光能量达到或超过阈值时，可以控制激光器调低输出功率，也可以控制激光器关闭，甚至可以加快机械臂2在移动路径上的移动速度，从而缩短激光器在激光能量累计超过阈值的皮肤表面的停留时间。
根据治疗类型和所使用的激光技术，传感器7所反馈的温度信息可用于稳定温度的安全裕度，湿度信息可用于优化和提升用户体验，激光能量则可以精确激光能量的输出剂量。
另外，可选地，通过传感器7获取对象表面的状态数据的步骤，还可以包括：在状态数据超出阈值限制时，调整移动路径以暂时避开对象的表面的超出阈值的部位。
实施方式三
本申请的第三实施方式提供了一种计算机可读存储介质，存储有计算机程序，其中，计算机程序被执行时能够实现第一或第二实施方式中的方法的步骤或功能。
借助计算机程序能够自动化地完成上述步骤，提高效率。
据此，本申请的实施方式还提供了一种皮肤表面处理设备，参见图7所示，包括存储器51、处理器52及通信组件53，其中，
存储器51，用于存储程序；
处理器52，与存储器51耦合，用于执行存储器51中存储的程序，以用于：
将机械臂2的处理对象的表面4分为至少两个关注区域；
通过三维扫描装置1，获取每个关注区域所对应的三维点云；
优化各个三维点云；
将各三维点云合并以获得执行点云；
基于所述执行点云生成所述机械臂2的移动路径；
所述机械臂2根据所述移动路径处理所述对象的表面。
进一步，皮肤表面处理设备还可以包括：通信组件53、显示器54、电源组件55、音频组件56等其它组件。本申请中仅示意性给出部分组件，并不意味着计算设备只包括这些。
最后应说明的是，本领域的普通技术人员可以理解，为了使读者更好地理解本申请，本申请的实施方式提出了许多技术细节。但是，即使没有这些技术细节和基于上述各实施方式的种种变化和修改，也可以基本实现本申请各权利要求所要求保护的技术方案。因此，在实际应用中，可以在形式上和细节上对上述实施方式作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种机械臂控制方法，其特征在于，包括如下步骤：
将机械臂的处理对象的需处理表面分为至少两个关注区域；
通过三维扫描装置，获取每个关注区域所对应的三维点云；
优化各个三维点云；
将各三维点云合并以获得执行点云；
基于所述执行点云生成所述机械臂的移动路径；
所述机械臂根据所述移动路径，对所述对象的表面进行处理。
2.根据权利要求1所述的机械臂控制方法，其特征在于，所述优化各个三维点云的步骤，包括：
使用双边过滤器对所述三维点云进行过滤处理，以减少其噪声。
3.根据权利要求1所述的机械臂控制方法，其特征在于，所述将各三维点云合并以获得执行点云的步骤，包括：
将第一个三维点云和第二个三维点云的最近点进行迭代配准，合并成新的三维点云，将所合并成的新的三维点云和下一个三维点云进行迭代配准，如此反复，直到所有的三维点云都合并成执行点云。
4.根据权利要求1所述的机械臂控制方法，其特征在于，所述处理对象为人脸，所述关注区域为6至8个；
所述移动路径在每覆盖一个关注区域之后连接至下一个关注区域。
5.根据权利要求1所述的机械臂控制方法，其特征在于，所述机械臂根据所述移动路径处理所述对象的表面的步骤，包括：
通过传感器获取对象表面的状态数据；
根据所述状态数据调整所述机械臂的处理操作；
所述状态数据包括温度或湿度；
所述通过传感器获取对象表面的状态数据的步骤，包括：在所述状态数据超出阈值限制时，调整所述移动路径以暂时避开对象的表面的超出阈值的部位。
6.根据权利要求1所述的机械臂控制方法，其特征在于，在所述将机械臂的处理对象的需处理表面分为至少两个关注区域的步骤之前，还包括如下步骤：
预扫描处理对象的表面，以将处理对象的表面标记为需处理表面和非处理表面。
7.一种皮肤表面处理设备，其特征在于，包括：
三维扫描装置、机械臂和控制器；
其中，所述控制器用于将所述机械臂的处理对象的需处理表面分为至少两个关注区域；
所述三维扫描装置用于获取每个关注区域所对应的三维点云；
所述控制器用于优化各个三维点云，将各三维点云合并以获得执行点云，并基于所述执行点云生成所述机械臂的移动路径；
所述机械臂用于根据所述移动路径，对所述对象的表面进行处理。
8.根据权利要求7所述的皮肤表面处理设备，其特征在于，所述三维扫描装置包括安装在同一结构元件上的两个深度摄像头；
或者，所述三维扫描装置包括安装在所述机械臂上的一个深度摄像头。
9.根据权利要求7所述的皮肤表面处理设备，其特征在于，还包括：
传感器，获取对象表面的状态数据；
所述控制器根据所述状态数据调整所述机械臂的处理操作。
10.一种皮肤表面处理设备，包括存储器、处理器及通信组件，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以用于：
将机械臂的处理对象的需处理表面分为至少两个关注区域；
通过三维扫描装置，获取每个关注区域所对应的三维点云；
优化各个三维点云；
将各三维点云合并以获得执行点云；
基于所述执行点云生成所述机械臂的移动路径；
所述机械臂根据所述移动路径，对所述对象的表面进行处理。
CN202010714728.6A 2020-07-23 2020-07-23 机械臂控制方法和皮肤表面处理设备 Pending CN113967070A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010714728.6A CN113967070A (zh) 2020-07-23 2020-07-23 机械臂控制方法和皮肤表面处理设备
KR1020237000481A KR20230051477A (ko) 2020-07-23 2021-07-23 매니퓰레이터 제어방법과 피부 표면 처리설비
US17/628,564 US20230356394A1 (en) 2020-07-23 2021-07-23 Robot Arm Control Method and Skin Surface Treatment Apparatus
PCT/CN2021/108045 WO2022017485A1 (zh) 2020-07-23 2021-07-23 机械臂控制方法和皮肤表面处理设备
EP21844943.7A EP4186457A4 (en) 2020-07-23 2021-07-23 METHOD FOR ROBOT ARM CONTROL AND DEVICE FOR TREATING THE SKIN SURFACE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010714728.6A CN113967070A (zh) 2020-07-23 2020-07-23 机械臂控制方法和皮肤表面处理设备

Publications (1)

Publication Number Publication Date
CN113967070A true CN113967070A (zh) 2022-01-25

Family

ID=79585148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010714728.6A Pending CN113967070A (zh) 2020-07-23 2020-07-23 机械臂控制方法和皮肤表面处理设备

Country Status (5)

Country Link
US (1) US20230356394A1 (zh)
EP (1) EP4186457A4 (zh)
KR (1) KR20230051477A (zh)
CN (1) CN113967070A (zh)
WO (1) WO2022017485A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842079A (zh) * 2022-04-23 2022-08-02 四川大学 盾构隧道内对预制中隔墙进行位姿测量的设备及方法
CN116972973A (zh) * 2023-07-17 2023-10-31 中国科学院上海光学精密机械研究所 发光物体的空间光谱全自动测量装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108466265A (zh) * 2018-03-12 2018-08-31 珠海市俊凯机械科技有限公司 机械手臂路径规划与作业方法、装置以及计算机设备
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
KR101888963B1 (ko) * 2017-03-06 2018-08-17 (주)오앤드리메디컬로봇 레이저 치료를 위한 영역 분할 방법, 그를 이용한 레이저 치료 방법 및 장치
CN106971147A (zh) * 2017-03-06 2017-07-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于人脸区域分割的中医面诊系统及面诊方法
US10909650B2 (en) * 2017-06-23 2021-02-02 Cloud 9 Perception, LP System and method for sensing and computing of perceptual data in industrial environments
US10060857B1 (en) * 2017-11-16 2018-08-28 General Electric Company Robotic feature mapping and motion control
EP3768134A4 (en) * 2018-02-08 2022-01-19 Skyline Robotics Ltd. DEVICE AND METHOD FOR USE IN CLEANING A FACADE
US11123139B2 (en) * 2018-02-14 2021-09-21 Epica International, Inc. Method for determination of surgical procedure access
US10614579B1 (en) * 2018-10-10 2020-04-07 The Boeing Company Three dimensional model generation using heterogeneous 2D and 3D sensor fusion
CN109493375B (zh) * 2018-10-24 2021-01-12 深圳市易尚展示股份有限公司 三维点云的数据匹配及合并方法、装置、可读介质
US20200194117A1 (en) * 2018-12-13 2020-06-18 University Of Maryland, College Park Systems, methods, and media for remote trauma assessment
WO2020132609A1 (en) * 2018-12-21 2020-06-25 R2 Technologies, Inc. Automated dermatological cryospray treatment planning system
CN110110672A (zh) * 2019-05-10 2019-08-09 广东工业大学 一种人脸表情识别方法、装置及设备
CN110037918A (zh) * 2019-05-24 2019-07-23 熊江华 一种全自动艾灸机械臂的艾灸系统
CN111223048B (zh) * 2019-12-27 2023-09-12 中铭谷智能机器人(广东)有限公司 一种3d视觉点云数据拼接的方法及其系统
US20210339399A1 (en) * 2020-04-29 2021-11-04 Cobalt Robotics Inc. Mobile robot for elevator interactions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108466265A (zh) * 2018-03-12 2018-08-31 珠海市俊凯机械科技有限公司 机械手臂路径规划与作业方法、装置以及计算机设备
CN109202912A (zh) * 2018-11-15 2019-01-15 太原理工大学 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842079A (zh) * 2022-04-23 2022-08-02 四川大学 盾构隧道内对预制中隔墙进行位姿测量的设备及方法
CN114842079B (zh) * 2022-04-23 2023-09-19 四川大学 盾构隧道内对预制中隔墙进行位姿测量的设备及方法
CN116972973A (zh) * 2023-07-17 2023-10-31 中国科学院上海光学精密机械研究所 发光物体的空间光谱全自动测量装置及方法

Also Published As

Publication number Publication date
EP4186457A4 (en) 2024-08-14
US20230356394A1 (en) 2023-11-09
KR20230051477A (ko) 2023-04-18
WO2022017485A1 (zh) 2022-01-27
EP4186457A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
US10755089B2 (en) Hierarchical differential image filters for skin analysis
CN104835164B (zh) 一种双目摄像头深度图像的处理方法及装置
CN113967070A (zh) 机械臂控制方法和皮肤表面处理设备
CN104063898B (zh) 一种三维点云自动补全方法
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
CN101299267A (zh) 一种人脸图像处理方法及装置
CN106041946A (zh) 基于图像处理的机械人打磨生产方法及应用其的生产系统
CN110717984A (zh) 基于三维重构的鞋底自动涂胶方法、系统及存储介质
CN112214773B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN107545247B (zh) 基于双目识别的立体认知方法
JP2021517281A (ja) スマートホームシーン向けのマルチジェスチャー精分割方法
CN108010035A (zh) 基于方向谷形检测的指静脉图像分割方法及其系统、终端
CN110335194B (zh) 一种人脸变老图像处理方法
JP2009151602A (ja) 輪郭抽出装置と輪郭抽出方法及び輪郭抽出プログラム
CN113379623B (zh) 图像处理方法、装置、电子设备及存储介质
KR102170453B1 (ko) 3차원 평면추출 방법 및 그 장치
CN111047619B (zh) 人脸图像处理方法及装置、可读存储介质
WO2024156287A1 (zh) 一种人像视频皱纹祛除方法、装置以及设备
CN110032270B (zh) 一种基于手势识别的人机交互方法
CN113705466A (zh) 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN105184273A (zh) 一种基于asm的动态图像正面人脸重建系统及方法
WO2022258013A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
CN109145875A (zh) 一种人脸图像中的黑框眼镜去除方法及装置
CN115846890A (zh) 镭雕设备的控制方法、镭雕设备以及计算机可读存储介质
CN113814982A (zh) 一种焊接机器人机械手控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination