CN112907594A - 非目标对象辅助分离方法、系统、医疗机器人及存储介质 - Google Patents
非目标对象辅助分离方法、系统、医疗机器人及存储介质 Download PDFInfo
- Publication number
- CN112907594A CN112907594A CN202110417699.1A CN202110417699A CN112907594A CN 112907594 A CN112907594 A CN 112907594A CN 202110417699 A CN202110417699 A CN 202110417699A CN 112907594 A CN112907594 A CN 112907594A
- Authority
- CN
- China
- Prior art keywords
- target object
- separation
- clamped
- preset
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000926 separation method Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 18
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000000968 medical method and process Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- General Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Multimedia (AREA)
Abstract
本发明公开一种非目标对象辅助分离方法、系统、医疗机器人及存储介质，属于医疗器械领域。其中，该方法包括：首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。当待夹取对象被非目标对象遮挡无法直接夹取时，本发明通过分离装置将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。
Description
技术领域
本发明涉及医疗器械领域，尤其涉及一种非目标对象辅助分离方法、系统、医疗机器人及存储介质。
背景技术
在传统医疗手术中，医生通常需要助手手持一些医疗器械，例如医用夹子等，以辅助医生完成手术。然而在一些大手术中，长时间的手持医疗器械，往往会让助手感到疲惫，难以坚持，还可能会导致手术意外的发生。
随着机器人技术的发展，医疗领域机器人也逐渐兴起，例如用于在手术中辅助医生夹持医疗器械的机器人。但是，现有医疗夹取机器人系统的功能单一，当手术中需要夹取一些目标物，但是目标物被上面或下面的具有一定体积的非目标物遮挡，只有通过抬起非目标物才能看见和夹取目标物，此时，医疗夹取机器人系统便无法正常工作，影响手术的进行。
发明内容
本发明的目的在于提供一种非目标对象辅助分离方法、系统、医疗机器人及存储介质，当待夹取对象被非目标对象遮挡无法直接夹取时，能够顺利夹取待夹取对象，保证医疗手术的正常进行。
为实现上述目的，提供以下技术方案：
第一方面，本发明提供了一种非目标对象辅助分离方法，包括：
S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；
S2、获取待夹取对象和非目标对象的相对位置关系；
S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；
S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
进一步地，利用深度相机采集彩色图像，采用中值滤波和高斯滤波对图像进行降噪，使用直方图均衡化消除亮度差异，得到预处理之后的图像。
进一步地，采用基于SIFT的特征匹配与种子区域生长相结合的匹配方法进行立体匹配获取视差图，结合三角测量原理，使用相机模型计算得到场景三维点云信息，通过移动最小二乘法对离散三维点云集进行平滑滤波，进行三角剖分得到连续光滑表面的单视角三维模型，基于卷积神经网络进行目标识别与分割。
进一步地，预设分离路径和预设夹取路径的规划在关节空间或笛卡尔空间完成，分离装置的预设分离路径包括分离装置的位置参数、姿态参数、加速度参数和速度参数，夹取装置的预设夹取路径包括夹取装置的位置参数、姿态参数、加速度参数和速度参数。
第二方面，本发明还提供了一种非目标对象辅助分离系统，采用如上所述的非目标对象辅助分离方法，包括：
深度相机，用于采集待夹取对象和非目标对象的图像信息；
机械臂，具有多自由度；
夹取装置，设置于所述机械臂的末端，用于夹取待夹取对象；
分离装置，设置于所述夹取装置上，用于沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
进一步地，所述夹取装置包括第一夹持臂和第二夹持臂，所述第一夹持臂的一端与所述第二夹持臂的一端连接，所述第一夹持臂的另一端能够与所述第二夹持臂的另一端合拢。
进一步地，所述分离装置包括至少一个分离臂，所述分离臂设置于所述第一夹持臂和所述第二夹持臂之间，所述分离臂用于将非目标对象与待夹取对象分离。
进一步地，所述分离臂能够垂直于所述第一夹持臂和所述第二夹持臂的夹取面移动或转动。
第三方面，本发明还提供了一种医疗机器人，所述医疗机器人包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的非目标对象辅助分离方法。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序该程序被处理器执行时实现如上所述的非目标对象辅助分离方法。
与现有技术相比，本发明提供的非目标对象辅助分离方法、系统、医疗机器人及存储介质中，适用于医疗过程中协助医生顺利完成手术，当待夹取对象被非目标对象遮挡无法直接夹取时，首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。
附图说明
图1为本发明实施例一提供的非目标对象辅助分离方法的流程图；
图2为本发明实施例三提供的医疗机器人的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1为本实施例提供的非目标对象辅助分离方法的流程图，如图1所示，该非目标对象辅助分离方法包括如下步骤：
S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；
S2、获取待夹取对象和非目标对象的相对位置关系；
S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；
S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
进一步地，利用深度相机采集彩色图像，采用中值滤波和高斯滤波对图像进行降噪，使用直方图均衡化消除亮度差异，得到预处理之后的图像。中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。图像大多数噪声均属于高斯噪声，因此高斯滤波器应用也较广泛。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。高斯滤波的具体操作是：用一个用户指定的模板(或称卷积、掩膜)去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
直方图均衡化又称直方图平坦化，实质上是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内像素值的数量大致相等。这样，原来直方图中间的峰顶部分对比度得到增强，而两侧的谷底部分对比度降低，输出图像的直方图是一个较平的分段直方图：如果输出数据分段值较小的话，会产生粗略分类的视觉效果。直方图是表示数字图像中每一灰度出现频率的统计关系。直方图能给出图像灰度范围、每个灰度的频度和灰度的分布、整幅图像的平均明暗和对比度等概貌性描述。
进一步地，采用基于SIFT的特征匹配与种子区域生长相结合的匹配方法进行立体匹配获取视差图，结合三角测量原理，使用相机模型计算得到场景三维点云信息，通过移动最小二乘法对离散三维点云集进行平滑滤波，进行三角剖分得到连续光滑表面的单视角三维模型，基于卷积神经网络进行目标识别与分割。SIFT，即尺度不变特征变换(Scale-invariant feature transform，SIFT)。SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。
进一步地，预设分离路径和预设夹取路径的规划在关节空间或笛卡尔空间完成，分离装置的预设分离路径包括分离装置的位置参数、姿态参数、加速度参数和速度参数，夹取装置的预设夹取路径包括夹取装置的位置参数、姿态参数、加速度参数和速度参数。当规划好预设分离路径和预设夹取路径时，通过动力学方程在关节空间或笛卡尔空间中计算得到路径上的位置、姿态、加速度和速度，从而设置相应的位置参数、姿态参数、加速度参数和速度参数，以保证分离装置按照预设分离路径完成运动，夹取装置按照预设夹取路径完成运动。
本实施例提供的非目标对象辅助分离方法，适用于医疗过程中协助医生顺利完成手术，当待夹取对象被非目标对象遮挡无法直接夹取时，首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。
实施例二
本实施例提供一种非目标对象辅助分离系统，可适用于医疗过程中协助医生顺利完成手术。本发明实施例提供的非目标对象辅助分离系统可执行本发明实施例所提供的非目标对象辅助分离方法，具备执行方法相应的功能模块和有益效果。
该非目标对象辅助分离系统包括：
深度相机，用于采集待夹取对象和非目标对象的图像信息；
机械臂，具有多自由度；
夹取装置，设置于机械臂的末端，用于夹取待夹取对象；
分离装置，设置于夹取装置上，用于沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
进一步地，夹取装置包括第一夹持臂和第二夹持臂，第一夹持臂的一端与第二夹持臂的一端连接，第一夹持臂的另一端能够与第二夹持臂的另一端合拢。第一夹持臂和第二夹持臂均具有一定的宽度，使待夹取对象被夹取时受力面积较大，避免损坏待夹取对象。第一夹持臂和第二夹持臂的末端可以是直的，也可以是弯的，根据待夹取对象的形状尺寸而定，在此不作限定。
进一步地，分离装置包括至少一个分离臂，分离臂设置于第一夹持臂和第二夹持臂之间，分离臂用于将非目标对象与待夹取对象分离。在操作时，首先，通过操作分离臂将非目标对象与待夹取对象分离，再通过操作第一夹持臂和第二夹持臂对待夹取对象进行夹取。
由于手术中经常遇到非目标对象遮挡待夹取对象，且无法通过夹取装置的自身自由度拨动非目标对象，进一步地，分离臂能够垂直于第一夹持臂和第二夹持臂的夹取面移动或转动。
本实施例提供的非目标对象辅助分离系统，适用于医疗过程中协助医生顺利完成手术，当待夹取对象被非目标对象遮挡无法直接夹取时，首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。
实施例三
图2为本实施例中的医疗机器人的结构示意图。图2示出了适于用来实现本发明实施方式的示例性医疗机器人412的框图。图2显示的医疗机器人412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图2所示，医疗机器人412以通用终端的形式表现。医疗机器人412的组件可以包括但不限于：医疗机器人本体(图中未示出)、一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
医疗机器人412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被医疗机器人412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。医疗机器人412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图2未显示，通常称为“硬盘驱动器”)。尽管图2中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
医疗机器人412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该医疗机器人412交互的终端通信，和/或与使得该医疗机器人412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，医疗机器人412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图2所示，网络适配器420通过总线418与医疗机器人412的其它模块通信。应当明白，尽管图中未示出，可以结合医疗机器人412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的非目标对象辅助分离方法，该方法包括：
S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；
S2、获取待夹取对象和非目标对象的相对位置关系；
S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；
S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的非目标对象辅助分离方法，该方法包括：
S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；
S2、获取待夹取对象和非目标对象的相对位置关系；
S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；
S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种非目标对象辅助分离方法，其特征在于，包括：
S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；
S2、获取待夹取对象和非目标对象的相对位置关系；
S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；
S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
2.根据权利要求1所述的非目标对象辅助分离方法，其特征在于，利用深度相机采集彩色图像，采用中值滤波和高斯滤波对图像进行降噪，使用直方图均衡化消除亮度差异，得到预处理之后的图像。
3.根据权利要求2所述的非目标对象辅助分离方法，其特征在于，采用基于SIFT的特征匹配与种子区域生长相结合的匹配方法进行立体匹配获取视差图，结合三角测量原理，使用相机模型计算得到场景三维点云信息，通过移动最小二乘法对离散三维点云集进行平滑滤波，进行三角剖分得到连续光滑表面的单视角三维模型，基于卷积神经网络进行目标识别与分割。
4.根据权利要求1所述的非目标对象辅助分离方法，其特征在于，预设分离路径和预设夹取路径的规划在关节空间或笛卡尔空间完成，分离装置的预设分离路径包括分离装置的位置参数、姿态参数、加速度参数和速度参数，夹取装置的预设夹取路径包括夹取装置的位置参数、姿态参数、加速度参数和速度参数。
5.一种非目标对象辅助分离系统，其特征在于，采用如权利要求1-4中任一项所述的非目标对象辅助分离方法，包括：
深度相机，用于采集待夹取对象和非目标对象的图像信息；
机械臂，具有多自由度；
夹取装置，设置于所述机械臂的末端，用于夹取待夹取对象；
分离装置，设置于所述夹取装置上，用于沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。
6.根据权利要求5所述的非目标对象辅助分离系统，其特征在于，所述夹取装置包括第一夹持臂和第二夹持臂，所述第一夹持臂的一端与所述第二夹持臂的一端连接，所述第一夹持臂的另一端能够与所述第二夹持臂的另一端合拢。
7.根据权利要求6所述的非目标对象辅助分离系统，其特征在于，所述分离装置包括至少一个分离臂，所述分离臂设置于所述第一夹持臂和所述第二夹持臂之间，所述分离臂用于将非目标对象与待夹取对象分离。
8.根据权利要求7所述的非目标对象辅助分离系统，其特征在于，所述分离臂能够垂直于所述第一夹持臂和所述第二夹持臂的夹取面移动或转动。
9.一种医疗机器人，其特征在于，所述医疗机器人包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的非目标对象辅助分离方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的非目标对象辅助分离方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110417699.1A CN112907594B (zh) | 2021-04-19 | 非目标对象辅助分离方法、系统、医疗机器人及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110417699.1A CN112907594B (zh) | 2021-04-19 | 非目标对象辅助分离方法、系统、医疗机器人及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907594A true CN112907594A (zh) | 2021-06-04 |
| CN112907594B CN112907594B (zh) | 2024-10-22 |
Family
ID=
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103503639A (zh) * | 2013-09-30 | 2014-01-15 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
| CN105468033A (zh) * | 2015-12-29 | 2016-04-06 | 上海大学 | 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法 |
| CN108247635A (zh) * | 2018-01-15 | 2018-07-06 | 北京化工大学 | 一种深度视觉的机器人抓取物体的方法 |
| CN108858199A (zh) * | 2018-07-27 | 2018-11-23 | 中国科学院自动化研究所 | 基于视觉的服务机器人抓取目标物体的方法 |
| US20190291277A1 (en) * | 2017-07-25 | 2019-09-26 | Mbl Limited | Systems and methods for operating a robotic system and executing robotic interactions |
| CN110605711A (zh) * | 2018-06-14 | 2019-12-24 | 中瑞福宁机器人（沈阳）有限公司 | 一种控制协作机器人抓取物体的方法、装置及系统 |
| CN210408541U (zh) * | 2019-06-20 | 2020-04-28 | 郑州儿童医院 | 一种胸心外科手术用夹取装置 |
| CN111275063A (zh) * | 2018-12-04 | 2020-06-12 | 广州中国科学院先进技术研究所 | 一种基于3d视觉的机器人智能抓取控制方法及系统 |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| CN111882610A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学院自动化研究所 | 基于椭圆锥人工势场的服务机器人抓取目标物体的方法 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103503639A (zh) * | 2013-09-30 | 2014-01-15 | 常州大学 | 一种双臂果蔬采收机器人系统及其果蔬采收方法 |
| CN105468033A (zh) * | 2015-12-29 | 2016-04-06 | 上海大学 | 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法 |
| US20190291277A1 (en) * | 2017-07-25 | 2019-09-26 | Mbl Limited | Systems and methods for operating a robotic system and executing robotic interactions |
| CN108247635A (zh) * | 2018-01-15 | 2018-07-06 | 北京化工大学 | 一种深度视觉的机器人抓取物体的方法 |
| CN110605711A (zh) * | 2018-06-14 | 2019-12-24 | 中瑞福宁机器人（沈阳）有限公司 | 一种控制协作机器人抓取物体的方法、装置及系统 |
| CN108858199A (zh) * | 2018-07-27 | 2018-11-23 | 中国科学院自动化研究所 | 基于视觉的服务机器人抓取目标物体的方法 |
| CN111275063A (zh) * | 2018-12-04 | 2020-06-12 | 广州中国科学院先进技术研究所 | 一种基于3d视觉的机器人智能抓取控制方法及系统 |
| CN210408541U (zh) * | 2019-06-20 | 2020-04-28 | 郑州儿童医院 | 一种胸心外科手术用夹取装置 |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| CN111882610A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学院自动化研究所 | 基于椭圆锥人工势场的服务机器人抓取目标物体的方法 |
| CN112070818A (zh) * | 2020-11-10 | 2020-12-11 | 纳博特南京科技有限公司 | 基于机器视觉的机器人无序抓取方法和系统及存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| CHRISTIAN SMITH 等: "Dual arm manipulation-A survey", ROBOTICS AND AUTONOMOUS SYSTEMS, vol. 60, no. 10, 31 October 2012 (2012-10-31) * |
| 凌轩 等: "智能草莓采摘机器人设计及试验", 现代农业装备, vol. 42, no. 1, 28 February 2021 (2021-02-28) * |
| 孙华魁: "数字图像处理与识别技术研究", 31 May 2019, 天津科学技术出版社, pages: 27 * |
| 孙水发 等: "3D打印逆向建模技术及应用", 31 May 2016, 南京师范大学出版社, pages: 2 - 7 * |
| 郑笑红 等: "工业机器人技术及应用", 31 August 2004, 煤炭工业出版社, pages: 145 * |
| 钟跃崎: "人工智能技术原理与应用", 30 September 2020, 东华大学出版社, pages: 248 * |
| 颜培清;何炳蔚;雷阿唐;张立伟;韩国强: "基于深度信息的多目标抓取规划方法研究", 电子测量与仪器学报, no. 09, 15 September 2016 (2016-09-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7150917B2 (ja) | 地図作成のためのコンピュータ実施方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム | |
| CN110222703B (zh) | 图像轮廓识别方法、装置、设备和介质 | |
| JP2013012190A (ja) | ガボールフィルターをブロックガボールフィルターとして近似する方法、及び、プロセッサ上で実行されているアプリケーションプログラムによるアクセスのためのデータ構造を格納するメモリ | |
| CN112382359B (zh) | 患者注册方法、装置、电子设备及计算机可读介质 | |
| CN103632366A (zh) | 一种椭圆目标的参数识别方法 | |
| CN113327298B (zh) | 基于图像实例分割和点云pca算法的一种抓取姿态估计方法 | |
| CN111476841A (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| CN113178013B (zh) | 三角网格滤波方法、装置、电子设备和存储介质 | |
| CN110796108A (zh) | 一种人脸质量检测的方法、装置、设备及存储介质 | |
| CN112651380A (zh) | 人脸识别方法、人脸识别装置、终端设备及存储介质 | |
| CN111127556A (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| KR101208446B1 (ko) | 정합대상영상의 정합판정방법 | |
| CN112435223A (zh) | 目标检测方法、装置及存储介质 | |
| CN115082498A (zh) | 一种机器人抓取位姿估计方法、装置、设备及存储介质 | |
| WO2022142297A1 (en) | A robot grasping system and method based on few-shot learning | |
| CN114782529A (zh) | 一种面向带电作业机器人的抓线点高精度定位方法、系统及存储介质 | |
| CN113538576B (zh) | 基于双臂机器人的抓取方法、装置及双臂机器人 | |
| Bonmassar et al. | Lie groups, space-variant Fourier analysis and the exponential chirp transform | |
| CN116030192B (zh) | 一种基于动力学特征的骨骼段预处理方法及装置 | |
| CN112907594A (zh) | 非目标对象辅助分离方法、系统、医疗机器人及存储介质 | |
| CN112907594B (zh) | 非目标对象辅助分离方法、系统、医疗机器人及存储介质 | |
| Arora et al. | An algorithm to straighten the bent human chromosomes | |
| CN112967265A (zh) | 医用夹取方法、系统、医疗机器人及存储介质 | |
| CN113012800B (zh) | 多用途夹取方法、系统、医疗机器人及存储介质 | |
| CN112914727A (zh) | 非目标障碍物分离方法、系统、医疗机器人及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |