CN112102289A - 一种基于机器视觉的细胞样本离心处理系统及方法 - Google Patents
一种基于机器视觉的细胞样本离心处理系统及方法 Download PDFInfo
- Publication number
- CN112102289A CN112102289A CN202010969791.4A CN202010969791A CN112102289A CN 112102289 A CN112102289 A CN 112102289A CN 202010969791 A CN202010969791 A CN 202010969791A CN 112102289 A CN112102289 A CN 112102289A
- Authority
- CN
- China
- Prior art keywords
- image
- test tube
- centrifuge
- mechanical arm
- tube box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 51
- 230000009471 action Effects 0.000 claims abstract description 6
- 239000003086 colorant Substances 0.000 claims abstract description 6
- 238000005119 centrifugation Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005530 etching Methods 0.000 claims description 3
- 238000007639 printing Methods 0.000 claims description 2
- 230000002380 cytological effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Centrifugal Separators (AREA)
Abstract
本发明公开了一种基于机器视觉的细胞样本离心处理系统及方法，包括：离心机，所述离心机的试管盒放置位置分别设置设定颜色的卡片；图像获取模块，用于获取离心机图像；图像处理模块，用于根据获取的离心机图像确定放置或者抓取试管盒的点位坐标；智能机械臂模块，用于根据点位坐标对试管盒执行放置动作。本发明有益效果：本发明大幅简化了人工操作，由原来的人工完成放置改变为机械臂完成放置，能够节省人力，提高工作效率，减少因人工操作失误引起的损失，为细胞样本离心处理及其后续操作提供有力保障。
Description
技术领域
本发明涉及细胞病理学仪器自动化控制技术领域，尤其涉及一种基于机器视觉的细胞样本离心处理系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着人工智能的快速发展，各行各业的智能化越来越明显。在涉及细胞观察前的准备工作在智能化程度上存在着不足。在医院、生物或医疗研究所等一些需要大量观察分析细胞的场所，细胞离心处理的过程完全需要人工进行操作，这样不仅浪费了大量的人力财力，而且在操作的过程中可能会因为一些误操作导致细胞样本污染或者损坏。
现有技术公开了通过机械臂实现细胞离心过程自动处理的技术，但是在进行中心位置识别时，往往采用在目标位置贴上二维码，通过扫描二维码信息确定中心位置；这种方式虽然简单有效，但由于二维码贴放位置可能会略有误差，导致确定的中心点与实际的中心点存在误差，会出现试管盒放置不准的问题。
发明内容
有鉴于此，本发明提出了一种基于机器视觉的细胞样本离心处理系统及方法，通过运用视觉辅助来控制智能六轴机械臂运动，运用改进后的目标点位位置确定算法，能够实现对离心机内部点位的精确定位，通过在离心机内部放置标记点辅助确定点位位置的方式，使得位置偏差进一步缩小。
本发明实施方式的第一个方面，公开了一种基于机器视觉的细胞样本离心处理系统，包括：
离心机，所述离心机的试管盒放置位置分别设置设定颜色的卡片；
图像获取模块，用于获取离心机图像；
图像处理模块，用于根据获取的离心机图像确定放置或者抓取试管盒的点位坐标；
智能机械臂模块，用于根据点位坐标对试管盒执行放置动作。
本发明实施方式的第二个方面，公开了一种基于机器视觉的细胞样本离心处理方法，包括：
获取离心机图像信息；
对所述图像进行预处理，所述预处理包括：灰度化、去噪和腐蚀操作；
通过阈值操作将图像转化为二值图像；
首先使用ADP算法寻找最小的设定形状，所述形状为卡片的形状；
确定卡片所在的位置，并将其转换为机械臂能够识别的坐标；
基于所述坐标控制机械臂完成试管盒的放置动作。
本发明实施方式的第三个方面，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于机器视觉的细胞样本离心处理方法。
本发明实施方式的第四个方面，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于机器视觉的细胞样本离心处理方法。
与现有技术相比，本发明的有益效果是：
本发明大幅简化了人工操作，由原来的人工完成放置改变为机械臂完成放置，能够节省人力，提高工作效率，减少因人工操作失误引起的损失，为细胞样本离心处理及其后续操作提供有力保障。
本发明基于标准点位置的点位确定算法，确定试管盒的放置点位坐标，避免了二维码扫描方式可能存在的位置偏差问题。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1示出了本发明实施例所提供的基于机器视觉的细胞样本离心处理系统结构示意图；
图2示出了本发明实施例所提供的基于机器视觉的细胞样本离心处理方法流程图；
图3示出了本发明实施例所提供的机械臂工作过程示意图；
图4示出了本发明实施例所提供的离心机图像示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
在一个或多个实施方式中，公开了一种基于机器视觉的细胞样本离心处理系统，参照图1，包括：
离心机，所述离心机的试管盒放置位置分别设置设定颜色的卡片；
图像获取模块，用于获取离心机图像；
图像处理模块，用于根据获取的离心机图像确定放置或者抓取试管盒的点位坐标；
智能机械臂模块，用于根据点位坐标对试管盒执行放置动作。
具体地，离心机采用标准医用离心机，参照图4，制作了若干白色纸质卡片，在离心机的框架相应位置上贴放，由于卡片放置的位置亮度较大，在OpenCV中可以非常容易的分辨出那些位置以及它们的中心。
图像获取模块包括高分辨率摄像头或者工业相机，以及标准光源，其中，高分辨率摄像头或者工业相机设置在离心机上正上方，用于采集离心机的图像；标准光源设置在离心机的侧面，用于提供辅助光源，以提高图像拍摄质量。
图像处理模块采用计算机实现，用于对获取到的图像进行处理，获取试管盒放置位置的点位坐标，并将其转换为机械臂能够识别的坐标。
智能机械臂模块采用DOBOT智能六轴机械臂，可直接连接计算机进行操作，内置精心调教的伺服电机、谐波减速机，最大负载为4kg，臂长572mm，定位精度达0.02mm；其由J1,J2,J3,J4,J5,J6六个关节轴构成，此六轴机械臂控制方式多样，工作范围广，可减小对外围设备的干扰。其运动功能包括笛卡尔坐标系模式、关节运动模式、圆弧运动模式、点位运动模式四种，操作范围大。DOBOT SR6-3六轴机械臂运动速度与加速度均为可调整值，增加了DOBOTSR6-3机械臂运动时的稳定性。
将离心机安装于工作台上，离心机盖开启，相机和光源使用支撑杆固定，镜头和光源向下正对离心机转轴中心。安装机械臂至离心机周围适当位置，注意运动时不能触及其他物体；调整抓取控制气泵使其能控制抓具的开合；将试管盒和试管架安装至机械臂能控制之处，摆正放好即可；将电脑安装于工作台附近，通过双绞线与相机进行通信连接。
全部安装完成后，启动电源，依据试管架和试管盒实际摆放位置确定机械臂移动点位，控制机械臂执行抓取试管至试管盒的操作和抓取试管盒并获取图像系统传回点位坐标，放置到对应点位的操作。将机械臂调整至准备抓取试管状态，启动图像处理程序，开启光源，调整照相机光圈至预览画面点位清晰可辨，检查相机、机械臂、电脑、离心机安装调试无误后即可准备开始工作。
本实施例中，采用摄像头对离心机内部进行拍照，拍照后，对获取到的离心机图像进行预处理：通过灰度转化、线性滤波、形态学操作、阈值操作、寻找轮廓、绘制矩形、获取点位、坐标转化等系列操作得到机械臂要放入的点位，如果能成功获取点位，机械臂转向执行放置操作。
参照图3，控制DOBOT SR6-3机械臂按照事先调整好的点位进行工作。首先夹取试管到试管盒中，完成后，获取视觉模块传回的点位信息，夹取试管盒到相应位置放下。如果视觉模块没能获取到有效的点位信息，则应当报错，不能再进行抓取放置的操作，避免危险发生。重复此操作，直到所有的试管都被放入试管盒，所有的试管盒都被放入离心机。
提前调整好离心机的工作时间，在离心机工作期间机械臂应当暂停运行，等待离心结束后再继续工作。当试管盒被稳定放入离心机后，控制机械臂移动离心机盖至离心机盖为关闭状态。完成后，控制机械臂按下离心机启动按钮，离心机开始工作，机械臂等待离心机工作结束。
离心机在工作结束后，转轴仍然会继续转动，在转轴转动时不可以开启离心机盖取出试管盒。所以机械臂的等待时间要比离心机工作的时间更长一些，等待时间最好提前人工测出并写入程序，方便工作。
离心工作完全结束后，控制机械臂打开离心机盖，要注意打开之后机械臂的位置不能阻挡视觉识别，可以在开启之后控制机械臂移动至默认位置规避此问题。之后再次获取视觉模块传回的点位信息，夹出试管盒到指定位置。如果视觉模块没能获取到有效的点位信息，则应当报错，不能再进行抓取放置的操作，避免危险发生。重复此操作，直到全部的试管盒都被取出，全部操作完成。
实施例二
在一个或多个实施方式中，公开了一种基于机器视觉的细胞样本离心处理方法，包括如下过程：
(1)初始化
将机械臂调整至准备抓取试管状态，启动图像处理程序，开启光源，调整照相机光圈至预览画面点位清晰可辨，检查相机、机械臂、电脑、离心机安装调试无误后即可准备开始工作。
(2)相机标定
使用张正友标定法对相机进行标定。标定流程如下：
1.打印棋盘标定纸，附加到一个平坦的表面上；
2.通过移动相机或者平面拍摄标定板各种角度的图片，一般拍摄20张；
3.检测图片中的特征点；
4.计算5个内部参数和所有的外部参数；
5.通过最小二乘法先行求解径向畸变系数；
6.通过求最小参数值，优化所有参数；
将平面上的二维坐标放在通过标定建立好的模型中，唯一确定一个现实世界中的三维坐标。
本实施例中，需要对相机进行标定的原因是工业相机的镜头在生产和组装过程中的畸变程度各不相同，这样的畸变在需要通过照片获取准确点位信息时会造成许多误差，为减少误差，需要进行标定操作。
同时，我们可以根据标定后得到的相机参数建立起相机成像几何模型，因为照片中的图像是二维场景，而现实是三维场景，维度的缺失导致了信息的丢失，所以无法直接通过二维坐标转化为三维坐标，但是通过标定就可以建立起二维照片到三维场景的映射关系，将平面上的二维坐标放在通过标定建立好的模型中，即可唯一确定一个现实世界中的三维坐标。
转动标定模板，从不同的角度拍摄棋盘标定模板的图像，求出内参矩阵和外参矩阵，从而得到相机坐标与图像坐标的投射矩阵，依据这个对应关系就能把相机获取的二维图像中的某个点位转化为现实世界的三维坐标，此坐标即为机械臂要放置试管盒的坐标。如果标定结果不理想，为避免出现放置误差，应当重新标定。
具体地，参照图2，对于相机获取的二维图像，进行如下的处理：
1)图像预处理
该算法首先从与相机的通信获取图片，获取到图片后首先将图片转化为灰度图像，然后使用线性滤波降噪去除噪点影响，再使用形态学的腐蚀操作对图像进行预处理，腐蚀操作为对图像的高亮部分进行扩张，使白色部分扩大，易于后续处理以便于后续处理。
具体方式为首先获取结构元素，使用矩形卷积和与Size(7,7)的大小构造结构元素，再执行腐蚀操作。
2)图像的阈值操作
通过阈值操作将图像转化成一个比较恰当的二值图像，使用阈值操作可以将图像转化为只有黑色和白色的图像，黑白之间的边缘通过阈值确定，阈值的范围为0～255，经过反复调试，确定一个适合具体安装环境的阈值。
程序中留有预览界面，可以人为调整阈值直至适合，调整无误后该值的大小一般不再轻易变化。
可以使用一个可对阈值进行动态调整的trackBar模块对图像的阈值进行实时调整，以确定本发明使用的阈值的准确数值。
具体操作方法为：先使用一个任意初始阈值作为缺省阈值，再使用步骤3)中的算法确定图像点位，并将检测情况打印至屏幕，使用trackBar模块调整阈值数值，反复调试以获得最佳阈值。
3)图像点位的确定
使用ADP算法寻找最小矩形，确定检测到的矩形轮廓，得到确定矩形的一系列坐标点，即获取到白色卡片所在位置。在OpenCV中，可以使用cv:approxPolyDP()函数，该函数采用是道格拉斯-普克算法(Douglas-Peucker)来实现，过程是已知的。该算法可以将曲线近似表示为一系列点，并减少点的数量。
对于一个离心臂而言，在其试管盒放置位置的左右两侧支撑臂上各有一个白色卡片，两个白色卡片的中心位置的连线的中点即对应试管盒放置位置正上方的二维位置，在实现时可以通过简单计算取得此坐标。通过标定取得的坐标变换关系可将获取的图像二维坐标转化为现实世界的三维坐标，即将其转化为机械臂可以识别的坐标形式，最后通过socket通信传入机械臂中。
(3)机械臂抓取试管至试管盒
相机标定获得理想结果之后，使用机械臂附带的示教器启动抓取程序，机械臂开始工作。抓取程序内容如下：首先将机械臂移动至试管架中的某一试管的抓取高度，打开气泵，使气压推动抓具抓住试管。机械臂携带试管移动至试管盒位置，将试管平稳地放在试管盒的一个插槽处。重复这个操作直到试管盒的全部插槽都被插满。
(4)获取图像并执行基于标准点位置的点位确定算法
启动图像处理程序，计算机执行基于标准点位置的点位确定算法，将图像中获得的平面上的二维坐标通过坐标变换获得机械臂的点位，并将点位传给机械臂。机械臂程序监听图像处理程序传回的点位信息，如果因为环境设置异常等原因导致无法获取准确点位信息，应当停止作业并检查，防止危险发生。
(5)机械臂工作
如点位信息获取无误，机械臂便按照既定的抓取和放置逻辑开始工作。机械臂程序控制机械臂抓取试管盒至离心机对应点位，并平稳放下。重复此操作，直到全部的试管盒都被放置完成。此后使用机械臂关闭离心机盖，按下启动开关，离心机开始工作。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于机器视觉的细胞样本离心处理系统，其特征在于，包括：
离心机，所述离心机的试管盒放置位置分别设置设定颜色的卡片；
图像获取模块，用于获取离心机图像；
图像处理模块，用于根据获取的离心机图像确定放置或者抓取试管盒的点位坐标；
智能机械臂模块，用于根据点位坐标对试管盒执行放置动作。
2.如权利要求1所述的一种基于机器视觉的细胞样本离心处理系统，其特征在于，所述图像获取模块包括：工业相机和辅助光源，工业相机设置在离心机上方，辅助光源设置在离心机侧面。
3.如权利要求1所述的一种基于机器视觉的细胞样本离心处理系统，其特征在于，所述图像处理模块对获取的离心机图像进行预处理和阈值操作后，基于ADP算法寻找最小矩形，得到卡片所在的位置，从而确定试管盒放置位置的点位坐标，并将其转换为智能机械臂模块能够识别的坐标。
4.如权利要求1所述的一种基于机器视觉的细胞样本离心处理系统，其特征在于，所述智能机械臂模块根据试管架和试管盒实际摆放位置确定机械臂移动点位，控制机械臂将试管架中的试管抓取并放置到试管盒中。
5.一种基于机器视觉的细胞样本离心处理方法，其特征在于，包括：
获取离心机图像信息；
对所述图像进行预处理，所述预处理包括：灰度化、去噪和腐蚀操作；
通过阈值操作将图像转化为二值图像；
首先使用ADP算法寻找最小的设定形状，所述形状为卡片的形状；
确定卡片所在的位置，并将其转换为机械臂能够识别的坐标；
基于所述坐标控制机械臂完成试管盒的放置动作。
6.如权利要求5所述的一种基于机器视觉的细胞样本离心处理方法，其特征在于，通过阈值操作将图像转化为二值图像时，使用可对阈值进行动态调整的trackBar模块对图像的阈值进行实时调整。
7.如权利要求5所述的一种基于机器视觉的细胞样本离心处理方法，其特征在于，确定卡片所在的位置，并将其转换为机械臂能够识别的坐标，具体包括：
通过棋盘标定模板对相机进行标定；
转动标定模板，从不同的角度拍摄棋盘标定模板的图像，求出内参矩阵和外参矩阵，从而得到相机坐标与图像坐标的投射矩阵，依据这个对应关系就能把相机获取的二维图像中的某个点位转化为现实世界的三维坐标，此坐标即为机械臂要放置试管盒的坐标。
8.如权利要求7所述的一种基于机器视觉的细胞样本离心处理方法，其特征在于，对相机进行标定的方法包括：
打印棋盘标定模板，附加到一个平坦的表面上；
拍摄棋盘标定模板不同角度的图片；
检测图片中的特征点；
计算设定个数的内部参数和所有的外部参数；
通过最小二乘法先行求解径向畸变系数；
通过求最小参数值，优化所有参数；
将平面上的二维坐标放在通过标定建立好的模型中，唯一确定一个现实世界中的三维坐标。
9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求5-8任一项所述的基于机器视觉的细胞样本离心处理方法。
10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求5-8任一项所述的基于机器视觉的细胞样本离心处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010969791.4A CN112102289A (zh) | 2020-09-15 | 2020-09-15 | 一种基于机器视觉的细胞样本离心处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010969791.4A CN112102289A (zh) | 2020-09-15 | 2020-09-15 | 一种基于机器视觉的细胞样本离心处理系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102289A true CN112102289A (zh) | 2020-12-18 |
Family
ID=73759241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010969791.4A Pending CN112102289A (zh) | 2020-09-15 | 2020-09-15 | 一种基于机器视觉的细胞样本离心处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102289A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920199A (zh) * | 2021-12-14 | 2022-01-11 | 深圳市易瑞生物技术股份有限公司 | 离心管架定位的方法、设备和计算机可读存储介质 |
| CN114653490A (zh) * | 2022-05-19 | 2022-06-24 | 中国科学技术大学 | 一种位姿测量板及机械臂自动操作通用离心机的方法 |
| WO2023103222A1 (zh) * | 2021-12-10 | 2023-06-15 | 深圳市易瑞生物技术股份有限公司 | 离心管取放方法、设备和计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090190826A1 (en) * | 2008-01-24 | 2009-07-30 | Canon Kabushiki Kaisha | Working apparatus and calibration method thereof |
| US20110122231A1 (en) * | 2009-11-24 | 2011-05-26 | Omron Corporation | Method for dislaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor |
| US20140305847A1 (en) * | 2011-11-11 | 2014-10-16 | Boewe Systec Gmbh | Device and method for combining cards and card supports, for handling cards and/or for sorting cards from card holders |
| CN106826822A (zh) * | 2017-01-25 | 2017-06-13 | 南京阿凡达机器人科技有限公司 | 一种基于ros系统的视觉定位及机械臂抓取实现方法 |
| DE102016114593A1 (de) * | 2016-08-05 | 2018-02-08 | RobArt GmbH | Verfahren zur Steuerung eines autonomen mobilen Roboters |
| CN108603835A (zh) * | 2016-01-28 | 2018-09-28 | 西门子医疗保健诊断公司 | 被适配成根据多个侧视图来量化试样的方法和装置 |
| CN109073663A (zh) * | 2016-03-22 | 2018-12-21 | 贝克曼考尔特公司 | 用于建立样品试管组的方法、计算机程序产品和系统 |
| CN109785317A (zh) * | 2019-01-23 | 2019-05-21 | 辽宁工业大学 | 自动码垛桁架机器人的视觉系统 |
| CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
| CN111575172A (zh) * | 2020-07-03 | 2020-08-25 | 上海百傲科技股份有限公司 | 基因检测系统 |
-
2020
- 2020-09-15 CN CN202010969791.4A patent/CN112102289A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090190826A1 (en) * | 2008-01-24 | 2009-07-30 | Canon Kabushiki Kaisha | Working apparatus and calibration method thereof |
| US20110122231A1 (en) * | 2009-11-24 | 2011-05-26 | Omron Corporation | Method for dislaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor |
| US20140305847A1 (en) * | 2011-11-11 | 2014-10-16 | Boewe Systec Gmbh | Device and method for combining cards and card supports, for handling cards and/or for sorting cards from card holders |
| CN108603835A (zh) * | 2016-01-28 | 2018-09-28 | 西门子医疗保健诊断公司 | 被适配成根据多个侧视图来量化试样的方法和装置 |
| CN109073663A (zh) * | 2016-03-22 | 2018-12-21 | 贝克曼考尔特公司 | 用于建立样品试管组的方法、计算机程序产品和系统 |
| DE102016114593A1 (de) * | 2016-08-05 | 2018-02-08 | RobArt GmbH | Verfahren zur Steuerung eines autonomen mobilen Roboters |
| CN106826822A (zh) * | 2017-01-25 | 2017-06-13 | 南京阿凡达机器人科技有限公司 | 一种基于ros系统的视觉定位及机械臂抓取实现方法 |
| CN109785317A (zh) * | 2019-01-23 | 2019-05-21 | 辽宁工业大学 | 自动码垛桁架机器人的视觉系统 |
| CN110842928A (zh) * | 2019-12-04 | 2020-02-28 | 中科新松有限公司 | 一种复合机器人视觉引导定位装置及方法 |
| CN111575172A (zh) * | 2020-07-03 | 2020-08-25 | 上海百傲科技股份有限公司 | 基因检测系统 |
Non-Patent Citations (3)
| Title |
|---|
| SPENCER B. BACKUS 等: "An Adaptive Three-Fingered Prismatic Gripper With Passive Rotational Joints", 《IEEE ROBOTICS AND AUTOMATION LETTERS》, vol. 1, no. 22, pages 668 - 675, XP011602388, DOI: 10.1109/LRA.2016.2516506 * |
| 谢宇坤 等: "基于单目视觉的移动机械臂抓取作业方法研究", 《机电工程》, vol. 36, no. 1, pages 71 - 76 * |
| 郭晓峰: "机器人二维字符识别算法及其应用研究", 《CNKI学位论文》, vol. 2020, no. 07 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103222A1 (zh) * | 2021-12-10 | 2023-06-15 | 深圳市易瑞生物技术股份有限公司 | 离心管取放方法、设备和计算机可读存储介质 |
| CN113920199A (zh) * | 2021-12-14 | 2022-01-11 | 深圳市易瑞生物技术股份有限公司 | 离心管架定位的方法、设备和计算机可读存储介质 |
| CN113920199B (zh) * | 2021-12-14 | 2022-04-05 | 深圳市易瑞生物技术股份有限公司 | 离心管架定位的方法、设备和计算机可读存储介质 |
| WO2023108941A1 (zh) * | 2021-12-14 | 2023-06-22 | 深圳市易瑞生物技术股份有限公司 | 离心管架定位的方法、设备和计算机可读存储介质 |
| CN114653490A (zh) * | 2022-05-19 | 2022-06-24 | 中国科学技术大学 | 一种位姿测量板及机械臂自动操作通用离心机的方法 |
| CN114653490B (zh) * | 2022-05-19 | 2022-09-30 | 中国科学技术大学 | 一种位姿测量板及机械臂自动操作通用离心机的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102289A (zh) | 一种基于机器视觉的细胞样本离心处理系统及方法 | |
| CN110238845B (zh) | 最优标定点选取和误差自测量的自动手眼标定方法及装置 | |
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN111791239B (zh) | 一种结合三维视觉识别可实现精确抓取的方法 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及系统 | |
| CN110712202B (zh) | 异形元器件抓取方法、装置、系统、控制装置及存储介质 | |
| CN111923053A (zh) | 基于深度视觉的工业机器人物件抓取示教系统及方法 | |
| CN110246127A (zh) | 基于深度相机的工件识别与定位方法和系统、分拣系统 | |
| CN113146172A (zh) | 一种基于多视觉的检测与装配系统及方法 | |
| CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
| CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| CN114092428A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| CN111267094A (zh) | 一种基于双目视觉的工件定位与抓取方法 | |
| CN113664826A (zh) | 一种未知环境中的机器人抓取方法及系统 | |
| CN114419437A (zh) | 基于2d视觉的工件分拣系统及其控制方法和控制装置 | |
| CN112945133A (zh) | 一种三次元尺寸测量仪及其测量方法 | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| JPS63311485A (ja) | 自動キャリブレ−ション装置 | |
| CN111178296A (zh) | 多工件视觉定位和识别方法 | |
| CN114022342A (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
| CN114022341A (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 | |
| CN112184819A (zh) | 机器人的引导方法、装置、计算机设备和存储介质 | |
| CN113255662A (zh) | 一种基于视觉成像的定位矫正方法、系统、设备及存储介质 | |
| Fu et al. | Dynamically grasping with incomplete information workpiece based on machine vision | |
| CN112233176A (zh) | 一种基于标定物的目标位姿测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |