CN116725730A - 一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 - Google Patents
一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 Download PDFInfo
- Publication number
- CN116725730A CN116725730A CN202311009037.6A CN202311009037A CN116725730A CN 116725730 A CN116725730 A CN 116725730A CN 202311009037 A CN202311009037 A CN 202311009037A CN 116725730 A CN116725730 A CN 116725730A
- Authority
- CN
- China
- Prior art keywords
- injection
- information
- coordinate
- pose information
- injector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002347 injection Methods 0.000 title claims abstract description 201
- 239000007924 injection Substances 0.000 title claims abstract description 201
- 238000000034 method Methods 0.000 title claims abstract description 70
- 229960005486 vaccine Drugs 0.000 title claims abstract description 68
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 18
- 241000282898 Sus scrofa Species 0.000 claims description 80
- 210000001217 buttock Anatomy 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 241000282887 Suidae Species 0.000 abstract description 19
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 7
- 239000000243 solution Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002255 vaccination Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61D—VETERINARY INSTRUMENTS, IMPLEMENTS, TOOLS, OR METHODS
- A61D7/00—Devices or methods for introducing solid, liquid, or gaseous remedies or other materials into or onto the bodies of animals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种基于视觉引导的猪只疫苗注射方法、系统及存储介质，涉及猪只疫苗注射技术领域，所述方法包括：获取深度图像信息；根据深度图像信息，生成目标位姿信息；获取注射器的注射位姿信息；根据目标位姿信息以及注射位姿信息，生成移动信息以控制机械臂驱使注射器移动；在移动过程中更新目标位姿信息，根据目标位姿信息以及注射位姿信息，判断注射器是否到达注射位置；若已到达注射位置，控制注射器进行注射动作；若未到达注射位置，根据目标位姿信息以及注射位姿信息修正移动信息。在移动过程中，更新目标位姿信息进行反馈，修正移动信息形成闭环控制，适应猪只在注射过程中移动的情况，有利于提高注射的抗干扰能力，增强注射的可靠性。
Description
技术领域
本发明涉及猪只疫苗注射技术领域，尤其涉及一种基于视觉引导的猪只疫苗注射方法、系统及存储介质。
背景技术
在猪只养殖过程中，猪只会经常生病，接种疫苗可以提高猪的免疫力，减少疾病发生和传播，从而保障猪只健康和生产性能，因此给生猪注射疫苗十分必要。传统的猪只注射疫苗的方式，作业环节多，工作重复度高，劳动强度大，存在注射不规范、至少需要三个人辅助注射疫苗等问题。
对此，现有技术中存在自动对猪只进行疫苗注射的注射设备，通过定位注射位置，机械臂带动注射器移动至注射位置，实现对猪只自动进行疫苗注射。然而，现有的注射设备，对于猪只移动的情况，容易出现注射失败的问题，因而需要限制猪只移动，例如限制在传输通道内，导致对使用环境有要求，存在注射抗干扰能力差、可靠性不足的问题。
发明内容
本发明提供一种基于视觉引导的猪只疫苗注射方法、系统及存储介质，用以解决现有技术中在注射过程中猪只移动容易出现注射失败的缺陷。
本发明提供一种基于视觉引导的猪只疫苗注射方法，包括：
获取深度图像信息；
根据所述深度图像信息，识别猪只臀部的注射位置，生成目标位姿信息；
获取注射器的注射位姿信息；
根据所述目标位姿信息以及所述注射位姿信息，生成移动信息以控制机械臂驱使所述注射器移动；
在移动过程中更新所述目标位姿信息，根据所述目标位姿信息以及所述注射位姿信息，判断所述注射器是否到达所述注射位置；
若已到达所述注射位置，控制所述注射器进行注射动作；
若未到达所述注射位置，根据所述目标位姿信息以及所述注射位姿信息修正所述移动信息；
其中，所述目标位姿信息反映期望所述注射器进行注射的位置和姿态，所述注射位姿信息反映所述注射器的位置和姿态。
根据本发明提供的一种基于视觉引导的猪只疫苗注射方法，所述根据所述深度图像信息，识别猪只臀部的注射位置，生成目标位姿信息，包括：
将所述深度图像信息输入至预设的图像识别模型，获取猪只臀部的识别框坐标信息；
根据所述识别框坐标信息，确定注射位置并且生成目标位姿信息。
根据本发明提供的一种基于视觉引导的猪只疫苗注射方法，所述根据所述识别框坐标信息，确定注射位置并且生成目标位姿信息，包括：
根据所述识别框坐标信息以及所述深度图像信息，生成注射平面区域；
根据所述注射平面区域的中心点以及垂直向量，生成目标位姿信息。
根据本发明提供的一种基于视觉引导的猪只疫苗注射方法，所述根据所述识别框坐标信息以及所述深度图像信息，生成注射平面区域，包括：
根据所述识别框坐标信息，确定识别框四个端点的二维坐标组；
根据所述二维坐标组以及所述深度图像信息，确定识别框四个端点的三维坐标组；
根据所述三维坐标组，通过最小二乘法拟合获得平面方程；
根据所述平面方程以及所述三维坐标组，生成注射平面区域。
根据本发明提供的一种基于视觉引导的猪只疫苗注射方法，所述根据所述目标位姿信息以及所述注射位姿信息，生成移动信息，包括：
根据所述目标位姿信息与所述注射位姿信息，生成误差向量；
根据所述误差向量以及预设的雅克比矩阵进行计算，获得速度矩阵作为移动信息。
根据本发明提供的一种基于视觉引导的猪只疫苗注射方法，所述根据所述误差向量以及预设的雅克比矩阵进行计算，获得速度矩阵作为移动信息中，采用以下公式计算：
；
其中，A为速度矩阵；e为误差向量；u、v为特征点的图像坐标；u*、v*为期望点的图像坐标；为误差向量导数的系数；J为雅克比矩阵；/>为所述雅克比矩阵的逆矩阵；x、y为二维坐标系的坐标值，Z为深度坐标值。
根据本发明提供的一种基于视觉引导的猪只疫苗注射方法，所述根据所述目标位姿信息以及所述注射位姿信息，生成移动信息，包括：
根据所述目标位姿信息，确定第一相对坐标，所述第一相对坐标反映注射位置在深度图像中的坐标；
获取机械臂的状态信息，确定第二相对坐标，所述第二相对坐标反映当前状态下所述机械臂末端相对基座的坐标；
根据所述第一相对坐标、所述第二相对坐标以及预设的第三相对坐标，生成目标绝对坐标，所述第三相对坐标反映深度摄像设备相对所述机械臂末端的坐标，所述目标绝对坐标反映注射位置相对所述机械臂基座的坐标；
根据预设的第四相对坐标，对所述目标绝对坐标进行修正生成移动位置坐标作为移动信息，所述第四相对坐标反映注射器相对所述机械臂末端的坐标，所述移动位置坐标反映注射器到达注射位置时所述机械臂末端相对基座的坐标。
本发明还提供一种猪只疫苗注射系统，包括：深度摄像设备、无针注射器、机械臂以及控制设备，所述机械臂分别与所述深度摄像设备以及所述无针注射器连接，所述控制设备分别与所述深度摄像设备、所述无针注射器以及所述机械臂电连接；
所述深度摄像设备用于生成深度图像信息；
所述无针注射器用于进行注射动作；
所述机械臂用于移动所述无针注射器；
所述控制设备能够执行上述的一种基于视觉引导的猪只疫苗注射方法。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述一种基于视觉引导的猪只疫苗注射方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种基于视觉引导的猪只疫苗注射方法。
本发明提供的一种基于视觉引导的猪只疫苗注射方法，至少具有以下有益效果：通过获取深度图像信息，能够识别猪只臀部的注射位置，进而确定期望注射器进行注射的位置和姿态，即目标位姿信息，获取当前注射器的注射位姿信息，对比目标位姿信息和注射位姿信息，能够获知如何将移动注射器达到期望的位置和姿态，据此生成移动信息以控制机械臂带动注射器。在机械臂移动的过程中更新目标位姿信息，以根据目标位姿信息和注射位姿信息更新移动信息进行修正，能够适应猪只产生移动的情况，最终使得注射器达到期望的注射位置进行注射动作，达到自动进行疫苗注射的效果。以此，基于深度图像信息，实现移动注射器至期望的注射位置，达到视觉引导的效果，同时，在移动过程中，更新目标位姿信息进行反馈，修正移动信息形成闭环控制，能够适应猪只在注射过程中移动的情况，有利于提高注射的抗干扰能力，增强注射的可靠性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于视觉引导的猪只疫苗注射方法的流程示意图之一；
图2是本发明提供的一种基于视觉引导的猪只疫苗注射方法的流程示意图之二；
图3是本发明提供的一种基于视觉引导的猪只疫苗注射方法的流程示意图之三；
图4是本发明提供的一种基于视觉引导的猪只疫苗注射方法的流程示意图之四；
图5是本发明提供的一种基于视觉引导的猪只疫苗注射方法的流程示意图之五；
图6是本发明提供的一种基于视觉引导的猪只疫苗注射方法的流程示意图之六；
图7是本发明提供的一种猪只疫苗注射系统其中一种实施例的结构示意图；
图8是本发明提供的一种猪只疫苗注射系统其中一种实施例的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明的一种基于视觉引导的猪只疫苗注射方法，包括：
S100：获取深度图像信息；
S200：根据所述深度图像信息，识别猪只臀部的注射位置，生成目标位姿信息；
S300：获取注射器的注射位姿信息；
S400：根据所述目标位姿信息以及所述注射位姿信息，生成移动信息以控制机械臂驱使所述注射器移动；
S500：在移动过程中更新所述目标位姿信息，根据所述目标位姿信息以及所述注射位姿信息，判断所述注射器是否到达所述注射位置；
S600：若已到达所述注射位置，控制所述注射器进行注射动作；
S700：若未到达所述注射位置，根据所述目标位姿信息以及所述注射位姿信息修正所述移动信息；
其中，所述目标位姿信息反映期望所述注射器进行注射的位置和姿态，所述注射位姿信息反映所述注射器的位置和姿态。
通过获取深度图像信息，能够识别猪只臀部的注射位置，进而确定期望注射器进行注射的位置和姿态，即目标位姿信息，获取当前注射器的注射位姿信息，对比目标位姿信息和注射位姿信息，能够获知如何将移动注射器达到期望的位置和姿态，据此生成移动信息以控制机械臂带动注射器。在机械臂移动的过程中更新目标位姿信息，以根据目标位姿信息和注射位姿信息更新移动信息进行修正，能够适应猪只产生移动的情况，最终使得注射器达到期望的注射位置进行注射动作，达到自动进行疫苗注射的效果。以此，基于深度图像信息，实现移动注射器至期望的注射位置，达到视觉引导的效果，同时，在移动过程中，更新目标位姿信息进行反馈，修正移动信息形成闭环控制，能够适应猪只在注射过程中移动的情况，有利于提高注射的抗干扰能力，增强注射的可靠性。
更新目标位姿信息是指，随着机械臂移动获取的深度图像信息会产生变化，根据变化后的深度图像信息，重新生成目标位姿信息。
判断注射器是否到达注射位置，可以是根据注射位姿信息是否与目标位姿信息相同，当相同时则判断到达注射位置；或者根据注射位姿信息以及目标位姿信息的误差值，当误差值在预设范围内或者小于阈值则判断到达注射位置。
需要说明的是，S200中若根据深度图像信息识别不了猪只臀部的注射位置，意味着当前没有猪只的臀部进入拍摄范围，持续进行识别，直至猪只的臀部进入拍摄范围，识别猪只臀部的注射位置生成目标位姿信息。
深度图像信息是指拍摄的图像数据中，不仅包含了每个像素的颜色信息，还包含了每个像素与拍摄设备之间的距离或深度信息，根据深度图像信息可以进行图像识别并且可以确定被拍摄物体之间的距离。目标位姿信息、注射位姿信息，包含了位置信息还可以包含反映朝向的姿态信息，以能够确定注射器的注射方向，提高注射的成功率和可靠性。
参考图2，在本发明一种基于视觉引导的猪只疫苗注射方法的一些实施例中，所述S200，包括：
S210：将所述深度图像信息输入至预设的图像识别模型，获取猪只臀部的识别框坐标信息；
S220：根据所述识别框坐标信息，确定注射位置并且生成目标位姿信息。
通过预设的图像识别模型对深度图像信息进行处理，识别图像中猪只的臀部位置，图像识别模型输出识别框坐标信息，根据识别框坐标信息能够获知猪只臀部所在位置，进而确定注射位置并且生成目标位姿信息。以此，利用图像识别模型对深度图像信息进行处理，识别猪只臀部，有利于提高确定注射位置的准确度，令目标位姿信息更加可靠。
预设的图像识别模型，可以是为YOLO模型，预先对YOLO模型进行训练以能够准确识别猪只的臀部，YOLO模型输出标识猪只臀部位置和大小的识别框以及对应的置信度，当输出有多个大小、位置不同的识别框以及识别框对应的置信度时，选取最高置信度即最可能为猪只臀部对应的识别框，生成识别框坐标信息。
参考图3，在本发明一种基于视觉引导的猪只疫苗注射方法的一些实施例中，所述S220，包括：
S221：根据所述识别框坐标信息以及所述深度图像信息，生成注射平面区域；
S222：根据所述注射平面区域的中心点以及垂直向量，生成目标位姿信息。
根据识别框坐标信息，能够获知猪只臀部在图像中的位置区域，结合深度图像信息，能够提取该位置区域的深度信息，进而根据位置区域和深度进行计算处理，生成注射平面区域，可理解为猪只臀部上的注射位置，根据注射平面区域的中心和垂直向量，能够确定期望注射器进行注射的位置和姿态，即目标位姿信息。以此，生成的目标位姿信息，当注射器的注射位姿信息与目标位姿相同或接近时，注射器能够在注射位置以垂直注射平面区域的方向注射疫苗，使得疫苗以垂直猪只皮肤的方向进入猪只体内，有利于提高注射的成功率以及可靠性。
参考图4，在本发明一种基于视觉引导的猪只疫苗注射方法的一些实施例中，所述S221，包括：
S2210：根据所述识别框坐标信息，确定识别框四个端点的二维坐标组；
S2211：根据所述二维坐标组以及所述深度图像信息，确定识别框四个端点的三维坐标组；
S2212：根据所述三维坐标组，通过最小二乘法拟合获得平面方程；
S2213：根据所述平面方程以及所述三维坐标组，生成注射平面区域。
根据识别框坐标信息，能够获取识别框在四个端点在图像中分别对应的二维坐标形成二维坐标组，结合深度图像信息，根据二维坐标组能够获取识别框四个端点对应的深度，以深度为第三维度能够形成三维坐标组。三维坐标组反映识别框四个端点投影在三维空间中猪只臀部上对应四个点的坐标，根据该四个点的坐标，通过最小二乘法拟合获得平面方程，以四个点在平面方程上的投影为边界，形成注射平面区域，注射平面区域拟合猪只臀部注射位置的表面区域，可近似认为是猪只臀部注射位置的局部皮肤。根据注射平面区域的中心点以及平面的垂直向量，确定满足注射需求的目标位姿信息，有利于注射器最终在注射位置以垂直猪只臀部皮肤的方向注射疫苗，提高注射疫苗的成功率。
通过最小二乘法拟合平面方程的过程，可以是：构建平面方程，其中A、B、C、D为待定系数，为待定系数，定义误差函数，将四个点的三维坐标、/>、/>、/>，代入误差函数，令误差函数的偏导数为零，求解方程获得A、B、C、D的值，此时平面方程代表的平面，与四个点之间的距离和最小。
参考图5，在本发明一种基于视觉引导的猪只疫苗注射方法的一些实施例中，所述S400，包括：
S410：根据所述目标位姿信息与所述注射位姿信息，生成误差向量；
S411：根据所述误差向量以及预设的雅克比矩阵进行计算，获得速度矩阵作为移动信息。
通过对比目标位姿信息与注射位姿信息，能够确定两者之间的差异，生成误差向量，误差向量反映注射器向注射位置移动的方向、距离等。根据误差向量和雅克比矩阵进行计算，能够将误差向量转换为速度矩阵，速度矩阵反映移动至目标位置的线速度和角速度等，将速度矩阵作为移动信息，以控制机械臂动作，能够将注射器移动至期望的位置并且呈期望的姿态。
在本发明一种基于视觉引导的猪只疫苗注射方法的一些实施例中，所述S411中，采用以下公式计算：
；
其中，A为速度矩阵；e为误差向量；u、v为特征点的图像坐标；u*、v*为期望点的图像坐标；为误差向量导数的系数；J为雅克比矩阵；/>为所述雅克比矩阵的逆矩阵；x、y为二维坐标系的坐标值，Z为深度坐标值。
特征点的图像坐标，为目标位姿信息对应在图像中的坐标，可以理解为猪只臀部上的注射位置在图像中的坐标。期望点的图像坐标可以是图像的中心点坐标、注射器在图像中的坐标或其他预设点的坐标，一般而言期望点的图像坐标不变，特征点的图像坐标与期望点的图像坐标之差形成误差向量。当期望点的图像坐标不是注射器在图像中的坐标时，根据注射器与期望点的相对坐标对误差向量进行修正，亦可以直接以注射器在图像中的坐标为期望点。
速度矩阵，其中/>为线速度，/>为角速度，即为机械臂末端移动的参数，机械臂根据速度矩阵A进行动作便可以实现对猪只臀部位置的追踪。
参考图6，在本发明一种基于视觉引导的猪只疫苗注射方法的一些实施例中，所述S400，包括：
S420：根据所述目标位姿信息，确定第一相对坐标，所述第一相对坐标反映注射位置在深度图像中的坐标；
S421：获取机械臂的状态信息，确定第二相对坐标，所述第二相对坐标反映当前状态下所述机械臂末端相对基座的坐标；
S422：根据所述第一相对坐标、所述第二相对坐标以及预设的第三相对坐标，生成目标绝对坐标，所述第三相对坐标反映深度摄像设备相对所述机械臂末端的坐标，所述目标绝对坐标反映注射位置相对所述机械臂基座的坐标；
S423：根据预设的第四相对坐标，对所述目标绝对坐标进行修正生成移动位置坐标作为移动信息，所述第四相对坐标反映注射器相对所述机械臂末端的坐标，所述移动位置坐标反映注射器到达注射位置时所述机械臂末端相对基座的坐标。
除了根据误差向量，生成速度矩阵作为移动信息的实施例外，还可以是通过坐标转换的方式获得移动信息。在深度摄像设备100与注射器固定在机械臂300的末端上的情况下，可根据深度摄像设备100与机械臂300末端的相对位置预先设定第三相对坐标；根据目标位姿信息，能够确定注射位置在图像中的坐标，即注射位置相对于深度摄像设备100的第一相对坐标。根据机械臂300的状态信息，确定当前状态下机械臂300末端相对基座的第二相对坐标。根据第一相对坐标、第二相对坐标以及第三相对坐标，能够获得注射位置相对于机械臂300基座的坐标，即目标绝对坐标。然后根据预设的第四相对坐标对目标绝对坐标进行修正，获得在注射器到达注射位置时，机械臂300的末端相对机械臂300的基座的坐标，即移动位置坐标。将移动位置坐标作为移动信息，机械臂300控制末端移动时，是以基座作为坐标原点进行控制，根据移动位置坐标，能够便捷地将机械臂300模块移动至对应位置，此时注射器到达期望的注射位置，达到基于坐标转换控制机械臂300将注射器移动至注射位置的效果。
参考图7和图8，本发明还提供一种猪只疫苗注射系统，包括：深度摄像设备100、无针注射器200、机械臂300以及控制设备400，所述机械臂300分别与所述深度摄像设备100以及所述无针注射器200连接，所述控制设备400分别与所述深度摄像设备100、所述无针注射器200以及所述机械臂300电连接；
所述深度摄像设备100用于生成深度图像信息；
所述无针注射器200用于进行注射动作；
所述机械臂300用于移动所述无针注射器200；
所述控制设备400能够执行上述实施例的一种基于视觉引导的猪只疫苗注射方法。
通过深度摄像设备100获取深度图像信息，能够识别猪只臀部的注射位置，进而确定期望无针注射器200进行注射的位置和姿态，即目标位姿信息，获取当前无针注射器200的注射位姿信息，对比目标位姿信息和注射位姿信息，能够获知如何将移动无针注射器200达到期望的位置和姿态，据此生成移动信息以控制机械臂300带动无针注射器200。控制设备400在机械臂300移动的过程中更新目标位姿信息，以根据目标位姿信息和注射位姿信息更新移动信息进行修正，能够适应猪只产生移动的情况，最终使得无针注射器200达到期望的注射位置进行注射动作，达到自动进行疫苗注射的效果。以此，基于深度图像信息，实现移动无针注射器200至期望的注射位置，达到视觉引导的效果，同时，在移动过程中，更新目标位姿信息进行反馈，修正移动信息形成闭环控制，能够适应猪只在注射过程中移动的情况，有利于提高注射的抗干扰能力，增强注射的可靠性。
控制设备400可以是为单一设备，亦可以包括两个或多个设备，例如在本发明的一些实施例中，包括工控机以及控制柜作为控制设备400。
本发明提供的一种猪只疫苗注射系统与上文描述的一种基于视觉引导的猪只疫苗注射方法可相互对应参照。
无针注射器200利用高压气流将药物雾化成微粒状，通过空气压力将药物微粒喷射进猪只皮肤，无需物理穿刺，能够减轻对猪只的伤害，同时能够避免猪只移动导致断针的情况，提高可靠性，有利于适配实现自动疫苗注射。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述的一种基于视觉引导的猪只疫苗注射方法。上述一种电子设备可以是作为控制设备使用。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种基于视觉引导的猪只疫苗注射方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于视觉引导的猪只疫苗注射方法，其特征在于，包括：
获取深度图像信息；
根据所述深度图像信息，识别猪只臀部的注射位置，生成目标位姿信息；
获取注射器的注射位姿信息；
根据所述目标位姿信息以及所述注射位姿信息，生成移动信息以控制机械臂驱使所述注射器移动；
在移动过程中更新所述目标位姿信息，根据所述目标位姿信息以及所述注射位姿信息，判断所述注射器是否到达所述注射位置；
若已到达所述注射位置，控制所述注射器进行注射动作；
若未到达所述注射位置，根据所述目标位姿信息以及所述注射位姿信息修正所述移动信息；
其中，所述目标位姿信息反映期望所述注射器进行注射的位置和姿态，所述注射位姿信息反映所述注射器的位置和姿态。
2.根据权利要求1所述的一种基于视觉引导的猪只疫苗注射方法，其特征在于，所述根据所述深度图像信息，识别猪只臀部的注射位置，生成目标位姿信息，包括：
将所述深度图像信息输入至预设的图像识别模型，获取猪只臀部的识别框坐标信息；
根据所述识别框坐标信息，确定注射位置并且生成目标位姿信息。
3.根据权利要求2所述的一种基于视觉引导的猪只疫苗注射方法，其特征在于，所述根据所述识别框坐标信息，确定注射位置并且生成目标位姿信息，包括：
根据所述识别框坐标信息以及所述深度图像信息，生成注射平面区域；
根据所述注射平面区域的中心点以及垂直向量，生成目标位姿信息。
4.根据权利要求3所述的一种基于视觉引导的猪只疫苗注射方法，其特征在于，所述根据所述识别框坐标信息以及所述深度图像信息，生成注射平面区域，包括：
根据所述识别框坐标信息，确定识别框四个端点的二维坐标组；
根据所述二维坐标组以及所述深度图像信息，确定识别框四个端点的三维坐标组；
根据所述三维坐标组，通过最小二乘法拟合获得平面方程；
根据所述平面方程以及所述三维坐标组，生成注射平面区域。
5.根据权利要求1所述的一种基于视觉引导的猪只疫苗注射方法，其特征在于，所述根据所述目标位姿信息以及所述注射位姿信息，生成移动信息，包括：
根据所述目标位姿信息与所述注射位姿信息，生成误差向量；
根据所述误差向量以及预设的雅克比矩阵进行计算，获得速度矩阵作为移动信息。
6.根据权利要求5所述的一种基于视觉引导的猪只疫苗注射方法，其特征在于，所述根据所述误差向量以及预设的雅克比矩阵进行计算，获得速度矩阵作为移动信息中，采用以下公式计算：
；
其中，A为速度矩阵；e为误差向量；u、v为特征点的图像坐标；u*、v*为期望点的图像坐标；为误差向量导数的系数；J为雅克比矩阵；/>为所述雅克比矩阵的逆矩阵；x、y为二维坐标系的坐标值，Z为深度坐标值。
7.根据权利要求1所述的一种基于视觉引导的猪只疫苗注射方法，其特征在于，所述根据所述目标位姿信息以及所述注射位姿信息，生成移动信息，包括：
根据所述目标位姿信息，确定第一相对坐标，所述第一相对坐标反映注射位置在深度图像中的坐标；
获取机械臂的状态信息，确定第二相对坐标，所述第二相对坐标反映当前状态下所述机械臂末端相对基座的坐标；
根据所述第一相对坐标、所述第二相对坐标以及预设的第三相对坐标，生成目标绝对坐标，所述第三相对坐标反映深度摄像设备相对所述机械臂末端的坐标，所述目标绝对坐标反映注射位置相对所述机械臂基座的坐标；
根据预设的第四相对坐标，对所述目标绝对坐标进行修正生成移动位置坐标作为移动信息，所述第四相对坐标反映注射器相对所述机械臂末端的坐标，所述移动位置坐标反映注射器到达注射位置时所述机械臂末端相对基座的坐标。
8.一种猪只疫苗注射系统，其特征在于，包括：深度摄像设备（100）、无针注射器（200）、机械臂（300）以及控制设备（400），所述机械臂（300）分别与所述深度摄像设备（100）以及所述无针注射器（200）连接，所述控制设备（400）分别与所述深度摄像设备（100）、所述无针注射器（200）以及所述机械臂（300）电连接；
所述深度摄像设备（100）用于生成深度图像信息；
所述无针注射器（200）用于进行注射动作；
所述机械臂（300）用于移动所述无针注射器（200）；
所述控制设备（400）能够执行如权利要求1至7任一权利要求所述的一种基于视觉引导的猪只疫苗注射方法。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一权利要求所述的一种基于视觉引导的猪只疫苗注射方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一权利要求所述的一种基于视觉引导的猪只疫苗注射方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311009037.6A CN116725730B (zh) | 2023-08-11 | 2023-08-11 | 一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311009037.6A CN116725730B (zh) | 2023-08-11 | 2023-08-11 | 一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116725730A true CN116725730A (zh) | 2023-09-12 |
| CN116725730B CN116725730B (zh) | 2023-12-05 |
Family
ID=87904724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311009037.6A Active CN116725730B (zh) | 2023-08-11 | 2023-08-11 | 一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116725730B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102768541A (zh) * | 2012-04-28 | 2012-11-07 | 中国科学院深圳先进技术研究院 | 手术机器人的控制方法和系统 |
| WO2018120739A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳光启合众科技有限公司 | 路径规划方法、装置及机器人 |
| US20190350516A1 (en) * | 2018-05-15 | 2019-11-21 | Hangzhou Santan Medical Technology Co., Ltd | Posture Display Method, Device and System of Guiding Channel, and Readable Storage Medium |
| CN110883770A (zh) * | 2019-05-08 | 2020-03-17 | 丁亚东 | 一种基于位置和图像的机器人混合视觉伺服控制方法 |
| CN113599013A (zh) * | 2021-08-09 | 2021-11-05 | 浙江华牧科技有限公司 | 生猪疫苗注射机器人以及疫苗注射方法 |
| CN115014248A (zh) * | 2022-06-09 | 2022-09-06 | 上海第二工业大学 | 一种激光投射线的识别与平面度判定方法 |
| CN115227407A (zh) * | 2022-09-19 | 2022-10-25 | 杭州三坛医疗科技有限公司 | 一种手术机器人控制方法、装置、系统、设备及存储介质 |
| WO2023272372A1 (en) * | 2021-07-01 | 2023-01-05 | Mireye Imaging Inc. | Method for recognizing posture of human body parts to be detected based on photogrammetry |
| CN116236222A (zh) * | 2023-03-22 | 2023-06-09 | 哈尔滨工业大学（威海） | 医用远程超声扫描机器人的超声探头位姿定位系统及方法 |
| WO2023143408A1 (zh) * | 2022-01-27 | 2023-08-03 | 达闼机器人股份有限公司 | 机器人物品抓取方法、装置、机器人、程序及存储介质 |
-
2023
- 2023-08-11 CN CN202311009037.6A patent/CN116725730B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102768541A (zh) * | 2012-04-28 | 2012-11-07 | 中国科学院深圳先进技术研究院 | 手术机器人的控制方法和系统 |
| WO2018120739A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳光启合众科技有限公司 | 路径规划方法、装置及机器人 |
| US20190350516A1 (en) * | 2018-05-15 | 2019-11-21 | Hangzhou Santan Medical Technology Co., Ltd | Posture Display Method, Device and System of Guiding Channel, and Readable Storage Medium |
| CN110883770A (zh) * | 2019-05-08 | 2020-03-17 | 丁亚东 | 一种基于位置和图像的机器人混合视觉伺服控制方法 |
| WO2023272372A1 (en) * | 2021-07-01 | 2023-01-05 | Mireye Imaging Inc. | Method for recognizing posture of human body parts to be detected based on photogrammetry |
| CN113599013A (zh) * | 2021-08-09 | 2021-11-05 | 浙江华牧科技有限公司 | 生猪疫苗注射机器人以及疫苗注射方法 |
| WO2023143408A1 (zh) * | 2022-01-27 | 2023-08-03 | 达闼机器人股份有限公司 | 机器人物品抓取方法、装置、机器人、程序及存储介质 |
| CN115014248A (zh) * | 2022-06-09 | 2022-09-06 | 上海第二工业大学 | 一种激光投射线的识别与平面度判定方法 |
| CN115227407A (zh) * | 2022-09-19 | 2022-10-25 | 杭州三坛医疗科技有限公司 | 一种手术机器人控制方法、装置、系统、设备及存储介质 |
| CN116236222A (zh) * | 2023-03-22 | 2023-06-09 | 哈尔滨工业大学（威海） | 医用远程超声扫描机器人的超声探头位姿定位系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116725730B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107901041B (zh) | 一种基于图像混合矩的机器人视觉伺服控制方法 | |
| US11117262B2 (en) | Intelligent robots | |
| WO2020034872A1 (zh) | 目标获取方法、设备和计算机可读存储介质 | |
| US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
| US11227434B2 (en) | Map constructing apparatus and map constructing method | |
| CN110281231B (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
| CN112634318B (zh) | 一种水下维修机器人的遥操作系统和方法 | |
| KR101397522B1 (ko) | 증강 현실 기반의 정맥 주사 훈련 시뮬레이터 시스템 및 방법 | |
| KR20090113084A (ko) | 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법 | |
| JP2019188580A (ja) | 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体 | |
| CN106123773A (zh) | 一种工业机器人鞋底涂胶轨迹定位装置及其定位方法 | |
| CN105945947A (zh) | 基于手势控制的机器人写字系统及其控制方法 | |
| WO2022217794A1 (zh) | 一种动态环境移动机器人的定位方法 | |
| CN113103230A (zh) | 一种基于处置机器人遥操作的人机交互系统及方法 | |
| CN116725730B (zh) | 一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 | |
| KR102164800B1 (ko) | 어라운드 뷰 모니터링 시스템을 이용한 인공지능 기반의 자율 주행 차량용 이동 경로 생성 장치 및 그 동작 방법 | |
| JP4198676B2 (ja) | ロボット装置、ロボット装置の移動追従方法、および、プログラム | |
| CN116175582A (zh) | 一种基于机器视觉的智能机械臂操控系统及控制方法 | |
| KR100632242B1 (ko) | 모빌로봇의 경로보정방법 | |
| CN110826495A (zh) | 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统 | |
| CN115998311A (zh) | 一种移动医学影像扫描系统、方法、装置和介质 | |
| CN116206189A (zh) | 一种曲面图形标识码及其识别方法 | |
| CN115187556A (zh) | 一种基于机器视觉的流水线上零件定位与点云获取方法 | |
| Chen | Target positioning and grasping of NAO Robot based on monocular stereo vision | |
| CN111612843A (zh) | 移动机器人无期望图像视觉镇定控制 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |