CN113971756A - 自动注射机器人视觉数据处理方法、系统和注射机器人 - Google Patents

自动注射机器人视觉数据处理方法、系统和注射机器人 Download PDF

Info

Publication number
CN113971756A
CN113971756A CN202111098333.9A CN202111098333A CN113971756A CN 113971756 A CN113971756 A CN 113971756A CN 202111098333 A CN202111098333 A CN 202111098333A CN 113971756 A CN113971756 A CN 113971756A
Authority
CN
China
Prior art keywords
injection
robot
live pig
data set
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111098333.9A
Other languages
English (en)
Inventor
柴秀娟
黄博
沈建平
张岩琪
郭军龙
姚雪飞
孙坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huamu Technology Co ltd
Agricultural Information Institute of CAAS
Harbin Institute of Technology Weihai
Original Assignee
Zhejiang Huamu Technology Co ltd
Agricultural Information Institute of CAAS
Harbin Institute of Technology Weihai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huamu Technology Co ltd, Agricultural Information Institute of CAAS, Harbin Institute of Technology Weihai filed Critical Zhejiang Huamu Technology Co ltd
Priority to CN202111098333.9A priority Critical patent/CN113971756A/zh
Publication of CN113971756A publication Critical patent/CN113971756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61D—VETERINARY INSTRUMENTS, IMPLEMENTS, TOOLS, OR METHODS
    • A61D7/00—Devices or methods for introducing solid, liquid, or gaseous remedies or other materials into or onto the bodies of animals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种自动注射机器人视觉数据处理方法、系统和注射机器人，包括：数据集构建步骤，基于标注侧身位置和尾巴位置的生猪图像，构建侧身检测数据集；基于标注臀部可注射区域的生猪图像，构建注射区域检测数据集；模型训练步骤，使用该侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，以指导注射机器人的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置；机械臂调整步骤，拟合该注射位置区域为一个平面，计算该平面的法向量，根据该法向量调整该机械臂的姿态，以使注射机器人的注射器垂直于注射位置进行注射。

Description

自动注射机器人视觉数据处理方法、系统和注射机器人
技术领域
本发明涉及视觉数据处理领域，尤其是一种自动注射机器人视觉数据处理系统及方法。
背景技术
目前，大型牲畜(包括生猪、牛、马等)注射液体药剂、疫苗等设备，以生猪为例，主要有三种：
1、基于手持传统注射器：人工使用带针头注射器对生猪进行疫苗注射。针头注射使生猪的应激反应过大，存在交叉感染，注射效率低，针头容易断在生猪身体中，一般需要三人以上才能进行注射，还存在医疗废品的污染问题。
2、基于手持无针头注射器：人工使用无针头注射器对生猪进行疫苗注射。无针头注射器需要高压气瓶、气动放大器等辅助设备，注射人员劳动强度大，人工注射对于病毒防控比较困难。
3、基于各类固定辅助装置：使用固定装置对生猪进行固定，然后再人工对生猪进行疫苗注射。辅助装置对于较大生猪不容易固定，需要多名人员参与，注射效率低。
针对规模化养殖场中，人工注射液体药剂(疫苗)效率低、劳动强度大、病毒防控困难等问题，需要使用计算机视觉算法对指定位置的牲畜(臀部)可注射区域进行连续检测，以控制机器人的机械臂对牲畜进行疫苗注射。
目前现有技术已经公开了包括注射的机械臂的生猪疫苗注射机器人(专利申请号：202110907776.1)以及可用于猪只疫苗自动注射的机械臂动作模块(CN211073593U)，但其依然存在注射区域定位精度差的问题。
发明内容
本发明的目的在于公开一种自动注射机器人视觉数据处理系统及方法，高效率、高精度、自动化，解决了规模化养殖场和类似场景的液体药剂(疫苗)注射效率低、劳动强度大、病毒防控困难等问题。
本发明基于深度卷积神经网络算法，可以快速准确的对固定位置(如饮水处)生猪侧身和臀部可注射区域进行检测，以缩短单次疫苗注射时间；准确定位的待注射部位，及其局部平面的法向量，可有效配合疫苗注射机器人，指导机械臂自动对生猪进行疫苗注射，从而达到解放人力、提高效率、避免病毒感染等效果。
针对现有技术的不足，本发明提出一种自动注射机器人视觉数据处理方法，其中包括如下步骤：
步骤1，对每头生猪侧身以及臀部图像，对猪后背及侧身图像进行人工标注，使用矩形框标出侧身位置以及尾巴位置，并记录矩形框的像素位置，以构建侧身检测数据集；
对臀部图像进行人工标注，使用矩形框标注出臀部可注射区域，以构建可注射区域检测数据集；
步骤2，训练检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神经网络模型，包括如下步骤：
使用侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，用于指导机器人的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置；
步骤3，确定待注射位置后，以注射点为中心的一小块区域拟合一个平面，计算该平面的法向量，用以调整机械臂的姿态以使机器人注射器垂直于注射位置进行注射。
所述的自动注射机器人视觉数据处理方法，其中所述步骤1还包括通过RFID身份识别接收器，接收生猪耳朵上的耳标信息，根据接收到的耳标信息判断该生猪是否需要接种疫苗。
所述的自动注射机器人视觉数据处理方法，其中所述步骤2中的所述深度卷积神经网络模型可采用CenterNet框架算法的目标检测模型。
所述的自动注射机器人视觉数据处理方法，其中所述图像数据集中，每个图像与一个3D坐标空间相关联，得到像素点在相机坐标系下的空间坐标。
所述的自动注射机器人视觉数据处理方法，其中所述相机为Brown-Conrady畸变模型，需要计算畸变矫正后的空间坐标，可得像素点在相机坐标系下的空间坐标。
所述的自动注射机器人视觉数据处理方法，其中还包括如下步骤：
相机坐标系通过旋转变换R和平移变换T与注射器末端坐标系重合，根据侧身检测框和尾巴检测框的相对位置确定生猪的朝向，以此指导机械臂末端移动到生猪臀部后方指定位置；
机器人机械臂末端的相机采集臀部图像和对应的深度信息，将臀部图像输入到检测模型中，输出可注射区域的检测框及其对应的检测结果置信度：若检测算法对于给定输入图像只检测到一个矩形框，则以该矩形框的中心点作为注射点；
若检测到两个矩形框，且置信度之差大于0.1，以置信度更大的矩形框的中心点作为注射点；
若检测到两个矩形框，且置信度之差小于0.1，以矩形框内面积更大的矩形框的中心点作为注射点。
根据图像中注射点处的像素坐标及对应深度值计算得到该点在相机坐标系下的空间坐标，将该空间坐标转换到注射器末端坐标系得到注射位置。
所述的自动注射机器人视觉数据处理方法，其中所述步骤3还包括采用奇异值分解法或者特征向量法得到拟合平面的法向量。
本发明还提出了一种自动注射机器人视觉数据处理系统，其中包括：
建立检测图像数据集模块，用于对每一头生猪侧身以及臀部图像，对猪后背及侧身图像进行人工标注，使用矩形框标出侧身位置以及尾巴位置，并记录矩形框的像素位置，以构建侧身检测数据集；用于对臀部图像进行人工标注，使用矩形框标注出臀部可注射区域，以构建可注射区域检测数据集。
训练检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神经网络模型模块，用于使用侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，用于指导机器人15的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置。
法向量计算模块，用于确定待注射位置后，以注射点为中心的一小块区域拟合一个平面，计算该平面的法向量，用以调整机械臂的姿态以使机器人注射器垂直于注射位置进行注射。
所述的自动注射机器人视觉数据处理系统，其中还包括：数据输出模块，用于将法向量输出给自动注射机器人。
本发明还提出了一种自动注射机器人，其包括所述自动注射机器人视觉数据处理系统。
附图说明
图1疫苗注射机器人工作环境示意图；
图2生猪背部、侧身和尾部区域的俯视图(矩形为标注框)；
图3臀部可注射区域示意图(矩形为标注的可注射区域)；
图4检测模型CenterNet网络示意图。
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
下面结合附图对本发明进行详细说明(以生猪为例)。
本发明公开了一种机器人视觉数据处理系统及方法，即基于深度卷积神经网络进行生猪侧身和臀部可注射区域检测，包括下列步骤：
1、猪舍硬件安装及建立检测图像数据集。
本发明的工作环境如图1所示示意图，猪舍11设计为距离相同间隔的两排(多排)猪栏，中间设计有过道12，靠近过道12设计有指定饮水位置13，机器人15在过道12中进行移动，当生猪14在指定饮水位置13饮水时，通过配合机器人15的RGB图像采集设备以及通过机械臂运动注射机器人15对其进行注射。在指定饮水位置13处，安装RFID身份识别接收器，每只猪佩戴电子耳标，因此可对每只进入饮水处的生猪身份进行有效识别。RFID身份识别接收器主要的功能是接收生猪耳朵上的耳标信息，通过接收到的耳标信息判断该生猪是否需要接种疫苗，RGB图像采集设备主要是采集猪只图像。
为指导机器人进行有效的注射，需要知道生猪的位置并确定注射区域，本发明采用视觉定位的策略。为进行检测模型训练，首先建立检测数据集。在猪舍11真实环境中，手持RGB图像采集设备采集每一头生猪侧身以及臀部图像。为了能够得到更稳健的检测结果，可以从多个不同角度采集生猪站立时的图像，如俯视、侧视、后视视角，为了获得更丰富的样本，使得训练得到的网络更加鲁棒，不同角度指采集俯视图和后视图时的视角不固定。这里也不需要是严格的俯视和后视图。因生猪进行饮水活动时停留的时间相对较长，所以仅需在饮水处进行图像采集。由于过道处围栏的存在，且机器人本体高度在70—80cm左右，无法采集严格的侧视图，但其实前面讲的俯视等视角不是非常严格的，可以一定程度上俯视、侧视角度相结合。机器人15上的图像采集设备通过俯视+测试视角采集生猪侧身图像进行尾部的大致定位。
对猪后背及侧身图像进行人工标注，使用矩形框24标出侧身位置以及尾巴位置，并记录矩形框24的像素位置，以构建侧身检测数据集；参见图2，为生猪背部、侧身和尾部区域的俯视图(矩形为标注框)，其中21表示生猪，22表示猪头，23表示尾巴，24为生猪的标注矩形，25为尾巴的标注矩形。对臀部图像进行人工标注，使用矩形框标注出臀部可注射区域，以构建可注射区域检测数据集。参见图3，31表示生猪臀部；32、33表示标注的可注射区域。
2、训练构建检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神经网络模型。
本发明检测到图像中对象并使用矩形框将其标识出来，实现生猪俯视图侧身检测任务，可采用目标检测模型来实现，如CenterNet框架算法：
将目标描述成一个中心点，目标的其他特性，如尺寸和方向等则通过在特征图中直接回归得到。CenterNet主要包括三个部分，首先将输入图像缩放到512×512大小，即长边缩放到512，短边补0；然后将图像输入到主干网络中进行特征提取；最后将主干网络输出的特征使用预测模块进行预测，该模块包括3个分支，具体包括中心点热图(heatmap)分支、目标大小分支和中心点偏移量(offset)分支。heatmap分支包含C个通道，每一个通道包含一个类别，heatmap中局部最大值表示目标的中心点位置，目标大小分支用来预测目标矩形框的宽度w与高度h偏差值，中心点偏移量offset分支用来弥补将池化后的低heatmap上的点映射到原图中所带来的像素误差。这种方法原理简单，兼容性强，且无需复杂的后处理，实现真正的端到端。
使用侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，用于指导机器人15的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置。
其中，包括侧身检测模型的训练和可注射区域检测模型的训练。使用侧身检测数据集端到端地训练侧身检测模型Ms，即输入侧身图像和对应的标注信息，侧身检测模型Ms输出生猪侧身和尾巴的检测框34。对于尾巴检测框35，取中心点处的像素坐标，以及去除背景的各点深度值的平均值作为深度信息(实际应用中可使用机器人15的RGB-D深度相机，同时获取RGB图像和对应的深度信息)，计算该点的空间坐标p1。计算过程如下：
对于相机拍摄的图像，以像素为单位，坐标[0,0]指的是图像左上角像素的中心，[w-1,h-1]指的是包含恰好w列和h行的图像中右下角像素的中心(w和h分别表示图像的宽和高)，即从相机的角度来看，x轴指向右侧，y轴指向下方，该空间内的坐标称为“像素坐标”，用于索引图像以查找特定像素的内容。每个图像还与一个3D坐标空间(相机坐标系)相关联，以米为单位，坐标[0,0,0]指的是RGB-D深度相机的中心。在这个空间内，正x轴指向右侧，正y轴指向下方，正z轴指向前方，该空间内的坐标称为“点”，用于描述3D空间内在特定图像中可见的位置。对于图像中的某一个点，如(xc1,yc1)，其深度值depth及相机内部参数(焦距(fx,fy)、光学中心(ox,oy)、5个畸变参数(d1,d2,d3,d4,d5))是已知的，则计算像素点(xc1,yc1)在相机坐标系下的空间坐标，可通过如下公式：
x＝(xc1-ox)/fx，y＝(yc1-oy)/fy
如果相机是Brown-Conrady畸变模型，需要计算畸变矫正后的空间坐标，畸变矫正过程如下：
r2＝x2+y2
f＝1+d1*r2+d2*r2*r2+d5*r2*r2*r2
x＝x*f+2*d3*x*y+d4*(r2+2x2)
y＝y*f+2*d4*x*y+d3*(r2+2y2)
最后可得像素点(xc1,yc1)在相机坐标系下的空间坐标p1(x，y，depth)。
由于相机和注射器末端的位置是相对固定的，相机坐标系可以通过旋转变换R和平移变换T与注射器末端坐标系重合，即相机坐标系和注射器末端坐标系存在一一对应关系，则可以通过P1＝p1R+T将p1转换为P1。
最后根据侧身检测框和尾巴检测框的相对位置确定生猪的朝向，以此指导机械臂末端移动到生猪臀部后方约30cm处。
同样使用目标检测模型实现可注射区域检测模型Mb的训练。实际应用中，机械臂移动到生猪臀部后方指定位置后，机器人15机械臂末端的RGB-D深度相机采集臀部图像和对应的深度信息，将臀部图像输入到检测模型Mb中，输出可注射区域的检测框及其对应的检测结果置信度。置信度表示该检测结果的可靠程度，可由深度神经网络给出，取值范围(0～1)，取值越高表明越可靠。
若检测算法对于给定输入图像只检测到一个矩形框42，则以该矩形框的中心点作为注射点；
若检测到两个矩形框42、43，且置信度之差大于0.1，以置信度更大的矩形框的中心点作为注射点；
若检测到两个矩形框42、43，且置信度之差小于0.1，以矩形框内面积更大的矩形框的中心点作为注射点。
根据图像中注射点处的像素坐标及对应深度值计算，得到该点在相机坐标系下的空间坐标p2，同空间坐标p1计算过程，根据图像中注射点处的像素坐标以及对应深度值和相机内部参数计算得到相机坐标系下的空间坐标p2，将p2转换到注射器末端坐标系得到注射位置P2。p2转换P2，同p1转换到P1一样，相机和注射器末端的位置是相对固定的，相机坐标系可以通过旋转变换R和平移变换T与注射器末端坐标系重合，即相机坐标系和注射器末端坐标系存在一一对应关系，则可通过P2＝p2R+T将p2转换为P2。
本发明的另一个实施例：
本发明中目标检测网络的实施例使用改进的CenterNet网络(如图4)来实现生猪侧身及可注射区域的检测。图中S41为输入图像，S42-S46分别为Resnet50中的Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x，S47为MaxPool池化操作，S48-S411为反卷积操作，S412表示目标中心点的预测，S413表示目标尺寸(宽高)的预测，S414表示目标中心点偏移量的预测。
CenterNet网络将输入图像S41缩放为固定大小(像素512×512)，特征提取的主干网络使用Resnet50进行特征提取，Resnet50表示Resnet网络有50个操作层的网络结构，Resnet提出了18、34、50、101、152层的网络结构，分别表示为Resnet18、Resnet34、Resnet50、Resnet101、Resnet152。Resnet50的网络结构如表1所示,主要包括5个模块Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x分别对应S42-S46，每个模块后使用一个MaxPool池化操作S47使特征尺寸减半，
Figure BDA0003269833460000081
中1×1、3×3为卷积核的尺寸，64、256为特征通道数，后面的×3表示{…}执行3次。特征经过三次反卷积(S48、S49和S410)后特征尺寸从16×16变为128×128，特征经过反卷积后分别送入三个分支进行预测，这里的三个分支分别将网络提取的特征卷积到对应的尺寸，用于预测目标的中心点(即热力图预测)、目标的宽和高、目标中心点的偏移量。对于热力图S412(中心点)预测，侧身检测模型的尺寸为128×128×2(侧身和尾巴两个类别)。可注射区域检测模型的尺寸为128×128×1(只有可注射区域一个类别)，S413表示对检测到的目标宽和高的预测，由于特征最终的尺寸和输入图像尺寸不一致，则中心点映射到图像像素时存在偏移，S414表示中心点偏移量的预测。损失函数的作用是衡量模型预测的好坏，在模型训练时通过梯度下降法降低损失，已达到优化模型的目的，损失函数作为预测结果的评价，其值越小，预测的目标位置越准确，注射位置也就越准确。CenterNet网络的损失函数可表示为Ldet＝Lk+λsizeLsize+λoffLoff(λsize＝0.1,λoff＝1)，其中L表示损失Loss，Ldet表示模型的损失，Ldet分为三个部分，分别对应网络的三个分支：Lk表示预测目标中心点的损失，Lsize表示预测目标宽和高的损失，Loff表示预测目标中心点偏移量的损失，λsize和λoff为超参数，用于控制对应分支损失的影响力。
CenterNet网络中由于输入图像和网络输出特征尺寸的不一致，导致需要预测目标中心点的偏移量，不仅增加了网络复杂度，还会降低网络检测的精度，对于上述问题，本发明改进了CenterNet网络。首先将输入图像S41缩放到256×256大小，去除Resnet50最后一个MaxPool池化操作，则经过Resnet50后的特征尺寸为16×16，在经过三次反卷积(S48、S49和S410)后多执行一次反卷积(S411)，这时特征的尺寸为256×256，与输入图像S41的尺寸相同，预测的中心点位置与输入图像对应像素点位置相同，不再需要中心点偏移量的预测，改进后的CenterNet网络可以减少网络参数的同时使网络更容易拟合。
Figure BDA0003269833460000082
Figure BDA0003269833460000091
表1 Resnet50网络结构
本发明中，主干网络也可使用其他Resnet及变形、DLA等网络，得到其他可能的实施例。
Resnet网络残差模块有效地解决了深度学习中退化问题，其变形在Resnet网络基础上增加注意力机制等进一步提升网络性能；DLA网络将网络中不同层进行丰富的组合，有效地增强了特征的表达能力。
在本发明中，针对于检测模型的训练，还可以使用其他成熟的目标检测框架实现，比如YOLO系列、R-CNN系列等。
YOLO算法把目标检测问题处理成回归问题，用一个卷积神经网络结构就可以从输入图像直接预测bounding box和类别概率。RCNN首先使用selective search方法在图像上提取约2000个候选区域，将候选区域缩放到固定大小后输入到CNN网络，最后将CNN的输出输入到SVM中进行类别的判定。
3、确定待注射位置后，以注射点p2为中心的一小块区域拟合一个平面，计算该平面的法向量用以调整机械臂的姿态，使机器人注射器垂直于注射位置进行注射。计算过程如下：
在图像中检测到注射位置p2后，以注射点为中心的一小块区域(边长为20像素的正方形p(xc+i,yc+j)，其中(xc,yc)为注射点坐标，-10≤i＜10，-10≤j＜10，并根据该小块区域内所有点的深度信息得到该区域内所有像素点的空间坐标P(xk,yk,zk)，其中0≤k＜400，根据这些点的空间坐标拟合一个平面并计算该平面的法向量。其中这些点的空间坐标形成的矩阵为：
Figure BDA0003269833460000101
本发明使用线性代数中常见的两种矩阵分解方法求拟合平面的法向量：
奇异值分解法，使用公式1计算去质心空间坐标的奇异值分解，其中左奇异向量u(3×3)的最右一列即为拟合平面的法向量。
特征向量法中，对于区域中所有的点有等式2，多个点(大于3)使用左伪逆矩阵(公式3)，根据公式4计算得到拟合平面的法向量。根据该法向量调整机械臂的姿态，使注射器与注射点周围局部区域拟合的平面垂直。
换言之，在相机坐标系下求得以注射点周围区域拟合平面的法向量(比如暂设为n)，然后根据N＝nR+T将n转换到注射器末端坐标系下的法向量N，N指导机械臂调整姿态，使注射器与注射点周围局部区域拟合的平面垂直。
u,s,vh＝SVD(PT-mean(PT)) (1)
Figure BDA0003269833460000102
A+＝(ATA)-1AT (3)
Figure BDA0003269833460000103
疫苗注射机器人只需简单改造猪舍的情况下，在疫苗注射任务中替代人力，极大的降低人力成本。采用本发明的辅助视觉系统，可分为生猪身体检测、臀部待注射区域检测两个阶段。使用深度卷积神经网络训练检测模型，可以快速准确的定位到注射位置，并且确保垂直于注射位置进行注射，提高注射效率的同时也增强了生猪安全。如果可采集不同类别大型牲畜及小型动物的检测数据集，本发明能够方便地拓展到其他畜牧业疫苗及液体药剂的注射任务中。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还提出了一种自动注射机器人视觉数据处理系统，其中包括：
建立检测图像数据集模块，用于对每一头生猪侧身以及臀部图像，对猪后背及侧身图像进行人工标注，使用矩形框标出侧身位置以及尾巴位置，并记录矩形框的像素位置，以构建侧身检测数据集；用于对臀部图像进行人工标注，使用矩形框标注出臀部可注射区域，以构建可注射区域检测数据集。
训练检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神经网络模型模块，用于使用侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，用于指导机器人15的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置。
法向量计算模块，用于确定待注射位置后，以注射点为中心的一小块区域拟合一个平面，计算该平面的法向量，用以调整机械臂的姿态以使机器人注射器垂直于注射位置进行注射。
所述的自动注射机器人视觉数据处理系统，其中还包括：数据输出模块，用于将法向量输出给自动注射机器人。
本发明还提出了一种自动注射机器人，其包括所述自动注射机器人视觉数据处理系统。

Claims (10)

1.一种自动注射机器人视觉数据处理方法，其特征在于，包括如下步骤：
数据集构建步骤，基于标注侧身位置和尾巴位置的生猪图像，可构建侧身检测数据集；基于标注臀部可注射区域的生猪图像，可构建注射区域检测数据集；
模型训练步骤，使用该侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，以指导注射机器人的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置；
机械臂调整步骤，拟合该注射位置区域为一个平面，计算该平面的法向量，根据该法向量调整该机械臂的姿态，以使注射机器人的注射器垂直于注射位置进行注射。
2.如权利要求1所述的自动注射机器人视觉数据处理方法，其特征在于，该检测图像数据集步骤还包括：通过RFID身份识别接收器，接收生猪耳朵上的耳标信息，根据接收到的耳标信息判断该生猪是否需要接种疫苗。
3.如权利要求1所述的自动注射机器人视觉数据处理方法，其特征在于，该模型训练步骤中侧身检测模型和该待注射区域检测模型均为基于CenterNet框架的目标检测模型。
4.如权利要求3所述的自动注射机器人视觉数据处理方法，其特征在于，该数据集中，每个图像与一个3D坐标空间相关联，得到像素点在相机坐标系下的空间坐标。
5.如权利要求4所述的自动注射机器人视觉数据处理方法，其特征在于，该相机为Brown-Conrady畸变模型，计算畸变矫正后的空间坐标，可得像素点在相机坐标系下的空间坐标。
6.如权利要求4所述的自动注射机器人视觉数据处理方法，其特征在于，还包括：
相机坐标系通过旋转变换R和平移变换T与注射器末端坐标系重合，根据侧身检测框和尾巴检测框的相对位置确定生猪的朝向，以此指导机械臂末端移动到生猪臀部后方指定位置；
机器人机械臂末端的相机采集臀部图像和对应的深度信息，将臀部图像输入到检测模型中，输出可注射区域的检测框及其对应的检测结果置信度：若检测算法对于给定输入图像只检测到一个矩形框，则以该矩形框的中心点作为注射点；
若检测到两个矩形框，且置信度之差大于0.1，以置信度更大的矩形框的中心点作为注射点；
若检测到两个矩形框，且置信度之差小于0.1，以矩形框内面积更大的矩形框的中心点作为注射点。
根据图像中注射点处的像素坐标及对应深度值计算得到该点在相机坐标系下的空间坐标，将该空间坐标转换到注射器末端坐标系得到注射位置。
7.如权利要求6所述的自动注射机器人视觉数据处理方法，其特征在于，该机械臂调整步骤还包括采用奇异值分解法或者特征向量法得到拟合平面的法向量。
8.一种自动注射机器人视觉数据处理系统，其特征在于，包括：
数据集构建模块，用于标注侧身位置和尾巴位置的生猪图像，构建侧身检测数据集；基于标注臀部可注射区域的生猪图像，构建注射区域检测数据集；
模型训练模块，用于以该侧身检测数据集端到端地训练侧身检测模型，定位生猪尾部位置，以指导注射机器人的机械臂末端到达生猪臀部后方，使用可注射区域数据集端到端地训练待注射区域检测模型，定位注射位置；
机械臂调整模块，用于拟合该注射位置区域为一个平面，计算该平面的法向量，根据该法向量调整该机械臂的姿态，以使注射机器人的注射器垂直于注射位置进行注射。
9.如权利要求8所述的自动注射机器人视觉数据处理系统，其特征在于，该机械臂调整模块包括：数据输出模块，用于将法向量输出给自动注射机器人。
10.一种包括如权利要求8或9自动注射机器人视觉数据处理系统的注射机器人。
CN202111098333.9A 2021-09-18 2021-09-18 自动注射机器人视觉数据处理方法、系统和注射机器人 Pending CN113971756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111098333.9A CN113971756A (zh) 2021-09-18 2021-09-18 自动注射机器人视觉数据处理方法、系统和注射机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111098333.9A CN113971756A (zh) 2021-09-18 2021-09-18 自动注射机器人视觉数据处理方法、系统和注射机器人

Publications (1)

Publication Number Publication Date
CN113971756A true CN113971756A (zh) 2022-01-25

Family

ID=79586639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111098333.9A Pending CN113971756A (zh) 2021-09-18 2021-09-18 自动注射机器人视觉数据处理方法、系统和注射机器人

Country Status (1)

Country Link
CN (1) CN113971756A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114949468A (zh) * 2022-05-31 2022-08-30 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN115116091A (zh) * 2022-06-27 2022-09-27 中山市中医院 一种臀部构角区域识别处理方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114949468A (zh) * 2022-05-31 2022-08-30 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN114949468B (zh) * 2022-05-31 2023-09-26 华南理工大学 一种医用注射机器人的使用方法及其近红外反光标记贴
CN115116091A (zh) * 2022-06-27 2022-09-27 中山市中医院 一种臀部构角区域识别处理方法和装置

Similar Documents

Publication Publication Date Title
AU2019101786A4 (en) Intelligent pig group rearing weighing method and apparatus, electronic device and storage medium
CN109766856B (zh) 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法
CN113971756A (zh) 自动注射机器人视觉数据处理方法、系统和注射机器人
Zhu et al. Automatic recognition of lactating sow postures by refined two-stream RGB-D faster R-CNN
CN110200598A (zh) 一种大型养殖场体征异常禽类检测系统及检测方法
CN109141248A (zh) 基于图像的猪体重测算方法及系统
CN108628306B (zh) 机器人行走障碍检测方法、装置、计算机设备和存储介质
CN110070571B (zh) 一种基于深度相机的毛竹形态参数检测方法
CN113808156B (zh) 一种户外牛体体尺检测方法与装置
CN115880558B (zh) 农事行为检测方法、装置、电子设备及存储介质
KR102296501B1 (ko) 깊이 영상카메라 및 소리 센서를 활용한 모돈의 발정기 및 수정적기 판단 시스템
CN109993130A (zh) 一种基于深度图像动态手语语义识别系统及方法
CN108470165B (zh) 一种采摘机器人果实视觉协同搜索方法
CN202010257U (zh) 基于贝叶斯理论的病房巡视服务机器人系统
CN111986234A (zh) 基于人工智能的自适应分辨率畜牧视频信息处理方法
CN114550212A (zh) 一种基于轻量级模型的羊脸检测与识别方法
CN111833331A (zh) 基于人工智能及主动枪球联动的牲畜体温图像处理方法
CN112418171A (zh) 一种基于深度学习的斑马鱼空间姿态与心脏位置估计方法
EP3971766A1 (en) Dairy cattle nipple detection convolutional neural network model and construction method therefor
CN111985472A (zh) 基于人工智能和主动球机的食槽干草温度图像处理方法
CN117029673A (zh) 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN115890677A (zh) 一种用于标准化笼养鸡舍的捡死鸡机器人及其方法
CN116503418A (zh) 一种复杂场景下的作物三维目标检测方法
CN114022831A (zh) 一种基于双目视觉的牲畜体况监测方法及系统
CN208241780U (zh) 一种一主多从式智能视频监控装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination