CN109410282A - 一种输液杆的检测跟踪方法和装置 - Google Patents
一种输液杆的检测跟踪方法和装置 Download PDFInfo
- Publication number
- CN109410282A CN109410282A CN201811326883.XA CN201811326883A CN109410282A CN 109410282 A CN109410282 A CN 109410282A CN 201811326883 A CN201811326883 A CN 201811326883A CN 109410282 A CN109410282 A CN 109410282A
- Authority
- CN
- China
- Prior art keywords
- transfusion pole
- target
- laser
- coordinate
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012790 confirmation Methods 0.000 claims abstract description 43
- 238000010191 image analysis Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 44
- 230000007704 transition Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 22
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000001802 infusion Methods 0.000 claims description 6
- 239000007788 liquid Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 21
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000012216 screening Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种输液杆的检测跟踪方法和装置，其方法包括：拍摄获取环境图像，并发射激光获得对应的激光点云数据；根据所述激光点云数据和所述环境图像分析确定候选输液杆；对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。本发明能够实现准确的检测出环境中的候选输液杆，筛选排除不符合输液杆细长形体的物体。本发明综合了激光扫描技术和视觉图像技术的优势，相对于单一检测不符合输液杆细长形体的物体，降低了检测错误率，提高了检测识别目标输液杆的准确性和可靠性。
Description
技术领域
本发明涉及计算机技术领域，尤指一种输液杆的检测跟踪方法和装置。
背景技术
随着社会的进步、物质水平的提高以及保健意识的增强使人们对就医概念的重视与日俱增，输液杆(亦称为输液架)是吊挂药液瓶或袋配套用品，是医护必备设备，家庭或者医院对输液架或者输液杆的需求都是逐年上升。随着机器人技术的蓬勃发展，人们的生活中占据了越来越多的机器人，部分家庭或者医院开始使用机器人进行物体输送、清洁卫生等等。
输液杆是一种上半部分极细，下半部分带有一个底座的物体，运用普通的激光避障传感器很难检测出这种形态的物体，机器人在工作时很容易发生碰撞到输液杆。如何准确的检测出环境中的输液杆及其所在位置，便于机器人进行有效避开输液杆是亟需解决的问题。
发明内容
本发明的目的是提供一种输液杆的检测跟踪方法和装置，实现准确的检测出环境中的输液杆及其所在位置，便于机器人进行有效避开输液杆的目的。
本发明提供的技术方案如下：
本发明提供一种输液杆的检测跟踪方法，包括步骤：
拍摄获取环境图像，并发射激光获得对应的激光点云数据；
根据所述激光点云数据和所述环境图像分析确定候选输液杆；
对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
进一步的，所述根据所述激光点云数据和所述环境图像分析确定候选输液杆具体包括步骤：
对激光点云数据进行聚类得到对应的聚类结果；
当存在与输液杆激光特征相符的目标聚类结果时，对所述环境图像进行图像识别得到对应的图像特征；
当存在与输液杆图像特征相符的目标图像特征时，标记所述目标图像特征对应的物体为候选输液杆。
进一步的，所述对激光点云数据进行聚类得到对应的聚类结果具体包括步骤：
查找并滤除干扰数据；所述干扰数据包括噪声数据和/或干扰物对应的激光数据；
对删除所述干扰数据后的激光点云数据进行聚类得到对应的聚类结果。
进一步的，所述对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息具体包括步骤：
获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息。
进一步的，所述根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息具体包括步骤：
获取像素坐标系与世界坐标系对应的第一转换矩阵和激光坐标系与世界坐标系对应的第二转换矩阵；
根据所述第一转换矩阵和所述目标输液杆对应的像素坐标，计算得到所述目标输液杆的方位信息；或，
根据所述第二转换矩阵和所述目标输液杆对应的激光坐标，计算得到所述目标输液杆的方位信息。
本发明还提供一种输液杆的检测跟踪装置，包括：图像摄像模块、激光扫描模块和确认模块；
所述图像摄像模块，用于拍摄获取环境图像；
所述激光扫描模块，用于发射激光获得对应的激光点云数据；
所述确认模块，分别与所述图像摄像模块和所述激光扫描模块连接，用于根据所述激光点云数据和所述环境图像分析确定候选输液杆；
所述处理模块，与所述确认模块连接，用于对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
进一步的，所述确认模块包括：聚类处理单元、图像识别单元、确认单元；
所述聚类处理单元，用于对激光点云数据进行聚类得到对应的聚类结果；
所述图像识别单元，与所述聚类处理单元连接，用于当存在与输液杆激光特征相符的目标聚类结果时，对所述环境图像进行图像识别得到对应的图像特征；
所述确认单元，与所述图像识别单元连接，用于当存在与输液杆图像特征相符的目标图像特征时，标记所述目标图像特征对应的物体为候选输液杆。
进一步的，所述确认模块还包括：查找单元和删除单元；
所述查找单元，用于查找干扰数据；所述干扰数据包括噪声数据和/或干扰物对应的激光数据；
所述删除单元，与所述查找单元连接，用于删除所述干扰数据；
所述聚类处理单元，与所述删除单元连接，还用于对删除所述干扰数据后的激光点云数据进行聚类得到对应的聚类结果。
进一步的，所述处理模块具体包括：坐标获取单元、目标输液杆确认单元、计算单元；
所述坐标获取单元，用于获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
所述目标输液杆确认单元，与所述坐标获取单元连接，用于当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
所述计算单元，分别与所述坐标获取单元和所述目标输液杆确认单元连接，用于根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息。
进一步的，所述处理模块还包括：转换矩阵获取单元；
所述转换矩阵获取单元，用于获取像素坐标系与世界坐标系对应的第一转换矩阵和激光坐标系与世界坐标系对应的第二转换矩阵；
所述计算单元，分别与所述转换矩阵获取单元、所述目标输液杆确认单元和所述坐标获取单元连接，用于根据所述第一转换矩阵和所述目标输液杆对应的像素坐标，计算得到所述目标输液杆的方位信息；
所述计算单元，还用于根据所述第二转换矩阵和所述目标输液杆对应的激光坐标，计算得到所述目标输液杆的方位信息。
通过本发明提供的一种输液杆的检测跟踪方法和装置，能够实现准确的检测出环境中的候选输液杆，筛选排除不符合输液杆细长形体的物体。本发明综合了激光扫描技术和视觉图像技术的优势，相对于单一检测不符合输液杆细长形体的物体，降低了检测错误率，提高了检测识别目标输液杆的准确性和可靠性。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种输液杆的检测跟踪方法和装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明输液杆的检测跟踪方法的一个实施例的流程图；
图2是本发明输液杆的检测跟踪方法的另一个实施例的流程图；
图3是本发明输液杆的检测跟踪方法的另一个实施例的流程图；
图4是本发明输液杆的检测跟踪方法的另一个实施例的流程图；
图5是本发明输液杆的检测跟踪方法的另一个实施例的流程图；
图6是本发明输液杆的检测跟踪方法的坐标系示意图；
图7是本发明输液杆的检测跟踪方法的求解机器人与目标输液杆之间夹角的示意图；
图8是本发明输液杆的检测跟踪装置的一个实施例的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
本发明的一个实施例，如图1所示，一种输液杆的检测跟踪方法，包括：
S100拍摄获取环境图像，并发射激光获得对应的激光点云数据；
具体的，点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)。在获取物体表面每个激光采样点的空间坐标后，得到的是一个点的集合即为激光点云数据。通过摄像头或者相机(深度相机、单目相机或者双目相机)对周围环境进行实时拍摄得到环境图像。通过激光扫描仪发射激光束在一个扫描周期内获得一个平面上距离激光扫描仪周围环境得到激光点云数据。常用的激光扫描仪主要分为二维激光扫描仪和三维激光扫描仪。一般三维激光扫描仪价格昂贵且扫描周期长，优选使用二维激光扫描仪。
S200根据所述激光点云数据和所述环境图像分析确定候选输液杆；
具体的，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品将被摄取目标转换成图像信号得到环境图像，从而根据激光点云数据和环境图像分析确定候选输液杆。
S300对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
具体的，确定了候选输液杆后，需要对候选输液杆进行跟踪，从而筛除与目标输液杆形体类似的干扰信息，例如桌子的支撑脚、床的支撑脚、椅子的支撑脚均是细长的，很可能会被误认为是目标输液杆。对候选输液杆进行跟踪筛除干扰确认了目标输液杆后，根据目标输液杆对应的坐标数据，例如像素坐标或者激光坐标进行计算，从而推算出目标输液杆在实际环境中的方位信息。
本发明由于通过激光扫描技术很容易获得空间中物体的激光点云数据，通过视觉图像技术很容易获取周围环境中物体的环境图像，通过激光扫描技术和视觉图像技术相互结合的方式，确定候选输液杆，筛选排除不符合输液杆细长形体的物体。本发明综合了激光扫描技术和视觉图像技术的优势，相对于单一检测不符合输液杆细长形体的物体，降低了检测错误率，提高了检测识别目标输液杆的准确性和可靠性。
基于前述实施例，如图2所示，包括：
S100拍摄获取环境图像，并发射激光获得对应的激光点云数据；
S210对激光点云数据进行聚类得到对应的聚类结果；
S220当存在与输液杆激光特征相符的目标聚类结果时，对所述环境图像进行图像识别得到对应的图像特征；
S230当存在与输液杆图像特征相符的目标图像特征时，标记所述目标图像特征对应的物体为候选输液杆；
S300对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
具体的，聚类即将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。摄像头(或者相机)与激光扫描仪相互之间的位置固定，使得摄像头的拍摄范围在激光扫描仪的扫描范围内，即摄像头在某一时刻对某一物体A进行拍摄获取得到环境图像时，该激光扫描仪同一时刻会向该物体A发射激光束，获得该物体A对应的激光数据。示例性的，选用的激光扫描仪为二维激光扫描仪，其扫描范围是80°，距离范围在50米之内，选用的摄像头为深度摄像头，其拍摄范围是70°，距离范围在50米之内。
将聚类得到的聚类结果与目标聚类结果(即与输液杆激光特征相符的聚类结果)进行比较，当聚类得到的聚类结果存在与输液杆激光特征相符的目标聚类结果时，说明通过激光扫描仪检测识别的物体的形体与目标输液杆的形体相似度达到阈值。因此，可以进一步对环境图像进行图像识别得到对应的图像特征，图像特征包括颜色特征、纹理特征、形状特征、空间关系特征中的任意一种或者多种，将识别得到的图像特征与目标图像特征(即与输液杆图像特征相符的图像特征)相比对，当识别得到的图像特征存在与输液杆图像特征相符的目标图像特征时，说明该目标图像特征对应的物体为候选输液杆。
本发明基于激光扫描技术和视觉图像技术，确定候选输液杆，从而计算得到目标输液杆在世界坐标系上世界坐标，即目标输液杆在地图上的方位信息。先通过激光扫描技术确定候选输液杆的检测范围，然后再缩小后的检测范围内对采集的环境图像进行图像特征识别，降低图像识别处理的次数，从而大大降低了计算量，提升确定候选输液杆的效率。因此，引入激光扫描技术进行深度方向上的辅助观测，能够补偿视觉图像技术在深度方向上的不足；同时，视觉图像技术能够弥补激光扫描技术在目标输液杆细节特征识别方面分辨率不足的缺陷。两者测量原理互补又有所重合，因此利用两者数据进行深度融合，既能够进一步提高确定候选输液杆的精度，又能够提供适度的冗余，增强确认候选输液杆的可靠性。本发明实现了目标输液杆的非接触式识别及测量，从而大大降低应用场景的限制，通用性高。
基于前述实施例，如图3所示，包括：
S100拍摄获取环境图像，并发射激光获得对应的激光点云数据；
S211查找并滤除干扰数据；所述干扰数据包括噪声数据和/或干扰物对应的激光数据；
S212对删除所述干扰数据后的激光点云数据进行聚类得到对应的聚类结果；
S220将所述环境图像进行图像识别得到对应的图像特征；
S230当存在与输液杆激光特征相符的目标聚类结果，且存在与输液杆图像特征相符的目标图像特征时，标记所述目标聚类结果和所述目标图像特征对应的物体为候选输液杆；
S300对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
具体的，由于获取的激光点云数据可能包括目标输液杆表面对应的激光数据，但是也有可能获取到噪声数据，或者干扰物例如地面、扫把、拖把、桌子、床、椅子对应的激光数据。由于激光扫描仪对不同材质、不同颜色的物体存在测量误差，因此在返回的激光数据中可能会出现表现为零值和超出最大测距范围的值，另外还有因阳光辐射、移动颠簸及反射物体材质造成的噪声点，可通过滤波将这部分噪声数据去掉。若要删除干扰物对应的激光数据，就需要对激光点云数据进行平面拟合，从而拟合出输液杆平面以及干扰物平面，删除干扰物平面对应的激光数据。
本发明删除干扰数据，从而避免干扰物对应的激光数据或者噪声数据造成检测确定候选输液杆的干扰，提升了候选输液杆检测的准确性和鲁棒性。
基于前述实施例，如图4所示，包括：
S100拍摄获取环境图像，并发射激光获得对应的激光点云数据；
S200根据所述激光点云数据和所述环境图像分析确定候选输液杆；
S310获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
S320当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
S330根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息。
具体的，用深度学习摄像头目标检测的方法，检测出机器人的视野范围内出现输液杆。对激光点云数据进行聚类，寻找符合预设条件特征的cluster即簇：选取若干个预设输液杆作为模板，获取预设输液杆对应的激光数据确定聚类范围，对激光点云数据进行聚类得到聚类结果。判断每个聚类结果是否符合聚类范围，提取符合聚类范围的类别区域轮廓，获得候选簇，这样的候选簇被认为是候选输液杆对应的聚类结果。当激光扫描仪激光在预设时长内连续检测得到任意一个候选输液杆n，该候选输液杆n的激光坐标保持不变，并且摄像头在预设时长内连续检测得到该候选输液杆n，该候选输液杆n的像素坐标保持不变，那么就确定该候选输液杆n为目标输液杆。
本发明同时利用两种不同种类的传感器，利用各自的优点完成对候选输液杆的快速检测跟踪，实现优势互补，与传统单一传感器检测跟踪方法相比，本发明在实时性和准确性等方面均有质的飞跃。通过激光点云数据聚类以及图像特征分析完成初步检测识别定位候选输液杆，最终在连续多帧之间进行数据关联，达到实时检测确认目标输液杆的目的。
基于前述实施例，如图5所示，包括：
S100拍摄获取环境图像，并发射激光获得对应的激光点云数据；
S200根据所述激光点云数据和所述环境图像分析确定候选输液杆；
S310获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
S320当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
S331获取像素坐标系与世界坐标系对应的第一转换矩阵和激光坐标系与世界坐标系对应的第二转换矩阵；
S332根据所述第一转换矩阵和所述目标输液杆对应的像素坐标，计算得到所述目标输液杆的方位信息；或，
S333根据所述第二转换矩阵和所述目标输液杆对应的激光坐标，计算得到所述目标输液杆的方位信息。
具体的，摄像头或者相机分为CCD、和CMOS两种。计算机视觉领域中常见的四个坐标系：像素坐标系、图像坐标系，相机坐标系，世界坐标系。如图6所示，Ow-XwYwZw为世界坐标系。Oc-XcYcZc为相机坐标系，原点为相机光心。o-xy为图像坐标系，原点为图像中点。uv为像素坐标系，原点为图像左上角的点a。P为世界坐标系中的一点，即现实生活中真实的一点。p＇为P在图像坐标系上的成像点。p＇在图像坐标系中的坐标为(x，y)，p＇在像素坐标系中的坐标为(u，v)。f为相机焦距。构建世界坐标系只是为了更好的描述相机、激光扫描仪、目标输液杆等物体的位置在哪里。
像素坐标系与世界坐标系之间的关系为：
因此，第一转换矩阵为H，其中包括相机的内参矩阵和外参矩阵。[u，v，1]为点P对应的成像点p＇在像素坐标系中的像素坐标的齐次坐标，[Xw，Yw，Zw，1]为点P在世界坐标系中的世界坐标的齐次坐标。相机的内参矩阵和外参矩阵即第一转换矩阵可以通过张正友标定法计算获取，此为现有技术在此不再一一赘述。
假设P点为目标输液杆上的任意一点，则根据计算能够得到目标输液杆在世界坐标系上的世界坐标，根据机器人定位获取自身在世界坐标系上的世界坐标，然后计算得到目标输液杆与机器人之间的距离以及夹角。如图7所示，x表示成像点p＇与相机光心O之间的x坐标方向的像素值，θ表示P点与机器人的相机之间的夹角。可以根据直角三角形关系，求出夹角θ＝arctan(x/fx)。
同理，定义激光坐标系[Xi，Yi，Zi]，以激光至标定块方向为x轴，以激光扫描方向为y轴，x轴与y轴构成扫描面，垂直于扫描面的为z轴，激光坐标系与世界坐标系之间的关系为：
因此，第二转换矩阵为R，其中包括激光旋转矩阵和激光平移矩阵激光。[m，n，1]为点Q对应的激光点q＇在激光坐标系中的激光坐标的齐次坐标，[Xw，Yw，Zw，1]为点Q在世界坐标系中的世界坐标的齐次坐标。激光旋转矩阵和激光平移矩阵激光可以通过多组激光坐标和世界坐标进行计算获取，此为现有技术在此不再一一赘述。
本发明精准求出目标输液杆的方位信息(空间位置和机器人与目标输液杆之间的夹角)后，能够便于机器人根据目标输液杆的方位信息进行避障或者导航，提升机器人在医院、家庭等使用输液杆场景下导航避障的准确率。
本发明的一个实施例，如图8所示，一种输液杆的检测跟踪装置，包括：图像摄像模块10、激光扫描模块20和确认模块30；
所述图像摄像模块10，用于拍摄获取环境图像；
所述激光扫描模块20，用于发射激光获得对应的激光点云数据；
所述确认模块30，分别与所述图像摄像模块10和所述激光扫描模块20连接，用于根据所述激光点云数据和所述环境图像分析确定候选输液杆；
所述处理模块40，与所述确认模块30连接，用于对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。
基于前述实施例，所述确认模块30包括：聚类处理单元、图像识别单元、确认单元；
所述聚类处理单元，用于对激光点云数据进行聚类得到对应的聚类结果；
所述图像识别单元，与所述聚类处理单元连接，用于当存在与输液杆激光特征相符的目标聚类结果时，对所述环境图像进行图像识别得到对应的图像特征；
所述确认单元，与所述图像识别单元连接，用于当存在与输液杆图像特征相符的目标图像特征时，标记所述目标图像特征对应的物体为候选输液杆。
具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。
基于前述实施例，所述确认模块30还包括：查找单元和删除单元；
所述查找单元，用于查找干扰数据；所述干扰数据包括噪声数据和/或干扰物对应的激光数据；
所述删除单元，与所述查找单元连接，用于删除所述干扰数据；
所述聚类处理单元，与所述删除单元连接，还用于对删除所述干扰数据后的激光点云数据进行聚类得到对应的聚类结果。
具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。
基于前述实施例，所述处理模块40具体包括：坐标获取单元、目标输液杆确认单元、计算单元；
所述坐标获取单元，用于获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
所述目标输液杆确认单元，与所述坐标获取单元连接，用于当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
所述计算单元，分别与所述坐标获取单元和所述目标输液杆确认单元连接，用于根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息。
具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。
基于前述实施例，所述处理模块40还包括：转换矩阵获取单元；
所述转换矩阵获取单元，用于获取像素坐标系与世界坐标系对应的第一转换矩阵和激光坐标系与世界坐标系对应的第二转换矩阵；
所述计算单元，分别与所述转换矩阵获取单元、所述目标输液杆确认单元和所述坐标获取单元连接，用于根据所述第一转换矩阵和所述目标输液杆对应的像素坐标，计算得到所述目标输液杆的方位信息；
所述计算单元，还用于根据所述第二转换矩阵和所述目标输液杆对应的激光坐标，计算得到所述目标输液杆的方位信息。
具体的，本实施例是上述方法实施例对应的装置实施例，具体效果参见上述实施例，在此不再一一赘述。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种输液杆的检测跟踪方法，其特征在于，包括步骤：
拍摄获取环境图像，并发射激光获得对应的激光点云数据；
根据所述激光点云数据和所述环境图像分析确定候选输液杆；
对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
2.根据权利要求1所述的输液杆的检测跟踪方法，其特征在于，所述根据所述激光点云数据和所述环境图像分析确定候选输液杆具体包括步骤：
对激光点云数据进行聚类得到对应的聚类结果；
当存在与输液杆激光特征相符的目标聚类结果时，对所述环境图像进行图像识别得到对应的图像特征；
当存在与输液杆图像特征相符的目标图像特征时，标记所述目标图像特征对应的物体为候选输液杆。
3.根据权利要求1所述的输液杆的检测跟踪方法，其特征在于，所述对激光点云数据进行聚类得到对应的聚类结果具体包括步骤：
查找并滤除干扰数据；所述干扰数据包括噪声数据和/或干扰物对应的激光数据；
对删除所述干扰数据后的激光点云数据进行聚类得到对应的聚类结果。
4.根据权利要求1-3任一项所述的输液杆的检测跟踪方法，其特征在于，所述对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息具体包括步骤：
获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息。
5.根据权利要求4所述的输液杆的检测跟踪方法，其特征在于，所述根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息具体包括步骤：
获取像素坐标系与世界坐标系对应的第一转换矩阵和激光坐标系与世界坐标系对应的第二转换矩阵；
根据所述第一转换矩阵和所述目标输液杆对应的像素坐标，计算得到所述目标输液杆的方位信息；或，
根据所述第二转换矩阵和所述目标输液杆对应的激光坐标，计算得到所述目标输液杆的方位信息。
6.一种输液杆的检测跟踪装置，其特征在于，包括：图像摄像模块、激光扫描模块和确认模块；
所述图像摄像模块，用于拍摄获取环境图像；
所述激光扫描模块，用于发射激光获得对应的激光点云数据；
所述确认模块，分别与所述图像摄像模块和所述激光扫描模块连接，用于根据所述激光点云数据和所述环境图像分析确定候选输液杆；
所述处理模块，与所述确认模块连接，用于对所述候选输液杆进行跟踪确认目标输液杆，根据所述目标输液杆对应的坐标数据，计算得到所述目标输液杆的方位信息。
7.根据权利要求6所述的输液杆的检测跟踪装置，其特征在于，所述确认模块包括：聚类处理单元、图像识别单元、确认单元；
所述聚类处理单元，用于对激光点云数据进行聚类得到对应的聚类结果；
所述图像识别单元，与所述聚类处理单元连接，用于当存在与输液杆激光特征相符的目标聚类结果时，对所述环境图像进行图像识别得到对应的图像特征；
所述确认单元，与所述图像识别单元连接，用于当存在与输液杆图像特征相符的目标图像特征时，标记所述目标图像特征对应的物体为候选输液杆。
8.根据权利要求7所述的输液杆的检测跟踪装置，其特征在于，所述确认模块还包括：查找单元和删除单元；
所述查找单元，用于查找干扰数据；所述干扰数据包括噪声数据和/或干扰物对应的激光数据；
所述删除单元，与所述查找单元连接，用于删除所述干扰数据；
所述聚类处理单元，与所述删除单元连接，还用于对删除所述干扰数据后的激光点云数据进行聚类得到对应的聚类结果。
9.根据权利要求6-8任一项所述的输液杆的检测跟踪装置，其特征在于，所述处理模块具体包括：坐标获取单元、目标输液杆确认单元、计算单元；
所述坐标获取单元，用于获取所述候选输液杆在激光坐标系上的激光坐标，以及所述候选输液杆在像素坐标系上的像素坐标；
所述目标输液杆确认单元，与所述坐标获取单元连接，用于当预设时长内当前候选输液杆的激光坐标保持不变，且像素坐标保持不变时，确定所述当前候选输液杆为目标输液杆；
所述计算单元，分别与所述坐标获取单元和所述目标输液杆确认单元连接，用于根据所述目标输液杆对应的像素坐标或激光坐标，计算得到所述目标输液杆对应的方位信息。
10.根据权利要求9所述的输液杆的检测跟踪装置，其特征在于，所述处理模块还包括：转换矩阵获取单元；
所述转换矩阵获取单元，用于获取像素坐标系与世界坐标系对应的第一转换矩阵和激光坐标系与世界坐标系对应的第二转换矩阵；
所述计算单元，分别与所述转换矩阵获取单元、所述目标输液杆确认单元和所述坐标获取单元连接，用于根据所述第一转换矩阵和所述目标输液杆对应的像素坐标，计算得到所述目标输液杆的方位信息；
所述计算单元，还用于根据所述第二转换矩阵和所述目标输液杆对应的激光坐标，计算得到所述目标输液杆的方位信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811326883.XA CN109410282B (zh) | 2018-11-08 | 2018-11-08 | 一种输液杆的检测跟踪方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811326883.XA CN109410282B (zh) | 2018-11-08 | 2018-11-08 | 一种输液杆的检测跟踪方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109410282A true CN109410282A (zh) | 2019-03-01 |
| CN109410282B CN109410282B (zh) | 2021-06-01 |
Family
ID=65472234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811326883.XA Active CN109410282B (zh) | 2018-11-08 | 2018-11-08 | 一种输液杆的检测跟踪方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109410282B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN112233097A (zh) * | 2020-10-19 | 2021-01-15 | 中国科学技术大学 | 基于空时域多维融合的道路场景他车检测系统和方法 |
| CN112418316A (zh) * | 2020-11-24 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、激光机器人及可读存储介质 |
| CN113378606A (zh) * | 2020-03-10 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 一种标注信息确定方法、装置及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2993490A1 (en) * | 2014-09-08 | 2016-03-09 | Kabushiki Kaisha TOPCON | Operating device, operating system, operating method, and program therefor |
| CN106204547A (zh) * | 2016-06-29 | 2016-12-07 | 山东科技大学 | 从车载激光扫描点云中自动提取杆状地物空间位置的方法 |
| CN106529573A (zh) * | 2016-10-14 | 2017-03-22 | 北京联合大学 | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 |
| CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
-
2018
- 2018-11-08 CN CN201811326883.XA patent/CN109410282B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2993490A1 (en) * | 2014-09-08 | 2016-03-09 | Kabushiki Kaisha TOPCON | Operating device, operating system, operating method, and program therefor |
| CN106204547A (zh) * | 2016-06-29 | 2016-12-07 | 山东科技大学 | 从车载激光扫描点云中自动提取杆状地物空间位置的方法 |
| CN106529573A (zh) * | 2016-10-14 | 2017-03-22 | 北京联合大学 | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 |
| CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHIEN-CHOU LIN ET AL.: "A novel point cloud registration using 2D image features", 《EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING》 * |
| 钟晨: "面向室外环境的移动机器人场景识别与建模", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675431A (zh) * | 2019-10-08 | 2020-01-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
| CN113378606A (zh) * | 2020-03-10 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 一种标注信息确定方法、装置及系统 |
| CN112233097A (zh) * | 2020-10-19 | 2021-01-15 | 中国科学技术大学 | 基于空时域多维融合的道路场景他车检测系统和方法 |
| CN112233097B (zh) * | 2020-10-19 | 2022-10-28 | 中国科学技术大学 | 基于空时域多维融合的道路场景他车检测系统和方法 |
| CN112418316A (zh) * | 2020-11-24 | 2021-02-26 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、激光机器人及可读存储介质 |
| CN112418316B (zh) * | 2020-11-24 | 2023-09-29 | 深圳市优必选科技股份有限公司 | 机器人重定位方法、装置、激光机器人及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109410282B (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410282A (zh) | 一种输液杆的检测跟踪方法和装置 | |
| JP5467404B2 (ja) | ３ｄ撮像システム | |
| US11123144B2 (en) | Registration of frames of reference | |
| CN1324529C (zh) | 对场景中的物体进行分类的系统及其方法 | |
| CN109472831A (zh) | 面向压路机施工过程的障碍物识别测距系统及方法 | |
| CN109215063A (zh) | 一种事件触发相机与三维激光雷达的配准方法 | |
| TWI242701B (en) | Autonomous moving robot | |
| CN104567758B (zh) | 立体成像系统及其方法 | |
| CN106361345A (zh) | 基于摄像头标定的视频图像中人体身高测量的系统及方法 | |
| CN104751146B (zh) | 一种基于3d点云图像的室内人体检测方法 | |
| CN105467994B (zh) | 视觉与测距融合的送餐机器人室内定位方法 | |
| CN110009682A (zh) | 一种基于单目视觉的目标识别定位方法 | |
| CN102106758A (zh) | 立体定向神经外科手术中病人头部标记的自动视觉定位装置及方法 | |
| CN109253722A (zh) | 融合语义分割的单目测距系统、方法、设备及存储介质 | |
| EP3069100A2 (en) | Collimation and homogenization system for an led luminaire | |
| CN106537217A (zh) | 宽视野深度成像 | |
| CN211178436U (zh) | 用于磁力计空间定位的系统 | |
| JP2020056644A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN117392109A (zh) | 一种乳腺病灶三维重建方法及系统 | |
| CN108388854A (zh) | 一种基于改进fast-surf算法的定位方法 | |
| CN106296797A (zh) | 一种三维扫描仪特征点建模数据处理方法 | |
| CN112857325A (zh) | 用于磁力计空间定位的系统和方法 | |
| CN109493378A (zh) | 一种基于单目视觉与双目视觉相结合的垂直度检测方法 | |
| Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
| CN114004880A (zh) | 双目相机的点云和强反光目标实时定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210511 Address after: 200335 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai Applicant after: Shanghai zhihuilin Medical Technology Co.,Ltd. Address before: 201400 room 2340, building 2, Lane 1800, Xinyang highway, Fengxian District, Shanghai Applicant before: SHANGHAI MUMU JUCONG ROBOT TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 202150 room 205, zone W, second floor, building 3, No. 8, Xiushan Road, Chengqiao Town, Chongming District, Shanghai (Shanghai Chongming Industrial Park) Patentee after: Shanghai Noah Wood Robot Technology Co.,Ltd. Address before: 200335 402 rooms, No. 33, No. 33, Guang Shun Road, Shanghai Patentee before: Shanghai zhihuilin Medical Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A detection and tracking method and device for infusion rods Granted publication date: 20210601 Pledgee: CITIC Bank Limited by Share Ltd. Shanghai branch Pledgor: Shanghai Noah Wood Robot Technology Co.,Ltd. Registration number: Y2024310000751 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |