CN110969659A - 一种被动式标记点的空间定位装置和方法 - Google Patents
一种被动式标记点的空间定位装置和方法 Download PDFInfo
- Publication number
- CN110969659A CN110969659A CN201911063045.2A CN201911063045A CN110969659A CN 110969659 A CN110969659 A CN 110969659A CN 201911063045 A CN201911063045 A CN 201911063045A CN 110969659 A CN110969659 A CN 110969659A
- Authority
- CN
- China
- Prior art keywords
- infrared image
- camera
- image
- infrared
- interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000003550 marker Substances 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 4
- 239000008188 pellet Substances 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 239000011324 bead Substances 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Abstract
本发明实施例公开了一种被动式标记点的空间定位装置和方法，涉及光学定位技术领域。方法包括：创建数据集，训练出分类识别模型；获取三个相机的红外图像和非红外图像；获取第一相机与第三相机的帧差图像，分割出候选标记点，对标记点进行粗提取；利用分类识别模型提取第二红外图像中所有干扰源的几何中心，以删除干扰源，得到待匹配的第一红外图像和第三红外图像；通过立体匹配，得到标记小球的匹配点对，并进行验证。本发明实施例能够有效降低干扰光源和镜面反射对系统造成的影响，极大提高系统定位的准确性和稳定性。
Description
技术领域
本发明实施例涉及光学定位技术领域，具体涉及一种被动式标记点的空间定位装置和方法。
背景技术
三维空间定位技术是许多工业应用的基础，如机器人导航、光学测量、运动捕捉等。随着空间定位技术的不断发展，市场上涌现了很多优秀的空间定位解决方案，如蓝牙定位、电磁定位、光学定位等。其中基于红外光的光学定位技术因其定位精度高、抗干扰能力强等特点而被广泛的研究和应用，最具有代表性的产品有OptiTrack公司的光学定位摄像头，类似方案在需要定位的空间中架设多个带有红外截止滤光片的相机，并在被跟踪物体上安置红外反光小球，通过捕捉红外反光小球的位置进而对待跟踪物体进行准确定位。
综合分析现有的红外光学定位系统后发现，尽管红外成像下很多可见光的干扰可以被较好的去除，但是仍然存在一些诸如干扰光源、镜面反射的问题，这些干扰光源和镜面反射的显著特点是能量高、混淆性强，它们在图像上投射出的光斑往往与需要定位的红外反射小球在图像上形成的光斑具有相似的形状外观，目前的红外系统还不能解决干扰光源、镜面反射的问题，这给当前的红外光学定位系统带来了很大的挑战，降低了系统的定位稳定性，也限制了红外光学定位系统的应用前景。
发明内容
本发明实施例的目的在于提供一种被动式标记点的空间定位装置和方法，用以解决现有红外光学定位系统不能处理干扰光源和镜面反射对系统定位稳定性影响的问题。
为实现上述目的，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供一种被动式标记点的空间定位装置，
所述装置包括：计算机、微控制器、第一相机、第二相机和第三相机，所述计算机用于接收第一相机、第二相机和第三相机采集的图像数据，并向微控制器发送动作指令；所述微控制器用于触发第一相机、第二相机和第三相机工作，以及控制红外LED阵列的开闭，所述红外LED阵列设置于第一相机和第三相机的外围；其中，所述第一相机和第三相机的镜头设置有红外截止滤光片。
第二方面，本发明实施例提供一种被动式标记点的空间定位方法，
所述方法包括：创建数据集，利用所述数据集训练出分类识别模型；获取第一相机、第二相机和第三相机的红外图像和非红外图像；包括第一红外图像、第二红外图像、第三红外图像、第一非红外图像、第二非红外图像和第三非红外图像；获取第一相机与第三相机的帧差图像，利用所述帧差图像分割出第一红外图像和第三红外图像中的候选标记点，对标记点进行粗提取；利用分类识别模型提取第二红外图像中所有干扰源的几何中心，并将第二红外图像分别与第一红外图像和第三红外图像进行立体匹配，得到第一红外图像和第三红外图像中的干扰源中心点，并删除，得到待匹配的第一红外图像和第三红外图像；对待匹配的第一红外图像和第三红外图像进行立体匹配，得到标记小球的匹配点对，并进行验证。
进一步地，创建数据集，利用所述数据集训练出分类识别模型，具体包括：在红外LED阵列开启的状态下，利用第二相机获取只存在干扰光源和镜面反射的第二相机拍摄的干扰数据集，和只存在被动式反光标记小球的无干扰数据集；对干扰数据集中的干扰源和无干扰数据集中的标记小球进行标注，构建出训练数据集、验证数据集和测试数据集；根据所述训练数据集、验证数据集和测试数据集对网络模型进行训练和测试，直至得出能够识别干扰源和标记小球的分类识别模型。
进一步地，利用所述帧差图像分割出第一相机图像和第三相机图像中的候选标记点，具体包括：将第一红外图像和第一非红外图像中对应像素的值作差，得到第一相机的帧差图像，同理，得到第三相机的帧差图像；若差值大于设定阈值，则赋予帧差图像中对应像素的像素值为1，反之，像素值为0；将帧差图像中像素值为1的标记点作为候选标记点。
进一步地，所述对标记点进行粗提取，具体包括：利用图像分割算法得到第一相机和第三相机的帧差图像中所有像素值为1的连通区域；计算出每个连通区域的几何中心以及区域的圆形度；删除不满足圆形度设定阈值的候选标记点，得到经过粗提取的第一红外图像和第三红外图像。
进一步地，得到所述第一红外图像和第三红外图像中的干扰源中心点，具体包括：将第二红外图像输入分类识别模型进行训练，提取出干扰源中心点；计算第二红外图像中每个干扰源中心点在第一红外图像和第三红外图像中的极线；利用极线集合约束获取第二红外图像中每个干扰源中心点在第一红外图像和第三红外图像中的干扰源匹配点；删除所述干扰源匹配点，得到待匹配的第一红外图像和第三红外图像。
进一步地，所述将第二红外图像输入分类识别模型进行训练，提取出干扰源中心点，具体包括：利用分类识别模型提取出图像中第二红外图像中干扰源的建议框和评分，若某个干扰源的评分大于设定阈值，则认为对应建议框中包含了干扰源，则求出该干扰源的几何中心并保存，得到所有干扰源的几何中心集合。
进一步地，所述得到标记小球的匹配点对，具体包括：获取第一相机和第三相机的内参和外参；计算待匹配的第一红外图像中每个连通区域中心点在待匹配的第三红外图像中的极线；利用极线集合约束获取待匹配的第一红外图像中每个标记点在待匹配的第三红外图像中的匹配点，并组成匹配点对；求出所有匹配点对相对应的空间点的三维坐标，并进行空间几何验证。
第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行一种被动式标记点的空间定位方法。
本发明实施例提供的技术方案至少具有如下优点：
本发明实施例提供的一种被动式标记点的空间定位装置和方法，将可见光下的图像与红外图像结合以准确定位空间中的被动式标记点，首先通过改变红外条件获取多种情况下的图像样本来训练出分类识别模型，然后通过计算第一相机和第三相机的帧差图像，来对标记点进行粗提取，再对干扰源中心点进行计算，以排除干扰源，得到待匹配的第一红外图像和第三红外图像，再进行标记点立体匹配，得到匹配点对，并验证匹配点对的准确性，能够有效降低干扰光源和镜面反射对系统造成的影响，极大提高系统定位的准确性和稳定性。
附图说明
图1为本发明实施例提供的一种被动式标记点的空间定位方法的流程图。
图2为本发明实施例提供的一种被动式标记点的空间定位装置的结构设置图。
图中：计算机01、第一相机02、第二相机03、第三相机04、红外LED阵列05、微控制器06。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
现有的光学定位技术有被动式光学动作捕捉系统，也称反射式光学动作捕捉系统，其Marker点通常是一种高亮回归式反光球，粘贴于人体各主要关节部位，由动作捕捉镜头上发出的LED照射光经反光球反射至动捕相机，进行Marker的检测和空间定位。其中的高亮回归式反光球即本申请中的被动式反光标记小球，即被动式标记点。
基于背景技术中指出的现有技术缺点，本申请提出一种被动式标记点的空间定位装置，参考图2，该装置包括：计算机01、微控制器06、第一相机02、第二相机03和第三相机04，计算机01用于接收第一相机02、第二相机03和第三相机04采集的图像数据，并向微控制器06发送动作指令，动作指令包括开启或关闭第一相机02、第二相机03、第三相机04工作和红外LED阵列05；该微控制器06用于触发第一相机02、第二相机03和第三相机04工作，以及控制红外LED阵列05的开闭，本实施例中红外LED阵列05设置于第一相机和第三相机的外围，用于提供红外光源；其中，第一相机02和第三相机04的镜头设置有红外截止滤光片。
本实施例中的相机采用基于GigE接口的工业相机，相机和计算机通过千兆以太网进行连接，微控制器优选嵌入式单片机，微控制器和计算机之间通过串口进行通信，嵌入式单片机通过输出脉宽调制信号控制相机的触发以及所有红外LED阵列的开关控制。
通过控制不同的红外条件因素，获取多种状况下的图像，增加数据库的样本种类和数量，将可见光下的图像与红外图像结合以准确定位空间中的被动式标记点。
基于上述装置采集到多种情况下的图像数据，本发明实施例提供一种被动式标记点的空间定位方法，参考图1，该方法包括：
S1、创建数据集，利用所述数据集训练出分类识别模型。
具体地，打开第一相机和第三相机外围的红外LED阵列，在红外LED阵列开启的状态下，利用第二相机拍摄只存在干扰光源和镜面反射的场景，该过程需要拍摄尽可能多的不同种类的干扰光源和镜面反射图像，以增加数据类型，利用上述情况下拍摄的图像组成创建干扰数据集；同样在红外LED阵列开启的状态下，获取只存在被动式反光标记小球的无干扰数据集。
对干扰数据集和无干扰数据集中的图像进行分别处理，对干扰数据集中的干扰源打标签进行标注，对无干扰数据集中的标记小球打标签进行标注，构建出训练数据集、验证数据集和测试数据集。
选择一个深度学习模型，如Caffe中的AlexNet网络，在整理好的训练数据集和验证数据的基础上训练出能识别干扰源和发光小球的网络模型，训练终止后得到新的网络模型M，然后将模型在测试数据集上进行测试，若测试出的识别准确率高于μ(0≤μ≤1)，μ优选0.9，则认为分类模型能很好地识别出干扰源和需要定位的反光小球，否则需要重新调整训练参数和数据集以得到期望的分类识别模型。
S2、获取第一相机、第二相机和第三相机的红外图像和非红外图像；包括第一红外图像、第二红外图像、第三红外图像、第一非红外图像、第二非红外图像和第三非红外图像。
在线情况下，首先通过计算机给微控制器发送无红外补光拍摄的指令，微控制器在接收到计算机端指令后会关闭红外LED阵列，并同时触发三个相机进行图像采集，采集的图像数据包括第一非红外图像、第二非红外图像和第三非红外图像，第一非红外图像、第二非红外图像和第三非红外图像分别对应第一相机、第二相机和第三相机采集的图像，记为：Ι1、Ι2和I3。待数据采集完成后，三台相机通过各自的通信链路将数据传输到计算机端，同时微控制器发送读取指令给计算机端以通知电脑端读取三台相机的图像数据Ι1、Ι2和Ι3。然后再通过计算机给微控制器发送红外补光拍摄的指令，此时微控制器会打开红外LED阵列光源，并触发三个相机按照上述相同的方式得到三台相机在红外补光下的图像，分别为第一红外图像、第二红外图像、第三红外图像，记为：
和
S3、获取第一相机与第三相机的帧差图像，利用所述帧差图像分割出第一红外图像和第三红外图像中的候选标记点，对标记点进行粗提取。
具体地，将第一相机先后得到的图像数据Ι1和
中对应像素的值作差，得到第一相机的帧差图像，同理，将Ι3和
作差，得到第三相机的帧差图像；再给定一个阈值β，其中，本实施例中的相机为灰度相机，每个像素的灰度值为0-255，因此，β优选值为150，若帧差图像的差值大于设定阈值，则赋予帧差图像中对应像素的像素值为1，反之，像素值为0；差值的计算公式为：
其中，
是帧差图像i(i＝1或3)中像素点(m,n)处的像素值，由于环境中的干扰光源同时存在于红外补光前后的图像中，因此，上述帧差法能去除大部分的干扰光源。
将帧差图像中像素值为1的标记点作为候选标记点，然后利用圆形度删除不满足圆形度要求的标记点，具体如下步骤：
利用图像处理中的分割算法分别得到两张帧差图像中的所有像素值为1的连通区域，记第一相机和第三相机的两幅帧差图像中提取出的连通区域集合分别为：
和
计算出每个连通区域的几何中心以及区域的圆形度，其中，几何中心的计算公式为：
其中，
代表帧差图像j上序号为r的连通区域，(m,n)是连通区域中一个像素点的坐标，(x,y)是求得的连通区域的几何中心。
圆形度的计算公式为：
其中，C代表一个连通区域的圆形度，L代表几何中心距离连通区域边界上某个轮廓点的距离，单位为像素，F代表连通区域的面积，单位为像素的平方。由于被动式反光小球在图像上的投影为近似圆形，若计算出的连通区域的圆形度小于设定阈值γ，则需要将该连通区域从候选标记点集合中删除。最后，保存帧差图像中所有满足圆形度要求的连通区域的几何中心坐标，并记为
和
即集合T1和T3中的元素为经过粗提取的第一红外图像和第三红外图像的像素点。
S4、利用分类识别模型提取第二红外图像中所有干扰源的几何中心，并将第二红外图像分别与第一红外图像和第三红外图像进行立体匹配，得到第一红外图像和第三红外图像中的干扰源中心点，并删除，得到待匹配的第一红外图像和第三红外图像。
步骤S3中的方法能够对标记点进行粗提取，但是还可能存在某些镜面反射形成的斑点以及少量帧差法未去除的干扰光源的斑点。因此，本步骤将第二红外图像
输入分类识别模型M进行训练，提取出图像中干扰源的建议框和评分，若某个干扰源的评分大于设定阈值δ，则认为对应建议框中包含了干扰源，则利用上文中的几何中心的计算公式计算出干扰源的集合中心并保存，从而提取出干扰源中心点的集合G＝{Gx|x＝1,2,3,…,X}。
然后使用张正友标定法结合棋盘对相机进行标定，得到三台相机的内参以及它们之间的外参，利用计算机视觉中的多视图几何的原理分别求出第二相机到第一相机之间的基础矩阵F21，以及第二相机到第三相机之间的基础矩阵F23，然后遍历集合G中的所有元素，求出每个干扰源中心点Gx在
中的对应极线
以及其在
中的对应极线
利用极线集合约束获取第二红外图像中每个干扰源中心点在第一红外图像和第三红外图像中的干扰源匹配点，具体地，以
为例，对于每一个极线
遍历所有T1中的候选标记点
找出距离极线
最近的标记点
若最近距离d1小于设定阈值ε，将该标记点
作为Gx在
中的立体匹配点，然后依次找出第二红外图像
中每个干扰源中心点在图像
中的匹配点。同理，可以求出第二红外图像
中每个干扰源中心点在图像
中的匹配点。
上述步骤中与第二红外图像中某个干扰源中心点Gx相匹配的标记点
以及
被认为是干扰噪声点，需要进行删除，记第一红外图像和第三红外图像中删除干扰噪声点后的连通区域中心点集合分别为：
即集合
和
中的元素为待匹配的第一红外图像和第三红外图像中的标记点。
S5、对待匹配的第一红外图像和第三红外图像进行立体匹配，得到标记小球的匹配点对，并进行验证。
具体地，根据相机内参和外参，结合计算机视觉中的多视图几何的原理，计算出第一相机到第三相机之间的基础矩阵F13，然后计算出第一红外图像
中每个连通区域中心点
在第三红外图像
中的极线
对于每个映射到
中的极线
遍历
中所有连通区域中心点
以找出距离极线
最近的中心点
若
到
的距离d2小于设定阈值ε，则认为
与
构成一对匹配点对，依此类推，找出第一相机图像和第三相机图像中的所有满足立体匹配的点对。
对于所有求出的立体匹配点对，根据计算机视觉中的三角测量原理求出所有匹配点对相对应的空间点的三维坐标。最后再对所有空间点进行空间几何验证，若求出的空间点不满足双目视觉所设定的测量范围要求，则认为对应的匹配点对是干扰噪声并予以剔除。至此，保留下来的空间点就是空间中各被动式标记点的几何中心了。
本发明实施例提供的一种被动式标记点的空间定位装置和方法，将可见光下的图像与红外图像结合以准确定位空间中的被动式标记点，首先通过改变红外条件获取多种情况下的图像样本来训练出分类识别模型，然后通过计算第一相机和第三相机的帧差图像，来对标记点进行粗提取，再对干扰源中心点进行计算，以排除干扰源，得到待匹配的第一红外图像和第三红外图像，再进行标记点立体匹配，得到匹配点对，并验证匹配点对的准确性，能够有效降低干扰光源和镜面反射对系统造成的影响，极大提高系统定位的准确性和稳定性。
与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行一种被动式标记点的空间定位方法。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (9)
1.一种被动式标记点的空间定位装置，其特征在于，所述装置包括：计算机、微控制器、第一相机、第二相机和第三相机，
所述计算机用于接收第一相机、第二相机和第三相机采集的图像数据，并向微控制器发送动作指令；
所述微控制器用于触发第一相机、第二相机和第三相机工作，以及控制红外LED阵列的开闭，所述红外LED阵列设置于第一相机和第三相机的外围；
其中，所述第一相机和第三相机的镜头设置有红外截止滤光片。
2.一种被动式标记点的空间定位方法，其特征在于，所述方法包括：
创建数据集，利用所述数据集训练出分类识别模型；
获取第一相机、第二相机和第三相机的红外图像和非红外图像；包括第一红外图像、第二红外图像、第三红外图像、第一非红外图像、第二非红外图像和第三非红外图像；
获取第一相机与第三相机的帧差图像，利用所述帧差图像分割出第一红外图像和第三红外图像中的候选标记点，对标记点进行粗提取；
利用分类识别模型提取第二红外图像中所有干扰源的几何中心，并将第二红外图像分别与第一红外图像和第三红外图像进行立体匹配，得到第一红外图像和第三红外图像中的干扰源中心点，并删除，得到待匹配的第一红外图像和第三红外图像；
对待匹配的第一红外图像和第三红外图像进行立体匹配，得到标记小球的匹配点对，并进行验证。
3.如权利要求2所述的一种被动式标记点的空间定位方法，其特征在于，创建数据集，利用所述数据集训练出分类识别模型，具体包括：
在红外LED阵列开启的状态下，利用第二相机获取只存在干扰光源和镜面反射的第二相机拍摄的干扰数据集，和只存在被动式反光标记小球的无干扰数据集；
对干扰数据集中的干扰源和无干扰数据集中的标记小球进行标注，构建出训练数据集、验证数据集和测试数据集；
根据所述训练数据集、验证数据集和测试数据集对网络模型进行训练和测试，直至得出能够识别干扰源和标记小球的分类识别模型。
4.如权利要求2所述的一种被动式标记点的空间定位方法，其特征在于，利用所述帧差图像分割出第一相机图像和第三相机图像中的候选标记点，具体包括：
将第一红外图像和第一非红外图像中对应像素的值作差，得到第一相机的帧差图像，同理，得到第三相机的帧差图像；
若差值大于设定阈值，则赋予帧差图像中对应像素的像素值为1，反之，像素值为0；
将帧差图像中像素值为1的标记点作为候选标记点。
5.如权利要求2所述的一种被动式标记点的空间定位方法，其特征在于，所述对标记点进行粗提取，具体包括：
利用图像分割算法得到第一相机和第三相机的帧差图像中所有像素值为1的连通区域；
计算出每个连通区域的几何中心以及区域的圆形度；
删除不满足圆形度设定阈值的候选标记点，得到经过粗提取的第一红外图像和第三红外图像。
6.如权利要求2所述的一种被动式标记点的空间定位方法，其特征在于，得到所述第一红外图像和第三红外图像中的干扰源中心点，具体包括：
将第二红外图像输入分类识别模型进行训练，提取出干扰源中心点；
计算第二红外图像中每个干扰源中心点在第一红外图像和第三红外图像中的极线；
利用极线集合约束获取第二红外图像中每个干扰源中心点在第一红外图像和第三红外图像中的干扰源匹配点；
删除所述干扰源匹配点，得到待匹配的第一红外图像和第三红外图像。
7.如权利要求6所述的一种被动式标记点的空间定位方法，其特征在于，所述将第二红外图像输入分类识别模型进行训练，提取出干扰源中心点，具体包括：
利用分类识别模型提取出图像中第二红外图像中干扰源的建议框和评分，若某个干扰源的评分大于设定阈值，则认为对应建议框中包含了干扰源，则求出该干扰源的几何中心并保存，得到所有干扰源的几何中心集合。
8.如权利要求2所述的一种被动式标记点的空间定位方法，其特征在于，所述得到标记小球的匹配点对，具体包括：
获取第一相机和第三相机的内参和外参；
计算待匹配的第一红外图像中每个连通区域中心点在待匹配的第三红外图像中的极线；
利用极线集合约束获取待匹配的第一红外图像中每个标记点在待匹配的第三红外图像中的匹配点，并组成匹配点对；
求出所有匹配点对相对应的空间点的三维坐标，并进行空间几何验证。
9.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行如权利要求2-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911063045.2A CN110969659B (zh) | 2019-10-31 | 2019-10-31 | 一种被动式标记点的空间定位装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911063045.2A CN110969659B (zh) | 2019-10-31 | 2019-10-31 | 一种被动式标记点的空间定位装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969659A true CN110969659A (zh) | 2020-04-07 |
| CN110969659B CN110969659B (zh) | 2024-03-15 |
Family
ID=70030025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911063045.2A Active CN110969659B (zh) | 2019-10-31 | 2019-10-31 | 一种被动式标记点的空间定位装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969659B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768623A (zh) * | 2020-06-09 | 2021-12-10 | 上海舍成医疗器械有限公司 | 使用单目定位跟踪器的手术导航系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011114683A1 (ja) * | 2010-03-19 | 2011-09-22 | パナソニック株式会社 | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム |
| CN103337064A (zh) * | 2013-04-28 | 2013-10-02 | 四川大学 | 图像立体匹配中的一种误匹配点剔除方法 |
| CN105029691A (zh) * | 2015-06-02 | 2015-11-11 | 国家烟草质量监督检验中心 | 一种基于三维重建技术的卷烟空头检测方法 |
| CN105496556A (zh) * | 2015-12-03 | 2016-04-20 | 中南民族大学 | 一种用于手术导航的高精度光学定位系统 |
| CN106152937A (zh) * | 2015-03-31 | 2016-11-23 | 深圳超多维光电子有限公司 | 空间定位装置、系统及其方法 |
| WO2017118285A1 (zh) * | 2016-01-05 | 2017-07-13 | 北京度量科技有限公司 | 一种高速提取圆形图像中心点的方法 |
| CN107595388A (zh) * | 2017-08-01 | 2018-01-19 | 华南理工大学 | 一种基于反光球标记点的近红外双目视觉立体匹配方法 |
| CN109360240A (zh) * | 2018-09-18 | 2019-02-19 | 华南理工大学 | 一种基于双目视觉的小型无人机定位方法 |
| CN109544619A (zh) * | 2018-11-06 | 2019-03-29 | 深圳市爱培科技术股份有限公司 | 一种基于图割的双目视觉立体匹配方法及系统 |
| CN110069131A (zh) * | 2019-03-01 | 2019-07-30 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于近红外光圆斑检测的多指尖定位方法 |
| CN110180186A (zh) * | 2019-05-28 | 2019-08-30 | 北京奇思妙想信息技术有限公司 | 一种地形图转换方法及系统 |
-
2019
- 2019-10-31 CN CN201911063045.2A patent/CN110969659B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011114683A1 (ja) * | 2010-03-19 | 2011-09-22 | パナソニック株式会社 | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム |
| CN103337064A (zh) * | 2013-04-28 | 2013-10-02 | 四川大学 | 图像立体匹配中的一种误匹配点剔除方法 |
| CN106152937A (zh) * | 2015-03-31 | 2016-11-23 | 深圳超多维光电子有限公司 | 空间定位装置、系统及其方法 |
| CN105029691A (zh) * | 2015-06-02 | 2015-11-11 | 国家烟草质量监督检验中心 | 一种基于三维重建技术的卷烟空头检测方法 |
| CN105496556A (zh) * | 2015-12-03 | 2016-04-20 | 中南民族大学 | 一种用于手术导航的高精度光学定位系统 |
| WO2017118285A1 (zh) * | 2016-01-05 | 2017-07-13 | 北京度量科技有限公司 | 一种高速提取圆形图像中心点的方法 |
| CN107595388A (zh) * | 2017-08-01 | 2018-01-19 | 华南理工大学 | 一种基于反光球标记点的近红外双目视觉立体匹配方法 |
| CN109360240A (zh) * | 2018-09-18 | 2019-02-19 | 华南理工大学 | 一种基于双目视觉的小型无人机定位方法 |
| CN109544619A (zh) * | 2018-11-06 | 2019-03-29 | 深圳市爱培科技术股份有限公司 | 一种基于图割的双目视觉立体匹配方法及系统 |
| CN110069131A (zh) * | 2019-03-01 | 2019-07-30 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于近红外光圆斑检测的多指尖定位方法 |
| CN110180186A (zh) * | 2019-05-28 | 2019-08-30 | 北京奇思妙想信息技术有限公司 | 一种地形图转换方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| LEPING HE: "Non-Contact Measurement of the Surface Displacement of a Slope Based on a Smart Binocular Vision System", SENSORS, pages 1 - 18 * |
| 王杉杉: "手术导航中三维定位系统的研究", 中国优秀硕士学位论文全文数据库信息科技, pages 1 - 60 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768623A (zh) * | 2020-06-09 | 2021-12-10 | 上海舍成医疗器械有限公司 | 使用单目定位跟踪器的手术导航系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969659B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109509230B (zh) | 一种应用于多镜头组合式全景相机的slam方法 | |
| US11295475B2 (en) | Systems and methods for pose detection and measurement | |
| CN109211207B (zh) | 一种基于机器视觉的螺钉识别与定位装置 | |
| US9525862B2 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| Treible et al. | Cats: A color and thermal stereo benchmark | |
| JP2022546627A (ja) | 偏光によるセンサシステム及び撮像システムの増強のための方法 | |
| US11436750B2 (en) | Optical tracking system and optical tracking method | |
| JP5141452B2 (ja) | 姿勢計測装置及び姿勢計測方法 | |
| CN105023010A (zh) | 一种人脸活体检测方法及系统 | |
| CN103959307A (zh) | 从灰度图像中检测和描述特征的方法 | |
| CN113096183B (zh) | 一种基于激光雷达与单目相机的障碍物检测与测量方法 | |
| Li et al. | Image matching techniques for vision-based indoor navigation systems: performance analysis for 3D map based approach | |
| US9245375B2 (en) | Active lighting for stereo reconstruction of edges | |
| CN114494462A (zh) | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 | |
| CN111928857A (zh) | 一种动态环境中实现slam定位的方法及相关装置 | |
| Kruger et al. | In-factory calibration of multiocular camera systems | |
| WO2021193672A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
| CN110969659A (zh) | 一种被动式标记点的空间定位装置和方法 | |
| US20150063637A1 (en) | Image recognition method and robot | |
| CN112150448A (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN107977995A (zh) | 一种目标区域的位置检测方法及相关装置 | |
| TWI773476B (zh) | 特徵點整合定位系統及特徵點整合定位方法 | |
| WO2022124017A1 (ja) | 三次元モデル生成方法及び三次元モデル生成装置 | |
| Trusheim et al. | Cooperative image orientation considering dynamic objects | |
| Morelli et al. | Orientation of Images with Low Contrast Textures and Transparent Objects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240219 Address after: 314001 9F, No.705, Asia Pacific Road, Nanhu District, Jiaxing City, Zhejiang Province Applicant after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University Country or region after: China Address before: No.152 Huixin Road, Nanhu District, Jiaxing City, Zhejiang Province 314000 Applicant before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING) Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |