CN112348890A - 一种空间定位方法、装置及计算机可读存储介质 - Google Patents
一种空间定位方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112348890A CN112348890A CN202011161015.8A CN202011161015A CN112348890A CN 112348890 A CN112348890 A CN 112348890A CN 202011161015 A CN202011161015 A CN 202011161015A CN 112348890 A CN112348890 A CN 112348890A
- Authority
- CN
- China
- Prior art keywords
- view image
- target object
- information
- solving
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000004590 computer program Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种空间定位方法、装置及计算机可读存储介质，将分别由第一/第二双目摄像机及单目摄像机拍摄的主视图像、侧视图像及俯视图像，输入至三通道目标识别神经网络，获取目标物体的类别信息及特征点信息；基于主/侧视图像对应的特征点信息求解目标物体的初定位信息，以及基于俯视图像对应的特征点信息求解目标物体的形心位置信息；结合初定位信息及形心位置信息，获取目标物体的精确定位信息。通过本发明的实施，结合一个单目摄像机和两个双目摄像机在多个空间方向进行协同工作，在双目摄像机进行初定位的基础上，再结合单目摄像机进行精定位，在保证定位精度的情况下能够扩大视野范围，并能有效获取目标物体的三维空间信息。
Description
技术领域
本发明涉及电子技术领域，尤其涉及一种空间定位方法、装置及计算机可读存储介质。
背景技术
工业自动化的真正实现，是需要高度智能化的工业机器人根据现场情况进行判断处理并代替人类去完成工业上的生产制造，为了使机器人能更智能的代替人类工作，首先要做的是需要让它们像人一样能感知到物体的位置并进行判断，在这样的需求下，机器视觉就适时的出现了。
目前，工业机器人的视觉系统多数只使用了单一的单目视觉或双目视觉，然而，单目机器人在进行定位时，由于深度信息的难以测量，其误差较大，基本在3～5mm，且单目机器视觉只能获取简单的二维信息，另外，虽然双目视觉机器人定位精度足够高，但其视野范围受限制，还容易出现遮挡、拍摄不完整的情况，由此可见，现有的工业机器人的空间定位性能较为局限。
发明内容
本发明实施例的主要目的在于提供一种空间定位方法、装置及计算机可读存储介质，至少能够解决相关技术中在进行空间定位时，定位性能较为局限的问题。
为实现上述目的，本发明实施例第一方面提供了一种空间定位方法，应用于包括第一双目摄像机、第二双目摄像机以及单目摄像机的多目视觉采集系统，所述第一双目摄像机用于采集目标空间的主视图像，所述第二双目摄像机用于采集所述目标空间的侧视图像，所述单目摄像机用于采集所述目标空间的俯视图像，该方法包括：
将所述主视图像、所述侧视图像以及所述俯视图像输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；
基于所述主视图像、所述侧视图像对应的特征点信息，求解所述目标物体在世界坐标系中的初定位信息，以及，基于所述俯视图像对应的特征点信息，求解所述目标物体的形心位置信息；
结合所述初定位信息以及所述形心位置信息，获取所述目标物体在所述目标空间的精确定位信息。
为实现上述目的，本发明实施例第二方面提供了一种空间定位装置，应用于包括第一双目摄像机、第二双目摄像机以及单目摄像机的多目视觉采集系统，所述第一双目摄像机用于采集目标空间的主视图像，所述第二双目摄像机用于采集所述目标空间的侧视图像，所述单目摄像机用于采集所述目标空间的俯视图像，该装置包括：
第一获取模块，用于将所述主视图像、所述侧视图像以及所述俯视图像输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；
求解模块，用于基于所述主视图像、所述侧视图像对应的特征点信息，求解所述目标物体在世界坐标系中的初定位信息，以及，基于所述俯视图像对应的特征点信息，求解所述目标物体的形心位置信息；
第二获取模块，用于结合所述初定位信息以及所述形心位置信息，获取所述目标物体在所述目标空间的精确定位信息。
为实现上述目的，本发明实施例第三方面提供了一种电子装置，该电子装置包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现上述任意一种空间定位方法的步骤。
为实现上述目的，本发明实施例第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任意一种空间定位方法的步骤。
根据本发明实施例提供的空间定位方法、装置及计算机可读存储介质，将分别由第一双目摄像机、第二双目摄像机以及单目摄像机拍摄的主视图像、侧视图像以及俯视图像，输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息，以及，基于俯视图像对应的特征点信息，求解目标物体的形心位置信息；结合初定位信息以及形心位置信息，获取目标物体在目标空间的精确定位信息。通过本发明的实施，结合一个单目摄像机和两个双目摄像机在多个空间方向进行协同工作，在双目摄像机进行初定位的基础上，再结合单目摄像机进行精定位，在保证定位精度的情况下能够扩大视野范围，并能有效获取目标物体的三维空间信息。
本发明其他特征和相应的效果在说明书的后面部分进行阐述说明，且应当理解，至少部分效果从本发明说明书中的记载变的显而易见。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的多目视觉采集系统的摄像机布置示意图；
图2为本发明第一实施例提供的空间定位方法的基本流程示意图；
图3为本发明第一实施例提供的摄像机视场标定方法的流程示意图；
图4为本发明第二实施例提供的空间定位装置的结构示意图；
图5为本发明第三实施例提供的电子装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例：
为了解决相关技术中在进行空间定位时，定位性能较为局限的技术问题，本实施例提出了一种空间定位方法，应用于包括第一双目摄像机、第二双目摄像机以及单目摄像机的多目视觉采集系统，第一双目摄像机用于采集目标空间的主视图像，第二双目摄像机用于采集目标空间的侧视(左视或右视)图像，单目摄像机用于采集目标空间的俯视图像，如图1所示为本实施例提供的多目视觉采集系统的摄像机布置示意图，其中摄像机1和2为两个双目摄像机，而摄像机3则为单目摄像机。
应当说明的是，机器人多目视觉涉及到多个摄像机图像数据的处理、分析与识别，数据量大，实时性要求高，需要建立合适的处理机制和融合模型，才能有效完成机器人的视觉任务，使用多个摄像机是一种处理复杂视觉任务的高效方法，但是在实际应用中，大量的图像数据由一台计算机进行处理，速率不高。从而在本实施例中，采用基于计算机网络的多视觉系统对多视觉任务的大量图像进行数据处理，每一个智能体也就是一台图像工作站连接一个摄像机进行独立的图像处理，即由MAS多智能体系统构成了一个围绕机器人的智能空间，并且支持对多视觉信息的并行处理。
本实施例为了进行目标识别和定位，采用三个智能体：智能体1(双目摄像机)、智能体2(双目摄像机)、智能体3(单目摄像机)，三者分别进行主视、侧视和俯视方向的图像处理。控制主机是MAS的控制中心，主要负责智能体间的通信与协作。整个多智能体结构形成了一个由视觉传感器、图片处理器和控制主机组成的多视觉结构。
如图1所示为本实施例提供的空间定位方法的基本流程示意图，本实施例提出的空间定位方法包括以下的步骤：
步骤201、将主视图像、侧视图像以及俯视图像输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息。
具体的，本实施例考虑到多目视觉采集系统产生的主视图像、侧视图像以及俯视图像的融合，要分别构建三个BP神经网络，每个网络都包含输入层、隐含层和输出层，通过对它们的输出进行融合产生最终的结论，相对于单一方向的神经网络模型，有更高的目标识别精度和效率。
当工业机器人运动过程中，主视、侧视以及俯视三个方向的摄像机同时捕捉到含有目标物体的图像，经目标提取、倾斜校正、目标归一化之后，存放在BP神经网络的输入样本矩阵中，经BP神经网络训练之后，就可以选择测试样本进行识别。每个方向的智能体经神经网络训练之后，就可以进行目标识别。给训练好的神经网络输入一个测试样本矩阵，就可以得到一个输出矩阵。然后结合三个方向的输出矩阵来得到一条最终决策，以对空间内的目标物体进行最终的类别判定，并提取出目标物体的特征点。
此外，应当说明的是，本实施例在控制摄像机采集到主视图像、侧视图像以及俯视图像之后，可以对图像进行灰度化处理，然后进行滤波，再进行Canny边缘检测，对提取的边缘进行膨胀，查找轮廓，最后对轮廓进行填充即可得到几乎完整的目标图像。
在本实施例的一种可选的实施方式中，获取目标物体的类别信息的步骤具体包括：采用D-S证据理论对三通道目标识别神经网络对应于三个方向的输出矩阵进行融合，得到目标物体的类别信息。
具体的，D-S(Dempster-Shafer)证据理论能很好的表示信息未知的程度，是一种不确定推理的方法，可以根据不同来源的信息或者数据，得出有力度的归一化的结果，实现信息融合的目的，由此，本实施例可以使用D-S合成规则来对三个输出矩阵进行融合，得到最终的一条新决策。
步骤202、基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息，以及，基于俯视图像对应的特征点信息，求解目标物体的形心位置信息。
具体的，立体视觉可以获取三维空间信息且定位精度较高，但其视野范围较为受限，容易出现遮挡、拍摄不完整的情况，由此，本实施例先通过双目视觉来对物体进行初定位。
在本实施例的一种可选的实施方式中，基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息的步骤具体包括：基于主视图像、侧视图像对应的特征点信息，按照SURF算法求解各个匹配特征点的横纵像素坐标均值；基于第一双目摄像机以及第二双目摄像机与世界坐标系之间的坐标关系、横纵像素坐标均值，求解目标物体在世界坐标系中的初定位信息。
具体的，本实施例根据上述使用基于D-S证据理论的多目视觉融合方法得到从目标模板图片到待识别图片的匹配特征点集，使用SURF算法求取各个匹配特征点横纵像素坐标的均值，以一个点的形式初步定位出目标物体在两个双目摄像机所拍摄图像中所处的位置，进而计算出目标物体在两个双目摄像机中的像素坐标，由这两组像素坐标，以及标定得出的两个双目摄像机之间和摄像机与世界坐标系之间的位置关系，就可以求出目标物体在世界坐标系中的初定位三维坐标。
步骤203、结合初定位信息以及形心位置信息，获取目标物体在目标空间的精确定位信息。
具体的，单目视觉只能获取二维空间信息，而立体视觉则可以获取三维空间信息，在许多工业生产场景下单纯利用单目视觉技术不能满足生产需求，本实施例在确定了目标物体的大致位置后，利用移动的俯视单目摄像机获取目标的形心位置，可以得到目标的精确位置。由于本实施例的多目视觉融合系统能精确定位出目标的三维空间位置，从而能够使工业机器人完美实现抓取、分拣等复杂工作。
如图3所示为本实施例提供的一种摄像机视场标定方法的流程示意图，在本实施例的一种可选的实施方式中，在将主视图像、侧视图像以及俯视图像输入至训练完成的三通道目标识别神经网络之前，还包括如下步骤：
步骤301、控制每个双目摄像机对标准棋盘格进行图像拍摄；
步骤302、分别检测每张图像中棋盘格的角点；
步骤303、基于角点坐标位置求解每张图像的单应矩阵；
步骤304、基于单应矩阵分别对相应双目摄像机进行视场标定。
本实施例将摄像机的标定过程分两步完成：首先假定摄像机模型为线性模型对其进行标定得到初始标定结果，在此基础上进行非线性标定，得到最优解。具体的，用A4纸打印一张棋盘格图纸，并将其平整贴在一个平面上，移动棋盘格模板，改变其相对于摄像机的距离或角度，并拍摄多张图片；检测每张图片中棋盘格的角点,其中，角点为棋盘格上每相邻的两个格子所重合的顶点；求出每张图片的单应性矩阵H；假定不存在畸变的前提下，求出摄像机的内外参数；求得摄像机的内外参数后，通过求解畸变方程得出畸变系数；对需要双目立体标定的两个摄像机，利用各自单目标定得到的相对于世界坐标系的旋转矩阵和平移向量，求出两个相机之间的旋转矩阵和平移向量。
根据本发明实施例提供的空间定位方法，将分别由第一双目摄像机、第二双目摄像机以及单目摄像机拍摄的主视图像、侧视图像以及俯视图像，输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息，以及，基于俯视图像对应的特征点信息，求解目标物体的形心位置信息；结合初定位信息以及形心位置信息，获取目标物体在目标空间的精确定位信息。通过本发明的实施，结合一个单目摄像机和两个双目摄像机在多个空间方向进行协同工作，在双目摄像机进行初定位的基础上，再结合单目摄像机进行精定位，在保证定位精度的情况下能够扩大视野范围，并能有效获取目标物体的三维空间信息。
第二实施例：
为了解决相关技术中在进行空间定位时，定位性能较为局限的技术问题，本实施例示出了一种空间定位装置，应用于包括第一双目摄像机、第二双目摄像机以及单目摄像机的多目视觉采集系统，第一双目摄像机用于采集目标空间的主视图像，第二双目摄像机用于采集目标空间的侧视图像，单目摄像机用于采集目标空间的俯视图像，具体请参见图4，本实施例的空间定位装置包括：
第一获取模块401，用于将主视图像、侧视图像以及俯视图像输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；
求解模块402，用于基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息，以及，基于俯视图像对应的特征点信息，求解目标物体的形心位置信息；
第二获取模块403，用于结合初定位信息以及形心位置信息，获取目标物体在目标空间的精确定位信息。
在本实施例的一些实施方式中，空间定位装置还包括：标定模块，用于在在将主视图像、侧视图像以及俯视图像输入至训练完成的三通道目标识别神经网络之前，控制每个双目摄像机对标准棋盘格进行图像拍摄；分别检测每张图像中棋盘格的角点，其中，角点为棋盘格上每相邻的两个格子所重合的顶点；基于角点坐标位置求解每张图像的单应矩阵；基于单应矩阵分别对相应双目摄像机进行视场标定。
在本实施例的一些实施方式中，第一获取模块401在执行获取目标物体的类别信息时，具体用于：采用D-S证据理论对三通道目标识别神经网络对应于三个方向的输出矩阵进行融合，得到目标物体的类别信息。
在本实施例的一些实施方式中，求解模块402在执行基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息时，具体用于：基于主视图像、侧视图像对应的特征点信息，按照SURF算法求解各个匹配特征点的横纵像素坐标均值；基于第一双目摄像机以及第二双目摄像机与世界坐标系之间的坐标关系、横纵像素坐标均值，求解目标物体在世界坐标系中的初定位信息。
应当说明的是，前述实施例中的空间定位方法均可基于本实施例提供的空间定位装置实现，所属领域的普通技术人员可以清楚的了解到，为描述的方便和简洁，本实施例中所描述的空间定位装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
采用本实施例提供的空间定位装置，将分别由第一双目摄像机、第二双目摄像机以及单目摄像机拍摄的主视图像、侧视图像以及俯视图像，输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；基于主视图像、侧视图像对应的特征点信息，求解目标物体在世界坐标系中的初定位信息，以及，基于俯视图像对应的特征点信息，求解目标物体的形心位置信息；结合初定位信息以及形心位置信息，获取目标物体在目标空间的精确定位信息。通过本发明的实施，结合一个单目摄像机和两个双目摄像机在多个空间方向进行协同工作，在双目摄像机进行初定位的基础上，再结合单目摄像机进行精定位，在保证定位精度的情况下能够扩大视野范围，并能有效获取目标物体的三维空间信息。
第三实施例：
本实施例提供了一种电子装置，参见图5所示，其包括处理器501、存储器502及通信总线503，其中：通信总线503用于实现处理器501和存储器502之间的连接通信；处理器501用于执行存储器502中存储的一个或者多个计算机程序，以实现上述实施例一中的空间定位方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器),ROM(Read-Only Memory，只读存储器),EEPROM(Electrically Erasable Programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的方法的至少一个步骤。
本实施例还提供了一种计算机程序，该计算机程序可以分布在计算机可读介质上，由可计算装置来执行，以实现上述实施例一中的方法的至少一个步骤；并且在某些情况下，可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品，包括计算机可读装置，该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种空间定位方法，应用于包括第一双目摄像机、第二双目摄像机以及单目摄像机的多目视觉采集系统，所述第一双目摄像机用于采集目标空间的主视图像，所述第二双目摄像机用于采集所述目标空间的侧视图像，所述单目摄像机用于采集所述目标空间的俯视图像，其特征在于，包括：
将所述主视图像、所述侧视图像以及所述俯视图像输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；
基于所述主视图像、所述侧视图像对应的特征点信息，求解所述目标物体在世界坐标系中的初定位信息，以及，基于所述俯视图像对应的特征点信息，求解所述目标物体的形心位置信息；
结合所述初定位信息以及所述形心位置信息，获取所述目标物体在所述目标空间的精确定位信息。
2.如权利要求1所述的空间定位方法，其特征在于，所述将所述主视图像、所述侧视图像以及所述俯视图像输入至训练完成的三通道目标识别神经网络之前，还包括：
控制每个双目摄像机对标准棋盘格进行图像拍摄；
分别检测每张图像中棋盘格的角点；其中，所述角点为棋盘格上每相邻的两个格子所重合的顶点；
基于角点坐标位置求解所述每张图像的单应矩阵；
基于所述单应矩阵分别对相应双目摄像机进行视场标定。
3.如权利要求1所述的空间定位方法，其特征在于，所述获取目标物体的类别信息，包括：
采用D-S证据理论对所述三通道目标识别神经网络对应于三个方向的输出矩阵进行融合，得到目标物体的类别信息。
4.如权利要求1至3中任意一项所述的空间定位方法，其特征在于，所述基于所述主视图像、所述侧视图像对应的特征点信息，求解所述目标物体在世界坐标系中的初定位信息，包括：
基于所述主视图像、所述侧视图像对应的特征点信息，按照SURF算法求解各个匹配特征点的横纵像素坐标均值；
基于所述第一双目摄像机以及所述第二双目摄像机与世界坐标系之间的坐标关系、所述横纵像素坐标均值，求解所述目标物体在世界坐标系中的初定位信息。
5.一种空间定位装置，应用于包括第一双目摄像机、第二双目摄像机以及单目摄像机的多目视觉采集系统，所述第一双目摄像机用于采集目标空间的主视图像，所述第二双目摄像机用于采集所述目标空间的侧视图像，所述单目摄像机用于采集所述目标空间的俯视图像，其特征在于，包括：
第一获取模块，用于将所述主视图像、所述侧视图像以及所述俯视图像输入至训练完成的三通道目标识别神经网络，获取目标物体的类别信息以及特征点信息；
求解模块，用于基于所述主视图像、所述侧视图像对应的特征点信息，求解所述目标物体在世界坐标系中的初定位信息，以及，基于所述俯视图像对应的特征点信息，求解所述目标物体的形心位置信息；
第二获取模块，用于结合所述初定位信息以及所述形心位置信息，获取所述目标物体在所述目标空间的精确定位信息。
6.如权利要求5所述的空间定位装置，其特征在于，还包括：标定模块；
所述标定模块，用于在将所述主视图像、所述侧视图像以及所述俯视图像输入至训练完成的三通道目标识别神经网络之前，控制每个双目摄像机对标准棋盘格进行图像拍摄；分别检测每张图像中棋盘格的角点；其中，所述角点为棋盘格上每相邻的两个格子所重合的顶点；基于角点坐标位置求解所述每张图像的单应矩阵；基于所述单应矩阵分别对相应双目摄像机进行视场标定。
7.如权利要求5所述的空间定位装置，其特征在于，所述第一获取模块在执行获取目标物体的类别信息时，具体用于：采用D-S证据理论对所述三通道目标识别神经网络对应于三个方向的输出矩阵进行融合，得到目标物体的类别信息。
8.如权利要求5至7中任意一项所述的空间定位装置，其特征在于，所述求解模块在执行基于所述主视图像、所述侧视图像对应的特征点信息，求解所述目标物体在世界坐标系中的初定位信息时，具体用于：基于所述主视图像、所述侧视图像对应的特征点信息，按照SURF算法求解各个匹配特征点的横纵像素坐标均值；基于所述第一双目摄像机以及所述第二双目摄像机与世界坐标系之间的坐标关系、所述横纵像素坐标均值，求解所述目标物体在世界坐标系中的初定位信息。
9.一种电子装置，其特征在于，包括：处理器、存储器和通信总线；
所述通信总线用于实现所述处理器和存储器之间的连接通信；
所述处理器用于执行所述存储器中存储的一个或者多个程序，以实现如权利要求1至4中任意一项所述的空间定位方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至4中任意一项所述的空间定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161015.8A CN112348890B (zh) | 2020-10-27 | 2020-10-27 | 一种空间定位方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011161015.8A CN112348890B (zh) | 2020-10-27 | 2020-10-27 | 一种空间定位方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348890A true CN112348890A (zh) | 2021-02-09 |
| CN112348890B CN112348890B (zh) | 2024-01-23 |
Family
ID=74358527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011161015.8A Active CN112348890B (zh) | 2020-10-27 | 2020-10-27 | 一种空间定位方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348890B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113103228A (zh) * | 2021-03-29 | 2021-07-13 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113688847A (zh) * | 2021-08-25 | 2021-11-23 | 徐州徐工矿业机械有限公司 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
| CN113936064A (zh) * | 2021-12-17 | 2022-01-14 | 荣耀终端有限公司 | 定位方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299270A (zh) * | 2008-05-27 | 2008-11-05 | 东南大学 | 三维扫描系统中的多个摄像机同步快速标定方法 |
| CN107507245A (zh) * | 2017-08-18 | 2017-12-22 | 南京阿尔特交通科技有限公司 | 一种车辆跟驰轨迹的动态采集方法及系统 |
| CN109272553A (zh) * | 2018-09-03 | 2019-01-25 | 刘庆飞 | 用于棉花顶心摘除的定位方法、控制器及摘除装置 |
| CN109389649A (zh) * | 2018-09-27 | 2019-02-26 | 北京伟景智能科技有限公司 | 双目相机的快速标定方法和装置 |
| US20190158813A1 (en) * | 2016-06-10 | 2019-05-23 | Lucid VR, Inc. | Real Time Re-Calibration of Stereo Cameras |
| CN110060295A (zh) * | 2019-04-24 | 2019-07-26 | 达闼科技（北京）有限公司 | 目标定位方法及装置、控制装置、跟随设备及存储介质 |
| CN110276774A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 物体的绘图方法、装置、终端和计算机可读存储介质 |
| US20200051328A1 (en) * | 2018-08-13 | 2020-02-13 | Magic Leap, Inc. | Cross reality system |
| CN111563878A (zh) * | 2020-03-27 | 2020-08-21 | 中国科学院西安光学精密机械研究所 | 一种空间目标定位方法 |
-
2020
- 2020-10-27 CN CN202011161015.8A patent/CN112348890B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101299270A (zh) * | 2008-05-27 | 2008-11-05 | 东南大学 | 三维扫描系统中的多个摄像机同步快速标定方法 |
| US20190158813A1 (en) * | 2016-06-10 | 2019-05-23 | Lucid VR, Inc. | Real Time Re-Calibration of Stereo Cameras |
| CN107507245A (zh) * | 2017-08-18 | 2017-12-22 | 南京阿尔特交通科技有限公司 | 一种车辆跟驰轨迹的动态采集方法及系统 |
| US20200051328A1 (en) * | 2018-08-13 | 2020-02-13 | Magic Leap, Inc. | Cross reality system |
| CN109272553A (zh) * | 2018-09-03 | 2019-01-25 | 刘庆飞 | 用于棉花顶心摘除的定位方法、控制器及摘除装置 |
| CN109389649A (zh) * | 2018-09-27 | 2019-02-26 | 北京伟景智能科技有限公司 | 双目相机的快速标定方法和装置 |
| CN110060295A (zh) * | 2019-04-24 | 2019-07-26 | 达闼科技（北京）有限公司 | 目标定位方法及装置、控制装置、跟随设备及存储介质 |
| CN110276774A (zh) * | 2019-06-26 | 2019-09-24 | Oppo广东移动通信有限公司 | 物体的绘图方法、装置、终端和计算机可读存储介质 |
| CN111563878A (zh) * | 2020-03-27 | 2020-08-21 | 中国科学院西安光学精密机械研究所 | 一种空间目标定位方法 |
Non-Patent Citations (4)
| Title |
|---|
| TING LEI等: "A review of vision-aided robotic welding", COMPUTERS IN INDUSTRY, vol. 123, pages 1 - 30 * |
| YUNWU LI等: "3D autonomous navigation line extraction for field roads based on binocular vision", JOURNAL OF SENSORS, vol. 2019, pages 1 - 16 * |
| 李静轩等: "多目视觉下的工业机器人应用研究", 计算机产品与流通, vol. 02, pages 124 * |
| 高宇成: "基于机器视觉的工件定位识别分拣系统设计与实现", 中国优秀硕士学位论文全文数据库 信息科技辑, pages 138 - 62 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113103228A (zh) * | 2021-03-29 | 2021-07-13 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113103228B (zh) * | 2021-03-29 | 2023-08-15 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113688847A (zh) * | 2021-08-25 | 2021-11-23 | 徐州徐工矿业机械有限公司 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
| WO2023025262A1 (zh) * | 2021-08-25 | 2023-03-02 | 徐州徐工矿业机械有限公司 | 一种挖掘机运行模式切换的控制方法、装置和挖掘机 |
| CN113936064A (zh) * | 2021-12-17 | 2022-01-14 | 荣耀终端有限公司 | 定位方法和装置 |
| CN113936064B (zh) * | 2021-12-17 | 2022-05-20 | 荣耀终端有限公司 | 定位方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348890B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN111783820B (zh) | 图像标注方法和装置 | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| CN111612794B (zh) | 基于多2d视觉的零部件高精度三维位姿估计方法及系统 | |
| CN112348890A (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| US20110293142A1 (en) | Method for recognizing objects in a set of images recorded by one or more cameras | |
| CN106529495A (zh) | 一种飞行器的障碍物检测方法和装置 | |
| KR102206108B1 (ko) | 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법 | |
| CN106600627A (zh) | 一种基于标志点的刚体运动捕捉方法及系统 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| CN114119864A (zh) | 一种基于三维重建与点云匹配的定位方法和装置 | |
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN107507277A (zh) | 三维点云重构方法和装置、服务器及可读存储介质 | |
| CN114862973B (zh) | 基于固定点位的空间定位方法、装置、设备及存储介质 | |
| CN112907675A (zh) | 图像采集设备的标定方法、装置、系统、设备及存储介质 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN112330747B (zh) | 基于无人机平台的多传感器联合探测和显示方法 | |
| CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN111127556B (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| CN111080685A (zh) | 一种基于多视角立体视觉的飞机钣金零件三维重建方法及系统 | |
| CN112802114B (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |