CN111832542B - 三目视觉识别与定位装置 - Google Patents
三目视觉识别与定位装置 Download PDFInfo
- Publication number
- CN111832542B CN111832542B CN202010821493.0A CN202010821493A CN111832542B CN 111832542 B CN111832542 B CN 111832542B CN 202010821493 A CN202010821493 A CN 202010821493A CN 111832542 B CN111832542 B CN 111832542B
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- target recognition
- images
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 101100243951 Caenorhabditis elegans pie-1 gene Proteins 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000003491 array Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
本发明公开了一种三目视觉识别与定位装置，涉及图像处理方法技术领域。所述方法包括如下步骤：通过拍摄目标的照片，训练得到预训练的人工神经网络目标识别模型；在目标运动轨迹所在的平面中任意选取一个基准点，并预设第一摄像头、第二摄像头以及第三摄像头的三维坐标；第一至第三摄像头同时对目标进行抓拍，并分别生成图像Pic1，Pic2和Pic3；目标识别及定位运算服务器生成一组随机数，并找到与其对应的图像，使用预训练的人工神经网络目标识别模型对图片做目标识别得到识别出的目标的区域信息；根据识别出的目标的区域信息执行定位算法，最终计算得到目标的中心点的三维坐标。所述方法具有定位精度高等优点。
Description
技术领域
本发明涉及图像处理方法技术领域，尤其涉及一种三目视觉识别与定位方法及装置。
背景技术
随着自动化技术系统的发展，导致物体运动轨迹的定位识别抓取技术的应用越来越广泛。目前各种视觉定位方法都存在或多或少缺陷，没有做到多源信息融合检测和信息交互算法，所以最终造成定位不精确或者无法定位。
发明内容
本发明所要解决的技术问题是如何提供一种定位精度高的三目视觉识别与定位方法。
为解决上述技术问题，本发明所采取的技术方案是：一种三目视觉识别与定位方法，其特征在于包括如下步骤：
通过拍摄目标的各个角度、各个局部、各种大小、各种光照条件下的照片，训练得到预训练的人工神经网络目标识别模型；
在目标运动轨迹所在的平面中任意选取一个基准点，并预设第一摄像头、第二摄像头以及第三摄像头的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)；
第一摄像头、第二摄像头以及第三摄像头同时对目标进行抓拍，并分别生成图像Pic1，Pic2和Pic3，将图像传输到目标识别及定位运算服务器；
目标识别及定位运算服务器生成一组随机数，将数组[1，2，3]随机排序，得到数组[i1，i2，i3]；
分别判断i1，i2，i3的具体值，并找到与其对应的图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别得到识别出的目标的区域信息；
根据识别出的目标的区域信息执行定位算法，最终计算得到目标的中心点的三维坐标(xt，yt，zt)。
进一步的技术方案在于，所述的得到识别出的目标的区域信息的方法如下：
判断i1＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i1，1)，p(i1，2)，p(i1，3)，p(i1，4)]，其中i1为1、2或3；
判断i2＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i2，1)，p(i2，2)，p(i2，3)，p(i2，4)]，其中i2为1、2或3；
判断i3＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i3，1)，p(i3，2)，p(i3，3)，p(i3，4)]，其中i3为1、2或3。
进一步的技术方案在于，根据识别出的目标的区域信息执行定位算法的方法如下：
第一摄像头的水平像素点范围为[0，W1]，以中心点计算的水平视角度数范围为[-A1，A1]度，垂直像素点范围为[0，H1]，以中心点计算的垂直视角度数范围为[-B1，B1]度；
对于第一摄像头所采集图像Pic1经过目标检测得到目标的顺时针排列的四个顶点的像素点[p(1，1)，p(1，2)，p(1，3)，p(1，4)]，其中，p(1，1)的像素点包含水平像素点位置和垂直像素点位置，可表达为[w(1，1)，h(1，1)]，依次类推，可计算目标的中心点c1的像素点位置为[(w(1，1)+w(1，3))/2，(h(1，1)+h(1，3))/2]；
计算目标中心点c1相对于第一摄像头垂直中轴线的水平偏移角度α1＝A1×(w(1，1)+w(1，3)-W1)/W1；
计算目标中心点c1相对于第一摄像头垂直中轴线的垂直偏移角度β1＝B1×(h(1，1)+h(1，3)-H1)/H1；
计算目标中心点c1相对于第一摄像头垂直中轴线的综合偏移角度
同理，第二摄像头的水平像素点范围为[0，W2]，以中心点计算的水平视角度数范围为[-A2，A2]度，垂直像素点范围为[0，H2]，以中心点计算的垂直视角度数范围为[-B2，B2]度；
对于第二摄像头所采集图像Pic2经过目标检测得到目标的顺时针排列的四个顶点的像素点[p(2，1)，p(2，2)，p(2，3)，p(2，4)]，其中，p(2，1)的像素点包含水平像素点位置和垂直像素点位置，可表达为[w(2，1)，h(2，1)]，依次类推，可计算目标的中心点c2的像素点位置为[(w(2，1)+w(2，3))/2，(h(2，1)+h(2，3))/2]；
计算目标中心点c2相对于第二摄像头垂直中轴线的水平偏移角度α2＝A2×(w(2，1)+w(2，3)-W2)/W2；
计算目标中心点c2相对于第二摄像头垂直中轴线的垂直偏移角度β2＝B2×(h(2，1)+h(2，3)-H2)/H2；
计算目标中心点c2相对于第二摄像头垂直中轴线的综合偏移角度
同理，摄像头3的水平像素点范围为[0，W3]，以中心点计算的水平视角度数范围为[-A3，A3]度，垂直像素点范围为[0，H3]，以中心点计算的垂直视角度数范围为[-B3，B3]度；
对于摄像头3所采集图像Pic3经过目标检测得到目标的顺时针排列的四个顶点的像素点[p(3，1)，p(3，2)，p(3，3)，p(3，4)]，其中，p(3，1)的像素点包含水平像素点位置和垂直像素点位置，可表达为[w(3，1)，h(3，1)]，依次类推，可计算目标的中心点c3的像素点位置为[(w(3，1)+w(3，3))/2，(h(3，1)+h(3，3))/2]；
计算目标中心点c3相对于摄像头3垂直中轴线的水平偏移角度α3＝A3×(w(3，1)+w(3，3)-W3)/W3；
计算目标中心点c3相对于摄像头3垂直中轴线的垂直偏移角度β3＝B3×(h(3，1)+h(3，3)-H3)/H3；
计算目标中心点c3相对于摄像头3垂直中轴线的综合偏移角度
由预设的第一摄像头、第二摄像头以及第三摄像头的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，与待测的目标中心点的三维坐标(xt，yt，zt)之间的关系，可计算得到联立方程组：
将(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，θ1，θ2，θ3的值代入到如上方程组中，即可计算得到：(xt，yt，zt)的值。
本发明还公开了一种三目视觉识别与定位装置，其特征在于包括：
图像采集模块：包括第一摄像头、第二摄像头以及第三摄像头，所述第一摄像头、第二摄像头以及第三摄像头用于同时对目标进行抓拍，并分别生成图像Pic1，Pic2和Pic3，将图像传输到目标识别及定位运算服务器；
目标识别及定位运算服务器：所述目标识别及定位运算服务器用于对图像采集模块采集的图像进行处理，计算出目标的中心点的三维坐标。
进一步的技术方案在于，所述目标识别及定位运算服务器包括：
人工神经网络目标识别模块：用于通过拍摄目标的各个角度、各个局部、各种大小、各种光照条件下的照片，训练得到预训练的人工神经网络目标识别模型；
摄像头坐标获取模块：在目标运动轨迹所在的平面中任意选取一个基准点，并预设第一摄像头、第二摄像头以及第三摄像头的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)；
随机数组生成模块：用于生成一组随机数，将数组[1，2，3]随机排序，得到数组[i1，i2，i3]；
目标区域信息识别模块：分别判断i1，i2，i3的具体值，并找到与其对应的图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别得到识别出的目标的区域信息；
目标中心点计算模块：用于根据识别出的目标的区域信息执行定位算法，最终计算得到目标的中心点的三维坐标(xt，yt，zt)。
进一步的技术方案在于，所述目标区域信息识别模块包括：
第一顶点像素计算模块：判断i1＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i1，1)，p(i1，2)，p(i1，3)，p(i1，4)]，其中i1为1、2或3；
第二顶点像素计算模块：判断i2＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i2，1)，p(i2，2)，p(i2，3)，p(i2，4)]，其中i2为1、2或3；
第三顶点像素计算模块：判断i3＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i3，1)，p(i3，2)，p(i3，3)，p(i3，4)]，其中i3为1、2或3。
进一步的技术方案在于：所述装置还包括定位算法模块，用于根据识别出的目标的区域信息执行定位算法。
进一步的技术方案在于：所述第一摄像头、第二摄像头以及第三摄像头的硬件参数一致，所述第一摄像头、第二摄像头以及第三摄像头所组成的平面平行于目标运动轨迹所在的平面；所述第一摄像头、第二摄像头以及第三摄像头的图像拍摄角度一致，均垂直于目标运动轨迹所在的平面。
进一步的技术方案在于：所述第一摄像头、第二摄像头以及第三摄像头同时抓拍图像，并将图像传输到目标识别及定位运算服务器。
进一步的技术方案在于：所述摄像头与所述服务器之间通过有线或无线通信方式连接，进行数据交互。
采用上述技术方案所产生的有益效果在于：本申请所述方法和装置采用三个图像进行融合运算，从而消除了噪声和干扰，实现比以往方案更高的定位精度；每次循环中，随机排序的对三个摄像头采集图像的处理，降低了系统误差，提高了定位的精确度；通过定位算法，解决了摄像头所采集图像中的目标不全的问题，从而获得了更佳的定位精确度；通过三个像素头的同时图像采集，得到了信息冗余，利用冗余信息提升目标识别的准确度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例所述装置的原理框图；
图2是本发明实施例所述装置中目标识别及定位运算服务器的原理框图；
其中：1、目标运动轨迹；2、第一摄像头；3、第二摄像头；4、第三摄像头；5、目标。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本发明实施例公开了一种三目视觉识别与定位方法，包括如下步骤：
步骤1)：通过拍摄目标的各个角度、各个局部、各种大小、各种光照条件下的照片，训练得到预训练的人工神经网络目标识别模型；
步骤2)：在目标运动轨迹1所在的平面中任意选取一个基准点，并预设第一第二摄像头、第二摄像头3以及第三摄像头4的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)；
步骤3)：第一第二摄像头、第二摄像头3以及第三摄像头4同时对目标5进行抓拍，并分别生成图像Pic1，Pic2和Pic3，将图像传输到目标识别及定位运算服务器；
步骤4)：目标识别及定位运算服务器生成一组随机数，将数组[1，2，3]随机排序，得到数组[i1，i2，i3]；
步骤5)分别判断i1，i2，i3的具体值，并找到与其对应的图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别得到识别出的目标的区域信息；
步骤6)：根据识别出的目标的区域信息执行定位算法，最终计算得到目标的中心点的三维坐标(xt，yt，zt)；
步骤7)：循环，重复步骤3)-步骤6)的内容。(目标是可以运动的，因此做循环来一直检测并定位目标物体。)
进一步的，所述步骤5)进一步的包括如下步骤：
步骤5-1)：判断i1＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i1，1)，p(i1，2)，p(i1，3)，p(i1，4)]，其中i1为1、2或3；
步骤5-2)：判断i2＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i2，1)，p(i2，2)，p(i2，3)，p(i2，4)]，其中i2为1、2或3；
步骤5-3)：判断i3＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i3，1)，p(i3，2)，p(i3，3)，p(i3，4)]，其中i3为1、2或3。
进一步的，根据识别出的目标的区域信息执行定位算法的方法如下：
第一摄像头的水平像素点范围为[0，W1]，以中心点计算的水平视角度数范围为[-A1，A1]度，垂直像素点范围为[0，H1]，以中心点计算的垂直视角度数范围为[-B1，B1]度；
对于第一摄像头所采集图像Pic1经过目标检测得到目标的顺时针排列的四个顶点的像素点[p(1，1)，p(1，2)，p(1，3)，p(1，4)]，其中，p(1，1)的像素点包含水平像素点位置和垂直像素点位置，可表达为[w(1，1)，h(1，1)]，依次类推，可计算目标的中心点c1的像素点位置为[(w(1，1)+w(1，3))/2，(h(1，1)+h(1，3))/2]；
计算目标中心点c1相对于第一摄像头垂直中轴线的水平偏移角度α1＝A1×(w(1，1)+w(1，3)-W1)/W1；
计算目标中心点c1相对于第一摄像头垂直中轴线的垂直偏移角度β1＝B1×(h(1，1)+h(1，3)-H1)/H1；
计算目标中心点c1相对于第一摄像头垂直中轴线的综合偏移角度
同理，第二摄像头的水平像素点范围为[0，W2]，以中心点计算的水平视角度数范围为[-A2，A2]度，垂直像素点范围为[0，H2]，以中心点计算的垂直视角度数范围为[-B2，B2]度；
对于第二摄像头所采集图像Pic2经过目标检测得到目标的顺时针排列的四个顶点的像素点[p(2，1)，p(2，2)，p(2，3)，p(2，4)]，其中，p(2，1)的像素点包含水平像素点位置和垂直像素点位置，可表达为[w(2，1)，h(2，1)]，依次类推，可计算目标的中心点c2的像素点位置为[(w(2，1)+w(2，3))/2，(h(2，1)+h(2，3))/2]；
计算目标中心点c2相对于第二摄像头垂直中轴线的水平偏移角度α2＝A2×(w(2，1)+w(2，3)-W2)/W2；
计算目标中心点c2相对于第二摄像头垂直中轴线的垂直偏移角度β2＝B2×(h(2，1)+h(2，3)-H2)/H2；
计算目标中心点c2相对于第二摄像头垂直中轴线的综合偏移角度
同理，摄像头3的水平像素点范围为[0，W3]，以中心点计算的水平视角度数范围为[-A3，A3]度，垂直像素点范围为[0，H3]，以中心点计算的垂直视角度数范围为[-B3，B3]度；
对于摄像头3所采集图像Pic3经过目标检测得到目标的顺时针排列的四个顶点的像素点[p(3，1)，p(3，2)，p(3，3)，p(3，4)]，其中，p(3，1)的像素点包含水平像素点位置和垂直像素点位置，可表达为[w(3，1)，h(3，1)]，依次类推，可计算目标的中心点c3的像素点位置为[(w(3，1)+w(3，3))/2，(h(3，1)+h(3，3))/2]；
计算目标中心点c3相对于摄像头3垂直中轴线的水平偏移角度α3＝A3×(w(3，1)+w(3，3)-W3)/W3；
计算目标中心点c3相对于摄像头3垂直中轴线的垂直偏移角度β3＝B3×(h(3，1)+h(3，3)-H3)/H3；
计算目标中心点c3相对于摄像头3垂直中轴线的综合偏移角度
由预设的第一摄像头、第二摄像头以及第三摄像头的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，与待测的目标中心点的三维坐标(xt，yt，zt)之间的关系，可计算得到联立方程组：
将(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，θ1，θ2，θ3的值代入到如上方程组中，即可计算得到：(xt，yt，zt)的值。
如图1所示，本发明实施例还公开了一种三目视觉识别与定位装置，包括：
图像采集模块：包括第一第二摄像头、第二摄像头3以及第三摄像头4，所述第一第二摄像头、第二摄像头3以及第三摄像头4用于同时对目标5进行抓拍，并分别生成图像Pic1，Pic2和Pic3，将图像传输到目标识别及定位运算服务器；
目标识别及定位运算服务器：所述目标识别及定位运算服务器用于对图像采集模块采集的图像进行处理，计算出目标的中心点的三维坐标。
进一步的，如图2所示，所述目标识别及定位运算服务器包括：
人工神经网络目标识别模块：用于通过拍摄目标的各个角度、各个局部、各种大小、各种光照条件下的照片，训练得到预训练的人工神经网络目标识别模型；
摄像头坐标获取模块：在目标运动轨迹所在的平面中任意选取一个基准点，并预设第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)；
随机数组生成模块：用于生成一组随机数，将数组[1，2，3]随机排序，得到数组[i1，i2，i3]；
目标区域信息识别模块：分别判断i1，i2，i3的具体值，并找到与其对应的图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别得到识别出的目标的区域信息；
目标中心点计算模块：用于根据识别出的目标的区域信息执行定位算法，最终计算得到目标的中心点的三维坐标(xt，yt，zt)。
进一步的，如图2所示，所述目标区域信息识别模块包括：
第一顶点像素计算模块：判断i1＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i1，1)，p(i1，2)，p(i1，3)，p(i1，4)]，其中i1为1、2或3；
第二顶点像素计算模块：判断i2＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i2，1)，p(i2，2)，p(i2，3)，p(i2，4)]，其中i2为1、2或3；
第三顶点像素计算模块：判断i3＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i3，1)，p(i3，2)，p(i3，3)，p(i3，4)]，其中i3为1、2或3。
进一步的，所述装置还包括定位算法模块，用于根据识别出的目标的区域信息执行定位算法。
进一步的，所述第一第二摄像头、第二摄像头3以及第三摄像头4的硬件参数一致，所述第一第二摄像头、第二摄像头3以及第三摄像头4所组成的平面平行于目标运动轨迹1所在的平面；所述第一第二摄像头、第二摄像头3以及第三摄像头4的图像拍摄角度一致，均垂直于目标运动轨迹1所在的平面。所述第一第二摄像头、第二摄像头3以及第三摄像头4同时抓拍图像，并将图像传输到目标识别及定位运算服务器。所述摄像头与所述服务器之间可以通过有线或无线通信方式连接，进行数据交互。
所述方法适合于通用的有定位需求的所有场景，特别是没有卫星定位信号的场景。采用三个图像进行融合运算，从而消除了噪声和干扰，实现比以往方案更高的定位精度；每次循环中，随机排序的对三个摄像头采集图像的处理，降低了系统误差，提高了定位的精确度；通过定位算法，解决了摄像头所采集图像中的目标不全的问题，从而获得了更佳的定位精确度；通过三个像素头的同时图像采集，得到了信息冗余，利用冗余信息提升目标识别的准确度。
Claims (1)
1.一种三目视觉识别与定位装置，其特征在于包括：
图像采集模块：包括第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)，所述第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)用于同时对目标(5)进行抓拍，并分别生成图像Pic1，Pic2和Pic3，将图像传输到目标识别及定位运算服务器；
目标识别及定位运算服务器：所述目标识别及定位运算服务器用于对图像采集模块采集的图像进行处理，计算出目标的中心点的三维坐标；
所述目标识别及定位运算服务器包括：
人工神经网络目标识别模块：用于通过拍摄目标的各个角度、各个局部、各种大小、各种光照条件下的照片，训练得到预训练的人工神经网络目标识别模型；
摄像头坐标获取模块：在目标运动轨迹所在的平面中任意选取一个基准点，并预设第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)的三维坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)；
随机数组生成模块：用于生成一组随机数，将数组[1，2，3]随机排序，得到数组[i1，i2，i3]；
目标区域信息识别模块：分别判断i1，i2，i3的具体值，并找到与其对应的图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别得到识别出的目标的区域信息；
目标中心点计算模块：用于根据识别出的目标的区域信息执行定位算法，最终计算得到目标的中心点的三维坐标(xt，yt，zt)；
所述目标区域信息识别模块包括：
第一顶点像素计算模块：判断i1＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i1，1)，p(i1，2)，p(i1，3)，p(i1，4)]，其中i1为1、2或3；
第二顶点像素计算模块：判断i2＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i2，1)，p(i2，2)，p(i2，3)，p(i2，4)]，其中i2为1、2或3；
第三顶点像素计算模块：判断i3＝1、2或3，相应的取图像Pic1、Pic2或Pic3，使用预训练的人工神经网络目标识别模型对图片做目标识别，得到识别出的目标的区域信息，顺时针排列的四个顶点的像素点为[p(i3，1)，p(i3，2)，p(i3，3)，p(i3，4)]，其中i3为1、2或3；
所述装置还包括定位算法模块，用于根据识别出的目标的区域信息执行定位算法；
所述第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)的硬件参数一致，所述第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)所组成的平面平行于目标运动轨迹(1)所在的平面；所述第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)的图像拍摄角度一致，均垂直于目标运动轨迹(1)所在的平面；
所述第一摄像头(2)、第二摄像头(3)以及第三摄像头(4)同时抓拍图像，并将图像传输到目标识别及定位运算服务器；
所述摄像头与所述服务器之间通过有线或无线通信方式连接，进行数据交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010821493.0A CN111832542B (zh) | 2020-08-15 | 2020-08-15 | 三目视觉识别与定位装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010821493.0A CN111832542B (zh) | 2020-08-15 | 2020-08-15 | 三目视觉识别与定位装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111832542A CN111832542A (zh) | 2020-10-27 |
| CN111832542B true CN111832542B (zh) | 2024-04-16 |
Family
ID=72917946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010821493.0A Active CN111832542B (zh) | 2020-08-15 | 2020-08-15 | 三目视觉识别与定位装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832542B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113099847B (zh) * | 2021-05-25 | 2022-03-08 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| CN113467458A (zh) * | 2021-07-06 | 2021-10-01 | 鼎豪智能装备科技(重庆)有限公司 | 一种信息交互方法、系统、可读存储介质及设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807245A (zh) * | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
| CN106503615A (zh) * | 2016-09-20 | 2017-03-15 | 北京工业大学 | 基于多传感器的室内人体检测跟踪和身份识别系统 |
| CN106600652A (zh) * | 2016-12-30 | 2017-04-26 | 南京工业大学 | 一种基于人工神经网络的全景摄像头定位方法 |
| CN107730904A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统 |
| CN108399454A (zh) * | 2018-03-05 | 2018-08-14 | 山东领能电子科技有限公司 | 一种全新的分段卷积神经网络目标识别方法 |
| CN108805939A (zh) * | 2018-06-19 | 2018-11-13 | 河海大学常州校区 | 基于统计学特征的三目视觉系统的标定装置及方法 |
| CN109211198A (zh) * | 2018-08-15 | 2019-01-15 | 河海大学常州校区 | 一种基于三目视觉的智能目标检测和测量系统及方法 |
| CN110321877A (zh) * | 2019-06-04 | 2019-10-11 | 中北大学 | 一种三目后视镜和三目视觉安全驾驶方法和系统 |
| CN110543867A (zh) * | 2019-09-09 | 2019-12-06 | 北京航空航天大学 | 一种多摄像头条件下的人群密度估测系统及方法 |
| CN110909625A (zh) * | 2019-11-04 | 2020-03-24 | 向仲宇 | 一种计算机视觉基础网络训练识别构建方法及装置 |
| CN111192363A (zh) * | 2019-12-23 | 2020-05-22 | 杭州电力设备制造有限公司 | 一种基于云计算的用户配电房设计生成方法 |
| CN111325051A (zh) * | 2018-12-13 | 2020-06-23 | 普天信息技术有限公司 | 一种基于人脸图像roi选取的人脸识别方法及装置 |
| CN212256332U (zh) * | 2020-08-15 | 2020-12-29 | 武汉易思达科技有限公司 | 三目视觉识别与定位装置 |
-
2020
- 2020-08-15 CN CN202010821493.0A patent/CN111832542B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807245A (zh) * | 2010-03-02 | 2010-08-18 | 天津大学 | 基于人工神经网络的多源步态特征提取与身份识别方法 |
| CN106503615A (zh) * | 2016-09-20 | 2017-03-15 | 北京工业大学 | 基于多传感器的室内人体检测跟踪和身份识别系统 |
| CN106600652A (zh) * | 2016-12-30 | 2017-04-26 | 南京工业大学 | 一种基于人工神经网络的全景摄像头定位方法 |
| CN107730904A (zh) * | 2017-06-13 | 2018-02-23 | 银江股份有限公司 | 基于深度卷积神经网络的多任务车辆逆向行驶视觉检测系统 |
| CN108399454A (zh) * | 2018-03-05 | 2018-08-14 | 山东领能电子科技有限公司 | 一种全新的分段卷积神经网络目标识别方法 |
| CN108805939A (zh) * | 2018-06-19 | 2018-11-13 | 河海大学常州校区 | 基于统计学特征的三目视觉系统的标定装置及方法 |
| CN109211198A (zh) * | 2018-08-15 | 2019-01-15 | 河海大学常州校区 | 一种基于三目视觉的智能目标检测和测量系统及方法 |
| CN111325051A (zh) * | 2018-12-13 | 2020-06-23 | 普天信息技术有限公司 | 一种基于人脸图像roi选取的人脸识别方法及装置 |
| CN110321877A (zh) * | 2019-06-04 | 2019-10-11 | 中北大学 | 一种三目后视镜和三目视觉安全驾驶方法和系统 |
| CN110543867A (zh) * | 2019-09-09 | 2019-12-06 | 北京航空航天大学 | 一种多摄像头条件下的人群密度估测系统及方法 |
| CN110909625A (zh) * | 2019-11-04 | 2020-03-24 | 向仲宇 | 一种计算机视觉基础网络训练识别构建方法及装置 |
| CN111192363A (zh) * | 2019-12-23 | 2020-05-22 | 杭州电力设备制造有限公司 | 一种基于云计算的用户配电房设计生成方法 |
| CN212256332U (zh) * | 2020-08-15 | 2020-12-29 | 武汉易思达科技有限公司 | 三目视觉识别与定位装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111832542A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| US8848035B2 (en) | Device for generating three dimensional surface models of moving objects | |
| CN111832542B (zh) | 三目视觉识别与定位装置 | |
| CN105783913A (zh) | 一种融合车载多传感器的slam装置及其控制方法 | |
| US20170019659A1 (en) | 3D scanning control apparatus based on FPGA and control method and system thereof | |
| CN114529605A (zh) | 一种基于多视图融合的人体三维姿态估计方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN108789500A (zh) | 人机安全防护系统及安全防护方法 | |
| Schraml et al. | An event-driven stereo system for real-time 3-D 360 panoramic vision | |
| CN110378995B (zh) | 一种利用投射特征进行三维空间建模的方法 | |
| CN110991306B (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
| WO2023280082A1 (zh) | 一种手柄inside-out视觉6自由度定位方法及系统 | |
| CN212256332U (zh) | 三目视觉识别与定位装置 | |
| Tanahashi et al. | Development of a stereo omnidirectional imaging system (SOS) | |
| JP2532985B2 (ja) | ３次元画像評価装置 | |
| CN108377368A (zh) | 一种一主多从式智能视频监控装置及其控制方法 | |
| CN113421286B (zh) | 一种动作捕捉系统及方法 | |
| Adán et al. | 3D feature tracking using a dynamic structured light system | |
| CN112033286B (zh) | 一种基于双目视觉的结构六自由度运动测量系统的测量方法 | |
| CN115294207A (zh) | 智慧校园监控视频与三维gis模型的融合调度系统及方法 | |
| CN114548224A (zh) | 一种用于强交互人体运动的2d人体位姿生成方法及装置 | |
| CN208241780U (zh) | 一种一主多从式智能视频监控装置 | |
| TWI604261B (zh) | 一種多維視覺圖像的獲取方法及系統 | |
| CN111462171A (zh) | 一种标记点检测跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |