CN109407547A - 面向全景视觉感知的多摄像头在环仿真测试方法与系统 - Google Patents
面向全景视觉感知的多摄像头在环仿真测试方法与系统 Download PDFInfo
- Publication number
- CN109407547A CN109407547A CN201811138286.4A CN201811138286A CN109407547A CN 109407547 A CN109407547 A CN 109407547A CN 201811138286 A CN201811138286 A CN 201811138286A CN 109407547 A CN109407547 A CN 109407547A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- formula
- point
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 28
- 230000016776 visual perception Effects 0.000 title claims abstract description 13
- 238000004088 simulation Methods 0.000 title abstract 3
- 230000008447 perception Effects 0.000 claims abstract description 70
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000012360 testing method Methods 0.000 claims abstract description 45
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 39
- 230000004438 eyesight Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 27
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000002474 experimental method Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 15
- 230000004323 axial length Effects 0.000 claims description 12
- 239000002245 particle Substances 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 241001269238 Data Species 0.000 claims description 3
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种面向全景视觉感知的多摄像头在环仿真测试方法，通过工控机建立目标交通场景模型，摄像头采集全景图像数据上传到显示屏，传感器标定模块将摄像头进行位置参数标定，通过特征点检测和匹配并保留有效匹配对，完成图像拼接和融合，通过目标全景感知算法程序实时对汽车周围环境进行视觉感知，最后将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。本发明基于虚拟场景生成目标全景图像，系统包含完整的虚拟交通场景信息，自动进行图像真实信息和感知信息的校验，进而进行评价，大大降低了人力成本，同时考虑人为标注的误差，提升了感知信息结果评价的准确率。
Description
技术领域
本发明涉及数据采集相关技术领域，具体涉及一种面向全景视觉的多摄像头在环仿真测试方法和系统。
背景技术
随着计算机，微电子技术的快速发展，智能化技术的开发越来越快，智能程度也越来越高，应用的范围也得到了极大的扩展。智能驾驶系统以迅猛发展的汽车电子技术为背景，涵盖了电子，计算机，机械，传感技术等多个学科。自动智能驾驶汽车是未来汽车的发展方向,也是道路交通具有革命性影响的交通工具。随着人工智能、传感检测等核心技术的突破和完善以及整体可靠性的提升,自动驾驶汽车会逐步被公众接受,成为出行和物流工具。但是,从当前的初步应用阶段,到成熟推广阶段乃至全面普及阶段的过程可能需要很长时间,技术成熟之后还要解决立法推行问题、以及社会心态调整的漫长阶段。自动驾驶汽车是未来汽车产业和信息产业的一个制高点,其研发能力将直接反映国家工业竞争力。从全球各国政府和企业的发展行动来看,未来5～10年将是发展自动驾驶非常关键的时期。
在智能驾驶汽车上，通过摄像头传感器感知周围环境，进而通过决策控制，来实现智能车的自动驾驶，在很多情况下，单一的摄像头布置不能满足智能车的需求，如倒车需要后置摄像头；如智能物流车需要侧置摄像头感知车厢侧方物流车储物箱的使用情况；更具有普遍性的是，为了提高驾驶安全性，需要360度无死角拍摄周围环境。
发明内容
针对上述现有技术存在的问题，本发明提供了一种面向全景视觉的多摄像头在环仿真测试方法和系统，基于虚拟场景生成目标全景图像，系统已经包含了完整的虚拟交通场景信息，不需要人力标注，可以自动进行图像真实信息和感知信息的校验，进而进行评价，大大降低了人力成本，也提高了实验效率，同时考虑人为标注的误差，还提升了感知信息结果评价的准确率。
为了实现上述目的，本发明提供了以下的技术方案：一种面向智能驾驶的多摄像头在环仿真测试方法，包括如下步骤：
(11)根据实际测试目标相机的位置，对在环实验平台摄像头进行调整；
(12)在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；
(13)工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标摄像头开始采集信息数据；
(14)过统一坐标系，将位置不同的相机进行位置信息参数标定；
(15)通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；
(16)通过基于用户的目标全景感知算法程序对步骤(15)得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；
(17)将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
作为上述方案的进一步优化，所述在环实验平台包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；设于纵连接架上的两支撑架沿纵连接架轴长方向移动范围是0-2500mm，设于横连接架上的两支撑架沿横连接架轴长方向移动范围是0-1500mm；所述第一连接杆沿所述支撑架的轴身移动范围是0-2000mm。
作为上述方案的进一步优化，所述相机与工控机连接，Blender软件通过工控机控制所述相机的工作状态，将采集的数据图像传输至工控机。
作为上述方案的进一步优化，所述多传感器标定模块的处理方法，包括如下步骤：
(21)通过统一坐标系，将位置不同的摄像头进行位置信息参数标定，至少四个摄像头拍摄的图像数据进行进一步拼接融合：
(211)图像坐标系根据单位尺度不同规划成图像像素坐标系和图像物理坐标系，图像像素坐标系单位尺度为像素，图像物理坐标系单位尺度为物理长度；
图像像素坐标系原点为O0，u,v表示行数和列数，图像物理坐标系原点为O1，x,y 表示横坐标和纵坐标，设定图像物理坐标系坐标原点位于(u0,v0)处，定义像素在x,y轴的物理尺寸为dx、dy，则两个坐标系之间的转换关系为：
将式(1)通过齐次坐标系和矩阵形式表示：
(212)以摄像头光心为坐标原点，Xc、Yc轴分别和x,y轴平行建立摄像头坐标任意存在一点P(xc,yc,zc)，f是成像函数，根据三角测量原理可得图像物理坐标、摄像头坐标之间的转换关系：
将式(3)通过齐次坐标系和矩阵形式表示得公式(4)：
(213)创建世界坐标系作为物点、摄像机的定位参照物，所述世界坐标系由 xw,yw,zw轴组成；
三维空间中，旋转表示为围绕各自坐标轴的二维旋转，获得摄像机坐标系和世界坐标系的转换关系：
式(5)中，R为3×3正交旋转矩阵，T为3×1平移向量，0T＝(0,0,0)。
综上所述可得：
(22)摄像头标定过程即校正摄像头外、内和畸变参数的过程，通过Scaramuzza 摄像头标定理论对实验用摄像头外、内和畸变参数进行标定工作，Scaramuzza摄像头标定方法包括如下：
设点X是空间范围任意一点，q"是X与全景摄像头模拟球面C的交点，点u"是畸变点p"在成像面的投影点，点v"是畸变点q"在成像面的投影点，θ是入射角，点p"和q"通畸变函数g或校正函数h进行换算，点p"表示如下，r是点u"到光轴中心的距离：
经一系列推导得世界坐标系到摄像头坐标系的投影矩阵P和成像函数f表达式如下：
投影矩阵P与摄像头的外部参数有关，包括一个3×3的旋转矩阵和一个3×1的平移向量，摄像头的外部参数和视野有关，不同视野有不同的外部参数，内部参数不变；
根据式(7)可知，畸变函数g与校正函数h与相距r有关，同时所述的的两个函数与所采用的摄像头的内部参数有关，透视投影中，g和h都是1；对于鱼眼摄像头，校正函数h为1，式(7)简化得：
式(11)的函数g(r)通过相距r和入射角θ，推导出式(12)，a,b是描述摄像头内部径向变形的参数；
入射角θ分为线性求法如式(13)和非线性求法如式(14)：
θ＝ar (13)
此处统一线性模型和非线性模型，通过泰勒展开式将式(12)表示成如下形式，其中的系数与式(15)相同：
故式(11)重新写成式(16)：
对于鱼眼摄像头和反射折射摄像头满足畸变函数g对相距r求一阶导结果为0，即a1＝0，式(15)简化得：
成像面通过摄像头坐标系表示，目标图像平面通过像素坐标系表示，像素点需与成像面的点一一对应，由于光轴未对准的因素导致成像面的图像映射到像素坐标系产生旋转或平移变换，过程如式(18)表示，点u＝(u,v)T是u"映射到目标平面的对应像素点，u"是成像面的点，A是仿射矩阵，向量t是一个平移向量：
u"＝Au+t (18)
通过上述推理式得，场景点X到畸变点p"再到成像面的点u"最后到目标平面的像素点u有式(19)的关系，P是一个从世界坐标系到摄像头坐标系的投影矩阵，f是成像函数，λ是比例系数，根据式(10)定义：
PX＝λ·p"＝λ·f(u")＝λ·f(Au+t) (19)
通过式(10)、(19)整理得如式(9)，g是畸变函数，r是相距，P是式(19) 的投影矩阵：
(23)Scaramuzza摄像头标定校正具体包括如下步骤：
(231)获取外部参数，在成像面上的所有点z轴坐标都是0，对于成像面上任意一点i有Zi＝0，根据前面的模型可得：
式(20)可概括为如式(21)、式(22)两个表达式形式：
ui(r21xi+r21yi+t2)-vi(r11xi+r12yi+t1)＝0 (21)
式(21)的所有未知参数按照式(23)写成向量L形式，点的横纵坐标组成向量F，可得式(23)：
对||FL||2用奇异值分解，即获得向量L的线性估计，即得到L的各个参数。
(232)估计内部参数，将步骤(231)得到的向量L的各个参数代入式(22)，得到变形函数g(ri)，在得到变形函数后，式(22)重写成式(24)：
通过式(24)，将向量L形式的变形公式第一个矩阵按照奇异值分解，得到等式左边列向量中的所有未知参数，即内部参数。
(233)非线性回归，设定实验需要k个摄像头视角，标准棋盘格上有N个角点，根据步骤(231)和(232)，得：
用Levenberg-Marquardt算法求非线性最小值，求得最终的校正参数。
作为上述方案的进一步优化，所述全景拼接模块的处理方法，包括如下步骤：
(31)图像的匹配和拼接，包括特征点检测、特征点匹配和RANSAC特征点去噪，通过将局部窗口向各个方向移动产生明显变化或图像局部曲率突出的点，获取反映图像局部特征的特征点对比相邻的图像进行匹配，进而获取相匹配的特征点坐标，通过数据多次迭代特征点坐标获得误差最小的匹配对；针对SIFT特征匹配效率低下的问题，此处将SIFT算法和PSO算法相结合：
(311)用内核投影对128维特征向量进行降维，进而有效降低匹配过程的计算量，本发明选用Walsh-Hadamard内核投影在生成SIFT特征的过程中，对特征描述子进行降维；
(312)通过混合粒子群优化算法实现特征的精度匹配，本发明选用基于自然选择的混合粒子群，即每次迭代将整个粒子群按适应度排序，用群体中最优的一半粒子的位置和速度代替最差的一半的位置和速度，保留每个粒子的历史最优解。
(32)通过使用最佳缝合线融合算法对步骤(32)拼接后的图像进行融合，所述融合算法的基本准则为：
式(26)中，E(x,y)为重叠区域像素点(x,y)的强度值，Ecolor(x,y)为重叠区域像素点在该像素点处的灰度值之差；Egeometry(x,y)为重叠区域像素点的结构差值，所谓结构差值是指以像素点(x,y)为中心，对角线上4个顶点的像素相关性的差值作为几何结构相似度的评价标准，Egeometry(x,y)可由相邻图像区域在水平和垂直方向的Sobel梯度之差的成绩求得，left_Rect(x,y),right_Rect(x,y)分别为水平垂直方向的Sobel梯度：
Egeometry＝Diff(left_Rect(x,y),right_Rect(x,y)) (27)
通过上述可得最佳缝合线融合算法的准则是在颜色强度上，计算得出最佳缝合线的路径上所有像素点在相邻待融合图像的颜色之差中最小；在几何结构上，计算得出最佳缝合线的路径上的像素点在相邻待融合图像的结构最相似。
作为上述方案的进一步优化，所述基于用户的目标全景算法对全景感知结果，选取三个评价因子包括目标面积检测惯性YS、目标个数检测惯性YN和目标邻域相似度YG进行评价，具体评价包括如下：
(41)目标面积检测惯性YS反映在检测过程中所有目标仍在视场内，得到的检测面积之和的变化程度，其主要描述检测过程中，检测得到的目标块面积发生变化的情况：
式中，前后三帧检测结果中所有检测目标块的面积和(像素点之和)分别为S1、S2、S3。
(42)目标个数检测惯性YN反映在检测过程中，所有目标仍在视场内，得到的检测目标个数的变化程度，其主要描述检测过程中，检测得到的目标块个数发生变化情况：
式中，前后三帧检测结果中所有检测目标块的个数分别为N1、N2、N3。
(43)目标邻域相似度YG反映在检测过程中，所有目标块仍在视场内，得到的检测块的充分程度，其主要表征检测过程中，检测得到的目标块是否只是实际目标的一部分，或者是否出现较为明显的“空洞”现象：
式中，对整个图像，当前帧得到的目标个数为N，YG为整个图像的邻域相似度。
作为上述方案的进一步优化，通过比对虚拟全景图像数据集真实信息和全景算法获取的感知结果，具体功能实现包括如下：
(51)对标注信息图像O和感知结果图像R，分别求解对应的检测结果，并对各自的检测结果按照式(28)、(29)和(30)，分别计算标注信息图像和感知结果图像的目标面积检测惯性、目标个数检测惯性和目标邻域相似度评价因子
(52)3个指标归一化后，形成数据矩阵：
(53)确定参考序列，参考序列的目标面积检测惯性YS：
参考序列的目标个数检测惯性YN：
参考序列的目标邻域相似度YG：
(54)计算目标关联度：
Δ0j(k)＝|x0(k)-xj(k)| (34)
建立绝对值差矩阵：
绝对差值阵中最大数和最小数即为最大差和最小差，即：
对绝对差矩阵中的数据做如下变换：
式中，分辨率系数Y是一个事先取定的常熟(Y＝0.5)；
(55)计算由3种类型关联度组成的关联系数矩阵：
(56)分别对原始标注图像和感知结果图像，计算其对应的关联度，评价检测结果；
(57)对各比较序列与参考序列的关联按从大到小进行排序，关联度越大，则比较序列与参考序列变化的态势越一致，其综合性能就越好。
本发明还公开一种面向全景视觉感知的多摄像头在环仿真测试系统：采用权利1-7 任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，包括：
环境预设模块，根据实际测试目标摄像头的位置，对在环仿真实验装置摄像头进行调整；
模拟场景生成模块，用于在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；
图像采集模块，用于工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标摄像头开始采集信息数据；
传感器标定模块，用于统一坐标系，将位置不同的摄像头进行位置信息参数标定；
全景拼接模块，用于对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；
视觉感知模块，通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；
感知结果评价模块，用于将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
本发明还公开了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法。
本发明还公开了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法。
本发明采用上述技术方案，与现有技术相比，本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，具有以下有益效果：
1、本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，在环仿真实验装置通过工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集，显示屏显示目标交通全景图像；摄像头采集图像数据；传感器标定模块将位置不同的摄像头进行位置信息参数标定；全景拼接模块通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；视觉感知模块，通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；感知结果评价模块将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
2、本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，通过本发明的方法和系统进行测试和训练工作，全过程均在实验室内开展工作，大大减少实验消耗，节约资金、时间、人力成本。
3、本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，通过在环仿真实验进行大量的算法测试工作，对于开发新的全景视觉感知算法具有重要意义。
4、本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，通过本发明将软件与硬件良性结合，无论是对全景感知算法进行评价和测试，还是基于深度学习和深度神经网络对全景感知进行训练，有效保证了实时数据采集、传输和信息计算处理以及评价。
5、本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，基于虚拟场景生成目标全景图像，系统已经包含了完整的虚拟交通场景信息，不需要人力标注(如目标图像中的车辆、行人等信息)，可以自动进行图像真实信息和感知信息的校验，进而进行评价，大大降低了人力成本，也提高了实验效率，同时考虑人为标注的正确率，还提升了感知信息结果评价的准确率。
附图说明
图1是一种面向全景视觉感知的多摄像头在环仿真测试方法的流程图。
图2是一种面向全景视觉感知的多摄像头在环仿真测试系统的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
参见图1，一种面向全景视觉感知的多摄像头在环仿真测试方法，包括如下步骤：
(11)根据实际测试目标相机的位置，对在环实验平台摄像头进行调整；
(12)在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；
(13)工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标摄像头开始采集信息数据；
(14)过统一坐标系，将位置不同的相机进行位置信息参数标定；
(15)通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；
(16)通过基于用户的目标全景感知算法程序对步骤(15)得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；
(17)将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
作为上述方案的进一步优化，所述在环实验平台包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；设于纵连接架上的两支撑架沿纵连接架轴长方向移动范围是0-2500mm，设于横连接架上的两支撑架沿横连接架轴长方向移动范围是0-1500mm；所述第一连接杆沿所述支撑架的轴身移动范围是0-2000mm。
作为上述方案的进一步优化，所述相机与工控机连接，Blender软件通过工控机控制所述相机的工作状态，将采集的数据图像传输至工控机。
作为上述方案的进一步优化，所述多传感器标定模块的处理方法，包括如下步骤：
(21)通过统一坐标系，将位置不同的摄像头进行位置信息参数标定，至少四个摄像头拍摄的图像数据进行进一步拼接融合：
(211)图像坐标系根据单位尺度不同规划成图像像素坐标系和图像物理坐标系，图像像素坐标系单位尺度为像素，图像物理坐标系单位尺度为物理长度；
图像像素坐标系原点为O0，u,v表示行数和列数，图像物理坐标系原点为O1，x,y 表示横坐标和纵坐标，设定图像物理坐标系坐标原点位于(u0,v0)处，定义像素在x,y轴的物理尺寸为dx、dy，则两个坐标系之间的转换关系为：
将式(1)通过齐次坐标系和矩阵形式表示：
(212)以摄像头光心为坐标原点，Xc、Yc轴分别和x,y轴平行建立摄像头坐标任意存在一点P(xc,yc,zc)，f是成像函数，根据三角测量原理可得图像物理坐标、摄像头坐标之间的转换关系：
将式(3)通过齐次坐标系和矩阵形式表示得公式(4)：
(213)创建世界坐标系作为物点、摄像机的定位参照物，所述世界坐标系由 xw,yw,zw轴组成；
三维空间中，旋转表示为围绕各自坐标轴的二维旋转，获得摄像机坐标系和世界坐标系的转换关系：
式(5)中，R为3×3正交旋转矩阵，T为3×1平移向量，0T＝(0,0,0)。
综上所述可得：
(22)摄像头标定过程即校正摄像头外、内和畸变参数的过程，通过Scaramuzza 摄像头标定理论对实验用摄像头外、内和畸变参数进行标定工作，Scaramuzza摄像头标定方法包括如下：
设点X是空间范围任意一点，q"是X与全景摄像头模拟球面C的交点，点u"是畸变点p"在成像面的投影点，点v"是畸变点q"在成像面的投影点，θ是入射角，点p"和q"通畸变函数g或校正函数h进行换算，点p"表示如下，r是点u"到光轴中心的距离：
经一系列推导得世界坐标系到摄像头坐标系的投影矩阵P和成像函数f表达式如下：
投影矩阵P与摄像头的外部参数有关，包括一个3×3的旋转矩阵和一个3×1的平移向量，摄像头的外部参数和视野有关，不同视野有不同的外部参数，内部参数不变；
根据式(7)可知，畸变函数g与校正函数h与相距r有关，同时所述的的两个函数与所采用的摄像头的内部参数有关，透视投影中，g和h都是1；对于鱼眼摄像头，校正函数h为1，式(7)简化得：
式(11)的函数g(r)通过相距r和入射角θ，推导出式(12)，a,b是描述摄像头内部径向变形的参数；
入射角θ分为线性求法如式(13)和非线性求法如式(14)：
θ＝ar (13)
此处统一线性模型和非线性模型，通过泰勒展开式将式(12)表示成如下形式，其中的系数与式(15)相同：
故式(11)重新写成式(16)：
对于鱼眼摄像头和反射折射摄像头满足畸变函数g对相距r求一阶导结果为0，即a1＝0，式(15)简化得：
成像面通过摄像头坐标系表示，目标图像平面通过像素坐标系表示，像素点需与成像面的点一一对应，由于光轴未对准的因素导致成像面的图像映射到像素坐标系产生旋转或平移变换，过程如式(18)表示，点u＝(u,v)T是u"映射到目标平面的对应像素点，u"是成像面的点，A是仿射矩阵，向量t是一个平移向量：
u"＝Au+t (18)
通过上述推理式得，场景点X到畸变点p"再到成像面的点u"最后到目标平面的像素点u有式(19)的关系，P是一个从世界坐标系到摄像头坐标系的投影矩阵，f是成像函数，λ是比例系数，，根据式(10)定义：
PX＝λ·p"＝λ·f(u")＝λ·f(Au+t) (19)
通过式(10)、(19)整理得如式(9)，g是畸变函数，r是相距，P是式(19) 的投影矩阵：
(23)Scaramuzza摄像头标定校正具体包括如下步骤：
(231)获取外部参数，在成像面上的所有点z轴坐标都是0，对于成像面上任意一点i有Zi＝0，根据前面的模型可得：
式(20)可概括为如式(21)、式(22)两个表达式形式：
ui(r21xi+r21yi+t2)-vi(r11xi+r12yi+t1)＝0 (21)
式(21)的所有未知参数按照式(23)写成向量L形式，点的横纵坐标组成向量F，可得式(23)：
对||FL||2用奇异值分解，即获得向量L的线性估计，即得到L的各个参数。
(232)估计内部参数，将步骤(231)得到的向量L的各个参数代入式(22)，得到变形函数g(ri)，在得到变形函数后，式(22)重写成式(24)：
通过式(24)，将向量L形式的变形公式第一个矩阵按照奇异值分解，得到等式左边列向量中的所有未知参数，即内部参数。
(233)非线性回归，设定实验需要k个摄像头视角，标准棋盘格上有N个角点，根据步骤(231)和(232)，得：
用Levenberg-Marquardt算法求非线性最小值，求得最终的校正参数。
作为上述方案的进一步优化，所述全景拼接模块的处理方法，包括如下步骤：
(31)图像的匹配和拼接，包括特征点检测、特征点匹配和RANSAC特征点去噪，通过将局部窗口向各个方向移动产生明显变化或图像局部曲率突出的点，获取反映图像局部特征的特征点对比相邻的图像进行匹配，进而获取相匹配的特征点坐标，通过数据多次迭代特征点坐标获得误差最小的匹配对；针对SIFT特征匹配效率低下的问题，此处将SIFT算法和PSO算法相结合：
(311)用内核投影对128维特征向量进行降维，进而有效降低匹配过程的计算量，本发明选用Walsh-Hadamard内核投影在生成SIFT特征的过程中，对特征描述子进行降维；
(312)通过混合粒子群优化算法实现特征的精度匹配，本发明选用基于自然选择的混合粒子群，即每次迭代将整个粒子群按适应度排序，用群体中最优的一半粒子的位置和速度代替最差的一半的位置和速度，保留每个粒子的历史最优解。
(32)通过使用最佳缝合线融合算法对步骤(32)拼接后的图像进行融合，所述融合算法的基本准则为：
式(26)中，E(x,y)为重叠区域像素点(x,y)的强度值，Ecolor(x,y)为重叠区域像素点在该像素点处的灰度值之差；Egeometry(x,y)为重叠区域像素点的结构差值，所谓结构差值是指以像素点(x,y)为中心，对角线上4个顶点的像素相关性的差值作为几何结构相似度的评价标准，Egeometry(x,y)可由相邻图像区域在水平和垂直方向的Sobel梯度之差的成绩求得，left_Rect(x,y),right_Rect(x,y)分别为水平垂直方向的Sobel梯度：
Egeometry＝Diff(left_Rect(x,y),right_Rect(x,y)) (27)
通过上述可得最佳缝合线融合算法的准则是在颜色强度上，计算得出最佳缝合线的路径上所有像素点在相邻待融合图像的颜色之差中最小；在几何结构上，计算得出最佳缝合线的路径上的像素点在相邻待融合图像的结构最相似。
作为上述方案的进一步优化，所述基于用户的目标全景算法对全景感知结果，选取三个评价因子包括目标面积检测惯性YS、目标个数检测惯性YN和目标邻域相似度YG进行评价，具体评价包括如下：
(41)目标面积检测惯性YS反映在检测过程中所有目标仍在视场内，得到的检测面积之和的变化程度，其主要描述检测过程中，检测得到的目标块面积发生变化的情况：
式中，前后三帧检测结果中所有检测目标块的面积和(像素点之和)分别为S1、S2、S3。
(42)目标个数检测惯性YN反映在检测过程中，所有目标仍在视场内，得到的检测目标个数的变化程度，其主要描述检测过程中，检测得到的目标块个数发生变化情况：
式中，前后三帧检测结果中所有检测目标块的个数分别为N1、N2、N3。
(43)目标邻域相似度YG反映在检测过程中，所有目标块仍在视场内，得到的检测块的充分程度，其主要表征检测过程中，检测得到的目标块是否只是实际目标的一部分，或者是否出现较为明显的“空洞”现象：
式中，对整个图像，当前帧得到的目标个数为N，YG为整个图像的邻域相似度。
作为上述方案的进一步优化，通过比对虚拟全景图像数据集真实信息和全景算法获取的感知结果，具体功能实现包括如下：
(51)对标注信息图像O和感知结果图像R，分别求解对应的检测结果，并对各自的检测结果按照式(28)、(29)和(30)，分别计算标注信息图像和感知结果图像的目标面积检测惯性、目标个数检测惯性和目标邻域相似度评价因子
(52)3个指标归一化后，形成数据矩阵：
(53)确定参考序列，参考序列的目标面积检测惯性YS：
参考序列的目标个数检测惯性YN：
参考序列的目标邻域相似度YG：
(54)计算目标关联度：
Δ0j(k)＝|x0(k)-xj(k)| (34)
建立绝对值差矩阵：
绝对差值阵中最大数和最小数即为最大差和最小差，即：
对绝对差矩阵中的数据做如下变换：
式中，分辨率系数Y是一个事先取定的常熟(Y＝0.5)；
(55)计算由3种类型关联度组成的关联系数矩阵：
(56)分别对原始标注图像和感知结果图像，计算其对应的关联度，评价检测结果；
(57)对各比较序列与参考序列的关联按从大到小进行排序，关联度越大，则比较序列与参考序列变化的态势越一致，其综合性能就越好。
参见图2，本发明还公开一种面向全景视觉感知的多摄像头在环仿真测试系统：采用权利1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，包括：
环境预设模块，根据实际测试目标摄像头的位置，对在环实验平台摄像头进行调整；
环境预设模块，根据实际测试目标摄像头的位置，对在环仿真实验装置摄像头进行调整；
模拟场景生成模块，用于在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；
图像采集模块，用于工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标摄像头开始采集信息数据；
传感器标定模块，用于统一坐标系，将位置不同的摄像头进行位置信息参数标定；
全景拼接模块，用于对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；
视觉感知模块，通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；
感知结果评价模块，用于将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
本发明还公开了一种设备，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法。
本发明还公开了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法。
此外，本实施例还提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现本实施例的一种面向全景视觉感知的多摄像头在环仿真测试方法。该计算机可读存储介质可以是上述实施例中所述系统或设备中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质，如硬盘、光盘、SD卡等。
本发明的一种面向全景视觉感知的多摄像头在环仿真测试方法，在环仿真实验装置通过工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集，显示屏显示目标交通全景图像，摄像头采集图像数据，传感器标定模块将位置不同的摄像头进行位置信息参数标定，全景拼接模块通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合，视觉感知模块通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知，感知结果评价模块将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。本发明基于虚拟场景生成目标全景图像，系统包含完整的虚拟交通场景信息，不需要人力标注，自动进行图像真实信息和感知信息的校验，进而进行评价，大大降低人力成本，也提高了实验效率，同时考虑人为标注的误差，提升了感知信息结果评价的准确率。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于，包括如下步骤：
(11)根据实际测试目标摄像头的位置，对在环实验平台摄像头进行调整；
(12)在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；
(13)工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标相机开始采集信息数据；
(14)通过统一坐标系，将位置不同的相机进行位置信息参数标定；
(15)通过对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；
(16)通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；
(17)将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
2.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述在环实验平台包括接口盘以及与接口盘固定连接且以接口盘为中心，呈十字交叉、且互相垂直的纵、横连接架，所述纵、横连接架的两端上均连接一支撑架，且所述支撑架与对应的连接架垂直；四个所述支撑架沿轴长方向平行，且所述支撑架沿轴长方向设有第一连接杆，所述第一连接杆与支撑架的轴身垂直，第一连接杆末端设有万向连接部，所述万向连接部上对应设有一相机；设于纵连接架上的两支撑架沿纵连接架轴长方向移动范围是0-2500mm，设于横连接架上的两支撑架沿横连接架轴长方向移动范围是0-1500mm；所述第一连接杆沿所述支撑架的轴身移动范围是0-2000mm。
3.根据权利要求1或2所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述相机与工控机连接，Blender软件通过工控机控制所述相机的工作状态，将采集的数据图像传输至工控机。
4.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述多传感器标定模块的处理方法，包括如下步骤：
(21)通过统一坐标系，将位置不同的摄像头进行位置信息参数标定，至少四个摄像头拍摄的图像数据进行进一步拼接融合：
(211)图像坐标系根据单位尺度不同规划成图像像素坐标系和图像物理坐标系，图像像素坐标系单位尺度为像素，图像物理坐标系单位尺度为物理长度；
图像像素坐标系原点为O0，u，v表示行数和列数，图像物理坐标系原点为O1，x，y表示横坐标和纵坐标，设定图像物理坐标系坐标原点位于(u0，v0)处，定义像素在x，y轴的物理尺寸为dx、dy，则两个坐标系之间的转换关系为：
将式(1)通过齐次坐标系和矩阵形式表示：
(212)以摄像头光心为坐标原点，Xc、Yc轴分别和x，y轴平行建立摄像头坐标任意存在一点P(xc，yc，zc)，f是成像函数，根据三角测量原理可得图像物理坐标、摄像头坐标之间的转换关系：
将式(3)通过齐次坐标系和矩阵形式表示得公式(4)：
(213)创建世界坐标系作为物点、摄像机的定位参照物，所述世界坐标系由xw，yw，zw轴组成；
三维空间中，旋转表示为围绕各自坐标轴的二维旋转，获得摄像机坐标系和世界坐标系的转换关系：
式(5)中，R为3×3正交旋转矩阵，T为3×1平移向量，0T＝(0，0，0)。
综上所述可得：
(22)摄像头标定过程即校正摄像头外、内和畸变参数的过程，通过Scaramuzza摄像头标定理论对实验用摄像头外、内和畸变参数进行标定工作，Scaramuzza摄像头标定方法包括如下：
设点X是空间范围任意一点，q″是X与全景摄像头模拟球面C的交点，点u″是畸变点p″在成像面的投影点，点v″是畸变点q″在成像面的投影点，θ是入射角，点p″和q″通畸变函数g或校正函数h进行换算，点p″表示如下，r是点u″到光轴中心的距离：
经一系列推导得世界坐标系到摄像头坐标系的投影矩阵P和成像函数f表达式如下：
投影矩阵P与摄像头的外部参数有关，包括一个3×3的旋转矩阵和一个3×1的平移向量，摄像头的外部参数和视野有关，不同视野有不同的外部参数，内部参数不变；
根据式(7)可知，畸变函数g与校正函数h与相距r有关，同时所述的的两个函数与所采用的摄像头的内部参数有关，透视投影中，g和h都是1；对于鱼眼摄像头，校正函数h为1，式(7)简化得：
式(11)的函数g(r)通过相距r和入射角θ，推导出式(12)，a，b是描述摄像头内部径向变形的参数；
入射角θ分为线性求法如式(13)和非线性求法如式(14)：
θ＝ar (13)
此处统一线性模型和非线性模型，通过泰勒展开式将式(12)表示成如下形式，其中的系数与式(15)相同：
故式(11)重新写成式(16)：
对于鱼眼摄像头和反射折射摄像头满足畸变函数g对相距r求一阶导结果为0，即a1＝0，式(15)简化得：
成像面通过摄像头坐标系表示，目标图像平面通过像素坐标系表示，像素点需与成像面的点一一对应，由于光轴未对准的因素导致成像面的图像映射到像素坐标系产生旋转或平移变换，过程如式(18)表示，点u＝(u，v)T是u″映射到目标平面的对应像素点，u″是成像面的点，A是仿射矩阵，向量t是一个平移向量：
u″＝Au+t (18)
通过上述推理式得，场景点X到畸变点p″再到成像面的点u″最后到目标平面的像素点u有式(19)的关系，P是一个从世界坐标系到摄像头坐标系的投影矩阵，f是成像函数，根据式(10)定义：
PX＝λ·p″＝λ·f(u″)＝λ·f(Au+t) (19)
通过式(10)、(19)整理得如式(9)，g是畸变函数，r是相距，P是式(19)的投影矩阵：
(23)Scaramuzza摄像头标定校正具体包括如下步骤：
(231)获取外部参数，在成像面上的所有点z轴坐标都是0，对于成像面上任意一点i有Zi＝0，根据前面的模型可得：
式(20)可概括为如式(21)、式(22)两个表达式形式：
ui(r21xi+r21yi+t2)-vi(r11xi+r12yi+t1)＝0 (21)
式(21)的所有未知参数按照式(23)写成向量L形式，点的横纵坐标组成向量F，可得式(23)：
对||FL||2用奇异值分解，即获得向量L的线性估计，即得到L的各个参数。
(232)估计内部参数，将步骤(231)得到的向量L的各个参数代入式(22)，得到变形函数g(ri)，在得到变形函数后，式(22)重写成式(24)：
通过式(24)，将向量L形式的变形公式第一个矩阵按照奇异值分解，得到等式左边列向量中的所有未知参数，即内部参数。
(233)非线性回归，设定实验需要k个摄像头视角，标准棋盘格上有N个角点，根据步骤(231)和(232)，得：
用Levenberg-Marquardt算法求非线性最小值，求得最终的校正参数。
5.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述全景拼接模块的处理方法，包括如下步骤：
(31)图像的匹配和拼接，包括特征点检测、特征点匹配和RANSAC特征点去噪，通过将局部窗口向各个方向移动产生明显变化或图像局部曲率突出的点，获取反映图像局部特征的特征点对比相邻的图像进行匹配，进而获取相匹配的特征点坐标，通过数据多次迭代特征点坐标获得误差最小的匹配对；针对SIFT特征匹配效率低下的问题，此处将SIFT算法和PSO算法相结合：
(311)用内核投影对128维特征向量进行降维，进而有效降低匹配过程的计算量，本发明选用Walsh-Hadamard内核投影在生成SIFT特征的过程中，对特征描述子进行降维；
(312)通过混合粒子群优化算法实现特征的精度匹配，本发明选用基于自然选择的混合粒子群，即每次迭代将整个粒子群按适应度排序，用群体中最优的一半粒子的位置和速度代替最差的一半的位置和速度，保留每个粒子的历史最优解。
(32)通过使用最佳缝合线融合算法对步骤(32)拼接后的图像进行融合，所述融合算法的基本准则为：
式(26)中，E(x，y)为重叠区域像素点(x，y)的强度值，Ecolor(x，y)为重叠区域像素点在该像素点处的灰度值之差；Egeometry(x，y)为重叠区域像素点的结构差值，所谓结构差值是指以像素点(x，y)为中心，对角线上4个顶点的像素相关性的差值作为几何结构相似度的评价标准，Egeometry(x，y)可由相邻图像区域在水平和垂直方向的Sobel梯度之差的成绩求得，left_Rect(x，y)，right_Rect(x，y)分别为水平垂直方向的Sobel梯度：
Egeometry＝Diff(left_Rect(x，y)，right_Rect(x，y)) (27)
通过上述可得最佳缝合线融合算法的准则是在颜色强度上，计算得出最佳缝合线的路径上所有像素点在相邻待融合图像的颜色之差中最小；在几何结构上，计算得出最佳缝合线的路径上的像素点在相邻待融合图像的结构最相似。
6.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：所述基于用户的目标全景算法对全景感知结果，选取三个评价因子包括目标面积检测惯性Ys、目标个数检测惯性YN和目标邻域相似度YG进行评价，具体评价包括如下：
(41)目标面积检测惯性YS反映在检测过程中所有目标仍在视场内，得到的检测面积之和的变化程度，其主要描述检测过程中，检测得到的目标块面积发生变化的情况：
式中，前后三帧检测结果中所有检测目标块的面积和(像素点之和)分别为S1、S2、S3。
(42)目标个数检测惯性YN反映在检测过程中，所有目标仍在视场内，得到的检测目标个数的变化程度，其主要描述检测过程中，检测得到的目标块个数发生变化情况：
式中，前后三帧检测结果中所有检测目标块的个数分别为N1、N2、N3。
(43)目标邻域相似度YG反映在检测过程中，所有目标块仍在视场内，得到的检测块的充分程度，其主要表征检测过程中，检测得到的目标块是否只是实际目标的一部分，或者是否出现较为明显的“空洞”现象：
式中，对整个图像，当前帧得到的目标个数为N，YG为整个图像的邻域相似度。
7.根据权利要求1所述的一种面向全景视觉感知的多摄像头在环仿真测试方法，其特征在于：通过比对虚拟全景图像数据集真实信息和全景算法获取的感知结果，具体功能实现包括如下：
(51)对标注信息图像O和感知结果图像R，分别求解对应的检测结果，并对各自的检测结果按照式(28)、(29)和(30)，分别计算标注信息图像和感知结果图像的目标面积检测惯性、目标个数检测惯性和目标邻域相似度评价因子
(52)3个指标归一化后，形成数据矩阵：
(53)确定参考序列，参考序列的目标面积检测惯性Ys：
参考序列的目标个数检测惯性YN：
参考序列的目标邻域相似度YG：
(54)计算目标关联度：
Δ0j(k)＝|x0(k)-xj(k)| (34)
建立绝对值差矩阵：
绝对差值阵中最大数和最小数即为最大差和最小差，即：
对绝对差矩阵中的数据做如下变换：
式中，分辨率系数Y是一个事先取定的常熟(Y＝0.5)；
(55)计算由3种类型关联度组成的关联系数矩阵：
(56)分别对原始标注图像和感知结果图像，计算其对应的关联度，评价检测结果；
(57)对各比较序列与参考序列的关联按从大到小进行排序，关联度越大，则比较序列与参考序列变化的态势越一致，其综合性能就越好。
8.基于权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法的系统：其特征在于，包括：
环境预设模块，根据实际测试目标摄像头的位置，对在环仿真实验装置摄像头进行调整；
模拟场景生成模块，用于在工控机建立目标交通场景模型，基于Blender软件内的360度全景虚拟相机渲染生成全景交通场景图像数据集；
图像采集模块，用于工控机开启在环测试系统装置，包括开启全景显示屏显示目标交通全景图像、目标摄像头开始采集信息数据；
传感器标定模块，用于统一坐标系，将位置不同的摄像头进行位置信息参数标定；
全景拼接模块，用于对待拼接的图像进行特征点检测，在所述特征点中寻找相邻图像的匹配对，经由RANSAC去除错误匹配对，保留正确的匹配点计算H矩阵，完成图像拼接和融合；
视觉感知模块，通过基于用户的目标全景感知算法程序对融合后得到的全景图像数据进行算法处理，实时对汽车周围环境进行视觉感知；
感知结果评价模块，用于将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的一种面向全景视觉感知的多摄像头在环仿真测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811138286.4A CN109407547A (zh) | 2018-09-28 | 2018-09-28 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811138286.4A CN109407547A (zh) | 2018-09-28 | 2018-09-28 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109407547A true CN109407547A (zh) | 2019-03-01 |
Family
ID=65466511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811138286.4A Pending CN109407547A (zh) | 2018-09-28 | 2018-09-28 | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109407547A (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109883728A (zh) * | 2019-03-18 | 2019-06-14 | 吉林大学 | 基于全息影像的智能驾驶汽车视觉验证测试平台及其方法 |
| CN109947110A (zh) * | 2019-04-02 | 2019-06-28 | 吉林大学 | 面向自动驾驶的车道自检算法在环仿真控制方法和系统 |
| CN109993792A (zh) * | 2019-03-04 | 2019-07-09 | 杭州三坛医疗科技有限公司 | 投影方法、装置及系统和可读存储介质 |
| CN110009570A (zh) * | 2019-04-19 | 2019-07-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于自动机器学习的虚拟现实全景图智能拼接方法 |
| CN110189315A (zh) * | 2019-05-28 | 2019-08-30 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
| CN110188488A (zh) * | 2019-06-03 | 2019-08-30 | 中国石油大学(华东) | 一种海底天然气水合物露头及周边环境的仿真方法和系统 |
| CN110288714A (zh) * | 2019-06-21 | 2019-09-27 | 济南大学 | 一种虚拟仿真实验系统 |
| CN110398902A (zh) * | 2019-06-19 | 2019-11-01 | 上海机电工程研究所 | 光电信号仿真误差分析方法 |
| CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
| CN110795813A (zh) * | 2019-08-14 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种交通仿真方法及装置 |
| CN111753696A (zh) * | 2020-06-17 | 2020-10-09 | 济南大学 | 一种感知场景信息的方法、仿真装置、机器人 |
| CN112307825A (zh) * | 2019-07-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 自动驾驶的视觉检测方法、装置、电子设备和存储介质 |
| CN112422936A (zh) * | 2020-11-13 | 2021-02-26 | 中国第一汽车股份有限公司 | 车辆全景影像的标定系统、方法、服务器和存储介质 |
| CN112770106A (zh) * | 2020-12-18 | 2021-05-07 | 北京五一视界数字孪生科技股份有限公司 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
| CN112801031A (zh) * | 2021-02-08 | 2021-05-14 | 电子科技大学中山学院 | 静脉图像识别方法、装置、电子设备及可读存储介质 |
| CN113012090A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于可移动摄像头的多工序工件质量检测方法及装置 |
| CN113129451A (zh) * | 2021-03-15 | 2021-07-16 | 北京航空航天大学 | 基于双目视觉定位的全息三维影像空间定量投影方法 |
| CN113160454A (zh) * | 2021-05-31 | 2021-07-23 | 重庆长安汽车股份有限公司 | 自动驾驶车辆历史传感器数据回灌方法及系统 |
| CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
| CN113205070A (zh) * | 2021-05-27 | 2021-08-03 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及系统 |
| CN113639764A (zh) * | 2021-07-08 | 2021-11-12 | 武汉光庭信息技术股份有限公司 | 一种基于多视觉传感器的adas同步测试装置与方法 |
| CN113807451A (zh) * | 2021-05-25 | 2021-12-17 | 中德（珠海）人工智能研究院有限公司 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
| CN114035598A (zh) * | 2021-11-22 | 2022-02-11 | 青岛理工大学 | 一种多旋翼吊挂系统的视觉摆角检测与减摆方法 |
| CN114040155A (zh) * | 2021-10-31 | 2022-02-11 | 中汽院(重庆)汽车检测有限公司 | 一种用于车辆全景环视图像测试系统 |
| CN114092843A (zh) * | 2021-11-19 | 2022-02-25 | 中国直升机设计研究所 | 一种直升机vne自动化测试系统和方法 |
| CN114494439A (zh) * | 2022-01-25 | 2022-05-13 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
| CN114580575A (zh) * | 2022-04-29 | 2022-06-03 | 中智行(苏州)科技有限公司 | 一种自动驾驶视觉感知的可持续闭环链路的构建方法 |
| CN114674231A (zh) * | 2022-03-28 | 2022-06-28 | 大连理工大学 | 一种基于单片机的便携式在线视觉位移测量系统 |
| CN114723757A (zh) * | 2022-06-09 | 2022-07-08 | 济南大学 | 一种基于深度学习算法的高精度晶圆缺陷检测方法及系统 |
| CN114792469A (zh) * | 2022-04-06 | 2022-07-26 | 大唐高鸿智联科技(重庆)有限公司 | 一种感知系统的测试方法、装置及测试设备 |
| CN114820504A (zh) * | 2022-04-22 | 2022-07-29 | 江苏泽景汽车电子股份有限公司 | 图像融合偏差的检测方法、装置、电子设备及存储介质 |
| WO2022199013A1 (zh) * | 2021-03-26 | 2022-09-29 | 深圳市广和通无线股份有限公司 | 图像输出系统和方法 |
| CN115426440A (zh) * | 2022-07-27 | 2022-12-02 | 深圳市富中奇科技有限公司 | 车辆环视系统的实现方法、装置、设备及计算机存储介质 |
| CN116907365A (zh) * | 2023-07-25 | 2023-10-20 | 山东捷瑞数字科技股份有限公司 | 基于工业视觉不规则零件测量方法及生产线预测分析系统 |
| CN118037999A (zh) * | 2024-04-10 | 2024-05-14 | 时代新媒体出版社有限责任公司 | 一种基于vr思政教学的交互场景构建方法及系统 |
| CN118089794A (zh) * | 2024-04-26 | 2024-05-28 | 北京航宇测通电子科技有限公司 | 一种基于多源信息的自适应多信息组合导航的仿真方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100157018A1 (en) * | 2007-06-27 | 2010-06-24 | Samsun Lampotang | Display-Based Interactive Simulation with Dynamic Panorama |
| CN102779340A (zh) * | 2012-06-12 | 2012-11-14 | 华中科技大学 | 一种基于Delaunay三角剖分的特征点坐标自动对应方法 |
| CN103092187A (zh) * | 2012-12-28 | 2013-05-08 | 清华大学 | 一种混合动力控制系统硬件在环实验平台 |
| US20130290908A1 (en) * | 2012-04-26 | 2013-10-31 | Matthew Joseph Macura | Systems and methods for creating and utilizing high visual aspect ratio virtual environments |
| CN104713737A (zh) * | 2015-03-04 | 2015-06-17 | 南京师范大学 | 基于电磁振动台的车辆半主动悬架硬件在环实验平台 |
| CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
| CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
| CN106780628A (zh) * | 2016-12-24 | 2017-05-31 | 大连日佳电子有限公司 | 基于混合畸变模型的高精度摄像机标定方法 |
| CN107423772A (zh) * | 2017-08-08 | 2017-12-01 | 南京理工大学 | 一种新的基于ransac的双目图像特征匹配方法 |
-
2018
- 2018-09-28 CN CN201811138286.4A patent/CN109407547A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100157018A1 (en) * | 2007-06-27 | 2010-06-24 | Samsun Lampotang | Display-Based Interactive Simulation with Dynamic Panorama |
| US20130290908A1 (en) * | 2012-04-26 | 2013-10-31 | Matthew Joseph Macura | Systems and methods for creating and utilizing high visual aspect ratio virtual environments |
| CN102779340A (zh) * | 2012-06-12 | 2012-11-14 | 华中科技大学 | 一种基于Delaunay三角剖分的特征点坐标自动对应方法 |
| CN103092187A (zh) * | 2012-12-28 | 2013-05-08 | 清华大学 | 一种混合动力控制系统硬件在环实验平台 |
| CN104713737A (zh) * | 2015-03-04 | 2015-06-17 | 南京师范大学 | 基于电磁振动台的车辆半主动悬架硬件在环实验平台 |
| CN104732542A (zh) * | 2015-03-27 | 2015-06-24 | 安徽省道一电子科技有限公司 | 基于多摄像头自标定的全景车辆安全系统的图像处理方法 |
| CN105654502A (zh) * | 2016-03-30 | 2016-06-08 | 广州市盛光微电子有限公司 | 一种基于多镜头多传感器的全景相机标定装置和方法 |
| CN106780628A (zh) * | 2016-12-24 | 2017-05-31 | 大连日佳电子有限公司 | 基于混合畸变模型的高精度摄像机标定方法 |
| CN107423772A (zh) * | 2017-08-08 | 2017-12-01 | 南京理工大学 | 一种新的基于ransac的双目图像特征匹配方法 |
Non-Patent Citations (3)
| Title |
|---|
| 杨根: "复杂背景下运动目标的协同检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 汪丹: "鱼眼图像全景拼接技术的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 耿岚鑫: "驾驶员对预警信息的反应特性测试及其在车道偏离预警系统中的应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993792A (zh) * | 2019-03-04 | 2019-07-09 | 杭州三坛医疗科技有限公司 | 投影方法、装置及系统和可读存储介质 |
| CN109993792B (zh) * | 2019-03-04 | 2021-05-25 | 杭州三坛医疗科技有限公司 | 投影方法、装置及系统和可读存储介质 |
| CN109883728A (zh) * | 2019-03-18 | 2019-06-14 | 吉林大学 | 基于全息影像的智能驾驶汽车视觉验证测试平台及其方法 |
| CN109947110A (zh) * | 2019-04-02 | 2019-06-28 | 吉林大学 | 面向自动驾驶的车道自检算法在环仿真控制方法和系统 |
| CN110009570B (zh) * | 2019-04-19 | 2022-12-20 | 山东浪潮科学研究院有限公司 | 一种基于自动机器学习的虚拟现实全景图智能拼接方法 |
| CN110009570A (zh) * | 2019-04-19 | 2019-07-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于自动机器学习的虚拟现实全景图智能拼接方法 |
| CN110189315A (zh) * | 2019-05-28 | 2019-08-30 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
| CN110189315B (zh) * | 2019-05-28 | 2022-09-16 | 李峥嵘 | 一种风电机组叶片无人机自动定位方法 |
| CN110188488B (zh) * | 2019-06-03 | 2023-04-07 | 中国石油大学(华东) | 一种海底天然气水合物露头及周边环境的仿真方法和系统 |
| CN110188488A (zh) * | 2019-06-03 | 2019-08-30 | 中国石油大学(华东) | 一种海底天然气水合物露头及周边环境的仿真方法和系统 |
| CN110398902A (zh) * | 2019-06-19 | 2019-11-01 | 上海机电工程研究所 | 光电信号仿真误差分析方法 |
| CN110288714A (zh) * | 2019-06-21 | 2019-09-27 | 济南大学 | 一种虚拟仿真实验系统 |
| CN110288714B (zh) * | 2019-06-21 | 2022-11-04 | 济南大学 | 一种虚拟仿真实验系统 |
| CN112307825A (zh) * | 2019-07-30 | 2021-02-02 | 北京百度网讯科技有限公司 | 自动驾驶的视觉检测方法、装置、电子设备和存储介质 |
| CN112307825B (zh) * | 2019-07-30 | 2024-05-31 | 阿波罗智能技术(北京)有限公司 | 自动驾驶的视觉检测方法、装置、电子设备和存储介质 |
| CN110795813A (zh) * | 2019-08-14 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种交通仿真方法及装置 |
| CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
| CN113012090A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于可移动摄像头的多工序工件质量检测方法及装置 |
| CN113012090B (zh) * | 2019-12-20 | 2024-03-01 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于可移动摄像头的多工序工件质量检测方法及装置 |
| CN111753696B (zh) * | 2020-06-17 | 2024-04-02 | 济南大学 | 一种感知场景信息的方法、仿真装置、机器人 |
| CN111753696A (zh) * | 2020-06-17 | 2020-10-09 | 济南大学 | 一种感知场景信息的方法、仿真装置、机器人 |
| CN112422936A (zh) * | 2020-11-13 | 2021-02-26 | 中国第一汽车股份有限公司 | 车辆全景影像的标定系统、方法、服务器和存储介质 |
| CN112770106A (zh) * | 2020-12-18 | 2021-05-07 | 北京五一视界数字孪生科技股份有限公司 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
| CN112770106B (zh) * | 2020-12-18 | 2022-10-11 | 万物镜像(北京)计算机系统有限公司 | 硬件在环评价方法、装置、存储介质、电子设备与系统 |
| CN112801031A (zh) * | 2021-02-08 | 2021-05-14 | 电子科技大学中山学院 | 静脉图像识别方法、装置、电子设备及可读存储介质 |
| CN113129451A (zh) * | 2021-03-15 | 2021-07-16 | 北京航空航天大学 | 基于双目视觉定位的全息三维影像空间定量投影方法 |
| WO2022199013A1 (zh) * | 2021-03-26 | 2022-09-29 | 深圳市广和通无线股份有限公司 | 图像输出系统和方法 |
| CN113807451A (zh) * | 2021-05-25 | 2021-12-17 | 中德（珠海）人工智能研究院有限公司 | 全景图像特征点匹配模型的训练方法、装置以及服务器 |
| CN113205070B (zh) * | 2021-05-27 | 2024-02-20 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及系统 |
| CN113205070A (zh) * | 2021-05-27 | 2021-08-03 | 三一专用汽车有限责任公司 | 视觉感知算法优化方法及系统 |
| CN113160454A (zh) * | 2021-05-31 | 2021-07-23 | 重庆长安汽车股份有限公司 | 自动驾驶车辆历史传感器数据回灌方法及系统 |
| CN113191954B (zh) * | 2021-06-11 | 2023-09-26 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
| CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
| CN113639764A (zh) * | 2021-07-08 | 2021-11-12 | 武汉光庭信息技术股份有限公司 | 一种基于多视觉传感器的adas同步测试装置与方法 |
| CN114040155A (zh) * | 2021-10-31 | 2022-02-11 | 中汽院(重庆)汽车检测有限公司 | 一种用于车辆全景环视图像测试系统 |
| CN114092843A (zh) * | 2021-11-19 | 2022-02-25 | 中国直升机设计研究所 | 一种直升机vne自动化测试系统和方法 |
| CN114035598A (zh) * | 2021-11-22 | 2022-02-11 | 青岛理工大学 | 一种多旋翼吊挂系统的视觉摆角检测与减摆方法 |
| CN114035598B (zh) * | 2021-11-22 | 2023-11-24 | 青岛理工大学 | 一种多旋翼吊挂系统的视觉摆角检测与减摆方法 |
| CN114494439B (zh) * | 2022-01-25 | 2023-08-15 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
| CN114494439A (zh) * | 2022-01-25 | 2022-05-13 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
| CN114674231A (zh) * | 2022-03-28 | 2022-06-28 | 大连理工大学 | 一种基于单片机的便携式在线视觉位移测量系统 |
| CN114674231B (zh) * | 2022-03-28 | 2022-12-20 | 大连理工大学 | 一种基于单片机的便携式在线视觉位移测量系统 |
| CN114792469A (zh) * | 2022-04-06 | 2022-07-26 | 大唐高鸿智联科技(重庆)有限公司 | 一种感知系统的测试方法、装置及测试设备 |
| CN114820504A (zh) * | 2022-04-22 | 2022-07-29 | 江苏泽景汽车电子股份有限公司 | 图像融合偏差的检测方法、装置、电子设备及存储介质 |
| CN114580575A (zh) * | 2022-04-29 | 2022-06-03 | 中智行(苏州)科技有限公司 | 一种自动驾驶视觉感知的可持续闭环链路的构建方法 |
| CN114723757A (zh) * | 2022-06-09 | 2022-07-08 | 济南大学 | 一种基于深度学习算法的高精度晶圆缺陷检测方法及系统 |
| CN115426440A (zh) * | 2022-07-27 | 2022-12-02 | 深圳市富中奇科技有限公司 | 车辆环视系统的实现方法、装置、设备及计算机存储介质 |
| CN115426440B (zh) * | 2022-07-27 | 2024-03-15 | 深圳市富中奇科技有限公司 | 车辆环视系统的实现方法、装置、设备及计算机存储介质 |
| CN116907365A (zh) * | 2023-07-25 | 2023-10-20 | 山东捷瑞数字科技股份有限公司 | 基于工业视觉不规则零件测量方法及生产线预测分析系统 |
| CN118037999A (zh) * | 2024-04-10 | 2024-05-14 | 时代新媒体出版社有限责任公司 | 一种基于vr思政教学的交互场景构建方法及系统 |
| CN118089794A (zh) * | 2024-04-26 | 2024-05-28 | 北京航宇测通电子科技有限公司 | 一种基于多源信息的自适应多信息组合导航的仿真方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109407547A (zh) | 面向全景视觉感知的多摄像头在环仿真测试方法与系统 | |
| CN112771539B (zh) | 采用使用神经网络从二维图像预测的三维数据以用于3d建模应用 | |
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| KR102003015B1 (ko) | 광류를 사용한 중간 뷰의 생성 | |
| US20180012411A1 (en) | Augmented Reality Methods and Devices | |
| WO2022165809A1 (zh) | 一种训练深度学习模型的方法和装置 | |
| CN101894366B (zh) | 一种获取标定参数的方法、装置及一种视频监控系统 | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| CN110648274B (zh) | 鱼眼图像的生成方法及装置 | |
| JP2013050947A (ja) | 物体姿勢推定方法、物体姿勢推定装置、物体推定姿勢精緻化方法、およびコンピューター可読媒体 | |
| JP4395689B2 (ja) | 画像データ処理方法およびモデリング装置 | |
| CN110207951B (zh) | 一种基于视觉的飞机线缆支架装配状态检测方法 | |
| CN112614192B (zh) | 一种车载相机的在线标定方法和车载信息娱乐系统 | |
| CN110148177A (zh) | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 | |
| CN114339185A (zh) | 用于车辆相机图像的图像彩色化 | |
| CN107590444A (zh) | 静态障碍物的检测方法、装置及存储介质 | |
| US11893707B2 (en) | Vehicle undercarriage imaging | |
| CN115131407B (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
| CN116469101A (zh) | 数据标注方法、装置、电子设备及存储介质 | |
| US20220254008A1 (en) | Multi-view interactive digital media representation capture | |
| CN115953460A (zh) | 基于自监督深度学习的视觉里程计方法 | |
| Schönbein | omnidirectional Stereo Vision for autonomous Vehicles | |
| CN115861316B (zh) | 行人检测模型的训练方法及其装置、行人检测方法 | |
| CN116612459B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| US20230141515A1 (en) | System and method for stereoscopic image analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190301 |
|
| RJ01 | Rejection of invention patent application after publication |