CN114972530A - 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 - Google Patents
一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114972530A CN114972530A CN202210533924.2A CN202210533924A CN114972530A CN 114972530 A CN114972530 A CN 114972530A CN 202210533924 A CN202210533924 A CN 202210533924A CN 114972530 A CN114972530 A CN 114972530A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- virtual
- image
- virtual scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004519 manufacturing process Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质，属于摄像机传感器的标定技术领域，包括虚拟靶标的制作，摄像机畸变的校正，摄像机采集的数据与虚拟传感器的数据进行匹配；本发明的标定方法从摄像机的标定原理出发，设定靶标来对摄像机的内参与外参系数进行标定，确定摄像机的安装位置，实现驾驶系统的摄像机传感器信息数据与虚拟场景中的传感器数据相一致，从而实现辅助驾驶系统对虚拟场景中的目标信息实现精确感知。
Description
技术领域
本发明属于摄像机传感器的标定技术领域，具体涉及一种基于虚 拟场景对摄像机的标定方法、装置、设备及存储介质。
背景技术
随着汽车智能化水平的提高，驾驶安全问题越来越引人注目，高 级驾驶辅助系统应运而生。其中基于图像的汽车辅助驾驶系统应用广 泛，而车载摄像机的摄像机外参标定是基础和重中之重，决定了定位、 测距、检测等交互功能的准确性。
在汽车驾驶辅助系统前期开发过程中，虚拟场景仿真测试平台可 方便灵活的对辅助驾驶系统的控制策略进行验证，具有节约劳动成本， 提升测试效率的优点。摄像机作为辅助驾驶系统中的重要传感器，可 以对前方目标信息进行识别感知，获得目标的相关信息。在虚拟场景 仿真平台中，可通过虚拟传感器实时获得设定的目标数据信息，而如 何将两者的传感器进行标定，保证将虚拟场景中目标信息精确的输送 给控制单元，是辅助驾驶系统控制策略验证的关键。
目前在公开的专利文献中，关于辅助驾驶系统的标定方法研究较 少，主要是通过调整场景中的放缩系数，或者在摄像机传感器前添加 透镜来实现目标的探测数据与场景模拟数据相接近。
如现有技术公开了一种汽车ADAS系统的摄像机标定系统，包括， 数据通信连接模块：根据协议类型确定初始化参数，完成汽车故障诊 断仪和汽车ECU之间的通信连接；诊断命令分析模块：通过汽车故障 诊断仪向汽车ECU发送数据采样指令，对标定命令信息进行数据采样， 获取采样文件；对采样文件中的数据进行提取，并将提取的数据制作 成标定数据库；标定功能模块：根据标定数据库编写标定功能函数， 完成汽车故障诊断仪的标定功能。但是该摄像机标定系统虽可以有效 的满足摄像机的标定，但是在虚拟交通场景下的使用性较差。
综上所述，摄像机标定系统及标定方法存在着适应性差及精度低 等不足，故设计一种能够实现高适应性及高精度的基于虚拟场景图像 的摄像机标定方法十分必要。
发明内容
针对现有技术中存在的上述缺陷，本发明的目的在于提供一种基 于虚拟场景对摄像机的标定方法、装置、设备及存储介质，从摄像机 的标定原理出发，设定靶标来对摄像机的内参与外参系数进行标定， 确定摄像机的安装位置，实现驾驶系统的摄像机传感器信息数据与虚 拟场景中的传感器数据相一致，从而实现辅助驾驶系统对虚拟场景中 的目标信息实现精确感知。
本发明通过如下技术方案实现：
第一方面，本发明提供了一种基于虚拟场景对摄像机的标定方法， 具体包括如下步骤：
第一步：虚拟靶标的制作：
通过场景仿真软件绘制黑白格标定板，在场景中进行虚拟标定板 的渲染；
第二步：摄像机畸变的校正：
将摄像机采集到的虚拟图片，进行图像畸变校正；
第三步：摄像机采集的数据与虚拟传感器的数据进行匹配：
通过BP神经网络的非线性功能拟合出虚拟场景平台传感器与视 觉传感器之间的转换关系，在预测阶段即可通过计算得到的非线性关 系预测出相应的目标位置。
进一步地，第二步中，通过张正友标定法，得到摄像机的内参系 数，以纠正图像的畸变。
进一步地，第三步中，所述的BP神经网络基于Matlab/Simulink 环境下进行搭建。
进一步地，第三步中，虚拟平台传感器获取的数据是通过dSpace 软件中虚拟传感器获取前方目标的坐标，由于前方目标距离不同时所 在的坐标位置也不同，以虚拟场景下测量的目标距离与测量的目标在 图像中的坐标数据作为输入参数，即有两个输入参数。
进一步地，第三步中，视觉传感器获取的数据是由车辆前方安装 显示屏，通过摄像机对显示屏中目标识别后，目标的纵向和横向距离 作为BP神经网络的输出参数。
进一步地，第三步中，虚拟场景平台传感器与视觉传感器之间的 转换关系，具体包括三个坐标系之间的相互转换；三个坐标系分别为 图像坐标系、摄像机坐标系及世界坐标系；
所述世界坐标系(xw，yw，zw)转化为摄像机坐标系(xc，yc，zc)， 是通过一个旋转矩阵R和一个平移向量t实现，具体通过公式(1) 实现：
将其化为齐次坐标如下：
所述摄像机坐标系(xc，yc，zc)转化为图像坐标系(x,y)，具体 如下：设Oc点为摄像机光心，Xc轴和Yc轴与图像的X轴与Y轴平 行，Zc轴为摄像机光轴，其与图像平面垂直；摄像机光轴与图像平 面的交点，即为图像坐标系的原点，由点Oc与Xc、Yc、Zc轴组成的 直角坐标系称为摄像机坐标系，OOc为摄像机焦距；
摄像机坐标系到图像坐标系的转化：
其中，f为焦距；
将其化为齐次坐标如下：
所述图像坐标系(x,y)转化为像素坐标系(u,v)，(u、v)表 示以像素为单位的图像坐标系的坐标，(x、y)表示以物理单位毫米 为单位的图像坐标系的坐标；在X、Y坐标系中，原点O定义在摄像 机光轴与图像平面的交点；若O在U、V坐标系中坐标为(u0，v0), 每一个像素在X轴与Y轴方向上的物理尺寸为dx、dy，则图像任一 像素在两个坐标系下有如下关系：
齐次坐标和矩阵形式如下：
通过图像坐标系、摄像机坐标系和世界坐标系之间的相互关系可 以得到从世界坐标系到图像坐标系的转换，具体如下：
其中，M1、M2分别为摄像机的内外参数矩阵；视觉传感器通过 标定之后，可得到摄像机的内外参数，从而确定图像坐标到空间距离 的转换关系，实现物体的测距。
第二方面，本发明还提供了一种基于虚拟场景对摄像机的标定装 置，包括：
制作模块，用于虚拟靶标的制作；
校正模块，用于摄像机畸变的校正；
匹配模块，用于摄像机采集的数据与虚拟传感器的数据进行匹配。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处 理器执行所述程序时实现如本发明实施例中任一所述的一种基于虚 拟场景对摄像机的标定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其 上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中 任一所述的一种基于虚拟场景对摄像机的标定方法。
与现有技术相比，本发明的优点如下：
本发明提供的一种基于虚拟场景对摄像机的标定方法、设备及存 储介质，从摄像机的标定原理出发，设定靶标来对摄像机的内参与外 参系数进行标定，确定摄像机的安装位置，实现驾驶系统的摄像机传 感器信息数据与虚拟场景中的传感器数据相一致，从而实现辅助驾驶 系统对虚拟场景中的目标信息实现精确感知。该方法使用性比较强， 可基于不用商业场景软件下进行摄像机的参数标定，同时可减少对摄 像机供应商的技术依赖，在其不提供标定工具与标定方法的情况下， 通过摄像机对目标的识别距离与虚拟传感器的数据，由BP神经网络 计算出两者的转换关系，并将转换关系的放缩系数写入场景软件中，完成场景的显示与摄像机内部距离换算参数的相一致，实现摄像机在 虚拟场景下的标定。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方 案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简 单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记 标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明的一种基于虚拟场景对摄像机的标定方法的流程 图；
图2为图像坐标系示意图；
图3为摄像机坐标系示意图；
图4为虚拟场景中虚拟传感器目标信息获取示意图；
图5为摄像机控制获得目标数据示意图；
图6为摄像机采集的数据与虚拟传感器的数据进行匹配方法的 流程示意图；
图7为BP神经网络内部结构示意图；
图8为BP神经网络预测输出与真实输出的比较示意图；
图9为BP神经网络预测误差百分比示意图；
图10为本发明实施例2中的一种电子设备的结构示意图。
具体实施方式
为清楚、完整地描述本发明所述技术方案及其具体工作过程，结 合说明书附图，本发明的具体实施方式如下：
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例 或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一 个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须 针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料 或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此 外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描 述的不同实施例或示例以及不同实施例或示例的特征进行结合和组 合。
实施例1
如图1所示，为本实施例的一种基于虚拟场景对摄像机的标定方 法的流程示意图，具体包括如下步骤：
第一步：虚拟靶标的制作：
通过场景仿真软件绘制黑白格标定板，在场景中进行虚拟标定板 的渲染；
第二步：摄像机畸变的校正：
将摄像机采集到的虚拟图片，进行图像畸变校正；
第三步：摄像机采集的数据与虚拟传感器的数据进行匹配：
通过BP神经网络的非线性功能拟合出虚拟场景平台传感器与视 觉传感器之间的关系，在预测阶段即可通过计算得到的非线性关系预 测出相应的目标位置。
BP神经网络模型包括：输入输出模型、作用函数模型、误差计 算模型和自学习模型；
(1)输出模型
令输入向量为：
输出向量为：
第l隐含层各神经元的输出为：
其中，sl为第l层神经元的个数。
设w(l)ij为从l-1层第j个神经元与l层第i个神经元之间的连接 权重，b(l)ij为第l层第i个神经元的偏置：
h(l)i＝f(net(l)i)
通常在多层神经网络中采用非线性激活函数，而不是用线性激活 函数，因为采用基于线性激活函数的多层神经网络本质上还是多个线 性函数的叠加，其结果仍然为一个线性函数。
(2)作用函数模型
作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称 激活函数，一般取为(0,1)内连续取值Sigmoid函数：f(x)＝1/(1+e-x)
(3)误差计算模型
误差计算模型是反映神经网络期望输出与计算输出之间误差大 小的函数：
Ep＝1/2*∑(tpi-0pi)2
tpi为i节点的期望输出值；0pi为i节点计算输出值。
(4)自学习模型
神经网络的学习过程，即连接下层节点和上层节点之间的权重拒 阵wij的设定和误差修正过程。自学习模型为：
Δwij(n+1)＝h*φi*0j+a*Δwij(n)
h为学习因子；φi为输出节点i的计算误差；0j为输出节点j的计 算输出；a为动量因子。
实验中使用295组输入输出数据，从中随机选择200组作为训练 集数据用于训练，95组作为测试集数据用于测试网络的拟合性能。
BP神经网络构建根据拟合非线性函数特点确定BP神经网络结构， 由于该非线性函数有两个输入函数，一个输出参数。在网络结构中使 用了两层隐含层，所以BP神经网络结构为2-5-5-2，即输入层有两 个节点，隐含层有5个节点，输出层有2个节点。BP神经网络训练 用非线性函数输入输出数据训练神经网络，使训练后的网络能够预测 非线性函数输出。
通过摄像机对屏幕中的目标进行检测，记录下摄像机对目标的距 离输出，同时采集虚拟触感器中目标的距离数据，总计95组数据对 BP神经网络进行训练，通过虚拟场景平台传感器与视觉传感器联合 标定技术能够准确的获取虚拟场景下目标的坐标位置，且平均误差小 于0.37％。
实施例2
本实施例提供了一种基于虚拟场景对摄像机的标定装置，包括：
制作模块，用于虚拟靶标的制作；
校正模块，用于摄像机畸变的校正；
匹配模块，用于摄像机采集的数据与虚拟传感器的数据进行匹配。
实施例3
图10为本发明实施例3中的一种计算机设备的结构示意图。图 10示出了适于用来实现本发明实施方式的示例性计算机设备12的框 图。图10显示的计算机设备12仅仅是一个示例，不应对本发明实施 例的功能和使用范围带来任何限制。
如图10所示，计算机设备12以通用计算设备的形式表现。计算 机设备12的组件可以包括但不限于：一个或者多个处理器或者处理 单元16，系统存储器28，连接不同系统组件(包括系统存储器28和 处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或 者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总 线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括 但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC) 总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及 外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质 可以是任何能够被计算机设备12访问的可用介质，包括易失性和非 易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介 质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算 机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性 计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可 移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。 尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软 盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每 个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储 器28可以包括至少一个程序产品，该程序产品具有一组(例如至少 一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存 储在例如存储器28中，这样的程序模块42包括——但不限于——操 作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些 示例中的每一个或某种组合中可能包括网络环境的实现。程序模块 42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指 向设备、显示器24等)通信，还可与一个或者多个使得用户能与该 计算机设备12交互的设备通信，和/或与使得该计算机设备12能与 一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调 器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另 外，本实施例中的计算机设备12，显示器24不是作为独立个体存在， 而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显 示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网 络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN) 和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过 总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示 出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、 RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行 各种功能应用以及数据处理，例如实现本发明实施例所提供的一种基 于虚拟场景对摄像机的标定方法。
实施例4
本发明实施例4提供了一种计算机可读存储介质，其上存储有计 算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供 的一种基于虚拟场景对摄像机的标定方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读 介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可 读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、 或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线 的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只 读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、 便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、 或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以 是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装 置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分 传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数 据信号可以采用多种形式，包括——但不限于——电磁信号、光信号 或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可 读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合 使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输， 包括——但不限于——无线、电线、光缆、RF等等，或者上述的任 意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发 明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设 计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计 语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地 在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的 软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完 全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程 计算机可以通过任意种类的网络——包括局域网(LAN)或广域网 (WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利 用因特网服务提供商来通过因特网连接)。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明 并不限于上述实施方式中的具体细节，在本发明的技术构思范围内， 可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本 发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技 术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为 了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合， 只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (9)
1.一种基于虚拟场景对摄像机的标定方法，其特征在于，具体包括如下步骤：
第一步：虚拟靶标的制作：
通过场景仿真软件绘制黑白格标定板，在场景中进行虚拟标定板的渲染；
第二步：摄像机畸变的校正：
将摄像机采集到的虚拟图片，进行图像畸变校正；
第三步：摄像机采集的数据与虚拟传感器的数据进行匹配：
通过BP神经网络的非线性功能拟合出虚拟场景平台传感器与视觉传感器之间的转换关系，在预测阶段即可通过计算得到的非线性关系预测出相应的目标位置。
2.如权利要求1所述的一种基于虚拟场景对摄像机的标定方法，其特征在于，第二步中，通过张正友标定法，得到摄像机的内参系数，以纠正图像的畸变。
3.如权利要求2所述的一种基于虚拟场景对摄像机的标定方法，其特征在于，第三步中，所述的BP神经网络基于Matlab/Simulink环境下进行搭建。
4.如权利要求3所述的一种基于虚拟场景对摄像机的标定方法，其特征在于，第三步中，虚拟平台传感器获取的数据是通过dSpace软件中虚拟传感器获取前方目标的坐标，由于前方目标距离不同时所在的坐标位置也不同，以虚拟场景下测量的目标距离与测量的目标在图像中的坐标数据作为输入参数，即有两个输入参数。
5.如权利要求4所述的一种基于虚拟场景对摄像机的标定方法，其特征在于，第三步中，视觉传感器获取的数据是由车辆前方安装显示屏，通过摄像机对显示屏中目标识别后，目标的纵向和横向距离作为BP神经网络的输出参数。
6.如权利要求5所述的一种基于虚拟场景对摄像机的标定方法，其特征在于，第三步中，虚拟场景平台传感器与视觉传感器之间的转换关系，具体包括三个坐标系之间的相互转换；三个坐标系分别为图像坐标系、摄像机坐标系及世界坐标系；
所述世界坐标系(xw，yw，zw)转化为摄像机坐标系(xc，yc，zc)，是通过一个旋转矩阵R和一个平移向量t实现，具体通过公式(1)实现：
将其化为齐次坐标如下：
所述摄像机坐标系(xc，yc，zc)转化为图像坐标系(x,y)，具体如下：设Oc点为摄像机光心，Xc轴和Yc轴与图像的X轴与Y轴平行，Zc轴为摄像机光轴，其与图像平面垂直；摄像机光轴与图像平面的交点，即为图像坐标系的原点，由点Oc与Xc、Yc、Zc轴组成的直角坐标系称为摄像机坐标系，OOc为摄像机焦距；
摄像机坐标系到图像坐标系的转化：
其中，f为焦距；
将其化为齐次坐标如下：
所述图像坐标系(x,y)转化为像素坐标系(u,v)，(u、v)表示以像素为单位的图像坐标系的坐标，(x、y)表示以物理单位毫米为单位的图像坐标系的坐标；在X、Y坐标系中，原点O定义在摄像机光轴与图像平面的交点；若O在U、V坐标系中坐标为(u0，v0),每一个像素在X轴与Y轴方向上的物理尺寸为dx、dy，则图像任一像素在两个坐标系下有如下关系：
齐次坐标和矩阵形式如下：
通过图像坐标系、摄像机坐标系和世界坐标系之间的相互关系可以得到从世界坐标系到图像坐标系的转换，具体如下：
其中，M1、M2分别为摄像机的内外参数矩阵；视觉传感器通过标定之后，可得到摄像机的内外参数，从而确定图像坐标到空间距离的转换关系，实现物体的测距。
7.一种基于虚拟场景对摄像机的标定装置，包括：
制作模块，用于虚拟靶标的制作；
校正模块，用于摄像机畸变的校正；
匹配模块，用于摄像机采集的数据与虚拟传感器的数据进行匹配。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-6任一项所述的一种基于虚拟场景对摄像机的标定方法。
9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6任一项所述的一种基于虚拟场景对摄像机的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210533924.2A CN114972530A (zh) | 2022-05-17 | 2022-05-17 | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210533924.2A CN114972530A (zh) | 2022-05-17 | 2022-05-17 | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972530A true CN114972530A (zh) | 2022-08-30 |
Family
ID=82982368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210533924.2A Pending CN114972530A (zh) | 2022-05-17 | 2022-05-17 | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972530A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115562076A (zh) * | 2022-11-29 | 2023-01-03 | 北京路凯智行科技有限公司 | 用于无人驾驶矿车的仿真系统、方法以及存储介质 |
-
2022
- 2022-05-17 CN CN202210533924.2A patent/CN114972530A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115562076A (zh) * | 2022-11-29 | 2023-01-03 | 北京路凯智行科技有限公司 | 用于无人驾驶矿车的仿真系统、方法以及存储介质 |
| CN115562076B (zh) * | 2022-11-29 | 2023-03-14 | 北京路凯智行科技有限公司 | 用于无人驾驶矿车的仿真系统、方法以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6842520B2 (ja) | 物体検出方法、装置、機器、記憶媒体及び車両 | |
| CN109343061B (zh) | 传感器标定方法、装置、计算机设备、介质和车辆 | |
| CN109544629B (zh) | 摄像头位姿确定方法和装置以及电子设备 | |
| US9536306B2 (en) | Vehicle vision system | |
| CN108428248B (zh) | 车窗定位方法、系统、设备及存储介质 | |
| CN111462249B (zh) | 一种交通摄像头标定方法及装置 | |
| CN110276287A (zh) | 车位检测方法、装置、计算机设备以及存储介质 | |
| CN110222780A (zh) | 物体检测方法、装置、设备和存储介质 | |
| CN113920538B (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 | |
| US11636684B2 (en) | Behavior model of an environment sensor | |
| CN114187589A (zh) | 一种目标检测方法、装置、设备和存储介质 | |
| CN115100294A (zh) | 基于直线特征的事件相机标定方法、装置及设备 | |
| CN114972530A (zh) | 一种基于虚拟场景对摄像机的标定方法、装置、设备及存储介质 | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN110111018B (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
| CN114595738A (zh) | 为识别模型生成训练数据的方法和生成识别模型的方法 | |
| CN111914841B (zh) | 一种ct图像处理方法和装置 | |
| CN111553954B (zh) | 一种基于直接法单目slam的在线光度标定方法 | |
| CN116309465B (zh) | 一种基于改进的YOLOv5的自然环境下舌像检测定位方法 | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN115527083A (zh) | 图像标注方法、装置和电子设备 | |
| CN113793250A (zh) | 位姿评价方法、位姿确定方法、对应装置和电子设备 | |
| CN113192085A (zh) | 三维器官图像分割方法、装置及计算机设备 | |
| CN112801201A (zh) | 一种基于标准化的深度学习视觉惯导组合导航设计方法 | |
| CN110569827A (zh) | 一种基于卷积神经网络的人脸识别提醒系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |