CN110363085B - 一种基于铰接角补偿的重型铰接车环视实现方法 - Google Patents
一种基于铰接角补偿的重型铰接车环视实现方法 Download PDFInfo
- Publication number
- CN110363085B CN110363085B CN201910497299.9A CN201910497299A CN110363085B CN 110363085 B CN110363085 B CN 110363085B CN 201910497299 A CN201910497299 A CN 201910497299A CN 110363085 B CN110363085 B CN 110363085B
- Authority
- CN
- China
- Prior art keywords
- angle
- vehicle
- layer
- camera
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 13
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于铰接角补偿的重型铰接车环视实现方法，包括有，采集单元：用于采集车速、方向盘转角以及车辆档位信号，与处理终端电连接；处理终端：对采集单元采集的信息进行分析处理，与交互终端电连接；交互终端：用于向用户展示处理终端的输出结果；包括如下步骤：S1、离线系统标定；S2、系统应用模式设定；S3、在线铰接角补偿；S4、场景信息融合。该技术方案以多个辅助视角显示车辆周围环境，辅助驾驶员进行低速车辆操作，最大限度支持多传感以及智能视觉分析融合，以降低此类车辆的驾驶盲区，辅助驾驶员进行低速车辆操作，从而提升行车安全、降低相关事故率。
Description
技术领域
本发明涉及车辆控制领域，具体的，涉及一种基于铰接角补偿的重型铰接车环视实 现方法。
背景技术
智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域应用越来 越广。360度环视系统是现有高级汽车辅助安全系统之一，对于乘用车而言，此类系统可以 在低速工况下为驾驶员提供车辆周围情况，为驾驶员低速操作提供视觉辅助(如泊车等)，已 经成为了众多量产车型的标准配置。对于重型商用车而言,此类系统可以大大减轻驾驶员低 速车辆操作情况下的视觉盲区，辅助提升行车安全，降低事故率。
然而现有此类量产系统只适用于小型乘用车或单体商用车，重型铰接车辆相对于一般 重型商用车辆，其视觉盲区更大，车辆转弯以及倒车操作难度更大，尚无可行的环视辅助显 示方案。因为重型铰接车辆具备以下特征：(1)车辆总长十余米，现有方案很难实现较好的 拼接显示效果；(2)牵引车相机与挂车相机的外部几何参数关系会随铰接角的变化而变化(车 辆转弯时)。
重型铰接车辆一般采用传统反光结构后视镜或者多相机分屏显示对车辆周围环境进 行辅助显示，此类方法或存在盲区或不够直观(需关注的点较分散)。
发明内容
本发明的目的是解决现有铰接车辆在倒车、转弯时的存在视觉盲区导致驾驶人员安全 操作难度大的问题，提出了一种基于铰接角补偿的重型铰接车环视实现方法，以多个辅助视 角(包含俯视视角)显示车辆周围环境，辅助驾驶员进行低速车辆操作，最大限度支持多传 感以及智能视觉分析融合，以降低此类车辆的驾驶盲区，辅助驾驶员进行低速车辆操作，从 而提升行车安全、降低相关事故率。
为实现上述技术目的，本发明提供的一种技术方案是，一种基于铰接角补偿的重型铰 接车环视实现方法，包括有，采集单元：用于采集车速、方向盘转角以及车辆档位信号，与 处理终端电连接；
处理终端：对采集单元采集的信息进行分析处理，与交互终端电连接；
交互终端：用于向用户展示处理终端的输出结果；
其特征在于：包括如下步骤：
S1、离线系统标定；
S2、系统应用模式设定；
S3、在线铰接角补偿；
S4、场景信息融合。
本方案中，包括采集单元(环视鱼眼相机、超声波雷达等)、处理终端(GPU或DSP 等嵌入式处理单元)以及交互终端(显示屏、扬声器、触摸屏或触摸板)，车速、方向盘转角 以及车辆档位信号可作为额外系统输入接入车载处理终端，车辆周围场景以及其他可选交互信息经融合后通过交互终端向用户推送最终系统输出。各相机与处理终端之间的数据传输可 采用同轴线缆(基于HD-CVI协议)或LVDS线缆；各车辆传感信号(车速、方向盘转角以 及车辆档位)可通过CAN总线接入处理终端。相机默认安装位置为车体顶部，斜45°朝向 车体周围地面，超声波雷达安装于约半米处(根据车辆微调)，朝向水平向外；处理终端处理 采集单元端的数据，依次经过离线系统标定、系统应用模式设定、在线铰接角补偿以及场景信息融合，最终将信息输出到交互终端供用户端查看。
所述步骤S1中离线系统标定包括有相机内部参数以及外部参数标定；所述相机内部 参数标定包括光心、焦距以及镜头畸变参数标定；相机外部参数标定包括相机的安装高度、 角度以及相对铰接点的安装位置标定。本方案中，采用分步式的标定方法标定效率高、适用 于批量标定。相机内部参数标定主要包括光心、焦距以及镜头畸变参数等标定；相机外部参 数标定主要包括相机的安装高度、角度以及相对铰接点的安装位置等标定。
所述步骤S2中应用模式设定包括有倒车模式设定、前景模式设定以及转弯模式设定。 本方案中，倒车模式：车辆处于R档时，环视系统辅助视角设置于后视相机附近处，方向向 后，作为配置选项可随方向盘转角变化而变动，默认视场角包含60°和120°两种可选；
前进模式：车辆处于D档时，环视系统辅助视角设置于前视相机附近处，方向向前，作为配 置选项可随方向盘转角变化而变动，默认视场角包含60°和120°两种可选；
转弯模式：车辆处于D档，方向盘转角大于某预设阈值时，环视系统辅助视角设置于左右侧 后门处，高度约1.5米，方向向前，默认视场角为90°。
所述的步骤S3中在线铰接角补偿包括有如下步骤：
S31、图像预处理；根据所述离线系统标定环视相机映射关系，将挂车两侧环视相机原始视觉 的roi部分映射至挂车坐标系下的鸟瞰视角中，并缩放至后续算法模块所需输入尺寸；
S32、场景分析神经网络；依据牵引车轮胎轮廓分割，实现两车之间铰接角估算；
S33、铰接角回归网络；级联于步骤S32分割网络输出之后，用于回归铰接角；
S34、挂车相机位置补偿；在车辆铰接角变化时，挂车坐标系相对于牵引车坐标系存在Γ角度 的旋转坐标变换。利用上述铰接角测量值，对此挂车坐标系变换进行补偿，即：
其中，x’，y’为补偿后坐标(即牵引车坐标系)，x，y为原始挂车坐标系下坐标。
所述的步骤S32中，两车之间铰接角估算实现的步骤如下：
S321、训练数据采集与标注；采集各种天气、时间与环境工况的低速行车图像样本，并备注 好相应的相机标定参数，生成训练数据集；在原始视图中，对牵引车轮胎部分进行标注，生 成相应二进制训练标签(0-背景，1-轮胎部分)。
S322、神经网络结构设计；所述神经网络包括有依次连接的图像输入层、共享特征层 以及解码输出层；图像输入层为维度为240*240*3的RGB鸟瞰视角图片。共享特征层主要由 级联conv+relu+BN组合，降采样由conv层的步长(一般为1或2)实现。解码输出层主要由反卷积以及softmax层构成，模型输出为240*240*2的场景语义信息。
S323、离线神经网络参数训练；对于所述训练数据集，将图片与相应标签按相机标定 参数透视变换至鸟瞰视角，经缩放后进行在线样本扩充；透视变换包括包括随机裁剪，旋转 等操作，随机初始化模型参数，之后采用批量随机梯度下降的方法求优像素级。
S324、在线神经网络应用；将训练好模型参数经剪枝与量化等压缩操作后，部署于前 端平台；前向网络推理可采用固定roi与动态roi两种模式。其中动态roi根据铰接车辆低速 动力学模型与车速及方向盘转角输入，估算出相应铰接角的大概区间，即可推算出牵引车后 轮的位置区间，可将其作为神经网络输入，从而提升检测精度或减少运算耗时。
S325、网络输出后处理；网络输出为二通道的场景语义信息，即场景中轮胎ch1(x，y)与 其他背景ch0(x，y)的概率，按如下公式生成轮胎二进制mask：
其中，(x,y)为鸟瞰平面坐标，Thrmin为可信概率最小阈值，默认为0.5。
所述的步骤S4场景信息融合包括有场景拼接和辅助图形的生成与叠加。本方案中， 将各环视相机视角内容映射到预先建立的环境模型上，以便后续以不同的应用辅助视角进行 场景显示，主要包括车辆周围场景拼接、行车轨迹辅助显示以及超声波雷达探测结果融合等。
所述的场景拼接步骤如下：
S41、场景模型建立：场景模型包括有平面场景模型与立体场景模型两种；
S42、动态光照补偿：各环视相机之间同步曝光与增益参数或对拼接重合区域基于亮度统计后 处理来实现；前者适用于ISP算法在处理终端集中实现的方案，需要制定好处理终端与相机 之间的通讯协议；后者则需要在处理终端统计相邻相机重合区域的亮度差异，并利用梯度下 降或其他类似求优方法求取使得上述亮度差异最小的各视角亮度均衡补偿增益，并作用于相 应俯视视角区域范围内。对于铰接车辆而言，牵引车与挂车侧环视相机亮度补偿统计区域随 铰接角的测量值而变化，进行相应的坐标变换以更新相邻相机重合区域的位置对应关系；
S43、接缝融合：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合；对于牵引车 侧相机与拖挂车辆侧相机，由于二者几何位置关系随车辆铰接角变化而变化，因而采用与铰 接角Γ关联的动态接缝，各接缝定义在以铰接角为原点的牵引车坐标系下，表达式如下，宽 度为可设置参数(默认值为20)：
x，y为原始挂车坐标系下坐标，其余接缝均为固定接缝，默认定义为相邻相机鸟瞰视角矩形 重合区域与车辆相交的对角线，
S44、辅助视角渲染：利用小孔成像原理，渲染该辅助全景视图。根据系统应用模式设定中的 应用层所输出的场景辅助模式，设定渲染点以及渲染所用虚拟相机参数，包括焦距、视场角 以及全局坐标。
所述的辅助图层的生成与叠加包括行车轨迹图层的生成、超声波雷达图层的生成以及 行车轨迹图层与超声波雷达图层的叠加。本方案中，相比于乘用车而言，铰接重型车辆拖挂 车的运动轨迹相对于方向盘转角输入更不直观，因而挂车的行车轨迹对低速行车安全有着重 要的应用价值。
行车轨迹图层：根据车辆低速运动学几何原理，牵引车转向中心为O1，拖挂车转向中 心为O2；牵引车与半挂车转向半径分别为R1与R2；牵引车与挂车的行车轨迹表达式可根据 几何原理推算而得。
超声波雷达图层：根据超声波雷达系统的距离探测结果，按远(默认2-5m)中(默认0.5-2m)近(默认0-0.5m)三个阶梯以不同颜色(默认红、黄、绿)可视化各超声波雷达探 测区域，生成超声波雷达图层。
本发明的有益效果：本技术方案以多个辅助视角显示车辆周围环境，辅助驾驶员进行 低速车辆操作，最大限度支持多传感以及智能视觉分析融合，以降低此类车辆的驾驶盲区， 辅助驾驶员进行低速车辆操作，从而提升行车安全、降低相关事故率。
附图说明
图1是重型铰接车环视系统结构示意图。
图2是一种基于铰接角补偿的重型铰接车环视实现方法的流程图。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发 明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实 施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创 造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：如图1所示为重型铰接车环视系统结构示意图，由车体、采集单元(环视鱼眼相机、超声波雷达等)、处理终端(GPU或DSP等嵌入式处理单元)以及交互终端(显示 屏、扬声器、触摸屏或触摸板)组成，车速、方向盘转角以及车辆档位信号可作为额外系统 输入接入车载处理终端，车辆周围场景以及其他可选交互信息经融合后通过交互终端向用户推送最终系统输出。各相机与处理终端之间的数据传输可采用同轴线缆(基于HD-CVI协议)或LVDS线缆；各车辆传感信号(车速、方向盘转角以及车辆档位)可通过CAN总线接入处 理终端。相机默认安装位置为车体顶部，斜45°朝向车体周围地面，超声波雷达安装于约半 米处(根据车辆微调)，朝向水平向外。
如图2所示，为本实施例的一种基于铰接角补偿的重型铰接车环视实现方法的流程图， 步骤如下：
S1、离线系统标定：包括相机内部参数以及外部参数标定。采用分步式的标定方法标定效率 高、适用于批量标定；相机内部参数标定主要包括光心、焦距以及镜头畸变参数等标定；相 机外部参数标定主要包括相机的安装高度、角度以及相对铰接点的安装位置等标定。
S2、系统状态与应用：根据环视系统应用开关以及车载传感器输入，定义若干种环视 系统应用模式，各模式对应相应的辅助视角渲染点位置，基础模式包括如下三种应用模式：
S21、倒车模式：车辆处于R档时，环视系统辅助视角设置于后视相机附近处，方向向后， 作为配置选项可随方向盘转角变化而变动，默认视场角包含60°和120°两种可选；
S22、前进模式：车辆处于D档时，环视系统辅助视角设置于前视相机附近处，方向向前， 作为配置选项可随方向盘转角变化而变动，默认视场角包含60°和120°两种可选；
S23、转弯模式：车辆处于D档，方向盘转角大于某预设阈值时，环视系统辅助视角设置于 左右侧后门处，高度约1.5米，方向向前，默认视场角为90°。
S3、在线铰接角补偿：采用基于视觉的铰接角补偿方法，利用挂车侧环视相机作为级 联神经网络输入计算牵引车与挂车之间铰接角，具体方法如下：
S31、图像预处理：根据离线系统标定环视相机映射关系，将挂车两侧环视相机原始视觉的roi 部分映射至挂车坐标系下的鸟瞰视角中，并缩放至后续算法模块所需输入尺寸。
S32、场景分割神经网络：由于车辆行驶的场景不同，路面的纹理不尽相同，因此本发 明网络依据牵引车轮胎轮廓分割，实现两车之间铰接角估算。具体做法如下：
S321、训练数据采集与标注：利用与本系统方案类似的相机，采集各种天气、时间与环境工 况的低速行车图像样本，并备注好相应的相机标定参数。在原始视图中，对牵引车轮胎部分 进行标注，生成相应二进制训练标签(0-背景，1-轮胎部分)；
S322、神经网络结构设计：包含图像输入层、共享特征层以及解码输出层。图像输入层为维 度为240*240*3的RGB鸟瞰视角图片。共享特征层主要由级联conv+relu+BN组合，降采样 由conv层的步长(一般为1或2)实现。解码输出层主要由反卷积以及softmax层构成，模 型输出为240*240*2的场景语义信息；
S323、离线神经网络参数训练：对于上述训练数据集，将图片与相应标签按相机标定参数透 视变换至鸟瞰视角，经缩放后进行在线样本扩充，包括随机裁剪，旋转等操作。随机初始化 模型参数，之后采用批量随机梯度下降的方法求优像素级；
S324、在线神经网络应用：将上述训练好模型参数经剪枝与量化等压缩操作后，部署于前端 平台。前向网络推理可采用固定roi与动态roi两种模式。其中动态roi根据铰接车辆低速动 力学模型与车速及方向盘转角输入，估算出相应铰接角的大概区间，即可推算出牵引车后轮 的位置区间，可将其作为神经网络输入，从而提升检测精度或减少运算耗时；
S325、网络输出后处理：上述网络输出为二通道的场景语义信息，即场景中轮胎ch1(x，y)与 其他背景ch0(x，y)的概率，按如下公式生成轮胎二进制mask：
其中，(x,y)为鸟瞰平面坐标，Thrmin为可信概率最小阈值，默认为0.5。
S33、铰接角回归网络：级联于3.2的分割网络输出之后，用于回归铰接角。该网络输 入为240*240二进制图片，特征部分为全卷积层(包含激活和正则化)，输出为1维铰接角测 量值。训练标签由鸟瞰视角中标注牵引车同侧车轮连线与挂车坐标系x轴夹角计算所得。训 练方法与3.2相似，所选用smooth L1回归损失函数。
S34、挂车相机位置补偿：在车辆铰接角变化时，挂车坐标系相对于牵引车坐标系存在 Γ角度的旋转坐标变换。利用上述铰接角测量值，对此挂车坐标系变换进行补偿,即：
其中，x’，y’为补偿后坐标(即牵引车坐标系)，x，y为原始挂车坐标系下坐标。
S4、场景信息融合：将各环视相机视角内容映射到预先建立的环境模型上，以便后续 以不同的应用辅助视角进行场景显示。主要包括车辆周围场景拼接、行车轨迹辅助显示以及 超声波雷达探测结果融合等。
S41、场景拼接：主要包括场景模型建立，光照补偿，接缝融合以及辅助视角渲染等三 部分。
场景模型建立：场景模型包含为平面场景模型与立体场景模型两种。
动态光照补偿：光照补偿可以通过各环视相机之间同步曝光与增益参数或对拼接重合 区域基于亮度统计后处理来实现。前者适用于ISP算法在处理终端集中实现的方案，需要制 定好处理终端与相机之间的通讯协议；后者则需要在处理终端统计相邻相机重合区域的亮度 差异，并利用梯度下降或其他类似求优方法求取使得上述亮度差异最小的各视角亮度均衡补 偿增益，并作用于相应俯视视角区域范围内。对于铰接车辆而言，牵引车与挂车侧环视相机 亮度补偿统计区域随铰接角的测量值而变化，进行相应的坐标变换以更新相邻相机重合区域 的位置对应关系。
接缝融合：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。对于牵引 车侧相机与拖挂车辆侧相机，由于二者几何位置关系随车辆铰接角变化而变化，因而采用与 铰接角Γ关联的动态接缝，各接缝定义在以铰接角为原点的牵引车坐标系下，表达式如下， 宽度为可设置参数(默认值为20)：
x，y为原始挂车坐标系下坐标，其余接缝均为固定接缝，默认定义为相邻相机鸟瞰视角矩形 重合区域与车辆相交的对角线。
辅助视角渲染：将车辆立体模型至于环境立体模型中，根据系统应用模式设定中的应 用层所输出的场景辅助模式，设定渲染点以及渲染所用虚拟相机参数，包括焦距、视场角以 及全局坐标。利用小孔成像原理，渲染该辅助全景视图。
S42、辅助图层叠加：主要包括行车轨迹图层以及超声波雷达图层生成与叠加。相比于 乘用车而言，铰接重型车辆拖挂车的运动轨迹相对于方向盘转角输入更不直观，因而挂车的 行车轨迹对低速行车安全有着重要的应用价值。
a.行车轨迹图层：牵引车转向中心为O1，拖挂车转向中心为O2；牵引车与半挂车转向半径分别为R1与R2；牵引车与挂车的行车轨迹表达式可根据几何原理推算而得。
b.超声波雷达图层：根据超声波雷达系统的距离探测结果，按远(默认2-5m)中(默认0.5-2m)近(默认0-0.5m)三个阶梯以不同颜色(默认红、黄、绿)可视化各超声波雷达 探测区域，生成超声波雷达图层。
以上所述之具体实施方式为本发明一种基于铰接角补偿的重型铰接车环视实现方法 的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体 实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。
Claims (5)
1.一种基于铰接角补偿的重型铰接车环视实现方法，包括有，采集单元：用于采集车速、方向盘转角以及车辆档位信号，与处理终端电连接；
处理终端：对采集单元采集的信息进行分析处理，与交互终端电连接；
交互终端：用于向用户展示处理终端的输出结果；
其特征在于：包括如下步骤：
S1、离线系统标定；
S2、系统应用模式设定；
S3、在线铰接角补偿；
S4、场景信息融合；
步骤S2中应用模式设定包括有倒车模式设定、前景模式设定以及转弯模式设定；
倒车模式：车辆处于R档时，环视系统辅助视角设置于后视相机附近处，方向向后，作为配置选项可随方向盘转角变化而变动，默认视场角包含60°和120°两种可选；
前进模式：车辆处于D档时，环视系统辅助视角设置于前视相机附近处，方向向前，作为配置选项可随方向盘转角变化而变动，默认视场角包含60°和120°两种可选；
转弯模式：车辆处于D档，方向盘转角大于某预设阈值时，环视系统辅助视角设置于左右侧后门处，高度约1.5米，方向向前，默认视场角为90；
步骤S3中在线铰接角补偿包括有如下步骤：
S31、图像预处理；根据所述离线系统标定环视相机映射关系，将挂车两侧环视相机原始视觉的roi部分映射至挂车坐标系下的鸟瞰视角中，并缩放至后续算法模块所需输入尺寸；
S32、场景分析神经网络；依据牵引车轮胎轮廓分割，实现两车之间铰接角估算；
S33、铰接角回归网络；级联于步骤S32分割网络输出之后，用于回归铰接角；
S34、挂车相机位置补偿；在车辆铰接角变化时，挂车坐标系相对于牵引车坐标系存在Γ角度的旋转坐标变换；
利用铰接角测量值，对此挂车坐标系变换进行补偿，即：
其中，x’，y’为补偿后坐标，即牵引车坐标系，x，y为原始挂车坐标系下坐标；
两车之间铰接角估算实现的步骤如下：
S321、训练数据采集与标注；采集各种天气、时间与环境工况的低速行车图像样本，并备注好相应的相机标定参数，生成训练数据集；在原始视图中，对牵引车轮胎部分进行标注，生成相应二进制训练标签，定义：0-背景，1-轮胎部分；
S322、神经网络结构设计；所述神经网络包括有依次连接的图像输入层、共享特征层以及解码输出层；图像输入层为维度为240*240*3的RGB鸟瞰视角图片；共享特征层主要由级联conv+relu+BN组合，降采样由conv层的步长实现；解码输出层主要由反卷积以及softmax层构成，模型输出为240*240*2的场景语义信息；
S323、离线神经网络参数训练；对于所述训练数据集，将图片与相应标签按相机标定参数透视变换至鸟瞰视角，经缩放后进行在线样本扩充；透视变换包括包括随机裁剪，旋转等操作，随机初始化模型参数，之后采用批量随机梯度下降的方法求优像素级；
S324、在线神经网络应用；将训练好模型参数经剪枝与量化等压缩操作后，部署于前端平台；前向网络推理可采用固定roi与动态roi两种模式；其中动态roi根据铰接车辆低速动力学模型与车速及方向盘转角输入，估算出相应铰接角的大概区间，即可推算出牵引车后轮的位置区间，可将其作为神经网络输入，从而提升检测精度或减少运算耗时；
S325、网络输出后处理；网络输出为二通道的场景语义信息，即场景中轮胎ch1(x，y)与其他背景ch0(x，y)的概率，按如下公式生成轮胎二进制mask：
其中，(x,y)为鸟瞰平面坐标，Thrmin为可信概率最小阈值，默认为0.5。
2.根据权利要求1所述的一种基于铰接角补偿的重型铰接车环视实现方法，其特征在于：步骤S1中离线系统标定包括有相机内部参数以及外部参数标定；所述相机内部参数标定包括光心、焦距以及镜头畸变参数标定；相机外部参数标定包括相机的安装高度、角度以及相对铰接点的安装位置标定。
3.根据权利要求1所述的一种基于铰接角补偿的重型铰接车环视实现方法，其特征在于：步骤S4场景信息融合包括有场景拼接和辅助图层的生成与叠加。
4.根据权利要求3所述的一种基于铰接角补偿的重型铰接车环视实现方法，其特征在于：场景拼接步骤如下：
S41、场景模型建立：场景模型包括有平面场景模型与立体场景模型两种；
S42、动态光照补偿：各环视相机之间同步曝光与增益参数或对拼接重合区域基于亮度统计后处理来实现；
S43、接缝融合：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合；
S44、辅助视角渲染：利用小孔成像原理，渲染辅助全景视图。
5.根据权利要求3所述的一种基于铰接角补偿的重型铰接车环视实现方法，其特征在于：所述的辅助图层的生成与叠加包括行车轨迹图层的生成、超声波雷达图层的生成以及行车轨迹图层与超声波雷达图层的叠加。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910497299.9A CN110363085B (zh) | 2019-06-10 | 2019-06-10 | 一种基于铰接角补偿的重型铰接车环视实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910497299.9A CN110363085B (zh) | 2019-06-10 | 2019-06-10 | 一种基于铰接角补偿的重型铰接车环视实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363085A CN110363085A (zh) | 2019-10-22 |
| CN110363085B true CN110363085B (zh) | 2021-11-09 |
Family
ID=68216902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910497299.9A Active CN110363085B (zh) | 2019-06-10 | 2019-06-10 | 一种基于铰接角补偿的重型铰接车环视实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363085B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110719411B (zh) * | 2019-12-16 | 2020-04-03 | 长沙智能驾驶研究院有限公司 | 车辆的全景环视图像生成方法及相关设备 |
| US11409299B2 (en) | 2020-08-19 | 2022-08-09 | Caterpillar Inc. | Determining object detection area based on articulation angle |
| CN111942391A (zh) * | 2020-09-15 | 2020-11-17 | 徐工集团工程机械股份有限公司道路机械分公司 | 铰接式工程机械、全景环视系统及其标定方法 |
| CN113246863A (zh) * | 2021-06-25 | 2021-08-13 | 上海昶音通讯科技有限公司 | 用于大型汽车的全景环视系统及影像处理方法 |
| CN116499420B (zh) * | 2023-05-23 | 2023-10-17 | 清华大学 | 一种半挂车与牵引车之间的夹角的测量方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202728085U (zh) * | 2012-07-03 | 2013-02-13 | 东风杭州汽车有限公司 | 安装有360度全息影像安全辅助系统的机动车 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN107187387A (zh) * | 2017-04-24 | 2017-09-22 | 北京长城华冠汽车科技股份有限公司 | 电动汽车倒车显示控制装置及方法 |
| CN108263283A (zh) * | 2018-01-25 | 2018-07-10 | 长沙立中汽车设计开发股份有限公司 | 多编组变角度车辆全景环视系统标定及拼接方法 |
| CN109429039A (zh) * | 2017-09-05 | 2019-03-05 | 中车株洲电力机车研究所有限公司 | 一种多编组铰接车辆周界视频全景显示系统及方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102582686B (zh) * | 2012-01-18 | 2013-09-18 | 吉林大学 | 一种汽车列车铰接角测量及控制系统 |
| CN106250893A (zh) * | 2016-07-25 | 2016-12-21 | 浙江零跑科技有限公司 | 一种基于后视单目相机的多列车铰接角测量方法 |
| CN106225723B (zh) * | 2016-07-25 | 2019-03-29 | 浙江零跑科技有限公司 | 一种基于后视双目相机的多列车铰接角测量方法 |
-
2019
- 2019-06-10 CN CN201910497299.9A patent/CN110363085B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202728085U (zh) * | 2012-07-03 | 2013-02-13 | 东风杭州汽车有限公司 | 安装有360度全息影像安全辅助系统的机动车 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN107187387A (zh) * | 2017-04-24 | 2017-09-22 | 北京长城华冠汽车科技股份有限公司 | 电动汽车倒车显示控制装置及方法 |
| CN109429039A (zh) * | 2017-09-05 | 2019-03-05 | 中车株洲电力机车研究所有限公司 | 一种多编组铰接车辆周界视频全景显示系统及方法 |
| CN108263283A (zh) * | 2018-01-25 | 2018-07-10 | 长沙立中汽车设计开发股份有限公司 | 多编组变角度车辆全景环视系统标定及拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363085A (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363085B (zh) | 一种基于铰接角补偿的重型铰接车环视实现方法 | |
| CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶系统及方法 | |
| CN108263283B (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| CN110381255B (zh) | 应用360全景环视技术的车载视频监控系统及方法 | |
| JP7010221B2 (ja) | 画像生成装置、画像生成方法、及び、プログラム | |
| CN108638999B (zh) | 一种基于360度环视输入的防碰撞预警系统及方法 | |
| US9445011B2 (en) | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation | |
| CN110371108B (zh) | 车载超声波雷达与车载环视系统融合方法 | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| US20140114534A1 (en) | Dynamic rearview mirror display features | |
| CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
| CN108765496A (zh) | 一种多视点汽车环视辅助驾驶系统及方法 | |
| CN101442618A (zh) | 用于车辆辅助驾驶的360度环形视频合成方法 | |
| CN202035096U (zh) | 移动机械的移动操作监控系统 | |
| KR20020005496A (ko) | 화상합성장치 및 방법 | |
| CN102521817A (zh) | 一种用于全景泊车系统的图像融合方法 | |
| DE102014115037A1 (de) | Sichtbasierte Objekterkennung und -hervorhebung bei Fahrzeugbildanzeigesystemen | |
| CN102745138A (zh) | 一种双视场动态轨迹倒车影像系统 | |
| CN113525234A (zh) | 一种辅助驾驶系统装置 | |
| CN102291541A (zh) | 一种车辆虚拟合成显示系统 | |
| CN112348741A (zh) | 全景图像拼接方法、设备及存储介质和显示方法及系统 | |
| CN104477097A (zh) | 一种新型电子后视系统及控制逻辑 | |
| CN111372055A (zh) | 一种车底图像显示系统及方法 | |
| CN108174089B (zh) | 基于双目摄像头的倒车影像拼接方法和装置 | |
| CN116648734A (zh) | 下雨、光线入射和脏污时环视摄像系统图像的修正 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Zero run Technology Co.,Ltd. Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |