CN117455792B - 一种车辆内置360度全景影像合成处理方法 - Google Patents
一种车辆内置360度全景影像合成处理方法 Download PDFInfo
- Publication number
- CN117455792B CN117455792B CN202311787351.7A CN202311787351A CN117455792B CN 117455792 B CN117455792 B CN 117455792B CN 202311787351 A CN202311787351 A CN 202311787351A CN 117455792 B CN117455792 B CN 117455792B
- Authority
- CN
- China
- Prior art keywords
- vehicle speed
- vehicle
- acquisition
- panoramic image
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims description 27
- 230000002194 synthesizing effect Effects 0.000 title claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 92
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 92
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 238000012937 correction Methods 0.000 claims description 66
- 238000004088 simulation Methods 0.000 claims description 65
- 238000011156 evaluation Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000012854 evaluation process Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明属于影像合成处理技术领域，具体公开提供的一种车辆内置360度全景影像合成处理方法，该方法包括：启动车辆各方位视角上安置的环境采集终端采集各视角对应区域的环境信息，同时提取车辆的行驶车速信息；启动车辆各视角区域内安置的摄像头进行图像采集；确认车辆全景影像合成模式；确认全景影像参数处理方案；根据全景影像参数处理方案，对各视角区域内安置的摄像头进行对应采集参数处理；本发明有效解决了当前合成处理场景适应性较为局限的问题，扩展了当前全景影像的合成处理场景，同时也提升了后续合成处理的便利性，从而进一步提升了合成图像的质量保障，并且也确保了驾驶人员的观看体验。
Description
技术领域
本发明属于影像合成处理技术领域，涉及一种车辆内置360度全景影像合成处理方法。
背景技术
通过车辆内置360度全景影像，驾驶员可以获得全方位的视野从而降低事故的发生概率。特别是在倒车、并线或行驶复杂道路时，全景影像可以提供额外的视觉支持，帮助驾驶员做出更准确的决策，由此凸显了全景影响合成处理的重要性。
目前车辆内置360度全景影像合成处理主要侧重在合成图像质量层面的处理，如图像拼接缝处的处理以及图像视角层面，但是当前全息影像合成处理还存在以下几个方面的不足：1、合成处理场景的适应性较为局限，当前合成处理技术多偏向较为简单的场景，如倒车等，对于动态复杂类的场景考虑较少，适应性不足，使得合成图像质量难以达到预期，进而无法保障驾驶人员的观看体验。
2、合成影像的图像处理存在一定的欠缺，未结合现实环境的动态变化进行采集参数的自动调整，进而使得车辆全景影像合成效率提升不明显，也无法减少后续影像合成的处理流程。
发明内容
鉴于此，为解决上述背景技术中所提出的问题，现提出一种车辆内置360度全景影像合成处理方法。
本发明的目的可以通过以下技术方案实现：本发明提供一种车辆内置360度全景影像合成处理方法，该方法包括：步骤1、行驶环境采集：启动车辆各视角区域内安置的环境采集终端采集各视角区域的环境信息，同时从车辆管理后台提取车辆的行驶车速信息。
步骤2、视角图像采集：启动车辆各视角区域内安置的摄像头进行图像采集，得到各视角区域对应各采集图像。
步骤3、影像合成模式确认：根据各视角区域对应各采集图像，确认车辆全景影像合成模式，所述车辆全景影像合成模式为Ⅰ级模型和Ⅱ级模式中的一个。
步骤4、影像合成处理方案确认：当车辆全景影像合成模型为Ⅱ级模式，确认全景影像参数处理方案。
步骤5、影像合成处理：用于根据全景影像参数处理方案，对各视角区域内安置的摄像头进行对应采集参数处理。
于本发明一优选实施例，所述确认车辆全景影像合成模式，包括：对各视角区域对应各采集图像中进行对象状态识别，若某视角区域对应各采集图像的对象状态中存在动态状态，则将Ⅱ级模式作为车辆全景影像合成模式，若各视角区域对应各采集图像的对象状态均为静态状态，从所述环境信息中提取各采集时间点的光线亮度，确认车辆全景影像合成的光影干扰度。
从所述行驶车速信息中定位出各采集时间点的车速，据此确认车辆全息影像合成的车速干扰度。
若或者/>，将Ⅱ级模式作为车辆全景影像合成模式，若/>且，将Ⅰ级模式作为车辆全景影像合成模式，其中，/>为设定参照全景影像合成的光影干扰度，/>为设定参照全景影像合成的车速干扰度。
于本发明一优选实施例，所述确认车辆全景影像合成的光影干扰度，包括：从各视角区域在各采集时间点的光线亮度中提取当前所处采集时间点的光线亮度，并筛选出最高光线亮度和最低光线亮度，作差得到最大光线亮度差，并将其作为评估值。
将设定的影像合成干扰光线亮度差作为对照值，若评估值大于或者等于对照值，将车辆全景影像合成的光影干扰度记为。
若评估值小于对照值，以时间为横坐标，以光线亮度为纵坐标，构建各视角区域的光线亮度变化曲线，并分别从中进行幅值和波动点数目提取，分别记为和/>，/>表示方位编号，/>。
将作为光影干扰评估变量/>，/>为设定参照的光线亮度幅值、波动点数目，进而将/>作为车辆全景影像合成的光影干扰度，并记为/>，/>为设定参照变量，以此得到车辆全景影像合成的光影干扰度/>，/>取值为/>或者/>，。
于本发明一优选实施例，所述确认车辆全息影像合成的车速干扰度，包括：基于各采集时间点的车速，确认车辆常态车速。
以两个采集时间点为一个车速采集时间组，以此将各采集时间点划分按照时间先后划分为各车速采集时间组，并将各车速采集时间组按照时间先后进行排序，得到各车速采集时间组的位置排序。
将各车速采集时间组内两采集时间点的车速进行作差，作为各车速采集时间组的采集车速差，进而通过车速偏差评定规则评定得到车速偏差时间组数和波动偏差时间组数/>。
统计车辆全息影像合成的车速干扰度，，/>为车速采集时间组数，/>为设定干扰车速，/>为向上取值符号。
于本发明一优选实施例，所述车速偏差评定规则的具体评定过程为：将采集车速差大于设定的车辆稳定行驶评估车速差作为车速偏差评定条件1。
将车速偏差评定条件1成立的车速采集时间组作为车速偏差时间组，以此输出车速偏差时间组数。
提取各车速偏差时间组的位置排序，进而得到各车速偏差时间组的间隔车速采集时间组数，并将间隔车速采集时间组数不为0作为车速偏差评定条件2。
若某俩车速偏差时间组的车速偏差评定条件2成立，则将该两车速偏差时间组组成波动偏差时间组，据此输出波动偏差时间组数。
于本发明一优选实施例，所述确认全景影像参数处理方案，包括：评定全景影像合成参数的处理导因项。
当处理导因项为车速时，从车辆管理后台提取导因标签为车速的各摄像采集参数，记为各车速采集参数，并提取各车速采集参数的设置值，/>表示车速采集参数编号，。
将作为各车速采集参数的当前更正设置值，其中，/>为单位车速干扰度偏差对应第/>个车速关联采集参数的浮动设置值，/>为设定的各车速采集参数的补偿更正值，并确认各车速采集参数的自动更正设置频率，将各车速采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
当处理导因项为光影时，将各视角区域内安置的摄像头作为各方位摄像头。
从车辆管理后台提取导因标签为光影的各摄像采集参数，作为各光影采集参数，并提取各光影采集参数的设置值，记为，/>表示各光影采集参数编号，/>，分析各方位摄像头对应各光影采集参数的当前更正设置值。
提取各方位摄像头所属视角区域的光线亮度变化曲线的幅值和波动点数目，分别记为和/>，/>表示方位摄像头编号，/>。
设置各光影采集参数的自动更正设置频率为同一频率，进而将作为各方位摄像头对应各光影采集参数的自动更正设置频率，/>为单位光影波动指数比对应参照自动更正设置频率，/>为设定参照光影波动指数。
将各方位摄像头对应各光影采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
当处理导因项为车速和光影时，将各车速采集参数的当前更正设置值、自动更正设置频率以及各方位摄像头对应各光影采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
于本发明一优选实施例，所述评定全景影像合成参数的处理导因项，包括：当仅存在成立，将车速作为处理导因项。
当仅存在成立，将光影采集作为处理导因项。
当且/>成立，将光影和车速均作为处理导因项。
于本发明一优选实施例，所述各车速采集参数的补偿更正值的具体设定方式如下：构建图像采集模拟模型，图像采集模拟模型的输入为各车速采集参数的设置模拟值，输出为模拟图像所属各图像指标的数值。
设置各车速采集参数对应的各模拟值，并将各车速采集参数对应各模拟值进行随机组合，得到各模拟组，并记录各模拟组中各车速采集参数的所属模拟值。
将各模拟组导入图像采集模拟模型，进而输出各模拟组对应模拟图像所属各图像指标的数值，据此统计各模拟组对应模拟图像的成像符合度，并筛选出成像符合度最大的模拟组，作为目标模拟组。
提取目标模拟组中各车速采集参数的所属模拟值，记为，进而将作为各车速采集参数的补偿更正值。
于本发明一优选实施例，所述各车速采集参数的自动更正设置频率均相同，所述自动更正设置频率为，/>为设定的单位车速波动因子对应参照更正频率。
于本发明一优选实施例，所述分析各方位摄像头对应各光影采集参数的当前更正设置值，包括：将各方位摄像头所属视角区域在当前所处时间点各光线亮度作为各方位摄像头的外部亮度。
将各方位摄像头的外部亮度与设定的各外部亮度对应各光影采集参数的适宜设置值进行对比，得到各方位摄像头所属外部亮度对应各光影采集参数的适宜设置值，记为，/>为方位摄像头编号，/>。
将作为各方位摄像头对应各光影采集参数的当前更正设置值。
相较于现有技术，本发明的有益效果如下：（1）本发明通过结合车辆的环境和车辆的行驶车速进行影像合成模式确认以及影像合成处理方案确认，进而进行全景影像合成，有效解决了当前合成处理场景适应性较为局限的问题，扩展了全景影像合成的处理场景，同时也提升了后续合成处理的便利性，从而进一步提升了合成图像的质量保障，并且还确保了驾驶人员的观看体验。
（2）本发明通过进行光线环境和车速进行车辆全景影像合成的光影干扰度和车辆全息影像合成的车速干扰度分析，直观的展示了车辆当前的光线情况以及车速情况，进而促进了后续摄像处理的及时性，并且也避免了从图像层面进行合成处理的繁琐性，进而提升了后续图像合成拼接的顺畅性和可靠性。
（3）本发明通过评定全景影像合成参数的处理导因项，并对导因项为车速、光影情况下分别进行全景影像参数处理方案确认，有效弥补了当前合成影像对应图像处理存在的欠缺，充分融合了现实环境的动态变化进行不同类采集参数的自动调整，进而显著提升了车辆全景影像合成效率，同时还简化了后续全景影像合成的处理流程。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法实施步骤流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提供了一种车辆内置360度全景影像合成处理方法，该方法包括：步骤1、行驶环境采集：启动车辆各视角区域内安置的环境采集终端采集各视角区域的环境信息，同时从车辆管理后台提取车辆的行驶车速信息。
具体地，环境信息为各采集时间点的光线亮度，车速信息为各采集时间点的车速。
步骤2、视角图像采集：启动车辆各视角区域内安置的摄像头进行图像采集，得到各视角区域对应各采集图像。
步骤3、影像合成模式确认：根据各视角区域对应各采集图像，确认车辆全景影像合成模式，所述车辆全景影像合成模式为Ⅰ级模型和Ⅱ级模式中的一个。
具体地，确认车辆全景影像合成模式，包括：F1、对各视角区域对应各采集图像中进行对象状态识别，若某视角区域对应各采集图像的对象状态中存在动态状态，则将Ⅱ级模式作为车辆全景影像合成模式，若各视角区域对应各采集图像的对象状态均为静态状态，从所述环境信息中提取各采集时间点的光线亮度，确认车辆全景影像合成的光影干扰度。
需要说明的是，对象状态识别为现有较为成熟技术，其具体识别过程在此不进行赘述，且对照状态包括静态和动态，其中静态对照包括但不限于树木、道路和建筑，动态对象包括但不限于行驶车辆和路过行人。
可理解地，确认车辆全景影像合成的光影干扰度，包括：F11、从各视角区域在各采集时间点的光线亮度中提取当前所处采集时间点的光线亮度，并筛选出最高光线亮度和最低光线亮度，作差得到最大光线亮度差，并将其作为评估值。
F12、将设定的影像合成干扰光线亮度差作为对照值，若评估值大于或者等于对照值，将车辆全景影像合成的光影干扰度记为。
F13、若评估值小于对照值，以时间为横坐标，以光线亮度为纵坐标，构建各视角区域的光线亮度变化曲线，并分别从中进行幅值和波动点数目提取，分别记为和/>，/>表示方位编号，/>。
F14、将作为光影干扰评估变量/>，/>为设定参照的光线亮度幅值、波动点数目，进而将/>作为车辆全景影像合成的光影干扰度，并记为/>，/>为设定参照变量，以此得到车辆全景影像合成的光影干扰度/>，/>取值为/>或者/>，/>。
F2、从所述行驶车速信息中定位出各采集时间点的车速，据此确认车辆全息影像合成的车速干扰度。
可理解地，确认车辆全息影像合成的车速干扰度，包括：F21、基于各采集时间点的车速，确认车辆常态车速。
在一个具体实施例中，确认车辆常态车速的具体确认过程为：将各采集时间点的车速与设定各车速区间进行匹配对比，统计车速位于设定各车速区间内的采集时间点数目，并采集时间点数目最多的设定车速区间作为目标车速区间。
将目标车速区间内各采集时间点的车速进行均值计算，将计算结果作为车辆常态车速。
F22、以两个采集时间点为一个车速采集时间组，以此将各采集时间点划分按照时间先后划分为各车速采集时间组，并将各车速采集时间组按照时间先后进行排序，得到各车速采集时间组的位置排序。
F23、将各车速采集时间组内两采集时间点的车速进行作差，作为各车速采集时间组的采集车速差，进而通过车速偏差评定规则评定得到车速偏差时间组数和波动偏差时间组数/>。
进一步地，车速偏差评定规则的具体评定过程为：将采集车速差大于设定的车辆稳定行驶评估车速差作为车速偏差评定条件1。
将车速偏差评定条件1成立的车速采集时间组作为车速偏差时间组，以此输出车速偏差时间组数。
提取各车速偏差时间组的位置排序，进而得到各车速偏差时间组的间隔车速采集时间组数，并将间隔车速采集时间组数不为0作为车速偏差评定条件2。
若某俩车速偏差时间组的车速偏差评定条件2成立，则将该两车速偏差时间组组成波动偏差时间组，据此输出波动偏差时间组数。
F24、统计车辆全息影像合成的车速干扰度，，/>为车速采集时间组数，/>为设定干扰车速，/>为向上取值符号。
在一个具体实施例中，较高的车速可能导致图像模糊或抖动，因为相机无法稳定地捕捉到细节，即车辆在高速行驶过程中，相机拍摄到的图像可能存在重叠度下降的问题，而速度波动越大即越大和/>越大，可能会导致图像之间的重叠区域不足，影响后续的图像拼接和全景影像合成质量，并在车速波动大的情况下，相邻图像之间的位置偏移会增加，导致图像拼接误差增加，使得合成的全景影像不够连贯，因此选用车速以及车速波动相关参数进行车速干扰度评估。
F3、若或者/>，将Ⅱ级模式作为车辆全景影像合成模式，若/>且/>，将Ⅰ级模式作为车辆全景影像合成模式，其中，/>为设定参照全景影像合成的光影干扰度，/>为设定参照全景影像合成的车速干扰度。
本发明实施例通过进行光线环境和车速进行车辆全景影像合成的光影干扰度和车辆全息影像合成的车速干扰度分析，直观的展示了车辆当前的光线情况以及车速情况，进而促进了后续摄像处理的及时性，并且也避免了从图像层面进行合成处理的繁琐性，进而提升了后续图像合成拼接的顺畅性和可靠性。
步骤4、影像合成处理方案确认：当车辆全景影像合成模型为Ⅱ级模式，确认全景影像参数处理方案。
示例性地，确认全景影像参数处理方案，包括：E1、评定全景影像合成参数的处理导因项。
可理解地，评定全景影像合成参数的处理导因项，包括：当仅存在成立，将车速作为处理导因项。
当仅存在成立，将光影采集作为处理导因项。
当且/>成立，将光影和车速均作为处理导因项。
本发明实施例通过评定全景影像合成参数的处理导因项，并对导因项为车速、光影情况下分别进行全景影像参数处理方案确认，有效弥补了当前合成影像对应图像处理存在的欠缺，充分融合了现实环境的动态变化进行不同类采集参数的自动调整，进而显著提升了车辆全景影像合成效率，同时还简化了后续全景影像合成的处理流程。
E2、当处理导因项为车速时，从车辆管理后台提取导因标签为车速的各摄像采集参数，记为各车速采集参数，并提取各车速采集参数的设置值，/>表示车速采集参数编号，。
在一个具体实施例中，车速采集参数包括但不限于快门速度、光圈值、ISO感光度和焦距，为了便于分析，本发明可以选用快门速度、光圈和焦距作为各车速关联采集参数。
E3、将作为各车速采集参数的当前更正设置值，其中，/>为单位车速干扰度偏差对应第/>个车速关联采集参数的浮动设置值，/>为设定的各车速采集参数的补偿更正值，并确认各车速采集参数的自动更正设置频率，将各车速采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
进一步地，各车速采集参数的补偿更正值的具体设定方式如下：T1、构建图像采集模拟模型，图像采集模拟模型的输入为各车速采集参数的设置模拟值，输出为模拟图像所属各图像指标的数值。
在一个具体实施例中，所述图像指标包括但不限于分辨率、对比度、清晰度、锐度和饱和度，且图像指标并非越高越好，需稳定在一定的范围内，如对比度过高会有更加明显的黑白分界线和更加鲜明的颜色，而低对比度照片则会让图像看起来柔和、平滑。
更进一步的，各车速采集参数的自动更正设置频率均相同，所述自动更正设置频率为，/>为设定的单位车速波动因子对应参照更正频率。
T2、设置各车速采集参数对应的各模拟值，并将各车速采集参数对应各模拟值进行随机组合，得到各模拟组，并记录各模拟组中各车速采集参数的所属模拟值。
T3、将各模拟组导入图像采集模拟模型，进而输出各模拟组对应模拟图像所属各图像指标的数值，据此统计各模拟组对应模拟图像的成像符合度，并筛选出成像符合度最大的模拟组，作为目标模拟组。
需要说明的是，各模拟组对应模拟图像的成像符合度的具体统计方式为：将各模拟组对应模拟图像的各图像指标的数值记为，/>为模拟组编号，/>，/>表示图像指标编号，/>。
统计各模拟组对应模拟图像的成像符合度，/>，分别设定第/>个图像指标对应适宜数值、许可数值差。
T4、提取目标模拟组中各车速采集参数的所属模拟值，记为，进而将作为各车速采集参数的补偿更正值。
在一个具体实施例中，图像采集模拟模型为现有较为成熟摄影模拟器软件，其具体采用软件类目不作限定，即可采用现有较为成熟摄影模拟器软件中的任意一种进行模拟。
需要补充的是，当车辆全景影像合成的光影干扰度大于设定参照全景影像合成的车速干扰度/>时，表明车速偏高且速度不稳定，此时，快门速度的浮动设置值为正值，即增加快门速度，光圈的浮动设置值为负值，即减少光圈以补偿曝光不足的问题，而焦距的浮动设置值同样为负值，减少焦距以扩大视野范围。
E4、当处理导因项为光影时，将各视角区域内安置的摄像头作为各方位摄像头。
E5、从车辆管理后台提取导因标签为光影的各摄像采集参数，作为各光影采集参数，并提取各光影采集参数的设置值，记为，/>表示各光影采集参数编号，/>，分析各方位摄像头对应各光影采集参数的当前更正设置值。
在一个具体实施例中，光影采集参数包括但不限于曝光、白平衡、摄影帧率和ISO感光度，为了便于分析，本发明可选用曝光、摄影帧率和ISO感光度作为各光影关联采集参数。
进一步地，分析各方位摄像头对应各光影采集参数的当前更正设置值，包括：将各方位摄像头所属视角区域在当前所处时间点各光线亮度作为各方位摄像头的外部亮度。
将各方位摄像头的外部亮度与设定的各外部亮度对应各光影采集参数的适宜设置值进行对比，得到各方位摄像头所属外部亮度对应各光影采集参数的适宜设置值，记为，/>为方位摄像头编号，/>。
将作为各方位摄像头对应各光影采集参数的当前更正设置值。
E6、提取各方位摄像头所属视角区域的光线亮度变化曲线的幅值和波动点数目，分别记为和/>，/>表示方位摄像头编号，/>。
E7、设置各光影采集参数的自动更正设置频率为同一频率，进而将作为各方位摄像头对应各光影采集参数的自动更正设置频率，/>为单位光影波动指数比对应参照自动更正设置频率，/>为设定参照光影波动指数。
E8、将各方位摄像头对应各光影采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
E9、当处理导因项为车速和光影时，将各车速采集参数的当前更正设置值、自动更正设置频率以及各方位摄像头对应各光影采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
步骤5、影像合成处理：用于根据全景影像参数处理方案，对各视角区域内安置的摄像头进行对应采集参数处理。
在一个具体实施例中，所述进行对应采集参数处理指将全景影像参数处理方案替换当前摄像头全景影像参数的设置值，如将光影采集参数的当前更正设置值替换各光影采集参数的设置值。
本发明实施例通过结合车辆的环境和车辆的行驶车速进行影像合成模式确认以及影像合成处理方案确认，进而进行全景影像合成，有效解决了当前合成处理场景适应性较为局限的问题，扩展了全景影像合成的处理场景，同时也提升了后续合成处理的便利性，从而进一步提升了合成图像的质量保障，并且还确保了驾驶人员的观看体验。
以上内容仅仅是对本发明的构思所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的构思或者超越本发明所定义的范围，均应属于本发明的保护范围。
Claims (8)
1.一种车辆内置360度全景影像合成处理方法，其特征在于：该方法包括：
步骤1、行驶环境采集：启动车辆各视角区域内安置的环境采集终端采集各视角区域的环境信息，同时从车辆管理后台提取车辆的行驶车速信息；
步骤2、视角图像采集：启动车辆各视角区域内安置的摄像头进行图像采集，得到各视角区域对应各采集图像；
步骤3、影像合成模式确认：根据各视角区域对应各采集图像，确认车辆全景影像合成模式，所述车辆全景影像合成模式为Ⅰ级模型和Ⅱ级模式中的一个；
步骤4、影像合成处理方案确认：当车辆全景影像合成模型为Ⅱ级模式，确认全景影像参数处理方案；
步骤5、影像合成处理：用于根据全景影像参数处理方案，对各视角区域内安置的摄像头进行对应采集参数处理；
所述确认车辆全景影像合成模式，包括：
对各视角区域对应各采集图像中进行对象状态识别，若某视角区域对应各采集图像的对象状态中存在动态状态，则将Ⅱ级模式作为车辆全景影像合成模式，若各视角区域对应各采集图像的对象状态均为静态状态，从所述环境信息中提取各采集时间点的光线亮度，确认车辆全景影像合成的光影干扰度；
从所述行驶车速信息中定位出各采集时间点的车速，据此确认车辆全息影像合成的车速干扰度；
若或者/>，将Ⅱ级模式作为车辆全景影像合成模式，若/>且，将Ⅰ级模式作为车辆全景影像合成模式，其中，/>为设定参照全景影像合成的光影干扰度，/>为设定参照全景影像合成的车速干扰度。
2.如权利要求1所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述确认车辆全景影像合成的光影干扰度，包括：
从各视角区域在各采集时间点的光线亮度中提取当前所处采集时间点的光线亮度，并筛选出最高光线亮度和最低光线亮度，作差得到最大光线亮度差，并将其作为评估值；
将设定的影像合成干扰光线亮度差作为对照值，若评估值大于或者等于对照值，将车辆全景影像合成的光影干扰度记为；
若评估值小于对照值，以时间为横坐标，以光线亮度为纵坐标，构建各视角区域的光线亮度变化曲线，并分别从中进行幅值和波动点数目提取，分别记为和/>，/>表示方位编号，；
将作为光影干扰评估变量/>，/>为设定参照的光线亮度幅值、波动点数目，进而将/>作为车辆全景影像合成的光影干扰度，并记为/>，/>为设定参照变量，以此得到车辆全景影像合成的光影干扰度/>，/>取值为/>或者/>，。
3.如权利要求2所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述确认车辆全息影像合成的车速干扰度，包括：
基于各采集时间点的车速，确认车辆常态车速；
以两个采集时间点为一个车速采集时间组，以此将各采集时间点划分按照时间先后划分为各车速采集时间组，并将各车速采集时间组按照时间先后进行排序，得到各车速采集时间组的位置排序；
将各车速采集时间组内两采集时间点的车速进行作差，作为各车速采集时间组的采集车速差，进而通过车速偏差评定规则评定得到车速偏差时间组数和波动偏差时间组数；
统计车辆全息影像合成的车速干扰度，，/>为车速采集时间组数，/>为设定干扰车速，/>为向上取值符号；
所述车速偏差评定规则的具体评定过程为：
将采集车速差大于设定的车辆稳定行驶评估车速差作为车速偏差评定条件1；
将车速偏差评定条件1成立的车速采集时间组作为车速偏差时间组，以此输出车速偏差时间组数；
提取各车速偏差时间组的位置排序，进而得到各车速偏差时间组的间隔车速采集时间组数，并将间隔车速采集时间组数不为0作为车速偏差评定条件2；
若某俩车速偏差时间组的车速偏差评定条件2成立，则将该两车速偏差时间组组成波动偏差时间组，据此输出波动偏差时间组数。
4.如权利要求3所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述确认全景影像参数处理方案，包括：
评定全景影像合成参数的处理导因项；
当处理导因项为车速时，从车辆管理后台提取导因标签为车速的各摄像采集参数，记为各车速采集参数，并提取各车速采集参数的设置值，/>表示车速采集参数编号，；
将作为各车速采集参数的当前更正设置值，其中，/>为单位车速干扰度偏差对应第/>个车速关联采集参数的浮动设置值，/>为设定的各车速采集参数的补偿更正值，并确认各车速采集参数的自动更正设置频率，将各车速采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案；
当处理导因项为光影时，将各视角区域内安置的摄像头作为各方位摄像头；
从车辆管理后台提取导因标签为光影的各摄像采集参数，作为各光影采集参数，并提取各光影采集参数的设置值，记为，/>表示各光影采集参数编号，/>，分析各方位摄像头对应各光影采集参数的当前更正设置值；
提取各方位摄像头所属视角区域的光线亮度变化曲线的幅值和波动点数目，分别记为和/>，/>表示方位摄像头编号，/>；
设置各光影采集参数的自动更正设置频率为同一频率，进而将作为各方位摄像头对应各光影采集参数的自动更正设置频率，/>为单位光影波动指数比对应参照自动更正设置频率，/>为设定参照光影波动指数；
将各方位摄像头对应各光影采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案；
当处理导因项为车速和光影时，将各车速采集参数的当前更正设置值、自动更正设置频率以及各方位摄像头对应各光影采集参数的当前更正设置值和自动更正设置频率作为全景影像参数处理方案。
5.如权利要求4所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述评定全景影像合成参数的处理导因项，包括：
当仅存在成立，将车速作为处理导因项；
当仅存在成立，将光影采集作为处理导因项；
当且/>成立，将光影和车速均作为处理导因项。
6.如权利要求4所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述各车速采集参数的补偿更正值的具体设定方式如下：
构建图像采集模拟模型，图像采集模拟模型的输入为各车速采集参数的设置模拟值，输出为模拟图像所属各图像指标的数值；
设置各车速采集参数对应的各模拟值，并将各车速采集参数对应各模拟值进行随机组合，得到各模拟组，并记录各模拟组中各车速采集参数的所属模拟值；
将各模拟组导入图像采集模拟模型，进而输出各模拟组对应模拟图像所属各图像指标的数值，据此统计各模拟组对应模拟图像的成像符合度，并筛选出成像符合度最大的模拟组，作为目标模拟组；
提取目标模拟组中各车速采集参数的所属模拟值，记为，进而将作为各车速采集参数的补偿更正值。
7.如权利要求4所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述各车速采集参数的自动更正设置频率均相同，所述自动更正设置频率为，/>为设定的单位车速波动因子对应参照更正频率。
8.如权利要求4所述的一种车辆内置360度全景影像合成处理方法，其特征在于：所述分析各方位摄像头对应各光影采集参数的当前更正设置值，包括：
将各方位摄像头所属视角区域在当前所处时间点各光线亮度作为各方位摄像头的外部亮度；
将各方位摄像头的外部亮度与设定的各外部亮度对应各光影采集参数的适宜设置值进行对比，得到各方位摄像头所属外部亮度对应各光影采集参数的适宜设置值，记为；
将作为各方位摄像头对应各光影采集参数的当前更正设置值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311787351.7A CN117455792B (zh) | 2023-12-25 | 2023-12-25 | 一种车辆内置360度全景影像合成处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311787351.7A CN117455792B (zh) | 2023-12-25 | 2023-12-25 | 一种车辆内置360度全景影像合成处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117455792A CN117455792A (zh) | 2024-01-26 |
| CN117455792B true CN117455792B (zh) | 2024-03-22 |
Family
ID=89593295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311787351.7A Active CN117455792B (zh) | 2023-12-25 | 2023-12-25 | 一种车辆内置360度全景影像合成处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117455792B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007158578A (ja) * | 2005-12-02 | 2007-06-21 | National Univ Corp Shizuoka Univ | 全周囲情報環状表示システム |
| CN101910866A (zh) * | 2008-01-09 | 2010-12-08 | 罗伯特·博世有限公司 | 用于显示车辆环境的方法和装置 |
| CN105313773A (zh) * | 2014-07-24 | 2016-02-10 | 深圳市驰晶科技有限公司 | 高清全景泊车及辅助驾驶系统 |
| CN109565547A (zh) * | 2016-10-13 | 2019-04-02 | 松下知识产权经营株式会社 | 图像处理装置、图像处理方法以及图像处理电路 |
| WO2019072579A1 (de) * | 2017-10-09 | 2019-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Dynamisches zusammenfügen von teilbildern zu einem abbild einer umgebung eines fahrzeugs |
| CN109937568A (zh) * | 2016-11-17 | 2019-06-25 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
| CN111756962A (zh) * | 2019-03-29 | 2020-10-09 | 上海擎感智能科技有限公司 | 一种摄像装置及其控制方法 |
| CN114785960A (zh) * | 2022-06-16 | 2022-07-22 | 鹰驾科技（深圳）有限公司 | 一种基于无线传输技术的360度全景行车记录仪系统 |
| CN115331181A (zh) * | 2022-08-11 | 2022-11-11 | 北京信路威科技股份有限公司 | 车辆图像融合方法、装置、计算机设备和存储介质 |
| CN115379122A (zh) * | 2022-10-18 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120229596A1 (en) * | 2007-03-16 | 2012-09-13 | Michael Kenneth Rose | Panoramic Imaging and Display System With Intelligent Driver's Viewer |
| TWI573097B (zh) * | 2012-01-09 | 2017-03-01 | 能晶科技股份有限公司 | 用於行動載具之影像擷取裝置及其影像疊合方法 |
| CN110329154A (zh) * | 2019-06-28 | 2019-10-15 | 苏州上善知源汽车电子有限公司 | 可用于远程车辆控制及高速辅助场景的汽车全景影像系统 |
-
2023
- 2023-12-25 CN CN202311787351.7A patent/CN117455792B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007158578A (ja) * | 2005-12-02 | 2007-06-21 | National Univ Corp Shizuoka Univ | 全周囲情報環状表示システム |
| CN101910866A (zh) * | 2008-01-09 | 2010-12-08 | 罗伯特·博世有限公司 | 用于显示车辆环境的方法和装置 |
| CN105313773A (zh) * | 2014-07-24 | 2016-02-10 | 深圳市驰晶科技有限公司 | 高清全景泊车及辅助驾驶系统 |
| CN109565547A (zh) * | 2016-10-13 | 2019-04-02 | 松下知识产权经营株式会社 | 图像处理装置、图像处理方法以及图像处理电路 |
| CN109937568A (zh) * | 2016-11-17 | 2019-06-25 | 索尼公司 | 图像处理装置和图像处理方法 |
| WO2019072579A1 (de) * | 2017-10-09 | 2019-04-18 | Bayerische Motoren Werke Aktiengesellschaft | Dynamisches zusammenfügen von teilbildern zu einem abbild einer umgebung eines fahrzeugs |
| CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
| CN111756962A (zh) * | 2019-03-29 | 2020-10-09 | 上海擎感智能科技有限公司 | 一种摄像装置及其控制方法 |
| CN114785960A (zh) * | 2022-06-16 | 2022-07-22 | 鹰驾科技（深圳）有限公司 | 一种基于无线传输技术的360度全景行车记录仪系统 |
| CN115331181A (zh) * | 2022-08-11 | 2022-11-11 | 北京信路威科技股份有限公司 | 车辆图像融合方法、装置、计算机设备和存储介质 |
| CN115379122A (zh) * | 2022-10-18 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 《Multi-scenes Image Stitching Based on Autonomous Driving》;Lang Wang et al.;《2020 IEEE 4th Information Technology, Networking, Electronic and Automation Control Conference》;20200304;全文 * |
| 《基于视觉的车外环境感知系统研究》;高虹;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20190930;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117455792A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| EP1382017B1 (en) | Image composition evaluation | |
| US6909806B2 (en) | Image background replacement method | |
| CN105122302B (zh) | 无重影高动态范围图像的产生 | |
| CN109714519B (zh) | 一种自动调整图像画面的方法和系统 | |
| CN101795355B (zh) | 成像设备及图像处理方法 | |
| CN108012080A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| JP2010045613A (ja) | 画像識別方法および撮像装置 | |
| CN102844788A (zh) | 图像处理装置及使用该图像处理装置的图像拾取装置 | |
| CN105812790B (zh) | 图像传感器感光面与光轴垂直度的评测方法及光学测试卡 | |
| JP2001238177A (ja) | 画像処理方法および装置 | |
| CN113160053B (zh) | 一种基于位姿信息的水下视频图像复原与拼接方法 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN112818732A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
| CN115063331B (zh) | 基于多尺度块lbp算子无鬼影多曝光图像融合方法 | |
| CN104902168B (zh) | 一种图像合成方法、装置及拍摄设备 | |
| CN113344843B (zh) | 一种图像质量测评方法、装置和系统 | |
| CN117455792B (zh) | 一种车辆内置360度全景影像合成处理方法 | |
| CN114549373A (zh) | Hdr图像生成方法、装置、电子设备及可读存储介质 | |
| CN101853499B (zh) | 一种基于细节检测的清晰照片合成方法 | |
| CN110688979A (zh) | 违法车辆追踪方法及装置 | |
| CN114663284A (zh) | 红外热成像全景图像处理方法、系统及存储介质 | |
| CN114173059A (zh) | 一种视频编辑系统、方法及装置 | |
| CN113792600A (zh) | 一种基于深度学习的视频抽帧方法和系统 | |
| CN105931249A (zh) | 一种Camera成像的测试方法及测试装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |