CN117351730A - 图像处理系统、方法、车辆以及存储介质 - Google Patents
图像处理系统、方法、车辆以及存储介质 Download PDFInfo
- Publication number
- CN117351730A CN117351730A CN202311302942.0A CN202311302942A CN117351730A CN 117351730 A CN117351730 A CN 117351730A CN 202311302942 A CN202311302942 A CN 202311302942A CN 117351730 A CN117351730 A CN 117351730A
- Authority
- CN
- China
- Prior art keywords
- image
- domain controller
- image processing
- parameters
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000007613 environmental effect Effects 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 230000008447 perception Effects 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims description 20
- 238000003672 processing method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像处理系统、方法、车辆以及存储介质，所述系统应用于车辆，包括：图像采集设备、第一域控制器以及第二域控制器；所述图像采集设备，用于在车辆的工作过程中采集车辆所处环境的环境图像数据；所述第一域控制器，用于基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像；所述第二域控制器，用于基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
Description
技术领域
本公开涉及计算机图形技术领域，具体而言，涉及一种图像处理系统、方法、车辆以及存储介质。
背景技术
智能汽车为了方便对车辆上的不同系统进行分区控制，设置了针对不同系统的域控制器，例如，能够控制车辆自动驾驶的智驾域控制器，和能够显示全景影像辅助驾驶的智舱域控制器；而智驾域控制器和智舱域控制器均需要对相机拍摄得到的图像数据进行图像处理，进而控制车辆，或在屏幕上显示图像。但是，由于智驾域控制器是面对机器视觉的，智舱域控制器是面对人眼视觉的，人眼视觉和机器视觉存在一定差异，这就导致了适用于人眼视觉的图像不适用于机器视觉，因此，目前亟需一种能够同时兼顾两种视觉需求的图像处理方案。
发明内容
本公开实施例至少提供一种图像处理系统、方法、车辆以及存储介质。
第一方面，本公开实施例提供了一种图像处理系统，应用于车辆，包括：图像采集设备、第一域控制器以及第二域控制器；
所述图像采集设备，用于在车辆的工作过程中采集车辆所处环境的环境图像数据；
所述第一域控制器，用于基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像；
所述第二域控制器，用于基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
在上述实施例中，第一域控制器和第二域控制器分别获取来自图像采集设备采集到的环境图像数据，第一域控制器利用自身配置的第一图像处理参数，对环境图像数据进行处理，生成用于机器视觉算法的第一图像；第二域控制器利用自身配置的第二图像处理参数对环境图像数据进行处理，生成用于展示的第二图像；由于第一域控制器和第二域控制器均是直接对图像采集设备采集到的环境图像数据进行处理的，因此，两个域控制器之间不存在环境图像数据的传输关系，两个域控制器互相是解耦状态的，这样利用解耦状态的第一域控制器和第二域控制器分别对环境图像数据进行处理，可以得到适用各自域控制器的图像，避免两个域控制器使用统一的图像参数对环境图像数据进行处理导致的不适配的问题。
一种可选的实施方式中，所述图像处理系统包括多路桥接单元，所述多路桥接单元的输入接口与所述图像采集设备连接，多个输出接口分别与所述第一域控制器以及所述第二域控制器连接，所述多路桥接单元用于：
将所述图像采集设备采集到的所述环境图像数据通过与所述第一域控制器连接的第一输出接口传输至所述第一域控制器，以及
将所述环境图像数据通过与所述第二域控制器连接的第二输出接口传输至所述第二域控制器。
在上述实施例中，利用多路桥接单元可以将图像采集设备采集到的环境图像数据，分别传输给第一域控制器和第二域控制器，这样，可以将两个域控制器解耦，避免数据跨域传输，提升传输效率。
一种可选的实施方式中，所述机器视觉算法的感知要求包括：图像暗部曝光要求；
所述第一域控制器在基于配置的第一图像处理参数，对所述环境图像数据进行第一处理时，用于：
对所述环境图像数据进行图像质量分析，得到所述环境图像的图像参数信息，所述图像参数信息包括暗部亮度值和信噪比；
在所述暗部亮度值小于或等于所述图像暗部曝光要求指示的第一暗部分辨阈值，且所述信噪比大于所述图像暗部曝光要求指示的第一信噪比分辨比值的情况下，对所述环境图像的暗部进行亮度增益处理以使得调整后得到的所述第一图像满足所述图像暗部曝光要求。
一种可选的实施方式中，所述展示要求包括：图像噪点要求；
所述第二域控制器在基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像时用于：
对所述环境图像数据进行图像质量分析，得到所述环境图像的图像参数信息，所述图像参数信息包括暗部亮度值和信噪比；
在所述信噪比小于或等于所述图像暗部曝光要求指示的第二信噪比分辨比值，且所述暗部亮度值大于所述图像暗部曝光要求指示的第二暗部分辨阈值的情况下，对所述环境图像进行滤波处理以使得调整后得到的所述第二图像满足所述图像噪点要求。
一种可选的实施方式中，采用下述方式确定目标图像参数：
利用拍摄设备获取第一格式的第一参考图像；
对目标域控制器进行参数标定，并利用参数标定后的目标域控制器获取第二格式的第二参考图像；
基于所述第一参考图像和所述第二参考图像，对所述目标域控制器的客观测试项中至少一个测试项进行调整，得到目标图像参数；
其中所述目标图像参数包括所述第一图像处理参数和所述第二图像处理参数，在所述目标图像参数为第一图像处理参数时，所述目标域控制器为第一域控制器，在所述目标图像参数为第二图像处理参数时，所述目标域控制器为第二域控制器。
一种可选的实施方式中，在得到目标图像参数之后，还包括：
响应于参数调整操作，基于所述目标域控制器的功能需求，对所述目标图像参数中至少部分参数进行调整，得到调整后的目标图像参数。
一种可选的实施方式中，所述利用拍摄设备获取第一格式的第一参考图像，包括：
利用所述拍摄设备在标准测试环境下拍摄得到第一格式的第一参考图像；所述标准测试环境包括：使用模拟光源、色卡、灰阶卡搭建的测试环境。
第二方面，本公开可选实现方式还提供一种图像处理方法，包括：
在车辆的工作过程中采集车辆所处环境的环境图像数据；
基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像；
基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
第三方面，本公开实施例还提供一种车辆，所述车辆包括如第一方面、或第一方面中任一种可能图像处理系统，或执行如第二方面中的图像处理方法。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如上述第一方面所述的图像处理系统的步骤，或如第二方面所述的图像处理方法的步骤，或如第三方面所述的车辆的步骤。
关于上述图像处理方法、车辆以及存储介质的效果描述参见上述图像处理系统的说明，这里不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开一些实施例所提供的图像处理系统的结构示意图；
图2示出了本公开一些实施例所提供的图像处理系统的连接示例图；
图3示出了本公开一些实施例所提供的图像处理方法的流程图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
经研究发现，随着汽车技术的发展，利用相机采集到的图像数据可以实现车辆上的多种功能，例如，将鱼眼相机采集到的图像数据用于全景式监控影像系统(Around ViewMonitor，AVM)，该系统在对其获取的原始图像数据经过图像处理算法处理后可以得到令人满意的成像效果；又例如，将鱼眼相机采集到的图像用于自主代客泊车系统(AutomatedValet Parking，AVP)，该系统一般也是通过鱼眼相机获取的图像数据通过机器视觉感知算法进行感知规划，实现自主代客泊车，而服务于AVP的机器视觉所需的图像效果往往与服务于AVM的人眼主观感受所需的图像效果存在较大偏差，比如对于AVP而言，在较暗环境下，机器视觉允许图像处理算法处理后的图像效果存在较多噪声而保留更高的亮度和细节；而对于AVM而言，人眼对于噪声的感受十分敏感，难以容忍满屏的噪声；因此，目前亟需一种能够同时兼顾两种视觉需求的图像处理方案。
基于上述研究，本公开提供了一种图像处理系统，该系统包括图像采集设备、第一域控制器和第二域控制器，从图像采集设备采集到的环境图像数据会分别传输给第一域控制器和第二域控制器，第一域控制器和第二域控制器拥有各自的图像参数，用于对环境图像数据进行处理，这样，使得两个域控制器之间不存在环境图像数据的传输关系，处于解耦状态，在处理环境图像数据时，可以得到适用各自域控制器的图像，避免两个域控制器使用统一的图像处理参数对环境图像数据进行处理导致的不适配的问题。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本说明书及实施例中所述方案，如涉及个人信息处理，则均会在具备合法性基础(例如征得个人信息主体同意，或者为履行合同所必需等)的前提下进行处理，且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息，不会影响用户使用基本功能。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理系统进行详细介绍。
参见图1所示，为本公开实施例提供的图像处理系统的结构示意图，所述图像处理系统应用于车辆，包括：图像采集设备、第一域控制器以及第二域控制器；所述图像采集设备，用于在车辆的工作过程中采集车辆所处环境的环境图像数据。
此处，图像采集设备可以是部署在车辆上的鱼眼相机，鱼眼相机具有更广的焦距，一般配备16毫米焦距以下的镜头以此来获得更广的视场。车辆的工作过程可以包括车辆在进行自动驾驶、自动泊车、或者车辆的屏幕在显示倒车影像、全景影像等需要使用图像采集设备获取环境图像的过程。
此外，根据实际需求也可以选择其他焦段的相机作为图像采集设备部署在车辆上。
所述第一域控制器，用于基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像。
此处，所述第一域控制器为智驾域控制器，主要用于车辆自动驾驶、自动泊车、自动驶出车位、自适应巡航等需要算法介入判断的智能驾驶领域。
第一图像处理参数是一种图像信号处理(Image Signal Processing，ISP)单元的执行算法，利用该图像处理参数可以对图像采集设备采集到的原始图像(比如环境图像)进行调整，使得调整后的图像能够适用在机器视觉算法中。
第一图像是使用第一图像处理参数对图像采集设备采集到的原始图像进行适应性优化处理后的图像，适应性优化处理包括对图像进行降噪、增加对比度、调整曝光参数等处理，具体过程在后续示例中有详细描述，这里不再赘述。
所述第二域控制器，用于基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
此处，所述第二域控制器为智舱域控制器，主要用于车辆全景影像、倒车影像、车内影像等需要展示影像辅助用户判断的智慧座舱领域。
第二图像处理参数也是一种ISP单元的执行算法，跟第一图像处理参数不同的是，经过第二图像处理参数调整后的图像，适用于展示要求。
示例性的，当车辆处于自动泊车状态时，智驾域控制器获取部署在车辆上的图像采集设备采集到的环境图像数据，并利用第一图像处理参数，对环境图像数据进行优化处理，将优化处理后得到的环境图像发送至AVP系统，AVP系统根据处理后得到的环境图像(即第一图像)，对车辆行进路线进行判断和修正，以便于AVP系统能够根据环境图像数据控制车辆安全的泊入车位。
又一示例中，当车辆档位处于倒档时，智舱域控制器获取部署在车辆上的图像采集设备采集到的环境图像数据，并利用第二图像处理参数，对环境图像数据进行优化处理，将优化处理后得到的环境图像发送至AVM系统，AVM系统对处理后的环境图像中的障碍物、行人等进行标记，并将标记后的环境图像(即第二图像)在车辆的屏幕中显示，以辅助用户进行判断。
环境图像数据可以为图像采集设备采集的RGB格式的环境图像，也可以为用于指示环境图像的像素信息，即可以将图像采集设备采集的环境图像以图像方式进行传输，也可以将环境图像以信息流的方式传输。
在本公开提供的一些可能的实施方式中，所述图像处理系统包括多路桥接单元，所述多路桥接单元的输入接口与所述图像采集设备连接，多个输出接口分别与所述第一域控制器以及所述第二域控制器连接，所述多路桥接单元用于：将所述图像采集设备采集到的所述环境图像数据通过与所述第一域控制器连接的第一输出接口传输至所述第一域控制器，以及将所述环境图像数据通过与所述第二域控制器连接的第二输出接口传输至所述第二域控制器。
此处，多路桥接单元可以使用低电压差分信号(Low Voltage DifferentialSignaling，LVDS)接口或者是移动产业处理器接口(Mobile Industry ProcessorInterface MIPI)。
多路桥接单元包括一个输入接口，和多个可以并发的输出接口，输入接口与图像采集设备的数据传输接口连接，用于获取图像采集设备采集到的环境图像数据，多个并发的输出接口中，一个与第一域控制器连接，另一个与第二域控制器连接，其他的输出接口可以连接到其他需要环境图像数据的域控制器中。
示例性的，多路桥接单元采用现场可编程门阵列(Field-Programmable GateArray，FPGA)芯片，可以提供高速接口以及更大的并发量，在处理环境图像数据时，可以更快速得将环境图像数据传输给域控制器。
示例性的，参见图2所述的一种图像处理系统的连接示例图，在图2中，相机的数据传输接口与多路桥接单元的输入接口连接，多路桥接单元的输出接口1与智驾域控制器连接，输出接口2与智舱域控制器连接。相机采集到的环境图像数据通过输入接口传输到多路桥接单元中，多路桥接单元将环境图像数据通过输出接口1和输出接口2分发给智驾域控制器和智舱域控制器。
其中，相机采集到的环境图像数据可以是视频流的数据形式在图像处理系统中传输。
在本公开提供的一些可能的实施方式中，所述机器视觉算法的感知要求包括：图像暗部曝光要求。
此处，由于机器视觉算法对图像的噪点具有较高的容忍度，因此，在图像的暗部细节不清楚的情况下，可以通过提亮图像的暗部，以显示更多细节信息，用于机器视觉算法的识别。
所述第一域控制器在基于配置的第一图像处理参数，对所述环境图像数据进行第一处理时，用于执行下述步骤：
步骤一、对所述环境图像数据进行图像质量分析，得到所述环境图像的图像参数信息，所述图像参数信息包括暗部亮度值和信噪比。
此处，进行图像质量分析，可以得到图像的曝光参数、白平衡、对比度等影响图像暗部亮度值的信息，也可以得到环境图像的灰度值等影响图像信噪比的信息。其中，信噪比的比值越大由图像构成的视频中的噪点越少。
步骤二、在所述暗部亮度值小于或等于所述图像暗部曝光要求指示的第一暗部分辨阈值，且所述信噪比大于所述图像暗部曝光要求指示的第一信噪比分辨比值的情况下，对所述环境图像的暗部进行亮度增益处理以使得调整后得到的所述第一图像满足所述图像暗部曝光要求。
此处，第一暗部分辨阈值，是机器视觉算法所能识别图像中的暗部信息的极限阈值，低于或等于该阈值时，机器视觉算法无法识别该区域的信息。第一信噪比分辨比值，是机器视觉算法所能容忍图像中的噪点数量的极限阈值，信噪比低于该比值，机器视觉算法无法识别图像的信息。
示例性的，使用分类算法选取图像中的暗部区间，基于图像中的暗部区域的亮度值与第一暗部分辨阈值进行对比，得到所有小于或等于第一暗部分辨阈值的像素点的坐标位置，根据视频信号以及噪波信号的大小计算得到信噪比，之后根据像素点的坐标位置对暗部像素点进行亮度增益处理，在对暗部像素点进行亮度增益处理时，确定信噪比的变化，当信噪比与第一信噪比分辨比值接近等于或等于第一信噪比分辨比值时，停止对暗部像素点进行亮度增益处理。
在本公开提供的一些可能的实施方式中，所述展示要求包括：图像噪点要求。
此处，由于第二图像是展示给人眼观看的，而人眼视觉对噪点的容忍度较低，因此，在图像的噪点过多的情况下，可以通过滤波来降低图像噪点，以使其更符合人眼感知。
所述第二域控制器在基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像时，用于执行下述步骤：
步骤一、对所述环境图像数据进行图像质量分析，得到所述环境图像的图像参数信息，所述图像参数信息包括暗部亮度值和信噪比。
此处，与上述生成第一图像的示例步骤相似，在此不做过多赘述。
步骤二、在所述信噪比小于或等于所述图像暗部曝光要求指示的第二信噪比分辨比值，且所述暗部亮度值大于所述图像暗部曝光要求指示的第二暗部分辨阈值的情况下，对所述环境图像进行滤波处理以使得调整后得到的所述第二图像满足所述图像噪点要求。
此处，第二信噪比分辨比值，是设计人员认为用户所能够接收图像质量的极限比值。第二暗部分辨阈值，是设计人员认为用户能够分辨出图像中的暗部细节的极限阈值。
示例性的，将环境图像的信噪比与第二信噪比分辨比值进行对比，当信噪比小于或等于第二信噪比分辨比值时，将图像的暗部亮度值与第二暗部分辨阈值进行对比，在图像的暗部亮度值大于第二暗部分辨阈值的情况下，对环境图像进行滤波降噪处理。在对环境图像进行滤波降噪处理时，当环境图像的暗部亮度值小于或等于第二暗部分辨阈值时，停止滤波降噪处理。
另外，在本公开提供的一些可能的实施方式中，采用下述步骤确定目标图像参数：
步骤一、利用拍摄设备获取第一格式的第一参考图像。
其中包括：利用所述拍摄设备在标准测试环境下拍摄得到第一格式的第一参考图像；所述标准测试环境包括：使用模拟光源、色卡、灰阶卡搭建的测试环境。
此处，拍摄设备可以是部署在车辆上的图像采集设备，也可以是与部署在车辆上的图像采集设备规格相同的其他设备，在获取第一格式的第一参考图像时，拍摄设备可以是独立的，也可以是与车辆连接的。
示例性的，使用模拟光源营造自然光条件，这里的自然光条件包括晴天、雨天、室内光源等。然后利用拍摄设备对色卡以及灰阶卡进行多角度拍摄，得到原生RAW格式的第一参考图像。
又一示例中，也可以使用标准光源，色温、强度值、照射方向和照射距离均是固定的，然后利用拍摄设备拍摄色卡以及灰阶卡得到原生RAW格式的第一参考图像。
步骤二、对目标域控制器进行参数标定，并利用参数标定后的目标域控制器获取第二格式的第二参考图像。
示例性的，利用第一参考图像对目标域控制器包括的待调试的图像处理参数进行参数标定，其中，使用待调试的图像处理参数对第一参考图像进行处理，确定处理后的第一参考图像与标准图像的白平衡、噪声、曝光等基准参数，并基于第一参考图像的基准参数与标准图像的基准参数进行对比，根据对比结果调整待调试的图像处理参数，直到处理后的第一参考图像的基准参数与标准图像的基准参数的差值满足参数标定条件，完成对待调试的图像处理参数的参数标定过程。
在完成参数标定后，利用完成标定参数的图像处理参数获取第二格式的第二参考图像，其中第二格式的第二参考图像为RGB格式的参考图像。
步骤三、基于所述第一参考图像和所述第二参考图像，对所述目标域控制器的客观测试项中至少一个测试项进行调整，得到目标图像参数；其中所述目标图像参数包括所述第一图像处理参数和所述第二图像处理参数，在所述目标图像参数为第一图像处理参数时，所述目标域控制器为第一域控制器，在所述目标图像参数为第二图像处理参数时，所述目标域控制器为第二域控制器。
在本公开提供的一些可能的实施方式中，在得到目标图像参数之后，还包括：响应于参数调整操作，基于所述目标域控制器的功能需求，对所述目标图像参数中至少部分参数进行调整，得到调整后的目标图像参数。
针对第一域控制器，参数调整操作包括调整第一暗部分辨阈值、第一信噪比分辨比值等，针对第二域控制器，参数调整包括调整第二暗部分辨阈值、第二信噪比分辨比值等。
示例性的，可以利用部署在车辆上的与测试时的拍摄设备相同规格的图像采集设备采集真实环境图像，真实环境包括：各个等级的道路、露天停车场、地下停车场等。在这些真实环境中，采集真实环境图像。
根据真实环境图像以及目标域控制器的功能需求，对图像处理参数进行个性化调整，例如，一些目标域控制器更偏重于保留图像细节，则在调整参数时，将暗部分辨阈值调高，这样，使得图像的暗部亮度值更容易小于暗部分辨阈值，进而触发调整，得到一张暗部细节更多的图像；又例如，一些目标域控制器更偏重于提升图像观感，则在调整参数时，将信噪比分辨比值调高，这样，使得图像的信噪比更容易小于信噪比分辨阈值，进而触发调整，得到噪点更少的图像，以提高图像观感。
另外，本公开还提供一个图像处理系统的具体应用示例，将图像处理系统部署在车辆上，图像采集设备包括部署在车头、车尾、以及两侧后视镜下方的摄像头，用于获取环境图像数据，多路桥接单元的输入接口与图像采集设备连接，两个输出接口分别与智舱域控制器和智驾域控制器连接。
图像采集设备获取环境图像数据，并将环境图像数据以视频流的方式发送给多路桥接单元，多路桥接单元通过多个输出接口将环境图像数据分发给智驾域控制器和智舱域控制器
在用户触发车辆的自动泊车功能时，具体处理过程包括：
智驾域控制器根据第一图像处理参数对环境图像数据进行处理，得到第一图像，并将第一图像发送给AVP系统，AVP系统根据第一图像，对车辆周围环境进行识别，并根据车辆周围环境，修正泊车线路。
在用户将档位挂在倒档时，具体处理过程包括：
智舱域控制器根据第二图像处理参数对环境图像数据进行处理，得到第二图像，并将第二图像发送给AVM系统，AVM系统根据第二图像，标记第二图像中的行人以及其他车辆，并将标记后的第二图像在车辆的屏幕中显示，以辅助用户进行判断。
另外，本公开实施例还提供一种调试图像处理参数的具体示例，包括a1～a5，其中：
a1、使用相机在由光源箱、24色卡、灰阶卡搭建的标准测试环境拍摄RAW格式图像。
a2、使用校准工具完成标定。
a3、使用标定完成的调试参数拍摄RGB格式图像，完成标定测试。
a4、针对标定测试项中的不合格项针对性的调整图像处理参数，直至通过所有标定测试项。
a5、拍摄真实场景中的RAW图及对应图像处理参数处理后的图像，根据不同域控制器的需求调整图像处理参数以满足不同域控制器对图像效果的需求。
其中，在a5调试阶段，针对智驾域控制器，由于机器视觉对于噪声的容忍度更高，需要更多的细节信息，因此可以在调试的过程中尽量降低滤波等处理，保留更多的细节信息，针对较暗场景还可以尽量提高图像的亮度增益，即使该处理会引入较多的噪声，影响观感。由于智舱域控制中的AVM系统需要将图像通过屏幕呈现给人眼观看，所以需要尽量保证图像的效果达到人眼满意，如果与智驾域控制器保持相同的策略，将会造成满屏的噪声，影响用户的体验，因此针对智舱域控制器的图像处理参数调试，需要降低图像的噪声，可以增加滤波处理，牺牲一些细节信息，以达到人眼观感满意的效果。
关于图像处理系统中的各组成部分的处理流程、以及各组成部分之间的交互流程的描述，并不意味着严格的处理流程和交互流程而对实施过程构成任何限定，各组成部分的处理流程、和交互流程应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像处理系统对应的图像处理方法，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理系统相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图3所示，为本公开实施例提供的一种图像处理方法的流程图，所述方法包括：S301～S303，其中：
S301：在车辆的工作过程中采集车辆所处环境的环境图像数据；
S302：基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像；
S303：基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
本公开实施例通过第一域控制器和第二域控制器分别获取来自图像采集设备采集到的环境图像数据，第一域控制器利用自身配置的第一图像处理参数，对环境图像数据进行处理，生成用于机器视觉算法的第一图像；第二域控制器利用自身配置的第二图档参数对环境图像数据进行处理，生成用于展示的第二图像；由于第一域控制器和第二域控制器均是直接对图像采集设备采集到的环境图像数据进行处理的，因此，两个域控制器之间不存在环境图像数据的传输关系，两个域控制器互相是解耦状态的，这样利用解耦状态的第一域控制器和第二域控制器分别对环境图像数据进行处理，可以得到适用各自域控制器的图像，避免两个域控制器使用统一的图像参数对环境图像数据进行处理导致的不适配的问题。
本公开实施例还提供了一种车辆，包括本公开任一实施例中所述的图像处理系统，或如任一实施例所述的图像处理方法。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理系统的执行步骤、或执行上述图像处理方法的步骤、或执行上述车辆的执行步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。
所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像处理系统，其特征在于，应用于车辆，包括：图像采集设备、第一域控制器以及第二域控制器；
所述图像采集设备，用于在车辆的工作过程中采集车辆所处环境的环境图像数据；
所述第一域控制器，用于基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像；
所述第二域控制器，用于基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
2.根据权利要求1所述的图像处理系统，其特征在于，所述图像处理系统包括多路桥接单元，所述多路桥接单元的输入接口与所述图像采集设备连接，多个输出接口分别与所述第一域控制器以及所述第二域控制器连接，所述多路桥接单元用于：
将所述图像采集设备采集到的所述环境图像数据通过与所述第一域控制器连接的第一输出接口传输至所述第一域控制器，以及
将所述环境图像数据通过与所述第二域控制器连接的第二输出接口传输至所述第二域控制器。
3.根据权利要求1或2所述的图像处理系统，其特征在于，所述机器视觉算法的感知要求包括：图像暗部曝光要求；
所述第一域控制器在基于配置的第一图像处理参数，对所述环境图像数据进行第一处理时，用于：
对所述环境图像数据进行图像质量分析，得到所述环境图像的图像参数信息，所述图像参数信息包括暗部亮度值和信噪比；
在所述暗部亮度值小于或等于所述图像暗部曝光要求指示的第一暗部分辨阈值，且所述信噪比大于所述图像暗部曝光要求指示的第一信噪比分辨比值的情况下，对所述环境图像的暗部进行亮度增益处理以使得调整后得到的所述第一图像满足所述图像暗部曝光要求。
4.根据权利要求1或2所述的图像处理系统，其特征在于，所述展示要求包括：图像噪点要求；
所述第二域控制器在基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像时用于：
对所述环境图像数据进行图像质量分析，得到所述环境图像的图像参数信息，所述图像参数信息包括暗部亮度值和信噪比；
在所述信噪比小于或等于所述图像暗部曝光要求指示的第二信噪比分辨比值，且所述暗部亮度值大于所述图像暗部曝光要求指示的第二暗部分辨阈值的情况下，对所述环境图像进行滤波处理以使得调整后得到的所述第二图像满足所述图像噪点要求。
5.根据权利要求1所述的图像处理系统，其特征在于，采用下述方式确定目标图像参数：
利用拍摄设备获取第一格式的第一参考图像；
对目标域控制器进行参数标定，并利用参数标定后的目标域控制器获取第二格式的第二参考图像；
基于所述第一参考图像和所述第二参考图像，对所述目标域控制器的客观测试项中至少一个测试项进行调整，得到目标图像参数；
其中所述目标图像参数包括所述第一图像处理参数和所述第二图像处理参数，在所述目标图像参数为第一图像处理参数时，所述目标域控制器为第一域控制器，在所述目标图像参数为第二图像处理参数时，所述目标域控制器为第二域控制器。
6.根据权利要求5所述的图像处理系统，其特征在于，在得到目标图像参数之后，还包括：
响应于参数调整操作，基于所述目标域控制器的功能需求，对所述目标图像参数中至少部分参数进行调整，得到调整后的目标图像参数。
7.根据权利要求5或6所述的图像处理系统，其特征在于，所述利用拍摄设备获取第一格式的第一参考图像，包括：
利用所述拍摄设备在标准测试环境下拍摄得到第一格式的第一参考图像；所述标准测试环境包括：使用模拟光源、色卡、灰阶卡搭建的测试环境。
8.一种图像处理方法，其特征在于，应用于车辆，所述方法包括：
在车辆的工作过程中采集车辆所处环境的环境图像数据；
基于配置的第一图像处理参数，对所述环境图像数据进行第一处理，生成第一图像，其中，所述第一图像用于作为所述第一域控制器上部署的机器视觉算法的输入以进行检测，所述第一图像为满足所述机器视觉算法的感知要求的图像；
基于配置的第二图像处理参数，对所述环境图像数据进行第二处理，生成第二图像，其中，所述第二图像用于在展示界面上进行展示，所述第二图像为满足展示要求的图像。
9.一种车辆，其特征在于，所述车辆包括如权利要求1-7中任一项所述的图像处理系统，或执行如权利要求8所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1-7任一项所述的图像处理系统的步骤，或如权利要求8所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311302942.0A CN117351730A (zh) | 2023-10-09 | 2023-10-09 | 图像处理系统、方法、车辆以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311302942.0A CN117351730A (zh) | 2023-10-09 | 2023-10-09 | 图像处理系统、方法、车辆以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117351730A true CN117351730A (zh) | 2024-01-05 |
Family
ID=89360717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311302942.0A Pending CN117351730A (zh) | 2023-10-09 | 2023-10-09 | 图像处理系统、方法、车辆以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351730A (zh) |
-
2023
- 2023-10-09 CN CN202311302942.0A patent/CN117351730A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460734B (zh) | 车辆驾驶员辅助模块进行图像呈现的系统和方法 | |
| CN100593341C (zh) | 摄像装置 | |
| US8743202B2 (en) | Stereo camera for a motor vehicle | |
| KR101367637B1 (ko) | 감시장치 | |
| CN110651301A (zh) | 用于自动为夜视图像着色的方法和系统 | |
| JP2022509034A (ja) | ニューラルネットワークを使用した輝点除去 | |
| CN103770708A (zh) | 通过景物亮度估计的动态后视镜自适应减低亮度覆盖 | |
| US20140085473A1 (en) | In-vehicle camera apparatus | |
| CN106713755A (zh) | 全景图像的处理方法及装置 | |
| US11380111B2 (en) | Image colorization for vehicular camera images | |
| WO2013114803A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
| WO2011000392A1 (en) | Method and camera system for improving the contrast of a camera image | |
| CN114764779A (zh) | 运算装置及用于近眼显示装置的缺陷检测方法 | |
| TWI630818B (zh) | Dynamic image feature enhancement method and system | |
| CN117351730A (zh) | 图像处理系统、方法、车辆以及存储介质 | |
| CN114945943A (zh) | 基于虹膜大小估计深度 | |
| JPWO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| Kimura et al. | Measurement of visibility conditions toward smart driver assistance for traffic signals | |
| CN111241946B (zh) | 一种基于单dlp光机增大fov的方法和系统 | |
| CN112954309A (zh) | 一种基于ar-hud增强现实在车载对目标跟踪效果的试验方法 | |
| DE102013220839A1 (de) | Dynamische adaptive Rückspiegelabblendungs-Überlagerung durch Szenehelligkeitsschätzung | |
| US9197822B1 (en) | Array augmented parallax image enhancement system and method | |
| JP6880252B2 (ja) | 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両 | |
| JP2018074191A (ja) | 車載映像表示システム、車載映像表示方法、およびプログラム | |
| CN112406702A (zh) | 驾驶辅助系统和增强驾驶员视力的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |