CN111445409B - 基于夜视摄像头辅助的夜间aeb功能的性能提升方法及系统 - Google Patents
基于夜视摄像头辅助的夜间aeb功能的性能提升方法及系统 Download PDFInfo
- Publication number
- CN111445409B CN111445409B CN202010220591.9A CN202010220591A CN111445409B CN 111445409 B CN111445409 B CN 111445409B CN 202010220591 A CN202010220591 A CN 202010220591A CN 111445409 B CN111445409 B CN 111445409B
- Authority
- CN
- China
- Prior art keywords
- image
- night vision
- aeb
- night
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004297 night vision Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000008878 coupling Effects 0.000 claims abstract description 18
- 238000010168 coupling process Methods 0.000 claims abstract description 18
- 238000005859 coupling reaction Methods 0.000 claims abstract description 18
- 238000012800 visualization Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 47
- 230000008447 perception Effects 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- FXNSVEQMUYPYJS-UHFFFAOYSA-N 4-(2-aminoethyl)benzenesulfonamide Chemical compound NCCC1=CC=C(S(N)(=O)=O)C=C1 FXNSVEQMUYPYJS-UHFFFAOYSA-N 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims 3
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims 3
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims 3
- 230000002708 enhancing effect Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011076 safety test Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明公开了一种基于夜视摄像头辅助的夜间AEB功能的性能提升方法，步骤如下：1：依托得到的原始视频图像，并进行滤波处理及基于饱和度的图像处理，得到耦合图像；2：提升AEB系统对夜间目标的识别能力；3：基于光强的图像处理功能。本发明还公开了一种基于夜视摄像头辅助的夜间AEB功能的性能提升系统，包括如下部分：图像耦合模块：依托得到的原始视频图像，并进行滤波处理及基于饱和度的图像处理，得到耦合图像；目标识别模块：提升AEB系统对夜间目标的识别能力；图像可视化显示模块：基于光强的图像处理功能。本发明具有识别力强、探测能力强、保障行人安全的特点，可以广泛应用于车载夜间摄像系统上。
Description
技术领域
本发明涉及车载夜间摄像系统，特别是涉及一种基于夜视摄像头辅助的夜间AEB功能的性能提升方法及系统。
背景技术
夜间由于摄像头性能受环境限制，无好准确识别行人。目前相关的AEB(Autonomous Emergency Braking，自主紧急制动)自主紧急制动系统在产品开发及测试时都是在白天且标准的测试场地进行，夜间ADAS(Advanced Driving Assistance System，高级驾驶辅助系统)摄像头虽然对车辆行驶中的表现依然优异，但是由于其自身的局限性，对于行人的探知表现退坡明显，而专业的夜视功能及其红外摄像头正好可以填补这一个空缺。AEB环境感知传感器与NV(Night vision)夜视传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时或环境较为恶劣如夜晚就无法观察出遮挡的目标。
利用NV夜视传感器发现夜间的目标或在障碍后的行人等。在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题，不利于人眼判读。
在安全方面，随着ENCAP(欧洲安全碰撞测试)及后续CNCAP(中国新车评价规程)的5星评价要求日益严格，今后若要拿到AEB功能的5星加分必须通过严格的夜间测试。而世界上广泛运用的ADAS摄像头使用的是mobileye芯片，虽然mobileye芯片在ADAS系统的视觉处理上绝对出色，但目前夜间性能还有待提升。虽然mobileye普及率逐渐提高，但也造成ADAS摄像头性能趋同的弊端，综合全国汽车销量，装备了AEB+夜视车型仍属少数，服务对象多限于高端客户，因为性价比不高，限制了这项技术的应用和推广。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于夜视摄像头辅助的夜间AEB功能的性能提升方法及系统，使其具有识别力强、探测能力强、保障行人安全的特点。
本发明提供的一种基于夜视摄像头辅助的夜间AEB功能的性能提升方法，包括以下步骤：步骤1：依托环境感知摄像头及红外摄像头得到原始视频图像，并对图像进行基于光强的滤波处理及基于饱和度的图像处理，得到两组耦合图像；步骤2：基于饱和度图像提升AEB系统对夜间目标的识别能力；步骤3：用基于光强的图像处理功能提升夜视系统的图像可视化显示能力。
在上述技术方案中，所述步骤1中，具体步骤如下：步骤11：基于图像的低频融合规则，通过基本像素点本身与作为融合图像采用的若干像素点之间的差值计算图像的像素显著值；步骤12：当依托环境感知摄像头及红外摄像头得到的夜视图像和AEB环境感知图像对应像素点的匹配度小于图像融合标准差法计算出的阈值，即
时，
其中，PNV(i，j为NV夜视图像，PAEB(i，j)为AEBS环境感知图像的像素点，m×n区域为选取目标像素组块的重叠区域，
代表了图像像素点(i，j)上高频分量的标准差法容差值，
代表了图像上所有像素点上高频分量的标准差法容差值，再依托基于图像光强I、饱和度S和主波波长H的图像处理图像，提取单个像素的特征参数，如果将单个像素特征分解后数值差异较大，选择显著值大的像素作为融合图像对应位置处的像素；反之，当夜视图像和AEB环境感知图像的匹配度大于或者等于阈值时，采用加权融合方法来将夜视图像赋予AEB系统。
在上述技术方案中，所述步骤2中，具体步骤如下：AEB自主紧急制动系统根据夜视系统赋予的原始视频图像进行图像融合，得到ADAS系统可引用的夜视图像，识别夜间目标并建立特殊的夜间目标OBJ代入系统实现夜视目标的直接引用。
在上述技术方案中，所述步骤3中，具体步骤如下：步骤31：在夜视图像与AEB环境感知传感器的融合中引入对比度，利用局部融合规则，提取源图像的高频细节信息，进而将清晰的图像赋予夜视系统，根据ADAS的图像融合，得到夜视融合图像，利用AEB环境感知传感器对图像的成像能力，优化夜视图像的HMI显示；步骤32：在近端清晰识别出关键目标物清晰突出的轮廓时，将关键目标物及近端成像清晰处的图像赋予夜视系统，保证夜视系统呈现画面细节；步骤33：AEB系统圈定的行人目标的范围直接给夜视系统引用，增强提醒圈定行人的范围。
本发明还提供了一种基于夜视摄像头辅助的夜间AEB功能的性能提升系统，包括如下部分：图像耦合模块：依托环境感知摄像头及红外摄像头得到原始视频图像，并对图像进行基于光强的滤波处理及基于饱和度的图像处理，得到两组耦合图像；目标识别模块：基于饱和度图像提升AEB系统对夜间目标的识别能力；图像可视化显示模块：用基于光强的图像处理功能提升夜视系统的图像可视化显示能力。
在上述技术方案中，所述图像耦合模块中，具有以下部分：像素显著值单元：基于图像的低频融合规则，通过基本像素点本身与作为融合图像采用的若干像素点之间的差值计算图像的像素显著值；比较单元：当依托环境感知摄像头及红外摄像头得到的夜视图像和AEB环境感知图像对应像素点的匹配度小于图像融合标准差法计算出的阈值，即
时，
其中，PNV(i，j)为NV夜视图像，PAEB(i，j)为AEBS环境感知图像的像素点，m×n区域为选取目标像素组块的重叠区域，
代表了图像像素点(i，j)上高频分量的标准差法容差值，
代表了图像上所有像素点上高频分量的标准差法容差值，再依托基于图像光强I、饱和度S和主波波长H的图像处理图像，提取单个像素的特征参数，如果将单个像素特征分解后数值差异较大，选择显著值大的像素作为融合图像对应位置处的像素；反之，当夜视图像和AEB环境感知图像的匹配度大于或者等于阈值时，采用加权融合方法来将夜视图像赋予AEB系统。
在上述技术方案中，所述图像可视化显示模块中，具有以下部分：对比融合单元：在夜视图像与AEB环境感知传感器的融合中引入对比度，利用局部融合规则，提取源图像的高频细节信息，进而将清晰的图像赋予夜视系统，根据ADAS的图像融合，得到夜视融合图像，利用AEB环境感知传感器对图像的成像能力，优化夜视图像的HMI显示；图像赋予单元：在近端清晰识别出关键目标物清晰突出的轮廓时，将关键目标物及近端成像清晰处的图像赋予夜视系统，保证夜视系统呈现画面细节；增强单元：AEB系统圈定的行人目标的范围直接给夜视系统引用，增强提醒圈定行人的范围。
本发明基于夜视摄像头辅助的夜间AEB功能的性能提升方法及系统，具有以下有益效果：
安全效益：一种基于夜视摄像头辅助的AEB自主紧急制动功能夜间性能提升的方法，颠覆性的提高了AEB系统在夜间及部分遮挡场景的识别能力，对夜间及及部分遮挡场景下系统的功能安全大幅提升；
经济效益：化解夜间功能失效的风险，减少潜在风险的客户索赔；高性能的AEB系统及NV夜视系统也带来了消费卖点。
潜在客户效益：将夜视图像上自动锁定目标行人位置，将NV夜视功能可视化更完美科技感更强，使得客户更加容易接受。
企业效益：本发明已多传感器融合为基础，未来功能间必然不是相互独立的而是配合运行的，为将来的开发前景及模块化运行打下来基础。
附图说明
图1为本发明基于夜视摄像头辅助的夜间AEB功能的性能提升方法中两类图像来源示意图；
图2为本发明基于夜视摄像头辅助的夜间AEB功能的性能提升方法流程示意图；
图3为本发明基于夜视摄像头辅助的夜间AEB功能的性能提升系统结构示意图；
图4为本发明基于夜视摄像头辅助的夜间AEB功能的性能提升系统结构中图像耦合模块的结构示意图；
图5为本发明基于夜视摄像头辅助的夜间AEB功能的性能提升系统结构中图像可视化显示模块的结构示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。
参见图1至图2，本发明基于夜视摄像头辅助的夜间AEB功能的性能提升方法，包括以下步骤：
步骤1：依托环境感知摄像头及红外摄像头得到原始视频图像，并对图像进行基于光强的滤波处理及基于饱和度的图像处理，得到两组耦合图像，具体步骤如下：
步骤11：由于AEB环境感知传感器中像素的对比度比较敏感，而不是像素本身的强度大小，因此本步骤提出一种基于图像的低频融合规则，通过基本像素点本身与作为融合图像采用的若干像素点之间的差值计算图像的像素显著值；
步骤12：当依托环境感知摄像头及红外摄像头得到的夜视图像和AEB环境感知图像(原始视频图像)对应像素点的匹配度小于图像融合标准差法计算出的阈值，即
时，
其中，PNV(i，j)为NV夜视图像，PAEB(i，j)为AEBS环境感知图像的像素点，m×n区域为选取目标像素组块的重叠区域，
代表了图像像素点(i，j)上高频分量的标准差法容差值，
代表了图像上所有像素点上高频分量的标准差法容差值，再依托基于图像光强I、饱和度S和主波波长H的图像处理图像，提取单个像素的特征参数，如果公式将单个像素特征分解后数值差异较大，则说明两幅源图像在该位置处的显著值(所谓显著值为I\H\S色彩系统中像素点经过变换后，若I和H程对应关系说明显著值大，侧面证明本像素点为真实光源反馈的像素点，若较小既有可能为视频背景像素和真实环境无关)差别较大，选择显著值大的像素作为融合图像对应位置处的像素；反之，当夜视图像和AEB环境感知图像的匹配度大于或者等于阈值时，说明该位置处的显著值很接近，此时采用加权融合方法来将夜视图像赋予AEB系统。这种基于匹配度的融合方法与简单加权或者取较大值或较小值来确定融合图像的方法相比，显得更合理，更科学。
步骤2：基于饱和度图像提升AEB系统对夜间目标的识别能力，具体步骤如下：
AEB自主紧急制动系统根据夜视系统赋予的原始视频图像进行图像融合，得到ADAS系统可引用的夜视图像，识别(利用夜视系统增强ADAS系统的夜间识别能力将绝大多数夜间未能识别的场景识别出来，而对于识别场景中人物特征的识别采用和现有AEB系统相同的技术)夜间目标并建立特殊的夜间目标OBJ代入系统实现夜视目标的直接引用。原始AEB系统可以正常识别16个正常目标OBJ(01-16)，直接引用原来未识别出来的夜间目标OBJ(NV)来代入系统，不影响AEB系统的基本算法。
步骤3：用基于光强的图像处理功能提升夜视系统的图像可视化显示能力，具体步骤如下：
步骤31：AEB环境感知传感器对图像的局部对比度比较敏感，而且人眼的成像特性也是基于频率选择特性和方向性的，在夜视图像与AEB环境感知传感器的融合中引入对比度，利用局部融合规则，提取源图像的高频细节信息，同时充分考虑了夜视图像与AEB环境感知传感器的特点，既能保留AEB环境感知图像中丰富的细节信息而且还能够不降低融合图像的对比度，进而将清晰的图像赋予夜视系统，根据ADAS的图像融合(步骤1中的夜视图像和AEB环境感知图像)，得到夜视融合图像，利用AEB环境感知传感器对图像的成像能力，优化夜视图像的HMI(Human Machine Interface，人机界面)显示；
步骤32：在近端清晰识别出关键目标物(车辆、行人等)清晰突出的轮廓时，将关键目标物及近端成像清晰处的图像在一定的范围内(主要指近端像素点色彩饱和度高对比度突出的部分环境感知图像)赋予夜视系统，保证夜视系统呈现画面细节；
步骤33：AEB系统圈定的行人目标的范围直接给夜视系统引用，增强提醒圈定行人的范围。AEB行人框选技术及算法为AEB成熟技术，但本发明首次使用提取出来供在夜视图像中提供给消费者HMI显示，将夜视图像中行人框选出来。
通过以上各步骤，实现了AEB紧急制动系统及NV夜视系统在特定场景下的性能提升。
参见图3，本发明基于夜视摄像头辅助的夜间AEB功能的性能提升系统，其特征在于：包括如下部分：
图像耦合模块：依托环境感知摄像头及红外摄像头得到原始视频图像，并对图像进行基于光强的滤波处理及基于饱和度的图像处理，得到两组耦合图像；
目标识别模块：基于饱和度图像提升AEB系统对夜间目标的识别能力；
图像可视化显示模块：用基于光强的图像处理功能提升夜视系统的图像可视化显示能力。
参见图4，所述图像耦合模块中，具有以下部分：
像素显著值单元：基于图像的低频融合规则，通过基本像素点本身与作为融合图像采用的若干像素点之间的差值计算图像的像素显著值；
比较单元：当依托环境感知摄像头及红外摄像头得到的夜视图像和AEB环境感知图像对应像素点的匹配度小于图像融合标准差法计算出的阈值，即
时，
其中，PNV(i，j)为NV夜视图像，PAEB(i，j)为AEBS环境感知图像的像素点，m×n区域为选取目标像素组块的重叠区域，
代表了图像像素点(i，j)上高频分量的标准差法容差值，
代表了图像上所有像素点上高频分量的标准差法容差值，再依托基于图像光强I、饱和度S和主波波长H的图像处理图像，提取单个像素的特征参数，如果将单个像素特征分解后数值差异较大，选择显著值大的像素作为融合图像对应位置处的像素；反之，当夜视图像和AEB环境感知图像的匹配度大于或者等于阈值时，采用加权融合方法来将夜视图像赋予AEB系统。
参见图5，所述图像可视化显示模块中，具有以下部分：
对比融合单元：在夜视图像与AEB环境感知传感器的融合中引入对比度，利用局部融合规则，提取源图像的高频细节信息，进而将清晰的图像赋予夜视系统，根据ADAS的图像融合，得到夜视融合图像，利用AEB环境感知传感器对图像的成像能力，优化夜视图像的HMI显示；
图像赋予单元：在近端清晰识别出关键目标物清晰突出的轮廓时，将关键目标物及近端成像清晰处的图像赋予夜视系统，保证夜视系统呈现画面细节；
增强单元：AEB系统圈定的行人目标的范围直接给夜视系统引用，增强提醒圈定行人的范围。
本发明主要依靠NV夜视红外摄像头自身的算法优化及和AEB系统提供信号的输入来提高AEB系统的夜间工作场景针对行人目标的性能。主要应用在本身配置有NV夜视功能及ADAS功能的车辆上，利用配置的优越性达到夜间AEB性能飞跃领先行业的目的。夜视基本功能的使用中也反向融合FCW(Front collision warning，前方碰撞预警)的工作功能，通过准确定位目标风险行人位置来，在可能发生危险的情况下给驾驶员一个强提醒，使得夜视功能更加强大实用。
为了获得较好的AEB及NV夜视功能的融合效果，本发明在图像处理层面、对图像预处理理论及方法进行修正。预处理创新点主要包括图像去噪、图像配准和图像增强。图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。
在NV夜视功能层面，对NV夜视功能在两个层级对功能进行了提升：1、基于AEB(ADAS)环境感知传感器的对行人车辆优异的识别及判读能力，将行人信息及可信度及时推送NV夜视ECU(Electronic Control Unit，电子控制单元)，NV夜视ECU进过处理，准确判读行人的目标位置，后期通过HMI处理将行人信息锁定呈现给驾驶员。2、NV夜视功能中融入基于夜视识别的FCW报警功能，弥补FCW夜间识别的不足，后期功能成熟。
在AEB(FCW)系统功能层面，对AEB功能在两个层级对功能进行了提升：1、基于夜视摄像头的对夜间行人车辆的识别能力，提升AEB在夜间工作的判别能力，传统车辆AEB系统需要更高的可信度才会进行动作，基于夜视融合方案后，夜间目标的可信度甚至超过白天。2、针对树荫、临时障碍物等半透过性遮挡目标的性能提升，提升AEB在目标遮挡时的探测能力，传统车辆无法识别树枝等障碍后的物体，基于夜视融合方案后，增大了识别出障碍物后行人的几率，从而保证了行人的安全。
注：本发明已在今年东风旗下某高端车型上进行了试运行，分别在不同地区做了测试，详见以下三个实施例：
实施例1：
本发明在针对AEB(FCW)系统功能，基于夜视融合方案后，夜间目标的可信度甚至超过白天。2、针对树荫、临时障碍物等半透过性遮挡目标的性能提升，提升AEB在目标遮挡时的探测能力，传统车辆无法识别树枝等障碍后的物体，基于夜视融合方案后，增大了识别出夜间及障碍物后行人的几率，从而保证其安全。AEB(FCW)系统在夜间等人眼也无法识别的特殊工况下可以正常工作。
实施例2：
在NV夜视功能层面，部分引用AEB环境感知传感器的图像信息，使得一定程度上消除了夜视图像模糊毛刺等局限性。给客户更好的HMI体验。
实施例3：
在NV夜视功能层面，基于AEB(ADAS)环境感知传感器的对行人车辆优异的识别及判读能力，将行人信息及可信度及时推送NV夜视ECU，NV夜视ECU进过处理，准确判读行人的目标位置，后期通过HMI处理将行人信息锁定呈现给驾驶员。即准确框定行人位置推送给驾驶员。
本发明碰通过融合夜视功能，及夜视对行人识别的优化，通过夜间NV夜视功能及AEB自主紧急制动功能的融合及自身算法的优化，进一步降低夜间和行人碰撞的可能，提升性能，在不改变原车ADAS原有摄像头性能指标的情况下，提前满足ENCAP及后续CNCAP 5星对应的加分要求。
本发明的创新点如下：1、需要通过夜间图像处理需要通过同步的光强处理得到夜间的融合图像；2、需要通过可视化图像处理需要通过同步的对比度处理得到环境的融合图像；3、将夜间夜视图像赋予AEB系统使用已保证其夜间工作的性能；4、将AEB系统准确识别的行人位置信息及行人图像信息赋予夜视系统保证HMI显示效果及行人位置的框选；5、两系统在工作中图像融合、过滤、引用、信息共享功能互通。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (5)
1.一种基于夜视摄像头辅助的夜间AEB功能的性能提升方法，其特征在于：包括以下步骤：
步骤1：依托环境感知摄像头及红外摄像头得到原始视频图像，并对图像进行基于光强的滤波处理及基于饱和度的图像处理，得到基于饱和度的图像处理后的耦合图像和基于光强的滤波处理后的耦合图像；
步骤2：基于步骤1所得的基于饱和度的图像处理后的耦合图像提升AEB系统对夜间目标的识别能力；
步骤3：用步骤1所得的基于光强的滤波处理后的耦合图像提升夜视系统的图像可视化显示能力；
所述步骤3中，具体步骤如下：
步骤31：在夜视图像与AEB环境感知传感器的融合中引入对比度，利用局部融合规则，提取源图像的高频细节信息，进而将清晰的图像赋予夜视系统，根据ADAS的图像融合，得到夜视融合图像，利用AEB环境感知传感器对图像的成像能力，优化夜视图像的HMI显示；
步骤32：在近端清晰识别出关键目标物清晰突出的轮廓时，将关键目标物及近端成像清晰处的图像赋予夜视系统，保证夜视系统呈现画面细节；
步骤33：AEB系统圈定的行人目标的范围直接给夜视系统引用，增强提醒圈定行人的范围。
2.根据权利要求1所述的基于夜视摄像头辅助的夜间AEB功能的性能提升方法，其特征在于：所述步骤1中，具体步骤如下：
步骤11：基于图像的低频融合规则，通过基本像素点本身与作为融合图像采用的若干像素点之间的差值计算图像的像素显著值；
步骤12：当依托环境感知摄像头及红外摄像头得到的原始视频图像和AEB环境感知图像对应像素点的匹配度小于图像融合标准差法计算出的阈值，当
时，
其中，PNV(i，j)为NV夜视图像，PAEB(i，j)为AEBS环境感知图像的像素点，m×n区域为选取目标像素组块的重叠区域，
代表了图像像素点(i，j)上高频分量的标准差法容差值，
代表了图像上所有像素点上高频分量的标准差法容差值，再依托基于图像光强I、饱和度S和主波波长H的图像处理图像，提取单个像素的特征参数，如果将单个像素特征分解后数值差异较大，选择显著值大的像素作为融合图像对应位置处的像素；反之，当夜视图像和AEB环境感知图像的匹配度大于或者等于阈值时，采用加权融合方法来将夜视图像赋予AEB系统。
3.根据权利要求2所述的基于夜视摄像头辅助的夜间AEB功能的性能提升方法，其特征在于：所述步骤2中，具体步骤如下：
AEB自主紧急制动系统根据夜视系统赋予的原始视频图像进行图像融合，得到ADAS系统可引用的夜视图像，识别夜间目标并建立特殊的夜间目标OBJ代入系统实现夜视目标的直接引用。
4.一种基于夜视摄像头辅助的夜间AEB功能的性能提升系统，其特征在于：包括如下部分：
图像耦合模块：依托环境感知摄像头及红外摄像头得到原始视频图像，并对图像进行基于光强的滤波处理及基于饱和度的图像处理，得到基于饱和度的图像处理后的耦合图像和基于光强的滤波处理后的耦合图像；
目标识别模块：基于饱和度的图像处理后的耦合图像提升AEB系统对夜间目标的识别能力；
图像可视化显示模块：用基于光强的滤波处理后的耦合图像处理功能提升夜视系统的图像可视化显示能力；
所述图像可视化显示模块中，具有以下部分：
对比融合单元：在夜视图像与AEB环境感知传感器的融合中引入对比度，利用局部融合规则，提取源图像的高频细节信息，进而将清晰的图像赋予夜视系统，根据ADAS的图像融合，得到夜视融合图像，利用AEB环境感知传感器对图像的成像能力，优化夜视图像的HMI显示；
图像赋予单元：在近端清晰识别出关键目标物清晰突出的轮廓时，将关键目标物及近端成像清晰处的图像赋予夜视系统，保证夜视系统呈现画面细节；
增强单元：AEB系统圈定的行人目标的范围直接给夜视系统引用，增强提醒圈定行人的范围。
5.根据权利要求4所述的基于夜视摄像头辅助的夜间AEB功能的性能提升系统，其特征在于：所述图像耦合模块中，具有以下部分：
像素显著值单元：基于图像的低频融合规则，通过基本像素点本身与作为融合图像采用的若干像素点之间的差值计算图像的像素显著值；
比较单元：当依托环境感知摄像头及红外摄像头得到的原始视频图像和AEB环境感知图像对应像素点的匹配度小于图像融合标准差法计算出的阈值，当
时，
其中，PNV(i，j)为NV夜视图像，PAEB(i，j)为AEBS环境感知图像的像素点，m×n区域为选取目标像素组块的重叠区域，
代表了图像像素点(i，j)上高频分量的标准差法容差值，
代表了图像上所有像素点上高频分量的标准差法容差值，再依托基于图像光强I、饱和度S和主波波长H的图像处理图像，提取单个像素的特征参数，如果将单个像素特征分解后数值差异较大，选择显著值大的像素作为融合图像对应位置处的像素；反之，当夜视图像和AEB环境感知图像的匹配度大于或者等于阈值时，采用加权融合方法来将夜视图像赋予AEB系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010220591.9A CN111445409B (zh) | 2020-03-25 | 2020-03-25 | 基于夜视摄像头辅助的夜间aeb功能的性能提升方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010220591.9A CN111445409B (zh) | 2020-03-25 | 2020-03-25 | 基于夜视摄像头辅助的夜间aeb功能的性能提升方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111445409A CN111445409A (zh) | 2020-07-24 |
| CN111445409B true CN111445409B (zh) | 2023-02-28 |
Family
ID=71652483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010220591.9A Active CN111445409B (zh) | 2020-03-25 | 2020-03-25 | 基于夜视摄像头辅助的夜间aeb功能的性能提升方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445409B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411328B1 (en) * | 1995-12-01 | 2002-06-25 | Southwest Research Institute | Method and apparatus for traffic incident detection |
| WO2017059774A1 (en) * | 2015-10-09 | 2017-04-13 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for fusion display of thermal infrared and visible image |
| CN107481214A (zh) * | 2017-08-29 | 2017-12-15 | 北京华易明新科技有限公司 | 一种微光图像与红外图像融合方法 |
| CN107945149A (zh) * | 2017-12-21 | 2018-04-20 | 西安工业大学 | 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法 |
-
2020
- 2020-03-25 CN CN202010220591.9A patent/CN111445409B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411328B1 (en) * | 1995-12-01 | 2002-06-25 | Southwest Research Institute | Method and apparatus for traffic incident detection |
| WO2017059774A1 (en) * | 2015-10-09 | 2017-04-13 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for fusion display of thermal infrared and visible image |
| CN107481214A (zh) * | 2017-08-29 | 2017-12-15 | 北京华易明新科技有限公司 | 一种微光图像与红外图像融合方法 |
| CN107945149A (zh) * | 2017-12-21 | 2018-04-20 | 西安工业大学 | 增强IHS‑Curvelet变换融合可见光和红外图像的汽车抗晕光方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111445409A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hautière et al. | Mitigation of visibility loss for advanced camera-based driver assistance | |
| US8755634B2 (en) | Obstacle detection device and method and obstacle detection system | |
| CN107891808B (zh) | 行车提醒方法、装置及车辆 | |
| TWI607901B (zh) | 影像修補系統及其方法 | |
| CN112215306B (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN103034843B (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
| CN104657735A (zh) | 车道线检测方法、系统、车道偏离预警方法及系统 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN107886034B (zh) | 行车提醒方法、装置及车辆 | |
| Li et al. | Nighttime lane markings recognition based on Canny detection and Hough transform | |
| CN107392103A (zh) | 路面车道线的检测方法及装置、电子设备 | |
| WO2016113983A1 (ja) | 画像処理装置、画像処理方法、プログラム及びシステム | |
| TW200846218A (en) | Device and method for detecting obstacle by stereo computer vision | |
| WO2023155483A1 (zh) | 一种车型识别方法、装置和系统 | |
| Niksaz | Automatic traffic estimation using image processing | |
| Jiang et al. | Target detection algorithm based on MMW radar and camera fusion | |
| CN112669615B (zh) | 一种基于摄像头的停车位检测方法和系统 | |
| CN114818819A (zh) | 一种基于毫米波雷达与视觉信号的道路障碍物检测方法 | |
| Wen et al. | A rear-vehicle detection system for static images based on monocular vision | |
| CN111445409B (zh) | 基于夜视摄像头辅助的夜间aeb功能的性能提升方法及系统 | |
| Wang et al. | Lane-line detection algorithm for complex road based on OpenCV | |
| CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
| Borkar et al. | Detecting lane markers in complex urban environments | |
| KR20150146374A (ko) | 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 | |
| Zakaria et al. | Fully convolutional neural network for Malaysian road lane detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |