CN112750170A - 一种雾特征识别方法、装置及相关设备 - Google Patents

一种雾特征识别方法、装置及相关设备 Download PDF

Info

Publication number
CN112750170A
CN112750170A CN201911056178.7A CN201911056178A CN112750170A CN 112750170 A CN112750170 A CN 112750170A CN 201911056178 A CN201911056178 A CN 201911056178A CN 112750170 A CN112750170 A CN 112750170A
Authority
CN
China
Prior art keywords
image
channel
fog
color space
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911056178.7A
Other languages
English (en)
Other versions
CN112750170B (zh
Inventor
张峻豪
黄为
刘刚
何彦杉
田勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201911056178.7A priority Critical patent/CN112750170B/zh
Priority to PCT/CN2020/113630 priority patent/WO2021082735A1/zh
Priority to EP20883159.4A priority patent/EP4044112A4/en
Publication of CN112750170A publication Critical patent/CN112750170A/zh
Application granted granted Critical
Publication of CN112750170B publication Critical patent/CN112750170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种雾特征识别方法及相关设备,具体可以应用于无人驾驶车辆、智能车辆等,提升车辆在有雾天气下行驶的安全性,其中的方法包括获取目标图像;基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。本申请可以应用于人工智能AI领域中的智能控制、智能驾驶等多个技术领域,可以更智能、更准确地识别目标图像中的雾特征信息。

Description

一种雾特征识别方法、装置及相关设备
技术领域
本发明涉及智能车领域,尤其涉及一种雾特征识别方法、装置及相关设备。
背景技术
在车辆行驶过程中,恶劣天气往往是交通安全的重大隐患。在国家统计局发布2018年发生的327209起交通事故中,34.7%的交通事故发生于恶劣天气,尤其是雾天。究其原因主要是雾天能见度低,且行驶车辆车灯使用不规范,导致驾驶员视线受阻,从而发生交通事故。对此,国家在《中华人民共和国道路交通安全法实施条例》中明确规定了如何规范使用雾灯,具体如下:
第八十一条机动车在高速公路上行驶,遇有雾、雪、沙尘、冰雹等低能见度气象条件时,应当遵守下列规定:
(一)能见度小于200米时,开启雾灯、近光灯、示廓灯和前后位灯,车速不得超过每小时60公里,与同车道前车保持100米以上的距离;
(二)能见度小于100米时,开启雾灯、近光灯、示廓灯、前后位灯和危险报警闪光灯,车速不得超过每小时40公里,与同车道前车保持50米以上的距离;
(三)能见度小于50米时,开启雾灯、近光灯、示廓灯、前后位灯和危险报警闪光灯,车速不得超过每小时20公里,并从最近的路口尽快驶离高速公路。
遇有前款规定情景时,高速公路管理部门应当通过显示屏等方式发布速度限制、保持车距等提示信息。所以,雾灯的正确使用对于提升驾驶员的行驶安全和行驶体验就显得尤其重要。然而,目前市面上有关车灯的技术大多都是针对车载大灯进行调节,对于雾灯方面的研究工作还很欠缺。
为了保证在雾天驾驶员正确使用雾灯、或者在一些其他有雾场景中准确使用雾灯/相关照明设备,如何准确有效的识别出环境中的雾特征,从而给相关人员或设备以开启雾灯/相关照明设备的警示是亟待解决的问题。
发明内容
本发明实施例提供一种雾特征识别方法、装置及相关设备,以更智能、更准确地识别当前环境中是否有雾。
第一方面,本发明实施例提供了一种雾特征识别方法,可包括:获取目标图像;基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。
本发明实施例,通过结合目标图像的暗通道的灰度特征以及HSV颜色空间图像的颜色特征,共同判断目标图像中的雾特征信息,且可以进一步地判断目标图像对应的环境中是否有雾,融合了多通道的特征信息,提升了判断雾特征信息的准确率。具体地,由于当环境中有雾的情况下与当环境中无雾的情况下相比较,有雾图像的暗通道图像中的像素值小的像素数量通常比无雾图像的暗通道图像的更多(例如,有雾整体颜色较浅,无雾整体颜色更深),以及有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。因此,本发明实施例避免通过单一的通道特征来判断目标图像对应的环境中是否有雾,并且通过融合在有雾和无雾情况下区别较为明显的暗通道图像和HSV颜色空间图像的相关特征,进行综合判断,实现了准确、高效的雾检测。当将本发明实施例应用于具体的应用场景中时,可以用于判断是否需要对照片进行去雾、是否需要开启雾灯、是否需要开启相关应急设备等。可选的,本申请中的雾可以包括雾、霾或粉尘等类似现象的情况。
在一种可能的实现方式中,所述基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息,包括:确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
本发明实施例中,由于当环境中有雾的情况下与当环境中无雾的情况下相比较,有雾图像的暗通道图像中的像素值小的像素数量通常比无雾图像的暗通道图像的更多(例如,有雾整体颜色较浅,无雾整体颜色更深)。即有雾的情况下,图像的暗通道图像中的像素的像素值通常呈现较小的现象,导致像素值较小的像素占大部分。因此,目标图像的暗通道图像中的每一种像素值对应的像素数在总像素数中的比例的统计信息,可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
本发明实施例中,由于有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。即有雾的情况下,图像的HSV颜色空间图像中的像素的像素值通常呈现变化较小的现象,导致像素值的方差或标准差较小。因此,目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差,也可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
本发明实施例中,由于有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。即有雾的情况下,图像的HSV颜色空间图像中的像素的像素值通常呈现变化较小的现象,导致像素值的方差或标准差较小,并且,进一步地,由于标准差与均值的比值会放大像素值的变化幅度,以便于更准确的判定像素值的变化情况。因此,目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值,也可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
本发明实施例中,由于有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。即有雾的情况下,图像的HSV颜色空间图像中的像素的像素值通常呈现变化较小的现象,导致像素值的方差或标准差较小,并且,在HSV颜色空间图像的三个通道(H通道、S通道和V通道)中,S通道和V通道在有雾和无雾情况下的区别较为明显,进一步地,由于标准差与均值的比值会放大像素值的变化幅度,以便于更准确的判定像素值的变化情况。因此,S通道的像素的像素值的标准差与均值、以及V通道的像素的像素值的标准差与均值,也可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,所述根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息,包括:根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
本发明实施例,根据目标图像的暗通道图像中每一像素值对应的像素数在所述暗通道图像的像素总数中的比例,以及根据多种方式确定HSV颜色空间图像的颜色分布情况,分别从不同维度计算目标图像中雾特征的度量值,即从不同维度确定雾在该图像中的强弱程度,并最终通过该两个维度的雾特征的度量值,综合判定该目标图像对应的环境中的雾特征信息,例如,判定对应的环境中是否有雾或者雾的强弱程度等。
在一种可能的实现方式中,所述基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息,包括:基于所述目标图像的暗通道图像,统计所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d);
其中,
Figure BDA0002256609100000031
xi为所述暗通道图像中像素值为i的像素,sum(xi)为所述暗通道图像中像素值为i的像素的总数,xi∈d为所述暗通道图像中像素值落入对应的像素值区间d的像素,sum(xi∈d)为所述暗通道图像中像素值落入所属的像素值区间的像素的总数;其中,d包括像素值区间[0,N]和像素值区间(N,255],N为预设像素值阈值,0<N<255,0≤i≤255,且N与i均为整数。
本发明实施例中,通过统计以预设像素值阈值为分界点的两个像素值区间内,各个像素值对应的像素数在其所属像素值区间内对应的像素总数中的比例,并将上述比例值确定为目标图像的暗通道图像的灰度特征分布信息,最终可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:基于所述目标图像的HSV颜色空间图像,计算所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000032
和亮度变异系数
Figure BDA0002256609100000033
其中,σ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的标准差,μ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的均值;σ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的标准差,μ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的均值。
本发明实施例中,通过分别计算HSV颜色空间图像中S通道和V通道的像素的像素值的标准差及均值,从而分别计算得到S通道和V通道的变异系数,即进一步量化HSV颜色空间图像的像素的像素值的变化情况,并将上述变异系数确定为目标图像的HSV颜色空间图像的颜色特征分布信息,最终可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,所述根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息,包括:根据所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),基于公式
Figure BDA0002256609100000041
计算所述暗通道图像中的雾特征的第一度量值E1;
其中,w为所述暗通道图像中的所有像素;根据所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000042
和亮度变异系数
Figure BDA0002256609100000043
基于公式
Figure BDA0002256609100000044
计算所述HSV颜色空间图像中的雾特征的第二度量值E2,e为自然系数;基于公式E=aE1+bE2计算所述目标图像中的雾特征的总度量值,其中a和b分别为E1和E2的权重因子,a+b=1,a>0,b>0;若E≤τ0,则判定所述目标图像对应的环境中有雾,其中,τ0为预设的能量阈值,且0≤τ0≤1。
本发明实施例中,通过统计以预设像素值阈值为分界点的两个像素值区间内,各个像素值对应的像素数在其所属像素值区间内对应的像素总数中的比例,并根据上述比例值计算目标图像的暗通道图像中雾特征的第一度量值;以及分别计算HSV颜色空间图像中S通道和V通道的像素的像素值的标准差及均值,从而分别计算得到S通道和V通道的变异系数,并根据上述变异系数计算目标图像的HSV颜色空间图像的雾特征的第二度量值。即分别从不同维度计算目标图像中雾特征的度量值,从不同维度确定雾在该图像中的强弱程度,并最终通过该两个维度的雾特征的度量值,综合判定该目标图像对应的环境中的雾特征信息,例如,判定对应的环境中是否有雾或者雾的强弱程度等。
在一种可能的实现方式中,所述方法还包括:确定所述目标图像对应的环境的地理位置的有雾概率系数s1和天气的有雾概率系数s2;根据公式
Figure BDA0002256609100000045
确定τ0,其中,α1和α2分别为s1和s2的权重因子,且α12=1,α1>0,α2>0。
本发明实施例,可通过地理位置以及天气对环境中是否有雾的影响,实时确定或者更新预设的能量阈值τ0以提升判断的准确率。例如,风景区比城市区更容易有雾,雨天比阴天或晴天更容易有雾等,因此该容易有雾的地理位置或者天气下的能量阈值τ0可相较于不容易有雾的地理位置或者天气下的能量阈值τ0更小,以减小误判概率。
在一种可能的实现方式中,所述方法还包括:若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
当将本发明实施例应用于具体的应用场景中时,可以用于车辆在行驶过程中,判断是否需要开启雾灯,避免驾驶员在雾天情况下,因误判未开启雾灯而容易引起的安全事故,提升了驾驶的智能性和安全性,保证驾驶员的生命和财产安全。
在一种可能的实现方式中,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
本发明实施例,通过将采集图像中包括分界线或者容易判定其雾特征的区域作为发明实施例中的目标图像,从而提升目标图像中的雾特征的识别效率和识别准确度,进一步提升车辆的智能性和安全性,保证驾驶员的生命和财产安全。
第二方面,本发明实施例提供了一种雾特征识别装置,可包括:
获取单元,用于获取目标图像;
第一确定单元,用于基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;
第二确定单元,用于基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;
第三确定单元,用于根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。
在一种可能的实现方式中,所述第一确定单元,具体用于:
确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述第二确定单元,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;
根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述第二确定单元,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;
根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述第二确定单元,具体用于:
确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;
根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述第二确定单元,具体用于:
根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;
根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
在一种可能的实现方式中,所述第一确定单元,具体用于:
基于所述目标图像的暗通道图像,统计所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d);
其中,
Figure BDA0002256609100000051
xi为所述暗通道图像中像素值为i的像素,sum(xi)为所述暗通道图像中像素值为i的像素的总数,xi∈d为所述暗通道图像中像素值落入对应的像素值区间d的像素,sum(xi∈d)为所述暗通道图像中像素值落入所属的像素值区间的像素的总数;其中,d包括像素值区间[0,N]和像素值区间(N,255],N为预设像素值阈值,0<N<255,0≤i≤255,且N与i均为整数。
在一种可能的实现方式中,所述第二确定单元,具体用于:
基于所述目标图像的HSV颜色空间图像,计算所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000061
和亮度变异系数
Figure BDA0002256609100000062
其中,σ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的标准差,μ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的均值;σ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的标准差,μ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的均值。
在一种可能的实现方式中,所述第三确定单元,具体用于:
根据所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),基于公式
Figure BDA0002256609100000063
计算所述暗通道图像中的雾特征的第一度量值E1;其中,w为所述暗通道图像中的所有像素;
根据所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000064
和亮度变异系数
Figure BDA0002256609100000065
基于公式
Figure BDA0002256609100000066
计算所述HSV颜色空间图像中的雾特征的第二度量值E2,e为自然系数;
基于公式E=aE1+bE2计算所述目标图像中的雾特征的总度量值,其中a和b分别为E1和E2的权重因子,a+b=1,a>0,b>0;
若E≤τ0,则判定所述目标图像对应的环境中有雾,其中,τ0为预设的能量阈值,且0≤τ0≤1。
在一种可能的实现方式中,所述装置还包括:
第四确定单元,用于确定所述目标图像对应的环境的地理位置的有雾概率系数s1和天气的有雾概率系数s2
第五确定单元,用于根据公式
Figure BDA0002256609100000067
确定τ0,其中,α1和α2分别为s1和s2的权重因子,且α12=1,α1>0,α2>0。
在一种可能的实现方式中,所述装置还包括:
雾灯指示单元,用于若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
在一种可能的实现方式中,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
第三方面,本发明实施例提供了一种智能车辆,可包括:处理器、耦合于所述处理器的摄像模块和雾灯;
所述摄像模块,用于采集目标图像;
所述处理器,用于:
获取所述目标图像,基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;
基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;
根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息;
若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启所述雾灯的指示信息,或者控制开启所述雾灯。
在一种可能的实现方式中,所述处理器,具体用于:
确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述处理器,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;
根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述处理器,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;
根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述处理器,具体用于:
确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;
根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述处理器,具体用于:
根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;
根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
在一种可能的实现方式中,所述处理器,具体用于:
基于所述目标图像的暗通道图像,统计所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d);
其中,
Figure BDA0002256609100000071
xi为所述暗通道图像中像素值为i的像素,sum(xi)为所述暗通道图像中像素值为i的像素的总数,xi∈d为所述暗通道图像中像素值落入对应的像素值区间d的像素,sum(xi∈d)为所述暗通道图像中像素值落入所属的像素值区间的像素的总数;其中,d包括像素值区间[0,N]和像素值区间(N,255],N为预设像素值阈值,0<N<255,0≤i≤255,且N与i均为整数。
在一种可能的实现方式中,所述处理器,具体用于:
基于所述目标图像的HSV颜色空间图像,计算所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000072
和亮度变异系数
Figure BDA0002256609100000073
其中,σ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的标准差,μ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的均值;σ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的标准差,μ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的均值。
在一种可能的实现方式中,所述处理器,具体用于:
根据所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),基于公式
Figure BDA0002256609100000081
计算所述暗通道图像中的雾特征的第一度量值E1;其中,w为所述暗通道图像中的所有像素;
根据所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000082
和亮度变异系数
Figure BDA0002256609100000083
基于公式
Figure BDA0002256609100000084
计算所述HSV颜色空间图像中的雾特征的第二度量值E2,e为自然系数;
基于公式E=aE1+bE2计算所述目标图像中的雾特征的总度量值,其中a和b分别为E1和E2的权重因子,a+b=1,a>0,b>0;
若E≤τ0,则判定所述目标图像对应的环境中有雾,其中,τ0为预设的能量阈值,且0≤τ0≤1。
在一种可能的实现方式中,所述处理器,还用于:
确定所述目标图像对应的环境的地理位置的有雾概率系数s1和天气的有雾概率系数s2
根据公式
Figure BDA0002256609100000085
确定τ0,其中,α1和α2分别为s1和s2的权重因子,且α12=1,α1>0,α2>0。
在一种可能的实现方式中,所述处理器,还用于:
若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
在一种可能的实现方式中,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
第四方面,本申请提供一种雾特征识别装置,该雾特征识别装置具有实现上述第一方面提供的任意一种雾特征识别方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面,本申请提供一种雾特征识别装置,该雾特征识别装置中包括处理器,处理器被配置为支持上述第一方面提供的任意一种雾特征识别方法中相应的功能。该雾特征识别装置还可以包括存储器,存储器用于与处理器耦合,其保存该雾特征识别装置必要的程序指令和数据。该雾特征识别装置还可以包括通信接口,用于该雾特征识别装置与其他设备或通信网络通信。
第六方面,本申请提供一种智能车辆,该智能车辆中包括处理器,处理器被配置为支持该智能车辆执行第一方面提供的任意一种雾特征识别方法中相应的功能。该智能车辆还可以包括存储器,存储器用于与处理器耦合,其保存该智能车辆必要的程序指令和数据。该智能车辆还可以包括通信接口,用于该智能车辆与其他设备或通信网络通信。
第七方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面中任意一项所述的雾特征识别方法流程。
第八方面,本发明实施例提供了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行上述第一方面中任意一项所述的雾特征识别方法流程。
第九方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于实现上述第一方面中任意一项所述的雾特征识别方法流程所涉及的功能。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存雾特征识别方法必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
附图说明
图1是本发明实施例提供的一种车辆雾灯自动提示的应用场景示意图;
图2是本发明实施例提供的一种公共场所雾灯自动提示的应用场景示意图;
图3是本发明实施例提供的一种雾天路灯自动开启的应用场景示意图;
图4是本发明实施例提供的一种车辆内部的功能框图;
图5是本发明实施例提供的一种雾特征识别方法的流程示意图;
图6是本发明实施例提供的一种根据待检测区域确定目标图像的示意图;
图7是本发明实施例提供的一种生成目标图像的暗通道图像的示意图;
图8是本发明实施例提供的一种生成目标图像的HSV颜色空间图像的示意图;
图9是本发明实施例提供的一种具体应用场景中的雾特征识别的流程图;
图10是本发明实施例提供的一种雾特征识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本邻域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算机系统上运行的应用和计算机系统都可以是部件。一个或多个部件可驻留在进程和/或执行线程中,部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外,这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据,例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
首先,对本申请中的部分用语进行解释说明,以便于本邻域技术人员理解。
(1)暗通道:所谓暗通道是一个基本假设,这个假设认为,在绝大多数的非天空的局部区域中,某一些像素总会有至少一个颜色通道具有很低的值。这个其实很容易理解,实际生活中造成这个假设的原因有很多,比如汽车,建筑物或者城市中的阴影,或者说色彩鲜艳的物体或表面(比如绿色的树叶,各种鲜艳的花,或者蓝色绿色的睡眠),颜色较暗的物体或者表面,这些景物的暗通道总是变现为比较暗的状态。
(2)雾特征:雾的特征,包括当前环境中是否有雾,以及有雾的情况下雾的浓度程度、雾对应的能见度、区域范围、持续时长等等。
(3)色度饱和度亮度(HueSaturationValue,HSV),是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型(HexconeModel)。这个模型中颜色的参数分别是:色调(H),饱和度(S),亮度(V)。其中,色调H:用角度度量,取值范围为0°~360,红、绿、蓝分别相隔120度。互补色分别相差180度;饱和度S:表示颜色纯净的程度,取值范围为0.0~1.0,S=0时,只有灰度;亮度V:表示颜色的明暗程度,取值范围为0.0(黑色)~1.0(白色)。红绿蓝(Red Green Blue,RGB)和青品红黄(Cyan Magenta Yellow,CMY)颜色模型都是面向硬件的,而HSV(Hue Saturation Value,HSV)颜色模型是面向用户的。
(4)红绿蓝(RGB)色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。
(5)在概率论和统计学中,变异系数,又称“离散系数”(coefficientofvariation),是概率分布离散程度的一个归一化量度,其定义为标准差与平均值之比:变异系数只在平均值不为零时有定义,而且一般适用于平均值大于零的情况。变异系数也被称为标准离差率或单位风险。
(6)条件概率。是指事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为:P(A|B),读作“在B的条件下A的概率”。条件概率可以用决策树进行计算。
首先,为了便于理解本发明实施例,进一步分析并提出本申请所具体要解决的技术问题。在现有技术中,关于雾特征或雾状况检测技术,包括多种技术方案,以下示例性的列举如下常用的两种方案。其中,
方案一:基于多传感器,进行雾天行车视觉增强与能见度预警。通过支持向量机(Support Vector Machine,SVM)区分有无雾图像、使用暗通道模型完成去雾,并提供驾驶员视觉增强图像,以增强视觉效果,同时,利用毫米波雷达测量车速以及检测到前车间距,判断是否提供给驾驶员视觉、听觉预警。实现了利用多传感器数据进行雾天预警(例如包括了大雾警报、超速警报和距离预警)。
该方案一的缺点:该方案侧重于多传感器结合,依赖多种硬件。判断雾天使用支持向量机的模型,需要预先收集有雾和无雾图像。图像数据使用红外图像,需要安装额外的特定装置。整个系统硬件结构复杂,不利于在实际生产和使用。
方案二:通过获取目标点图像作为输入,计算图像各像素点的暗通道值提取暗通道图像,确定预设暗通道阈值下的暗通道像素点数目,从而根据像素点数目确定所述图像的雾性程度值。并根据预先设定的雾性程度值与雾性状况信息的对应关系,确定所述图像的雾性状况信息,即确定目标地点的雾性状况信息。
该方案二的缺点:雾性状况使用暗通道模型与预先设定值进行比较确定,没有考虑图像雾性状况中其他特征;实现过程中虽然考虑了图像梯度信息,但是在背景单一场景中,例如田野、乡村等场景,该方案可能会失效。
综上,上述两种方案中均无法利用现有通用的车辆硬件架构,实现高效、准确地识别出雾特征信息,从而无法准确的向驾驶员或者自动驾驶系统发出相关警示或控制。因此,为了解决当前雾检测技术中不满足实际业务需求的问题,本申请实际要解决的技术问题包括如下方面:基于现有的车辆硬件架构,实现高效、准确地识别出雾特征信息,从而准确的向驾驶员或者自动驾驶系统发出开启雾灯的警示或控制指令,以保证车辆驾驶安全。
为了便于理解本发明实施例,以下示例性列举本申请中雾灯自动提示方法所应用的雾灯自动提示系统的场景,可以包括如下三个场景。
场景一,车辆在雾天行驶时,自动提示驾驶员或者自动驾驶系统开启雾灯:
请参阅图1,图1是本发明实施例提供的一种车辆雾灯自动提示的应用场景示意图,该应用场景包括车辆(图1中以家用私家车为例),并且该车辆上包括相关摄像模块和计算机系统(如包括处理器、控制器或协调器等)。其中,摄像模块和计算机系统可以通过蓝牙、Wi-Fi或移动网络等无线通信方式或者车内总线系统进行数据传输。摄像模块可以实时采集车辆行驶环境中的图像或视频,然后通过上述有线或者无线通信方式将采集到的图像或视频传输至计算机系统;计算机系统根据获取到的图像或视频,利用本申请中的雾特征识别方法分析车辆行驶环境中的雾特征信息,并根据雾特征信息做出是否提示驾驶员开启雾灯的决策或者执行相关控制。进一步地,计算机系统还可以获取相关应用软件(例如地图应用和天气查询应用)中提供的地图信息和天气信息,以进一步确定当前环境中是否有雾。
例如,当车辆在大雾天行驶时,计算机系统确定车辆在当前行驶环境中的雾程度较高,则可以通过车辆内部的车载系统进行语音提示:“当前雾霾程度较重,能见度预计仅为50米,建议立即开启雾灯、近光灯、示廓灯、前后位灯和危险报警闪光灯,车速不得超过每小时20公里,并从最近的路口尽快驶离高速公路”;或者,计算机系统确定车辆在当前行驶环境中的雾程度较弱,则可以只提示驾驶员慢速行驶,与同车道前车保持200米以上的距离,从而保证驾驶员在雾天正确使用雾灯,提升驾驶安全。可以理解的是,假如该车辆为自动驾驶车辆,则计算机系统可以直接根据识别结果控制雾灯进行开启,而无需提示驾驶员进行相关操作。如上所述,该摄像模块可以是具备上述图像或视频采集功能以及有线/无线通信功能的车辆原装摄像模块,也可以是额外安装的行车记录仪等;该计算机系统可以是具备上述处理数据能力和控制设备能力的车辆原装的车载计算系统,也可以是额外安装的车载计算系统等,本申请中对此不作具体限定。
场景二,在雾天公共场所中,自动提示管理人员开启雾灯:
请参阅图2,图2是本发明实施例提供的一种公共场所雾灯自动提示的应用场景示意图,该应用场景包括露天的公共场所(图2中以操场为例)、摄像模块(图2中以安装在管理室墙外的监控摄像模块为例)、计算机系统(图2中以设置在管理室内的台式电脑为例)和设置在场所四周的照明灯。其中,摄像模块和计算机系统可以通过蓝牙、Wi-Fi或移动网络等无线通信方式或者数据线等有线通信方式与计算机系统进行数据传输。其中,摄像模块可以实时采集足球场的图像或视频,然后通过上述有线或者无线通信方式将采集到的图像或视频传输至计算机系统;计算机系统根据获取到的图像或视频,利用本申请中的雾特征识别方法分析足球场环境中的雾特征信息,并根据雾特征信息做出是否提示管理员开启雾灯的决策或者执行相关控制。进一步地,计算机系统还可以获取相关应用软件(例如地图应用和天气查询应用)中提供的地图信息和天气信息,以进一步确定当前环境中是否有雾。
例如,在大雾天,当计算机系统分析得到当前足球场的雾程度较高时,则可以直接在计算机系统弹出“雾天警告,开启雾灯”的提示窗口,也可以发送开启雾灯的提示信息至场所管理人员的手机,还可以通过控制管理室的警铃提示管理人员开启雾灯等等。可以理解的是,在该场景二中,本申请可以对管理人员做出开启雾灯的提示,若管理人员观察到当前公共场所内无人,则管理人员可以无视该提示,或者选择关闭该提示,以节约电能资源。需要说明的是,开启雾灯可以是开启预先安装在照明灯中的一组或多组雾灯,若照明灯中未安装额外的雾灯,所述开启雾灯也可以是开启局部照明灯,还可以是开启全部照明灯。
场景三,在雾天道路中,自动开启路灯或雾灯:
请参阅图3,图3是本发明实施例提供的一种雾天路灯自动开启的应用场景示意图,该应用场景包括道路、设置在道路两侧的路灯、安装在路灯上的摄像模块和安装在路灯内的计算机系统。由于雾状况均为连续的较大区域的天气状况,则如图3所示,可以在多个路灯中选择一个路灯安装摄像模块和计算机系统,例如为每10个路灯安装一个摄像模块,也可以选择在分岔路口这种车流量密集区域的路灯上安装摄像模块和计算机系统。其中,摄像模块和计算机系统可以通过蓝牙、Wi-Fi或移动网络等无线通信方式进行数据传输、也可以通过数据线等有线通信方式进行数据传输,该计算机系统可以控制一组路灯(例如为每10个路灯为一组)的开启和关闭。其中,摄像模块可以实时采集道路环境中的图像或视频,然后通过上述有线或者无线通信方式将采集到的图像或视频传输至计算机系统;计算机系统根据获取到的图像或视频,利用本申请中的雾特征识别方法分析道路环境中的雾特征信息,并根据雾特征信息做出是否控制开启雾灯的决策。进一步地,计算机系统还可以获取相关应用软件(例如地图应用和天气查询应用)中提供的地图信息和天气信息,以进一步确定当前环境中是否有雾。例如,当计算机系统确定前道路环境为雾天,则可以控制对应的路灯组(例如为10个路灯)开启。可以理解的是,由于道路情况时变多样,无论当前道路中是否有车辆和人流,都应及时开启路灯,以及时保证交通安全。可选的,也可以向相关道路负责人发送开启路灯的提示信息。
可以理解的是,图1、图2和图3中的应用场景及系统架构只是本发明实施例中的几种示例性的实施方式,本发明实施例中的应用场景包括但不仅限于以上应用场景及系统架构。本申请中的雾特征识别方法还可以应用于例如,在雾天自动提示露天停车场开启照明灯、在雾天自动提示行人开启手机照明灯等场景,其它场景及举例将不再一一列举和赘述。
图4是本发明实施例提供的一种车辆内部的功能框图。可选的,在一个实施例中,可将车辆100配置为完全或部分地自动驾驶模式。例如,车辆100可以在处于自动驾驶模式中的同时控制自身,并且可通过人为操作来确定车辆及其周边环境的当前状态,确定周边环境中的至少一个其他车辆的可能行为,并确定该其他车辆执行可能行为的可能性相对应的置信水平,基于所确定的信息来控制车辆100。在车辆100处于自动驾驶模式中时,可以将车辆100置为在没有和人交互的情况下操作。
计算机系统101包括处理器103,处理器103和系统总线105耦合。处理器103可以是一个或者多个处理器,其中每个处理器都可以包括一个或多个处理器核。显示适配器(videoadapter)107,显示适配器可以驱动显示器109,显示器109和系统总线105耦合。系统总线105通过总线桥111和输入输出(I/O)总线113耦合。I/O接口115和I/O总线耦合。I/O接口115和多种I/O设备进行通信,比如输入设备117(如:键盘,鼠标,触摸屏等),多媒体盘(mediatray)121,(例如,CD-ROM,多媒体接口等)。收发器123(可以发送和/或接受无线电通信信号),摄像头155(可以捕捉静态和动态数字视频图像(包括本申请中的目标图像),并将相关图像传输至处理器103处进行后续雾特征识别的相关处理)和外部USB接口125。其中,可选地,和I/O接口115相连接的接口可以是USB接口。
其中,处理器103可以是任何传统处理器,包括精简指令集计算(“RISC”)处理器、复杂指令集计算(“CISC”)处理器或上述的组合。可选地,处理器可以是诸如专用集成电路(“ASIC”)的专用装置。可选地,处理器103可以是神经网络处理器、图像处理器、神经网络处理器和上述传统处理器的组合、图像处理器和上述传统处理器的组合或者是神经网络处理器、图像处理器和上述传统处理器的组合,本申请对此不作具体限定。处理器103可用于单独或者与该车辆100内的其他功能模块交互以执行本申请中任意一种所述的雾特征识别方法,具体请参见后续方法实施例的相关描述,此处不再赘述。
可选地,在本文所述的各种实施例中,计算机系统101可位于远离自动驾驶车辆的地方,并且可与自动驾驶车辆100无线通信。在其它方面,本文所述的一些过程在设置在自动驾驶车辆内的处理器上执行,其它由远程处理器执行,包括采取执行单个操纵所需的动作。
计算机系统101可以通过网络接口129和软件部署服务器149通信。网络接口129是硬件网络接口,比如,网卡。网络127可以是外部网络,比如因特网,也可以是内部网络,比如以太网或者虚拟私人网络(VPN)。可选地,网络127还尅是无线网络,比如WiFi网络,蜂窝网络等。
硬盘驱动接口和系统总线105耦合。硬件驱动接口和硬盘驱动器相连接。系统内存135和系统总线105耦合。运行在系统内存135的数据可以包括计算机101的操作系统137和应用程序143。
操作系统包括Shell139和内核(kernel)141。Shell139是介于使用者和操作系统之内核(kernel)间的一个接口。shell是操作系统最外面的一层。shell管理使用者与操作系统之间的交互:等待使用者的输入,向操作系统解释使用者的输入,并且处理各种各样的操作系统的输出结果。
内核141由操作系统中用于管理存储器、文件、外设和系统资源的那些部分组成。直接与硬件交互,操作系统内核通常运行进程,并提供进程间的通信,提供CPU时间片管理、中断、内存管理、IO管理等等。
应用程序143包括控制汽车自动驾驶相关的程序147,比如,管理自动驾驶的汽车和路上障碍物交互的程序,控制自动驾驶汽车路线或者速度的程序,控制自动驾驶汽车和路上其他自动驾驶汽车交互的程序。应用程序143也存在于deployingserver149的系统上。在一个实施例中,在需要执行应用程序147时,计算机系统101可以从deployingserver14下载应用程序143。
传感器153和计算机系统101关联。传感器153用于探测计算机系统101周围的环境。举例来说,传感器153可以探测动物,汽车,障碍物和人行横道等,进一步传感器还可以探测上述动物,汽车,障碍物和人行横道等物体周围的环境,比如:动物周围的环境,例如,动物周围出现的其他动物,天气条件,周围环境的光亮度等。可选地,如果计算机系统101位于自动驾驶的汽车上,传感器可以是摄像头,红外线感应器,化学检测器,麦克风等。
可以理解的是,车辆100还可以包括电源110(可向车辆100的各种组件提供电力),行进系统157(如引擎、传动装置、能量源、车轮等),传感系统159(如全球定位系统、惯性测量单元、雷达、激光测距仪、相机等),控制系统161(如转向系统、油门、制动单元、计算机视觉系统、路线控制系统、路障规避系统等),车灯系统(如雾灯、近光灯、远光灯、示廊灯、前后位灯等),外围设备163(如无线通信系统、车载电脑、麦克风、扬声器等)。计算机系统101可基于从各种子系统(例如,行进系统157、传感器系统159和控制系统161)以及从输入设备117接收的输入来控制车辆100的功能。
例如,计算机系统101可利用来自控制系统161的输入以便控制转向系统来避免由传感器系统159和障碍物避免系统检测到的障碍物。在一些实施例中,计算机系统101可操作对车辆100及其子系统的许多方面提供控制。例如,在本申请中,计算机系统101确认了车辆100当前的行驶环境中的雾特征信息之后,则可以控制该车灯系统163中的雾灯的开启,或者是通过其他系统进行提示,如闪烁车内提示灯、通过显示器109进行文字提示、通过外围系统163中的扬声器进行声音预警等。
上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本发明实施例不做特别的限定。
下面结合上述应用场景、系统架构、车辆的结构和本申请中提供的雾特征识别方法的实施例,对本申请中提出的技术问题进行具体分析和解决。
参见图5,图5是本发明实施例提供的一种雾特征识别方法的流程示意图,该方法可应用于上述图1、图2或图3中所述的应用场景及系统架构中,以及具体可应用于上述图4的车辆100中。下面结合附图5以执行主体为上述图4中的车辆100内部的计算机系统101为例进行描述。该方法可以包括以下步骤S501-步骤S504,可选的,还可以包括步骤S505。
步骤S501:获取目标图像。
具体地,车辆100内部的计算机系统101通过获取车辆100的摄像头155(或称之为摄像模块、摄像模组等)采集的外部环境的图像或视频,并从中获取目标图像。可选的,本发明实施例中的目标图像,可以是摄像头155所采集的当前行驶环境中的图像或者视频帧中满足预设条件的待检测区域所对应的图像,例如,预设条件为待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
例如,如图6所示,图6是本发明实施例提供的一种根据待检测区域确定目标图像的示意图,车辆行驶在高速公路上时,通过车辆外置的行车记录仪或者车辆内置的摄像头等采集该车辆行驶环境中的图像或者视频,然后基于该采集的图像或者视频中获取目标图像,该目标图像可以是采集的图像或者视频帧中包括天空分界线、车道线消隐点区域、或道路两侧树木或建筑中的一种或多种的图像。本发明实施例中,通过将采集图像中与人眼有一定距离,且包含有明显分界线区域的待检测区域作为发明实施例中的目标图像便于后续雾特征的识别,进一步提升目标图像中的雾特征的识别效率和识别准确度。此类图像具有明显的边缘,边缘是很好的雾特征度量信息,有雾场景往往没有清晰的边缘,无雾场景边缘特征清晰,相应的会影响灰度或颜色特征的分布。
步骤S502:基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息。
具体地,由于图像在暗通道模式下没有颜色特征,主要是从灰度特征对图像进行描述,灰度是指把白色与黑色之间按对数关系分成若干级,其范围一般从0到255,白色为255,黑色为0。计算机系统101基于暗通道特征提取算法,生成所述目标图像的暗通道图(也可以理解为对目标图像进行暗通道特征提取)。其中,基于暗通道特征的先验,在绝大多数的非天空的局部区域中,某一些像素总会有至少一个颜色通道具有很低的值。实际生活中造成暗原色中低通道值主要有三个因素:a)汽车、建筑物和城市中玻璃窗户的阴影,或者是树叶、树与岩石等自然景观的投影;b)色彩鲜艳的物体或表面,在图像的RGB的三个通道中有些通道的值很低(比如绿色的草地/树/植物,红色或黄色的花朵/叶子,或者蓝色的水面);c)颜色较暗的物体或者表面,例如灰暗色的树干和石头。总之,自然景物中到处都是阴影或者彩色,这些景物的图像的暗原色总是很灰暗的。经过大量的有雾图像和无雾图像的暗通道图像的特征分析可以发现,有雾的图像其对应的暗通道图像会呈现一定的灰色(像素接近255),而无雾的图像其对应的暗通道图像会呈现大量的黑色(像素为接近0),也即是说有雾图像的暗通道图像相比于无雾图像的暗通道图像来说,其整体像素值偏大的概率更大,即若在有雾的情况下,认为像素值较高的像素占大部分。因此,在本发明实施例中,基于目标图像的暗通道图像中的灰度特征分布信息,可以在一定程度上反映该目标图像对应的环境是否有雾的可能性,以及若有雾的情况下,雾的浓度程度等。
在一种可能的实现方式中,如图7所示,图7是本发明实施例提供的一种生成目标图像的暗通道图像的示意图,根据该先验定理,建立目标图像的暗通道图像具体可以包括如下步骤:计算每个像素x对应邻域M内三个通道(RGB三个通道)最小值,生成暗通道图像Jdark,计算暗通道模型如式(1)所示,
Jdark=minx∈M(minc∈{r,g,b}Ic(x)) (1)
其中Jdark为暗通道图像,I为拍摄图像即为目标图像,c为图像每个颜色通道,分别代表红,绿,蓝{r,g,b},x表示为待处理像素,M为以x为中心M*M的邻域,其中M为大于0的奇数,例如为3*3的邻域。也即是找出目标图像中每个像素的RGB三通道的最小值,存入一副和原始目标图像大小相同的灰度图中,然后再对这幅灰度图进行最小值滤波,滤波的半径由窗口(也即是M*M的邻域)大小决定,最终形成目标图像的暗通道图像。
步骤S503:基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息。
具体地,目标图像在HSV颜色空间图像模式下,主要是从颜色特征的不同维度下对图像进行描述,例如色度、饱和度和亮度。计算机系统101基于暗通道特征提取算法,基于色彩饱和度HSV特征提取算法,生成所述目标图像的HSV颜色空间图像(也可以理解为对目标图像进行HSV颜色空间特征提取)。其中,HSV颜色模型依据人类对于色泽、明暗和色调的直观感觉来定义颜色,该颜色系统比RGB系统更接近于人们的经验和对彩色的感知。HSV颜色空间可以用一个圆锥空间模型来描述。HSV颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集,圆锥的顶面对应于V=1。它包含RGB模型中的R=1,G=1,B=1三个面,所代表的颜色较亮。色彩H由绕V轴的旋转角给定,红色对应于角度0°,绿色对应于角度120°,蓝色对应于角度240°。在HSV颜色模型中,每一种颜色和它的补色相差180°。饱和度S取值从0到1,所以圆锥顶面的半径为1。在圆锥的顶点(即原点)处,V=0,H和S无定义,代表黑色。圆锥的顶面中心处S=0,V=1,H无定义,代表白色。从该点到原点代表亮度渐暗的灰色,即具有不同灰度的灰色。对于这些点,S=0,H的值无定义。可以说,HSV模型中的V轴对应于RGB颜色空间中的主对角线。在圆锥顶面的圆周上的颜色,V=1,S=1,这种颜色是纯色。可以理解的是,当将目标图像转化为HSV颜色空间图像后,其最终仍要将转化后的HSV颜色空间图像在各个通道的像素的像素值转化为0~255的像素值的方式以便于后续统一计算。
如图8所示,图8是本发明实施例提供的一种生成目标图像的HSV颜色空间图像的示意图,先将目标图像进行HSV颜色空间的特提取,进而进行颜色特征分布信息的分析,以进行雾特征的识别。可以理解的是图中的HSV颜色空间图像实际上为彩色。
本发明实施例中,由于在有雾的情况下,通常目标图像的HSV颜色空间图像中的颜色变化较小,即HSV颜色空间图像中的像素值通常呈现变化较小的现象,对应地HSV颜色空间图像中的像素的像素值的标准差或方差会比较小;而在无雾的情况下,通常目标图像的HSV颜色空间图像中的颜色变化较大,即HSV颜色空间图像中的像素值通常呈现变化较大的现象,对应地HSV颜色空间图像中的像素的像素值的标准差或方差会比较大。因此,在本发明实施例中,基于目标图像的HSV颜色空间图像的颜色特征分布信息,可以在一定程度上反映该目标图像对应的环境是否有雾的可能性,以及若有雾的情况下,雾的浓度程度等。可选的,可以对所述HSV颜色空间图像中的H通道、S通道和V通道中的任意一种或多种通道的像素的像素值求其方差或平均差,本发明实施例对此不作具体限定。
步骤S504:根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。
具体地,计算机系统101结合目标图像的暗通道图像中的灰度特征分布信息,以及目标图像的HSV颜色空间图像中的颜色特征分布信息,确定所述目标图像中的雾特征信息。其中雾特征信息可以包括目标图像对应的当前环境中是否有雾、若有雾的情况下雾的浓度程度等。可选的,本申请中的雾可以包括雾、霾或粉尘等类似现象的情况。即结合两种颜色模型的图像的像素值的特征分布,综合判断是否有雾,识别准确率大大提升。避免在某些特殊的环境中,所采集的图像可能使得通过单独分析某单一图像模式下的特征来判断是否有雾,会出现误差,准确率降低。
例如,当目标图像中没有明显的界限,或目标图像为背景单一、颜色单一等场景时如田野、乡村、蓝天、大海,若仅使用暗通道模型与预先设定值进行比较确定,则识别方案可能会失效。因为这些场景图像往往具有的相似特征,假设场景中大部分为单一蓝天时,即整幅图像基本是均一的颜色(如蓝色),那么此时暗通道图像和HSV空间的图像颜色分布将是一条直线,即某一颜色分布为100%,其他颜色为0%。当存在雾时,这类图像表现的统计特征也是某一颜色特征分布为100%,其他为0%,无法比较出像素之间的关系,所以方法此时会失效。
可以理解的是,本发明实施例也可以用于识别图像中是否有雾,并对目标图像进行去雾操作,使得有雾的图像或者是有雾特征的目标图像可以根据识别结果,进行去雾操作,以获得清晰的目标图像。
本发明实施例,通过结合目标图像的暗通道的灰度特征以及HSV颜色空间图像的颜色特征,共同判断目标图像中的雾特征信息,且可以进一步地判断目标图像对应的环境中是否有雾,融合了多通道的特征信息,提升了判断雾特征信息的准确率。具体地,由于当环境中有雾的情况下与当环境中无雾的情况下相比较,有雾图像的暗通道图像中的像素值小的像素数量通常比无雾图像的暗通道图像的更多(例如,有雾整体颜色较浅,无雾整体颜色更深),以及有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。因此,本发明实施例避免通过单一的通道特征来判断目标图像对应的环境中是否有雾,并且通过融合在有雾和无雾情况下区别较为明显的暗通道图像和HSV颜色空间图像的相关特征,进行综合判断,实现了准确、高效的雾检测。当将本发明实施例应用于具体的应用场景中时,可以用于判断是否需要对照片进行去雾、是否需要开启雾灯、是否需要开启相关应急设备等。
可选的,步骤S505:若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
具体地,当将本发明实施例应用于具体的车辆行驶应用场景中时,计算机系统101通过分析判断出所述目标图像对应的环境有雾时,则生成开启雾灯的指示信息,或者控制开启雾灯。也即是可以提示驾驶员自己做出是否开启雾灯的决定,也可以直接控制开启雾灯。避免驾驶员在雾天情况下,因误判未开启雾灯而容易引起的安全事故,提升了驾驶的智能性和安全性,保证驾驶员的生命和财产安全。可选的,由于本申请中的雾特征识别方法也可以应用自动驾驶系统或者半自动驾驶系统,此时,则可通过计算机系统101直接控制开启雾灯,或者按照预设的规则开启雾灯。
基于上述任一雾特征识别方法的实施例,关于如何基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息,具体可以包括以下实施方式:
计算机系统101确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。本发明实施例中,由于当环境中有雾的情况下与当环境中无雾的情况下相比较,有雾图像的暗通道图像中的像素值小的像素数量通常比无雾图像的暗通道图像的更多(例如,有雾整体颜色较浅,无雾整体颜色更深)。即有雾的情况下,图像的暗通道图像中的像素的像素值通常呈现较小的现象,导致像素值较小的像素占大部分。因此,目标图像的暗通道图像中的每一种像素值对应的像素数在总像素数中的比例的统计信息,可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
基于上述任一雾特征识别方法的实施例,关于如何基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,具体可以包括以下三种实施方式:
方式一:计算机系统101确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
在本发明实施例中,目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;由于有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。即有雾的情况下,图像的HSV颜色空间图像中的像素的像素值通常呈现变化较小的现象,导致像素值的方差或标准差较小。因此,目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差,也可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。例如,单独的S通道、单独的V通道、单独的H通道、或者S通道和V通道的组合、亦或者其他组合方式等。
方式二:计算机系统101确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
在本发明实施例中,由于有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。即有雾的情况下,图像的HSV颜色空间图像中的像素的像素值通常呈现变化较小的现象,导致像素值的方差或标准差较小,并且,进一步地,由于标准差与均值的比值会放大像素值的变化幅度,以便于更准确的判定像素值的变化情况。因此,目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值,也可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
方式三:计算机系统101确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
本发明实施例中,由于有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。即有雾的情况下,图像的HSV颜色空间图像中的像素的像素值通常呈现变化较小的现象,导致像素值的方差或标准差较小,并且,在HSV颜色空间图像的三个通道(H通道、S通道和V通道)中,S通道和V通道在有雾和无雾情况下的区别较为明显,进一步地,由于标准差与均值的比值会放大像素值的变化幅度,以便于更准确的判定像素值的变化情况。因此,S通道的像素的像素值的标准差与均值、以及V通道的像素的像素值的标准差与均值,也可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
基于上述如何获得暗通道图像的灰度特征分布信息的具体实施方式,以及如何通过上述方式一、二和三获得HSV颜色空间图像的颜色特征分布信息的任意一种具体实施方式,本发明实施例提供一种具体是如何确定雾特征信息的方案:
所述根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息,包括:根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。具体地,计算机系统101可以结合一些用于计算能量的函数(Energy function)分别计算雾特征在暗通道图像中的度量值,以及雾特征在HSV颜色空间图像中的度量值,其中,度量值可用于表征雾特征在图像里的一个强弱程度,而度量值的大小和强弱程度之间的关系依据能量函数的具体公式,可以呈现不同的对应关系,例如,度量值越大,代表雾特征在目标图像中的程度越强,度量值越小,代表雾特征在目标图像中的程度越弱;或者,度量值越大,代表雾特征在目标图像中的程度越弱,度量值越小,代表雾特征在目标图像中的程度越强,本发明实施例对此不作具体限定。
本发明实施例,根据目标图像的暗通道图像中每一像素值对应的像素数在所述暗通道图像的像素总数中的比例,以及根据多种方式确定HSV颜色空间图像的颜色分布情况,分别从不同维度计算目标图像中雾特征的度量值,即从不同维度确定雾在该图像中的强弱程度,并最终通过该两个维度的雾特征的度量值,综合判定该目标图像对应的环境中的雾特征信息,例如,判定对应的环境中是否有雾或者雾的强弱程度等。
在一种可能的实现方式中,本发明实施例提供一种具体的计算公式,计算暗通道图像中的灰度特征分布信息。所述基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息,包括:
基于所述目标图像的暗通道图像,统计所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d);
其中,
Figure BDA0002256609100000191
xi为所述暗通道图像中像素值为i的像素,sum(xi)为所述暗通道图像中像素值为i的像素的总数,xi∈d为所述暗通道图像中像素值落入对应的像素值区间d的像素,sum(xi∈d)为所述暗通道图像中像素值落入所属的像素值区间的像素的总数;其中,d包括像素值区间[0,N]和像素值区间(N,255],N为预设像素值阈值,0<N<255,0≤i≤255,且N与i均为整数。
在上述计算公式中,p(xi|d)是指在已经发生了d事件的前提下,再发生xi事件的概率,且
Figure BDA0002256609100000192
即p(xi|d)表示目标图像的暗通道图像中像素值为i的像素的个数sum(xi)在目标图像的暗通道图像中像素值落入对应的像素值区间d的像素的总数sum(xi∈d)中所占的比例,其中,d包括像素值区间[0,N]和像素值区间(N,255],也即是将像素值区间划分为[0,N]和像素值区间(N,255],假设当N等于100,那么d所包含的像素值区间则为[0,100]和(100,255],假设当i=70,那么sum(xi∈d)则表示,在目标图像的暗通道图像中该像素值70落入所属的像素值区间[0,100]的像素的总数,也即是暗通道图像的所有像素中,像素值落入像素值区间[0,100]的像素的总数。
例如,暗通道图像中的总像素数为2000,其中,像素值在像素值区间[0,100]中的像素数目有800个,像素值在像素值区间(100,255]中的像素数目有1200个,那么当像素值为i=70的像素数目有20个时,则
Figure BDA0002256609100000193
那么当像素值为i=200的像素数目有300个时,则
Figure BDA0002256609100000194
以此类推,可以统计暗通道图像中的所有取值的像素值为i的像素所对应的概率p(xi|d),并最终根据所有的概率作为目标图像所对应的环境中是否有雾进行评估。
本发明实施例中,通过统计以预设像素值阈值为分界点的两个像素值区间内,各个像素值对应的像素数在其所属像素值区间内对应的像素总数中的比例,并将上述比例值确定为目标图像的暗通道图像的灰度特征分布信息,最终可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。
在一种可能的实现方式中,本发明实施例提供一种具体的计算公式,计算HSV颜色空间图像中的颜色特征分布信息。所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:
基于所述目标图像的HSV颜色空间图像,计算所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000195
和亮度变异系数
Figure BDA0002256609100000196
其中,σ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的标准差,μ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的均值;σ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的标准差,μ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的均值。本发明实施例中,通过分别计算HSV颜色空间图像中S通道和V通道的像素的像素值的标准差及均值,从而分别计算得到S通道和V通道的变异系数,即进一步量化HSV颜色空间图像的像素的像素值的变化情况,并将上述变异系数确定为目标图像的HSV颜色空间图像的颜色特征分布信息,最终可以作为该目标图像对应的环境是否有雾的其中一个重要判断标准。其中关于标准差/方差或均值的计算公式参考现有技术中关于标准差/方差或均值的具体计算方式,此处不再赘述。需要说明的是,当需要比较两组数据离散程度大小的时候,如果两组数据的测量尺度相差太大,或者数据量纲的不同,直接使用标准差来进行比较可能会影响比较效果,此时就应当消除测量尺度和量纲的影响,而变异系数(Coefficient of Variation)是原始数据标准差与原始数据平均数的比,且变异系数没有量纲,因此就可以进行更为准确的比较。
在一种可能的实现方式中,基于上述灰度特征分布信息以及颜色特征分布信息的具体计算公式,提供一种具体的计算公式,计算雾特征信息:
所述根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息,包括:
(1)根据所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),基于公式
Figure BDA0002256609100000201
计算所述暗通道图像中的雾特征的第一度量值E1
其中,w为所述暗通道图像中的所有像素,可选的,也可以为暗通道图像中的一部分像素,本发明实施例对此不作具体限定。即基于目标图像的暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),并根据本申请所提供的雾特征在该暗通道图像中的能量计算公式E1计算雾特征在目标图像对应的暗通道图像中的第一度量值。针对上述计算雾特征的度量值的公式E1,本发明实施例是采用了信息熵函数进行计算,该信息熵函数是能量度量函数的一种,主要是对统计量的一种度量手段,这里使用信息熵作为能量度量函数E1主要是使用了概率分布(即统计暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d)),方便计算。可以理解的是,也可以对上述能量度量函数E1进行合理的变换,即只要能够根据上述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),计算雾特征在该暗通道图像中的度量值即可,本发明实施例对此不作具体限定。
(2)根据所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000202
和亮度变异系数
Figure BDA0002256609100000203
基于公式
Figure BDA0002256609100000204
计算所述HSV颜色空间图像中的雾特征的第二度量值E2,e为自然系数。即基于目标图像的HSV颜色空间图像中对应的饱和度s通道的像素的像素值的标准差与均值的比值,以及亮度v通道的像素的像素值的标准差与均值的比值,并基于本发明实施例提供的计算公式
Figure BDA0002256609100000205
计算目标图像所对应的HSV颜色空间图像中的雾特征的第二度量值。
需要说明的是,为了进行能量函数的计算和比较,能量函数往往结合概率分布,上述能量函数E1由于直接使用统计像素的概率,所以可以使用信息熵作为能量函数。而本发明实施例中的能量函数E2由于使用的是饱和度变异系数和亮度变异系数作为度量,因此,假设其分布符合正态分布,再依据正态分布的表达式,并采用其变形形式、略去了常数部分,即得到上述能量函数E2,可选的,E2也可以使用正态分布原始形式。可以理解的是,也可以对上述能量度量函数E2进行合理的变换,即只要能够根据上述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000206
和亮度变异系数
Figure BDA0002256609100000207
计算雾特征在该HSV颜色空间图像中的度量值即可,本发明实施例对此不作具体限定。
(3)基于公式E=aE1+bE2计算所述目标图像中的雾特征的总度量值,其中a和b分别为E1和E2的权重因子,a+b=1,a>0,b>0;最终基于目标图像所对应的暗通道图像中雾特征的第一度量值,以及目标图像所对应的HSV颜色空间图像中雾特征的第二度量值,以及根据预设的权重系数a和b进而计算目标图像所对应的环境的雾特征总度量值。例如,a=0.5,b=0.5,可以理解的是a和b的取值可以根据不同的应用场景或者不同的需求,设置不同的取值,本发明实施例对此不作具体限定。
(4)若E≤τ0,则判定所述目标图像对应的环境中有雾则判定所述目标图像对应的环境中有雾,其中,τ0为预设的能量阈值,且0≤τ0≤1。即综合考虑目标图像所对应的暗通道图像和HSV颜色空间图像中呈现的雾特征的度量值,当总和小于等于预设的度量值,则可以理解的是,该预设的能量阈值τ0可以依据不同的场景或者需求进行更新。在本发明实施例的上述公式中,E的值越大表示有雾的概率越小(或雾的强度越弱),E的值越小则表示有雾的概率越大(或雾的强度越强)。但是可以理解的是,总度量值E的大小和强弱程度之间的关系依据能量函数的具体公式,可以呈现不同的对应关系,例如,可针对E≤τ0的大小关系进行不同的设定,比如,将上述方式E1和E2的公式中均添加负号,则也可以表示为E的值越大表示有雾的概率越大(或雾的强度越强),E的值越小则表示有雾的概率越小(或雾的强度越弱),即与能量函数的表达式有关。
本发明实施例中,通过统计以预设像素值阈值为分界点的两个像素值区间内,各个像素值对应的像素数在其所属像素值区间内对应的像素总数中的比例,并根据上述比例值计算目标图像的暗通道图像中雾特征的第一度量值;以及分别计算HSV颜色空间图像中S通道和V通道的像素的像素值的标准差及均值,从而分别计算得到S通道和V通道的变异系数,并根据上述变异系数计算目标图像的HSV颜色空间图像的雾特征的第二度量值。即分别从不同维度计算目标图像中雾特征的度量值,从不同维度确定雾在该图像中的强弱程度,并最终通过该两个维度的雾特征的度量值,综合判定该目标图像对应的环境中的雾特征信息,例如,判定对应的环境中是否有雾或者雾的强弱程度等。
在一种可能的实现方式中,根据当前环境所对应的地理位置和天气,确定或者更新预设能量阈值,从而提升判断准确率和效率:所述方法还包括:
确定所述目标图像对应的环境的地理位置的有雾概率系数s1和天气的有雾概率系数s2
根据公式
Figure BDA0002256609100000211
确定τ0,其中,α1和α2分别为s1和s2的权重因子,且α12=1,α1>0,α2>0。例如,当地理位置的权重系数α1比天气的权重系数α2更大时,则其对应的含义为,该地理位置因素对预设的能量阈值的影响比天气对预设的能量阈值的影响更大,当地理位置的权重系数α1比天气的权重系数α2更小时,其对应的含义为,该地理位置因素对预设的能量阈值的影响比天气对预设的能量阈值的影响更小。针对该τ0的更新公式的原理,可以参照上述第二度量值E2的计算公式的原理,此处不再赘述,可以理解的是,也可以对上述预设的能量阈值进行更新的公式进行合理变换,本发明实施例对此不作具体限定。
本发明实施例,可通过地理位置以及天气对环境中是否有雾的影响,实时确定或者更新预设的能量阈值τ0以提升判断的准确率。例如,风景区比城市区更容易有雾,雨天比阴天或晴天更容易有雾等,因此该容易有雾的地理位置或者天气下的能量阈值τ0可相较于不容易有雾的地理位置或者天气下的能量阈值τ0更小,以减小误判概率。例如,地理位置有雾系数s1的取值为1、3、10,分别代表山区、乡间、城区,天气有雾系数s2的取值为1、3、10,分别代表雨天、阴天、晴天。其中,s1的取值越小,τ0越大,该状态下越有可能有雾,同理s2与s1的原理相同,此处不再赘述。
如图9所示,图9为本发明实施例提供的一种具体应用场景中的雾特征识别的流程图,车辆启动时,通过摄像头载入当前环境中的图像或视频,以及通过车辆内部的车载应用获取当前的地图信息和天气信息,然后通过车辆内部的计算机系统提取待检测区域也即是目标图像。对待检测区域构建暗通道图像,并提取暗通道雾特征;与此同时,将图像转为HSV颜色空间图像,并在HSV空间提取雾特征,融合暗通道雾特征和HSV雾特征,并使用地图信息和当时天气信息进行修正,判断是否有雾,如果有雾,则闪烁车内雾灯提示灯或者开启声音预警以提示驾驶员开启雾灯。
请参见图10,图10是本发明实施例提供的一种雾特征识别装置的结构示意图,该雾特征识别装置20可包括获取单元201、第一确定单元202、第二确定单元203和第三确定单元204,其中,
获取单元201,用于获取目标图像;
第一确定单元202,用于基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;
第二确定单元203,用于基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;
第三确定单元204,用于根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。
在一种可能的实现方式中,第一确定单元202,具体用于:
确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;第二确定单元203,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;
根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述第二确定单元203,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;
根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,第二确定单元203,具体用于:
确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;
根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
在一种可能的实现方式中,第二确定单元203,具体用于:
根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;
根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
在一种可能的实现方式中,第一确定单元202,具体用于:
基于所述目标图像的暗通道图像,统计所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d);
其中,
Figure BDA0002256609100000221
xi为所述暗通道图像中像素值为i的像素,sum(xi)为所述暗通道图像中像素值为i的像素的总数,xi∈d为所述暗通道图像中像素值落入对应的像素值区间d的像素,sum(xi∈d)为所述暗通道图像中像素值落入所属的像素值区间的像素的总数;其中,d包括像素值区间[0,N]和像素值区间(N,255],N为预设像素值阈值,0<N<255,0≤i≤255,且N与i均为整数。
在一种可能的实现方式中,第二确定单元203,具体用于:
基于所述目标图像的HSV颜色空间图像,计算所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000231
和亮度变异系数
Figure BDA0002256609100000232
其中,σ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的标准差,μ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的均值;σ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的标准差,μ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的均值。
在一种可能的实现方式中,第三确定单元204,具体用于:
根据所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),基于公式
Figure BDA0002256609100000233
计算所述暗通道图像中的雾特征的第一度量值E1;其中,w为所述暗通道图像中的所有像素;
根据所述HSV颜色空间图像的饱和度变异系数
Figure BDA0002256609100000234
和亮度变异系数
Figure BDA0002256609100000235
基于公式
Figure BDA0002256609100000236
计算所述HSV颜色空间图像中的雾特征的第二度量值E2,e为自然系数;
基于公式E=aE1+bE2计算所述目标图像中的雾特征的总度量值,其中a和b分别为E1和E2的权重因子,a+b=1,a>0,b>0;
若E≤τ0,则判定所述目标图像对应的环境中有雾,其中,τ0为预设的能量阈值,且0≤τ0≤1。
在一种可能的实现方式中,所述装置20还包括:
第四确定单元205,用于确定所述目标图像对应的环境的地理位置的有雾概率系数s1和天气的有雾概率系数s2
第五确定单元206,用于根据公式
Figure BDA0002256609100000237
确定τ0,其中,α1和α2分别为s1和s2的权重因子,且α12=1,α1>0,α2>0。
在一种可能的实现方式中,所述装置20还包括:
雾灯指示单元207,用于若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
在一种可能的实现方式中,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
需要说明的是,本发明实施例中所描述的雾特征识别装置20中相关单元的功能可参见上述图1-图9中所述的相关方法实施例的相关描述,此处不再赘述。
图10中每个单元可以以软件、硬件、或其结合实现。以硬件实现的单元可以包括路及电炉、算法电路或模拟电路等。以软件实现的单元可以包括程序指令,被视为是一种软件产品,被存储于存储器中,并可以被处理器运行以实现相关功能,具体参见之前的介绍。
本发明实施例,通过结合目标图像的暗通道的灰度特征以及HSV颜色空间图像的颜色特征,共同判断目标图像中的雾特征信息,且可以进一步地判断目标图像对应的环境中是否有雾,融合了多通道的特征信息,提升了判断雾特征信息的准确率。具体地,由于当环境中有雾的情况下与当环境中无雾的情况下相比较,有雾图像的暗通道图像中的像素值小的像素数量通常比无雾图像的暗通道图像的更多(例如,有雾整体颜色较浅,无雾整体颜色更深),以及有雾图像的HSV颜色空间图像的像素的像素值变化通常比无雾图像的HSV颜色空间图像的更小(例如,有雾整体颜色波动较小,无雾整体颜色波动更大)。因此,本发明实施例避免通过单一的通道特征来判断目标图像对应的环境中是否有雾,并且通过融合在有雾和无雾情况下区别较为明显的暗通道图像和HSV颜色空间图像的相关特征,进行综合判断,实现了准确、高效的雾检测。当将本发明实施例应用于具体的应用场景中时,可以用于判断是否需要对照片进行去雾、是否需要开启雾灯、是否需要开启相关应急设备等。可选的,本申请中的雾可以包括雾、霾或粉尘等类似现象的情况。
本发明实施例还提供一种计算机可读存储介质,其中,该计算机可读存储介质可存储有程序,该程序执行时包括上述雾特征识别方法实施例中记载的任意一种的部分或全部步骤。
本发明实施例还提供一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行任意一种雾特征识别方法的部分或全部步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本邻域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其它顺序或者同时进行。其次,本邻域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(Read-OnlyMemory,缩写:ROM)或者随机存取存储器(RandomAccessMemory,缩写:RAM)等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本邻域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (29)

1.一种雾特征识别方法,其特征在于,包括:
获取目标图像;
基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;
基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;
根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息,包括:
确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
3.根据权利要求2所述的方法,其特征在于,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;
根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
4.根据权利要求2所述的方法,其特征在于,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;
根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
5.根据权利要求2所述的方法,其特征在于,所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:
确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;
根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
6.根据权利要求3-5任意一项所述的方法,其特征在于,所述根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息,包括:
根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;
根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息,包括:
基于所述目标图像的暗通道图像,统计所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d);
其中,
Figure FDA0002256609090000021
xi为所述暗通道图像中像素值为i的像素,sum(xi)为所述暗通道图像中像素值为i的像素的总数,xi∈d为所述暗通道图像中像素值落入对应的像素值区间d的像素,sum(xi∈d)为所述暗通道图像中像素值落入所属的像素值区间的像素的总数;其中,d包括像素值区间[0,N]和像素值区间(N,255],N为预设像素值阈值,0<N<255,0≤i≤255,且N与i均为整数。
8.根据权利要求7所述的方法,其特征在于,所述基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息,包括:
基于所述目标图像的HSV颜色空间图像,计算所述HSV颜色空间图像的饱和度变异系数
Figure FDA0002256609090000022
和亮度变异系数
Figure FDA0002256609090000023
其中,σ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的标准差,μ(HSVs)为所述HSV颜色空间图像中的S通道的像素的像素值的均值;σ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的标准差,μ(HSVv)为所述HSV颜色空间图像中的V通道的像素像素值的均值。
9.根据权利要求8所述的方法,其特征在于,所述根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息,包括:
根据所述暗通道图像中每个像素的像素值落入所属的像素值区间的概率p(xi|d),基于公式
Figure FDA0002256609090000024
计算所述暗通道图像中的雾特征的第一度量值E1;其中,w为所述暗通道图像中的所有像素;
根据所述HSV颜色空间图像的饱和度变异系数
Figure FDA0002256609090000025
和亮度变异系数
Figure FDA0002256609090000026
基于公式
Figure FDA0002256609090000027
计算所述HSV颜色空间图像中的雾特征的第二度量值E2,e为自然系数;
基于公式E=aE1+bE2计算所述目标图像中的雾特征的总度量值,其中a和b分别为E1和E2的权重因子,a+b=1,a>0,b>0;
若E≤τ0,则判定所述目标图像对应的环境中有雾,其中,τ0为预设的能量阈值,且0≤τ0≤1。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
确定所述目标图像对应的环境的地理位置的有雾概率系数s1和天气的有雾概率系数s2
根据公式
Figure FDA0002256609090000031
确定τ0,其中,α1和α2分别为s1和s2的权重因子,且α12=1,α1>0,α2>0。
11.根据权利要求1-10任意一项所述的方法,其特征在于,所述方法还包括:
若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
12.根据权利要求1-11任意一项所述的方法,其特征在于,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
13.一种雾特征识别装置,其特征在于,包括:
获取单元,用于获取目标图像;
第一确定单元,用于基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;
第二确定单元,用于基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;
第三确定单元,用于根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息。
14.根据权利要求13所述的装置,其特征在于,所述第一确定单元,具体用于:
确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
15.根据权利要求14所述的装置,其特征在于,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述第二确定单元,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;
根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
16.根据权利要求14所述的装置,其特征在于,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述第二确定单元,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;
根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
17.根据权利要求14所述的装置,其特征在于,所述第二确定单元,具体用于:
确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;
根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
18.根据权利要求15-17任意一项所述的装置,其特征在于,所述第二确定单元,具体用于:
根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;
根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
19.根据权利要求13-18任意一项所述的装置,其特征在于,所述装置还包括:
雾灯指示单元,用于若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启雾灯的指示信息,或者控制开启雾灯。
20.根据权利要求13-19任意一项所述的装置,其特征在于,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
21.一种智能车辆,其特征在于,包括:处理器、耦合于所述处理器的摄像模块和雾灯;
所述摄像模块,用于采集目标图像;
所述处理器,用于:
获取所述目标图像,基于所述目标图像的暗通道图像,确定所述暗通道图像中的灰度特征分布信息;
基于所述目标图像的HSV颜色空间图像,确定所述HSV颜色空间图像的颜色特征分布信息;
根据所述灰度特征分布信息和所述颜色特征分布信息,确定所述目标图像中的雾特征信息;
若根据所述雾特征信息判断出所述目标图像对应的环境有雾,则生成开启所述雾灯的指示信息,或者控制开启所述雾灯。
22.根据权利要求21所述的车辆,其特征在于,所述处理器,具体用于:
确定所述目标图像的暗通道图像中像素的像素值,统计每一像素值对应的像素数在所述暗通道图像的像素总数中的比例。
23.根据权利要求22所述的车辆,其特征在于,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述处理器,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差;
根据所述至少一个通道的像素的像素值的标准差,确定所述HSV颜色空间图像的颜色分布情况。
24.根据权利要求22所述的车辆,其特征在于,所述目标图像的HSV颜色空间图像包括色调H通道、饱和度S通道和亮度V通道;所述处理器,具体用于:
确定所述目标图像的HSV颜色空间图像中至少一个通道的像素的像素值的标准差和均值;
根据所述至少一个通道的像素的像素值的标准差和均值,确定所述HSV颜色空间图像的颜色分布情况。
25.根据权利要求22所述的车辆,其特征在于,所述处理器,具体用于:
确定所述目标图像的HSV颜色空间图像的S通道的像素的像素值的标准差与均值,以及V通道的像素的像素值的标准差与均值;
根据所述S通道的像素的像素值的标准差与均值、以及所述V通道的像素的像素值的标准差与均值,确定所述HSV颜色空间图像的颜色分布情况。
26.根据权利要求23-25任意一项所述的车辆,其特征在于,所述处理器,具体用于:
根据所述每一像素值对应的像素数在所述暗通道图像的像素总数中的比例计算所述暗通道图像中雾特征的第一度量值,以及根据所述HSV颜色空间图像的颜色分布情况计算所述HSV颜色空间图像中雾特征的第二度量值;
根据所述第一度量值和所述第二度量值,确定所述目标图像中的雾特征信息。
27.根据权利要求21-26任意一项所述的车辆,其特征在于,所述目标图像为采集图像中待监测区域对应的图像,所述待检测区域包括天空分界线、车道线消隐点区域、道路两侧树木或建筑中的一种或多种。
28.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述权利要求1-12任意一项所述的方法。
29.一种计算机程序,其特征在于,所述计算机程序包括指令,当所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1-12中任意一项所述的方法。
CN201911056178.7A 2019-10-31 2019-10-31 一种雾特征识别方法、装置及相关设备 Active CN112750170B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911056178.7A CN112750170B (zh) 2019-10-31 2019-10-31 一种雾特征识别方法、装置及相关设备
PCT/CN2020/113630 WO2021082735A1 (zh) 2019-10-31 2020-09-04 一种雾特征识别方法、装置及相关设备
EP20883159.4A EP4044112A4 (en) 2019-10-31 2020-09-04 METHOD FOR RECOGNIZING FOG CHARACTERISTICS, APPARATUS AND ASSOCIATED DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911056178.7A CN112750170B (zh) 2019-10-31 2019-10-31 一种雾特征识别方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN112750170A true CN112750170A (zh) 2021-05-04
CN112750170B CN112750170B (zh) 2024-05-17

Family

ID=75644874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911056178.7A Active CN112750170B (zh) 2019-10-31 2019-10-31 一种雾特征识别方法、装置及相关设备

Country Status (3)

Country Link
EP (1) EP4044112A4 (zh)
CN (1) CN112750170B (zh)
WO (1) WO2021082735A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392704A (zh) * 2021-05-12 2021-09-14 重庆大学 一种山地道路边线位置检测方法
CN115115617A (zh) * 2022-07-26 2022-09-27 安徽气象信息有限公司 一种应用于气象能见度检测仪的能见度检测系统
CN117649477A (zh) * 2024-01-30 2024-03-05 腾讯科技(深圳)有限公司 图像处理方法、装置、设备以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549864A (zh) * 2021-12-31 2022-05-27 厦门阳光恩耐照明有限公司 一种基于环境图像的智能灯控制方法和控制系统
CN115345961B (zh) * 2022-08-24 2023-06-27 清华大学 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置
CN117788336B (zh) * 2024-02-28 2024-05-24 山东昆仲信息科技有限公司 一种国土空间规划过程中数据优化采集方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158378A1 (en) * 2008-12-23 2010-06-24 National Chiao Tung University Method for image processing
CN102779349A (zh) * 2012-06-30 2012-11-14 东南大学 一种基于图像颜色空间特征的雾天检测方法
CN104766286A (zh) * 2015-04-30 2015-07-08 河海大学常州校区 基于无人驾驶汽车的图像去雾装置及去雾方法
CN107403421A (zh) * 2017-08-10 2017-11-28 杭州联吉技术有限公司 一种图像去雾方法、存储介质及终端设备
CN108230288A (zh) * 2016-12-21 2018-06-29 杭州海康威视数字技术股份有限公司 一种确定雾性状况的方法和装置
CN108621918A (zh) * 2018-02-09 2018-10-09 常州星宇车灯股份有限公司 一种智能雾灯控制系统
CN109389132A (zh) * 2018-09-28 2019-02-26 深圳大学 一种基于图像的雾浓度检测预警方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127706A (zh) * 2016-06-20 2016-11-16 华南理工大学 一种基于非线性聚类的单一图像去雾方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158378A1 (en) * 2008-12-23 2010-06-24 National Chiao Tung University Method for image processing
CN102779349A (zh) * 2012-06-30 2012-11-14 东南大学 一种基于图像颜色空间特征的雾天检测方法
CN104766286A (zh) * 2015-04-30 2015-07-08 河海大学常州校区 基于无人驾驶汽车的图像去雾装置及去雾方法
CN108230288A (zh) * 2016-12-21 2018-06-29 杭州海康威视数字技术股份有限公司 一种确定雾性状况的方法和装置
CN107403421A (zh) * 2017-08-10 2017-11-28 杭州联吉技术有限公司 一种图像去雾方法、存储介质及终端设备
CN108621918A (zh) * 2018-02-09 2018-10-09 常州星宇车灯股份有限公司 一种智能雾灯控制系统
CN109389132A (zh) * 2018-09-28 2019-02-26 深圳大学 一种基于图像的雾浓度检测预警方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392704A (zh) * 2021-05-12 2021-09-14 重庆大学 一种山地道路边线位置检测方法
CN113392704B (zh) * 2021-05-12 2022-06-10 重庆大学 一种山地道路边线位置检测方法
CN115115617A (zh) * 2022-07-26 2022-09-27 安徽气象信息有限公司 一种应用于气象能见度检测仪的能见度检测系统
CN117649477A (zh) * 2024-01-30 2024-03-05 腾讯科技(深圳)有限公司 图像处理方法、装置、设备以及存储介质
CN117649477B (zh) * 2024-01-30 2024-06-04 腾讯科技(深圳)有限公司 图像处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
EP4044112A1 (en) 2022-08-17
EP4044112A4 (en) 2022-12-14
CN112750170B (zh) 2024-05-17
WO2021082735A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN112750170B (zh) 一种雾特征识别方法、装置及相关设备
US11386673B2 (en) Brake light detection
US11334753B2 (en) Traffic signal state classification for autonomous vehicles
US11891023B1 (en) Using camera data to manage a vehicle parked outside in cold climates
CN110178167B (zh) 基于摄像机协同接力的路口违章视频识别方法
US10678255B2 (en) Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
CN107506760B (zh) 基于gps定位与视觉图像处理的交通信号检测方法及系统
EP1930863A2 (en) Detecting and recognizing traffic signs
US20160034778A1 (en) Method for detecting traffic violation
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
CN112101272B (zh) 交通灯检测的方法、装置、计算机存储介质和路侧设备
CN109887276B (zh) 基于前景提取与深度学习融合的夜间交通拥堵检测方法
CN112419745A (zh) 一种基于深度融合网络的高速公路团雾预警系统
CN105389991B (zh) 一种自适应的闯红灯抓拍方法
CN113313953A (zh) 路段人行横道处信号动态优化控制系统及方法
CN111688568B (zh) 亮度检测方法、车灯控制方法及其系统及存储介质
CN116486359A (zh) 一种面向全天候的智能车环境感知网络自适应选择方法
US20200160562A1 (en) Low-Light Camera Occlusion Detection
Andalibi et al. Automatic glare detection via photometric, geometric, and global positioning information
JP6877651B1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
CN114972731A (zh) 交通灯检测识别方法及装置、移动工具、存储介质
CN110198439A (zh) 用于自动测试adas相机的图像识别性能的方法和装置
JP2023546062A (ja) 画像処理方法
KR101867869B1 (ko) 가로등 기반 재난 대응 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant