CN104834912A - 一种基于图像信息检测的天气识别方法及装置 - Google Patents

一种基于图像信息检测的天气识别方法及装置 Download PDF

Info

Publication number
CN104834912A
CN104834912A CN201510247015.2A CN201510247015A CN104834912A CN 104834912 A CN104834912 A CN 104834912A CN 201510247015 A CN201510247015 A CN 201510247015A CN 104834912 A CN104834912 A CN 104834912A
Authority
CN
China
Prior art keywords
image
preset
weather
detected
aiming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510247015.2A
Other languages
English (en)
Other versions
CN104834912B (zh
Inventor
马华东
傅慧源
张征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201510247015.2A priority Critical patent/CN104834912B/zh
Publication of CN104834912A publication Critical patent/CN104834912A/zh
Priority to US14/845,859 priority patent/US10088600B2/en
Application granted granted Critical
Publication of CN104834912B publication Critical patent/CN104834912B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于图像信息检测的天气识别方法及装置,包括:获得待检测图像;按照针对不同预设类型的天气对应预设的多个第一预设算法,提取待检测图像针对各个预设类型的天气的多种第一图像特征;将提取出的多种第一图像特征,输入预设的多核分类器,识别待检测图像的拍摄天气;多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。应用本发明实施例提供的方案,能够识别出待检测图像的拍摄天气。

Description

一种基于图像信息检测的天气识别方法及装置
技术领域
本发明涉及图像处理技术领域,特别涉及一种基于图像信息检测的天气识别方法及装置。
背景技术
在计算机视觉领域中,为了得到较佳的处理效果,需准确提取所拍摄图像的图像特征。然而,实际应用中,受拍摄天气等条件的影响,即使是同一拍摄物在不同的拍摄天气下拍摄得到的图像所呈现的图像特征也不相同,参见图1,这四幅图像分别是在晴天、雾霾天、雨天和雪天拍摄天安门得到的图像。
现有技术中,对上述四幅图像进行图像特征提取时,通常会采用相同的图像特征提取方法提取图像特征,而不考虑拍摄天气对图像特征提取的影响,这样,往往会造成图像特征提取失败,进而影响后续依赖于图像特征提取结果的各种计算机视觉应用。
因此,为了提高图像特征的提取效果,能够根据图像的拍摄天气有针对性的提取图像特征,有必要在进行图像特征提取之前识别出图像的拍摄天气。
发明内容
本发明实施例公开了一种基于图像信息检测的天气识别方法及装置,以能够识别出图像的拍摄天气,进而便于后期应用中能够根据识别出的拍摄天气有针对性的进行处理。
为达到上述目的,本发明实施例公开了一种基于图像信息检测的天气识别方法,所述方法包括:
获得待检测图像;
按照针对不同预设类型的天气对应预设的多个第一预设算法,提取所述待检测图像针对各个预设类型的天气的多种第一图像特征;
将提取出的多种第一图像特征,输入至预设的多核分类器,该多核分类器根据输入的图像特征进行分类,识别所述待检测图像的拍摄天气;
其中,所述多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。
在本发明的一种具体实现方式中,所述预设类型的天气包括以下几种中的至少一种:
晴天、雨天、雪天、雾霾天。
在本发明的一种具体实现方式中,在所述获得待检测图像之后,还包括:
按照第二预设算法,获得所述待检测图像针对图像对比度和/或图像饱和度的第二图像特征;
所述多核分类器通过以下方式获得:
针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征;
按照所述第二预设算法,分别获得上述所选取的各个图像样本针对图像对比度和/或图像饱和度的第二图像特征;
根据预设的多核学习算法对所提取的第一图像特征和所获得的第二图像特征进行机器学习,得到针对预设类型的天气的多核分类器。
在本发明的一种具体实现方式中,在所述预设类型的天气包括晴天的情况下,提取所述待检测图像针对晴天的图像特征,包括:
检测所述待检测图像中的天空区域;
提取所检测到的天空区域的颜色信息;
根据所提取的颜色信息,生成预设的第一维数的图像特征;
根据所述预设的第一维数的图像特征,确定所述待检测图像针对晴天的图像特征。
在本发明的一种具体实现方式中,所述基于图像信息检测的天气识别方法还包括:
检测所述待检测图像中的阴影区域;
从检测结果中选择第二预设数量个阴影区域,其中,所述第二预设数量与预先构建的阴影集中所包含阴影区域的数量相等,所述预先构建的阴影集为根据预先选择的对比强烈的阴影区域构建的;
分别在所述预先构建的阴影集中查找所选择的各个阴影区域的的邻近阴影区域;
计算所选择的阴影区域与所查找到的其邻近阴影区域之间的平均距离;
根据计算得到的平均距离生成预设的第二维数的图像特征;
所述根据所述预设的第一维数的图像特征,确定所述待检测图像针对晴天的图像特征,包括:
根据所述预设的第一维数的图像特征和所述预设的第二维数的图像特征,确定所述待检测图像针对晴天的图像特征。
在本发明的一种具体实现方式中,在所述预设类型的天气包括雨天的情况下,提取所述待检测图像针对雨天的图像特征,包括:
根据预设的导向滤波算法获得所述待检测图像的高频分量信息;
对所获得的高频分量信息进行二值化处理;
提取二值化处理后高频分量信息的方向梯度直方图HOG特征;
根据预设的模板滑动规则,将预设的HOG模板集中的模板与所提取的HOG特征进行匹配,得到各个匹配度;
根据匹配结果,按照匹配度由高到低的顺序,选择第三预设数量个匹配度在所提取的HOG特征中对应的HOG特征;
根据所选择的HOG特征,生成预设的第三维数的图像特征;
根据所述预设的第三维数的图像特征,确定所述待检测图像针对雨天的图像特征。
在本发明的一种具体实现方式中,在所述预设类型的天气包括雪天的情况下,提取所述待检测图像针对雪天的图像特征,包括:
检测所述待检测图像中构成雪花的像素点;
根据上述检测到的构成雪花的像素点,生成预设的第四维数的图像特征;
根据所述预设的第四维数的图像特征,确定所述待检测图像针对雪天的图像特征;
其中,所述检测所述待检测图像中构成雪花的像素点,包括:
检测所述待检测图像中目标像素点的灰度值是否大于所述待检测图像的平均灰度值与预设的灰度阈值之和;
若大于,判断所述目标像素点的灰度值是否满足以下关系:
与所述目标像素点之间的距离≤的像素点的灰度值等于所述目标像素点的灰度值,且<与所述目标像素点之间的距离≤的像素点的灰度值不等于所述目标像素点的灰度值,其中,N为正整数;
若满足上述关系,判定所述目标像素点是所述待检测图像中构成雪花的像素点;
若不满足上述关系,判定所述目标像素点不是所述待检测图像中构成雪花的像素点。
在本发明的一种具体实现方式中,在所述预设类型的天气包括雾霾天的情况下,提取所述待检测图像针对雾霾天的图像特征,包括:
按照预设的比例调整所述待检测图像的尺寸;
将调整尺寸后的图像划分为预设尺寸的图像块;
获得各个图像块的暗通道信息;
根据所获得的暗通道信息生成预设的第五维数的图像特征;
根据所述预设的第五维数的图像特征,确定所述待检测图像针对雾霾天的图像特征。
在本发明的一种具体实现方式中,所述根据所获得的暗通道信息生成预设的第五维数的图像特征,包括:
根据所获得的暗通道信息,计算各个图像块的暗通道信息均值;
根据各个图像块的暗通道信息均值,生成预设的第五维数的图像特征。
为达到上述目的,本发明实施例公开了一种基于图像信息检测的天气识别装置,所述装置包括:
图像获得模块,用于获得待检测图像;
图像特征提取模块,用于按照针对不同预设类型的天气对应预设的多个第一预设算法,提取所述待检测图像针对各个预设类型的多种第一天气的图像特征;
拍摄天气确定模块,用于将提取出的多种第一图像特征,输入至预设的多核分类器,该多核分类器根据输入的图像特征进行分类,识别所述待检测图像的拍摄天气;
其中,所述多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。
由以上可见,本发明实施例提供的方案中,由于预先针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征后,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到了针对预设类型的天气的分类器,所以,提取待检测图像针对各个预设类型的天气的图像特征后,能够根据上述的分类器识别出待检测图像的拍摄天气。因此,能够方便后期应用中根据图像的拍摄天气有针对性的进行处理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为在不同拍摄天气下拍摄同一拍摄物得到的图像;
图2为本发明实施例提供的一种基于图像信息检测的天气识别方法的流程示意图;
图3为本发明实施例提供的另一种基于图像信息检测的天气识别方法的流程示意图;
图4为本发明实施例提供的一种针对晴天提取图像特征的方法的流程示意图;
图5为本发明实施例提供的一种针对雨天提取图像特征的方法的流程示意图;
图6为直接提取待检测图像的HOG特征和提取待检测图像的二值化处理后的高频分量信息的HOG特征的对比图;
图7为本发明实施例提供的一种检测构成雪花的像素点的方法的流程示意图;
图8为本发明实施例提供的一种针对雾霾天提取图像特征的方法的流程示意图;
图9为本发明实施例提供的一种基于图像信息检测的天气识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图2为本发明实施例提供的一种基于图像信息检测的天气识别方法的流程示意图,该方法包括:
S101:获得待检测图像。
S102:按照针对不同预设类型的天气对应预设的多个第一预设算法,提取待检测图像针对各个预设类型的天气的多种第一图像特征。
其中,上述的预设类型的天气可以包括以下几种中的至少一种:
晴天、雨天、雪天、雾霾天。
需要说明的是,由于阴天和雾霾天具有相似的特征,例如,阴天和雾霾天的光线均较暗、天空区域均呈现灰色等等,因此,可以将阴天理解为雾霾天的一种具体天气。另外,又由于阴天和雾霾天又存在区别,例如,通常情况下阴天的能见度相较于雾霾天高等等,因此,也可以理解为阴天不是雾霾天的一种具体天气,而是一种与晴天、雨天、雪天、雾霾天等并列的天气类型,这种情况下上述预设类型的天气中还可以包括阴天。本申请并不对天气的分类情况进行限定,具体应用中可以根据实际情况确定。
由于在不同拍摄天气下拍摄得到的图像具有不同的图像特征,例如,晴天拍摄得到的图像中可能会包括:蓝色天空区域、阳光照射物体形成的阴影区域等,雨天拍摄得到的图像中可能会包括:雨滴、雨滴下落形成的雨线等等,因此,提取图像特征时若能够针对不同类型的图像特征采用不同的特征提取算法,则能够得到较佳的图像特征提取效果,这样,为达到较佳的图像特征提取效果,实际应用中,针对不同的拍摄天气可以采取不同的图像特征提取算法进行特征提取。
针对不同拍摄天气所采用的、具体的图像特征提取算法,在后续实施例中进行详细介绍。
S103:将提取出的多种第一图像特征,输入至预设的多核分类器,该多核分类器根据属入的图像特征进行分类,识别待检测图像的拍摄天气。
其中,多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。
实际应用中,虽然用户可以通过直接观看待检测图像得知该图像的拍摄天气,然而,对于终端而言,需对待检测图像进行分析,根据分析结果才能得知该图像的拍摄天气。
本实施例提供的方案中,提取待检测图像针对各个预设类型的天气的图像特征,这样可以得到多组图像特征,将这些图像特征作为预设的多核分类器的输入信息,输入至预设的多核分类器后,该多核分类器根据输入的图像特征,进行分类,识别得到待检测图像的拍摄天气。
具体的,由于实际中待检测图像对应的拍摄天气只有一种,所以,在提取待检测图像针对各个预设类型的天气的图像特征时,预设类型的天气中,与待检测图像对应的拍摄天气相同的天气类型对应的图像特征所包含的数据一般在合理的范围内,而其他天气类型对应的图像特征则相对表现异常,这样,将所提取的图像特征输入预设的多核分类器后,该分类器能够根据这些图像特征所包含数据的取值分析出待检测图像的拍摄天气。
较佳的,输入预设的多核分类器的图像特征的数量Num1,与生成该预设的多核分类器时,所考虑的预设类型的天气的数量相等Num2,若Num1小于Num2,需以预先设定的图像特征缺省值补充完整。
由以上可见,本实施例提供的方案中,由于预先针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征后,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到了针对预设类型的天气的分类器,所以,提取待检测图像针对各个预设类型的天气的图像特征后,能够根据上述的分类器识别出待检测图像的拍摄天气。因此,能够方便后期应用中根据图像的拍摄天气有针对性的进行处理。
在本发明的另一种具体实现方式中,参见图3,提供了另一种基于图像信息检测的天气识别方法的流程示意图,与图2所示实施例相比,本实施例中,在获得待检测图像之后,还包括:
S104:按照第二预设算法,获得待检测图像针对图像对比度和/或图像饱和度的第二图像特征。
图像对比度用于表示一幅图像的明暗区域中最亮的白和最暗的黑之间不同亮度层级,差异范围越大代表对比越大,差异范围越小代表对比越小。
在拍摄图像时,光线充足的情况下,拍摄得到的图像对比度较高,而光线不充足的情况下,拍摄得到的图像对比度偏低。
通常情况下,可以将待检测图像中各个像素点灰度值的均方根作为该图像的针对图像对比度的图像特征。当然,本申请只是以此为例进行说明,实际应用中还存在多种计算图像对比度的方法,例如,Weber对比度计算方法、Michelson对比度计算方法等等,这里不再一一列举。
图像饱和度能够较好地反映图像在不同关照环境下的颜色组成特征,图像饱和度与图像亮度无关。
具体的,可以根据以下表达式对待检测图像I中任一像素点的饱和度进行归一化处理:
S ( x , y ) = S ( x , y ) , - min ( S I ) max ( S I ) - min ( S I )
其中,为坐标为(x,y)的像素点的原始饱和度,S(x,y)表示经上述归一化处理后的饱和度值,max(SI)表示待检测图像I的最大原始饱和度值,min(SI)表示待检测图像I的最小原始饱和度值。
根据上述表达式计算得到待检测图像中任一像素点的饱和度后,可进一步统计针对各个像素点饱和度的直方图统计值,将该统计值作为针对待检测图像饱和度的图像特征。
在本发明的一个较佳实施例中,在统计得到针对各个像素点饱和度的直方图统计值后,还可以进一步对上述针对各个像素点饱和度的直方图统计值进行行区域划分,根据划分结果进行区域统计,得到预设的第六维数的统计值,并将该统计值作为针对图像饱和度的图像特征。例如,预设的第六维数可以为10等等,这样可以进一步缩小针对图像饱和度的图像特征中所包含的数据,便于后期应用该图像特征。
S103A:将获得的第二图像特征和提取出的多种第一图像特征,输入至预设的多核分类器,识别待检测图像的拍摄天气。
具体的,本实施例中多核分类器可以通过以下方式获得:
针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征;
按照第二预设算法,分别获得上述所选取的各个图像样本针对图像对比度和/或图像饱和度的第二图像特征;
根据预设的多核学习算法对所提取的第一图像特征和所获得的第二图像特征进行机器学习,得到针对预设类型的天气的多核分类器。
由以上可见,本实施例提供的方案中,在确定待检测图像的拍摄天气时,除了考虑了天气类型对待检测图像的影响之外,还考虑了图像的对比度和/或饱和度,能够进一步为识别待检测图像的拍摄天气提供丰富的信息。
下面通过不同实施例详细描述在各种不同类型的天气下,如何提取待检测图像针对该类型的天气的图像特征。
在本发明的一个具体实施例中,参见图4,提供了一种针对晴天提取图像特征的方法的流程示意图,可以理解的是,晴天时天空是淡蓝色的,所拍摄的图像往往会包含天空区域。
鉴于以上所描述的情况,本实施例中,在预设类型的天气包括晴天的情况下,提取待检测图像针对晴天的图像特征可以包括:
S401:检测待检测图像中的天空区域。
在本发明的一种可选实现方式中,检测待检测图像中的天空区域时,可以先将待检测图像划分成若干个小的图像块,例如,15x15大小的图像块,然后检测各个小的图像块是否为天空区域。
由于晴天时天空区域为淡蓝色或者白色,且小的区域内颜色是连续、缓慢变化的,所以,检测小的图像块是否为天空区域时,可以根据该图像块中各个像素点的颜色值、各个像素点之间颜色值的变化趋势等信息判断。
一种具体实现方式中,可以预先采集多个包含天空区域的图像样本,并根据预设的天空区域特征提取算法提取各个图像样本中针对天空区域的图像特征,然后根据随机森林方法对上述所提取的图像特征进行机器学习,得到针对天空区域的分类器。在检测小的图像块是否为天空区域时,先根据预设的天空区域特征提取算法提取该小的图像块针对天空区域的图像特征,并将所提取的图像特征输入至上述经机器学习得到的针对天空区域的分类器,该分类器根据输入的图像特征对该小的图像块进行分类,确定其是否为天空区域。
S402:提取所检测到的天空区域的颜色信息。
实际应用中,图像可以是以RGB、YUV、LAB等格式存储的。天空区域的颜色信息可以是以天空区域中各个像素点的颜色值表示的,也可以是以天空区域中各个像素点颜色值的一个或多个分量表示的。
例如:图像以RGB格式存储时,可以以天空区域中各个像素点颜色值的R分量、G分量或B分量表示;
图像以YUV格式存储时,可以以天空区域中各个像素点颜色值的Y分量表示,或者以U分量和V分量表示;
图像以LAB格式存储时,可以以天空区域中各个像素点颜色值的A分量和B分量表示。
需要说明的是,实际应用中还存在多种其他类型的图像存储格式,天空区域颜色信息的表示方式也不仅限于上述几种,具体应用中可以根据实际情况确定。
S403:根据所提取的颜色信息,生成预设的第一维数的图像特征。
其中,预设的第一维数可以是根据像素点颜色值的取值范围确定的,例如,LAB格式的图像中,A分量和B分量的取值范围是[-128,127],该范围内共包含256个整数,则可以设定预设的第一维数为256。
另外,考虑到便于数据统计、减小计算量等原因,还可以对所提取的颜色信息进行区间合并处理,这种情况下,预设的第一维数的取值通常小于上述的根据像素点颜色值的取值范围确定的取值,例如,LAB格式的图像中,上述的根据像素点颜色值的取值范围确定的取值为256的情况下,预设的第一维数的取值可以为200、180、100、60等等。
具体的,上述LAB格式的图像中,A分量和B分量的取值范围是[-128,127]的情况下,若设定预设的第一维数为200,可以理解为:将256个数据区间按照一定的规则划分为200个数据区间,在生成图像特征时,根据新划分得到的数据区间和所提取的颜色信息进行数据统计,生成图像特征。
S404:根据预设的第一维数的图像特征,确定待检测图像针对晴天的图像特征。
由于阳光照射在物体上会形成阴影,所以,在晴天下拍摄得到的图像中除了可能会包含天空区域外,还有可能会包含阴影区域。鉴于此,除了可以根据天空区域生成图像特征之外,还可以根据阴影区域生成图像特征。
在本发明的另一个具体实施例中,还可以检测待检测图像中的阴影区域,从上述阴影区域检测结果中选择第二预设数量个阴影区域,分别在预先构建的阴影集中查找所选择的各个阴影区域的的邻近阴影区域,计算所选择的阴影区域与所查找到的其邻近阴影区域之间的平均距离,根据计算得到的平均距离生成预设的第二维数的图像特征。
可选的,可以通过k近邻算法在预先构建的阴影集中查找所选择的各个阴影区域的邻近阴影区域。由于k近邻算法属于现有技术,这里不再赘述。
其中,上述的第二预设数量与预先构建的阴影集中所包含阴影区域的数量相等,且该预先构建的阴影集为根据预先选择的对比强烈的阴影区域构建的。
实际应用中,为了得到所选择应用区域的较佳邻近阴影区域,可以根据开发人员的经验选择多个阴影区域与非阴影区域对比强烈的阴影区域,例如,10个阴影区域,再根据所选择的阴影区域预先构建阴影集。
可选的,上述的预设的第二维数可以为10。
当然,本申请并不限定预先构建的阴影集所包含阴影区域的数量,以及预设的第二维数的取值。
一种可选的实现方式中,检测待检测图像中的阴影区域时,可以先对待检测图像进行过度分割,得到多个图像块,并获得各个图像块的图像边缘,再通过图像边缘提取算法,例如,Canny图像边缘提取算法、Sobel图像边缘提取算法等,对所获得的图像边缘进行筛选,得到可能性较高的图像边缘,之后再根据图像边缘分类器对筛选得到的图像边缘进行分类,进而确定待检测图像中的阴影区域。
需要说明的是,本申请只是以上述为例进行说明,实际应用中检测待检测图像中的阴影区域的方式并不仅限于上述方法,另外,本申请并不对根据天空区域生成图像特征和根据阴影区域生成图像特征的执行顺序进行限定,两者可以并行执行,也可以顺序执行,顺序执行时,两者之间的执行顺序也可以根据具体情况确定。
生成第一维数的图像特征和第二维数的图像特征后,上述的根据预设的第一维数的图像特征,确定待检测图像针对晴天的图像特征,具体可以是根据预设的第一维数的图像特征和预设的第二维数的图像特征,确定待检测图像针对晴天的图像特征。
由以上可见,上述各个实施例提供的方案中,在针对晴天提取图像特征时,充分考虑了晴天下天空区域的特点、光线的影响等因素,因此,应用上述各个实施例提供的方案针对晴天提取图像特征时,针对性较强,能够得到较佳的图像特征提取效果。
在本发明的另一个具体实施例中,参见图5,提供了一种针对雨天提取图像特征的方法的流程示意图,可以理解的是,雨天时,所拍摄到的图像中往往包含雨滴、雨滴下落形成的雨线等等,雨滴和雨线在图像中具有类似图像噪声的特点。
鉴于以上所描述的情况,本实施例中,在预设类型的天气包括雨天的情况下,提取待检测图像针对雨天的图像特征可以包括:
S501:根据预设的导向滤波算法获得待检测图像的高频分量信息。
导向滤波算法是一种可以保持图像边缘的滤波算法。与传统的滤波算法相比,导向滤波算法具有实时性好、滤波后得到的图像纹理细腻、图像边缘光滑等特点。
导向滤波算法的输入为待处理图像和导向图,其输出为保留了图像边缘信息且同时具有导向图结构的图像。
通过导向滤波算法可以将待检测图像分解为高频分量和低频分量,而雨滴、雨线以及非“雨”部分的边缘信息通常会保留在高频分量中。
S502:对所获得的高频分量信息进行二值化处理。
S503:提取二值化处理后高频分量信息的HOG(Histogram of OrientedGradient,方向梯度直方图)特征。
参见图6,提供了直接提取待检测图像的HOG特征和提取待检测图像的二值化处理后的高频分量信息的HOG特征的对比图,由图中可以看出,直接提取待检测图像的HOG特征后,所保留的信息中像素点之间的差异性不显著,而提取待检测图像的二值化处理后的高频分量信息的HOG特征时,所保留的信息中像素点之间的差异性较显著,这样有助于检测图像中的雨滴、雨线等噪声。
S504:根据预设的模板滑动规则,将预设的HOG模板集中的模板与所提取的HOG特征进行匹配,得到各个匹配度。
其中,上述预设的模板滑动规则可以是与单位滑动距离和滑动方向等信息相关的规则。
预设的HOG模板集中可以包括多个HOG模板,例如,5个、8个、15个等等,本申请并不对此进行限定。
较佳的,预设的HOG模板集中所包含的模板可以是从多个不同角度构造的纯净雨的HOG模板。
具体的,可以将预设的HOG模板集中的模板与所提取HOG特征中对应区域之间的马氏距离作为两者之间的匹配度。
S505:根据匹配结果,按照匹配度由高到低的顺序,选择第三预设数量个匹配度在所提取的HOG特征中对应的HOG特征。
S506:根据所选择的HOG特征,生成预设的第三维数的图像特征。
其中,预设的第三维数可以根据具体情况设定,例如,可以设定为180等等。
S507:根据预设的第三维数的图像特征,确定待检测图像针对雨天的图像特征。
由以上可见,上述各实施例提供的方案中,在针对雨天提取图像特征时,充分考虑了雨滴、雨线等在图像中的特性,另外,导向滤波和二值化处理使得提取HOG特征后所保留的信息中像素点之间的差异较强,能够较好的提取针对雨天的图像特征,因此,应用上述各个实施例提供的方案针对雨天提取图像特征时,针对性较强,能够得到较佳的图像特征提取效果。
在本发明的另一个具体实施例中,提供了一种针对雪天提取图像特征的方法,可以理解的是,雪天时,所拍摄到的图像中往往包含雪花,但是由于雪花比较轻柔,有风时雪花的运动轨迹会随风轻易改变,且改变的方向是比较随机的,所以,较难利用连续拍摄的多张图像确定雪花的运动轨迹。虽然雪花的运动轨迹较难确定,但是雪花在图像中具有类似图像噪声的特点,且雪花具有一定的大小,构成一片雪花的各个像素点之间颜色值相似。
鉴于以上所描述的情况,本实施例中,在预设类型的天气包括雪天的情况下,提取待检测图像针对雪天的图像特征时,可以先检测待检测图像中构成雪花的像素点,再根据上述检测到的构成雪花的像素点,生成预设的第四维数的图像特征,并根据预设的第四维数的图像特征,确定待检测图像针对雪天的图像特征。
具体的,根据上述检测到的构成雪花的像素点,生成预设的第四维数的图像特征时,对于一个构成雪花的像素点而言,可以以该构成雪花的像素点为中心,选择由其周围的多个像素点构成的图像块,例如,4x4大小的图像块、8x8大小的图像块等等,分别计算该图像块的亮度直方图统计值和色度直方图统计值,根据计算得到的直方图统计值生成预设的第四维数的图像特征,例如,生成200维的图像特征。
上述的预设的第四维数可以是根据实际应用情况设定的,例如,可以是200等等,本申请并不对预设的第四维数的取值进行限定。
具体的,参见图7,提供了一种检测构成雪花的像素点的方法的流程示意图,该方法包括:
S701:检测待检测图像中目标像素点的灰度值是否大于待检测图像的平均灰度值与预设的灰度阈值之和,若大于,执行S702,否则,执行S705。
其中,预设的灰度阈值为大于零的阈值。
S702:判断目标像素点的灰度值是否满足预设的关系,若满足,执行S703,若不满足,执行S704。
其中,上述预设的预设的关系具体为:与目标像素点之间的距离≤的像素点的灰度值等于目标像素点的灰度值,且<与目标像素点之间的距离≤ 的像素点的灰度值不等于目标像素点的灰度值,N为正整数。
较佳的,实际应用中,N值可以取1,则与目标像素点之间的距离≤的像素点的数量为8,<与目标像素点之间的距离≤的像素点的数量为16。
S703:判定目标像素点是待检测图像中构成雪花的像素点。
S704:判定目标像素点不是待检测图像中构成雪花的像素点。
S705:结束本流程。
由以上可见,上述各实施例提供的方案中,在针对雪天提取图像特征时,考虑了雪花在图像中具有图像噪声的特点,且雪花具有一定大小,而且构成一片雪花的各个像素点之间颜色值相同或者相近,因此,能够较好的提取针对雪天的图像特征。应用上述各个实施例提供的方案针对雪天提取图像特征时,针对性较强,能够得到较佳的图像特征提取效果。
在本发明的另一个具体实施例中,参见图8,提供了一种针对雾霾天提取图像特征的方法的流程示意图,可以理解的是,雾霾天时,所拍摄得到的图像整体色调偏暗,画面清晰度较差。
鉴于以上所描述的情况,本实施例中,在预设类型的天气包括雾霾天的情况下,提取待检测图像针对雾霾天的图像特征可以包括:
S801:按照预设的比例调整待检测图像的尺寸。
其中,预设的比例可以是大于1的数值、小于1的数值或者等于1。在预设的比例等于1的情况下,表示不对待检测图像的尺寸进行调整。将预设的比例设置为小于1的数值的情况下,表示对待检测图像进行缩小处理,这样可以从一定程度上节省计算量,提高运算速度。
例如,将1920x1080大小的图像调整为600x450大小的图像等等。
S802:将调整尺寸后的图像划分为预设尺寸的图像块。
上述的预设尺寸可以根据具体应用情况设定,例如,可以设定为15x15大小等等。
S803:获得各个图像块的暗通道信息。
经过对多张在雾霾天下拍摄得到的图像进行分析,发现大多数非天空的局部区域中,一些像素点总会有至少一个颜色通道具有很低的值,也就是说该局部区域中光强度的最小值是一个数值偏小的值,所以,本实施例中,我们利用图像的暗通道信息来表征在雾霾天下拍摄得到的图像的图像特征。
以RGB格式存储的任一图像J为例,其暗通道信息可以定义如下:
J dark ( x ) = min y ∈ Ω ( x ) [ min c ∈ { r , g , b } J c ( y ) ]
其中,Jc表示彩色图像的每个颜色通道,Ω(x)表示以像素点x为中心的一个窗口。
S804:根据所获得的暗通道信息生成预设的第五维数的图像特征。
上述的预设的第五维数可以根据具体应用情况设定,例如,可以设定为120等等,本申请并不对此进行限定。
具体的,可以根据所获得的暗通道信息,计算各个图像块的暗通道信息均值,再根据各个图像块的暗通道信息均值,生成预设的第五维数的图像特征。
S805:根据预设的第五维数的图像特征,确定待检测图像针对雾霾天的图像特征。
由以上可见,上述各个实施例提供的方案中,在针对雾霾天提取图像特征时,充分考虑了在雾霾天下所拍摄图像的画面特点,图像整体色调偏暗,画面清晰度较差等等,因此,能够较好的提取针对雾霾天的图像特征。应用上述各个实施例提供的方案针对雾霾天提取图像特征时,针对性较强,能够得到较佳的图像特征提取效果。
下面通过一个具体实例介绍如何生成预设的多核分类器。
假设,由第一预设数量N个图像构成的图像训练集为其中,xi表示第i个图像的特征,yi表示xi的类标签,即第i个图像的天气类型,例如,晴天、雨天等等。为训练得到一个基于多核的分类器来预测无标记图像的拍摄天气,首先需确定最优的核函数,在确定最优的核函数时,可以根据一些基本核函数的线性组合来确定得到。
例如,根据基本核函数的线性组合确定得到的最优核函数可以表示为:
k ( x i , x ) = Σ m = 1 M β m k m ( x i , x ) ,
其中,x表示上述图像训练集中所有图像的图像特征的集合,k(xi,x)表示x中的xi对应的最优核函数,βm表示线性组合系数,且βm≥0,M表示该最优核函数中所包含核函数的数量,M的取值在图像检测中要采用的图像特征的种类相关,例如,在图像检测中要采用待检测图像针对晴天、雨天、雪天、雾霾天的图像特征,则M取值为4,km(x)表示第m个核函数,km(xi,x)表示x中的xi对应的第m个核函数。
假设,图像训练集中任一图像的图像特征x对应的决策函数为:
f ( x ) = Σ m = 1 M β m k m ( x ) α + b ,
其中,α和b是SVM分类器自身的参数。
具体的,可将目标函数定义为:
min β , α , b J = 1 2 Σ m = 1 M β m α T K m α + C Σ i ξ i ,
其中,Km=km(x),C表示trade-off参数,也可以称为权衡参数,ξi表示松弛变量。
该目标函数的约束条件为:
y i · Σ m = 1 M β m k m ( x i ) α + y i b ≥ 1 - ξ i , ∀ i
ξ i ≥ 0 , ∀ i
采用梯度下降优化算法进行迭代计算,每次迭代中,通过给定权重βm获得α和b。这样,可通过one-against-all策略将多类问题转化为多个联合的二类分类问题。
假设有P个天气类别,P表示天气类别的数量,例如,天气类别包括晴天、雨天、雪天和雾霾天的情况下,P的取值为4,则目标函数可变换为:
J = Σ p = 1 P J p ( β , α p , b p ) ,
其中,Jp是第p个二类分类器,其正样本为属于类别p的天气,其负样本为不属于类别p的天气,β表示核函数的线性组合系数的集合,αp表示α针对类别p的天气的取值,bp表示b针对类别p的天气的取值。通过下式得到测试天气的类别:
y = arg max y p F p ( x )
其中,Fp(x)表示天气类别为p时f(x)的具体函数。
上述只是获得预设的多核分类器的一种方式,实际应用中还存在其他方式,这里不再一一叙述。
与上述的基于图像信息检测的天气识别方法相对应,本发明实施例还提供了一种基于图像信息检测的天气识别装置。
图9为本发明实施例提供的一种基于图像信息检测的天气识别装置的结构示意图,该装置包括:图像获得模块901、图像特征提取模块902和拍摄天气确定模块903。
其中,图像获得模块901,用于获得待检测图像;
图像特征提取模块902,用于按照针对不同预设类型的天气对应预设的多个第一预设算法,提取所述待检测图像针对各个预设类型的多种第一天气的图像特征;
拍摄天气确定模块903,用于将提取出的多种第一图像特征,输入至预设的多核分类器,该多核分类器根据输入的图像特征进行分类,识别所述待检测图像的拍摄天气;
其中,所述多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。
具体的,所述预设类型的天气可以包括以下几种中的至少一种:
晴天、雨天、雪天、雾霾天。
由以上可见,本实施例提供的方案中,由于预先针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征后,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到了针对预设类型的天气的分类器,所以,提取待检测图像针对各个预设类型的天气的图像特征后,能够根据上述的分类器识别出待检测图像的拍摄天气。因此,能够方便后期应用中根据图像的拍摄天气有针对性的进行处理。
在本发明的一个具体实施例中,提供了另一种基于图像信息检测的天气识别装置的结构示意图,与前述实施例相比,本实施例中,还包括:
图像特征获得模块,用于在所述图像获得模块901获得待检测图像之后,按照第二预设算法,获得所述待检测图像针对图像对比度和/或图像饱和度的第二图像特征;
该装置还可以包括:分类器获得模块,用于获得所述多核分类器。
具体的,分类器获得模块可以包括:
第一图像特征提取子模块,用于针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征;
第二图像特征提取子模块,用于按照所述第二预设算法,分别获得上述所选取的各个图像样本针对图像对比度和/或图像饱和度的第二图像特征;
机器学习子模块,用于根据预设的多核学习算法对所提取的第一图像特征和所获得的第二图像特征进行机器学习,得到针对预设类型的天气的多核分类器。
由以上可见,本实施例提供的方案中,在确定待检测图像的拍摄天气时,除了考虑了天气类型对待检测图像的影响之外,还考虑了图像的对比度和/或饱和度,能够进一步为识别待检测图像的拍摄天气提供丰富的信息。
可选的,图像特征提取模块902可以包括:晴天图像特征提取子模块、雨天图像特征提取子模块、雪天图像特征提取子模块和雾霾天图像特征提取子模块(图中未示出)。
具体的,晴天图像特征提取子模块,用于在所述预设类型的天气包括晴天的情况下,提取所述待检测图像针对晴天的图像特征。
晴天图像特征提取子模块可以包括:
天空区域检测单元,用于检测所述待检测图像中的天空区域;
颜色信息提取单元,用于提取所检测到的天空区域的颜色信息;
第一图像特征生成单元,用于根据所提取的颜色信息,生成预设的第一维数的图像特征;
晴天图像特征确定单元,用于根据所述预设的第一维数的图像特征,确定所述待检测图像针对晴天的图像特征。
在本发明的一种具体实现方式中,晴天图像特征提取子模块还可以包括:
阴影区域检测单元,用于检测所述待检测图像中的阴影区域;
第一阴影区域选择单元,用于从检测结果中选择第二预设数量个阴影区域,其中,所述第二预设数量与预先构建的阴影集中所包含阴影区域的数量相等,所述预先构建的阴影集为根据预先选择的对比强烈的阴影区域构建的;
第一阴影区域选择单元,用于分别在所述预先构建的阴影集中查找所选择的各个阴影区域的的邻近阴影区域;
距离计算单元,用于计算所选择的阴影区域与所查找到的其邻近阴影区域之间的平均距离;
第二图像特征生成单元,用于根据计算得到的平均距离生成预设的第二维数的图像特征;
晴天图像特征确定单元,具体用于根据所述预设的第一维数的图像特征和所述预设的第二维数的图像特征,确定所述待检测图像针对晴天的图像特征。
具体的,雨天图像特征提取子模块,在所述预设类型的天气包括雨天的情况下,提取所述待检测图像针对雨天的图像特征。
雨天图像特征提取子模块可以包括:
高频信息获得单元,用于根据预设的导向滤波算法获得所述待检测图像的高频分量信息;
二值化处理单元,用于对所获得的高频分量信息进行二值化处理;
HOG特征提取单元,用于提取二值化处理后高频分量信息的方向梯度直方图HOG特征;
HOG特征匹配单元,用于根据预设的模板滑动规则,将预设的HOG模板集中的模板与所提取的HOG特征进行匹配,得到各个匹配度;
HOG特征选择单元,用于根据匹配结果,按照匹配度由高到低的顺序,选择第三预设数量个匹配度在所提取的HOG特征中对应的HOG特征;
第三图像特征生成单元,用于根据所选择的HOG特征,生成预设的第三维数的图像特征;
雨天图像特征确定单元,用于根据所述预设的第三维数的图像特征,确定所述待检测图像针对雨天的图像特征。
具体的,雪天图像特征提取子模块,用于在所述预设类型的天气包括雪天的情况下,提取所述待检测图像针对雪天的图像特征。
雪天图像特征提取子模块可以包括:
像素点检测单元,用于检测所述待检测图像中构成雪花的像素点;
第四图像特征生成单元,用于根据上述检测到的构成雪花的像素点,生成预设的第四维数的图像特征;
雪天图像特征确定单元,用于根据所述预设的第四维数的图像特征,确定所述待检测图像针对雪天的图像特征;
其中,所述像素点检测单元可以包括:灰度值检测子单元和灰度值判断子单元。
其中,灰度值检测子单元,用于检测所述待检测图像中目标像素点的灰度值是否大于所述待检测图像的平均灰度值与预设的灰度阈值之和,若大于,触发灰度值判断子单元进行灰度值判断;
灰度值判断子单元,用于判断所述目标像素点的灰度值是否满足以下关系:
与所述目标像素点之间的距离≤的像素点的灰度值等于所述目标像素点的灰度值,且<与所述目标像素点之间的距离≤的像素点的灰度值不等于所述目标像素点的灰度值,其中,N为正整数;若满足上述关系,判定所述目标像素点是所述待检测图像中构成雪花的像素点;若不满足上述关系,判定所述目标像素点不是所述待检测图像中构成雪花的像素点。
具体的,雾霾天图像特征提取子模块,用于在所述预设类型的天气包括雾霾天的情况下,提取所述待检测图像针对雾霾天的图像特征。
雾霾天图像特征提取子模块可以包括:
图像尺寸调整单元,用于按照预设的比例调整所述待检测图像的尺寸;
图像块划分单元,用于将调整尺寸后的图像划分为预设尺寸的图像块;
暗通道信息获得单元,用于获得各个图像块的暗通道信息;
第五图像特征生成单元,用于根据所获得的暗通道信息生成预设的第五维数的图像特征;
雾霾天特征确定单元,用于根据所述预设的第五维数的图像特征,确定所述待检测图像针对雾霾天的图像特征。
较佳的,第五图像特征生成单元可以包括:
暗通道信息均值计算子单元,用于根据所获得的暗通道信息,计算各个图像块的暗通道信息均值;
第五图像特征生成子单元,用于根据各个图像块的暗通道信息均值,生成预设的第五维数的图像特征。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种基于图像信息检测的天气识别方法,其特征在于,所述方法包括:
获得待检测图像;
按照针对不同预设类型的天气对应预设的多个第一预设算法,提取所述待检测图像针对各个预设类型的天气的多种第一图像特征;
将提取出的多种第一图像特征,输入至预设的多核分类器,该多核分类器根据输入的图像特征进行分类,识别所述待检测图像的拍摄天气;
其中,所述多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。
2.根据权利要求1所述的方法,其特征在于,所述预设类型的天气包括以下几种中的至少一种:
晴天、雨天、雪天、雾霾天。
3.根据权利要求2所述的方法,其特征在于,
在所述获得待检测图像之后,还包括:
按照第二预设算法,获得所述待检测图像针对图像对比度和/或图像饱和度的第二图像特征;
所述多核分类器通过以下方式获得:
针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征;
按照所述第二预设算法,分别获得上述所选取的各个图像样本针对图像对比度和/或图像饱和度的第二图像特征;
根据预设的多核学习算法对所提取的第一图像特征和所获得的第二图像特征进行机器学习,得到针对预设类型的天气的多核分类器。
4.根据权利要求3所述的方法,其特征在于,在所述预设类型的天气包括晴天的情况下,提取所述待检测图像针对晴天的图像特征,包括:
检测所述待检测图像中的天空区域;
提取所检测到的天空区域的颜色信息;
根据所提取的颜色信息,生成预设的第一维数的图像特征;
根据所述预设的第一维数的图像特征,确定所述待检测图像针对晴天的图像特征。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
检测所述待检测图像中的阴影区域;
从检测结果中选择第二预设数量个阴影区域,其中,所述第二预设数量与预先构建的阴影集中所包含阴影区域的数量相等,所述预先构建的阴影集为根据预先选择的对比强烈的阴影区域构建的;
分别在所述预先构建的阴影集中查找所选择的各个阴影区域的的邻近阴影区域;
计算所选择的阴影区域与所查找到的其邻近阴影区域之间的平均距离;
根据计算得到的平均距离生成预设的第二维数的图像特征;
所述根据所述预设的第一维数的图像特征,确定所述待检测图像针对晴天的图像特征,包括:
根据所述预设的第一维数的图像特征和所述预设的第二维数的图像特征,确定所述待检测图像针对晴天的图像特征。
6.根据权利要求3所述的方法,其特征在于,在所述预设类型的天气包括雨天的情况下,提取所述待检测图像针对雨天的图像特征,包括:
根据预设的导向滤波算法获得所述待检测图像的高频分量信息;
对所获得的高频分量信息进行二值化处理;
提取二值化处理后高频分量信息的方向梯度直方图HOG特征;
根据预设的模板滑动规则,将预设的HOG模板集中的模板与所提取的HOG特征进行匹配,得到各个匹配度;
根据匹配结果,按照匹配度由高到低的顺序,选择第三预设数量个匹配度在所提取的HOG特征中对应的HOG特征;
根据所选择的HOG特征,生成预设的第三维数的图像特征;
根据所述预设的第三维数的图像特征,确定所述待检测图像针对雨天的图像特征。
7.根据权利要求3所述的方法,其特征在于,在所述预设类型的天气包括雪天的情况下,提取所述待检测图像针对雪天的图像特征,包括:
检测所述待检测图像中构成雪花的像素点;
根据上述检测到的构成雪花的像素点,生成预设的第四维数的图像特征;
根据所述预设的第四维数的图像特征,确定所述待检测图像针对雪天的图像特征;
其中,所述检测所述待检测图像中构成雪花的像素点,包括:
检测所述待检测图像中目标像素点的灰度值是否大于所述待检测图像的平均灰度值与预设的灰度阈值之和;
若大于,判断所述目标像素点的灰度值是否满足以下关系:
与所述目标像素点之间的距离的像素点的灰度值等于所述目标像素点的灰度值,且与所述目标像素点之间的距离的像素点的灰度值不等于所述目标像素点的灰度值,其中,N为正整数;
若满足上述关系,判定所述目标像素点是所述待检测图像中构成雪花的像素点;
若不满足上述关系,判定所述目标像素点不是所述待检测图像中构成雪花的像素点。
8.根据权利要求3所述的方法,其特征在于,在所述预设类型的天气包括雾霾天的情况下,提取所述待检测图像针对雾霾天的图像特征,包括:
按照预设的比例调整所述待检测图像的尺寸;
将调整尺寸后的图像划分为预设尺寸的图像块;
获得各个图像块的暗通道信息;
根据所获得的暗通道信息生成预设的第五维数的图像特征;
根据所述预设的第五维数的图像特征,确定所述待检测图像针对雾霾天的图像特征。
9.根据权利要求8所述的方法,其特征在于,所述根据所获得的暗通道信息生成预设的第五维数的图像特征,包括:
根据所获得的暗通道信息,计算各个图像块的暗通道信息均值;
根据各个图像块的暗通道信息均值,生成预设的第五维数的图像特征。
10.一种基于图像信息检测的天气识别装置,其特征在于,所述装置包括:
图像获得模块,用于获得待检测图像;
图像特征提取模块,用于按照针对不同预设类型的天气对应预设的多个第一预设算法,提取所述待检测图像针对各个预设类型的多种第一天气的图像特征;
拍摄天气确定模块,用于将提取出的多种第一图像特征,输入至预设的多核分类器,该多核分类器根据输入的图像特征进行分类,识别所述待检测图像的拍摄天气;
其中,所述多核分类器为:针对拍摄天气为不同预设类型的天气,分别选取第一预设数量个图像样本,分别针对每种预设类型的天气的图像样本,按照预设类型的天气对应的第一预设算法提取各个图像样本的第一图像特征,根据预设的多核学习算法对所提取的第一图像特征进行机器学习得到的针对预设类型的天气的分类器。
CN201510247015.2A 2015-05-14 2015-05-14 一种基于图像信息检测的天气识别方法及装置 Expired - Fee Related CN104834912B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510247015.2A CN104834912B (zh) 2015-05-14 2015-05-14 一种基于图像信息检测的天气识别方法及装置
US14/845,859 US10088600B2 (en) 2015-05-14 2015-09-04 Weather recognition method and device based on image information detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510247015.2A CN104834912B (zh) 2015-05-14 2015-05-14 一种基于图像信息检测的天气识别方法及装置

Publications (2)

Publication Number Publication Date
CN104834912A true CN104834912A (zh) 2015-08-12
CN104834912B CN104834912B (zh) 2017-12-22

Family

ID=53812790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510247015.2A Expired - Fee Related CN104834912B (zh) 2015-05-14 2015-05-14 一种基于图像信息检测的天气识别方法及装置

Country Status (2)

Country Link
US (1) US10088600B2 (zh)
CN (1) CN104834912B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868745A (zh) * 2016-06-20 2016-08-17 重庆大学 基于动态场景感知的天气识别方法
CN106453523A (zh) * 2016-09-27 2017-02-22 北海益生源农贸有限责任公司 一种智能天气识别系统及方法
CN106960188A (zh) * 2017-03-17 2017-07-18 华为技术有限公司 天气图像分类方法及装置
CN107742301A (zh) * 2017-10-25 2018-02-27 哈尔滨理工大学 基于图像分类的复杂背景下输电线路图像处理方法
CN108369651A (zh) * 2015-12-01 2018-08-03 天青公司 使用图像数据进行信息提取
CN109034265A (zh) * 2018-08-16 2018-12-18 湖北亿咖通科技有限公司 雨刮器自启动装置与方法
CN109712126A (zh) * 2018-12-21 2019-05-03 深圳市华星光电半导体显示技术有限公司 图片识别方法及装置
CN109784298A (zh) * 2019-01-28 2019-05-21 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN109993047A (zh) * 2017-12-28 2019-07-09 杭州海康威视系统技术有限公司 城市乱堆物料的违规识别方法、装置及电子设备
CN110186471A (zh) * 2019-05-06 2019-08-30 平安科技(深圳)有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN110415544A (zh) * 2019-08-20 2019-11-05 深圳疆程技术有限公司 一种灾害天气预警方法及汽车ar-hud系统
CN111178438A (zh) * 2019-12-31 2020-05-19 象辑知源(武汉)科技有限公司 一种基于ResNet101的天气类型识别方法
CN112750323A (zh) * 2019-10-30 2021-05-04 上海博泰悦臻电子设备制造有限公司 用于车辆安全的管理方法、装置和计算机存储介质
CN112804494A (zh) * 2021-01-13 2021-05-14 广州穗能通能源科技有限责任公司 电力施工现场监控方法、系统和存储介质
CN112835130A (zh) * 2020-12-29 2021-05-25 北京邮电大学 一种天气状态的检测方法、装置及电子设备
CN113077422A (zh) * 2021-03-22 2021-07-06 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置
CN113378668A (zh) * 2021-05-28 2021-09-10 上海商汤智能科技有限公司 积水类别的确定方法、装置、设备及存储介质
CN114227717A (zh) * 2021-12-31 2022-03-25 深圳市优必选科技股份有限公司 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN116310598A (zh) * 2023-05-16 2023-06-23 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092920A (zh) * 2016-02-17 2017-08-25 福特全球技术公司 评估其上行驶有车辆的路面的方法和装置
WO2017216919A1 (ja) * 2016-06-16 2017-12-21 株式会社オプティム 服装情報提供システム、服装情報提供方法、およびプログラム
DE102017210157A1 (de) * 2017-06-19 2018-12-20 Zf Friedrichshafen Ag Vorrichtung und Verfahren zum mobilen Erfassen von Wetterinformationen
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
US20190339093A1 (en) * 2018-05-04 2019-11-07 Honda Motor Co., Ltd. System and method for vehicle weather advisor real-time notification
CN108495095B (zh) * 2018-05-09 2021-08-03 湖南城市学院 一种基于无人机的雾霾扩散监控系统
US10902573B2 (en) 2018-05-31 2021-01-26 International Business Machines Corporation Cognitive validation of date/time information corresponding to a photo based on weather information
US10839694B2 (en) * 2018-10-18 2020-11-17 Cartica Ai Ltd Blind spot alert
CN109726725B (zh) * 2018-12-28 2021-05-04 中南大学 一种基于大间隔类间互异性多核学习的油画作者识别方法
CN110309704B (zh) * 2019-04-30 2022-01-25 泸州市气象局 一种极端天气实时检测方法、系统及终端
CN110414436B (zh) * 2019-07-30 2023-01-10 郑州航管科技有限公司 一种机场天气视频辅助观测系统
CN110555465B (zh) * 2019-08-13 2022-03-11 成都信息工程大学 一种基于cnn与多特征融合的天气图像识别方法
CN110532944A (zh) * 2019-08-28 2019-12-03 河北冀云气象技术服务有限责任公司 一种智能图像识别天气现象系统及方法
CN112581477A (zh) * 2019-09-27 2021-03-30 京东方科技集团股份有限公司 图像处理方法、图像匹配方法、设备以及存储介质
CN111105093B (zh) * 2019-12-23 2023-04-18 浙江师范大学 基于CNN和BiLSTM的临近降水预测方法
CN111983732B (zh) * 2020-07-27 2022-08-05 南京信息工程大学 一种基于深度学习的降水强度估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314614A (zh) * 2011-10-24 2012-01-11 北京大学 一种基于类共享多核学习的图像语义分类方法
CN103514456A (zh) * 2013-06-30 2014-01-15 安科智慧城市技术(中国)有限公司 基于压缩感知多核学习的图像分类方法及其装置
CN104463196A (zh) * 2014-11-11 2015-03-25 中国人民解放军理工大学 一种基于视频的天气现象识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129161B2 (en) * 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314614A (zh) * 2011-10-24 2012-01-11 北京大学 一种基于类共享多核学习的图像语义分类方法
CN103514456A (zh) * 2013-06-30 2014-01-15 安科智慧城市技术(中国)有限公司 基于压缩感知多核学习的图像分类方法及其装置
CN104463196A (zh) * 2014-11-11 2015-03-25 中国人民解放军理工大学 一种基于视频的天气现象识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZICHONG CHEN 等: "HOW IS THE WEATHER: AUTOMATIC INFERENCE FROM IMAGES", 《2012 19TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369651A (zh) * 2015-12-01 2018-08-03 天青公司 使用图像数据进行信息提取
CN108369651B (zh) * 2015-12-01 2022-08-09 天津瞰天科技有限责任公司 一种提取天空区域的方法、系统及非暂时性计算机可读存储介质
CN105868745A (zh) * 2016-06-20 2016-08-17 重庆大学 基于动态场景感知的天气识别方法
CN105868745B (zh) * 2016-06-20 2019-05-14 重庆大学 基于动态场景感知的天气识别方法
CN106453523A (zh) * 2016-09-27 2017-02-22 北海益生源农贸有限责任公司 一种智能天气识别系统及方法
CN106960188B (zh) * 2017-03-17 2020-02-14 华为技术有限公司 天气图像分类方法及装置
CN106960188A (zh) * 2017-03-17 2017-07-18 华为技术有限公司 天气图像分类方法及装置
CN107742301A (zh) * 2017-10-25 2018-02-27 哈尔滨理工大学 基于图像分类的复杂背景下输电线路图像处理方法
CN107742301B (zh) * 2017-10-25 2021-07-30 哈尔滨理工大学 基于图像分类的复杂背景下输电线路图像处理方法
CN109993047A (zh) * 2017-12-28 2019-07-09 杭州海康威视系统技术有限公司 城市乱堆物料的违规识别方法、装置及电子设备
CN109034265A (zh) * 2018-08-16 2018-12-18 湖北亿咖通科技有限公司 雨刮器自启动装置与方法
CN109712126A (zh) * 2018-12-21 2019-05-03 深圳市华星光电半导体显示技术有限公司 图片识别方法及装置
CN109712126B (zh) * 2018-12-21 2020-11-06 深圳市华星光电半导体显示技术有限公司 图片识别方法及装置
CN109784298A (zh) * 2019-01-28 2019-05-21 南京航空航天大学 一种基于深度学习的室外非固定场景天气识别方法
CN110186471A (zh) * 2019-05-06 2019-08-30 平安科技(深圳)有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN110415544A (zh) * 2019-08-20 2019-11-05 深圳疆程技术有限公司 一种灾害天气预警方法及汽车ar-hud系统
CN112750323A (zh) * 2019-10-30 2021-05-04 上海博泰悦臻电子设备制造有限公司 用于车辆安全的管理方法、装置和计算机存储介质
CN111178438A (zh) * 2019-12-31 2020-05-19 象辑知源(武汉)科技有限公司 一种基于ResNet101的天气类型识别方法
CN112835130A (zh) * 2020-12-29 2021-05-25 北京邮电大学 一种天气状态的检测方法、装置及电子设备
CN112804494A (zh) * 2021-01-13 2021-05-14 广州穗能通能源科技有限责任公司 电力施工现场监控方法、系统和存储介质
CN113077422A (zh) * 2021-03-22 2021-07-06 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置
CN113077422B (zh) * 2021-03-22 2023-08-15 浙江大华技术股份有限公司 起雾图像检测方法、模型训练方法及装置
CN113378668A (zh) * 2021-05-28 2021-09-10 上海商汤智能科技有限公司 积水类别的确定方法、装置、设备及存储介质
CN114227717A (zh) * 2021-12-31 2022-03-25 深圳市优必选科技股份有限公司 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN114227717B (zh) * 2021-12-31 2024-09-13 深圳市优必选科技股份有限公司 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN116310598A (zh) * 2023-05-16 2023-06-23 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置
CN116310598B (zh) * 2023-05-16 2023-08-22 常州海图信息科技股份有限公司 一种用于恶劣天气下的障碍物检测方法及装置

Also Published As

Publication number Publication date
US10088600B2 (en) 2018-10-02
CN104834912B (zh) 2017-12-22
US20160334546A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
CN104834912B (zh) 一种基于图像信息检测的天气识别方法及装置
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN111738064B (zh) 一种雾霾图像的雾浓度识别方法
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
CN107680090A (zh) 基于改进全卷积神经网络的输电线路绝缘子状态识别方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN111126136A (zh) 一种基于图像识别的烟雾浓度量化方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN109063619A (zh) 一种基于自适应背景抑制滤波器和组合方向梯度直方图的交通信号灯检测方法和系统
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN105550710A (zh) 基于非线性拟合的接触网运行异常状态智能检测方法
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN105046202A (zh) 自适应的人脸识别光照处理方法
CN110188693B (zh) 改进的复杂环境车辆特征提取和停车判别方法
CN114004834A (zh) 一种图像处理中的雾天情况分析方法、设备及装置
CN115731493A (zh) 基于视频图像识别的降水微物理特征参量提取与分析方法
Wang et al. Haze removal algorithm based on single-images with chromatic properties
CN107992799B (zh) 面向烟雾检测应用的预处理方法
CN102592125A (zh) 基于标准差特征的运动目标检测方法
CN117690120A (zh) 一种移动设备抓拍车牌的车辆监控方法及系统
CN112037243A (zh) 被动式太赫兹安检方法、系统及介质
CN107341456B (zh) 一种基于单幅户外彩色图像的天气晴阴分类方法
Quy et al. Using thresholding techniques for object detection in infrared images
CN107403192B (zh) 一种基于多分类器的快速目标检测方法及系统
Jeong et al. Homogeneity patch search method for voting-based efficient vehicle color classification using front-of-vehicle image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171222

CF01 Termination of patent right due to non-payment of annual fee