CN111723763B - 基于图像信息统计的场景识别方法 - Google Patents

Abstract

本发明公开了一种基于图像信息统计的场景识别方法，属一种图像识别方法，包括如下步骤：步骤A、摄像机采集图像，并以RGB图像输入识别单元；步骤B、识别单元将当前RGB图像转换为灰度图像，并分别由灰度图像计算得到Hog特征、直方图Hist特征与LBP特征；步骤C、将HOG特征、直方图Hist特征与LBP特征分别归一化处理，计算得到最终的特征向量F；通过对当前的图像进行识别，经计算得出特征向量F，再由当前的特征向量F的不同值，分别对应不同的场景状态，从而识别出当前的场景，进而可根据不同的场景，调整适宜的摄像机图像参数与降噪参数，提升了摄像机镜头资源的利用率，更有利于提升拍摄图像的清晰程度。

Description

基于图像信息统计的场景识别方法

技术领域

本发明涉及一种图像识别方法，更具体的说，本发明主要涉及一种基于图像信息统计的场景识别方法。

背景技术

摄像机作为图像传感器在机器视觉领域是必不可少的。而摄像头成像质量往往受到物理属性和成本的限制，比如在白天我们需要一个清晰而艳丽的画面，而到了晚上相比于艳丽的色彩我们更希望降低噪声的影响得到一个通透的画面而这二者往往需要不同的参数设定，单一而通用的设定要么成本太高要么效果不好，所以识别当前摄像机所处的场景信息显得尤为重要。因而有必要针对图像场景识别方法做进一步的研究和改进。

发明内容

本发明的目的之一在于针对上述不足，提供一种基于图像信息统计的场景识别方法，以期望解决现有技术中摄像机单一而通用的设定成本太高，亦或效果不好，无法通过当前摄像机所处的场景调整参数等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：

本发明所提供的一种基于图像信息统计的场景识别方法，所述的方法包括如下步骤：

步骤A、摄像机采集图像，并以RGB图像输入识别单元；

步骤B、识别单元将当前RGB图像转换为灰度图像，并分别由灰度图像计算得到Hog特征、直方图Hist特征与LBP特征；

步骤C、将HOG特征、直方图Hist特征与LBP特征分别归一化处理，通过下式得到最终的特征向量F：

F＝HogNrom+LBP+HistNorm

上式中，HogNrom＝Hog/(Csize*Csize)，其中Csize*Csize为图像细胞单元Cell的尺寸；HistNorm＝Hist/(W*H)，其中W与H为图像的宽度和高度；

步骤D、特征向量F通过八种分类器得到Result1-8，其中，Result＝Max(result[8])，且满足Result＞1的最终结果Result[i]；所述Result[i]为Result1-8中之一，且如Result[i]≥1，则赋值1，且如Result[i]＜1，则赋值为0。

作为优选，进一步的技术方案是：所述步骤D中通过SVM分类器将特征向量F分为Result1-8。

更进一步的技术方案是：所述Result1-8分别为黑天无路灯、黑天有路灯、阴天或黄昏、白天低亮、白天高亮、隧道、后方有大面积远光过曝、天际线上有强光的场景。

更进一步的技术方案是：所述Hog特征通过如下步骤得到：

通过下式计算每个像素的水平方向和竖直方向的梯度，以及计算每个像素位置的梯度大小和方向：

上式中，Gx(x,y)和Gy(x,y)分别表示当前像素点(x,y)处的水平方向和垂直方向梯度值；

通过下式计算像素点(x,y)处的梯度幅值和梯度方向；

统计细胞单元(Cell)的梯度方向直方图；

统计块(Block)的梯度方向直方图；统计窗口(Window)的梯度方向直方图；最后统计整幅图像的梯度方向直方图，如Window的大小和图像的大小相同，即Window的Hog特征就是整幅图像的Hog特征。

更进一步的技术方案是：所述LBP特征通过如下方式得到：

在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，如周围像素值大于中心像素值，则该像素点的位置被标记为1，反之则为0；通过3*3领域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。

更进一步的技术方案是：：所述直方图Hist特征通过如下步骤得到：提取灰度直方图特征，然后去掉我们去掉最亮的5％和最暗5％计算出startP和endP点，然后通过Avg＝G/256计算得到直方图Hist特征。

更进一步的技术方案是：所述步骤C中HogNrom，再串联上Avg/256、StartP/256、EndP/256后，再执行F＝

HogNrom+LBP+HistNorm。

与现有技术相比，本发明的有益效果之一是：通过对当前的图像进行识别，经计算得出特征向量F，再由当前的特征向量F的不同值，分别对应不同的场景状态，从而识别出当前的场景，进而可根据不同的场景，调整适宜的摄像机图像参数与降噪参数，提升了摄像机镜头资源的利用率，更有利于提升拍摄图像的清晰程度，同时本发明所提供的一种基于图像信息统计的场景识别方法步骤简单，利用目前成熟的智能芯片以及图像算法，可在各类摄像机上集成使用，应用范围广阔。

附图说明

图1为用于说明本发明一个实施例的方法流程概要图。

图2为Cell细胞单元内的方向梯度直方图。

图3为LBP特征提取的LBP值反映区域的纹理信息原理图。

图4为LBP算子圆形图。

具体实施方式

下面结合附图对本发明作进一步阐述。

在具体描述本发明的实施例之前，首先对本发明中的技术词汇进行说明，以便于本领域的技术人员更好的理解本发明：

模式识别：就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说，特别重要的是对光学信息(通过视觉器官来获得)。对于本专利来说就是摄像头采集的光学数字信息。

特征向量：通过摄像头获得的数据，经过特别设计的特征提取形成固定维度的向量称之为特征向量F。

直方图Hist：将Gray的亮度分为256等级也就是256个bin，统计整个图像所有像素分配到256个bin中的统计信息；

HOG特征：HOG是一种基于梯度方向直方图的图像特征，其具有一定程度上的旋转不变性和尺度不变性。

LBP特征：LBP是一种基于特征点邻域内中心点与周围点关系的向量。其具有一定的旋转不变性。

SVM分类器：SVM(支持向量机)是一种基于最大化正负样本恩正向量几何间隔的分类算法，其可以后效低对大量数据进行分类。

灰度图像Gray是通过RGB三个通道合成的一个单通道图像表示图像亮度信息。灰度化通过下式实现：

令fr(x,y),fg(x,y),fb(x,y)0≤x<w,0≤y<h.表示rgb图像fgray(x,y)

0≤x<w,0≤y<h表示灰度图像。灰度化过程如下：

fgray＝fr*0.299+g*0.587+b*0.114

上述Hog(Histogram oriented gradient)特征的提取方式为：

图像分为小的细胞单元(cells)，每个细胞单元计算一个梯度方向(或边缘方向)直方图。为了对光照和阴影有更好的不变性，需要对直方图进行对比度归一化，可以通过将细胞单元组成更大的块(blocks)并归一化块内的所有细胞单元来实现。我们将归一化的块描述符称为HOG描述子。将检测窗口中的所有块的HOG描述子组合起来就形成了最终的特征向量。

提取过程：

1)使用上一步的方法进行灰度化；

2)梯度Hog提取

根据下式计算每个像素的水平方向和竖直方向的梯度，并计算每个像素位置的梯度大小和方向。图像在像素点(x,y)处的水平方向和垂直方向的梯度为：

Gx(x,y)和Gy(x,y)分别表示当前像素点(x,y)处的水平方向和垂直方向梯度值；接下来我们计算像素点(x,y)处的梯度幅值和梯度方向：

3)统计细胞单元(Cell)的梯度方向直方图：将图像划分成小的Cell，将梯度方向映射到180度的范围内，将像素的梯度幅值作为权值进行投影，用梯度方向决定向哪一维进行投影，假如该像素的梯度方向为20度,梯度幅值为10，那么直方图的第二维就加10。图2是一个细胞单元内的方向梯度直方图，角度分辨率是在180度的范围内，以20度等分，即一个细胞单元的HOG特征是一个9维的向量。

统计块(Block)的梯度方向直方图：统计每个细胞单元内的梯度直方图，形成每个细胞单元的描述子，由cell组成更大的描述子，称为块，将一个块内6x6个cell的特征向量串联起来就构成了该块的梯度方向直方图，按照一个细胞单元是9维的Hog特征，则一个块的Hog特征为36x9＝324维。

统计窗口(Window)的梯度方向直方图：只需要将统计窗口(Window)内所有块的Hog特征向量串联起来就得到了统计窗口(Window)的Hog特征；

统计整幅图像的梯度方向直方图：一幅图像可以无重叠的划分为多个Window，这时将所有Window的特征向量串联起来就是整幅图像的Hog特征了，如果Window的大小和图像的大小相同，那么Window的Hog特征就是整幅图像的Hog特征，这也是最终分类使用的特征向量。

上述LBP(Local Binary Pattern)特征的提取方式为：

原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数(通常转换为十进制数即LBP码，共256种)，即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。如图3所示，基于图中所示，我们采取改进的圆形LBP算子，即如图4所示。

上述提取图像灰度直方图特征：

S:(x,y)∈image

上述Hist是一个256维向量。

For p(x,y)in S

Hist[P(x,y)]＝Hist[P(x,y)]+1

在直方图中，我们去掉最亮的5％和最暗的5％计算出startP和endP。计算方法如下：

1)计算图像直方图的总灰度值

2)计算StartP和EndP需要迭代过程，设g为记录当前灰度值和的变量；

i＝0

While(g<glow)

g＝g+hist[i]

i++

这样就可以计算出StartP和EndP

3)再计算举止Avg＝G/256。

综上所述：我们得到了3种特征：Hog、LBP、Hist

以上三种特征的数值尺度相差较大，我们采用分别归一化的方式。

其中Hog的尺度取决于Cell的尺寸Csize最大值为Csize*Csize,最小值为0；

HogNorm＝Hog/(Csize*Csize)

LBP的尺度在0-1之间不需要归一化

Hist的尺度为0-W*H(W,H是图像的宽度和高度)

HistNorm＝Hist/(W*H)

HistNorm最后再串联上Avg/256、StartP/256、EndP/256，这3个数字。

最后将几个向量串联起来得到最终的特征向量：

F＝HogNrom+LBP+HistNorm

F经过8中不同的SVM分类器得到result1-8

Result＝Max(result[8])并且满足Result>1为最终结果。

本发明将上述分类结果分别定义为：黑天无路灯、黑天有路灯、阴天或黄昏、白天低亮、白天高亮、隧道、后方有大面积远光过曝、天际线上有强光。

基于上述的说明，本发明的一个实施例是一种基于图像信息统计的场景识别方法，参考图1所示，该方法包括如下步骤：

步骤S1、摄像机采集图像，并以RGB图像输入识别单元；

步骤S2、识别单元将当前RGB图像转换为灰度图像，并分别由灰度图像计算得到Hog特征、直方图Hist特征与LBP特征；

步骤S3、将HOG特征、直方图Hist特征与LBP特征分别归一化处理，通过下式得到最终的特征向量F：

F＝HogNrom+LBP+HistNorm

上式中，HogNrom＝Hog/(Csize*Csize)，其中Csize*Csize为图像细胞单元Cell的尺寸；HistNorm＝Hist/(W*H)，其中W与H为图像的宽度和高度；在本步骤中，前述的HogNrom再串联上Avg/256、StartP/256、EndP/256后，再执行上述公式。

步骤S4、特征向量F通过八种分类器得到Result1-8，其中，Result＝Max(result[8])，且满足Result＞1的最终结果Result[i](任何一个大于1的结果都是result，result[8]是结果，只是如果result[i]原本≥1就取1，如果＜1就取0)。通过上述的SVM分类器将特征向量F分为Result1-8，且将Result1-8分别定义为黑天无路灯、黑天有路灯、阴天或黄昏、白天低亮、白天高亮、隧道、后方有大面积远光过曝、天际线上有强光的场景。

正如上述所提到的，上述步骤中B的Hog特征通过如下步骤得到：

通过下式计算每个像素的水平方向和竖直方向的梯度，以及计算每个像素位置的梯度大小和方向：

上式中，Gx(x,y)和Gy(x,y)分别表示当前像素点(x,y)处的水平方向和垂直方向梯度值；

通过下式计算像素点(x,y)处的梯度幅值和梯度方向；

统计细胞单元(Cell)的梯度方向直方图；统计块(Block)的梯度方向直方图；统计窗口(Window)的梯度方向直方图；最后统计整幅图像的梯度方向直方图，如Window的大小和图像的大小相同，即Window的Hog特征就是整幅图像的Hog特征。

正如上述所提到的，上述步骤中B的LBP特征通过如下方式得到：在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，如周围像素值大于中心像素值，则该像素点的位置被标记为1，反之则为0；通过3*3领域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。

正如上述所提到的，上述步骤中B的直方图Hist特征通过如下方式得到：

提取灰度直方图特征，然后去掉我们去掉最亮的5％和最暗5％计算出startP和endP点，然后通过Avg＝G/256计算得到直方图Hist特征。

在本实施例中，通过对当前的图像进行识别，经计算得出特征向量F，再由当前的特征向量F的不同值，分别对应不同的场景状态，从而识别出当前的场景，进而可根据不同的场景，调整适宜的摄像机图像参数与降噪参数，提升了摄像机镜头资源的利用率，更有利于提升拍摄图像的清晰程度。

除上述以外，还需要说明的是在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (4)

1.一种基于图像信息统计的场景识别方法，其特征在于所述的方法包括如下步骤：

步骤A、摄像机采集图像，并以RGB图像输入识别单元；

步骤B、识别单元将当前RGB图像转换为灰度图像，并分别由灰度图像计算得到Hog特征、直方图Hist特征与LBP特征；

步骤C、将HOG特征、直方图Hist特征与LBP特征分别归一化处理，通过下式得到最终的特征向量F：

F＝HogNrom+LBP+HistNorm

上式中，HogNrom＝Hog/(Csize*Csize)，其中Csize*Csize为图像细胞单元Cell的尺寸的最大值；HistNorm＝Hist/(W*H)，其中W与H为图像的宽度和高度；

所述直方图Hist特征通过如下步骤得到：

提取灰度直方图特征，然后去掉最亮的5％和最暗5％计算出startP和endP点，然后通过Avg＝G/256计算得到直方图Hist特征；

其中图像直方图的总灰度

所述HogNrom串联上Avg/256、StartP/256、EndP/256后，再执行F＝HogNrom+LBP+HistNorm；

步骤D、特征向量F通过八种分类器得到Result[1]-[8]，其中，Result＝Max(Result[i])，且满足Result≥1的最终结果Result[i]；所述Result[i]为Result[1]-[8]中之一，且如Result[i]≥1，则赋值1，且如Result[i]＜1，则赋值为0；所述Result[1]-[8]分别为黑天无路灯、黑天有路灯、阴天或黄昏、白天低亮、白天高亮、隧道、后方有大面积远光过曝、天际线上有强光的场景，根据不同的场景，调整适宜的摄像机图像参数与降噪参数。

2.根据权利要求1所述的基于图像信息统计的场景识别方法，其特征在于：所述步骤D中通过SVM分类器将特征向量F分为Result[1]-[8]。

3.根据权利要求1所述的基于图像信息统计的场景识别方法，其特征在于：所述Hog特征通过如下步骤得到：

通过下式计算每个像素的水平方向和竖直方向的梯度，以及计算每个像素位置的梯度大小和方向：

上式中，Gx(x,y)和Gy(x,y)分别表示当前像素点(x,y)处的水平方向和垂直方向梯度值；

通过下式计算像素点(x,y)处的梯度幅值和梯度方向θ(x，y)；

统计细胞单元(Cell)的梯度方向直方图；

统计块(Block)的梯度方向直方图；

统计窗口(Window)的梯度方向直方图；

最后统计整幅图像的梯度方向直方图，如果统计窗口(Window)的大小和图像的大小相同，即统计窗口(Window)的Hog特征就是整幅图像的Hog特征。

4.根据权利要求1所述的基于图像信息统计的场景识别方法，其特征在于：所述LBP特征通过如下方式得到：

在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，如周围像素值大于中心像素值，则当前像素点的位置被标记为1，反之则为0；通过3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值。