CN104378539B - 场景自适应的视频结构化语义提取摄像机及其方法 - Google Patents

Abstract

本发明公开了一种场景自适应的视频结构化语义提取摄像机及其方法，涉及视频分析和模式识别技术领域。本摄像机的结构是：光学镜头（1）、传感器（2）和主控制器（3）依次连接，实现图像的采集和镜头焦距信息的获取；角度检测器（5）和主控制器（3）连接，实现摄像机倾斜角检测功能；主控制器（3）和DSP图像处理器（4）连接，实现视频分析、运动物体特征提取和识别，以及自适应的视频结构化语义提取。本发明为场景自适应视频结构化语义提取摄像机提供了方案，使摄像机安装更加简单，且易于维护；解决了在各种场景下，对运动物体类型的自动判别，提升了运动物体的判别准确性。

Description

场景自适应的视频结构化语义提取摄像机及其方法

技术领域

本发明涉及视频分析和模式识别技术领域，尤其涉及一种场景自适应的视频结构化语义提取摄像机及其方法。

背景技术

随着“平安城市”系统建设的快速发展，对视频监控摄像机的需求急剧增加；受摄像机安装与调试时间长以及配置繁琐的影响，严重制约了项目建设的进程。大量的视频监控摄像机的应用，平台存储的视频数据以T比特级增长，非结构化海量视频数据的查询和检索将耗费大量的人力和时间成本，严重制约了事件的响应速度。

为了解决现有设备安装、调试、参数配置繁琐和耗费时间较长的问题，并实现重点监控区域的运动目标：车辆与行人，进行实时监控、事件监控、主动监控，采用可自动适应视场场景的智能摄像机实现。该摄像机可自动采集摄像机的安装与拍摄角度、摄像机镜头焦距等参数，同时内嵌高性能DSP芯片，实现视频智能分析功能，智能分析算法在获得摄像机的拍摄角度和镜头焦距的情况下，自动调整算法参数，有效提升摄像机设备的智能分析能力。

现有技术中，胡传平在其发明专利申请“基于视频结构化描述的车辆视频特征提取系统及方法”[CN2012103565565.5]中，提出了一种基于视频结构化描述的车辆视频特征提取系统，依据车辆底层特征提取器，车辆视频标准特征提取器，车牌及车标分割器，摄像机景深标定及车速计算单元，提取车辆类型，车身颜色，车牌，车标，车辆形式速度等信息。

吴炬在其发明专利申请“一种具有视频结构化描述功能的智能网络摄像机”[201010119021.7]中，提出了一种具有视频结构化描述功能的智能网络摄像机，依据图像采集单元，分析判别单元和描述单元，直接对拍摄到的监控录像进行分析理解，产生关于视频图像的属性和内容的结构画描述信息。

吴炬在其发明专利申请“一种具有视频结构化描述功能的网络视频服务器及利用其实现视频分析描述的方法”[20101037848.0]中，提出了一种具有视频结构化描述功能的网络视频服务器及利用其实现视频分析描述的方法，依据视频采集模块、视频分析描述模块及其编码输出模块，实现了对监控视频图像信息的结构化描述信息。

李超在其发明专利申请“一种基于视频结构化描述的多摄像机目标跟踪方法”[201110433267.6]中，提出了一种基于视频结构化描述的多摄像机目标跟踪方法，利于目标跟踪算法对场景中的感兴趣目标进行跟踪，并对跟踪目标特征进行结构化描述。当目标出现出现在另一个摄像机场景中时，对目标的信息进行对比，若符合条件，则进行接力跟踪。

现有技术中的上述系统和方法虽然对视频结构化语义方法进行了探索与应用，但在应用过程中过于繁琐，且不能适应环境变化，应用中安装和维护的工作量较大，限制了该类设备的推广与应用。

发明内容

本发明的目的是为了解决上述应用和技术中的问题，提供一种场景自适应的视频结构化语义提取摄像机及其方法，以提升摄像机设备的安装与调试效率，以及增强产品的环境自适应能力，实现运动物体检测与跟踪、物体特征属性的提取，形成可通过字段检索的结构化视频数据。

本发明的目的是这样实现的：

一、场景自适应的视频结构化语义提取摄像机(简称摄像机)

本摄像机包括光学镜头、传感器、主控制器、DSP图像处理器和角度检测器；

光学镜头、传感器和主控制器依次连接，实现图像的采集和镜头焦距信息的获取；

角度检测器和主控制器连接，实现摄像机倾斜角检测功能；

主控制器和DSP图像处理器连接，实现视频分析、运动物体特征提取和识别，以及自适应的视频结构化语义提取。

二、方法

1、摄像机场景自适应分析方法

摄像机场景自适应分析方法包括下列步骤：

①测量摄像机安装高度S；

②光学镜头自动定焦调整焦距后，通过焦距值求出摄像机的视场角β；

③应用角度检测器获取摄像机倾斜角α；

④使摄像机扫描线中线与摄像机支撑杆垂直，求出摄像机扫描线形成的三角形的中线L，L＝S/cos(α)；

⑤由中线L和视场角β，求出摄像机实际的摄像场景宽度W和摄像场景高度H：

W＝2×L×tan(β/2)，H＝W/γ，其中γ为摄像机视频图像的宽高比；

⑥通过摄像机图像的宽度P_W、高度P_H与摄像机实际的摄像场景宽度W和H建立映射关系自适应分析视频中运动目标的实际大小：运动目标实际宽度R_W＝(W/P_W)×O_W，运动目标实际高度R_H＝(H/P_H)×O_H，其中O_W为运动目标在视频中的宽度，O_H为运动目标在视频中的高度。

2、视频结构化语义提取方法

视频结构化语义提取方法包括下列步骤：

A、输入摄像机视频帧序列；

B、应用视频运动目标检测方法，提取运动目标物体；

C、通过场景自适应分析方法，求出运动目标的实际大小，进而判断运动目标是机动车还是行人；

D、如果判断目标是机动车，则提取机动车的特征并对特征进行识别：车牌号码、车牌颜色、车身颜色、车标、车辆类型和行驶速度，形成视频结构化语义输出；如果判断目标是行人，则提取行人的特征并对特征进行识别：人脸、是否佩戴帽子、是否佩戴眼镜、衣服颜色、衣服纹理和运动速度，形成视频结构化语义输出。

本发明具有下列优点和积极效果：

①为场景自适应视频结构化语义提取摄像机提供了方案，使摄像机安装更加简单，且易于维护；

②本场景自适应分析方法提升了视频结构化语义提取摄像机自适应性和智能性；

③本视频结构化语义提取方法在各种复杂的背景条件下识别机动车和行人的特性，提升了机动车和行人语义提取的准确性；

④本发明解决了在各种场景下，对运动物体类型的自动判别，提升了运动物体的判别准确性。

附图说明

图1为本摄像机的结构方框图；

图2为本摄像机的场景自适应分析方法建模原理图；

图3为视频结构化语义提取方法的工作流程图。

图中：

1—光学镜头；

2—传感器；

3—主控制器；

4—DSP(Signal Processor，数字信号处理)图像处理器；

5—角度检测器。

具体实施方式

下面结合附图和实施例详细说明：

一、摄像机

1、总体

如图1，本摄像机包括光学镜头1、传感器2、主控制器3、DSP图像处理器4和角度检测器5；

光学镜头1、传感器2和主控制器3依次连接，实现图像的采集和镜头焦距信息的获取；

角度检测器5和主控制器3连接，实现摄像机倾斜角检测功能；

主控制器3和DSP图像处理器4连接，实现视频分析、运动物体特征提取和识别，以及自适应的视频结构化语义提取。

2、功能部件

下列功能部件均为通用件。

1)光学镜头1

采集摄像机视频信号，并将视频数据传送到主控制器3，再由主控制器3将视频数据转发。

2)传感器2

利于光学镜头1的自动对焦功能，获取光学镜头1的焦距参数并通过传感器2将焦距参数传送到主控制器3，用于计算摄像机的视场角。

3)主控制器3

获取摄像机的相关参数，主要包括焦距、拍摄角度和视频数据等，并将相关参数传送到DSP图像处理器4。

4)DSP图像处理器4

对主控制器3传送过来的视频信号，通过视频分析、模式识别技术对视频中的机动车、行人检测与分类，对机动车的行为特征和属性特征(车牌号码、车辆徽标、车身颜色、行驶速度、车辆类型等)进行提取；对行人的行为特征和属性特征(人脸、衣服纹理、是否佩带帽子、是否佩带眼睛等)进行提取，并提取其结构化信息。

5)角度检测器5

自动采集摄像机的拍摄角度，将采集到的角度信息，传送到摄像机主控制器3。

3、工作原理

本摄像机通过光学镜头1、传感器2采集视频信息，将视频信息和光学镜头1自适应的焦距信息一并传送到主控制器3，角度检测器5通过自动检测角度功能获取摄像机安装时候的倾斜角度，将倾斜角度传送到主控制器3，主控制器3将视频信息，镜头焦距信息，倾斜角度传送到DSP图像处理器4，DSP图像处理器4通过镜头参数公式由镜头焦距计算出摄像机视场角，并应用视频运动目标检测方法提取视频中运动目标，根据场景自适应分析建模方法计算出视频中运动目标实际大小，最后应用模式识别方法对运动目标的特征进行识别，将特征形成视频结构化语义输出。

二、方法

1、场景自适应分析方法建模原理

如图2，场景自适应分析方法建模过程如下：

①测量摄像机安装高度S；

②光学镜头自动定焦调整焦距后，获取焦距值f，通过焦距值求出摄像机的视场角β，β＝2×arctan{(M/2)/f}，其中M为摄像机的片幅；

③应用角度检测器获取摄像机安装的倾斜角α；

④如图2，求出摄像机视场角形成的等边三角形的中线L的值，L＝S/cos(α)；

⑤计算摄像机实际摄像场景宽度W：W＝2×L×tan(β/2)，摄像机实际摄像场景高度为H：H＝W/γ，其中γ为摄像机视频图像的宽高比；

⑥摄像机像图像的宽度P_W、高度P_H与摄像机实际的摄像场景宽度W，高度H，建立映射关系自适应分析视频中运动目标的实际大小：运动目标实际宽度R_W＝(W/P_W)×O_W，运动目标实际高度R_H＝(H/P_H)×O_H，其中O_W为运动目标在视频中的宽度，O_H为运动目标在视频中的高度，通过映射关系自适应分析视频中运动目标的实际大小。

2、视频结构化语义提取方法

如图3，本方法实现过程如下：

a、输入摄像机视频帧序列301

通过视频采集设备将采集到的视频帧序列输入到DSP中进行视频分析处理；

b、视频分析302

采用视频检测方法分析视频，主要是采用背景差分和背景建模方法，对视频进行分析；

c、提取运动目标303

根据视频检测方法分析结果，分割视频中运动目标和非运动目标，并提取运动目标的位置及其在视频中所占像素点等信息；

d、计算运动目标实际大小304

通过场景自适应分析方法，计算出视频图像与实际场景大小的比例关系，应用比例关系计算视频中运动目标的实际大小，进而判断运动目标物体是机动车或行人。

e、机动车305

由运动的目标的实际大小判断运动目标为机动车：

e1、特征提取和识别306

运动目标为机动车，应用特征提取算法和模式识别算法提取车辆的特征并对特征进行识别；

e2、提取结构化语义307

识别出机动车的车牌号码、车牌颜色、车身颜色、车标、车辆类型和行驶速度等，形成视频结构化语义输出；

f、行人308

由运动的目标的实际大小判断运动目标为行人：

f1、特征提取和识别309

运动目标为行人，应用特征提取算法和模式识别算法提取行人的特征并对特征进行识别；

f2、提取结构化语义310

人脸、是否佩戴帽子、是否佩戴眼镜、衣服颜色、衣服纹理和运动速度等，形成视频结构化语义输出。

Claims (1)

1.一种场景自适应的视频结构化语义提取摄像机，其特征在于：

包括光学镜头(1)、传感器(2)、主控制器(3)、DSP图像处理器(4)和角度检测器(5)；

光学镜头(1)、传感器(2)和主控制器(3)依次连接，实现图像的采集和镜头焦距信息的获取；

角度检测器(5)和主控制器(3)连接，实现摄像机倾斜角检测功能；

主控制器(3)和DSP图像处理器(4)连接，实现视频分析、运动物体特征提取和识别，以及自适应的视频结构化语义提取；

场景自适应分析方法包括下列步骤：

①测量摄像机安装高度S；

②光学镜头自动定焦调整焦距后，通过焦距值求出摄像机的视场角β；

③应用角度检测器获取摄像机倾斜角α；

④使摄像机扫描线中线与摄像机支撑杆垂直，求出摄像机扫描线形成的三角形的中线L，L＝S/cos(α)；

⑤由中线L和视场角β，求出摄像机实际的摄像场景宽度W和摄像场景高度H：

W＝2×L×tan(β/2)，H＝W/γ，其中γ为摄像机视频图像的宽高比；

⑥通过摄像机图像的宽度P_W、高度P_H与摄像机实际的摄像场景宽度W和H建立映射关系自适应分析视频中运动目标的实际大小：运动目标实际宽度R_W＝(W/P_W)×O_W，运动目标实际高度R_H＝(H/P_H)×O_H，其中O_W为运动目标在视频中的宽度，O_H为运动目标在视频中的高度；

视频结构化语义提取方法包括下列步骤：

A、输入摄像机视频帧序列；

B、应用视频运动目标检测方法，提取运动目标物体；

C、通过场景自适应分析方法，求出运动目标的实际大小，进而判断运动目标是机动车还是行人；

D、如果判断目标是机动车，则提取机动车的特征并对特征进行识别：车牌号码、车牌颜色、车身颜色、车标、车辆类型和行驶速度，形成视频结构化语义输出；如果判断目标是行人，则提取行人的特征并对特征进行识别：人脸、是否佩戴帽子、是否佩戴眼镜、衣服颜色、衣服纹理和运动速度，形成视频结构化语义输出。