CN103020624B - 混合车道监控视频智能标记、检索回放方法及其装置 - Google Patents

Abstract

本发明涉及视频检测技术，公开了一种混合车道监控视频智能标记、检索回放方法及其装置。本发明中，检测运动目标时，触发对目标类型的判断，根据目标类型检测相应的特征信息，并写入到视频码流中与触发帧对应的位置，可以方便地对混合车道上各种类型的目标进行语义特征检索，并根据检索结果快速定位到相应的视频帧。解决了录像和目标特征信息分开不方便检索和存储的问题。满足预定条件则触发，并同步录像，可以避免运动目标的漏触发，又能节省保存抓拍图片所需的存储空间。

Description

混合车道监控视频智能标记、检索回放方法及其装置

技术领域

本发明涉及视频检测技术，特别涉及混合车道监控视频智能标记、检索回放技术。

背景技术

目前在道路监控中，常见的方式有对监控区域进行简单的视频录像，或在检测到事件后进行抓拍图片的方式。抓拍图片便于检索，但触发率难以保证100％，对于漏触发的目标无法通过时间等目标特征信息再检索到对应目标。既录像同时又保存抓拍图片的方式，能解决录像和图片检索的需要，但是在录像后再抓拍图片，图片的数据量占用了额外的存储空间。为了省去图片存储空间，可以通过对抓拍图片信息进行一定的描述，将描述信息加入到监控录像中。

在对监控画面的描述中，有一种是对监控视频图像信息进行结构化描述，从而产生了关于其属性和内容的描述信息，该描述信息可用于浏览和快速检索，提高了视频信息的利用效率。其中直接提取了子图像的特征，包括图像的颜色、纹理、形状、运动、定位和轮廓特征，并需要对监控视频进行特定的编码存储。但是在智能交通监控中，这些结构化信息无法直观描述目标的特征，必须进一步对目标进行分类、速度估计、颜色及车牌信息等进行识别，才更能反映触发目标的视觉状态，另外结构化描述信息比视觉特征信息的数据量大很多。

本发明的发明人发现，现有的混合车道监控录像系统中，通过图像智能处理获取的目标特征信息是以独立文件的方式保存的，这种独立的文件有可能被修改或删除，在查看视频文件时需要另外加载对应的特征信息文件。如果将智能处理后识别的特征信息嵌入到录像文件中，只需要针对该时段的录像文件进行分析，便于录像的转存、备份和交流，保证只要有录像就能回放和检索，提高了录像的利用价值。

发明内容

本发明的目的在于提供一种混合车道监控视频智能标记、检索回放方法及其装置，可以方便地对混合车道上各种类型的目标进行语义特征检索，并根据检索结果快速定位到相应的视频帧。

为解决上述技术问题，本发明的实施方式提供了一种混合车道监控视频智能标记方法，包括以下步骤：

对混合车道监控视频帧中的运动目标进行检测；

如果检测到运动目标，则辨别运动目标的类型；

根据运动目标的类型，提取运动目标的特征信息；

将运动目标的语义特征信息写入视频码流中与监控视频帧相对应的位置。

本发明的实施方式还提供了一种混合车道监控视频智能检索回放方法，包括以下步骤：

从视频码流中检索包含有需要查找的语义特征信息的监控视频帧；

回放该监控视频帧，获得所需要的监控视频信息。

本发明的实施方式还提供了一种混合车道监控视频智能标记装置，包括：

运动目标检测单元，用于对混合车道监控视频帧中的运动目标进行检测；

运动目标类型辨别单元，用于对运动目标检测单元检测到的运动目标进行类型辨别；

特征信息提取单元，用于根据运动目标类型辨别单元辨别所得的运动目标的类型，提取运动目标的特征信息；

特征信息写入单元，用于将特征信息提取单元提取所得的运动目标的语义特征信息写入视频码流中与监控视频帧相对应的位置。

本发明的实施方式还提供了一种混合车道监控视频智能检索回放装置，包括：

检索单元，用于根据多种语义特征信息选项，找到与语义特征信息相对应的监控视频帧；

回放单元，用于回放检索单元检索到的监控视频帧，获得所需要的监控视频信息。

本发明实施方式与现有技术相比，主要区别及其效果在于：

检测运动目标时，触发对目标类型的判断，根据目标类型检测相应的特征信息，并写入到视频码流中与触发帧对应的位置，可以方便地对混合车道上各种类型的目标进行语义特征检索，并根据检索结果快速定位到相应的视频帧。

通过对特征信息的检索，可以快速定位与所述特征信息相对应的监控视频帧及监控视频中运动目标的特征信息，解决录像和目标特征信息分开不方便查询检索和存储的问题，提高视频的自动分析效率。

进一步地，将特征信息写在帧头中的保留字段中，可以与现有的视频标准相兼容。

进一步地，将特征信息帧作为特殊类型的帧插入视频码流，这种帧的帧头从视频码流中已有视频帧的帧头修改类型和长度而得，可以在监控视频码流中记录随时变化的附加信息，并能以较小的代价与现有视频播放器兼容。

进一步地，在视频检测时，满足预定条件则触发，并同步录像，可以避免运动目标的漏触发，又能节省保存抓拍图片所需的存储空间。

进一步地，根据运动目标的类型，提取运动目标的特征信息，可以使所提取的运动目标的特征信息更加有针对性，便于以后更加有效地利用监控视频。

附图说明

图1是本发明第一实施方式中一种混合车道监控视频智能标记方法的流程示意图；

图2是本发明第三实施方式中一种混合车道监控视频智能标记方法的流程示意图；

图3是本发明第四实施方式中一种混合车道监控视频智能标记方法的流程示意图；

图4是混合车道上的目标类型图(行人-左、二轮车-中、大车-右)；

图5是目标颜色识别总体流程；

图6是本发明第六实施方式中一种混合车道监控视频智能检索回放方法的流程示意图；

图7是监控录像回放和检索的示意图；

图8是本发明第八实施方式中一种混合车道监控视频智能检索回放方法的流程示意图；

图9是本发明第九实施方式中一种混合车道监控视频智能标记装置的结构示意图；

图10是本发明第十实施方式中一种混合车道监控视频智能标记装置的结构示意图；

图11是本发明第十一实施方式中一种混合车道监控视频智能检索回放装置的结构示意图；

图12是本发明第十二实施方式中一种混合车道监控视频智能检索回放装置的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种混合车道监控视频智能标记方法。图1是该混合车道监控视频智能标记方法的流程示意图。具体地说，如图1所示，该混合车道监控视频智能标记方法主要包括以下步骤：

在步骤101中，对混合车道监控视频帧中的运动目标进行检测。

此后进入步骤102，判断是否检测到运动目标。

若是，则进入步骤103；若否，则再次回到步骤101。

如果检测到运动目标，则辨别运动目标的类型。

在步骤103中，根据运动目标的类型，提取运动目标的特征信息。

此后进入步骤104，将运动目标的语义特征信息写入视频码流中与监控视频帧相对应的位置。

此后结束本流程。

视频检测、目标信息提取后，需要对监控录像进行视频编码，与在视频中嵌入不编码的水印的方法类似，视频检测到有目标触发时，生成触发帧对应的目标特征信息。监控录像采用H.264编码，在视频流中嵌入视频检测获取的目标特征信息，该信息作为码流的附加信息，直接嵌入H.264压缩比特流中。由于H.264编码后，关键帧的检索比较快速，在有触发目标的下一个关键帧编码时，将这些特征信息嵌入关键帧中。

监控录像标记的优点，是不需完全解码和再编码的过程，对整体视频信号的影响较小。监控录像系统对视频压缩码率的约束将限制触发信息的嵌入量，在智能交通监控录像系统中，加入的触发信息的数据量很小。对于200w的视频治安卡口，H.264的码流率设在2Mb/s时，加入的视频数据量大约在1Kb/s以内。

检测运动目标时，触发对目标类型的判断，根据目标类型检测相应的特征信息，并写入到视频码流中与触发帧对应的位置，可以方便地对混合车道上各种类型的目标进行语义特征检索，并根据检索结果快速定位到相应的视频帧。

此外，可以理解，不同类型的运动目标要提取的特征信息种类可以相同也可以不同，需要根据具体的应用场景，以及系统的配置来决定。

本发明第二实施方式涉及一种混合车道监控视频智能标记方法。

第二实施方式在第一实施方式的基础上进行了改进，主要改进之处在于：将语义特征信息写在帧头中的保留字段中，可以与现有的视频标准相兼容。

具体地说：

与监控视频帧相对应的位置是该监控视频帧的帧头中的保留字段。

此外，可以理解，在本发明的某些其它实例中，也可以自定义帧头结构，将运动目标的语义特征信息写入自定义帧头的指定字段中。这样做的优点是对特征信息长度的限制较少。

本发明第三实施方式涉及一种混合车道监控视频智能标记方法。图2是该混合车道监控视频智能标记方法的流程示意图。

第三实施方式与第二实施方式基本相同，区别主要在于：

在第二实施方式中，与监控视频帧相对应的位置是该监控视频帧的帧头中的保留字段。

然而在第三实施方式中，在将运动目标的语义特征信息写入视频码流中与监控视频帧相对应的位置的步骤中，主要包括以下子步骤，具体地说，如图2所示：

在步骤201中，将运动目标的特征信息生成特征信息数据包。

此后进入步骤202，复制与监控视频帧相对应的I帧的组头。

每个I帧都有一个帧组头，另外B帧和P帧的组合，如BP、BBP也公有共用的组头。

I帧由I帧视频帧组头、I帧视频帧帧头和I帧视频帧数据三个部分构成。

其中，视频帧组头数据结构如下：

此后进入步骤203，修改I帧组头。

在所复制的组头中，将图像组模式字段改写成特征信息帧组头标记，并将改写后的组头作为特征信息帧组头。

此后进入步骤204，复制与监控视频帧相对应的I帧的帧头。

视频帧帧头数据结构如下：

此后进入步骤205，修改I帧帧头。

在所复制的帧头中，将帧类型修改为代表特征信息帧的类型值，将帧长度修改为特征信息数据包的长度。

此后进入步骤206，将修改后的组头、帧头与特征信息数据包的组合作为特征信息帧。

此后进入步骤207，将特征信息帧写入视频码流。

将特征信息帧写入视频码流中与监控视频帧相对应的I帧之后。因为触发帧不一定是关键帧，但语义特征信息可以放在与I帧对应的特征信息帧中，以方便将来的检索，但特征信息帧要记录触发帧与I帧的相应位置关系，例如在I帧之后第N帧。

I帧拥有独立而完整的数据，其播放不需要依赖其它帧，在录像数据中抽取、检索都非常方便。

在本发明的某些其它实例中，也可以将语义特征信息帧写入视频码流中与监控视频帧相对应的B帧、P帧等其它类型的帧之后。

此后结束本流程。

将特征信息帧作为特殊类型的帧插入视频码流，这种帧的帧头从视频码流中已有视频帧的帧头修改类型和长度而得，可以在监控视频码流中记录随时变化的附加信息，并能以较小的代价与现有视频播放器兼容。

本发明第四实施方式涉及一种混合车道监控视频智能标记方法。图3是该混合车道监控视频智能标记方法的流程示意图。

第四实施方式在第三实施方式的基础上进行了改进，主要改进之处在于：在视频检测时，满足预定条件则触发，并同步录像，可以避免运动目标的漏触发，又能节省保存抓拍图片所需的存储空间。具体地说：

如图3所示，在对混合车道监控视频中的运动目标进行检测的步骤中，包括以下子步骤：

在步骤301中，判断成像是否稳定。

若是，则进入步骤302；若否，则进入步骤309。

在步骤302中，计算背景差和帧差。

背景差分是常用的运动目标检测方法之一，它的基本思想就是建立一个背景模型，通过当前帧和背景帧之间的差值来提取运动信息。假设I和B分别表示视频帧和背景图像，It(x，y)和Bt(x，y)表示t时刻当前视频帧和背景图像中位置(x，y)处的像素亮度。虽然背景差分方法的原理简单，但背景图像的构建和更新方法却至关重要，因为它们直接影响背景模型对场景变化和前景目标粒度的适应性。

在本发明的某些其它实例中，也可以采用其它的运动目标检测方法，例如：光流法等。

此后进入步骤303，背景差和帧差的二值化，并进行团块分析。

此后进入步骤304，根据帧差过滤背景差，并去阴影处理。

通过背景差分得到的运动物体二值图像并不是准确的、完整的图像。图像中包含有由于相机成像控制、差分误判等原因产生的噪声。由于运动物体的某些部分的灰度与背景相近，会造成运动物体的不连续，使本来属于同一个物体的各部分被分割成不同的物体，导致检测错误。为了消除小的噪声，本文采取形态学滤波的方式进行处理，对图像进行开运算(先腐蚀再膨胀)，腐蚀运算可以消除小的噪声，腐蚀运算的可能会对目标边缘造成丢失，但膨胀运算则可以对目标进行补偿。

此后进入步骤305，对目标进行分割和跟踪。

区域分割的目标是利用图像特征，将图像中的单个像素映射成一个称为区域的像素集，区域生长是一种很重要的图像分割方法。它是指从某个像素出发，比较相邻接像素的特征向量(包括灰度、边缘、纹理等特征)，在预先指定的准则下，若它们足够相似则作为同一区域合并，以此方式使相似特征的区域不断增长，最后形成分割图像。

背景差分体现了目标与背景的差异，但有时背景更新的错误，导致背景差分错误，需要根据运动帧差对背景差分结果进行过滤。在分割图像后，如果目标团块内帧差数小于一定的帧差阈值，认为该背景差区域错误，需要去除。另外由于阴影的干扰，导致目标相连，分割不能准确，需要进行去阴影处理。

在运动目标分割的基础上，对目标进行轨迹跟踪，如果目标在图像中的轨迹出现来回振动，认为是相机抖动干扰，通过轨迹跟踪也可以去除由于目标分割出错造成的影响，在目标到达触发线时返回触发结果。

此后进入步骤306，根据目标的轨迹，综合判断是否触发。

若是，则进入步骤307；若否，则进入步骤308。

在步骤307中，识别目标的类别、颜色及车牌信息。此后结束本流程。

在步骤308中，按区域更新背景。

不触发时要按区域更新背景，对没有目标的区域要维护新的背景。

此后进入步骤309，不触发。

此后结束本流程。

本发明第五实施方式涉及一种混合车道监控视频智能标记方法。

第五实施方式在第四实施方式的基础上进行了改进，主要改进之处在于：根据运动目标的类型，提取运动目标的特征信息，可以使所提取的运动目标的特征信息更加有针对性，便于以后更加有效地利用监控视频。

具体地说：

在所述根据运动目标的类型，提取运动目标的特征信息的步骤中，包括以下子步骤：

在混合车道上，触发目标包括行人、二轮车和大车，如图4所示。对于触发的目标，需要提取其特征信息用于目标的快速检索。

混合车道的视频检测与普通卡口型车辆检测存在一定的区别：普通卡口，只要求车辆的触发，并且汽车行驶方向比较固定，一般都是沿相机方向。但是行人和摩托车等运动方向不确定，因此在混合车道中运动目标的大小、亮度和速度相差很大。

混合车道的视频检测主要实现对行人、摩托车和汽车进行触发抓拍，时间信息提取，目标颜色识别和速度估计，并对机动车辆进行牌照识别。

如果检测到的运动目标为行人，则提取的特征信息包括：时间信息、行人个数、衣着颜色、所处位置。

如果检测到的运动目标为二轮车，则提取的特征信息包括：时间信息、二轮车的颜色、所处位置。

如果检测到的运动目标为汽车，则提取的特征信息包括：时间信息、汽车类型、汽车颜色、速度、车牌类型、车牌颜色、车牌号码、所处位置。

其中时间信息提取比较简单，只要将当前相机的时间加入到触发信息中。其他信息的获取是通过对视频的智能分析来实现，主要包括目标类别、速度、颜色和车牌信息。

(1)运动目标的分类识别

在混合车道上，触发目标包括行人、二轮车和大车，其中行人和二轮车从形状、大小上都能比较容易地与大车区分。分类比较困难的是行人和二轮车的区分，由于行人移动速度很慢，二轮车和行人之间比较明显的差异是行人的两条腿存在周期性的摆动，而二轮车的下端有车轮，车轮只做平移。另外用于目标分类的有目标的形状特征、占空比、长宽比、面积与周长的平方比和惯性主轴方向，这四种特征可以有效地解决因监控的视角和远近带来的形状特征的变化。大车在宽度上明显大于行人或二轮车，分类比较容易，当多个目标并排行走时需要对其进行垂直方向投影分割，进一步判断是否为大车。经过大量的实验统计出各种分类特征的均值和方差，根据贝叶斯决策理论利用这些特征对目标进行分类。在判断目标为大车后，需要进一步做牌照识别。

(2)目标的速度估计

对检测到的运动目标框进行跟踪，根据位置变化和帧间的时间差，就能估计出目标的运动速度。由于相机视场存在透视，需要对估计后的速度，根据透视关系进行一定的补偿。根据背景差能对运动目标进行分割，结合运动目标的前后相关度匹配，能对运动目标的轨迹进行跟踪。在匹配跟踪时可能会出现以下情况：

当前帧分割出的运动目标，经过与跟踪目标进行相关度匹配，仅有一个目标满足匹配阈值条件，这是目标轨迹跟踪问题中的一种最好情况，将该目标的运动轨迹模型更新，并增加其可信度。

如果有多个跟踪目标与当前的运动检测区域匹配，则可能是两个目标互相遮挡，则需要对该目标的以前的轨迹做一分析。比如这两个目标以前一段时间内的轨迹重合或很相似，则可以将他们合为一个目标，否则，仍然将它们按两个独立目标分别对待。

当一个目标分裂成为多个独立目标，或者由于相机晃动导致图像分割失败，可以根据相关度来选择一个最好的区域作为目标的新位置。

根据跟踪轨迹可以估计出运动目标的速度：

V＝(∑sqrt(Δxi+Δyi)/Δti)/Ni＝0，1，…，N

(3)目标颜色和车牌信息的识别

目标的颜色信息对于人眼视觉比较敏感，是运动目标分类检索的重要信息，车辆牌照是对车辆的唯一标识，因此颜色和车牌对于录像的标记检索有重要意义。

目标颜色包括：白色、银色、灰色、黑色、红色、深蓝、蓝色、黄色、绿色、棕色、其他颜色。在道路监控中，颜色识别受噪声、环境光照等因素影响很大，需要对目标进行预处理，提取目标颜色的主要特征信息。在HSV空间，对检测目标图像区域进行颜色聚类，选出符合人眼视觉特征的主色调连通区域，该连通区域用于后续颜色的模式分类。

在已知各类别样本数据的情况下，车身颜色的识别问题可转化为模式分类问题，结构风险最小化的支持向量机(SupportVectorMachine，简称“SVM”)分类方法。在基于人眼视觉特征的HSV颜色空间中，H代表了颜色的主色调，对颜色的分类起关键作用。如图5所示，将目标颜色转换到HSV空间，并统计HSV各分量的直方图，进行SVM分类。具体地说，如图5所示，主要包括以下步骤：

在步骤501中，输入当前图像和目前位置。

此后进入步骤502，将目标图像区域由YUV转换到HSV空间。

此后进入步骤503，统计H、S、V各分量的直方图信息，作为目标特征。

此后进入步骤504，基于SVM对目标颜色进行分类。

此后进入步骤505，输出目标颜色类别。

此后结束本流程。

对于汽车和摩托车的车牌作为车辆的唯一标识，是车辆的重要特征，车牌信息包括车牌类型、车牌号码和车牌颜色，车牌信息的识别包括车牌定位，字符分割，光学字符识别，输出识别结果。车牌识别系统实现的方式主要分为两种：一种是静态图像图片的识别，另一种是多帧识别。单帧图像识别有效率较大程度上受限于图像的抓拍质量，而多帧识别技术适应性较强，实现了对视频每一帧图像进行识别，增加识别比对次数，择优选取车牌号，较少的受到单帧图像质量的影响。混合车道智能监控中采用的是多帧识别技术，经过实际测试采用多帧后车牌识别算法准确率在98％以上，技术相对比较成熟。

本发明第六实施方式涉及一种混合车道监控视频智能检索回放方法。图6是该混合车道监控视频智能检索回放方法的流程示意图。具体地说，如图6所示，该混合车道监控视频智能检索回放方法主要包括以下步骤：

在步骤601中，从视频码流中检索包含有需要查找的语义特征信息的监控视频帧。

此后进入步骤602，回放该监控视频帧，获得所需要的监控视频信息。

此后结束本流程。

通过对语义特征信息的检索，可以快速定位与语义特征信息相对应的监控视频帧及监控视频中运动目标的特征信息，解决录像和目标特征信息分开不方便查询检索和存储的问题，提高视频的自动分析效率。

此外，可以理解，特征信息选项，包括：触发时间、目标类别、目标速度、目标位置、目标颜色和车牌信息等。

在发生特定的事件时，需要对监控录像进行回放和检索，可对监控录像图像进行正常回放、逐帧回放、快速回放、慢速回放、回放图像大小可调。在录像回放时，由于录像文件中已经包含了目标的特征信息，可以直接看到该录像的智能识别结果，并可对识别结果进行快照播放，而不需要其他文件的支持。在检索时，由于只在录像中的关键帧上包含了触发目标的特征索引信息，关键帧可以快速定位，加快检索过程，并在检索到目标结果后直接能对应到视频触发的对应帧。

作为优选的技术方案：在混合车道卡口监控中采用一体化相机模式，视频检测、特征信息标记和编码都在一体化相机中实现，通过移动侦测和目标识别的方式检测监控区域内是否有目标出现，在判断目标触发后将信息嵌入到H.264码流中输出并保存。在客户端能通过平台搜索软件，对这些视频进行多特征信息选项检索，快速定位触发帧，检索结果如图7所示。

检索时可以依据多种语义特征信息选项，如根据触发时间、目标类别、目标颜色和车牌信息进行检索，便于对感兴趣的录像段进行快速定位。在定位出关键帧后，根据触发信息中的帧号，可定位到具体的触发帧及对应的触发信息。

这些监控录像的智能标记索引信息记录了经过该路口的运动目标信息，可以对感兴趣的信息进行快速检索回放，并且其中车牌和车身信息也可以跟车管所登记的信息进行比对，很大提高了监控录像的利用价值。

本发明第七实施方式涉及一种混合车道监控视频智能检索回放方法。

第七实施方式在第六实施方式的基础上进行了改进，主要改进之处在于：在从视频码流中检索包含有需要查找的语义特征信息的监控视频帧的步骤中，主要包括以下子步骤：

从视频码流中读取一帧的帧头。

如果该帧头的保留字段中含有需要查找的语义特征信息，则该帧即为需要查找的监控视频帧。

本发明第八实施方式涉及一种混合车道监控视频智能检索回放方法。图8是该混合车道监控视频智能检索回放方法的流程示意图。

第八实施方式与第七实施方式基本相同，区别主要在于：

在第七实施方式中，在从视频码流中检索包含有需要查找的语义特征信息的监控视频帧的步骤中，包括以下子步骤：

从视频码流中读取一帧的帧头。

如果该帧头的保留字段中含有需要查找的语义特征信息，则该帧即为需要查找的监控视频帧。

然而在第八实施方式中，在从视频码流中检索包含有需要查找的语义特征信息的监控视频帧的步骤中，包括以下子步骤，具体地说，如图8所示：

在步骤801中，从视频码流中读取一帧的帧头。

此后进入步骤802，从所读取的帧头中获取帧类型和帧长度信息。

此后进入步骤803，判断帧类型是否为代表特征信息帧的类型值。

若是，则进入步骤804；若否，则再次回到步骤步骤801。

在步骤804中，根据帧长度从视频码流中读取特征信息数据包，并从该特征信息数据包获取特征信息。

如果帧类型为代表特征信息帧的类型值，则根据帧长度从视频码流中读取特征信息数据包，并从该特征信息数据包获取特征信息。

此后进入步骤805，判断该特征信息是否为需要查找的语义特征信息。

若是，则进入步骤806；若否，则再次回到步骤801。

在步骤806中，得出该帧之前的I帧即为需要查找的监控视频帧。

如果该特征信息为需要查找的语义特征信息，则该帧之前的I帧即为需要查找的监控视频的关键帧，可进一步定位到触发帧。因为触发帧不一定是关键帧，但语义特征信息可以放在与I帧对应的特征信息帧中，以方便检索。

此后结束本流程。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(ProgrammableArrayLogic，简称“PAL”)、随机存取存储器(RandomAccessMemory，简称“RAM”)、可编程只读存储器(ProgrammableReadOnlyMemory，简称“PROM”)、只读存储器(Read-OnlyMemory，简称“ROM”)、电可擦除可编程只读存储器(ElectricallyErasableProgrammableROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(DigitalVersatileDisc，简称“DVD”)等等。

本发明第九实施方式涉及一种混合车道监控视频智能标记装置。图9是该混合车道监控视频智能标记装置的结构示意图。具体地说，如图9所示，该混合车道监控视频智能标记装置主要包括：

运动目标检测单元，用于对混合车道监控视频帧中的运动目标进行检测。

运动目标类型辨别单元，用于对运动目标检测单元检测到的运动目标进行类型辨别。

特征信息提取单元，用于根据运动目标类型辨别单元辨别所得的运动目标的类型，提取运动目标的特征信息。

特征信息写入单元，用于将特征信息提取单元提取所得的运动目标的语义特征信息写入视频码流中与监控视频帧相对应的存储位置。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第十实施方式涉及一种混合车道监控视频智能标记装置。图10是该混合车道监控视频智能标记装置的结构示意图。

第十实施方式在第九实施方式的基础上进行了改进，主要改进之处在于：在特征信息写入单元中，包括以下子单元：

特征信息数据包生成子单元，用于将运动目标的特征信息生成特征信息数据包。

组头生成子单元，用于复制与监控视频相对应的I帧的组头，在所复制的组头中，将图像组模式字段改写成特征信息帧组头标记，并将改写后的组头作为特征信息帧组头。

帧头复制子单元，用于获取视频码流中与监控视频帧相对应的I帧，并复制该帧的帧头。

帧头生成子单元，用于在帧头复制子单元所复制的帧头中，将帧类型修改为代表特征信息帧的类型值，将帧长度修改为特征信息数据包的长度。

特征信息帧生成子单元，用于将组头生成子单元成成的组头、帧头生成子单元生成的帧头与特征信息数据包生成子单元生成的特征信息数据包的组合作为特征信息帧。

存储子单元，用于将特征信息帧写入视频码流中与监控视频帧相对应的I帧之后。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

本发明第十一实施方式涉及一种混合车道监控视频智能检索回放装置。图11是该混合车道监控视频智能检索回放装置的结构示意图。该混合车道监控视频智能检索回放装置主要包括：

检索单元，用于根据多种语义特征信息选项，找到与语义特征信息相对应的监控视频帧。

回放单元，用于回放检索单元检索到的监控视频帧，获得所需要的监控视频信息。

第六实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第六实施方式互相配合实施。第六实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第六实施方式中。

本发明第十二实施方式涉及一种混合车道监控视频智能检索回放装置。图12是该混合车道监控视频智能检索回放装置的结构示意图。

第十二实施方式在第十一实施方式的基础上进行了改进，主要改进之处在于：在检索单元中，包括以下子单元：

帧头读取子单元，用于从视频码流中读取一帧的帧头。

帧头分析子单元，用于对帧头读取单元所读取的帧头进行分析，如果该帧头的保留字段中含有需要查找的特征信息，则该帧即为需要查找的监控视频帧；从所读取的帧头中获取帧类型和帧长度信息，如果帧类型为代表特征信息帧的类型值，则根据帧长度从视频码流中读取特征信息数据包，并从该特征信息数据包获取特征信息，如果该特征信息为需要查找的特征信息，则该帧之前的I帧即为需要查找的监控视频帧。

第七、八实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第七、八实施方式互相配合实施。第七、八实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第七、八实施方式中。

需要说明的是，本发明各装置实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各装置实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述各装置实施方式并不存在其它的单元。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (14)

1.一种混合车道监控视频智能标记方法，其特征在于，包括以下步骤：

对混合车道监控视频帧中的运动目标进行检测；

如果检测到运动目标，则辨别运动目标的类型；

根据运动目标的类型，提取运动目标的特征信息；

将运动目标的语义特征信息写入视频码流中与所述监控视频帧相对应的位置，其中，在检测到运动目标后的下一个关键帧编码时，将所述语义特征信息嵌入所述关键帧中，并将包含检测到运动目标的视频帧帧号的触发信息存入该关键帧中。

2.根据权利要求1所述的混合车道监控视频智能标记方法，其特征在于，所述与监控视频帧相对应的位置是该监控视频帧的帧头中的保留字段。

3.根据权利要求1或2中任一项所述的混合车道监控视频智能标记方法，其特征在于，在所述对混合车道监控视频帧中的运动目标进行检测的步骤中，包括以下子步骤：

计算背景差和帧差；

背景差和帧差的二值化，并进行团块分析；

根据帧差过滤背景差，并去阴影处理；

对目标进行分割和跟踪；

根据目标的形态和轨迹，综合判断是否触发，并判断目标类型。

4.根据权利要求1或2中任一项所述的混合车道监控视频智能标记方法，其特征在于，在所述根据运动目标的类型，提取运动目标的特征信息的步骤中，包括以下子步骤：

如果检测到的运动目标为行人，则提取的特征信息包括：时间信息、行人个数、衣着颜色、速度、所处位置；

如果检测到的运动目标为二轮车，则提取的特征信息包括：时间信息、二轮车的颜色、速度、所处位置；

如果检测到的运动目标为汽车，则提取的特征信息包括：时间信息、汽车类型、汽车颜色、速度、车牌类型、车牌颜色、车牌号码、所处位置。

5.一种混合车道监控视频智能标记方法，其特征在于，包括以下步骤：

对混合车道监控视频帧中的运动目标进行检测；

如果检测到运动目标，则辨别运动目标的类型；

根据运动目标的类型，提取运动目标的特征信息；

将运动目标的语义特征信息写入视频码流中与所述监控视频帧相对应的位置；

在所述将运动目标的语义特征信息写入视频码流中与所述监控视频帧相对应的位置的步骤中，包括以下子步骤：

将运动目标的特征信息生成特征信息数据包；

复制与所述监控视频帧相对应的I帧的组头；

在所复制的组头中，将图像组模式字段改写成特征信息帧组头标记，并将改写后的组头作为特征信息帧组头；

复制与所述监控视频帧相对应的I帧的帧头；

在所复制的帧头中，将帧类型修改为代表特征信息帧的类型值，将帧长度修改为所述特征信息数据包的长度；

将修改后的组头、帧头与所述特征信息数据包的组合作为特征信息帧；

将所述特征信息帧写入视频码流中与监控视频帧相对应的I帧之后。

6.根据权利要求5所述的混合车道监控视频智能标记方法，其特征在于，在所述对混合车道监控视频帧中的运动目标进行检测的步骤中，包括以下子步骤：

计算背景差和帧差；

背景差和帧差的二值化，并进行团块分析；

根据帧差过滤背景差，并去阴影处理；

对目标进行分割和跟踪；

根据目标的形态和轨迹，综合判断是否触发，并判断目标类型。

7.根据权利要求5所述的混合车道监控视频智能标记方法，其特征在于，在所述根据运动目标的类型，提取运动目标的特征信息的步骤中，包括以下子步骤：

如果检测到的运动目标为行人，则提取的特征信息包括：时间信息、行人个数、衣着颜色、速度、所处位置；

如果检测到的运动目标为二轮车，则提取的特征信息包括：时间信息、二轮车的颜色、速度、所处位置；

如果检测到的运动目标为汽车，则提取的特征信息包括：时间信息、汽车类型、汽车颜色、速度、车牌类型、车牌颜色、车牌号码、所处位置。

8.一种对根据权利要求1或5中所述的混合车道监控视频智能标记方法标记的混合车道监控视频进行智能检索回放的方法，其特征在于，包括以下步骤：

从视频码流中检索包含有需要查找的语义特征信息的监控视频帧；

回放该监控视频帧，获得所需要的监控视频信息。

9.根据权利要求8所述的混合车道监控视频智能检索回放方法，其特征在于，在所述从视频码流中检索包含有需要查找的语义特征信息的监控视频帧的步骤中，包括以下子步骤：

从视频码流中读取一帧的帧头；

如果该帧头的保留字段中含有需要查找的语义特征信息，则该帧即为需要查找的监控视频帧。

10.根据权利要求8所述的混合车道监控视频智能检索回放方法，其特征在于，在所述从视频码流中检索包含有需要查找的语义特征信息的监控视频帧的步骤中，包括以下子步骤：

从视频码流中读取一帧的帧头；

从所读取的帧头中获取帧类型和帧长度信息；

如果所述帧类型为代表特征信息帧的类型值，则根据所述帧长度从视频码流中读取特征信息数据包，并从该特征信息数据包获取特征信息；

如果该特征信息为需要查找的语义特征信息，则该帧之前的I帧即为需要查找的监控视频帧，从而定位触发的P帧。

11.一种混合车道监控视频智能标记装置，其特征在于，包括：

运动目标检测单元，用于对混合车道监控视频帧中的运动目标进行检测；

运动目标类型辨别单元，用于对所述运动目标检测单元检测到的运动目标进行类型辨别；

特征信息提取单元，用于根据所述运动目标类型辨别单元辨别所得的运动目标的类型，提取运动目标的语义特征信息；

特征信息写入单元，用于将所述特征信息提取单元提取所得的运动目标的语义特征信息写入视频码流中与所述监控视频帧相对应的位置，其中，该特征信息写入单元在检测到运动目标后的下一个关键帧编码时，将所述语义特征信息嵌入所述关键帧中，并将包含检测到运动目标的视频帧帧号的触发信息存入该关键帧中。

12.一种混合车道监控视频智能标记装置，其特征在于，包括：

运动目标检测单元，用于对混合车道监控视频帧中的运动目标进行检测；

运动目标类型辨别单元，用于对所述运动目标检测单元检测到的运动目标进行类型辨别；

特征信息提取单元，用于根据所述运动目标类型辨别单元辨别所得的运动目标的类型，提取运动目标的语义特征信息；

特征信息写入单元，用于将所述特征信息提取单元提取所得的运动目标的语义特征信息写入视频码流中与所述监控视频帧相对应的位置；

在所述特征信息写入单元中，包括以下子单元：

特征信息数据包生成子单元，用于将运动目标的特征信息生成特征信息数据包；

组头生成子单元，用于复制与所述监控视频相对应的I帧的组头，在所复制的组头中，将图像组模式字段改写成特征信息帧组头标记，并将改写后的组头作为特征信息帧组头；

帧头复制子单元，用于获取视频码流中与所述监控视频帧相对应的I帧，并复制该帧的帧头；

帧头生成子单元，用于在所述帧头复制单元所复制的帧头中，将帧类型修改为代表特征信息帧的类型值，将帧长度修改为所述特征信息数据包的长度；

特征信息帧生成子单元，用于将所述组头生成子单元成成的组头、帧头生成子单元生成的帧头与所述特征信息数据包生成子单元生成的特征信息数据包的组合作为特征信息帧；

存储子单元，用于将所述特征信息帧写入视频码流中与监控视频帧相对应的I帧之后。

13.一种对权利要求11或12的混合车道监控视频智能标记装置标记的混合车道监控视频进行智能检索回放的装置，其特征在于，包括：

检索单元，用于根据多种语义特征信息选项，找到与所述语义特征信息相对应的监控视频帧；

回放单元，用于回放所述检索单元检索到的监控视频帧，获得所需要的监控视频信息。

14.根据权利要求13所述的混合车道监控视频智能检索回放装置，其特征在于，在所述检索单元中，包括以下子单元：

帧头读取子单元，用于从视频码流中读取一帧的帧头；

帧头分析子单元，用于对帧头读取子单元所读取的帧头进行分析，如果该帧头的保留字段中含有需要查找的语义特征信息，则该帧即为需要查找的监控视频帧；从所读取的帧头中获取帧类型和帧长度信息，如果所述帧类型为代表特征信息帧的类型值，则根据所述帧长度从视频码流中读取特征信息数据包，并从该特征信息数据包获取特征信息，如果该特征信息为需要查找的语义特征信息，则该帧之前的I帧即为需要查找的监控视频的I帧，从而进一步定位到触发的P帧。