CN109816700B - 一种基于目标识别的信息统计方法 - Google Patents

Abstract

本发明涉及计算机领域，公开了一种基于目标识别的信息统计方法，通过逻辑优化处理，可详细记录各个追踪目标的运动轨迹，获取其平面结构、颜色等，通过对多个摄像头的视野的全局建模，结合目标检测技术，实现了具有一定可靠性的目标追踪，若追踪目标因部分或完全遮挡而丢失或造成错误追踪，可通过目标信息来进行纠正和恢复追踪；若暂时无法获取目标信息，则可通过对目标运动轨迹和颜色特征的分析进行追踪。

Description

一种基于目标识别的信息统计方法

技术领域

本发明涉及计算机领域，特别是一种基于目标识别的信息统计方法。

背景技术

监控是各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据、图像视频监控系统原理图或声音信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和高度、布置警力、处理案件等。随着当前计算机应用的迅速发展和推广，全世界掀起了一股强大的数字化浪潮，各种设备数字化已成为安全防护的首要目标。数码监控报警的性能特点是：监控画面实时显示，录像图象质量单路调节功能，每路录像速度可分别设置，快速检索，多种录像方式设定功能，自动备份，云台/镜头控制功能，网络传输等。

现有技术中视频监控技术往往只能根据预先设置的角度进行调整，灵活性程度不高，并且需要用户进行回放才能发现出现了警情或者其他情况，用户的体验度不高。

发明内容

本发明的目的在于提供一种基于目标识别的信息统计方法，以实现多个目标的追踪及相应的选择和放弃追踪，并且可以实现全局建模，以视频流形式输出追踪结果。

为实现上述技术目的，达到上述技术效果，本发明公开了一种基于目标识别的信息统计方法，包括了以下步骤：

步骤1：架设若干的摄像单元进行场景的连续拍摄，每两个摄像头之间具有视野重合区；

步骤2：以固定频率从各个摄像单元的视频流中获取最新帧，赋予时间戳，并将获取的帧储存到各自视频流的相应队列中，且每个队列设有timeout，队列中的帧在timeout后会被舍弃；

步骤3：不断从各个队列中获取距离当前时间的t的帧，进行目标检测，如帧中存在检测目标，则将该帧发送至步骤4；若帧中不存在检测目标，则将该帧发送至步骤5和步骤6；

步骤4：对于含有检测目标的帧，进行目标分析，并将分析得到的各个目标信息和该帧一起发送至步骤5和步骤6；

步骤5：通过接收到的帧，对每个队列的背景进行计算和更新；

步骤6：对于接收到的帧，通过对其和与其在时间上相邻且并属于同一视频流的若干帧的目标信息的分析，滤除不合理的目标信息，并增补合理存在的目标信息；若该帧最终存在目标信息，则将其发送至步骤7和步骤8；

步骤7：对于接收到的帧中的每一个目标进行目标性状；

步骤8：对于接收到的帧，根据其包含的目标信息，对每个检测目标进行颜色特征直方图计算，并发送至步骤9；

步骤9：对于接收到的帧，按视频流进行分类，对于属于同一视频流的帧，通过对其中所包含的目标的颜色特征、位置信息、时间信息的分析，新建或合并目标轨迹；若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10；

步骤10：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；然后根据每个目标轨迹所包含的各个时刻的目标性状，对其进行拆分合并，对于没有任何目标性状的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并；若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹。

其中，步骤3中目标检测采用YOLO系列算法，获取帧队列时间长度t不小于2秒。

其中，步骤5中，背景的计算和更新包括：

步骤51：创建一个与背景图大小相同的列表，表中的每个元素记录了对应像素位置的以下信息：该像素位置出现过的颜色、每个颜色出现的次数、每个颜色最后出现的时间，并根据预设规则进行舍弃；

步骤52：获取当前待处理帧中的最新待处理的帧，丢弃其它帧；

步骤53：对于每个像素位置，取最新待处理的帧中该像素位置和与其相邻位置的若干像素，对取出的像素求平均，得到该像素的RGB颜色均值，检索列表中的该位置，与该位置出现过的每个颜色进行比较，若与某颜色与该像素的RGB颜色均值R，G，B差值都小于8，则更新该颜色的出现次数、最后出现时间；反之，则将其添加到列表中；

步骤54：背景图中每个像素的颜色为对应像素位置出现次数最多的颜色，并完成背景部分的更新。

其中，步骤6中，目标信息的滤除和增补具体方法如下：

步骤61：接收最新待处理的帧，并取出与最新待处理的帧在时间上相邻并属于同一视频流的前后若干帧；

步骤62：分析前后若干帧的目标信息，若最新待处理的帧中位置P没有目标，而在前后若干帧中，在位置P附近有目标,则认为最新待处理的帧在位置P附近有目标，根据加权平均数计算最新待处理的帧中目标的大小和位置，标记该目标为估算；若最新待处理的帧中的位置P有目标，而在前后若干帧中位置P附近都无目标，则舍弃新待处理的帧中的该目标。

其中，步骤8中检测目标的颜色特征直方图计算具体包括：

步骤81：根据检测目标的位置信息截取背景的相应部分；

步骤82：将目标图像与相应背景图像进行grid分割，每个grid为32×32像素；

步骤83：目标图像中的每个grid中的每个像素都会与背景图片中对应grid的对应像素进行比较，通过判断R，G，B差值标记相似或不相似；若对于某个grid，相似的像素数大于80%，则将该grid中所有像素标记为相似；若对于某个grid，相似的像素数小于20%，则将该grid中所有像素标记为不相似；

步骤84：遍历所有的grid，并使用所有不相似的像素进行颜色直方图计算。

其中，步骤9目标轨迹追踪具体包括：

步骤91：对于接收到的帧，按视频流进行分类；

步骤92：对于属于同一视频流的帧，按时间戳从小到大的顺序进行处理；

步骤93：取出该帧中的所有检测到的目标，和当前正在追踪的目标轨迹进行匹配，其中，目标轨迹包含有如下信息：目标ID、目标清单、短期颜色特征和长期颜色特征；

步骤94：对于当前的每个轨迹，与该帧中每个目标进行颜色特征和距离的比较，计算得分，选出得分最高的目标，若得分大于阈值，则将目标加入目标清单；若该帧中的某个目标无法与任何轨迹相匹配，则新建一个轨迹；

步骤95：若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10。

其中，步骤10的最终轨迹的确定具体包括：

步骤101：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；

步骤102：对于收到的每个目标轨迹，检测其各个时刻的目标性状，若在轨迹中出现了不同的目标性状，则对该轨迹进行拆分；若两个轨迹具有相同的目标性状，则合并；

步骤103：对于没有任何目标性状的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并，合并需遵循预设规则；

步骤104：若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹。

优选的，步骤51中，预设规则进行舍弃具体为：

若该颜色已经300帧没出现，舍弃；

若该颜色已经200帧没有出现且总出现次数小于100次，舍弃；

若该颜色已经100帧没有出现且总出现次数小于35次，舍弃；

若该颜色已经50帧没有出现且总出现次数小于15次，舍弃；

若该颜色已经10帧没有出现且总出现次数小于2次，舍弃。

优选的，步骤103中，合并所遵循预设规则具体为：

合并的两条轨迹在视野重合区的部分在时间和空间上是重合的；

合并的两条轨迹在视野重合区的部分在运动方向上是一致的；

轨迹重合部分的颜色特征相关度>0.9或整个轨迹的颜色特征相关度>0.75。

本发明具有以下有益效果：

本发明通过逻辑优化处理，可详细记录各个追踪目标的运动轨迹，获取其平面结构、颜色等，通过对多个摄像头的视野的全局建模，结合目标检测技术，实现了具有一定可靠性的目标追踪，若追踪目标因部分或完全遮挡而丢失或造成错误追踪，可通过目标信息来进行纠正和恢复追踪；若暂时无法获取目标信息，则可通过对目标运动轨迹和颜色特征的分析进行追踪。

附图说明

图1为本发明的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。

实施例1

如图1所示，本发明公开了一种基于目标识别的信息统计方法，包括了以下步骤：

步骤1：架设若干的摄像单元进行场景的连续拍摄，每两个摄像头之间具有视野重合区；

步骤2：以固定频率从各个摄像单元的视频流中获取最新帧，赋予时间戳，并将获取的帧储存到各自视频流的相应队列中，且每个队列设有timeout，队列中的帧在timeout后会被舍弃；

步骤3：不断从各个队列中获取距离当前时间的t（1s≤t≤2s）的帧，进行目标检测，如帧中存在检测目标，则将该帧发送至步骤4；若帧中不存在检测目标，则将该帧发送至步骤5和步骤6；

步骤4：对于含有检测目标的帧，进行目标分析，并将分析得到的各个目标信息和该帧一起发送至步骤5和步骤6；

步骤5：通过接收到的帧，对每个队列的背景进行计算和更新，其中，背景的计算和更新包括：

步骤51：创建一个与背景图大小相同的列表，表中的每个元素记录了对应像素位置的以下信息：该像素位置出现过的颜色、每个颜色出现的次数、每个颜色最后出现的时间，并根据预设规则进行舍弃，

其中，预设规则进行舍弃具体为：

若该颜色已经300帧没出现，舍弃；

若该颜色已经200帧没有出现且总出现次数小于100次，舍弃；

若该颜色已经100帧没有出现且总出现次数小于35次，舍弃；

若该颜色已经50帧没有出现且总出现次数小于15次，舍弃；

若该颜色已经10帧没有出现且总出现次数小于2次，舍弃；

步骤52：获取当前待处理帧中的最新待处理的帧，丢弃其它帧；

步骤53：对于每个像素位置，取最新待处理的帧中该像素位置和与其相邻位置的若干像素，对取出的像素求平均，得到该像素的RGB颜色均值，检索列表中的该位置，与该位置出现过的每个颜色进行比较，若与某颜色与该像素的RGB颜色均值R，G，B差值都小于8，则更新该颜色的出现次数、最后出现时间；反之，则将其添加到列表中；

步骤54：背景图中每个像素的颜色为对应像素位置出现次数最多的颜色，并完成背景部分的更新；

步骤6：对于接收到的帧，通过对其和与其在时间上相邻且并属于同一视频流的若干帧的目标信息的分析，滤除不合理的目标信息，并增补合理存在的目标信息；若该帧最终存在目标信息，则将其发送至步骤7和步骤8，

其中，步骤6中，目标信息的滤除和增补具体方法如下：

步骤61：接收最新待处理的帧，并取出与最新待处理的帧在时间上相邻并属于同一视频流的前后若干帧；

步骤62：分析前后若干帧的目标信息，若最新待处理的帧中位置P没有目标，而在前后若干帧中，在位置P附近有目标,则认为最新待处理的帧在位置P附近有目标，根据加权平均数计算最新待处理的帧中目标的大小和位置，标记该目标为估算；若最新待处理的帧中的位置P有目标，而在前后若干帧中位置P附近都无目标，则舍弃新待处理的帧中的该目标；

步骤7：对于接收到的帧中的每一个目标进行目标性状，其中目标性状识别采用采用YOLO系列算法；

步骤8：对于接收到的帧，根据其包含的目标信息，对每个检测目标进行颜色特征直方图计算，并发送至步骤9，其中，步骤8中检测目标的颜色特征直方图计算具体包括：

步骤81：根据检测目标的位置信息截取背景的相应部分；

步骤82：将目标图像与相应背景图像进行grid分割，每个grid为32×32像素；

步骤83：目标图像中的每个grid中的每个像素都会与背景图片中对应grid的对应像素进行比较，通过判断R，G，B差值标记相似或不相似；若对于某个grid，相似的像素数大于80%，则将该grid中所有像素标记为相似；若对于某个grid，相似的像素数小于20%，则将该grid中所有像素标记为不相似；

步骤84：遍历所有的grid，并使用所有不相似的像素进行颜色直方图计算；

步骤9：对于接收到的帧，按视频流进行分类，对于属于同一视频流的帧，通过对其中所包含的目标的颜色特征、位置信息、时间信息的分析，新建或合并目标轨迹；若某个目标轨迹在时间T1（2s≤t≤5s）范围内没有任何合并操作，则发送到步骤10，

其中，步骤9目标轨迹追踪具体包括：

步骤91：对于接收到的帧，按视频流进行分类；

步骤92：对于属于同一视频流的帧，按时间戳从小到大的顺序进行处理；

步骤93：取出该帧中的所有检测到的目标，和当前正在追踪的目标轨迹进行匹配，其中，目标轨迹包含有如下信息：目标ID、目标清单、短期颜色特征和长期颜色特征；

步骤94：对于当前的每个轨迹，与该帧中每个目标进行颜色特征和距离的比较，计算得分，选出得分最高的目标，若得分大于阈值，则将目标加入目标清单；若该帧中的某个目标无法与任何轨迹相匹配，则新建一个轨迹；

步骤95：若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10；

步骤10：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；然后根据每个目标轨迹所包含的各个时刻的目标性状，对其进行拆分合并，对于没有任何目标性状的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并；若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹,

其中，步骤10的最终轨迹的确定具体包括：

步骤101：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；

步骤102：对于收到的每个目标轨迹，检测其各个时刻的目标性状，若在轨迹中出现了不同的目标性状，则对该轨迹进行拆分；若两个轨迹具有相同的目标性状，则合并；

步骤103：对于没有任何目标性状的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并，合并需遵循预设规则，

其中，合并所遵循预设规则具体为：

合并的两条轨迹在视野重合区的部分在时间和空间上是重合的；

合并的两条轨迹在视野重合区的部分在运动方向上是一致的；

轨迹重合部分的颜色特征相关度>0.9或整个轨迹的颜色特征相关度>0.75；

步骤104：若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹，其中T2的时长根据应用场景来设定，例如小会议室场景T2时长5分钟，车站场景T2时长半小时。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于目标识别的信息统计方法，其特征在于，包括了以下步骤：

步骤1：架设若干的摄像单元进行场景的连续拍摄，每两个摄像头之间具有视野重合区；

步骤2：以固定频率从各个摄像单元的视频流中获取最新帧，赋予时间戳，并将获取的帧储存到各自视频流的相应队列中，且每个队列设有timeout，队列中的帧在timeout后会被舍弃；

步骤3：不断从各个队列中获取距离当前时间的t的帧，进行目标检测，如帧中存在检测目标，则将该帧发送至步骤4；若帧中不存在检测目标，则将该帧发送至步骤5和步骤6；

步骤4：对于含有检测目标的帧，进行目标分析，并将分析得到的各个目标信息和该帧一起发送至步骤5；

步骤5：通过接收到的帧，对每个队列的背景进行计算和更新；

背景的计算和更新包括：

步骤51：创建一个与背景图大小相同的列表，表中的每个元素记录了对应像素位置的以下信息：该像素位置出现过的颜色、每个颜色出现的次数、每个颜色最后出现的时间，并根据预设规则进行舍弃；

步骤52：获取当前待处理帧中的最新待处理的帧，丢弃其它帧；

步骤53：对于每个像素位置，取最新待处理的帧中该像素位置和与其相邻位置的若干像素，对取出的像素求平均，得到该像素的RGB颜色均值，检索列表中的该位置，与该位置出现过的每个颜色进行比较，若与某颜色与该像素的RGB颜色均值R，G，B差值都小于8，则更新该颜色的出现次数、最后出现时间；反之，则将其添加到列表中；

步骤54：背景图中每个像素的颜色为对应像素位置出现次数最多的颜色，并完成背景部分的更新；

步骤6：对于接收到的帧，通过对其和与其在时间上相邻且并属于同一视频流的若干帧的目标信息的分析，滤除不合理的目标信息，并增补合理存在的目标信息；若该帧最终存在目标信息，则将其发送至步骤7；

目标信息的滤除和增补具体方法如下：

步骤61：接收最新待处理的帧，并取出与最新待处理的帧在时间上相邻并属于同一视频流的前后若干帧；

步骤62：分析前后若干帧的目标信息，若最新待处理的帧中位置P没有目标，而在前后若干帧中，在位置P附近有目标,则认为最新待处理的帧在位置P附近有目标，根据加权平均数计算最新待处理的帧中目标的大小和位置，标记该目标为估算；若最新待处理的帧中的位置P有目标，而在前后若干帧中位置P附近都无目标，则舍弃新待处理的帧中的该目标；

步骤7：对于接收到的帧中的每一个目标进行目标性状识别；

步骤8：对于接收到的帧，根据其包含的目标信息，对每个检测目标进行颜色特征直方图计算，并发送至步骤9；

检测目标的颜色特征直方图计算具体包括：

步骤81：根据检测目标的位置信息截取背景的相应部分；

步骤82：将目标图像与相应背景图像进行grid分割，每个grid为32×32像素；

步骤83：目标图像中的每个grid中的每个像素都会与背景图片中对应grid的对应像素进行比较，通过判断R，G，B差值标记相似或不相似；若对于某个grid，相似的像素数大于80%，则将该grid中所有像素标记为相似；若对于某个grid，相似的像素数小于20%，则将该grid中所有像素标记为不相似；

步骤84：遍历所有的grid，并使用所有不相似的像素进行颜色直方图计算；

步骤9：对于接收到的帧，按视频流进行分类，对于属于同一视频流的帧，通过对其中所包含的目标的颜色特征、位置信息、时间信息的分析，新建或合并目标轨迹；若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10；

步骤10：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；然后根据每个目标轨迹所包含的各个时刻的目标性状，对其进行拆分合并，对于没有任何目标性状的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并；若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹。

2.如权利要求1所述的一种基于目标识别的信息统计方法，其特征在于：所述的步骤3中目标检测采用YOLO系列算法，获取帧队列时间长度t不小于2秒。

3.如权利要求1所述的一种基于目标识别的信息统计方法，其特征在于：所述的步骤9目标轨迹追踪具体包括：

步骤91：对于接收到的帧，按视频流进行分类；

步骤92：对于属于同一视频流的帧，按时间戳从小到大的顺序进行处理；

步骤93：取出该帧中的所有检测到的目标，和当前正在追踪的目标轨迹进行匹配，其中，目标轨迹包含有如下信息：目标ID、目标清单、短期颜色特征和长期颜色特征；

步骤94：对于当前的每个轨迹，与该帧中每个目标进行颜色特征和距离的比较，计算得分，选出得分最高的目标，若得分大于阈值，则将目标加入目标清单；若该帧中的某个目标无法与任何轨迹相匹配，则新建一个轨迹；

步骤95：若某个目标轨迹在时间T1范围内没有任何合并操作，则发送到步骤10。

4.如权利要求3所述的一种基于目标识别的信息统计方法，其特征在于：所述的步骤10的最终轨迹的确定具体包括：

步骤101：根据各个摄像单元的位置，角度计算其视野，生成一个包含所有摄像单元视野的二维全局坐标系，并将接收的每个目标轨迹映射到全局坐标系；

步骤102：对于收到的每个目标轨迹，检测其各个时刻的目标性状，若在轨迹中出现了不同的目标性状，则对该轨迹进行拆分；若两个轨迹具有相同的目标性状，则合并；

步骤103：对于没有任何目标性状的轨迹，若其轨迹经过摄像单元视野重合区，则通过对其颜色特征和运动轨迹的分析与其它轨迹进行合并，所述的合并需遵循预设规则；

步骤104：若某个目标轨迹在时间T2范围内没有任何拆分合并，则输出为最终轨迹。

5.如权利要求1所述的一种基于目标识别的信息统计方法，其特征在于：所述的步骤51中，所述的预设规则进行舍弃具体为：

若该颜色已经300帧没出现，舍弃；

若该颜色已经200帧没有出现且总出现次数小于100次，舍弃；

若该颜色已经100帧没有出现且总出现次数小于35次，舍弃；

若该颜色已经50帧没有出现且总出现次数小于15次，舍弃；

若该颜色已经10帧没有出现且总出现次数小于2次，舍弃。

6.如权利要求4所述的一种基于目标识别的信息统计方法，其特征在于：所述的步骤103中，所述的合并所遵循预设规则具体为：

合并的两条轨迹在视野重合区的部分在时间和空间上是重合的；

合并的两条轨迹在视野重合区的部分在运动方向上是一致的；

轨迹重合部分的颜色特征相关度>0.9或整个轨迹的颜色特征相关度>0.75。

Images