CN108234961B

CN108234961B - 一种多路摄像机编码与视频流引流方法及系统

Info

Publication number: CN108234961B
Application number: CN201810150544.4A
Authority: CN
Inventors: 欧阳昌君
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-02-13
Filing date: 2018-02-13
Publication date: 2020-10-02
Anticipated expiration: 2038-02-13
Also published as: CN108234961A

Abstract

本发明公开了一种多路摄像机编码与视频流引流方法及系统，包括在路段或环形区域设置的若干个摄像机，每个摄像机都设置有物理编码，摄像机同时采集的各视频集传输至服务器分别存储；摄像机按邻接表中的结点与边的关系编码，得相邻摄像机集M。本发明通过从多路摄像机监控视频中提取新视频，以人习惯的、时间连续空间连续的方式检索跨多个摄像机的监控视频，提高工作效率；同时，因合成的新视频带有时间深度，而且区域连接，可以快速回朔，在实时监控时，不用担心错过了监控告警目标；另外，通过本发明生成的新视频，为监控区域的其它行业人员提高工作效率，创造了条件。

Description

一种多路摄像机编码与视频流引流方法及系统

技术领域

本发明涉及视频监控技术领域，尤其涉及一种多路摄像机编码与视频流引流方法及系统。

背景技术

目前视频监控作为一种成熟有效的监控方法，被广泛应用于各行各业，监控范围小到个人，大到国家，每天生成海量的数据，查询分析这些数据耗时费力，再有，摄像机虽然安装数量多，分布广，但缺乏有效组织，无法形成合力，导致部分数据变成无效数据。因此需要对摄像机进行统一编码，统一管理，并根据摄像机编码对编码后的摄像机原始视频数据进行重新组合，形成新的容易检索与查找的新视频，以满足社会的需要。在传统的多路视频监控领域，对同一目标跨多个摄像机视频的监控，大多采用多人，从多个摄像机视频中找到对应时段视频，然后同时播放，人为比较，这种方式效率低，对大范围的视频监控区域不合适，同时，对实时的多路摄像机监控视频，一般通过类似电视墙这种扁平化的监控方法，监控人员因要同时跨多摄像机回朔，无法快速以时间序列，地理位置序列判断监控目标的历史轨迹，导致不能及时确定或漏过需要管控的目标。对多路视频的视频流的提取，实际上是通过聚合手段处理原始视频，聚合后的视频更适合人工智能处理，而这种聚合手段在传统方式中研究和使用的不够也不深入。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种从多路摄像机拍摄的原始视频中，引流提取任意时间范围新视频的方法及系统。

为了解决上述技术问题，本发明通过以下技术方案来实现：本发明提供一种多路摄像机编码与视频流引流方法，该方法包括以下步骤：

S1、查询参考摄像机，根据时序参数(t₀，t_n)和任务参数A，在邻接表中检索符合上述参数的摄像机编码，或在服务器中各视频集内检索符合上述参数的视频对应的摄像机编码，得到参考摄像机集；

S2、提取首段视频，若参考摄像机集不为0，则根据任务参数A的计算分段视频结束时刻t_m1，提取参考摄像机的[t₀，t_m1]时段视频，作为新视频的首段；如t_m1>＝t_n，直接将这段视频提取并返回给用户，完成提取；

S3、查询下一站摄像机，以规则集B从相邻摄像机集M中查找下一站摄像机，得到下一站摄像机编号；

S4、引流提取中间段视频，从步骤S3中下一站摄像机的视频中截取[t_m1，t_n]段视频，则根据任务参数A计算分段视频结束时刻t_m2，提取参考摄像机的[t_m1，_tm2]时段视频，作为视频的中间段；如t_m2>＝t_n，直接将这段视频提取并返回给用户，完成提取；

S5、循环步骤S3和步骤S4，直到t_mn>＝t_n；

S6、通过视频拼接技术，合成空间连续、时间连续的新视频。

其中，所述规则集B包括：

规则1、智能路由，使用目标追踪算法；在参考摄像机及相邻摄像机集M中搜索，查找下一站摄像机，如果有多个结果，任取一个；

规则2、交互方式，当区域有重合时，将结果提供给用户，由用户指定下一站摄像机；

规则3、固定线路，如未设定以上规则，则根据已经设定好的摄像机序列，直接返回序列指定的下一站摄像机编号；

规则4、当上面的规则都不满足时，返回默认下一站摄像机编号。

进一步地，所述任务参数A包括摄像机的编码号、地理坐标位置以及目标特征，比如车牌号、车型。

相应地，本发明还提供了一种多路摄像机编码与视频流引流系统，包括在路段或环形区域设置的若干个摄像机，每个摄像机都设置有物理编码，摄像机同时采集的各视频集传输至服务器分别存储。

进一步地，摄像机按邻接表中的结点与边的关系编码，得相邻摄像机集M。

与现有技术相比，本发明具有如下效果：通过使用本方法，从多路摄像机监控视频中提取新视频，以人习惯的、时间连续空间连续的方式检索跨多个摄像机的监控视频，提高工作效率；同时，因合成的新视频带有时间深度，而且区域连接，可以快速回朔，在实时监控时，不用担心错过了监控告警目标；使用本方法，通过提取实时新视频，也可提前预测与时间和地理位置相关的安全事件，另外，通过本发明生成的新视频，为监控区域的其它行业人员提高工作效率，创造了条件。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明复眼型多路摄像机的结构示意图；

图2为本发明单眼型多路摄像机的结构示意图；

图3为本发明双眼型多路摄像机的结构示意图；

图4为本发明中简单重合关系的结构示意图；

图5为本发明中无重合关系的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种多路摄像机编码与视频流提取方法，如图1-5所示，本发明具体方案总体上分为多路摄像机编码与视频流提取两部分。

(一)、对多路摄像机编码

多路摄像机统一编码，编码方案以能快速查询相邻位置的摄像机为标准，特别的按邻接表进行编码，建立多路摄像机之间的联系，联系的关健是每个摄像机知道与其相邻的所有摄像机(即相邻摄像机集M)，摄像机按图数据中的结点与边(关系)编码，通过关系得相邻摄像机集M，同时也对多路摄像机进行组织，统一管理和维护；多路摄像机的正确编码后，能满足相邻摄像机拍摄区域连续；拍摄区域可以有重合或没有重合，这里连续的概念是指地理空间连续，比如，对道路来说，连续区域就指相邻的两个路段；摄像机之间的邻接关系可以增加，删除与修改，但必须满足正确相邻编码(即满足相邻摄像机拍摄区域连续)，在不满足时，通过设备监控系统及时发现及修正；同时通过编码，可以提前获取并保存摄像机的其它属性，比如，摄像机的地理位置坐标，拍摄区域范围的地理坐标等属性信息，这些属性信息可作为生成视频的辅助条件。

多路摄像机的邻接法编码方案的拓扑结构可灵活建构，典型拓扑结构可分为复眼型、双眼型与单眼型，或这几种组合型式，复眼型结构参看附图1，单眼型结构参看附图2，双眼型结构参看附图3。

复眼型主要用于需要严密监控的区域，比如城市繁华路段，这时可以生成多条不同轨迹的视频(对监控重合区域不同摄像机的选取，生成不同的摄像机序列，也就生成了不同轨迹的视频，但因拍摄的时间相同，内容稍有不同，也就形成了不同的视角)，再以这些轨迹生成的视频为原始视频，加入更多限定条件，进行二阶提取，可为决策提供更准确的依据。

单眼型可以用于安全路段等不需要严格监控的区域；双眼型的使用介于以上两种之间的场合。

摄像机邻接表的具体实现采用基于图论的图数据库。

要提取的新视频由相邻摄像机序列采集的监控视频组成，这种相邻关系，很自然对应到图论中的图表示法，摄像机作为图的结点(Node)，相邻关系作为图的边(Edge)。存储这种结构的图数据库有Neo4J(开源)、FlockDB(Twitter公司产品))、TAO(Facebook公司产品)，到目前为止，基于图的数据库已经在各大社交平台产品上大量应用，比如Facebook，Twitter等，已相对成熟，并已成为大数据分析的重要工具。多路摄像机的编码方案也采用图数据库进行存储。

其中，基于邻接表(图数据库)的多路摄像机编码实现如下：

第一步、创建结点集并导入结点

结点集(Label)：摄像机结点集；

结点(Node)：摄像机，摄像机安装后结点就已知，只需要将这些结点导入图数据库就可以了。

结点属性：

(1)摄像机ID

(2)拍摄区域地理位置坐标，区域由四个地理坐标点组成，一般是梯形的四个顶点，如果条件允许，可取四棱椎的8个地理坐标(用于带三维成像功能的摄像机)

(3)拍摄区域背景特征信息：比如，对道路监控，可提取保存车道类型(超车道、行车道、紧急行车道、停车道、紧急停车带、三角地带等)的特征，这些特征因变化很少，可以提前计算好保存起来。

结点的增删改：结点与边都建立好后，可以对图数据库进行增删改操作，但在多路摄像机的编码方案中，增删改操作要保证摄像机拍摄区域连续这个物理条件，否则就会使多路摄像机编码方案失效。

第二步创建边

边(Edge)：边代表两个结点之间的关系，在多路摄像机的编码方案中，一条边代表了本摄像机的一个相邻接摄像机，方向是从本摄像机指向相邻摄像机。相邻摄像机可能会有多个，但最少要有一个，否则，说明这个摄像机没有进行编码，也就没有被纳入多路摄像机的监控网络中。在安装摄像机时，按拍摄区域是否相邻与其它摄像机建立相邻关系。这种相邻关系对区域的形状没有要求，只要满足区域相邻就可创建一条对应边。边是有向的，在多路摄像机编码的实现中，两个相邻摄像机(A，B)之间的边会有两条，一条从A指向B，一条从B指向A，这样生成视频时可以按时间正向生成，也可以按时间反向生成，正向与反向生成视频是指，正向生成，是以t_m时间为起点，生成到(t_m，t_m+h)时间范围的视频，反向生成，是以t_m时间为结束点，生成(t_m-h，t_m)时间范围的视频(h>0)。

边是带有属性的，因此在多路视频的编码方案中，可以给边增加属性，比如，给边添加权值(0-100)，代表查找下一站摄像机时，先从多个相邻摄像机中的那一个先查起，权值越小，优先级越高。另外，还可以预先设置视频拼接的参数，因为相邻摄像机的位置关系是固定的，可以提前设置一些拼接参数。比如：附图4单眼型两摄像机有简单重合关系，拼接视频时这一部分只取一份就可以了。再比如，附图5双眼型，因安装摄像机时，已调整好位置，这一部分没有重合，所以拼接视频时直接将两个分段视频合起来就可以了，不用再做拼接运算。最复杂的复眼型，也同样可以在安装摄像机时通过几何方法提前求得参数，加快拼接速度。现在视频拼接算法很多，有复杂有简单的，有人工操作，也有使用人工智能的方式的，但在我们的方案中，利用相邻摄像机拍摄区域连接的特性，使用边的属性记录拼接几何参数，能够达到更好的拼接效果，更快的速度。

具体地，比如，例一、在高速公路，将多路摄像机沿路编码排列，拍摄区域相连，下一个相邻摄像机唯一，通过设定新视频的起始位置为使用者的前方1000米，则驾驶机动车的用户就可实时获知前方1000米处摄像机拍摄的视频，视频无缝的从一个摄像机拍摄的视频跳到下一个摄像机拍摄的视频，用户一直能看到前方1000米处的实时视频，就好像用户按自己的行驶路径，在前方1000米处放了一个移动的摄像机，通过这种方式，使更早的预防道路突发事件成为可能。同样，通过本方法生成的新视频，为监控区域的其它行业人员提高工作效率，创造了条件，比如，例二、仍举高速公路的例子，道路巡检人员，可指定起始摄像机、结束摄像机位置与起始时间和速度(速度用于确定从一个摄像区域到下一个摄像区域要多长时间，也就确定了从一个摄像机中取多少视频用于合成)，生成新视频，巡检人员就可看到这段时间，这段道路的情况，这种方式与以往巡检人员对此段道路做巡检类似，但效率更高。

(二)、任意时间范围视频引流提取

多路摄像机编码完成后，摄像机全部开始采集视频，所有摄像机时域达到一致后，通过以下步骤完成新视频流的引流提取。时域一致是说在提取视频的时间范围[t₀，t_n]内，参与提取的多路摄像机视频都包含[t₀，t_n]时段的视频，具体步骤如下：

S1、查询参考摄像机，用户提供条件(A，t₀，t_n)，搜索邻接表，得到参考摄像机集(结果集P)，为方便说明方案，这里假设结果集P为1，也就是只查到一台参考摄像机，多台时，只是重复做{n|P}遍(符号{n|P}是指集合P的元素个数)。条件(A，t₀，t_n)中，A是为了快速准确的找到起始摄像机，即参考摄像机，A是一组查询条件，查询条件可以是(1)监控摄像机编号，摄像机编号由用户输入或由用户通过选择人机界面中的摄像机得到；(2)地理位置坐标，地理位置坐标可以由用户从电子地图中指定获取，还可以通过运动物体携带的采集器采集后，发到查找模块。比如，前述(例一)驾驶中的用户查看前方1000米路段视频的应用，用户通过移动app，将本人手机采集的地理位置坐标发送给后台，后台以此为参数，在监控区域中查找，监控区域的地理位置坐标都是已知的，这样就可求得用户的坐标在那个摄像机的拍摄区域，也就确定了参考摄像机。(3)还可以通过指定一个小范围区域(比如指定多个摄像机，多个摄像机的拍摄区域和就是一个小范围)、时间范围和一些目标特征(比如车牌号，车型)，通过机器视觉自动查找到拍摄有监控目标(比如找到有指定车牌号的运动物体)的摄像机，特征也是一组目标特征，这些特征要结合机器视觉算法以及实际需求加以确定。其中，t₀是待生成新视频的起始时间，t_n是待生成视频的结束时间，t₀，t_n都是参考摄像机原始视频中的某个时刻。条件A不能为空，为空时返回报错信息或空视频。

S2、在这一步，通过对运动目标跟踪，确定运动物体离开参考摄像机的时刻t_m1，保存参考摄像机的[t₀，t_m1]时段视频，作为新视频的首段；如t_m1>＝t_n，直接将这段视频返回给用户，完成提取。这时，可按照专利一种根据运动目标速度和路程，计算分段视频结束时间(申请号：CN201210337332.X)类似方法处理。

S3、查询下一站摄像机，以参考摄像机为中心，再以规则集B从相邻摄像机集M(相邻摄像机集M在对多路摄像机编码后已知)中查找下一站摄像机，得到下一站摄像机编号。

其中，规则集B如下组成：

规则1、智能路由，使用目标追踪算法，这种方式使用图像识别或机器视觉，在参考摄像机中识别的多个目标中，由用户指定唯一目标，下一站摄像机查找时以此目标特征为条件，搜索相邻摄像机集M，查找下一站摄像机，如果有多个结果(相邻摄像机集M中有重合区域时，会产生多个)，任取一个。目标追踪算法的算法要求的一般是连续视频，这里还需要一点特殊处理，监控目标跨两个或多个视频，这时，可按照专利无重叠视域多摄像机人体目标跟踪方法(申请号：CN200910054925.3)类似方法处理。

规则2、交互方式，当区域有重合时，会将结果提供给用户，由用户指定下一站摄像机。

规则3、固定线路，固定线路是用户准备提取视频前已经设定好的摄像机序列。这种情况下，直接返回序列指定的下一站摄像机编号。

规则4、当上面的规则都不满足时，返回默认下一站摄像机编号；默认下一站摄像机编号是编码时手工指定的，每个摄像机都带有这个默认值。

另外，还可根据实际情况添加更多规则以找到下一站摄像机。

如规则5、关联目标实时地理坐标，因所有摄像机拍摄的区域地理位置已知(编码时已提前测得并保存着)，目标在监控区域移动，目标的地理坐标实时发送给查找模块，当进入下一站摄像机拍摄区域后，可求得下一站摄像机的编号，如果有多个结果(相邻摄像机集M中有重合区域时，会产生多个)，任取一个。

S4、找到下一站摄像机后，从原始视频中截取[t_m1，t_n]段视频，通过对运动目标跟踪，确定运动物体离开参考摄像机的时刻t_m2，保存参考摄像机的[_tm1，t_m2]时段视频，作为新视频的下一段。如t_m2>＝t_n，到步骤S6，进行视频拼接合成。

S5、循环步骤S3和步骤S4，直到t_mn>＝t_n。

S6、通过拼接视频，合成空间连续、时间连续的新视频。多摄像头的视频拼接技术有很多手段，比如使用刘畅，金立左，费树岷，等.固定多摄像头的视频拼接技术《数据采集与处理》2014年01期。

在步骤S2与步骤S4分段视频的结束点时刻(结束点也是下一段视频的起始点)，是按运动物体追踪技术确定的，这个不是必须的，比如，要生成一定速度的运动视频，可以通过摄像机的拍摄区域长度(编码时指定有地理位置范围，所以长度可以求出)，通过速度与长度，可计算出分段视频的时间x，则取原始视频的[t_m1，t_m2]段作为拼接分段，其中t_m1是起始点时刻，t_m2＝t_m1+x。这种情况会提取出前面(例二)路面巡查例子的视频。

分段视频的结束时间，还可以通过其它方式确定，比如以规则5中关联的目标地理位置坐标，目标的地位置从一个区域进入另一个区域时，就确定了分段视频的结束点，同时也是另一分段的起始点。

多路摄像机编码与视频流提取方法中，对多路摄像机进行编码要求区域连接，这个要求是为了不间断的对监控目标进行监控，但是如果实际实施时，因为某种原因，监控区域不能连续，这时，可以指定一个空摄像机作为相邻摄像机，就好像这个摄像机与参考摄像机相邻一样，设定边(关系)的属性为直接跳过，跳过的时间由进入空摄像机的下一站摄像机中的时刻确定，比如，目标离开了参考摄像机拍摄区域，在空摄像机拍摄区域中运动了多长时间，是由监控目标进入空摄像机的下一站摄像机的拍摄区域时刻确定的。能知道监控目标进入空摄像机的下一站摄像机的时刻，是不连接区域多路摄像机编码与视频流提取方法的条件，虽然有这个限制，但实际使用时，一般这个条件比较容易达到。

相应地，本发明还提供了一种多路摄像机编码与视频流提取系统，该系统包括在路段或环形区域设置的若干个摄像机，每个摄像机都设置有物理编码，摄像机同时采集的各视频集传输至服务器分别存储。

其中，摄像机按邻接表中的结点与边的关系编码，通过关系得相邻摄像机集M。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims

1.一种多路摄像机编码与视频流引流方法，其特征在于，包括以下步骤：

S1、查询参考摄像机，根据时序参数(t₀，t_n)和任务参数A，所述任务参数A包括摄像机的编码号、地理坐标位置，在邻接表中检索符合上述参数的摄像机编码，或在服务器中各视频集内检索符合上述参数的视频对应的摄像机编码，得到参考摄像机集；

所述规则集B包括：

规则4、当上面的规则都不满足时，返回默认下一站摄像机编号；

规则5、关联目标实时地理坐标，因所有摄像机拍摄的区域地理位置已知，目标在监控区域移动，目标的地理坐标实时发送给查找模块，当进入下一站摄像机拍摄区域后，求得下一站摄像机的编号，如果有多个结果，任取一个；

S5、循环步骤S3和步骤S4，直到t_mn>＝t_n；

2.一种如权利要求1所述的多路摄像机编码与视频流引流方法所用的多路摄像机编码与视频流引流系统，其特征在于，包括在路段或环形区域设置的若干个摄像机，每个摄像机都设置有物理编码，摄像机同时采集的各视频集传输至服务器分别存储。

3.如权利要求2所述的多路摄像机编码与视频流引流系统，其特征在于，摄像机按邻接表中的结点与边的关系编码，得相邻摄像机集M。