CN106354883A - 一种视频信息结构组织方法和系统 - Google Patents

Abstract

本发明实施例提供了一种视频信息结构组织方法和系统，所述方法包括：获取视频现场原始数据，构建基本场景数据层；将基本场景数据层进行实时分层处理，形成层级数据，按需输出。本发明实施例提供的视频信息结构组织方法和系统，解决了现有技术中对视频监控的分析处于需要借助数据中心的海量存储能力进行事后分析、人力分析的问题，全面考虑了视频监控中的实际情况，通过对视频数据的实时分层级分析，将智能分析任务分布整个系统过程，真正做到了视频处理的实时化、智能化。

Description

一种视频信息结构组织方法和系统

技术领域

本发明涉及视频技术领域，具体涉及一种视频信息结构组织方法和系统。

背景技术

随着宽带网络的普及、计算机技术的发展以及图像处理技术的提高，视频监控技术作为协助公共安全部门打击犯罪、维持社会安定的重要手段，越来越广泛地渗透到人们日常生活的各种领域。然而，现有的监控视频智能分析方法处于需要借助数据中心的海量存储能力进行事后分析、人力分析的低层次水平，无法真正做到视频分析的实时性和智能化。

发明内容

有鉴于此，本发明实施例提供了一种视频信息结构组织方法和系统，解决了现有技术中对视频的分析在借助数据中心的海量存储能力的基础上不能做到实时分析和智能化的问题。

本发明实施例提供的一种视频信息结构组织方法包括：

获取视频现场原始数据，构建基本场景数据层；

将基本场景数据层进行实时分层处理，形成层级数据，按需输出。

本发明实施例提供的一种视频信息结构组织系统包括：

收集数据装置101，用于获取视频现场原始数据，构建基本场景数据层；

分层处理装置102，用于将基本场景数据层进行实时分层处理，形成层级数据，按需输出。

本发明实施例提供的一种视频信息结构组织方法和系统，全面考虑了视频监控中的实际情况，通过对视频数据的实时分层级分析，将智能分析任务分布形成分布处理过程，真正做到了视频处理的实时化、智能化和可交互性。

附图说明

图1所示为本发明一实施例提供的一种视频信息结构组织方法的流程示意图。

图2所示为本发明一实施例提供的一种视频信息结构组织系统的装置示意图。

图3所示为本发明一实施例提供的一种视频信息结构组织系统的模型示意图。

图4所示为本发明另一实施例提供的一种视频信息结构组织方法的流程示意图。

图4’所示为本发明另一实施例提供的一种视频信息结构组织方法的流程示意图。

图5所示为本发明另一实施例提供的一种视频信息结构组织系统的装置示意图。

图6所示为本发明另一实施例提供的一种视频信息结构组织系统的模型示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的视频信息结构组织方法，包括：

获取视频现场原始数据，构建基本场景数据层；

将基本场景数据层进行实时分层处理，形成层级数据，按需输出。

在本发明实施例中，首先收集视频现场原始数据，包括视频中数据和视频现场数据，用以构建基本场景数据层，对基本场景数据层进行实时分层处理，形成不同的层级数据，且各层级数据之间或各层级数据与基本场景数据层之间按照实际需求进行实时数据交换，并按照实际需求进行处理或输出，以达到视频分析的实时性和智能化。

本发明实施例提供的视频信息结构组织系统，包括：

收集数据装置101，用于获取视频现场原始数据，构建基本场景数据层；

分层处理装置102，用于将基本场景数据层进行实时分层处理，形成层级数据，按需输出。

图1所示为本发明一实施例提供的一种视频信息结构组织方法的流程示意图。如图1所示，视频信息结构组织方法包括如下步骤：

步骤01，收集视频现场原始数据，构建基本场景数据层。

图3所示为本发明一实施例提供的一种视频信息结构组织系统的模型示意图。如图3所示，步骤01中，基本场景数据层包括环境感知层。现场原始数据包括视频中感知的原始数据和/或视频现场的原始数据，视频中感知的原始数据包括但不限于音频、时间、地理位置、相机位姿等数据，视频现场的原始数据包括但不限于温度、湿度、气象等信息。

步骤02，对基本场景数据层进行前端处理，形成地理标志数据和对象数据，形成与监控对象数据关联的特征数据，并将形成的数据结果存入前端数据层。

步骤02中，前端处理包括基于机器学习方法的预处理和/或前端智能分析，经过处理分析后的数据存入到前端数据层中，前端数据层包括地理标志层，对象层，特征层。

地理标志层，用于存储对原始数据进行前端处理后所得的与交通标志、显著性地貌、地标性建筑等相关的地理标志数据。

对象层，用于存储对原始数据进行前端处理后所得的与人、交通工具、物、其他监控目标等相关的对象数据。

特征层，用于存储对原始数据进行前端处理后所得的与面部、衣着、姿态、运动速度、运动方向、遮蔽、距离、车辆品牌、车牌号、火光、浪涌等相关的特征数据。

其中，预处理包括图像变换、图像增强、边缘检测、图像恢复、场景识别、目标探测、目标跟踪、语义分割中等一系列视频图像处理步骤。

其中，预处理以及前端智能分析，可全部或部分基于机器学习方法来实现。

举例说明，视频监控场景中的交通标志、标记、显著性地貌、地标性建筑等数据属于地理标志层的范畴；监控的感兴趣目标，如：人、交通工具(车辆、飞行物、船舶等)以及其他监控目标(标线、障碍物等)，属于对象层的范畴；监控目标的外在属性，如：面部、色彩、姿态、运动速度、运动方向、距离、遮蔽、车辆品牌(或型号)、车牌号、火光、浪涌等，属于特征层的范畴。

步骤03，对经过前端处理后的层级数据进行后端处理，形成监控对象状态的语义表达数据，并将形成的数据结果存入后端数据层。

步骤03中，后端数据层包括语义层。语义层，用于存储对前端数据层进行后端处理后所得的与身份、跌倒、碰撞、穿越、聚集、伤害、交通违规、停车场计时、火警、汛情等相关的语义表达数据。

其中，后端处理包括后端智能分析，基于机器学习技术来实现。

举例说明，面部特征，辅以衣着可判断监控场景中人的身份；姿态、行走速度、方向、遮蔽等特征可以判断某人的行为；数量、是否停留等特征可以判断某一场景中是否存在人群聚集拥挤现象。

又比如，车辆的运动方向和速度、以及是否遮蔽道路标线，则可以判断该车辆是否存在交通违法行为，辅以车辆牌号和品牌识别，即可记录其违法行为。

亦或是，场景中某监控目标(如重要建筑)突然出现火光，则判断有火警；场景中某监控目标(如堤坝)附近出现异常的浪涌，则判断有汛情。

以上这些举例数据都属于语义层的范畴。

步骤04，综合语义表达数据和各类数据，进行实时智能分析，形成可交互的控制或反馈数据层，即可交互数据层。

步骤04中，可交互数据层设置为决策/理解层。决策/理解层，用于存储对以上各数据层处理后作出的决策和/或理解，包括为监控人员提供参考性质的决策建议，理解监控人员的指令，并对相应内容进行检索。

以上步骤02、步骤03、步骤04三步骤隶属于“将基本场景数据层进行实时分层处理，形成层级数据，按需输出”步骤。

对于前述各语义层具体情景，利用机器学习技术训练的判断模型可以给出不同的决策建议供监控人员参考；同时，监控人员还可以利用系统发出指令，以查询各层数据中相应的内容，这些属于决策/理解层。其中，判断模型以及通过其判断得到的决策建议，属于决策范畴。监控人员在观察过程中，向系统发出某种指令以查询某一事件中，具备某类特征的目标，系统将其指令解释成符合本结构模型的描述方式，对其所掌握的数据进行检索，属于理解范畴。

图2所示为本发明一实施例提供的一种视频信息结构组织系统的装置示意图。如图2所示，该视频信息结构组织系统的装置包括：

数据收集装置101，用于收集视频现场原始数据，构建基本场景数据层。

前端处理装置103，用于对基本场景数据层进行前端处理，形成地理标志数据和对象数据，形成与监控对象数据关联的特征数据，并将形成的数据结果存入前端数据层。

后端处理装置104，用于对经过前端处理后的层级数据进行后端处理，形成监控对象状态的语义表达数据，并将形成的数据结果存入后端数据层。

交互处理装置105，用于综合语义表达数据和各类数据，进行实时智能分析，形成可交互的控制或反馈数据层，即可交互数据层。

上述前端处理装置103、后端处理装置104、交互处理装置105三装置隶属于分层处理装置102。

另外，图3所示的视频信息结构组织方法模型具备个性化层级配置机制，即：针对不同的应用需要，可选配模型中各层次的配置参数。比如，在停车场计费系统中，模型可仅保留环境感知层、特征层、语义层，即可满足业务需要。

本发明中一实施例给出的视频信息结构组织方法和系统，收集的原始数据更加全面具体，并将部分智能分析任务布置于监控系统的前端数据层，使得整个系统具备实时性，同时，可交互数据层中设置的决策和理解机制使该系统具备双向交互能力，即：“前端”到“后端”(监控)、“后端”到“前端”(指令跟踪、查询、检索等)。

图4所示为本发明另一实施例提供的一种视频信息结构组织方法的流程示意图。如图4所示，该视频信息结构组织方法具体涉及车辆占道行驶智能监控方法，包括：

步骤201：实时采集视频监控数据。

步骤202：从视频监控数据中截取车辆所处区域的区域视频监控数据。

通过从视频监控数据中截取区域视频监控数据，去掉了与当前监控车辆无关的区域的视频监控数据，减少了后续提取车辆特征信息和车道信息的计算量，减轻硬件分析资源的计算负担。

应当理解，该区域视频监控数据的区域大小可由开发人员根据实际场景需求而定，例如前端视频采集设备的监控范围包括两个街区，而监控人员所关注的仅为其中的一个街区的违章占道情况，此时便可从视频监控数据中截取当前一个街区的区域视频监控数据。或者，该区域的大小也可由所监视的车辆的图像大小而定。然而，本发明对该区域视频监控数据的区域大小的确定方式并不做限定。

步骤203：从区域视频监控数据中提取车辆特征信息和车道信息。

由于原始的视频监控数据已经被截取为了区域视频监控数据，因此车辆特征信息和车道信息的提取过程的计算量得到了降低，减轻了硬件分析资源的计算负担。车辆特征信息和车道信息的具体提取方式可通过预训练模型实现。

在本发明一实施例中，考虑到车辆特征信息的提取仅关注监控视频中的车辆，车道信息的提取关注监控视频中的车道，而车辆在监控视频中所占的区域要小于车道所占的区域，因此也可以仅从区域视频监控数据中提取车辆特征信息，而车道信息仍从原始采集的视频监控数据中提取。然而，本发明实施例对车辆特征信息和车道信息的提取基础并不做具体限定。

步骤204：基于实时提取的车辆特征信息和车道信息生成语义分析结果。

例如，车辆的特征信息包括车辆A为非公共汽车，车道信息包括B路段内的公交车专用道C，则所生成的语义分析结果可表示为非公共汽车车辆A在B路段内占用的车道为公交车专用道C。

本发明一实施例还提供一种可交互的查询方法，当接收到以车辆特征信息或车道信息为查询条件的查询指令时，调取与车辆特征信息对应的所有车道信息，或调取与车道信息对应的所有车辆特征信息。例如，若接收到以公交车专用道C为查询条件的查询指令时，便可调出当前视频监控数据中占用该公交车专用道C的所有车辆的特征信息。

步骤205：基于语义分析结果以及违章条款的机器描述的预训练模型，实时判断车辆是否违法占用了所行驶的车道。

应当注意，尽管出于简化说明的目的将本发明实施例所述的方法表示和描述为一连串动作，但是应理解和认识到要求保护的主题内容将不受这些动作的执行顺序所限制，因为一些动作可以按照与这里示出和描述的顺序不同的顺序出现或者与其它动作并行地出现，同时一些动作还可能包括若干子步骤，而这些子步骤之间可能出现时序上交叉执行的可能。例如，在本发明一实施例中，如图4’所示，在实时采集视频监控数据后(步骤201’)，车道信息可直接从所采集的视频监控数据中提取(步骤202’)，然后再从视频监控数据中截取车辆所处区域的区域视频监控数据(步骤203’)以及从区域视频监控数据中提取车辆特征信息(步骤204’)，之后基于所提取到的车道信息和车辆特征信息生成语义分析结果(步骤205’)，并最终基于语义分析结果和违章条款的机器描述的预训练模型，实时判断车辆是否违法占用了所行驶的车道(步骤206’)。

图5所示为本发明另一实施例提供的一种视频信息结构组织方法的装置示意图。如图5所示，该装置示意图具体涉及车辆占道行驶智能监控系统，包括：

环境感知装置301，隶属于数据收集装置101，配置为实时采集视频监控数据；

对象特征分析装置302，隶属于前端处理装置103，配置为根据环境感知装置301所采集的视频监控数据，实时提取车辆的车辆特征信息；

地理标志分析装置303，隶属于前端处理装置103，配置为根据环境感知装置301所采集的视频监控数据，实时提取车辆所行驶车道的车道信息；

决策装置304，隶属于交互处理装置105，配置为根据对象特征分析装置302所实时提取的车辆特征信息和地理标志分析装置303所实时提取的车道信息判断所述车辆是否存在违章占道行为。

在本发明一实施例中，该车辆占道行驶智能监控系统进一步包括：语义分析装置305，隶属于后端处理装置104，配置为基于对象特征分析装置302和地理标志分析装置303所分别实时提取的车辆特征信息和车道信息生成语义分析结果；

其中决策装置304进一步配置为：

基于语义分析装置305所生成的语义分析结果以及违章条款的机器描述的预训练模型，实时判断所述车辆是否违法占用了所行驶的车道。

在本发明一实施例中，该决策装置304进一步配置为：

接收以车辆特征信息或车道信息为查询条件的查询指令；以及调取与车辆特征信息对应的所有车道信息，或调取与车道信息对应的所有车辆特征信息。

在本发明一实施例中，决策装置304进一步配置为：

若车辆不存在违章占道行为，并不保存与车辆对应的车辆特征信息和车道信息。

在本发明一实施例中，该车辆占道行驶智能监控系统进一步包括：

对象区域提取装置306，隶属于前端处理装置103，配置为从环境感知装置301所采集的视频监控数据中截取车辆所处区域的区域视频监控数据；

其中对象特征分析装置302进一步配置为：从区域视频监控数据中提取车辆特征信息。

在本发明另一实施例中，地理标志分析装置303也可进一步配置为：从区域视频监控数据中提取车道信息。

在本发明一实施例中，对象特征分析装置302进一步配置为：基于对车辆特征信息的预训练模型，从视频监控数据中提取车辆特征信息；和/或，

地理标志分析装置303进一步配置为：基于对车道信息的预训练模型，从视频监控数据中提取车道信息。

由此可见，该实施例所提供的车辆占道行驶智能监控系统是基于视频信息结构组织方法模型实现的。该视频信息结构组织方法模型中的信息流可分为不同的层面提取，而且相邻的层面之间存在一定的依赖关系，如图6所示。环境感知层中存储视频、地理位置、时间信息；通过对环境感知层进行前端处理得出相应信息存入地理标志层、对象层、特征层，即存入前端数据层；通过对前端数据层进行后端处理，得出相应信息存入语义层，即存入后端数据层；通过对环境感知层、前端数据层、后端数据层的实时综合分析处理，给出决策信息，得出决策层，即可交互数据层。

在环境感知装置301采集视频监控数据的过程中，将视频和现场感知数据(如：声音、时间、相机的地理位置、温度、气象、相机位姿等)存入环境感知层，这些信息是传统视频监控和智能视频监控提供监控场景的基本要素，为顶层决策提供必要的支持。在前端处理过程中，将原始采集的视频监控数据进行初步处理(包括基于机器学习方法实现的预处理和前端智能分析等)，并将初步处理的结果存入特征层、地理标志层和对象层，分别对应对象特征分析装置302提取车辆的车辆特征信息的过程、地理标志分析装置303提取车辆所行驶车道的车道信息的过程以及对象区域提取装置306从原始采集的视频监控数据中截取区域视频监控数据的过程。在后端处理过程中，将根据不同的应用需要，综合前述的相应各层，利用机器学习技术进行分析和处理，将相关的语义分析结果存入语义层，对应语义分析装置305生成语义分析结果的过程。对于语义分析装置305中的语义分析结果，利用机器学习技术训练的判断模型可以给出不同的决策建议供监控人员参考；同时，监控人员还可以向系统发出指令，以查询监控数据中相应的内容，这些属于决策/理解层。其中的判断模型以及通过其判断得到的决策建议，属于决策范畴。监控人员在观察过程中，向监控系统发出某种指令以查询某一事件中，具备某类特征的目标，系统将其指令解释成符合本结构模型的描述方式，对其所掌握的数据进行检索，属于理解范畴。

应当理解，当车辆占道行驶智能监控系统包括前端视频采集设备和后端视频分析设备时，环境感知装置301可设置在前端视频采集设备中，而地理标志分析装置303、对象区域提取装置306、对象特征分析装置302、语义分析结果305、决策装置304可分别设置在前端视频采集设备中或设置在后端视频分析设备中。只要车辆占道行驶智能监控系统中的所有装置能够实现各自的分析提取功能以及信息流的逐步提取，以最终达到语义决策的目的即可。本发明实施例对车辆占道行驶智能监控系统中的装置具体设置在前端视频采集设备还是后端视频分析设备并不做限定。

本发明另一实施例给出了基于视频信息结构组织方法的涉及车辆占道行驶智能监控的具体实例，该实施例说明了视频信息结构组织方法的具体执行步骤不受限制，一些动作可以按照不同的顺序出现或者与其它动作并行地出现，同时一些动作还可能包括若干子步骤，而这些子步骤之间可能出现时序上交叉执行的可能，为系统的实时性充分打好基础。

应当注意，本发明实施例的各层级数据相邻层级之间存在直接依赖关系。比如，地理标志层的内容(如：交通标志)，是通过对包括视频在内的环境感知层的基本感知数据进行分析处理获得的。

还应当注意，本发明实施例的各层级数据不同层级之间还可能存在跨越层级的间接依赖关系。比如，某监控任务中，监控人员明确需要观察某具体地域的实际情况，则决策/理解层通过分析，检索环境感知层中的相机地理位置信息，从而给出该地域的监控实况。

还应当注意，在本发明实施例中，针对具体应用需要的不同，可对各层级数据进行按需配置。比如，在停车场计费系统中，模型可仅保留环境感知层、特征层、语义层，即可满足业务需要。

应当注意，尽管出于简化说明的目的将本发明所述的方法表示和描述为一连串动作，但是应理解和认识到要求保护的主题内容将不受这些动作的执行顺序所限制，因为一些动作可以按照与这里示出和描述的顺序不同的顺序出现或者与其它动作并行地出现，同时一些动作还可能包括若干子步骤，而这些子步骤之间可能出现时序上交叉执行的可能。

本发明的教导还可以实现为一种计算机可读存储介质的计算机程序产品，包括计算机程序代码，当计算机程序代码由处理器执行时，其使得处理器能够按照本发明实施方式的方法来实现如本文实施方式所述的视频信息结构组织方法。计算机存储介质可以为任何有形媒介，例如软盘、CD-ROM、DVD、硬盘驱动器、甚至网络介质等。

应当理解，虽然以上描述了本发明实施方式的一种实现形式可以是计算机程序产品，但是本发明的实施方式的方法或装置可以被依软件、硬件、或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的方法和设备可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的方法和装置可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

应当理解，尽管在上文的详细描述中提及了装置的若干模块或单元，但是这种划分仅仅是示例性而非强制性的。实际上，根据本发明的示例性实施方式，上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现，反之，上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外，上文描述的某些模块/单元在某些应用场景下可被省略。

还应当理解，为了不模糊本发明的实施方式，说明书仅对一些关键、未必必要的技术和特征进行了描述，而可能未对一些本领域技术人员能够实现的特征做出说明。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种视频信息结构组织方法，其特征在于，包括：

获取视频现场原始数据，构建基本场景数据层；

将基本场景数据层进行实时分层处理，形成层级数据，按需输出。

2.根据权利要求1所述的方法，其特征在于，所述视频现场原始数据包括视频中数据和视频现场数据。

3.根据权利要求1所述的方法，其特征在于，所述层级数据包括：前端数据层、后端数据层、可交互数据层中的至少一种。

4.根据权利要求1所述的方法，其特征在于，将所述基本场景数据层中的数据进行前端处理后将相关结果存入相应的前端数据层。

5.根据权利要求4所述的方法，其特征在于，所述前端处理包括预处理和/或前端智能分析。

6.根据权利要求3所述的方法，其特征在于，对前端数据层进行后端智能分析，并将后端智能分析结果存入后端数据层。

7.根据权利要求3所述的方法，其特征在于，所述可交互数据层中，对基本场景数据层和/或前端数据层和/或后端数据层中的数据进行实时判断分析得出决策以供参考，和/或

利用可交互数据层向基本场景数据层和/或前端数据层和/或后端数据层发出指令，实时查询所需内容。

8.根据权利要求7所述的方法，其特征在于，所述指令为与基本场景数据层和/或前端数据层和/或后端数据层中所存储数据有关的描述方式。

9.根据权利要求1所述的方法，其特征在于，所述基本场景数据层包括环境感知层，用于实时感知和/或提取现场原始数据。

10.根据权利要求3所述的方法，其特征在于，所述前端数据层包括地理标志层，对象层，特征层中的至少一种。

11.根据权利要求3所述的方法，其特征在于，所述后端数据层包括语义层。

12.根据权利要求3所述的方法，其特征在于，所述可交互数据层包括决策/理解层。

13.根据权利要求5所述的方法，其特征在于，所述预处理包括图像变换、图像增强、边缘检测、图像恢复、场景识别、目标探测、目标跟踪、语义分割中的至少一种。

14.根据权利要求5所述的方法，其特征在于，所述预处理与前端智能分析基于机器学习方法实现。

15.根据权利要求6所述的方法，其特征在于，所述后端智能分析基于机器学习技术实现。

16.一种视频信息结构组织系统，包括：

收集数据装置101，用于获取视频现场原始数据，构建基本场景数据层；

分层处理装置102，用于将基本场景数据层进行实时分层处理，形成层级数据，按需输出。