CN112788282A - 一种视频信息获取方法及其应用 - Google Patents

Abstract

本发明公开了一种视频信息获取方法及其应用，该方法包括以下步骤：S10)检测程序开始，调用FFmpeg进行两路以上的若干路通道视频解码；S20)从解码视频中获取所有通道的视频信息；S30)主线程通过视频信息获取机车运行数据；S40)主线程新建若干路视频UI控件，视频UI控件与主线程交互，控制视频播放，主线程同步展示机车运行数据，以实现若干路通道视频及机车运行数据的同步展示。本发明能够解决多通道、多格式下视频信息获取困难，以及多路视频线程之间交互导致死锁的技术问题。

Description

一种视频信息获取方法及其应用

技术领域

本发明涉及视频处理技术领域，尤其是涉及一种多通道、多格式视频信息获取方法及其在机车视频显示中的应用。

背景技术

随着轨道交通行业对安全方面的要求越来越高，以及基于大数据，数据挖掘提取应用越来越广泛，地面人员了解并掌握分析机车基本运行情况越来越必要。机车车载安全防护系统是针对机车的制动系统、高压绝缘、防火、列车供电、视频、走行部等危及安全的重要事项、重点部件和部位，采用实时监视、检测、报警并可实现网络传输、统一固态存储和智能人机界面，整体研究设计而形成平台化的安全防护装置。机车6A视频是指：在机车车载安全防护系统中，有多个摄像头录制机车不同环境的视频，有录制机车路况的视频，录制驾驶室的视频，录制机车内部机械间的视频，录制车头车钩的视频。其中，机车自动视频监控及记录子系统(AVDR)是6A系统的一部分，主要功能有：对监控路况、司机室、机械间等处的视频图像进行记录，实现与防火系统的联动，视频图像存储和调用分析。通过记录司机操作、运行路况、机械间图像等，辅助事故分析，能够为机车设备报警和事件的分析提供重要视频图像依据。

由于6A系统在机车安全领域中的重要性，更好地分析机车视频数据及对应运行信息的需求非常强烈，需要有效地对机车视频数据及运行数据进行联动分析，使得相关工作人员可以在后期对机车运行情况、故障数据、机车运行特殊位置时刻进行准确有效的查询和分析。但是，由于机车视频包含众多格式，在包括多种分辨率、帧率、多种通道音视频的情况下，同时解析16路通道视频并与机车运行数据同步存在一定困难，特别是一般的播放器难以支持其复杂的情况，需要有更好的解决方案。同时，LKJ分析人员在进行LKJ数据分析的过程中，需要同步观察LKJ事件相关联的机车视频，用于辅助分析LKJ事件。而由于现场情况复杂，导致视频服务器上的程序存在各种各样的问题，如：机车存在多个通道，不同通道且视频格式还并不统一，播放器播放时容易存在各种问题，故需要针对这些情况进行格式统一处理。并且由于6A视频包含多路信号，目前机车上的6A视频通道总共有16个，同时有效控制这16路视频并与机车运行数据关联播放后会面临很多线程上的问题，线程之间的交互很容易造成UI线程卡死从而导致视频卡顿，多路视频线程并发更加容易造成视频死锁。

以上技术问题都给多通道、多格式视频播放及应对突发情况的重联带来了很大的难度。因此，实现有效展示机车视频与数据的联动性，并提供项点分析，报表等功能，为处理机务数据提供有效的管理方式，准确提供机车现场情况还原的视频及运行数据很有必要。

发明内容

有鉴于此，本发明的目的在于提供一种视频信息获取方法及其应用，以解决多通道、多格式下视频信息获取困难，以及多路视频线程之间交互导致死锁的技术问题。

为了实现上述发明目的，本发明具体提供了一种视频信息获取方法的技术实现方案，视频信息获取方法，包括以下步骤：

S10)检测程序开始，调用FFmpeg进行两路以上的若干路通道视频解码；

S20)从解码视频中获取所有通道的视频信息；

S30)主线程通过视频信息获取机车运行数据；

S40)主线程新建若干路视频UI控件，视频UI控件与主线程交互，控制视频播放，主线程同步展示机车运行数据，以实现若干路通道视频及机车运行数据的同步展示。

进一步的，所述步骤S10)中单路通道的视频解码过程包括以下步骤：

S101)读取视频；

S102)解析协议；

S103)根据协议解封装视频；

S104)提取视频中的流信息，确定流类型；

S105)根据流类型解封装视频；

S106)读取视频流信息；

S107)获取视频编码格式信息；

S108)根据视频编码格式信息进行视频解码。

进一步的，所述步骤S40)包括以下过程：

S401)主线程新建N个通道的视频UI控件，并为每个视频UI控件分配一个Dispatcher线程控制器，N≥2；

S402)每个视频UI控件的Dispatcher线程控制器获取该路通道的视频，并生成独立的视频映射器；

S403)解析视频，每个视频UI控件的Dispatcher线程控制器独立控制视频播放；

S404)由主线程分发命令至N个视频UI控件的Dispatcher线程控制器中，再通过主线程控制包括视频播放在内的操作。

进一步的，所述视频UI控件基于Libvlc开发。

进一步的，所述视频UI控件的执行过程包括以下步骤：

S501)新建视频UI控件；

S502)将Libvlc调用接口封装到dll；

S503)创建InteropBitmap；

S504)指定内存，将视频加载至InteropBitmap，同时将dll接口函数集成至视频UI控件中；

S505)强制呈现已加载的非WPF视频UI控件。

进一步的，所述步骤S20)中的视频信息包括但不限于分辨率、帧率、总帧数、时长及编码格式。

进一步的，所述机车运行数据包括但不限于机车的车型、车号、运行时间、速度、工况、公里标及管压。

进一步的，在所述步骤S40)中，主线程新建8路或16路视频UI控件，以实现8路或16路视频与机车运行数据的同步展示。

本发明还另外具体提供了一种上述视频信息获取方法在机车6A视频显示中应用的技术方案。

进一步的，通过视频流中的时间信息关联机车运行监控数据，以在离线状态下分析机车运行时的视频信息，并通过与机车运行监控数据相关联的机车视频辅助分析机车运行监控事件。

通过实施上述本发明提供的视频信息获取方法及其应用的技术方案，具有如下有益效果：

(1)本发明视频信息获取方法及其应用，通过调用FFmpeg进行视频解码，能够实现多通道、多格式下绝大多数视频格式下视频信息的准确获取；

(2)本发明视频信息获取方法及其应用，完善了Libvlc调用视频机制，能够大幅减少线程之间交互死锁的可能性；

(3)本发明视频信息获取方法及其应用，能够非常方便地实现多路视频与机车运行数据的同步展示，大大减少了二次开发工程量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的实施例。

图1是本发明视频信息获取方法及其应用一种具体实施例的程序流程图；

图2是本发明视频信息获取方法及其应用一种具体实施例中视频解码步骤的程序流程图；

图3是本发明视频信息获取方法及其应用一种具体实施例中视频UI控件的运行流程图。

具体实施方式

为了引用和清楚起见，将下文中使用的技术名词、简写或缩写记载如下：

LKJ：一种列车运行监控记录装置的简称；

FFmpeg：一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，它包括了领先的音/视频编码库Libavcodec等；

VLC：一款免费、自由、开源的跨平台多媒体播放器及框架，可播放大多数多媒体文件，以及各类流媒体协议；

UI：User Interface，用户界面的简称；

Libvlc：一种基于VLC多媒体播放器及框架的核心引擎和接口库；

dll：Dynamic Link Library，动态链接库的简称；

WPF：Windows Presentation Foundation的简称，是由微软推出的基于Windows的用户界面框架，属于.NET Framework 3.0的一部分，它提供了统一的编程模型、语言和框架，真正做到了分离界面设计人员与开发人员的工作，同时它提供了全新的多媒体交互用户图形界面。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如附图1至附图3所示，给出了本发明视频信息获取方法及其应用的具体实施例，下面结合附图和具体实施例对本发明作进一步说明。

本发明实施例具体提出了一种基于FFmpeg及Libvlc的视频信息获取方法及其应用，主要涉及视频播放状态及视频信息的获取，不同播放状态的处理及播放控制线程的监测。下面以视频信息获取方法在机车6A视频显示中的应用为例对本发明技术方案进行详细介绍。

如附图1所示，一种视频信息获取方法的实施例，具体包括以下步骤：

S10)检测程序开始，调用FFmpeg进行两路以上的若干路通道(如：16路)视频解码；

S20)从解码视频中获取所有通道的视频信息；

S30)主线程通过视频信息获取机车运行数据；

S40)主线程新建若干路视频UI控件，视频UI控件与主线程交互，控制视频播放，主线程同步展示机车运行数据，以实现若干路通道视频及机车运行数据的同步展示。

其中，步骤S20)中的视频信息包括但不限于分辨率、帧率、总帧数、时长及编码格式。机车运行数据包括但不限于机车的车型、车号、运行时间、速度、工况、公里标及管压。

目前机车视频包含众多格式，存在多种分辨率、帧率，以及多种通道音视频的情况，一般的播放器难以支持其复杂的情况，需要更好的技术方案来解决。对于视频信息的获取，本发明具体实施例描述的视频信息获取方法采用FFmpeg技术实现。FFmpeg是一款视频解析、解码和编码的开源程序，其在视频解析、解码和编码等方面有着很大的优势，是一款用于记录、转换数字音频和视频，并能将其转化为流的开源工具，能够完成视频转码、截图、视频剪切等功能。最重要的是，FFmpeg编译成动态库或者静态库时都提供了功能强大和简易实用的接口，使得开发者可以很容易地调用FFmpeg库对各种复杂的视频进行解析和解码。本发明具体实施例描述的视频信息获取方法通过调用FFmpeg强大的视频解析和解码库实现最底层的视频格式解析，分析视频帧数据，获取视频中有价值的信息数据，可以很好地解决多通道、多格式下视频信息的获取问题。

如附图2所示，是FFmpeg解析视频文件的过程，步骤S10)中单路通道的视频解码过程进一步包括以下步骤：

S101)读取视频；

S102)解析协议；

S103)根据协议解封装视频；

S104)提取视频中的流信息，确定流类型；

S105)根据流类型解封装视频；

S106)读取视频流信息；

S107)获取视频编码格式信息；

S108)根据视频编码格式信息进行视频解码。

在进行视频编码时，视频帧一般分为I帧、B帧和P帧。所有视频开始的第一帧都是I帧，之后才是B帧、P帧，且I帧只占少数，主要起的作用是作为后续帧的参考帧。而一般的工具在读取视频时都会在有I帧的时间点开始，因为I帧是起始帧，作为后续帧的参考帧。不同格式封装的视频存在解码时格式混乱的问题，而借助FFmpeg就可以高效地完成视频解封装任务，并且可以准确地解析视频格式以获取视频信息，几乎可以获得到所有格式下的视频信息。

如附图3所示，步骤S40)进一步包括以下过程：

S401)主线程新建N(如：16)个通道的视频UI控件，并为每个视频UI控件分配一个Dispatcher线程控制器，N≥2；

S402)每个视频UI控件的Dispatcher线程控制器获取该路通道的视频，并生成独立的视频映射器；

S403)解析视频，每个视频UI控件的Dispatcher线程控制器独立控制视频播放；

S404)由主线程分发命令(例如暂停，快进等)至N(如：16)个视频UI控件的Dispatcher线程控制器中，再通过主线程控制包括视频播放在内的操作。

视频UI控件基于Libvlc开发，视频UI控件的执行过程进一步包括以下步骤：

S501)新建视频UI控件；

S502)将Libvlc调用接口封装到dll；

S503)创建InteropBitmap；

S504)指定内存，将视频加载至InteropBitmap，同时将dll接口函数集成至视频UI控件中；

S505)强制呈现已加载的非WPF视频UI控件。

对于多路视频播放控制部分，本发明具体实施例描述的视频信息获取方法基于开源项目Libvlc进行二次开发，将视频库封装成独立的WPF框架控件(即视频UI控件)，该视频UI控件封装了大部分的Libvlc功能，能够有效地实现对视频的控制。该视频UI控件采用InteropBitmap(一种使开发人员能够提高在互操作方案中由WPF承载的非WPF UI呈现性能的类)与共享内存进行视频播放，使得开发人员能够改善视频交互的技术问题。与直接调用Libvlc接口不同，本发明方法不再需要采用建立多个播放线程(即视频UI控件)，每个线程去调用Libvlc播放控制接口的形式，而是直接独立在视频UI控件上，启用委托机制，使得线程之间的交互变得更加完善，能够很好地解决多个Libvlc_media_stop()函数同时使用时阻塞线程导致死锁的技术问题。由于目前机车上的6A视频通道总共有16路(对应于16个视频UI控件)，主线程可以直接控制这16路视频UI控件，统一调度全部16路视频线程，每路视频UI控件都有一个Dispatcher线程控制器，并且每个Dispatcher都只在一个主线程中执行工作项，极大地减少了线程之间交互的复杂度，如果出现视频错误，只会影响出现错误的视频而不会造成线程锁死从而引起视频卡顿。

在步骤S40)中，主线程新建8路或16路视频UI控件，以实现8路或16路视频与机车运行数据的同步展示。通过视频流中的时间信息关联机车运行监控数据，以在离线状态下分析机车运行时的视频信息，并通过与机车运行监控数据相关联的机车视频辅助分析机车运行监控事件。本发明具体实施例描述的视频信息获取方法通过解析到的视频信息，获取机车的车型、车号、运行时间、公里标等信息，并通过这些信息获取机车对应时间的运行数据(视频中包含有时间信息，每一秒的时间变化均对应于每一秒的数据)。通过从视频流中获取时间信息，从对应的数据文件里进行匹配。LKJ分析人员在进行LKJ数据分析的过程中，需要同步观察LKJ事件相关联的机车视频，用于辅助分析LKJ事件，就要先识别视频，再从中去关联LKJ文件中对应的数据。对于机车运行数据与视频的同步展示，本发明具体实施例描述的视频信息获取方法采用WPF框架来实现，WPF是微软推出的基于Windows的用户界面框架，它提供了统一的编程模型、语言和框架，真正做到了分离界面设计人员与开发人员的工作，同时它提供了全新的多媒体交互用户图形界面。该框架能够根据用户的需求，以及常用设计原则，对展示界面进行细致的美化。同时，能够利用硬件加速的高性能，解决当数据量、数据类别过多时，如何在有限的区域内展示用户最关心的数据的技术问题。

本发明具体实施例描述的视频信息获取方法，用于离线状态下分析机车运行时的视频信息，展示并分析了机车行驶过程中的视频信息，机车行驶LKJ监控数据，以及机车项点等信息，确保机车视频监控软件可靠、稳定地运行，为机车运行提供了可靠的数据保障。本发明具体实施例能够有效解决多通道、多格式下视频信息获取困难的技术问题，以及完善VLC播放器线程与视频UI控件之间的交互，解决了当多路视频线程之间交互导致死锁的技术问题，使得主线程能够有效地控制各路视频UI控件，稳定地展示视频数据，同时能够有效地获取并控制视频的状态，确保在软件能够正常显示机车6A监控视频数据。

本发明上述具体实施例描述的视频信息获取方法及其应用，不仅可以适用于机车监控视频信息获取，也适用于动车、城轨等的监控视频信息获取。

通过实施本发明具体实施例描述的视频信息获取方法的技术方案，能够产生如下技术效果：

(1)本发明具体实施例描述的视频信息获取方法及其应用，通过调用FFmpeg进行视频解码，能够实现多通道、多格式下绝大多数视频格式下视频信息的准确获取；

(2)本发明具体实施例描述的视频信息获取方法及其应用，完善了LibVLC调用视频机制，能够大幅减少线程之间交互死锁的可能性；

(3)本发明具体实施例描述的视频信息获取方法及其应用，能够非常方便地实现多路视频与机车运行数据的同步展示，大大减少了二次开发工程量。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明的精神实质和技术方案的情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (10)

1.一种视频信息获取方法，其特征在于，包括以下步骤：

S10)检测程序开始，调用FFmpeg进行两路以上的若干路通道视频解码；

S20)从解码视频中获取所有通道的视频信息；

S30)主线程通过视频信息获取机车运行数据；

S40)主线程新建若干路视频UI控件，视频UI控件与主线程交互，控制视频播放，主线程同步展示机车运行数据，以实现若干路通道视频及机车运行数据的同步展示。

2.根据权利要求1所述的视频信息获取方法，其特征在于，所述步骤S10)中单路通道的视频解码过程进一步包括以下步骤：

S101)读取视频；

S102)解析协议；

S103)根据协议解封装视频；

S104)提取视频中的流信息，确定流类型；

S105)根据流类型解封装视频；

S106)读取视频流信息；

S107)获取视频编码格式信息；

S108)根据视频编码格式信息进行视频解码。

3.根据权利要求1或2所述的视频信息获取方法，其特征在于，所述步骤S40)进一步包括以下过程：

S401)主线程新建N个通道的视频UI控件，并为每个视频UI控件分配一个Dispatcher线程控制器，N≥2；

S402)每个视频UI控件的Dispatcher线程控制器获取该路通道的视频，并生成独立的视频映射器；

S403)解析视频，每个视频UI控件的Dispatcher线程控制器独立控制视频播放；

S404)由主线程分发命令至N个视频UI控件的Dispatcher线程控制器中，再通过主线程控制包括视频播放在内的操作。

4.根据权利要求3所述的视频信息获取方法，其特征在于：所述视频UI控件基于Libvlc开发。

5.根据权利要求4所述的视频信息获取方法，其特征在于，所述视频UI控件的执行过程进一步包括以下步骤：

S501)新建视频UI控件；

S502)将Libvlc调用接口封装到dll；

S503)创建InteropBitmap；

S504)指定内存，将视频加载至InteropBitmap，同时将dll接口函数集成至视频UI控件中；

S505)强制呈现已加载的非WPF视频UI控件。

6.根据权利要求1、2、4或5所述的视频信息获取方法，其特征在于：所述步骤S20)中的视频信息包括但不限于分辨率、帧率、总帧数、时长及编码格式。

7.根据权利要求6所述的视频信息获取方法，其特征在于：所述机车运行数据包括但不限于机车的车型、车号、运行时间、速度、工况、公里标及管压。

8.根据权利要求1、2、4、5或7所述的视频信息获取方法，其特征在于：在所述步骤S40)中，主线程新建8路或16路视频UI控件，以实现8路或16路视频与机车运行数据的同步展示。

9.如权利要求1至8中任一项所述视频信息获取方法在机车6A视频显示中的应用。

10.根据权利要求9所述的应用，其特征在于：通过视频流中的时间信息关联机车运行监控数据，以在离线状态下分析机车运行时的视频信息，并通过与机车运行监控数据相关联的机车视频辅助分析机车运行监控事件。

Images