CN112950951B - 智能信息显示方法、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种智能信息显示方法、电子装置和存储介质，其中，该智能信息显示方法包括：获取双路原始视频流，其中，双路原始视频流分别包括第一图片序列和第二图片序列；对第一图片序列进行视频编码，得到第一编码视频流；以及对第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对第三图片序列进行视频编码，得到第二编码视频流。通过本申请，解决了显示视频与智能信息显示不完全同步的问题，在不影响视频播放速度的情况下，实现了将智能信息同步地显示在视频中。

Description

智能信息显示方法、电子装置和存储介质

技术领域

本申请涉及视频监控技术领域，特别是涉及智能信息显示方法、电子装置和存储介质。

背景技术

在道路交通监控行业，常用高清摄像机抓拍道路上的机动车、非机动车、行人等目标的过车记录或违章行为，违章行为的判断使用智能算法分析出的“人机非”等各种运动或属性等智能信息，例如机动车车牌、车标、颜色及运行轨迹等，高级信息还包括雷达测速、闪光灯爆闪、线圈触发抓拍等。这些智能信息显示在设备的视频或抓图中有助于用户直观、准确地获取设备的详细运行情况。

目前将智能信息显示在设备的视频或抓图中的方法主要是获取视频帧数据，根据待显示视频帧的时间戳，从智能信息缓冲区中查找与待显示视频帧的时间差绝对值小于预设阈值的待叠加智能信息，并叠加至待显示视频帧，由于现有方案中根据时间差值将智能信息与待显示的视频帧进行匹配，会造成智能信息的与待显示的视频帧的时间信息不能完全匹配，产生显示视频与智能信息显示不完全同步的问题。

目前针对相关技术中显示视频与智能信息显示不完全同步的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种智能信息显示方法、电子装置和存储介质，以至少解决相关技术中显示视频与智能信息显示不完全同步的问题。

第一方面，本申请实施例提供了一种智能信息显示方法，包括：

获取双路原始视频流，其中，所述双路原始视频流分别包括第一图片序列和第二图片序列；

对所述第一图片序列进行视频编码，得到第一编码视频流；以及

对所述第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对所述第三图片序列进行视频编码，得到第二编码视频流。

在其中一些实施例中，获取双路原始视频流方式包括：

获取由摄像机采集的原始第一路视频流，复制所述第一路视频流，得到原始第二路视频流。

在其中一些实施例中，获取双路原始视频流方式还包括：

获取由摄像机采集的原始视频流，通过设置不同的快门和/或增益将所述原始视频流分为多路原始视频流，其中，所述多路原始视频流包括第一路原始视频流和第二路原始视频流。

在其中一些实施例中，所述目标对象的特征信息包括：所述目标对象的属性特征信息和/或行为特征信息。

在其中一些实施例中，所述第二图片序列包括多帧图像和每帧图像的帧序号，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列包括：

获取帧序号为n的图像的所述目标对象的特征信息和所述目标对象的特征信息在第n帧图像中的第一位置信息，所述帧序号n与所述第二图片序列的帧序号进行匹配，找到与所述帧序号n对应的第一图像，在所述第一图像中根据所述第一位置信息叠加第n帧图像的目标对象的特征信息，得到包含目标对象的特征信息的第三图片序列，其中，n＝1,2,…,N；N≥1。

在其中一些实施例中，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列之后包括：

在每帧图像中根据所述目标对象的特征信息、所述目标对象的特征信息在对应图像中的位置信息以及帧序号，确定每帧图像中的所述目标对象的特征信息在原始图像中的区域信息，保存原始图像中与所述区域信息对应的差异图像、所述差异图像的帧序号以及差异图像的位置信息。

在其中一些实施例中，所述差异图像的表现形式包括：像素点和/或图像块。

在其中一些实施例中，保存原始图像中与所述区域信息对应的差异图像、所述差异图像的帧序号以及差异图像的位置信息包括：

判断是否需要对所述区域信息对应的差异图像进行压缩；

若是，对所述区域信息对应的差异图像进行压缩后，保存压缩后的差异图像、所述差异图像的帧序号以及差异图像的位置信息。

在其中一些实施例中，判断是否需要对所述区域信息对应的差异图像进行压缩包括：

根据设备存储空间的大小设置第一阈值，在对所述差异图像进行存储时，根据所述差异图像大小确定所需要的存储空间，判断所需要的存储空间是否超过所述第一阈值，若是，对所述区域信息对应的差异图像进行压缩。

在其中一些实施例中，对所述第三图片序列进行视频编码，得到第二编码视频流之后包括：

对差异图像进行编码，得到编码后的差异图像；

在判断需要将所述第二编码视频流还原成原始视频流时，根据所述第二编码视频流得到多帧待还原的图像以及每帧待还原图像的帧序号，根据待还原图像的帧序号找到对应的编码后差异图像，将所述编码后差异图像根据所述差异图像的位置信息叠加至所述待还原图像中，得到还原后图像；

对还原后图像的进行处理得到原始视频流。

在其中一些实施例中，所述方法还包括：

获取当前图像的第一目标对象，根据所述第一目标对象获取前M帧图像中第一目标对象的特征信息，将前M帧图像的所述第一目标对象的特征信息加入当前图像中，在当前的图像中显示前M帧图像的第一目标对象特征信息，其中，M是大于等于1的整数。

在其中一些实施例中，对所述第三图片序列进行视频编码，得到第二编码视频流之后还包括：

在当前图像中显示前P分钟内设备的性能曲线，所述性能曲线以帧序号为横轴，以处理每帧图像的花费时间为纵轴，其中，P≥0。

在其中一些实施例中，对所述第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息之后包括：

以帧序号为索引保存各帧图像中的目标对象的特征信息；

判断所述第一编码视频流中是否需要带有目标对象的特征信息；

若是，根据所述帧序号将各帧图像的目标对象的特征信息叠加到所述第一编码视频流中。

第二方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的智能信息显示方法。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的智能信息显示方法。

相比于相关技术，本申请实施例提供的智能信息显示方法、电子装置和存储介质，通过获取双路原始视频流，其中，所述双路原始视频流分别包括第一图片序列和第二图片序列；对所述第一图片序列进行视频编码，得到第一编码视频流；以及对所述第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对所述第三图片序列进行视频编码，得到第二编码视频流，解决了显示视频与智能信息显示不完全同步的问题，在不影响视频播放速度的情况下，实现了将智能信息同步地显示在视频中。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的智能信息显示方法的应用终端的硬件结构框图；

图2是根据本申请实施例的智能信息显示方法的流程图；

图3是根据本申请优选实施例的智能信息显示方法的流程图；

图4是根据本申请优选实施例的智能信息显示方法的时序图；

图5是根据本申请优选实施例的备份叠加图像的流程图；

图6是根据本申请优选实施例的还原带有智能信息图像的流程图；

图7是根据本申请优选实施例的备份和还原图像的数据结构示意图；

图8是根据本申请优选实施例的智能分析性能曲线示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是根据本申请实施例的智能信息显示方法的应用终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的智能信息显示方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种智能信息显示方法，图2是根据本申请实施例的智能信息显示方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取双路原始视频流，其中，双路原始视频流分别包括第一图片序列和第二图片序列。

步骤S202，对第一图片序列进行视频编码，得到第一编码视频流。

步骤S203，以及对第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对第三图片序列进行视频编码，得到第二编码视频流。

在本实施例中，对第二图片序列中的各帧图像进行智能分析，智能分析主要特征是采用计算机视觉的方法，在几乎不需要人为干预的情况下，通过对摄像机拍录的图像序列进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常管理又能在异常情况发生的时候及时作出反应，主要用来群体行为分析、入侵检测和运动目标跟踪。

通过上述步骤，通过获取双路原始视频流，其中，双路原始数据流分别包括第一图片序列和第二图片序列，对第一路图片序列进行视频编码，得到第一编码视频流；对第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对第三图片序列进行视频编码，得到第二编码视频流，在不影响第一编码视频流播放速度的情况下，实现了将智能信息同步地显示在第二编码视频流中。

在其中一些实施例中，获取双路原始视频流方式包括：获取由摄像机采集的原始第一路视频流，复制第一路视频流，得到原始第二路视频流。

通过上述方式，实现了与原始一路视频流路完全相同的第二路原始视频流的获取，为后续根据两路原始视频流进行处理做准备。

在其中一些实施例中，获取双路原始视频流方式还包括：获取由摄像机采集的原始视频流，通过设置不同的快门和/或增益将原始视频流分为多路原始视频流，其中，多路原始视频流包括第一路原始视频流和第二路原始视频流。

在本实施例中，假设原始视频流包括图片序列，图片序列有10张图像，现在通过设置不同的快门和/或增益将原始视频流分为2路原始视频流，分别为第一路原始视频流和第二路原始视频流，第一路原始视频流包括第一图片序列，第二路原始视频流包括第二图片序列，第一图片序列与第二图片序列相加等于原始视频流中的图片序列，第一图片序列和第二图片序列分别为5张图像。

通过上述方式，实现了将原始视频流分为第一路原始视频流和第二路原始视频流，为后续根据两路原始视频流进行处理做准备。

在其中一些实施例中，目标对象的特征信息包括：目标对象的属性特征信息和/或行为特征信息。

在本实施例中，目标对象的属性特征包括目标对象的颜色、目标对象的形状和目标对象的字符，比如机动车的车牌、车标和机动车的颜色，行为特征信息包括目标对象的轨迹、目标对象的触发事件和目标对象的报警事件，比如抓拍车辆的运行轨迹、抓拍车辆的出现位置、抓拍车辆的出现时间、抓拍车辆时联动的闪光灯的时间以及位置、抓拍车辆时联动线圈的触发时间以及位置、抓拍车辆时雷达的触发时间以及位置以及车辆的闯红灯事件。

在其中一些实施例中，第二图片序列包括多帧图像和每帧图像的帧序号，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列包括如下步骤：

S210，获取帧序号为n的图像的目标对象的特征信息和目标对象的特征信息在第n帧图像中的第一位置信息。

S211，帧序号n与第二图片序列的帧序号进行匹配，找到与帧序号n对应的第一图像。

S212，在第一图像中根据第一位置信息叠加第n帧图像的目标对象的特征信息，得到包含目标对象的特征信息的第三图片序列，其中，n＝1,2,…,N；N≥1。

通过上述步骤，通过根据帧序号将目标对象的特征信息叠加至对应的图像中，实现了包含目标对象的特征信息的第三图片序列的构造，为后续根据第三图片进行编码得到第二编码视频流做准备。

作为另一种可实施方式，第二图片序列包括多帧图像和每帧图像的帧序号，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列包括如下步骤：

S220，在每帧图像中根据目标对象的特征信息、目标对象的特征信息在对应图像中的位置信息以及帧序号，在第二图片序列的每帧图像中截取具有目标对象特征信息的目标图像。

S221，根据帧序号，将目标图像与第二图片序列中对应的图像进行图像融合，得到包含目标对象的特征信息的第三图片序列。

需要说明的是，图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度地提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

通过上述步骤，根据帧序号，将带有目标对象特征信息的目标图像与第二图片序列中对应的图像进行图像融合，实现了包含目标对象的特征信息的第三图片序列的构造，为后续根据第三图片进行编码得到第二编码视频流做准备。

在其中一些实施例中，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列之后包括：

S230，在每帧图像中根据目标对象的特征信息、目标对象的特征信息在对应图像中的位置信息以及帧序号，确定每帧图像中的目标对象的特征信息在原始图像中的区域信息。

S231，保存原始图像中与区域信息对应的差异图像、差异图像的帧序号以及差异图像的位置信息。

通过上述步骤，根据目标对象的特征信息、目标对象的特征信息在对应图像中的位置信息以及帧序号，确定了每帧图像中的目标对象的特征信息在原始图像中的区域信息，实现了原始图像中与区域信息对应的差异图像、差异图像的帧序号以及差异图像的位置信息的保存，为后续根据差异图像还原带有目标对象特征信息的图像做准备。

在其中一些实施例中，差异图像的表现形式包括：像素点和/或图像块。

在本实施例中，差异图像包括字符、车道线和车标，其中，字符和车道线的表现形式为像素点，车标的表现形式为图像块。

在其中一些实施例中，保存原始图像中与区域信息对应的差异图像、差异图像的帧序号以及差异图像的位置信息包括如下步骤：

S2310，判断是否需要对区域信息对应的差异图像进行压缩。

S2311，若是，对区域信息对应的差异图像进行压缩后，保存压缩后的差异图像、差异图像的帧序号以及差异图像的位置信息。

通过上述步骤，在保存压缩后的差异图像、差异图像的帧序号以及差异图像的位置信息之前，根据判断是否需要对区域信息对应的差异图像进行压缩，实现了对差异图像的压缩，减少了保存差异图像所需要的存储空间。

在其中一些实施例中，判断是否需要对区域信息对应的差异图像进行压缩包括如下步骤：

步骤1，根据设备存储空间的大小设置第一阈值。

步骤2，在对差异图像进行存储时，根据差异图像大小确定所需要的存储空间。

步骤3，判断所需要的存储空间是否超过第一阈值，若是，对区域信息对应的差异图像进行压缩。

通过上述步骤，通过将设备存储空间的大小与存储差异图像所需要的存储空间进行比较，确定了是否需要对差异图像进行压缩，减少了保存差异图像所需要的存储空间。

在其中一些实施例中，对第三图片序列进行视频编码，得到第二编码视频流之后包括如下步骤：

步骤S204，对差异图像进行编码，得到编码后的差异图像。

步骤S205，在判断需要将第二编码视频流还原成原始视频流时，根据第二编码视频流得到多帧待还原的图像以及每帧待还原图像的帧序号，根据待还原图像的帧序号找到对应的编码后差异图像，将编码后差异图像根据差异图像的位置信息叠加至待还原图像中，得到还原后图像。

步骤S206，对还原后图像的进行处理得到原始视频流。

通过上述步骤，对差异图像进行编码得到编码后差异图像，根据第二编码视频流得到多帧待还原的图像以及待还原图像的帧序号，根据帧序号以及待还原图像将编码后的差异图像叠加至待还原的图像中，得到还原后图像，并对还原后图像进行处理得到原始视频流，实现了对带有目标对象特征信息的第二编码视频流的还原，为后续进行二次图像分析做准备，二次图像分析包括图像增强和目标属性识别。

在其中一些实施例中，智能信息显示方法还包括如下步骤：

步骤1，获取当前图像的第一目标对象，根据第一目标对象获取前M帧图像中第一目标对象的特征信息。

步骤2，将前M帧图像的第一目标对象的特征信息加入当前图像中，在当前的图像中显示前M帧图像的第一目标对象特征信息，其中，M是大于等于1的整数。

在本实施例中，假设第一目标对象是车牌号为A的抓拍车辆，在前10帧中获取车牌号为A的抓拍车辆的特征信息，将前10帧中车牌号为A的抓拍车辆的特征信息加入当前图像中。

通过上述步骤，通过将前M帧图像中第一目标对象的特征信息加入当前图像，实现了在当前图像中可以查看前面M帧中与第一目标对象相关的特征信息。

在其中一些实施例中，对第三图片序列进行视频编码，得到第二编码视频流之后还包括：

在当前图像中显示前P分钟内设备的性能曲线，性能曲线以帧序号为横轴，以处理每帧图像的花费时间为纵轴，其中，P≥0。

在本实施例中，处理每帧图像的花费时间包括采集每帧图像的花费时间和智能分析每帧图像的花费时间。

通过上述方式，实现了在当前图像中显示前P分钟内设备的性能曲线，方便了开发人员对处理的视频流及时作出调整。

在其中一些实施例中，对第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息之后包括如下步骤：

步骤1，以帧序号为索引保存各帧图像中的目标对象的特征信息。

步骤2，判断第一编码视频流中是否需要带有目标对象的特征信息。

步骤3，若是，根据帧序号将各帧图像的目标对象的特征信息叠加到第一编码视频流中。

通过上述步骤，根据帧序号将各帧图像中的目标对象的特征信息进行保存，在判断第一编码视频流中需要带有目标对象的特征信息时，根据帧序号将各帧图像的目标对象的特征信息叠加到第一编码视频流中，实现了在第一编码视频流中叠加目标对象的特征信息。

下面通过优选实施例对本申请实施例进行描述和说明。

图3是根据本申请优选实施例的智能信息显示方法的流程图。如图3所示，该流程包括如下步骤：

步骤S301，将摄像机采集到的图像，分成图片和视频两路数据流。

将摄像机采集到的图像，分成图片和视频两路数据流。视频路数据流直接送编码器输出视频码流，图片路数据流送智能分析器得到智能信息结果。

步骤S302，根据用户选择开启视频预览或图片智能信息叠加功能。

用户可以根据实际情况来选择开启视频预览或图片智能信息叠加功能，当用户不需要关心每帧图像的智能信息时，可以直接开启视频预览功能，当用户需要查看每帧图像的智能信息时，可以开启智能信息叠加功能。

步骤S303，智能分析图片路数据流中的每一帧图像，将智能分析后的智能信息叠加至同一帧图像上，并显示叠加过智能信息的视频或图片。

当用户选择开启智能信息叠加功能时，会将图片数据流中的每一帧图像进行智能分析，并将智能分析后得到的智能信息叠加至同一帧的图像上，例如用户想将“车辆坐标＝(123，456)”这个字符叠加到图像上显示。首先把引号中的字符Gb2312中文编码，然后从标准中文字库中找到字符对应的字模点阵，点阵就是行列像素信息，然后将点阵逐点叠加在图像yuv像素上，完成一段信息的叠加，最后这帧编码成jpg格式，浏览器等工具就可预览到。图像格式包括YUV、RGB和RAW，经过智能分析后的智能信息包括目标属性、目标轨迹、触发事件和报警事件。

步骤S304，智能信息的备份以及将带有智能信息的视频或图片进行还原。

在叠加智能信息的同时，根据每一帧图像的帧序号，确定智能信息在每一帧图像中对应的区域信息，根据帧序号，在原始图像中确定区域信息对应的叠加图像，将叠加图像、叠加图像的帧序号以及叠加图像在原始图像中的位置信息存储起来，当需要恢复原图时，根据帧序号找到对应的叠加图像，然后二次叠加到带有智能信息的图像中，得到叠加前的原始图像。

叠加图像的表现形式包括像素点和图像块，当叠加图像的表现形式是图像块，比如矩形区域，在图像还原时可以直接拷贝矩形区域而不是逐点逐像素描绘，提高可操作性；当叠加图像面积较大过度消耗系统内存资源时，可以根据存储叠加图像所消耗存储空间的大小，压缩备份的叠加图像，然后根据用户选择是否恢复图像来对备份后的叠加图像解压，将解压后的叠加图像二次叠加到带有智能信息的图像中，恢复成原始图像。

步骤S305，智能信息在交通场景中的应用。

交通摄像机主要抓取道路交通的过车记录或违章行为，例如卡口、闯红灯、行人礼让、非机动车超载等，可以通过智能分析实现这些功能。大部分情景用户只需记录当前帧的智能结果显示在抓图或者录像上面，最后显示在图片中的信息可能只是简单的字符信息、状态报告等，不够直观丰富。

通过本申请，用户可以快速、准确预览违章图片所对应的详细智能信息，例如，某车辆出现首次出现的位置(包含时间和帧序)、车辆压过线圈的时间和位置、车辆收到雷达信号的位置、车辆关联触发闪光灯的位置、抓图中存在多个车辆哪个是感兴趣车辆、闯红灯时红绿灯的状态和设备的智能分析性能。

通过上述步骤，在视频数据流基础上扩展出一路图片数据流进行智能分析，并根据帧序号将智能分析后的智能信息叠加至对应的图像中，将叠加智能信息后的图像进行编码，得到带有智能信息的图像或视频，来实现智能信息显示完全同步，另外，由摄像机采集的原监控视频的流畅性不受智能分析、叠加显示功能的影响。

图4是根据本申请优选实施例的智能信息显示方法的时序图，如图4所示，

采集模块采集两路数据流，分别为视频帧序列和图片帧序列，视频帧序列送入第一编码模块得到监控录像，图片帧序列包括多帧图像和每帧图像的帧序号，在判断需要在图像帧序列中的每帧图像中叠加智能信息时，将图片帧序列中的图像经过智能分析后获得的智能信息叠加至原始图像中，获得带有智能信息的图像，带有智能信息的图像送入第二编码模块，得到相应的智能录像或智能图像，供客户端显示播放，其中，对带有智能信息的图像进行mjpeg编码时得到智能图像，对带有智能信息的图像进行h264或h265编码时得到智能录像。由于同一帧的图像和这一帧图像经过智能分析结果本身是匹配的，帧序号相同，因此叠加后的图片或视频是完全同步的，预览到的智能信息完全属于同一帧的视频或图片，不存在显示不同步问题。

在摄像机设备业务流中，经过智能分析后的图像，有可能还会被继续用于其他图像处理例如车牌、车窗、人脸图像增强，叠加智能信息后的图像显然会干扰这些图像后处理的效果。因此，在智能信息叠加的同时，需要将叠加图像进行备份，根据备份的叠加图像将智能图像还原成原始图像，图像还原后，可以继续送入二次分析，比如，进行车辆的车标、车系等属性识别，车窗、人脸局部增强处理的等，如此，不会约束业务数据流向，例如必须在所有业务处理结束后，才能编码智能视频，灵活度高，可实现摄像机更加丰富的功能组合。

图5是根据本申请优选实施例的备份叠加图像的流程图，如图5所示，备份叠加图像包括如下步骤：

步骤S501，根据帧序号，在原始图像中确定区域信息对应的叠加图像。

步骤S502，计算叠加图像大小。

步骤S503，判断是否需要对叠加图像进行压缩。

在本实施例中，当用户订阅的智能信息内存消耗较大时，例如以标题的形式打印显示了本帧的一些详细信息(包含时间戳、帧序号、帧标记、目标详细信息及其历史信息等)需要较大的内存备份叠加图像，则通过图像的面积大小设置预设值，大于预设值时则进入步骤S504，否则，进入步骤S505。

步骤S504，对叠加图像进行压缩，得到压缩后的叠加图像。

步骤S505，备份叠加图像。

通过上述步骤，通过图像的面积大小来设置预设值，根据预设值来判断是否需要对叠加图像进行压缩，并将叠加图像进行备份，实现了叠加图像的备份，为后续将带有智能信息的图像还原成原始图像做准备。

图6是根据本申请优选实施例的还原带有智能信息图像的流程图，如图6所示，备份叠加图像包括如下步骤：

步骤S601，获取备份的叠加图像。

步骤S602，判断是否属于压缩格式。

若是，进入步骤S603，若否，进入步骤S604。

步骤S603，对叠加图像进行解压缩。

步骤S604，将叠加图像二次叠加至带有智能信息的图像中。

通过上述步骤，在判断叠加图像是压缩格式时，将叠加图像进行解压缩后再二次叠加到带有智能信息的图像中，实现了将带有智能信息的图像还原成原始图像，为后续进行二次分析做准备，二次分析包括图像增强和目标属性识别。

图7是根据本申请优选实施例的备份和还原图像的数据结构示意图，如图7所示，对N帧图像进行备份和还原操作，Frame表示图像，GuiEnc对象包括了备份操作和图像数据两个数据结构，GuiDec对象包括了还原操作和图像数据两个数据结构，图像数据包括叠加数据和原始数据，备份和还原采用对称的操作。备份时可以备份叠加数据和原始数据，原始数据可以用于恢复叠加了智能信息的图像，叠加数据也用于恢复叠加了智能信息的图像，但备份的原始数据远大于叠加数据，因为原始数据将整张原始图像进行备份，所需要的存储空间也会更多。

备份的叠加数据以及原始数据的表现形式包括像素点和图像块，在数据的表现形式是图像块时，叠加还原时直接通过图像帧序号索引，检索到相应的原始图像，调用还原操作回调函数CpuCpy或DmaCpy，即可恢复原始图像，不需要再次对智能信息逐个解析和进行描点操作，效率较高。对于像素点形式的数据，可以记录像素点位置信息和像素点数据，也可以将像素点数据放大到一定面积的图像块数据，然后进行存储，便于直接使用软件或者硬件DMA操作直接恢复待还原图像，而不用逐点描图，简化操作，其中，CpuCpy拷贝函数需要CPU的参与进行拷贝，DmaCpy可以直接内存访问，不需要CPU的参与即可实现拷贝。

需要说明的是，DMA(全称为Direct Memory Access，直接存储器访问)是所有现代电脑的重要特色，它允许不同速度的硬件装置来沟通，而不需要依赖于CPU的大量中断负载。否则，CPU需要从来源把每一片段的资料复制到暂存器，然后把它们再次写回到新的地方。在这个时间中，CPU对于其他的工作来说就无法使用。

在其中一个实施例中，智能信息在交通场景中的应用包括在抓拍的图片中显示爆闪灯时间以及位置。

通过上述方式，在抓拍图片中显示爆闪灯时间以及位置，用于设置闪光灯触发时间或雷达触发角度，便于摄像机的安装配置。

在其中一个实施例中，智能信息在交通场景中的应用包括在当前图像中显示智能分析性能曲线。以图片帧横向为x轴，x轴显示帧序列号；以图像纵向为y轴，且y轴表示处理图像的耗时，智能分析性能曲线可以表示各个模块的性能，各个模块包括采集模块、编码模块和智能模块。例如，常用交通摄像机的智能分析帧率为12.5帧/秒，分辨率大小9MP，这样在一幅图像中，一行智能性能曲线，能显示约5分钟时间内的每一帧性能波动范围，完全满足一般的应用场合；对于小分辨率的设备，可通过级联多行曲线，即当一行显示不全设置时间内的智能性能曲线，可以在第二行或者第三行显示智能性能曲线，图8是根据本申请优选实施例的智能分析性能曲线示意图。

通过上述方式，在当前图像中显示智能性能曲线，便于用户直观、精确地预览到设备智能分析能力。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取双路原始视频流，其中，双路原始视频流分别包括第一图片序列和第二图片序列。

S2，对第一图片序列进行视频编码，得到第一编码视频流。

S3，以及对第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据第二图片序列和目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对第三图片序列进行视频编码，得到第二编码视频流。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的智能信息显示方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种智能信息显示方法。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种智能信息显示方法，其特征在于，包括：

获取双路原始视频流，其中，所述双路原始视频流分别包括第一图片序列和第二图片序列；

对所述第一图片序列进行视频编码，得到第一编码视频流；以及

对所述第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列，对所述第三图片序列进行视频编码，得到第二编码视频流；

所述第二图片序列包括多帧图像和每帧图像的帧序号，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列包括：获取帧序号为n的图像的所述目标对象的特征信息和所述目标对象的特征信息在第n帧图像中的第一位置信息，所述帧序号n与所述第二图片序列的帧序号进行匹配，找到与所述帧序号n对应的第一图像，在所述第一图像中根据所述第一位置信息叠加第n帧图像的目标对象的特征信息，得到包含目标对象的特征信息的第三图片序列，其中，n=1,2,…,N；N≥1；

根据用户选择显示所述第一编码视频流或所述第二编码视频流。

2.根据权利要求1所述的智能信息显示方法，其特征在于，获取双路原始视频流方式包括：

获取由摄像机采集的原始第一路视频流，复制所述第一路视频流，得到原始第二路视频流。

3.根据权利要求1所述的智能信息显示方法，其特征在于，获取双路原始视频流方式还包括：

获取由摄像机采集的原始视频流，通过设置不同的快门和/或增益将所述原始视频流分为多路原始视频流，其中，所述多路原始视频流包括第一路原始视频流和第二路原始视频流。

4.根据权利要求1所述的智能信息显示方法，其特征在于，所述目标对象的特征信息包括：所述目标对象的属性特征信息和/或行为特征信息。

5.根据权利要求1所述的智能信息显示方法，其特征在于，根据所述第二图片序列和所述目标对象的特征信息，构造包含目标对象的特征信息的第三图片序列之后包括：

在每帧图像中根据所述目标对象的特征信息、所述目标对象的特征信息在对应图像中的位置信息以及帧序号，确定每帧图像中的所述目标对象的特征信息在原始图像中的区域信息，保存原始图像中与所述区域信息对应的差异图像、所述差异图像的帧序号以及差异图像的位置信息。

6.根据权利要求5所述的智能信息显示方法，其特征在于，所述差异图像的表现形式包括：像素点和/或图像块。

7.根据权利要求5所述的智能信息显示方法，其特征在于，保存原始图像中与所述区域信息对应的差异图像、所述差异图像的帧序号以及差异图像的位置信息包括：

判断是否需要对所述区域信息对应的差异图像进行压缩；

若是，对所述区域信息对应的差异图像进行压缩后，保存压缩后的差异图像、所述差异图像的帧序号以及差异图像的位置信息。

8.根据权利要求7所述的智能信息显示方法，其特征在于，判断是否需要对所述区域信息对应的差异图像进行压缩包括：

根据设备存储空间的大小设置第一阈值，在对所述差异图像进行存储时，根据所述差异图像大小确定所需要的存储空间，判断所需要的存储空间是否超过所述第一阈值，若是，对所述区域信息对应的差异图像进行压缩。

9.根据权利要求1所述的智能信息显示方法，其特征在于，对所述第三图片序列进行视频编码，得到第二编码视频流之后包括：

对差异图像进行编码，得到编码后的差异图像；

在判断需要将所述第二编码视频流还原成原始视频流时，根据所述第二编码视频流得到多帧待还原的图像以及每帧待还原图像的帧序号，根据待还原图像的帧序号找到对应的编码后差异图像，将所述编码后差异图像根据所述差异图像的位置信息叠加至所述待还原图像中，得到还原后图像；

对还原后图像的进行处理得到原始视频流。

10.根据权利要求1所述的智能信息显示方法，其特征在于，所述方法还包括：

获取当前图像的第一目标对象，根据所述第一目标对象获取前M帧图像中第一目标对象的特征信息，将前M帧图像的所述第一目标对象的特征信息加入当前图像中，在当前的图像中显示前M帧图像的第一目标对象特征信息，其中，M是大于等于1的整数。

11.根据权利要求1所述的智能信息显示方法，其特征在于，对所述第三图片序列进行视频编码，得到第二编码视频流之后还包括：

在当前图像中显示前P分钟内设备的性能曲线，所述性能曲线以帧序号为横轴，以处理每帧图像的花费时间为纵轴，其中，P≥0。

12.根据权利要求1所述的智能信息显示方法，其特征在于，对所述第二图片序列中的各帧图像进行分析，得到各帧图像中的目标对象的特征信息之后包括：

以帧序号为索引保存各帧图像中的目标对象的特征信息；

判断所述第一编码视频流中是否需要带有目标对象的特征信息；

若是，根据所述帧序号将各帧图像的目标对象的特征信息叠加到所述第一编码视频流中。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至12中任一项所述的智能信息显示方法。

14.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至12中任一项所述的智能信息显示方法。

Images