CN102595099A - 一种基于认知技术的视频数据合成方法 - Google Patents

Abstract

本发明公开了属于自动化系统的故障诊断系统领域的一种基于认知技术的视频数据合成方法。它包括以下步骤：1)检查视频监控系统的线路是否正常；2)进行数据加密，将加密的数据存储到视频监控系统数据服务器中；3)实现视频数据和物品电子标签数据的定位与整合；4)利用步骤3)中产生的视频数据和物品电子标签数据、温湿度数据的对应关系，在视频监控系统中对需要叠加具体字符生成文字信号，同时查到该图像在视频监控系统数据服务器中的记录文字信号；将上述两种文字信号进行比较。本发明的有益效果包括：1)实现视频数据与需要叠加的数据的关联；2)实现数据防伪；3)判断线路是否出现意外情况；4)监控流程操作人员是否规范工作。

Description

一种基于认知技术的视频数据合成方法

技术领域

本发明属于自动化系统的故障诊断系统领域，特别涉及一种基于认知技术的视频数据合成方法。

背景技术

视频叠加的基本原理是通过控制高速模拟开关切换原始视频信息和叠加信息，按照电视制式的扫描时序，在显示字符的像素点上，切换显示字符点阵数据，这样，就实现了在视频信号上叠加字符。字符点阵数据由单片机通过PC机发送给它的图形点阵信息自行生成，单片机和PC机通过串口通信，在PC机的支持下可以对字符内容进行在线修改、实时更新，并对显示内容的位置进行实时的控制。

电视的两个相邻的场扫描之间有一个1000μs的时间间隔，称为“场消隐期”。在电视广播技术中常利用这一间隔进行数据传输，视频叠加器的刷新也可仿效该方法利用场消隐期实现：由单片机(MCU)负责帧存随机存储器的写入信息和刷新信息，同时由单片机将随机存储器中的字符信息通过写端口的方式传送给现场可编程门阵列(FPGA)，并由现场可编程门阵列完成叠加工作。但由于单片机端在场扫描期间要向现场可编程门阵列发送数据，这就会使单片机接近满荷运行，因而对随机存储器的刷新工作只能在场消隐期(1000μs的时间间隔内)进行，刷新速度慢，而且限制了单片机和PC机的通信时间，使得系统无法完成复杂的字幕叠加，能叠加的字符数目少，动态特性差。

实时生成文字图片加载显示可以实现视频与文字的实时叠加。这种方法是基于PC的桌面型软件广泛采用的方法。它首先提取字符的TextMetric和ABC结构，从而获取字符的显示大小，以此大小建立一个图片(Bitmap)，然后使用TextOut类函数输出文字，最后从这个图片上提取字符的轮廓信息，动态叠加到图像的相应位置上。此方法的优点是不需要单独的字体资源，直接使用操作系统支持的字体即系统已经安装过的字体；缺点是实时生成图片需要消耗CPU时间片和内存，执行效率不高。

多点控制器叠加字幕的具体思路如下：多点控制器首先把网络接收的终端视频数据解码成YUV格式(或RGB格式)，再利用前面提到的“实时生成文字图片加载显示”方法对图像数据(YUV格式或RGB格式)进行字幕叠加，将叠加后的数据进行编码，最后将编码后带字幕显示的视频数据发送到网络中，这样终端接收后就能够显示带有字幕的图像了。具体操作流程如图1所示。

目前，视频叠加主要是依据字幕叠加或者是基于电子芯片技术实现。考虑到冷链物流视频监控中对视频叠加的实时性、动态性和防伪性的要求，本发明主要解决以下问题：

(1)视频信息与物流信息合成问题。近年来，视频监控得到了迅速的发展，应用范围不断地扩展。尤其在冷链物流安全监管中，视频信息是不可缺少的，但是在生产、仓储、运输和销售等各个物流环节中的视频信息仅仅被用于安全监控，只是接收外部数据并把相关的信息实时地连同图像显示在监控屏幕上，无法实现视频信息中对物品的识别。

(2)信息安全性问题。对于视频实时监控，要实现视频监控端接收到图像的真实性和实时性之外，还要保证视频信息的安全性，即要对视频数据要进行防伪加密，同时，对于物流各个环节采集的物流信息也有安全性、防篡改的要求。

认知技术是未来通信领域的一个重要研究领域，将人类的认知概念引入到通信系统的方法产生于上世纪九十年代，其中最具代表性的就是认知无线电技术(Cognitive Radio)。认知行为模型首先检测网络当前的状态，然后根据观察到的网络条件和参数进行调整、判决、执行。认知技术使得通信实体具有认知周围环境的能力，并能根据周围环境的变化智能、自主、自适应地动态变化。将认知的概念和功能引入现有的信息网络，就构成了认知网络(Cognitive Network)。

与本发明提供的技术方案最接近的现有技术是“实时生成文字图片加载显示”(邢林虎.《视频会议系统中字幕的显示方法》[J].科技信息(学术版)，2008(15))。该方法使用将文字建立成图片，然后从图片上读取文字轮廓信息。该方法有字符转换成图片的复杂性，还需要消耗CPU时间片和内存，效率低下，没有数据防伪检测机制保护等不足。本发明中字符不转换成图片，具有数据防伪功能，利用了认知技术提高认知效率等改进点。

发明内容

本发明针对上述缺陷公开了一种基于认知技术的视频数据合成方法。

本发明主要应用于视频监控系统中，是监控软件的组成技术。视频监控系统主要包括：摄像头(放置位置不定)、计算机(内有视频监控软件(DVR)、服务器(存储系统中指定的存储数据)、读写器(放在采集数据方便的位置，不能指定)以及连接各个硬件设备的网线、电线等。

本发明主要利用以下三个模块：视频数据与物流数据定位模块、数据防伪模块和检测机制模块。以上这三个模块均为视频监控软件(DVR)的组成部分。本发明采用认知技术提高检测效率有效防伪，使用字符像素叠加到视频信息中降低消耗CPU时间片和内存，利用存储信息的关键字对视频数据和物流数据进行定位，周期检测叠加数据。对视频数据合成的效率、防伪、检测有有效的改善。

一种基于认知技术的视频数据合成方法包括以下步骤：

1)检查视频监控系统的线路是否正常，若正常，采集视频数据，并将其存储在视频监控系统的数据服务器中；反之进行报错，并重新开始检查视频监控系统的线路；

2)对视频监控系统中摄像机传来的视频数据加密，对读写器读取的文字信息和温湿度传感器采集到的温湿度信息加密，将上述两种加密的数据存储到视频监控系统数据服务器中；

3)对于摄像机、读写器、温湿度传感器和物品电子标签都设置唯一的ID数据，并通过物品的位置信息和时间信息来实现视频数据和物品电子标签数据的定位与整合；

4)在确认信号传输线路无异常后，摄像机、读写器和温湿度传感器开始工作，从而生成图像信息和文字信息，利用步骤3)中产生的视频数据和物品电子标签数据、温湿度数据的对应关系，在视频监控系统中对需要叠加具体字符生成文字信号，同时查到该图像在视频监控系统数据服务器中的记录文字信号；将上述两种文字信号进行比较；如果两者相等，则确认标志出现，进程继续；如果两者不等，报警出错并返回步骤1)，此时，阻止下一步进行，以此防止因信号传输线路被随意改动而导致伪图像的引入。

所述步骤2)具体包括以下步骤：

物品电子标签设置唯一的ID数据，并将其存放在电子标签的只读存储器中，读写器读取物品电子标签的ID数据，利用物品电子标签的ID数据的唯一性和不可更改性，将物品电子标签的ID数据经逻辑加密运算，产生加密数据后写入物品电子标签的用户可读写存储器中，使能够改写的用户可读写存储器与不能改写的物品电子标签的ID数据形成约定的逻辑关系；非法用户虽然能读取出和写入加密数据，但无法改变本物品电子标签的ID数据，达到了防伪目的；根据唯一标识符使每个物品电子标签形成为唯一的加密数据码，防止了伪造电子标签行为。

所述步骤3)具体包括以下步骤：

安装一台摄像机时，就要配备读写器和温湿度传感器，读写器的数量为多个，温湿度传感器的数量为一个或多个，读写器和温湿度传感器读取处于该摄像机能够监控到的区域内的所有物品电子标签的ID数据；摄像机与读写器通过位置来建立对应关系，温湿度传感器通过时间与摄像机的视频数据建立对应关系，读写器与物品电子标签通过位置和时间来建立对应关系，从而有利于进行数据检索；

视频数据通过读写器与物品电子标签携带的数据建立对应关系，具体说明如下：视频数据与摄像机的ID数据存在一一映射关系，物品上的电子标签经过多个摄像机和多个读写器的读取后，会存储不同的时间和地点信息；物品电子标签的时间数据是不会重复的，物品电子标签通过时间建立与视频数据的关联，能使该时间点下的物品电子标签数据与视频数据相对应；

在读写器读取物品电子标签的ID数据时，在物品电子标签中加入读写器所在的位置和读写操作发生时间，在物品位置不断变化过程中，读写器不断更新物品的时间信息和位置信息；通过物品电子标签的ID数据、时间、位置这三个参数对物品电子标签数据和视频数据进行有机联系，从而实现两者的整合以及查询信息的完整性，为字符叠加提供关联基础；通过使用这样的方法对所有的物品电子标签数据与视频数据整合，并且无论该环境下有多少摄像机和物品，都可以利用这三个参数来进行定义与整合。

所述确认信号传输线路无异常的过程如下：

首先，为了信号的同步检测，需要在视频监控系统实际使用之前，预先在采集到的视频数据中设置对应相关的文字数据；具体说明如下：建立视频数据和物品电子标签数据的对应关系，在视频监控系统数据服务器中添加需要叠加的文字信号，组成记录文字信号队列；在设置叠加文字信号时，根据预先设定好的记录文字信号队列，在读卡器中设置对应的文字信号，使得电子标签中的信息符合记录文字信号队列的信息要求；

其次，主控端也按照相同的记录文字信号队列，每隔一个可设置周期，从视频监控系统数据服务器中取图像数据进行检测，比较读卡器和传感器采集到的文字信息与记录字符信号队列中的信息，以判断信号传输线路是否出现意外情况；一旦信号传输线路被拆动，主控端给出的确认标识将不再显示，从而检测出被监控方人员随意拆动监控系统的行为。

本发明的有益效果包括：

1)实现视频数据与需要叠加的数据的关联；

2)实现数据的防伪；

3)能判断线路是否出现意外情况；

4)有效监控流程操作人员是否规范工作。

附图说明

图1为MCU端字幕叠加流程示意图；

图2为数据合成流程图；

图3为数据加密过程示意图；

图4为摄像机、读写器、温湿度传感器和物品电子标签的数据关系示意图；

图5为视频数据和物品电子标签数据关系示意图；

图6为视频监控系统初始设置示意图；

图7为字符叠加检测机制原理图。

具体实施方式

下面结合附图对本发明的实施例具体说明：

叠加信息的存储办法有信息存储和整屏存储两种。后者存储全部屏幕映像，而前者只存储叠加内容及其位置信息。本发明采用的是存储完整的屏幕映像的方法，屏幕上每一个像素点都与随机存储器(RAM)存储单元的1位对应，显然这种方案使对屏幕上字符的显示及编辑更加灵活，但需要一定容量的内存及较高的数据传输率。

解决上述发明的模块和关键技术问题，就可以进行视频数据叠加合成了，一下举例详细描述该方法的流程。

如图2所示，一种基于认知技术的视频数据合成方法包括以下步骤：

1)检查视频监控系统的线路是否正常，若正常，采集视频数据，并将其存储在视频监控系统的数据服务器中；反之进行报错，并重新开始检查视频监控系统的线路；

2)对视频监控系统中摄像机传来的视频数据加密，对读写器读取的文字信息和温湿度传感器采集到的温湿度信息加密，将上述两种加密的数据存储到视频监控系统数据服务器中；

3)对于摄像机、读写器、温湿度传感器和物品电子标签都设置唯一的ID数据，并通过物品的位置信息和时间信息来实现视频数据和物品电子标签数据的定位与整合；

4)在确认信号传输线路无异常后，摄像机、读写器、温湿度传感器开始工作，从而生成图像信息和文字信息，利用步骤3)中产生的视频数据和物品电子标签数据、温湿度数据的对应关系，在视频监控系统中对需要叠加具体字符生成文字信号，(该文字信号可以是“时间-动作-温度-湿度-猪肉编号-读写器编码”，例如“14:00 15/12/2011-屠宰-3℃-70％-****-0002”“14:20 15/12/2011-品控化验-5℃-70％-****-0003”，两条记录时间差为+20分钟，屠宰下一步为品控化验，屠宰时读写器为0002，品控化验时读写器为0003)，同时查到该图像在视频监控系统数据服务器中的记录文字信号，该文字信号(指已经存储在服务器里的步骤2)中的关键属性(“时间-动作-温度-湿度-猪肉编号-读写器编码”，可能是“14:00 5/12/2011-屠宰-5℃-60％-0000-0002”“14:23 5/12/2011-品控化验-5.5℃-76％-0000-0003”前后两步时间差为23分，屠宰下一步为品控化验，屠宰时读写器为0002，品控化验时读写器为0003；系统允许的时间差为28＞23＞18，温度信息偏差为1℃，湿度信息偏差为10％，读写器编码需要完全对应，猪肉编号无需检测；)，将上述两种文字信号进行比较；如果两者相等，则确认标志出现，进程继续；如果两者不等，报警出错并返回步骤1)，此时，则阻止下一步进行，以此防止因信号传输线路被随意改动而导致伪图像的引入。

举例说明如何判断上述两种文字信号相等：在品控化验这一步中，时间20在允许时间范围内；温度信息5℃比1中5.5℃少0.5℃，系统允许；湿度信息70％在76％偏差10％的范围内；读写器编码完全对应，说明两者相等；按上述条件分析，任何一条条件不满足，说明两者不等。

所述步骤2)(对读写器读取及由温湿度传感器感知的文字信息加密)具体包括以下步骤：

如图3所示，物品电子标签设置唯一的ID数据，并将其存放在电子标签的只读存储器中，读写器读取物品电子标签的ID数据，利用物品电子标签的ID数据的唯一性和不可更改性，将物品电子标签的ID数据经逻辑加密运算，产生加密数据后写入物品电子标签的用户可读写存储器中，使能够改写的用户可读写存储器与不能改写的物品电子标签的ID数据形成约定的逻辑关系；非法用户虽然能读取出和写入加密数据，但无法改变本物品电子标签的ID数据，达到了防伪目的；根据唯一标识符(UID)使每个物品电子标签形成为唯一的加密数据码，防止了伪造电子标签行为。

所述步骤3)具体包括以下步骤：

如图4所示，在某一位置安装一台摄像机时，就要配备读写器和温湿度传感器，读写器的数量为多个，温湿度传感器的数量为一个或多个，读写器和温湿度传感器读取处于该摄像机能够监控到的区域内的所有物品电子标签的ID数据；由于摄像机的ID数据与读写器的ID数据的对应关系是一对多，而读写器的ID数据和物品电子标签的ID数据的对应关系是多对多，所以以上三者不能通过ID数据来建立对应关系，在本发明中，摄像机与读写器通过位置来建立对应关系(在相同的位置，一个摄像机对应于一个读写器，一个温湿度传感器)，温湿度传感器通过时间与摄像机的视频数据建立对应关系，读写器与物品电子标签通过位置和时间来建立对应关系(在位置和时间都相同时，一个读写器对应于一个物品电子标签)，从而有利于进行数据检索；

如图5所示，视频数据通过读写器与物品电子标签携带的数据建立对应关系，具体说明如下：视频数据与摄像机的ID数据存在一一映射关系，物品上的电子标签经过多个摄像机和多个读写器的读取后，会存储不同的时间和地点信息；物品电子标签的时间数据是不会重复的，物品电子标签通过时间建立与视频数据的关联，能使该时间点下的物品电子标签数据与视频数据相对应；

在读写器读取物品电子标签的ID数据时，在物品电子标签中加入读写器所在的位置和读写操作发生时间，在物品位置不断变化过程中，读写器不断更新物品的时间信息和位置信息(读写器读取物品电子标签的ID数据时，读写器所在的位置和读写操作发生时间，物品进入摄像机视野的时间和位置)；通过物品电子标签的ID数据、时间、位置这三个参数对物品电子标签数据(指ID数据、时间数据和位置数据)和视频数据进行有机联系，从而实现两者的整合以及查询信息的完整性，为字符叠加提供关联基础；通过使用这样的方法对所有的物品电子标签(RFID)数据与视频数据整合，并且无论该环境下有多少摄像机和物品，都可以利用这三个参数来进行定义与整合。

所述确认信号传输线路无异常的过程如下：

引入认知技术，就能够在视频监控系统软件字符叠加检测机制帮助下，实时同步检测，从而保障正确的操作，当操作出错时，会报错；

首先，如图6所示，为了信号的同步检测，需要在视频监控系统实际使用之前，在采集视频数据时设置好对应的文字数据；具体说明如下：设置叠加字符信号时，根据实际操作经验，每隔一个可设置周期(实际动作时间间隔)，依次在图像视频对应的文字信息中对应存储的文字信号，组成记录文字信号队列；由此建立视频数据和物品电子标签数据以及温湿度信息控制条件的对应关系，使得电子标签中的信息符合记录文字信号队列的信息要求(包括步骤名称等不变信息，可变信息如时间、温湿度等不要求符合。例如：摄像头从生猪进屠宰车间开始采集视频数据，在屠宰到品控化验两步骤的20分首末，需要在视频监控系统中手工设置“时间-动作-温度-湿度-猪肉编号-读写器编码”为“实际时间-屠宰-***-***-***-***”和“实际时间-品控化验-***-***-****-***”)。

其次，如图7所示，主控端(摄像机后面的监控软件DVR的一部分，使用到认知技术，存储了唯一标识摄像机、温湿度传感器、读卡器的常用数据(如摄像机的ID、读卡器的ID)，有检测作用)也按照相同的记录文字信号队列，每隔一个可设置周期(实际动作时间间隔)，从视频监控系统数据服务器中取图像数据进行检测，比较读卡器和传感器采集到的文字信息与记录字符信号队列中的信息，(时间-动作-温度-湿度-猪肉编号-读写器编码等信息)，以判断信号传输线路(传输来的视频数据变化过大，关键字与视频数据完全不符合，说明整个监控系统出现意外情况)是否出现意外情况；一旦信号传输线路被拆动，主控端给出的确认标识将不再显示，从而检测出被监控方人员随意拆动监控系统的行为。

本发明中提到的字符不确定，按照本发明应用的系统要求而定，例如物流监控系统需要的产品编号、温湿度信息；道路监控系统则可能需要道路信息、车辆信息等。

本发明通过三维定位技术实现视频数据和字符数据的关联，同时通过认知技术提高视频数据和字符数据合成效率，同时根据关键字检测视频内容，实现视频数据与字符数据的防伪。

Claims (4)

1.一种基于认知技术的视频数据合成方法，其特征在于，包括以下步骤：

1)检查视频监控系统的线路是否正常，若正常，采集视频数据，并将其存储在视频监控系统的数据服务器中；反之进行报错，并重新开始检查视频监控系统的线路；

2)对视频监控系统中摄像机传来的视频数据加密，对读写器读取的文字信息和温湿度传感器采集到的温湿度信息加密，将上述两种加密的数据存储到视频监控系统数据服务器中；

3)对于摄像机、读写器、温湿度传感器和物品电子标签都设置唯一的ID数据，并通过物品的位置信息和时间信息来实现视频数据和物品电子标签数据的定位与整合；

4)在确认信号传输线路无异常后，摄像机、读写器和温湿度传感器开始工作，从而生成图像信息和文字信息，利用步骤3)中产生的视频数据和物品电子标签数据、温湿度数据的对应关系，在视频监控系统中对需要叠加具体字符生成文字信号，同时查到该图像在视频监控系统数据服务器中的记录文字信号；将上述两种文字信号进行比较；如果两者相等，则确认标志出现，进程继续；如果两者不等，报警出错并返回步骤1)，此时，阻止下一步进行，以此防止因信号传输线路被随意改动而导致伪图像的引入。

2.根据权利要求1所述的一种基于认知技术的视频数据合成方法，其特征在于，所述步骤2)具体包括以下步骤：

物品电子标签设置唯一的ID数据，并将其存放在电子标签的只读存储器中，读写器读取物品电子标签的ID数据，利用物品电子标签的ID数据的唯一性和不可更改性，将物品电子标签的ID数据经逻辑加密运算，产生加密数据后写入物品电子标签的用户可读写存储器中，使能够改写的用户可读写存储器与不能改写的物品电子标签的ID数据形成约定的逻辑关系；非法用户虽然能读取出和写入加密数据，但无法改变本物品电子标签的ID数据，达到了防伪目的；根据唯一标识符使每个物品电子标签形成为唯一的加密数据码，防止了伪造电子标签行为。

3.根据权利要求1所述的一种基于认知技术的视频数据合成方法，其特征在于，所述步骤3)具体包括以下步骤：

安装一台摄像机时，就要配备读写器和温湿度传感器，读写器的数量为多个，温湿度传感器的数量为一个或多个，读写器和温湿度传感器读取处于该摄像机能够监控到的区域内的所有物品电子标签的ID数据；摄像机与读写器通过位置来建立对应关系，温湿度传感器通过时间与摄像机的视频数据建立对应关系，读写器与物品电子标签通过位置和时间来建立对应关系，从而有利于进行数据检索；

视频数据通过读写器与物品电子标签携带的数据建立对应关系，具体说明如下：视频数据与摄像机的ID数据存在一一映射关系，物品上的电子标签经过多个摄像机和多个读写器的读取后，会存储不同的时间和地点信息；物品电子标签的时间数据是不会重复的，物品电子标签通过时间建立与视频数据的关联，能使该时间点下的物品电子标签数据与视频数据相对应；

在读写器读取物品电子标签的ID数据时，在物品电子标签中加入读写器所在的位置和读写操作发生时间，在物品位置不断变化过程中，读写器不断更新物品的时间信息和位置信息；通过物品电子标签的ID数据、时间、位置这三个参数对物品电子标签数据和视频数据进行有机联系，从而实现两者的整合以及查询信息的完整性，为字符叠加提供关联基础；通过使用这样的方法对所有的物品电子标签数据与视频数据整合，并且无论该环境下有多少摄像机和物品，都可以利用这三个参数来进行定义与整合。

4.根据权利要求1所述的一种基于认知技术的视频数据合成方法，其特征在于，所述确认信号传输线路无异常的过程如下：

首先，为了信号的同步检测，需要在视频监控系统实际使用之前，预先在采集到的视频数据中设置对应相关的文字数据；具体说明如下：建立视频数据和物品电子标签数据的对应关系，在视频监控系统数据服务器中添加需要叠加的文字信号，组成记录文字信号队列；在设置叠加文字信号时，根据预先设定好的记录文字信号队列，在读卡器中设置对应的文字信号，使得电子标签中的信息符合记录文字信号队列的信息要求；

其次，主控端也按照相同的记录文字信号队列，每隔一个可设置周期，从视频监控系统数据服务器中取图像数据进行检测，比较读卡器和传感器采集到的文字信息与记录字符信号队列中的信息，以判断信号传输线路是否出现意外情况；一旦信号传输线路被拆动，主控端给出的确认标识将不再显示，从而检测出被监控方人员随意拆动监控系统的行为。

Images