CN115883923B - 基于时间贯序光谱指纹的终端播放状态监测系统和方法 - Google Patents

Abstract

本发明属于图像通讯安全技术领域，具体涉及了一种基于时间贯序光谱指纹的终端播放状态监测系统和方法，旨在解决现有的显示终端工作状态判断方法中指纹一次性展示不利于指纹加密保护的问题。本发明包括：将待播放信息排版编辑后获得待压制数据；基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹，并压制入所述待压制数据，获得播放内容；从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；将第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。本发明通过将二维空间指纹信息在时间维展开成贯序的色块，传感器通过连续采集到的色块信息判别显示终端的播放状态，提高了光谱指纹的保密性。

Description

基于时间贯序光谱指纹的终端播放状态监测系统和方法

技术领域

本文件涉及通信技术领域，尤其涉及一种基于时间贯序光谱指纹的终端播放状态监测系统和方法。

背景技术

近些年随着LCD、LED显示技术的发展与硬件生产能力的大幅提升，显示终端在各领域的应用呈井喷式发展。显示终端在城市公共区域、铁路、公交、地铁、商超、连锁店、楼宇、电梯、会议室等已经成为标配，并对公共信息传播、广告推广等起到了重要的作用。

显示终端的大规模分布式应用也带来了一个严重的问题，即如何有效的维护这些分布式终端以及如何确保播放内容的信息安全。维护方面，传统采用人工定期检查的模式，这种方法在终端数量较少、分布地域较小的情况下还可以勉强支撑。但是，随着显示终端的快速增加、分布性的极具扩大，如：全国性的连锁店，人工定期检查的方法就完全不适用了，必须采取自动化、信息化手段解决。在信息安全方面的问题更为突出，新一代的显示终端一般都具有网络接口、显示端口也有多个备份、并且无线投屏功能也逐步成为了新一代显示终端的标配内容。这些功能一方面提升了显示终端的使用便捷性，另一方面也给系统的安全性带来了极大的隐患。近些年，国内外频繁报道过多起公共显示屏播放不良内容的事件，这些都给公共安全带来了巨大的隐患。

为了解决这个问题，国内外专家给出了不同的技术途径。一类最为常见的方法是所谓的“截屏”法，即播控设备将自己的显卡输出帧“截屏”并回传给显示终端监测系统，系统比对后并做出判断。这种方法的最大弊端在于：监测只是采集到了播控设备的显卡输出，并没有外延到屏幕。因此，对于显示器自身的花屏、蓝屏、黑屏、断电等故障无法监测，更无法监测不法分子侵入显示设备，更改显示屏的信号来源和无线投屏等情况。在先发明专利：CN107613344B中通过显示屏上增加的传感器来判断显示内容中的光谱指纹信息，从而判断显示终端的工作状态是否正常。这一方法能够有效的解决花屏、蓝屏、黑屏、断电、显示设备被非法侵入，显示屏信号源变更和无线投屏等故障。

但光谱指纹信息是在节目制作是加入每帧图像的，并同图像信息同时发送给显示屏。一般情况下，光谱指纹表现为空间二维区域，如：常规的二维码。这样一方面需要指纹区域有足够大的面积。另外这种光谱指纹是一次性展示出来的，不利于指纹的加密保护。

发明内容

本说明书提供了一种，用以解决现有的显示终端播放状态监测方法所采用的光谱指纹需要指纹区域有足够大的面积，且光谱指纹是一次性展示出来的，不利于指纹的加密保护问题，本发明提出一种基于时间贯序光谱指纹的终端播放状态监测系统，所述系统包括：

信息输入模块，配置为通过有线或无线网络输入待播放信息，将待播放信息排版编辑后获得待压制数据；

时间贯序光谱指纹生成模块，配置为基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹；所述第一时间贯序光谱指纹为一维像素级数据；

播放内容生成模块，配置为将所述第一时间贯序光谱指纹压制入所述待压制数据，获得播放内容；

内容显示模块，配置为通过显示终端将所述播放内容进行显示为播放影像；

光谱指纹提取模块，配置为从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；

播放状态判别模块，配置为将所述第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。

在一些优选的实施方式中，所述监测系统还包括播放状态回传与控制模块，配置为基于所述播放状态判别结果，对所述显示终端的播放状态进行控制；

或，基于所述播放状态判别结果，通过有线或无线网络传输至外界运营服务端，通过外部输入的控制指令对待播放信息或所述显示终端的播放状态进行控制。

在一些优选的实施方式中，所述外部输入的控制指令，包括通过USB、串口、IO的方式对所述显示终端进行控制。

在一些优选的实施方式中，所述光谱指纹提取模块，具体为通过设置嵌入显示终端的光谱信息采集传感器采集显示终端正在播放的播放影像中的设定位置的连续的光谱图像序列；

基于所述光谱图像序列，通过所述预先设定的时间贯序光谱指纹算法生成第二时间贯序光谱指纹。

在一些优选的实施方式中，所述时间贯序光谱指纹算法包括预先约定的密钥和贯序规则。

在一些优选的实施方式中，所述播放内容生成模块，具体包括：

将所述第一时间贯序光谱指纹依照设定的时间序列和频率进行压制，获得播放内容。

在一些优选的实施方式中，所述播放内容，通过HDMI、DP或VGA的方式传递至所述显示终端。

本发明的另一方面，提出一种基于时间贯序光谱指纹的终端播放状态监测方法，所述方法包括：

通过有线或无线网络输入待播放信息，将待播放信息排版编辑后获得待压制数据；

基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹；所述第一时间贯序光谱指纹为一维像素级数据；

将所述第一时间贯序光谱指纹压制入所述待压制数据，获得播放内容；

通过显示终端将所述播放内容进行显示为播放影像；

从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；

比对所述光谱指纹和时间贯序光谱指纹，获取播放状态判别结果；

将所述第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。

本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于时间贯序光谱指纹的终端播放状态监测方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于时间贯序光谱指纹的终端播放状态监测方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

（1）本发明通过将二维空间指纹信息在时间维展开成贯序的色块，传感器通过连续采集到的色块信息判别显示终端的播放状态，理论上可以把光谱指纹区域降到单一像素级，从而极大地减小了编码区域占用的有效屏幕面积。

（2）本发明压制了光谱指纹的播放内容能够进一步对时间贯序进行编码和加密，极大地提高了图像传输的安全性和可靠性。

（3）本发明能够高效、准确地捕获显示终端的播放状态、并能够实现对大量远程分布式显示终端的自动化实时控制。时间贯序光谱指纹方法在保证最小化的显示区域遮挡同时，通过对光谱指纹的时间维“延展”和密钥等手段，大幅提升了显示终端播放状态判别的安全性和可靠性。最终可实现，大量远程分布式显示设备故障的发现和故障点的定位，缩短了故障修复周期，改善了用户体验，减少了投诉状况的发生；在设备受到不法侵入时，能够即时向运营系统发送报警信息，并可实现远端的自主处理，从而避免了播放非法内容对公众的负面影响。

（4）本发明由于将光谱指纹区域降到单一像素级，使得光谱信息传感器不需要读取整块区域的信息即可进行播放状态的监控，即实现了将光谱信息传感器嵌入显示设备中进行播放状态的监控。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书第一实施例中基于时间贯序光谱指纹的终端播放状态监测系统的原理示意图；

图2为本说明书第三实施例中基于时间贯序光谱指纹的终端播放状态监测系统的流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书第一实施例提供的一种基于时间贯序光谱指纹的终端播放状态监测系统，参见图1，所述系统具体可以包括如下功能模块：

目前的各公共大屏都有专门的部门（运营部门）对其进行管理（如：地铁里的显示屏会归属于地铁运营公司、京港地铁等）。运营部门需要随时了解这些屏幕的工作情况，即工作是否正常、是否需要维护、紧急情况是否需要关停，这样就需要本发明的系统实时的将数据传回运营部门的指挥中心。

信息输入模块，配置为通过有线或无线网络输入待播放信息，将待播放信息排版编辑后获得待压制数据；

时间贯序光谱指纹生成模块，配置为基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹；所述第一时间贯序光谱指纹为一维像素级数据；第一时间贯序光谱指纹是将传统的光谱指纹在时间维度上展开，获得的一维的像素级信息；

所述时间贯序光谱指纹算法包括预先约定的密钥和贯序规则，比如某个特定的数列。

传统的显示器播放状态监控系统，通常只将单一帧的“指纹”压入图像，因此需要在“单一帧”的指纹里包含足够的数据单位以标识不同的合法视频图像，比如必须采用二维码或条形码，针对传统的“单一帧”的指纹进行再次提取需要摄像头、激光扫描器等设备，虽然已经足够小型化但是仍然无法集成到屏幕里。而本申请通过在屏幕内集成一个仅能采集到一个或少数几个像素颜色信息的传感器，通过在时间维度上积累数据位实现对播放状态的监控。

播放内容生成模块，配置为将所述第一时间贯序光谱指纹压制入所述待压制数据，获得播放内容；所述压制，具体为将所述第一时间贯序光谱指纹依照设定的时间序列和频率进行压制，获得播放内容。将本实施例压制了第一时间贯序光谱指纹的播放内容的传输通道记为合法通道，从其他任何通道传输至显示终端的均视为不合法（不受控）的通道或不合法内容；如图1中所示本实施例也可采用无线投屏、USB的方法向显示终端输入信息，但是这些接口可能成为外部非法显示信息的输入通道，且仅通过现有技术的以截屏的方式对显示终端显示的内容进行监播无法应对非法信息的输入，容易被读取二维光谱指纹从而对合法信息进行伪造，因此需要通过本发明的时间贯序光谱指纹进行辅助监播。

内容显示模块，配置为通过显示终端将所述播放内容进行显示为播放影像；所述播放内容，通过HDMI、DP或VGA的方式传递至所述显示终端。

光谱指纹提取模块，配置为从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；

在本实施例中，所述光谱指纹提取模块，具体为通过设置嵌入显示终端的光谱信息采集传感器采集显示终端正在播放的播放影像中的设定位置的连续的光谱图像序列；

基于所述光谱图像序列，通过所述预先设定的时间贯序光谱指纹算法生成第二时间贯序光谱指纹。

播放状态判别模块，配置为将所述第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。本实施例通过持续采集显示终端正在播放的播放内容；本发明通过时间贯序光谱指纹的验证，判断显示终端正在播放的内容是否为已经经过审核或是否来自于合法通道，若第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹无法匹配，说明显示终端正在播放的内容未经过压制，是从其他通道（如HDMI、DP、VGA、无线投屏、USB等非指定通道）输入的非法内容，需要对显示终端进行实时关闭或切换播放通道，实现在无需人力监控的状况下对播放内容进行实时监管，当显示终端被非法入侵时能够做出自动反应快速切断非法内容的播放，降低影响。

所述播放状态判别结果，可通过将第一时间贯序光谱和第二时间贯序光谱的时序靠前的放到高位，时序低的放在低位，比对第一时间贯序光谱和第二时间贯序光谱的各个位，如果均为相同则视为匹配，否则认为第二时间贯序光谱经过了伪造或非法篡改。除非法篡改外，播放状态异常还包括花屏、蓝屏、黑屏、断电、显示屏信号源变更和无线投屏等故障。

在本实施例中，所述监测系统还包括播放状态回传与控制模块，配置为基于所述播放状态判别结果，对所述显示终端的播放状态进行控制；

或，基于所述播放状态判别结果，通过有线或无线网络传输至外界运营服务端，通过外部输入的控制指令对待播放信息或所述显示终端的播放状态进行控制。所述外部输入的控制指令，包括通过USB、串口、IO的方式对所述显示终端进行控制。当检测到显示终端正在播放的内容遭到非法篡改或入侵时，切换到合法内容播放通道、调节亮度、调节声音、关闭或打开屏幕。

本发明的第二实施例，还包括通过叠加时间贯序光谱指纹进行播放状态监控的系统，包括：

叠加时间贯序光谱指纹生成模块替换本发明第一实施例的时间贯序光谱指纹生成模块，预先设定多个时间贯序光谱指纹算法，并通过多个时间贯序光谱指纹算法生成叠加时间贯序光谱指纹；

本实施例中的多个时间贯序光谱指纹算法，包括：

第一指纹算法组合，包括多个连续的、顺序不同的序列；通过多个时间贯序光谱指纹算法将叠加后的时间贯序光谱指纹生成播放内容，在显示设备通过两个算法反演出正在播放的内容的叠加时间贯序光谱，并进行比对获得播放状态判别结果；

第二指纹算法组合，包括多个连续的、顺序不同的序列，并通过切换指令在多个序列之间进行切换，切换指令可以预先设置规律或经过人为进行控制，在显示设备通过选用上一时刻正在使用的序列进行光谱反演，进行比对即可获得播放状态判别结果；

第三指纹算法组合，包括多个连续的、顺序不同的序列，并通过多个通断指令分别控制每个序列的是否参与叠加时间贯序光谱的生成，在显示设备通过选用上一时刻参与叠加时间贯序光谱生成的序列进行光谱反演，进行比对即可获得播放状态判别结果。

本实施例将传统的二维的光谱指纹信息调整为一维并带有时序信息的光谱指纹，在加密程度方面能够根据需要进行多级加密化，或根据实时性需求在保证有效性的基础上简化，并且均无需增加占用的屏幕有效面积，这是常规的通过二维的光谱指纹无法实现的。

本发明的第三实施例，还包括一种基于时间贯序光谱指纹的终端播放状态监测方法，如图2所示，所述方法包括：

S100，通过有线或无线网络输入待播放信息，将待播放信息排版编辑后获得待压制数据；

S200，基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹；所述第一时间贯序光谱指纹为一维像素级数据；

S300，将所述第一时间贯序光谱指纹压制入所述待压制数据，获得播放内容；

S400，通过显示终端将所述播放内容进行显示为播放影像；

S500，从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；

S600，比对所述光谱指纹和时间贯序光谱指纹，获取播放状态判别结果；

S700，将所述第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。

本发明的第四实施例，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于时间贯序光谱指纹的终端播放状态监测方法。

本发明的第五实施例，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于时间贯序光谱指纹的终端播放状态监测方法。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种基于时间贯序光谱指纹的终端播放状态监测系统，其特征在于，所述系统包括：

信息输入模块，配置为通过有线或无线网络输入待播放信息，将待播放信息排版编辑后获得待压制数据；

时间贯序光谱指纹生成模块，配置为基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹；所述第一时间贯序光谱指纹为一维像素级数据；

播放内容生成模块，配置为将所述第一时间贯序光谱指纹压制入所述待压制数据，获得播放内容；

内容显示模块，配置为通过显示终端将所述播放内容进行显示为播放影像；

光谱指纹提取模块，配置为从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；具体为通过设置嵌入显示终端的光谱信息采集传感器采集显示终端正在播放的播放影像中的设定位置的连续的光谱图像序列；基于所述光谱图像序列，通过所述预先设定的时间贯序光谱指纹算法生成第二时间贯序光谱指纹；

播放状态判别模块，配置为将所述第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。

2.根据权利要求1所述的基于时间贯序光谱指纹的终端播放状态监测系统，其特征在于，所述监测系统还包括播放状态回传与控制模块，配置为基于所述播放状态判别结果，对所述显示终端的播放状态进行控制；

或，基于所述播放状态判别结果，通过有线或无线网络传输至外界运营服务端，通过外部输入的控制指令对待播放信息或所述显示终端的播放状态进行控制。

3.根据权利要求2所述的基于时间贯序光谱指纹的终端播放状态监测系统，其特征在于，所述外部输入的控制指令，包括通过USB、串口、IO的方式对所述显示终端进行控制。

4.根据权利要求1所述的基于时间贯序光谱指纹的终端播放状态监测系统，其特征在于，所述时间贯序光谱指纹算法包括预先约定的密钥和贯序规则。

5.根据权利要求4所述的基于时间贯序光谱指纹的终端播放状态监测系统，其特征在于，所述播放内容生成模块，具体包括：

将所述第一时间贯序光谱指纹依照设定的时间序列和频率进行压制，获得播放内容。

6.根据权利要求1所述的基于时间贯序光谱指纹的终端播放状态监测系统，其特征在于，所述播放内容，通过HDMI、DP或VGA的方式传递至所述显示终端。

7.一种基于时间贯序光谱指纹的终端播放状态监测方法，其特征在于，所述方法包括：

通过有线或无线网络输入待播放信息，将待播放信息排版编辑后获得待压制数据；

基于预先设定的时间贯序光谱指纹算法生成第一时间贯序光谱指纹；所述第一时间贯序光谱指纹为一维像素级数据；

将所述第一时间贯序光谱指纹压制入所述待压制数据，获得播放内容；

通过显示终端将所述播放内容进行显示为播放影像；

从显示终端正在播放的播放影像中提取第二时间贯序光谱指纹；具体为通过设置嵌入显示终端的光谱信息采集传感器采集显示终端正在播放的播放影像中的设定位置的连续的光谱图像序列；基于所述光谱图像序列，通过所述预先设定的时间贯序光谱指纹算法生成第二时间贯序光谱指纹；

比对所述光谱指纹和时间贯序光谱指纹，获取播放状态判别结果；

将所述第二时间贯序光谱指纹与前一时刻的第一时间贯序光谱指纹进行比对，获得播放状态判别结果。

Images