CN107205155B - 基于人眼视觉在空域上融合特性的二维码隐藏画面系统 - Google Patents

Abstract

本发明公开了一种基于人眼视觉在空域上融合特性的二维码隐藏画面系统，所述预处理模块，对于目标视图和二维码进行灰度域上的最优解计算，结合人眼的连续采样和摄影设备的离散采样的特点，使得处理过的超高清视频图像在所述显示模块的高分辨率显示设备上播放时人眼看不到二维码而摄影设备能扫出二维码；所述输入模块，用于接收经过所述预处理模块处理过的超高清视频图像，并将所述超高清视频图像存入片外存储器；所述显示模块，用于从所述片外存储器读入所述超高清视频图像，在高分辨率显示设备上投影出处理过的超高清视频图像流。本发明能大幅规避二维码播放与正常视频播放的冲突。

Description

基于人眼视觉在空域上融合特性的二维码隐藏画面系统

技术领域

本发明涉及视频处理领域的二维码隐藏画面系统，具体地，涉及一种基于人眼视觉在空域上融合特性的二维码隐藏画面系统，用于在高分辨率的显示设备上实现人裸眼能够看到正常视频的同时，用手机等摄影设备能够识别出内嵌在视频内部的二维码，暨实现二维码隐藏画面系统。

背景技术

近年来，二维码作为一种新兴的信息传输方式，以其传输简便、易于识别等优点广泛应用于信息获取、网站跳转、广告推送以及手机快捷支付等领域。然而，目前主流的两种二维码：堆叠式/行排式二维条码和矩阵式二维条码都因为它们的黑白外观而饱受指责，随机出现的二维码在视觉上并不吸引人，而且很容易造成人眼的注意力被二维码分散，从而造成视频本身的信息被二维码的信息所影响。

更重要的是，二维码视觉上意义不大，因为如果没有扫描软件，这种类似于随机图像的二维码对裸眼没有意义。而且，它在公共宣传材料上占据了有效的空间。为了改善二维码的外观和增大它的用途，在学术上和商界都付出了一些努力。为此所做的努力主要分成以下三种。第一，许多美学上的条形码是手工设计的。第二，这种种类相当于二维码模块的直接操作。第三，二维码植入算法是在没有改变二维码模块的位置而修改每个像素的亮度的基础上建立的。这些方法大都故意使用了二维码提供的错误的预算，减少了二维码的纠错能力。更重要的是，他们只是改善了二维码的外观，它仍然占用了宣传资料的宝贵空间。

发明内容

针对现有技术中的不足，本发明的目的是提供一种基于人眼视觉在空域上融合特性的二维码隐藏画面系统，对于裸眼用户而言不可见，使用智能手机等扫描时可见的基于空域上的分解与融合原理的二维码隐藏系统。

为实现上述目的，本发明所述的裸眼用户不可见，使用智能手机等扫描时可见的二维码隐藏系统，包括预处理模块、输入模块、显示模块，其中：

所述预处理模块，对于目标视图和二维码c进行灰度域上的最优解计算，结合人眼的连续采样和摄影设备的离散采样的特点，使得处理过的超高清视频图像在所述显示模块的高分辨率显示设备上播放时人眼看不到二维码而摄影设备能扫出二维码；

所述输入模块，用于接收经过所述预处理模块处理过的超高清视频图像，并将所述超高清视频图像存入片外存储器；

所述显示模块，用于从所述片外存储器读入所述超高清视频图像，在高分辨率显示设备上投影出处理过的超高清视频图像流。

优选地，所述预处理模块，采用二维码隐藏模型实现，该模型是基于空域的心理视觉调制技术。

优选地，所述二维码隐藏模型，将二维码嵌入目标视图，人眼的视觉系统是对于亮度域进行连续积分的，摄影设备的半导体图像传感器需要时间访问寄存器，会适时通过在连续光源下离散的采样形成图像；对于目标视图和最终人裸眼能看到的二维码c进行灰度域上的最优解计算，即优化求解使得要嵌入的二维码和原始视图的视觉差距最小化，使得处理过的超高清视频图像在高分辨率显示设备上播放时人眼看不到二维码而摄影设备能扫出二维码。

本发明采用高分辨率显示设备(大于200PPI)，是因为系统要求显示设备在空域上存在着冗余，所谓的冗余是因为人眼在一定距离内只能分辨出200PPI左右的分辨率，过高的分辨率会使得相邻的像素在人眼中发生融合，这也是所说的基于心理视觉调制的空域融合特性。因此，本发明所述显示模块，采用分辨率大于200PPI的显示显示器播放预处理的嵌入了二维码的预处理视频，利用高分辨率显示器对于人眼在空域上的冗余以及人眼和摄影设备采样方式的区别，实现人眼看到正常图像的同时，用摄影设备能拍出清晰的嵌入了二维码的图片。

本发明是一种对于裸眼用户而言不可见，使用智能手机等摄影设备扫描时可见的基于空域上的分解与融合原理的二维码隐藏系统，展示了一种增强二维码视觉效果和最大化解码的鲁棒性，完全克服二维码与人眼视觉系统的矛盾的方法。这种方法通过人眼和图像传感器之间成像原理的差异，二维码对人眼是容易感知到的。但是当二维码在屏幕上时，它可以被带着摄像头的移动设备检测和识别。这是人眼和智能手机、相机等摄影设备成像机制的区别：在人眼视觉系统里，一张稳定的图像是在光场上通过连续的积分形成的，而半导体图像传感器由于需要时间访问寄存器，会适时通过在连续光源下离散的采样形成图像，这样的特性决定了本发明二维码空间域上隐藏的理论基础。

与现有技术相比，本发明具有如下的有益效果：

1、可以实现许多不同的应用场景，大大增加二维码营销的操作性和趣味性；

2、被隐藏的二维码的数量和位置是不受限制的，二维码可以在人们感兴趣的任何地方植入到屏幕中；

3、人眼是看不到二维码的，人们不需要担心他们是否能看到二维码和如何扫描它；

4、可以利用高分辨率设备在空域上的性能冗余从而实现二维码内嵌，在不影响正常观影体验的前提下，实现比如影院方和广告方的双赢。

综上，本发明能大幅规避二维码播放与正常视频播放的冲突，利用高分辨率设备在空域上性能冗余以及人眼连续采样和摄影设备离散采样的特性实现了人眼看到正常播放的视频画面的同时，使用手机、相机等摄影设备可以拍摄到一个清晰的、可识别的二维码图案。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例系统示意图；

图2为本发明一实施例二维码隐藏效果示意图；

图3为本发明一实施例实施流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

基于不可见的二维码的基本原理可以实现许多不同的应用，更重要的是，被隐藏的二维码的数量和位置是不受限制的，因为人眼是看不到二维码的。人们不需要担心他们是否能看到二维码和如何扫描它。因为二维码可以在人们感兴趣的任何地方植入到屏幕中，或者可以直接提供一些视觉上有趣的提示。根据在不同屏幕上被隐藏的二维码，应用可以被分成以下的两大类。第一，数字广告牌和引导标志过去常常用于给路过的人传播广告和新闻信息。在上面的二维码变得越来越普及。但是他们也影响了公共设计的审美观。这种方法延续了二维码的优势，而不需要改变原本的宣传设计。第二，二维码在电视上可以被植入到电视剧和电影里面。例如，如果你有一些感兴趣的东西，你可以直接扫描而得到关于它的重要信息。而这会让产品植入更加有效。

针对人眼视觉系统的时空分辨率可视阈值及对比度敏感函数(ContrastSensitivity Function，CSF)的研究始于20世纪50年代。对比灵敏度是描述人类视觉系统辨别一副静态图像中明暗的能力的参数。例如，J.G.Robson的研究指出了人眼的最空间高分辩率约为30cpd(cycles per degree)，最敏感空间分辨率约为3cpd，最敏感时间辨率约为10cpd。随着显示技术的飞速发展，如今显示设备拥有非常高的像素密度。例如主流的液晶显示屏支持1920*1080的分辨率；新兴提出的视网膜显示屏、4K超高清电视等支持更高的分辨率。像素密度超出人眼可视范围的视觉信号即可被认为是空域视觉冗余。

如图1所示，为了利用显示设备在空域上造成的冗余，本发明提出了一种基于人眼视觉在空域上融合特性的二维码隐藏画面系统，本实施例中，所述系统包括预处理模块、输入模块、显示模块，其中：

所述预处理模块，对于目标视图和二维码进行灰度域上的最优解计算，结合人眼的连续采样和摄影设备的离散采样的特点，实现处理过的视频能够实现人眼看不到二维码而摄影设备能扫出二维码；

所述输入模块，用于接收经过所述预处理模块处理过的超高清视频图像，并将超高清视频图像存入片外存储器；

所述显示模块，用于从所述片外存储器读入高清分辨率下的像素数据，在高分辨率显示设备上投影出处理过的超高清视频图像流。

本实施例中，在高分辨率显示设备(分辨率大于200PPI)上投影出处理过的超高清视频图像流，是将一组构图基以特定的空间排列在一个高分辨率显示设备上播出，其中任一区域所播放的构图基只是多副图像的共有的组成部分或一副图像的组成部分。对于没有借助相机等摄影设备的用户，所述构图基组直接进入人眼，并融合成有意义的图像。

基于以上空域上的调制技术，本实施例在视频中内嵌预处理好的二维码以及其相应的取反图像，使得人裸眼看到的融合视图中抵消掉二维码部分的信息，而由于相机等摄影设备采样是离散的，势必会有某一小段时间内并没有采样而是在存储，所以这段时间内的图像信息中的二维码就没有被抵消掉，从而会被摄影设备采样到而识别出一个清晰的二维码。

如图3所示，本发明预处理模块采用二维码隐藏模型，该模型是基于空域的心理视觉调制技术。

下面介绍一下二维码隐藏模型预处理过程：

首先，在人眼的视觉系统中，是对于亮度域进行连续积分的，一个完整的图片i可以被表示为也可以被写作如下公式：

其中x_j为人眼所连续积分的各个基础视图，其中的||·||_F是弗罗贝尼乌斯范数，用来衡量目标图像和重构图像之间的差异性。0≤X≤1是因为在灰度域上衡量视图基，它们的灰度值有上限和下限，简化为0-1，其中K为图片的像素点行数、X₁为要处理的目标视图的原始图像，1代表着该视图中所有的权重系数w都取1。

其次，需要优化求解使得二维码c和原始视图y’的视觉差距最小化，也就是要使得c和目标视图y的视觉差距最小化，可以求解得：

其中w由相机等摄影设备所决定。参数X_w表示目标视图在调制系数为w的相机等摄影设备下的图像，与上面的X₁相对应。

目标视图y’是希望人眼看到的目标视图，而实际操作中用基础视图加权调制形成的重构视图y来显示的，本发明利用了弗罗贝尼乌斯范数来衡量目标视图和重构视图的差异性，弗罗贝尼乌斯范数很小时可以近似y＝y’。

结合上述两个式子，权重方程可以被表示为：

其中λ是一个非负的权重系数。

上式也可以被重表示为：

其中而重要的是，摄影设备的参数是可以在编程的设备中调制的，也就是说w可以理论上做到取任何值，为了简化算法，以w＝[1,0,...,0]^T来计算，也就是说第一个基础视图就是二维码c。

但是融合以及隐藏过程中不可避免地会存在着残留，将这个残留定义为

一般地，定义U_ij为U的第i行第j列的元素，U_i:为第i行，U_:j为第j列。这里面的Y^(p)是第p行的二维码未被隐藏的残留。这里的Y是目标视图，X_:j是第j列矩阵，W_j:是第j行对应的调制系数矩阵，从而可以用X_:jW_j:来表示第j列的调制后的图片的像素列。

对于p＝1,2,...,K，成本函数的变化率可以表示为

这里面的Y^(p)是第p行的二维码未被隐藏的残留。这里的Y是目标视图，X_:p是第p列矩阵，W_p:是第p行对应的调制系数矩阵，W_p: ^T是第p行的调制系数矩阵的转置矩阵。

从而可以通过把变化率取0，总结出下面的方程：

这里面的Y^(p)是第p行的二维码未被隐藏的残留。这里的Y是目标视图，X_:p是第p列矩阵，W_p:是第p行对应的调制系数矩阵，是第p行的调制系数矩阵的转置矩阵。W是调制系数矩阵，W^T是调制系数矩阵的转置。[0,1]表示调制系数矩阵W的每一个元素是在0到1之间的。利用该方程，在实验中不断尝试，可以求得一个更好的融合系数，从而获得最优解即最优化的系统结果，实现处理过的视频能够实现人眼看不到二维码而摄影设备能扫出二维码。

如图3所示，本实施例中，将二维码嵌入图3中的，得到包含二维码的基础视图，目标视图经过高分辨率的显示器直接到达人眼视觉系统，看到一个清晰的无二维码视频，而同时如果是用相机等摄影设备去拍摄的话，由于相机的采样连续的特点使得，在其访问存储器的时间中播放的部分没有被采样到，即有一部分的二维码信息并未在这一段时间中得到隐藏，从而使得在相机拍摄到的画面中其他时间内会出现相应的未被隐藏的二维码图像。

本发明中，目标视图就是人眼裸眼看到的视图，二维码是用相机拍摄得到的视图；基础视图是人眼连续积分所显示的各个画面，重构视图就是预处理之后的视图。基础视图积分可得目标视图，而实际上在基础视图上加以调制得到重构视图，通过重构视图的积分来播放，当用上述计算使弗罗贝尼乌斯范数最小时，重构视图的积分得到的可以认为是目标视图。

本发明通过上述预处理模块进行图像处理，能大幅规避二维码播放与正常视频播放的冲突，利用高分辨率设备在空域上性能冗余以及人眼连续采样和摄影设备离散采样的特性实现了人眼看到正常播放的视频画面的同时，使用手机、相机等设备可以拍摄到一个清晰的、可识别的二维码图案。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种基于人眼视觉在空域上融合特性的二维码隐藏画面系统，其特征在于：包括预处理模块、输入模块、显示模块，其中：

所述预处理模块，对于目标视图和二维码进行灰度域上的最优解计算，结合人眼的连续采样和摄影设备的离散采样的特点，使得处理过的超高清视频图像在所述显示模块的高分辨率显示设备上播放时人眼看不到二维码而摄影设备能扫出二维码；

所述输入模块，用于接收经过所述预处理模块处理过的超高清视频图像，并将所述超高清视频图像存入片外存储器；

所述显示模块，用于从所述片外存储器读入所述超高清视频图像，在高分辨率显示设备上投影出处理过的超高清视频图像流；

所述预处理模块，采用二维码隐藏模型实现，该模型是基于空域的心理视觉调制技术；

所述二维码隐藏模型，将二维码嵌入目标视图，人眼的视觉系统是对于亮度域进行连续积分的，摄影设备的半导体图像传感器需要时间访问寄存器，会适时通过在连续光源下离散的采样形成图像；对于二维码和最终人裸眼能看到的目标视图进行灰度域上的最优解计算，即优化求解使得要嵌入的二维码和目标视图的视觉差距最小化，使得处理过的超高清视频图像能够实现人眼看不到二维码而摄影设备能扫出二维码；

所述二维码隐藏模型，其实现二维码融合以及隐藏，过程具体如下：

首先，在人眼的视觉系统中，是对于亮度域进行连续积分的，一个完整的图片i可以被表示为或者被写作如下公式：

其中x_j为人眼所连续积分的各个基础视图，其中的||·||_F是弗罗贝尼乌斯范数，用来衡量目标图像和重构图像之间的差异性；0≤X≤1是因为在灰度域上衡量视图基，它们的灰度值有上限和下限，简化为0-1，其中K为图片的像素点行数、X₁为要处理的目标视图的原始图像，1代表着该视图中所有的权重系数w都取1；

其次，优化求解使得二维码c和原始视图y’的视觉差距最小化，即使得二维码c和目标视图y的视觉差距最小化，求解得：

其中w由摄影设备所决定，参数X_w表示目标视图在调制系数为w的摄影设备下的图像，与上面的X₁相对应；弗罗贝尼乌斯范数很小时可以近似y＝y’；

结合上述公式(1)、(2)，权重方程被表示为：

其中λ是一个非负的权重系数；

上式或被重表示为：

其中摄影设备的参数是能在编程的设备中调制的，w理论上做到取任何值，为了简化算法，以w＝[1,0,...,0]^T来计算，即第一个基础视图就是二维码c；

在融合以及隐藏过程中不可避免地会存在着残留，将这个残留定义为

这里的Y^(p)是第p行的二维码未被隐藏的残留，Y是目标视图，X_:j是第j列矩阵，W_j:是第j行对应的调制系数矩阵，用X_:jW_j:来表示第j列的调制后的图片的像素列；

对于p＝1,2,...,K，成本函数的变化率表示为

这里W_p:是第p行对应的调制系数矩阵，W_p: ^T是第p行的调制系数矩阵的转置矩阵；通过把变化率取0，总结出下面的方程：

W是调制系数矩阵，W^T是调制系数矩阵的转置，[0,1]表示调制系数矩阵W的每一个元素是在0到1之间的，利用该方程，在实验中不断尝试，求得一个更好的融合系数，从而获得最优解即最优化的系统结果，实现处理过的视频能够实现人眼看不到二维码而摄影设备能扫出二维码。

2.根据权利要求1所述的基于人眼视觉在空域上融合特性的二维码隐藏画面系统，其特征在于：所述显示模块，采用分辨率大于200PPI的显示显示器播放预处理的嵌入了二维码的预处理视频，利用高分辨率显示器对于人眼在空域上的冗余以及人眼和摄影设备采样方式的区别，实现人眼看到正常图像的同时，用摄影设备能拍出清晰的嵌入了二维码的图片。