CN107707924A - 一种基于频率约束的相机与屏幕通信方法 - Google Patents
一种基于频率约束的相机与屏幕通信方法 Download PDFInfo
- Publication number
- CN107707924A CN107707924A CN201710889223.1A CN201710889223A CN107707924A CN 107707924 A CN107707924 A CN 107707924A CN 201710889223 A CN201710889223 A CN 201710889223A CN 107707924 A CN107707924 A CN 107707924A
- Authority
- CN
- China
- Prior art keywords
- frequency
- constraint
- frame
- frequency constraint
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000000926 separation method Methods 0.000 claims abstract description 6
- 238000010008 shearing Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011088 calibration curve Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种基于频率约束的相机与屏幕通信方法，包括：基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；将各帧亮度分量和色差分量重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。本发明检测距离远，降低对周围实验环境的要求，在实际生活中有其一定应用价值。
Description
技术领域
本发明涉及无线链路的设备对通信领域，尤其涉及一种基于频率约束的相机与屏幕通信方法。
背景技术
日常生活中，屏幕被用来传达丰富的视觉信息。与此同时，随着智能手机在捕获视频方面的飞速发展，屏幕相机通信技术出现在各种应用程序中，并成为近年来的热点研究课题。屏幕相机通信的研究工作开始于直接可见的条码和屏幕上的标记。PixNet[1]正交频分复用数字多载波调制方法(OFDM)调制出高吞吐率的2D条形码并优化大容量液晶显示器通信。COBRA[2]在实时相机与相机通信场景中改进了彩色条形码系统，提高了由运动模糊引起的解码准确度。静态条形码技术现在被广泛使用。例如，超市中的所有产品都标记有条形码以表示其属性和信息。另一个常见的情况是邮件上的条形码，它可以跟踪物品信息。此外，可进行屏幕相机通信的可视码的另一突破是隐写术和水印技术的出现[3]，其将空间码(如二维码)嵌入在图像中，但对于人眼仍然可见，比如：微信上的名片。
最近的研究往往集中于建立隐形的屏幕相机通信系统，在通信系统中将光谱用作多信道，并趋向于提供高准确率和不可见的屏幕相机通信系统。VR[4]用了这种技术，利用只有混合颜色才能被人眼感知这一事实，将高频红色和绿色光在相机和相机之间进行通信，并且是人眼无法感知。
InFrame++[5]这篇文章利用人类视觉系统的闪烁融合特性嵌入数据，它依赖于高的屏幕刷新率和相机捕获帧率实现视觉的不可感知。HiLight[6]文章通过轻微像素半透明度变化来传递信息。High-rate[7]利用高屏幕刷新率和相机捕捉速率在空间和时间域均嵌入信息提高了系统的吞吐量。
上述几种方法的检测距离均在1米以内，对光感知的有效性使得上述方法存在短距离通信的弊端，同时普通屏幕的刷新率仍在60HZ，短距离和高刷新率的要求限制了技术在实际应用中的发展。因此提出适用于远距离和低刷新率的强鲁棒通信方法是非常有必要的。
发明内容
本发明提供了一种基于频率约束的相机与屏幕通信方法，本发明实现了远距离和低屏幕刷新率的通信，详见下文描述：
一种基于频率约束的相机与屏幕通信方法，所述相机与屏幕通信方法包括以下步骤：
1)基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；
2)将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；
3)对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；
4)通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。
在步骤1)之前，所述方法还包括：
对每帧亮度分量进行分块离散余弦变换和取模运算，获取视频序列中每帧亮度分量的初始频域幅值图。
在步骤1)之前，所述方法还包括：
对输入视频序列的各帧进行亮度分量和两个色差分量的分离操作。
所述基于频率约束模板对频域幅值图进行频率约束，获取能够传递信息的频域幅值图具体为：
变换不同频率约束模板对频域幅值图进行约束处理，采用每隔连续的四帧图像再变换频率约束模板的形式，从而实现时间域的信息冗余。
其中，所述频率约束模板，用于使频率在变换域成某些特定形状，从而进行信息携带。
在步骤4)之后，所述方法还包括：将提取到的传递信息进行纠错处理。
进一步地，所述将提取到的传递信息进行纠错处理具体为：
判断频率约束模板变换的临界帧，即哪些临界帧是使用相同频率约束模板的连续四帧；
采用投票机制里少数服从多数的原则，决定锁定的四帧具体使用的是哪种频率约束模板类型进行的频率约束。
本发明提供的技术方案的有益效果是：
1、通过对图像提取出的Y分量在频域进行频率约束，此处采取高频抑制方法，来实现图像的信息携带；
2、将携带信息的Y分量与U、V分量重新合成新视频。携带信息的视频在屏幕上进行播放，相机作为接收端在较远距离的位置进行视频拍摄；
3、将拍摄后视频利用频率域的能量统计直方图分析方法，分析频率的变化规律，再经过纠错机制提高准确率，进而实现通信目的；
4、本发明的检测距离远，降低对周围实验环境的要求，在实际生活中有其一定应用价值。
附图说明
图1是本发明基于频率约束的相机与屏幕通信方法的整体流程图；
图2是3种频率约束模板样例示意图；
其中，(a)为未约束模板；(b)为约束两个区域的模板；(c)为约束四个区域的模板。
图3是频率幅值图像块经过未截断和截断两种模板处理的具体样例示意图；
图4是应用三种模板在时间域进行视频序列处理的具体情况示意图；
图5是相机在2米远处对测试序列进行拍摄的场景示意图；
图6是14个测试序列样例示意图；
图7是远距离视频拍摄图像与旋转剪切后图像的样例示意图；
其中，(a)为远距离拍摄原图；(b)为旋转剪切矫正后图像。
图8是利用能量统计直方图方法从频域图提取出D维频率幅值信息的简单示例示意图；
图9是未约束块和约束块通过能量统计直方图得到的曲线示意图。
其中，(a)为约束区域得到的能量曲线；(b)为未约束区域得到的能量曲线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于频率约束的相机与屏幕通信方法，参见图1，该相机与屏幕通信方法包括以下步骤：
101：基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；
102：将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；
103：对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；
104：通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。
其中，在步骤101之前，该方法还包括：
对每帧亮度分量进行分块离散余弦变换和取模运算，获取视频序列中每帧亮度分量的初始频域幅值图。
其中，在步骤101之前，该方法还包括：
对输入视频序列的各帧进行亮度分量和两个色差分量的分离操作。
进一步地，步骤101中的基于频率约束模板对频域幅值图进行频率约束，获取能够传递信息的频域幅值图具体为：
变换不同频率约束模板对频域幅值图进行约束处理，采用每隔连续的四帧图像再变换频率约束模板的形式，从而实现时间域的信息冗余。
上述所述频率约束模板，用于使频率在变换域成某些特定形状，从而进行信息携带。
进一步地，在步骤104之后，该方法还包括：将提取到的传递信息进行纠错处理。
其中，上一步骤将提取到的传递信息进行纠错处理具体为：
判断频率约束模板变换的临界帧，即哪些临界帧是使用相同频率约束模板的连续四帧；
采用投票机制里少数服从多数的原则，决定锁定的四帧具体使用的是哪种频率约束模板类型进行的频率约束。
综上所述，本发明实施例通过上述步骤101-步骤104实现了远距离和低屏幕刷新率的通信，其检测距离远，降低了对周围实验环境的要求，满足了实际应用中的多种需要。
实施例2
下面结合具体的实例、计算公式、附图对实施例1中的方案进行进一步地介绍，详见下文描述：
201：对输入视频序列的各帧进行亮度信号Y和两个色差信号B－Y(即U)、R－Y(即V)分量的分离操作；对每帧Y分量进行分块离散余弦变换(DCT)和取模运算，得到视频序列中每帧Y分量的频域幅值图；
根据YUV视频的数据存储方式，分离出测试序列的Y、U和V分量，并将其各自保存在y(i,j)，u(i,j)和v(i,j)变量中；其中，(i,j)表示图像的坐标索引。将y(i,j)变量进行分块DCT变换得到频谱响应Y(u,v)，(u,v)表示变换后的坐标索引，对频谱响应Y(u,v)中的所有值进行取模处理得到待测试图像的频域幅值图F(u,v)。
202：基于约束模板对频域幅值图进行频率约束，得到能够传递信息的频域幅值图；
该步骤采用频域幅值图F(u,v)基于约束模板进行信息嵌入，实现信息携带，该步骤涵盖内容较多，具体实施过程中包括但不限于上述实施方法。下面分三部分进行详细介绍。
1)将视频帧转换到变换域空间；
图像在不同的变换域中通常有不同的表现形式，根据不同的应用人们可以选择不同的变换。之所以要进行变换，是因为在变换域中更方便处理某些问题。常用的变换有傅里叶变换，余弦变换，小波变换，曲波变换等，本发明实施样例采用余弦变换进行演示。
2)设计约束模板实现对变换域的约束；
约束的目的在于使频率在变换域成某些特定形状，从而进行信息携带。成形的形式可多样，如圆形，方形，角形等。波形强度亦可多样，如直线增强或抑制，指数增强或抑制，正弦增强或抑制等。本发明实施例实施了简单的测试实验，构造了方形的频率约束模板。
3)约束模板的区域划分。
约束模板与视频帧大小相同，需要对其进行区域划分，完成多比特信息的传输。区域划分方式仍可按照不同环境和应用而多样，如大小、块数、形状等方面都可进行选择。
本发明实施例采用平均分成2*2个区域的方式，区域数量与进行分块DCT变换的数量相同，每个区域为M/2*N/2大小，其中，M和N分别是频域幅值图像的宽度和长度。
图2展示了3种方形频率抑制模板类型，M和N分别是频域幅值图像的宽度和长度，C为截断参数，其中(a)为四个区域均未抑制的模板，(b)为抑制两个区域的模板，(c)为抑制四个区域的模板。因为信号能量大部分集中在频率域的左上角，右下角的系数对人类视觉的影响较小，所以提出保留左上角，截断右下角的频率抑制形式。白色区域为未处理块，传递信息0，对应频域幅值图部分的幅值大小不变。对于频域幅值经未截断块处理后的计算公式如下：
T(u,v)＝F(u,v)1≤u≤M/2,1≤v≤N/2
存在黑色区域的块为处理块，传递消息1，对应频域幅值图像部分的幅值大小进行抑制。对于频域幅值经截断块处理后的计算公式如下：
T(u，v)＝P(u，v)*F(u，v)
其中，T代表输出图像，P代表频率约束模板，F代表输入幅值图像，C代表截断参数，它直接影响图像质量和传输准确率，本发明实施例以C＝70为例进行说明。
图3展示了频率幅值图中某块幅值经过模板中未截断和截断处理后的情况。具体情况如下，区域大小为M/2*N/2的频率幅值图，在截断参数C＝5的情况下，经过约束块模板的抑制，发生了频率截断的变化，截断部分置零，得到约束结果块；经过未约束块模板的操作，频率未发生变化，得到未约束结果块。
203：在时间域实行时间复合操作，实现信息冗余；
为了提高信息提取准确率，在时间域实行时间复合操作，实现信息冗余。在变换不同频率约束模板对视频帧的频域幅值进行约束处理时，采用每隔连续的四帧图像再变换频率约束模板的形式，从而实现时间域的信息冗余。实现效果如图4所示，此处应用图2中的三种模板进行所有视频帧序列的处理，在时间轴上，每隔四帧图像，变换一次约束模板。
204：各帧Y、U和V分量重新合成视频序列，利用摄像机在一定距离拍摄得到翻拍视频，并再次提取帧序列，使用图像处理工具进行图像的旋转和剪切操作，得到处理后的视频序列，便于进行后续信息提取；
其中，各帧Y、U和V分量重新合成帧率为30fps的视频，利用相机在2米远处对14个测试序列进行拍摄，拍摄场景如图5所示，14个测试序列如图6所示。从翻拍视频提取帧序列如图7a所示，较远距离的拍摄造成有效画面占整帧画面比例的下降，同时图像难免倾斜，不利于检测，所以利用专业图像处理工具进行图像的旋转和剪切，得到处理后的图像，如图7b。
205：进行各处理帧Y分量的分离，对每帧Y分量进行DCT变换和取模运算，得到待提取序列中每块的Y分量频域幅值图；
即，对旋转剪切后图像进行Y、U和V分量的分离，对每帧Y分量进行同步骤201中的DCT变换并取模操作得到F'(u,v)，即每帧的Y分量频域幅值图。
206：利用能量统计直方图方法从频域幅值图中提取幅值和曲线拟合信息，将其作为检测特征向量；
即，利用能量统计直方图方法从频域幅值图中提取出D维频率幅值信息，将其作为一种检测特征分量。对频率幅值图的每块都用如下公式提取特征向量：
其中，tk是特征向量中第k个特征点，C为截断参数，n为统计单位间隔，v和w分别是列上下限，r和z分别是行上下限，F'(u,v)为旋转剪切后图像的Y分量频域幅值图。图像每块特征点数D＝(z+r+1)/n；本实验的最优参数为：k＝14，C＝70，r＝20，z＝50，w＝1，v＝70，n＝5。简单示例如图8所示，参数设置为k＝4，C＝6，r＝5，z＝2，w＝1，v＝6，n＝2，简单展示了利用能量统计直方图提取了t1，t2，t3，t4四个特征的过程。
207：将提取到的特征向量输入SVM进行训练，得到分类检测器，利用分类检测器对测试序列进行检测，提取传递信息；
对步骤206提取的D维频率幅值信息进行最小二乘法曲线拟合，未约束块和约束块的曲线信息存在差别，如图9所示。图9a约束块有较明显折点，图9b未约束块更接近直线，所以可将曲线拟合信息作为另一种检测特征分量。曲线拟合公式如下所示：
其中，φ为拟合曲线，δi＝φ(xi)-ti是特征值ti处的偏差，φ(xi)为第i个离散点值的拟合值，xi为第i个离散点值。
将拟合曲线φ的M个参数与D个频率幅值分量串联作为最终检测特征。
为了加快训练时收敛速度，将特征向量进行归一化，最后得到特征向量T表示如下：
T＝(t1,t2,...,tD+M)
对14个翻拍测试序列所有帧中的块做正负样本标定，规定约束块为正样本，非约束块为负样本，从各样本中提取D+M维特征，输入支持向量机进行训练，得到二分类检测器，检测待测图像是否经历了频率约束，如果是，则传递信息为1，否则传递信息为0。
采用分类型支持向量机(C-SVM)，内核为径向基核函数(RBF核)，通过三层交叉验证在参数网格(C,γ)∈{(2i,2j)|-5≤i,j≤5}中，搜索得到最优参数C和γ的值。
因为有14个测试序列，所以采用十四折交叉验证方法。测试序列分为14个子集，每个子集均做一次测试集，其余作为训练集。交叉验证重复14次，并将14次的平均交叉验证识别正确率作为结果。
208：根据算法时间信息冗余的特点，将提取到的信息经过纠错机制，得到更准确的信息。
由于算法的时间信息冗余，即有连续四帧是采用相同频率约束模板，所以在初步提取信息后，又增加了时间域的纠错机制这一步骤。信息传递机制如图4所示，本步骤利用信息冗余来提高信息检测准确率。
首先判断模板变换的临界帧，即哪些帧是使用相同约束模板的连续四帧；再采用投票机制里少数服从多数的原则，决定锁定的四帧具体使用的是哪种模板类型进行的频率约束。
综上所述，本发明实施例通过上述步骤201-步骤208实现了远距离和低屏幕刷新率的通信，其检测距离远，降低了对周围实验环境的要求，满足了实际应用中的多种需要。
实施例3
下面结合具体的实验数据、表1对实施例1和2中的方案进行可行性验证，详见下文描述：
本实验使用的测试序列共14个，每个序列有96个样本，共1344个样本，其中包括静态场景和动态场景。实验中各参数取值在具体实施方式介绍时已经给出。实验的评估指标有处理视频的闪烁程度和准确率两方面。
1、在发送端，闪烁程度作为评估标准。因为现在还没有评价视频的客观标准，所以通过观察者的视觉体验评价视频质量。在帧率为30fps和屏幕刷新率为60HZ的普通情况下，所有的测试视频在距离屏幕2米远处观察均没有闪烁情况，近距离观察时，纹理少的视频闪烁明显，纹理丰富的视频有轻微闪烁。
2、在接收端，准确率(accuracy)作为评估标准，定义如下：
其中，B代表每帧正确传输比特数，A代表每帧传输比特数，实验结果如表1所示。
表1
表1的第一列表示14个测试序列的名称，表1的第二列表示将特征进行SVM训练直接检测的人准确率，表1的第三列表示对SVM训练直接的检测结果再进行纠错准确率。
总的来说，本发明实施例提出的基于频率约束的相机与屏幕通信方法是可行的。频率约束和时间复合能抵抗复杂环境引进的噪声影响，具有强鲁棒性。能量统计直方图方法分析频率约束情况有高准确率，同时对载体视频的频率约束处理具有不可见性，不影响其原本使用价值。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
参考文献：
[1]Perli S D,Ahmed N,Katabi D.PixNet:interference-free wireless linksusing LCD-camera pairs[C]International Conference on Mobile Computing andNetworking,MOBICOM 2010,Chicago,Illinois,Usa,September.DBLP,2010:137-148.
[2]Hao T,Zhou R,Xing G.COBRA:color barcode streaming for smartphonesystems[C]Proceedings of the 10th international conference on Mobile systems,applications,and services.ACM,2012:85-98.
[3]Kensei Jo,Mohit Gupta,and Shree K Nayar.Disco:Displays thatcommunicate.2014.
[4]Woo G,Lippman A,Raskar R.VRCodes:Unobtrusive and active visualcodes for interaction by exploiting rolling shutter[C]IEEE InternationalSymposium on Mixed and Augmented Reality.IEEE,2012:59-64.
[5]Wang A,Li Z,Peng C,et al.InFrame++:Achieve Simultaneous Screen-Human Viewing and Hidden Screen-Camera Communication[C]InternationalConference on Mobile Systems,Applications,and Services.ACM,2015:181-195.
[6]Li T,An C,Xiao X,et al.Demo:Real-Time Screen-Camera CommunicationBehind Any Scene[C]The,International Conference.2015:197-211.
[7]Nguyen V,Tang Y,Ashok A,et al.High-rate flicker-free screen-cameracommunication with spatially adaptive embedding[C]IEEE INFOCOM 2016-IEEEConference on Computer Communications.IEEE,2016:1-9.
Claims (7)
1.一种基于频率约束的相机与屏幕通信方法，其特征在于，所述相机与屏幕通信方法包括以下步骤：
1)基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；
2)将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；
3)对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；
4)通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。
2.根据权利要求1所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，在步骤1)之前，所述方法还包括：
对每帧亮度分量进行分块离散余弦变换和取模运算，获取视频序列中每帧亮度分量的初始频域幅值图。
3.根据权利要求1所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，在步骤1)之前，所述方法还包括：
对输入视频序列的各帧进行亮度分量和两个色差分量的分离操作。
4.根据权利要求1所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，所述基于频率约束模板对频域幅值图进行频率约束，获取能够传递信息的频域幅值图具体为：
变换不同频率约束模板对频域幅值图进行约束处理，采用每隔连续的四帧图像再变换频率约束模板的形式，从而实现时间域的信息冗余。
5.根据权利要求1或4所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，所述频率约束模板，用于使频率在变换域成某些特定形状，从而进行信息携带。
6.根据权利要求1或4所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，在步骤4)之后，所述方法还包括：将提取到的传递信息进行纠错处理。
7.根据权利要求6所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，所述将提取到的传递信息进行纠错处理具体为：
判断频率约束模板变换的临界帧，即哪些临界帧是使用相同频率约束模板的连续四帧；
采用投票机制里少数服从多数的原则，决定锁定的四帧具体使用的是哪种频率约束模板类型进行的频率约束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710889223.1A CN107707924B (zh) | 2017-09-27 | 2017-09-27 | 一种基于频率约束的相机与屏幕通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710889223.1A CN107707924B (zh) | 2017-09-27 | 2017-09-27 | 一种基于频率约束的相机与屏幕通信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107707924A true CN107707924A (zh) | 2018-02-16 |
| CN107707924B CN107707924B (zh) | 2020-04-28 |
Family
ID=61175079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710889223.1A Expired - Fee Related CN107707924B (zh) | 2017-09-27 | 2017-09-27 | 一种基于频率约束的相机与屏幕通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107707924B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103572A1 (en) * | 2021-12-09 | 2023-06-15 | Huawei Technologies Co., Ltd. | Devices, methods, and computer readable media for screen-capture communication |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100054531A1 (en) * | 2005-02-21 | 2010-03-04 | Kabushiki Kaisha Toshiba | Digital watermark embedding apparatus and digital watermark detection apparatus |
| CN102014239A (zh) * | 2009-09-08 | 2011-04-13 | 周岩 | 基于jpeg数字图像的高容量隐写方法 |
| CN103038781A (zh) * | 2010-05-05 | 2013-04-10 | 数字标记公司 | 隐藏图像信号发送 |
| CN103914839A (zh) * | 2014-03-27 | 2014-07-09 | 中山大学 | 一种基于隐写分析的图像拼接篡改检测方法及装置 |
| US20140233861A1 (en) * | 2013-02-21 | 2014-08-21 | Siow Kiat Tan | Method for locating an electronic apparatus |
| CN105117758A (zh) * | 2015-08-31 | 2015-12-02 | 武汉大学 | 一种基于彩色二维码的移动平台安全通信方法 |
| CN105141961A (zh) * | 2015-08-03 | 2015-12-09 | 中国人民解放军信息工程大学 | 一种基于视频隐写的空间数据双协议传输方法 |
| CN106327413A (zh) * | 2016-08-10 | 2017-01-11 | 深圳大学 | 一种基于频域分析的图像隐写方法及系统 |
| CN106713917A (zh) * | 2016-12-05 | 2017-05-24 | 南京航空航天大学 | 一种基于运动矢量残差的视频隐写算法 |
| CN107027055A (zh) * | 2017-04-28 | 2017-08-08 | 安徽四创电子股份有限公司 | 一种基于水印技术的视频溯源及加密方法 |
-
2017
- 2017-09-27 CN CN201710889223.1A patent/CN107707924B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100054531A1 (en) * | 2005-02-21 | 2010-03-04 | Kabushiki Kaisha Toshiba | Digital watermark embedding apparatus and digital watermark detection apparatus |
| CN102014239A (zh) * | 2009-09-08 | 2011-04-13 | 周岩 | 基于jpeg数字图像的高容量隐写方法 |
| CN103038781A (zh) * | 2010-05-05 | 2013-04-10 | 数字标记公司 | 隐藏图像信号发送 |
| US20140233861A1 (en) * | 2013-02-21 | 2014-08-21 | Siow Kiat Tan | Method for locating an electronic apparatus |
| CN103914839A (zh) * | 2014-03-27 | 2014-07-09 | 中山大学 | 一种基于隐写分析的图像拼接篡改检测方法及装置 |
| CN105141961A (zh) * | 2015-08-03 | 2015-12-09 | 中国人民解放军信息工程大学 | 一种基于视频隐写的空间数据双协议传输方法 |
| CN105117758A (zh) * | 2015-08-31 | 2015-12-02 | 武汉大学 | 一种基于彩色二维码的移动平台安全通信方法 |
| CN106327413A (zh) * | 2016-08-10 | 2017-01-11 | 深圳大学 | 一种基于频域分析的图像隐写方法及系统 |
| CN106713917A (zh) * | 2016-12-05 | 2017-05-24 | 南京航空航天大学 | 一种基于运动矢量残差的视频隐写算法 |
| CN107027055A (zh) * | 2017-04-28 | 2017-08-08 | 安徽四创电子股份有限公司 | 一种基于水印技术的视频溯源及加密方法 |
Non-Patent Citations (1)
| Title |
|---|
| ANRAN WANG等: "InFrame++: Achieve Simultaneous Screen-Human Viewing and Hidden Screen-Camera Communication", 《MOBISYS "15 PROCEEDINGS OF THE 13TH ANNUAL INTERNATIONAL CONFERENCE ON MOBILE SYSTEMS, APPLICATIONS, AND SERVICES，FLORENCE, ITALY — MAY 18 - 22, 2015》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103572A1 (en) * | 2021-12-09 | 2023-06-15 | Huawei Technologies Co., Ltd. | Devices, methods, and computer readable media for screen-capture communication |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107707924B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9706111B2 (en) | No-reference image and video quality evaluation | |
| CN104079925B (zh) | 基于视觉感知特性的超高清视频图像质量客观评价方法 | |
| Yuan et al. | Dynamic and invisible messaging for visual MIMO | |
| Yuan et al. | Computer vision methods for visual MIMO optical system | |
| CN102263985B (zh) | 一种立体投影设备的质量评价方法、装置及系统 | |
| CN103108197A (zh) | 一种用于3d视频无线显示的优先级压缩方法和系统 | |
| CN106462956A (zh) | 局部自适应直方图均衡 | |
| CN108391028B (zh) | 一种自适应拍摄方向的可见光隐式成像通信方法 | |
| US9189827B2 (en) | Video codes for encoding/decoding streaming data | |
| CN107146252A (zh) | 一种大数据图像处理装置 | |
| CN108074241B (zh) | 目标图像的质量评分方法、装置、终端及存储介质 | |
| CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| CN107113367A (zh) | 具有颜色恒定性的亮度改变图像处理 | |
| Izz et al. | Uber-in-light: Unobtrusive visible light communication leveraging complementary color channel | |
| CN101867721B (zh) | 宽动态图像的实现方法、实现装置及成像设备 | |
| CN108460794B (zh) | 一种双目立体红外显著目标检测方法及系统 | |
| CN108961227A (zh) | 一种基于空域和变换域多特征融合的图像质量评价方法 | |
| CN105117758A (zh) | 一种基于彩色二维码的移动平台安全通信方法 | |
| Jung et al. | Complementary Color Barcode‐Based Optical Camera Communications | |
| CN104954627B (zh) | 一种信息处理方法及电子设备 | |
| CN102930545A (zh) | 一种图像质量盲评估的统计测度方法 | |
| CN107707924A (zh) | 一种基于频率约束的相机与屏幕通信方法 | |
| Yuan et al. | Spatially varying radiometric calibration for camera-display messaging | |
| Singh et al. | Performance analysis of display field communication with advanced receivers | |
| CN109194942A (zh) | 一种裸眼3d视频播放方法、终端和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200428 |