CN109685182B - 一种生成高鲁棒性视频化美学qr码的方法 - Google Patents

一种生成高鲁棒性视频化美学qr码的方法 Download PDF

Info

Publication number
CN109685182B
CN109685182B CN201811445021.9A CN201811445021A CN109685182B CN 109685182 B CN109685182 B CN 109685182B CN 201811445021 A CN201811445021 A CN 201811445021A CN 109685182 B CN109685182 B CN 109685182B
Authority
CN
China
Prior art keywords
aesthetic
code
value
frame
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811445021.9A
Other languages
English (en)
Other versions
CN109685182A (zh
Inventor
徐明亮
牛建伟
苏昊
李青锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jushi Technology Co ltd
Original Assignee
Beijing Jushi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jushi Technology Co ltd filed Critical Beijing Jushi Technology Co ltd
Priority to CN201811445021.9A priority Critical patent/CN109685182B/zh
Publication of CN109685182A publication Critical patent/CN109685182A/zh
Application granted granted Critical
Publication of CN109685182B publication Critical patent/CN109685182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种生成新型高鲁棒性视频化美学QR码的方法，涉及数字图像处理和计算机视觉技术领域。本发明包括：将输入的视频裁剪转换为连续的帧图像，对每一帧图像生成美学QR码，获得视频帧序列对应的美学QR码序列；对美学QR码序列，利用美学QR码的结构相似性选择关键帧，将与关键帧外形相似的帧替换为关键帧，得到优化后的美学QR码序列；对优化后的每个美学QR码，利用鲁棒性评估模型将编码模块与视频内容融合，再经色彩转换后得到鲁棒的彩色美学QR码，所有鲁棒的彩色美学QR码合成视频化QR码。本发明生成一种新颖的视频化AQRC，具有动感性、鲁棒的机器可读性，更具吸引力，并可支持更多的应用场景。

Description

一种生成高鲁棒性视频化美学QR码的方法
技术领域
本发明涉及数字图像处理技术和计算机视觉技术领域，具体涉及一种生成高鲁棒性视频化美学QR码的方法。
背景技术
随着智能设备和移动支付的普及和发展，QR(Quick Response，快速反应)码已成为全球使用最多的二维代码之一。传统的QR码由视觉上令人不快的方形黑/白编码模块组成，它们引发了各种美学QR码(Aesthetic QR Code,以下简称为AQRC)工作以提高QR码外观的视觉质量，如《Visualead》(N.Aliva,U.Peled,and F.Itamar.，http://www.visualead.com/，2012)中开发了一种名为Visualead的视觉AQRC发生器，其保留了编码模块和混合图像之间的原始对比度，以合成美学QR码。然而，由Visualead生成的AQRC具有严重的伪像，特别是减少了混合图像的表现面积，故视觉质量欠佳。
受Halftone技术的启发，《Halftone QR codes》(H.K.Chu,C.S.Chang,R.R.Lee,and N.J.Mitra,ACM Trans.Graph.,vol.32,no.6,pp.1–8,2013)中提出了一种新型的AQRC，名为Halftone QR码。其将标准QR码的每个模块细分为3×3子模块，并将模块的颜色绑定到中心子模块，同时修改其余8个子模块以平衡可靠性和正则化，旨在将图像混合到QR码的整体区域。
《Efficient QR code beautification with high quality visual content》(S.-S.Lin,M.-C.Hu,C.-H.Lee,and T.-Y.Lee,IEEE Trans.Multimedia,vol.17,no.9,pp.1515–1524,2015.)基于Qart方法《Qart codes》(R.Cox.，http://research.swtch.com/qart，2012)中使用的GaussJordan消除法合成AQRCs，并通过渲染机制改善视觉质量。这样的AQRC具有极好的视觉效果，但仅适用于显着内容在图像中心的混合图像。利用Qart方法，《Aesthetic QR codes based on two-stage image blending》(Aesthetic QR codesbased on two-stage image blending,Y.Zhang,S.Deng,Z.Liu,and Y.Wang,SpringerInt.Publishing,pp.183–194,2015.)重新定位的QR码模块取决于从混合图像中提取的视觉显着性和边缘特征。这种方法将黑/白模块安排到视觉焦点区域并输出视觉愉悦的结果。
受风格转移网络的启发，《Stylize aesthetic QR code》(M.Xu,H.Su,Y.Li,X.Li,J.Liao,J.Niu,P.Lv,and B.Zhou,arXiv:1803.01146[cs],2018.)提出了一种新型的程式化AQRC，具有个性化、艺术性和健壮性，结合了风格目标图像的风格特征和内容图像的语义信息，最终得到了艺术品般的结果。此外，用户可以通过单一的混合图像以各种视觉愉悦的艺术风格制作这种风格导向的AQRC。
虽然这些方法中的每种都有其自身的优点，但它们只生成可优化潜力有限的静态图像模式的AQRC，缺乏动感，可变性和视觉吸引力。为使原有QR码更具视觉性和吸引力，本发明首先提出了一种新颖的视频模式AQRC，它在这些方面具有更好的性能。
发明内容
针对于现有QR码外观上的局限性，本发明提出了一种新颖的视频化AQRC，称为V-AQRC(Videolizde Aesthetic QR Code)，它具有动感性、鲁棒的机器可读性，更具吸引力，并可支持更多的应用场景。对于V-AQRC，使QR码的模块适应视频内容将提高视觉质量，但是在合成的V-AQRC播放期间会导致严重的模块闪烁，这导致视觉上的不愉快和机器不可读。本发明提出了一种生成高鲁棒性视频化美学QR码的方法，通过控制视频内容自适应性，模块闪烁率，视觉质量和解码稳健性来生成V-AQRC。
本发明提供的一种生成高鲁棒性视频化美学QR码的方法，实现步骤包括如下：
步骤1：将输入的视频裁剪转换为连续的帧图像，对每一帧图像生成美学QR码，获得视频帧序列对应的美学QR码序列；
步骤2：对步骤1获得的美学QR码序列，按照帧的前后顺序，利用美学QR码的结构相似性选择关键帧，将与关键帧外形相似的帧替换为关键帧，得到优化后的美学QR码序列；
步骤3：对步骤2获得的优化后的美学QR码序列中的每个美学QR码，利用鲁棒性评估模型将编码模块与视频内容融合，再经色彩转换后得到鲁棒的彩色美学QR码，所有鲁棒的彩色美学QR码合成视频化QR码。
所述的步骤1中，对一帧图像生成美学QR码时，首先根据单帧的内容特征和连续帧的时间和上下文信息来确定图像中每个模块的权重，然后根据模块的权重大小确定调度模块的优先级，生成美学QR码。
所述的步骤2中，根据步骤1获得的美学QR码序列以及设置的结构相似性阈值η来选取关键帧，η取值范围为[0,1]；设置第一帧作为第一个关键帧，计算关键帧与后面连续帧的美学QR码的结构相似性指数，若计算的结构相似性指数大于阈值η，则表示该连续帧与关键帧结构相似，将该连续帧的美学QR码替换为关键帧的美学QR码，否则将该连续帧作为新的关键帧，继续计算关键帧与后面的连续帧的美学QR码的结构相似性指数，来更新美学QR码序列，直到遍历完所有的帧，输出优化后的美学QR码序列。
所述的步骤3中，设第t帧图像为Ft，Ft的灰度图为(Ft)g，Ft优化后的美学QR码为
Figure GDA0003193986320000021
所述的鲁棒性评估模型基于动态阈值对
Figure GDA0003193986320000022
进行处理，如下：
Figure GDA0003193986320000023
其中，
Figure GDA0003193986320000024
为Ft的鲁棒的彩色美学QR码，
Figure GDA0003193986320000025
为彩色美学QR码
Figure GDA0003193986320000026
中模块Mk的灰度值，
Figure GDA0003193986320000027
表示模块Mk在图像Ft中的局部阈值，
Figure GDA0003193986320000028
表示美学QR码
Figure GDA0003193986320000029
中模块Mk的灰度值；当
Figure GDA0003193986320000031
取值为255时，参数ω取值1，当
Figure GDA0003193986320000032
取值为0时，参数ω取值-1；参数θ为用于平衡鲁棒性和视觉效果的参数，取值范围是[0,1]。
本发明与现有技术相比，具有以下明显优势：
(1)本发明涉及一种新颖的视频模式AQRC，称为V-AQRC，它是机器可读的，更具吸引力，并且能够支持更多的应用场景。
(2)本发明提出了一种有效的方法，通过利用单帧的内容特征和连续帧的上下文特征，使QR码的模块适应视频内容。
(3)本发明提出改良的结构相似性指数，针对性地衡量两个AQRC之间的差异，并进一步设计一种机制来选择关键帧和所得V-AQRC中的模块闪烁率，以增强视觉效果和鲁棒性。
(4)本发明提出了一种鲁棒性评估机制，通过平衡两个竞争项，视觉质量和解码稳健性，将编码模块与每个帧混合，同时保证机器的可读性。
附图说明
图1为本发明一种视频化美学QR码的方法总体流程示意图；
图2为本发明方法的步骤一中产生自适应标准美学QR码序列的流程示意图；
图3为本发明方法的步骤二中选择关键帧的流程示意图；
图4为本发明方法的步骤二中获取优化的美学QR码序列的伪代码示意图；
图5为本发明方法的步骤三中的流程图；
图6为本发明方法步骤三中灰度值到RGB值的转换流程图；
图7为本发明方法步骤三中θ、σ对输出结果的视觉效果的影响效果图；
图8为本发明的生成高鲁棒性视频化美学QR码方法的步骤流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，更加清楚本发明实施例的目的、技术方案和优点，下面结合附图和实施例对本发明作进一步的详细描述。
本发明中提供了一种生成高鲁棒性视频化美学QR(Quick Response)码的方法，所生成的视频化美学QR码称为V-AQRCs，其具备动感、机器可读，更具吸引力，并且能够支持更多的应用场景。本发明方法的总体流程如图1和图8所示，下面说明各个实现步骤。
步骤1，使用输入视频连续帧的上下文信息和单帧的内容特征，产生自适应标准美学QR码序列，即AQRC序列。
首先对输入的视频(Video)裁剪转换为连续的帧图像(Frame Images)，设第t帧图像表示为Ft，t为正整数，设共有N帧图像，t＝1,2,…,N。然后将每一帧图像作为目标帧，生成标准美学QR码
Figure GDA0003193986320000033
如图2所示。
为了使V-AQRC的模块更适应视频内容，本发明计算了一个权重矩阵，用于确定调度模块的优先级。从现有的图像模式工作中，权重矩阵主要由两个术语组成：i)单帧的内容特征；ii)连续帧的时间和上下文信息。
将当前目标帧表示为
Figure GDA0003193986320000041
目标帧
Figure GDA0003193986320000042
被分成尺寸为a×a像素的m×m个模块，计算每个模块的权重，
Figure GDA0003193986320000043
中的第k个模块Mk的归一化权重
Figure GDA0003193986320000044
为：
Figure GDA0003193986320000045
其中，x表示目标帧
Figure GDA0003193986320000046
中的一个像素，
Figure GDA0003193986320000047
表示像素x的权重，Wmax表示目标帧
Figure GDA0003193986320000048
中模块的权重的最大值。上角标c用来标记权重是时间和上下文信息的权重。下面用上角标f来表示内容特征的权重。
像素x的权重
Figure GDA0003193986320000049
是结合了时间和上下文信息的权重值，是对连续帧的内容特征进行加权的结果，其计算公式为：
Figure GDA00031939863200000410
其中，N表示帧数；
Figure GDA00031939863200000411
表示第t帧Ft(中像素x)的内容特征的权重，可以自动计算所有帧的内容特征权重
Figure GDA00031939863200000412
t0为目标帧的编号，t表示帧的编号。σ2为高斯分布的标准差，高斯分布的概率密度函数为
Figure GDA00031939863200000413
通过最小化以下能量函数E来计算
Figure GDA00031939863200000414
如下：
Figure GDA00031939863200000415
其中，
Figure GDA00031939863200000416
表示Ft对应的标准AQRC，仅由黑白模块组成；
Figure GDA00031939863200000417
表示
Figure GDA00031939863200000418
的灰度图，(Ft)g表示图像Ft的灰度图；
Figure GDA00031939863200000419
表示
Figure GDA00031939863200000420
中的像素x的灰度值，其等于0或255；
Figure GDA00031939863200000421
表示(Ft)g中像素x的灰度值。
Gauss(x)为高斯加权函数，定义为：
Figure GDA00031939863200000422
其中，i,j分别是像素x在模块Mk中的横坐标、纵坐标；σ＝(a-1)/6，a是Mk的边长。
计算
Figure GDA00031939863200000423
中每个模块的权重
Figure GDA00031939863200000424
获得m×m的权重矩阵W。在得到模块的优先级权重
Figure GDA00031939863200000425
后再根据参考文件：R.Cox.Qartcodes.http://research.swtch.com/qart,2012中的高斯消元法，对标准AQRC的模块调度进行设置。具体是按照模块权重从高到低的顺序，依次对所有模块进行调度。通过高斯约旦消元法来修改二值图中黑白块位置。同时，基于QR码编码机制的里德所罗门编码原理，若权重较高的模块与权重较低的模块调度出现互斥，则只调度较高权重的模块。最终生成单帧的标准AQRC码
Figure GDA00031939863200000426
对于
Figure GDA0003193986320000051
中具有更大权重的模块，本发明给予该模块更高的优先级，
Figure GDA0003193986320000052
中模块Mk与图像F中对应模块区域具有相同的二值化结果，即
Figure GDA0003193986320000053
其中，
Figure GDA0003193986320000054
表示
Figure GDA0003193986320000055
中模块Mk的二值化结果，Round表示四舍五入的函数。
按照上述方法生成每个帧的标准AQRC，并获得标准AQRC的序列
Figure GDA0003193986320000056
步骤2，基于连续标准美学QR码序列的结构相似性，选择关键帧并优化各模块的闪烁现象。本发明方法提出了一种选择关键帧的策略，不考虑视频帧内容，只利用标准帧AQRC的结构相似性来确定关键帧，旨在进一步降低模块的抖动速率。
如图3所示，本发明实施例中将每个标准美学QR码
Figure GDA0003193986320000057
转换为QR码版本5对应的37×37矩阵
Figure GDA0003193986320000058
其由1和0组成，矩阵位表示模块的颜色，1表示黑，0表示白。每个
Figure GDA0003193986320000059
划分为3*3的区域，并按照从左到右从上到下顺便标记为R1～R9，R1、R3、R7和R9分别位于矩阵
Figure GDA00031939863200000510
的左上、右上、左下和右下四个角，大小均为8(像素)*8(像素)，R2位于矩阵
Figure GDA00031939863200000511
的上中位置，大小为21*8，R4和R6分别位于矩阵
Figure GDA00031939863200000512
的左中和右中位置，大小均为8*21，R8位于矩阵
Figure GDA00031939863200000513
的下中位置，大小为21*8，R5位于矩阵
Figure GDA00031939863200000514
的中心位置，大小为21*21。区域R6为信息区域，R9是校准图形，R1、R3和R7是定位图形。
本发明主要通过比较两个标准美学QR码的区域R2、R4、R5和R8的相似性来确定两个美学QR码的结构相似性指数，设目标帧的美学QR码
Figure GDA00031939863200000515
与某帧的美学QR码
Figure GDA00031939863200000516
的结构相似性指数为S(t0,t)，如下：
Figure GDA00031939863200000517
其中，
Figure GDA00031939863200000518
和ψ为两个常数，
Figure GDA00031939863200000519
ψ＝0.2；Φ[A,B]表示利用广泛使用的《Imagequalityassessment:from error visibility to structural similarity》(Z.Wang,A.C.Bovik,H.R.Sheikh,andE.P.Simoncelli，IEEE Transac.Image Process,vol.13,no.4,pp.600–612,2004.)中提出的结构相似性(SSIM)指数来测量A和B之间的差异，其结果在范围[-1,1]，但在大多数情况下是正值。为了便于计算，本发明使用常用的激活函数Relu函数将Φ[A,B]映射到区域[0,1]。
Relu(x)＝max(0,x) (7)
公式(7)中的x为通过Φ[A,B]计算出来的取值在[-1,1]范围内的参数。
本发明实施例中此处是将标准美学QR码转换为QR码版本5对应的矩阵，同理，也可以转换为其他QR版本对应的矩阵，虽然矩阵的大小将不同，但都可以划分成如图3所示的9个区域，一般地，R1、R3、R7和R9将会设定为与该版本相同的定位图形大小，R6的宽与定位图形相同，高为两个定位图形间的距离，因此还可以利用除去定位图形、校准图形和信息区域的R2、R4、R5和R8的相似性来确定两个美学QR码的结构相似性指数，即但都可以通过公式(6)来计算AQRC的结构相似性。
本步骤选取关键帧，优化步骤1得到的AQRC的序列的计算方法的伪代码如图4所示，按照帧的前后顺序，将第一个关键帧后边连续的帧中，所有与关键帧外形相似的帧都替换为关键帧的外形，直到碰到一个与关键帧外形相差很大的帧，并将此帧作为关键帧，继续往后比较，如此类推，最后将替换过的序列帧作为输出。下面说明实现过程：
(2.1)输入步骤1得到的AQRC的序列
Figure GDA0003193986320000061
以及结构相似性阈值η，初始设置编号t0的值为1，t＝t0+1。设置
Figure GDA0003193986320000062
为初始关键帧
Figure GDA0003193986320000063
(2.2)判断t与N大小，若t≤N，继续执行步骤(2.3)，否则，转步骤(2.7)执行。
(2.3)根据公式(6)计算
Figure GDA0003193986320000064
与
Figure GDA0003193986320000065
的结构相似性指数S(t0,t)，继续执行步骤(2.4)。
(2.4)将S(t0,t)与阈值η进行比较，若S(t0,t)≤η，继续执行步骤(2.5)，否则，转步骤(2.6)执行。
(2.5)选择
Figure GDA0003193986320000066
为关键帧，将t的值赋给t0,复制
Figure GDA0003193986320000067
记为
Figure GDA0003193986320000068
然后使t＝t0+1，继续转步骤(2.2)执行。
(2.6)复制
Figure GDA0003193986320000069
记为
Figure GDA00031939863200000610
保持t0不变，使t自增1，即t＝t+1；继续转步骤(2.2)执行。
(2.7)输出所选择的关键帧的AQRC序列
Figure GDA00031939863200000611
本发明使用相似性阈值η来控制关键帧选择，η取值范围为[0,1]，η越大，V-AQRC播放时模块抖动越强烈。
步骤3，设计了一种鲁棒性评估模型，将编码模块与视频内容融合，同时保持高视觉效果和稳健性，最终得到了V-AQRC。通过该鲁棒性评估模型，平衡每帧彩色美学QR码的鲁棒性和视觉质量，最终合成具有吸引力视频化QR码。
如图5所示，本发明设计了一个鲁棒性评估模型来生成稳健的灰度AQRC。本步骤处理对象为步骤2优化得到的AQRC序列
Figure GDA00031939863200000612
对于第t帧图像Ft，对应的灰度图为(Ft)g，也标记为Ft g，对应的优化后的美学QR码为
Figure GDA00031939863200000613
灰度图形Ft g被分成m×m个模块，对于每个模块Mk，在Ft g中绘制编码模块，设
Figure GDA00031939863200000614
经过鲁棒性评估模型处理及色彩转换后得到鲁棒的彩色美学QR码
Figure GDA00031939863200000615
基于动态阈值计算这些模块Mk的灰度值
Figure GDA00031939863200000616
Figure GDA00031939863200000617
其中，
Figure GDA00031939863200000618
表示模块Mk在第t帧图像Ft中的局部阈值，
Figure GDA00031939863200000619
表示美学QR码
Figure GDA00031939863200000620
中模块Mk的灰度值；参数ω取值1或-1，当
Figure GDA00031939863200000621
取值为255时，ω取值1，当
Figure GDA00031939863200000622
取值为0时，ω取值-1；参数θ用于平衡鲁棒性和视觉效果的参数，由用户设定，θ值越高，输出的QR码鲁棒性越强。参数θ的取值范围是[0,1]。
当
Figure GDA0003193986320000071
是255或0，为了在
Figure GDA00031939863200000721
中编码模块更好的视觉效果，本发明保持模块Mk的中心颜色为
Figure GDA0003193986320000072
并且附近的像素灰度值依据帧图像逐渐渐变，其每个像素灰度值的计算如下所示：
Figure GDA0003193986320000073
Figure GDA0003193986320000074
表示
Figure GDA0003193986320000075
的灰度图中的模块Mk中的像素x的灰度值，
Figure GDA0003193986320000076
表示图像Ft的灰度图中像素x的灰度值。
此外，由于局部阈值是动态的，更改一个模块的灰度值可能会导致其他模块的阈值发生变化，从而导致某些模块不稳健。因此本发明使用迭代过程来纠正模块并重复更新阈值，直到所有模块都很稳健并获得稳健的灰度的美学QR码
Figure GDA0003193986320000077
在迭代时，(1)利用公式(8)和(9)先进行一遍模块绘制；(2)更新所有模块的局部阈值，并计算所有QR码模块的鲁棒性，若存在不鲁棒模块，执行(3)；若所有模块均鲁棒则停止阈值更新；(3)利用公式(8)和(9)根据新局部阈值，绘制不鲁棒的模块，然后转(2)。
图5中，robust region表示鲁棒区域，non-robust region表示非鲁棒区域，
Figure GDA0003193986320000078
表示
Figure GDA0003193986320000079
中像素x的阈值。
如图6所示，应该将鲁棒灰度
Figure GDA00031939863200000710
转换为彩色的
Figure GDA00031939863200000711
同时保持解码鲁棒性不变，即满足最广泛使用的RGB颜色转换为灰度值的公式，如下：
Figure GDA00031939863200000712
其中，三个参数α＝0.299，β＝0.587，γ＝0.114，
Figure GDA00031939863200000713
分别表示
Figure GDA00031939863200000714
中像素x在R、G、B通道中的值；上角标R、G、B分别是红色、绿色、蓝色。
本发明定义参数
Figure GDA00031939863200000715
的RGB色彩计算如下：
Figure GDA00031939863200000716
其中，
Figure GDA00031939863200000717
分别表示Ft中像素x在R、G、B通道中的值。此处的上角标T表示矩阵的转置。
将灰度值转换到RGB值的过程中，若计算出的R、G、B值溢出上限255，对于一个通道中的溢出值，本发明将其按比例转换为其他一个或两个可用通道，并将转换比定义为
Figure GDA00031939863200000718
如公式：
Figure GDA00031939863200000719
由上述公式对AQRC序列Ω*处理后可获得一个序列
Figure GDA00031939863200000720
然后可以通过组合Ω**中的彩色AQRC来，合成V-AQRC。
如图7所示，为本发明方法步骤三中θ和σ对输出结果的视觉效果的影响，模块的大小随σ变化(a是模块的边长)，增加σ可以扩展模块的大小。模块的颜色随θ变化，增加θ使模块的颜色更接近黑色或白色。θ和σ与V-AQRC的视觉吸引力成反比，但与解码鲁棒性成正比例。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种生成视频化美学QR码的方法，其特征在于，实现步骤包括：
步骤1：将输入的视频裁剪转换为连续的帧图像，对每一帧图像生成美学QR码，获得视频帧序列对应的美学QR码序列；
其中，对一帧图像生成美学QR码时，首先根据单帧的内容特征和连续帧的时间和上下文信息来确定图像中每个模块的权重，然后根据模块的权重大小确定调度模块的优先级，生成美学QR码；
步骤2：对步骤1获得的美学QR码序列，按照帧的前后顺序，利用美学QR码的结构相似性选择关键帧，将与关键帧外形相似的帧替换为关键帧，得到优化后的美学QR码序列；
步骤3：对步骤2获得的优化后的美学QR码序列中的每个美学QR码，利用鲁棒性评估模型将编码模块与视频内容融合，再经色彩转换后得到鲁棒的彩色美学QR码，所有鲁棒的彩色美学QR码合成视频化QR码；
设第t帧图像为Ft，Ft的灰度图为(Ft)g，Ft优化后的美学QR码为
Figure FDA0003193986310000011
所述的鲁棒性评估模型基于动态阈值对
Figure FDA0003193986310000012
进行处理，如下：
Figure FDA0003193986310000013
其中，
Figure FDA0003193986310000014
为Ft的鲁棒的彩色美学QR码，
Figure FDA0003193986310000015
为彩色美学QR码
Figure FDA0003193986310000016
中模块Mk的灰度值，
Figure FDA0003193986310000017
表示模块Mk在图像Ft中的局部阈值，
Figure FDA0003193986310000018
表示美学QR码
Figure FDA0003193986310000019
中模块Mk的灰度值；当
Figure FDA00031939863100000110
取值为255时，参数ω取值1，当
Figure FDA00031939863100000111
取值为0时，参数ω取值-1；参数θ为用于平衡鲁棒性和视觉效果的参数，取值范围是[0,1]。
2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，对目标帧
Figure FDA00031939863100000112
生成美学QR码时，将图像分成尺寸为a×a像素的m×m个模块，其中第k个模块Mk的归一化权重
Figure FDA00031939863100000113
为：
Figure FDA00031939863100000114
其中，x表示目标帧
Figure FDA00031939863100000123
中的一个像素，
Figure FDA00031939863100000115
表示像素x的时间和上下文信息的权重，Wmax表示目标帧
Figure FDA00031939863100000116
中模块的权重的最大值；
像素x的权重
Figure FDA00031939863100000117
是对连续帧的内容特征进行加权得到，如下：
Figure FDA00031939863100000118
其中，N表示帧数；
Figure FDA00031939863100000119
表示第t帧Ft中像素x的内容特征的权重；
Figure FDA00031939863100000120
是高斯分布的概率密度函数，σ2为高斯分布的标准差；
通过最小化能量函数E来计算
Figure FDA00031939863100000121
如下：
Figure FDA00031939863100000122
其中，
Figure FDA0003193986310000021
表示Ft对应的美学QR码，仅由黑白模块组成；
Figure FDA0003193986310000022
表示
Figure FDA0003193986310000023
的灰度图，(Ft)g表示图像Ft的灰度图；
Figure FDA0003193986310000024
表示
Figure FDA0003193986310000025
中的像素x的灰度值，
Figure FDA0003193986310000026
表示(Ft)g中像素x的灰度值；
Gauss(x)为高斯加权函数，定义为：
Figure FDA0003193986310000027
其中，i,j分别是像素x在模块Mk中的横坐标、纵坐标；σ＝(a-1)/6，a是Mk的边长。
3.根据权利要求1所述的方法，其特征在于，所述的步骤2中，对两个美学QR码，通过下面过程来计算结构相似性，如下：
首先将美学QR码转换为1和0组成的矩阵，矩阵位表示模块的颜色，设美学QR码
Figure FDA0003193986310000028
转换为矩阵
Figure FDA0003193986310000029
将
Figure FDA00031939863100000210
划分为3*3的区域，并按照从左到右从上到下顺便标记为R1～R9，其中，R6为信息区域，R9是校准图形，R1、R3和R7是定位图形；然后利用区域R2、R4、R5和R8的相似性来确定两个美学QR码的结构相似性指数，目标帧的美学QR码
Figure FDA00031939863100000211
与待比较的美学QR码
Figure FDA00031939863100000212
的结构相似性指数S(t0,t)如下：
Figure FDA00031939863100000213
其中，常数
Figure FDA00031939863100000214
常数ψ＝0.2；Φ[A,B]表示利用结构相似性指数SSIM来测量A和B之间的差异；Φ[A,B]的计算结果在范围[-1,1]，利用激活函数Relu将Φ[A,B]映射到区域[0,1]，Relu(x)＝max(0,x)，x为Φ[A,B]的计算结果；
结构相似性指数S(t0,t)越大表示
Figure FDA00031939863100000215
与
Figure FDA00031939863100000216
的结构越相似。
4.根据权利要求1或3所述的方法，其特征在于，所述的步骤2中，根据步骤1获得的美学QR码序列以及设置的结构相似性阈值η来选取关键帧，η取值范围为[0,1]；设置第一帧作为第一个关键帧，计算关键帧与后面连续帧的美学QR码的结构相似性指数，若计算的结构相似性指数大于阈值η，则表示该连续帧与关键帧结构相似，将该连续帧的美学QR码替换为关键帧的美学QR码，否则将该连续帧作为新的关键帧，继续计算关键帧与后面的连续帧的美学QR码的结构相似性指数，来更新美学QR码序列，直到遍历完所有的帧，输出优化后的美学QR码序列。
5.根据权利要求1所述的方法，其特征在于，所述的步骤3中，当
Figure FDA00031939863100000217
是255或0时，保持模块Mk的中心颜色为
Figure FDA00031939863100000218
然后根据下面公式将附近的像素灰度值依据帧图像逐渐渐变：
Figure FDA00031939863100000219
其中，
Figure FDA00031939863100000220
表示
Figure FDA00031939863100000221
的灰度图中的模块Mk中的像素x的灰度值，
Figure FDA00031939863100000222
表示
Figure FDA00031939863100000223
的灰度图中像素x的灰度值，
Figure FDA00031939863100000224
表示图像Ft的灰度图中像素x的灰度值，Gauss(x)为高斯加权函数，
Figure FDA0003193986310000031
i,j分别是像素x在模块Mk中的横坐标、纵坐标；σ＝(a-1)/6，a是Mk的边长。
6.根据权利要求1或5所述的方法，其特征在于，所述的步骤3中，在利用鲁棒性评估模型得到鲁棒的灰度美学QR码
Figure FDA0003193986310000032
后，再利用RGB颜色转换为灰度值的公式，转化为鲁棒的彩色美学QR码
Figure FDA0003193986310000033
定义参数
Figure FDA0003193986310000034
其中，
Figure FDA0003193986310000035
表示
Figure FDA0003193986310000036
的灰度图中像素x的灰度值，
Figure FDA0003193986310000037
表示图像Ft的灰度图中像素x的灰度值；
Figure FDA0003193986310000038
的RGB色彩计算为：
Figure FDA0003193986310000039
其中，
Figure FDA00031939863100000310
分别表示
Figure FDA00031939863100000311
中像素x在红色R、绿色G、蓝色B通道中的值；
Figure FDA00031939863100000312
分别表示Ft中像素x在R、G、B通道中的值；上角标T表示矩阵的转置。
7.根据权利要求6所述的方法，其特征在于，所述的步骤3中，在将灰度值转换到RGB值的过程中，若计算出的R、G、B通道中的值溢出上限255，则对于一个通道中的溢出值，将按比例转换为其他一个或两个可用通道，并将转换比定义为
Figure FDA00031939863100000313
如下公式：
Figure FDA00031939863100000314
其中，三个参数α＝0.299，β＝0.587，γ＝0.114。
CN201811445021.9A 2018-11-29 2018-11-29 一种生成高鲁棒性视频化美学qr码的方法 Active CN109685182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811445021.9A CN109685182B (zh) 2018-11-29 2018-11-29 一种生成高鲁棒性视频化美学qr码的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811445021.9A CN109685182B (zh) 2018-11-29 2018-11-29 一种生成高鲁棒性视频化美学qr码的方法

Publications (2)

Publication Number Publication Date
CN109685182A CN109685182A (zh) 2019-04-26
CN109685182B true CN109685182B (zh) 2021-09-03

Family

ID=66185922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811445021.9A Active CN109685182B (zh) 2018-11-29 2018-11-29 一种生成高鲁棒性视频化美学qr码的方法

Country Status (1)

Country Link
CN (1) CN109685182B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108064395A (zh) * 2015-05-01 2018-05-22 制图利有限责任公司 在视频图像中嵌入二维码的系统和方法
CN108491747A (zh) * 2018-02-06 2018-09-04 南京风力舰信息技术有限公司 一种融合图像后美化qr码的方法
CN108491913A (zh) * 2018-02-06 2018-09-04 南京风力舰信息技术有限公司 一种含密美化qr码认证的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI571803B (zh) * 2015-12-28 2017-02-21 元智大學 彩色二維條碼的產生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108064395A (zh) * 2015-05-01 2018-05-22 制图利有限责任公司 在视频图像中嵌入二维码的系统和方法
CN108491747A (zh) * 2018-02-06 2018-09-04 南京风力舰信息技术有限公司 一种融合图像后美化qr码的方法
CN108491913A (zh) * 2018-02-06 2018-09-04 南京风力舰信息技术有限公司 一种含密美化qr码认证的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"创意二维码";刘洁;《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》;20150215(第02期);论文全文 *

Also Published As

Publication number Publication date
CN109685182A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN106778995B (zh) 一种与图像融合的艺术化二维码生成方法及装置
US11620774B2 (en) Generative adversarial network (GAN)-based system for generating color image from edge image
JP6483221B2 (ja) 三次元コードの生成方法
US7869648B2 (en) Object extraction based on color and visual texture
CN106157273B (zh) 生成合成图片的方法及装置
US20200364910A1 (en) Line drawing generation
Li et al. An aesthetic QR code solution based on error correction mechanism
US10818043B1 (en) Texture interpolation using neural networks
JP2015507307A (ja) 読み取り可能マトリックスコード
CN1475969A (zh) 用于增强人像图像的方法和系统
WO2008039693A2 (en) Improving image masks
CN102984526A (zh) 图像处理装置和方法以及程序
WO2008036693A2 (en) Image mask generation
KR20200015095A (ko) 영상 처리 장치 및 그 동작방법
Shutova et al. NTIRE 2023 challenge on night photography rendering
US10810775B2 (en) Automatically selecting and superimposing images for aesthetically pleasing photo creations
CN114444679A (zh) 二值化输入模型的量化方法及系统、计算机可读存储介质
CN105338214A (zh) 图像处理方法和图像处理装置
JP5594282B2 (ja) 画像処理装置
Xiao et al. Histogram learning in image contrast enhancement
CN109685182B (zh) 一种生成高鲁棒性视频化美学qr码的方法
CN116822548B (zh) 生成高识别率ai二维码的方法及计算机可读存储介质
CN110363733B (zh) 一种混合图像生成方法及装置
CN110097615B (zh) 一种联合风格化和去风格化的艺术字编辑方法和系统
CN111242836A (zh) 目标图像生成以及广告图像生成的方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant