CN112183150B - 图像二维码及其制备方法、解析装置和解析方法 - Google Patents
图像二维码及其制备方法、解析装置和解析方法 Download PDFInfo
- Publication number
- CN112183150B CN112183150B CN202011110612.8A CN202011110612A CN112183150B CN 112183150 B CN112183150 B CN 112183150B CN 202011110612 A CN202011110612 A CN 202011110612A CN 112183150 B CN112183150 B CN 112183150B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional code
- distortion
- background
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 37
- 238000002360 preparation method Methods 0.000 title claims description 14
- 238000004088 simulation Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像二维码，包括背景图像和编码信息；背景图像主要由单张或多张背景图片构建组成；编码信息嵌入在背景图像中，并且编码信息图像隐写在背景图像中。包括定位符和/或定位结构；基于定位符和/或定位结构，能够区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。根据本发明提供的图像二维码与构成背景图像的背景图片在人眼视觉上不具备显著差异，解决了传统二维码黑白相间的外观对用户视觉体验不友好的问题；图像二维码设置定位符使得解码器能够基于定位符快速区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变，提高解码器解码的准确率。
Description
技术领域
本发明涉及数字水印技术领域，具体地，涉及图像二维码及其制备方法、解析装置和解析方法。
背景技术
二维码又称二维条码，常见的二维码为QR Code(Quick Response Code)，是一个近几年来移动设备上超流行的一种编码方式，它比传统的Bar Code条形码能存储更多的信息，也能表示更多的数据类型。
二维条码/二维码(2-dimensional bar code)是用某种特定的几何图形按一定规律在平面(二维方向上)分布的、黑白相间的、记录数据符号信息的图形；在代码编制上巧妙地利用构成计算机内部逻辑基础的“0”、“1”比特流的概念，使用若干个与二进制相对应的几何形体来表示文字数值信息，通过图象输入设备或光电扫描设备自动识读以实现信息自动处理：它具有条码技术的一些共性：每种码制有其特定的字符集；每个字符占有一定的宽度；具有一定的校验功能等。同时还具有对不同行的信息自动识别功能、及处理图形旋转变化点。
目前，二维码已经在许多商业领域取得了巨大的成功，例如零售中的移动支付、社交媒体中的数字名片、网站及海报中的扩展链接、以及产品溯源、防伪等。然而，二维码黑白相间的外观对于视觉体验来说并不友好，这也在一定程度上影响了上述场景中的用户体验。以微信名片为例，二维码无法体现出用户的个性，即使目前的微信名片采用了二维码美化技术，在中心插入了用户图像，但仍然无法避免千篇一律的黑白块。再以网站及海报中的扩展链接为例，二维码的出现势必会影响网站和海报的整体艺术设计。可以预见，如果提供一种新的技术，可以通过用户定制的图片来代替二维码，必将会对上述领域带来突破性的革新。
随着深度学习技术的飞速发展，深度神经网络模型已经在图像分类、目标检测、分割、追踪、视频预测等多个视觉任务中展现出强大的能力。近年来，随着生成对抗网络的发展，基于深度学习的图像重建技术日趋完善。利用图像重建的原理，许多研究者开始将关注点放在图像信息隐藏之中，这与传统的数字水印技术相类似。数字水印技术用于将信息(水印)嵌入到以图象为代表的数字载体中。按照呈现形式划分，数字水印技术可分为可见水印和不可见水印；按照水印隐藏的空间划分，数字水印技术又可分为空域(像素域)水印和频域(变换域)水印。由于可见数字水印可通过图像处理工具，如Photoshop进行去除，因此此处忽略对它们的讨论。传统的不可见数字水印技术需要一系列复杂的调制及变换，以达到良好的水印解析鲁棒性和视觉效果。相比之下，利用深度神经网络与图像重建思想的信息隐藏算法在实现中更加自动化。深度神经网络可以自动提取图像的深度特征，并根据约束进行非线性拟合，从而能够根据人眼视觉特性的约束自动地重建出与原图在视觉上十分相似的编码后图像。一种基于深度神经网络与图像重建的图像二维码及其制备方法、解析装置和解析方法亟待被研发。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种图像二维码及其制备方法、解析装置和解析方法。
根据本发明提供的一种图像二维码，包括背景图像和编码信息；
背景图像主要由单张或多张背景图片构建组成；
编码信息嵌入在背景图像中，并且编码信息图像隐写在背景图像中。
优选地，包括定位符和/或定位结构；
基于定位符和/或定位结构，能够区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。
优选地，定位符包括矩形边框；
矩形边框包括第一矩形边框、第二矩形边框和第三矩形边框，第一矩形边框、第二矩形边框和第三矩形边框以背景图像为中心由内向外依次设置；
第一矩形边框为黑色，第二矩形边框为白色，第三矩形边框为黑色，第一矩形边框、第二矩形边框和第三矩形边框宽度相同。
根据本发明提供的制备上述图像二维码的图像二维码制备方法，步骤包括：
步骤1、编码器训练：编码器主要由深度神经网络组成，训练编码器提取、融合背景图片数据集及随机信息中的对应信息特征，训练后的编码器能够重建背景图像并嵌入编码信息，编码信息图像隐写在背景图像中；
步骤2、编码器输入：向编码器输入单张或多张背景图片以及编码信息；
步骤3、图像融合：编码器根据输入的背景图片重建背景图像并嵌入编码信息。
根据本发明提供的解析上述图像二维码的图像二维码解析装置，包括相机和解码器；
相机能够拍摄图像二维码；
解码器主要由深度神经网络组成，解码器经过失真模拟器的解析训练，训练后的解码器能够根据引入噪声、失真及质量退化的图像二维码，正确解析编码信息。
优选地，进行解析训练时，失真模拟器设置有3D渲染模块，3D渲染模块对图像二维码进行失真和质量退化处理并输入解码器，解码器对经失真模拟器处理的图像二维码解析编码信息。
优选地，3D渲染模块设置有3D重建模拟模块、相机光路模拟模块和失真模拟模块；
3D重建模拟模块能够实现随机3D几何变换、分辨率随机放缩以及像素重采样，模拟相机拍摄时图像二维码图像平面从3D点云空间到2D平面的重建过程；
相机光路模拟模块能够实现图像二维码图像平面色调、亮度和对比度变化，模拟相机拍摄时环境光与图像平面反射现象；
失真模拟模块能够对图像二维码图像进行失真处理，模拟相机内部电子器件引入的噪声以及图片存储格式造成的图像压缩。
优选地，还包括定位模块；
定位模块对相机拍摄图像进行极坐标转换、边缘检测和角点检测，能够基于定位符和/或定位结构对相机拍摄图像中的图像二维码定位，区分相机拍摄图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。
根据本发明提供的使用上述图像二维码解析装置的图像二维码解析方法，步骤包括：
步骤1、图像二维码拍摄：相机进行拍摄得到相机拍摄图像；
步骤2、图像二维码定位：定位模块对相机拍摄图像进行极坐标转换、边缘检测和角点检测，定位图像二维码图像，区分相机拍摄图像中的图像二维码图像和一般图像；
步骤3、图像二维码消畸：定位模块消除图像二维码图像的几何畸变，并将消畸后的图像二维码图像传输给解码器；
步骤4、图像二维码解析：解码器根据消畸的图像二维码图像解析嵌入在背景图像中的编码信息。
根据本发明提供的一种计算机可读存储介质，计算机程序被处理器执行时实现上述的图像二维码制备方法的步骤或上述的图像二维码解析方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、通过设置编码器构建背景图像并将编码信息隐写在背景图像中，使得图像二维码与构成背景图像的背景图片在人眼视觉上不具备显著差异，解决了传统二维码黑白相间的外观对用户视觉体验不友好的问题；
2、通过在图像二维码设置定位符，使得解码器能够基于定位符快速区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变，提高解码器解码的准确率；
3、通过设置失真模拟器对解码器进行训练，使得解码器在图像二维码图像失真和质量退化的情况下能够准确地解析隐藏的编码信息，提高解码器解码的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为编码器训练和解码器训练的示意图；
图2为图像二维码制备方法和图像二维码解析方法的示意图；
图3为编码器训练和解码器训练的示意图；
图4为失真模拟器的示意图；
图5为定位符及极坐标转换示意图；
图6为定位模块的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例
根据本发明提供的图像二维码制备方法，如图2所示，步骤包括：
步骤1、编码器训练：编码器主要由深度神经网络组成，训练编码器提取、融合背景图片数据集及随机信息中的对应信息特征，训练后的编码器能够重建背景图像并嵌入编码信息，编码信息图像隐写在背景图像中，如图1和图3所示；
步骤2、编码器输入：向编码器输入单张或多张背景图片以及编码信息；
步骤3、图像融合：编码器根据输入的背景图片重建背景图像并嵌入编码信息，编码器根据输入的背景图片的特征将编码信息嵌入背景图像中；
步骤4、定位符嵌套：在嵌入有编码信息的背景图像四周设置定位符。
根据本发明提供的由上述图像二维码制备方法制备的图像二维码，包括背景图像和编码信息；背景图像主要由单张或多张背景图片构建组成；编码信息嵌入在背景图像中，并且编码信息图像隐写在背景图像中，嵌入有编码信息的背景图像与组成背景图像的背景图片在人眼视觉上不具备明显差异。
图像二维码还包括定位符和/或定位结构；
基于定位符，能够区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。定位符包括矩形边框，矩形边框包括第一矩形边框、第二矩形边框和第三矩形边框，第一矩形边框、第二矩形边框和第三矩形边框以背景图像为中心由内向外依次设置，第一矩形边框为黑色，第二矩形边框为白色，第三矩形边框为黑色，第一矩形边框、第二矩形边框和第三矩形边框宽度相同。
基于定位结构，能够区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。例如，图像二维码设置在产品包装(如牙膏盒和香烟盒等)时，图像二维码所在包装盒的包装面的边缘就构成定位结构，基于包装面边缘，能够区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变，当图像二维码所在包装的包装面非平面时(如饮料瓶弧面)，基于包装面边缘的定位结构，消除图像二维码图像的几何畸变将更为重要。
根据本发明提供的解析上述图像二维码的图像二维码解析装置，包括相机和解码器；相机能够拍摄图像二维码；解码器主要由深度神经网络组成，解码器经过失真模拟器的解析训练，训练后的解码器能够根据引入噪声、失真及质量退化的图像二维码，正确解析编码信息。
进行解析训练时，失真模拟器设置有3D渲染模块，3D渲染模块对图像二维码进行失真和质量退化处理并输入解码器，解码器对经失真模拟器处理的图像二维码解析编码信息，如图1和图3所示。
3D渲染模块设置有3D重建模拟模块、相机光路模拟模块和失真模拟模块；3D重建模拟模块能够实现随机3D几何变换、分辨率随机放缩以及像素重采样，模拟相机拍摄时图像二维码图像平面从3D点云空间到2D平面的重建过程；相机光路模拟模块能够实现图像二维码图像平面色调、亮度和对比度变化，模拟相机拍摄时环境光与图像平面反射现象；失真模拟模块能够对图像二维码图像进行失真处理，模拟相机内部电子器件引入的噪声以及图片存储格式造成的图像压缩。
图像二维码解析装置还包括定位模块；定位模块对相机拍摄图像进行极坐标转换、边缘检测和角点检测，能够基于定位符和/或定位结构对相机拍摄图像中的图像二维码定位，区分相机拍摄图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。或者
定位模块包括相机的定位框，定位模块能够基于相机的定位框对相机拍摄图像中的图像二维码定位，区分相机拍摄图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。
根据本发明提供的使用上述图像二维码解析装置的图像二维码解析方法，如图2所示，步骤包括：
步骤1、图像二维码拍摄：相机进行拍摄得到相机拍摄图像；
步骤2、图像二维码定位：定位模块对相机拍摄图像进行极坐标转换、边缘检测和角点检测，定位图像二维码图像，区分相机拍摄图像中的图像二维码图像和一般图像；
步骤3、图像二维码消畸：定位模块消除图像二维码图像的几何畸变，并将消畸后的图像二维码图像传输给解码器；
步骤4、图像二维码解析：解码器根据消畸的图像二维码图像解析嵌入在背景图像中的编码信息。
根据本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现上述的图像二维码制备方法的步骤或上述的图像二维码解析方法的步骤。
经过编码器训练的编码器和经过解析训练的解码器各保存了一些参数，在学习这些参数时，需要用到3D渲染模块。当编码器和解码器经过训练参数确定后，编码器和图像二维码解析装置即可实际应用，这时候只需要编码器依照图像二维码制备方法制备图像二维码，然后图像二维码解析装置工作，具体为相机拍照，再将相机拍摄图像给解码器解析即可得到编码信息。3D渲染模块在解析训练中扮演了实际应用中相机的角色，正因为有了3D渲染模块对解码器的解析训练才使得嵌入图像二维码的编码信息能够被图像二维码解析装置解析得到。
第一步，搭建并训练编码器模型。以U-Net为例，首先我们搭建好U-Net的网络结构，然后在训练时，随机从训练集中选择一组宽和高分别为W和H的背景图片Ii作为本次迭代的训练图片，并随机生成一组编码信息作为本次迭代的编码信息Mi。在训练数据正式进入U-Net进行编码之前，我们需要对输入编码信息做预处理。对于图片类的编码信息，我们利用一次重采样操作(Reshape)，令输入编码信息的空间维度(W和H)等于输入背景图片的空间维度，然后将背景图片和表征编码信息的图片沿通道维度方向进行连接操作(Concatenate),最终得到一个表征输入的背景图片和编码信息的、尺寸为(B,H,W,C)的输入张量。其中B为一组训练数据所含的样本数，C为输入张量的通道数，且C＝Cimg+Cmessage。对于长度为L的字符串的编码信息，我们定义Cmessage＝Cimg，首先通过一个单元数为H×W×Cmessage的全连接层，将编码信息由长度为L的一维张量转换为长度为H×W×Cmessage的一维张量，然后通过Reshape操作将一组一维张量转换为尺寸为(B,H,W,Cmessage)的张量，进而通过Concatenate操作，得到和图片类编码信息相同的输入表征形式。对输入的背景图片和编码信息在通道方向上连接，有助于编码器同时学习两者的特征，将其在深度特征空间中进行重编码，并最终根据优化目标，重建出尺寸为(B,H,W,Cimg)的编码后图片Ie。编码器的优化目标为重建后的嵌入有编码信息的背景图像与原始输入的背景图片在视觉上具有最小的差异，为了实现这一目标，我们设计了下面的损失函数：
Le＝L2(Ii,Ie)+λ1Lper(Ii,Ie)+λ2Ljnd(Ie-Ii,JNDi),
其中，L2(Ii,Ie)为输入的背景图片和编码后嵌入有编码信息的背景图像之间的L2损失，表示两图片像素间的距离差。Lper(Ii,Ie)表示感知损失，及两图片在深度特征空间上的相似性，感知损失可以很好地帮助编码器重建出符合人眼视觉特性的图片，本例中使用的损失函数为Lvgg(Ii,Ie)或LPIPS。Ljnd(Ie-Ii,JNDi)为恰可觉差(Just NoticeableDifference,JND)损失，表示编码后嵌入有编码信息的背景图像相对原背景图片引入的冗余与原背景图片的恰可觉差之间的距离，用于约束引入冗余的位置和强度。JNDi为输入的背景图片的恰可觉差分布图，可通过恰可觉差算法计算得到，输入到编码器中。此外，λ1和λ2为损失函数的权重系数。我们利用Adam优化器，实现对上述损失函数的优化。
第二步，搭建失真模拟器，并用其处理编码器的输出Ie。失真模拟器即失真子网络，失真模拟器结构如图4所示。失真模拟器用于模拟相机实际拍摄场景中对原始图片(即图像二维码)引入的失真。相机成像的过程可理解为原始图片在三维环境中的重采样过程。在这一过程中，由于相机的角度和距离会使得原始图片产生尺寸放缩和几何畸变；由于环境光的变化以及原始图片表面材质的特性，相机光路与原始图片表面会发生反射现象，从而引起原始图片亮度、对比度、饱和度及色调的变化，更严重的将会产生阴影和光斑；由于相机内部元器件的噪声和相机存储图片时的格式，拍摄后的照片会引入一些噪声和压缩现象。针对上述场景，失真模拟器以3D渲染为核心思想，以三个子过程模拟了相机成像的完整过程：
(1)3D重建(如图4(a)所示)：3D重建由3D重建模拟模块实现，3D重建是模拟图像二维码在3D空间中的由于位姿变换引起的像素重采样过程，由一系列的几何变换实现。首先，我们模拟拍摄距离不同造成的图像尺度放缩，对于编码器生成的嵌入有编码信息的背景图像Ie，在训练中随机设定一个缩放比s∈[0.5,1.5]，利用如下矩阵及变换生成缩放后图像Is：
其中，(xe,ye,ze)和(xs,ys,zs)分别表示Ie和Is的坐标，然后通过双线性插值得到Is。
对于Is，我们模拟在拍摄过程中因相机角度引起的原始图像的几何畸变。相机的成像是在三维空间中进行的，因此为了模拟图像几何畸变，我们利用3D旋转矩阵来实现：设图像平面绕x,y,z方向的偏航角分别为α,β,γ，因此图像平面绕三个方向进行旋转后的坐标可由下面三个3D旋转矩阵表示：
根据上述三个矩阵，计算出旋转矩阵为R3D＝Rx*Ry*Rz。为了补偿因绕轴旋转而对图像边缘造成的损失，我们又提出了下面两个坐标补偿矩阵，其中w和h分别为图像的宽和高：
因此，可根据下面的变换公式得到3D旋转后的图像坐标(xr,yr,zr)：
最后，我们通过3D投影，将上述坐标由三维空间投影到二维空间，完成3D重建：设相机x和y方向的焦距分别为fx和fy，投影后的坐标为(u,v)，那么根据公式：
得到新的坐标，再通过双线性插值得到3D重建后的图像Ir。
(2)相机光路模拟(如图4(b)所示)：相机光路模拟由相机光路模拟模块实现，在相机成像的过程中，由于环境光的变化，以及原始图片表面材质的不同，原始图片的表面与相机光路之间会出现反射现象，从而造成拍摄后的照片与原始图片相比在亮度、对比度、色彩的色调及饱和度上发生变化。为了模拟这一过程，我们使用3D渲染中的光照反射模型来实现。设拍摄时的光源的光谱组成为C＝(r,g,b)(为了简化模型，假设光源由三基色的光组成)，光照强度In＝ir*ig*ib，材料反照率Al＝(alr,alg,alb)，反射率为λ，
为入射光向量，
为表面法线向量，θ为入射角。对于漫反射，我们通过Lambertian反射模型来实现：
其中Id表示漫反射的光照强度。对于镜面反射，我们通过Phong反射模型来实现：
其中Is表示镜面反射的光照强度，
为反射光向量，
为拍摄方向。
此外，我们又通过随机的全局亮度、对比度调整来模拟未知光源的环境光对成像的影响，设为Ina。综上，相机成像时由于外界光照与相机光路之间的作用而产生的额外变化可表示为：
Light＝Ina+λ*Ind+(1-λ)*Ins
将上述变化加到Ir得到I′r＝Ir+Light。
(3)其他失真模拟：其他失真模拟由失真模拟模块实现，除了上述过程，在真实的相机拍摄过程中，还会发生如下成像失真，例如：相机内部的电子器件噪声、相机存储图片带来的压缩等原因，拍摄时晃动相机带来的模糊，对焦不准带来的模糊。因此，在失真子网络的最后，我们利用随机的高斯噪声、随机质量参数的JPEG压缩、随机运动模糊、随机高斯模糊来分别模拟上述四种失真类型。
需要特别说明，由于失真模拟器在训练时位于编码器和解码器之间，而编码器和解码器的训练通过反向传播来计算梯度，从而进行优化。为了确保梯度能够从解码器一端传回到编码器一端，上述的失真模拟器的相关操作均为可微分实现。
第三步，搭建并训练解码器模型。解码器的模型由多个卷积层和最终的回归层组成。解码器接收经过失真模拟器处理后的失真的嵌入有编码信息的背景图像I′r，经过卷积层提取特征，最终回归得到编码信息。在本例中，对于图像类的编码信息和字符串类的编码信息，我们采用不同的网络结构实现。对于字符串类的编码信息，我们的解码器由七层卷积神经网络组成，卷积核的尺寸均为3×3，卷积核的数量分别为32，32，64，64，64，128，128，然后通过Flatten操作将特征图转换为一维特征向量，再通过一个长度等于输入字符串长度的全连接层对信息进行逐位恢复。对于图像类的编码信息，如LOGO，我们的解码器结构与编码器相同，可根据输入信息的空域尺寸，调整卷积层及上采样层的数量，最终输出一个尺寸等于输入的编码信息图片的张量。对于字符串类的编码信息，我们使用交叉熵来监督解码器的训练，相当于对字符串的每一个bit位做二分类；对于图像类的编码信息，我们使用L2损失函数来监督解码器训练。
第四步，定位符与定位模块的使用。为了提高图像二维码的解码成功率，减少人工寻找图像二维码的时间，图像二维码还包括定位符。如图5所示，定位符由1∶1∶1的黑-白-黑边框组成，使用时可通过定位模块的定位算法快速地定位到图像二维码的四个顶点并通过几何变换消除畸变。定位算法流程如下：
图像算法以拍摄图像的中心为坐标原点，将拍摄图像由笛卡尔坐标系变换到极坐标系，如图6所示。图像算法如果发现定位符，由于其外轮廓是黑色的，其是连续的曲线，在极坐标系下其极坐标
的范围是(-π,π)。
然后，根据定位符的三层边框在宽度上等比例这一条件，我们可以得到如下推论，即极坐标系中的边界作为关于
的函数r，即
边界对应于
的四个局部最大值。然后我们进行轮廓检测。遍历轮廓点。在算法实现过程中，如果一个点的r值为大于该点左右的点的r值邻域，该点被认为是边界。最后，我们将角从极坐标系转换到直角坐标系。
在定位算法处理拍摄图像之前，我们先对片拍摄图像进行高斯模糊，以减少噪声对检测的影响。然后对拍摄图像进行了二值化，并转为极坐标状态下，接着我们依据上述分析在变换后的拍摄图像区域内搜寻满足要求的包含图像二维码的图像块。如果找到了则进入下一步，获取四个顶点值，如果寻找失败则退出扫描。当寻找到四个顶点后，计算仿射矩阵，并进行变换处理。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种图像二维码解析装置，其特征在于，包括相机和解码器；
所述相机能够拍摄图像二维码；
所述解码器主要由深度神经网络组成，解码器经过失真模拟器的解析训练，训练后的解码器能够根据引入噪声、失真及质量退化的图像二维码，正确解析编码信息；
进行所述解析训练时，失真模拟器设置有3D渲染模块，3D渲染模块对图像二维码进行失真和质量退化处理并输入解码器，解码器对经失真模拟器处理的图像二维码解析编码信息；
所述3D渲染模块设置有3D重建模拟模块、相机光路模拟模块和失真模拟模块；
所述3D重建模拟模块能够实现随机3D几何变换、分辨率随机放缩以及像素重采样，模拟相机拍摄时图像二维码图像平面从3D点云空间到2D平面的重建过程；
所述相机光路模拟模块能够实现图像二维码图像平面色调、亮度和对比度变化，模拟相机拍摄时环境光与图像平面反射现象；
所述失真模拟模块能够对图像二维码图像进行失真处理，模拟相机内部电子器件引入的噪声以及图片存储格式造成的图像压缩。
2.根据权利要求1所述的图像二维码解析装置，其特征在于，还包括定位模块；
所述定位模块对相机拍摄图像进行极坐标转换、边缘检测和角点检测，能够基于定位符和/或定位结构对相机拍摄图像中的图像二维码定位，区分相机拍摄图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。
3.一种图像二维码，其特征在于，采用权利要求1所述的图像二维码解析装置，包括背景图像和编码信息；
所述背景图像主要由单张或多张背景图片构建组成；
所述编码信息嵌入在背景图像中，并且所述编码信息图像隐写在背景图像中。
4.根据权利要求3所述的图像二维码，其特征在于，包括定位符和/或定位结构；
基于所述定位符和/或定位结构，能够区分图像中的图像二维码图像和一般图像，并消除图像二维码图像的几何畸变。
5.根据权利要求4所述的图像二维码，其特征在于，所述定位符包括矩形边框；
所述矩形边框包括第一矩形边框、第二矩形边框和第三矩形边框，所述第一矩形边框、第二矩形边框和第三矩形边框以背景图像为中心由内向外依次设置；
所述第一矩形边框为黑色，所述第二矩形边框为白色，所述第三矩形边框为黑色，所述第一矩形边框、第二矩形边框和第三矩形边框宽度相同。
6.一种图像二维码制备方法，基于权利要求3-5任一项所述的图像二维码，其特征在于，步骤包括：
步骤1、编码器训练：编码器主要由深度神经网络组成，训练编码器提取、融合背景图片数据集及随机信息中的对应信息特征，训练后的编码器能够重建背景图像并嵌入编码信息，编码信息图像隐写在背景图像中；
步骤2、编码器输入：向编码器输入单张或多张背景图片以及编码信息；
步骤3、图像融合：编码器根据输入的背景图片重建背景图像并嵌入编码信息。
7.一种图像二维码解析方法，使用权利要求1-2任一项所述的图像二维码解析装置，其特征在于，步骤包括：
步骤1、图像二维码拍摄：相机进行拍摄得到相机拍摄图像；
步骤2、图像二维码定位：定位模块对相机拍摄图像进行极坐标转换、边缘检测和角点检测，定位图像二维码图像，区分相机拍摄图像中的图像二维码图像和一般图像；
步骤3、图像二维码消畸：定位模块消除图像二维码图像的几何畸变，并将消畸后的图像二维码图像传输给解码器；
步骤4、图像二维码解析：解码器根据消畸的图像二维码图像解析嵌入在背景图像中的编码信息。
8.一种计算机可读存储介质，其特征在于，计算机程序被处理器执行时实现权利要求6所述的图像二维码制备方法的步骤或权利要求7所述的图像二维码解析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011110612.8A CN112183150B (zh) | 2020-10-16 | 2020-10-16 | 图像二维码及其制备方法、解析装置和解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011110612.8A CN112183150B (zh) | 2020-10-16 | 2020-10-16 | 图像二维码及其制备方法、解析装置和解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112183150A CN112183150A (zh) | 2021-01-05 |
| CN112183150B true CN112183150B (zh) | 2022-11-08 |
Family
ID=73950633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011110612.8A Active CN112183150B (zh) | 2020-10-16 | 2020-10-16 | 图像二维码及其制备方法、解析装置和解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183150B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112907730B (zh) * | 2021-02-07 | 2023-03-14 | 北京理工大学 | 一种三维点云重建方法、装置和电子设备 |
| CN112801922B (zh) * | 2021-04-01 | 2021-07-27 | 暨南大学 | 一种彩色图-灰度图-彩色图转换方法 |
| CN113542767B (zh) * | 2021-07-14 | 2022-06-10 | 广东工业大学 | 一种信息隐藏图像处理模型构建方法、装置、终端及介质 |
| CN114037596A (zh) * | 2022-01-07 | 2022-02-11 | 湖南菠萝互娱网络信息有限公司 | 一种抗物理传输形变的端到端图像隐写方法 |
| CN114528865B (zh) * | 2022-02-22 | 2024-02-20 | 广东奥普特科技股份有限公司 | 条形码检测模型的训练方法、装置及条形码检测方法、装置 |
| SE2251170A1 (en) * | 2022-10-07 | 2024-04-08 | Wiretronic Ab | Method and system for identifying embedded information |
| CN116776909B (zh) * | 2023-08-28 | 2023-11-03 | 四川星点网络技术有限公司 | 一种瓶盖二维码溯源系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103383738A (zh) * | 2012-05-03 | 2013-11-06 | 香港科技大学 | 嵌入视觉信息的二维条形码 |
| CN105095936A (zh) * | 2015-07-22 | 2015-11-25 | 黄鹤南 | 一种基于信息隐藏的图像二维码及其生成方法和系统 |
| CN106778996A (zh) * | 2016-11-28 | 2017-05-31 | 深圳大学 | 嵌入有视觉图像的二维码的生成系统和方法以及读取系统 |
| CN107609451A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人（深圳）有限公司 | 一种基于二维码的高精度视觉定位方法及系统 |
| CN107918748A (zh) * | 2017-10-27 | 2018-04-17 | 南京理工大学 | 一种多光谱二维码识别装置及方法 |
| CN111768327A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 基于深度学习的水印添加、提取方法、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376830B (zh) * | 2018-10-17 | 2022-01-11 | 京东方科技集团股份有限公司 | 二维码生成方法及装置 |
-
2020
- 2020-10-16 CN CN202011110612.8A patent/CN112183150B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103383738A (zh) * | 2012-05-03 | 2013-11-06 | 香港科技大学 | 嵌入视觉信息的二维条形码 |
| CN105095936A (zh) * | 2015-07-22 | 2015-11-25 | 黄鹤南 | 一种基于信息隐藏的图像二维码及其生成方法和系统 |
| CN106778996A (zh) * | 2016-11-28 | 2017-05-31 | 深圳大学 | 嵌入有视觉图像的二维码的生成系统和方法以及读取系统 |
| CN107609451A (zh) * | 2017-09-14 | 2018-01-19 | 斯坦德机器人（深圳）有限公司 | 一种基于二维码的高精度视觉定位方法及系统 |
| CN107918748A (zh) * | 2017-10-27 | 2018-04-17 | 南京理工大学 | 一种多光谱二维码识别装置及方法 |
| CN111768327A (zh) * | 2020-06-30 | 2020-10-13 | 苏州科达科技股份有限公司 | 基于深度学习的水印添加、提取方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112183150A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183150B (zh) | 图像二维码及其制备方法、解析装置和解析方法 | |
| AU2017101166A4 (en) | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks | |
| Alsaiari et al. | Image denoising using a generative adversarial network | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| Jia et al. | RIHOOP: Robust invisible hyperlinks in offline and online photographs | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Rodriguez-Pardo et al. | Seamlessgan: Self-supervised synthesis of tileable texture maps | |
| Song et al. | Weakly-supervised stitching network for real-world panoramic image generation | |
| Yaldiz et al. | Deepformabletag: End-to-end generation and recognition of deformable fiducial markers | |
| CN116957931A (zh) | 一种基于神经辐射场的相机图像画质提升方法 | |
| Xu et al. | Renerf: Relightable neural radiance fields with nearfield lighting | |
| Liao et al. | GIFMarking: The robust watermarking for animated GIF based deep learning | |
| Yang et al. | Towards practical capture of high-fidelity relightable avatars | |
| CN117576292A (zh) | 三维场景渲染方法及装置、电子设备、存储介质 | |
| CN116912148A (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| Tous | Pictonaut: movie cartoonization using 3D human pose estimation and GANs | |
| Dey | Image Processing Masterclass with Python: 50+ Solutions and Techniques Solving Complex Digital Image Processing Challenges Using Numpy, Scipy, Pytorch and Keras (English Edition) | |
| CN113724153A (zh) | 一种基于机器学习的图像多余人物消除方法 | |
| Ezekiel et al. | Investigating GAN and VAE to train DCNN | |
| Song et al. | Half‐body Portrait Relighting with Overcomplete Lighting Representation | |
| Argudo et al. | Image‐Based Tree Variations | |
| Martyniuk | Multi-task learning for image restoration | |
| Vasiliu et al. | Coherent rendering of virtual smile previews with fast neural style transfer | |
| KR102442980B1 (ko) | Erp 기반 다시점 360도 영상의 초해상화 방법 및 영상처리장치 | |
| Valtchev | Lossy Light Field Compression Using Modern Deep Learning and Domain Randomization Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |