CN109871723B - 图像融合信息的处理方法及系统 - Google Patents

Abstract

图像融合信息的处理方法及系统，判断视场中是否存在待处理的汉信标识码，根据预设时间进行图像采集及图像特征值提取，将提取的图像特征值与标准特征值库进行比对；当标准特征值库中存在提取的图像特征值时，提取图像的尺度信息与取向信息，建立识读信息的坐标系统，根据信息识读模式进行图像特征值解析及对采集的图像进行区域取样，查找图像特征格式信息区并读取存储的图像特征格式信息；识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；按照图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取，并进行相应的纠错译码和信息译码，获取图像中的原始编码信息。

Description

图像融合信息的处理方法及系统

技术领域

本发明实施例涉及图像信息处理技术领域，具体涉及一种图像融合信息的处理方法及系统。

背景技术

在信息技术的飞速发展过程中，信息采集与信息获取问题始终是信息技术研发与应用过程中的核心问题。在目前，信息自动化获取主要方式有两种，一种为通过图像摄像头、温湿度传感器、麦克风等传感信息采集的方式，将传感设备信息采集区域的信号转化为数据信息，并进一步通过模式识别与分类提取特征的方式，进行加工处理转化为信息系统可以进行利用的有价值信息。比如通过普通摄像头等，拍车牌进行自动识别的场景，实际上是将图像采集回系统后，直接处理图像进行OCR识别(本质上是图像分割和分类等模式识别)进行加工提炼出车牌号信息，通过所谓智能器件获取特征信息，进行相关的信息加工，处理都是相似的过程。

另一种，是通过条码、二维码、RFID等自动识别与数据采集技术，这类技术的特点是通过摄像头等图像采集装置、射频识别问询器等装置，获取标准化数据载体中的存储的信息，从而直接进行信息处理或加工。条码、二维码、RFID是一种承载信息的数据载体，对于二维码来说，本质上二维码是一种图像编码载体，通过标准的识读方法，可以将编码图像还原为原始的信息。

从技术发展现状来看，目前应用最广泛、分布最广泛、最为成熟的模式采集技术是图像信息采集技术，目前的工业摄像头、交通摄像头以及大众手中的手机，早已成为采集和处理信息的最重要信息终端。而以条码、二维码为代表的自动识别技术，服务于全球的物流商贸已经超过40年，以商品上的商品条码为例，通过采集条码信息完成商品结算、盘点以及追溯等是商品零售的主流模式。

近年来，二维码技术成为自动识别技术和商品标识、移动营销以及产品追溯等技术与应用发展的最重要热点技术。二维码技术，特别是以汉信码、QR码为代表的矩阵式二维码，本质是一种特殊的结构化图形，该图形由将该二维码与其他二维码区别开来，具有宏观特征的特征性图形框架和分布在图形框架内的，具有特定信息排布方式与编码定义的数据模块序列或组合组成。二维码的数据采集方式为摄像头等图像采集装置，通过分析处理采集获取的图像，在图像中寻找二维码的特征图形，从而探测获取二维码的图像位置、取向等基本信息，进而从二维码的图形框架内，利用二维码标准中定义的信息排布方式，获取二维码中的信息编码矩阵。

随着二维码的广泛应用，特别是二维码在商品、移动营销、广告等类与消费者直接相关，通过网络可直接获取信息的新型二维码技术的应用模式的快速成熟与大规模应用，在传统的二维码中，增加图形、颜色等，从而改变二维码的人眼视觉效果，使二维码与包装或图形设计融为一体的方案已经开始大行其道，特别是利用二维码技术本身具有一定的纠错功能，在二维码图像中叠加图形LoGo，或改变二维码图像中的功能图形形状或数据模块形状，使二维码增加设计美感的应用已经非常常见。然而，这些技术方案绕不开的问题是：

第一、这些方案仅仅利用了二维码的图形信息冗余(功能图形)和信息冗余(纠错)，仍是传统的二维码技术框架内的技术方案，二维码与商品或产品的LoGo等包装设计元素或图像元素仍是分离的，不能称为已经一体化。

第二、现有的这些技术方案，都是以降低二维码的识读性能(可以识读的软件类型受限、软件识读平均速度慢、环境要求提高等)为代价的，如果过度考虑图形视觉效果，则不可避免的会造成二维码难以识读。这是因为虽然美化了二维码，但实际上是在二维码上叠加图形的噪声，这些二维码的识读性能下降很大。

另一方面来看，目前的图像模式识别技术取得了飞速的发展，随着深度神经网络技术软硬件的成熟与芯片化，具有图像模式识别功能的设备，特别是手机等个人移动通讯设备已经逐渐成为主流，原有的图形模式识别广受诟病的实时图像辨识和图形特征提取与处理问题已经逐步得到解决，在移动终端的图像识别与智能图像处理也已经成为目前发展的主流商业趋势之一。

然而，现有的移动终端的智能图像识别技术面临着以下挑战：

第一、现有的移动终端的智能图像识别技术本质上属于模式识别与分类技术的范畴，通过机器学习、深度学习等方式，确定识别对象(实际上是图像样本)的特征值，并给出最可能的识别分类结果。由于在移动端的实时性和计算存储资源的限制，相关分类计算与特征值的提取都较为受限，从而意味着相关的模式识别准确性与效率较为受限，容易出现差错。

第二、现有的的移动终端的智能图像识别技术只能提取出图像的分类特征信息，即只能在训练集的基础上，利用深度神经网络芯片获取图像的指纹特征信息，即使利用同属模式识别技术的OCR技术，获取的文字信息的错误率仍较高，因此对于需要进行精准个体识别的场合仍不适用。

综上，亟需一种新的图像融合信息的处理技术方案。

发明内容

为此，本发明实施例提供一种图像融合信息的处理方法及系统，解决通过摄像头等图像采集传感装置只能获取图像处理后进行模式识别，提炼出物品、图像的类别信息无法精准识别的缺陷，通过对已知或未知图形图像或特定区域特征的判定，获取图像标识相关的规则排列的数据模块，从而极大提高信息采集系统的信息采集效率与可靠程度。

为了实现上述目的，本发明的实施方式提供如下技术方案：一种图像融合信息的处理方法，包括：

1)判断视场中是否存在待处理的汉信标识码：

a、在视场中，根据预设时间进行图像采集，对采集的图像进行图像特征值提取，将提取的图像特征值与本地识读系统中存储的标准特征值库进行比对；

b、当所述标准特征值库中存在提取的所述图像特征值时，提取图像的尺度信息与取向信息，建立识读信息的坐标系统，根据预先编制的信息识读模式进行图像特征值解析；

c、根据所述信息识读模式对采集的图像进行区域取样，查找图像特征格式信息区并读取存储的图像特征格式信息；

2)识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；

3)按照所述图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取，并进行相应的纠错译码和信息译码，获取图像中的原始编码信息。

作为图像融合信息的处理方法的优选方案，所述步骤a中，通过机器学习和深度学习算法进行图像特征值提取。

作为图像融合信息的处理方法的优选方案，所述步骤b中，通过信息识读模式对所述尺度信息与取向信息的含义进行预设。

作为图像融合信息的处理方法的优选方案，所述预编码格式信息包括纠错等级、信息类型和信息长度。

作为图像融合信息的处理方法的优选方案，当步骤b中通过译码获取的图像特征值与步骤a中获取的图像特征值不一致时，则舍弃本次采集的图像结束译码继续回到步骤a重新采集图像。

作为图像融合信息的处理方法的优选方案，对本地识读系统中的供比对的标准特征值库通过网络系统进行定时或不定时同步更新。

本发明实施例还提供一种图像融合信息的处理系统，包括：

判断模块，用于判断视场中是否存在待处理的汉信标识码；

图像采集模块，用于在视场中根据预设时间进行图像采集；

特征提取模块，用于对采集的图像进行图像特征值提取；

比对模块，用于将提取的图像特征值与本地识读系统中存储的标准特征值库进行比对；

坐标构建模块，用于当标准特征值库中存在提取的图像特征值时，根据提取图像的尺度信息与取向信息建立识读信息的坐标系统；

特征值解析模块，用于根据预先编制的信息识读模式进行图像特征值解析；

区域取样模块，用于根据信息识读模式对采集的图像进行区域取样；

图像特征格式信息读取模块，用于查找图像特征格式信息区并读取存储的图像特征格式信息；

预编码格式信息提取模块，用于识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；

预编码信息提取模块，用于按照图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取；

原始信息提取模块，用于通过纠错译码和信息译码获取图像中的原始编码信息。

作为图像融合信息的处理系统的优选方案，特征提取模块中通过机器学习、深度学习算法进行图像特征值提取；坐标构建模块中通过信息识读模式对尺度信息与取向信息的含义进行预设。

作为图像融合信息的处理系统的优选方案，预编码格式信息提取模块中的预编码格式信息包括纠错等级、信息类型和信息长度。

作为图像融合信息的处理系统的优选方案，还包括更新模块，用于对本地识读系统中的供比对的标准特征值库通过网络系统进行定时或不定时同步更新。

本发明的实施方式具有如下优点：通过对图形模式识别、定向和判断，利用图像的特定信息，实现了二维码与图像的完美融合。目前二维码与图像融合中，汉信标识码的寻像是通过对图形的识别和定位以及信息提取进行的，没有了传统的二维码的寻像图形。寻像图形是最醒目而影响图像显示效果的因素，本技术方案将图像作为二维码寻像图形，判断是否存在汉信标识码和汉信标识码的信息位置，解决了二维码与图像是两个图形的融合问题；

通过在图像相应位置增加预编码信息的方式，实现了对图像处理与模式识别的信息验证与校验，图像的识别分类如果提取特征值与符号中存储的特征值不符，则说明图像识别的内容是有错误的，需要重新进行图像采集，避免了图像处理与模式识别不可避免的错判与错误分类问题，提高了图像识读的准确性；

汉信标识码本质上是一种特殊的二维码，能够在图像技术上，提供更多的，更细颗粒度的信息，可以实现对文字信息、网络地址、验证信息等等各类信息的编码与标识，相比于传统的图像识别，提供的信息量更多更细，同时结合和先验信息和边缘计算的优势，能够极大提升图像模式识别获取信息的效率和效果；

图像美观，节省印制区域，简化人机接口，汉信标识码首先就是图形图像，其次才是二维码，因此不需要有单独的印制二维码的区域，节省印制区域，同时图像识读和自动识别已经融合起来，不需要像目前一样，图像识别需要摄像头，识读二维码需要专用识读器两个设备，而是只需要一个摄像头或一个识读设备。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的一种图像融合信息的处理方法流程图；

图2为本发明实施例提供的一种图像融合信息的处理系统示意图；

图3为基于本技术方案的一个图像融合信息的实践例图；

图4为传统的利用了二维码的图形信息冗余和信息冗余的样例图；

图中：1、判断模块；2、图像采集模块；3、特征提取模块；4、比对模块；5、坐标构建模块；6、特征值解析模块；7、区域取样模块；8、图像特征格式信息读取模块；9、预编码格式信息提取模块；10、预编码信息提取模块；11、原始信息提取模块；12、更新模块。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本实施例提供一种图像融合信息的处理方法，包括以下步骤：

S1：判断视场中是否存在待处理的汉信标识码：

S101：在视场中，根据预设时间进行图像采集，对采集的图像进行图像特征值提取，将提取的图像特征值与本地识读系统中存储的标准特征值库进行比对；

S102：当所述标准特征值库中存在提取的所述图像特征值时，提取图像的尺度信息与取向信息，建立识读信息的坐标系统，根据预先编制的信息识读模式进行图像特征值解析；

S103：根据所述信息识读模式对采集的图像进行区域取样，查找图像特征格式信息区并读取存储的图像特征格式信息；

S2：识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；

S3：按照所述图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取，并进行相应的纠错译码和信息译码，获取图像中的原始编码信息。

图像融合信息的处理方法的一个实施例中，所述步骤a中，通过各类机器学习和深度学习算法进行图像特征值提取。深度学习是通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。

本实施例并不限制具体的机器学习和深度学习算法类型。可以采用监督式学习算法，监督式学习算法由一个目标变量或结果变量(或因变量)组成。这些变量由已知的一系列预示变量(自变量)预测而来。利用这一系列变量，可以生成一个将输入值映射到期望输出值的函数。这个训练过程会一直持续，直到模型在训练数据上获得期望的精确度。监督式学习的例子有：回归、决策树、随机森林、K-近邻算法、逻辑回归等。

非监督式学习算法中，没有任何目标变量或结果变量要预测或估计。非监督式学习可以次采用关联算法和K-均值算法。

强化学习算法训练机器进行决策。机器被放在一个能让它通过反复试错来训练自己的环境中。机器从过去的经验中进行学习，并且尝试利用了解最透彻的知识作出精确的商业判断。强化学习的例子有马尔可夫决策过程。

图像融合信息的处理方法的一个实施例中，所述步骤b中，通过信息识读模式对所述尺度信息与取向信息的含义进行预设。提取图像的尺度信息和取向信息，是为了建立识读信息的坐标系统，从而将汉信标识码中的信息识读回来，具体的特征值取值以及其排列和获取方式，是可以进行预先定义的，具体的符号的信息识读方式，即相关的信息如何编制到图形中的可以由技术标准和应用标准来进行指定。

图像融合信息的处理方法的一个实施例中，所述预编码格式信息包括纠错等级、信息类型和信息长度。具体的，通过识读获取信息图码的图像特征格式信息区信息，获取相关的信息预编码格式信息，如纠错等级、信息类型、信息长度等相关信息，信息预编码格式信息可以还原为对于译码有意义的格式信息。

图像融合信息的处理方法的一个实施例中，当步骤b中通过译码获取的图像特征值与步骤a中获取的图像特征值不一致时，则舍弃本次采集的图像结束译码继续回到步骤a重新采集图像。由于通过纠错计算后，可以对获取的图像特征值进行纠正，如果该图像特征值与通过图像的整体特征进行提取后的特征值不一致，则说明可能出现了译码错误，需要抛弃掉本次识读过程重新采集图像。

图像融合信息的处理方法的一个实施例中，对本地识读系统中的供比对的标准特征值库通过网络系统进行定时或不定时同步更新。对比的标准特征值库可以在识读系统里进行存储，也可以通过网络系统进行更新，图像采集后计算特征值进行比对，比对的对象可以是符号里存储的，也可以是系统里进行更新的。

参见图2，本发明实施例还提供一种图像融合信息的处理系统，包括：

判断模块1，用于判断视场中是否存在待处理的汉信标识码；

图像采集模块2，用于在视场中根据预设时间进行图像采集；

特征提取模块3，用于对采集的图像进行图像特征值提取；

比对模块4，用于将提取的图像特征值与本地识读系统中存储的标准特征值库进行比对；

坐标构建模块5，用于当标准特征值库中存在提取的图像特征值时，根据提取图像的尺度信息与取向信息建立识读信息的坐标系统；

特征值解析模块6，用于根据预先编制的信息识读模式进行图像特征值解析；

区域取样模块7，用于根据信息识读模式对采集的图像进行区域取样；

图像特征格式信息读取模块8，用于查找图像特征格式信息区并读取存储的图像特征格式信息；

预编码格式信息提取模块9，用于识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；

预编码信息提取模块10，用于按照图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取；

原始信息提取模块11，用于通过纠错译码和信息译码获取图像中的原始编码信息。

图像融合信息的处理系统的一个实施例中，特征提取模块中通过机器学习、深度学习算法进行图像特征值提取；坐标构建模块中通过信息识读模式对尺度信息与取向信息的含义进行预设。

图像融合信息的处理系统的一个实施例中，预编码格式信息提取模块中的预编码格式信息包括纠错等级、信息类型和信息长度。

图像融合信息的处理系统的一个实施例中，还包括更新模块12，用于对本地识读系统中的供比对的标准特征值库通过网络系统进行定时或不定时同步更新。

具体的，传统技术方案，只能采集图像，进行模式识别，最多可以分辨出南瓜和西瓜的区别，且在进行识别时由于相关分类器的设计，不可避免的容易出现差错(设想下青皮的南瓜)。此外，任何图形识别系统只能辨识出诸如330毫升的矿泉水，但是通过图像识别装置，不可能辨识出这是一年前生产的330毫升矿泉水还是刚生产的矿泉水。比如判断在视场里是否有南瓜和西瓜的的识别算法可以是判断采集系统获取图形中的颜色是黄色还是青色，黄色就是南瓜，青色就是西瓜，如果不考虑外形，则图像特征值就可以设黄色为1，青色为0，如果加上外形问题，就可以再加上椭圆形为1，圆形为0，则南瓜特征值为11，西瓜为00。此时，如果在售瓜系统里，就可以用2个二进制作为图像是否存在的特征值。在这个过程，确定了视场中是否可能存在汉信标识码。

请在对比图4的基础上参见图3，依据本发明实施例技术方案的一个实践过程中，图像特征格式信息区是右上角的5个模块示意的区域，其中，前面的两个块是用来验证是否存在符号用的特征值，后面的部分存储的是相关的信息编码格式信息，如模块排布、是否有纠错等，如图例为3个块。相关的信息长度以及各个位代表的含义可以由不同的标准进行不同的定义。并根据相关技术标准或应用标准的定义对该信息区进行纠错译码(如果有)和信息译码。纠错译码和信息译码的具体过程可以采用现有技术的通用算法实现。

通过相关的最后3位，获取了在该符号中存在有38个数据模块(图形中的圆形模块)，且相关的信息存储方式是在标识的红色和蓝色区(由于采用黑白图，无法示意出具体的颜色)沿着标识边缘逆时针排列，距离标识外边缘的距离相等，前20个模块存储的是基本信息，后18个模块是保护码制(例如BCH纠错码)，此时符号中容许出现9个模块错误。为此，可以以标识重心为中心，建立极坐标系，按照相关的标准位置和符号模块之间的关系，建立取样网格，将相关的模块状态取回来。此后，进行纠错信息译码，如果发生了模块状态错误，可以通过纠错码进行恢复。之后，进行信息译码，还原原始的编码信息。通过本技术方案将图像作为二维码寻像图形，判断是否存在汉信标识码和汉信标识码的信息位置，解决了二维码与图像是两个图形的融合问题，避免了图像处理与模式识别不可避免的错判与错误分类问题，提高了图像识读的准确性，能够极大提升图像模式识别获取信息的效率和效果，图像美观，节省印制区域，简化了人机接口。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (8)

1.图像融合信息的处理方法，其特征在于，包括：

1)判断视场中是否存在待处理的汉信标识码：

a、在视场中，根据预设时间进行图像采集，对采集的图像进行图像特征值提取，将提取的图像特征值与本地识读系统中存储的标准特征值库进行比对；

b、当所述标准特征值库中存在提取的所述图像特征值时，提取图像的尺度信息与取向信息，建立识读信息的坐标系统，根据预先编制的信息识读模式进行图像特征值解析；

c、根据所述信息识读模式对采集的图像进行区域取样，查找图像特征格式信息区并读取存储的图像特征格式信息；

2)识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；

3)按照所述图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取，并进行相应的纠错译码和信息译码，获取图像中的原始编码信息；

所述预编码格式信息包括纠错等级、信息类型和信息长度。

2.根据权利要求1所述的图像融合信息的处理方法，其特征在于，所述步骤a中，通过机器学习和深度学习算法进行图像特征值提取。

3.根据权利要求1所述的图像融合信息的处理方法，其特征在于，所述步骤b中，通过信息识读模式对所述尺度信息与取向信息的含义进行预设。

4.根据权利要求1所述的图像融合信息的处理方法，其特征在于，当步骤b中通过译码获取的图像特征值与步骤a中获取的图像特征值不一致时，则舍弃本次采集的图像结束译码继续回到步骤a重新采集图像。

5.根据权利要求1所述的图像融合信息的处理方法，其特征在于，对本地识读系统中的供比对的标准特征值库通过网络系统进行定时或不定时同步更新。

6.图像融合信息的处理系统，其特征在于，包括：

判断模块，用于判断视场中是否存在待处理的汉信标识码；

图像采集模块，用于在视场中根据预设时间进行图像采集；

特征提取模块，用于对采集的图像进行图像特征值提取；

比对模块，用于将提取的图像特征值与本地识读系统中存储的标准特征值库进行比对；

坐标构建模块，用于当标准特征值库中存在提取的图像特征值时，根据提取图像的尺度信息与取向信息建立识读信息的坐标系统；

特征值解析模块，用于根据预先编制的信息识读模式进行图像特征值解析；

区域取样模块，用于根据信息识读模式对采集的图像进行区域取样；

图像特征格式信息读取模块，用于查找图像特征格式信息区并读取存储的图像特征格式信息；

预编码格式信息提取模块，用于识读获取信息图码的图像特征格式信息区信息并获取预编码格式信息；

预编码信息提取模块，用于按照图像特征格式信息区的相关先验信息的指示，进行相应的预编码信息的解调与信息获取；

原始信息提取模块，用于通过纠错译码和信息译码获取图像中的原始编码信息；

预编码格式信息提取模块中的预编码格式信息包括纠错等级、信息类型和信息长度。

7.根据权利要求6所述的图像融合信息的处理系统，其特征在于，特征提取模块中通过机器学习、深度学习算法进行图像特征值提取；坐标构建模块中通过信息识读模式对尺度信息与取向信息的含义进行预设。

8.根据权利要求6所述的图像融合信息的处理系统，其特征在于，还包括更新模块，用于对本地识读系统中的供比对的标准特征值库通过网络系统进行定时或不定时同步更新。

Images