CN112163439A - 一种处理图像的方法、装置及扫描识别装置 - Google Patents

一种处理图像的方法、装置及扫描识别装置 Download PDF

Info

Publication number
CN112163439A
CN112163439A CN202011015536.2A CN202011015536A CN112163439A CN 112163439 A CN112163439 A CN 112163439A CN 202011015536 A CN202011015536 A CN 202011015536A CN 112163439 A CN112163439 A CN 112163439A
Authority
CN
China
Prior art keywords
image
occluded
barcode
bar code
occluded object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011015536.2A
Other languages
English (en)
Other versions
CN112163439B (zh
Inventor
张发恩
杨经宇
凌明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Qingdao Technology Co ltd
Original Assignee
Innovation Qizhi Qingdao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Qingdao Technology Co ltd filed Critical Innovation Qizhi Qingdao Technology Co ltd
Priority to CN202011015536.2A priority Critical patent/CN112163439B/zh
Publication of CN112163439A publication Critical patent/CN112163439A/zh
Application granted granted Critical
Publication of CN112163439B publication Critical patent/CN112163439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种处理图像的方法、装置及扫描识别装置，所述方法包括：获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。本申请实施例有效去除了遮挡物对被遮挡对象的遮挡，方便对条形码等被遮挡对象的进一步识别或者解码等处理，提升了对标识信息(例如，条形码)的自动化解码的程度，进而可以提升工业产线自动化程度。

Description

一种处理图像的方法、装置及扫描识别装置
技术领域
本申请涉及图像识别领域，具体而言本申请实施例涉及一种处理图像的方法、装置及扫描识别装置。
背景技术
在需要扫描识别标识的相关领域(例如，工业产线或者超市)上，很多产品或部件是由标识(例如，条形码)进行标记的，而为了保护这些产品或部件，外部常包裹有带有文字或图案的透明塑料袋。现有方案无法识别出有文字或图案(属于遮挡对象的示例)遮挡的标识，还需要人工调整位置来对被遮挡的标识(属于被遮挡对象的示例)进行扫码识别，是产线自动化的阻碍。
以服装产业为例，服装标签多为条形码，服装的透明包装袋上也会印有多种文字图案，在打包后的分拣等环节里，还需要人工来对包装和标签位置进行调整后手动使用扫码设备进行扫码，自动化程度非常低，不利于提升效率。
发明内容
本申请实施例的目的在于提供一种处理图像的方法、装置及扫描识别装置，本申请实施例可以基于神经网络来去除遮挡被遮挡对象(例如，条形码)的文字图案等来对被遮挡对象进行重建，使得原本无法自动化检测只能人工扫码的被遮挡对象(例如，条形码标识等)的工作能够自动化完成，对于产线的自动化程度提高有很大帮助。
第一方面，本申请实施例提供一种处理图像的方法，所述方法包括：获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。
本申请实施例有效去除了遮挡物对被遮挡对象的遮挡，方便对条形码等被遮挡对象的进一步识别或者解码等处理，提升了对标识信息(例如，条形码)的自动化解码的程度，进而可以提升工业产线自动化程度。
在一些实施例中，所述被遮挡对象为条形码，所述遮挡对象为文字或图片。
本申请实施例通过去除遮挡条形码的文字或者图片等遮挡对象后，可以对条形码进行更加准确的识别，提升了条形码识别的自动化程度和效率。
在一些实施例中，所述通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像之后，所述方法还包括：对所述目标图像进行解码识别。
本申请实施例通过对去除遮挡后的条形码进行解码可以提升解码的效果，减少由于条形码被遮挡而需要解码时造成的人工操作的增加，例如需要人工调整包装袋的位置以获取无遮挡的条形码图像。
在一些实施例中，所述神经网络为生成对抗网络。
本申请实施例通过生成对抗网络可以采用无监督的方式提升去除遮挡物后得到的重建图像的效果。
在一些实施例中，所述生成对抗网络的参数是根据模拟训练数据集和真实训练数据集训练得到的，其中，所述模拟训练数据集和所述真实训练数据集均包括成对的有遮挡条形码数据和无遮挡条形码数据组成，所述成对的有遮挡条形码数据和无遮挡条形码数据属于状态相同的数据，所述状态包括光照环境或者拍摄角度。
本申请实施例通过模拟数据集可以解决由于真实数据集匮乏而不能完成网络训练的技术目的。
在一些实施例中，所述模拟训练数据集中包括的有遮挡条形码数据是对根据条形码规范标准生成的多种类的条形码图片叠加文本后得到的，其中，所述多种类的条形码图片包括多种长度或多种外观的条形码，所述文本是对任意一段文字经过扭曲变形和亮度调整得到的。
本申请的一些实施例通过这种方式得到的有遮挡的条形码图像可以使得图像符合柔性包装上的变形和反光状态，因此训练的网络更能基于含有遮挡对象的条形码图片重建出没有遮挡的条形码图像。
在一些实施例中，所述真实训练数据集是根据拍摄单元拍摄的打印出来的条形码得到的，其中，所述打印出来的条形码是根据条形码规范标准生成的。
本申请的一些实施例通过打印出来的条形码得到的真实图片集，进而提升神经网络训练的结果。
在一些实施例中，所述参数还根据补充训练数据训练得到，其中，所述补充训练数据包括实际产线上未被遮挡条形码的模拟数据和真实数据的原图。
本申请的一些实施例采用补充数据集来训练生成对抗网络对未遮挡的条形码图像的识别准确率，提升对未遮挡图片的重建效果。
在一些实施例中，所述生成对抗网络中生成器的损失函数是根据所述成对的有遮挡条形码数据和无遮挡条形码数据的差值图计算得到的。
本申请的一些实施例通过差值图来提升生成对抗网络得到目标图像的效果。
在一些实施例中，停止对所述生成对抗网络训练的条件包括解码率满足预定条件，其中，所述解码率为解码器对所述生成对抗网络根据真实数据重建得到的所述目标图像的解码结果的准确率。
本申请的一些实施例还采用解码器对条形码的解码准确率来确定是否继续训练生成对抗网络的生成器，进一步提升生成器对目标图像(即去除遮挡对象后包含被遮挡对象的图像)的重建效果。
第二方面，本申请实施例提供一种处理图像的装置，所述装置包括：获取模块，被配置为获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；目标图像重建模块，被配置为通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。
第三方面，本申请实施例提供一种扫描识别装置，所在装置包括：扫描单元，被配置为拍摄包含被遮挡对象的第一图像；图像重建模块，被配置为将输入的所述第一图像转换为目标图像，其中，所述第一图像包括遮挡对象和被遮挡对象的图像，所述目标图像为去除所述遮挡对象后得到的图像；解码模块，被配置为对所述目标图像进行解码识别。
第四方面，本申请实施例提供一种条形码扫描识别器，所述条形码扫描识别器包括：扫描单元，被配置为拍摄包含条形码的图像；条形码重建模块，被配置为将输入的所述图像转换为目标图像，其中，所述目标图像为去除遮挡对象后得到的包含所述条形码的图像；解码模块，被配置为对所述目标图像中的条形码进行解码识别。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的神经网络构建训练的全过程示意图；
图2为本申请实施例提供的应用神经网络进行图像处理的流程图；
图3为本申请实施例提供的针对被遮挡对象为条形码时的模拟训练数据的生成过程示意图；
图4为本申请实施例提供的针对被遮挡对象为条形码时的真实训练数据的生成过程示意图；
图5为本申请实施例提供的输入训练好的神经网络的待重建图像；
图6为本申请实施例提供的由神经网络输出的去除了遮挡对象的重建图像；
图7为本申请实施例提供的训练生成对抗网络的输入图像示意图；
图8为本申请实施例提供的评估模型训练结果的系统组成框图；
图9为本申请实施例提供的图像处理装置的组成框图；
图10为本申请实施例提供的条形码扫描识别器的组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供了一种基于神经网络重建被遮挡对象图像的方法及装置，即本申请实施例的神经网络可以从待重建图像上去除遮挡对象得到包括被遮挡对象的重建图像，之后可以采用解码设备或者识别设备对重建图像进行解码或者识别等处理。例如，在本申请的一些实施例中提供了基于注意力生成对抗网络GAN的有文字图案遮挡的条形码重建方法，能够将被带有文字图案的包装袋遮挡的条形码重建，使其能够正常使用条形码解码算法或工具读取。
请参看图1，图1为本申请实施例包括的三个阶段：S100，数据采集阶段；S200，模型构建及训练阶段；以及S300，应用阶段。
S100包括的数据采集阶段可以进一步包括采集训练样本数据以及对训练样本数据进行标注。在本申请的一些实施例中，采集训练样本数据包括采集三类训练样本数据，分别是：模拟训练数据集，真实训练数据集以及补充训练数据。在本申请的另一些实施例中，采样训练样本数据包括模拟训练数据集和真实训练数据集。需要说明的是，在一些实施例中被遮挡的对象为条形码，训练数据采用成对的有遮挡与无遮挡条形码数据组成，每一对数据中条形码的状态是完全相同的(即条码部分的像素位置一一对应)，其中无遮挡的条形码作为构建的神经网络模型训练的目标，有遮挡的条形码图片作为训练构建的神经网络模型的输入。
下面以被遮挡对象为条形码示例性说明模拟训练数据集、真实训练数据集以及补充数据的采集过程。
模拟训练数据集采集过程如下：依据不同种类的条形码规范，生成不同长度，不同编码方式以及不同外观的条形码图片集。在图片集的基础上，每一张图片随机叠加文本或者图片等遮挡对象，这些文本经过了适度的扭曲变形和亮度调整以使其符合塑料等柔性包装上的变形和反光状态。
真实训练数据集的采集过程如下：依据不同种类的条形码规范，生成不同长度，不同编码方式和不同外观的条形码图片，并将其在不同的材质基底(如不同颜色的纸张或贴纸等)上打印出来。使用相机(例如，黑白相机)对打印出来的条形码图片进行采图，每次采集时，固定条形码图片的位置，分别采集两次，第一次不进行遮挡直接采集未遮挡的条形码数据，作为构建神经网络模型的目标，第二次在原本位置不变的基础上，用带有文字或图案的包装纸覆盖到图片上再次采集，作为构建神经网络模型的输入。
补充训练数据的采集过程如下：除了有遮挡的数据对以外，为了补充实际产线上部分条形码未被遮挡的情况，将一些模拟数据和真实数据的原图同时作为训练构建的神经网络模型的输入和目标对，增强网络的泛化能力。
采集了上述训练数据集之后再对这些数据进行标注(即对条形码或二维码在图片中的位置做定位)，就可以采用标注数据来训练构建的神经网络模型。以被遮挡的标识的图像的重建为例，当训练结束时，可以在应用阶段接收被遮挡的标识的图像并将这个图像输入至训练好的神经网络得到去除遮挡对象后的包含标识的图像(例如，标识为条形码时得到的是条形码图像)。
下面结合图2示例性说明应用阶段包括的步骤。
如图2所示，本申请一些实施例提供了一种处理图像的方法，所述方法包括：S101，获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；S102通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。可以理解的是，S101的神经网络为采用训练数据训练后得到的网络。本申请实施例有效去除了遮挡物对被遮挡对象的遮挡，方便对条形码等被遮挡对象的进一步识别或者解码等处理，提升了对标识信息(例如，条形码)的自动化解码的程度，进而可以提升工业产线自动化程度。
在一些实施例中，S101被遮挡对象为条形码(或称为标识)，所述遮挡对象为文字或图片。
为了提升对条形码类标识的解码自动化程度，在一些实施例中，S102之后还包括：对所述目标图像进行解码识别。本申请实施例通过对去除遮挡后的条形码进行解码可以提升解码的效果，减少由于条形码被遮挡而需要解码时造成的人工操作的增加，例如需要人工调整包装袋的位置以获取无遮挡的条形码图像。
在一些实施例中，S200对应的模型构建及训练阶段所构建的神经网络模型为生成对抗网络。可以理解的是，生成对抗网络包括生成器和判决器，采用生成器和判决器的对抗来提升两者的性能，在一些实施例中生成器和判决器中的至少一个为神经网络。本申请实施例通过生成对抗网络可以采用无监督的方式提升去除遮挡物后得到的重建图像的效果。
当遮挡对象为条形码时为了提升训练的神经网络的性能，在一些实施例中，所述生成对抗网络的参数是根据模拟训练数据集和真实训练数据集训练得到的，其中，所述模拟训练数据集和所述真实训练数据集均包括成对的有遮挡条形码数据和无遮挡条形码数据组成，所述成对的有遮挡条形码数据和无遮挡条形码数据属于状态相同的数据，所述状态包括光照环境或者拍摄角度。例如，所述模拟训练数据集中包括的有遮挡条形码数据是对根据条形码规范标准生成的条形码图片叠加文本得到的，其中，所述条形码规范标准包括：条形码长度，条形码编码以及条形码外观，所述文本是对任意一段文字经过扭曲变形和亮度调整得到的。例如，所述真实训练数据集是根据拍摄单元拍摄的打印出来的条形码得到的，其中，所述打印出来的条形码是根据条形码规范标准设计得到的多种条形码，所述条形码规范标准包括：条形码长度，条形码编码以及条形码外观。本申请的一些实施例通过打印出来的条形码得到的真实图片集，进而提升神经网络训练的结果。
为了提升训练得到的生成对抗网络对不被遮挡图片(即条形码不被遮挡的模拟图像或者真实图像)的重建效果，在一些实施例中，所述生成对抗网络的参数还根据补充训练数据进行训练，其中，所述补充训练数据包括实际产线上未被遮挡条形码的模拟数据和未被遮挡条形码的真实数据的原图。本申请的一些实施例采用补充数据集来训练生成对抗网络对未遮挡的条形码图像的识别准确率，提升对未遮挡图片的重建效果。
为了提升重建图像的效果，所述生成对抗网络中生成器的损失函数是根据所述成对的有遮挡条形码数据和无遮挡条形码数据的差值图计算得到的。本申请的一些实施例通过差值图来提升生成对抗网络得到目标图像的效果。
为了进一步改善生成对抗网络中生成器重建的未被遮挡的图像(即目标图像)，训练生成器的过程还可以包括：根据生成器对真实数据重建后得到的图像进行解码并根据解码结果确定是否继续训练所述生成器。也就是说，本申请实施例停止对所述生成对抗网络训练的条件包括解码率满足预定条件，其中，所述解码率为解码器对所述生成对抗网络根据真实数据重建得到的所述目标图像的解码结果的准确率。本申请的一些实施例还采用解码器对条形码的解码准确率来确定是否继续训练生成对抗网络的生成器，进一步提升生成器对目标图像(即去除遮挡对象后包含被遮挡对象的图像)的重建效果。
下面结合图3-图4以一维条形码为例示例性阐述训练数据集。
如图3所示，图3为模拟训练数据集中一对未遮挡和有遮挡的条形码图像。如图3所示模拟训练数据集包括根据条形码规范标准随机生成的一个条形码(即被遮挡对象为条形码)，以及随机生成的文字(即遮挡对象为文字)，将随机生成的文字重叠在所述随机生成的条形码上方得到输入图。随机生成的条形码作为目标图。之后在S200的模型训练阶段将目标图和输入图均输入构建的生成对抗网络中以对这个网络参数进行训练。
如图4所示，图4为真实训练数据集中一对未遮挡和有遮挡的条形码图像。如图4所示真实训练数据集包括根据条形码规范标准随机生成的一个条形码(即被遮挡对象为条形码)，以及随机生成的文字(即遮挡对象为文字)。将随机生成的条形码打印出来得到打印标签，将随机生成的文字加载在包装物上得到带有文字的包装。之后再带有文字的包装覆盖在打印标签上拍照得到输入图(即有遮挡的条形码数据)，将打印的标签作为目标图(即无遮挡的条形码数据)。之后在S200的模型训练阶段将目标图和输入图均输入构建的生成对抗网络中以对这个网络参数进行训练。
图5示出了输入训练好的生成对抗网络包括的生成器的图像，图6是生成器对输入图像重建后得到的目标图像(即去除遮挡对象后的条形码图像)。可以理解的是，通过采用本申请实施例的训练数据训练生成对抗网络后就可以用网络中的生成器来生成不包含遮挡对象的目标图像，之后再由解码设备来解码目标图像中包括的条形码数据。
图7示出了S200训练构建的生成对抗网络(GAN)的输入图像，输入图像包括对目标图和输入图分别进行数据增强处理(例如图7的随机调整亮度)后得到的图像，同时输入图像还包括根据输入图和目标图得到的差值图即图7的图像取差值对应的图像，之后将三张图像同时输入生成对抗网络进行训练。需要说明的是，图7仅仅是以一对未遮挡和有遮挡的条形码数据为例进行的示例，可以理解的是训练生成对抗神经网络需要大量成对的未遮挡和有遮挡的条形码数据作为输入。
为了提升生成对抗网络中生成器的图像重建效果，如图8所示本申请实施例还提供了另一种训练生成对抗网络的装置。图7与图8的差别在于，图7中主要依靠生成对抗网络中的判决器来确定是否需要终止对生成器的训练过程，而图8还需要通过解码器对生成器重建的图像解码来再次评估重建图像的效果以确定是否需要继续训练生成对抗网络中的生成器。如图8所示，将多张被遮挡的文字或者图片的条形码的图片(可以不属于上述训练数据集中的数据)输入生成对抗网络进行图像重建，得到重建图像(即去除了文字或图片的包含条形码的目标图像)，之后再由解码器对重建的多幅图像进行解码并根据解码准确率确定是否需要继续训练生成对抗网络。例如，解码率大于设定阈值时，可以终止训练，否则继续采用训练数据训练生成对抗网络。
请参考图9，图9示出了本申请实施例提供的处理图像的装置，应理解，该装置与上述图2方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块，该处理图像的装置，包括：获取模块100，被配置为获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；目标图像重建模块200，被配置为通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
如图10所示，本申请实施例提供一种条形码扫描识别器，所述条形码扫描识别器包括：扫描单元300，被配置为拍摄包含条形码的图像；条形码重建模块310，被配置为将输入的所述图像转换为目标图像，其中，所述目标图像为去除遮挡对象后得到的包含所述条形码的图像；解码模块320，被配置为对所述目标图像中的条形码进行解码识别。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的扫描识别器的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (12)

1.一种处理图像的方法，其特征在于，所述方法包括：
获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；
通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。
2.如权利要求1所述的方法，其特征在于，所述被遮挡对象为条形码，所述遮挡对象为文字或图片。
3.如权利要求2所述的方法，其特征在于，所述通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像之后，所述方法还包括：对所述目标图像进行解码识别。
4.如权利要求2所述的方法，其特征在于，所述神经网络为生成对抗网络。
5.如权利要求4所述的方法，其特征在于，所述生成对抗网络的参数是根据模拟训练数据集和真实训练数据集训练得到的，其中，所述模拟训练数据集和所述真实训练数据集均包括成对的有遮挡条形码数据和无遮挡条形码数据，所述成对的有遮挡条形码数据和无遮挡条形码数据属于状态相同的数据，所述状态包括光照环境或者拍摄角度。
6.如权利要求5所述的方法，其特征在于，所述模拟训练数据集中包括的有遮挡条形码数据是对根据条形码规范标准生成的多种类的条形码图片叠加文本后得到的，其中，所述多种类的条形码图片包括多种长度或多种外观的条形码，所述文本是对任意一段文字经过扭曲变形和亮度调整得到的。
7.如权利要求5所述的方法，其特征在于，所述真实训练数据集是根据拍摄单元拍摄的打印出来的条形码得到的，其中，所述打印出来的条形码是根据条形码规范标准生成的。
8.如权利要求5所述的方法，其特征在于，所述参数还根据补充训练数据训练得到的，其中，所述补充训练数据包括实际产线上未被遮挡条形码的模拟数据和真实数据的原图。
9.如权利要求5所述的方法，其特征在于，所述生成对抗网络中生成器的损失函数是根据所述成对的有遮挡条形码数据和无遮挡条形码数据的差值图计算得到的。
10.如权利要求5所述的方法，其特征在于，停止对所述生成对抗网络进行训练的条件包括解码率满足预定条件，其中，所述解码率为解码器对所述生成对抗网络根据真实数据重建得到的所述目标图像的解码结果的准确率。
11.一种处理图像的装置，其特征在于，所述装置包括：
获取模块，被配置为获取包含被遮挡对象的待重建图像，其中，所述待重建图像中包括所述被遮挡对象和与所述被遮挡对象部分或者全部重叠的遮挡对象；
目标图像重建模块，被配置为通过神经网络对所述包含被遮挡对象的待重建图像进行重建获取目标图像，其中，所述目标图像包括去除所述遮挡对象后得到的被遮挡对象。
12.一种条形码扫描识别器，其特征在于，所述条形码扫描识别器包括：
扫描单元，被配置为拍摄包含条形码的图像；
条形码重建模块，被配置为被配置为将输入的所述图像转换为目标图像，其中，所述目标图像为去除遮挡对象后得到的包含所述条形码的图像；
解码模块，被配置为对所述目标图像中的条形码进行解码识别。
CN202011015536.2A 2020-09-23 2020-09-23 一种处理图像的方法、装置及扫描识别装置 Active CN112163439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011015536.2A CN112163439B (zh) 2020-09-23 2020-09-23 一种处理图像的方法、装置及扫描识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011015536.2A CN112163439B (zh) 2020-09-23 2020-09-23 一种处理图像的方法、装置及扫描识别装置

Publications (2)

Publication Number Publication Date
CN112163439A true CN112163439A (zh) 2021-01-01
CN112163439B CN112163439B (zh) 2022-12-13

Family

ID=73863740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011015536.2A Active CN112163439B (zh) 2020-09-23 2020-09-23 一种处理图像的方法、装置及扫描识别装置

Country Status (1)

Country Link
CN (1) CN112163439B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115011A (zh) * 2022-08-29 2022-09-27 江苏铨通印数字印刷有限公司 一种智能数字印刷的防伪二维码生成使用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875511A (zh) * 2017-12-01 2018-11-23 北京迈格威科技有限公司 图像生成的方法、装置、系统及计算机存储介质
CN110728628A (zh) * 2019-08-30 2020-01-24 南京航空航天大学 一种基于条件生成对抗网络的人脸去遮挡方法
US20200105031A1 (en) * 2018-09-30 2020-04-02 The Board Of Trustees Of The Leland Stanford Junior University Method for Performing Magnetic Resonance Imaging Reconstruction with Unsupervised Deep Learning
CN110991201A (zh) * 2019-11-25 2020-04-10 浙江大华技术股份有限公司 条码检测方法及相关装置
CN111311520A (zh) * 2020-03-12 2020-06-19 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
US20200202091A1 (en) * 2018-12-20 2020-06-25 Zebra Technologies Corporation System and method to enhance image input for object recognition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875511A (zh) * 2017-12-01 2018-11-23 北京迈格威科技有限公司 图像生成的方法、装置、系统及计算机存储介质
US20200105031A1 (en) * 2018-09-30 2020-04-02 The Board Of Trustees Of The Leland Stanford Junior University Method for Performing Magnetic Resonance Imaging Reconstruction with Unsupervised Deep Learning
US20200202091A1 (en) * 2018-12-20 2020-06-25 Zebra Technologies Corporation System and method to enhance image input for object recognition system
CN110728628A (zh) * 2019-08-30 2020-01-24 南京航空航天大学 一种基于条件生成对抗网络的人脸去遮挡方法
CN110991201A (zh) * 2019-11-25 2020-04-10 浙江大华技术股份有限公司 条码检测方法及相关装置
CN111311520A (zh) * 2020-03-12 2020-06-19 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115011A (zh) * 2022-08-29 2022-09-27 江苏铨通印数字印刷有限公司 一种智能数字印刷的防伪二维码生成使用方法
CN115115011B (zh) * 2022-08-29 2022-11-01 江苏铨通印数字印刷有限公司 一种智能数字印刷的防伪二维码生成使用方法

Also Published As

Publication number Publication date
CN112163439B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
US11676238B2 (en) Detecting conflicts between multiple different signals within imagery
US10929943B2 (en) Detecting conflicts between multiple different encoded signals within imagery
CN106778996B (zh) 嵌入有视觉图像的二维码的生成系统和方法以及读取系统
CN110766594B (zh) 信息隐藏方法及装置、检测方法、装置及防伪溯源方法
US9342714B2 (en) Method for reproducing and using a bar code symbol
CN108596003B (zh) 一种基于机器学习的污损二维码修复方法及系统
US10460161B1 (en) Methods and systems for ensuring correct printing plate usage and signal tolerances
US11941720B2 (en) Detecting conflicts between multiple different encoded signals within imagery, using only a subset of available image data, and robustness checks
CN112163439B (zh) 一种处理图像的方法、装置及扫描识别装置
US10469700B2 (en) Systems and methods for digital watermark localization based upon background foreground estimation
JP6630341B2 (ja) シンボルの光学的検出方法
DK2649560T3 (en) METHOD OF DETECTING A MARKER APPLIED ON THE SURFACE OF AN OBJECT AND SYSTEM TO EXECUTE IT
US20230342575A1 (en) Methods and systems of harvesting data for training machine learning (ml) model
CN113468905A (zh) 图形码识别方法、装置、计算机设备和存储介质
KR20020058161A (ko) 코드화된 패턴 및 이의 코드 추출 방법
CN112818983A (zh) 一种利用图片相识度判断字符倒置的方法
CN112434581A (zh) 一种室外目标颜色识别方法、系统、电子设备及存储介质
KR102393764B1 (ko) 바코드 이미지 식별 방법 및 그 장치
KR20230007698A (ko) 인공지능 기반의 변형가능한 기준 마커 생성 및 인식 방법 및 그 시스템
JP2015135701A (ja) ２次元コード、画像読取装置、画像読取方法、プログラム及び記憶媒体
Zafar et al. Real time multiple two dimensional barcode reader
Lomte et al. Robust barcode recognition using template matching
US20170200383A1 (en) Automated review of forms through augmented reality
KR20230028126A (ko) 바코드 이미지 식별 방법 및 그 장치
KR20050022644A (ko) 정보 표시용 이미지 태그 및 그 인식 방법과 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant