CN112446822A - 一种污损集装箱号图片的生成方法 - Google Patents

一种污损集装箱号图片的生成方法 Download PDF

Info

Publication number
CN112446822A
CN112446822A CN202110124893.0A CN202110124893A CN112446822A CN 112446822 A CN112446822 A CN 112446822A CN 202110124893 A CN202110124893 A CN 202110124893A CN 112446822 A CN112446822 A CN 112446822A
Authority
CN
China
Prior art keywords
picture
container
container number
stained
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110124893.0A
Other languages
English (en)
Other versions
CN112446822B (zh
Inventor
尹俊奇
周振宇
黄熠
李颖
任林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jushi Technology Jiangsu Co ltd
Original Assignee
Jushi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Jiangsu Co ltd filed Critical Jushi Technology Jiangsu Co ltd
Priority to CN202110124893.0A priority Critical patent/CN112446822B/zh
Publication of CN112446822A publication Critical patent/CN112446822A/zh
Application granted granted Critical
Publication of CN112446822B publication Critical patent/CN112446822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及到图像处理技术领域，具体公开了一种污损集装箱号图片的生成方法。具体步骤包括：基于干净的集装箱箱面图片做深度估计，拟合集装箱箱面所在平面；然后绘制随机的集装箱号并与集装箱箱面图片进行合成；再以合成图片为源域图像，以真实的污损集装箱号图片为目标域图像训练风格迁移模型；最后使用风格迁移模型应用于合成的图片，变换为污损的集装箱号图片。本发明提出的图片生成方法可以按需要生成任意数量的污损集装箱号图片，且生成所得图片非常接近真实场景采集的图片，生成图片可作为数据增广样本更好地训练集装箱箱号识别算法。

Description

一种污损集装箱号图片的生成方法
技术领域
本发明涉及图像识别技术领域，特别涉及一种污损集装箱号图片的生成方法。
背景技术
集装箱号指装运出口货物的集装箱箱号，采用ISO6346（1995）标准，集装箱箱号识别在港口理货环节中起着重要的作用，有效地提升了港口理货效率，并在安全方面为港口理货提供保障，节约成本。
随着深度学习、计算机视觉等技术的发展，越来越多的集装箱箱号识别算法基于深度学习方法进行设计和实现，基于深度学习的集装箱箱号识别算法往往拥有较高的准确性和泛化性能。
尽管如此，这些集装箱箱号识别算法仍然难以识别表面污损的集装箱号，难以推进污损集装箱号图片帮助集装箱箱号识别算法的训练。因此有必要提出一种污损集装箱号图片的生成方法。
发明内容
本发明的目的在于提供一种污损集装箱号图片的生成方法，用以生成任意数量的污损集装箱号图片，以帮助训练集装箱箱号识别算法。
一种污损集装箱号图片的生成方法，包括以下步骤：
S1. 获取干净的集装箱箱面图片作为背景图片；
S2. 对集装箱背景图片进行深度估计；
S3. 在结合了深度信息的背景图片上拟合集装箱箱面所在平面；
S4. 拟合平面内绘制随机的集装箱号；
S5. 将集装箱号与集装箱背景图片进行合成；
S6. 以步骤S5合成的图片为源域图像，以污损集装箱号图片为目标域图像训练风格迁移模型；
S7. 使用风格迁移模型应用于步骤S5合成的图片，变换为污损的集装箱号图片。
作为优选，所述步骤S2中基于CNN的深度估计算法对集装箱背景图片进行深度估计。
作为优选，所述步骤S3中使用RANSAC算法。
作为优选，所述步骤S4使用python的PIL库绘制随机的集装箱号。
作为优选，所述风格迁移模型为CycleGAN的风格迁移模型。进一步地，所述风格迁移模型训练包括以下步骤：
S61. 以步骤S5合成的图片为源域图像，以真实的污损集装箱号图片为目标域图像，划分训练集、验证集和测试集；
S62. 构建风格迁移的神经网络结构CycleGAN，由两个生成器网络和两个判别器网络构成；
S63. 构建如下损失函数及目标函数：
Adversarial loss：
Figure DEST_PATH_IMAGE001
Consistency loss：
Figure DEST_PATH_IMAGE002
总体loss：
Figure DEST_PATH_IMAGE003
其中，x表示域X内的样本，y表示域Y内的样本；G表示X域转到Y域的生成器，F表示Y域到X域的生成器，DX表示域X的判别器，DY表示域Y的判别器；
目标函数：
Figure DEST_PATH_IMAGE004
S64. 训练CycleGAN网络至loss收敛，保存模型。
作为优选，所述步骤S1选择干净的集装箱箱面图片作为背景图片，或选择任意集装箱图片，通过分割算法将不含文字的箱面区域分割出来作为背景图片。
相对于现有技术，本发明的有益效果为：
1. 本发明提出的图片生成方法可以按需要生成任意数量的集装箱号图片，且生成所得图片非常接近真实场景采集的图片。
2. 本发明通过深度估计算法和RANSAC算法，使生成的集装箱号与集装箱箱面在空间上处于同一平面，增加生成图片的真实性。
3. 本发明通过风格迁移算法将生成的集装箱号图片转换成污损的集装箱号，使用该方法得到的数据增广样本可以显著提升文本识别算法的泛化性，提升污损集装箱号的识别准确率。
4. 本发明只需较少的真实样本就可以生成无穷多的虚拟样本，极大地节约了人工采集和标注数据的工作量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一种污损集装箱号图片的生成方法的流程图。
图2为本发明风格迁移算法示意图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
如图1所示，本发明提供一种污损集装箱号图片的生成方法。
以下是本发明具体的实施例：
1. 获得集装箱箱面背景图片：选择干净的集装箱箱面图片作为背景图片，或者选择任意集装箱图片，通过分割算法将不含文字的箱面区域分割出来作为背景图片，防止生成的集装箱号与箱面上已有的文字重叠。
2. 使用基于CNN的深度估计算法对集装箱背景图片进行深度估计。使用论文F.Liu, C. Shen, and G. Lin. Deep convolutional neural fields for depthestimation from a single image. In Proc. CVPR, 2015.中的方法预测集装箱背景图片的深度信息。
3. 使用RANSAC算法(M. A. Fischler and R. C. Bolles. Random sampleconsensus: A paradigm for model fitting with applications to image analysisand automated cartography. Comm. ACM, 24(6):381–395, 1981.)在结合了深度信息的背景图片上拟合集装箱箱面所在平面。根据拟合的平面计算出一组透视变换参数，该组透视变换参数可将生成的文字变换到与集装箱号同一平面，使得合成文字图片在空间上更加真实自然。
4. 使用python的PIL库绘制随机的集装箱号，包括水平方向箱号和垂直方向箱号。为了增加生成集装箱号的多样性，我们对集装箱号应用一些数据增广方法，比如扭曲畸变、拉伸、模糊等。此外，使用不同的字体、字号、间距、颜色也可以增加生成集装箱号的多样性。根据集装箱箱主数据库和集装箱验证码规则可以组合出任意的实际可能存在的集装箱号对应的文字序列，基于这些文字序列生成集装箱号可以有效减少生成实际不存在的集装箱号的可能性。
5. 对绘制的集装箱号应用步骤四所得透视变换，使得生成的文字与背景图片可以更好地融合，增加生成图片的真实性。然后，将集装箱背景图片和集装箱号图片进行合并，裁切出集装箱号区域，即得到合成的集装箱号图片。
6. 训练基于CycleGAN的风格迁移的模型。具体包括以下步骤：
1）获得源域图像和目标域图像，划分训练集、验证集和测试集。源域图像是步骤五得到的合成集装箱号图片。目标域图像是真实的污损集装箱号图片。
2）构建风格迁移的神经网络结构。如图2所示，CycleGAN由两个生成器网络和两个判别器网络构成。域X表示合成集装箱号图片的分布，域Y表示真实集装箱号图片的分布，G是将域X转换到域Y的生成器，D_Y是域Y的判别器，F是域Y转换到域X的生成器，D_X是域X的判别器。
3）损失函数由以下几部分组成：
Adversarial loss：
Figure 39959DEST_PATH_IMAGE001
Consistency loss：
Figure DEST_PATH_IMAGE005
总体loss：
Figure DEST_PATH_IMAGE006
其中x表示域X内的样本，y表示域Y内的样本。G表示X域转到Y域的生成器，F表示Y域到X域的生成器，DX表示域X的判别器，DY表示域Y的判别器。
目标函数：
Figure DEST_PATH_IMAGE007
4）训练CycleGAN网络至loss收敛，保存模型。
7. 使用步骤六所得风格迁移模型G对步骤五所得集装箱号合成图片应用风格迁移。由于G是一个合成集装箱号X到污损集装箱号Y的映射，故可以将合成集装箱号图片变换为污损的集装箱号图片。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (7)

1.一种污损集装箱号图片的生成方法，包括以下步骤：
S1. 获取干净的集装箱箱面图片作为背景图；
S2. 对集装箱背景图片进行深度估计；
S3. 在结合了深度信息的背景图片上拟合集装箱箱面所在平面；
S4. 拟合平面内绘制随机的集装箱号；
S5. 将集装箱号与集装箱背景图片进行合成；
S6. 以步骤S5合成的图片为源域图像，以真实的污损集装箱号图片为目标域图像训练风格迁移模型；
S7. 使用风格迁移模型应用于步骤S5合成的图片，变换为污损的集装箱号图片。
2.根据权利要求1所述的一种污损集装箱号图片的生成方法，其特征在于，所述步骤S2中基于CNN的深度估计算法对集装箱背景图片进行深度估计。
3.根据权利要求1所述的一种污损集装箱号图片的生成方法，其特征在于，所述步骤S3中使用RANSAC算法。
4.根据权利要求1所述的一种污损集装箱号图片的生成方法，其特征在于，所述步骤S4使用python的PIL库绘制随机的集装箱号。
5.根据权利要求1所述的一种污损集装箱号图片的生成方法，其特征在于，所述风格迁移模型为基于CycleGAN的风格迁移模型。
6.根据权利要求5所述的一种污损集装箱号图片的生成方法，其特征在于，所述风格迁移模型训练包括以下步骤：
S61. 以步骤S5合成的图片为源域图像，以污损集装箱号图片为目标域图像，划分训练集、验证集和测试集；
S62. 构建风格迁移的神经网络结构CycleGAN，由两个生成器网络和两个判别器网络构成；
S63. 构建如下损失函数及目标函数：
Adversarial loss：
Figure 119710DEST_PATH_IMAGE001
Consistency loss：
Figure 3353DEST_PATH_IMAGE002
总体loss：
Figure 352426DEST_PATH_IMAGE003
其中，x表示域X内的样本，y表示域Y内的样本；G表示X域转到Y域的生成器，F表示Y域到X域的生成器，DX表示域X的判别器，DY表示域Y的判别器；
目标函数：
Figure 321519DEST_PATH_IMAGE004
S64. 训练CycleGAN网络至loss收敛，保存模型。
7.根据权利要求1所述的一种污损集装箱号图片的生成方法，其特征在于，所述步骤S1选择干净的集装箱箱面图片作为背景图片，或选择任意集装箱图片，通过分割算法将不含文字的箱面区域分割出来作为背景图片。
CN202110124893.0A 2021-01-29 2021-01-29 一种污损集装箱号图片的生成方法 Active CN112446822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110124893.0A CN112446822B (zh) 2021-01-29 2021-01-29 一种污损集装箱号图片的生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124893.0A CN112446822B (zh) 2021-01-29 2021-01-29 一种污损集装箱号图片的生成方法

Publications (2)

Publication Number Publication Date
CN112446822A true CN112446822A (zh) 2021-03-05
CN112446822B CN112446822B (zh) 2021-07-30

Family

ID=74739875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124893.0A Active CN112446822B (zh) 2021-01-29 2021-01-29 一种污损集装箱号图片的生成方法

Country Status (1)

Country Link
CN (1) CN112446822B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548494A (zh) * 2016-09-26 2017-03-29 浙江工商大学 一种基于场景样本库的影视图像深度提取方法
CN108171173A (zh) * 2017-12-29 2018-06-15 北京中科虹霸科技有限公司 一种虹膜图像美瞳生成与去除方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110517306A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于深度学习的双目深度视觉估计的方法和系统
CN111382733A (zh) * 2018-12-28 2020-07-07 同方威视技术股份有限公司 多通道集装箱号识别方法、装置和系统
CN111767945A (zh) * 2020-06-08 2020-10-13 上海交通大学 基于CycleGAN网络模型的车牌样本生成方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548494A (zh) * 2016-09-26 2017-03-29 浙江工商大学 一种基于场景样本库的影视图像深度提取方法
CN108171173A (zh) * 2017-12-29 2018-06-15 北京中科虹霸科技有限公司 一种虹膜图像美瞳生成与去除方法
CN109190620A (zh) * 2018-09-03 2019-01-11 苏州科达科技股份有限公司 车牌样本生成方法、系统、设备及存储介质
CN111382733A (zh) * 2018-12-28 2020-07-07 同方威视技术股份有限公司 多通道集装箱号识别方法、装置和系统
CN110503598A (zh) * 2019-07-30 2019-11-26 西安理工大学 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN110517306A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于深度学习的双目深度视觉估计的方法和系统
CN111767945A (zh) * 2020-06-08 2020-10-13 上海交通大学 基于CycleGAN网络模型的车牌样本生成方法及系统

Also Published As

Publication number Publication date
CN112446822B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
Deng et al. Hardgan: A haze-aware representation distillation gan for single image dehazing
Sankaranarayanan et al. Generate to adapt: Aligning domains using generative adversarial networks
US10163003B2 (en) Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
CN110111236B (zh) 基于渐进式对抗生成网络的多目标草图生成图像的方法
Masi et al. Rapid synthesis of massive face sets for improved face recognition
US8743119B2 (en) Model-based face image super-resolution
Mahajan et al. Swapitup: A face swap application for privacy protection
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN111667005B (zh) 一种采用rgbd视觉传感的人体交互系统
CN116310008B (zh) 一种基于少样本学习的图像处理方法及相关设备
CN113240790B (zh) 一种基于3d模型和点云处理的钢轨缺陷图像生成方法
CN115761734A (zh) 基于模板匹配和概率分布的物体位姿估计方法
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
Kuan et al. Region average pooling for context-aware object detection
KR20230073751A (ko) 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
Qiao et al. Ancient painting to natural image: A new solution for painting processing
US10755476B2 (en) Image processing method and image processing device
CN112489218B (zh) 一种基于半监督学习的单视图三维重建系统及其方法
CN112446822B (zh) 一种污损集装箱号图片的生成方法
CN117475168A (zh) 一种基于图像的三维物体可供性定位方法
CN114882220B (zh) 基于域自适应先验知识引导gan的图像生成方法及系统
Huang et al. Object‐Level Remote Sensing Image Augmentation Using U‐Net‐Based Generative Adversarial Networks
CN117079313A (zh) 图像处理方法、装置、设备及存储介质
CN114119559A (zh) 立体图像的质量评价方法、系统、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant