CN108460414B - 训练样本图像的生成方法、装置及电子设备 - Google Patents
训练样本图像的生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN108460414B CN108460414B CN201810164081.7A CN201810164081A CN108460414B CN 108460414 B CN108460414 B CN 108460414B CN 201810164081 A CN201810164081 A CN 201810164081A CN 108460414 B CN108460414 B CN 108460414B
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic parameter
- feature
- foreground
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种训练样本图像的生成方法、装置及电子设备，所述方法包括：从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。本发明根据原始样本图像分离出的背景图像特征和前景特征单元组合生成大量的目标样本图像，通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，从而可以简单高效的获取大量训练样本图像。
Description
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种训练样本图像的生成方法、装置及电子设备。
背景技术
使用移动终端进行支付的方式已被广泛应用于日常生活中，大多数具有移动支付功能的应用程序，要求用户事先绑定银行卡(例如借记卡、贷记卡等)。绑定银行卡时需要输入银行卡卡号，但是银行卡卡号通常由16至19位数字组成，用户手动输入银行卡卡号不仅繁琐，出错率也高。
目前已有根据银行卡图片识别出卡号的技术，一种方法是利用OCR识别技术(Optical Character Recognition，光学字符识别)自动识别出卡号并输入至移动终端的相应位置。
银行卡上的卡号的印刷效果有些是凸印，有些则是平面印刷，对于平面印刷的卡号识别率通常较高。由于受光照、阴影、高光反射等因素的影响，对凸印的银行卡的识别准确率较低，因此，通常识别出图片中的银行卡号后，需要用户对识别结果进行手工校正，降低了工作效率。
OCR识别技术通常是采用神经网络建立的模型对银行卡图片进行识别。神经网络是一种非常依赖数据的机器学习方法，训练样本越完整、质量越高，训练出来的模型泛化性能就会越好(即模型在不同测试样本上的精度都会越高)。但是，由于银行卡的特殊性，难以获得充足的训练样本，训练样本不足严重制约着OCR识别技术的发展。
发明内容
有鉴于此，本发明提供一种训练样本图像的生成方法、装置及电子设备，旨在解决难以获得充足的训练样本的问题。
具体地，本发明是通过如下技术方案实现的：
一种训练样本图像的生成方法，其特征在于，包括以下步骤：
从若干原始样本图像中识别出背景图像特征和前景图像特征；
从前景图像特征中分离出若干前景特征单元；
基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
一个实施例中，所述原始样本图像包括原始三维样本图像，所述目标样本图像包括目标三维样本图像。
一个实施例中，所述前景图像特征包括呈凸印形状的字符。
一个实施例中，所述干扰特征参数包括以下至少之一：模拟拍摄光线的特征参数、模拟拍摄角度的特征参数、二维图像的特征参数。
一个实施例中，向所述目标样本图像中添加干扰特征参数的步骤包括：
基于目标样本图像的光反射材质、模拟拍摄光线的特征参数以及所述模拟拍摄角度的特征参数，将目标样本图像转换成目标二维样本图像；
对目标二维样本图像添加二维图像的特征参数。
一个实施例中，所述对目标二维样本图像添加二维图像的特征参数，包括：
获取基于拍摄真实样本得到的历史二维样本图像；
获取所述历史二维样本图像的特征分布信息；
基于所述特征分布信息对所述目标二维样本图像添加相应的二维图像的特征参数。
一个实施例中，目标二维样本图像的特征包括以下任一:光照特征、透明度特征、模糊特征、腐蚀特征、字体颜色特征；所述二维图像的特征参数包括以下任一：模糊特征参数、腐蚀特征参数、仿射变换特征参数、旋转特征参数、扭曲特征参数、及模拟图片压缩的特征参数。
一个实施例中，所述原始样本图像通过对真实样本进行三维建模生成；
所述三维建模的方法包括以下任一：
多视图三维重建，双目视觉重建，基于三维扫描仪的三维重建；
所述三维扫描仪为高精度三维扫描仪。
一个实施例中，所述基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像的步骤包括：
在所述背景图像特征中设置用于组合前景特征单元的标准位置；
将所述前景特征单元组合至所述背景图像特征中的标准位置。
本发明还公开了一种图像识别方法，包括以下步骤：
将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：
从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数；
根据训练结果获得待识别的图片的前景图像特征。
本发明还公开了一种训练样本图像的生成装置，包括以下模块：
识别模块，用于从若干原始样本图像中识别出背景图像特征和前景图像特征；
分离模块，用于从前景图像特征中分离出若干前景特征单元；
组合模块，用于基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
干扰模块，用于通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
本发明还公开了一种图像识别装置，包括以下模块：
输入模块，用于将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：
从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数；
识别模块，用于根据训练结果获得待识别的图片的前景图像特征。
本发明还公开了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从若干原始样本图像中识别出背景图像特征和前景图像特征；
从前景图像特征中分离出若干前景特征单元；
基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前任一项所述训练样本图像的生成方法的步骤。
本发明根据原始样本图像分离出的背景图像特征和前景特征单元组合生成大量的目标样本图像，通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，从而可以简单高效的获取大量训练样本图像。
附图说明
图1是本发明一示例性实施例示出的一种训练样本图像的生成方法的流程图；
图2a是本发明一示例性实施例示出的一种原始样本图像的示意图；
图2b是本发明一示例性实施例示出的另一种原始样本图像的示意图；
图2c是本发明一示例性实施例示出的背景图像特征的示意图；
图2d是本发明一示例性实施例示出的前景特征单元的示意图；
图2e是本发明一示例性实施例示出的目标样本图像的示意图；
图3a是本发明一示例性实施例示出的一种训练样本图像的生成方法的流程图；
图3b是本发明一示例性实施例示出的一种在背景图像特征中设置标准位置的示意图；
图4a是本发明一示例性实施例示出的一种训练样本图像的生成方法的流程图；
图4b是本发明一示例性实施例示出的一种将三维样本图像转化成二维样本图像的流程图；
图5是本发明一示例性实施例示出的一种训练样本图像的生成方法的流程图；
图6是本发明一示例性实施例示出的一种图像识别方法的流程图；
图7是本发明一示例性实施例示出的一种训练样本图像的生成装置的逻辑框图；
图8是本发明一示例性实施例示出的一种图像识别装置的逻辑框图；
图9是本申请一示例性实施例示出的一种电子设备的逻辑框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
使用移动终端进行支付的方式已被广泛应用于日常生活中，大多数具有移动支付功能的应用程序，要求用户事先绑定银行卡(例如借记卡、贷记卡等)。绑定银行卡时需要输入银行卡卡号，但是银行卡卡号通常由16至19位数字组成，用户手动输入银行卡卡号不仅繁琐，出错率也高。
目前已有根据银行卡图片识别出卡号的技术，一种方法是利用OCR识别技术(Optical Character Recognition，光学字符识别)自动识别出卡号并输入至移动终端的相应位置。
银行卡上的卡号的印刷效果有些是凸印，有些则是平面印刷，对于平面印刷的卡号识别率通常较高。由于受光照、阴影、高光反射等因素的影响，对凸印的银行卡的识别准确率较低，因此，通常识别出图片中的银行卡号后，需要用户对识别结果进行手工校正，降低了工作效率。
OCR识别技术通常是采用神经网络建立的模型对银行卡图片进行识别。神经网络是一种非常依赖数据的机器学习方法，训练样本越完整、质量越高，训练出来的模型泛化性能就会越好(即模型在不同测试样本上的精度都会越高)。但是，由于银行卡的特殊性，难以获得充足的训练样本，训练样本不足严重制约着OCR识别技术的发展。
为了解决训练样本不足的问题，本发明提出了一种训练样本图像的生成方法，如图1所示，所述方法包括以下步骤：
步骤S110：从若干原始样本图像中识别出背景图像特征和前景图像特征；
通常来说，采用图片、数据等作为训练样本用于训练神经网络模型，而对于识别车牌、银行卡号等的神经网络模型，其训练样本通常源于实物，例如以拍摄车牌或银行卡所得的原始样本图像作为训练样本。
虽然采集大量的实物样本的原始样本图像较复杂，但通过对原始样本图像进行分析可以发现，不同的原始样本图像的区别主要是前景图像特征存在区别，例如，不同车牌的图像主要是车牌号不同，不同银行卡的图像主要是卡号不同。基于此，可以从若干原始样本图像中识别出背景图像特征和前景图像特征；原始样本图像可以是车牌图像、银行卡图像等需要识别的物体的图像，对于车牌图像，背景图像特征可以包括车牌底板图像，前景图像特征可以包括车牌字符图像；对于银行卡图像，背景图像特征可以包括银行卡底板图像，前景图像特征可以包括银行卡字符图像。
对于实物样本可以通过拍照、扫描、三维建模等方式获取样本图像，对于立体实物样本(例如车牌、凸印银行卡等)，由于受光照、阴影、高光反射、拍摄角度等因素的影响，得到的图像也存在差异，为了避免干扰因素对样本图像的影响，可以采用三维建模的方式生成原始样本图像。三维建模的方法有多种，例如：多视图三维重建，双目视觉重建，基于三维扫描仪的三维重建；所述三维扫描仪可以为高精度三维扫描仪。
三维扫描仪大体分为接触式三维扫描仪和非接触式三维扫描仪。其中非接触式三维扫描仪又分为光栅三维扫描仪(也称拍照式三维描仪)和激光扫描仪。而光栅三维扫描又有白光扫描或蓝光扫描等，激光扫描仪又有点激光、线激光、面激光的区别。三维扫描仪配有一部闪光灯和两个工业相机，采用线激光闪光灯，工作时将激光线照射到物体上，两个相机来捕捉这一瞬间的三维扫描数据，由于物体表面的曲率不同，光线照射在物体上会发生反射和折射，然后这些信息会通过第三方软件转换为3D图像。在扫描仪移动的过程中，光线会不断变化，而软件会及时识别这些变化并加以处理，从而生成3D图像。所述3D图像可以导出为OBJ模型，以凸印银行卡为例，对生成的银行卡模型进行分割，将银行卡底板模型(背景图像特征)与凸印字符模型(前景图像特征)分割开并且分别保存。
步骤S120：从前景图像特征中分离出若干前景特征单元；
通过对原始样本图像进行分析可以发现，不同样本图像的前景图像特征间存在一定的关联关系，例如，不同车牌图像的车牌号位数相同，车牌中汉字、字母、数字的组合方式相同(1个汉字+1个字母+5个字母和/或数字的随机组合)；不同银行卡的图像主要是卡号不同，通常由16至19位数字随机组合而成(对于同一类型的银行卡的卡号位数是相同的)。
接下来以银行卡为真实样本进行说明，银行卡上的卡号的印刷效果有些是凸印，如图2a所示，则其对应的原始样本图像可以包括原始三维样本图像；有些则是原始二维样本图像(平面印刷的银行卡对应的图像)，如图2b所示。如图2a所示，李四持有的中国银行的银行卡号为60131303130313(为了不与实际用户的卡号冲突，仅以14位数字示意)，且银行卡上还有李四名字的拼音LISI，对于图2a所示的银行卡的原始三维样本图像，分离出的背景图像特征如图2c所示，前景图像特征包括呈凸印形状的字符：1个6、3个0、4个1、6个3、1个L、2个I及1个S，即对于图2a所示的样本图像可以提取到前景特征单元0、1、3、6、I、L及S，如图2d所示，通常通过少量原始三维样本图像即可集齐字母A-Z及数字0-9。
步骤S130：基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
通过将前景特征单元与背景图像特征进行组合即可生成目标样本图像，所述目标样本图像可以包括目标三维样本图像，可以设置一个目标样本图像中需要使用的前景特征单元的数量，通过排列组合等方式组合出不同的卡号、用户名等。
为了便于描述，以下仅以前景特征单元中的银行卡号为例进行说明。如图2e所示，选取前景特征单元：1个6、3个0、3个1、7个3按60131303130333进行排列并添加到背景图像特征110中，从而得到一个目标样本图像。选取不同的前景特征单元、进行不同的排列组合添加到背景图像特征110中，可以得到不同的目标样本图像。
当然，对于有特定形式的样本，在将前景特征单元与背景图像特征进行组合时最好也按照所述特定形式进行，例如，银行卡号在银行卡的固定区域规则排列，则组合生成样本图像时最好也使前景特征单元添加到背景图像特征的固定区域并规则排列。
如图3a所示，所述基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像的步骤可以包括：
步骤S131：在所述背景图像特征中设置用于组合前景特征单元的标准位置；
步骤S132：将所述前景特征单元组合至所述背景图像特征中的标准位置。
为了保证组合效果，可以预先设置前景特征单元应当添加到背景图像特征中的标准位置，例如，如图3b所示，可以设置标准位置120的数量和位置，再选取相应数量的前景特征单元组合至标准位置中即可。可以使用OpenGL作为模型处理接口，从而可以随意控制每个前景特征单元的位置。当然，标准位置可以根据实际样本中前景特征单元的位置确定。
步骤S140：通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
如前所述，在对真实样本进行拍照时，光照、阴影、高光反射、拍摄角度等因素均会对拍摄的图像造成影响，为了使人工合成的训练样本图像尽可能的接近真实拍摄的图像，本发明一实施例还可以通过向目标样本图像添加干扰特征参数，生成多个训练样本图像。
当然，对于如前所述的目标三维样本图像，如果模型所需的训练样本图像为二维训练样本图像，则还需要将目标三维样本图像转化成目标二维样本图像，在目标三维样本图像转化成目标二维样本图像从而生成训练样本图像的过程中，可以添加的干扰特征参数可以包括：模拟拍摄光线的特征参数、模拟拍摄角度的特征参数、模拟图片压缩的特征参数、二维图像的特征参数等。
如图4a所示，向所述目标样本图像中添加干扰特征参数的步骤包括：
步骤S141：基于目标样本图像的光反射材质、模拟拍摄光线的特征参数以及所述模拟拍摄角度的特征参数，将目标样本图像转换成目标二维样本图像；
步骤S142：对目标二维样本图像添加二维图像的特征参数；
所述光反射材质可以包括以下之一：环境光反射材质，漫反射光材质，镜面反射材质；
所述模拟拍摄光线的特征参数可以包括：模拟光源种类的特征参数及模拟光源角度的特征参数；
光源种类包括以下至少之一：环境光，点光源，平行光，聚光灯；
所述二维图像的特征参数可以包括以下至少之一：模糊特征参数、腐蚀特征参数、仿射变换特征参数、旋转特征参数、扭曲特征参数、及模拟图片压缩的特征参数。
由于不同的真实样本材质不同，而不同的材质对光照等的反射情况也不同，为了使人工合成的训练样本图像尽可能的接近真实拍摄的图像，需要设置目标样本图像的光反射材质等，例如当三维模型为OBJ模型时，可以设置模型的光反射材质，一般有以下几种类型的材质：环境光反射材质(Ka)、漫反射光材质(Kd)、镜面反射材质(Ks)、镜面反射的Exponent(Ns，即常说的Shinness)等。前景特征单元和背景图像特征的材质可以设置成相同或不同，当然，也可以参照实物样本的材质设置目标样本图像的光反射材质，本发明对此不作限定。
OpenGL可以提供拍摄光线，且最多可同时提供8个有效的光源，这8个光源分别为GL_LIGHT0，GL_LIGHT1，GL_LIGHT2等等。其中，GL_LIGHT0是最特殊的一个光源，可以为GL_LIGHT0指定环境光成分。在默认情况下，GL_LIGHT0光源的颜色为白光，其他7个光源在默认情况下是没有颜色的，也即为黑色。光源种类分为4种：1.环境光：环境光是一种无处不在的光。环境光源放出的光线被认为来自任何方向。因此，当仅为目标样本图像所处的场景指定模拟环境光的特征参数时，所有的物体无论法向量如何，都将表现为同样的明暗程度。2.点光源：这种光源放出的光线来自同一点，且方向辐射自四面八方。3.平行光：平行光又称镜面光，这种光线是互相平行的。从手电筒、太阳等物体射出的光线都属于平行光。4.聚光灯：这种光源的光线从一个锥体中射出，在被照射的物体上产生聚光的效果。
不仅可以设置模拟光源种类的特征参数，还可以设置模拟光源角度、位置、颜色以及强度等的特征参数。例如，模拟将光源位置设定在一个合适的高度，并分别使用每种光源在0°、20°、40°、60°、…、360°照射目标样本图像，以模拟在真实环境中真实样本与各种光照、阴影之间的关系。
设置目标样本图像的光反射材质及模拟拍摄光线的特征参数后，基于设置的模拟拍摄角度的特征参数截取目标样本图像的目标二维样本图像，例如，图2a及图2e所示的拍摄角度不同。
目标三维样本图像转化成目标二维样本图像从而生成训练样本图像的过程可以如图4b所示，对世界坐标系中的三维物体(目标三维样本图像)进行三维几何变换(通过设置视点位置使三维物体平移旋转)后进行投影，对投影所得图形进行三维裁剪视口变换，从而得到与拍摄真实样本所得历史二维样本图像尺寸相同的目标二维样本图像，可以在屏幕坐标系上显示图形(目标二维样本图像)。可以随机设置视点位置(模拟拍摄角度的特征参数)，保存当前视点的目标三维样本图像的视图截图，视点位置模拟了人眼从不同位置看目标模型的情况(相当于镜头拍摄样本的角度)，依据视点位置、方向还有模型三维坐标，通过OpenGL中的视口变换进行三维到二维、模型到图像的转换，生成目标二维样本图像。还可以捕捉前景图像特征左上、右上、左下、右下角点位置进行记录方便之后生成文字的检测位置label。
受拍摄水平等因素的影响，针对真实样本拍摄的图像可能存在模糊、扭曲等情况，为了使人工合成的训练样本图像尽可能的接近真实拍摄的图像，还可以向目标二维样本图像添加几何特征参数及模拟图片压缩的参数。可以基于样本的二维图像特征分布信息添加二维图像的特征参数；如图5所示，所述对目标二维样本图像添加二维图像的特征参数的步骤可以包括：
步骤S510：获取基于拍摄真实样本得到的历史二维样本图像；
步骤S520：获取所述历史二维样本图像的特征分布信息；
步骤S530：基于所述特征分布信息对所述目标二维样本图像添加相应的二维图像的特征参数。
可以针对若干真实样本拍摄的一定量的历史二维样本图像的特征进行统计分析，例如仿射变换、旋转的特征参数包括旋转角度缩放的比例，扭曲的特征参数包括扭曲的程度，模糊的特征参数包括模糊核的大小以及运动模糊中拖拽效果的像素长度，腐蚀的特征参数包括腐蚀核的大小等。基于历史二维样本图像统计出每个特征参数的分布情况，便于指导人工合成的训练样本图像的特征分布，以达到较好地模拟真实样本的拍摄效果。具体过程可以包括：控制生成样本过程中的特征分布，使其与历史二维样本图像的特征分布相近，具体评估参数为历史二维样本图像特征分布信息与生成样本特征分布信息的KL散度，原则是使此参数为一个较小的正值，可以利用交叉验证确定此正值。
在一个实施例中，可以为截取的目标二维样本图像加入各种二维图像的特征参数(模糊特征参数、腐蚀特征参数、仿射变换特征参数、旋转特征参数、扭曲特征参数、及模拟图片压缩的特征参数等)，根据历史二维样本图像的特征分布信息确定历史二维样本图像生成过程中光照、透明度、模糊、腐蚀、字体颜色等特征参数的分布并进行融合，即目标二维样本图像的特征包括以下任一:光照特征、透明度特征、模糊特征、腐蚀特征、字体颜色特征。以二维图像的特征参数中的模糊特征参数为例，在统计历史二维样本图像的模糊特征参数的分布之后，若高斯模糊核的大小在3-9之间(高斯模糊核均为奇数值)，并且3占15％，5占25％，7占35％，9占25％，则可以向目标二维样本图像添加上述模糊特征参数，使生成的训练样本图像的模糊核大小的分布比例与上述比例类似，以达到较好的模拟历史二维样本图像的目的。当然，也可以随机设置二维图像的特征参数，本发明对此不作限定。
以用户上传银行卡图像到APP中以识别银行卡号为例，用户拍摄的图像上传到APP中后，很可能进行了品质压缩等操作，图像进行了压缩处理会有质损情况，变得更加不易识别。为了提高样本的完整性，本发明一实施例中，添加的干扰特征参数还可以包括模拟图片压缩的特征参数，根据真实数据的压缩质损特征分布参数来控制生成训练样本图像的压缩质损程度。
本发明根据若干原始样本图像分离出的背景图像特征和前景特征单元组合生成大量的目标样本图像，通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，从而可以简单高效的获取大量训练样本图像。
上述实施例在不冲突的情况下可以任意组合使用，不以说明书所述为限。
通过上述训练样本图像的生成方法可以生成大量训练样本图像，上述训练样本可以用于对神经网络模型进行训练，从而提高模型的泛化性能。经过训练的神经网络模型最终将用于进行图像识别，为此，本发明还提供了一种图像识别方法，如图6所示，所述方法包括以下步骤：
步骤S610：将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：
从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数；
步骤S620：根据训练结果获得待识别的图片的前景图像特征。
本实施例中的图像识别模型经由大量的训练样本图像进行训练，从而能够具备较好的泛化性能。将待识别的图片输入图像识别模型中，所述图像识别模型根据训练结果获得待识别的图片的前景图像特征。
与前述训练样本图像的生成方法的实施例相对应，本发明还提供了训练样本图像的生成装置的实施例。
本发明训练样本图像的生成装置的实施例可以应用在终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明训练样本图像的生成装置所在电子设备的一种硬件结构图，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图7，一种训练样本图像的生成装置700，包括以下模块：
识别模块710，用于从若干原始样本图像中识别出背景图像特征和前景图像特征；
分离模块720，用于从前景图像特征中分离出若干前景特征单元；
组合模块730，用于基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
干扰模块740，用于通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
请参考图8，本发明还公开了一种图像识别装置800，包括以下模块：
输入模块810，用于将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：
从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数；
识别模块820，用于根据训练结果获得待识别的图片的前景图像特征。
如图9所示，本发明还提供了一种电子设备900，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从若干原始样本图像中识别出背景图像特征和前景图像特征；
从前景图像特征中分离出若干前景特征单元；
基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
本发明还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时能够执行一种训练样本集的生成方法，所述方法包括：从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数。
一种非临时性计算机可读存储介质，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时能够执行一种图像识别方法，所述方法包括：将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数用于模拟拍摄真实样本的拍摄效果的特征参数；根据训练结果获得待识别的图片的前景图像特征。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (13)
1.一种训练样本图像的生成方法，其特征在于，包括以下步骤：
从若干原始样本图像中识别出背景图像特征和前景图像特征；
从前景图像特征中分离出若干前景特征单元；
基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数为用于模拟拍摄真实样本的拍摄效果的特征参数；
其中，所述基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像的步骤包括：
在所述背景图像特征中设置用于组合前景特征单元的标准位置；
将所述前景特征单元组合至所述背景图像特征中的标准位置。
2.如权利要求1所述的训练样本图像的生成方法，其特征在于，所述原始样本图像包括原始三维样本图像，所述目标样本图像包括目标三维样本图像。
3.如权利要求1所述的训练样本图像的生成方法，其特征在于，所述前景图像特征包括呈凸印形状的字符。
4.如权利要求1所述的训练样本图像的生成方法，其特征在于，所述干扰特征参数包括以下至少之一：模拟拍摄光线的特征参数、模拟拍摄角度的特征参数、二维图像的特征参数。
5.如权利要求4所述的训练样本图像的生成方法，其特征在于，向所述目标样本图像中添加干扰特征参数的步骤包括：
基于目标样本图像的光反射材质、模拟拍摄光线的特征参数以及所述模拟拍摄角度的特征参数，将目标样本图像转换成目标二维样本图像；
对目标二维样本图像添加二维图像的特征参数。
6.如权利要求5所述的训练样本图像的生成方法，其特征在于，所述对目标二维样本图像添加二维图像的特征参数，包括：
获取基于拍摄真实样本得到的历史二维样本图像；
获取所述历史二维样本图像的特征分布信息；
基于所述特征分布信息对所述目标二维样本图像添加相应的二维图像的特征参数。
7.如权利要求6所述的训练样本图像的生成方法，其特征在于，目标二维样本图像的特征包括以下任一:光照特征、透明度特征、模糊特征、腐蚀特征、字体颜色特征；所述二维图像的特征参数包括以下任一：模糊特征参数、腐蚀特征参数、仿射变换特征参数、旋转特征参数、扭曲特征参数、及模拟图片压缩的特征参数。
8.如权利要求1所述的训练样本图像的生成方法，其特征在于，所述原始样本图像通过对真实样本进行三维建模生成；
所述三维建模的方法包括以下任一：
多视图三维重建，双目视觉重建，基于三维扫描仪的三维重建；
所述三维扫描仪为高精度三维扫描仪。
9.一种图像识别方法，其特征在于，包括以下步骤：
将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：
从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数为用于模拟拍摄真实样本的拍摄效果的特征参数；
根据训练结果获得待识别的图片的前景图像特征；
其中，所述基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像的步骤包括：
在所述背景图像特征中设置用于组合前景特征单元的标准位置；
将所述前景特征单元组合至所述背景图像特征中的标准位置。
10.一种训练样本图像的生成装置，其特征在于，包括以下模块：
识别模块，用于从若干原始样本图像中识别出背景图像特征和前景图像特征；
分离模块，用于从前景图像特征中分离出若干前景特征单元；
组合模块，用于基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
干扰模块，用于通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数为用于模拟拍摄真实样本的拍摄效果的特征参数；
其中，所述组合模块，具体用于：
在所述背景图像特征中设置用于组合前景特征单元的标准位置；
将所述前景特征单元组合至所述背景图像特征中的标准位置。
11.一种图像识别装置，其特征在于，包括以下模块：
输入模块，用于将待识别的图片输入图像识别模型，所述图像识别模型的训练样本图像通过以下方式获得：
从若干原始样本图像中识别出背景图像特征和前景图像特征；从前景图像特征中分离出若干前景特征单元；基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数为用于模拟拍摄真实样本的拍摄效果的特征参数；
其中，所述基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像的步骤包括：
在所述背景图像特征中设置用于组合前景特征单元的标准位置；
将所述前景特征单元组合至所述背景图像特征中的标准位置；
识别模块，用于根据训练结果获得待识别的图片的前景图像特征。
12.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
从若干原始样本图像中识别出背景图像特征和前景图像特征；
从前景图像特征中分离出若干前景特征单元；
基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像；
通过向所述目标样本图像中添加干扰特征参数，生成多个训练样本图像，所述干扰特征参数为用于模拟拍摄真实样本的拍摄效果的特征参数；
其中，所述基于所述前景特征单元和所述背景图像特征组合生成若干目标样本图像的步骤包括：
在所述背景图像特征中设置用于组合前景特征单元的标准位置；
将所述前景特征单元组合至所述背景图像特征中的标准位置。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810164081.7A CN108460414B (zh) | 2018-02-27 | 2018-02-27 | 训练样本图像的生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810164081.7A CN108460414B (zh) | 2018-02-27 | 2018-02-27 | 训练样本图像的生成方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108460414A CN108460414A (zh) | 2018-08-28 |
| CN108460414B true CN108460414B (zh) | 2019-09-17 |
Family
ID=63216597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810164081.7A Active CN108460414B (zh) | 2018-02-27 | 2018-02-27 | 训练样本图像的生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108460414B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345468A (zh) * | 2018-08-29 | 2019-02-15 | 翔创科技（北京）有限公司 | 数据处理方法和装置 |
| CN109492522B (zh) * | 2018-09-17 | 2022-04-01 | 中国科学院自动化研究所 | 特定目标检测模型训练程序、设备及计算机可读存储介质 |
| CN109255540B (zh) * | 2018-09-19 | 2021-06-25 | 深圳市深视智能科技有限公司 | 神经网络训练方法、激光扫描图像处理方法及装置 |
| CN109544496A (zh) * | 2018-11-19 | 2019-03-29 | 南京旷云科技有限公司 | 训练数据的生成方法、对象检测模型的训练方法和装置 |
| CN111209783A (zh) * | 2018-11-22 | 2020-05-29 | 台达电子工业股份有限公司 | 使用模拟物件影像的物件识别系统及其方法 |
| CN109634961B (zh) * | 2018-12-05 | 2021-06-04 | 杭州大拿科技股份有限公司 | 一种试卷样本生成方法、装置、电子设备和存储介质 |
| CN109741144B (zh) * | 2019-01-04 | 2021-08-10 | 南京旷云科技有限公司 | 商品核验方法、装置、主机及设备 |
| CN111461150B (zh) * | 2019-01-18 | 2023-07-21 | 上海大学 | 一种无监督学习物体外观的算法 |
| CN109902577A (zh) * | 2019-01-25 | 2019-06-18 | 华中科技大学 | 一种轻量级手势检测卷积神经网络模型的构建方法及应用 |
| CN110059689B (zh) * | 2019-03-19 | 2024-05-03 | 平安科技（深圳）有限公司 | 样本集构建方法、装置、计算机设备和存储介质 |
| CN109961488A (zh) * | 2019-03-25 | 2019-07-02 | 中国银联股份有限公司 | 一种实物图像生成方法及装置 |
| CN109948565B (zh) * | 2019-03-26 | 2021-05-25 | 浙江啄云智能科技有限公司 | 一种用于邮政业的违禁品不开箱检测方法 |
| CN110008360B (zh) * | 2019-04-09 | 2020-11-03 | 河北工业大学 | 包含特定背景图像的车辆目标图像数据库建立方法 |
| CN110276779A (zh) * | 2019-06-04 | 2019-09-24 | 华东师范大学 | 一种基于前后景分割的密集人群图像生成方法 |
| KR20220010529A (ko) * | 2019-06-19 | 2022-01-25 | 가부시키가이샤 시마즈세이사쿠쇼 | 골부 화상 해석 방법 및 학습 방법 |
| CN112257731A (zh) * | 2019-07-05 | 2021-01-22 | 杭州海康威视数字技术股份有限公司 | 一种虚拟数据集的生成方法及装置 |
| CN112529022B (zh) * | 2019-08-28 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种训练样本的生成方法及装置 |
| CN110956147B (zh) * | 2019-12-05 | 2022-09-30 | 京东科技控股股份有限公司 | 生成训练数据的方法及装置 |
| CN111222416A (zh) * | 2019-12-24 | 2020-06-02 | 杭州威佩网络科技有限公司 | 一种样本数据生成方法、装置及系统 |
| CN111325106B (zh) * | 2020-01-22 | 2023-11-03 | 京东科技控股股份有限公司 | 生成训练数据的方法及装置 |
| CN111325117B (zh) * | 2020-02-05 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 目标对象识别模型的训练方法、装置和电子设备 |
| TWI780409B (zh) * | 2020-02-19 | 2022-10-11 | 中華電信股份有限公司 | 訓練物件偵測模型的方法及系統 |
| CN111461227B (zh) * | 2020-04-01 | 2023-05-23 | 抖音视界有限公司 | 样本生成方法、装置、电子设备和计算机可读介质 |
| CN111754435A (zh) * | 2020-06-24 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
| CN111914934B (zh) * | 2020-07-31 | 2023-07-04 | 平安科技（深圳）有限公司 | 基于局部阴影特效的图像样本生成方法及装置 |
| CN113763307A (zh) * | 2020-08-11 | 2021-12-07 | 北京京东乾石科技有限公司 | 样本数据的获取方法和装置 |
| CN112395971A (zh) * | 2020-11-16 | 2021-02-23 | 公安部第三研究所 | 基于StarGAN的不同量化光照及角度条件下人脸测试图像生成方法、应用及存储介质 |
| CN112488944A (zh) * | 2020-12-02 | 2021-03-12 | 北京字跳网络技术有限公司 | 样本生成和模型训练方法、装置、设备和计算机可读介质 |
| CN113936240A (zh) * | 2021-10-22 | 2022-01-14 | 杭州海康威视数字技术股份有限公司 | 确定样本图像的方法、装置、设备及存储介质 |
| CN117274761B (zh) * | 2023-11-08 | 2024-03-12 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、电子设备和存储介质 |
| CN117275124A (zh) * | 2023-11-17 | 2023-12-22 | 山东蓝能智能科技有限公司 | 停车场车牌去污智能识别设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665034A (zh) * | 2012-03-16 | 2012-09-12 | 江苏华枫物联网科技有限公司 | 一种针对摄像机采集视频的夜间效果去除方法 |
| CN104063888A (zh) * | 2014-06-19 | 2014-09-24 | 云南大学 | 一种基于非真实感的波谱艺术风格绘制方法 |
| CN106599892A (zh) * | 2016-12-14 | 2017-04-26 | 四川长虹电器股份有限公司 | 基于深度学习的电视台标识别系统 |
-
2018
- 2018-02-27 CN CN201810164081.7A patent/CN108460414B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665034A (zh) * | 2012-03-16 | 2012-09-12 | 江苏华枫物联网科技有限公司 | 一种针对摄像机采集视频的夜间效果去除方法 |
| CN104063888A (zh) * | 2014-06-19 | 2014-09-24 | 云南大学 | 一种基于非真实感的波谱艺术风格绘制方法 |
| CN106599892A (zh) * | 2016-12-14 | 2017-04-26 | 四川长虹电器股份有限公司 | 基于深度学习的电视台标识别系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于二值掩码图像的图像合成方法及其应用;黄静 等;《计算机辅助设计与图形学学报》;20090531;第21卷(第5期);第674-679页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108460414A (zh) | 2018-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460414B (zh) | 训练样本图像的生成方法、装置及电子设备 | |
| CN101422035B (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
| Thompson et al. | Visual perception from a computer graphics perspective | |
| RU2586566C1 (ru) | Способ отображения объекта | |
| US8665341B2 (en) | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data | |
| US11120301B2 (en) | Methods for generating a dataset of corresponding images for machine vision learning | |
| US20190066369A1 (en) | Method and System for Quickly Generating a Number of Face Images Under Complex Illumination | |
| US11663775B2 (en) | Generating physically-based material maps | |
| CN111932673B (zh) | 一种基于三维重建的物体空间数据增广方法及系统 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| Rouiller et al. | 3D-printing spatially varying BRDFs | |
| CN104504744A (zh) | 一种合成车牌图像的拟真方法及装置 | |
| Ganovelli et al. | Introduction to computer graphics: A practical learning approach | |
| JP2016507122A (ja) | クイックレスポンスコードを含む要素を生成するシステムおよび方法 | |
| CN111047506A (zh) | 环境图生成和孔填充 | |
| KR102291162B1 (ko) | 인공 지능 학습용 가상 데이터 생성 장치 및 방법 | |
| CN111131807B (zh) | 一种模拟显示车辆灯光投影的方法及系统 | |
| TWI672639B (zh) | 使用模擬物件影像之物件辨識系統及其方法 | |
| Tuceryan | CubeMap360: interactive global illumination for augmented reality in dynamic environment | |
| CA3103562C (en) | Method and system for generating an augmented reality image | |
| CN116452459B (zh) | 阴影遮罩生成方法、阴影去除方法及装置 | |
| Jurik et al. | Geometry-corrected light field rendering for creating a holographic stereogram | |
| KR102480582B1 (ko) | 번호인식 학습용 가상번호판 생성시스템 및 이를 이용한 번호인식 학습용 가상번호판 생성방법 | |
| TWI708190B (zh) | 圖像辨識方法、物體辨識模型的訓練系統與物體辨識模型的訓練方法 | |
| Kościuk et al. | Documentation of the most important petroglyphs by structured light scanning and analysis of the most damaged petroglyphs by vPTM and vRTI methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1258195 Country of ref document: HK |