CN107403179B - 一种物品包装信息的注册方法及装置 - Google Patents

一种物品包装信息的注册方法及装置 Download PDF

Info

Publication number
CN107403179B
CN107403179B CN201610341801.3A CN201610341801A CN107403179B CN 107403179 B CN107403179 B CN 107403179B CN 201610341801 A CN201610341801 A CN 201610341801A CN 107403179 B CN107403179 B CN 107403179B
Authority
CN
China
Prior art keywords
article
area
package
information
bar code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610341801.3A
Other languages
English (en)
Other versions
CN107403179A (zh
Inventor
庞勃
王刚
王千
诸加丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201610341801.3A priority Critical patent/CN107403179B/zh
Publication of CN107403179A publication Critical patent/CN107403179A/zh
Application granted granted Critical
Publication of CN107403179B publication Critical patent/CN107403179B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1452—Methods for optical code recognition including a method step for retrieval of the optical code detecting bar code edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明提供了一种物品包装信息的注册方法及装置，其中所述注册方法包括：获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息。本发明能够提高物品包装注册的自动化程度，提高物品包装的注册效率，降低错误概率。

Description

一种物品包装信息的注册方法及装置
技术领域
本发明涉及图像和视频处理技术领域，具体涉及一种物品包装信息的注册方法及装置。
背景技术
物品包装上通常印刷有物品名称，以及该物品的实际图像或该物品功能效果的相关图像，物品包装还可能印刷有物品的生产厂商信息、说明书信息等内容，还可能印刷有条形码，甚至还包括有多个条形码，图1a、图1b、图1c示出了一个药品包装的多个面，这些面上包括有商品的标题和多个条形码。也就是说，物品包装上通常图像和文本等内容，这些内容用以帮助识别或区分物品，介绍物品的使用方式或功能。
由于存在着大量的具有不同物品包装的物品，例如，超市中的各种商品，医院/药房/药厂的各种药品，它们通常都具有不同的包装。在对这些物品进行识别时会消耗大量的人力资源，而且识别效率低，容易出错，这在物流和商品验证等应用场景中尤为明显。
为提高物品包装的识别效率，降低识别错误的发生概率，可以预先采集并录入各种物品包装，以用于后期的识别。然而，由于存在大量的物品包装，如果依靠人工处理，同样会耗费很多时间，并且容易才生人工错误。因此，亟需一种能够提高物品包装的注册效率的方法，来减少注册过程的耗时和错误发生几率。
发明内容
本发明实施例要解决的技术问题是提供一种物品包装信息的注册方法及装置，用以提高物品包装的注册效率。
为解决上述技术问题，本发明实施例提供的物品包装信息的注册方法，包括：
获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；
检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；
检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；
注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息。
本发明实施例还提供了一种物品包装信息的注册装置，包括：
图像获取单元，用于获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；
条形码检测单元，用于检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；
标题识别单元，用于检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；
信息注册单元，用于注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息。
本发明实施例提供的物品包装信息的注册方法及装置，可以检测和识别物品包装中的条形码信息和物品标题等信息并注册，从而可以提高物品包装注册的自动化程度，提高注册效率，降低人工错误发生的概率。
附图说明
图1a、图1b、图1c是现有技术的一个药品包装的多个面的图像；
图2是本发明实施例提供的物品包装信息的注册方法的流程示意图；
图3是本发明实施例提供的采集物品包装图像的一种采集环境示意图；
图4是在图3所示的采集环境中采集物品包装的外表面的图像的一个具体流程图；
图5是本发明实施例的包含有不同的文本串的商品包装图像的示例图；
图6为本发明实施例的笔画宽度的示意图；
图7为本发明实施例的步骤13的具体流程示意图；
图8是图5所示的物品包装行边缘检测之后的边缘检测结果的示例图；
图9是图8的边缘检测结果进行笔画宽度变换之后的示例图；
图10是图9根据笔画宽度进行连通区域连接之后的示意图；
图11是字符与连通区域组成关系的示意图；
图12是将多个连通区域聚合成一个字符的示意图；
图13是图11经连通区域聚合处理后的示意图；
图14是图11中所确定的文本串的示意图；
图15是图11中所确定的物品标题区域的示意图；
图16是对前景图像进行修正处理的示意图；
图17a和图17b是相似图像的区别特征信息的示意图；
图18为本发明实施例的步骤12的具体流程示意图；
图19是根据本发明一个实施例的解释模糊和非均匀光照对于图像上条形码解码任务带来难度的示意图；
图20是根据本发明一个实施例的解释基于图像的条形码解码任务可以将条码区域和字符识别区域分开的示意图；
图21是根据本发明一个实施例的解释条形码和数字字符识别结果可以来交叉验证得到最终结果的示意图；
图22和图23是根据本发明一个实施例的解释通过联合优化条形码和数字字符识别，两个任务的结果都会变得更加准确的示意图；
图24是根据本发明一个实施例的解释使用已知的条码位来初始化模型参数的示意图；
图25是根据本发明一个实施例的解释通过模糊模型和光照模型产生仿真信号的示意图；
图26是根据本发明一个实施例的解释错误校正的示意图；
图27是本发明实施例的物品包装的注册方法的另一流程图；
图28为本发明实施例的物品包装信息的注册装置的一种功能结构示意图；
图29为本发明实施例的物品包装信息的注册装置的一种硬件结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。另外，另外，本文中术语“物品”和“商品”在本文中常可互换使用，类似的，术语“物品包装”和“商品包装”在本文中也常可互换使用。
如前文所述，人工注册物品包装的效率低下，且容易出错。另外，当人工注册时，外界环境和注册标准是不确定的，这非常不利于使用采集到的信息进行后续的处理，比如使用物品的图像进行图像识别。本发明实施例提供了一种基于机器视觉的方法来注册物品包装信息，通过统一的注册环境采集并注册物品包装信息，提高了注册过程的自动化程度，改善了注册效率，降低了错误概率。
请参照图2，本发明实施例提供的物品包装信息的注册方法，包括：
步骤11，获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像。
这里，可以通过相机采集物品包装的外表面的图像，具体的，该图像可以是RGB图像也可以是灰度图像。本发明实施例可以采集物品包装的每个外表面的图像，也可以采集部分外表面的图像，例如，采集物品包装中具有最大面积的面的图像，该最大面积的面可能有1个，也可能有多个面都具有相同的最大面积。本发明实施例可以针对采集的物品包装的所有外表面进行前景分离的处理，也可以采集所有外表面的图像，然后根据预定规则，如面积最大，选择出其中的部分面，进行前景图像的分离处理。
这里，本发明实施例通过前景图像分离技术，将图像中用户感兴趣的部分(即前景图像)从原始图像中分离出来。例如，可以在一个稳定的拍摄环境下进行拍照，获得放置有物品包装时一幅图像和未放置物品包装时的另一幅图像，然后通过比较两幅图像之间的差异，可以获得物品包装的前景图像。
步骤12，检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息。
这里，对物品包装的各个面的前景图像进行条形码检测，若检测到条形码，则获取该条形码的条形码信息，如条形码对应的条形码数字串的内容等。条形码的检测有多种实现方式。例如，可以阈值二值化方式，将扫描线上的灰度，使用阈值或者动态阈值进行二值化，获得条形码信息；再例如，使用Canny算子或者Hough Line检测边缘，获得条形码信息；再例如，基于统计学习，提取条形码的特征，并学习分类，进而利用学习结果识别条形码信息；再例如，基于OCR(Optical Character Recognition，光学字符识别)的数字识别，识别条形码信息。另外，本发明实施例还特别提供了一种条形码识别实现方式，将在后文中详细说明。
当然，某些物品包装可能并没有条形码，此时将无法获得条形码信息。而某些物品包装可能包含多个条形码，如药品包装通常包括有商品码和药检码，此时将获取该物品包装的所有的条形码信息。
步骤13，检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题。
作为一种实现方式，本发明实施例在获得文本串之后，可以将文本串的最小包围矩形作为该文本串对应的文本串区域。当然，也可以采用其他方式确定文本串对应的文本串区域，例如，以包围该文本串的最小区域作为文本串区域。
由于作为物品标题的内容，通常具有较高的重要性，因此物品标题通常位于物品包装的易于观察的区域，且物品标题相对于物品包装的其他内容具有显著性特点，例如，笔画宽度通常最大，颜色通常最为显眼，物品标题所占的面积通常比较大，等等。因此，本发明实施例在检测出前景图像中的文本串，并获得包含有文本串的文本串区域后，可以根据各个文本串区域的面积和笔画宽度，选择显著性最高的文本串区域，作为物品标题区域。显著性最高，通常可以是面积最大、且笔画宽度最大。
需要指出的是，以上步骤12、13之间并无严格的先后顺序关系，可以先执行步骤12然后执行步骤13，也可以先执行步骤13然后执行步骤12，还可以同时执行步骤12和13。
步骤14，注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息。
这里，可以在一个数据库中注册物品的物品包装，该数据库在本文中被称为已注册物品数据库。在注册时，可以在该数据库中保存所述物品包装对应的物品名称信息，保存所述物品包装的特征信息，并建立所述物品名称信息与所述物品包装的特征信息之间的关联关系。物品名称信息是物品包装中的物品的名称，例如，对于某个品牌型号的鼠标，其物品名称信息可以是“xx品牌yy型号鼠标”，物品名称信息可以是用户输入至数据库中，以便于建立该物品名称信息与物品包装的特征信息之间的关联关系。这里，物品名称信息用于指示该物品包装对应的物品名称，通常可以由用户输入；而物品标题信息是本实施例从物品包装的物品标题区域识别出的物品包装的一种特征信息。通过建立物品名称信息与特征信息(如物品标题信息和条形码信息等)之间的关联关系，从而可以在在后续基于识别出的某个物品包装的物品标题信息，确定该物品标题信息对应的物品名称信息，以识别物品包装。另外，由于某些物品包装可能没有条形码，该物品包装的特征信息中的条形码信息的内容可能为空。
通过以上方式，本发明实施例可以检测和识别物品包装中的条形码信息和物品标题等信息并注册，从而可以提高物品包装注册的自动化程度，提高注册效率，降低人工错误发生的概率。
在实际图像采集过程中，光照变换对于图像效果影响很大。本发明实施例为了提高图像采集的一致性，本发明实施例在上述步骤11中，可以在相同的采集环境中采集图像。为此，本发明实施例提供了如图3所示的一种采集环境。
图3中示出了一种操作盒，该操作盒里包括有操作台，物品包装可以放置于操作台上。所述操作盒包括多个侧边301和一盒顶302，所述多个侧边301和所述盒顶302合围形成一空间。部分侧边301上设有朝向操作盒内壁的光源304，图3中给出了部署2个光源304的示例。所述光源304发出的光经过所述内壁的反射为操作台上物品包装提供拍照光源，并通过侧边301和盒顶302阻止外界光照的变化的影响，以提供均衡稳定的光照条件。所述盒顶302上设有采集方向朝下的相机303，通过所述相机303采集所述物品包装的至少一个外表面的图像。图3中的一个侧边301上设有开口，以便于通过该开口将物品包装放置与操作台上。由于是在统一的采集环境下采集物品包装的图像，能够保证图像效果的一致性。
图4进一步给出了在图3所示的采集环境中采集物品包装的外表面的一个具体示例，包括：步骤41，操作者将物品包装放置在操作台；步骤42，物品包装静置在操作台上1到2秒钟，系统会自动采集该物品包装对着相机的面的信息。步骤43，判断是否还需要注册物品包装其他面的信息，若是，则进入步骤44，转动物品包装至其他面对着相机，然后返回至步骤42，继续静止1-2秒，以循环采集过程，直到所有需要的面均被采集；否则，进入步骤45，将物品包装拿出操作台，结束一个物品包装的采集过程。
另外，为了便于后续物品识别时进行图像间的比对，本发明实施例还可以进一步保存物品包装图像的图像特征信息，此时，物品包装的特征信息还包括：所述物品包装的外表面的前景图像以及该前景图像的图像特征信息。这里，本发明实施例在上述步骤11分离出物品包装的外表面的前景图像后，还可以进一步提取所述前景图像的图像特征信息，能够在上述步骤14中，将物品包装的外表面的前景图像以及该前景图像的图像特征信息也保存至数据库中。这里，图像特征信息可以用VLAD特征和Fisher向量来表征，同时，还可以结合前景图像的其他特征，如前景图像的尺寸、面积、颜色、形状等特征，将这些特征均保存在数据库中。
图5是一种商品包装图像包含不同的文本串的示意图。文本串是水平或者竖直的连续文字区域，还可能是其他方向。文本串可以具有相同的文字颜色、字体、字体大小。图5所示的药品包装共有多个文本串61，其中面积最大的矩形所包围的文本串为该药品的商品标题。该矩形不止是文本串外接矩形面积最大，而且字体笔画宽度也是最大的。
图6为笔画宽度W0的示意图，即印刷体中一个笔画的起点到终点的像素个数。一般来说，商品标题字体都字号都较大，通常采用粗体，笔画宽度比商品包装的其他字体大。
请参照图7，作为一种实现方式，上述步骤13中检测所述前景图像中的文本串的步骤，具体可以包括以下步骤：
步骤131，对前景图像进行边缘检测，获得边缘检测结果。
这里，边缘检测可以按照现有技术的各种算法实现。例如，可以采用Canny边缘检测算子对前景图像进行边缘检测。图8是根据图5所示的物品包装进行边缘检测之后的结果示意图。Canny算子是本实施例可以采用的一种边缘提取的算法。
步骤132，根据边缘检测结果进行笔画宽度变换，确定像素点的笔画宽度。
图9是图8进行笔画宽度变换之后的示意图。一幅图像的笔画宽度经过如下方式得到：首先，沿着图像边缘的像素，向该像素反方向移动直到碰到另外一个边缘像素，检查两个像素是否梯度方向相反；如果方向相反，则起点像素到终点像素之间的像素个数被定义为该笔画的宽度。每个像素的笔画宽度为该像素所在笔画中的笔画宽度。
步骤133，获得由笔画宽度的差值在预设范围内的相邻像素组成的连通区域。
图10是针对图9根据笔画宽度进行连通区域连接之后的示意图。如果相邻像素属于同一个字符，它们通常具有相似的笔画宽度，即相邻像素的笔画宽度的差值在某个预设范围内，由此可以将符合上述条件的相邻像素连通起来，获得连通区域。
步骤134，聚合相互之间距离小于预设门限的任意两个连通区域，并根据聚合结果确定前景图像中的字符，所述预设门限与所述任意两个连通区域的周长正相关。
这里，对应任意两个连通区域，如果该两个连通区域之间的距离小于某个预设门限，则可以将该两个连通区域聚合成一个新的连通区域。按照以上方式，对所有的连通区域进行聚合，并将最终聚合得到的每个连通区域，作为一个字符。两个连通区域之间的距离可以使用两个连通区域各自的中心点之间的距离来表示。所述预设门限则可以根据该两个连通区域的周长来设置，通常应该与该两个连通区域的周长正相关，即周长越大，该预设门限也就越大。
为简化处理，可以确定各个连通区域的外接矩形，该外接矩形通常为预设方向，例如，外接矩形的各个边处于水平或垂直方向。然后，计算两个连通区域各自的外接矩形的中心点之间的距离，并将两个连通区域的外接矩形的所有边的平均边长作为所述预设门限，据此判断是否能够进行聚合。当然，本发明实施例也可以由用户自行设置该预设门限的具体数值。
图11是字符与连通区域组成关系的示意图。一个汉字字符通常是由几个不同的连通区域组成，而英文字符通常是一个连通区域对应为一个英文字符。
图12是将多个连通区域聚合成一个字符的示意图。图12给出了两个连通区域的外接矩形71和72，其中外接矩形71的中心点C1，高度和宽度分别为H1为和W1，外接矩形72的中心点C2，高度和宽度分别为H2为和W2。两个连通区域是否可以聚合，可以按照以下方式进行判断：如果两个连通区域中心点的距离||C1-C2||2小于该两个外接矩形的平均边长davg，则将该两个连通区域聚合成一个新的连通区域，用公式表示如下：
Figure BDA0000995885420000091
这里，平均边长davg的定义为：两个连通区域的所有边长的平均值。
图13是图11经连通区域聚合处理后的示意图。图11中同一汉字的不同的连通区域，在图13中被聚到一起，获得对应的汉字字符。
步骤135，确定字符的特征以及具有相同特征的字符，获得由具有相同特征的字符组成的文本串。
这里，字符的特征可以用字符的方向、颜色、笔画宽度和字体尺寸中的一个或多个参数来表示。具有相同特征的字符，可以是上述特征相同或相近的字符。这里的相近是指特征之间的差异在预设的范围之内。图14是确定了文本串后的示意图。如果任意两个字符具有相同或相似的方向、颜色、笔画宽度和字体尺寸，将两个字符串在一起。一个文本串的包含字符数量要大于等于2。字符的方向可以采用字符在图像中的水平方向的高度等参数来表征。
在上述步骤13中，在获得文本串之后，可以确定所述文本串的最小包围矩形，得到所述文本串区域。然后，针对各个文本串区域，分别对该文本串区域的面积和笔画宽度进行加权求和，得到该文本串区域的加权分值；选择出最大加权分值对应的文本串区域，作为所述物品标题区域。
图15为确定物品标题区域的示意图。通过计算各个文本串区域的面积和字符笔画宽度，并进行加权求和计算得到一分值，分值最大的文本串区域被判断为物品包装的物品标题区域。
本发明实施例，在保存所述物品包装的外表面的前景图像时，还可以对前景图像进行修正处理，例如，在前景图像包括有物品标题区域时，通过调整所述前景图像的方向，使物品标题区域处于调整后的图像中的预设区域(如中上部)，且物品标题区域的最小包围矩形的长边方向处于预设方向(例如处于图像的水平方向)，得到调整后的前景图像并保存。
图16为对前景图像进行修正处理的示意图。从商品的图像中裁剪出前景图像，将裁剪出的前景图像摆放到竖直的方向。比如图16中最左边的图并不是竖直的，这里根据物品标题区域的位置、方向对前景图像进行纠正：
图16中的物品标题区域为矩形的。对于大多数情况，标题外接矩形的长边为水平的，短边为竖直的，所以将图像转动相应角度，使其满足根据这个准则。经过上述处理之后，图16中最左边的图有可能会被变化到中间的图或者最右边的图两种情况。而对于商品包装，大多数标题位于图像的上半部分，所以如果标题出现在图像的下半部分，比如图16中的中间的图，则再次旋转图像180度即可得到图16中最右侧的图的正确结果，即竖直放置的图。
考虑到实际应用中，通常存在多种具有非常近似的物品包装的商品，例如，不同药厂生产的同一种药品，其物品包装的区别有可能仅仅是生产厂商的区别，或者是商标的区别，对于这种情况，本发明实施例在上述步骤14中，进一步判断已注册的物品包装信息中，是否存在与当前注册的物品包装的外表面相近似的近似物品包装；若存在，则提示用户标注当前注册的物品包装与所述近似物品包装两者之间的区别特征信息。这样，用户可以通过人工方式，识别出每种商品的物品包装上的区别特征信息，如生产厂商的区别，或者是商标的区别，然后在相关联的物品包装中均针对该区别特征信息进行标注，以便于后续的识别处理。
判断是否存在近似物品包装，可以利用物品包装图像的图像特征信息进行判断，例如，基于VLAD和fisher向量进行判断，如果向量之间的差异小于某个阈值，则认为是近似物品包装，此处不再赘述。
图17a和图17b为相似图像的区别特征信息的示意图，图17a和图17b的两个图像为相似图像，区别特征信息为图像左上角的注册商标。本发明实施例如果在注册阶段在数据库发现当前注册的物品包装的相似图像，则通过人工标注两者之间的区别特征信息。
为了提高条形码识别的准确率，甚至可以对模糊图像中的条形码进行较为准确的识别，本发明实施例针对上述步骤12的条形码的识别提供了一种具体实现方式，请参照图18，作为一种实现方式，上述步骤12具体可以包括以下步骤：
步骤121，定位所述前景图像中的条形码区域及其数字区域；
步骤122，获取所述前景图像中条形码区域的条形码解码过程产生的第一值；
步骤123，获取所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值。
步骤124，获取所述第一值和第二值的加权和值最小时对应的数字识别结果。
这里，可以计算所述第一值和第二值的和值或加权和值，得到第三值，然后获取所述第三值最小时对应的数字识别结果。
上述步骤122和123并没有先后顺序的限定，二者还可以是同时进行。
上述步骤通过获取所述前景图像中条形码区域的条形码解码过程产生的第一值以及所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；获取所述第一值和第二值的加权和值最小时对应的输出结果并输出，从而可以对模糊图像中的条形码进行准确识别。
图19是待解码的图像受到模糊和光照变化的影响的示意图。在图像拍摄过程中，相机有可能未能对焦到条形码区域，条形码中白色空隙和黑色条之间出现了模糊而很难准确检测到条形码的边缘。而光照对条形码的影响也很明显，如图19所述，光照从左到右渐渐增加。无论是传统基于图像的解码技术还是使用OCR数字识别，对于图19所示的条码图像都很难准确提取信息。
图20是根据本发明一个实施例的解释基于图像的条形码解码任务可以将条形码区域和字符识别区域分开的示意图。大多数条形码包括：条形码区域31以及条形码区域下面对应的数字区域32，尤其是对于商品包装上印刷的条码，利用OCR数字识别和条形码解码结合起来进行识别，可以提高识别的准确率。一个原因是两者均有相同的数字内容，可以通过交叉验证猜测到最终的结果。
图21是根据本发明一个实施例的解释条码和数字字符识别结果可以来交叉验证得到最终结果的示意图。如果条形码识别结果或者数字字符识别结果因为噪声、模糊或者光斑有未能识别的数字，交叉验证可以得到最终的结果。
更为重要的是：OCR数字识别和条形码解码有一些共有的特性：首先，它们的模糊程度相同。因为大多数条码的模糊是因为相机的未能对焦，而这种情况下整幅图像，无论是条码区域还是数字区域，模糊程度都是相同的。其次，它们的光照模型是有一定关系的：如图19所示，条形码区域和数字区域均是由左向右依次变亮。当结合这两种方法联合优化模型，OCR数字识别和条码解码都会变得更加准确。这对于模糊严重或者光照严重不均衡的情况时非常有用。
图22和图23是根据本发明一个实施例的解释通过联合优化条码和数字字符识别，两个任务的结果都会变得更加准确的示意图。
图22所示的是条形码解码和数字识别的结果分别运算。由于解码时光照或者噪声的影响，各自结果中都有太多的位没有被正确解码。
图23所示的是结合条形码解码和数字识别，两种方法的结果都变得更加准确。具体来说，模糊和光照不均匀都会首先被建模。
之后，使用条形码部分和数字部分的信息来调整参数，分别猜测最终结果的每一位。
为帮助理解上述条形码识别过程，下面对上述步骤进行更为详细的说明。
上述步骤122具体包括：
步骤1221，获取所述前景图像中条形码区域的第一定位参数信息；
步骤1222，根据所述第一定位参数信息，得到第一仿真信号；
步骤1223，根据所述第一仿真信号与条形码区域的条形码解码过程得到的条形码解码结果，获得用于表示所述第一仿真信号与条形码解码结果之间差别的残差值，并将所述残差值作为所述第一值输出。
其中，步骤1222中，可以根据公式：f3(x)＝f1(x)+f2(x)得到第一仿真信号；
其中，f1(x)＝G(x)×f4(x)，
Figure BDA0000995885420000131
G(x)为高斯核函数，σ用于控制高斯核的宽度，f2(x)为根据所述第一定位参数得到的光照模型函数，f4(x)为输入的标准条形码信号，f3(x)为第一仿真信号。
其中，步骤1223中，可以
根据公式：
Figure BDA0000995885420000132
获得残差值；
其中，ebar为残差值，f5(x)为条形码解码过程得到的条形码解码结果，i表示条形码数字串中的第i位数字，L为条形码的长度。
而光照模型函数f2(x)具体可以通过以下步骤获得：
步骤12231，比较标准光照和输入光照，得到条形码的用于对条形码进行定位的第一定位参数，所述第一定位参数是所述条形码的守护位；
步骤12232，对所述守护位的光照值进行线性插值，得到条形码的其余部分的光照值；
步骤12233，根据所述守护位的光照值和其余部分的光照值，得到条形码的光照模型函数。
在上述实施例中，以条形码的编码规则为EAN-13编码规则来举例，如图24所示，对于具有条形码的模糊图像，一开始就能获得该条形码的守护位81，该守护位用于对条形码进行定位时使用，该守护位(guard bar)包括有11位黑白条。在获取模糊图像的光照模型函数时，可以利用该守护位的光照值进行模拟，如上述步骤12231、步骤12232以及步骤12233所示；利用该光照模型函数以及该模糊图像的模糊模型函数，如上述f1(x)＝G(x)×f4(x)，而该模型中，高斯核函数，可以是图像采集设备(如相机)的1D或者2D信号与高斯核卷积得到，而上述高斯核函数中，σ控制核的宽度，因此，可以使用使得上述残差最小的高斯核宽度。
上述实施例中，猜测每一位数字，对于0-9中的每个数字，通过模糊模型和光照模型产生仿真信号。图25是通过模糊模型和光照模型产生仿真信号的示意图；91是理想信号，92是使用较小的高斯核产生的仿真信号，93是使用较大的高斯核产生的仿真信号。
上述步骤123具体包括：
步骤1231，获取所述图像中条形码的数字区域的第二定位参数信息；
步骤1232，根据所述第二定位参数信息，得到第二仿真信号；这里的第二定位参数和上述实施列中的第一定位参数信息可以是相同的，对于同一幅模糊图像来说，其中的条形码的定位参数信息如可以是上述实施例中的守护位或者与守护位相关的定位信息；
步骤1233，根据所述第二仿真信号与条形码的数字识别过程产生的输入数字图像信号，获得用于表示所述第二仿真信号与数字区域的数字识别结果之间差别的距离，并将所述距离作为所述第二值输出。
该实施例中，上述步骤1232中，具体可以根据公式：
f9(x,y)＝f7(x,y)+f8(x)得到第二仿真信号；
其中，f7(x,y)＝G(x,y)×f6(x,y)，
Figure BDA0000995885420000141
其中，G(x,y)为高斯核函数，σ用于控制高斯核的宽度，f8(x)为根据所述第二定位参数得到的光照模型函数，f6(x,y)为输入的标准数字模板信号，f9(x,y)为第二仿真信号。这里的光照模型函数f8(x)，可以认为是光照沿X轴方向变化情况的函数，Y轴方向的光照情况不变；也可以是只考虑条形码的X轴方向的光照，如条形码的长度方向的光照情况。
该实施例中，步骤1233中，具体可以根据公式：
Figure BDA0000995885420000151
获得用于表示所述第二仿真信号与所述数字识别结果之间差别的距离；
其中，edigit为距离值，f10(x,y)为条形码的数字区域的数字识别过程产生的数字识别结果，i表示条形码数字串中的第i位数字，L是条形码数字串的长度。
该实施例中，第二仿真信号同样如图25所示，其中，91是理想信号，92是使用较小的高斯核产生的仿真信号，93是使用较大的高斯核产生的仿真信号。
更进一步的，在上述步骤124后，还可以对数字识别结果进行纠正，进一步提高其准确率。此时，在上述步骤124后还可以包括以下步骤：
步骤125，对输出的结果数字进行校验，如果得到的校验结果与条形码的校验位数字不匹配，则对输出的数字进行错误纠正。
该步骤125中，对输出的数字进行错误纠正的步骤包括：
步骤1251，获取每个输出的数字对应的第三值，所述第三值为第一值和第二值的加权和值；
步骤1252，对所述第三值大于一预设值的一个或者多个错误数字进行替换，并获取替换后数字的第三值；
步骤1253，根据替换后数字的第三值，得到替换后数字的置信度，所述置信度表示所述替换后的输出数字与正确的数字的接近程度；
步骤1254，若所述置信度高于一预设阈值，则输出替换后的数字。
该实施例中，根据公式：
Figure BDA0000995885420000152
得到替换后数字的置信度；
其中，C为置信度，etotal为是经过错误数字校正后的误差，btotal为没有进行错误数字校正时的误差，i表示条形码数字串中的第i位数字，L是条形码数字串的长度，
Figure BDA0000995885420000153
为第三值。
如图26所示，假如经过步骤121～124的流程，识别出来的条形码对应的数字串为6，9，1，7，5，6，8，1，9，1，2，3，4，每一位数字一起来计算校验和。如果检验和不匹配，解码得到的数字串中必然有一位或者几位错误。本实施例中，可以将其中最有可能出错的数字用候选数字来代替，代替的方法是满足使替换之后所新增的误差最小。
如图26所示，而针对该数字串中的每一位数字对应的第三值，即该数字与正确的数字之间的误差分别为0.3，0.2，0.3，0.6，0.3，0.2，0.5，0.3，0.3，0.1，0.3，0.2，0.4，该数字串的总误差为4.0；其中，第4位数字7以及第7位数字8以及第11位数字2的误差较大，因此，可以对数字第4位数字、第7位数字和/或第11位数字进行替换；如可以将第4位数字的数字7替换为1进行校验运算，也可同时将第7位数字8替换为6进行校验运算，依次类推，多个可以进行替换的数字可以分别进行替换后进行校验运算，也可以同时替换后进行校验运算，也可以部分替换后进行校验运算，只要满替换之后所新增的误差最小且校验成功。
本发明的上述实施例通过将条形码解码和OCR数字识别结合起来联合优化模型时，使OCR数字识别和条码解码都会变得更加准确，从而能够提高条形码信息识别的准确性。
请参照图27，提供了本发明实施例的物品包装的注册方法的另一流程图。如图27所示，该流程主要包括：接收输入的图像，该图像可以是相机采集到的物品包装的图像，首先判断该物品包装的注册过程是否结束(S101)。如果物品包装和持有物品包装的操作员的手(或其他操作体，如机械操作臂)离开操作台达到一定的时间，则判断为当前物品包装的注册过程结束，此时进入S110，将所有采集到的该物品包装的信息存储到数据库中，建立上述信息与该物品包装对应的物品之间的关联关系。如果注册过程未结束，则从全幅图像中提取出当前的物品包装图像，分离出前景和背景区域(S102)；在定位并裁剪物品包装图像(前景图像)之后，根据图像采集所有的需要的信息(S103-S107)。这些信息包括条形码、物品标题和其他信息。物品包装图像在S108中旋转到竖直放置的角度，并在S109步骤中采集图像的特征信息，如VLAD和fisher向量等特征，然后返回S101。如果一个物品包装的注册过程完毕，所有采集到的信息将会存储到数据库中(S110)。另外，还可以判断当前的物品包装的图像是否在数据库中已有和它包装相似的物品(S111)，例如基于图片特征信息判断图像是否相似，若相似程度超出预定门限，则认为是相似物品，此时提示人工标注相似物品的区别特征区域，并记录人工标准的这些区别特征区域的信息，存储到数据库中(S112)。
请参照图28，本发明实施例提供了一种物品包装信息的注册装置280，如图28所示，该物品包装信息的注册装置280包括：
图像获取单元281，用于获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；
条形码检测单元282，用于检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；
标题识别单元283，用于检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；
信息注册单元284，用于注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息。
上述标题识别单元283，可以通过确定所述文本串的最小包围矩形，得到所述文本串区域。
作为一种实现方式，本发明实施例的所述标题识别单元283具体可以包括：
文本串获得单元，用于对前景图像进行边缘检测，获得边缘检测结果；根据边缘检测结果进行笔画宽度变换，确定像素点的笔画宽度；获得由笔画宽度的差值在预设范围内的相邻像素组成的连通区域；聚合相互之间距离小于预设门限的任意两个连通区域，并根据聚合结果确定前景图像中的字符，所述预设门限与所述任意两个连通区域的周长正相关；确定字符的特征以及具有相同特征的字符，获得由具有相同特征的字符组成的文本串。
作为一种实现方式，上述标题识别单元283还可以包括：
标题区域确定单元，用于针对各个文本串区域，分别对该文本串区域的面积和笔画宽度进行加权求和，得到该文本串区域的加权分值；选择出最大加权分值对应的文本串区域，作为所述物品标题区域。
作为一种实现方式，本发明实施例的所述信息注册单元284可以包括：
注册处理单元，用于保存所述物品包装对应的物品名称信息，保存所述物品包装的特征信息，并建立所述物品名称信息与所述物品包装的特征信息之间的关联关系。
本发明实施例中，所述物品包装的特征信息还包括：所述物品包装的外表面的前景图像以及该前景图像的图像特征信息；所述物品包装信息的注册装置还可以包括：图像特征提取单元，用于提取所述前景图像的图像特征信息。所述注册处理单元，进一步用于在保存所述物品包装的外表面的前景图像时，若所述前景图像包括有物品标题区域，则调整所述前景图像的方向，使物品标题区域处于调整后的图像中的预设区域，且物品标题区域的最小包围矩形的长边方向处于预设方向，得到调整后的前景图像并保存。
本发明实施例中，所述信息注册单元284还可以包括：近似物品标注单元，用于判断已注册的物品包装信息中，是否存在与当前注册的物品包装的外表面相近似的近似物品包装，若存在，则提示用户标注当前注册的物品包装与所述近似物品包装两者之间的区别特征信息。
为了提高图像的一致性，本发明实施例可以在具有稳定、均衡的光照环境下采集物品包装的图像。此时，所述图像获取单元，具体用于将物品包装放置在位于操作盒中的操作台上，所述操作盒包括多个侧边和一盒顶，所述多个侧边和所述盒顶合围形成一空间，所述盒顶上设有相机，所述侧边上设有朝向操作盒内壁的光源，所述光源发出的光经过所述内壁的反射为操作台上物品包装提供拍照光源；通过所述相机采集所述物品包装的至少一个外表面的图像。
为了提高条形码识别的准确性，本发明实施例的条形码检测单元具体可以包括以下单元：
定位单元，用于定位所述前景图像中的条形码区域及其数字区域；
计算单元，用于获取所述前景图像中条形码区域的条形码解码过程产生的第一值以及所述图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；
输出单元，用于获取所述第一值和第二值的加权和值最小时对应的数字识别结果。例如，计算所述第一值和第二值的和值或加权和值，得到第三值；获取所述第三值最小时对应的数字识别结果。
这里，所述条形码检测单元还包括：
纠正处理单元，用于对获取的所述数字识别结果进行校验，如果得到的校验结果与条形码的校验位数字不匹配，则对数字识别结果中的数字进行错误纠正。
作为一种实现方式，所述纠正处理单元，具体用于获取数字识别结果的每个数字对应的第三值，所述第三值为第一值和第二值的加权和值；对所述第三值大于一预设值的一个或者多个数字进行替换，并获取替换后数字的第三值；根据替换后数字的第三值，得到替换后数字的置信度，所述置信度表示所述替换后的输出数字与正确的数字的接近程度；若所述置信度高于一预设阈值，则输出替换后的数字。
下面结合图29描述本发明实施例涉及的矩形目标检测装置的一种硬件结构图，如图29所示，该硬件结构290包括：
图像采集设备291(如相机或摄像机)、处理器292、存储器293以及物品包装信息的注册装置294，所述物品包装信息的注册装置294又包括图像获取单元2941、条形码检测单元2942、标题识别单元2943、和信息注册单元2944。其中，所述图像获取单元2941、条形码检测单元2942、标题识别单元2943、和信息注册单元2944各自实现的功能与图28所示的图像获取单元281、条形码检测单元282、标题识别单元283、和信息注册单元284相类似。
作为一种实现方式，本发明实施例中，图29中的硬件结构290还可能包括有一计算机系统295，该计算机系统295上运行有一已注册物品数据库。物品包装信息的注册装置294通过向该已注册物品数据库注册其所获得的物品包装的各种特征信息。
图29中，上述图像采集设备291、处理器292、存储器293以及物品包装信息的注册装置294可以独立于计算机系统295而设置。作为一种可选方式，上述图像采集设备291、处理器292、存储器293以及物品包装信息的注册装置294可以作为计算机系统295的一个子模块或组成部分。
本发明实施例中，物品包装信息的注册装置294中的各个模块也可以通过独立的嵌入式系统来实现。作为另一种可选方式，物品包装信息的注册装置294也可以由处理器292来实现，此时，当处理器292调用并执行所述存储器293中所存储的程序和数据时，可以实现如下的功能模块：
图像获取单元，用于获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；
条形码检测单元，用于检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；
标题识别单元，用于检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；
信息注册单元，用于注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息。
图29中，处理器292和存储器293分别通过总线接口与物品包装信息的注册装置294连接；总线架构可以是可以包括任意数量的互联的总线和桥；具体由处理器292代表的一个或者多个处理器，以及由存储器293代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起，这些都是本领域所公知的。因此，本文不再对其进行详细描述。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种物品包装信息的注册方法，其特征在于，包括：
获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；
检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；
检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；
注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息，
所述检测所述前景图像中的条形码，获得条形码信息的步骤，包括：
定位所述前景图像中的条形码区域及其数字区域；
获取所述前景图像中条形码区域的条形码解码过程产生的第一值以及所述前景图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；
获取所述第一值和第二值的加权和值最小时对应的数字识别结果作为条形码信息。
2.如权利要求1所述的注册方法，其特征在于，
所述检测所述前景图像中的文本串的步骤，包括：
对前景图像进行边缘检测，获得边缘检测结果；
根据边缘检测结果进行笔画宽度变换，确定像素点的笔画宽度；
获得由笔画宽度的差值在预设范围内的相邻像素组成的连通区域；
聚合相互之间距离小于预设门限的任意两个连通区域，并根据聚合结果确定前景图像中的字符，所述预设门限与所述任意两个连通区域的周长正相关；
确定字符的特征以及具有相同特征的字符，获得由具有相同特征的字符组成的文本串。
3.如权利要求1所述的注册方法，其特征在于，
所述根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域的步骤，包括：
针对各个文本串区域，分别对该文本串区域的面积和笔画宽度进行加权求和，得到该文本串区域的加权分值；
选择出最大加权分值对应的文本串区域，作为所述物品标题区域。
4.如权利要求1所述的注册方法，其特征在于，
所述注册所述物品包装的特征信息的步骤，包括：
保存所述物品包装对应的物品名称信息，保存所述物品包装的特征信息，并建立所述物品名称信息与所述物品包装的特征信息之间的关联关系。
5.如权利要求4所述的注册方法，其特征在于，
所述物品包装的特征信息还包括：所述物品包装的外表面的前景图像以及该前景图像的图像特征信息；
在分离出物品包装的外表面的前景图像后，所述方法还包括：提取所述前景图像的图像特征信息；
在保存所述物品包装的外表面的前景图像时，若所述前景图像包括有物品标题区域，则调整所述前景图像的方向，使物品标题区域处于调整后的图像中的预设区域，且物品标题区域的最小包围矩形的长边方向处于预设方向，得到调整后的前景图像并保存。
6.如权利要求4所述的注册方法，其特征在于，
所述注册所述物品包装的特征信息的步骤，还包括：
判断已注册的物品包装信息中，是否存在与当前注册的物品包装的外表面相近似的近似物品包装；
若存在，则提示用户标注当前注册的物品包装与所述近似物品包装两者之间的区别特征信息。
7.如权利要求1所述的注册方法，其特征在于，
所述获得所述物品包装的外表面的图像的步骤，包括：
将物品包装放置在位于操作盒中的操作台上，所述操作盒包括多个侧边和一盒顶，所述多个侧边和所述盒顶合围形成一空间，所述盒顶上设有相机，所述侧边上设有朝向操作盒内壁的光源，所述光源发出的光经过所述内壁的反射为操作台上物品包装提供拍照光源；
通过所述相机采集所述物品包装的至少一个外表面的图像。
8.如权利要求1所述的注册方法，其特征在于，
所述检测所述前景图像中的条形码，获得条形码信息的步骤，还包括：
对获取的所述数字识别结果进行校验，如果得到的校验结果与条形码的校验位数字不匹配，则对数字识别结果中的数字进行错误纠正。
9.如权利要求8所述的注册方法，其特征在于，
所述对数字识别结果中的数字进行错误纠正的步骤，包括：
获取数字识别结果的每个数字对应的第三值，所述第三值为第一值和第二值的加权和值；
对所述第三值大于一预设值的一个或者多个数字进行替换，并获取替换后数字的第三值；
根据替换后数字的第三值，得到替换后数字的置信度，所述置信度表示所述替换后的输出数字与正确的数字的接近程度；
若所述置信度高于一预设阈值，则输出替换后的数字。
10.一种物品包装信息的注册装置，其特征在于，包括：
图像获取单元，用于获得物品包装的外表面的图像，分离出物品包装的外表面的前景图像；
条形码检测单元，用于检测所述前景图像中是否存在条形码，并在存在条形码时获得条形码信息；
标题识别单元，用于检测所述前景图像中的文本串，获得包含有文本串的文本串区域，根据文本串区域的面积和文本串区域的笔画宽度，选择一个文本串区域作为物品标题区域，识别出物品标题区域中的文本串，得到物品标题；
信息注册单元，用于注册所述物品包装的特征信息，所述物品包装的特征信息至少包括所述条形码信息和物品标题信息，
所述条形码检测单元包括：
定位单元，用于定位所述前景图像中的条形码区域及其数字区域；
计算单元，用于获取所述前景图像中条形码区域的条形码解码过程产生的第一值以及所述前景图像中数字区域的数字识别过程产生的第二值；其中，所述第一值表示所述条形码区域的条形码解码的仿真结果与所述条形码区域的条形码解码结果之间的差值，所述第二值表示所述数字区域的数字识别仿真结果与所述数字区域的数字识别结果之间的差值；
输出单元，用于获取所述第一值和第二值的加权和值最小时对应的数字识别结果作为条形码信息。
CN201610341801.3A 2016-05-20 2016-05-20 一种物品包装信息的注册方法及装置 Expired - Fee Related CN107403179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610341801.3A CN107403179B (zh) 2016-05-20 2016-05-20 一种物品包装信息的注册方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610341801.3A CN107403179B (zh) 2016-05-20 2016-05-20 一种物品包装信息的注册方法及装置

Publications (2)

Publication Number Publication Date
CN107403179A CN107403179A (zh) 2017-11-28
CN107403179B true CN107403179B (zh) 2020-10-23

Family

ID=60389335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610341801.3A Expired - Fee Related CN107403179B (zh) 2016-05-20 2016-05-20 一种物品包装信息的注册方法及装置

Country Status (1)

Country Link
CN (1) CN107403179B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229476B (zh) * 2018-01-08 2021-02-09 北京奇艺世纪科技有限公司 标题区域检测方法及系统
CN108171235B (zh) * 2018-01-08 2021-01-22 北京奇艺世纪科技有限公司 标题区域检测方法及系统
CN110147838B (zh) * 2019-05-20 2021-07-02 苏州微创关节医疗科技有限公司 一种产品规格录入、检测方法及系统
EP3901960B1 (en) * 2020-04-21 2023-09-06 Deutsche Post AG Validation method and validation apparatus for sealed unit
CN111598011A (zh) * 2020-05-19 2020-08-28 科大讯飞股份有限公司 垃圾分类处理方法、相关设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799848A (zh) * 2012-06-21 2012-11-28 深圳市江波龙电子有限公司 商品信息识别方法和商品信息识别装置
CN103946865A (zh) * 2011-11-21 2014-07-23 诺基亚公司 用于有助于检测图像内的文本的方法和装置
CN104112135A (zh) * 2013-04-18 2014-10-22 富士通株式会社 文本图像提取装置以及方法
CN105000308A (zh) * 2015-05-29 2015-10-28 东南大学 盒装药品核对运输装置及方法
CN105051723A (zh) * 2013-03-22 2015-11-11 德国邮政股份公司 包装件的识别
CN105518678A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 搜索方法、搜索装置、用户设备和计算机程序产品

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103946865A (zh) * 2011-11-21 2014-07-23 诺基亚公司 用于有助于检测图像内的文本的方法和装置
CN102799848A (zh) * 2012-06-21 2012-11-28 深圳市江波龙电子有限公司 商品信息识别方法和商品信息识别装置
CN105051723A (zh) * 2013-03-22 2015-11-11 德国邮政股份公司 包装件的识别
CN104112135A (zh) * 2013-04-18 2014-10-22 富士通株式会社 文本图像提取装置以及方法
CN105000308A (zh) * 2015-05-29 2015-10-28 东南大学 盒装药品核对运输装置及方法
CN105518678A (zh) * 2015-06-29 2016-04-20 北京旷视科技有限公司 搜索方法、搜索装置、用户设备和计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Detecting text in natural scenes with stroke width transform;Boris Epshtein，Eyal Ofek，Yonatan Wexler;《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20100618;第2965页第5段-第2967页第4段 *

Also Published As

Publication number Publication date
CN107403179A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107403128B (zh) 一种物品识别方法及装置
CN107403179B (zh) 一种物品包装信息的注册方法及装置
JP6098702B2 (ja) 複数の整理されたオブジェクトを含む画像を解析する方法、システム及びコンピュータ可読プログラム
US20120106787A1 (en) Apparatus and methods for analysing goods packages
TWI606406B (zh) 從成像檔案擷取正文之方法、設備以及有形電腦可讀儲存媒體
US7970213B1 (en) Method and system for improving the recognition of text in an image
JP6569532B2 (ja) 管理システム、リスト作成装置、リスト作成方法、管理方法及び管理用プログラム
JP6458239B1 (ja) 画像認識システム
JP6831951B2 (ja) 画像認識システム
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN110114781B (zh) 用于检测和识别远程高密度视觉标记的方法
CN112329779A (zh) 一种基于mask提高证件识别准确率的方法和相关装置
US10380416B2 (en) Date identifying apparatus, date identifying method, and computer-readable recording medium
CN109635796B (zh) 调查问卷的识别方法、装置和设备
JP6651169B2 (ja) 陳列状況判定システム
JP7449505B2 (ja) 情報処理システム
JP6885563B2 (ja) 陳列状況判定システム
US20210166028A1 (en) Automated product recognition, analysis and management
JP7343115B1 (ja) 情報処理システム
JP7328642B1 (ja) 情報処理システム
JP6941331B2 (ja) 画像認識システム
KR20220168787A (ko) 만주어의 글자 추출 방법 및 이를 수행하는 시스템
CN113743146A (zh) 基于深度学习的批量图形码识别方法、装置及存储介质
CN115830607A (zh) 基于人工智能的文本识别方法、装置、计算机设备及介质
JPH0877293A (ja) 文字認識装置および文字認識用辞書作成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201023

CF01 Termination of patent right due to non-payment of annual fee