CN113065394B - 用于图像识别物品的方法、电子设备及存储介质 - Google Patents

用于图像识别物品的方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113065394B
CN113065394B CN202110218588.8A CN202110218588A CN113065394B CN 113065394 B CN113065394 B CN 113065394B CN 202110218588 A CN202110218588 A CN 202110218588A CN 113065394 B CN113065394 B CN 113065394B
Authority
CN
China
Prior art keywords
candidate
determining
item
article
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110218588.8A
Other languages
English (en)
Other versions
CN113065394A (zh
Inventor
许业喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202110218588.8A priority Critical patent/CN113065394B/zh
Publication of CN113065394A publication Critical patent/CN113065394A/zh
Application granted granted Critical
Publication of CN113065394B publication Critical patent/CN113065394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)

Abstract

本申请涉及计算机软件技术，可应用于智能家电领域，本申请公开了一种用于图像识别物品的方法，包括：接收包含物品的图像，其中所述物品被部分遮挡；基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。由于本申请是通过深度学习实现对物品的特征的识别，即使物品被部分遮挡，也还是可以在物品未被遮挡的部分，识别出物品的特征，从而根据这些特征来进行物品的识别，有效的避免了因为物品被部分遮挡，导致无法进行物品识别或者图像识别准确度较低的情况，从而提高了被堆叠物品的图像识别准确度。

Description

用于图像识别物品的方法、电子设备及存储介质
技术领域
本申请涉及计算机软件技术领域，例如涉及一种用于图像识别物品的方法、电子设备及存储介质。
背景技术
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的对象的技术，是应用深度学习算法的一种实践应用。图像的传统识别流程分为四个步骤：图像采集、图像预处理、特征提取、图像识别。
生活中进行图像识别时，识别对象往往存在部分遮挡的情况，导致无法正常识别。例如，食材和衣物在存储、保管或洗涤的时候，往往都存在堆叠情况，导致物品被部分遮挡，只能显示局部，无法显示出物品的全貌，此时采用传统的图像识别方式进行识别，识别结果准确度不高，不可信。
现有技术中，对于例如有遮挡的行人的识别，一种解决方案为，通过多个摄像头，采集多个角度的图像进行识别，但是这种方案需要使用多个图像采集设备，成本较高，并且对于由于物品堆叠导致的遮挡，采用多个摄像头采集的多个图像进行识别，并不能获取有遮挡的物品的更多信息。
因此，如何提高被堆叠物品的图像识别准确度，成为亟需解决的问题。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供一种用于图像识别物品的方法、电子设备及存储介质，以解决提高被堆叠物品的图像识别准确度的问题。
在一些实施方式中，本公开实施例提供一种用于图像识别物品的方法，所述方法包括：
接收包含物品的图像，其中所述物品被部分遮挡；
基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；
确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。
在一些实施方式中，所述基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征，包括：
利用N个深度学习模型分别提取所述物品未被遮挡部分的N个特征；N为大于或等于1的整数。
在一些实施方式中，所述结合所述一个或多个特征确定所述物品的一个或多个候选识别结果，包括：
结合预先设定的特征与对象名称的关联关系，根据所述一个或多个特征从所述对象名称中确定所述物品的一个或多个候选识别结果。
在一些实施方式中，所述确定符合预设条件的候选识别结果为物品识别结果，包括：
判断所述一个或多个特征中是否存在高辨识度特征，生成判断结果；
根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级；
从可信度等级最高的候选识别结果中确定物品识别结果。
在一些实施方式中，
所述根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级，包括：
根据所述各特征与各所述候选识别结果的关联关系，确定各所述候选识别结果在所述各特征中关联的特征的个数；
根据各所述候选识别结果在所述各特征中关联的特征的个数，以及所述判断结果，确定所述各候选对象名称的可信度等级。
在一些实施方式中，所述从可信度等级最高的候选识别结果中确定物品识别结果，包括：
接收预设的实际对象名单；
从可信度等级最高的候选识别结果中确定在所述对象存储名单中的候选识别结果，为物品识别结果。
本公开实施例提供一种用于识别堆叠物品的方法，所述方法包括：
获取堆叠物品的图像；
将获取的图像分割为多个不同的区域；
对每个分割区域的物品分别进行识别，输出物品识别结果；
其中，对于部分被遮挡的物品采用本公开实施例提供的用于图像识别物品的方法进行识别。
在一些实施方式中，本公开实施例提供一种用于图像识别物品的装置，所述装置包括：
接收模块，用于接收包含物品的图像，其中所述物品被部分遮挡；
提取模块，用于基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
确定模块，用于结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；
输出模块，用于确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。
在一些实施方式中，所述提取模块基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征，用于：
利用N个深度学习模型分别提取所述物品未被遮挡部分的N个特征；N为大于或等于1的整数。
在一些实施方式中，所述确定模块结合所述一个或多个特征确定所述物品的一个或多个候选识别结果，用于：
结合预先设定的特征与对象名称的关联关系，根据所述一个或多个特征从所述对象名称中确定所述物品的一个或多个候选识别结果。
在一些实施方式中，所述输出模块确定符合预设条件的候选识别结果为物品识别结果，用于：
判断所述一个或多个特征中是否存在高辨识度特征，生成判断结果；
根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级；
从可信度等级最高的候选识别结果中确定物品识别结果。
在一些实施方式中，所述输出模块根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级，包括：
根据所述各特征与各所述候选识别结果的关联关系，确定各所述候选识别结果在所述各特征中关联的特征的个数；
根据各所述候选识别结果在所述各特征中关联的特征的个数，以及所述判断结果，确定所述各候选对象名称的可信度等级。
在一些实施方式中，所述输出模块从可信度等级最高的候选识别结果中确定物品识别结果，用于：
接收预设的实际对象名单；
从可信度等级最高的候选识别结果中确定在所述对象存储名单中的候选识别结果，为物品识别结果。
在一些实施方式中，本公开实施例提供一种用于识别堆叠物品的装置，所述装置包括：
获取模块，用于获取堆叠物品的图像；
分割模块，用于将获取的图像分割为多个不同的区域；
识别模块，用于对每个分割区域的物品分别进行识别，输出物品识别结果；
其中，对于部分被遮挡的物品识别模块采用本公开实施例提供的用于图像识别物品的方法进行识别。
本公开实施例还提供一种电子设备，包括处理器及存储器，所述存储器存储有计算机指令，所述处理器被配置为基于所述计算机指令执行本公开实施例提供的方法。
本公开实施例提供的用于图像识别物品的方法、装置、存储介质及电子设备，可以实现以下技术效果：
本公开技术方案通过接收包含物品的图像，其中所述物品被部分遮挡；基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。
由于本申请是通过深度学习实现对对象的特征的识别，即使对象被部分遮挡，也还是可以在对象未被遮挡的部分，识别出对象的特征，从而根据这些特征来进行对象的识别，有效的避免了因为对象被部分遮挡，导致无法进行对象识别或识别准确度较低的情况，进而提高了被堆叠物品的图像识别准确度。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种用于图像物品识别的方法的流程图之一；
图2是本公开实施例提供的一种用于图像物品识别的方法的流程图之二；
图3是本公开实施例提供的一种用于图像物品识别的方法的流程图之三；
图4是本公开实施例提供的一种用于图像物品识别的方法的流程图之四；
图5是本公开实施例提供的一种用于识别堆叠物品的方法的流程图之一；
图6是本公开实施例提供的一种用于识别堆叠物品的方法的流程图之二；
图7是本公开实施例提供的一种用于图像物品识别的结构示意图；
图8是本公开实施例提供的一种用于识别堆叠物品的结构示意图；
图9是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
本公开实施例中，术语“上”、“下”、“内”、“中”、“外”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本公开实施例及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本公开实施例中的具体含义。
另外，术语“设置”、“连接”、“固定”应做广义理解。例如，“连接”可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本公开实施例中的具体含义。
除非另有说明，术语“多个”表示两个或两个以上。
需要说明的是，在不冲突的情况下，本公开实施例中的实施例及实施例中的特征可以相互组合。
本公开实施例提供一种用于图像识别物品的方法、电子设备及存储介质，以解决提高被堆叠物品的图像识别准确度的问题。
在一些实施方式中，如图1所示，本公开实施例提供一种用于图像识别物品的方法，所述方法包括：
S101、接收包含物品的图像，其中所述物品被部分遮挡；
S102、基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
S103、结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；
S104、确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。
由于本申请是通过深度学习实现对物品的特征的识别，因此即使对象被部分遮挡，也还是可以在物品未被遮挡的部分，识别出物品的特征，从而根据这些特征来进行物品的识别，有效的避免了因为物品被部分遮挡，导致无法进行物品识别或者图像识别准确度较低的情况，从而提高了被堆叠物品的图像识别准确度。
实际应用中，S101中接收的包含物品的图像，优选的，是单一摄像头单一角度拍摄的图像，这样方案的实现成本较低，不会增加额外的硬件成本。
在一些实施方式中，所述基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征，包括：
利用N个深度学习模型分别提取所述物品未被遮挡部分的N个特征；N为大于或等于1的整数。
这里，每一个深度学习模型，用于提取物品的一个特征，实际应用中，本领域技术人员可以预先训练多个深度学习模型，例如，用于识别红色的深度学习模型，用于识别三角形的深度学习模型，以及，用于识别条纹的深度学习模型。
在使用中，本领域技术人员，可以根据要识别的物品的增加，来增加要识别的特征，并针对性的训练新的深度学习模型，来识别增加的要识别的特征。在后续的特征识别中，将新的深度学习模型也用在S102中的特征提取中即可。因此，本申请提供的技术方案，具有容易扩展可识别的特征的优点，能够兼容更多的物品的识别。
这里的特征，可以按照不同的特征属性来划分，其中特征属性可以包括高辨识度特征和普通特征。
其中，普通特征包括颜色特征、纹理特征、尺寸特征中的一个或多个，实际应用中，本领域技术人员可以设置其他可多个物品通用的特征，作为普通特征，本申请不限定于此。
高辨识度特征，可以是特定物品的具备高度辨识度的局部特征，例如，苹果有向内凹陷，则有凹陷可以作为苹果的高辨识度特征。
在一些实施方式中，所述S103结合所述一个或多个特征确定所述物品的一个或多个候选识别结果，为：
结合预先设定的特征与对象名称的关联关系，根据所述一个或多个特征从所述对象名称中确定所述物品的一个或多个候选识别结果。
其中，预先设定的特征与对象名称的关联关系，可以是，例如，苹果与红色、圆形、有凹陷这几个特征关联，橙子与黄色、圆形、无凹陷这几个特征关联。当识别到的特征有红色、圆形、有凹陷这三个特征时，可以根据关联关系，确定这三个特征与苹果相关联，将苹果作为一个候选识别结果。当识别到的特征有黄色、圆形、无凹陷，可以确定这三个特征与橙子相关联，将橙子作为一个候选识别结果。
在一些实施方式中，如图2所示，所述S104确定符合预设条件的候选识别结果为物品识别结果，包括：
S201、判断所述一个或多个特征中是否存在高辨识度特征，生成判断结果；
S202、根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级；
S203、从可信度等级最高的候选识别结果中确定物品识别结果。
实际应用中，可以根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级。其中，可信度等级的评定规则，本领域技术人员可以根据实际需要进行设置。
实际应用中，预先设定的特征与对象名称的关联关系，以及用于提取各特征的深度学习模型，及各特征的特征属性，特征属性可以是高辨识度特征或者普通特征，可以通过知识图谱的方式关联存储，其中，深度学习模型，可以通过实体的方式存储，在需要使用该深度学习模型时，通过实体来进行调用使用。
在一些实施方式中，如图3所示，所述S202根据所述各特征的特征属性，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级，包括：
S301、根据所述各特征与各所述候选识别结果的关联关系，确定各所述候选识别结果在所述各特征中关联的特征的个数；
S302、根据各所述候选识别结果在所述各特征中关联的特征的个数，以及所述判断结果，确定所述各候选对象名称的可信度等级。
实际应用中，例如，S102中识别到的特征为红色、圆形、有凹陷，其中，红色、圆形的特征属性为普通特征，有凹陷的特征属性为高辨识度特征。识别到的三个特征，均是与苹果有关联关系的特征，并且其中还有“有凹陷”这一高辨识度特征，则可以认为苹果这一候选识别结果的可信度等级为一级，若S102中识别到的特征为黄色、圆形、有凹陷，其中，圆形和有凹陷是与苹果有关联关系的特征，其中还有“有凹陷”这一高辨识度特征，则可以认为苹果这一候选识别结果的可信度等级为二级，若S102中识别到的特征为红色、圆形，其中，红色和圆形是与苹果有关联关系的特征，其中无高辨识度特征，则可以认为苹果这一候选识别结果的可信度等级为三级。
在一些实施方式中，如图4所示，所述S203从可信度等级最高的候选识别结果中确定物品识别结果，包括：
S401、接收预设的实际对象名单；
S402、从可信度等级最高的候选识别结果中确定在所述对象存储名单中的候选识别结果，为物品识别结果。
实际应用中，如果确定的可信度等级最高的候选识别结果为多个，例如，苹果和橙子这两个候选识别结果的可信度等级相同，且在所有候选识别结果中，苹果和橙子的可信度等级是最高的。此时，可以跟实际对象名单来进行比对，实际对象名单代表图像中实际上应该有哪些对象，如果实际对象名单中只有苹果，此时可以将苹果作为物品识别结果。
如图5所示，本公开实施例提供一种用于识别堆叠物品的方法，所述方法包括：
S501、获取堆叠物品的图像；
S502、将获取的图像分割为多个不同的区域；
S503、对每个分割区域的物品分别进行识别，输出物品识别结果；
其中，对于部分被遮挡的物品采用本公开实施例提供的用于图像识别物品的方法进行识别。
以冰箱中堆叠食材的识别为例，S503中对每个分割区域的物品分别进行识别，输出物品识别结果，实际应用中，可以先使用不被遮挡的物品的识别方法，对所有分割区域的物品进行识别，对于不能成功识别的物品，通过本公开实施例提供的用于图像识别物品的方法进行识别。本领域技术人员也可以采用其他方式区分部分被遮挡物品和不被遮挡物品，对不被遮挡物品采用传统的方式进行物品识别，对部分被遮挡物品通过本公开实施例提供的用于图像识别物品的方法进行识别。
本申请通过训练识别图像特征的深度学习模型，对要识别的物品的各特征，分别使用深度学习模型进行提取，对于不同物品的通用特征，可以使用同一深度学习模型进行特征提取，并且每个深度学习模型针对单一特征进行特征提取，训练容易，每个深度学习模型可用于多个物品的情况下，深度学习模型的数量可以较少，并且在需要增加特征时，增加深度学习模型即可，方案可满足物品识别的扩展需求。
图6提供一种用于识别冰箱中的堆叠食材的方法，包括：
S601、获取冰箱内食材图像；
S602、对食材图像进行图像分割，分割为多个不同的区域；
S603、使用用于食材识别的图像识别方法，对多个不同的区域进行识别；
S604、对于S603中识别失败的区域，基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
S605、结合预先设定的特征与对象名称的关联关系，根据所述一个或多个特征从所述对象名称中确定所述物品的一个或多个候选识别结果；
S606、确定所述一个或多个特征中各特征的特征属性；
S607、确定各所述特征的属性中是否存在高辨识度特征；
S608、根据所述各特征与各所述候选识别结果的关联关系，确定各所述候选识别结果在所述各特征中关联的特征的个数，以及各所述候选识别结果在所述各特征中关联的特征是否包括高辨识度特征；
S609、根据各所述候选识别结果在所述各特征中关联的特征的个数，以及各所述候选识别结果在所述各特征中关联的特征是否包括高辨识度特征，确定所述各候选对象名称的可信度等级；
S610、接收预设的实际对象名单；
S611、从可信度等级最高的候选识别结果中确定在所述对象存储名单中的候选识别结果，为物品识别结果。
这里，S610中的实际对象名单，可以是使用冰箱的用户输入的存储在冰箱中的食材的名单。
在一些实施方式中，如图7所示，本公开实施例提供一种用于图像识别物品的装置，所述装置包括：
接收模块701，用于接收包含物品的图像，其中所述物品被部分遮挡；
提取模块702，用于基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
确定模块703，用于结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；
输出模块704，用于确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。
在一些实施方式中，所述提取模块702基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征，用于：
利用N个深度学习模型分别提取所述物品未被遮挡部分的N个特征；N为大于或等于1的整数。
在一些实施方式中，所述确定模块703结合所述一个或多个特征确定所述物品的一个或多个候选识别结果，用于：
结合预先设定的特征与对象名称的关联关系，根据所述一个或多个特征从所述对象名称中确定所述物品的一个或多个候选识别结果。
在一些实施方式中，所述输出模块704确定符合预设条件的候选识别结果为物品识别结果，用于：
判断所述一个或多个特征中是否存在高辨识度特征，生成判断结果；
根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级；
从可信度等级最高的候选识别结果中确定物品识别结果。
在一些实施方式中，所述特征属性包括高辨识度特征和普通特征。在一些实施方式中，所述输出模块704所述根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级，，用于：根据所述各特征与各所述候选识别结果的关联关系，确定各所述候选识别结果在所述各特征中关联的特征的个数；
根据各所述候选识别结果在所述各特征中关联的特征的个数，以及所述判断结果，确定所述各候选对象名称的可信度等级。。
在一些实施方式中，所述输出模块704从可信度等级最高的候选识别结果中确定物品识别结果，用于：
接收预设的实际对象名单；
从可信度等级最高的候选识别结果中确定在所述对象存储名单中的候选识别结果，为物品识别结果。
在一些实施方式中，如图8所示，本公开实施例提供一种用于识别堆叠物品的装置，所述装置包括：
获取模块801，用于获取堆叠物品的图像；
分割模块802，用于将获取的图像分割为多个不同的区域；
识别模块803，用于对每个分割区域的物品分别进行识别，输出物品识别结果；
其中，对于部分被遮挡的物品识别模块采用本公开实施例提供的用于图像识别物品的方法进行识别。
本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行如本公开实施例提供的用于图像识别物品的方法和用于识别堆叠物品的方法。
如图9所示，本公开实施例还提供一种电子设备，包括处理器901及存储器902，所述存储器902存储有计算机指令，所述处理器901被配置为基于所述计算机指令执行本公开实施例提供的用于图像识别物品的方法和用于识别堆叠物品的方法。
上述电子设备，例如为移动设备、电脑、或浮动车中内置的车载设备等，或其任意组合。在一些实施例中，移动设备例如可以包括手机、智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备等，或其任意组合。
本公开实施例提供的用于图像识别物品的方法、装置、存储介质及电子设备，可以实现以下技术效果：
本公开技术方案通过接收包含物品的图像，其中所述物品被部分遮挡；基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果。
由于本申请是通过深度学习实现对物品的特征的识别，因此即使物品被部分遮挡，也还是可以在物品未被遮挡的部分，识别出物品的特征，从而根据这些特征来进行物品的识别，有效的避免了因为物品被部分遮挡，导致无法进行物品识别或者图像识别准确度较低的情况，从而提高了被堆叠物品的图像识别准确度。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开的实施例并不局限于上面已经描述并在附图中示出的结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种用于图像识别物品的方法，其特征在于，所述方法包括：
接收包含物品的图像，其中所述物品被部分遮挡；
基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；
确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果；
所述确定符合预设条件的候选识别结果为物品识别结果，包括：判断所述一个或多个特征中是否存在高辨识度特征，生成判断结果；根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级；从可信度等级最高的候选识别结果中确定物品识别结果。
2.如权利要求1所述的方法，其特征在于，所述基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征，包括：
利用N个深度学习模型分别提取所述物品未被遮挡部分的N个特征；N为大于或等于1的整数。
3.如权利要求1所述的方法，其特征在于，所述结合所述一个或多个特征确定所述物品的一个或多个候选识别结果，包括：
结合预先设定的特征与对象名称的关联关系，根据所述一个或多个特征从所述对象名称中确定所述物品的一个或多个候选识别结果。
4.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级，包括：
根据所述各特征与各所述候选识别结果的关联关系，确定各所述候选识别结果在所述各特征中关联的特征的个数；
根据各所述候选识别结果在所述各特征中关联的特征的个数，以及所述判断结果，确定所述各候选对象名称的可信度等级。
5.如权利要求1所述的方法，其特征在于，所述从可信度等级最高的候选识别结果中确定物品识别结果，包括：
接收预设的实际对象名单；
从可信度等级最高的候选识别结果中确定在所述对象存储名单中的候选识别结果，为物品识别结果。
6.一种用于识别堆叠物品的方法，其特征在于，所述方法包括：
获取堆叠物品的图像；
将获取的图像分割为多个不同的区域；
对每个分割区域的物品分别进行识别，输出物品识别结果；
其中，对于部分被遮挡的物品采用权利要求1至5任一项所述的方法进行识别。
7.一种用于图像识别物品的装置，其特征在于，所述装置包括：
接收模块，用于接收包含物品的图像，其中所述物品被部分遮挡；
提取模块，用于基于深度学习模型提取所述物品未被遮挡部分的一个或多个特征；
确定模块，用于结合所述一个或多个特征确定所述物品的一个或多个候选识别结果；
输出模块，用于确定符合预设条件的候选识别结果为物品识别结果，输出所述物品识别结果；所述确定符合预设条件的候选识别结果为物品识别结果，包括：判断所述一个或多个特征中是否存在高辨识度特征，生成判断结果；根据所述判断结果，以及所述各特征与各所述候选识别结果的关联关系，确定所述各所述候选识别结果的可信度等级；从可信度等级最高的候选识别结果中确定物品识别结果。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行如权利要求1至5中任一项所述的方法。
9.一种电子设备，其特征在于，包括处理器及存储器，所述存储器存储有计算机指令，所述处理器被配置为基于所述计算机指令执行如权利要求1至5任一项所述的方法。
CN202110218588.8A 2021-02-26 2021-02-26 用于图像识别物品的方法、电子设备及存储介质 Active CN113065394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218588.8A CN113065394B (zh) 2021-02-26 2021-02-26 用于图像识别物品的方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218588.8A CN113065394B (zh) 2021-02-26 2021-02-26 用于图像识别物品的方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113065394A CN113065394A (zh) 2021-07-02
CN113065394B true CN113065394B (zh) 2022-12-06

Family

ID=76559271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218588.8A Active CN113065394B (zh) 2021-02-26 2021-02-26 用于图像识别物品的方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113065394B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142225A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
CN109711411A (zh) * 2018-12-10 2019-05-03 浙江大学 一种基于胶囊神经元的图像分割识别方法
CN111738078A (zh) * 2020-05-19 2020-10-02 云知声智能科技股份有限公司 一种人脸识别方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105953520B (zh) * 2016-05-06 2018-08-10 青岛海尔股份有限公司 智能冰箱控制方法及其控制系统
CN107886028A (zh) * 2016-09-29 2018-04-06 九阳股份有限公司 一种冰箱的食材录入方法及食材录入装置
CN108701239B (zh) * 2018-03-20 2021-06-01 达闼机器人有限公司 物品定位方法及系统
CN111325241A (zh) * 2020-01-23 2020-06-23 深圳市大拿科技有限公司 果蔬分类方法、装置、智能传感器及计算机存储介质
CN112115886A (zh) * 2020-09-22 2020-12-22 北京市商汤科技开发有限公司 图像检测方法和相关装置、设备、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142225A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 제어 방법
CN109711411A (zh) * 2018-12-10 2019-05-03 浙江大学 一种基于胶囊神经元的图像分割识别方法
CN111738078A (zh) * 2020-05-19 2020-10-02 云知声智能科技股份有限公司 一种人脸识别方法和装置

Also Published As

Publication number Publication date
CN113065394A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN106056114B (zh) 名片内容识别方法和装置
CN101853391B (zh) 信息处理设备和方法
CN103098088B (zh) 图像评价装置、图像评价方法以及集成电路
CN110163076A (zh) 一种图像数据处理方法和相关装置
CN110383274A (zh) 识别设备的方法、装置、系统、存储介质、处理器和终端
CN109253888A (zh) 用于车辆车况的检测方法及系统
CN109426785A (zh) 一种人体目标身份识别方法及装置
EP3073443B1 (en) 3d saliency map
CN103632379A (zh) 物体检测装置及其控制方法
KR20140102181A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN110443159A (zh) 数字识别方法、装置、电子设备及存储介质
CN107710280A (zh) 对象可视化方法
CN109934180A (zh) 指纹识别方法及相关装置
CN110210478A (zh) 一种商品外包装文字识别方法
CN106295498A (zh) 光学遥感图像目标区域检测装置与方法
Pahwa et al. Locating 3D object proposals: A depth-based online approach
CN110807379A (zh) 一种语义识别方法、装置、以及计算机存储介质
CN107209556A (zh) 用于对捕获对象相对于交互平面的交互的深度图像进行处理的系统及方法
CN115495055A (zh) 基于界面区域识别技术的rpa元素匹配方法及系统
CN102855462A (zh) 确定人体动作周期及识别人体动作的方法和装置
CN113065394B (zh) 用于图像识别物品的方法、电子设备及存储介质
Dimiccoli et al. Exploiting t-junctions for depth segregation in single images
CN110210561B (zh) 神经网络的训练方法、目标检测方法及装置、存储介质
CN115983873B (zh) 一种基于大数据的用户数据分析管理系统及方法
Santos et al. RECOGNIZING AND EXPLORING AZULEJOS ON HISTORIC BUILDINGS’FACADES BY COMBINING COMPUTER VISION AND GEOLOCATION IN MOBILE AUGMENTED REALITY APPLICATIONS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant