CN112200170B - 图像识别方法、装置、电子设备和计算机可读介质 - Google Patents

图像识别方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN112200170B
CN112200170B CN202011414009.9A CN202011414009A CN112200170B CN 112200170 B CN112200170 B CN 112200170B CN 202011414009 A CN202011414009 A CN 202011414009A CN 112200170 B CN112200170 B CN 112200170B
Authority
CN
China
Prior art keywords
information
image
feature
node
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011414009.9A
Other languages
English (en)
Other versions
CN112200170A (zh
Inventor
郭聪
王林芳
梅涛
周伯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202011414009.9A priority Critical patent/CN112200170B/zh
Publication of CN112200170A publication Critical patent/CN112200170A/zh
Application granted granted Critical
Publication of CN112200170B publication Critical patent/CN112200170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例公开了图像识别方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息；通过预设的特征树状图确定上述至少一条特征信息中特征信息的优先级排序信息，上述特征树状图包括至少一个节点，上述节点对应指定的特征信息；基于上述优先级排序信息和待识别图像确定图像内容。该实施方式提高了识别待识别图像中图像内容的准确性，加快了图像识别的速度。

Description

图像识别方法、装置、电子设备和计算机可读介质
技术领域
本公开的实施例涉及图像识别技术领域，具体涉及图像识别方法、装置、电子设备和计算机可读介质。
背景技术
现有的人脸检测技术中主要分为两个主要方向，基于激励的传统计算机视觉方法，其设备运行环境为中央处理器。另一种是基于深度学习的计算机视觉方法，其需要搭载图像处理器来发挥其性能。因此，在一些边缘设备上，当条件不支持略昂贵的图像处理器时，甚至中央处理器的性能也较弱的情况下，我们仍然可以使用传统的视觉方法对图像进行人脸检测。
在传统的视觉人脸检测方法中，采用级联的流程设计是这个领域的奠基算法。虽然这种级联的组合方案非常有效，但是由于多种因素（人脸外观的多样性、光照背景的复杂性等等）的干扰，在面对复杂的人脸检测场景时，级联的人脸检测器往往对正脸的检测结果相对较好，而对于非正面、夸张表情等人检测速度慢，也准确性较低。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了图像识别方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。
第一方面，本公开的一些实施例提供了一种图像识别方法，该方法包括：响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息；通过预设的特征树状图确定上述至少一条特征信息中特征信息的优先级排序信息，上述特征树状图包括至少一个节点，上述节点对应指定的特征信息；基于上述优先级排序信息和待识别图像确定图像内容。
第二方面，本公开的一些实施例提供了一种图像识别装置，该装置包括：特征信息获取单元，被配置成响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息；优先级排序信息确定单元，被配置成通过预设的特征树状图确定上述至少一条特征信息中特征信息的优先级排序信息，上述特征树状图包括至少一个节点，上述节点对应指定的特征信息；图像识别单元，被配置成基于上述优先级排序信息和待识别图像确定图像内容。
第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例中具有如下有益效果：通过特征树状图对待识别图像的特征信息进行识别得到优先级排序信息，然后基于优先级排序信息和待识别图像确定图像内容，提高了图像识别的准确性。具体来说，发明人发现，造成图像识别不够准确的原因在于：待识别图像中通常存在各种干扰，并且图像识别模型通常能抑制某些特定干扰，而无法抑制其他干扰。基于此，本公开的一些实施例的图像识别方法首先从待识别图像获取至少一条特征信息，然后再通过特征树状图确定特征信息之间的优先级排序信息，如此可以确定待识别图像中干扰的特点。最后再基于优先级排序信息和待识别图像确定图像内容，实现了基于待识别图像中的干扰识别待识别图像。如此，大大提高了识别待识别图像中图像内容的准确性。并且，通过特征树状图确定了优先级排序信息后，可以减少图像识别过程中对干扰的数据处理量，有利于加快图像识别的速度。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的图像识别方法的应用场景的示意图；
图2是根据本公开的图像识别方法的一些实施例的流程图；
图3是根据本公开的图像识别方法的另一些实施例的流程图；
图4是根据本公开的特征树状图构建方法的一些实施例的流程图；
图5是根据本公开的图像识别装置的一些实施例的结构示意图；
图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是根据本公开一些实施例的图像识别方法的一个应用场景的示意图。
如图1所示，电子设备101接收到待识别图像102后，可以从待识别图像102中获取至少一条特征信息103。然后，电子设备101通过特征树状图104确定至少一条特征信息103的优先级排序信息。图1中，特征树状图104的节点可以包括：
Figure 763653DEST_PATH_IMAGE001
、
Figure 946373DEST_PATH_IMAGE002
、
Figure 991689DEST_PATH_IMAGE003
、
Figure 652478DEST_PATH_IMAGE004
、
Figure 371910DEST_PATH_IMAGE005
、
Figure 459951DEST_PATH_IMAGE006
和
Figure 992564DEST_PATH_IMAGE007
。每个节点对应的特征信息各不相同，至少一条特征信息103可以分别与各个节点对应。至少一条特征信息103的内容可以是关于待识别图像102的背景特征、亮度特征、物体（例如可以是人脸）朝向特征、形变特征、颜色特征、纹理特征等。每个节点可以有对应的特征阈值，特征阈值用于确定至少一条特征信息103在特征树状图104中的路径。例如，节点
Figure 332409DEST_PATH_IMAGE001
可以对背景特征进行判断。当背景特征大于节点
Figure 266867DEST_PATH_IMAGE001
的特征阈值时，执行主体可以进一步通过节点
Figure 260231DEST_PATH_IMAGE002
对特征信息进行判断，然后再通过节点
Figure 280140DEST_PATH_IMAGE004
对特征信息进行判断，直到确定目标图像识别模型105，如图1中节点之间的实线所示。对应的，参与数据处理的节点顺序为：节点
Figure 282731DEST_PATH_IMAGE001
节点
Figure 947061DEST_PATH_IMAGE002
节点
Figure 376906DEST_PATH_IMAGE004
，则对应的优先级排序信息可以是节点
Figure 884111DEST_PATH_IMAGE001
节点
Figure 424813DEST_PATH_IMAGE002
节点
Figure 68284DEST_PATH_IMAGE004
分别对应的特征信息之间的先后顺序。而节点
Figure 669030DEST_PATH_IMAGE003
、节点
Figure 538897DEST_PATH_IMAGE005
、节点
Figure 883291DEST_PATH_IMAGE006
和节点
Figure 381268DEST_PATH_IMAGE007
可以不参与数据处理。找到目标图像识别模型105后，说明待识别图像102能被目标图像识别模型105准确识别。最后，电子设备101可以将待识别图像102导入目标图像识别模型105，得到图像内容106。
应该理解，图1中的电子设备101数目仅仅是示意性的。根据实现需要，可以具有任意数目的电子设备101。
继续参考图2，图2示出了根据本公开的图像识别方法的一些实施例的流程200。该图像识别方法，包括以下步骤：
步骤201，响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息。
在一些实施例中，图像识别方法的执行主体（例如图1所示的电子设备101）可以通过有线连接方式或者无线连接方式接收到待识别图像。需要指出的是，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB（ultrawideband）连接、以及其他现在已知或将来开发的无线连接方式。
执行主体接收到待识别图像后，为了能够准确识别待识别图像的图像内容，可以首先从待识别图像中获取指定的至少一条特征信息。待识别图像可以是人脸图像、动物图像、植物图像等。特征信息可以是待识别图像中的干扰因素的特征。例如，特征信息可以是背景特征、亮度特征、人脸朝向特征、形变特征、颜色特征、纹理特征等。“指定”是为了使获取的特征信息能够在后续的特征树状图中进行数据处理。这些特征信息能够用于选择用哪种方式识别待识别图像，进而可以提高对待识别图像识别的准确性。
步骤202，通过预设的特征树状图确定上述至少一条特征信息中特征信息的优先级排序信息。
在一些实施例中，执行主体可以通过预先设置的特征树状图对特征信息进行数据处理，进而得到对应至少一条特征信息的优先级排序信息。其中，上述特征树状图可以包括至少一个节点。每个节点用于处理指定的特征信息，即，节点与指定的特征信息对应。由上述描述可知，优先级排序信息可以是节点
Figure 418494DEST_PATH_IMAGE001
节点
Figure 634712DEST_PATH_IMAGE002
节点
Figure 168417DEST_PATH_IMAGE004
分别对应的特征信息之间的先后顺序。
确定上述至少一条特征信息中特征信息的优先级排序信息，可以用于查找对应的图像识别方法，使得该图像识别方法能够处理特征信息对应的干扰，进而提高识别待识别图像的准确性。
步骤203，基于上述优先级排序信息和待识别图像确定图像内容。
得到优先级排序信息后，执行主体可以通过优先级排序信息查找对应的图像识别方法，然后将待识别图像导入图像识别方法得到图像内容。
本公开的一些实施例公开的图像识别方法，通过特征树状图对待识别图像的特征信息进行识别得到优先级排序信息，然后基于优先级排序信息和待识别图像确定图像内容，提高了图像识别的准确性。具体来说，发明人发现，造成图像识别不够准确的原因在于：待识别图像中通常存在各种干扰，并且图像识别模型通常能抑制某些特定干扰，而无法抑制其他干扰。基于此，本公开的一些实施例的图像识别方法首先从待识别图像获取至少一条特征信息，然后再通过特征树状图确定特征信息之间的优先级排序信息，如此可以确定待识别图像中干扰的特点。最后再基于优先级排序信息和待识别图像确定图像内容，实现了基于待识别图像中的干扰识别待识别图像。如此，大大提高了识别待识别图像中图像内容的准确性。并且，通过特征树状图确定了优先级排序信息后，可以减少图像识别过程中对干扰的数据处理量，有利于加快图像识别的速度。
继续参考图3，图3示出了根据本公开的图像识别方法的一些实施例的流程300。该图像识别方法，包括以下步骤：
步骤301，响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息。
步骤301的内容与步骤201的内容相同，此处不再一一赘述。
步骤302，基于上述特征树状图和至少一条特征信息确定路径信息。
路径信息对应的路径通常由多个节点组成，每个节点与指定的特征信息对应。确定路径信息时，首先从特征树状图的根节点出发，然后经过各级子节点，直到叶子节点后形成路径后，可以得到路径信息。例如，路径可以是：节点
Figure 520900DEST_PATH_IMAGE001
节点
Figure 729028DEST_PATH_IMAGE002
节点
Figure 432542DEST_PATH_IMAGE004
。其中，节点
Figure 853159DEST_PATH_IMAGE001
为根节点；节点
Figure 591308DEST_PATH_IMAGE002
为子节点；节点
Figure 845703DEST_PATH_IMAGE004
为叶子节点。对应的路径信息可以是：节点
Figure 36512DEST_PATH_IMAGE001
、节点
Figure 260820DEST_PATH_IMAGE002
、节点
Figure 587897DEST_PATH_IMAGE004
。
步骤303，根据上述路径信息确定优先级排序信息。
特征树状图包含了多个节点，节点之间的相互连接确定的图像识别方法也不同。路径信息连接了对应的多个节点，由路径信息对应的路径形成过程可以确定优先级排序信息。例如，路径信息可以是：节点
Figure 137827DEST_PATH_IMAGE001
、节点
Figure 691299DEST_PATH_IMAGE002
、节点
Figure 719298DEST_PATH_IMAGE004
。则对应的优先级排序信息可以是：
Figure 166460DEST_PATH_IMAGE001
、
Figure 621712DEST_PATH_IMAGE002
、
Figure 787114DEST_PATH_IMAGE004
。
步骤304，通过上述优先级排序信息确定对应上述待识别图像的目标图像识别模型。
实际中，各种干扰之间具有相关性。当图像识别模型能够抑制某些干扰时，通常无法抑制其他干扰。相应的，不同的图像识别模型抑制干扰的能力各有不同。例如，某一图像识别模型的抗亮度等干扰能力很强，但抗颜色等干扰能力很弱。因此，执行主体需要根据待识别图像的干扰对应的特征信息来决定由那个图像识别模型来处理待识别图像。图1对应的实施例，获取路径信息时，首先通过根节点
Figure 494170DEST_PATH_IMAGE001
的特征阈值对背景特征进行判断。当背景特征大于节点
Figure 61417DEST_PATH_IMAGE001
的特征阈值时，说明待识别图像中的背景干扰较强。此时，可以选择抗背景特征较强的多个图像识别模型。之后，再进一步通过节点
Figure 687571DEST_PATH_IMAGE002
进行筛选，直到通过节点
Figure 74690DEST_PATH_IMAGE004
确定目标图像识别模型105。由上述描述可知，选择目标图像识别模型105的过程就是一个对待识别图像中干扰的识别和筛选过程。如此，大大提高了对待识别图像识别的准确性和有效性。同时，由于在确定目标图像识别模型105的过程中对待识别图像中的干扰进行了筛选，因此一定程度上降低了目标图像识别模型105对待识别图像中干扰的数据处理量，有利于提高目标图像识别模型105对待识别图像的处理效率，加快识别速度。
步骤305，将上述待识别图像导入上述目标图像识别模型，得到对应上述待识别图像的图像内容。
最后，执行主体可以将待识别图像导入上述目标图像识别模型，得到对应上述待识别图像的图像内容。
在一些实施例的一些可选的实现方式中，上述节点设置有对应的特征阈值；以及，上述基于上述特征树状图和至少一条特征信息确定路径信息，包括：将上述特征树状图中节点的特征阈值、与上述至少一条特征信息中对应的特征信息进行比较，确定上述路径信息。
特征树状图中的每个节点设置有对应的特征阈值。在确定路径信息时，执行主体可以将上述特征树状图中节点的特征阈值、与上述至少一条特征信息中对应的特征信息进行比较，确定上述路径信息。例如，根节点
Figure 710070DEST_PATH_IMAGE001
用于判断背景干扰，则可以通过根节点
Figure 240147DEST_PATH_IMAGE001
的特征阈值对背景特征进行判断。
在一些实施例的一些可选的实现方式中，上述特征树状图包括至少一个叶子节点，上述叶子节点与图像识别模型对应；以及，上述通过上述优先级排序信息确定对应上述待识别图像的目标图像识别模型，可以包括以下步骤：
第一步，通过上述优先级排序信息确定目标叶子节点。
由上述描述可知，优先级排序信息可以是：
Figure 302781DEST_PATH_IMAGE001
、
Figure 911616DEST_PATH_IMAGE002
、
Figure 350688DEST_PATH_IMAGE004
。则节点
Figure 626949DEST_PATH_IMAGE004
就为目标叶子节点。即，优先级排序信息的最后一位对应的节点为目标叶子节点。
第二步，响应于上述目标叶子节点的特征阈值小于等于上述优先级排序信息中、最小优先级信息对应的特征信息，将上述目标叶子节点对应的图像识别模型设置为目标图像识别模型。
当目标叶子节点的特征阈值小于等于上述优先级排序信息中、最小优先级信息对应的特征信息时，可以选择对应的、能够抵抗该特征信息对应的干扰的图像识别模型作为目标图像识别模型。
进一步参考图4，其示出了特征树状图构建方法的另一些实施例的流程400。该特征树状图构建方法的流程400，包括以下步骤：
步骤401，获取至少一个图像识别模型中图像识别模型的训练样本集合，得到至少一个训练样本集合。
在一些实施例中，为了能够通过特征树状图确定待识别图像对应的目标图像识别模型。执行主体可以首先获取多个图像识别模型的训练样本集合，得到至少一个训练样本集合。训练样本集合能够反映对应的图像识别模型能够识别哪些类型的图像，也能反映图像识别模型能够抵抗哪些干扰。
步骤402，基于上述至少一个训练样本集合构建上述特征树状图。
在一些实施例中，执行主体可以对至少一个训练样本集合进行特征提取等处理，以确定哪些属于共有的特征，哪些属于部分共有的特征，哪些特征只针对某一图像识别模型，进而可以构建特征树状图。
在一些实施例的一些可选的实现方式中，上述基于上述至少一个训练样本集合构建上述特征树状图，可以包括以下步骤：
第一步，对于上述至少一个训练样本集合中的训练样本集合，从该训练样本集合包含的训练样本中提取指定的样本特征信息，得到对应该训练样本集合的样本特征信息集合。
构建特征树状图主要是用于识别干扰特征。因此，执行主体可以从训练样本集合包含的训练样本中提取指定的样本特征信息，得到对应该训练样本集合的样本特征信息集合。其中，“指定的样本特征信息”对应的可以是干扰对应的特征信息。
第二步，统计上述至少一个样本特征信息集合中相同样本特征信息，得到至少一个节点特征集合。
不同的干扰可以存在于不同的样本特征信息集合中，因此，不同的样本特征信息集合可以提取到相同的干扰特征。执行主体可以统计相同样本特征信息，得到至少一个节点特征集合。其中，上述节点特征集合包含相同样本特征信息。如此，建立了干扰与节点之间的对应关系，实现了对干扰特征的分类。
第三步，确定上述至少一个节点特征集合中每个节点特征集合的节点优先级。
执行主体可以根据每个节点特征集合中样本特征信息的数量来确定节点优先级。例如，某一节点特征集合中样本特征信息的数量很大，则可以说明该干扰广泛存在于各个样本特征信息集合中。因此，可以为该干扰对应的节点设置高优先级。同理，可以按照包含的样本特征信息的数量为其他节点设置对应的优先级。例如，节点优先级可以是：
Figure 735850DEST_PATH_IMAGE001
、（
Figure 97561DEST_PATH_IMAGE002
，
Figure 74744DEST_PATH_IMAGE003
）、（
Figure 205512DEST_PATH_IMAGE004
，
Figure 750893DEST_PATH_IMAGE005
，
Figure 599901DEST_PATH_IMAGE006
，
Figure 115196DEST_PATH_IMAGE007
）。即，节点
Figure 241415DEST_PATH_IMAGE001
优先级最高，节点
Figure 551173DEST_PATH_IMAGE002
和
Figure 887477DEST_PATH_IMAGE003
次之，节点
Figure 472042DEST_PATH_IMAGE004
，
Figure 311822DEST_PATH_IMAGE005
，
Figure 431962DEST_PATH_IMAGE006
和
Figure 989983DEST_PATH_IMAGE007
最小。
第四步，基于至少一个上述节点优先级构建上述特征树状图。
确定了节点优先级后，执行主体可以构建多条可能的路径。如图1所示，在确定了节点优先级后，节点之间的可能路径可以包括：节点
Figure 112659DEST_PATH_IMAGE001
节点
Figure 72525DEST_PATH_IMAGE002
节点
Figure 724086DEST_PATH_IMAGE004
；节点
Figure 910348DEST_PATH_IMAGE001
节点
Figure 571137DEST_PATH_IMAGE002
节点
Figure 119930DEST_PATH_IMAGE005
；节点
Figure 473551DEST_PATH_IMAGE001
节点
Figure 6163DEST_PATH_IMAGE002
节点
Figure 346009DEST_PATH_IMAGE006
；节点
Figure 749308DEST_PATH_IMAGE001
节点
Figure 273831DEST_PATH_IMAGE002
节点
Figure 293739DEST_PATH_IMAGE007
；节点
Figure 296330DEST_PATH_IMAGE001
节点
Figure 819715DEST_PATH_IMAGE003
节点
Figure 390505DEST_PATH_IMAGE004
；节点
Figure 632131DEST_PATH_IMAGE001
节点
Figure 172833DEST_PATH_IMAGE003
节点
Figure 81884DEST_PATH_IMAGE005
；节点
Figure 682629DEST_PATH_IMAGE001
节点
Figure 51031DEST_PATH_IMAGE003
节点
Figure 395425DEST_PATH_IMAGE006
；节点
Figure 893403DEST_PATH_IMAGE001
节点
Figure 665049DEST_PATH_IMAGE003
节点
Figure 146846DEST_PATH_IMAGE007
等。但实际的图像识别模型只有4个。因此，需要从上述的各种路径中挑选出适合的4条与图像识别模型对应的路径。为此，执行主体可以查询各个节点对应的节点特征集合中属于某一图像识别模型的样本特征信息的数量，进而确定该节点与图像识别模型的相关程度，并最终选出4条路径，如图1中的节点
Figure 29352DEST_PATH_IMAGE001
节点
Figure 522781DEST_PATH_IMAGE002
节点
Figure 730909DEST_PATH_IMAGE004
；节点
Figure 168843DEST_PATH_IMAGE001
节点
Figure 855039DEST_PATH_IMAGE002
节点
Figure 593188DEST_PATH_IMAGE005
；节点
Figure 582004DEST_PATH_IMAGE001
节点
Figure 507235DEST_PATH_IMAGE003
节点
Figure 997122DEST_PATH_IMAGE006
；节点
Figure 589777DEST_PATH_IMAGE001
节点
Figure 874128DEST_PATH_IMAGE003
节点
Figure 552234DEST_PATH_IMAGE007
。如此可以构建特征树状图。
在一些实施例的一些可选的实现方式中，上述基于至少一个上述节点优先级构建上述特征树状图，可以包括以下步骤：
第一步，根据上述至少一个上述节点优先级确定节点层级关系。
执行主体可以根据至少一个上述节点优先级确定根节点，然后再确定与根节点连接的第一层子节点，与第一层子节点连接的第二层子节点，直至确定最后的叶子节点。如此，可以确定节点层级关系。例如，节点优先级可以是：
Figure 455599DEST_PATH_IMAGE001
、（
Figure 902761DEST_PATH_IMAGE002
，
Figure 358013DEST_PATH_IMAGE003
）、（
Figure 523415DEST_PATH_IMAGE004
，
Figure 355105DEST_PATH_IMAGE005
，
Figure 391194DEST_PATH_IMAGE006
，
Figure 656828DEST_PATH_IMAGE007
）。则层级关系为：第一层：节点
Figure 309526DEST_PATH_IMAGE001
；第二层：节点
Figure 413749DEST_PATH_IMAGE002
，
Figure 835503DEST_PATH_IMAGE003
；第三层：节点
Figure 898136DEST_PATH_IMAGE004
，
Figure 506972DEST_PATH_IMAGE005
，
Figure 821410DEST_PATH_IMAGE006
，
Figure 363250DEST_PATH_IMAGE007
。
第二步，基于上述层级关系生成上述特征树状图。
基于上述的描述，多个层级关系之间可能出现多种路径，执行主体可以通过查询每个节点对应的样本特征信息等方式确定可能的路径，得到特征树状图。
在一些实施例的一些可选的实现方式中，上述基于上述层级关系生成上述特征树状图，包括：设置节点的特征阈值。
由上述描述可知，在对待识别图像进行处理时，需要通过节点的特征阈值对特征信息进行判断。因此，执行主体还需要设置节点的特征阈值。通常，执行主体可以按照对应节点的样本特征信息中特征信息的取值分布来确定特征阈值。例如，特征信息的取值分布中出现“20-40”，“60-80”两个数据聚集区域。则对应的特征阈值可以为“50”。如此，可以通过特征阈值明确判断下一个节点，进而得到路径信息，并最终确定目标图像识别模型。
需要说明的是，上述的特征树状图和多个图像识别模型可以组合起来构成一个大的图像识别模型，具体根据实际需要而定。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种图像识别装置的一些实施例，这些装置实施例与图2所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，一些实施例的图像识别装置500包括：特征信息获取单元501、优先级排序信息确定单元502和图像识别单元503。其中，特征信息获取单元501，被配置成响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息；优先级排序信息确定单元502，被配置成通过预设的特征树状图确定上述至少一条特征信息中特征信息的优先级排序信息，上述特征树状图包括至少一个节点，上述节点对应指定的特征信息；图像识别单元503，被配置成基于上述优先级排序信息和待识别图像确定图像内容。
在一些实施例的可选实现方式中，上述优先级排序信息确定单元502可以包括：路径信息确定子单元（图中未示出）和优先级排序信息确定子单元（图中未示出）。其中，路径信息确定子单元，被配置成基于上述特征树状图和至少一条特征信息确定路径信息；优先级排序信息确定子单元，被配置成根据上述路径信息确定优先级排序信息。
在一些实施例的可选实现方式中，上述节点设置有对应的特征阈值；以及，上述路径信息确定子单元可以包括：路径信息确定模块（图中未示出），被配置成将上述特征树状图中节点的特征阈值、与上述至少一条特征信息中对应的特征信息进行比较，确定上述路径信息。
在一些实施例的可选实现方式中，上述图像识别单元503可以包括：目标图像识别模型确定子单元（图中未示出）和图像识别子单元（图中未示出）。其中，目标图像识别模型确定子单元，被配置成通过上述优先级排序信息确定对应上述待识别图像的目标图像识别模型；图像识别子单元，被配置成将上述待识别图像导入上述目标图像识别模型，得到对应上述待识别图像的图像内容。
在一些实施例的可选实现方式中，上述特征树状图包括至少一个叶子节点，上述叶子节点与图像识别模型对应；以及，上述目标图像识别模型确定子单元可以包括：目标叶子节点确定模块（图中未示出）和目标图像识别模型确定模块（图中未示出）。其中，目标叶子节点确定模块，被配置成通过上述优先级排序信息确定目标叶子节点；目标图像识别模型确定模块，被配置成响应于上述目标叶子节点的特征阈值小于等于上述优先级排序信息中、最小优先级信息对应的特征信息，将上述目标叶子节点对应的图像识别模型设置为目标图像识别模型。
在一些实施例的可选实现方式中，上述图像识别装置500还可以包括特征树状图构建单元（图中未示出），被配置成构建特征树状图，上述特征树状图构建单元可以包括：训练样本集合获取子单元（图中未示出）和特征树状图构建子单元（图中未示出）。其中，训练样本集合获取子单元，被配置成获取至少一个图像识别模型中图像识别模型的训练样本集合，得到至少一个训练样本集合；特征树状图构建子单元，被配置成基于上述至少一个训练样本集合构建上述特征树状图。
在一些实施例的可选实现方式中，上述特征树状图构建子单元可以包括：样本特征信息集合获取模块（图中未示出）、节点特征集合获取模块（图中未示出）、节点优先级确定模块（图中未示出）和特征树状图构建模块（图中未示出）。其中，样本特征信息集合获取模块，被配置成对于上述至少一个训练样本集合中的训练样本集合，从该训练样本集合包含的训练样本中提取指定的样本特征信息，得到对应该训练样本集合的样本特征信息集合；节点特征集合获取模块，被配置成统计上述至少一个样本特征信息集合中相同样本特征信息，得到至少一个节点特征集合，上述节点特征集合包含相同样本特征信息；节点优先级确定模块，被配置成确定上述至少一个节点特征集合中每个节点特征集合的节点优先级；特征树状图构建模块，被配置成基于至少一个上述节点优先级构建上述特征树状图。
在一些实施例的可选实现方式中，上述特征树状图构建模块可以包括：节点层级关系确定子模块（图中未示出）和特征树状图生成子模块（图中未示出）。其中，节点层级关系确定子模块，被配置成根据上述至少一个上述节点优先级确定节点层级关系；特征树状图生成子模块，被配置成基于上述层级关系生成上述特征树状图。
在一些实施例的可选实现方式中，上述特征树状图生成子模块可以包括：特征阈值设置模组（图中未示出），被配置成设置节点的特征阈值。
可以理解的是，该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
如图6所示，电子设备600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于接收到待识别图像，从上述待识别图像中获取指定的至少一条特征信息；通过预设的特征树状图确定上述至少一条特征信息中特征信息的优先级排序信息，上述特征树状图包括至少一个节点，上述节点对应指定的特征信息；基于上述优先级排序信息和待识别图像确定图像内容。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括特征信息获取单元、优先级排序信息确定单元和图像识别单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像识别单元还可以被描述为“用于识别图像内容的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种图像识别方法，包括：
响应于接收到待识别图像，从所述待识别图像中获取指定的至少一条特征信息，所述特征信息为所述待识别图像中的干扰因素的特征，用于选择识别待识别图像的方式；
通过预设的特征树状图确定所述至少一条特征信息中特征信息的优先级排序信息，所述特征树状图包括至少一个节点，所述节点对应指定的特征信息；
基于所述优先级排序信息和待识别图像确定图像内容。
2.根据权利要求1所述的方法，其中，所述通过预设的特征树状图确定所述至少一条特征信息中特征信息的优先级排序信息，包括：
基于所述特征树状图和至少一条特征信息确定路径信息；
根据所述路径信息确定优先级排序信息。
3.根据权利要求2所述的方法，其中，所述节点设置有对应的特征阈值；以及
所述基于所述特征树状图和至少一条特征信息确定路径信息，包括：
将所述特征树状图中节点的特征阈值、与所述至少一条特征信息中对应的特征信息进行比较，确定所述路径信息。
4.根据权利要求3所述的方法，其中，所述基于所述优先级排序信息和待识别图像确定图像内容，包括：
通过所述优先级排序信息确定对应所述待识别图像的目标图像识别模型；
将所述待识别图像导入所述目标图像识别模型，得到对应所述待识别图像的图像内容。
5.根据权利要求4所述的方法，其中，所述特征树状图包括至少一个叶子节点，所述叶子节点与图像识别模型对应；以及
所述通过所述优先级排序信息确定对应所述待识别图像的目标图像识别模型，包括：
通过所述优先级排序信息确定目标叶子节点；
响应于所述目标叶子节点的特征阈值小于等于所述优先级排序信息中、最小优先级信息对应的特征信息，将所述目标叶子节点对应的图像识别模型设置为目标图像识别模型。
6.根据权利要求5所述的方法，其中，所述特征树状图通过以下步骤构建：
获取至少一个图像识别模型中图像识别模型的训练样本集合，得到至少一个训练样本集合；
基于所述至少一个训练样本集合构建所述特征树状图。
7.根据权利要求6所述的方法，其中，所述基于所述至少一个训练样本集合构建所述特征树状图，包括：
对于所述至少一个训练样本集合中的训练样本集合，从该训练样本集合包含的训练样本中提取指定的样本特征信息，得到对应该训练样本集合的样本特征信息集合；
统计所述至少一个样本特征信息集合中相同样本特征信息，得到至少一个节点特征集合，所述节点特征集合包含相同样本特征信息；
确定所述至少一个节点特征集合中每个节点特征集合的节点优先级；
基于至少一个所述节点优先级构建所述特征树状图。
8.根据权利要求7所述的方法，其中，所述基于至少一个所述节点优先级构建所述特征树状图，包括：
根据所述至少一个所述节点优先级确定节点层级关系；
基于所述层级关系生成所述特征树状图。
9.根据权利要求8所述的方法，其中，所述基于所述层级关系生成所述特征树状图，包括：
设置节点的特征阈值。
10.一种图像识别装置，包括：
特征信息获取单元，被配置成响应于接收到待识别图像，从所述待识别图像中获取指定的至少一条特征信息，所述特征信息为所述待识别图像中的干扰因素的特征，用于选择识别待识别图像的方式；
优先级排序信息确定单元，被配置成通过预设的特征树状图确定所述至少一条特征信息中特征信息的优先级排序信息，所述特征树状图包括至少一个节点，所述节点对应指定的特征信息；
图像识别单元，被配置成基于所述优先级排序信息和待识别图像确定图像内容。
11.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至9中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至9中任一所述的方法。
CN202011414009.9A 2020-12-07 2020-12-07 图像识别方法、装置、电子设备和计算机可读介质 Active CN112200170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011414009.9A CN112200170B (zh) 2020-12-07 2020-12-07 图像识别方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414009.9A CN112200170B (zh) 2020-12-07 2020-12-07 图像识别方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN112200170A CN112200170A (zh) 2021-01-08
CN112200170B true CN112200170B (zh) 2021-11-30

Family

ID=74034469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414009.9A Active CN112200170B (zh) 2020-12-07 2020-12-07 图像识别方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN112200170B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992191A (zh) * 2015-07-23 2015-10-21 厦门大学 基于深度学习的特征和最大置信路径的图像分类方法
US9471836B1 (en) * 2016-04-01 2016-10-18 Stradvision Korea, Inc. Method for learning rejector by forming classification tree in use of training images and detecting object in test images, and rejector using the same
CN107067022A (zh) * 2017-01-04 2017-08-18 美的集团股份有限公司 图像分类模型的建立方法、建立装置和设备
CN108197225A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 图像的分类方法、装置、存储介质及电子设备
CN110647907A (zh) * 2019-08-05 2020-01-03 广东工业大学 利用多层分类和字典学习的多标签图像分类算法
CN111177432A (zh) * 2019-12-23 2020-05-19 北京航空航天大学 一种基于分层深度哈希的大规模图像检索方法
CN111295671A (zh) * 2017-09-29 2020-06-16 索尼互动娱乐股份有限公司 自主个人伴侣的模块化层次结构视觉系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754024B (zh) * 2019-01-29 2021-08-24 北京云测信息技术有限公司 图像分类方法和装置
CN111062281A (zh) * 2019-12-05 2020-04-24 亿利生态大数据有限公司 异常事件监控方法、装置、存储介质和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992191A (zh) * 2015-07-23 2015-10-21 厦门大学 基于深度学习的特征和最大置信路径的图像分类方法
US9471836B1 (en) * 2016-04-01 2016-10-18 Stradvision Korea, Inc. Method for learning rejector by forming classification tree in use of training images and detecting object in test images, and rejector using the same
CN107067022A (zh) * 2017-01-04 2017-08-18 美的集团股份有限公司 图像分类模型的建立方法、建立装置和设备
CN111295671A (zh) * 2017-09-29 2020-06-16 索尼互动娱乐股份有限公司 自主个人伴侣的模块化层次结构视觉系统
CN108197225A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 图像的分类方法、装置、存储介质及电子设备
CN110647907A (zh) * 2019-08-05 2020-01-03 广东工业大学 利用多层分类和字典学习的多标签图像分类算法
CN111177432A (zh) * 2019-12-23 2020-05-19 北京航空航天大学 一种基于分层深度哈希的大规模图像检索方法

Also Published As

Publication number Publication date
CN112200170A (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN110600017B (zh) 语音处理模型的训练方法、语音识别方法、系统及装置
US11055516B2 (en) Behavior prediction method, behavior prediction system, and non-transitory recording medium
CN108197652B (zh) 用于生成信息的方法和装置
CN109961032B (zh) 用于生成分类模型的方法和装置
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
JP2023531350A (ja) サンプル画像を増分する方法、画像検出モデルの訓練方法及び画像検出方法
CN114416260B (zh) 图像处理方法、装置、电子设备及存储介质
TW202101384A (zh) 圖像處理方法、提名評估方法及相關裝置
CN113570030A (zh) 数据处理方法、装置、设备以及存储介质
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
CN114330236A (zh) 文字生成方法、装置、电子设备及存储介质
CN112200173A (zh) 多网络模型训练方法、图像标注方法和人脸图像识别方法
CN113657538B (zh) 模型训练、数据分类方法、装置、设备、存储介质及产品
US20240127406A1 (en) Image quality adjustment method and apparatus, device, and medium
CN112183388B (zh) 图像处理方法、装置、设备和介质
CN112200170B (zh) 图像识别方法、装置、电子设备和计算机可读介质
CN111862081A (zh) 图像评分方法、分数预测网络的训练方法、装置
CN111784567B (zh) 用于转换图像的方法、装置、电子设备和计算机可读介质
CN113408970B (zh) 用户信息生成方法、装置、电子设备和计算机可读介质
CN115201769A (zh) 雷达信号脉冲重复间隔生成方法、装置、设备和介质
CN111582456B (zh) 用于生成网络模型信息的方法、装置、设备和介质
JP2023544022A (ja) グループタイプの識別方法、装置、コンピュータ機器及びコンピュータプログラム
CN114627556A (zh) 动作检测方法、动作检测装置、电子设备以及存储介质
CN113435393A (zh) 森林火灾烟雾根节点检测方法、装置和设备
CN113762306A (zh) 模型训练方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant