CN110647841A - 图像识别结果过滤方法、装置、计算机设备及存储介质 - Google Patents

图像识别结果过滤方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110647841A
CN110647841A CN201910891440.3A CN201910891440A CN110647841A CN 110647841 A CN110647841 A CN 110647841A CN 201910891440 A CN201910891440 A CN 201910891440A CN 110647841 A CN110647841 A CN 110647841A
Authority
CN
China
Prior art keywords
identification
recognition
group
results
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910891440.3A
Other languages
English (en)
Other versions
CN110647841B (zh
Inventor
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910891440.3A priority Critical patent/CN110647841B/zh
Publication of CN110647841A publication Critical patent/CN110647841A/zh
Application granted granted Critical
Publication of CN110647841B publication Critical patent/CN110647841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像识别结果过滤方法,属于智能识别技术领域。所述方法包括:当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,当IOU小于第一阈值时,获取第一识别区域组之间的位置关系;根据位置关系,对第一识别结果组进行过滤,目标识别结果中包括至少两个识别结果中包含第一识别区域组的识别结果。本申请通过根据第一识别区域组之间的位置关系,对第一组识别结进行过滤,可以过滤掉通过第一识别区域组的IOU不能过滤掉的识别结果,避免显示多余的识别结果,提高了对识别结果过滤的准确性。

Description

图像识别结果过滤方法、装置、计算机设备及存储介质
技术领域
本申请涉及智能识别技术领域,特别涉及一种图像识别结果过滤方法、装置、计算机设备及存储介质。
背景技术
随着科技的快速发展,很多终端都已经具有智能识别功能,并且,对于同一个图像,终端还可以识别出其中包含的多种类型的物品。
比如,对于一张包含有鼠标和键盘的图像,终端可以识别出其中的鼠标和键盘,并将识别结果以文字或者图像的形式返回给用户。其中,在终端进行识别的过程中,终端往往会根据图像中包含鼠标或者键盘的区域进行识别,并将自身识别的区域通过对应的识别结果进行表示。为了避免重复表示同一个识别结果,终端可以计算每两个识别结果之间各自的识别区域的重叠度(Intersection over Union,IOU),当两个识别结果之间的IOU数值高于预设阈值时,终端可以将其中的一个识别结果过滤掉,从而使得终端在返回给用户这两个识别结果时,只返回唯一的一个,从而避免对用户的干扰。
由于上述采用IOU方案对识别结果进行过滤时,当两个识别结果的识别区域重合时,如果此时计算得到的IOU数值低于预设阈值,则终端并不能实现对识别结果的过滤,导致过滤准确度较低。
发明内容
本申请实施例提供了一种图像识别结果过滤方法、装置、计算机设备及存储介质,可以对图像识别结果的过滤准确性。所述技术方案如下:
一个方面,本申请实施例提供了一图像识别结果过滤方法,所述方法包括:
当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,所述第一识别结果组中包含所述至少两个识别结果中任意两个识别结果;
根据所述第一识别结果组中的第一识别区域组,计算所述第一识别区域组的重叠度IOU,所述第一识别区域组包含所述第一识别结果组中包含的两个识别区域;
当所述IOU小于第一阈值时,获取第一识别区域组之间的位置关系;
根据所述位置关系,对所述第一识别结果组进行过滤。
另一方面,本申请实施例提供了一种图像识别结果过滤装置,所述装置包括:
第一识别结果组获取模块,用于当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,所述第一识别结果组中包含所述至少两个识别结果中任意两个识别结果;
重叠度计算模块,用于根据所述第一识别结果组中的第一识别区域组,计算所述第一识别区域组的重叠度IOU,所述第一识别区域组包含所述第一识别结果组中包含的两个识别区域;
位置关系获取模块,用于当所述IOU小于第一阈值时,获取第一识别区域组之间的位置关系;
第一识别结果过滤模块,用于根据所述位置关系,对所述第一识别结果组进行过滤。
另一方面,本申请实施例提供了一种计算机设备,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的图像识别结果过滤方法。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的图像识别结果过滤方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,第一识别结果组中包含至少两个识别结果中任意两个识别结果;根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,第一识别区域组包含第一识别结果组中包含的两个识别区域;当IOU小于第一阈值时,获取第一识别区域组之间的位置关系;根据位置关系,对第一识别结果组进行过滤,目标识别结果中包括至少两个识别结果中包含第一识别区域组的识别结果。本申请通过根据第一识别区域组之间的位置关系,对第一组识别结进行过滤,可以过滤掉通过第一识别区域组的IOU不能过滤掉的识别结果,避免显示多余的识别结果,提高了对识别结果过滤的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例提供的一种智能识别的场景示意图;
图2是本申请一示例性实施例涉及的一种终端进行智能识别的界面示意图;
图3是本申请一示例性实施例涉及的一种终端进行智能识别的界面示意图;
图4是本申请一示例性实施例提供的一种图像识别结果过滤方法的方法流程图;
图5是本申请一示例性实施例提供的一种图像识别结果过滤方法的方法流程图;
图6是本申请实施例涉及的一种第一识别区域组的示意图;
图7至图9是本申请实施例涉及一种识别区域的位置关系示意图;
图10是本申请实施例涉及的一种终端识别目标图像的界面示意图;
图11是本申请实施例提供的一种图像识别结果过滤方法的方法流程图;
图12是本申请一示例性实施例提供的图像识别结果过滤装置的结构框图;
图13是本申请一个示例性实施例提供的终端的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请提供的方案,可以用于人们在日常生活中使用终端时,终端中的应用程序需要使用某一功能的网络模型的显示场景中,为了便于理解,下面首先对本申请实施例涉及的一些名词以及应用场景进行简单介绍。
IOU:是指两个区域之间重合的区域面积与两个区域面积总和之间的比值。
在目前动态识别过程中,常用IOU来判断识别的两个物体是否冲突或者为同一个物体。请参考公式1:
IOU=X/Y; 【1】
在公式1中,X表示两个区域之间重合的区域面积,Y表示两个区域的总和。由公式1可知,IOU的值为0至1之间的数值,其中,IOU的值越大,表示这两个区域的重合度越高,IOU的值越小,表示这两个区域的重合度越低。
实际应用中,可以设定固定阈值来认定上述两个区域中识别的两个物体是否是冲突的,比如,该固定值是0.8,如果计算得到的IOU的值大于该数值,则识别的两个物体是冲突的。
随着科技的发展,如今进行智能识别的场景越来越多,许多终端也已经为了适应自身在智能识别场景中的应用,终端中也已经具有了智能识别功能,用户可以通过开启终端中的智能识别功能,从而在各种场景下进行智能识别。
请参考图1,其示出了本申请一示例性实施例提供的一种智能识别的场景示意图。如图1所示,其中包含了终端110,物品120。
可选的,终端110是具有智能识别功能的终端。比如,该终端可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、笔记本电脑、膝上型便携计算机等等。
其中,用户可以启动终端110中的智能识别功能,通过终端110的摄像头采集包含物品120的图像,从而实现终端对物品120的智能识别。比如,请参考图2,其示出了本申请一示例性实施例涉及的一种终端进行智能识别的界面示意图。如图2所示,在终端界面200中包含了第一识别区域201,第二识别区域202,第一识别物品203,第二识别物品204。终端可以显示图2所示的界面,从而对用户显示实际场景中的物品信息。
在一种可能实现的方式中,终端在识别过程中,可能对同一个物品按照不同的识别区域识别了多次。请参考图3,其示出了本申请一示例性实施例涉及的一种终端进行智能识别的界面示意图。如图3所示,在终端界面300中包含了第一识别区域301,第二识别区域302,第一识别物品303。其中,终端按照第一识别区域301识别出了第一识别物品303,按照第二识别区域302也识别出了第一识别物品303,为了不对用户显示相同的识别结果,终端可以计算第一识别区域301和第二识别区域302之间的IOU,通过该IOU对此次识别的识别结果进行筛选或者过滤,得到一个识别结果。
比如,终端中可以提前设定一个IOU阈值,终端可以将计算的第一识别区域和第二识别区域之间的IOU与该IOU阈值进行比较,如果第一识别区域和第二识别区域之间的IOU大于该IOU阈值,说明第一识别区域和第二识别区域之间的重合度较高,终端选择其中一个识别区域对应的识别结果进行显示,如果第一识别区域和第二识别区域之间的IOU不大于该IOU阈值,说明第一识别区域和第二识别区域之间的重合度较低,终端可以将这两个识别区域各自对应的识别结果都进行显示。
其中,对于上述图3所示的场景中,如果终端可以计算第一识别区域301和第二识别区域302之间的IOU不大于该IOU阈值,终端可以将这两个识别区域各自对应的识别结果都进行显示时,会在终端界面中显示出两个对同一识别物品的识别结果,造成对用户的干扰,使得按照该IOU阈值进行过滤的方法的准确性不够高,应用场景有局限性。
为了提高终端中对识别结果过滤的准确性,扩展终端智能识别的应用场景,本申请提供了一种解决方案,可以实现在计算得到的IOU不大于该IOU阈值时,对同一识别物品的识别结果过滤。请参考图4,其示出了本申请一示例性实施例提供的一种图像识别结果过滤方法的方法流程图。该方法可以应用于上述图1所示的智能识别场景中,由具有智能识别功能的终端执行。如图4所示,该图像识别结果过滤方法可以包括以下几个步骤:
步骤401,当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,第一识别结果组中包含至少两个识别结果中任意两个识别结果。
其中,目标图像是终端开启智能识别功能时,在终端的显示屏中展示的正在进行智能识别的图像。比如,终端在开启智能识别功能时,终端可以在显示屏中展示采集的图像,当终端对当前显示屏中的某一帧图像进行智能识别时,该帧的图像便可以是目标图像。识别结果可以指示该终端通过智能识别功能,对目标图像智能识别后,识别出该目标图像中包含的各个物品。
步骤402,根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,第一识别区域组包含第一识别结果组中包含的两个识别区域。
其中,识别结果中可以包含终端在识别过程中,对目标图像进行区域划分之后各个区域的像素坐标。即,终端的识别结果中可以包含自身在识别过程中该识别结果是对目标图像中的哪个区域进行识别的信息。比如,对目标图像中的第一区域识别得到第一识别结果,对目标图像中的第二区域识别得到第二识别结果,终端可以将第一区域和第二区域作为识别结果的信息之一,终端根据识别结果中的识别区域,计算识别区域之间的IOU。
步骤403,当IOU小于第一阈值时,获取第一识别区域组之间的位置关系。
其中,第一阈值可以是预先设置在终端中的。当计算得到的IOU小于第一阈值时,终端可以获取第一识别区域组中的两个识别区域之间的位置关系。可选的,该位置关系可以是包含关系或者非包含关系。
步骤404,根据位置关系,对第一识别结果组进行过滤。
其中,该过滤可以是指从第一识别结果组中包含的识别结果中选择终端待返回或者待显示的识别结果。比如,第一识别结果组中有两个识别结果,对第一识别结果组进行过滤后,第一识别结果组中可能有两个识别结果中的任意一个识别结果,也可能两个识别结果都有。
综上所述,当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,第一识别结果组中包含至少两个识别结果中任意两个识别结果;根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,第一识别区域组包含第一识别结果组中包含的两个识别区域;当IOU小于第一阈值时,获取第一识别区域组之间的位置关系;根据位置关系,对第一识别结果组进行过滤,目标识别结果中包括至少两个识别结果中包含第一识别区域组的识别结果。本申请通过根据第一识别区域组之间的位置关系,对第一组识别结进行过滤,可以过滤掉通过第一识别区域组的IOU不能过滤掉的识别结果,避免显示多余的识别结果,提高了对识别结果过滤的准确性。
在一种可能实现的方式中,当上述终端对目标图像进行智能识别后,得到至少两个识别结果时,终端还可以对至少两个识别结果进行分组,对每组识别结果进行过滤。以分组结果中每组的识别结果是不完全相同的任意两个识别结果为例,对上述图4所示的方案进行介绍。
请参考图5,其示出了本申请一示例性实施例提供的一种图像识别结果过滤方法的方法流程图。该方法可以应用于上述图1所示的智能识别场景中,由具有智能识别功能的终端执行。如图5所示,该图像识别结果过滤方法可以包括以下几个步骤:
步骤501,对至少两个识别结果进行分组,获得各组识别结果,各组识别结果各自包含不同的两个识别结果的组合。
其中,对于终端在识别目标图像的过程中,终端可以获取到多个识别结果,比如,在一个目标图像中,包含有桌子、鼠标、鼠标垫和键盘等多个物品,终端在识别该目标图像时,可以得到多个(4个)识别结果。例如,该多个识别结果可以是对“桌子”、“鼠标”、“鼠标垫”和“键盘”等的描述信息。其中,以桌子为例,该识别结果可以包含识别物品“桌子”,识别区域“像素坐标(a,b),像素坐标(c,d),像素坐标(e,f),像素坐标(g,h)”,识别准确度“70%”等。
可选的,终端中在得到多个识别结果时,可以对该多个识别结果生成唯一的ID(Identity document,身份标识),建立识别结果与ID之间的对应关系。在本步骤中,对至少两个识别结果进行分组时,可以按照各个识别结果各自的ID进行分组,比如,对“桌子”、“鼠标”、“鼠标垫”和“键盘”的识别结果的ID分别为:0001,0002,0003,0004。终端可以按照各个ID对各个识别结果进行分组,保证每组识别结果中包含不同的两个识别结果的组合。需要说明的是,本申请实施例中所指提到的不同的两个识别结果的组合,可以是每组识别结果中包含的两个识别结果均不相同,或者不完全相同。
比如,终端可以按照各个ID对各个识别结果进行分组,在保证每组识别结果中包含不完全相同的任意两个识别结果的情况下,终端可以将上述4个识别结果进行分组后,得到所有的分组情况如下:(0001,0002),(0001,0003),(0001,0004),(0002,0003),(0002,0004),(0003,0004)。
步骤502,从各组识别结果中获取第一识别结果组,第一识别结果组是各组识别结果中的任意一组识别结果。
终端可以从上述分组后的各组识别结果中,选择任意一组识别结果作为本步骤中的第一识别结果。例如,选择(0001,0002)作为第一识别结果组。
在一种可能实现的方式中,终端可以不执行上述步骤501,终端可以直接将至少两个识别结果中的任意两个作为第一识别结果组,也可以达到获取到包含不完全相同的任意两个识别结果的目的。比如,终端可以按照预设算法,对至少两个识别结果进行获取,从而在每次获取到的第一识别结果组之前获取到的第一识别结果组中包含的两个识别结果不完全相同。
步骤503,根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,第一识别区域组包含第一识别结果组中包含的两个识别区域。
终端在获取到第一识别结果组之后,可以从第一识别结果组中的两个识别结果分别到的两个识别结果各自包含的识别区域,并根据获取到的两个识别区域计算两个识别区域之间的IOU。比如,请参考图6,其示出了本申请实施例涉及的一种第一识别区域组的示意图。如图6所示,其中包含了识别区域一601,识别区域二602,重合区域A1。其中,识别区域一是由“像素坐标(a1,b1),像素坐标(c1,d1),像素坐标(e1,f1),像素坐标(g1,h1)”围成的区域,识别区域二是由“像素坐标(a2,b2),像素坐标(c2,d2),像素坐标(e2,f2),像素坐标(g2,h2)”围成的区域。
如果上述第一识别结果组中的两个识别结果各自的识别区域是图6所示的识别区域一和识别区域二时,各自的终端可以计算两个识别结果各自的识别区域之间的重合区域的面积为图6中的A1区域的面积,终端也可以计算识别区域一和识别区域二的面积之和,从而按照上述公式【1】得到第一识别区域组的IOU。
步骤504,确定第一识别区域组的IOU与第一阈值之间的大小关系。
其中,该第一阈值可以由运维人员或者开发人员预先在终端中设置。终端得到上述第一识别区域组的IOU之后,与预先设置的第一阈值进行比较,当IOU小于第一阈值时,执行步骤505,当IOU不小于第一阈值时,执行步骤506。
步骤505,当IOU小于第一阈值时,获取第一识别区域组之间的位置关系。
当计算得到的第一识别区域组的IOU小于第一阈值时,终端接着获取第一识别区域组之间的位置关系,该位置关系可以是包含关系或者非包含关系。可选的,如果第一识别区域组中的两个识别区域,有一个识别区域完全在另一个识别区域内时,终端可以获取到这两个识别区域之间的位置关系为包含关系。如果第一识别区域组中的两个识别区域,其中一个识别区域与另一个识别区域有重合或者完全不重合,终端可以获取到这两个识别区域之间的位置关系为非包含关系。
请参考图7至图9,其示出了本申请实施例涉及一种识别区域的位置关系示意图。如图7所示,其中包含了识别区域一701,识别区域二702,在图7中,识别区域一701与识别区域二702之间是包含关系,其中,识别区域一701包含识别区域二702。如图8所示,其中包含了识别区域一801,识别区域二802,在图8中,识别区域一801与识别区域二802之间是非包含关系,如图9所示,其中包含了识别区域一901,识别区域二902,在图9中,识别区域一901与识别区域二902之间是非包含关系。
可选的,第一识别区域组之间的位置关系,终端可以根据第一识别区域组得到。比如,以第一识别区域组的两个识别区域是上述图6所示的两个识别区域,终端可以判断组成识别区域一的像素坐标是否包含在组成识别区域二的像素坐标的内部,或者,终端也可以判断组成识别区域二的像素坐标是否包含在组成识别区域一的像素坐标的内部,当终端判断组成识别区域一的像素坐标全部包含在组成识别区域二的像素坐标的内部时,可以确定该识别区域一与识别区域二是包含关系,否则,确定该识别区域一与识别区域二是非包含关系。
可选的,当位置关系为非包含关系时,将第一组识别结果作为对第一组识别结果进行过滤后的结果。即,当第一位置关系为非包含关系时,终端可以没有过滤掉第一识别结果组中的任何一个识别结果,说明通过此次过滤,终端可能将这两个识别结果都需要返回。即,终端可以将第一识别结果组作为对第一识别结果组进行过滤后的结果。
可选的,当位置关系为包含关系时,执行根据目标识别准确度,对第一识别结果组进行过滤的步骤。即,终端需要从第一识别结果组中确定一个识别结果作为终端可能需要显示的识别结果,将另一个识别结果过滤掉。可选的,终端也可以进入步骤506,对第一识别结果组进行过滤。
步骤506,当IOU不小于第一阈值时,根据目标识别准确度,对第一识别结果组进行过滤,目标识别准确度是第一识别结果组中包含的各个识别准确度。
其中,终端可以从第一识别结果组中获取其包含的两个识别结果各自的识别精确度,判断两个识别结果各自的识别精确度的大小,将其中识别精确度大的一个识别结果,作为对第一识别结果组进行过滤后的结果,即,将其中识别精确度小的一个识别结果过滤掉。
比如,第一识别结果组中包含的识别结果一和识别结果二各自的识别精确度分别为70%和60%,如果终端对第一识别结果组执行到本步骤中时,终端可以判断识别结果一和识别结果二各自的识别精确度的大小,得知识别结果一的识别精确度大于识别结果二的识别精确度,此时,终端可以从第一识别结果组中将识别结果二滤除,将识别结果一作为对第一识别结果组进行过滤后的结果。
步骤507,记录对每一组识别结果进行过滤后得到的过滤结果。
即,终端可以记录上述对每一组识别结果的过滤结果暂时进行记录,则终端中可以得到自身对每一组识别结果进行过滤后的结果。比如,按照上述(0001,0002),(0001,0003),(0001,0004),(0002,0003),(0002,0004),(0003,0004)的分组情况,则终端中可能记录有对每一组识别结果进行过滤后的结果:(0001,0002),(0003),(0001,0004),(0002,0003),(0002),(0003,0004)。其中每一组识别结果进行过滤后的结果都可以表示终端中可能显示该结果中包含ID对应的识别结果。
步骤508,获取识别结果集合,识别结果集合是从至少两个识别结果中去除已滤除识别结果后,剩余的识别结果组成的集合,已滤除识别结果是对每一组识别结果进行过滤后得到的过滤结果中滤除的识别结果。
终端可以根据记录的对每一组识别结果进行过滤后的结果,获取识别结果集合。比如,以终端中记录有对每一组识别结果进行过滤后的结果是:(0001,0002),(0003),(0001,0004),(0002,0003),(0002),(0003,0004)为例,上述至少两个识别结果相当于是0001,0002,0003,0004分别对应的识别结果,从记录的对每一组识别结果进行过滤后的结果中可以得知,在(0001,0003)组识别结果进行过滤后的结果中,将0001滤除掉了,在(0002,0004)组识别结果进行过滤后的结果中,将0004滤除掉了,因此,终端可以得到已滤除识别结果分别是0001和0004,那么,终端可以从0001,0002,0003,0004中去除0001和0004,将0002和0003获取为识别结果集合。
步骤509,在目标图像中显示识别结果集合中包含的识别结果。
请参考图10,其示出了本申请实施例涉及的一种终端识别目标图像的界面示意图。如图10所示,在终端界面1000中包含了显示的识别结果1001,该识别结果1001可以是通过上述各个步骤得到的识别结果集合中包含的识别结果,可选的,该识别结果1001中可以包含终端识别的物品的名称、识别结果ID以及准确度。可选的,在图10中还显示有识别区域的图标1002,从而提示用户该识别结果是对应哪一个识别区域的。
综上所述,当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,第一识别结果组中包含至少两个识别结果中任意两个识别结果;根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,第一识别区域组包含第一识别结果组中包含的两个识别区域;当IOU小于第一阈值时,获取第一识别区域组之间的位置关系;根据位置关系,对第一识别结果组进行过滤,目标识别结果中包括至少两个识别结果中包含第一识别区域组的识别结果。本申请通过根据第一识别区域组之间的位置关系,对第一组识别结进行过滤,可以过滤掉通过第一识别区域组的IOU不能过滤掉的识别结果,避免显示多余的识别结果,提高了对识别结果过滤的准确性。
以上述终端为手机,该手机对某一目标图像进行识别时生成了两个识别结果为例,对上述图4和图5所示的方法实施例进行举例介绍。请参考图11,其示出了本申请实施例提供的一种图像识别结果过滤方法的方法流程图。如图11所示,该图像识别结果过滤方法可以包括以下几个步骤:
步骤1101,获取两个识别结果。
手机对某一目标图像进行识别时生成了两个识别结果,这两个识别结果各自包含识别的物品、识别区域、准确度等信息。
步骤1102,根据两个识别结果中的识别区域,计算这两个识别结果的IOU。
步骤1103,判断IOU是否小于预设阈值。
如果IOU小于预设阈值,则执行步骤1104,如果IOU不小于预设阈值,则执行步骤1106。
步骤1104,判断两个识别结果中的识别区域是否是包含关系。
若两个识别结果中的识别区域不是包含关系,则执行步骤1105,若两个识别结果中的识别区域是包含关系,则执行步骤1106。
步骤1105,显示两个识别结果。
步骤1106,确定两个识别结果中的准确度高的一个识别结果。
步骤1107,显示两个识别结果中的准确度高的一个识别结果。
综上所述,本申请通过手机判断两个识别结果中的识别区域是否是包含关系,可以对两个识别结果按照位置关系进行过滤,可以过滤掉通过IOU不能过滤掉的识别结果,避免在手机中显示多余的识别结果,提高了手机对识别结果过滤的准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图12,其示出了本申请一示例性实施例提供的图像识别结果过滤装置的结构框图。该图像识别结果过滤装置1200可以用于终端中,以执行图4、图5或者图11所示实施例提供的方法中由终端执行的全部或者部分步骤。该图像识别结果过滤装置1200可以包括:第一识别结果组获取模块1201,重叠度计算模块1202,位置关系获取模块1203以及第一识别结果过滤模块1204。
所述第一识别结果组获取模块1201,用于当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,所述第一识别结果组中包含所述至少两个识别结果中任意两个识别结果;
所述重叠度计算模块1202,用于根据所述第一识别结果组中的第一识别区域组,计算所述第一识别区域组的重叠度IOU,所述第一识别区域组包含所述第一识别结果组中包含的两个识别区域;
所述位置关系获取模块1203,用于当所述IOU小于第一阈值时,获取第一识别区域组之间的位置关系;
所述第一识别结果过滤模块1204,用于根据所述位置关系,对所述第一识别结果组进行过滤。
综上所述,当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,第一识别结果组中包含至少两个识别结果中任意两个识别结果;根据第一识别结果组中的第一识别区域组,计算第一识别区域组的重叠度IOU,第一识别区域组包含第一识别结果组中包含的两个识别区域;当IOU小于第一阈值时,获取第一识别区域组之间的位置关系;根据位置关系,对第一识别结果组进行过滤,目标识别结果中包括至少两个识别结果中包含第一识别区域组的识别结果。本申请通过根据第一识别区域组之间的位置关系,对第一组识别结进行过滤,可以过滤掉通过第一识别区域组的IOU不能过滤掉的识别结果,避免显示多余的识别结果,提高了对识别结果过滤的准确性。
可选的,所述至少两个识别结果中还包含各自的识别准确度,所述装置还包括:
第二识别结果过滤模块,用于当所述IOU不小于第一阈值时,根据目标识别准确度,对所述第一识别结果组进行过滤,所述目标识别准确度是所述第一识别结果组中包含的各个识别准确度。
可选的,所述第一识别结果过滤模块1204,包括:第一执行单元;
所述第一执行单元,用于当所述位置关系为包含关系时,执行所述根据目标识别准确度,对所述第一识别结果组进行过滤的步骤。
可选的,所述第一识别结果过滤模块1204,还用于当所述位置关系为非包含关系时,将所述第一识别结果组作为对所述第一识别结果组进行过滤后的结果。
可选的,所述第二识别结果过滤模块,包括:识别准确度获取单元,识别结果确定单元和第二识别结果获取单元;
所述识别准确度获取单元,用于获取所述目标识别准确度中的第一识别准确度,所述第一识别准确度是所述目标识别准确度中识别准确度数值最大的识别准确度;
所述识别结果确定单元,用于确定第一识别结果,所述第一识别结果是所述目标识别结果中包含所述第一识别准确度的识别结果;
所述第二识别结果获取单元,用于将所述第一识别结果作为对所述第一识别结果组进行过滤后的结果。
可选的,所述第一识别结果组获取模块1201包括:识别结果分组单元和第三识别结果获取单元;
所述识别结果分组单元,用于对所述至少两个识别结果进行分组,获得各组识别结果,所述各组识别结果各自包含不同的两个识别结果的组合;
所述第三识别结果获取单元,用于从所述各组识别结果中获取所述第一识别结果组,所述第一识别结果组是所述各组识别结果中的任意一组识别结果。
可选的,所述装置还包括:
结果记录模块,用于记录对所述每一组识别结果进行过滤后得到的过滤结果;
结果集合获取模块,用于获取识别结果集合,所述识别结果集合是从所述至少两个识别结果中去除已滤除识别结果后,剩余的识别结果组成的集合,所述已滤除识别结果是所述对每一组识别结果进行过滤后得到的过滤结果中滤除的识别结果;
识别结果显示模块,用于在所述目标图像中显示所述识别结果集合中包含的识别结果。
请参考图13,其示出了本申请一个示例性实施例提供的终端的结构示意图,如图13所示,该终端包括处理器1310、存储器1320、显示组件1330和传感器组件1340,显示组件1330用于显示终端中前台运行的程序的界面,传感器组件1340用于采集各个传感器数据。所述存储器1320中存储有至少一条指令,所述指令由所述处理器1310加载并执行以实现如上各个实施例所述的图像识别结果过滤方法中,由终端执行的部分或者全部步骤。
本申请实施例还提供了一种计算机可读介质,该计算机可读介质存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像识别结果过滤方法中,由终端执行的全部或部分步骤。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像识别结果过滤方法中,由终端执行的全部或部分步骤。
需要说明的是:上述实施例提供的图像识别结果过滤装置在执行上述图像识别结果过滤方法时,仅以上述各实施例进行举例说明,实际程序中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请可选的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像识别结果过滤方法,其特征在于,所述方法包括:
当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,所述第一识别结果组中包含所述至少两个识别结果中任意两个识别结果;
根据所述第一识别结果组中的第一识别区域组,计算所述第一识别区域组的重叠度IOU,所述第一识别区域组包含所述第一识别结果组中包含的两个识别区域;
当所述IOU小于第一阈值时,获取第一识别区域组之间的位置关系;
根据所述位置关系,对所述第一识别结果组进行过滤。
2.根据权利要求1所述的方法,其特征在于,所述至少两个识别结果中还包含各自的识别准确度,所述方法还包括:
当所述IOU不小于第一阈值时,根据目标识别准确度,对所述第一识别结果组进行过滤,所述目标识别准确度是所述第一识别结果组中包含的各个识别准确度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述位置关系,对所述第一识别结果组进行过滤,包括:
当所述位置关系为包含关系时,执行所述根据目标识别准确度,对所述第一识别结果组进行过滤的步骤。
4.根据权利要求2所述的方法,其特征在于,所述根据所述位置关系,对目标识别结果进行过滤,包括:
当所述位置关系为非包含关系时,将所述第一识别结果组作为对所述第一识别结果组进行过滤后的结果。
5.根据权利要求2所述的方法,其特征在于,所述根据所述目标识别准确度,对所述第一识别结果组进行过滤,包括:
获取所述目标识别准确度中的第一识别准确度,所述第一识别准确度是所述目标识别准确度中识别准确度数值最大的识别准确度;
确定第一识别结果,所述第一识别结果是所述目标识别结果中包含所述第一识别准确度的识别结果;
将所述第一识别结果作为对所述第一识别结果组进行过滤后的结果。
6.根据权利要求1至5任一所述的方法,其特征在于,所述当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,包括:
对所述至少两个识别结果进行分组,获得各组识别结果,所述各组识别结果各自包含不同的两个识别结果的组合;
从所述各组识别结果中获取所述第一识别结果组,所述第一识别结果组是所述各组识别结果中的任意一组识别结果。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
记录对每一组识别结果进行过滤后得到的过滤结果;
获取识别结果集合,所述识别结果集合是从所述至少两个识别结果中去除已滤除识别结果后,剩余的识别结果组成的集合,所述已滤除识别结果是所述对每一组识别结果进行过滤后得到的过滤结果中滤除的识别结果;
在所述目标图像中显示所述识别结果集合中包含的识别结果。
8.一种图像识别结果过滤装置,其特征在于,所述装置包括:
第一识别结果组获取模块,用于当针对目标图像识别出至少两个识别结果时,获取第一识别结果组,所述第一识别结果组中包含所述至少两个识别结果中任意两个识别结果;
重叠度计算模块,用于根据所述第一识别结果组中的第一识别区域组,计算所述第一识别区域组的重叠度IOU,所述第一识别区域组包含所述第一识别结果组中包含的两个识别区域;
位置关系获取模块,用于当所述IOU小于第一阈值时,获取第一识别区域组之间的位置关系;
第一识别结果过滤模块,用于根据所述位置关系,对所述第一识别结果组进行过滤。
9.一种计算机设备,其特征在于,所述计算机设备包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的图像识别结果过滤方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的图像识别结果过滤方法。
CN201910891440.3A 2019-09-20 2019-09-20 图像识别结果过滤方法、装置、计算机设备及存储介质 Active CN110647841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910891440.3A CN110647841B (zh) 2019-09-20 2019-09-20 图像识别结果过滤方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910891440.3A CN110647841B (zh) 2019-09-20 2019-09-20 图像识别结果过滤方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110647841A true CN110647841A (zh) 2020-01-03
CN110647841B CN110647841B (zh) 2022-06-28

Family

ID=68992208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910891440.3A Active CN110647841B (zh) 2019-09-20 2019-09-20 图像识别结果过滤方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110647841B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801200A (zh) * 2021-02-07 2021-05-14 文远鄂行(湖北)出行科技有限公司 一种数据包筛选方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
CN103714316A (zh) * 2013-12-10 2014-04-09 小米科技有限责任公司 图像识别方法、装置及电子设备
CN106897694A (zh) * 2017-02-24 2017-06-27 西安天和防务技术股份有限公司 用于国土资源监控的违建场景识别方法
CN107844794A (zh) * 2016-09-21 2018-03-27 北京旷视科技有限公司 图像识别方法和装置
US10032072B1 (en) * 2016-06-21 2018-07-24 A9.Com, Inc. Text recognition and localization with deep learning
CN108416776A (zh) * 2018-03-16 2018-08-17 京东方科技集团股份有限公司 图像识别方法、图像识别装置、计算机产品和可读存储介质
CN109635755A (zh) * 2018-12-17 2019-04-16 苏州市科远软件技术开发有限公司 人脸提取方法、装置及存储介质
CN109726661A (zh) * 2018-12-21 2019-05-07 网易有道信息技术(北京)有限公司 图像处理方法及装置、介质和计算设备
CN109800684A (zh) * 2018-12-29 2019-05-24 上海依图网络科技有限公司 一种视频中对象的确定方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
CN103714316A (zh) * 2013-12-10 2014-04-09 小米科技有限责任公司 图像识别方法、装置及电子设备
US10032072B1 (en) * 2016-06-21 2018-07-24 A9.Com, Inc. Text recognition and localization with deep learning
CN107844794A (zh) * 2016-09-21 2018-03-27 北京旷视科技有限公司 图像识别方法和装置
CN106897694A (zh) * 2017-02-24 2017-06-27 西安天和防务技术股份有限公司 用于国土资源监控的违建场景识别方法
CN108416776A (zh) * 2018-03-16 2018-08-17 京东方科技集团股份有限公司 图像识别方法、图像识别装置、计算机产品和可读存储介质
CN109635755A (zh) * 2018-12-17 2019-04-16 苏州市科远软件技术开发有限公司 人脸提取方法、装置及存储介质
CN109726661A (zh) * 2018-12-21 2019-05-07 网易有道信息技术(北京)有限公司 图像处理方法及装置、介质和计算设备
CN109800684A (zh) * 2018-12-29 2019-05-24 上海依图网络科技有限公司 一种视频中对象的确定方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801200A (zh) * 2021-02-07 2021-05-14 文远鄂行(湖北)出行科技有限公司 一种数据包筛选方法、装置、设备和存储介质
CN112801200B (zh) * 2021-02-07 2024-02-20 文远鄂行(湖北)出行科技有限公司 一种数据包筛选方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN110647841B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
US20210342614A1 (en) Fingerprint inputting method and related device
CN111046235B (zh) 基于人脸识别的声像档案搜索方法、系统、设备及介质
CN104349045B (zh) 一种图像采集方法及电子设备
CN105894464B (zh) 一种中值滤波图像处理方法和装置
CN109190539A (zh) 人脸识别方法及装置
CN108345483A (zh) 一种通知消息的提示方法、终端及计算机可读存储介质
EP3480790B1 (en) Method and apparatus for continuously displaying images on basis of similarity of images
CN112288883B (zh) 作业指导信息的提示方法、装置、电子设备及存储介质
CN105095853A (zh) 图像处理装置及图像处理方法
CN110647841B (zh) 图像识别结果过滤方法、装置、计算机设备及存储介质
JPWO2016006090A1 (ja) 電子機器、方法及びプログラム
EP3293605A1 (en) Widget displaying method and apparatus for use in flexible display device, computer program and recording medium
Yagi et al. GO-finder: a registration-free wearable system for assisting users in finding lost objects via hand-held object discovery
US9600495B2 (en) Image search system, image search method, image search device, program, and information recording medium
CN112464827B (zh) 口罩佩戴识别方法、装置、设备及存储介质
CN106201551A (zh) 一种应用程序退出方法及装置
CN107357424B (zh) 一种手势操作的识别方法、设备及计算机可读存储介质
CN109062676A (zh) 应用排列方法、装置、可读存储介质及移动终端
CN108595332A (zh) 软件测试方法及装置
CN109635688B (zh) 基于图像识别管理书架上书籍的方法与系统
CN114255494A (zh) 图像处理方法、装置、设备及存储介质
CN107193956A (zh) 页面处理方法及装置
CN109033797B (zh) 一种权限设置方法及装置
CN109063561B (zh) 公式的识别计算方法和装置
CN112183284B (zh) 一种安全信息验证、代驾接单控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant