CN111723615B - 对检测物图像进行检测物匹配判定的方法和装置 - Google Patents
对检测物图像进行检测物匹配判定的方法和装置 Download PDFInfo
- Publication number
- CN111723615B CN111723615B CN201910214561.4A CN201910214561A CN111723615B CN 111723615 B CN111723615 B CN 111723615B CN 201910214561 A CN201910214561 A CN 201910214561A CN 111723615 B CN111723615 B CN 111723615B
- Authority
- CN
- China
- Prior art keywords
- object image
- detection object
- similarity
- time difference
- probability value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本公开提供了一种对检测物图像进行检测物匹配判定的方法,属于图像比对技术领域。所述方法包括:获取待比对的第一检测物图像和第二检测物图像;获取拍摄第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;根据第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及第一检测物图像与第二检测物图像的相似度和拍摄时间差,确定第一检测物图像与第二检测物图像的修正相似度;基于修正相似度,对第一检测物图像和第二检测物图像,进行检测物匹配判定。采用本公开,可以提高检测物匹配判定的准确性。
Description
技术领域
本公开涉及图像比对技术领域,特别涉及一种对检测物图像进行检测物匹配判定的方法和装置。
背景技术
在智能视频监控、智能安保等技术领域中都会应用到图像比对技术。
相关技术中,通常通过两个检测物图像之间的相似度进行比对,例如,终端可以通过机器学习训练的模型,来确定两个检测物图像之间的相似度,再根据相似度判断两个检测物图像是否属于同一检测物。
在实现本公开的过程中,发明人发现相关技术至少存在以下问题:
通过相似度来对检测物图像进行检测物匹配判定时,对待比对的两个检测物图像的图像质量要求较高,而图像采集设备(如监控摄像头等)抓拍的图像的质量通常比较差,进而导致对检测物图像进行检测物匹配判定的准确性较低。
发明内容
本公开实施例提供了一种对检测物图像进行检测物匹配判定的方法和装置,以解决相关技术的问题。所述技术方案如下:
根据本公开实施例提供一种对检测物图像进行检测物匹配判定的方法,所述方法包括:
获取待比对的第一检测物图像和第二检测物图像;
获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;
根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;
基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。
可选的,所述方法还包括:
根据预先训练的特征提取模型,确定所述第一检测物图像与所述第二检测物图像的相似度,以及所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度;
所述根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度;
根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度,包括:
根据公式S=(1-Ep-En)×S0+En,确定所述第一检测物图像与所述第二检测物图像的中间相似度,其中,S为中间相似度、En为假负率、Ep为假正率、S0为相似度。
可选的,所述根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定以所述拍摄时间差为中值的时间差范围;
确定第一概率值,其中,所述第一概率值是所述第一检测物图像集合与所述第二检测物图像集合之间检测物图像的相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的概率值;
确定第二概率值,其中,所述第二概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的相似度小于相似度阈值,且拍摄时间差位于所述时间差范围内的概率值;
确定第三概率值,其中,所述第三概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的拍摄时间差位于所述时间差范围内的概率值;
根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据公式确定所述第一检测物图像与所述第二检测物图像的修正相似度,其中,S’为修正相似度、S为中间相似度、En为假负率、Ep为假正率、P1为第一概率值、P2为第二概率值、P3为第三概率值。
可选的,所述方法还包括:
确定数量M、数量N、数量a、数量b和数量c;
所述确定第一概率值,包括:
根据公式确定第一概率值P1;
所述确定第二概率值,包括:
根据公式确定第二概率值P2;
所述确定第三概率值,包括:
根据公式确定第三概率值P3;
其中,所述数量M是所述第一检测物图像集合中检测物图像的数量;所述数量N是所述第二检测物图像集合中检测物图像的数量;所述数量a是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量b是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量c是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中拍摄时间差位于所述时间差范围内的检测物图像对的数量。
根据本公开实施例还提供一种对检测物图像进行检测物匹配判定的装置,所述装置包括:
第一获取模块,用于获取待比对的第一检测物图像和第二检测物图像;
第二获取模块,用于获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;
第一确定模块,用于根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;
判定模块,用于基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。
可选的,所述装置还包括:
第二确定模块,用于根据预先训练的特征提取模型,确定所述第一检测物图像与所述第二检测物图像的相似度,以及所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度;
所述第一确定模块,具体用于根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述第一确定模块包括:
第一确定单元,用于根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度;
第二确定单元,用于根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述第一确定单元,用于根据公式S=(1-Ep-En)×S0+En,确定所述第一检测物图像与所述第二检测物图像的中间相似度,其中,S为中间相似度、En为假负率、Ep为假正率、S0为相似度。
可选的,所述第二确定单元,包括:
第一确定子单元,用于根据所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定以所述拍摄时间差为中值的时间差范围;
第二确定子单元,用于确定第一概率值,其中,所述第一概率值是所述第一检测物图像集合与所述第二检测物图像集合之间检测物图像的相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的概率值;
第三确定子单元,用于确定第二概率值,其中,所述第二概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的相似度小于相似度阈值,且拍摄时间差位于所述时间差范围内的概率值;
第四确定子单元,用于确定第三概率值,其中,所述第三概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的拍摄时间差位于所述时间差范围内的概率值;
第五确定子单元,用于根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述第五确定子单元,具体用于:
根据公式确定所述第一检测物图像与所述第二检测物图像的修正相似度,其中,S’为修正相似度、S为中间相似度、En为假负率、Ep为假正率、P1为第一概率值、P2为第二概率值、P3为第三概率值。
可选的,所述装置还包括:
第三确定模块,用于确定数量M、数量N、数量a、数量b和数量c;
所述第二确定子单元,具体用于根据公式确定第一概率值P1;
所述第三确定子单元,具体用于根据公式确定第二概率值P2;
所述第四确定子单元,具体用于根据公式确定第三概率值P3;
其中,所述数量M是所述第一检测物图像集合中检测物图像的数量;所述数量N是所述第二检测物图像集合中检测物图像的数量;所述数量a是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量b是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量c是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中拍摄时间差位于所述时间差范围内的检测物图像对的数量。
根据本公开实施例还提供一种计算机设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现上述所述的方法步骤。
根据本公开实施例还提供一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述的方法步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
本公开实施例中,对检测物图像进行检测物匹配判定的过程中,终端首先获取待比对的第一检测物图像和第二检测物图像;然后,获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;之后,根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;最后,基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。使用该方法比对第一检测物图像和第二检测物图像中,使用第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,对第一检测物图像和第二检测物图像的相似度进行修正,确定第一检测物图像与第二检测物图像的修正相似度,通过修正相似度比对第一检测物图像与第二检测物图像是否属于同一个检测物,显然可以提高检测物匹配判定的准确性。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实施例提供的对检测物图像进行检测物匹配判定的方法流程图;
图2是本实施例提供的对检测物图像进行检测物匹配判定的方法流程图;
图3是本实施例提供的对检测物图像进行检测物匹配判定的装置的示意图;
图4是本实施例提供的对检测物图像进行检测物匹配判定的装置的示意图;
图5是本实施例提供的对检测物图像进行检测物匹配判定的装置的示意图;
图6是本实施例提供的对检测物图像进行检测物匹配判定的装置的示意图;
图7是本实施例提供的对检测物图像进行检测物匹配判定的装置的示意图;
图8是本实施例提供的对检测物图像进行检测物匹配判定的装置的示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
本公开实施例提供了一种对检测物图像进行检测物匹配判定的方法,该方法的执行主体可以为终端也可以为服务器,本实施例可以以终端为执行主体进行示例,服务器来执行的过程与之类似便不再一一赘述。
其中,检测物图像可以是检测物的图像,检测物可以是人物、动物、车辆等多种对象,本实施例对此不做限定,终端可以先获取图像,然后再从该图像中提取检测物图像,一张图像中如果有多个检测物,那么终端可以从该图像中可以提取多个检测物图像。
该方法的应用场景可以是,在多个检测物图像中查找某一个或者某多个检测物图像,还可以是在多个检测物图像中进行两两比对以判断是否属于同一个检测物等,本实施例对具体的应用场景不做限定,无论是哪一种应用场景都会涉及到两个检测物图像进行匹配判定的过程,下文将详细介绍两个检测物图像进行匹配判定的方法。
如图1所示,该方法的处理流程可以如下:
在步骤101中,终端获取待比对的第一检测物图像和第二检测物图像。
在实施中,图像采集设备(如监控摄像头等)可以将采集的图像发送给后台具有图像处理功能的终端,终端获取到图像采集设备发送的图像之后,可以从图像中提取每个检测物对应的检测物图像。第一检测物图像和第二检测物图像可以是来自不同的图像采集设备采集到的两个图像,也可以来自同一个图像采集设备在不同时间采集到的两个图像。例如,终端从第一图像采集设备获取第一图像,并从第一图像中提取第一检测物图像;终端从第二图像采集设备获取第二图像,并从第二图像中提取第二检测物图像,进而,终端可以获取待比对的第一检测物图像和第二检测物图像。
其中,第一图像采集设备和第二图像采集设备可以是同一个设备也可以是不同的设备,是同一个设备的情况下,第一图像和第二图像的采集时间不相同。
在步骤102中,终端获取拍摄第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合。
其中,第一检测物图像集合和第二检测物图像集合都是包括多个检测物图像的集合,只不过第一检测物图像和第一检测物图像集合中的所有的检测物图像都是由第一图像采集设备所采集,第二检测物图像和第二检测物图像集合中的所有的检测物图像都是由第二图像采集设备所采集。
在实施中,获取第一检测物图像集合的拍摄时间段与获取第二检测物图像集合的拍摄时间段可以相同也可以不相同。例如,一种拍摄时间段相同的情况可以是,第一检测物图像和第二检测物图像是同一天拍摄的,第一检测物图像集合是,在待比对的第一检测物图像的拍摄时间所在的一天时间内,第一图像采集设备所采集的检测物图像组成的集合;第二检测物图像集合是,在待比对的第二检测物图像的拍摄时间所在的一天时间内,第二图像采集设备所采集的检测物图像组成的集合。又例如,另一种拍摄时间段不相同的情况可以是,第一检测物图像集合是,在以待比对的第一检测物图像的拍摄时间点为中值的拍摄时间段内,第一图像采集设备所采集的检测物图像组成的集合;第二检测物图像集合是,在以待比对的第二检测物图像的拍摄时间点为中值的拍摄时间段内,第二图像采集设备所采集的检测物图像组成的集合。
例如,第一检测物图像的拍摄时间是2019年2月21日上午十点,第二检测物图像的拍摄时间是2019年2月21日上午十一点,终端可以将第一图像采集设备在2019年2月21日零点至2019年2月21日24点之间拍摄的检测物图像归为第一检测物图像集合,将第二图像采集设备在2019年2月21日零点至2019年2月21日24点之间拍摄的检测物图像归为第二检测物图像集合。又例如,终端也可以将第一图像采集设备在2019年2月20日上午十点至2019年2月22日上午十点之间拍摄的检测物图像归为第一检测物图像集合,将第二图像采集设备在2019年2月20日上午十一点至2019年2月22日上午十一点之间采集的检测物图像归为第二检测物图像集合。
其中,本实施例对第一检测物图像集合中检测物图像所处的拍摄时间段与第二检测物图像集合中检测物图像所处的拍摄时间段是否相同不做具体限定,技术人员可以根据实际需要灵活选择。
这样,终端获取待比对的第一检测物图像和第二检测物图像之后,可以获取到采集第一检测物图像的第一图像采集设备和采集第二检测物图像的第二图像采集设备,然后,便可以获取第一图像采集设备拍摄的第一检测物图像集合和第二图像采集设备拍摄的第二检测物图像集合。
在步骤103中,终端根据第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及第一检测物图像与第二检测物图像的相似度和拍摄时间差,确定第一检测物图像与第二检测物图像的修正相似度。
在实施中,两个检测物图像的相似度的确定具有多种方式,其中一种方式可以是,通过机器学习的方式训练出的模型来确定相似度。例如,根据预先训练的特征提取模型,确定第一检测物图像与第二检测物图像的相似度,具体的,可以是,首先,分别将第一检测物图像与第二检测物图像输入预先训练的特征提取模型,得到第一检测物图像的第一检测物特征向量和第二检测物图像的第二检测物特征向量;然后,根据第一检测物特征向量和第二检测物特征向量,确定第一检测物图像与第二检测物图像之间的相似度。例如,第一检测物图像A的第一检测物特征向量记为第二检测物图像B的第二检测物特征向量记为/>第一检测物图像与第二检测物图像之间的相似度可以使用如下公式确定:
在应用中,如果仅仅根据S0(AB)与相似度阈值之间的关系,来判断两个检测物图像是否属于同一检测物,这种结果会受特征提取模型的准确性影响,一般情况下,匹配判断的准确性较低,尤其是对于拍摄质量较差的检测物图像。为了提高匹配判断的准确性,相应的,在第一检测物图像与第二检测物图像之间的相似度的基础上,可以使用第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度情况,对S0(AB)进行修正,得到第一检测物图像与第二检测物图像的修正相似度。
为了清楚地介绍本实施例中对S0(AB)进行修正的过程,需要先简单介绍一下使用距离对S0(AB)进行修正的原理:
终端使用第一检测物图像A与第二检测物图像B之间的相似度S0(AB)判断两者是否属于同一检测物之后,再使用第一检测物图像A与第二检测物图像B之间的距离和第一图像采集设备与第二图像采集设备之间的距离是否相近,来进一步判断第一检测物图像A与第二检测物图像B是否属于同一个检测物。其中,第一检测物图像A与第二检测物图像B之间的距离是第一检测物图像A对应的检测物当时所在的位置与第二检测物图像B对应的检测物当时所在的位置之间的距离。例如,如果第一检测物图像A与第二检测物图像B之间的相似度S0(AB)大于相似度阈值,且第一检测物图像A与第二检测物图像B之间的距离和第一图像采集设备与第二图像采集设备之间的距离之差在预设数值内(也即是比较接近),则终端可以判断出第一检测物图像A与第二检测物图像B属于同一个检测物。
其中,第一图像采集设备与第二图像采集设备之间的距离可以通过获取第一图像采集设备与第二图像采集设备的位置而确定。第一检测物图像A与第二检测物图像B之间的距离可以通过第一检测物图像A与第二检测物图像B的拍摄时间差、检测物的移动速度来确定。这样,直接使用距离来修正相似度时,终端一方面需要获取图像采集设备的具体位置信息,另一方面还需要预估检测物的移动速度,那么这样一方面引入预估数据,得到的结果就不太准确,另一方面需要知道图像采集设备所在的位置也比较麻烦,所以使用距离对相似度S0(AB)进行修正的方法的准确性可能依然比较低。
为解决上述问题,相应的,由于同一类型的检测物,其移动速度比较接近,因此终端可以使用第一检测物图像A与第二检测物图像B之间的拍摄时间差间接表示第一检测物图像A与第二检测物图像B之间的距离;使用由第一图像采集设备采集的检测物图像与由第二图像采集设备采集的检测物图像之间的拍摄时间差间接表示第一图像采集设备与第二图像采集设备之间的距离。这样终端无需对检测物的移动速度进行预估,也无需获取图像采集设备所在的位置,具体的过程可以如下:
首先,根据第一检测物图像与第二检测物图像的拍摄时间差,确定以拍摄时间差为中值的时间差范围。例如,第一检测物图像A与第二检测物图像B之间的拍摄时间差为△tAB,那么,时间差范围为(△tAB-t0)≤t≤(△tAB+t0)。其中,t0为一个很小的时间阈值,本领域的技术人员可以根据实际需要灵活设置,其值越小那么对最后得到的修正相似度的准确性越高。
其次,终端可以使用上述计算第一检测物图像A与第二检测物图像B之间相似度的方法,也即是,使用上述(公式1)计算第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度。
例如,第一检测物图像集合中包括M张检测物图像,记为Q1={检测物图像11、检测物图像12、检测物图像13、……、检测物图像1i、……、检测物图像1M};第二检测物图像集合中包括N张检测物图像,记为Q2包括{检测物图像21、检测物图像22、检测物图像23、……、检测物图像2j、……、检测物图像2N};检测物图像1i与检测物图像2j之间的相似度可以记为S0(ij)。
其中,需要指出的是,第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差是指,第一检测物图像集合中任意一张检测物图像与第二检测物图像集合中任意一张检测物图像之间的相似度和拍摄时间差,例如,检测物图像1i与检测物图像2j之间的相似度和拍摄时间差。第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差中相似度和拍摄时间差对应于同一对检测物图像。例如,相似度对应于检测物图像11与检测物图像21之间的相似度,则拍摄时间差也是对应于检测物图像11与检测物图像21之间的时间差。
最后,使用属于同一个检测物,且拍摄时间差位于时间差范围内的检测物图像对第一检测物图像A与第二检测物图像B之间的相似度进行修正。其中,可以使用相似度不小于相似度阈值来表示两个检测物图像属于同一个检测物,也即是,使用S0(ij)不小于相似度阈值来表示检测物图像1i与检测物图像2j属于同一个检测物。这样,第一检测物图像A与第二检测物图像B属于同一个检测物的修正相似度S’AB为:
S’AB=S0(AB)×P(S0(ij)不小于相似度阈值且拍摄时间差位于时间差范围内)÷P(拍摄时间差位于时间差范围内) (公式2)
也即是,检测物图像1i与检测物图像2j属于同一个检测物,且拍摄时间差和第一检测物图像A与第二检测物图像B的△tAB比较接近,就能够提升或者降低第一检测物图像A与第二检测物图像B属于同一个检测物的概率,也即是,能够对S0(AB)进行修正。这是因为,如果第一检测物图像A与第二检测物图像B确实属于同一检测物,那么,两者的拍摄时间差△tAB也比较合理,这种情况下,属于同一个检测物的检测物图像1i与检测物图像2j的拍摄时间差落在拍摄时间差(△tAB-t0)≤t≤(△tAB+t0)的概率就比较大,自然能够提升第一检测物图像A与第二检测物图像B属于同一个检测物的概率。
而如果第一检测物图像A与第二检测物图像B确实不属于同一检测物,但是根据相似度却判断出属于同一检测物,但是两者的拍摄时间差△tAB不合理的可能性很大,这种情况下,属于同一个检测物的检测物图像1i与检测物图像2j的拍摄时间差落在拍摄时间差(△tAB-t0)≤t≤(△tAB+t0)的概率就很小,自然就降低了第一检测物图像A与第二检测物图像B属于同一个检测物的概率。
上述方法是一种对S0(AB)进行修正的方法,为了进一步提高修正相似度S’AB的准确性,相应的还可以是,首先对根据特征提取模型,确定的相似度进行校正,得到中间相似度,然后再使用上述修正方法对中间相似度进行修正,也即是,对S0(AB)进行两次修正。具体的可以是如下:
终端根据预先设置的特征提取模型的假负率与假正率、第一检测物图像集合与第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及第一检测物图像与第二检测物图像的相似度和拍摄时间差,确定第一检测物图像与所述第二检测物图像的修正相似度。
具体的,终端可以获取特征提取模型的假负率与假正率,然后使用假负率与假正率对第一检测物图像A与第二检测物图像B之间的相似度S0(AB)进行校正,得到中间相似度S(AB)。同理,终端也可以使用假负率与假正率,对检测物图像1i与检测物图像2j之间的S0(ij),进行校正得到中间相似度S(ij),之后,再使用中间相似度S(ij)不小于中间相似度阈值来表示,检测物图像1i与检测物图像2j属于同一个检测物。最后,使用如下公式,对中间相似度S(AB)进行修正得到S’AB:
S’AB=S(AB)×P(S(ij)不小于中间相似度阈值且拍摄时间差位于时间差范围内)÷P(拍摄时间差位于时间差范围内) (公式3)
其中,假负率是指,实际上两个检测物图像属于同一个检测物,但是根据特征提取模型判断出两个检测物图像之间的相似度小于相似度阈值(也即是判断出不属于同一个检测物)的概率值。假正率是指,实际上两个检测物图像不属于同一个检测物,但是根据特征提取模型判断出两个检测物图像之间的相似度不小于相似度阈值(也即是判断出属于同一个检测物)的概率值。假负率与假正率和特征提取模型的准确度相关,其值可以由技术人员基于特征提取模型的准确度而设定。
其中,中间相似度S(AB)可以由相似度S0(AB)、假正率和假负率而确定;S(ij)不小于中间相似度阈值、且拍摄时间差位于时间差范围内的概率值,可以由相似度S0(ij)、假正率和假负率而确定;拍摄时间差位于时间差范围内的概率值可以由检测物图像1i与检测物图像2j的拍摄时间差和时间差范围而确定。具体确定过程下文将会详细介绍。
这样,终端可以使用上述所述的修正方法对待比对的第一检测物图像与第二检测物图像之间的相似度进行修正,得到第一检测物图像与第二检测物图像的修正相似度。
在步骤104中,终端基于修正相似度,对第一检测物图像和第二检测物图像,进行检测物匹配判定。
在实施中,终端得到修正相似度之后,可以第一检测物图像和第二检测物图像,进行检测物匹配判定。例如,终端可以将修正相似度与预设设置的修正相似度阈值进行比较,如果修正相似度不小于修正相似度阈值,则判定第一检测物图像和第二检测物图像属于同一个检测物,如果修正相似度小于修正相似度阈值,则判定第一检测物图像和第二检测物图像不属于同一个检测物。
基于上述所述,对检测物图像进行检测物匹配判定时,不直接使用通过模型确定出的相似度,而是使用第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,对第一检测物图像和第二检测物图像之间的相似度进行修正,得到第一检测物图像与第二检测物图像的修正相似度,使用修正相似度进行检测物匹配判定,可以提高检测物匹配判定的准确性。
可选的,使用假正率和假负率对第一检测物图像与第二检测物图像之间的相似度S0(AB)进行修正,得到中间相似度S(AB)的公式可以是:
S=(1-Ep-En)×S0+En (公式4)
式中,S为中间相似度,En为假负率、Ep为假正率、S0为相似度,S0可以根据(公式1)确定,也可以称为初始相似度,根据特征提取模型确定的相似度。
这样,终端便可以根据第一检测物图像A与第二检测物图像B之间的相似度S0(AB),以及假正率Ep、假负率En,得到第一检测物图像A与第二检测物图像B之间中间相似度S(AB)。
其中,(公式4)推导原理可以是,两个检测物图像之间的相似度(包括文中所指的相似度、中间相似度和修正相似度)也即是两个检测物图像属于同一个检测物的概率,相应的,第一检测物图像与第二检测物图像之间的中间相似度理论上包括两种情况:情况一,实际上属于同一检测物,且通过特征提取模型也确定出属于同一检测物;情况二,实际上属于同一检测物,但通过特征提取模型却确定出不属于同一检测物。可以将实际上属于同一检测物记为“实际是”、将实际上不属于同一检测物记为“实际不是”、通过特征提取模型却确定出属于同一检测物,记为“判断是”、通过特征提取模型却确定出不属于同一检测物,记为“判断不是”。根据上述两种情况,(公式4)可以表示为:
S=P(实际是|判断是)×P(判断是)+P(实际是|判断不是)×P(判断不是) (公式4.1)
又根据假正率和假负率的定义,可知:
Ep=P(实际不是|判断是)=1-P(实际是|判断是) (公式4.2)
En=P(实际是|判断不是)=1-P(实际不是|判断不是) (公式4.3)
P(判断不是)=1-P(判断是) (公式4.3)
进一步,又根据P(判断是)等于S0,(公式4.1)可以转换为:
S=(1-Ep)×S0+En×(1-S0) (公式4.4)
对(公式4.4)进一步转换便可以得到(公式4)。
可选的,终端根据假负率与假正率、第一检测物图像集合与第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及第一检测物图像与第二检测物图像的中间相似度和拍摄时间差,确定第一检测物图像与所述第二检测物图像的修正相似度的过程可以按照如图2所示的流程执行:
在步骤201中,终端根据第一检测物图像与第二检测物图像的拍摄时间差,确定以拍摄时间差为中值的时间差范围。
在实施中,如上述所述,时间差范围由第一检测物图像与第二检测物图像的拍摄时间差而确定,可以为(△tAB-t0)≤t≤(△tAB+t0),△tAB为第一检测物图像A与第二检测物图像B之间的拍摄时间差,t0为技术人员设置的一个很小的时间阈值。
在步骤202中,终端确定第一概率值。
其中,第一概率值是第一检测物图像集合与第二检测物图像集合之间检测物图像的相似度不小于相似度阈值、且拍摄时间差位于时间差范围内的概率值。
在实施中,第一概率值的确定公式可以是:
式中,M、N和a都是数量,其中,数量M是第一检测物图像集合中检测物图像的数量;数量N是第二检测物图像集合中检测物图像的数量;数量a是第一检测物图像集合和第二检测物图像集合之间的检测物图像对中相似度不小于相似度阈值、且拍摄时间差位于时间差范围内的检测物图像对的数量。
在步骤203中,终端确定第二概率值。
其中,第二概率值是第一检测物图像集合和第二检测物图像集合之间检测物图像的相似度小于相似度阈值,且拍摄时间差位于时间差范围内的概率值。
在实施中,第二概率值的确定公式可以是:
式中,b也是数量,是第一检测物图像集合和第二检测物图像集合之间的检测物图像对中相似度小于相似度阈值、且拍摄时间差位于时间差范围内的检测物图像对的数量。
在步骤204中,终端确定第三概率值。
其中,第三概率值是第一检测物图像集合和第二检测物图像集合之间检测物图像的拍摄时间差位于时间差范围内的概率值。
在实施中,第三概率值的确定公式可以是:
式中,c也是数量,是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中拍摄时间差位于所述时间差范围内的检测物图像对的数量。
在步骤205中,终端根据假负率、假正率、中间相似度、第一概率值、第二概率值和第三概率值,确定第一检测物图像与第二检测物图像的修正相似度。
在实施中,第一检测物图像与第二检测物图像的修正相似度的确定公式可以是:
其中,式中S表示待比对第一检测物图像与第二检测物图像之间的中间相似度,可由(公式4)得到;
式中表示(公式3)中的S(ij)不小于中间相似度阈值、且拍摄时间差位于时间差范围内的概率值,也即是,表示检测物图像1i与检测物图像2j属于同一个检测物且拍摄时间差位于时间差范围内的概率;
式中可以记为中间相似度S的修正系数β。
那么,(公式8)可以变形为:
S’=S×β (公式8.1)
其中,(公式8)中检测物图像1i与检测物图像2j属于同一个检测物且拍摄时间差位于时间差范围内的概率,的推导过程可以如下:
首先,可以将拍摄时间差位于时间差范围记为“位于时间差范围”,相应的,P(位于时间差范围|判断是)=P(位于时间差范围|实际是)×P(实际是|判断是)+P(位于时间差范围|实际不是)×P(实际不是|判断是);又根据P(实际是|判断是)=1-Ep,P(实际不是|判断是)=Ep;可知,P(位于时间差范围|判断是)=P(位于时间差范围|实际是)×(1-Ep)+P(位于时间差范围|实际不是)×Ep。
同理,P(位于时间差范围|判断不是)=P(位于时间差范围|实际是)×P(实际是|判断不是)+P(位于时间差范围|实际不是)×P(实际不是|判断不是);又根据P(实际是|判断不是)=En,P(实际不是|判断不是)=1-En;可知,P(位于时间差范围|判断不是)=P(位于时间差范围|实际是)×En+P(位于时间差范围|实际不是)×(1-En)。
其中,根据上述对第一概率值P1和第二概率值P2的定义,可知,P(位于时间差范围|判断是)=P1,P(位于时间差范围|判断不是)=P2。
然后,根据上述公式,P(位于时间差范围|判断是)=P(位于时间差范围|实际是)×(1-Ep)+P(位于时间差范围|实际不是)×Ep和P(位于时间差范围|判断不是)=P(位于时间差范围|实际是)×En+P(位于时间差范围|实际不是)×(1-En),可以得到:
基于上述所述,对检测物图像进行检测物匹配判定的过程中,终端获取待比对的第一检测物图像和第二检测物图像之后,可以首先获取第一检测物图像集合和第二检测物图像集合;然后,再根据特征提取模型确定第一检测物图像和第二检测物图像的相似度,以及第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度;之后,再使用特征提取模型的假正率和假负率,对第一检测物图像和第二检测物图像的相似度进行一次修正,得到第一检测物图像和第二检测物图像的中间相似度;再之后,使用第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及第一检测物图像和第二检测物图像的拍摄时间差,确定对中间相似度的修正系数;最后,终端再使用中间相似度的修正系数对中间相似度进行一次修正,最终得到第一检测物图像和第二检测物图像的修正相似度。
可见,对检测物图像进行检测物匹配判定的过程中,终端对由特征提取模型确定的第一检测物图像和第二检测物图像之间的相似度经过两次修正,得到第一检测物图像和第二检测物图像的修正相似度,与现有技术中仅仅根据经由特征提取模型确定的相似度相比,可以提高对检测物图像进行检测物匹配判定的准确性。
本公开实施例中,对检测物图像进行检测物匹配判定的过程中,终端首先获取待比对的第一检测物图像和第二检测物图像;然后,获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;之后,根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;最后,基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。使用该方法比对第一检测物图像和第二检测物图像中,使用第一检测物图像集合和第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,对第一检测物图像和第二检测物图像的相似度进行修正,确定第一检测物图像与第二检测物图像的修正相似度,通过修正相似度比对第一检测物图像与第二检测物图像是否属于同一个检测物,显然可以提高检测物匹配判定的准确性。
基于相同的技术构思,本公开实施例还提供了一种对检测物图像进行检测物匹配判定的装置,如图3所示,该装置包括:
第一获取模块310,用于获取待比对的第一检测物图像和第二检测物图像;
第二获取模块320,用于获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;
第一确定模块330,用于根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;
判定模块340,用于基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。
可选的,如图4所示,该装置还包括:
第二确定模块320’,用于根据预先训练的特征提取模型,确定所述第一检测物图像与所述第二检测物图像的相似度,以及所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度;
所述第一确定模块330,具体用于根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,如图5所示,所述第一确定模块330包括:
第一确定单元331,用于根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度;
第二确定单元332,用于根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述第一确定单元331,用于根据公式S=(1-Ep-En)×S0+En,确定所述第一检测物图像与所述第二检测物图像的中间相似度,其中,S为中间相似度、En为假负率、Ep为假正率、S0为相似度。
可选的,如图6所示,所述第二确定单元332,包括:
第一确定子单元3321,用于根据所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定以所述拍摄时间差为中值的时间差范围;
第二确定子单元3322,用于确定第一概率值,其中,所述第一概率值是所述第一检测物图像集合与所述第二检测物图像集合之间检测物图像的相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的概率值;
第三确定子单元3323,用于确定第二概率值,其中,所述第二概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的相似度小于相似度阈值,且拍摄时间差位于所述时间差范围内的概率值;
第四确定子单元3324,用于确定第三概率值,其中,所述第三概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的拍摄时间差位于所述时间差范围内的概率值;
第五确定子单元3325,用于根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
可选的,所述第五确定子单元3325,具体用于:
根据公式确定所述第一检测物图像与所述第二检测物图像的修正相似度,其中,S’为修正相似度、S为中间相似度、En为假负率、Ep为假正率、P1为第一概率值、P2为第二概率值、P3为第三概率值。
可选的,如图7所示,所述装置还包括:
第三确定模块320”,用于确定数量M、数量N、数量a、数量b和数量c;
所述第二确定子单元3322,具体用于根据公式确定第一概率值P1;
所述第三确定子单元3323,具体用于根据公式确定第二概率值P2;
所述第四确定子单元3324,具体用于根据公式确定第三概率值P3;
其中,所述数量M是所述第一检测物图像集合中检测物图像的数量;所述数量N是所述第二检测物图像集合中检测物图像的数量;所述数量a是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量b是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量c是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中拍摄时间差位于所述时间差范围内的检测物图像对的数量。
本公开实施例中,对检测物图像进行检测物匹配判定的过程中,装置首先获取待比对的第一检测物图像和第二检测物图像;然后,获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;之后,根据所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;最后,基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。该装置与相关技术中仅仅根据待比对的第一检测物图像和第二检测物图像之间的相似度的装置相比,显然可以提高检测物匹配判定的准确性。
需要说明的是:上述实施例提供的对检测物图像进行检测物匹配判定的装置在对检测物图像进行检测物匹配判定时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的对检测物图像进行检测物匹配判定的装置与对检测物图像进行检测物匹配判定的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8示出了本申请一个示例性实施例提供的终端800的结构框图。该终端800可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的对检测物图像进行检测物匹配判定的方法。
在一些实施例中,终端800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成下述实施例中对检测物图像进行检测物匹配判定的方法。例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种对检测物图像进行检测物匹配判定的方法,其特征在于,所述方法包括:
获取待比对的第一检测物图像和第二检测物图像;
获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;
根据预先训练的特征提取模型,确定所述第一检测物图像与所述第二检测物图像的相似度,以及所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度;
根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;
基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。
2.根据权利要求1所述的方法,其特征在于,所述根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度;
根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度,包括:
根据公式S=(1-Ep-En)×S0+En,确定所述第一检测物图像与所述第二检测物图像的中间相似度,其中,S为中间相似度、En为假负率、Ep为假正率、S0为相似度。
4.根据权利要求2所述的方法,其特征在于,所述根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定以所述拍摄时间差为中值的时间差范围;
确定第一概率值,其中,所述第一概率值是所述第一检测物图像集合与所述第二检测物图像集合之间检测物图像的相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的概率值;
确定第二概率值,其中,所述第二概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的相似度小于相似度阈值,且拍摄时间差位于所述时间差范围内的概率值;
确定第三概率值,其中,所述第三概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的拍摄时间差位于所述时间差范围内的概率值;
根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
5.根据权利要求4所述的方法,其特征在于,所述根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度,包括:
根据公式确定所述第一检测物图像与所述第二检测物图像的修正相似度,其中,S’为修正相似度、S为中间相似度、En为假负率、Ep为假正率、P1为第一概率值、P2为第二概率值、P3为第三概率值。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
确定数量M、数量N、数量a、数量b和数量c;
所述确定第一概率值,包括:
根据公式确定第一概率值P1;
所述确定第二概率值,包括:
根据公式确定第二概率值P2;
所述确定第三概率值,包括:
根据公式确定第三概率值P3;
其中,所述数量M是所述第一检测物图像集合中检测物图像的数量;所述数量N是所述第二检测物图像集合中检测物图像的数量;所述数量a是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量b是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量c是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中拍摄时间差位于所述时间差范围内的检测物图像对的数量。
7.一种对检测物图像进行检测物匹配判定的装置,其特征在于,所述装置包括:
第一获取模块,用于获取待比对的第一检测物图像和第二检测物图像;
第二获取模块,用于获取拍摄所述第一检测物图像的第一图像采集设备拍摄的第一检测物图像集合,以及拍摄所述第二检测物图像的第二图像采集设备拍摄的第二检测物图像集合;
第二确定模块,用于根据预先训练的特征提取模型,确定所述第一检测物图像与所述第二检测物图像的相似度,以及所述第一检测物图像集合和所述第二检测物图像集合之间各检测物图像的相似度;
第一确定模块,用于根据预先设置的所述特征提取模型的假负率与假正率、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的相似度和拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度;
判定模块,用于基于所述修正相似度,对所述第一检测物图像和所述第二检测物图像,进行检测物匹配判定。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块包括:
第一确定单元,用于根据所述假负率、所述假正率以及所述第一检测物图像与所述第二检测物图像的相似度,确定所述第一检测物图像与所述第二检测物图像的中间相似度;
第二确定单元,用于根据所述假负率、所述假正率、所述中间相似度、所述第一检测物图像集合与所述第二检测物图像集合之间各检测物图像的相似度和拍摄时间差,以及所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
9.根据权利要求8所述的装置,其特征在于,所述第一确定单元,用于根据公式S=(1-Ep-En)×S0+En,确定所述第一检测物图像与所述第二检测物图像的中间相似度,其中,S为中间相似度、En为假负率、Ep为假正率、S0为相似度。
10.根据权利要求8所述的装置,其特征在于,所述第二确定单元,包括:
第一确定子单元,用于根据所述第一检测物图像与所述第二检测物图像的拍摄时间差,确定以所述拍摄时间差为中值的时间差范围;
第二确定子单元,用于确定第一概率值,其中,所述第一概率值是所述第一检测物图像集合与所述第二检测物图像集合之间检测物图像的相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的概率值;
第三确定子单元,用于确定第二概率值,其中,所述第二概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的相似度小于相似度阈值,且拍摄时间差位于所述时间差范围内的概率值;
第四确定子单元,用于确定第三概率值,其中,所述第三概率值是所述第一检测物图像集合和所述第二检测物图像集合之间检测物图像的拍摄时间差位于所述时间差范围内的概率值;
第五确定子单元,用于根据所述假负率、所述假正率、所述中间相似度、所述第一概率值、所述第二概率值和所述第三概率值,确定所述第一检测物图像与所述第二检测物图像的修正相似度。
11.根据权利要求10所述的装置,其特征在于,所述第五确定子单元,具体用于:
根据公式确定所述第一检测物图像与所述第二检测物图像的修正相似度,其中,S’为修正相似度、S为中间相似度、En为假负率、Ep为假正率、P1为第一概率值、P2为第二概率值、P3为第三概率值。
12.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于确定数量M、数量N、数量a、数量b和数量c;
所述第二确定子单元,具体用于根据公式确定第一概率值P1;
所述第三确定子单元,具体用于根据公式确定第二概率值P2;
所述第四确定子单元,具体用于根据公式确定第三概率值P3;
其中,所述数量M是所述第一检测物图像集合中检测物图像的数量;所述数量N是所述第二检测物图像集合中检测物图像的数量;所述数量a是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度不小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量b是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中相似度小于相似度阈值、且拍摄时间差位于所述时间差范围内的检测物图像对的数量;所述数量c是所述第一检测物图像集合和所述第二检测物图像集合之间的检测物图像对中拍摄时间差位于所述时间差范围内的检测物图像对的数量。
13.一种计算机设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序,实现权利要求1至6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910214561.4A CN111723615B (zh) | 2019-03-20 | 2019-03-20 | 对检测物图像进行检测物匹配判定的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910214561.4A CN111723615B (zh) | 2019-03-20 | 2019-03-20 | 对检测物图像进行检测物匹配判定的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111723615A CN111723615A (zh) | 2020-09-29 |
CN111723615B true CN111723615B (zh) | 2023-08-08 |
Family
ID=72562497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910214561.4A Active CN111723615B (zh) | 2019-03-20 | 2019-03-20 | 对检测物图像进行检测物匹配判定的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723615B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470250B (zh) * | 2021-06-30 | 2023-02-17 | 杭州海康机器人股份有限公司 | 售卖柜、监控方法、服务器、系统及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408404A (zh) * | 2014-10-31 | 2015-03-11 | 小米科技有限责任公司 | 人脸识别方法及装置 |
WO2017024963A1 (zh) * | 2015-08-11 | 2017-02-16 | 阿里巴巴集团控股有限公司 | 图像识别方法、度量学习方法、图像来源识别方法及装置 |
CN109040654A (zh) * | 2018-08-21 | 2018-12-18 | 苏州科达科技股份有限公司 | 外部拍摄设备的识别方法、装置及存储介质 |
CN109376719A (zh) * | 2018-12-19 | 2019-02-22 | 山东大学 | 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法 |
-
2019
- 2019-03-20 CN CN201910214561.4A patent/CN111723615B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408404A (zh) * | 2014-10-31 | 2015-03-11 | 小米科技有限责任公司 | 人脸识别方法及装置 |
WO2017024963A1 (zh) * | 2015-08-11 | 2017-02-16 | 阿里巴巴集团控股有限公司 | 图像识别方法、度量学习方法、图像来源识别方法及装置 |
CN109040654A (zh) * | 2018-08-21 | 2018-12-18 | 苏州科达科技股份有限公司 | 外部拍摄设备的识别方法、装置及存储介质 |
CN109376719A (zh) * | 2018-12-19 | 2019-02-22 | 山东大学 | 一种基于组合特征表示的相机光响应非均匀性指纹提取及比对方法 |
Non-Patent Citations (1)
Title |
---|
Source camera identification using Photo Response Non-Uniformity on WhatsApp;Meij C et al.;《Digital Investigation》;20181231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111723615A (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN109558837B (zh) | 人脸关键点检测方法、装置及存储介质 | |
CN111127509B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN108363982B (zh) | 确定对象数量的方法及装置 | |
CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
CN109522863B (zh) | 耳部关键点检测方法、装置及存储介质 | |
US11386586B2 (en) | Method and electronic device for adding virtual item | |
CN111027490B (zh) | 人脸属性识别方法及装置、存储介质 | |
CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN111586279B (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN111753606A (zh) | 一种智能模型的升级方法及装置 | |
CN111931712B (zh) | 人脸识别方法、装置、抓拍机及系统 | |
CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
CN113709353B (zh) | 图像采集方法和设备 | |
CN111488895B (zh) | 对抗数据生成方法、装置、设备及存储介质 | |
CN110263695B (zh) | 人脸部位的位置获取方法、装置、电子设备及存储介质 | |
CN112243083B (zh) | 抓拍方法、装置及计算机存储介质 | |
CN111757146B (zh) | 视频拼接的方法、系统及存储介质 | |
CN112184802B (zh) | 标定框的调整方法、装置及存储介质 | |
CN112990424A (zh) | 神经网络模型训练的方法和装置 | |
CN111860030A (zh) | 行为检测方法、装置、设备及存储介质 | |
CN113129221B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113761983B (zh) | 更新人脸活体检测模型的方法、装置及图像采集设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |