CN114022896A - 目标检测方法、装置、电子设备及可读取存储介质 - Google Patents

目标检测方法、装置、电子设备及可读取存储介质 Download PDF

Info

Publication number
CN114022896A
CN114022896A CN202111145768.4A CN202111145768A CN114022896A CN 114022896 A CN114022896 A CN 114022896A CN 202111145768 A CN202111145768 A CN 202111145768A CN 114022896 A CN114022896 A CN 114022896A
Authority
CN
China
Prior art keywords
target
image
similarity
detected
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111145768.4A
Other languages
English (en)
Inventor
叶振兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumi United Technology Co Ltd
Original Assignee
Lumi United Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumi United Technology Co Ltd filed Critical Lumi United Technology Co Ltd
Priority to CN202111145768.4A priority Critical patent/CN114022896A/zh
Publication of CN114022896A publication Critical patent/CN114022896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本申请公开了一种目标检测方法、装置、电子设备及可读取存储介质,该方法应用于人工智能技术领域,所述方法包括:获取待检测图像,对所述待检测图像中的目标对象进行目标检测,得到所述目标对象对应的目标位置特征;获取所述目标位置特征与至少一个位置参照特征之间的相似度,所述位置参照特征是基于多个样本图像中目标参照对象的位置确定得到的;基于所述相似度和对应的相似度阈值,得到检测结果。本申请提出的目标检测方法通过将目标位置特征与至少一个位置参照特征进行匹配在一定程度上可以提高目标检测的准确性。

Description

目标检测方法、装置、电子设备及可读取存储介质
技术领域
本申请涉及人工智能技术领域,更具体地,涉及一种目标检测方法、装置、电子设备及可读取存储介质。
背景技术
随着智慧城市、智慧建筑、智慧安防、智能家居的兴起与发展,智能化基础数据检测成为了核心关键之一,尤其是对目标对象进行检测是智能化过程中的重中之重,其中,目标对象可以包括人体、物体或者动物等。因此,如何更准确的对目标对象进行检测是亟待解决的问题。
发明内容
有鉴于此,本申请提出了一种目标检测方法、装置、电子设备及可读取存储介质,以改善上述缺陷。
第一方面,本申请实施例提供了一种目标检测方法,所述方法包括:获取待检测图像,对所述待检测图像中的目标对象进行目标检测,得到所述目标对象对应的目标位置特征;获取所述目标位置特征与至少一个位置参照特征之间的相似度,所述位置参照特征是基于多个样本图像中目标参照对象的位置确定得到的;基于所述相似度和对应的相似度阈值,得到检测结果。
第二方面,本申请实施例提供了一种目标检测方法,所述方法应用于智能门锁,该包括:获取所述智能门锁采集的待检测图像,对所述待检测图像中的目标对象进行目标检测,得到与所述目标对象对应的目标位置特征;获取所述目标位置特征与至少一个位置参考特征之间的相似度,所述位置参考特征是基于多个样本图像中目标参照对象的位置确定得到的;若所述相似度达到对应的相似度阈值,则根据所述待检测图像生成预警信息并发送至目标终端。
可选的,所述若存在,则启动所述图像采集装置,包括:若存在,则确定预设时间段内所述人体是否持续位于所述预设范围内;若是,则启动所述图像采集装置。
可选的,所述方法还包括:若所述目标对象不属于指定类型,则关闭所述图像采集装置。
第三方面,本申请实施例提供了一种目标检测装置,所述装置包括:第一图像获取模块、第一相似度获取模块以及第一结果确定模块。其中,第一图像获取模块用于获取待检测图像,对所述待检测图像中的目标对象进行目标检测,得到所述目标对象对应的目标位置特征。第一相似度获取模块用于获取所述目标位置特征与至少一个位置参照特征之间的相似度,所述位置参照特征是基于多个样本图像中目标参照对象的位置确定得到的。第一结果确定模块用于基于所述相似度和对应的相似度阈值,得到检测结果。
可选的,所述目标检测装置还包括特征获取模块,用于获取所述多个样本图像,所述样本图像中包括已标注的目标参照对象;从各所述样本图像中提取各所述目标参照对象对应的样本目标特征;对各所述样本目标特征进行聚类处理,根据各聚类结果中的中心特征生成所述至少一个位置参考特征。
可选的,所述第一相似度获取模块还用于确定所述相似度是否大于相似度阈值;若大于,则确定所述待检测图像中存在目标对象。
可选的,所述第一结果确定模块还用于若所述检测结果表征所述待检测图像中存在目标对象,则根据所述待检测图像生成预警信息;将所述预警信息发送至目标终端。
第四方面,本申请实施例提供了一种目标检测装置,所述装置应用于智能门锁,该装置包括:第二图像获取模块、第二相似度获取模块以及发送模块。其中,第二图像获取模块,用于获取所述智能门锁采集的待检测图像,对所述待检测图像中的目标对象进行目标检测,得到与所述目标对象对应的目标位置特征;第二相似度获取模块,用于获取所述目标位置特征与至少一个位置参考特征之间的相似度,所述位置参考特征是基于多个样本图像中目标参照对象的位置确定得到的;发送模块,用于若所述相似度达到对应的相似度阈值,则根据所述待检测图像生成预警信息并发送至目标终端。
可选的,所述目标检测装置还包括包括图像采集装置,用于检测所述智能门锁的预设范围内是否存在人体;若存在,则启动所述图像采集装置,所述图像采集装置用于采集所述待检测图像。
可选的,所述图像采集装置还用于所述若存在人体,则启动所述图像采集装置,包括:若存在,则确定预设时间段内所述人体是否持续位于所述预设范围内;若是,则启动所述图像采集装置。
可选的,所述第二相似度获取模块还用于若所述相似度达到对应的相似度阈值,则获取所述目标位置特征对应的目标对象的身份信息;根据所述目标对象的身份信息确定所述目标对象是否属于指定类型,所述指定类型的对象存在安全隐患;若所述目标对象属于指定类型,则根据所述待检测图像生成预警信息并发送至所述目标终端。
可选的,所述图像采集装置还用于若所述目标对象不属于指定类型,则关闭所述图像采集装置。
第五方面,本申请提供了一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述所述的方法。
第六方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述方法。
相对于现有技术,本申请实施例提出了一种目标检测方法、装置、电子设备及可读取存储介质,该目标检测方法通过将目标位置特征与至少一个位置参照特征进行匹配在很大程度上可以提高目标检测的准确性。具体的,本申请可以对获取的待检测图像中的目标对象进行目标检测,以得到目标对象对应的目标位置特征,而后获取该目标位置特征与至少一个位置参照特征之间的相似度,其中,位置参照特征可以是基于多个样本图像中目标参照对象的位置确定得到的,基于相似度和对应的相似度阈值,得到检测结果。本申请通过将目标位置特征与至少一个位置参照特征进行相似可以提高目标检测的准确性,进而可以避免待检测图像被误识别,有效提高了目标检测的准确性。
为使本申请的上述目的、特征和优点能够更明显易懂,下文特举较佳实施例,并配合所附附图,做详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提出的一种网络系统的结构示意图;
图2示出了本申请一个实施例提出的一种目标检测方法流程图;
图3示出了本申请一个实施例提出的一种目标检测方法中待检测图像包括一个目标对象的示意图;
图4示出了本申请一个实施例提出的一种目标检测方法中待检测图像包括多个目标对象的示意图;
图5示出了本申请一个实施例提出的一种目标检测方法中待检测图像包括多个不同类别的目标对象的示意图;
图6示出了本申请一个实施例提出的一种目标检测方法中样本图像的示意图;
图7示出了本申请另一个实施例提出的一种目标检测方法流程图;
图8示出了本申请另一个实施例提出的一种目标检测方法中对多个样本目标特征进行聚类得到的结果示例图;
图9示出了本申请一个实施例提出的一种目标检测方法流程图;
图10示出了本申请又一个实施例提出的一种目标检测方法中步骤S330的流程图;
图11示出了本申请实施例提出的一种目标检测装置的结构框图;
图12示出了本申请实施例提出的一种目标检测装置的其他模块的结构框图;
图13示出了本申请实施例提出的一种目标检测装置的结构框图;
图14示出了本申请实施例提出的用于执行根据本申请实施例的目标检测方法的电子设备的结构框图;
图15示出了本申请实施例提出的一种目标检测方法中移动终端的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参阅图1,为本申请实施例提供的一种网络系统10,该网络系统10包括:目标终端11、服务器12、网关13、电子设备14以及路由器15。其中,目标终端11可以是任何具备通信和存储功能的设备,例如:智能手机、台式电脑、笔记本电脑、平板电脑或其他具有网络连接功能的智能通信设备。服务器12可以是网络接入服务器、数据库服务器、云服务器等。可选的,网关13可以为基于ZigBee协议搭建,电子设备14可以是预先加入网关13中的设备,例如,电子设备可以是网关出厂时网关所归属套件中的设备;也可以是后续通过用户操作连接至网关13中的设备。
可选的,电子设备14可以基于ZigBee协议与网关13建立网络连接,从而加入到ZigBee网络中。另外,电子设备14可以为智能家居设备中的智能门锁,该智能门锁上可以配置有图像采集装置,该图像采集装置可以用于采集智能门锁外的场景,如可以采集门锁外面出现的人体。
网关13以及目标终端11均可以与路由器15连接,并通过路由器15接入到以太网中,路由器15可以通过有线或无线的通信连接方式接入服务器。例如,网关13以及目标终端11可以将获取的信息存储到服务器12中。可选的,目标终端11还可以通过2G/3G/4G/5G、WIFI等与服务器12建立网络连接,从而可以获取服务器12下发的数据。
可选的,如图1所示的局域网路径表示目标终端11与路由器15和网关13在同一局域网络中,广域网路径表示目标终端11与路由器15和网关13在同一局域网络中。其中,当目标终端11与路由器15和网关13在同一局域网络中时,目标终端11可通过如图1所示的局域网路径与网关13以及连接至网关13的电子设备14进行交互;也可以通过如图1所示的广域网路径与网关13以及连接至网关13的电子设备14进行交互。当目标终端11与路由器15和网关13不在同一局域网络中时,目标终端11可以通过如图1所示的广域网路径与网关13以及连接至网关13的电子设备14进行交互。
目标检测作为计算机视觉领域中较为重要的一部分,近年来得到了快速的发展。目标检测主要的任务是判断输入的图像或者视频中是否包含目标对象,并准确找出目标对象在图像中的位置,其中,目标对象可以为人体或者是动物等。现有的目标检测技术已经在安防、人流分析、智能交通以及智能家居等领域得到了大量的应用,但是目标检测在运用过程中也存在光线暗、背景复杂等问题,导致在执行目标检测任务时容易存在误检测的问题,进而影响目标检测的准确率。
因此,为了克服上述缺陷,如图2,本申请实施例提供了一种目标检测方法,以该方法应用于计算机设备(或电子设备)为例进行说明,该计算机设备具体可以是图1中的电子设备,电子设备可以是服务器、网关或智能家居设备,方法可以包括步骤S110至步骤S130。
步骤S110:获取待检测图像,对待检测图像中的目标对象进行目标检测,得到目标对象对应的目标位置特征。
本申请实施例可以应用于电子设备,该电子设备可以包括智能门锁、智能摄像头、智能空调以及智能机器人或者是服务器以及网关等,这些电子设备的共同之处是配置有图像采集装置。
在一些实施方式中,待检测图像可以包含目标对象,目标对象是指需要从待检测图像中检测出来的目标,目标对象可以包括人体、人脸或其他物体等对象。例如,该目标对象具体可以为人体,也可以为动物,如为宠物猫或者宠物狗等,或者也可以是其他物体,目标对象具体指的是什么这里不进行明确限制,可以根据实际情况进行选择。
在另一些实施方式中,一个待检测图像中可以包含一个目标对象,也可以包括多个目标对象。如智能门锁外部出现一个人体时,智能门锁采集的待检测图像中便只有一个目标对象。如图3所示,目标对象101出现在智能门锁外部时,智能门锁上的图像采集装置便可以对该目标对象101的图像进行采集,以得到待检测图像,此时待检测图像包含的目标仅为目标对象101一个。
在另一些实施方式中,一个待检测图像中可以包含多个目标对象,如智能门锁外部出现多个人体时,智能门锁采集的待检测图像中便有多个目标对象。如图4所示,目标对象102和目标对象103出现在智能门锁外部时,智能门锁上的图像采集装置便可以对该目标对象102和目标对象103的图像进行采集,以得到待检测图像,此时待检测图像包含的目标为目标对象102和目标对象103。
在另一些实施方式中,当待检测图像中包含多个目标对象时,这多个目标对象可以为同一类别的对象,如图4中目标对象102和目标对象103均为人体。另外,当待检测图像中包含有多个目标对象时,这多个目标对象也可以为不同类别的对象,如图5中的目标对象104和目标对象105为两个类别的对象,即目标对象104为宠物狗,而目标对象105则为人体,两个目标对象可以是不同类别的对象。
在一些实施方式中,待检测图像可以是图像采集装置采集的图像,也可以是图像采集装置采集的待检测视频中的某个视频帧。换句话说,本申请实施例在采集到待检测视频时可以将待检测视频中的某几帧视频作为待检测图像。具体选择多少帧,或者是将哪一帧图像作为待检测图像可以根据检测的速率来定。例如,检测一个图像需要0.25s,那么可以在待检测视频中每隔0.25s截取一帧图像来进行目标检测。因此,本申请在获取待检测图像时,可以先确定获取一个目标位置特征所需的目标时间,而后每隔目标时间从待处理视频中获取一个待检测图像。
本申请实施例中,目标位置特征可以是用于表征待检测图像中目标对象的位置信息的特征,其中,目标位置信息可以包括坐标信息和长宽信息,其中,坐标信息可以是目标对象对应的候选框上的至少一个点的坐标,长宽信息为目标对象对应候选框的长度和宽度。通过结合坐标信息以及长宽信息,本申请实施例可以更准确的实现对目标对象的检测。
在一些实施方式中,获取目标时间可以是利用目标检测模型对待检测图像进行检测得到目标对象对应的目标位置特征所需的总时长。另外,目标时间也可以是利用目标检测模型对待检测图像进行检测得到目标对象对应的目标位置特征到将预警信息发送至目标终端所需的总时长,目标时间具体如何确定这里不进行明确限制可以根据实际情况进行选择。
在一些实施方式中,电子设备在获取到待检测图像之后,其可以对待检测图像中的目标对象进行目标检测,以得到目标对象对应的目标位置特征,具体的,本申请实施例可以将待检测图像输入至目标检测模型,以利用该目标检测模型得到目标对象对应的目标位置特征。作为一个示例,目标检测模型可以是人形检测模型,即目标检测模型可以用于检测待检测图像中的人体,以得到目标对象对应的目标位置特征,该目标位置特征可以是人体在待检测图像中的位置。
本申请实施例中,将待检测图像输入至目标检测模型之前,本申请实施例可以对该待检测图像进行预处理,如对待检测图像进行去噪、滤波等操作。另外,本申请实施例在利用目标检测模型对待检测图像中的目标对象进行目标检测时,其也可以先对待检测图像进行缩放处理,使得缩放后的待处理图像的尺寸与预设尺寸相似,即将待检测图像的尺寸缩放到预设尺寸,其中,预设尺寸可以与训练该目标检测模型的图像的尺寸相同。例如,预设尺寸可以为300×300。通过将待检测图像的尺寸缩放为预设尺寸,在一定程度上可以加快目标检测的速率。
在一些实施方式中,对待检测图像中的目标对象进行目标检测之前,本申请实施例可以先获取目标检测模型。具体的,首先获取目标检测网络,该目标检测网络可以为SSD网络(Single Shot MultiBox Detector,单阶段目标检测算法)、R-CNN网络、Fast R-CNN网络以及Faster R-CNN网络等。
可选的,本申请实施例可以获取样本数据,样本数据可以由多个样本图像和每个样本图像对应的样本目标特征构成,其中,样本目标特征可以是目标参照对象在样本图像中的位置特征,样本目标特征也可以称作是矩形标注框信息,该矩形框标注信息则可以包括坐标信息和长宽信息。
可选的,样本目标特征信息中的坐标信息可以是样本图像中目标参照对象对应的矩形框的坐标,该坐标信息可以是矩形框的左上角坐标,也可以是矩形框右下角的坐标,或者也可以是矩形框左下角或者是右上角的坐标,或者也可以是矩形框中心点的坐标,坐标信息具体指的是矩形框哪个点的坐标这里不进行明确限制,可以根据实际情况进行选择。另外,长宽信息可以是矩形框的长度和宽度。
作为一个示例,目标检测模型是人形检测模型,此时训练目标检测网络的数据可以是包含人形的图像,即样本数据包括多个样本图像和每个样本图像中目标参考对象对应的矩形标注框信息,该矩形标注框信息可以表示为(x0,y0,w,h),其中,x0和y0为标注框的中心点坐标,w和h分别为标注框的宽和高。例如,样本图像可以是如图6所示的示图,该样本图像包括一个目标参照对象106,该目标参照对象106对应的矩形标注框为107,该矩形标注框信息可以包括D1的坐标(x0,y0),以及包括矩形框的高度h以及宽度w。另外,样本图像均可以包含有人形,且标注框可以是将人形轮廓完整包围的最小矩形框。
本申请实施例中,样本数据可以是来源于网络上已经标注好的图像构成的数据库,也可以是用户在自己获取到图像后,对获取的图像进行手动标注获取的数据,即样本数据可以是用户自行标定图像中的目标参照对象获取的数据。
步骤S120:获取目标位置特征与至少一个位置参照特征之间的相似度。
作为一种方式,本申请实施例在获取到目标位置特征后,其可以获取目标位置特征与至少一个位置参照特征之间的相似度,其中,位置参照特征可以是基于多个样本图像中目标参照对象的位置确定得到的,样本图像可以是上述样本数据中的图像。位置参照特征,具体可以通过对多个样本图像中目标参照对象的位置信息进行聚类计算得到的。
另外,获取目标位置特征与至少一个位置参照特征之间的相似度可以是获取目标位置特征与至少一个位置参照特征之间的距离,在获取到目标位置特征与至少一个位置参考特征之间的相似度后,本申请实施例可以确定该相似度是否大于相似度阈值,如果目标位置特征与至少一个位置参照特征之间的距离大于相似度阈值,则确定目标位置特征与至少一个位置参照特征相似。
在一些实施方式中,目标位置特征可以是目标对象在待检测图像中的位置,且目标位置特征可以是目标候选框的位置信息。另外,目标位置特征可以包括坐标信息和长宽信息,其中,坐标信息可以是目标候选框上的一个点的坐标,其可以是目标候选框左上角坐标点,也可以是目标候选框右下角坐标点,或者也可以是目标候选框中心坐标点等。
需要说明的是,目标位置特征也可以包括多个坐标信息时,本申请实施例除了包括这些坐标点信息时,同时可以包括坐标点的说明信息,具体的,可以说明坐标点属于目标候选框的左上角还是左下角,或者是属于中心点,如此,就可以快速有效的确定出目标候选框的整体位置信息。例如,目标位置特征包括的坐标信息为左上角坐标信息和中心点坐标信息,如此便可以确定出目标候选框的宽度为中心点横轴坐标减去左上角横轴坐标的二倍,以及确定出目标候选框的宽度为中心点纵轴坐标减去左上角纵轴坐标的二倍。
在一些实施方式中,目标位置特征和位置参照特征所包含的信息可以是相互对应的,如位置参照特征包括的是一个坐标信息和长宽信息,则目标位置特征包括的也是一个坐标信息和长宽信息。又如,位置参照特征包括的是两个坐标信息,且这两个坐标信息分别是左上角坐标信息和右下角坐标信息,则目标位置特征包括的也是两个坐标信息,且这两个坐标信息也是左上角坐标信息和右下角坐标信息。因此,在获取目标位置特征与至少一个位置参照特征之间的相似度之前,本申请实施例也可以确定位置参照特征包含的信息,而后根据位置参照特征包含的信息确定目标位置特征包含的信息,如此可以方便位置信息的匹配。
本申请实施例中,样本图像的场景和待检测图像的场景可以是相同的,其中,场景相同可以是样本图像包含的目标参照对象和待检测图像中的目标对象的类型相同。例如,目标参照对象和目标对象均为人体,又如,目标参照对象和目标对象均为宠物猫或者是宠物狗等。
另外,场景相同也可以是样本图像中目标参照对象和待检测图像中目标对象所处的环境相同,其中,环境相同可以是指样本图像和待检测图像是利用同种类型的图像采集装置采集的,同种类型的图像采集装置指的是配置图像采集装置的电子设备相同。例如,样本图像和待参考图像均是智能门锁上的图像采集装置采集的图像,不过,样本图像包括的目标对象的身份和目标参考对象的身份可能相同也可能不同,并且二者也可以是利用不同智能门锁获取的图像。
在一些实施方式中,获取到目标位置特征与至少一个位置参考特征之间的相似度之后,本申请实施例可以基于该相似度和对于的相似度阈值,得到检测结果,即进入步骤S130。
步骤S130:基于相似度和对应的相似度阈值,得到检测结果。
作为一种方式,在获取目标位置特征与至少一个位置参照特征之间的相似度之后,本申请实施例可以获取目标位置特征中的坐标信息与位置参照特征中的坐标信息之间的相似度,并基于该相似度确定目标位置特征与至少一个位置参考特征之间是否相似,而后可以将确定结果作为检测结果。具体的,若目标位置特征中的坐标信息与至少一个位置位置参照特征中的坐标信息之间的相似度大于相似度阈值,则确定目标位置特征与至少一个位置参照特征相似,检测结果则可以是该目标位置特征对应的对象属于目标对象。
作为另一种方式,在获取到目标位置特征与至少一个位置参照特征之间的相似度之后,本申请实施例可以获取目标位置特征中的长宽信息与位置参照特征中的长宽信息之间的相似度,而后基于该相似度确定目标位置特征与至少一个位置参考特征之间是否相似,并将确定结果作为检测结果。具体的,若目标位置特征中的长宽信息与至少一个位置参照特征中的长宽信息之间的相似度大于相似度阈值,则确定目标位置特征与至少一个位置参照特征相似。
作为另一种方式,在获取目标位置特征与至少一个位置参照特征之间的相似度之后,本申请实施例可以获取目标位置特征中的坐标信息与位置参照特征中的坐标信息之间的相似度,以及获取目标位置特征中的长宽信息与位置参照特征中的长宽信息之间的相似度,而后基于该相似度确定目标位置特征与至少一个位置参考特征之间是否相似,并将确定结果作为检测结果。具体的,如果目标位置特征中的坐标信息与位置参照特征中的坐标信息之间的相似度,以及目标位置特征中的长宽信息与至少一个位置位置参照特征中的长宽信息之间的相似度大于相似度阈值,则确定目标位置特征与至少一个位置参照特征相似,检测结果则可以是该目标位置特征对应的对象属于目标对象。
作为另一种方式,目标位置特征也可以包括多个坐标信息,其中,多个坐标信息可以是目标候选框上的至少两个点的坐标。在获取目标位置特征与至少一个位置参照特征之间的相似度之后,本申请实施例可以获取目标位置特征中的至少两个点的坐标信息与位置参照特征中的至少两个点的坐标信息之间的相似度,而后基于该相似度确定目标位置特征与至少一个位置参考特征是否相似,并将确定结果作为检测结果。具体的,若目标位置特征中的至少两个点的坐标信息与至少一个位置参照特征中的至少两个点的坐标信息之间的相似度大于相似度阈值,则确定目标位置特征与至少一个位置参照特征相似。另外,至少两个点的坐标可以是不同方向的两个坐标,如第一个坐标点可以左上角坐标,而第二个坐标点则可以是右下角坐标。
换句话说,至少两个点的坐标可以是目标候选框上的对角线坐标点,如至少两个坐标点可以是目标候选框左下角和右上角的坐标点,又如,至少两个坐标点也可以是目标候选框左上角坐标点和目标候选框中心坐标点。需要说明的是,上述实施例中的相似度阈值可以是相同的,也可以是不相同的,具体如何设置这里不进行明确限制,可以根据实际情况进行选择。
本申请提出的一种目标检测方法通过将目标位置特征与至少一个位置参照特征进行匹配在很大程度上可以提高目标检测的准确性。具体的,本申请可以对获取的待检测图像中的目标对象进行目标检测,以得到目标对象对应的目标位置特征,而后获取目标位置特征与至少一个位置参考特征之间的相似度,其中,位置参照特征可以是基于多个样本图像中目标参照对象的位置确定得到的,基于相似度和对应的相似度阈值,得到检测结果。本申请通过将目标位置特征与至少一个位置参照特征进行相似可以提高目标检测的准确性,进而可以避免待检测图像被误识别,即提高用户的使用体验。
本申请另一实施例提出了一种目标检测方法,以该方法应用于计算机设备(或电子设备)为例进行说明,该计算机设备具体可以是图1中的电子设备,电子设备可以是服务器、网关或智能家居设,请参阅图7,从图7可以看出该方法包括步骤S210至步骤S260。
步骤S210:获取多个样本图像。
本申请实施例中,每个样本图像均可以包括已标注的目标参照对象,且样本图像与待检测图像的场景相同,即样本图像包含的类型和待检测图像包含的目标的类型相同。另外,获取样本图像的设备和获取待检测图像的设备可以是相同的,如获取样本图像的设备和获取待检测图像的设备可以均为智能门锁。换句话说,获取样本图像的图像采集装置和获取待检测图像的图像采集装置可以配置于同一种电子设备上。
作为一种方式,在获取到多个样本图像时,本申请实施例可以对每个样本图像进行图像预处理,如对样本图像进行滤波去噪等处理。另外,本申请实施例也可以对样本图像进行缩放处理,即将每个样本图像缩放至预设尺寸。例如,将所有样本图像的尺寸缩放至300×300(像素)。
步骤S220:从各个样本图像中提取各目标参照对象对应的样本目标特征。
作为一种方式,在获取到多个样本图像后,本申请实施例可以确定每个样本图像中目标参照对象的样本目标特征,目标参照对象的样本目标特征可以是在获取到样本图像时一同获取的,即目标参照对象的样本目标特征可以是预先标注好的。另外,目标参照对象的样本目标特征也可以是用户在获取到样本图像之后通过手动标注获取的。
可选的,在对样本图像进行尺寸缩放时,本申请实施例同时也可以为目标参照对象的位置信息进行相应的缩放,即进行等比缩放。本申请实施例中,目标参照对象的样本目标特征可以是将目标参考对象完全包围的最小矩形框的位置特征。需要说明的是,一个样本图像可以对应有一个样本目标特征,也可以对应有多个样本目标特征,即一个样本图像可以包括有一个目标参照对象,也可以包括多个目标参照对象。
作为一个示例,获取到多个样本图像,根据多个样本图像确定出的样本目标特征为n个样本目标特征,样本目标特征可以表示成(x0,y0,w,h),其中,n为所有样本图像中目标参照对象的个数,x0,y0为目标参照对象对应候选框的中心点坐标,w和h分别为目标参照对象对应候选框的宽和高。其中,样本目标特征的数量可以与样本图像的数量相同,也可以大于样本图像的数量。n个样本目标特征构成n个四维向量。
步骤S230:对各样本目标特征进行聚类处理,根据各聚类结果中的中心特征生成至少一个位置参考特征。
作为一个方式,在获取到多个样本目标特征后,本申请实施例可以对多个样本目标特征进行聚类处理,以得到多类样本目标特征。具体的,在对多个样本目标特征进行聚类处理时,本申请实施例可以使用K-Means的聚类方法进行聚类处理。
作为一个示例,对多个样本目标特征进行聚类处理可以得到如图8所示的多类样本目标特征,这多类样本目标特征分别可为第一类样本目标特征201、第二类样本目标特征202以及第三类样本目标特征203。每类样本目标特征下均可以包括多个样本目标特征,并且,每类样本目标特征下的样本目标特征之间的距离较小。
需要说明的是,图8所示的多类样本目标特征仅为示例,在实际的聚类过程中聚类数远远大于三类,即本申请实施例中聚类的个数远大于三类,如此才能保证目标检测的准确性。例如,聚类的个数可以根据经验值设置在100~10000之间。
在一些实施方式中,对多个样本目标特征进行聚类处理,得到多类样本目标特征之后,本申请实施例可确定每类样本目标特征下的样本目标特征,并将该中心样本目标特征作为预设样本目标特征。换句话说,本申请实施例通过利用聚类方法可以得到多个中心样本目标特征,多个中心样本目标特征可以表示成(x0 1,y0 1,w1,h1)、(x0 2,y0 2,w2,h2)、……、(x0 c,y0 c,wc,hc),其中,c为样本目标特征的类别,即将n个样本目标特征聚类成c类。
作为一个示例,如图8所示第一类样本目标特征201中的样本目标特征2011便可以作为第一个中心按样本目标特征;第二类样本目标特征202中的样本目标特征2021便可以作为第二个中心按样本目标特征;第三类样本目标特征203中的样本目标特征2031便可以作为第三个中心按样本目标特征。
需要说明的是,本申请实施例中每类样本目标特征下的中心样本目标特征可以是每类样本目标特征中的一个样本目标特征,也可以是每类样本目标特征下所有样本目标特征的平均,中心样本目标特征具体是如何确定的这里不进行明确限制可以根据实际情况进行选择。
步骤S240:获取待检测图像,对待检测图像中的目标对象进行目标检测,得到目标对象对应的目标位置特征。
步骤S250:获取目标位置特征与至少一个位置参考特征之间的相似度。
本申请实施例中,获取位置参照特征的步骤可以是在获取待检测图像之后执行,也可以是在获取待检测图像之前执行,具体在哪一步骤执行这里不进行明确限制,可以根据实际情况进行选择。
通过上述介绍可以知道,本申请实施例中的目标对象对应的目标位置特征可以包括坐标信息和长宽信息,其中,坐标信息可以是目标对象对应候选框的某一个坐标点的坐标,该坐标可以包括横轴坐标和纵轴坐标,长宽信息则可以包括目标对象对应候选框的长度和宽度。
本申请实施例中,相似度具体可以通过计算目标位置特征与至少一个位置参考特征之间的欧式距离得到。其中,获取目标位置特征与至少一个位置参照特征之间的相似度,具体可以通过获取目标位置特征与至少一个位置参照特征之间的欧式距离,来计算得到目标位置特征与至少一个位置参照特征之间的相似度。另外,欧式距离是获取目标位置特征中的坐标信息与位置参照特征中的坐标信息的距离,以及目标位置特征中的长宽信息与位置参照特征中的长宽信息的距离。其中,欧氏距离与相似度呈负相关,欧氏距离越大,表示相似度越小;欧氏距离越小,表示相似度越大。
若采用欧式距离,在计算目标位置特征与至少一个位置参照特征之间的欧式距离后,然后再对欧式距离进行转换处理,即可得到对应的相似度。
作为一个示例,相似度的计算方式可以采用如下方式计算得到。其中,第i个位置参照特征可以为(x0 i,y0 i,wi,hi),通过目标检测获取到的目标位置特征可以为(xp,yp,wp,hp),目标位置特征与至少一个位置参照特征之间的欧式距离可以为:
Figure BDA0003285496720000091
其中,i=1,2,3,……,c。di表示目标位置特征与第i个位置参照特征之间的欧式距离。
目标位置特征与至少一个位置参照特征之间的相似度可以为:
Si=1/di;其中,i=1,2,3,……,c。Si表示目标位置特征与第i个位置参照特征之间的相似度。
若计算得到的c个相似度(S1-Sc)均小于相似度阈值,则确定目标位置特征对应的对象不属于目标对象。例如该对象可能为背景对象,不属于目标对象。
反之,若计算得到的c个相似度(S1-Sc)中至少一个大于相似度阈值,则可以确定该目标位置特征对应的对象属于目标对象。
可以理解的是,相似度的计算方式不仅限于采用计算欧氏距离的方式,还可以采用其他的方式计算得到,例如还可以采用计算余弦相似度的方式来计算相似度,本申请对此不作限定。
步骤S260:基于相似度和对应的相似度阈值,得到检测结果。
作为一种方式,在获取到目标位置特征与至少一个位置参照特征之间的相似度时,本申请实施例可以确定该相似度是否大于相似度阈值,如果该相似度大于相似度阈值,则此时的检测结果可以是待检测图形中该的目标位置特征对应的对象属于目标对象。
作为另一种方式,至少一个位置参照特征可以包括多个候选位置特征,故在获取目标位置特征与至少一个位置参照特征之间的距离时,本申请实施例也可以获取目标位置特征与每个候选位置特征之间的相似度,而后确定多个候选位置特征中是否存在相似度大于相似度阈值的候选位置特征,如果多个候选位置特征中存在至少一个相似度大于相似度阈值的候选位置特征,则确定相似度大于相似度阈值,即确定目标位置特征与至少一个位置参照特征相似。
在一些实施方式中,获取到多个候选位置特征时,本申请实施例也可以对多个候选位置特征进行分类,而后可以按照出现概率的大小对每个分类进行从大到小的排序,其中,出现概率的大小可以是每个分类下候选位置特征的数量,即候选位置特征的数量越大,则对应的出现概率越大。在获取目标位置特征与至少一个位置参考特征之间的相似度时,本申请实施例可先获取概率较大的候选位置特征,并从该类候选位置特征中查找是否存在与目标位置特征相似的位置参照特征,若存在,则确定目标位置特征与至少一个位置参照特征相似。若不存在,则获取下一类候选位置特征,以此类推,如此可以加快信息相似的速率,提高用户的使用体验。
在另一些实施方式中,如果多个候选位置特征中不存在与目标位置特征相似的候选位置特征,则表示目标位置特征对应的候选框可能是背景,即检测到的目标位置特征可能是错误信息,此时则不需要将待检测图像发送至目标终端。如此可以降低环境复杂以及光线昏暗等原因造成的误识别率多高的问题。
本申请实施例中,在基于相似度和对应的相似度阈值,得到检测结果之后,本申请实施例可以根据待检测图形生成预警信息,并将预警信息发送至目标终端,其中,该目标终端可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。作为一种方式,电子设备在将预警信息发送至目标终端之前,其也可以确定电子设备与目标终端之间的网络状态是否正常,如果正常,则将预警信息发送至目标终端。若电子设备与目标终端之间的网络状态不正常,则可以在预设时间段后再次检测电子设备与目标终端之间的网络状态是否正常,如果正常,则将预警信息发送至目标终端。
作为另一种方式,电子设备可以统计网络状态的检测次数,当该次数大于预设次数后,本申请实施例则可以停止该网络状态的检测,同时其也可以确定与电子设备连接的设备是否有声光设备或者是确定电子设备是否配置有声光设备,如果有声光设备,则电子设备可以指示声光设备输出提示信息。另外,电子设备可以统计网络状态的检测次数,当该次数大于预设次数后,本申请实施例则可以停止该网络状态的检测,同时其也可以利用电子设备内置的声光设备输出提示信息。
在一些实施方式中,当确定目标位置特征与至少一个位置参照特征相似时,本申请实施例可以对待检测图像进行动作分析,而后根据动作分析结果,确定待检测图像中目标对象的危险等级,而后根据危险等级发送不同的提示信息,即危险等级越高则对应的提示信息越强烈。其中,危险等级可以是根据动作分析结果确定,即待检测图像中目标对象的动作与预设动作越相似,则其危险等级越高。其中,预设动作可是偷偷摸摸的动作,偷偷摸摸的动作可以是东张西望的动作,也可以是撬门的动作,或者也可以是故意遮挡脸部的动作等。
本申请实施例中,危险等级不同则对应的提示信息也不同,如危险等级为一级则对应输出的提示仅为显示提醒,危险等级为三级时对应输出的提示为声音加显示的提醒。又如,随着危险等级的提升则对应的声音提醒的音量越高。
本申请提出的一种目标检测方法通过将目标位置特征与至少一个位置参照特征进行匹配在很大程度上可以提高目标检测的准确性。具体的,本申请可以对获取的待检测图像中的目标对象进行目标检测,以得到目标对象对应的目标位置特征,而后获取目标位置特征与至少一个位置参考特征之间的相似度,其中,位置参照特征可以是基于多个样本图像中目标参照对象的位置确定得到的,基于相似度和对应的相似度阈值,得到检测结果。本申请通过将目标位置特征与至少一个位置参照特征进行相似可以提高目标检测的准确性,进而可以避免待检测图像被误识别,即提高用户的使用体验。另外,本申请实施例利用聚类操作从多个样本目标特征中选出中心样本目标特征作为位置参照特征,如此可以进一步提高目标检测的准确性。
本申请再一实施例提出了一种目标检测方法,该方法应用于智能门锁,请参阅图9,从图9可以看出该方法包括步骤S310至步骤S330。
步骤S310:获取智能门锁采集的待检测图像,对待检测图像中的目标对象进行目标检测,得到目标对象对应的目标位置特征。
作为一种方式,本申请实施例可以应用于智能家居设备的智能门锁,该智能门锁可以配置有图像采集装置,图像采集装置可以用于获取待检测图像,并且,图像采集装置可以用于采集门锁外部的图像。换句话说,本申请实施例中的待检测图像可以是门锁外部的图像,即当用户出现在门锁外部时,智能门锁上的图像采集装置便可以对用户的图像进行采集以得到待检测图像。
通过上述介绍可以知道,本申请实施例可以应用于智能门锁,且该智能门锁可以配置有图像采集装置,图像采集装置用于对门外的场景图像进行采集。在获取待检测图像之前,本申请实施例可以检测智能门锁的预设范围内是否有人体存在,如果确定智能门锁的预设范围内存在人体,则可以启动该图像采集装置,并利用图像采集装置获取待检测图像。
可选的,本申请实施例在检测智能门锁的预设范围内是否存在人体时,其可以利用红外检测装置确定智能门锁的预设范围内是否存在人体,或者也可以利用超声检测装置确定智能门锁的预设范围内是否存在人体。作为另一种方式,在利用红外检测装置确定智能门锁的预设范围内存在人体时,本申请实施例也可以利用超声检测装置检测预设范围内是否存在人体,如果存在,则确定智能门锁的预设范围内存在人体。通过结合红外检测装置和超声检测装置本申请实施例可以更准确的对人体进行检测,如此可以避免图像采集装置被误启动。
作为一种方式,在确定智能门锁的预设范围内存在人体时,本申请实施例也可以确定预设时间段内该人体是否持续位于预设范围内,如果预设时间段内人体持续位于预设范围内,则可以启动图像采集装置,如果预设时间段内该人体不是持续位于预设范围内,则可以使图像采集装置处于关闭状态。
作为另一种方式,如果检测到智能门锁的预设范围内没有人体存在,则可以保持图像采集装置处于关闭状态,即不打开图像采集装置,如此在一定程度上可以降低图像采集装置长期处于打开状态为智能门锁带来不必要的功耗。
步骤S320:获取目标位置特征与至少一个位置参照特征之间的相似度。
其中,位置参考特征可以是基于多个样本图像中目标参考对象的位置确定得到的。
步骤S330:若相似度达到对应的相似度阈值,则根据待检测图像生成预警信息并发送至目标终端。
作为一种方式,在确定目标位置特征与至少一个位置参照特征相似时,即确定相似度达到对应的相似度阈值时,本申请实施例可以根据待检测图像生成预警信息,而后将该预警信息发送至目标终端。另外,在将预警信息发送至目标终端时,本申请实施例也可以同时将待检测图像发送至目标终端,以使用户可以清楚知晓门口的实际情况。
可选的,在确定相似度达到对应的相似度阈值时,本申请实施例也可以获取待检测图像所在的视频,并将该视频发送至目标终端,如此可以方便用户查看待检测图像前后的视频,以提高用户的使用体验。另外,在确定相似度达到对应的相似度阈值时,本申请实施例也可以指示图像采集装置录制预设长度的视频,该预设长度的视频可以是待检测图像之后的视频,而后将录制的视频发送至目标终端。
在另一些实施方式中,步骤S330可以包括如图10所示的步骤S331至步骤S333。
步骤S331:若相似度达到对应的相似度阈值,则获取目标位置特征对应的目标对象的身份信息。
作为一种方式,在确定相似度达到对应的相似度阈值时,本申请实施例可以获取目标位置特征对应的目标对象的身份信息,具体的,智能门锁可以对目标对象的服饰进行识别,然后根据识别结果确定目标对象的身份信息。
本申请实施例中,目标对象的服饰和身份信息可以存在着预设关系。例如,当目标对象为物业时,其对应的服饰可以为第一服饰;当目标对象为外卖人员时,其对应的服饰可以为第二服饰。可见,目标对象的服饰不同,则对应的身份信息也不相同。
步骤S332:根据目标对象的身份信息确定目标对象是否属于指定类型,指定类型的对象存在安全隐患。
作为一种方式,在获取到目标对象的身份信息后,本申请实施例可以根据该身份信息确定目标对象是否为指定类型,其中,指定类型的对象存在安全隐患。
可选的,由于外卖人员或者是物业人员等通常穿着指定的衣服,故本申请可以通过识别目标对象的衣服来确定目标对象是否为指定类型,其中,指定类型指的是不包含外卖人员以及物业人员等对象的人。并且,由于外卖人员或者物业人员等危险性比较低,故在确定目标对象是这些类型时,本申请实施例可以不发送待检测图像至目标终端,如此可以降低不必要信息为用户带来的干扰。
步骤S333:若目标对象属于指定类型,则根据待检测图像生成预警信息并发送至目标终端。
本申请实施例中,在确定目标对象属于指定类型时,智能门锁可以先根据目标检测图像生成预警信息,而后可以将该预警信息发送至目标终端,如此可以保证目标终端对应用户的安全。需要说明的是,本申请在进行目标检测或者是身份检测等计算时,也可以将待检测图像发送至服务器,以指示服务器完成这些检测操作,如此可以降低智能门锁的运算,加快目标检测的速率。
另外,如果相似度未达到对应的相似度阈值,则可以不生成预警信息,即不将预警信息发送至目标终端,此时智能门锁可以获取下一个待检测图像,并再次确定下一个待检测图像的相似度是否达到相似度阈值,即将下一个待见待检测图像的位置特征作为目标特征,并获取目标位置特征与至少一个位置参照特征之间的相似度。
本申请提出的一种目标检测方法应用于智能门锁,该智能门锁通过将目标位置特征与至少一个位置参照特征进行匹配在很大程度上可以提高目标检测的准确性。具体的,本申请可以获取智能门锁采集的待检测图像,对待检测图像中的目标对象进行目标检测,以得到目标对象对应的目标位置特征,而后获取该目标位置特征与至少一个位置参考特征之间的相似度,其中,位置参照特征可以是基于多个样本图像中目标参照对象的位置确定得到的,如果相似度达到对应的相似度阈值,则根据待检测图像生成预警信息并发送至目标终端。本申请通过利用智能门锁将目标位置特征与至少一个位置参照特征进行匹配可以提高目标检测的准确性,进而可以避免待检测图像被误识别,即提高用户的使用体验。另外,本申请实施例通过对目标对象的身份进行识别,以降低不必要信息的发送。
请参阅图11,本申请实施例提出的一种目标检测装置400,以该装置应用于计算机设备(或电子设备)为例进行说明,该计算机设备具体可以是图1中的电子设备,电子设备可以是服务器、网关或智能家居设备,该装置包括第一图像获取模块410、第一相似度获取模块420以及第一结果确定模块430。
第一图像获取模块410,用于获取待检测图像,对待检测图像中的目标对象进行目标检测,得到目标对象对应的目标位置特征。
第一相似度获取模块420,用于获取目标位置特征与至少一个位置参考特征之间的相似度,位置参照特征是基于多个样本图像中目标参照对象的位置确定得到的。
进一步地,第一相似度获取模块420还用于确定相似度是否大于相似度阈值;若大于,则确定待检测图像中存在目标对象。
第一结果确定模块430,用于基于相似度和对应的相似度阈值,得到检测结果。
进一步地,目标检测装置400还包括信息生成模块和信息发送模块,信息生成模块用于若检测结果表述待检测图像中存在目标对象,则根据待检测图像生成预警信息。信息发送模块用于将预警信息发送至目标终端。
进一步地,目标检测装置400还可以包括如图12所示的图像获取模块440、位置提取模块450以及聚类模块460。
其中,图像获取模块440,用于获取多个样本图像,其中,样本图像中包括已标注的目标参照对象。
位置提取模块450,用于从各样本图像中提取各目标参照对象对应的样本目标特征。
聚类模块460,用于对各样本目标特征进行聚类处理,根据各聚类结果中的中心特征生成至少一个位置参考特征。
本申请提出的一种目标检测装置通过将目标位置特征与至少一个位置参照特征进行匹配在很大程度上可以提高目标检测的准确性。具体的,本申请可以对获取的待检测图像中的目标对象进行目标检测,以得到目标对象对应的目标位置特征,而后获取目标位置特征与至少一个位置参考特征之间的相似度,其中,位置参照特征可以是基于多个样本图像中目标参照对象的位置确定得到的,基于相似度和对应的相似度阈值,得到检测结果。本申请通过将目标位置特征与至少一个位置参照特征进行相似可以提高目标检测的准确性,进而可以避免待检测图像被误识别,即提高用户的使用体验。
请参阅图13,本申请实施例提出的一种目标检测装置500,该目标检测装置可以应用于智能门锁,该装置包括第二图像获取模块520、第二相似度获取模块520以及发送模块530。
第二图像获取模块510,用于获取智能门锁采集的待检测图像,对待检测图像中的目标对象进行目标检测,得到与目标对象对应的目标位置特征。
进一步地,目标检测装置500还可以包括人体检测模块和启动模块。人体检测模块,用于检测智能门锁的预设范围内是否存在人体。启动模块,用于若存在,则启动图像采集装置,图像采集装置用于采集待检测图像。
第二相似度获取模块520,用于获取目标位置特征与至少一个位置参考特征之间的相似度,位置参考特征是基于多个样本图像中目标参照对象的位置确定得到的。
发送模块530,用于若相似度达到对应的相似度阈值,则根据待检测图像生成预警信息并发送至目标终端。
进一步地,发送模块530还用于若相似度达到对应的相似度阈值,则获取目标位置特征对应的目标对象的身份信息;根据目标对象的身份信息确定目标对象是否属于指定类型,指定类型的对象存在安全隐患;若目标对象属于指定类型,则根据待检测图像生成预警信息并发送至目标终端。
本发明实施例提供了一种电子设备,该电子设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的目标检测方法。
另外,该电子设备可以为智能门锁,智能门锁上可以配置有图像采集装置,图像采集装置可以用于获取门锁外部的图像。另外,智能门锁可以包括前硅胶垫、前底板、前限位盖、轴承、前中框、换向螺钉、前面盖组件、扭簧以及把手组件等。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及目标检测。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
图14是本发明实施例提供的一种目标检测方法的电子设备的硬件结构框图。如图14所示,该电子设备1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(ProceSSingUnits,CPU)1110(处理器1110可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1130,一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中,存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,处理器1110可以设置为与存储介质1120通信,在电子设备1100上执行存储介质1120中的一系列指令操作。电子设备1100还可以包括一个或一个以上电源1160,一个或一个以上有线或无线网络接口1150,一个或一个以上输入输出接口1140,和/或,一个或一个以上操作系统1121,例如WindowSServerTM,MacOSXTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1100的通信供应商提供的无线网络。在一个实例中,输入输出接口1140包括一个网络适配器(NetworkInterfaceController,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1140可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图14所示的结构仅为示意,其并不对上述电子设备的结构造成限定。例如,电子设备1100还可包括比图14中所示更多或者更少的组件,或者具有与图14所示不同的配置。
图15为实现本发明各个实施例的一种移动终端的硬件结构示意图,本发明中目标终端即为移动终端。
该移动终端1200电子设备1100包括但不限于:射频单元1210、网络模块1220、音频输出单元1230、输入单元1240、传感器1250、显示单元1260、用户输入单元1270、接口单元1280、存储器1290、处理器1300、以及电源1310等部件。电子设备1100本领域技术人员可以理解,图15中示出的移动终端结构并不构成对移动终端的限定,移动终电子设备1100端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明电子设备1100实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载移动终端、电子设备1100可穿戴设备、以及计步器等。
其中,处理器1300,用于确定目标检测项目;获取门锁的锁舌状态;判断目标检测项目与锁舌状态是否符合对应关系;当不符合时,则确定门锁发生故障。
应理解的是,本发明实施例中,1210可用于收发信息或通话过程中,信号电子设备1100的接收和发送,具体的,将来自基站的下行数据接收后,给处理器1300处理;另外,将上行的电子设备1100数据发送给基站。通常,1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,1210还可以通过无线通信系统与网络和其他设电子设备1100备通信。
移动终端通过网络模块1220为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元1230可以将1210或网络模块1220接收的或者在存储器1290中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1230还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1230包括扬声器、蜂鸣器以及受话器等。
输入单元1240用于接收音频或视频信号。输入单元1240可以包括图形处理器(GraphicsProceSSingUnit,GPU)1041和麦克风1242,图形处理器1241对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1260上。经图形处理器1241处理后的图像帧可以存储在存储器1290(或其它存储介质)中或者经由1210或网络模块1220进行发送。麦克风1242可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由1210发送到移动通信基站的格式输出。
移动终端100还包括至少一种传感器1250,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1261的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1261和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器1250还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元1260用于显示由用户输入的信息或提供给用户的信息。显示单元1260可包括显示面板1261,可以采用液晶显示器(LiquidCrystalDisplay,LCD)、有机发光二极管(OrganicLight-EmiTTingDiode,OLED)等形式来配置显示面板1261。
用户输入单元1270可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1270包括触控面板1271以及其他输入设备1272。触控面板1271,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1271上或在触控面板1271附近的操作)。触控面板1271可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1300,接收处理器1300发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1271。除了触控面板1271,用户输入单元1270还可以包括其他输入设备1272。具体地,其他输入设备1272可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板1271可覆盖在显示面板1261上,当触控面板1271检测到在其上或附近的触摸操作后,传送给处理器1300以确定触摸事件的类型,随后处理器1300根据触摸事件的类型在显示面板1261上提供相应的视觉输出。虽然在图15中,触控面板1271与显示面板1261是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1271与显示面板1261集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元1280为外部装置与移动终端100连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1280可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器1290可用于存储软件程序以及各种数据。存储器1290可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1290可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1300是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器1290内的软件程序和/或模块,以及调用存储在存储器1290内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器1300可包括一个或多个处理单元;优选的,处理器1300可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1300中。
移动终端100还可以包括给各个部件供电的电源1310(比如电池),优选的,电源1310可以通过电源管理系统与处理器1300逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,移动终端100包括一些未示出的功能模块,在此不再赘述。
本发明实施例还提供一种移动终端,包括处理器1300,存储器1290,存储在存储器1290上并可在所述处理器1300上运行的计算机程序,该计算机程序被处理器1300执行时实现上述信息方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述信息方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(RandomAccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (11)

1.一种目标检测方法,其特征在于,所述方法包括:
获取待检测图像,对所述待检测图像中的目标对象进行目标检测,得到所述目标对象对应的目标位置特征;
获取所述目标位置特征与至少一个位置参考特征之间的相似度,所述位置参照特征是基于多个样本图像中目标参照对象的位置确定得到的;
基于所述相似度和对应的相似度阈值,得到检测结果。
2.根据权利要求1所述的方法,其特征在于,在所述获取待检测图像之前,所述方法还包括:
获取所述多个样本图像,所述样本图像中包括已标注的目标参照对象;
从各所述样本图像中提取各所述目标参照对象对应的样本目标特征;
对各所述样本目标特征进行聚类处理,根据各聚类结果中的中心特征生成所述至少一个位置参考特征。
3.根据权利要求1所述的方法,其特征在于,所述基于所述相似度和对应的相似度阈值,得到检测结果,包括:
确定所述相似度是否大于相似度阈值;
若大于,则确定所述待检测图像中存在目标对象。
4.根据权利要求1至3任一所述的方法,其特征在于,所述基于所述相似度和对应的相似度阈值,得到检测结果之后,包括:
若所述检测结果表征所述待检测图像中存在目标对象,则根据所述待检测图像生成预警信息;
将所述预警信息发送至目标终端。
5.一种目标检测方法,其特征在于,所述方法应用于智能门锁,所述方法包括:
获取所述智能门锁采集的待检测图像,对所述待检测图像中的目标对象进行目标检测,得到与所述目标对象对应的目标位置特征;
获取所述目标位置特征与至少一个位置参考特征之间的相似度,所述位置参考特征是基于多个样本图像中目标参照对象的位置确定得到的;
若所述相似度达到对应的相似度阈值,则根据所述待检测图像生成预警信息并发送至目标终端。
6.根据权利要求5所述的方法,其特征在于,所述智能门锁包括图像采集装置,所述获取所述智能门锁采集的待检测图像之前,还包括:
检测所述智能门锁的预设范围内是否存在人体;
若存在,则启动所述图像采集装置,所述图像采集装置用于采集所述待检测图像。
7.根据权利要求5所述的方法,其特征在于,所述若所述相似度达到对应的相似度阈值,则根据所述待检测图像生成预警信息并发送至目标终端,包括:
若所述相似度达到对应的相似度阈值,则获取所述目标位置特征对应的目标对象的身份信息;
根据所述目标对象的身份信息确定所述目标对象是否属于指定类型,所述指定类型的对象存在安全隐患;
若所述目标对象属于指定类型,则根据所述待检测图像生成预警信息并发送至所述目标终端。
8.一种目标检测装置,其特征在于,所述装置包括:
第一图像获取模块,用于获取待检测图像,对所述待检测图像中的目标对象进行目标检测,得到所述目标对象对应的目标位置特征;
第一相似度获取模块,用于获取所述目标位置特征与至少一个位置参照特征之间的相似度,所述位置参照特征是基于多个样本图像中目标参照对象的位置确定得到的;
第一结果确定模块,用于基于所述相似度和对应的相似度阈值,得到检测结果。
9.一种目标检测装置,其特征在于,所述装置应用于智能门锁,所述装置应用于智能门锁,所述装置包括:
第二图像获取模块,用于获取所述智能门锁采集的待检测图像,对所述待检测图像中的目标对象进行目标检测,得到与所述目标对象对应的目标位置特征;
第二相似度获取模块,用于获取所述目标位置特征与至少一个位置参考特征之间的相似度,所述位置参考特征是基于多个样本图像中目标参照对象的位置确定得到的;
发送模块,用于若所述相似度达到对应的相似度阈值,则根据所述待检测图像生成预警信息并发送至目标终端。
10.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的目标检测方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的目标检测方法的步骤。
CN202111145768.4A 2021-09-28 2021-09-28 目标检测方法、装置、电子设备及可读取存储介质 Pending CN114022896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111145768.4A CN114022896A (zh) 2021-09-28 2021-09-28 目标检测方法、装置、电子设备及可读取存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111145768.4A CN114022896A (zh) 2021-09-28 2021-09-28 目标检测方法、装置、电子设备及可读取存储介质

Publications (1)

Publication Number Publication Date
CN114022896A true CN114022896A (zh) 2022-02-08

Family

ID=80055035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111145768.4A Pending CN114022896A (zh) 2021-09-28 2021-09-28 目标检测方法、装置、电子设备及可读取存储介质

Country Status (1)

Country Link
CN (1) CN114022896A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697386A (zh) * 2022-02-24 2022-07-01 深圳绿米联创科技有限公司 信息通知方法、装置、终端及存储介质
CN117671601A (zh) * 2024-01-31 2024-03-08 四川广飞视信息技术有限公司 目标检测方法、装置、服务器及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697386A (zh) * 2022-02-24 2022-07-01 深圳绿米联创科技有限公司 信息通知方法、装置、终端及存储介质
WO2023160728A1 (zh) * 2022-02-24 2023-08-31 深圳绿米联创科技有限公司 信息通知方法、装置、终端及存储介质
CN117671601A (zh) * 2024-01-31 2024-03-08 四川广飞视信息技术有限公司 目标检测方法、装置、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN107944380B (zh) 身份识别方法、装置及存储设备
CN108520058B (zh) 一种商家信息推荐方法及移动终端
CN111260665B (zh) 图像分割模型训练方法和装置
CN111222493B (zh) 一种视频处理方法及装置
CN108494947B (zh) 一种图像分享方法及移动终端
CN108427873B (zh) 一种生物特征识别方法及移动终端
CN107977652B (zh) 一种屏幕显示内容的提取方法及移动终端
CN109005336B (zh) 一种图像拍摄方法及终端设备
CN107766403B (zh) 一种相册处理方法、移动终端以及计算机可读存储介质
CN108616448B (zh) 一种信息分享的路径推荐方法及移动终端
CN108683850B (zh) 一种拍摄提示方法及移动终端
CN114022896A (zh) 目标检测方法、装置、电子设备及可读取存储介质
CN108460817B (zh) 一种拼图方法及移动终端
WO2015003606A1 (en) Method and apparatus for recognizing pornographic image
CN113723185B (zh) 动作行为识别方法、装置、存储介质及终端设备
CN110807405A (zh) 一种偷拍装置检测方法及电子设备
CN110765924A (zh) 一种活体检测方法、装置以及计算机可读存储介质
CN114332925A (zh) 电梯内宠物检测方法、系统、装置及计算机可读存储介质
CN114399813A (zh) 人脸遮挡检测方法、模型训练方法、装置及电子设备
CN107832714B (zh) 活体鉴别方法、装置及存储设备
CN107895108B (zh) 一种操作管理方法和移动终端
CN109670105B (zh) 搜索方法及移动终端
KR101340287B1 (ko) 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템
CN110674294A (zh) 一种相似度确定方法及电子设备
US20220335725A1 (en) Monitoring presence or absence of an object using local region matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination