CN113505760B - 目标检测方法、装置、相关设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种目标检测方法、装置、相关设备及计算机可读存储介质，其中，所述目标检测方法包括：获取对监控区域的监控视频；针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域；基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域；对所述监控图像中的所述待检测目标区域进行目标检测。上述方案，能够提高目标检测的准确度。

Description

目标检测方法、装置、相关设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种目标检测方法、装置、相关设备及计算机可读存储介质。

背景技术

目前随着人工智能技术的快速发展，在目标检测、图像检索以及目标跟踪领域有着很好的场景应用，例如，随着监控摄像头的普及，监护人员远程观察被监护者(如婴幼儿、精神病患者等)行为状态渐渐受到广泛重视，特别是对被监护者的周围是否存在危险物品尤为注意。

针对危险物品的检测，一般采取深度卷积神经网络技术，对场景图片帧进行危险物品检测，首先需要收集不同环境下目标危险物品的图片以及一些复杂的背景图片进行人为的数据标定工作，主要是标定危险品目标框的像素位置。然后作为输入进行卷积网络的参数训练，在测试集上达到较好的准确度后就可以将网络投入到目标场景进行危险物品检测，将检测到的目标框作为最终的输出。但是，利用深度卷积网络训练的方案，要想到达较高的检测准确度，就需要获取大量的训练数据，这里就会包含较高的人为数据标注和数据存储成本，同时算法在部署上，也需要利用GPU这种高成本的图像处理机器进行算法运算。同时当前卷积网络也有一个共同的弊端就是跨场景后准确度会明显降低，目前解决方案都是针对识别不好的场景进行数据回收，加大数据训练量进行再次训练，那么这样对已经部署好的网络进行再度更新又提高了部署维护成本。

发明内容

本申请提供一种目标检测方法、装置、相关设备及计算机可读存储介质，能够提高目标检测的准确度。

为了解决上述问题，本申请第一方面提供了一种目标检测方法，所述目标检测方法包括：获取对监控区域的监控视频；针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域；基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域；对所述监控图像中的所述待检测目标区域进行目标检测。

为了解决上述问题，本申请第二方面提供了一种目标检测装置，所述目标检测装置包括：数据获取模块，所述数据获取模块用于获取对监控区域的监控视频；处理模块，所述处理模块用于针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域；匹配模块，所述匹配模块用于基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域；目标检测模块，所述目标检测模块用于对所述监控图像中的所述待检测目标区域进行目标检测。

为了解决上述问题，本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面的目标检测方法。

为了解决上述问题，本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的目标检测方法。

为了解决上述问题，本申请第四方面提供了一种可穿戴设备，所述可穿戴设备用于对监控区域进行拍摄；所述可穿戴设备包括摄像组件，所述摄像组件容置于外壳的内部，所述外壳的两侧分别设置有一紧固带，所述摄像组件的上部设置有一套带。

本发明的有益效果是：区别于现有技术的情况，本申请通过获取对监控区域的监控视频，先针对监控视频的多帧监控图像，对多帧监控图像进行处理，确定至少一个候选目标区域，然后基于多帧监控图像中的相邻帧，对所有候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域，于是可以对监控图像中的待检测目标区域进行目标检测。因此通过对监控区域进行监视，可以先对属于主要位置的候选目标区域进行识别，再利用连续帧上匹配的候选目标区域进行目标检测，可以有效的提高检测的速度和准确性。

附图说明

图1是本申请目标检测方法一实施例的流程示意图；

图2是本申请可穿戴设备一实施例的结构示意图；

图3是图1中步骤S12一实施例的流程示意图；

图4是本申请目标检测方法一应用场景中对监控图像进行色彩空间转换后的监控图像的显示示意图；

图5是本申请目标检测方法一应用场景中二值化图像的显示示意图；

图6是图1中步骤S13一实施例的流程示意图；

图7是本申请目标检测方法一应用场景中相邻两帧监控图像的候选目标区域的显示示意图；

图8是图6中步骤S132一实施例的流程示意图；

图9是图8中步骤S1324一实施例的流程示意图；

图10是图9中步骤S13243一实施例的流程示意图；

图11是图1中步骤S14一实施例的流程示意图；

图12是本申请目标检测方法另一实施例的流程示意图；

图13是本申请目标检测装置一实施例的框架示意图；

图14是本申请电子设备一实施例的框架示意图；

图15是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请目标检测方法一实施例的流程示意图。具体而言，本实施例的目标检测方法可以包括如下步骤：

步骤S11：获取对监控区域的监控视频。

通过设置数据采集装置对需要监测的监控区域进行拍摄，可以得到对应的监控视频。监控视频包括连续帧监控图像，连续帧监控图像可以从数据采集装置拍摄的视频流获取，比如行车记录仪的监控视频，连续帧监控图像也可以是利用监控摄像头实时采集。

在一实施例中，监护人员需要远程观察被监护者(如婴幼儿、精神病患者等)的行为状态，特别是需要监控被监护者是否手持危险物品。此时，则需要对被监护者的手部区域进行监测，即监控区域为手部区域。由于监控区域会随着被监护者移动，因此可以利用穿戴于人体上的数据采集装置，来获取对人体的手部区域的监控视频。

本申请还提供一种可穿戴设备，上述数据采集装置可以为该可穿戴设备。具体地，请结合图2，图2是本申请可穿戴设备一实施例的结构示意图，可穿戴设备20可以用于对监控区域进行拍摄，可穿戴设备20包括摄像组件200，摄像组件200容置于外壳202的内部，外壳202的两侧分别设置有一紧固带204，摄像组件200的上部设置有一套带206。摄像组件200包括无线摄像头，可以将拍摄到的画面通过网络传输到服务器端进行图像识别分析，外壳202是一种凹槽式外壳，将摄像组件200容置于外壳202的内部，可以防止摄像组件200受到碰撞而损坏，设置于摄像组件200的上部的套带206可以套在被监护者的脖子上，而分别设置在外壳202的两侧的紧固带204可以将作为胸带将摄像组件200固定在被监护者身上，由外壳202、紧固带204和套带206相互配合，可以确保摄像组件200固定在被监护者的胸前，通过调整紧固带204和套带206的长度从而可以确定摄像组件200的摄像头位置，以便于获取到胸前手部运动区域的高清图片。利用可穿戴设备20，可以不受监控场景限制并能近距离获取到手部区域的高质量的连续帧监控图像。

进一步地，可穿戴设备20还包括处理器（未图示），可穿戴设备20的处理器可以执行本申请提供的目标检测方法。

在其他实施例中，可穿戴设备20可以包括传输模块（未图示），于是，可穿戴设备20可以通过传输模块将拍摄的监控视频传输到手机等目标设备中，然后由目标设备中的处理器执行本申请的目标检测方法。使得监护人员可以利用目标设备远程观察被监护者的行为状态。

步骤S12：针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域。

关于候选目标区域的选择，可以采取子窗口滑动的方法，通过对多帧监控图像进行从左往右、从上到下的滑动，每次滑动时候对当前窗口进行特征提取后进行相似度计算，得到匹配成功的区域。

然而，在远程监控被监护者的行为状态的应用场景下，危险物品在监控画面中的出现可以有一个危险级别判定方法，即出现在手部区域认定具有高危险级别，出现在非手部区域可以认定为低危险级别。因此，可以利用基于肤色识别的方法来对高危险级别的候选目标区域进行识别匹配，以优化计算速度。具体地，请结合图3，图3是图1中步骤S12一实施例的流程示意图，上述步骤S12具体可以包括：

步骤S121：对所述监控图像进行色彩空间转换，将RGB色彩空间转换到YCrCb色彩空间，得到转换后的监控图像。

步骤S122：根据设定像素阈值，得到所述转换后的监控图像的二值化图像。

步骤S123：对所述二值化图像进行去噪处理，选取面积大于设定阈值的区域，作为肤色区域。

步骤S124：基于所述肤色区域确定所述候选目标区域。

可以理解的是，进行肤色检测需要选择合适的色彩空间，根据在图像中人类皮肤与背景的色彩分布有着明显区别，通常使用图像像素的色度分量而不是亮度分量进行肤色检测。一方面是因为不同种族的肤色差异(例如，黑人与白人)主要是由亮度差异的区别引起的，而不是色度分量；另一方面是仅考虑色度分量，图像的特征空间从三维减少到二维，可以降低肤色检测的计算复杂度。在RGB色彩空间中，亮度分量和色度分量未区分，而且特征空间是三维的，而不是肤色检测所需要的二维特征空间，因此，本申请在获取到监控图像后，需要对监控图像进行色彩空间转换，将RGB色彩空间转换到YCrCb色彩空间，以得到转换后的监控图像，如图4所示。然后需要对转换后的监控图像在Cr通道下进行全局阈值二值化处理，以将肤色区域和背景区域进行分类，便于候选目标区域的确定，具体地，可以利用转换后的监控图像中皮肤区域与背景区域的差异，把图像分别设置为两个不同的级别，选取一个合适的像素阈值，以确定某个像素是皮肤区域还是背景区域；如图5所示，将图4所示的转换后的监控图像，在Cr通道下进行全局阈值二值化，像素值大于设定像素阈值γ的像素确定为肤色像素，将大于设定像素阈值γ的像素的灰度值改为255，小于等于设定像素阈值γ的像素的灰度值改为0，从而得到二值化图像。接着，可以对二值化图像进行去噪处理，具体可以采用开运算方式进行去噪，先对二值化图像进行腐蚀操作，以消除图像中的噪点和细小尖刺，断开窄小的连接，再对腐蚀后的图像进行膨胀操作，恢复二值化图像中的明显特征，然后，可以过滤掉小面积的区域，选取肤色像素所形成的面积轮廓大于设定阈值的区域来作为肤色区域；于是，可以基于肤色区域确定候选目标区域，便于后续在目标区域内进行子窗口滑动来进行目标检测。

在一实施例中，可以将肤色区域的最大外接矩形作为候选目标区域；在其他实施例中，也可以将肤色区域的最大外接矩形扩大设定倍数的外接矩形作为候选目标区域。

步骤S13：基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域。

步骤S14：对所述监控图像中的所述待检测目标区域进行目标检测。

可以理解的是，在进行肤色区域等重要区域的识别匹配后，可以基于肤色区域确定候选目标区域，然后在候选目标区域进行子窗口滑动来进行目标检测；然而，对于单帧监控图像来说，可能由于运动模糊等因素的影响，而导致目标检测失败，同时对于单帧监控图像采取肤色区域检测来确定候选目标区域会有一定的误检，因此需要采取对多帧监控图像中的相邻帧监控图像进行目标匹配的方案，以过滤掉一些突发且非连续的误检区域，即对连续多帧匹配成功的候选目标区域来作为待检测目标区域进行目标检测。

上述方案，通过获取对监控区域的监控视频，先针对监控视频的多帧监控图像，对多帧监控图像进行处理，确定至少一个候选目标区域，然后基于多帧监控图像中的相邻帧，对所有候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域，于是可以对监控图像中的待检测目标区域进行目标检测。因此通过对监控区域进行监视，可以先对属于主要位置的候选目标区域进行识别，再利用连续帧上匹配的候选目标区域进行目标检测，可以有效的提高检测的速度和准确性。

进一步地，请结合图6，图6是图1中步骤S13一实施例的流程示意图。在一实施例中，上述步骤S13具体可以包括：

步骤S131：对于当前帧监控图像，获取所述当前帧监控图像对应的每个第一候选目标区域与前一帧监控图像对应的每个第二候选目标区域之间的距离。

步骤S132：基于第一候选目标区域与第二候选目标区域之间的距离，确定相邻两帧监控图像之间匹配成功的第一候选目标区域与第二候选目标区域，作为待检测目标区域。

通过上述步骤S12可以基于连续多帧监控图像的肤色区域确定候选目标区域，如图7所示，图7左侧显示有第t-1帧监控图像的第二候选目标区域，图7右侧显示有第t帧监控图像的第一候选目标区域，将手部区域在第t-1帧监控图像的第二候选目标区域标记为A_t-1，误检区域也被检测为第二候选目标区域，其标记为B_t-1，那么在第t帧监控图像，对应的手部区域和误检区域对应的第一候选目标区域表示为A_t、B_t，于是，利用连续帧间目标运动连续性这一特征，可以根据第一候选目标区域与第二候选目标区域之间的距离来对相同区域进行匹配。

具体地，第t-1帧监控图像的第二候选目标区域和第t帧监控图像的第一候选目标区域之间的距离d_m可以表示为：d_m=[(p^m _t-1)²+(p^m _t)²]^0.5，其中，m∈(A,B...)，p^m _t表示第t帧监控图像中第m个第一候选目标区域的中心坐标点。因此，通过逐个计算相连帧监控图像的候选目标区域之间的距离，在第t-1帧监控图像的第二候选目标区域和第t帧监控图像的第一候选目标区域具有最近距离时即表示匹配成功，作为待检测目标区域。而在前后帧监控图像的候选目标区域匹配成功，得到待检测目标区域后，则可以在待检测目标区域上进行目标检测，即可在连续帧上进行目标检测。因此，利用在连续帧上匹配的待检测目标区域进行目标检测可以有效的提高检测的准确性，可以避免单帧监控图像因为视角不同或者运动模糊等因素而导致目标检测失败的情况。

进一步地，请结合图8，图8是图6中步骤S132一实施例的流程示意图。在一实施例中，上述步骤S132具体可以包括：

步骤S1321：对于任意所述第二候选目标区域，确定与该第二候选目标区域之间的距离最近的第一候选目标区域。

步骤S1322：判断距离最近的第一候选目标区域的个数是否大于1。若与该第二候选目标区域之间的距离最近的第一候选目标区域的个数为1，则执行步骤S1323；若与该第二候选目标区域之间的距离最近的第一候选目标区域的个数大于1，则执行步骤S1324。

步骤S1323：确定该第二候选目标区域和与其距离最近的第一候选目标区域匹配成功，作为待检测目标区域。

步骤S1324：根据运动相似性来确定该第二候选目标区域和与其距离最近的第一候选目标区域中的一个匹配成功，作为待检测目标区域。

可以理解的是，在利用连续帧间目标运动连续性这一特征，根据第一候选目标区域与第二候选目标区域之间的距离来对相同区域进行匹配时，可能存在误匹配的情况，例如图7所示，第t-1帧监控图像的A_t-1与第t帧监控图像的A_t、B_t的欧式距离相等，则不知道该如何匹配，若随机匹配可能出现误匹配情况，即A_t-1可能与B_t匹配，因此在与第二候选目标区域之间的距离最近的第一候选目标区域的个数大于1的条件下，需要去除误匹配的情况，根据运动相似性来确定该第二候选目标区域和与其距离最近的第一候选目标区域中的一个匹配成功，以作为待检测目标区域。

进一步地，请结合图9，图9是图8中步骤S1324一实施例的流程示意图。在一实施例中，上述步骤S1324具体可以包括：

步骤S13241：提取与所述第二候选目标区域距离最近的每个所述第一候选目标区域在所述当前帧监控图像中的第一中心坐标以及第一Harris角点坐标，提取所述第二候选目标区域在所述前一帧监控图像中的第二中心坐标以及第二Harris角点坐标。

步骤S13242：对于每个所述第一候选目标区域，根据其对应的第一中心坐标和所述第二中心坐标，得到目标区域的位置运动矢量，根据其对应的第一Harris角点坐标和所述第二Harris角点坐标，得到目标区域的特征点运动矢量。

步骤S13243：根据每个所述第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量，得到所述第二候选目标区域和与其距离最近的所有第一候选目标区域之间的第一运动相似度。

步骤S13244：确定第一运动相似度大于预设阈值的第一候选目标区域与所述第二候选目标区域匹配成功，作为待检测目标区域。

以图7所示，第t-1帧监控图像的第二候选目标区域A_t-1与第t帧监控图像的第一候选目标区域A_t、B_t的欧式距离相等，于是，可以提取第一候选目标区域A_t、B_t在第t帧监控图像中的第一中心坐标以及第一Harris角点坐标，第一中心和第一Harris角点均为第一候选目标区域的特征点，其中，第一中心为第一候选目标区域的中心，第一Harris角点的数量可以有多个；还可以提取第二候选目标区域A_t-1在第t-1帧监控图像中的第二中心坐标以及第二Harris角点坐标，第二中心和第二Harris角点均为第二候选目标区域的特征点，其中，第二中心为第二候选目标区域的中心，第二Harris角点的数量可以有多个。将第一候选目标区域的特征点与第二候选目标区域的特征点进行匹配，得到特征点集为：

p_Rt,Rt-1={(p^c _t,p^c _t-1),(p¹ _t,p¹ _t-1),(p² _t,p² _t-1),...,(pⁿ _t,pⁿ _t-1)}；

其中，p_Rt,Rt-1表示第t-1帧监控图像的第二候选目标区域与第t帧监控图像的第一候选目标区域的特征点数据集，而(p^c _t,p^c _t-1)表示匹配上的两个候选目标区域的中心坐标，(pⁿ _t,pⁿ _t-1)表示在两个候选目标区域匹配的第n个Harris角点的坐标，于是特征点数据集p_Rt,Rt-1包括两种类型的坐标点集，一种是前后帧监控图像的候选目标区域的中心点，一种是前后帧监控图像的候选目标区域匹配的Harris角点。于是，根据前后帧监控图像的候选目标区域匹配的Harris角点坐标，可以得到目标区域的特征点运动矢量，根据前后帧监控图像的候选目标区域匹配的中心坐标，可以得到目标区域的位置运动矢量，然后可以根据前后帧监控图像匹配的候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量，得到前后帧监控图像匹配的候选目标区域之间的第一运动相似度，因为前后帧相同目标的连续性，其形变以及外观基本变化不是很大，所以目标区域的位置变化与目标区域上特征点的运动矢量变化很相似，即第一运动相似度大于预设阈值的前后帧监控图像的两个候选目标区域才是正确的匹配，故而可以去除图7中A_t-1与B_t误匹配的情况。

进一步地，请结合图10，图10是图9中步骤S13243一实施例的流程示意图。在一实施例中，上述步骤S13243具体可以包括：

步骤S132431：对于每个所述第一候选目标区域，将该第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量进行极坐标转换，得到该第一候选目标区域对应的目标区域的位置极坐标和目标区域的特征点极坐标。

步骤S132432：计算该第一候选目标区域对应的目标区域的位置极坐标和目标区域的特征点极坐标之间的差值。

步骤S132433：基于所述差值，利用logistic函数计算得到该第一候选目标区域对应的目标区域的位置与目标区域的特征点之间的第一运动相似度，作为该第一候选目标区域与所述第二候选目标区域之间的第一运动相似度。

具体地，对于前后帧监控图像所匹配的第一候选目标区域和某一第二候选目标区域来说，该两个匹配的候选目标区域中任意两个匹配的特征点运动矢量已经求得，于是可以将匹配的特征点(pⁿ _t,pⁿ _t-1)的运动矢量转换成极坐标形式：

vⁿ _t=(rⁿ _t,θⁿ _t)={[(dx)²+(dy)²]^0.5,atan2(dy/dx)}；

其中，vⁿ _t表示第t帧上pⁿ _t这个点经过第t-1帧上vⁿ _t-1运动过来的极坐标，dx、dy是匹配的特征点在坐标系上的投影长度，atan2是反切函数，于是，匹配的Harris角点与匹配的区域中心点都可以转化成极坐标形式，得到对应的目标区域的位置极坐标和目标区域的特征点极坐标。于是，可以计算所匹配的目标区域中，目标区域的位置极坐标v^c _t和目标区域的特征点极坐标vⁿ _t之间的差值dⁿ _t，即：

dⁿ _t=dis(v^c _t,vⁿ _t)=[(r^c _t)²+(rⁿ _t)²-2r^c _trⁿ _tcos(θ^c _t-θⁿ _t)]^0.5；

再由dⁿ _t这个差值并利用logistic函数计算出匹配的目标区域的位置与目标区域的特征点之间的第一运动相似度：

Wⁿ _t=b*[1-1/(1+e^-x)],z=dⁿ _t；

其中，b是尺度参数，实际应用时可取值2，Wⁿ _t表示第t帧的某个第一候选目标区域所匹配上的第n个Harris角点与该第一候选目标区域的中心的运动相似度，即当dⁿ _t差值越小，Wⁿ _t值就越大，Wⁿ _t∈(0,1]，由于Harris角点可以有多个，因此，对该第一候选目标区域的所有Harris角点均计算得到对应的W_t，然后进行加权平均，即可得到最终的第一运动相似度，最终的第一运动相似度大于预设阈值即为运动相似，即前后帧对应的两个候选目标区域匹配成功，否则，该两个候选目标区域作为误匹配丢弃。

进一步地，请结合图11，图11是图1中步骤S14一实施例的流程示意图。在一实施例中，上述步骤S14具体可以包括：

步骤S141：针对所述多帧监控图像，对所述待检测目标区域进行检测，得到目标检测结果。

步骤S142：判断所述目标检测结果为成功的监控图像的帧数是否超过预设帧数或预设比例。若目标检测结果为成功的监控图像的帧数超过预设帧数或预设比例，则执行步骤S143；若目标检测结果为成功的监控图像的帧数不超过预设帧数或预设比例，则检测失败，可以选择重新进行检测或者结束检测。

步骤S143：确定检测到预设目标。

可以理解的是，对于目标检测，可以预先设置所需的目标图像，以从监控视频中检测到预设目标。在监护人员需要远程观察被监护者是否手持危险物品的情况下，可以预先对被监护者的居住环境下所用的常见的危险物品进行拍照登记，形成预设目标图像集，预设目标图像集可以为登记表，表示为：

dangoods={[a_left,a_right,a_front,a_back],...,[m_left,ma_right,m_front,m_back]}，表中记录不同监控环境中的危险物品a,...,m，同时每个危险物品有前后左右a_left,a_right,a_front,a_back四个视角的照片。于是在得到前后帧监控图像中匹配成功的待检测目标区域后，待检测目标区域为连续帧上的手部肤色区域所确定的检测区域，于是可以在连续帧上对待检测目标区域进行危险物品的目标检测。在对每一帧上的待检测目标区域进行目标检测后，可以得到目标检测结果，一般来说，在连续帧监控图像中稳定出现的有真实的手部区域，再加上少量可以稳定匹配上的误检区域，因此，若目标检测结果为成功的监控图像的帧数超过预设帧数或预设比例，则可以确定检测到预设目标，例如对连续m帧监控图像进行危险物品检测，结果有超过一半帧是检测成功，则为检测到危险物品。

请参阅图12，图12是本申请目标检测方法另一实施例的流程示意图。具体而言，预设目标为危险物品，所述待检测目标区域为手部区域，本实施例的目标检测方法可以包括如下步骤：

步骤S21：获取对监控区域的监控视频。

步骤S22：针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域。

步骤S23：基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域。

步骤S241：针对所述多帧监控图像，对所述待检测目标区域进行检测，得到目标检测结果。

步骤S242：判断所述目标检测结果为成功的监控图像的帧数是否超过预设帧数或预设比例。若目标检测结果为成功的监控图像的帧数超过预设帧数或预设比例，则执行步骤S143；若目标检测结果为成功的监控图像的帧数不超过预设帧数或预设比例，则检测失败，可以选择重新进行检测或者结束检测。

步骤S243：确定检测到预设目标。

本实施例中的步骤S21至S23、步骤S241至S243，与前述实施例中的步骤S11至S13、步骤S141至S143基本相同，此处不再赘述。

步骤S25：基于所述多帧监控图像中的相邻帧，计算所述危险物品与所述手部区域之间的第二运动相似度。

步骤S26：基于所述第二运动相似度，确定所述危险物品是否为手持的。若确定危险物品为手持的，则执行步骤S27。

步骤S27：进行报警处理。

在确定检测到危险物品后，需要进一步判断此时危险物品是否为手持的，在实际情况下，有时候露出的手臂导致肤色区域的最大外接矩形会很长，那么以此为待检测目标区域则会存在危险物品虽然存在于待检测目标区域，并非在手部上的情况，这种非高危险性的检测结果就会带来误检的情况，所以需要在步骤S243之后增加步骤S25至S27，以对危险物品是否为手持进行分析，具体地，由于前述步骤采取了运动相似性来确定前后帧监控图像的手部区域的准确定位，那么手持的危险物品的运动也与手部区域的运动是一致的，因此，可以对连续帧监控图像中检测出的危险物品提取匹配的Harris角点，并计算危险物品的Harris角点与手部区域的中心点的运动相似度，即危险物品与手部区域之间的第二运动相似度，从而可以确定危险物品是否为手持的，若确定危险物品为手持的，则可以进行最终的报警处理。

关于报警处理，可以由拍摄监控视频的可穿戴设备进行报警，也可以由特定设备（例如家长手机）进行报警；可穿戴设备或者特定设备可以通过发出声音或闪光、震动、文本通知、语音合成通知等形式进行报警，以提醒监护者及时使被监护者脱离危险，另外，对于不同的危险物品，可以设置不同的报警策略，通过调整设备的扬声器的音量或者闪光报警灯的闪烁频率来对应不同的危险物品。

请参阅图13，图13是本申请目标检测装置一实施例的框架示意图。本实施例中的目标检测装置130包括相互连接的数据获取模块1300、处理模块1302、匹配模块1304和目标检测模块1306；所述数据获取模块1300用于获取对监控区域的监控视频；所述处理模块1302用于针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域；所述匹配模块1304用于基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域；所述目标检测模块1306用于对所述监控图像中的所述待检测目标区域进行目标检测。

在一实施例中，所述监控区域为手部区域；所述数据获取模块1300执行获取对监控区域的监控视频的步骤，包括：利用穿戴于人体上的数据采集装置，获取对所述人体的手部区域的监控视频。

在一实施例中，所述处理模块1302执行针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域的步骤，包括：对所述监控图像进行色彩空间转换，将RGB色彩空间转换到YCrCb色彩空间，得到转换后的监控图像；根据设定像素阈值，得到所述转换后的监控图像的二值化图像；对所述二值化图像进行去噪处理，选取面积大于设定阈值的区域，作为肤色区域；基于所述肤色区域确定所述候选目标区域。

在一实施例中，所述处理模块1302执行基于所述肤色区域确定所述候选目标区域的步骤，包括：将所述肤色区域的最大外接矩形作为所述候选目标区域；或者将所述肤色区域的最大外接矩形扩大设定倍数的外接矩形作为所述候选目标区域。

在一实施例中，所述匹配模块1304执行基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域的步骤，包括：对于当前帧监控图像，获取所述当前帧监控图像对应的每个第一候选目标区域与前一帧监控图像对应的每个第二候选目标区域之间的距离；基于第一候选目标区域与第二候选目标区域之间的距离，确定相邻两帧监控图像之间匹配成功的第一候选目标区域与第二候选目标区域，作为待检测目标区域。

在一实施例中，所述匹配模块1304执行基于第一候选目标区域与第二候选目标区域之间的距离，确定相邻两帧监控图像之间匹配成功的第一候选目标区域与第二候选目标区域，作为待检测目标区域的步骤，包括：对于任意所述第二候选目标区域，确定与该第二候选目标区域之间的距离最近的第一候选目标区域；判断距离最近的第一候选目标区域的个数是否大于1；若否，则确定该第二候选目标区域和与其距离最近的第一候选目标区域匹配成功，作为待检测目标区域；若是，则根据运动相似性来确定该第二候选目标区域和与其距离最近的第一候选目标区域中的一个匹配成功，作为待检测目标区域。

在一实施例中，所述匹配模块1304执行根据运动相似性来确定该第二候选目标区域和与其距离最近的第一候选目标区域中的一个匹配成功，作为待检测目标区域的步骤，包括：提取与所述第二候选目标区域距离最近的每个所述第一候选目标区域在所述当前帧监控图像中的第一中心坐标以及第一Harris角点坐标，提取所述第二候选目标区域在所述前一帧监控图像中的第二中心坐标以及第二Harris角点坐标；对于每个所述第一候选目标区域，根据其对应的第一中心坐标和所述第二中心坐标，得到目标区域的位置运动矢量，根据其对应的第一Harris角点坐标和所述第二Harris角点坐标，得到目标区域的特征点运动矢量；根据每个所述第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量，得到所述第二候选目标区域和与其距离最近的所有第一候选目标区域之间的第一运动相似度；确定第一运动相似度大于预设阈值的第一候选目标区域与所述第二候选目标区域匹配成功，作为待检测目标区域。

在一实施例中，所述匹配模块1304执行根据每个所述第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量，得到所述第二候选目标区域和与其距离最近的所有第一候选目标区域之间的第一运动相似度的步骤，包括：对于每个所述第一候选目标区域，将该第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量进行极坐标转换，得到该第一候选目标区域对应的目标区域的位置极坐标和目标区域的特征点极坐标；计算该第一候选目标区域对应的目标区域的位置极坐标和目标区域的特征点极坐标之间的差值；基于所述差值，利用logistic函数计算得到该第一候选目标区域对应的目标区域的位置与目标区域的特征点之间的第一运动相似度，作为该第一候选目标区域与所述第二候选目标区域之间的第一运动相似度。

在一实施例中，所述目标检测模块1306执行对所述监控图像中的所述待检测目标区域进行目标检测的步骤，包括：针对所述多帧监控图像，对所述待检测目标区域进行检测，得到目标检测结果；判断所述目标检测结果为成功的监控图像的帧数是否超过预设帧数或预设比例；若是，则确定检测到预设目标。

在一实施例中，所述预设目标为危险物品，所述待检测目标区域为手部区域；目标检测装置130还包括手持分析模块（未图示），在所述目标检测模块1306执行确定检测到预设目标的步骤之后，手持分析模块用于基于所述多帧监控图像中的相邻帧，计算所述危险物品与所述手部区域之间的第二运动相似度；基于所述第二运动相似度，确定所述危险物品是否为手持的；若是，则进行报警处理。

关于本申请目标检测装置实现目标检测方法的具体内容请参阅上述目标检测方法实施例中的内容，此处不再赘述。

请参阅图14，图14是本申请电子设备一实施例的框架示意图。电子设备140包括相互耦接的存储器1401和处理器1402，处理器1402用于执行存储器1401中存储的程序指令，以实现上述任一目标检测方法实施例的步骤。在一个具体的实施场景中，电子设备140可以包括但不限于：微型计算机、服务器。

具体而言，处理器1402用于控制其自身以及存储器1401以实现上述任一目标检测方法实施例的步骤。处理器1402还可以称为CPU（Central Processing Unit，中央处理单元）。处理器1402可能是一种集成电路芯片，具有信号的处理能力。处理器1402还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（Application Specific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable Gate Array, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1402可以由集成电路芯片共同实现。

上述方案，处理器1402通过获取对监控区域的监控视频，先针对监控视频的多帧监控图像，对多帧监控图像进行处理，确定至少一个候选目标区域，然后基于多帧监控图像中的相邻帧，对所有候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域，于是可以对监控图像中的待检测目标区域进行目标检测。因此通过对监控区域进行监视，可以先对属于主要位置的候选目标区域进行识别，再利用连续帧上匹配的候选目标区域进行目标检测，可以有效的提高检测的速度和准确性。

请参阅图15，图15是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质150存储有能够被处理器运行的程序指令1500，程序指令1500用于实现上述任一目标检测方法实施例的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、设备，可以通过其它的方式实现。例如，以上所描述的模型实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种目标检测方法，其特征在于，所述目标检测方法包括：

获取对监控区域的监控视频；

针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域；

基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域；

对所述监控图像中的所述待检测目标区域进行目标检测；

其中，所述基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域，包括：

对于当前帧监控图像，获取所述当前帧监控图像对应的每个第一候选目标区域与前一帧监控图像对应的每个第二候选目标区域之间的距离；

基于第一候选目标区域与第二候选目标区域之间的距离，确定相邻两帧监控图像之间匹配成功的第一候选目标区域与第二候选目标区域，作为待检测目标区域。

2.根据权利要求1所述的目标检测方法，其特征在于，所述监控区域为手部区域；

所述获取对监控区域的监控视频，包括：

利用穿戴于人体上的数据采集装置，获取对所述人体的手部区域的监控视频。

3.根据权利要求2所述的目标检测方法，其特征在于，所述针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域，包括：

对所述监控图像进行色彩空间转换，将RGB色彩空间转换到YCrCb色彩空间，得到转换后的监控图像；

根据设定像素阈值，得到所述转换后的监控图像的二值化图像；

对所述二值化图像进行去噪处理，选取面积大于设定阈值的区域，作为肤色区域；

基于所述肤色区域确定所述候选目标区域。

4.根据权利要求3所述的目标检测方法，其特征在于，所述基于所述肤色区域确定所述候选目标区域，包括：

将所述肤色区域的最大外接矩形作为所述候选目标区域；或者

将所述肤色区域的最大外接矩形扩大设定倍数的外接矩形作为所述候选目标区域。

5.根据权利要求1所述的目标检测方法，其特征在于，所述基于第一候选目标区域与第二候选目标区域之间的距离，确定相邻两帧监控图像之间匹配成功的第一候选目标区域与第二候选目标区域，作为待检测目标区域，包括：

对于任意所述第二候选目标区域，确定与该第二候选目标区域之间的距离最近的第一候选目标区域；

判断距离最近的第一候选目标区域的个数是否大于1；

若否，则确定该第二候选目标区域和与其距离最近的第一候选目标区域匹配成功，作为待检测目标区域；

若是，则根据运动相似性来确定该第二候选目标区域和与其距离最近的第一候选目标区域中的一个匹配成功，作为待检测目标区域。

6.根据权利要求5所述的目标检测方法，其特征在于，所述根据运动相似性来确定该第二候选目标区域和与其距离最近的第一候选目标区域中的一个匹配成功，作为待检测目标区域，包括：

提取与所述第二候选目标区域距离最近的每个所述第一候选目标区域在所述当前帧监控图像中的第一中心坐标以及第一Harris角点坐标，提取所述第二候选目标区域在所述前一帧监控图像中的第二中心坐标以及第二Harris角点坐标；

对于每个所述第一候选目标区域，根据其对应的第一中心坐标和所述第二中心坐标，得到目标区域的位置运动矢量，根据其对应的第一Harris角点坐标和所述第二Harris角点坐标，得到目标区域的特征点运动矢量；

根据每个所述第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量，得到所述第二候选目标区域和与其距离最近的所有第一候选目标区域之间的第一运动相似度；

确定第一运动相似度大于预设阈值的第一候选目标区域与所述第二候选目标区域匹配成功，作为待检测目标区域。

7.根据权利要求6所述的目标检测方法，其特征在于，所述根据每个所述第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量，得到所述第二候选目标区域和与其距离最近的所有第一候选目标区域之间的第一运动相似度，包括：

对于每个所述第一候选目标区域，将该第一候选目标区域对应的目标区域的位置运动矢量和目标区域的特征点运动矢量进行极坐标转换，得到该第一候选目标区域对应的目标区域的位置极坐标和目标区域的特征点极坐标；

计算该第一候选目标区域对应的目标区域的位置极坐标和目标区域的特征点极坐标之间的差值；

基于所述差值，利用logistic函数计算得到该第一候选目标区域对应的目标区域的位置与目标区域的特征点之间的第一运动相似度，作为该第一候选目标区域与所述第二候选目标区域之间的第一运动相似度。

8.根据权利要求1所述的目标检测方法，其特征在于，所述对所述监控图像中的所述待检测目标区域进行目标检测，包括：

针对所述多帧监控图像，对所述待检测目标区域进行检测，得到目标检测结果；

判断所述目标检测结果为成功的监控图像的帧数是否超过预设帧数或预设比例；

若是，则确定检测到预设目标。

9.根据权利要求8所述的目标检测方法，其特征在于，所述预设目标为危险物品，所述待检测目标区域为手部区域；

在所述确定检测到预设目标之后，所述目标检测方法还包括：

基于所述多帧监控图像中的相邻帧，计算所述危险物品与所述手部区域之间的第二运动相似度；

基于所述第二运动相似度，确定所述危险物品是否为手持的；

若是，则进行报警处理。

10.一种目标检测装置，其特征在于，所述目标检测装置包括：

数据获取模块，所述数据获取模块用于获取对监控区域的监控视频；

处理模块，所述处理模块用于针对所述监控视频的多帧监控图像，对所述多帧监控图像进行处理，确定至少一个候选目标区域；

匹配模块，所述匹配模块用于基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域；

目标检测模块，所述目标检测模块用于对所述监控图像中的所述待检测目标区域进行目标检测；

其中，所述匹配模块执行基于所述多帧监控图像中的相邻帧，对所述候选目标区域进行目标匹配，将匹配成功的候选目标区域作为待检测目标区域的步骤，包括：对于当前帧监控图像，获取所述当前帧监控图像对应的每个第一候选目标区域与前一帧监控图像对应的每个第二候选目标区域之间的距离；基于第一候选目标区域与第二候选目标区域之间的距离，确定相邻两帧监控图像之间匹配成功的第一候选目标区域与第二候选目标区域，作为待检测目标区域。

11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的目标检测方法。

12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的目标检测方法。

13.一种可穿戴设备，其特征在于，所述可穿戴设备用于对监控区域进行拍摄；所述可穿戴设备包括摄像组件，所述摄像组件容置于外壳的内部，所述外壳的两侧分别设置有一紧固带，所述摄像组件的上部设置有一套带；

所述可穿戴设备还包括处理器，所述处理器用于执行权利要求1至9任一项所述的目标检测方法；或所述可穿戴设备还包括传输模块，所述传输模块用于将所述可穿戴设备拍摄的监控视频传输到目标设备中，以使所述目标设备执行权利要求1至9任一项所述的目标检测方法。

Images