CN106791710B - 目标检测方法、装置和电子设备 - Google Patents

Abstract

公开了一种目标检测方法、装置和电子设备。所述方法包括：将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像；对所述全景原始图像进行降采样，以生成全景降采样图像；对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及在存储器中存储所述特定分路原始图像。因此，提升了场景监控系统的稳定性并降低了机械成本。

Description

目标检测方法、装置和电子设备

技术领域

本申请涉及图像处理领域，且更具体地，涉及一种目标检测方法、装置、电子设备、计算机程序产品和计算机可读存储介质。

背景技术

大场景的监控应用方面，如广场、车站、政府大院、博物馆、景区等是城市中人们进行政治、经济、文化等社会活动或交通活动的空间，通常是大量人流、车流聚集的场所，容易发生具有重大影响的社会事件。因此，这些地方也是监控应用的重中之重。

对这种大场景监控应用，如果安装普通枪机，只能看全景，看不清目标物体(诸如，人、车辆等)的细节；如果安装普通球机，虽能拉近看到目标物体的细节，但又不能兼顾全景。面对这种两难的情境，智能跟踪监控球技术的出现满足了这类场所的监控需求。

近年来，使用最多的智能跟踪监控球技术通常是枪球联动系统。枪球联动系统的前端由内置智能算法的全景枪机和跟踪球机组成，它能同时输出两路图像，一路为固定场景图像，另一路为智能目标跟踪图像。高清枪机内置智能算法，同时负责全景监控和智能分析，在识别到目标物体之后触发球机进行跟踪。负责跟踪的高清球机采用先进的复杂环境运动物体检测技术和目标跟踪技术，能够侦测锁定被监控区域中的目标物体，自动识别视觉范围内物体运动的方向，并自动控制云台对移动物体进行追踪，持续地将移动目标准确保持在画面中央，辅以自动变焦镜头，能对不同大小的目标物体自动调节画面放大倍数，保障图像的有效性，在系统覆盖区域内达到“人看脸、车看牌”的水平。

因此，枪球联动系统通过枪机和球机的结合，兼顾了全景和特写，使得目标物体在进入枪球联动系统视线范围内直至离开的这段时间内，整个场景的宏观状况以及目标物体的细节动作都能被清晰地传往监控值班中心，为值班中心调度提供了可靠的证据。

发明内容

枪球联动系统虽然实现了准确且迅速的跟踪，但是该方案的跟踪球机仍然只能跟踪其中一个目标附近的部分区域。枪球联动系统如想要实现多目标跟踪，则需要依赖于增加跟踪球机的数量，从而导致枪球联动的难度加大，成本显著增加，且不易于安装和维护。并且，由于跟踪球机是通过云台的机械传动和镜头的自动变焦来对目标物体进行跟踪和特写操作的，所以目标物体的跟踪速度和准确度易受机械转动速度和光学定焦速度等影响。

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种目标检测方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以实现更加高效且准确的场景监控。

根据本申请的一个方面，提供了一种目标检测方法，包括：将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像；对所述全景原始图像进行降采样，以生成全景降采样图像；对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及在存储器中存储所述特定分路原始图像。

根据本申请的另一方面，提供了一种目标检测装置，包括：拼接单元，用于将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像；降采样单元，用于对所述全景原始图像进行降采样，以生成全景降采样图像；初次检测单元，用于对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；查找单元，用于响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及分路存储单元，用于在存储器中存储所述特定分路原始图像。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的目标检测方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的目标检测方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的目标检测方法。

与现有技术相比，采用根据本申请实施例的目标检测方法、装置、电子设备、计算机程序产品和计算机可读存储介质，可以将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像，对所述全景原始图像进行降采样以生成全景降采样图像，对所述全景降采样图像执行初次图像检测以确定在所述全景降采样图像中是否存在关注区域，响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找与之对应的特定分路原始图像，并且在存储器中存储所述特定分路原始图像。因此，无需机械传动和自动变焦结构，即可进行目标物体的检测和特写操作，提升了场景监控系统的稳定性并降低了机械成本。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的目标检测操作的应用场景的示意图。

图2图示了根据本申请第一实施例的目标检测方法的流程图。

图3图示了根据本申请实施例的摄像头的设置方式的示意图。

图4图示了根据本申请实施例的全景拼接效果的示意图。

图5图示了根据本申请第二实施例的目标检测方法的流程图。

图6图示了根据本申请第三实施例的目标检测方法的流程图。

图7图示了根据本申请实施例的目标检测装置的框图。

图8图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，现有的以枪球联动系统为代表的智能跟踪监控球技术，实现成本较高，用户体验较差。

针对该技术问题，本申请的基本构思是提出一种目标检测方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其对若干台相机捕捉的高清静态图像和/或视频图像进行拼接，得到广角高清图像，对该高清图像降采样成低分辨率图像，对低分辨率广角图像进行目标识别，识别出若干个关注区域(ROI)(包括人、车辆、运动物体等)，然后按照识别结果记录与这些ROI对应的原始高清图像。因此，无需机械传动和自动变焦结构，即可进行目标物体的检测和特写操作，提升了场景监控系统的稳定性并降低了机械成本。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的目标检测操作的应用场景的示意图。

如图1所示，用于目标检测操作的应用场景包括目标检测设备100和目标物体200。

该目标物体200可以是任何类型的物体，包括有生命的物体和无生命的物体。例如，有生命的物体可以包括人和动物等；而无生命的物体可以包括车辆、机器人等。通常而言，该物体往往是在监控场景中可移动的物体。

该目标检测设备100用于对目标物体进行检测和后续可选的跟踪、身份识别、定位等操作。例如，该目标检测设备100可以包括多个摄像头110、和目标检测模块120。

每个摄像头110可以用于捕捉监控场景的分路原始图像。多个摄像头110中的每个摄像头可以具有不同的成像范围，并且相邻设置的两个摄像头的成像范围具有部分重叠。例如，所述多个摄像头110可以组成一个或多个摄像头阵列。例如，摄像头110所采集到的场景图像可以是单帧图像、连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。例如，该摄像头110可以是如单目相机、双目相机、多目相机等，另外，其可以用于捕捉灰度图，也可以捕捉带有颜色信息的彩色图。当然，本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制，只要能够获得输入图像的灰度或颜色信息即可。为了减小后续操作中的计算量，在一个实施例中，可以在进行分析和处理之前，将彩色图进行灰度化处理。当然，为了保留更大的信息量，在另一实施例中，也可以直接对彩色图进行分析和处理。

该目标检测模块120可以将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像；对所述全景原始图像进行降采样，以生成全景降采样图像；对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及在存储器中存储所述特定分路原始图像。

需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例不限于此。相反，本申请的实施例可以应用于可能适用的任何场景。例如，该目标物体200可以是一个或多个，类似地，该目标检测设备100也可以为一个或多个。

示例性方法

下面结合图1的应用场景来描述根据本申请各个实施例的目标检测方法。

图2图示了根据本申请第一实施例的目标检测方法的流程图。

如图2所示，根据本申请第一实施例的目标检测方法可以包括：

在步骤S110中，将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像。

为了实现图像拼接，首先需要恰当地安装和设置多个摄像头110，以使得所述多个摄像头中的每个摄像头可以具有不同的成像范围，并且相邻设置的两个摄像头的成像范围可以具有部分重叠。

为此，可以根据所要监控的视野和景深来调整各个摄像头的位置和参数。若要监控较广视野，则控制缩小摄像头的焦距，若要获得较多细节，则控制放大摄像头的焦距。例如，为了同时兼顾全景和特写，可以使用长焦摄像头的中长焦来进行图像捕捉。此外，在调整各个摄像头的焦距的同时，还可以调整各个摄像头的相对位置关系，在短焦的情况下，各个摄像头之间的距离可以较大，而在长焦的情况下，各个摄像头之间的距离可以较小，以使得摄像头获得的相邻图像之间存在重叠区域。

图3图示了根据本申请实施例的摄像头的设置方式的示意图。

如图3所示，摄像头110包括多个平行排列的摄像头CAM1、CAM2、CAM3、……、CAMn，其中n是大于等于2的自然数。相邻摄像头的画面之间有部分重叠区域，以满足拼接要求。

例如，平行排列的摄像头可以采用水平方式设置(成像中心线与地平面平行)、竖直方式设置(成像中心线与地平线垂直)、或者其他方式设置(成像中心线与地平线具有一固定夹角)。另外，平行排列的摄像头的成像中心线(镜头的光轴)可以是共面的或者非共面的。

需要说明的是，尽管这里以平行排列的多个摄像头为例进行了说明，但是本申请不限于此。例如，为了实现对于大场景的监控功能，该多个摄像头之间还可以采用非平行的方式进行排列，以获得更大的成像角度。非平行的方式可以是指每两个摄像头之间存在夹角、或者相邻的两个摄像头之间存在夹角。在非平行设置的情况下，为了获得规则的成像范围，多个摄像头还可以采用同心方式设置，即多个摄像头的成像中心线的延长线具有公共交点。替换地，出于为了弥补摄像头的成像参数之间的差异等原因，多个摄像头也可以采用非同心方式设置。总言之，多个摄像头之间可以以任何的相对位置关系进行设置，只要保证总成像范围覆盖期望的监控场景，并且相邻成像范围之间存在重叠区域即可。

接下来，可以通过多个摄像头分别获取监控场景的多个分路原始图像，并尝试对它们进行拼接。

具体地，从各个摄像头中依次读入各个分路原始图像。然后，例如可以提取相邻摄像头的重叠图像区域中的特征点并进行特征匹配，判断匹配特征点对的个数是否大于或等于阈值。如果是，通过特征点位置映射来将相邻摄像头的分路原始图像拼接起来。并且，通过针对每对相邻摄像头的分路原始图像反复执行上述操作，即可获得最终的全景原始图像。

如果上述操作无法获得正确的拼接结果，则可以重新根据所要监控的视野和景深来调整各个摄像头的位置和参数。

显然，除了通过特征匹配的方式来实现相邻图像的拼接之外，也可以采用其他的拼接方式。例如，通过经验值、或者出厂的默认设置来实现拼接。

图4图示了根据本申请实施例的全景拼接效果的示意图。

图4的上面部分别示出了从各个摄像头中依次读入的各个分路原始图像，而图4的下面部分示出了最终拼接而成的全景原始图像。

这里，假设摄像头100包括4个视角为60度的500万像素高清枪机，且相邻的两个高清枪机之间具有20度的重叠角度。那么，最终经过拼接以后形成的全景图像的总视角可以达到4*60-3*20＝180度，并且拼接后的全景图像的总分辨率达到几乎2000万像素。

在本申请的实施例中，考虑到在原图格式(RAW)下，2000万像素的图像文件大小通常为20MB(兆字节)左右，在这样的文件大小下，无论是直接存储、还是执行关注区域检测，都将占用大量的系统资源。尤其是在视频监控的应用场景中，通过需要关注连续的图像帧序列(即视频流)。以30帧每秒的监控视频帧率为例，一秒钟的视频文件将会占用20*30＝600MB的存储空间。显然，直接对如此高分辨率的全景原始图像进行处理将是成本巨大的。

为此，本发明人想到，可以首先在接下来的步骤中对它进行降采样处理。

在步骤S120中，对所述全景原始图像进行降采样，以生成全景降采样图像。

例如，可以对全景原始图像进行降采样，以生成其分辨率低于原始分辨率的全景降采样图像。

例如，将拼接而成的2000万像素广角高清图像降采样成1080p或720p低分辨率图像，其中1080p图像的分辨率为200万像素，而720p图像的分辨率为130万像素，从而大大降低了图像存储或图像检测的系统成本。

在步骤S130中，对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域。

例如，可以使用关注区域(ROI)检测算法来在所述全景降采样图像中检测关注区域。

下面，将以人脸区域作为ROI为例进行说明。显然，该ROI还可以是车辆、信号灯等其他可能的目标区域。

例如，典型的人脸检测算法包括：模板匹配模型，其不需要训练，基本的思想就是通过一个人脸模板与待检测图象匹配，寻找匹配的位置；肤色模型，通过统计学习的方法，估计出人脸肤色在Y-Cr-Cb颜色空间中的概率模型，然后对检测点的肤色通过训练的概率模型的估计判断该点是否属于人脸区域，然后再进一步判断；人工神经网络(ANN)与支持向量机(SVM)方法，其是基于机器学习的方法，以人脸像素作为分类器的输入，然后判断区域是否是人脸；以及Adaboost算法，其是目前人脸检测最为成功的算法之一，该算法的特点就是训练慢，检测快。

显然，本申请不限于此。无论是现有的、还是将来开发的人脸检测算法，都可以应用于根据本申请实施例的目标检测方法中，并且也应包括在本申请的保护范围内。

响应于在所述全景降采样图像中检测到关注区域，则根据本申请第一实施例的目标检测方法前进到步骤S140，否则，该方法结束。

在步骤S140中，响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像。

例如，一旦在所述全景降采样图像中检测到关注区域，则可以初步判断出需要检测的目标物体出现在监控场景中。

为了实现对于目标物体的身份识别等后续处理，往往期望能够获得关于该目标物体的更多细节。然而，由于全景降采样图像的分辨率已降低，如果仅仅基于它来进行后续操作，必然会导致处理效果变差。

因此，可以进一步查找与该关注区域对应的分路原始图像。

为此，例如，可以在步骤S110中拼接全景原始图像的过程中，建立一个位置映射关系(例如，坐标系)，用于标识每个分路原始图像在全景原始图像中所占的区域范围。

这样，可以根据关注区域在全景降采样图像中的位置(即，它在全景原始图像中的位置)，确定出该位置属于那个区域范围及其位置坐标，从而寻找到在拼接之前该关注区域属于哪个分路原始图像。

无须赘述的是，在存在多个关注区域的情况下，可以分别确定出与每个关注区域对应的分路原始图像。一个关注区域可以对应于一个或多个分路原始图像，同样地，多个关注区域也可以对应于一个分路原始图像。

在步骤S150中，在存储器中存储所述特定分路原始图像。

可以在存储器中存储与全景降采样图像相比具有更高分辨率的特定分路原始图像，以用于后续处理。

例如，上述存储操作可以是存储在内存之中以进行身份识别等操作，也可以是存储在硬盘中以便在后续身份识别等操作中再次读取。

这样，可以避免了直接存储或处理广角高清图像所带来的系统资源不足的问题，将系统资源降低为上述情况所占用资源的n分之一，n为参与拼接的分路图像个数。

由此可见，采用根据本申请第一实施例的目标检测方法，可以将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像，对所述全景原始图像进行降采样以生成全景降采样图像，对所述全景降采样图像执行初次图像检测以确定在所述全景降采样图像中是否存在关注区域，响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找与之对应的特定分路原始图像，并且在存储器中存储所述特定分路原始图像。因此，无需机械传动和自动变焦结构，即可进行目标物体的检测和特写操作，提升了场景监控系统的稳定性并降低了机械成本。

具体来说，本申请第一实施例的好处是通过对多相机图像进行多图像拼接重构和原图像重新获取，实现了数倍的清晰缩放。例如，在图4所示的上述实例中，来自4个视角为60度的相机的4个500万像素的分路图像被拼接为视角为180度的一个近2000万像素的全景图像，再将它降采样为200万像素的1080p全景图像以进行ROI检测，在检测到ROI之后又重新获取与该ROI对应的500万像素分路图像。这个过程可以等效为：对视角为180度的一个场景范围进行4倍光学变焦，形成视角为60度的500万像素图像，并且500万像素图像又可以实现2-3倍左右的清晰数字变焦，由此，相当于对记录的ROI实现了8-12倍缩放。这足以满足大部分大场景、全景监控的要求。

图5图示了根据本申请第二实施例的目标检测方法的流程图。

与第一实施例相比，在第二实施例中，可以进一步对特定分路原始图像执行二次图像检测，以进一步提高了检测结果的准确性。

如图5所示，根据本申请第二实施例的目标检测方法可以包括：

在步骤S210中，将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像。

在步骤S220中，对所述全景原始图像进行降采样，以生成全景降采样图像。

在步骤S230中，对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域。

在步骤S240中，响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像。

第二实施例中的步骤S210到S240与第一实施例中的步骤S110到S140基本相同，在此省略其详细描述。

除此之外，如图5所示，根据本申请第二实施例的目标检测方法还可以包括：

在步骤S225中，在所述存储器中存储所述全景降采样图像。

由于在大场景监控的应用中除了关注局部细节情况之外，同样还应该照顾到全局整体情况。因此，在第二实施例中，可以进一步存储在步骤S220中生成的全景降采样图像。

由于一个全景降采样图像的分辨率较低，1080p图像的分辨率为200万像素，而720p图像的分辨率为130万像素，所以与直接存储全景原始图像相比，大大减小了所占用的资源。减小的比例即为降采样的倍数。由于全局图像往往仅关心一个宏观情况，而不在乎过多细节，所以这样做充分满足了大场景应用的这种需求。

需要说明的是，尽管这里以在步骤S220之后并在步骤S230之前执行上述存储步骤，但是本申请不限于此，该步骤只要在步骤S220之后执行即可。例如，该存储步骤同样可以在步骤S230、步骤S240、或步骤S250之后或与之同时执行。

如图5所示，根据本申请第二实施例的目标检测方法还可以包括：

在步骤S245中，对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域。

例如，一旦在步骤S240中检测到在所述全景降采样图像中存在关注区域，则可以初步判断出需要检测的目标物体出现在监控场景中。然而，由于全景降采样图像的分辨率已降低，这可能导致基于其所产生的检测结果中可能会存在一定的错检和漏检概率，如果盲目地存储基于错检结果定位的分路原始图像，则可能造成存储空间的浪费并造成后续的身份识别等操作出错。

因此，可以进一步使用关注区域(ROI)检测算法来在具有较高分辨率的特定分路原始图像中二次检测关注区域。

例如，可以采用与步骤S230中相同或者不同的检测算法来实现上述二次检测操作，在此不再赘述。

由于分辨率变得更高，在特定分路原始图像中检测到的关注区域可能与在全景降采样图像中完全相同或不同，但是排除算法本身的原因，二次检测的结果往往比初次检测的结果更加准确。例如，二次检测到的关注区域可以与初次检测到的关注区域更多、更少、或者处于不同的位置坐标。

响应于在所述特定分路原始图像中检测到关注区域，则根据本申请第二实施例的目标检测方法前进到步骤S250，在存储器中存储所述特定分路原始图像，否则，不在所述存储器中存储所述特定分路原始图像，该方法结束。

在执行了上述二次检测情况下，如图5所示，根据本申请第二实施例的目标检测方法还可以包括：

在步骤S260中，根据在所述特定分路原始图像中检测到的关注区域来生成并存储索引标签。

具体地，该步骤S260可以包括：根据在所述特定分路原始图像中检测到的关注区域来为所述特定分路原始图像生成索引标签；以及与所述特定分路原始图像一起，在所述存储器中存储所述索引标签。

例如，为了方便后续在存储器中查找检测到的关注区域，可以根据该关注区域的各种特性来为该关注区域生成索引标签。例如，索引标签可以是检测到目标物体的检测时间、物体类型(人、车辆、机器人等)、位置信息(处于图像中的哪个位置)、识别结果(人的身份、车辆的车牌、机器人的型号)等。在存在多个关注区域的情况下，可以分别对为每个关注区域生成索引标签，并将多个生成的索引标签进行合成。最后，可以在所述存储器中存储索引标签，并且将它与对应的特定分路原始图像关联到一起，从而使得后续可以根据诸如日期、时间等关键词等定位到相应的原始图像。

需要说明的是，另外，上述的步骤S250也可以替换为仅仅对在特定分路原始图像中二次检测到的关注区域的图像部分进行存储，而不存储整个特定分路原始图像。相应地，在步骤S260中生成和存储的索引标签也可以是针对各个关注区域的，而非针对整个特定分路原始图像的。

此外，如图5所示，根据本申请第二实施例的目标检测方法还可以包括：

在步骤S270中，根据在所述特定分路原始图像中检测到的关注区域来生成和输出提示信息。

具体地，步骤S270包括：根据在所述特定分路原始图像中检测到的关注区域来生成提示信息；以及向外输出所述提示信息。

例如，一旦在步骤S245中检测到在所述特定分路原始图像中存在关注区域，则可以根据关注区域的类型来生成提示信息，并且向外输出该提示信息。

例如，当检测到的目标物体是通缉犯时，可以通过声光或其组合来生成告警信息，并且可以进一步拨打报警电话。当检测到的目标物体是摔倒的老人时，可以在显示器上显示提示文字，或者通过扬声器发出提示音等。

显然，该提示信息生成步骤只要在步骤S245之后执行即可。例如，该步骤同样可以在步骤S250之后或与之同时执行。

由此可见，采用根据本申请第二实施例的目标检测方法，可以在存储所述特定分路原始图像之前，进一步对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域，并根据二次图像检测的结果来相应地存储所述特定分路原始图像。因此，进一步提高了检测结果的准确性，保证了系统成本的有效分配。

具体来说，本申请第二实施例的好处是使用原始高清图像对在全景低分辨率图像中检测到的ROI区域进行二次识别，更新原识别结果，提高了识别跟踪的准确性。例如，在图4所示的上述实例中，对500万像素的分路图像进行高清识别，然后按照识别结果分成0个或多个文件进行记录，同时还可以记录降采样的1080p全景图像，方便了后续查找并降低了存储空间。

图6图示了根据本申请第三实施例的目标检测方法的流程图。

第三实施例与第二实施例的区别在于，二次图像检测不是在存储所述特定分路原始图像之前执行，而是在其后执行。

如图6所示，根据本申请第三实施例的目标检测方法可以包括：

在步骤S310中，将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像。

在步骤S320中，对所述全景原始图像进行降采样，以生成全景降采样图像。

在步骤S325中，在所述存储器中存储所述全景降采样图像。

在步骤S330中，对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域。

在步骤S340中，响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像。

在步骤S350中，响应于在所述特定分路原始图像中检测到关注区域，在存储器中存储所述特定分路原始图像。

在步骤S360中，对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域。

第三实施例中的步骤S310到S340与第一实施例中的步骤S110到S140基本相同，并且第三实施例中的步骤S325、S350、和S360与第二实施例中的步骤S225、S250、和S245基本相同，在此省略其详细描述。

除此之外，如图6所示，根据本申请第三实施例的目标检测方法还可以包括：

在步骤S370中，响应于在所述特定分路原始图像中没有检测到关注区域，从所述存储器中删除所述特定分路原始图像。

如果在所述特定分路原始图像中没有检测到关注区域，则说明之前在步骤S330中检测到的关注区域是误检。那么为了避免由于误检造成的存储空间浪费，可以删除所存储的相应的特定分路原始图像(或者是所存储的相应的关注区域)。

如图6所示，根据本申请第三实施例的目标检测方法还可以包括：

在步骤S345中，根据在所述全景降采样图像中检测到的关注区域来生成并存储第一索引标签。

具体地，与第二实施例中的步骤S260中类似地，该步骤S345可以包括：根据在所述全景降采样图像中检测到的关注区域来为所述特定分路原始图像生成第一索引标签；以及与所述特定分路原始图像一起，在所述存储器中存储所述第一索引标签。

在步骤S375中，根据在所述特定分路原始图像中检测到的关注区域来生成第二索引标签，并更新第一索引标签。

具体地，步骤S375可以包括：响应于在所述特定分路原始图像中检测到关注区域，根据在所述特定分路原始图像中检测到的关注区域来为所述特定分路原始图像生成第二索引标签；以及使用所述第二索引标签来更新在所述存储器中存储的用于所述特定分路原始图像的第一索引标签。

如果根据二次检测结果发现初次检测结果存在误检或者漏检，则可以根据最新检索结果来对已经生成的索引标签进行删除、修正、和补充。

此外，如图6所示，根据本申请第三实施例的目标检测方法还可以包括：

在步骤S347中，根据在所述全景降采样图像中检测到的关注区域来生成和输出第一提示信息。

具体地，与第三实施例中的步骤S270中类似地，该步骤S347可以包括：根据在所述全景降采样图像中检测到的关注区域来生成第一提示信息；以及向外输出所述第一提示信息。

在步骤S377中，根据在所述特定分路原始图像中检测到的关注区域来生成第二提示信息，并更新第一提示信息。

具体地，步骤S377可以包括：响应于在所述特定分路原始图像中检测到关注区域，根据在所述特定分路原始图像中检测到的关注区域来生成第二提示信息；以及向外输出所述第二提示信息，以取代所述第一提示信息。

如果根据二次检测结果发现初次检测结果存在误检或者漏检，则可以根据最新检索结果来更新先前生成的提示信息。

由此可见，采用根据本申请第三实施例的目标检测方法，以不同的实施方式实现了与本申请第二实施例中基本相同的技术效果。即，可以在存储所述特定分路原始图像之后，进一步对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域，并根据二次图像检测的结果来相应地更新先前存储的所述特定分路原始图像。因此，进一步提高了检测结果的准确性，保证了系统成本的有效分配。

示例性装置

下面，参考图7来描述根据本申请实施例的目标检测装置。

图7图示了根据本申请实施例的目标检测装置的框图。

如图7所示，根据本申请实施例的所述目标检测装置300可以包括：拼接单元310，用于将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像；降采样单元320，用于对所述全景原始图像进行降采样，以生成全景降采样图像；初次检测单元330，用于对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；查找单元340，用于响应于在所述全景降采样图像中检测到关注区域，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及分路存储单元350，用于在存储器中存储所述特定分路原始图像。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：二次检测单元360，用于在所述分路存储单元350在存储器中存储所述特定分路原始图像之前，对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域。

在一个示例中，所述分路存储单元350可以响应于在所述特定分路原始图像中检测到关注区域，在所述存储器中存储所述特定分路原始图像；并且响应于在所述特定分路原始图像中没有检测到关注区域，不在所述存储器中存储所述特定分路原始图像。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：索引标签单元，用于根据在所述特定分路原始图像中检测到的关注区域来生成并存储索引标签。

在一个示例中，所述索引标签单元可以根据在所述特定分路原始图像中检测到的关注区域来为所述特定分路原始图像生成索引标签；并且与所述特定分路原始图像一起，在所述存储器中存储所述索引标签。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：提示信息单元，用于根据在所述特定分路原始图像中检测到的关注区域来生成和输出提示信息。

在一个示例中，所述提示信息单元可以根据在所述特定分路原始图像中检测到的关注区域来生成提示信息；并且向外输出所述提示信息。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：二次检测单元360，用于在所述分路存储单元350在存储器中存储所述特定分路原始图像之后，对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：删除单元，用于响应于在所述特定分路原始图像中没有检测到关注区域，从所述存储器中删除所述特定分路原始图像。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：第一索引标签单元，用于根据在所述全景降采样图像中检测到的关注区域来生成并存储第一索引标签。

在一个示例中，所述第一索引标签单元可以根据在所述全景降采样图像中检测到的关注区域来为所述特定分路原始图像生成第一索引标签；并且与所述特定分路原始图像一起，在所述存储器中存储所述第一索引标签。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：第二索引标签单元，用于根据在所述特定分路原始图像中检测到的关注区域来生成第二索引标签，并更新第一索引标签。

在一个示例中，所述第二索引标签单元可以响应于在所述特定分路原始图像中检测到关注区域，根据在所述特定分路原始图像中检测到的关注区域来为所述特定分路原始图像生成第二索引标签；并且使用所述第二索引标签来更新在所述存储器中存储的用于所述特定分路原始图像的第一索引标签。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：第一提示信息单元，用于根据在所述全景降采样图像中检测到的关注区域来生成和输出第一提示信息。

在一个示例中，所述第一提示信息单元可以根据在所述全景降采样图像中检测到的关注区域来生成第一提示信息；并且向外输出所述第一提示信息。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：第二提示信息单元，根据在所述特定分路原始图像中检测到的关注区域来生成第二提示信息，并更新第一提示信息。

在一个示例中，所述第二提示信息单元可以响应于在所述特定分路原始图像中检测到关注区域，根据在所述特定分路原始图像中检测到的关注区域来生成第二提示信息；并且向外输出所述第二提示信息，以取代所述第一提示信息。

在一个示例中，根据本申请实施例的所述目标检测装置300还可以包括：全景存储单元370，用于在所述存储器中存储所述全景降采样图像。

上述目标检测装置300中的各个单元和模块的具体功能和操作已经在上面参考图1到图6描述的目标检测方法中详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的目标检测装置300可以应用于如图1所示的目标检测设备100中，以用于对目标物体进行检测和后续可选的跟踪、身份识别、定位等操作。

在一个示例中，根据本申请实施例的目标检测装置300可以作为一个软件模块和/或硬件模块而集成到该目标检测设备100中。例如，该目标检测装置300可以是被实现为目标检测设备100中的目标检测模块120。例如，该目标检测装置300可以是该目标检测设备100的操作系统中的一个软件模块，或者可以是针对于该目标检测设备100所开发的一个应用程序；当然，该目标检测装置300同样可以是该目标检测设备100的众多硬件模块之一。

替换地，在另一示例中，该目标检测装置300与该目标检测设备100也可以是分立的设备，并且该目标检测装置300可以通过有线和/或无线网络连接到该目标检测设备100，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图8来描述根据本申请实施例的电子设备。该电子设备可以是计算机或服务器或其他设备。

图8图示了根据本申请实施例的电子设备的框图。

如图8所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的目标检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如全景降采样图像、特定分路原始图像、索引标签、提示信息等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是上述的摄像头110，用于捕捉监控场景的分路原始图像。此外，该输入设备13还可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。

该输出装置14可以向外部(例如，用户或机器学习模型)输出各种信息，包括全景降采样图像、特定分路原始图像、索引标签、提示信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的目标检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (16)

1.一种目标检测方法，包括：

将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像，并建立一位置映射关系，用于标识每个分路原始图像在所述全景原始图像中所占的区域范围；

对所述全景原始图像进行降采样，以生成全景降采样图像；

对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；

响应于在所述全景降采样图像中检测到关注区域，根据所述关注区域在所述全景降采样图像中的位置和所述位置映射关系确定所述位置所属的区域范围及其位置坐标，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及

在存储器中存储所述特定分路原始图像。

2.如权利要求1所述的方法，在存储器中存储所述特定分路原始图像之前，还包括：

对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域。

3.如权利要求2所述的方法，其中，在存储器中存储所述特定分路原始图像包括：

响应于在所述特定分路原始图像中检测到关注区域，在所述存储器中存储所述特定分路原始图像；以及

响应于在所述特定分路原始图像中没有检测到关注区域，不在所述存储器中存储所述特定分路原始图像。

4.如权利要求3所述的方法，还包括：

根据在所述特定分路原始图像中检测到的关注区域来为所述特定分路原始图像生成索引标签；以及

与所述特定分路原始图像一起，在所述存储器中存储所述索引标签。

5.如权利要求3所述的方法，还包括：

根据在所述特定分路原始图像中检测到的关注区域来生成提示信息；以及

向外输出所述提示信息。

6.如权利要求1所述的方法，在存储器中存储所述特定分路原始图像之后，还包括：

对所述特定分路原始图像执行二次图像检测，以确定在所述特定分路原始图像中是否存在关注区域。

7.如权利要求6所述的方法，还包括：

响应于在所述特定分路原始图像中没有检测到关注区域，从所述存储器中删除所述特定分路原始图像。

8.如权利要求6所述的方法，在对所述特定分路原始图像执行二次图像检测之前，还包括：

根据在所述全景降采样图像中检测到的关注区域来为所述特定分路原始图像生成第一索引标签；以及

与所述特定分路原始图像一起，在所述存储器中存储所述第一索引标签。

9.如权利要求8所述的方法，在对所述特定分路原始图像执行二次图像检测之后，还包括：

响应于在所述特定分路原始图像中检测到关注区域，根据在所述特定分路原始图像中检测到的关注区域来为所述特定分路原始图像生成第二索引标签；以及

使用所述第二索引标签来更新在所述存储器中存储的用于所述特定分路原始图像的第一索引标签。

10.如权利要求6所述的方法，在对所述特定分路原始图像执行二次图像检测之前，还包括：

根据在所述全景降采样图像中检测到的关注区域来生成第一提示信息；以及

向外输出所述第一提示信息。

11.如权利要求10所述的方法，在对所述特定分路原始图像执行二次图像检测之后，还包括：

响应于在所述特定分路原始图像中检测到关注区域，根据在所述特定分路原始图像中检测到的关注区域来生成第二提示信息；以及

向外输出所述第二提示信息，以取代所述第一提示信息。

12.如权利要求1所述的方法，还包括：

在所述存储器中存储所述全景降采样图像。

13.如权利要求1所述的方法，其中，所述多个摄像头中的每个摄像头具有不同的成像范围，并且相邻设置的两个摄像头的成像范围具有部分重叠。

14.一种目标检测装置，包括：

拼接单元，用于将分别来自多个摄像头的多个分路原始图像拼接为全景原始图像，并建立一位置映射关系，用于标识每个分路原始图像在所述全景原始图像中所占的区域范围；

降采样单元，用于对所述全景原始图像进行降采样，以生成全景降采样图像；

初次检测单元，用于对所述全景降采样图像执行初次图像检测，以确定在所述全景降采样图像中是否存在关注区域；

查找单元，用于响应于在所述全景降采样图像中检测到关注区域，根据所述关注区域在所述全景降采样图像中的位置和所述位置映射关系确定所述位置所属的区域范围及其位置坐标，在所述多个分路原始图像中查找特定分路原始图像，所述特定分路原始图像是在拼接所述全景原始图像之前、在所述全景降采样图像中检测到的关注区域位于其中的分路原始图像；以及

分路存储单元，用于在存储器中存储所述特定分路原始图像。

15.一种电子设备，包括：

处理器；

存储器；以及

存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-13中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-13中任一项所述的方法。

Images