CN110830756A - 一种监控方法与装置 - Google Patents

Abstract

本发明为一种监控方法与装置，一种监控拍摄模组，该模组包括：1个主摄像头和N个副摄像头，N为大于1的整数；主摄像头和N个副摄像头用于采集图像，且任意一个副摄像头采集图像的帧率小于主摄像头采集图像的帧率；其中，N个副摄像头的监控区域分别覆盖主摄像头监控区域中的N个不同区域；且任意一个副摄像头的焦距大于所述主摄像头的焦距。本发明的模组可以解决低照度、目标距离远、逆光/宽动态等监控场景下抓拍图像模糊、图像亮度低、噪声大、抓拍目标尺寸小等问题，提升监控系统的监控能力。

Description

一种监控方法与装置

技术领域

本申请涉及视频技术领域，特别涉及一种监控方法与装置。

背景技术

监控拍摄功能是当前视频监控系统的一个重要应用，利用网络摄像机IPC(Internet Protocal Camera)设备对视场中的车辆、人员进行成像，对于进入视频中的感兴趣的目标(可以包括：机动车、非机动车、行人等任何需要监控的物体或对象)进行检测；并跟踪各个目标在视频中的运动轨迹，并从目标进入监控区域到离开监控区域的过程中对其进行抓拍，显示在视频画面中。

根据应用目的不同，监控抓拍系统可分为人像抓拍系统、车辆抓拍系统及机非人(机动车、非机动车、行人)抓拍系统。其中，人像抓拍系统，又称为人像卡口，主要安装在人行道、人行横道及室内通道，重点针对行人，进行人脸、人体的检测及抓拍，输出人脸、人体抓拍图，对接人脸识别、人体属性识别等智能应用。车辆抓拍系统，重点针对机动车，进行车辆的检测及抓拍，记录车辆抓拍图，对接车牌识别、车型/车款/车身颜色等车辆属性识别等智能应用。当前常见的电子警察，卡口抓拍系统均为车辆抓拍系统，其中电子警察主要安装在城市道路的十字路口，用于监测闯红灯、压线、逆行、违规变道、占用非机动车道、不按导向行驶等违章行为。卡口一般在高速、国道以及城市主干道比较常见，主要用于抓拍超速行为。机非人抓拍系统，针对机动车、非机动车、行人混行的场景，对机动车、非机动车及行人目标进行检测、分类、跟踪，输出各类目标的抓拍图，主要安装在十字路口，城中村等治安重点区域，用于治安监控，实现对于各类目标的全面管控。

现有IPC抓拍系统由视频录像系统演进而来，同一个设备上需要同时实现视频录像和目标抓拍功能，其中抓拍图是从视频录像某一帧图像中抠图或裁剪得到的，即抓拍图与视频流来自于同一套成像元件，包括镜头、图像传感器等，且各种成像参数一致，包括：曝光时长、对比度等。

一种现有技术的技术方案如图1所示。图1中，前端视频采集模组以固定的帧率(如30fps)采集图像数据，在采集到的图像数据中，进行人脸检测、跟踪、筛选，并从某一帧的图像数据中抠出最优的人脸抓拍图片。同时，所采集到的图像数据经过视频压缩后，变成压缩后的视频流。抓拍图片和视频流以网络等方式传输到后端分别进行存储，并针对抓拍图进一步进行特征提取、目标识别、检索等处理。

从上述现有技术方案的处理过程可见，由于抓拍图的成像参数与视频流成像参数一致，导致感兴趣目标区域抓拍图成像效果分辨率低，在成像条件不理想的情况下，如低照度、目标距离远、逆光/宽动态等复杂光照环境，感兴趣目标区域成像质量差，影响后续智能处理(人脸识别、车牌识别、车型/车款识别等)的性能指标。主要包括如下几点：

1)低照度下成像质量差，主要包括图像模糊、图像暗及噪声大，能抓拍到部分人脸但无法用于识别算法，可见光补光对行人干扰大。

2)远视场区域人脸成像模糊，人脸区域小，无法用于人脸识别。

3)宽动态场景下，全视场内成像质量有差异，抗环境干扰能力差。

发明内容

本申请实施例提供一种监控方法和装置，解决低照度、目标距离远、逆光/宽动态等监控应用场景下抓拍图像模糊、图像亮度低、噪声大、抓拍目标尺寸小等问题，提升基于抓拍图的后续智能处理(人脸识别、车牌识别、车型/车款识别等)的性能指标。

本申请实施例提供的具体技术方案如下：

第一方面，本申请实施例提供一种监控拍摄模组，该模组包括：1个主摄像头和N个副摄像头，N为大于1的整数；主摄像头和N个副摄像头用于采集图像，且任意一个副摄像头采集图像的帧率小于所述主摄像头采集图像的帧率；其中，N个副摄像头的监控区域分别覆盖主摄像头监控区域中的N个不同区域；且任意一个副摄像头的焦距大于主摄像头的焦距。

根据第一方面，在一种可能的设计中，主摄像头的FOV大于60°，主摄像头焦距在[4，8]mm范围内，光圈值在[1.4，2.0]范围内。其中，FOV大于60°保证足够的监控视野，焦距和光圈的配置尽量使得主摄焦距采集视频数据时能聚焦到近距离的中心区域或者说核心区域，并清晰成像。

根据第一方面，在一种可能的设计中，至少一个副摄像头的焦距在[8，15]mm范围内。配置“中短焦副摄像头”采集图像，可以补充主摄像头监控区域中中部区域的监控能力。

根据第一方面，在一种可能的设计中，至少一个副摄像头的焦距在[15，25]mm范围内。配置“长焦副摄像头”采集图像，可以补充主摄像头监控区域中远方区域的监控能力。

根据第一方面，在一种可能的设计中，至少一其中三个副摄像头的焦距为[12，18]mm，另外四个副摄像头的焦距为[21，25]mm。

根据第一方面，在一种可能的设计中，主摄像头光圈值在[1.4，2.0]范围内，至少一个个副摄像头光圈值在[0.8，1.6]范围内，且至少一个副摄像头的光圈值小于主摄像头的光圈值。在一些场景下，远处光照不足时，可以通过大光圈的副摄像头增加采集图像的进光量，能使得远处摄像头成像更清晰，提升抓拍图画面质量，有利于目标的识别。

根据第一方面，在一种可能的设计中，N＝4，其中，4个副摄像头的焦距在[18，21]mm范围内。这是一种可能的模组设计，该设计可以保证25m范围内的监控区域都能够采集到清晰的图像，相比于单纯的主摄像头监控(通常监控10m以内)，拓展了高质量的监控范围。

根据第一方面，在一种可能的设计中，N＝7，其中，三个副摄像头的焦距为[12，18]mm，另外四个副摄像头的焦距为[21，25]mm。这是一种可能的模组设计，该设计可以保证35m范围内的监控区域都能够采集到清晰的图像，相比于单纯的主摄像头监控(通常监控10m以内)，大大拓展了高质量的监控范围。多个副摄像头还可以采用多焦段设计，通过不同焦段的FOV组合，确保覆盖主摄像头监控的FOV，多个副摄像头采用相邻相机的边缘视场重叠设计，确保交叠区域面积能够覆盖完整目标。

此外，通过主摄像头采集视频数据，通过多个副摄像头以较低帧率采集抓拍图，即类似拍照的方式，相比于全部采集视频数据来说，大大节约了功耗。

第二方面，本申请实施例提供一种监控方法，该方法应用于一种监控拍摄模组，该监控拍摄模组包括：1个主摄像头和N个副摄像头；其中，N个副摄像头的监控区域分别覆盖主摄像头监控区域中的N个不同区域；任意一个副摄像头的焦距大于主摄像头的焦距；N为大于1的整数；上述方法包括：利用主摄像头和N个副摄像头采集图像，其中，任意一个副摄像头采集图像的帧率小于主摄像头采集图像的帧率；在主摄像头和N个副摄像头采集的图像中选出含有目标对象的M个图像，M为大于1的整数；根据目标对象对M个图像进行裁剪，得到M个含有目标对象的小图；对M个小图进行质量评价；至少显示出M个小图中质量评价结果最好的一张小图。

第三方面，本申请实施例提供一种监控装置，该装置应用于一种监控拍摄模组，该监控拍摄模组包括：1个主摄像头和N个副摄像头；其中，所述N个副摄像头的监控区域分别覆盖所述主摄像头监控区域中的N个不同区域；任意一个副摄像头的焦距大于所述主摄像头的焦距；N为大于1的整数；该装置包括：

采集模块，用于利用主摄像头和N个副摄像头采集图像，其中，任意一个副摄像头采集图像的帧率小于主摄像头采集图像的帧率(一般不低于25fps)；

选择模块，用于在主摄像头和N个副摄像头采集的图像中选出含有目标对象的M个图像，M为大于1的整数；

裁剪模块，用于根据所述目标对象对M个图像进行裁剪，得到M个含有目标对象的小图；评价模块，用于对M个小图进行质量评价；

显示模块，用于至少显示出M个小图中质量评价结果最好的一个小图。

根据第二方面或第三方面，在一种可能的设计中，主摄像头和副摄像头的分辨率不低于200万像素。

根据第二方面或第三方面，在一种可能的设计中，主摄像头和副摄像头均为定焦镜头；或者主摄像头为变焦镜头，副摄像头为定焦镜头。

根据第二方面或第三方面，在一种可能的设计中，副摄像头的参数设置保证大范围监控距离(如20米)内采集到的人脸图像大于50*50像素，达到4K品质的抓拍图。

根据第二方面或第三方面，在一种可能的设计中，对于远处的某一目标，主摄像头拍摄到的实际图像较小，副摄像头采用“长焦”因而拍摄到的实际图像会较大；由于同一目标的实际采集图像的大小不同，因此需要确定两个摄像头采集的图像之间的映射关系，具体为图像中各个位置的对应关系。可以通过标定的方式确认映射关系。

根据第二方面或第三方面，在一种可能的设计中，对于主摄像头和副摄像头采集的图像，可以对RGB数据进行demosaicing去马赛克、3A(AE，Auto Exposure自动曝光；AWB，Auto White Balance自动白平衡；AF，Auto Focus自动聚焦)、去噪、RGB转YUV等图像处理操作，得到YUV图像数据，

根据第二方面或第三方面，在一种可能的设计中，主摄像头焦距在[4，8]mm范围内，N＝4，且4个副摄像头的焦距在[18，21]mm范围内。这是一种可能的模组设计，该设计可以保证25m范围内的监控区域都能够采集到清晰的图像，相比于单纯的主摄像头监控(通常监控10m以内)，拓展了高质量的监控范围。

根据第二方面或第三方面，在一种可能的设计中，主摄像头光圈值在[1.4，2.0]范围内，至少一个副摄像头光圈值在[0.8，1.6]范围内，且至少一个副摄像头的光圈值小于所述主摄像头的光圈值。在一些场景下，远处光照不足时，可以通过大光圈的副摄像头增加采集图像的进光量，能使得远处摄像头成像更清晰，提升抓拍图画面质量，有利于目标的识别。

根据第二方面或第三方面，在一种可能的设计中，在所述主摄像头和所述N个副摄像头采集的图像中选出含有目标对象的M个图像包括：利用主摄像头检测线程在所述主摄像头采集的图像中检测到M1个图像含有所述目标对象，从缓存中保存所述M1个图像；利用所述主摄像头检测线程在所述N个副摄像头中采集的图像中检测到M2个图像含有所述目标对象，从缓存中保存所述M2个图像；或，利用主摄像头检测线程在所述主摄像头采集的图像中检测到M1个图像含有所述目标对象，从缓存中保存所述M1个图像；利用副摄像头检测线程在所述N个副摄像头中采集的图像中检测到M2个图像含有所述目标对象，从缓存中保存所述M2个图像；根据主摄像头和各副摄像头之间的图像映射关系，并根据所述主摄像头和各副摄像头拍摄图像的时间戳、以及目标位置，将所述M1个图像和所述M2图像识别为含有所述目标对象的图像；其中M＝M1+M2。该方法可以由上述选择模块来执行。在一些场景中，可以由主摄检测线程来统一检测目标，并且主导主摄像头采集的图像和副摄像头采集图像的保存，这种场景下可以有利于监控系统统一ID；另一些场景中，副摄像头采集图像的保存由副摄检测线程主导，减轻主摄像头的线程负担。

根据第二方面或第三方面，在一种可能的设计中，监控系统会根据所有的预设的目标对图像进行检测，检测到的目标可能是一个或者多个；因此同一个图像中含有多个目标也是可能的。因此，在检测目标的同时，需要对不同的目标进行ID编号。对于不同摄像头拍摄到的图像，可以根据标定的主摄像头和各个副摄像头之间的图像映射关系(空间对应)，并根据监控系统记录的时间戳(时间维度)、和目标所在的位置(空间维度)等信息进行关联匹配，对于保存的图像中的同一对象匹配为同一目标。对于任意一个目标，采用上述类似方式找到优选小图，尤其是最优小图；具体地，在发给前端识别或后端服务器的时候，也可以打包评价结果排名靠前的X张小图，进一步地，还可以打包这X个小图对应的原图。因此，对于任意一个目标，该单元都能找到其对应的优选小图。对监控视野内的任意对象都能有高质量的图像呈现，大大提升监控质量和能力。

根据第二方面或第三方面，在一种可能的设计中，根据对主摄像头和副摄像头采集的图像的质量评价结果，计算生成各成像摄像头的理想拍摄参数，包括：曝光时长、增益、去噪参数等；反馈调整主摄像头或副摄像头的拍摄参数。

第四方面，本申请实施例提供一种设备，所述设备包括多个摄像头、显示屏、处理器、存储器和总线；多个摄像头、显示屏、处理器、存储器通过总线相连；多个摄像头用于采集图像；显示屏用于显示视频或图像；存储器用于存储有数据和程序指令；处理器用于调用所述数据和程序指令，与摄像头和显示屏协同完成如上述任意一个方面提供的方法以及任意一种可能的设计的方法。

应理解，上述任意一种可能的设计方法，在不违背自然规律的条件下，可以进行方法之间、方法与装置之间的自由组合。

本发明采用主摄像头采集监控视频，结合多个“长焦”副摄像头采集抓拍图像，其中副摄像头覆盖主摄像头的监控区域。主摄像头采集的视频满足人眼查看的需求，副摄像头采集到的抓拍图用于算法识别。副摄像头可以采用多个大光圈提升弱光环境感光能力，可选的多焦段交叠组合提升远距离时的监控目标的尺寸和清晰度，在主摄像头的监控视野内可以实现4K水准，多个副摄像头的监控区域成像提升宽动态能力。可较好的解决监控应用场景中低照度、目标尺寸小及宽动态的痛点问题。

附图说明

图1为现有技术中一种监控技术方案示意图；

图2为本申请实施例提供的一种监控系统信号流示意图；

图3为本申请实施例提供的一种监控拍摄模组示意图；

图4和本申请实施例提供的一种人行道监控环境示意图；

图5为本申请实施例提供的一种大厅出入口监控环境示意图；

图6为本申请实施例提供的一种监控系统结构示意图；

图7为本申请实施例提供的一种监控方法示意图；

图8和本申请实施例提供的一种监控示例示意图；

图9为本申请实施例提供的一种监控装置示意图；

图10为本申请实施例提供的一种监控设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本发明实施例基于的监控系统可以如图2所示，由拍摄模组采集图像(CCD/CMOS图像传感器上成像)，图像经过模/数转换变为数字信号，数字信号经过信号处理和智能分析，得到处理后的数据，处理后的数据经过信息提炼和编码压缩，再经网络传输到Web显示端，经解码呈现可视数据给用户。

其中，拍摄模组还可以理解为拍照系统、拍摄组件、摄像组件、摄像单元、摄像头、抓拍组件、抓拍单元、成像装置、成像单元等，应理解这些是本领域人员常用的类似说法，本发明中不予以赘述和限定。

本发明的监控拍摄模组的一种实现形式可以如图3所示，由主摄单元(又可叫做主摄视频组件、主摄像头)以及副摄单元构成；副摄单元由多个(目)副摄抓拍组件(又可叫做副摄像头)构成。

其中，主摄像头可以采用常规的监控视频拍照组件，用于采集监控区域的视频；多目副摄像头可以采用不同的焦段和大光圈设计的高清拍照组件，用于采集各自监控区域的图像/抓拍图。进一步地，多目副摄像头所覆盖的视场区域，覆盖了主摄像头中拍摄质量较低但同时又是用户感兴趣的区域；因此多目副摄像头之间需要按一定的规则排列，确保用户感兴趣的监控区域视场(如图3中监控区域视场的黑色部分和灰色部分)被覆盖完整且不会浪费副摄像头之间较多的重叠空间。本发明通过增加多个副摄像头来清晰地抓拍到主摄像头拍摄的不清晰区域中的图像，使得用户感兴趣的监控区域能够获得到良好的监控性能。

对于监控的任一目标，利用目标检测的结果，获取主摄视场区域中的抓拍图像，可以是视频流中每一图像帧或者部分图像帧中对应的图像；获取多目副摄像头采集的各自覆盖视场区域内的抓拍图像，可以是某个副摄组件在其覆盖区域内获取目标抓拍图。

对于主摄像头和副摄像头获取的所有的含有目标的图像，可以基于时间维度和空间维度识别出同一目标，并统一ID，识别出含有同一个目标的若干个图像，对于这些若干个图像进一步通过裁剪，得到目标更加显著的小图；利用现有技术中的图像质量评价方法对这些裁剪后的小图进行质量评价，从中选出优选的小图。作为可选的，可以根据质量评价结果，评估主摄像头和各个副摄像头成像参数的合理性，并将更新后的成像参数，反馈给主摄像头和相应的副摄像头，调整其拍摄参数用于更好地适应当前环境，进而采集质量更好的视频和抓拍图。

本发明可以应用的场景包括但不限于下面两种监控系统或环境：

1)人像抓拍系统/环境

针对安装在人行道上人像抓拍系统，如图4所示，由于所监控区域为狭长区域，对于远处的目标人脸，存在目标成像尺寸小的问题，因此现有技术的拍摄方案会识别不清楚。另外，针对大厅出入口的人脸抓拍，如图5所示，由于室内室外光线的强烈反差，画面动态范围大，统一的成像参数导致人脸目标区域图像暗，无法进行识别。本发明中可以采用“1个主摄像头+多个副摄像头”的设计方案，多个副摄像头可以解决远处目标尺寸小的问题；此外，多个副摄像头可以分区域成像，可进一步解决宽动态场景目标区图像暗的问题。

2)机非人抓拍系统

用于治安监控的机非人抓拍系统，需要对大视场范围的机动车、非机动车、行人等进行检测、跟踪及分类，然而对于视场边缘位置处的小尺寸目标，存在严重的漏检问题。由于视场范围内的光照不均匀，某些区域光照不足，导致采集的图像亮度低；如在傍晚、阴雨天等低照度场景下，成像模糊、噪声大。本发明通过“1个主摄像头+多个副摄像头”的设计，多个副摄像头可以解决视场边缘目标尺寸小的问题；通过多个副摄像头分区域成像，可解决宽动态场景目标区域图像暗的问题；此外，多个副摄像头可以采用大光圈设计，来解决低照度场景下成像模糊、噪声大的问题。

本发明的落地产品形态可以是监控系统，也可以包括其中的拍摄组件/系统/模组等部分，本发明的监控系统结构可以如图6所示，主要包括：

主摄单元101：包括主摄像头(主摄视频组件)，可以采用常规监控视频模组或组件，用于采集监控主摄像头视场区域的全局图像数据。采集图像时，一般拍摄帧率不低于25fps，带宽和存储等资源允许的条件下，可以按需提高。主要负责采集监控视野内的实时视频流，满足人眼观看的需求。

在一种具体实现过程中，如，主摄视频组件的镜头焦距可选4mm-10mm内的任意值，可以是定焦镜头或电动变焦，由于电动焦距可调，所以整个镜头的焦距范围是可以超过上述范围，如2.8mm-50mm，应理解，该镜头在工作过程中应调整在一定范围内，如上述的4-10mm；一般系统架设好了以后，主摄像头一旦按照某一模式开始持续工作，此时可以理解为等同于定焦镜头。光圈值Fno的范围为可选[1.0，2.0]，如Fno＝1.4；镜头的光学传感器，可选不低于200万像素。应理解，定焦可以有更高的稳定性且节约调节能耗，变焦可以提供更多的用途，主摄像头本身属于定焦还是变焦本发明中不予以限定。

作为说明，本申请中的焦距可以指业界通用的等效焦距，且本发明实施例中的参数仅进行举例而不进行限定。

副摄单元102：

包括多目副摄像头(副摄抓拍组件)；组件可以包括镜头、Sensor及外壳等。采集图像时，拍摄帧率比主摄像头低，以节约功耗。可选的，副摄像头可以采用定焦镜头，可以采用变焦镜头，但任意一个副摄像头在采集图像时的焦距需大于主摄像头采集图像时的焦距，以清晰地获得较远区域的图像。

在一种具体实现过程中，多目副摄像头可以具有不同的焦段，对于监控视场中距离安装位置较远的区域，可以采用长焦镜头，如等效焦距可以在15mm-30mm范围内，具体如18或21或24mm；确保获得感兴趣目标的图像尺寸满足要求，对于监控视场中距离安装位置近的区域，则采用中短焦镜头，如等效焦距可以在6mm-15mm范围内，如8或10或12mm；应理解，中短焦镜头视野大，监控的视野略近；长焦视野小，可监控的距离比较远。多目副摄像头的镜头，可以采用大光圈设计，如Fno＝0.8或Fno＝1.0或Fno＝1.2或Fno＝1.5等，目的是增加低照度场景下的感光量，提升低照度成像效果。应理解，焦距和光圈值进一步决定了景深。副摄像头的数目，根据需要覆盖主摄像头的视场范围确定以及副摄像头的FOV来确定。例如需要覆盖的监控视野范围越大，则副摄像头的数量需要越多；另外，如果要监控的距离越远，则副摄像头的排数会越多，例如，10m-20m监控区域需要一排副摄像头覆盖，例如3个焦距为8mm的副摄像头；20m-30m监控区域需要另外一排副摄像头进行覆盖，例如4个21mm的副摄像头。一种实际应用中，副摄像头相对于主摄像头都可以叫做“长焦”。

多个副摄像头的视场/取景区域可以覆盖主摄像头取景不清晰但用户会感兴趣(需要重点监控)的区域，该区域可以理解为补充监控区域，由用户根据监控需求自由定义，目的是为了弥补主摄像头在监控区域内的拍摄不清晰区域，增强主摄像头整个监控视野内的监控能力。应理解，多个副摄像头应尽可能发挥各自最大的取景能力，理想情况下是用数量最少的副摄像头来监控到整个目标区域，但实际实现时，多个副摄像头之间的取景可能会存在小部分的重叠。副摄像头的设置可以保证大范围监控距离(如20米)内采集到的人脸图像大于50*50像素，达到4K品质的抓拍图，满足人脸等重要目标识别的高标准要求。这可以大大弥补主摄像头监控能力的不足。

应理解，主摄像头的监控区域中并非所有的监控区域都需要被副摄像头覆盖；实际应用中，主摄像头监控区域中过远的地方可以认为是用户不感兴趣或不关注的区域，或者是对监控没有帮助的区域，它们通常位于监控视频的边缘处；除这些边缘区域之外的其他区域都可以理解为用户关注的监控区域，一般来说主摄像头对近距离目标会拍的比较清晰，对于用户关注的监控区域内较远的地方拍摄图像的质量较差，因此副摄像头的架设和布局主要是覆盖这一部分，进而弥补主摄像头在较远处监控能力的不足。例如，可选的实例中，较远处的距离可以定义为距监控拍摄模组的水平距离在5m-25m之间。

主摄像头和副摄像头的组合方式可以根据具体需求由用户灵活定义，如“1个主摄像头(近距离监控)+N个副摄像头(远距离监控)”或“1个主摄(近距离监控)+N1个副摄像头(中远距离监控)+N2个副摄像头(远距离监控)”，N、N1、N2为大于等于2的正整数。另外，主摄像头和副摄像头通常都是向下设置摆放的，

在具体实现过程中，对于主摄像头的取景区域与副摄像头的取景区域的重叠区域，即对于大体一样的取景，但实际获取到的图像大小是不同的。例如对于远处的某一目标，主摄像头拍摄到的实际图像较小，副摄像头采用“长焦”因而拍摄到的实际图像会较大；由于同一目标的实际采集图像的大小不同，因此需要确定两个摄像头采集的图像之间的映射关系，具体为图像中各个位置的对应关系。可以通过标定的方式确认映射关系；标定的方法可采用各种现有的方法，包括：特征点标定等。该映射关系用于判断不同摄像头获取的图像中的目标是否处于同一位置，进而再结合时间因素确定是否是同一目标。该映射关系在落地产品出厂时可以给出或通过算法得到。这个标定的映射关系在使用过程中还可以定期校准，例如可以采用基于特征点匹配的自动校准的方法。

多路ISP处理单元103：

接收主摄像头及多目副摄像头的采集到的图像数据，即raw域的RGB图像数据；该单元可以对RGB数据进行demosaicing去马赛克、3A(AE，Auto Exposure自动曝光；AWB，AutoWhite Balance自动白平衡；AF，Auto Focus自动聚焦)、去噪、RGB转YUV等图像处理操作，得到YUV图像数据，即主摄像头对应的YUV图像数据和副摄像头对应的YUV图像数据。其中，AE、AWB的参数可根据图像的光照、颜色自动进行调整。在raw域里的这些处理让图像更便于后续的编解码处理。

此外，多路ISP处理单元103还可以外接缓存，存储YUV数据以及此前的中间处理的过程数据。

多目协同处理单元104包括：

多目目标检测跟踪单元1041：接收多路ISP处理单元103得到的YUV数据，包括主摄像头对应的YUV图像数据和副摄像头对应的YUV图像数据；对于这些图像进行目标的检测、跟踪，这里的目标包括但不限于：机动车、非机动车、行人、人脸、重要物体等，与监控需求有关。

具体地，对于来自主摄像头的YUV图像数据，进行目标检测、跟踪，记录每个图像帧中的目标ID、目标位置，形成目标轨迹。目标的位置可以用图像中的二维坐标值来表示，具体如像素坐标。其中，检测图像的方法可以采用深度学习网络来分析。对于每一个副摄像头得到的YUV图像数据，进行目标检测，记录每个检测帧中的目标ID、目标位置。这些处理可以多路ISP处理单元103每转换完一个图像就可以即刻进行的。

具体实现过程中，该单元可以包含检测主摄像头采集的图像的检测线程，即主摄像头检测线程；还可以包含检测副摄像头采集的图像的检测线程，即副摄像头检测线程；也可以包含既可以检测主摄像头又可以检测副摄像头采集的图像的检测线程，即总检测线程。例如主摄像头检测线程检测到目标之后，就会反馈多路ISP处理单元，从缓存中保存主摄像头对应的含有目标的YUV图像；例如副摄像头检查线程检测到目标之后，就会反馈多路ISP处理单元103，从缓存中保存该副摄像头对应的含有目标的YUV图像；例如总检测线程检测到目标之后，就会反馈多路ISP处理单元103，从缓存中保存主摄像头和副摄像头对应的含有目标的YUV图像。应理解，对于检测不出任何目标的帧，可以通过反馈多路ISP处理单元103将其缓存丢弃。

综上，经过多目目标检测跟踪单元1041，可以得到保存的多个图像；同时，该单元记录这些图像中的每个目标的ID、每个目标的位置等信息。

可选地，经过多目目标检测跟踪单元1041还可以根据检测到的目标类型进而控制主摄像头和副摄像头的拍摄频率；例如检测到目标为车时，拍摄帧率变高；检测到行人的时候，拍摄帧率变低。

多目抓拍图优选单元1042：对于上一模块中保存的图像，可以根据标定的主摄像头和各个副摄像头之间的图像映射关系(空间对应)，并根据监控系统记录的时间戳(时间维度)、和目标所在的位置(空间维度)等信息进行关联匹配，对于保存的图像中的同一对象匹配为同一目标，并统一ID值(以主摄像头采集图像中的ID号为准)；作为可选的，同一时间且同一位置出现两个对象以上时，可以额外采用特征匹配的计算的方法对目标进行匹配；对于不同的目标重新分配新的ID值。例如，对于主摄像头采集的图和副摄像头采集的图的重叠区域，如果副摄像头的抓拍图中存在主摄像头抓拍图中没有记录或识别出的目标，则把这个目标作为主摄像头监控区域中的新目标，并赋予一个新的编号，当然这种概率是极小的。

在多目目标检测跟踪单元1041单元保存的图像中，假设经过多目抓拍图优选单元1042进行ID匹配，得到有M个图像中都含有目标对象(某一个具体目标，可以是监控系统中检测到的任意目标之一，也可以与用户需求有关)。接下来需要根据该目标对象裁剪这M个图像，得到M个含有该目标对象的小图。例如根据目标对象的大小或者外形，裁剪出能够显著呈现目标特征的小图。小图的形状可以是方形、圆形、或者是目标物体的轮廓。裁剪就是把图片或影像的某一部分从原始图片或影像中分离出来，还可以理解为抠图。可用的方法包括：特定区域裁剪、套索工具、选框工具、橡皮擦工具等直接选择、快速蒙版、钢笔勾画路径后转选区、抽出滤镜、外挂滤镜抽出、通道、计算、应用图像法等。本发明裁剪得到的图像可以是目标对象的外形、方块、圆形、或其他形式的形态。

对于该目标对象对应的这M个小图，可以采用基于深度学习的质量评价算法，从而得到该目标对象对应的质量抓拍结果，可以根据预设需求以及质量抓拍的结果从M个小图中选择出质量抓拍结果排名靠前的X个小图；具体的，例如对于该目标对象，选择质量评价结果最好的一张小图。最终优选出的小图，可以来自于主摄像头获取的抓拍图，也可以来自于副摄像头获取的抓拍图，由质量评价结果或算法决定。

经过多目抓拍图优选单元1042的处理，对于该目标对象，可以得到质量满足条件的X个小图；为了后续监控系统的进一步识别和验证，多目抓拍图优选单元1042还会从该目标对象对应的M个图像中保存这X个小图对应的原始图像。

本单元的目的是对于任意一个目标，采用上述类似方式找到优选小图，尤其是最优小图；具体地，在发给前端识别或后端服务器的时候，也可以打包评价结果排名靠前的X张小图，进一步地，还可以打包这X个小图对应的原图。因此，对于任意一个目标，该单元都能找到其对应的优选小图。对监控视野内的任意对象都能有高质量的图像呈现，大大提升监控质量和能力。

可选地，本发明的监控系统结构还可以包括成像参数生成及反馈控制单元1043：

多目抓拍图优选单元102的质量评价结果，对于主摄像头及多目副摄像头采集图像的成像质量也同时进行了评价。其中，包括图像的亮度、对比度、模糊程度、噪声水平等；基于该评价结果以及期望的成像效果，可以通过计算生成各成像摄像头的理想拍摄参数，包括：曝光时长、增益、去噪参数等；并通过多路ISP处理单元103反馈控制给主摄像头及各副摄像头的成像参数，调整各个摄像头当前的拍摄参数。用成像质量高的拍摄参数去调整摄像头，这种反馈可以是持续的。

视频/图像编码单元105：一方面，该单元可以对经过ISP处理后的主摄像头采集的图像，即视频数据进行视频编码，对经过ISP处理后的各个副摄像头采集的图像数据进行图像编码。另一方面，还可以对于优选出的目标对象的优选图进行图像编码；还可以对优选出的目标对象的优选图的原始图像进行图像编码。编码后的数据可通过网络等方式传输。其中视频编码格式可选H.264、H.265、AVS等主流格式，图像编码可采用JPEG、PNG等编码格式。

传输单元106：

用于传输编码后的视频和图像。

显示单元107：

用于对传过来编码的视频和图像进行解码和显示。例如，视频web显示界面中主显示区域显示视频，视频的周边区域可以显示一些目标的抓拍图像，尤其是显示目标的优选抓拍图。

在具体实现过程中，实时监控的画面会呈现在显示界面中，如主摄像头实时采集到的监控预览视频流；可选地，还可以显示副摄像头的实时采集到的部分图像；可选地，在显示的主摄像头的实时视频流中，监控系统就会对目标进行检测和跟踪，如画面上对于任意目标对象显示提示框，同时视频显示区域的周围可以显示该目标对象的优选小图。如有验证的需要，再显示该目标对象对应的原图。在一些实施场景中，例如无人监控、或者监控目标过多时，有些优选图也可以不必显示出来，等待有调用数据需求的时候再显示。

结合图6对本发明数据流和控制流进行描述。

主摄像头101以第一帧率采集实时视频流，经过多路ISP处理单元103处理，处理后的数据可以经过视频/图像编码单元105进行视频编码，通过传输单元106传输，由显示单元107解码并显示主摄像头监控到的视频流。处理后的数据还经过多目目标检测跟踪单元1041进行目标检测，当检测到任意一个图像中存在目标(如车、人等用户预设的识别对象)时，反馈给多路ISP处理单元103，从系统缓存中保存该图像。假设在一段监控时间内，主摄像头101连续采集到的图像有共有M11个，保存下来的含有目标(可以是任意预设的识别对象，或者部分的预设识别对象)的图像(已经是YUV格式)有M12个。应理解，不包含任何目标的图像可以被丢弃。

对于任意一个副摄像头102，以第二帧率(低于第一帧率)采集实时图像数据，经过多路ISP处理单元103处理，处理后的图像数据经过多目目标检测跟踪单元1041进行目标检测，当检测到任意一个图像中存在目标(如车、人等用户预设的识别对象)时，从系统缓存中保存该图像。假设在一段监控时间内，所有的副摄像头102采集到的图像共有M21个，保存下来的含有目标(可以是任意预设的识别对象，或者部分的预设识别对象)的图像(已经是YUV格式)有M22个。应理解，不包含任何目标的图像可以被丢弃。可选的，副摄像头对应的YUV图像数据也可以经过视频/图像编码单元105进行视频或图像编码，通过传输单元106传输，由显示单元107解码并显示副摄像头监控的图像数据流；应理解，为节约存储资源和显示资源，这些数据也可以不传输到显示单元107，或传输到显示单元107但不进行显示。

对于主摄像头获取并保存下来的M12个图像以及副摄像头获取并保存下来的M22个图像，多目抓拍图优选单元1042可以根据标定的主摄像头和各个副摄像头之间的图像映射关系(空间对应)，并根据监控系统记录的时间戳(时间维度)、和目标所在的位置(空间维度)等信息进行关联匹配，对于保存的图像中的同一对象匹配为同一目标，并统一ID值，即识别出保存的图像中哪些目标是同一目标。假设，在上述M12个图像中含有某一目标对象(可以跟用户的需求有关)的图像有M13个，其中，M11≥M12≥M13；在上述M22个图像中含有该目标对象的图像有M23个，其中，M21≥M22≥M23；即共获得了M13+M23个含有目标对象的图像(可以理解为目标对象的原图)。

多目抓拍图优选单元1042根据目标对象对上述M13个图像进行裁剪得到包含目标对象的M13个小图，用于更直观更有效地呈现目标对象。多目抓拍图优选单元1042根据目标对象对上述M23个图像进行图像裁剪得到包含目标对象的M23个小图，用于更直观更有效地呈现目标。

由多目抓拍图优选单元1042得到了M13个图像(原图)、M13个小图、M23个图像(原图)、M23个小图，其中，M13个小图和M23个小图由多目抓拍图优选单元1042进行质量评价，得到优选的X张小图。多目抓拍图优选单元1042将X张小图以及X张小图对应的X张原图传输到视频/图像编码单元105进行图像编码，通过传输单元106传输到显示单元107，显示单元107可以仅对X张小图进行解码并显示，可选地，还可以对X张大图进行解码和显示。应理解，原图含有更丰富的图像细节和背景，能有利于进行监控结果的验证和校对，一些场景下为节约显示面积，可以存储在显示单元所在终端侧中不进行实时显示。

可选地，多目抓拍图优选单元1042将成像质量评价结果发送给成像参数生成及反馈控制单元1043；成像参数生成及反馈控制单元1043综合多目抓拍图优选单元1042的质量评价结果，对于主摄像头及多目副摄像头采集图像的成像质量进行评价。其中，包括图像的亮度、对比度、模糊程度、噪声水平等；基于该评价结果以及期望的成像效果，可以通过计算生成各成像摄像头的理想拍摄参数，包括：曝光时长、增益、去噪参数等，并通过多路ISP处理单元反馈控制给主摄像头及各副摄像头的成像参数，调整各个摄像头当前的拍摄参数。

本发明实现的过程中，首先要架设好监控拍摄模组。

本发明的监控拍摄模组建立的模式是“1个主摄像头+N个副摄像头”。在一些实例中，N个副摄像头还可以包含中短焦副摄像头和/或长焦副摄像头；不同的中短焦副摄像头的焦距等参数可以相同也可以不同；不同的长焦副摄像头的焦距等参数可以相同也可以不同；可以只有中短焦副摄像头或者长焦副摄像头中的一种；副摄像头的数量N可以是不小于2的任意整数。

例如，一种监控拍摄模组是采用“1个主摄像头(6mm)+4个副摄像头(15mm)+3个副摄像头(8mm)”。摄像头架设的核心思想是以“覆盖住用户感兴趣的监控区域，并能在监控区域中可以采集到完整高清的目标的图像”为目的；具体摄像头参数的设计与个数的选择由区域覆盖、摄像头的FOV、摄像头架设的高度、用户对采集图像质量的要求、监控距离等因素共同决定。其中，主摄像头可以采用常规监控视频组件或摄像头，例如，镜头焦距可以在2mm-8mm范围内电动变焦(实际工作时可固定在6mm左右)，光圈Fno＝1.4，Sensor 200万像素等，用于实时采集视场区域全局图像数据。对于副摄像头，如果想监控距离摄像头安装位置较远的区域，可以采用长焦镜头，以确保感兴趣目标的尺寸满足要求；如果想监控视场中距离摄像头安装位置较近的区域，可以采用中短焦镜头。副摄像头的镜头，可以采用大光圈设计，取值范围为0.6-1.5之间，如Fno＝0.8或Fno＝1.2或Fno＝1.5等，用于增加低照度场景下的感光量，提升低照度成像效果。

另一种可能的设计规格可以参考如下：

1主摄像头+4长焦副摄像头+4中短焦副摄像头；

主摄像头的总FOV>60°，中短焦副摄像头交叠>1.6°，长焦副摄像头交叠>1°；一种可选的需求是确保相邻副摄像头之间的交叠区域能够完整覆盖某种类型的检测对象，如人脸，保证监控无死角。应理解，副摄像头的FOV与主摄的FOV以及副摄像头的个数有关；例如，假设主摄FOV值一定，副摄像头的个数越多，副摄像头的FOV可以越小，反之亦然。

具体实现过程中，主摄像头的等效焦距可以选择2mm-8mm；典型值6或8mm，在监控距离小于5m的范围内，采集人脸图像的像素远远超过50*50；中短焦副摄像头的等效焦距可以选择6mm-15mm；典型值10mm或12mm，可以在监控距离5m-15m的范围内，采集人脸图像的像素远远超过50*50；长焦副摄像头的等效焦距可以选择15mm-25mm；典型值18mm或21mm或24mm，可以在监控距离15m-25m的范围内，采集人脸图像的像素远远超过50*50。这种设计可以保证在25米范围内，能够采集到的人脸图像大于50*50像素，达到4K品质的抓拍图。而现有技术中若只采用一个摄像头，则只能保证5m范围内高清抓图，其他范围内抓图的清晰度会变差，进而监控系统的性能就会大打折扣。

应理解为，整个监控视野的纵深方向的监控范围需求会影响副摄像头的焦距和排数，整个监控视野的横向方向的监控范围需求会影响副摄像头的视场角；进而影响副摄像头的具体个数。

以上具体实例仅作举例，不做任何限定。

此外，对于任意一个副摄像头所覆盖的监控区域，可以通过标定的方式与主摄像头的重叠监控区域建立映射关系，即对于这块共同的监控区域，主摄像头和副摄像头所采集到的图像之间要建立映射关系。标定的方法可采用现有的方法，包括：特征点标定等。该映射关系可以在监控设备安装现场进行初始化标定，也可以在监控设备出厂时设定，在完成安装后，根据摄像头安装现场的视场场景，对映射关系进行确认和修正。

架设拍照系统后，监控系统开始采集图像，并对目标进行检测、跟踪和选图，到最后在屏幕上呈现出优选抓拍图。

接下来将以下列示例为例，对本发明实施例展开进一步描述。该实例应用于一种监控拍摄模组，监控拍摄模组包括：1个主摄像头和N个副摄像头；其中，N个副摄像头的监控区域分别覆盖主摄像头监控区域中的N个不同区域；任意一个副摄像头拍摄图像时的焦距大于主摄像头拍摄图像时的焦距；N为不小于2的整数。

示例1

S11：利用主摄像头和N个副摄像头采集图像。

具体实现过程中，主摄像头以第一帧率(例如不低于25fps)采集主摄像头覆盖的监控视场区域内的图像数据，可以理解为视频；各副摄像头以第二帧率(如0.5fps-25fps)采集各自覆盖的监控视场区域内的图像数据，可以理解为图片。其中，第二帧率要比第一帧率低，副摄像头采用类似拍照的方式获取图像数据。此外，副摄像头可以根据监控的目标类别或监控场景的不同而选择不同的帧率。例如监控楼梯、大厅等人物时，拍摄帧率可以选择0.5fps-3fps；例如监控人行道，可以选择1fps-5fps，监控车辆时可以选择3fps-10fps等。主摄像头采集的视频以及各副摄像头采集到的RGB图像经过ISP处理后变为YUV图像数据，对应的可以称为主摄像头的YUV图像数据和副摄像头的YUV图像数据。

S12：在主摄像头和N个副摄像头采集的图像中选出含有目标对象的M个图像。

具体实现过程中，接收ISP处理后的主摄像头及多目副摄像头对应的YUV图像数据，即主摄像头的YUV图像数据和副摄像头的YUV图像数据，对每帧图像进行目标的检测、跟踪，这里的目标可以包括：机动车、非机动车、行人、人脸等重点监控对象。对于每帧主摄像头的YUV图像数据，进行目标检测，对于各个副摄像头的YUV图像数据，进行目标检测。目标检测的方法可以采用图像分析方法或者神经网络判别方法。

在具体实现过程中，多目目标检测跟踪单元1041进行目标检测时，若检测到图像中存在目标(如车、人等用户预设的识别对象)，则反馈给多路ISP处理单元103，反馈给多路ISP处理单元103，从系统缓存中保存该图像。通过上述实例的描述，应理解，多目目标检测跟踪单元1041既可以保存主摄像头对应的YUV图像数据也可以保存副摄像头对应的YUV图像数据，假设在一段监控时间内，保存有M0个包含目标的图像。

对于保存的主摄像头的YUV图像数据，进行目标跟踪，记录每帧图像中每个目标的目标ID、目标位置，对于同一个目标会形成目标轨迹；对于保存的各个副摄像头的YUV图像数据，进行目标跟踪，记录每帧图像中每个目标的目标ID、目标位置，形成目标轨迹。跟踪方法可以采用但不限于双向光流跟踪、Kalman预测及匈牙利匹配算法。应理解，目标ID可以以数字或字母编号的形式进行标记，且对于任何不同的摄像头中的数据编号方式可以相同也可以不同，为了在后续处理信号时有所区别，通常不同的摄像头采集的图像对应的记录目标ID时采用的方式不同。另外，记录目标位置可以采用但不限于坐标标记的方式。

对于保存的主摄像头获取的每一帧图像(可以称为主摄抓拍图)与保存的各副摄像头获取的每一个图像(可以称为副摄抓拍图)，根据标定的主摄像头和各副摄像头取景区域之间的图像映射关系、图像拍摄的时间戳、目标位置等信息进行关联匹配，识别出在不同图像中的相同的目标，对于匹配出的同一目标，统一ID值，即建立同一个目标的关联关系；对于不同的目标，尤其是对于某一摄像头中采集图像中丢失或未识别的目标(被另一摄像头采集图像中记载或识别)，分配新的ID值。可选的，同一时间且同一位置出现两个对象以上时，可以采用特征匹配的算法来进一步地确定不同图像中的各个目标哪些是同一目标。另外，如果总检测线程反馈给多路ISP处理单元103用以同时保存主摄像头和副摄像头采集的图像时，可以通过对主摄像头和副摄像头对拍摄的同一目标直接统一ID。

通过上述方法，对于一个具体的目标或者目标ID，也即目标对象，在上述保存的M0个包含目标的图像中，可以确定出包含目标对象的图像有若干个，这里用M个来表示。

S13：根据目标对象对M个图像进行裁剪，得到M个含有目标对象的小图。

由于监控系统中需要显著呈现目标的图像来方便用户感知监控数据；因此需要根据目标对象对上述M个图像进行裁剪，减去多余的无关信息，得到M个含有该目标对象的小图。例如根据目标对象的大小或者外形，裁剪出能够显著呈现目标特征的小图。小图的形状可以是方形、圆形、或者是目标物体的轮廓。裁剪就是把图片或影像的某一部分从原始图片或影像中分离出来，还可以理解为抠图。可用的方法包括：特定区域裁剪、套索工具、选框工具、橡皮擦工具等直接选择、快速蒙版、钢笔勾画路径后转选区、抽出滤镜、外挂滤镜抽出、通道、计算、应用图像法等。本发明裁剪得到的图像可以是目标对象的外形、方块、圆形、或其他形式的形态。

S14：对M个小图进行质量评价。

针对上述M个小图，可以采用基于深度学习的质量评价算法或其他现有技术中的质量评价方法，对M张小图进行质量评价。从而得到该目标对象对应的质量抓拍结果，质量评价结果可以用分数来表示。可以根据预设需求以及质量抓拍的结果从M个小图中选择出质量抓拍结果排名靠前的X个小图。具体的，例如对于该目标对象，选择质量评价结果最好的一张小图。最终优选出的小图，可以来自于主摄像头获取的抓拍图，也可以来自于副摄像头获取的抓拍图，由质量评价结果或算法决定。通常来说，在补充监控区域，同时间同地点，副摄像头采集的图像的质量会高于主摄像头。

S15：至少显示M张小图中质量评价结果最好的一张小图。

具体地，根据质量评价结果，可以得到最优小图，或多张优选小图。最优小图或多张优选小图经过视频编码单元编码和网络传输传到显示终端，经显示终端解码将最优小图显示在终端的显示屏中。可选地，如果显示终端的空间较大，且用户有需求重点监控某一时段内的对象，还可以选出质量评价结果靠前的X个小图一起呈现给用户。显示形式可以为：显示屏中包括主显示区域和副显示区域，主显示区域用于显示主摄像头采集的实时视频流，副显示区域用于显示副摄像头抓拍到的任意目标的小图。进一步地，还可以打包这X个小图对应的原图传输到显示端，用于后续的显示与验证。

在具体实现过程中，可以在目标对象出现在监控视野中实时显示该优选小图(topX个小图)，因此质量评价只能是基于当前采集并保存的含有目标对象的图像，后续一旦检测到质量评价结果更好的另外一个目标对象的小图，进行实时更新。

在具体实现过程中，可以在目标对象消失在监控视野中显示该优选小图(topX个小图)，因此质量评价只能是基于所有采集并保存的含有目标对象的图像，因此无需实时更新。

S16：根据图像质量评价结果调整主摄像头或者副摄像头的拍摄参数。

应理解，S16这一步骤是可选的。具体地，M个小图的质量评价结果，对于主摄像头及多个副摄像头的成像质量也会有一定的质量反馈，如包括图像的亮度、对比度、模糊程度、噪声水平等，根据期望的成像效果，可以通过计算生成各成像摄像头的成像参数，包括：曝光时长、增益、去噪参数等，并通过多路ISP处理单元103反馈给主摄像头及各目副摄像头的成像参数。如果主摄像头及各目副摄像头当前的拍摄参数存在不足，则可以根据反馈参数进行适应性的调整和优化。

示例2

如图8所示，监控系统的关注区域为ABCD四个副摄像头的监控区域(也可对应称为ABCD区域)，且ABCD四个区域在主摄的监控范围(k1、k2和k3的包围区域)内；本例中可以理解为ABCD以外的区域为监控时的不关注区域，虚线表示目标对象的实际目标轨迹。自该目标对象进入监控区域到走出监控区域的过程中，途径ACD三个区域，假定这一过程中，主摄像头对目标拍摄了50帧图，记作z1、z2……z50，多目目标检测跟踪单元1041中的主摄像头检测线程或副摄像头检测线程在A1、A2、C1、D1、D2、D3处检测到该目标，并反馈多路ISP处理单元103保存到了副摄像头A采集的两个图像(记作a1、a2)、副摄像头C采集的两个像(记作c2)、副摄像头D对于采集的三个图像(记作d1、d2、d3)。应理解，a1、a2、c1、d1、d2、d3会比主摄像头在相应区域拍摄的图像有更大的呈现，进一步可能会有更高的感光，或者更高的像素。

多目抓拍图优选单元1042根据主摄像头与副摄像头通过A区域的位置对应关系，采集图像的时间戳，以及检测到的目标的位置判定出A区域中检测到的目标a1、a2与主摄检测到的目标z1-z50为同一目标；同理，主摄像头与副摄像头通过C区域的位置对应关系，采集图像的时间戳，以及检测到的目标的位置判定出C区域中检测到的目标c1与主摄检测到的目标z1-z50为同一目标；主摄像头与副摄像头通过A区域的位置对应关系，采集图像的时间戳，以及检测到的目标的位置判定出D区域中检测到的目标d1、d2、d3与主摄检测到的目标z1-z50为同一目标。因此，对于该目标对象，通过主摄像头和副摄像头共获得50+2+1+3＝56个图像，多目抓拍图优选单元1042将根据目标对象的大小或者外形对这56个图像进行裁剪，得到能够显著显示出目标对象的56个小图。并对着56个小图按照统一的预设评价标准进行质量评价，筛选出质量满足标准的topX个图像作为优选小图，X的典型值为1，如果有其他需求，X可以为其他正整数，由用户根据具体需要自由定义，本发明中不予以限定。这X个小图经过编码传输到显示终端，经过显示终端的解码呈现给用户。例如，若d1的质量评价结果最好，则在显示端对应地显示出d1，以供用户参考对目标对象进行监控分析。这时，显示端可以实时显示主摄像头实时监控的视频，用户可以看到目标对象的移动轨迹，但是在其他显示区域可以只显示出d1这个图像。

此外，由于监控系统中还会出现其他的目标，因此检测到其它目标时，同样会保存相关的图像，即实际多目目标检测跟踪单元1041检测到的图像远比上述图像要多的多，且多路ISP处理单元103保存的图像也要比上述图像多得多。本示例中仅用目标对象作为举例，应理解，对于其他任意对象，其监控方法和流程如同该目标对象的示例，本发明中不进行赘述。

本发明实施例提供了一种监控拍摄模组和监控方法，采用“1主摄像头+N副摄像头”为采集图像的基础组件，通过布局多个副摄像头弥足主摄像头在较远处拍摄图像不清楚的弊端，副摄像头的“长焦”和“大光圈”设计大大弥补了主摄像头成像质量的不足，进而使得在主摄监控的大部分区域内，能够采集到目标对象的清晰图像。对于监控系统，可以增强监控系统的识别准确率，无疑会为监控系统的商业成功提供更强大的用户使用基础。

基于上述实施例提供的监控方法，本发明实施例提供一种监控装置，该装置应用于一种监控拍摄模组，该监控拍摄模组包括：1个主摄像头和N个副摄像头；其中，N个副摄像头的监控区域分别覆盖主摄像头监控区域中的N个不同区域；任意一个副摄像头的焦距大于主摄像头的焦距；N为大于1的整数；如图9所示，该装置200可以包括：采集模块201，选择模块202，裁剪模块203，评价模块204，显示模块205；可选的，任意一个副摄像头的光圈值小于主摄像头的光圈值；其中，

采集模块201，用于利用主摄像头和N个副摄像头采集图像，其中，任意一个副摄像头采集图像的帧率小于所述主摄像头采集图像的帧率；该模块可以由处理器调用存储器中的程序指令或者外部输入的程序指令实现，协同摄像头获取图像并对图像进行一些计算处理，进而采集到图像。

选择模块202，用于在主摄像头和N个副摄像头采集的图像中选出含有目标对象的M个图像，M为大于1的整数；该模块可以由处理器调用存储器中的程序指令或者外部输入的程序指令实现；通过算法筛选含有目标对象的M个图像。

裁剪模块203，用于根据目标对象对M个图像进行裁剪，得到M个含有目标对象的小图；该模块可以由处理器调用存储器中的程序指令或者外部输入的程序指令实现；如图像裁剪或抠图的算法或程序。

评价模块204，用于对上述M个小图进行质量评价；该模块可以由处理器调用存储器中的程序指令或者外部输入的程序指令实现。

显示模块205，用于显示上述M个小图中质量评价结果最好的一个小图。该模块可以由处理器调用存储器中的程序指令或者外部输入的程序指令，并配合显示屏一起实现。

在具体实现过程中，采集模块201具体用于执行S11中所提到的方法以及可以等同替换的方法；选择模块202具体用于执行S12中所提到的方法以及可以等同替换的方法；裁剪模块203具体用于执行S13中所提到的方法以及可以等同替换的方法；评价模块204具体用于执行S14中所提到的方法以及可以等同替换的方法；显示模块204具体用于执行S15中所提到的方法以及可以等同替换的方法。进一步地，装置200还可以包含反馈模块206，具体用于执行S16中所提到的方法以及可以等同替换的方法。其中，上述具体的方法实施例以及实施例中的解释和表述也适用于装置中的方法执行。

在具体实现过程中，采集模块201可以具有主摄像头101、副摄像头102、多路ISP处理单元103中所提到的部分功能以及可以等同替换的功能，具体包括按照各自预设频率采集图像、进行图像的raw域处理等功能；选择模块202可以具有多目目标检测跟踪单元1041、多目抓拍图优选单元1042中所提到的部分功能以及可以等同替换的功能，具体可以包括目标检测、反馈多路ISP处理单元103保存图像、目标追踪、目标ID标记、筛选同一目标等功能；裁剪模块203可以具有多目抓拍图优选单元1042中所提到的部分功能以及可以等同替换的功能，具体可以包括裁剪图像的功能；评价模块204可以具有多目抓拍图优选单元1042中所提到的部分功能以及可以等同替换的功能，具体可以包括按照预设质量评价方法对裁剪后的图像进行质量评价的功能，以及对显示结果进行排序的功能；显示模块205可以具有多目抓拍图优选单元107中所提到的部分功能以及可以等同替换的功能，具体可以包括将编码后的图像数据进行解码并呈现的功能。其中，与图6相关的实施例以及实施例中的解释和表述也适用于装置中相应的功能模块。

该装置应用于的监控拍摄模组可以如方法实施例中任意一种可能得到的监控拍摄模组。关于摄像头数量、硬件参数此处不再赘述。

本申请实施例还提供一种监控设备300，如图10所示，设备包含处理器301、存储器302、多个摄像头303、显示屏304以及总线305；处理器301、存储器302、多个摄像头303、显示屏304通过总线305相连接；存储器302中存储有程序指令和数据，摄像头303用于采集图像，显示屏304用于显示视频或图像，处理器301用于调用存储器中的数据和程序指令，与多个摄像头303和显示屏304协同完成；以完成如上述实施例中提供的任一方法和可能的设计方法。其中，多个摄像头303可以配置成为如方法实施例中任意一种可能得到的监控拍摄模组，关于摄像头数量、硬件参数此处不再赘述。

本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种监控拍摄模组，其特征在于，所述监控拍摄模组包括：1个主摄像头和N个副摄像头，N为大于1的整数；所述主摄像头和所述N个副摄像头用于采集图像，且任意一个副摄像头采集图像的帧率小于所述主摄像头采集图像的帧率；

其中，所述N个副摄像头的监控区域分别覆盖所述主摄像头监控区域中的N个不同区域；且任意一个副摄像头的焦距大于所述主摄像头的焦距。

2.如权利要求1所述模组，其特征在于，所述主摄像头的FOV大于60°，所述主摄像头的焦距在[4，8]mm范围内，所述主摄像头的光圈值在[1.4，2.0]范围内。

3.如权利要求1或2任一项所述模组，其特征在于，至少一个副摄像头的焦距在[8，15]mm范围内。

4.如权利要求1-3任一项所述模组，其特征在于，至少一个副摄像头的焦距在[15，25]mm范围内。

5.如权利要求1-4任一项所述模组，其特征在于，至少一个副摄像头光圈值在[0.8，1.6]范围内，且至少一个副摄像头的光圈值小于所述主摄像头的光圈值。

6.如权利要求1-5任一项所述模组，其特征在于，N＝4，其中，4个副摄像头的焦距在[18，21]mm范围内。

7.如权利要求1-5任一项所述模组，其特征在于，N＝7，其中，三个副摄像头的焦距为[12，18]mm，另外四个副摄像头的焦距为[21，25]mm。

8.一种监控方法，其特征在于，所述方法应用于一种监控拍摄模组，所述监控拍摄模组包括：1个主摄像头和N个副摄像头；其中，所述N个副摄像头的监控区域分别覆盖所述主摄像头监控区域中的N个不同区域；任意一个副摄像头的焦距大于所述主摄像头的焦距；N为大于1的整数；所述方法包括：

利用所述主摄像头和所述N个副摄像头采集图像，其中，任意一个副摄像头采集图像的帧率小于所述主摄像头采集图像的帧率；

在所述主摄像头和所述N个副摄像头采集的图像中选出含有目标对象的M个图像，M为大于1的整数；

根据所述目标对象对所述M个图像进行裁剪，得到M个含有目标对象的小图；

对所述M个小图进行质量评价；

至少显示所述M个小图中质量评价结果最好的一个小图。

9.如权利要求8所述方法，其特征在于，所述主摄像头焦距在[4，8]mm范围内，N＝4，且4个副摄像头的焦距在[18，21]mm范围内。

10.如权利要求8或9所述方法，其特征在于，所述主摄像头光圈值在[1.4，2.0]范围内，至少一个副摄像头光圈值在[0.8，1.6]范围内，且至少一个副摄像头的光圈值小于所述主摄像头的光圈值。

11.如权利要求8-10任一项所述方法，其特征在于，在所述主摄像头和所述N个副摄像头采集的图像中选出含有目标对象的M个图像包括：

利用主摄像头检测线程在所述主摄像头采集的图像中检测到M1个图像含有所述目标对象，从缓存中保存所述M1个图像；利用所述主摄像头检测线程在所述N个副摄像头中采集的图像中检测到M2个图像含有所述目标对象，从缓存中保存所述M2个图像；或，

利用主摄像头检测线程在所述主摄像头采集的图像中检测到M1个图像含有所述目标对象，从缓存中保存所述M1个图像；利用副摄像头检测线程在所述N个副摄像头中采集的图像中检测到M2个图像含有所述目标对象，从缓存中保存所述M2个图像；

根据主摄像头和各副摄像头之间的图像映射关系，并根据所述主摄像头和各副摄像头拍摄图像的时间戳、以及目标位置，将所述M1个图像和所述M2图像识别为含有所述目标对象的图像；其中M＝M1+M2。

12.一种监控装置，其特征在于，所述装置应用于一种监控拍摄模组，所述监控拍摄模组包括：1个主摄像头和N个副摄像头；其中，所述N个副摄像头的监控区域分别覆盖所述主摄像头监控区域中的N个不同区域；任意一个副摄像头的焦距大于所述主摄像头的焦距；N为大于1的整数；所述装置包括：

采集模块，用于利用所述主摄像头和所述N个副摄像头采集图像，其中，任意一个副摄像头采集图像的帧率小于所述主摄像头采集图像的帧率；

选择模块，用于在所述主摄像头和所述N个副摄像头采集的图像中选出含有目标对象的M个图像，M为大于1的整数；

裁剪模块，用于根据所述目标对象对所述M个图像进行裁剪，得到M个含有目标对象的小图；

评价模块，用于对所述M个小图进行质量评价；

显示模块，用于至少显示所述M个小图中质量评价结果最好的一个小图。

13.如权利要求12所述装置，其特征在于，所述主摄像头焦距在[4，8]mm范围内，N＝4，且4个副摄像头的焦距在[18，21]mm范围内。

14.如权利要求12或13所述装置，其特征在于，所述主摄像头光圈值在[1.4，2.0]范围内，至少一个副摄像头光圈值在[0.8，1.6]范围内，且至少一个副摄像头的光圈值小于所述主摄像头的光圈值。

15.如权利要求12-14任一项所述装置，其特征在于，所述选择模块具体用于：

利用主摄像头检测线程在所述主摄像头采集的图像中检测到M1个图像含有所述目标对象，从缓存中保存所述M1个图像；利用所述主摄像头检测线程在所述N个副摄像头中采集的图像中检测到M2个图像含有所述目标对象，从缓存中保存所述M2个图像；或，利用主摄像头检测线程在所述主摄像头采集的图像中检测到M1个图像含有所述目标对象，从缓存中保存所述M1个图像；利用副摄像头检测线程在所述N个副摄像头中采集的图像中检测到M2个图像含有所述目标对象，从缓存中保存所述M2个图像；

根据主摄像头和各副摄像头之间的图像映射关系，并根据所述主摄像头和各副摄像头拍摄图像的时间戳、以及目标位置，将所述M1个图像和所述M2图像识别为含有所述目标对象的图像；其中M＝M1+M2。

16.一种监控设备，其特征在于，所述设备包括多个摄像头、显示屏、处理器、存储器和总线；所述多个摄像头、所述显示屏、所述处理器、所述存储器通过所述总线相连；

所述多个摄像头用于采集图像；

所述显示屏用于显示视频或图像；

所述存储器用于存储有数据和程序指令；

所述处理器用于调用所述数据和程序指令，与所述摄像头和所述显示屏协同完成如权利要求8-11所述方法。

Images