CN115396602A

CN115396602A - 一种基于三摄摄像系统的场景拍摄控制方法、装置及系统

Info

Publication number: CN115396602A
Application number: CN202210912570.2A
Authority: CN
Inventors: 王文熹; 徐跃明; 王建飞; 张勇; 陈宇
Original assignee: Zhuhai Shixi Technology Co Ltd
Current assignee: Zhuhai Shixi Technology Co Ltd
Priority date: 2022-07-30
Filing date: 2022-07-30
Publication date: 2022-11-25

Abstract

本发明提供了一种基于三摄摄像系统的场景拍摄控制方法、装置及系统，三摄摄像系统包括第一摄像头以及部署于所述第一摄像头两侧的第二摄像头和第三摄像头；所述方法包括：识别三摄摄像系统的部署场景；控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的视频流图像。本发明的方案可以对应不同场景的不同实际需求，选用不同的摄像头对场景视频流图像进行采集，同时兼顾远景和近景的清晰度，从而得到优化的场景视频流图像。

Description

一种基于三摄摄像系统的场景拍摄控制方法、装置及系统

技术领域

本发明涉及图像处理技术领域，特别是一种基于三摄摄像系统的场景拍摄控制方法、装置及系统。

背景技术

目前，在进行教学、会议等场景中，通常需要摄像头对教学状态以及会议状态进行图像采集。以教学场景为例，通常在教室中安装的摄像头仅有一个，其视场角不能覆盖教室全面积，由于大多数教室的面积很大，如图1、图2所示，采用小视场角的镜头很难完整覆盖教室，采用大视场角的镜头，远距离图像细节的像素分辨率又很低，很难识别面部信息，同时大视场角镜头也伴随着更大的畸变，严重影响图像质量。尤其是在需要对教室中的学生学习状态进行检测时，虽然在教室最后排的学生的人脸像素可以满足人脸识别的要求，但是因摄像头的视场角有限，对于较宽的教室，前排两边存在盲区，将无法采集到学生的信息，对于会议场景，则同样如此。

发明内容

鉴于上述问题，本发明提出一种克服上述问题或者至少部分地解决上述问题的一种基于三摄摄像系统的场景拍摄控制方法、装置及系统。

根据本发明的第一方面，提供了一种基于三摄摄像系统的场景拍摄控制方法，所述三摄摄像系统包括视频流图像处理装置，以及第一摄像头以及部署于所述第一摄像头两侧的第二摄像头和第三摄像头，所述第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由同一控制装置进行控制处理；所述方法包括：

识别所述三摄摄像系统的部署场景；

控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像。

可选地，所述部署场景为教育监测场景；所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像包括：

控制所述三摄摄像系统的第一摄像头拍摄所述部署场景的全景视频流图像，作为所述部署场景的场景视频流图像。

可选地，所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像还包括：

控制所述第二摄像头拍摄第一图像，同时控制第三摄像头分拍摄第二图像；

分别获取所述第一图像中的至少部分第一图像和所述第二图像中的至少部分第二图像；

对所述至少部分第一图像和至少部分第二图像进行拼接，生成所述部署场景的场景图像；

依据连续时间段内的场景图像生成所述部署场景的参考场景视频流图像。

可选地，所述对所述至少部分第一图像和至少部分第二图像进行拼接，生成所述部署场景的场景图像之后，所述方法还包括：

通过所述第一摄像头拍摄所述部署场景的辅助场景图像，利用所述辅助场景图像校对所述场景图像。

可选地，所述依据连续时间段内的场景图像生成所述部署场景的参考场景视频流图像包括：

基于所述参考场景视频流图像识别所述部署场景内的异常检测对象，以获取异常检测对象区域；

对异常检测对象区域进行人体姿态识别，并根据人体姿态识别结果生成异常检测对象的状态评价。

在所述全景视频流图像中新建图像展示窗口，并在所述图像展示窗口中展示所述异常监测对象的视频流图像。

可选地，所述部署场景为会议场景；所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像包括：

控制所述第一摄像头拍摄所述部署场景的全景视频流图像，识别所述全景视频流图像中需要进行特写的至少一个目标对象；

计算所述目标对象与所述第一摄像头的相对距离；

根据所述相对距离确定目标摄像头，利用所述目标摄像头采集所述目标对象的目标视频流图像，作为所述场景视频流图像。

可选地，所述根据所述相对距离确定目标摄像头包括：

若所述目标对象与所述第一摄像头的相对距离小于或等于预设距离，则将所述第一摄像头作为目标摄像头；

若所述目标对象与所述第一摄像头的相对距离大于所述预设距离，则获取所述目标对象在所述部署场景内的第二位置坐标；根据所述第二位置坐标选取所述第二摄像头或第三摄像头作为目标摄像头。

根据本发明的第二方面，还提供了一种基于三摄摄像系统的场景拍摄控制装置，应用于三摄摄像系统，所述三摄摄像系统包括第一摄像头以及部署于所述第一摄像头两侧的第二摄像头和第三摄像头，所述第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由所述场景拍摄控制装置统一处理，所述装置包括：

场景识别模块，用于识别所述三摄摄像系统的部署场景；

视频流图像采集模块，用于控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像。

根据本发明的第三方面，还提供了一种三摄摄像系统，包括第一摄像头、第二摄像头、第三摄像头以及第二方面所述的基于三摄摄像系统的场景拍摄控制装置；

所述第二摄像头、第三摄像头部署于所述第一摄像头两侧，且所述第二摄像头、第三摄像头的固定面与所述第一摄像头的固定面呈预设角度。

可选地，所述第二摄像头和所述第二摄像头基于所述第一摄像头呈轴对称分布；

所述第二摄像头和所述第三摄像头的视场角相等，且均小于所述第一摄像头的视场角。

根据本发明的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面中任一项所述的方法。

本发明提供了一种基于三摄摄像系统的场景拍摄控制方法、装置及系统，对于不同的部署场景来讲，所用到的三摄摄像系统中的摄像头也可能不同，本发明通过对三摄摄像系统的部署场景进行识别，可以对应不同场景的不同实际需求，选用不同的摄像头对场景的视频流图像进行采集，同时兼顾远景和近景的清晰度，从而得到优化的场景视频流图像。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了传统的教室内设置单摄像头的场景示意图；

图2示出了传统的教室内设置单摄像头的场景整体示意图；

图3示出了根据本发明一实施例的三摄摄像系统结构示意图；

图4示出了根据本发明实施例的基于三摄摄像系统的场景拍摄控制方法流程示意图；

图5示出了根据本发明实施例的摄像头覆盖视场范围示意图；

图6示出了根据本发明另一实施例的三摄摄像系统结构示意图；

图7示出了根据本发明另一实施例的摄像头B扫描范围示意图；

图8示出了根据本发明另一实施例的会议场景示意图；

图9示出了根据本发明又一实施例的三摄摄像系统结构示意图；

图10示出了根据本发明实施例的三摄摄像系统拍摄画面范围示意图；

图11示出了根据本发明实施例的部分放大显示示意图；

图12示出了本发明一实施例的基于三摄摄像系统的场景拍摄控制装置结构示意图；

图13示出了本发明另一实施例的基于三摄摄像系统的场景拍摄控制装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种基于三摄摄像系统的场景拍摄控制方法，可以应用于如图1所示的三摄摄像系统，本实施例的三摄摄像系统包括第一摄像头以及部署于第一摄像头两侧的第二摄像头和第三摄像头，其中，第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由同一控制装置进行控制处理。第二摄像头、第三摄像头的固定面与第一摄像头的固定面呈预设角度。可选地，第二摄像头和第三摄像头基于第一摄像头呈轴对称分布；第二摄像头和第三摄像头的视场角相等，且均小于第一摄像头的视场角。其中，第一摄像头可以用于录像，在需要时可以对所录取的视频流图像进行调用查看；位于第一摄像头两侧的第二摄像头和第三摄像头可以一定角度设置，覆盖到应用场景的远近，并满足识别人脸信息的分辨率，以便采集的人脸信息符合后期的识别要求。本实施例的摄像头为可变焦镜头，具有目标需求焦段，例如目标需求焦段可以为16mm至35mm，或者50mm到100mm，或者100mm到200mm等。具体此处不做限定，根据实际应用场景选取合适焦段的变焦镜头。

如图3所示，其中，摄像头A可以作为第一摄像头，位于摄像头A两侧的两个摄像头B分别作为第二摄像头和第三摄像头。其中摄像头A位于中心位置，水平视场角为99.7°；摄像头B位于左右两边，水平视场角为33.0°。摄像头A和摄像头B均可采用AF(Auto Focus)或FF(Fixed Focus)制成，摄像头B的分辨力是摄像头A的3.4倍。顾名思义，FF就是镜头对焦距离是固定的无法调焦，一般是超焦距大景深拍摄的广角镜头，AF镜头的镜片组可以移动调节对焦。

如图4所示，本发明实施例的基于三摄摄像系统的场景拍摄控制方法至少可以包括以下步骤S401～S402。

S401，识别三摄摄像系统的部署场景。三摄摄像系统的部署场景即为三摄摄像系统的应用场景，例如，安装于教室中的教育监测场景、安装于会议室中的会议场景等等。

S402，控制三摄摄像头系统中的至少一摄像头拍摄部署场景的场景视频流图像。

对于不同的部署场景来讲，所用到的三摄摄像系统中的摄像头也可能不同，本发明实施例可以对应不同场景的不同需求，选用不同的摄像头对场景视频流图像进行采集，以实现场景中视频的直播或者录像。

需要说明的是，本实施例的三摄摄像系统中的第一摄像头、第二摄像头和第三摄像头可以同时进行工作，且均受控于同一控制装置，从而由这一控制装置对三个摄像头拍摄的视频流图像进行统一处理。在具体应用时，需要对第一摄像头、第二摄像头和第三摄像头所拍摄的视频流图像进行延时校准，从而保证三个摄像头所拍摄的视频流图像实现帧同步，且误差在几毫秒之内。可选地，对三个摄像头进行延时校准时，可以通过对应各摄像头对时钟、定时器等设备进行校准，或是通过其他方式进行校准，从而保证三摄摄像头中的各摄像头可以实现同时拍摄，避免由于视频延时而影像用户的使用体验。

下面分别对三摄摄像系统部署场景中的教育监测场景和会议场景进行详细说明。

一、教育监测场景

当部署场景为教育监测场景时，上述步骤S402控制三摄摄像头系统中的至少一摄像头采集部署场景的场景视频流图像可以包括：

A1-1，控制三摄摄像系统的第一摄像头拍摄部署场景的全景视频流图像，作为部署场景的场景视频流图像。

一般来讲，可以直接控制位于中心的第一摄像头采集部署场景的场景视频流图像，并且将采集到的视频流图像存储至服务端或是本地，作为教育视频录像进行存储，在需要时进行调取查看。此时，在满足第一摄像头可以满足基本功能的前提下，可以控制第二摄像头和第三摄像头关闭，以节省能源。由于第一摄像头的水平视角较大，通过这一摄像头就可以实现部署场景中全场景视频流的采集，以作为整个部署场景的场景图像。本实施例中，第一摄像头拍摄的全场景视频流图像可以实现教室等全场景中视频图像的获取，满足教育检监测的基本需求。

上述实施例介绍的是采用第一摄像头采集场景全视频流图像的方案，在一些情况下，例如需要对场景中的学生的上课状态或者是老师的教学状态进行检测时，由于需要的图像分辨率较高，还可以利用位于第一摄像头两侧的第二摄像头和第三摄像头组合采集部署场景的场景视频流图像。可选地，本实施例中控制三摄摄像头系统中的至少一摄像头采集部署场景的场景视频流图像还可以包括：

A2-1，控制第二摄像头拍摄第一图像，同时控制第三摄像头分拍摄第二图像。本实施例中，第一摄像头可以拍摄一路视频流图像，第二摄像头和第三摄像头可以组合拍摄另一路视频流图像，用于进行特征识别。其中，第二摄像头、第三摄像头的参数为预先根据场景需求进行设定，摄像头的参数包含光轴角、倾斜角以及焦距。

其中，以第二摄像头和第三摄像头的中间点为原点建立三维坐标系，确定第一参照物位置坐标，并根据第一参照物位置坐标确定第二摄像头与第三摄像头之间的光轴夹角。在应用场景中，第二摄像头和第三摄像头的视野部分重叠，因此，可尽量选取位于第二摄像头与第三摄像头中间的对象作为第一参照物，该第一参照物的位置坐标可以作为第二摄像头中点与第三摄像头中点延伸出的某侧射线相交的交点，同时，从第二摄像头中点与第三摄像头中点延伸出另一侧射线，使得每个摄像头发出的两侧射线所形成的夹角范围尽量覆盖应用场景的二分之一区域，由于第二摄像头以及第三摄像头分别设于对应的水平面上，因此可设第二摄像头与第三摄像头的光轴角度数相同。其中，第一参照物可以是场景内摆放的桌椅、学生等，具体不做限定。

本实施例中，第二摄像头与第三摄像头可以进行旋转，为了使得摄像头所拍摄的范围能够尽量远，避免后排存在拍摄的盲区，从而覆盖于应用场景深处如教室的后排，需要以黑板为基础，确定第二摄像头与第三摄像头相对于黑板的倾斜角，该倾斜角可以随着应用场景的深度来进行一定的调整。

本实施例中，所应用的摄像设备应布置在超过2m高度的水平拍摄场景中，例如嵌于教室黑板上端内，用于采集教室内的学生或老师的视频流图像，以供后续分析处理，不适用于竖直向下拍摄的场景，例如公交、地铁的客流统计。

在本实施例的三摄摄像系统中，第一摄像头需要满足大视角全景覆盖要求，以拍摄部署场景的全景视频流图像，位于第一摄像头两侧的第二摄像头和第三摄像头要满足远距离的面部表情识别需求，即，第二摄像头和第三摄像头所拍摄的视频流图像符合人体面部表情识别的基本像素要求。其中，假设要求人脸所占像素数≥b×b(例如例如人脸所占像素数≥30×30)，已知摄像头的焦距为f(视场角越大焦距值越小)，远距目标(如最远的检测对象)到摄像头模组的距离为d，图像传感器的像元尺寸为p，检测区域(如人脸尺寸)为c，则需要满足如下关系式：

通过上式可计算出所需第一摄像头和第二摄像头的焦距值

设视频流图像传感器的水平方向的像素数为n，则该摄像头的水平方向视场角可计算为：

该θ₂值要满足摄像头的视场角覆盖范围。因此可根据需求设计合适的f值，反推出对应的水平视场角θ₂值，再与θ₁值作比较，若θ₂>θ₁，说明摄像头可以满足场景内的水平视场角和分辨率范围，即单摄像头方案可以满足；若θ₂<θ₁，说明单摄像头方案无法满足，需要采用多摄像头拼接才能满足水平视场角和分辨率要求，若采用m个摄像头，要求m*θ₂>θ₁。

摄像头可采用AF(变焦)或FF(定焦)两种方式，若采用FF，需满足景深范围覆盖摄像头的工作范围。

其中近景深计算公式为：

远景深计算公式为：

其中，F为摄像头的光圈，L为对焦距离，f为摄像头的焦距，q为弥散圆尺寸(p×2)。

本实施例中，三摄摄像系统两侧的第二摄像头和第三摄像头的各参数相同，对于7*9米的教室来讲，第二摄像头和第三摄像头对应的各参数优选取值为：f＝5.55mm，F＝2.4，L＝3800mm，q＝0.002mm，计算景深范围为2.4m～9.3m，具有上述参数的第二摄像头和第三摄像头可以满足场景内远距离的工作要求，从而分别获取教室内两侧的高分辨率的视频流图像后进行拼接，以便于后续能够第二摄像头和第三摄像头所拍摄的视频流图像准确且快速识别出人体面部表情，并进行状态评估。

本实施例中，将三个摄像头的光轴按一定的夹角进行设计，其中大视场角摄像头拍摄会议室的正前方，分辨率更高的长焦摄像头拍摄会议室内的左前方和右前方。当拍摄的目标对象距离摄像头较近时(如距离小于5.0m)，采用大视场角摄像头对目标主体进行定位，并对图像进行裁剪，实现特写的效果；当拍摄的目标对象距离摄像头较远时(如距离大于5.0m)，采用大视场角摄像头对目标主体进行定位，然后根据目标所在位置，切换至左边或右边的分辨率更高的长焦摄像头对目标进行特写。考虑远距离目标解析力要足够高，分辨率更高的长焦摄像头的角度不宜过大，为了解决视场盲区的问题，可以在左右两颗摄像头上设计转动机构，对场景进行扫描拍摄，进而提高视场覆盖范围。

A2-2，分别获取第一图像中的至少部分第一图像和第二图像中的至少部分第二图像。将第二摄像头与第三摄像头的参数调整好后，为了后续满足场景边缘图像采集的应用需求，需要在同一预设时间内分别获取第二摄像头拍摄的第一图像和第三摄像头拍摄的第二图像，然后再将这两部分图像进行处理和合成。在实际应用中，如图3所示，第二摄像头设于第一摄像头的左侧，第三摄像头设于第二摄像头的右侧，那么第二摄像头着重拍摄左半部分图像，而第三摄像头着重拍摄右半部分图像。假设第二摄像头和第三摄像头安装位置相反，则获取对应区域的图像即可。

A2-3，对至少部分第一图像和至少部分第二图像进行拼接，生成部署场景的场景图像。

A2-4，依据连续时间段内的场景图像生成所述部署场景的参考场景视频流图像。

当第二摄像头着重拍摄场景内左半部分图像，那么右半部分的前排区域则会存在拍摄盲区；第三摄像头着重拍摄右半部分图像，那么左半部分的前排区域则会存在拍摄盲区。因此，为了避免前排两边出现盲区，需要对第二摄像头所拍摄的第一图像进行裁剪得到至少部分第一图像，对第三摄像头拍摄的第二图像进行裁剪得到至少部分第二图像，以保留相应摄像头着重拍摄的图像部分，再将保留的至少部分第一图像和至少部分第二图像进行拼接处理，以生成新的没有前排和后排拍摄盲区的场景图像。在连续时间段内的场景图像的组合即可得到连续的场景视频流图像。

传统采用双摄像头方案的图像拼接图像时，假如都是16:9的图像，拼接后就是32:9，如果有人头的话，人脸可能会出现断层，影响算法做人脸识别。本实施例提供的方法，在不降低图像细节分辨率的情况下，通过提高成像光学系统的视场角，满足教室环境的全场景信息采集覆盖，老师和学生的人脸信息采集等应用需求。采用两种小角度镜头拼接，识别对象表情，人脸＞80×80像素，有效解决单摄像头视场角不够，无法覆盖场景全域的问题；以及远距离目标解析力不够的问题(人脸识别)。

进一步地，在上述步骤A2-3之后，还可以通过第一摄像头采集部署场景的辅助场景图像，利用辅助场景图像校对场景图像。实际应用中，在进行图像拼接时可能头会出现拼接断层，影响算法识别，而三摄可以用中间的摄像头采集丢失人头来弥补，从而得到优化的场景图像。

最后，对于得到的场景图像还可以进行异常检测对象识别，以获取异常检测对象区域；对异常检测对象区域进行人体姿态识别，并根据人体姿态识别结果生成异常检测对象的状态评价，人体姿态可以为人脸特征或者坐姿或者身体动作等。本发明实施例提供的方法，通过采用第一摄像头两侧的高分辨率的第二摄像头或第三摄像头采集第一目标对象的高清视频流图像，以对第一目标对象的人脸特征以及坐姿进行进一步甄别，进而判断学生的上课学习状态，或者是教师的讲课状态，从而对学生状态或是教师状态进行评估。

进一步地，在识别出异常检测对象之后，还可以在全景视频流图像中新建图像展示窗口，并在图像展示窗口中展示异常监测对象的视频流图像。本实施例中，可以在进行视频直播或者回放的同时，在图像展示窗口中重点放大异常检测对象，以供管理人员进行查看，可选地，还可以在场景视频流图像中新建图像展示窗口并放大展示异常检测对象的视频流图像，与此同时，还可以在场景视频流图像中对第一目标对象进行标记，例如采用特定颜色的方框对第一目标对象进行框选。

二、会议场景

上述步骤S402控制三摄摄像头系统中的至少一摄像头采集部署场景的场景视频流图像可以包括：

A3-1，控制第一摄像头拍摄部署场景的全景视频流图像，识别全景视频流图像中需要进行特写的至少一个目标对象。可选地，在识别目标对象时，可以将当前的发言人作为目标对象，例如，将正在说话的人、处于站姿状态、位于主讲台、手持话筒的对象作为目标对象。

A3-2，计算目标对象与第一摄像头的相对距离。计算目标对象与第二摄像头之间的相对距离时，同样可以先确定目标对象在场景中的第二位置坐标，利用第二位置坐标计算目标对象与第一摄像头之间的相对距离。在确定目标对象之后，可对目标对象进行定位，以进一步获取目标对象的位置坐标，实际应用中，可以建立场景三维坐标系，其中，x轴沿部署场景区域横向设置，y轴沿部署场景区域纵向设置，z轴沿竖直方向设置，进而确定目标对象在场景三维坐标系统中的坐标作为位置坐标，进而利用计算得到的位置坐标确定目标对象与第一摄像头之间的相对距离。

A3-3，根据相对距离确定目标摄像头，利用目标摄像头采集目标对象的目标视频流图像，作为场景视频流图像。其中，根据相对距离确定目标摄像头可以包括：若目标对象与第一摄像头的相对距离小于或等于预设距离，则将第一摄像头作为目标摄像头；若目标对象与第一摄像头的相对距离大于预设距离，则获取目标对象在部署场景内的第二位置坐标；根据第二位置坐标选取第二摄像头或第三摄像头作为目标摄像头。其中，预设距离可以根据不同的分辨率需求进行设置，本发明实施例对此不做限定。

对于7.0m×9.0m的会议室，摄像头覆盖视场范围如图5所示，第一摄像头的视场角虽然大，但远距目标放大后，视频流图像的质量较差。第二摄像头和第三摄像头虽然视场角小，但远距视频流图像质量较好。

继续以图3所示的三摄摄像系统为例，摄像头A对会议室的覆盖范围是2.95m～9.0m，摄像头B的覆盖范围是5.39m～9.0m，可根据应用场景进行分段式工作。如当目标对象到摄像头A的距离小于5.0m时，采用摄像头A对目标进行定位、特写，具体对图像进行裁剪以得到目标对象的特写图像；当目标对象到摄像头A距离大于5.0m时，采用摄像头A对目标进行定位，然后切换至对应目标位置的摄像头B进行特写。本发明实施例提到的方法，在不降低图像细节分辨率的情况下，通过三摄光变的方法，提高成像光学系统的视场角，满足大会议室环境的全场景信息采集覆盖，同时满足远距离高分辨率图像质量采集等应用需求。

本实施例中，可以通过声源定位实现正在说话的目标对象的定位，并依据目标对象与各个摄像头之间的距离自由切换需要对该目标对象进行特写的目标摄像头，本实施例通过统一的控制装置实现对摄像头的智能控制，相较于传统的单个摄像头独立工作的方式，本实施例的三摄摄像系统在特写拍摄过程更加智能，在保证系统功能的同时减少算力，从而有效提升使用体验。

三摄参考方案如图3所示，其中摄像头A具有大视场角，两个摄像头B具有小视场角(高像素分辨率)。摄像头A与两个摄像头B根据拍摄视场范围设计成具有一定的映射关系。

考虑摄像头B的覆盖域有限，可将摄像头B设计成带有偏转一定角度的机构，如图6所示，对摄像头A视野范围进行扫描，摄像头A对目标定位后，可以根据需求在安装摄像头B的时候，通过调试以确定两个摄像头B的视场角所能拍摄到的范围，亦或是在三摄摄像提醒的使用过程中，将摄像头B转动至可拍摄到目标的角度位置，并切换摄像头B对目标进行特写，图6中，摄像A、摄像头B的视场角不变，两个摄像头B的组合视场角与摄像A的视场角同为99.07°。摄像头B扫描范围如图7所示，阴影部分表示盲区。

实际应用中，第一摄像头所处的中心位置还可以设置有焦距不同的多个摄像头，如3颗摄像头，如图8所示，近距采用大视场角摄像头，中距切换至中视场角摄像头，远距切换至小视场角摄像头工作。

在本实施例中，教育监测场景的图像拼接，还是对场景图像进行校准，均需要准确定位目标对象在第二摄像头或第三摄像头中的位置，以图9所示三摄摄像系统为例，摄像头1的视场范围可覆盖摄像头2和摄像头3的视场角范围。如图10所示，需要进行特写的目标对象可同时出现在摄像头1和摄像头2的画面中(或摄像头1和摄像头3的画面中)，可根据像素坐标关系找到对应目标在摄像头2(或摄像头3)的位置，对目标对象进行放大特写，同时根据像素坐标关系在摄像头1的视频流图像中对目标对象的位置进行标示(如框选出目标，指出特写目标的位置)，如图11所示。

本实施例中，还可以预先建立不同视频流图像之间的坐标映射关系，以利用该映射关系辅助进行定位识别。

对于第一摄像头、第二摄像头和第三摄像头来讲，由于各自的拍摄范围、拍摄角度以及焦距的不同，对于场景中的同一对象来讲，该对象在第一摄像头、第二摄像头和第三摄像头各自拍摄的视频流图像中的坐标也可能不同，因此，在本实施例中，还可以通过三个摄像头统一的控制装置，预先对各个摄像头拍摄的视频流图像之间建立坐标映射关系，在建立坐标映射关系时，需要分别识别出同一对象在各个视频流图像中的位置坐标，进而建立三个视频流图像的坐标映射关系。

举例来讲，假设第一摄像头拍摄的视频流图像为全景视频流图像A，第二摄像头和第三摄像头分别拍摄的为长焦视频流图像B和长焦视频流图像C，对于上述每一帧视频流图像来讲，图像中所包含的各个人体或物体对象均具有对应的位置坐标，分别通过第一摄像头、第二摄像头和第三摄像头对各自拍摄对视频流图像中各个人体和物体进行位置标定，以第一摄像头为例，第一摄像头会建立对应的坐标系A，以计算全景视频流图像A中包含的人体和物体对在坐标系A中的位置坐标，相应地，第二摄像头和第三摄像头分别建立坐标系B和坐标系C，以标定各对象在各自坐标系中的位置坐标。本实施例中，可以优先利用场景中固定位置点为基准建立三个视频流图像的坐标映射关系。其中，固定位置点可以为窗户、门、桌子、摆件等相关物体对应的位置点。

由于第一摄像头为可拍摄到场景的全景图像，因此，本实施例中可以以第一摄像头拍摄到的全景视频流图像A为基准，先标记出全景视频流图像A中至少一个物体的多个固定位置点的位置坐标，同时为该物体及对应的固定位置点添加特征关键词，特征关键词可以为方位描述关键词、物体类别描述关键词以及与物体对象相关的描述关键词。视频流图像B和视频流图像C固定位置点的选取规则与视频流图像A中的固定位置点的选取规则相同。

对于位于第一摄像头两侧的第二摄像头和第三摄像头，其可能仅拍摄到场景中的部分视频流图像，同样可以针对各自区域内的至少一个物体对象的多个固定位置点的位置坐标，以及物体对象及固定位置点的特征关键词。在建立映射关系时，可以先通过特征匹配的方式，确定各非全景视频流图像与全景视频流图像中相同物体对象作为共同目标对象，建立共同物体对象中固定点的位置坐标在全景视频流图像和非全景视频流图像之间的映射关系，并计算共同物体对象在全景视频流图像和非全景视频流之间的坐标变换关系，以在后续定位时，利用该位置变换关系计算需要定位的目标对象。

举例来讲，假设在第一摄像头的全景视频流图像A中分别标定了会议室西北角的门体10-A，其中，门体的四个固定点10-Aa、10-Ab、10-Ac和10-Ad，第二摄像头的非全景视频流图像B中也标定了相同的门体10-B及四个固定点10-Ba、10-Bb、10-Bc和10-Bd。建立映射关系时，分别建立固定点10-Aa、10-Ab、10-Ac和10-Ad与10-Ba、10-Bb、10-Bc和10-Bd之间的映射关系，以及坐标转换关系。同时结合10-Aa、10-Ab、10-Ac和10-Ad围设形成的门体大小与10-Ba、10-Bb、10-Bc和10-Bd形成的门体大小建立门体10-A和门体10-B的比例关系。若后续需要对门附近的人体进行放大特写时，先计算该人体与门体的位置关系，再利用该位置关系与确定在该人体在视频流图像A或视频流图像B中的位置，进而通过第二摄像头或第三摄像头对该人体进行放大特写。本实施例中，仅针对单个物体的映射关系进行了说明，实际应用中可以选取多个物体的多个固定点进行计算，以建立准确的映射关系。

基于同一发明构思，本发明实施例还提供了一种基于三摄摄像系统的场景拍摄控制装置，应用于三摄摄像系统，三摄摄像系统包括第一摄像头以及部署于第一摄像头两侧的第二摄像头和第三摄像头，第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由场景拍摄控制装置统一处理。如图12所示，本实施例的基于三摄摄像系统的场景拍摄控制可以包括：

场景识别模块10，用于识别三摄摄像系统的部署场景；

视频流图像采集模块20，用于控制三摄摄像头系统中的至少一摄像头采集部署场景的场景视频流图像。

在本发明一可选实施例中，如图13所示，视频流图像采集模块20包括第一采集单元21：

第一采集单元21，用于部署场景为教育监测场景时，控制所述三摄摄像系统的第一摄像头拍摄所述部署场景的全景视频流图像，作为所述部署场景的场景视频流图像。

在本发明一可选实施例中，第一采集单元21还可以用于：

在本发明一可选实施例中，如图13所示，视频流图像采集模块20还包括第二采集单元22；

第二采集单元22，用于部署场景为会议场景时，控制所述第一摄像头拍摄所述部署场景的全景视频流图像，识别所述全景视频流图像中需要进行特写的至少一个目标对象；

计算目标对象与第一摄像头的相对距离；

根据相对距离确定目标摄像头，利用目标摄像头采集目标对象的目标视频流图像，作为所述场景视频流图像。

在本发明一可选实施例中，第二采集单元22还可以用于：

当目标对象与第一摄像头的相对距离小于或等于预设距离，将第一摄像头作为目标摄像头；

当目标对象与第一摄像头的相对距离大于预设距离，获取目标对象在部署场景内的第二位置坐标；根据第二位置坐标选取第二摄像头或第三摄像头作为目标摄像头。

本发明实施例还提供了一种三摄摄像系统，除了图1所示的三个摄像头之外，还可以包括上述实施例提及的基于三摄摄像系统的场景拍摄控制装置，用于对第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像进行统一处理。

本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述实施例的方法。

所属领域的技术人员可以清楚地了解到，上述描述的系统、装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，为简洁起见，在此不另赘述。

另外，在本发明各个实施例中的各功能单元可以物理上相互独立，也可以两个或两个以上功能单元集成在一起，还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现，也可以采用软件或者固件的形式实现。

本领域普通技术人员可以理解：所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，其包括若干指令，用以使得一台计算设备(例如个人计算机，服务器，或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)，磁碟或者光盘等各种可以存储程序代码的介质。

或者，实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机，服务器，或者网络设备等的计算设备)来完成，所述程序指令可以存储于一计算机可读取存储介质中，当所述程序指令被计算设备的处理器执行时，所述计算设备执行本发明各实施例所述方法的全部或部分步骤。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：在本发明的精神和原则之内，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案脱离本发明的保护范围。

Claims

1.一种基于三摄摄像系统的场景拍摄控制方法，所述三摄摄像系统包括视频流图像处理装置，以及第一摄像头以及部署于所述第一摄像头两侧的第二摄像头和第三摄像头，所述第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由同一控制装置进行控制处理；所述方法包括：

识别所述三摄摄像系统的部署场景；

2.根据权利要求1所述的方法，其特征在于，所述部署场景为教育监测场景；所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像包括：

3.根据权利要求2所述的方法，其特征在于，所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像还包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述至少部分第一图像和至少部分第二图像进行拼接，生成所述部署场景的场景图像之后，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述依据连续时间段内的场景图像生成所述部署场景的参考场景视频流图像包括：

6.根据权利要求5所述的方法，其特征在于，所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像还包括：

7.根据权利要求1所述的方法，其特征在于，所述部署场景为会议场景；所述控制所述三摄摄像头系统中的至少一摄像头拍摄所述部署场景的场景视频流图像包括：

计算所述目标对象与所述第一摄像头的相对距离；

8.根据权利要求7所述的方法，其特征在于，所述根据所述相对距离确定目标摄像头包括：

9.一种基于三摄摄像系统的场景拍摄控制装置，应用于三摄摄像系统，所述三摄摄像系统包括第一摄像头以及部署于所述第一摄像头两侧的第二摄像头和第三摄像头，所述第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由所述场景拍摄控制装置统一处理，所述装置包括：

场景识别模块，用于识别所述三摄摄像系统的部署场景；

10.一种三摄摄像系统，其特征在于，包括第一摄像头、第二摄像头、第三摄像头以及权利要求9所述的基于三摄摄像系统的场景拍摄控制装置，所述第一摄像头、第二摄像头和第三摄像头拍摄的视频流图像由所述场景拍摄控制装置统一处理；

11.根据权利要求10所述的三摄摄像系统，其特征在于，所述第二摄像头和所述第二摄像头基于所述第一摄像头呈轴对称分布；

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-8任一项所述的方法。