CN108259752A - 一种拍摄方法及系统 - Google Patents

Abstract

本发明涉及一种拍摄方法，包括实时扫描拍摄的场景，获得场景信息；识别分析所述场景信息中的拍摄对象，获得识别结果；根据所述识别结果确定相应的拍摄策略，并执行拍摄。

Description

一种拍摄方法及系统

技术领域

本发明涉及视频拍摄技术领域，特别涉及一种基于视觉对象分析的视频拍摄方法及系统。

背景技术

随着科学技术的日新月异，计算机的发展让人工智能(AI,ArtificialIntelligence)进入了大众的视野，AI技术使机器能够完成过去需要人类智慧才能完成的复杂工作，一经出现便受到了广泛关注，并成为了各领域研究和应用的热点，例如，将AI技术与计算机视觉技术相结合应用到视频处理领域。

传统的视频拍摄方式主要有以下两种：一种是无需人工干预的固定场景拍摄，例如，室内监控，这种拍摄方式是将具有特定参数的摄像机固定到指定位置进行拍摄，利用该方式获得的视频画面固定，通常只适用于一般的直播或录像；另外一种是需要人工参与的拍摄方式，与上述方式相比，由人工控制拍摄出的视频更加精确，并且能够根据需求与拍摄环境对拍摄参数进行适时调整，但是同时也增加了拍摄的人工成本，另外，由于加入了人工因素，通常会对拍摄环境造成影响，例如，限制拍摄地或拍摄时长等问题。

因此，目前需要一种拍摄方式灵活、拍摄准确且无需人工干预的拍摄方法。

发明内容

本发明提供一种基于视觉对象分析的视频拍摄方法，该拍摄方法具体包括以下步骤：

实时扫描拍摄的场景，获得场景信息；

识别分析所述场景信息中的拍摄对象，获得识别结果；

根据所述识别结果确定相应的拍摄策略，并执行拍摄。

优选的，所述拍摄策略包括针对所述拍摄对象所使用的拍摄方式。

优选的，所述拍摄方式包括期望获得的拍摄比例，所述拍摄比例是指所述拍摄对象占当前视频帧图像的比例。

优选的，所述拍摄方法进一步包括：

将针对所述拍摄对象的拍摄视野校准到所述期望获得的拍摄比例；

按照所述期望获得的拍摄比例进行拍摄。

优选的，利用镜头变焦的方式或者推拉拍摄设备的方式进行视野校准。

优选的，所述将针对所述拍摄对象的拍摄视野校准到所述期望获得的拍摄比例包括：

确定当前视频帧图像中所述拍摄对象的尺寸；

确定所述拍摄对象在当前视频帧图像中的当前占比；

根据所述当前占比与所述期望获得的拍摄比例来校准镜头的焦距，以得到所述期望获得的拍摄比例。

优选的，所述将针对所述拍摄对象的拍摄视野校准到所述期望获得的拍摄比例包括：

确定当前视频帧图像中所述拍摄对象的尺寸；

确定所述拍摄对象在当前视频帧图像中的当前占比；

确定所述拍摄对象到镜头的当前距离；

根据所述当前占比、所述当前距离以及所述期望获得的拍摄比例来移动拍摄设备，以得到所述期望获得的拍摄比例。

优选的，所述拍摄方式还包括针对所述拍摄对象所使用的视频保存方式。

优选的，所述拍摄方法进一步包括识别所述场景的类型。

根据本发明的另一个方面，还提供一种拍摄装置，其包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，能够实现如上所述的拍摄方法。

相对于现有技术，本发明取得了如下有益技术效果：本发明提供的基于视觉对象分析的视频拍摄方法及系统，将深度神经网络对视频的处理与视频拍摄相关联，根据实际场景的拍摄策略，利用AI对实时扫描的场景信息进行分析，并选择与分析结果相适应的拍摄方式自动实现对拍摄对象的自动中心校准并执行拍摄，从而实现针对特定场景的自动拍摄，不仅节省了人工资源还能保证更加准确的拍摄效果。

附图说明

图1是本发明提供的视频拍摄方法流程图。

图2是本发明提供的利用调焦方式获得期望拍摄比例的方法流程图。

图3是本发明提供的镜头调焦前后成像对比示意图。

图4是本发明提供的利用移动设备获得期望拍摄比例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图，对根据本发明的实施例中提供的基于视觉对象分析的视频拍摄方法及系统进一步详细说明。

对于视频拍摄来说，根据不同的拍摄目的及拍摄需要，通常可以采用不同的拍摄技巧，例如，通过移动摄像机的位置或者调整摄像头的焦距来进行拍摄。这种拍摄方式以人们观察事物的视觉习惯为基础，通过渐次扩展或集中或逐一展示等形式表现被拍摄对象，其时空的转换均由不断运动的符合客观时空转换规律的画面来体现，但是这种拍摄方式通常都需要人工操作来实现，这就受到了拍摄人员体力或所占拍摄地的限制，也使得拍摄对象因加入了拍摄人因素而导致拍摄效果受到影响。

为了减少人工干预对视频拍摄的影响，发明人经研究发现，将AI技术与视频拍摄技术相结合，利用被拍摄对象或拍摄环境信息指导AI决策，从而实现针对不同拍摄目的所对应拍摄方式的自动选取及执行，下面将以实际应用场景为例详细说明本发明提供的自动拍摄方法。

在本发明的一个实施例中，将本发明提供的自动拍摄方法用于拍摄多名学生在教室中听教师讲课，具体包括以下步骤：

S10、采集并分析拍摄对象信息

将一拍摄设备(例如摄像机)固定安装在教室墙壁上的合适位置，使该设备能够通过上下左右转动，覆盖拍摄教室内包含教师和学生的所有活动范围的场景。利用该拍摄设备对教室进行扫描拍摄，实时采集教室内的人物及环境信息，并利用视频检测器对上述拍摄的视频进行逐帧实时分析，具体分析对象包括但不限于以下内容：

(1)物体信息

实时分析每一个视频帧，识别出教室中的书桌、座椅、讲台和黑板等常见标志物的信息，具体包括该标志物的种类，数量，尺寸及所在的位置。

(2)人物信息

实时分析每一个视频帧，判断当前视频帧中是否包含人物，若有人物，则利用视频检测器获得该人物的人脸中心坐标，并根据该人物的坐标信息进一步在其它连续视频帧中跟踪人物行为，例如该人物的姿态、动作或移动轨迹等，同时结合该人物与周围的其他人物的互动信息或与标志物的交叉信息分析人物身份。

例如，针对教师身份的判断，可通过分析当前视频帧中的人物与黑板与讲台的距离来判断；或者也可以通过分析多个连续视频帧中该人物的活动范围都围绕黑板和讲台来判断；或者也可以通过分析当前视频帧中该人物与其他人物的互动方式是一人面对多人来判断。

针对学生身份的判断，可以通过分析当前视频帧中该人物与书桌和座椅的距离来判断；或者也可以通过分析多个连续视频帧中该人物的活动范围都围绕书桌和座椅判断；或者也可以通过分析当前视频帧中该人物与其他多个人物的相对位置关系是彼此以行排列的来判断。

在本发明的一个实施例中，上述用于采集场景信息的拍摄设备还可以是多台可协同操作的拍摄设备。

在本发明的一个实施例中，上述视频检测器可以采用多种满足视频拍摄精度和速度要求的检测算法，例如，基于深度卷积神经网络算法的RCNN系列检测算法、SSD检测算法或YOLO系列检测算法等。其中，为了满足实时的拍摄分析，可以采用YOLO系列中的YOLO V2或SSD检测算法，与RCNN系列检测算法不同，上述两种算法无需候选框生成操作，运算效率较高；另外，训练样本可以采用一般的公开数据或针对特定应用场景自行标注的专用数据库，例如，特别针对教室环境的专用样本数据库。

在本发明的一个实施例中，分析实时拍摄信息中的人物身份时，还可以利用分析历史指导当前的分析，例如，当前视频帧中，教师请了一位同学到黑板前回答问题，若还根据人物距离讲台或黑板的距离判断身份，将无法区分黑板前的教师和学生；此时，就可以根据之前视频帧的分析历史中已经被判断为教师的人物的衣着，比对当前视频帧中检测到的相同衣着的人物，从而作为区分当前黑板前两位人物的判断依据，或者可以进一步结合其它证据判断二者身份。

S20、选择拍摄策略并执行拍摄

根据拍摄需求，针对拍摄对象完成步骤S10的采集分析后，可根据教室内的具体拍摄对象确定符合应用场景的拍摄策略，该拍摄策略可以包括所使用的拍摄方式，例如，拍摄角度、拍摄轨迹和拍摄视野等。

下面将以拍摄教室内的人物为例进行说明，在执行拍摄时，按照步骤S10，实时扫描采集并分析教室内的场景信息，若当前视频帧中出现了人物，选择其中的人物(例如，一位在座椅上听教师授课的同学)的面部为拍摄对象，并确定相应的拍摄策略，下文中以确定拍摄视野(即拍摄比例)为例进行说明。

图2是本发明提供的利用调焦方式获得期望拍摄比例的方法流程图，该方法具体包括以下步骤：

S201、确定当前视频帧图像中人脸图像的尺寸；

S202、确定上述人脸图像在当前视频帧图像中的占比，该占比可以是长度比、宽度比、面积比等。

S203、根据所述占比和期望占比来校准镜头的焦距。

图3是本发明提供的镜头调焦前后成像对比示意图，如图2所示，用于拍摄当前视频帧图像的摄像机镜头的焦距为f₁，当前视频帧图像的视野角度大小为β。假设期望获得的摄像机镜头的焦距为f₂，期望获得的图像视野角度大小为α，①表示拍摄当前视频帧图像时镜头所在位置，②表示校准后镜头所在位置。

在进行调焦计算时，将焦距f近似看成像扇形的半径，将成像板宽度近似看成扇形弧长，由于摄像机的成像板位置不变，可获得等式如下：

α*f₁＝β*f₂

即，在摄像机位置不变时，其可拍摄的视野角度与镜头焦距大小成正比，因此，为了获得期望的视野角度，可根据当前视频帧图像中人脸所占图像的比例，与期望调整到的最佳拍摄比例之间的倍数对镜头进行自动变焦处理。

假设当前视频帧图像的分辨率为1920*1080，包含人脸图像的最小矩形宽高为96*168，则有人脸在图像中的占比S＝168/1080＝0.156，若希望拍摄的面部近景选择的最佳拍摄比例为0.275，则有最佳比例与当前比例的倍数为n＝0.275/0.156＝1.76，由此可知，需增加镜头焦距为1.76倍。

在确定了拍摄视野后，即可进行针对该同学面部的近景拍摄。

优选的，利用视频检测器分析获得的当前视频帧中的拍摄信息时，可以在当前视频帧图像中确定出人脸的中心坐标，并在拍摄时将该中心坐标作为拍摄视野的中心。

在本发明的另一个实施例中，可以在教室的墙壁上安装可供摄像机滑动的滑轨，在拍摄时，根据人脸在图像中的占比移动摄像机的位置(例如推进或拉远)，从而替代上述调焦的方式来调整拍摄视野(即拍摄比例)。

图4是本发明提供的利用移动设备获得期望拍摄比例的方法流程图，该方法具体包括以下步骤：

S201'、确定当前视频帧图像中人脸图像的尺寸；

S202'、确定上述人脸图像在当前视频帧图像中的占比；

例如，可以通过如下方式获得人脸图像占视频帧图像的比例：

S＝h/H

其中，h表示视频帧中人脸图像的高度，H表示视频帧图像的高度，S表示人脸图像占当前视频帧图像的高度比。

S203'、确定拍摄对象到镜头的当前距离。

根据拍摄当前视频帧图像的视野角度β，计算获得当前视频帧图像中拍摄对象到镜头的距离D₁为：

其中，H₁表示当前视频帧图像中拍摄对象的高度。

为了获得上述公式中的距离D₁，既可以根据拍摄对象的实际高度H₁，从而利用上述公式进行计算获得，也可以直接在拍摄设备上的传感器(例如红外测距传感器)直接获得。

S204'、根据所述占比、所述当前距离以及期望拍摄比例来移动摄像机。

根据希望拍摄的最佳拍摄比例S₂，以及当前拍摄比例S₁和镜头与当前拍摄视频帧图像中对象的距离D₁计算获得调整之后的目标距离D₂，由于此时人物图像的尺寸不变，即h不变，则可获得需将摄像机移动至与人物的距离为D₂：

若期望比例大于当前比例，即S₂＞S₁，则可将摄像机向拍摄对象推进距离d进行视野校准，其中，

若期望比例小于当前比例，即S₂＜S₁，则可将摄像机从拍摄对象拉回距离d进行视野校准，其中，

完成上述视野校准后，即可进行针对该人物采用期望比例进行拍摄。

采用上述两种视野校准方法时，可以根据实际拍摄需求进行选择，例如，若拍摄对象为站在黑白前移动授课的教师，可以控制摄像机对该教师进行跟移、跟摇、跟推、跟拉、跟升、跟降等动作，从而使观看者始终盯牢在该教师上；若拍摄对象为站在黑白前写板书的教师时，可以控制拍摄设备位置不动，利用镜头变焦跟随教师在书写时的运动方向，即连续特征方向上的(上下、左右、旋转)运动，使观看者如同站在原地环顾。

在本发明的另一个实施例中，上述两种校准方法结合使用，即同时采用调节镜头焦距和推拉摄像机的方式来进行视野校准。

在本发明的一个实施例中，为了获得更好的画面效果或满足不同的拍摄需求，还可以根据人脸中心坐标与当前帧图像的中心位置之间的相对位置，上下左右调整摄像机的拍摄位置，或者上下左右调整镜头的拍摄位置，从而将人脸画面调整到图像的中心。

一般来说，根据不同的拍摄视野，拍摄方式通常可分为特写拍摄、近景拍摄、中景拍摄、远景拍摄或全景拍摄等，在拍摄过程中，可根据不同的拍摄需求利用上述视野校准方法随时调整拍摄视野，即利用上述镜头变焦或推拉摄像机的方式，调整拍摄的最佳比例已达到期望的拍摄视野。

在拍摄教室内的物体时，可将物体图像的中心坐标作为拍摄画面的中心，然后再通过变焦或推拉摄像机进行视野校准到需要的视野并执行拍摄。例如，可以分别对教室中的桌椅、黑板、讲台等元素先进行视野校准，再逐一拍摄；若是为了拍摄教室全貌，可选择俯拍的方式展现教室环境及其中的各元素，或者也可以采用全景静止拍摄。

在拍摄教室内的人物时，可将人物图像中心坐标作为拍摄的画面中心，再通过变焦或推拉摄像机进行视野校准到需要的视野并执行拍摄。例如，若要拍摄一位在座位上听教师授课的同学，可以以人脸图像为画面中心从近景拍摄逐渐变换为特写拍摄；若要拍摄一位移动中授课的教师，可以以人物全身或半身为画面中心采用跟踪拍摄的方式；若要拍摄教师与回答问题的学生之间的互动，可以控制摄像机分别从教师或该学生的视野角度向对方进行视野校准并拍摄。

在本发明的一个实施例中，为了节省存储资源，可以自动筛选有意义的拍摄内容进行保存，例如，若实时扫描发现当前的拍摄场景长时间不变(或设置指定没有改变的条件)，可以自动将长时间不变的拍摄画面有选择的保存，例如，在拍摄一排学生在教室中上自习时，针对实时扫描拍摄的连续10分钟，并无学生人数增减的变化(此时设定学生人数作为判断是否改变的条件)，就可以判定这10分钟的内容并无改变，此时可以只保存前2分钟的拍摄画面；若在第5分钟实时扫描到有新学生加入当前画面，学生人数增加，则判定拍摄内容发生变化，可以即刻启动保存接下来2分钟的拍摄画面，即在第7分钟结束保存。

尽管在上述实施例中，以教室这一应用场景为例对本发明提供的视频拍摄系统及方法进行了说明，但本领域普通技术人员应理解，上述拍摄方法及系统还可以用于其他场景的视频拍摄中。在拍摄时，只需针对特定场景的特点设置对应的拍摄策略，这些拍摄策略可包括对应于特定场景中的常识性元素的具体拍摄方式，例如拍摄角度、拍摄轨迹和取景范围等，其中，常识性元素可以是场景中的人或物、人与人、人与物或者物与物之间的关系，例如，对于上述实施例的教室场景，其中的黑板、讲台，桌椅等就属于常识性物体，教师与学生就属于常识性人物，而教师与学生、教师与黑板、书桌与座椅等就属于该场景中人与人、人与物、物与物之间的常识性关系；除此之外，上述拍摄策略也可以包括用户对于特定场景预设的专用拍摄方式，例如，上述实施例中，为节省存储资源设置的有针对性的拍摄保存方式。

除此之外，在确定拍摄策略时，还可以将特定场景作为一种缺省设置，同时，利用上述拍摄方法根据识别出的场景特征自动判定场景类型，这种AI识别方式可以是预设的也可以是训练获得的。例如，以超市为拍摄场景，首先可利用AI识别出的柜台，收银台等常识性元素从而判定拍摄场景为超市，再根据拍摄需求利用符合超市场景的拍摄策略执行拍摄，例如，拍摄顾客在货架前挑选商品，或者拍摄服务人员在收银台为顾客结账等。

相对于现有技术，在本发明实施例中所提供的基于视觉对象分析的视频拍摄方法及系统，根据特定场景的拍摄策略，利用AI分析识别场景信息，从而控制拍摄设备自动执行拍摄。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (10)

1.一种拍摄方法，包括以下步骤：

实时扫描拍摄的场景，获得场景信息；

识别分析所述场景信息中的拍摄对象，获得识别结果；

根据所述识别结果确定相应的拍摄策略，并执行拍摄。

2.根据权利要求1所述的拍摄方法，其特征在于，所述拍摄策略包括针对所述拍摄对象所使用的拍摄方式。

3.根据权利要求2所述的拍摄方法，其特征在于，所述拍摄方式包括期望获得的拍摄比例，所述拍摄比例是指所述拍摄对象占当前视频帧图像的比例。

4.根据权利要求3所述的拍摄方法，其特征在于，所述拍摄方法进一步包括：

将针对所述拍摄对象的拍摄视野校准到所述期望获得的拍摄比例；

按照所述期望获得的拍摄比例进行拍摄。

5.根据权利要求4所述的拍摄方法，其特征在于，利用镜头变焦的方式或者推拉拍摄设备的方式进行视野校准。

6.根据权利要求4所述的拍摄方法，其中，所述将针对所述拍摄对象的拍摄视野校准到所述期望获得的拍摄比例包括：

确定当前视频帧图像中所述拍摄对象的尺寸；

确定所述拍摄对象在当前视频帧图像中的当前占比；

根据所述当前占比与所述期望获得的拍摄比例来校准镜头的焦距，以得到所述期望获得的拍摄比例。

7.根据权利要求4所述的拍摄方法，其中，所述将针对所述拍摄对象的拍摄视野校准到所述期望获得的拍摄比例包括：

确定当前视频帧图像中所述拍摄对象的尺寸；

确定所述拍摄对象在当前视频帧图像中的当前占比；

确定所述拍摄对象到镜头的当前距离；

根据所述当前占比、所述当前距离以及所述期望获得的拍摄比例来移动拍摄设备，以得到所述期望获得的拍摄比例。

8.根据权利要求3所述的拍摄方法，其特征在于，所述拍摄方式还包括针对所述拍摄对象所使用的视频保存方式。

9.根据权利要求1所述的拍摄方法，其特征在于，所述拍摄方法进一步包括识别所述场景的类型。

10.一种拍摄装置，其包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，能够实现如权利要求1至9中任一项所述的拍摄方法。