CN105704393A - 摄影装置以及摄影方向的控制方法 - Google Patents

Abstract

本发明提供一种摄影装置以及摄影方向的控制方法。摄影装置具备：摄影单元，其按照每帧进行曝光，来生成被摄体的摄影图像；变更单元，其变更所述摄影单元的摄影方向；和控制单元，其控制所述变更单元，以使得变更所述摄影单元的摄影方向，所述控制单元根据所述摄影单元的曝光期间来决定所述摄影方向的变更的有效期间，并在决定的有效期间内使所述变更单元实施所述摄影方向的变更。

Description

摄影装置以及摄影方向的控制方法

本申请主张以在2014年12月12日申请的日本国专利申请第2014-251436号为基础申请的优先权，将该基础申请的内容全都引入到本申请中。

技术领域

本发明涉及摄影装置以及摄影方向的控制方法。

背景技术

过去，已知能够解析摄影图像来检测被摄体，并根据所检测到的被摄体的位置来变更摄影方向的摄影装置(例如参考专利文献1)。这样的摄影方向的控制在被摄体的追踪、手抖补正、全景摄影等许多场面进行。

若在摄像图像的生成后，进行图像解析并变更摄影方向为止的等待时间较短，则虽然能在下一帧的曝光开始前完成摄影方向的变更，但在帧速率较高的情况、或是图像解析所涉及的时间较长的情况下，有时会来不及变更摄影方向就开始下一帧的曝光。

若在曝光开始后变更摄影方向，则根据进行变更的定时不同，有时会在摄影图像中映入摄影方向的变更前后的被摄体像，与被摄体的移动所引起的抖动不同地产生摄影方向的变更所引起的被摄体像的抖动。由于接下来的摄影方向根据摄影图像中的被摄体的位置来决定，因此若在摄影图像中有多个被摄体像，则不能决定下一帧的摄影方向，摄影方向的控制变得困难。

发明内容

本发明的课题在于，防止摄影方向的变更所引起的被摄体像的抖动。

本发明的摄影装置的特征在于，具备：摄影单元，其按照每帧进行曝光，来生成被摄体的摄影图像；变更单元，其变更所述摄影单元的摄影方向；和控制单元，其控制所述变更单元，以使得变更所述摄影单元的摄影方向，所述控制单元根据所述摄影单元的曝光期间来决定所述摄影方向的变更的有效期间，并在所决定的有效期间内使所述变更单元实施所述摄影方向的变更。

附图说明

图1是按每个功能来表示本实施方式的摄影装置的构成的框图。

图2是表示在摄影装置中从开始1帧的曝光起到开始下一帧的曝光为止的处理次序的流程图。

图3是表示决定下一帧的摄影方向时的处理次序的流程图。

图4是表示检测到被摄体的摄影图像的一例的图。

图5是表示变更前后的摄影方向所成的角度的图。

图6表示包含变更摄影方向前后的被摄体像的摄影图像的示例。

图7是表示决定摄影方向的变更的有效期间时的处理次序的流程图。

图8是表示驱动方式为全域快门方式的情况下的各帧的曝光期间的时序图。

图9是表示驱动方式为卷帘快门方式、且在各帧间有非曝光期间的情况下的各帧的曝光期间的时序图。

图10是表示驱动方式为卷帘快门方式、且在各帧间没有非曝光期间的情况下的各帧的曝光期间的时序图。

具体实施方式

以下参考附图来说明本发明的摄影装置、摄影方向的控制方法以及程序的实施方式。

图1是按每个功能来表示本实施方式的摄影装置1的主要构成的框图。

如图1所示，摄影装置1构成为具备摄影部11、云台12、云台驱动部13、图像处理部14、控制部15、存储部16、显示部17以及操作部18。

摄影部11(摄影单元)按每帧进行曝光，生成被摄体的摄影图像。

如图1所示，摄影部11构成为具备：将向摄影部11的入射光成像的光学系统111；将由光学系统111成像的入射光进行光电变换来生成摄影图像的摄像元件112；和光学系统111的驱动部113。

光学系统111例如能够由反射镜、使由反射镜引导的入射光在摄像元件112的摄像面上成像的透镜群等构成。

作为摄像元件112，能够使用CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)、CCD(ChargeCoupledDevice，电荷耦合器件)等。

驱动部113能够为了对焦而驱动光学系统111来变更光学系统111的位置或姿态。

云台12将摄影部11支撑为可旋转。

云台驱动部13(变更单元)能够通过按照来自控制部15的摄影方向的指示信息对云台12进行旋转驱动来变更摄影部11的姿态，从而变更摄影部11的摄影方向。另外，也可以不进行旋转驱动而是进行倾斜驱动以及摇摄驱动，移动摄影部11的位置，由此变更摄影部11的摄影方向。

图像处理部14实施由摄影部11生成的摄影图像的A/D变换、阴影校正、颜色校正等图像处理。

控制部15控制摄影装置1的各部的动作。控制部15能够由CPU(CentralProcessingUnit，中央处理器)、RAM(RandomAccessMemory，随机存取存储器)等构成。

例如，控制部15使摄影部11以给定的帧速率开始各帧的曝光，生成摄影图像。控制部15将所生成的摄影图像保存在存储部16中，并使显示部17显示所生成的摄影图像的预览画面。

控制部15能够为了被摄体的追踪、手抖补正、全景摄影等而通过云台驱动部13来变更摄影部11的摄影方向。具体来说，控制部15(检测单元)检测由摄影部11生成的帧的摄影图像中的被摄体。控制部15(控制单元)根据所检测到的被摄体的位置来决定下一帧的摄影方向，并将所决定的摄影方向的指示信息输出给云台驱动部13，使摄影部11的摄影方向变更为所决定的摄影方向。

控制部15为了防止摄影方向的变更所引起的被摄体像的抖动，根据摄影部11的曝光期间来决定摄影方向的变更的有效期间，并在所决定的有效期间内实施基于云台驱动部13的摄影方向的变更。

控制部15(计算单元)在决定上述有效期间时，能够根据在各帧中检测到的被摄体的位置变化来计算被摄体的移动速度以及移动方向。另外，控制部15(预测单元)能够基于所计算出的被摄体的移动速度以及移动方向的至少一者，来预测在下一帧中被摄体所处的行范围。

存储部16存储由控制部15执行的程序、程序的执行所需要的文件等。

另外，存储部16存储由摄影部11生成的各帧的摄影图像。

作为存储部16，能够使用闪存等的非易失性存储器。

显示部17按照控制部15的指示，在LCD(LiquidCrystalDisplay，液晶显示器)等显示器上显示操作画面、摄影图像的预览画面等。

操作部18根据摄影执行按钮、菜单按钮等设于摄影装置1的按钮、与显示部17一体构成的触控面板等的操作来生成操作信号，并输出给控制部15。

上述摄影装置1能够根据被摄体的位置来变更摄影方向，对被摄体进行摄影。

图2表示在变更摄影方向进行摄影的摄影装置1中从开始第n帧的曝光起到开始接下来的第n+1帧的曝光为止的处理次序。

如图2所示，在摄影装置1中，摄影部11开始曝光而生成第n帧的摄影图像(步骤S1)。

若由图像处理部14对所生成的摄影图像实施各种图像处理，则控制部15将图像处理后的摄影图像保存到存储部16中。另外，控制部15决定接下来的第n+1帧的摄影方向(步骤S2)。

图3表示决定下一帧的摄影方向的处理次序。

如图3所示，控制部15从存储部16中读出并取得第n帧的摄影图像(步骤S21)，检测摄影图像中的被摄体(步骤S22)。

控制部15既能够通过图案匹配等来检测由用户指定的被摄体，又能够通过脸识别、活动体识别等将脸、活动体等检测为被摄体。

控制部15根据所检测到的被摄体的位置，来决定接下来的第n+1帧的摄影方向(步骤S23)。

例如，在如图4所示那样检测到被摄体K的摄影图像Vn的情况下，控制部15在以摄影图像Vn的中心C为原点(x0，y0)的xy坐标中，计算被摄体K的重心G的位置坐标(x1，y1)。xy坐标是表征摄影图像Vn的各像素的x方向以及y方向上的位置的坐标系。在下一帧中使目标的位置例如被摄体K的重心G位于摄影图像Vn的中心C的情况下，控制部15将由从被摄体K的重心G朝向摄影图像的中心C的箭头所表征的矢量方向决定为下一帧的摄影方向。

控制部15生成用于使摄影部11的摄影方向变更为所决定的摄影方向的指示信息(步骤S24)。

在图4所示的摄影图像Vn的情况下，控制部15计算所决定的摄影方向和当前的摄影方向所成的角度Δθ。如图5所示，能够通过对从光学系统111到摄像元件113的焦距d1、与通过摄影方向的变更而使在摄影图像Vn中检测到的被摄体K移动的距离d2的arctan进行求取，来计算出Δθ。控制部15从云台驱动部13取得第n帧的曝光时的云台12的角度θobs，并将该角度θobs与Δθ进行相加来计算出角度θnext。控制部15生成用于使云台12从当前的角度θobs向所计算出的角度θnext旋转驱动的指示信息。

若如以上那样决定摄影方向，则如图2所示，控制部15根据摄影部11的曝光期间，来决定摄影方向的变更的有效期间(步骤S3)。

根据变更摄影方向的定时不同，有时会在摄影图像中出现被摄体像的抖动。图6表示出现被摄体像的抖动的摄影图像的示例。

若在1帧的各行当中的被摄体所处的行的曝光期间中变更摄影方向，则如图6所示，在摄影图像中不仅映入变更摄影方向后的被摄体K，还会如残像那样映入进行变更前的被摄体K^*。由于作为成为下一帧的摄影方向的决定的基础的被摄体而检测到多个被摄体K以及K^*，因此摄影方向的控制变得困难。

控制部15为了能够在不产生这样的被摄体像的抖动的定时变更摄影方向，根据各帧的曝光期间来决定摄影方向的变更的有效期间。由于各帧的曝光期间根据摄影部11的驱动方式而不同，因此控制部15按每个驱动方式如下述方式来决定有效期间。

图7示出了决定摄影方向的变更的有效期间的处理次序。

如图7所示，在摄影部11的驱动方式为全域快门方式的情况下(步骤S31：A)，控制部15将第n帧的曝光期间与接下来的第n+1帧的曝光期间之间的垂直回扫期间决定为有效期间(步骤S32)。

图8示出了全域快门方式下的各帧的曝光期间。在图8中，影线部分表示第n以及n+1帧的各行1～M。

如图8所示，在全域快门方式的情况下，各行1～M的曝光并行开始，读出也并行完成。从第n帧的最终行M到第n+1帧的开头行1为止的垂直回扫期间是非曝光期间，由于即使在这期间变更摄影方向也不出现被摄体像的抖动，因此控制部15能够将该垂直回扫期间决定为有效期间。

如图8所示，在1帧的全部行1～M的读出完成后，开始上述的摄影方向以及有效期间的决定等的图像解析。在有效期间为垂直回扫期间的情况下，由于从读出完成后有效期间处于存续中，因此能够如图8所示，在图像解析完成的时间点指示摄影方向的变更。

在摄影部11的驱动方式为卷帘快门方式的情况下(步骤S31：B)，控制部15判断在各帧的曝光期间之间是否存在足够长度的非曝光期间以实施摄影方向的变更(步骤S33)。在存在足够长度的非曝光期间的情况下(步骤S33：“是”)，控制部15将该非曝光期间决定为摄影方向的变更的有效期间(步骤S34)。

图9示出了在卷帘快门方式下存在足够长度的非曝光期间的情况下的各帧的曝光期间。在图9中，影线部分表示第n以及n+1帧的各行1～M。

在卷帘快门方式的情况下，如图9所示，各行1～M的曝光的开始定时在每行延迟，从开头行1的读出完成到最终行M的读出完成产生时间差。因此，即使是相同的帧速率，各帧的曝光期间之间的期间也是卷帘快门方式短于全域快门方式。

尽管如此，但也存在帧速率本身较低、从第n帧的最终行M的读出完成到第n+1帧的开头行1的曝光开始为止的非曝光期间相比于为了实施摄影方向的变更所需要的时间足够长的情况。如上所述，由于即使在非曝光期间变更摄影方向也不出现被摄体像的抖动，因此控制部15将该足够长的非曝光期间决定为摄影方向的变更的有效期间。

由于所决定的有效期间与全域快门方式的情况同样，都是从最终行M的曝光完成后开始，因此能够如图9所示，在图像解析完成的时间点指示摄影方向的变更。

另一方面，在没有足够长度的非曝光期间的情况下(步骤S33：“否”)，控制部15基于在第n以及n-1帧的摄影图像中分别检测到的被摄体的位置变化，来计算出被摄体的移动速度以及移动方向(步骤S35)。

例如，控制部15求取从第n-1帧中的被摄体的重心位置到第n帧中的被摄体的重心位置的x方向以及y方向的像素数作为移动量。通过用x方向以及y方向各自的移动量除以对各帧进行摄影的时间差，从而能够得到x方向以及y方向的移动速度。另外，控制部15能够计算出从第n-1帧的被摄体的重心位置朝向第n帧的被摄体的重心位置的矢量方向作为移动方向。

控制部15基于所计算出的移动速度以及移动方向的至少一者，来预测在接下来的第n+1帧中被摄体所处的行范围(步骤S36)。

例如，在被摄体的y方向的移动速度为-2像素/msec的情况下，能够预测出在第n帧中重心位置为G(x1，y1)的被摄体在60msec后摄影的第n+1帧中移动到y方向的位置坐标为y1-120的位置。能够将以该y方向的位置坐标为y1-120的行为基准考虑被摄体的宽度和误差而包含±各200行的y1-320～y1+80的行范围，预测为下一帧的被摄体所处的行范围。

控制部15将从在第n帧中检测到被摄体的行范围的曝光完成起到所预测的在第n+1帧中被摄体所处的行范围的曝光开始为止的期间决定为摄影方向的变更的有效期间(步骤S37)。

图10示出了在卷帘快门方式下没有足够长度的非曝光期间的情况下的各帧的曝光期间。在图10中，影线部分表示第n以及n+1帧的各行1～M。

如图10所示，在第n帧的最终行M的读出完成后立刻开始第n+1帧的开头行1的曝光的情况下，由于没有非曝光期间，因此不能将非曝光期间决定为有效期间。

在这种情况下，通过步骤S22中的被摄体的检测，能够将从在第n帧中检测到被摄体的行范围Ln的最终行的曝光完成起到所预测的在第n+1帧的摄影图像Vn+1中被摄体K所处的行范围Ln+1的开头行的曝光开始为止的期间决定为有效期间。虽然在各行范围Ln以及Ln+1以外的行的曝光期间中摄影方向被变更，但由于被摄体不处在各行Ln以及Ln+1以外的各行的摄影图像中，因此不会产生被摄体像的抖动。

在如上所述决定了有效期间的情况下，如图10所示，虽然在第n帧的行范围Ln的曝光完成后开始有效期间，但由于通过图像解析来决定新的摄影方向，因此摄影方向的变更不得不等待在最终行M的读出完成后开始的图像解析的完成。若图像解析在第n+1帧的行范围Ln+1的开头行的曝光开始之前完成，则由于处在有效期间内，因此能够在图像解析完成的时间点指示摄影方向的变更。另一方面，如图10所示，在图像解析未在行范围Ln+1的开头行的曝光开始之前完成的情况下，能够在行范围Ln+1的最终行的曝光完成后的有效范围内，在图像解析完成的时间点指示摄影方向的变更。在这种情况下，虽然变更摄影方向的定时会延迟1帧，但只要是在能够检测摄影图像中的被摄体的范围内的延迟，就能够追踪被摄体。

若结束有效期间的决定，则如图2所示，控制部15判断当前时间点是否在有效期间内(步骤S4)。

在未处在有效期间内的情况下(步骤S4：“否”)，控制部15反复步骤S4的判断，直到到达有效期间为止进行待机。另一方面，若是有效期间内(步骤S4：“是”)，则控制部15将在步骤S24中生成的摄影方向的变更的指示信息输出给云台驱动部13。云台驱动部13按照从控制部15输出的摄影方向的指示信息，来实施摄影方向的变更(步骤S5)。

如上所述，本实施方式的摄影装置1具备：摄影部11，其按照每帧进行曝光，生成被摄体的摄影图像；云台12以及云台驱动部13，其变更摄影部11的摄影方向；和控制部15，其检测由摄影部11生成的帧的摄影图像中的被摄体的位置，根据所检测到的被摄体的位置来决定下一帧的摄影方向，并通过云台驱动部13使摄影部11的摄影方向变更为所决定的摄影方向，控制部15根据摄影部11的曝光期间来决定摄影方向的变更的有效期间，并在所决定的有效期间内通过云台驱动部13来实施摄影方向的变更。

由此，能够将变更摄影方向的定时设为非曝光期间内，或者虽是曝光期间内但也能够设为被摄体未处在的行的曝光期间内，能够防止摄影方向的变更所引起的被摄体像的抖动，来进行与被摄体的位置相应的摄影方向的变更。

在上述实施方式中，在摄影部11的驱动方式为全域快门方式的情况下，控制部15将从上述帧到上述下一帧的垂直回扫期间决定为上述有效期间。

由此，能够控制变更定时以使得在非曝光期间中变更摄影方向，并能够防止被摄体像的抖动。

在上述实施方式中，在摄影部11的驱动方式为卷帘快门方式的情况下，控制部15将从上述帧的最终行的曝光完成起到上述下一帧的开头行的曝光开始为止的非曝光期间决定为上述有效期间。

由此，能够控制变更定时以使得在非曝光期间中变更摄影方向，并能够防止被摄体像的抖动。

在上述实施方式中，控制部15计算在上述帧中检测到的被摄体的移动速度以及移动方向，并基于所计算出的被摄体的移动速度以及移动方向的至少一者，来预测在上述下一帧中被摄体所处的行范围。另外，在摄影部11的驱动方式为卷帘快门方式的情况下，控制部15将从在上述帧中检测到被摄体的行范围的曝光完成起到所预测的在上述下一帧中所述被摄体所处的行范围的曝光开始为止的期间决定为上述有效期间。

由此，能够控制变更定时以使得在被摄体未处在的行的曝光期间变更摄影方向，并能够防止被摄体像的抖动。

在上述实施方式中，云台驱动部13通过驱动摄影部11的云台12使摄影部11旋转或移动，来变更摄影部11的摄影方向。

能够通过云台12来变更摄影部11的摄影方向。

上述实施方式是本发明的优选的一例，但并不限定于此。在不脱离本发明的主旨的范围内能够进行适当变更。

例如，在上述实施方式中驱动云台12来变更摄影方向，但也可以通过变更向摄影部11的摄像元件112入射的光轴的角度来变更摄影方向。

具体来说，能够通过由驱动部113驱动用于光学系统111的反射镜来变更反射镜的反射面的角度，由此变更作为被摄体像而入射到摄像元件112的光轴的角度。另外，在光学系统111具备手抖补正用的透镜等的情况下，通过由驱动部113变更该透镜的位置或姿态，也能够变更作为被摄体像而入射到摄像元件112的光轴的角度。

另外，在上述实施方式中，摄影装置1检测摄影图像中的被摄体，根据被摄体的位置来决定接下来的摄影方向，并自动地变更为所决定的摄影方向，但本发明并不限定于这样的情况。例如，在云台12是可遥控的，摄影者一边观察被摄体一边用遥控器扫描云台12来变更摄影方向的情况下，在上述的有效期间内能够变更的控制也是有效的。

对本发明的几个实施方式进行了说明，但本发明的范围并不限定于上述实施方式，还包含权利要求书中所记载的发明的范围以及与该范围等同的范围。

Claims (8)

1.一种摄影装置，其特征在于，具备：

摄影单元，其按照每帧进行曝光，来生成被摄体的摄影图像；

变更单元，其变更所述摄影单元的摄影方向；和

控制单元，其控制所述变更单元，以使得变更所述摄影单元的摄影方向，

所述控制单元根据所述摄影单元的曝光期间来决定所述摄影方向的变更的有效期间，并在所决定的有效期间内使所述变更单元实施所述摄影方向的变更。

2.根据权利要求1所述的摄影装置，其特征在于，

所述摄影装置具备检测单元，该检测单元检测由所述摄影单元生成的帧的摄影图像中的被摄体的位置，

所述控制单元根据由所述检测单元检测到的被摄体的位置来决定下一帧的摄影方向，并控制所述变更单元使得将所述摄影单元的摄影方向变更为所述决定的方向。

3.根据权利要求1所述的摄影装置，其特征在于，

在所述摄影单元的驱动方式为全域快门方式的情况下，所述控制单元将从某帧到下一帧的垂直回扫期间决定为所述有效期间。

4.根据权利要求1所述的摄影装置，其特征在于，

在所述摄影单元的驱动方式为卷帘快门方式的情况下，所述控制单元将从某帧的最终行的曝光完成起到下一帧的开头行的曝光开始为止的非曝光期间决定为所述有效期间。

5.根据权利要求2所述的摄影装置，其特征在于，

所述摄影装置具备：

计算单元，其计算由所述检测单元在所述帧中检测到的被摄体的移动速度以及移动方向；和

预测单元，其基于由所述计算单元计算出的所述被摄体的移动速度以及移动方向的至少一者，来预测在所述下一帧中所述被摄体所处的行范围，

在所述摄影单元的驱动方式为卷帘快门方式的情况下，所述控制单元将从在所述帧中检测到所述被摄体的行范围的曝光完成起到所预测的在所述下一帧中所述被摄体所处的行范围的曝光开始为止的期间，决定为所述有效期间。

6.根据权利要求1所述的摄影装置，其特征在于，

所述变更单元通过驱动所述摄影单元的云台使所述摄影单元旋转或移动，来变更所述摄影单元的摄影方向。

7.根据权利要求1所述的摄影装置，其特征在于，

所述摄影单元具备：

光学系统，其对入射光进行成像；和

摄像元件，其对由所述光学系统成像的入射光进行光电变换，

所述变更单元通过驱动所述光学系统来变更向所述摄像元件入射的光轴的角度，来变更所述摄影单元的摄影方向。

8.一种摄影方向的控制方法，其是摄影装置的摄影方向的控制方法，所述摄像装置具备：

摄影单元，其按照每帧进行曝光，来生成被摄体的摄影图像；和

变更单元，其变更所述摄影单元的摄影方向，

所述摄影方向的控制方法的特征在于，包括：

决定步骤，根据所述摄影单元的曝光期间，来决定所述摄影方向的变更的有效期间；和

控制步骤，控制所述变更单元，以使得在所述决定步骤中决定的有效期间内变更所述摄影单元的摄影方向。