CN111741199A

CN111741199A - 一种摄像画面保持方法及装置

Info

Publication number: CN111741199A
Application number: CN202010628969.9A
Authority: CN
Inventors: 屈肖蕾; 孙小杰
Original assignee: Beijing Tobikage Technology Co ltd
Current assignee: Beijing Tobikage Technology Co ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-10-02
Anticipated expiration: 2040-06-30
Also published as: CN111741199B

Abstract

本申请提供了一种摄像画面保持方法及装置，应用于摄像装置，摄像装置包括：控制机构以及固定于控制机构上的摄像机，摄像画面保持方法包括：获取摄像机运动信息，以及机器人坐标系、摄像机坐标系；确定摄像机坐标系相对于机器人坐标系的第一姿态变换矩阵；基于所述摄像机运动信息所指示的第一角速度向量以及所述第一姿态变换矩阵，确定第二角速度向量；第一角速度向量在所述摄像机坐标系的各坐标轴上对应的三个角速度分量中，其中至少一者为零；根据所述第二角速度向量控制所述机器人运动并保持摄像画面稳定。本发明能够有效控制摄像机在坐标系中一个方向的角速度始终为零，进而保证拍摄画面的稳定，使得拍摄出的影片具有更好的画面效果。

Description

一种摄像画面保持方法及装置

技术领域

本申请涉及影视拍摄技术领域，尤其是涉及一种摄像画面保持方法、一种摄像画面保持装置以及一种计算机可读存储介质。

背景技术

目前，在摄影装置中，摄影用机器人是视觉特效的重要素材拍摄装备，摄影机器人能够控制安装在其末端的摄影机/摄像机运动，其轨迹能够被精准地记录、存储在计算机内，轨迹数据可以编辑修改，拍摄轨迹可以精确再现，这是人工操作无法实现的。实践中，同一运动轨迹拍摄的各层影像素材在计算机中，用3D图像软件制作出多种复杂的特技影视效果，例如比例缩放、群体效果、多次拍摄等。

在常规拍摄中，需要调整摄影机进行俯仰、偏转等动作，但为了保持画面的稳定(如水平横向稳定等)，通常需要安装云台，云台虽然在控制上容易实现，但增加了装置和系统的硬件成本与复杂度。现有技术中，若不采用云台，而将摄影机直接与机器人末端固连，那么在摄影机器人拍摄路径的手动示教过程中，难以保持摄像机画面稳定，每一个示教点都需要反复调整，应用效率低。

发明内容

有鉴于此，本申请的目的在于提供一种摄像画面保持方法及装置，在拍摄过程中不需要使用云台，降低了成本，仅通过控制机器人(控制机构)即可实现摄像机画面的稳定，比不对每一个是示教点反复调整，提高了应用效率。

本申请实施例提供了一种摄像画面保持方法，应用于摄像装置，所述摄像装置包括：控制机构以及固定于控制机构上的摄像机，所述摄像画面保持方法包括：

获取摄像机运动信息，所述控制机构所处的机器人坐标系，以及所述摄像机所处的摄像机坐标系；

基于所述控制机构和所述摄像机之间的连接位置关系，确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵；

基于所述摄像机运动信息所指示的第一角速度向量以及所述第一姿态变换矩阵，确定第二角速度向量；所述第一角速度向量在所述摄像机坐标系的第一坐标轴、第二坐标轴和第三坐标轴上对应的三个角速度分量中，其中至少一者为零；

根据所述第二角速度向量控制所述机器人在机器人坐标系中运动以保持所述摄像机跟随所述控制机构运动拍摄过程中摄像画面稳定。

进一步地，所述获取摄像机运动信息，所述控制机构所处的机器人坐标系，以及所述摄像机所处的摄像机坐标系之后，所述摄像画面保持方法还包括：

确认所述摄像机坐标系的所述第一坐标轴、所述第二坐标轴和所述第三坐标轴在所述机器人坐标系中对应的第一方向向量、第二方向向量和第三方向向量；

所述基于所述控制机构和所述摄像机之间的连接位置关系，确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵，包括：

基于所述第一方向向量、所述第二方向向量和所述第三方向向量，确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵。

进一步地，所述摄像画面保持方法还包括：

获取世界坐标系；

根据所述控制机构在所述世界坐标系的自身位姿，确定所述机器人坐标系相对于所述世界坐标系的第二姿态变换矩阵；

所述摄像画面保持方法还包括通过以下步骤确定所述第三方向向量：

确定所述摄像机坐标系中，与所述世界坐标系对应的坐标轴平行的第三坐标轴在所述世界坐标系中表达的参考方向向量；

基于所述第二姿态变换矩阵和所述参考方向向量，确认所述第三坐标轴对应的所述第三方向向量。

进一步地，所述摄像画面保持方法，还包括：

获取所述摄像机的成像轴线，并且基于所述摄像机与所述控制机构的连接位置关系，确认所述成像轴线在所述机器人坐标系中的成像方向向量；其中，所述成像轴线与所述摄像机坐标系中的所述第二坐标轴和所述第三坐标轴共面，并与所述第一坐标轴垂直；

所述摄像画面保持方法还包括通过以下步骤确定所述第一方向向量和第二方向向量：

根据已知的所述第三方向向量，以及已知的所述成像方向向量，确定所述第一方向向量和所述第二方向向量。

本发明还公开了一种摄像画面保持装置，应用于摄像装置，所述摄像装置包括：控制机构以及固定于控制机构上的摄像机，所述摄像画面保持装置包括：

信息获取模块，用于获取摄像机运动信息；

坐标系模块，所述控制机构所处的机器人坐标系，以及所述摄像机所处的摄像机坐标系；

变换模块，用于根据所述控制机构和所述摄像机之间的连接位置关系，确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵；

角速度模块，用于根据所述摄像机运动信息所指示的第一角速度向量以及所述第一姿态变换矩阵，确定第二角速度向量；所述第一角速度向量在所述摄像机坐标系的第一坐标轴、第二坐标轴和第三坐标轴上对应的三个角速度分量中，其中至少一者为零；

运行模块，用于根据所述第二角速度向量控制所述控制机构在机器人坐标系中运动以保持所述摄像机跟随所述机器人运动拍摄过程中摄像画面稳定。

进一步地，所述坐标系模块还用于：

进一步地，所述坐标系模块还用于：获取世界坐标系；

所述变换模块还用于确定所述第三方向向量，具体包括：

进一步地，所述变换模块还用于：

本发明还公开了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上所述的摄像画面保持方法。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的摄像画面保持方法。

本发明至少具有以下有益效果：

本发明通过获取第一姿态变换矩阵能够将摄像机的运行参数转换为控制机构能够识别处理的实际参数，方便对摄像机进行控制；另一方面，能够有效控制摄像机在坐标系中一个方向的角速度始终为零，进而保证拍摄画面的稳定，使得拍摄出的影片具有更好的画面效果。

本申请的其他有益效果将在下文配合实施例加以详细说明。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种摄像装置的结构示意图；

图2示出了本申请实施例所提供的另一种摄像画面保持方法的流程图；

图3示出了本申请实施例所提供的一种摄像机的结构示意图；

图4示出了本申请实施例所提供的另一种摄像画面保持装置的结构框图。

其中，1-控制机构，2-转接件，3-摄像机，4-法兰。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

本发明能够应用于摄像装置，参见图1，所述摄像装置包括：控制机构1以及通过转接件2固定于控制机构1上的摄像机3。控制机构1可以为串联式机械臂，其通常具有6个自由度，本发明可以直接采用成熟的工业机器人。

如图2所示，本发明实施例公开了一种摄像画面保持方法，所述摄像画面保持方法包括：

步骤101：获取摄像机运动信息，所述控制机构所处的机器人坐标系，以及所述摄像机所处的摄像机坐标系。

上述的机器人坐标系是以控制机构(机器人)作为参照物建立的，例如，可以根据控制机构自身位姿和/或自身各部件位置关系确定机器人坐标系，通过该坐标系能够更好地表达控制机构的运动，同理，摄像机坐标系是以摄像机为参照物建立的，通过摄像机坐标系能够更好的表达摄像机的运动，但摄像机坐标系表达的摄像机运动并不能被控制机构直接照搬执行，因此需要确认上述两坐标系之间存在的变换关系。

优选的，机器人坐标系和摄像机坐标系均为符合右手法则的笛卡尔坐标系。

步骤102：基于所述控制机构和所述摄像机之间的连接位置关系，确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵。

摄像机与控制机构具有固定的连接位置关系，例如图4所示，控制机构末端的法兰4与摄像机3整体呈垂直关系，且两者相对位置固定不会发生位移，因此，可以通过多种方式获取摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵，具体方式将在下文详细说明。所述的姿态变换矩阵用于实现两个坐标系的参数转换，其本身属于本领域公知常识，对其数学求证和推导本文不再赘述。

步骤103：基于所述摄像机运动信息所指示的第一角速度向量以及所述第一姿态变换矩阵，确定第二角速度向量；所述第一角速度向量在所述摄像机坐标系的第一坐标轴、第二坐标轴和第三坐标轴上对应的三个角速度分量中，其中至少一者为零，即摄像机在摄像机坐标系的一个坐标轴上不发生转动，进而保证摄像画面的稳定。

步骤104：根据所述第二角速度向量控制所述机器人在机器人坐标系中运动以保持所述摄像机跟随所述控制机构运动拍摄过程中摄像画面稳定。

在本发明的一些实施例中，所述获取摄像机运动信息，所述控制机构所处的机器人坐标系，以及所述摄像机所处的摄像机坐标系之后，还包括：

确认所述摄像机坐标系的所述第一坐标轴、所述第二坐标轴和所述第三坐标轴在所述机器人坐标系中对应的第一方向向量、第二方向向量和第三方向向量。本实施例中，所述的第一坐标轴、第二坐标轴、第三坐标轴指摄像机坐标系的X轴、Y轴和Z轴。

所述确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵，包括：

基于所述第一方向向量、所述第二方向向量和所述第三方向向量，确定所述摄像机坐标系相对于所述机器人坐标系的第一姿态变换矩阵。优选的，所述第一姿态变换矩阵表示如下：

其中，所述

是指所述第一方向向量、所述

是指所述第二方向向量，所述

是指所述第三方向向量。

值得一提的是，本发明同样可以采用现有技术中获取姿态变换矩阵的方法来确认所述的第一姿态变换矩阵，本文不一一列举。

在本发明的一些实施例中，为获取各方向向量，可以包括以下步骤：

首先，确定世界坐标系，世界坐标系是一个用于作为标准参考的坐标系，其基于摄像装置的现场建立，世界坐标系为符合右手法则的笛卡尔坐标系，其Z轴竖直向上，世界坐标系的X轴和Y轴可以由用户根据现场实际情况自由设定。

其次，确定所述摄像机坐标系中，与所述世界坐标系对应的坐标轴平行或重合的第一坐标轴或第二坐标轴或第三坐标轴，在所述世界坐标系中的参考方向向量。优选的，摄像机坐标系的第三坐标轴方向与世界坐标系的Z轴的方向相同，由此可知，第三坐标轴在世界坐标系中的方向向量可以表示为：

其中，

指第三坐标轴在世界坐标系中的方向向量。

再其次，根据所述控制机构在所述世界坐标系的自身位姿，确定所述机器人坐标系相对于所述世界坐标系的第二姿态变换矩阵。第二姿态变换矩阵是根据控制机构在世界坐标系中的安装位姿及其自身各轴位置确定，可以看作一个已知参数。

最后，基于所述第二姿态变换矩阵，可以确认所述参考方向向量对应的所述第一方向向量或所述第二方向向量或所述第三方向向量。例如，通过上述

以及第二姿态变换矩阵可以获得所述第三坐标轴对应的第三方向向量。

在本发明的一些实施例中，为获取除上述已知的方向向量之外其余方向向量，还可以包括以下步骤：

首先，基于所述摄像机与所述控制机构的固定的连接位置关系，获取所述摄像机的成像轴线在所述机器人坐标系中的成像方向向量。成像方向向量是根据摄像机与控制机构件的安装几何关系确定，属于已知参数。

在所述摄像机坐标系中，所述成像轴线与所述摄像机坐标系中的所述第一坐标轴、所述第二坐标轴、所述第三坐标轴中的两者共面，并与另一者垂直。

然后，根据已知的所述第一方向向量或所述第二方向向量或所述第三方向向量，以及已知的所述成像方向向量，确定所述第一方向向量或所述第二方向向量或所述第三方向向量中未知的两者。

优选的，第一坐标轴方向为已知的第三坐标轴与成像轴线的公垂线方向，那么第一坐标轴对应的第一方向向量表示如下：

其中，

是指第一方向向量，

是指成像方向向量，

是指第三方向向量。

第三坐标轴方向竖直向上已知，所以第一、二方向轴必然与水平面平行，第二方向向量表示如下：

其中，

是指第二方向向量。

综上，就可以获得第一方向向量、第二方向向量、第三方向向量的具体参数。

在本发明的一些实施例中，为了使拍摄画面水平保持，在所述第一角速度向量中，所述摄像机坐标系的所述第一坐标轴或所述第二坐标轴对应的轴角速度的数值为0，第三坐标轴方向数值向上，其对应产生角速度也不会影响画面水平保持，而第一、第二坐标轴出于水平面所在面，要具体根据摄像机位置结构等确定哪一个角速度为0才能使画面水平保持，仅针对上述实施例而言，使得第二坐标轴的角速度为0即可使画面水平保持。所述的第二角速度向量可以表示为：

其中，

是指第二角速度向量，

是指第一姿态转换矩阵，w_x是指X轴的摄像机角速度，w_z是指Z轴的摄像机角速度。

最终，根据所述第二角速度向量控制所述控制机构运动以保持摄像画面水平方向稳定。

下面提供本发明的一个优选实施例，用于说明本发明所要保护的技术方案：如图1和图4所示，摄像机3通过转接件2连接至控制机构1的末端法兰4上，控制机构1为通用六自由度工业机器人，具体实现摄像机3画面水平保持的步骤如下：

(1)定义世界坐标系(X_W,Y_W,Z_W)，为符合右手法则的笛卡儿坐标系，世界坐标系的Z轴竖直向上，而对应的X轴和Y轴则可以根据应用现场情况定义，机器人坐标系(X_RY_RZ_R)相对于世界坐标系的姿态变换矩阵为

是根据控制机构1安装情况及自身姿态确定。

(2)定义摄像机坐标系(X_C,Y_C,Z_C)，其Z轴的方向向量在世界坐标系W中为：

Z轴的方向向量在机器人坐标系中表示为：

根据摄像机3与机器人末端法兰4的安装关系，摄像机3成像轴线AC在机器人坐标系中的方向向量

摄像机坐标系的X轴方向向量在机器人坐标系中表示为：

摄像机坐标系的Y轴方向向量在机器人坐标系中表示为：

得到由坐标系C向坐标系R的姿态变换矩阵为：

(3)初始时调整摄像机3成像下边缘方向与X_C轴(第一坐标轴)方向相同，在后续控制中令摄像机3在Y_C轴(第二坐标轴)的角速度始终为0，而期望的Z_C轴(第三方向轴)角速度为w_z，X_C轴角速度为w_x，则控制控制机构1在机器人坐标系中按照角速度：

控制控制机构1运动，即可实现可在调整摄像机3偏转、俯仰角度的同时，保持画面的水平。

本发明还公开了本发明还公开了一种摄像画面保持装置，应用于摄像装置，所述摄像装置包括：控制机构以及固定于控制机构上的摄像机，所述摄像画面保持装置包括：

信息获取模块，用于获取摄像机运动信息；

进一步地，所述坐标系模块还用于：

进一步地，所述坐标系模块还用于：获取世界坐标系；

所述变换模块还用于确定所述第三方向向量，具体包括：

进一步地，所述变换模块还用于：

本发明还公开了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述实施例公开的摄像画面保持方法。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图2所示方法实施例中的101-104方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种摄像画面保持方法，应用于摄像装置，所述摄像装置包括：控制机构以及固定于控制机构上的摄像机，其特征在于，所述摄像画面保持方法包括：

2.根据权利要求1所述的摄像画面保持方法，其特征在于，所述获取摄像机运动信息，所述控制机构所处的机器人坐标系，以及所述摄像机所处的摄像机坐标系之后，所述摄像画面保持方法还包括：

3.根据权利要求2所述的摄像画面保持方法，其特征在于，所述摄像画面保持方法还包括：

获取世界坐标系；

4.根据权利要求3所述的摄像画面保持方法，其特征在于，所述摄像画面保持方法，还包括：

5.一种摄像画面保持装置，应用于摄像装置，所述摄像装置包括：控制机构以及固定于控制机构上的摄像机，其特征在于，所述摄像画面保持装置包括：

信息获取模块，用于获取摄像机运动信息；

6.根据权利要求5所述的摄像画面保持装置，其特征在于，所述坐标系模块还用于：

7.根据权利要求6所述的摄像画面保持装置，其特征在于，所述坐标系模块还用于：获取世界坐标系；

所述变换模块还用于确定所述第三方向向量，具体包括：

8.根据权利要求7所述的摄像画面保持装置，其特征在于，所述变换模块还用于：

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4中任一项所述的摄像画面保持方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4中任一项所述的摄像画面保持方法。