CN113067986B

CN113067986B - 一种可编辑定义的自动化相机轨迹生成方法、装置、系统和存储介质

Info

Publication number: CN113067986B
Application number: CN202110400957.5A
Authority: CN
Inventors: 王锐; 鲍虎军; 张昊; 郑家祥; 唐睿
Original assignee: Zhejiang University ZJU; Hangzhou Qunhe Information Technology Co Ltd
Current assignee: Zhejiang University ZJU; Hangzhou Qunhe Information Technology Co Ltd
Priority date: 2021-04-14
Filing date: 2021-04-14
Publication date: 2022-09-13
Anticipated expiration: 2041-04-14
Also published as: CN113067986A

Abstract

本发明公开了一种可编辑定义的相机轨迹生成方法、装置、系统和存储介质，包括：基于DSL自定义场景筛选条件、轨迹参数和相机参数；依据自定义的景筛选条件生成筛选指令后通过执行筛选指令从数据库中筛选多个场景；依据自定义的轨迹参数和相机参数生成轨迹生成指令后，在执行轨迹生成指令时根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向，以形成相机轨迹。通过基于DSL自定义修改的轨迹参数和相机参数，配合通过物理规则确定的相机位置和视角方向来生成满足需求的批量相机轨迹。

Description

一种可编辑定义的自动化相机轨迹生成方法、装置、系统和存储介质

技术领域

本发明属于实时绘制领域，尤其涉及可编辑定义的自动化相机轨迹生成方法、装置、系统和存储介质。

背景技术

位置随时间变化的规范称为轨迹，在一些情况下，轨迹完全由任务决定，例如需要跟踪一个已知运动物体的移动，或者简单地从一个位置运动到另一个位置。轨迹是关于时间的位置函数，轨迹生成任务的一个子类是摄像机轨迹生成。

摄像机轨迹生成是为场景生成一个合适的观察轨迹的过程，需要满足现实中加速度、力矩等物理要求，同时更够尽可能覆盖场景中的各个部分。摄像机轨迹生成在稠密三维重建等领域的研究中有着广泛的需求。随着计算机视觉技术的发展，对于视频相关的任务的研究越来越多，促进了很多视频数据集的发布，与此同时人们对于摄像机轨迹生成的需求也越来越大。目前的大多数视频数据集都是使用人手工操作的SLAM系统来收集手持摄像机拍摄的视频，然后将记录下的摄像机轨迹用于计算机视觉相关任务中。然而，依靠人工手动生成轨迹的方式费时费力，同时这样的方法也限制了视频数据集的规模。因此如何快速自动化生成具有多样性的摄像机轨迹就成为了一个待解决的问题。

近年来各种不同方法已经被提出，例如:(1)点到点的轨迹生成方法；(2)通过点的轨迹生成方法。其中点到点的轨迹，直接根据关键点到关键点之间在笛卡尔空间的直线轨迹，可以通过在空间中指定一系列的关键点生成轨迹，这样的方法生成的轨迹一般不够平滑；通过点的轨迹可以通过设置一系列关键点，然后通过贝塞尔曲线差值、三次埃尔米特曲线差值等差值方法得到一段摄像机轨迹，使用通过点的轨迹生成的轨迹相比于点到点的轨迹生成方法更加平滑，但是通过点的轨迹生成方法生成的轨迹会偏离关键点的直线路径可能会与场景中的物体产生碰撞。此外，上述两种方法通常都集中在以半自动化的方式生成轨迹，需要人工设置一系列的关键点，再由算法进行差值。在面对大批量的室内场景数据集的生成时，使用上述的半自动的轨迹生成方法，为每个场景人工设置摄像机轨迹是不现实的，因此亟需一种自动化的轨迹生成方法。

在计算机视觉技术的研究中，不同类型的数据集所需要的轨迹长度，速度等属性往往是不一样的，在研究中对于虚拟场景的摄像机轨迹生成往往需要生成大批量不同长度、速度、视场等参数的摄像机轨迹以匹配不同的真实数据集以提高算法从虚拟场景到真实场景的泛化能力，在这样的背景下，能够快速自动化地为不同任务批量并行生成满足特定要求的摄像机轨迹已成为一个实际的需求。

发明内容

鉴于上述，本发明的目的是提供一种可编辑定义的自动化相机轨迹生成方法、装置、系统和存储介质，通过基于DSL自定义修改的轨迹参数和相机参数，配合通过物理规则确定的相机位置和视角方向来生成满足需求的批量相机轨迹。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种可编辑定义的相机轨迹生成方法，包括以下步骤：

基于DSL自定义场景筛选条件、轨迹参数和相机参数；

依据自定义的景筛选条件生成筛选指令后通过执行筛选指令从数据库中筛选多个场景；

依据自定义的轨迹参数和相机参数生成轨迹生成指令后，在执行轨迹生成指令时根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向，以形成相机轨迹。

第二方面，一种可编辑定义的相机轨迹生成装置，包括：

自定义模块，用于基于DSL自定义场景筛选条件、轨迹参数和相机参数；

筛选模块，用于依据自定义的景筛选条件生成筛选指令后通过执行筛选指令从数据库中筛选多个场景；

轨迹生成模块，用于依据自定义的轨迹参数和相机参数生成轨迹生成指令后，在执行轨迹生成指令时根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向，以形成相机轨迹。

第三方面，一种可编辑定义的相机轨迹生成系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的可编程定义的相机轨迹生成方法。

第四方面，一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现第一方面所述的可编程定义的相机轨迹生成方法的步骤。

与现有技术相比，本发明具有的有益效果至少包括：

本发明实施例提供的一种可编辑定义的相机轨迹生成方法、装置、系统和存储介质，通过基于DSL暴露的编辑接口修改场景筛选条件与相机轨迹生成相关的轨迹参数和相机参数，大大简化了相机轨迹设定的难度，系统根据编写的DSL信息对场景进行并处理，并调用通过双物理体的轨迹生成策略为每个需要生成轨迹的相机生成一段视角能够尽量多地覆盖场景中的各个位置，且不包含明显违反物理规则的运动的随机相机轨迹。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的可编辑定义的相机轨迹生成方法的流程图；

图2是实施例提供的可编辑定义的相机轨迹生成装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

为了实现在场景中自动生成相机轨迹，同时能够实现灵活控制编辑过程的前提下，可以批量化地快速设置相机轨迹相关参数，实施例提供了一种可编辑定义的相机轨迹生成方法、装置、系统和存储介质。

图1为实施例提供的可编辑定义的相机轨迹生成方法的流程图。如图1所示，实施例提供的可编辑定义的相机轨迹生成方法包括以下步骤：

步骤1，基于DSL自定义场景筛选条件、轨迹参数和相机参数，并依据自定义的景筛选条件生成筛选指令，依据自定义的轨迹参数和相机参数生成轨迹生成指令。

DSL(Domain Specific Language，领域专用语言)是一种描述某个领域的行业规范用语的构架。实施例中，DSL建立在Python语言的技术栈上，通过Python的赋值、算数、循环以及函数这些基本机制，并结合实体组件系统(Entity-Component System，简称ECS)架构实现场景筛选和相机轨迹生成。

实施例中，采用ECS的设计模式作为系统内部组织和表示三维场景的数据结构，具体实体组件系统包括相机组件、位置组件以及软装产品组件，

其中，相机组件(Camera Component)用于保存相机的相机参数，包括相机类型、视角、视场、分辨率等信息，此外，相机组件还包括轨迹长度和帧率。

位置组件(Transform Component)用于保存软装产品的位置信息，包括平移、旋转、缩放等信息；

软装产品组件(Furniture Component)用于保存软装产品的属性信息，包括软装产品的类型、大小、包围盒等信息。

也就是说，通过实体组件系统构架并结合JavaScript的DSL为用户提供了编辑接口，用户通过该接口可以编辑自定义的场景筛选条件、轨迹参数和相机参数。实施例中，对于场景筛选来说，常见的需求是：有的研究人员可能需要筛选符合大小以及类型要求的室内场景，例如：客厅，餐厅等。场景筛选条件包括场景类型和大小，通过自定义筛选条件来控制筛选结果。

由于通过双物理体的轨迹生成策略生成相机轨迹时，将将相机和观察点看作两个物理体，基于此，轨迹参数包括物理体的受力信息、空气阻力信息、时间步长、以及轨迹长度。

用户通过基于DSL编辑的包含场景筛选条件、轨迹参数和相机参数的DSL代码注册到系统中以生成筛选指令和轨迹生成指令。具体地，DSL代码注册到系统的过程包括：

首先，系统读取用户自定义的DSL代码文件，并将DSL代码文件作为一个本地模块(Module)导入，Python解释器会查找导入的DSL文件是否存在，并将该DSL代码文件作为一个自定义模块引入到系统当前工作空间中，并可以在系统中调用自定义的DSL代码文件；

然后，在导入模块中根据类的继承关系检索所有Entity Processor(实体处理器)类的子类来获得用户的控制室内场景筛选筛选过程的代码和轨迹生成过程的代码，将所有Entity Processor类的子类实例化为对象注册到系统(World)中，用户的其他辅助类由于继承关系的不同虽然可以在系统中访问，但是不会被作为自定义室内场景筛选代码的注册到系统中干扰执行。

在定义场景筛选条件、轨迹参数和相机参数时，还可以对应的每个筛选指令、轨迹生成指令的优先级，依据优先级执行相应指令，实现场景筛选和轨迹生成。当不定义执行指令的优先级时，按照指令的注册顺序执行指令，当定义优先级时，则按照优先级顺序执行指令，定义的执行指令的优先级由0～1000变换，其中，0表示最低，1000表示最高。

步骤2，通过执行筛选指令从数据库中筛选多个场景。

实施例中，基于MongoDB数据库后端实现了一个服务调用，利用数据库的$where方法接口来让用户以JavaScript查询代码作为输入对场景进行筛选，满足场景筛选条件的场景数据集会以场景描述文件的形式返回给系统以便进一步编辑。

步骤3，在执行轨迹生成指令时并行在场景中根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向，以形成相机轨迹。

由于将所有场景的处理统一以DSL的形式定义，因此对于每一个筛选出来的室内场景都会创建一个进程进行处理，来实现对室内场景的并行处理，并到达批量处理场景中的相机轨迹的目的。

在每一个进程中，按照注册顺序和优先级进行执行用户自定义的场景DSL文件，通过DSL对场景中的相机的类型、视场、分辨率等信息进行批量修改。

由于本发明的设计目标是支持大规模的室内场景的轨迹参数和相机参数的编辑，因此为每个场景人工修改是不现实的，需要一种自动化的批量编辑轨迹参数和相机参数的方式。并且对于机器学习中的视频任务来说，需要生成自定义的轨迹长度，为每个需要生成轨迹的相机生成一段视角能够尽量多地覆盖场景中的各个位置，且不包含明显违反物理规则的运动的随机相机轨迹。用户可以在DSL通过sample_trajectory函数调用自动化相机轨迹生成功能，在每个DSL的执行过程中，系统根据用户的DSL通过调用双物理体的轨迹生成策略算法为场景中的相机批量生产随机相机轨迹。

实施例中，根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向以形成相机轨迹包括：

(a)初始化场景中相机起始位置和观察点起始位置。

在室内场景中生成相机轨迹时，需要对相机的位置进行初始化。实施例中使用基于房间内随机初始化来表示相机位置和观察点位置的两个物理体的起始位置。具体地，在室内场景中随机采样相机位置和观察点位置，若相机位置和观察点位置采样到在室内场景中软装产品(如家具)包围盒内则重新采样。

(b)根据基于受力信息确定的受力情况和基于空气阻力信息确定的阻力情况，确定基于预设的时间步长确定的每个时刻的相机和观察点的运动速度。

在计算相机关键点位置，也就每个时刻相机位置时，根据物理定律进行计算，这样生成的相机轨迹符合动力学的要求，不会出现明显违法物理定律的轨迹。具体地，基于受力信息确定受力情况包括：依据受力大小

在受力方向u的分力确定在受力方向的受力情况

其中，

受力大小自定义设置，可以设置为3.0N，受力方向也可以自定义设置，当前也可也根据多元高斯分布为两个物理体采样一个空间中的受力方向，即受力方向

为了避免运动速度变化过快，需要对物理体施加额外的一个阻力来对运动速度进行抑制。具体地，基于空气阻力信息确定阻力情况包括：依据空气阻力A、阻力横截面积C_D以及助力系数φ确定阻力情况

其中，v表示当前时刻的速度，初始速度为0。

在获得受力情况和阻力情况后，依据为相机和观察点预设的质量和时间步长计算每个时刻物理体的运动速度：

其中，v_t、v_t-1分别表示t时刻和t-1时刻的运动速度，m表示质量，f表示受力情况，d表示阻力情况，τ为时间步长。

(c)依据运动速度确定每个时刻相机和观察点的位置，依据相机位置和观察点位置确定视角方向，每个时刻的相机位置和视角方向按照时序连接成满足轨迹长度的相机轨迹。

为了避免相机进入场景中的软装产品内部，在计算位置之前，设置速度上限对运动速度进行约束，同时根据软装产品的包围盒进行碰撞检测，在与软装产品发生碰撞时，依据软装产品的包围盒的法向量更新运动速度。

其中，通过设定的速度上限s_max对运动速度进行约束，约束后运动速度为：

实施例中，根据软装产品的包围盒的位置关系和运动速度来检测是否会与软装产品发生碰撞，当发生碰撞时，即通过软装产品的包围盒的法向量更新运动速度以实现运动速度的反弹，其中，运动速度更新为v_t＝v_t-2(v_t·n)n，n为发生碰撞的包围盒面的法向量。

实施例中，依据运动速度和时间步长确定每个时刻相机和观察点的位置p＝τ·v_t。重复步骤(a)～步骤(c)得到多个相机位置和观察点位置，直到满足轨迹长度为止。这样获得每个时刻对应的包含相机位置和观察点位置的位置对，然后基于位置对计算每个时刻对应的视角方向

其中，p_相机、p_观察点分别表示相机位置和观察点位置，这样每个时刻相机位置和视角方向按照时序连接成满足轨迹长度的相机轨迹。

实施例中，为了使得获得的相机轨迹上的相机位置点更密集，且相机轨迹更准确，获得满足设置帧率的相机轨迹，在获得满足轨迹长度的相机对之后，还采用插值方式，生成更多的位置对，然后基于位置对得到满足帧率的相机轨迹。

实施例中，为了模拟手持拍摄效果，在视角方向还需要添加随机噪声。即为每个视角方向添加随机扰动噪声，根据随机扰动噪声更新视角方向，依据更新后的视角方向和相机位置得到满足轨迹长度的相机轨迹。

其中，添加的噪声满足：

u～uniform(-1，1)

v～uniform(-1，1)

r²＝u²+v²

z＝1-2*r²

noise＝(x，y，z)

其中，r表示噪声的偏移距离，设置经验值为0.6，u，v为在-1到1之间均匀采样得到的随机数。

依据添加的噪声更新视角方向

在获得每个相机对应的相机关键点位置后，即得到批量生成的相机轨迹，后续可以利用该相机轨迹生成一连串绘制图像。

实施例提供的可编辑定义的相机轨迹生成方法，用户可以用于从数据库中筛选得到用户需要的场景，并且通过DSL对相机参数和轨迹参数进行批量修改。系统会根据用户编写的DSL对场景并行处理，调用基于双物理体的相机轨迹生成方法，为每个需要生成轨迹的相机生成一段视角能够尽量多地覆盖场景中的各个位置，且不包含明显违反物理规则的运动的随机相机轨迹；最终得到批量生成的相机轨迹。在用户可以灵活控制编辑过程的前提下，可以批量化地快速设置相机的相关参数并生成随机轨迹，大大简化了相机轨迹设定的难度，同时生成的相机视角能够尽量多地覆盖场景中的各个位置，同时不包含明显违反物理规则的运动。

图2是实施例提供的可编辑定义的相机轨迹生成装置的结构示意图。如图2所示，实施例提供的可编辑定义的相机轨迹生成装置200，包括：

自定义模块210，基于DSL自定义场景筛选条件、轨迹参数和相机参数；

筛选模块220，用于依据自定义的景筛选条件生成筛选指令后通过执行筛选指令从数据库中筛选多个场景；

轨迹生成模块230，用于依据自定义的轨迹参数和相机参数生成轨迹生成指令后，在执行轨迹生成指令时根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向，以形成相机轨迹。

需要说明的是，实施例提供的可编程定义的相机轨迹生成装置在进行自动生成时，应以上述各功能模块的划分进行举例说明，可以根据需要将上述功能分配由不同的功能模块完成，即在终端或服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，实施例提供的相机轨迹生成装置与相机轨迹生成方法实施例属于同一构思，其具体实现过程详见相机轨迹生成方法实施例，这里不再赘述。

实施例还提供了一种可编辑定义的相机轨迹生成系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述可编程定义的相机轨迹生成方法的步骤，及实现如下步骤：

步骤1，基于DSL自定义场景筛选条件、轨迹参数和相机参数，并依据自定义的景筛选条件生成筛选指令，依据自定义的轨迹参数和相机参数生成轨迹生成指令；

步骤2，通过执行筛选指令从数据库中筛选多个场景。

实施例还提供了一种计算机可读存储介质，例如包括至少一条指令的存储器，上述至少一条指令可由终端中的处理器执行以完成上述可编程定义的相机轨迹生成方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种可编辑定义的自动化相机轨迹生成方法，其特征在于，包括以下步骤：

通过实体组件系统构架并结合DSL为用户提供编辑接口，通过编辑接口编辑自定义的场景筛选条件、轨迹参数和相机参数；其中，所述实体组件系统包括相机组件、位置组件以及软装产品组件，相机组件用于保存相机的相机参数，包括相机类型、视角、视场、分辨率；位置组件用于保存软装产品的位置信息，包括平移、旋转、缩放；软装产品组件用于保存软装产品的属性信息，包括软装产品的类型、大小、包围盒；轨迹参数包括物理体的受力信息、空气阻力信息、时间步长、以及轨迹长度，其中，将相机和观察点看作两个物理体；

依据自定义的轨迹参数和相机参数生成轨迹生成指令后，在执行轨迹生成指令时根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向，以自动形成相机轨迹。

2.如权利要求1所述的可编辑定义的相机轨迹生成方法，其特征在于，所述DSL建立在Python语言的技术栈上，通过Python的赋值、算数、循环以及函数这些基本机制，并结合实体组件系统架构实现场景筛选和相机轨迹生成。

3.如权利要求1或2所述的可编辑定义的相机轨迹生成方法，其特征在于，所述根据轨迹参数和相机参数在场景中通过双物理体的轨迹生成策略计算每个时刻的相机位置和视角方向以形成相机轨迹包括：

初始化场景中相机起始位置和观察点起始位置；

根据基于受力信息确定的受力情况和基于空气阻力信息确定的阻力情况，确定基于预设的时间步长确定的每个时刻的相机和观察点的运动速度；

依据运动速度确定每个时刻相机和观察点的位置，依据相机位置和观察点位置确定视角方向，每个时刻的相机位置和视角方向按照时序连接成满足轨迹长度的相机轨迹。

4.如权利要求3所述的可编辑定义的相机轨迹生成方法，其特征在于，基于受力信息确定受力情况包括：依据受力大小在受力方向的分力确定在受力方向的受力情况；

基于空气阻力信息确定阻力情况包括：依据空气阻力、阻力横截面积以及助力系数确定阻力情况；

依据为相机和观察点预设的质量和时间步长计算每个时刻的运动速度：

其中，v_t、v_t-1分别表示t时刻和t-1时刻的运动速度，m表示质量，f表示受力情况，d表示阻力情况，τ为时间步长；

依据运动速度和时间步长确定每个时刻相机和观察点的位置p＝τ·v_t。

5.如权利要求1所述的可编辑定义的相机轨迹生成方法，其特征在于，在计算位置之前，设置速度上限对运动速度进行约束，同时根据软装产品的包围盒进行碰撞检测，在与软装产品发生碰撞时，依据软装产品的包围盒的法向量更新运动速度。

6.如权利要求3所述的可编辑定义的相机轨迹生成方法，其特征在于，为每个视角方向添加随机扰动噪声，根据随机扰动噪声更新视角方向，依据更新后的视角方向和相机位置得到满足轨迹长度的相机轨迹。

7.一种可编辑定义的相机轨迹生成装置，其特征在于，包括：

自定义模块，通过实体组件系统构架并结合DSL为用户提供编辑接口，通过编辑接口编辑自定义的场景筛选条件、轨迹参数和相机参数；其中，所述实体组件系统包括相机组件、位置组件以及软装产品组件，相机组件用于保存相机的相机参数，包括相机类型、视角、视场、分辨率；位置组件用于保存软装产品的位置信息，包括平移、旋转、缩放；软装产品组件用于保存软装产品的属性信息，包括软装产品的类型、大小、包围盒；轨迹参数包括物理体的受力信息、空气阻力信息、时间步长、以及轨迹长度，其中，将相机和观察点看作两个物理体；

8.一种可编辑定义的相机轨迹生成系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～6任一项所述的可编辑定义的相机轨迹生成方法。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6任一项所述的可编辑定义的相机轨迹生成方法的步骤。