CN112837375A - 用于真实空间内部的相机定位的方法和系统 - Google Patents

Abstract

一种用于真实空间内部的相机定位的方法和系统，其中方法包括：设置定位目标；在第一位置上朝向定位目标拍摄以获取定位目标的第一拍摄图像；在多个第二位置上朝向定位目标拍摄以获取定位目标的第二拍摄图像组；分别提取第一图像特征和第二图像特征组；基于位置差异以及对应的特征差异之间的关系，确定拍摄位置和图像特征的映射关系；获取定位目标的定位拍摄图像；提取定位图像特征；以及基于映射关系以及定位图像特征确定待定位相机在真实空间内部的位置。本公开的方法可以仅使用多台相机，甚至仅使用一台相机就能够获得待定位相机的实际位置，从而避免了使用现有技术中价格较为昂贵的OptiTrack、StarTracker等设备对相机进行定位，从而节省了虚拟拍摄的成本。

Description

用于真实空间内部的相机定位的方法和系统

技术领域

本公开涉及虚拟拍摄，特别是涉及一种用于真实空间内部的相机定位的方法和系统。

背景技术

随着虚拟图像技术的发展，“虚拟拍摄”在越来越多的领域中出现，并发挥重要作用。所谓“虚拟拍摄”，就是在电影拍摄、游戏制作或虚拟直播间拍摄的过程中，根据导演所要求的拍摄动作，全部镜头都在电脑里的虚拟场景中进行。拍摄这个镜头所需的各种元素，包括场景、人物、灯光等，全部被整合进了电脑，然后，导演就可以根据自己的意图，在计算机上“指挥”角色的表演和动作，从得到任意角度的图像。简而言之，就是拍摄出导演想拍摄的任何场景来。所有那些输入到电脑里的数据是完整无误地来源于真实世界，也就是说，输入电脑中的虚拟场景和虚拟人物必须是真实世界和演员的“全息”复制，等于是把一个真实的世界克隆到电脑里的虚幻世界，从而在物理意义上打通“虚拟”与“真实”的界限。

在虚拟拍摄的过程中，需要获取真实相机在真实世界中的具体位置，以使得虚拟相机和真实相机的位置匹配，以生成最终正确的虚拟拍摄图像的显示效果。现有的相机在真实空间定位都是通过安装外部专业定位设备来进行计算定位的，常见的定位系统有OptiTrack、StarTracker、ART-Track、瑞立视等，这些设备都需要额外的系统费用，并且占用系统空间。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

根据本公开的一方面，提供了一种用于真实空间内部的相机定位的方法，包括：在真实空间的边界面上设置定位目标；在正对定位目标的第一位置上朝向定位目标拍摄以获取定位目标的第一拍摄图像；在除第一位置以外的多个第二位置上朝向定位目标拍摄以获取定位目标的第二拍摄图像组，第二拍摄图像组包括在每个第二位置上拍摄的图像；分别提取第一拍摄图像和第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；基于每个第二位置和第一位置的位置差异以及对应的每个第二图像特征和第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；调整待定位相机的拍摄方向朝向定位目标以获取定位目标的定位拍摄图像；提取定位拍摄图像的图像特征，得到定位图像特征；以及基于映射关系以及定位图像特征确定待定位相机在真实空间内部的位置。

本公开的方法首先在真实空间边界面处设置定位目标，然后分别在不同位置拍摄该定位目标。根据多组拍摄位置和对应的拍摄图像的图像特征的数据，得到拍摄位置和图像特征的映射关系，从而根据该映射关系以及待定位相机拍摄的定位目标的图像确定待定位相机的位置。本公开的方法可以仅使用多台相机，甚至仅使用一台相机就能够获得待定位相机的实际位置，从而避免使用现有技术中价格较为昂贵的OptiTrack、StarTracker等设备对相机进行定位，节省了虚拟拍摄的成本。另外本公开的方法无需额外的定位设备，进一步简化了虚拟拍摄系统。

优选地，真实空间为直播间，系统还包括：构成直播间底面的第一LED显示板，以及构成直播间两个相邻侧壁的分别与第一LED显示板正交的第二LED显示板和第三LED显示板；第一LED显示板、第二LED显示板和第三LED，还配置成显示背景图像。本公开的方法可以优选地应用于具有LED显示板的直播间内的相机的定位，由于LED显示板本身具有显示功能，因此可以通过LED显示板直接以图像的方式显示定位目标，而不需要另外设置实物形式的定位目标，因此简化了本公开的定位方法。

根据本公开的另一方面，提供了一种用于虚拟拍摄的方法，包括：在虚拟空间中创建虚拟场景；在虚拟空间中创建用于拍摄虚拟场景的虚拟相机；在真实空间内部设置用于拍摄真实空间内部真实场景的待定位相机；上述用于真实空间内部的相机定位的方法；调节虚拟相机在虚拟空间中的拍摄位置以与待定位相机在真实空间内部的位置一致；获取虚拟相机拍摄的虚拟场景图像以作为待定位相机拍摄的真实场景图像的背景图像。本公开的虚拟拍摄的方法借助于上述相机定位方法能够精确获得真实相机的位置并实现虚拟相机和真实相机的位置匹配，因此在虚拟拍摄中，虚拟的背景画面和真实场景部分的画面能够完全吻合，极大地提高了虚拟拍摄的画面真实度。

根据本公开的第三方面，本公开的实施例公开了一种用于真实空间内部的相机定位的系统，包括：定位目标设置单元，配置成在真实空间的边界面上设置定位目标；第一拍摄单元，配置成在正对定位目标的第一位置上朝向定位目标拍摄以获取定位目标的第一拍摄图像；第二拍摄单元，配置成在除第一位置以外的多个第二位置上朝向定位目标拍摄以获取定位目标的第二拍摄图像组，第二拍摄图像组包括在每个第二位置上拍摄的图像；特征提取单元，连接第一拍摄单元和第二拍摄单元，配置成分别提取第一拍摄图像和第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；计算单元，配置成基于每个第二位置和第一位置的位置差异以及对应的每个第二图像特征和第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；和待定位相机，配置成朝向定位目标以获取定位目标的定位拍摄图像；其中特征提取单元，连接待定位相机，并还配置成提取定位拍摄图像的图像特征，得到定位图像特征；计算单元，还配置成基于映射关系以及定位图像特征确定待定位相机在真实空间内部的位置。

根据本公开的第四方面，本公开的实施例公开了一种用于虚拟拍摄的系统，包括：虚拟场景创建单元，配置成在虚拟空间中创建虚拟场景；虚拟相机，被创建在虚拟空间中，用于拍摄虚拟场景；上述用于真实空间内部的相机定位的系统，其中待定位相机还配置成用于拍摄真实空间内部的真实场景；调节单元，配置成调节虚拟相机在虚拟空间中的拍摄位置以与待定位相机在真实空间内部的位置一致；以及图像处理单元，配置成获取虚拟相机拍摄的虚拟场景图像以作为待定位相机拍摄的真实场景图像的背景图像。

根据本公开的第五方面，本公开的实施例公开了一种计算机设备，包括：处理器；以及存储计算机程序的存储器，计算机程序在由处理器执行时使得处理器执行上述用于真实空间内部的相机定位的方法。

根据本公开的第四方面，本公开的实施例公开了一种存储计算机程序的计算机可读存储介质，计算机程序在由处理器执行时使得处理器执行上述用于真实空间内部的相机定位的方法。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1示出了根据示例性实施例的用于真实空间内部的相机定位的方法的示意图；

图2示出了根据示例性实施例的用于真实空间内部的相机定位的方法的流程图；

图3示出了根据示例性实施例的用于真实空间内部的相机定位的方法的流程图；

图4示出了在使用根据示例性实施例的用于真实空间内部的相机定位的方法的过程中真实空间的俯视图；

图5示出了在图4中的各个位置拍摄的定位目标的图像；

图6示出了使用根据示例性实施例的用于真实空间内部的相机定位的方法对待定位相机进行定位的示意图；

图7示出了根据示例性实施例的用于虚拟拍摄的方法的示意图；

图8示出了根据示例性实施例的用于真实空间内部的相机定位的系统的结构框图；

图9示出了根据示例性实施例的用于虚拟拍摄的系统的结构框图；

图10是示出能够应用于示例性实施例的示例性电子设备的结构框图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

下面结合附图详细描述本公开的示例性实施例。

图1示出了根据示例性实施例的用于真实空间内部的相机定位的方法的示意图。该方法一般性地包括以下步骤：

步骤S101，在真实空间的边界面上设置定位目标；

步骤S102，在正对定位目标的第一位置上朝向定位目标拍摄以获取定位目标的第一拍摄图像；

步骤S103，在除第一位置以外的多个第二位置上朝向定位目标拍摄以获取定位目标的第二拍摄图像组，第二拍摄图像组包括在每个第二位置上拍摄的图像；

步骤S104，分别提取第一拍摄图像和第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；

步骤S105，基于每个第二位置和第一位置的位置差异以及对应的每个第二图像特征和第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；

步骤S106，调整待定位相机150的拍摄方向朝向定位目标以获取定位目标的定位拍摄图像；

步骤S107，提取定位拍摄图像的图像特征，得到定位图像特征；以及

步骤S108，基于映射关系以及定位图像特征确定待定位相机150在真实空间内部的位置。

在这里首先需要说明的是，本文所述的“相机”可以是用于拍摄静态图像的照相机，也可以是用于拍摄动态视频的摄像机。

上述真实空间可以为真实世界中的任何形状的预设空间，例如可以为立方体空间、长方体空间、球形体空间等，具体可以根据拍摄需要而定。真实空间的边界面的形状也会根据真实空间的形状而有所不同。在本实施例中，上述真实空间优选为长方体空间，因此其边界面为包围该长方体的6个矩形平面。在步骤S101中，可以在上述6个矩形平面中的任意一个平面上设置该定位目标。当然在本公开其他实施例中，上述边界面还可以为其他形状，这里不再一一赘述。

步骤S102中所提及的“正对”是指：对定位目标进行拍摄的装置和定位目标中点的连线和定位目标所在的边界面垂直。如果定位目标所在的边界面为曲面，则上述直线和曲面的切面垂直。具体地，以立方体真实空间为例，定位目标设置在其中一个矩形边界面上，那么正对定位目标的位置应该在垂直于定位目标所在的边界面且经过定位目标中心的直线上。在正对定位目标的位置，朝向定位目标拍摄的第一拍摄图像应该是定位目标的正视图。该第一拍摄图像可以作为后续定位步骤的基准参考图。

在步骤S103中，多个第二位置均与第一位置不相同。多个第二位置也可以包括上述“正对”位置，同时还可以包括多个“非正对位置”。上述第一位置和多个第二位置可以是已知的，也可以通过后续测量得到其位置信息（即可以获知第一位置和第二位置所在点的空间坐标）。在具体的拍摄定位目标的过程中，无论拍摄装置是否处于正对定位目标的位置，均应该朝向定位目标进行拍摄，以使得定位目标位于拍摄图像的中央，从而便于后续的图像特征提取和图像比对。

在步骤S104中，图像特征是指所拍摄的定位目标在整个拍摄图像中的属性。上述属性例如可以是：定位目标在拍摄图像中的像素大小、定位目标在整个拍摄图象中所占比例、在拍摄图象中定位目标的边长大小、面积大小、畸变程度等等。

由于拍摄位置的不同，所得到定位目标的拍摄图像往往不同。换句话说拍摄位置和定位目标的拍摄图像存在一一对应的关系，在步骤S105中，通过对比在不同位置拍摄到的定位目标图像，可以通过拟合计算得到上述一一对应的关系，从而得到拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系。根据该映射关系可以通对定位目标的拍摄图像得到真实空间中任何一个拍摄点的位置信息。例如，在步骤S106中，可以任意选择一个位置未知的点，然后对定位目标进行拍摄得到定位拍摄图像。然后在步骤S107中以在步骤S104中相同的方式提取图像特征，得到定位图像特征。最后在步骤S108中基于上述S105中得到的映射关系以及当前位置的定位图像特征即可获得该未知点的位置信息。

图2示出了根据示例性实施例的用于真实空间内部的相机定位的方法的流程图。图2的方法与图1的方法基本相同，但是对图1的方法中的部分步骤进行了细化，如图2所示，该方法包括以下步骤：

步骤S201，在真实空间的边界面上设置定位目标；

步骤S202，通过第一定位相机获取第一拍摄图像；

步骤S203，通过多个第二定位相机获取第二拍摄图像组；

步骤S204，分别提取第一拍摄图像和第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；

步骤S205，基于每个第二位置和第一位置的位置差异以及对应的每个第二图像特征和第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；

步骤S206，调整待定位相机150的拍摄方向朝向定位目标以获取定位目标的定位拍摄图像；

步骤S207，提取定位拍摄图像的图像特征，得到定位图像特征；以及

步骤S208，基于映射关系以及定位图像特征确定待定位相机150在真实空间内部的位置。

为了更加具体地描述本公开的方法，后文将结合具有更多细节的实施例描述该方法。在根据本公开的一个实施例中，上述真实空间为长方体的直播间。该直播间具有底面和两个侧壁，如图6所示。底面和两个侧壁两两相互垂直，并构成该直播间的一角。上述底面以及两个侧壁均是由LED显示板构成的，上述LED显示板可以显示不同于真实世界的背景图像，从而使该直播间具有虚拟直播的效果。优选地，每个LED显示板还分别与一个画面渲染服务器相连，画面渲染服务器用于控制LED显示板的显示。当然在本公开另外一些实施例中，上述真实空间可以不是直播间，而是电影拍摄场地、动画制作场地等等。另外，在真实空间可以是直播间的情况下，直播间还可以具有多于3块或少于3块的LED显示板，例如可以具有4块显示板，或仅有2块显示板（仅有底面和一个侧壁），总之本公开的实现不受上述因素的限制。

在本实施例中，定位目标可以是LED显示板显示的特定图像，这样可以借助直播间自带的LED显示板来显示定位图像，而不需要另外设置实物形式的定位目标，因此简化了本公开的定位方法。在其他没有LED显示板的实施例中，定位目标也可以是设置在真实空间墙壁或其他形式边界面上的实物，例如可以是标记盘、贴纸等。在本实施例中，定位目标还可以是矩形的棋盘图像，因为矩形为标准形状，因此将定位目标设置为矩形有利于后续的定位计算。该棋盘图像包括多个黑白相间的网格单元，并且每个网格的大小相同。将定位目标设置成棋盘网格是为了获得更多的定位参照单元，例如每一个网格单元都可以设置成定位参照，因此在后续的确定映射关系的步骤中，可以采集每个网格单元的数据，从而获得更多的拟合数据，达到更好的拟合效果。在本公开的一个实施例中，可以在后续的步骤中将图像特征选择为包括拍摄图像中棋盘图像的每一个网格单元的特征（例如其边长），从而增加拟合数据的丰富程度。

在本实施例中，可以通过多台在不同的已知位置的定位相机对未知位置的待定位相机150进行定位。多个定位相机包括位于第一位置的第一定位相机和分别位于多个第二位置上的多个第二定位相机。在步骤S202中，可以单独开启第一定位相机对定位目标进行拍摄，即可获得第一拍摄图像。在步骤S203中，可以同时开启多个第二定位相机对定位目标进行拍摄，每个第二定位相机获得一张第二拍摄图像，多张第二拍摄图像组成第二拍摄图像组。第一定位相机和第二定位相机在拍摄时设定相同的画幅，以使得每次拍摄得到的图像大小相等。

具体地，如图6所示，可以对直播间（即真实空间）建立直角坐标系。为了便于说明，可以假设定位目标显示在第二LED显示板112上，当然也可以设置在第三LED显示板113上。并且为了便于后续的定位，定位目标优选地显示在第二LED显示板112的正中央。将平行于第二LED显示板112的方向定义为X方向，将平行于第三LED显示板113的方向定义为Y方向，并将竖直方向定义为Z方向，那么X-Y平面即代表水平平面。为了便于定位，可以将第一LED显示板111的中心定义为X轴的原点，将第二LED显示板112的中心定义为Y轴的原点。在本实施例中，如图4所示，第一位置为位于X-Y平面原点O的位置，第二位置优选为4个，分别为原点O沿X负轴移动第一预设距离的X1位置、原点O沿X正轴移动第一预设距离的X2位置、原点O沿Y正轴移动第二预设距离的Y1位置以及原点O沿Y负轴移动第二预设距离的Y2位置。上述第一预设距离和第二预设距离可以根据直播间的大小而定。图5示出了在图4中的各个位置拍摄的定位目标的图像，图5中每一幅图代表在上述不同位置拍摄得到的定位目标的拍摄图像。从图中我们看出，由于拍摄位置的不同，所得到的拍摄图像的特征也有所不同。具体地，在Y1点处，由于拍摄距离较近，因此定位目标在图像中的尺寸较大，相反地，在Y2处则较小。在X1、X2处由于拍摄方向和定位目标所在平面成一定角度，因此定位目标图像出现了一定程度的扭曲（棋盘图像的左侧边缘或右侧边缘的长度相较于第一拍摄图像的棋盘图像存在差异）。

基于上述拍摄图像的特点，可以将特征图像定义为棋盘网格在拍摄图像中的面积大小以及棋盘网格左右两个侧边的长度。上述面积大小与拍摄点在Y轴上的位置存在对应关系，因此可以表征拍摄点在Y轴上的位置；而两个侧边的长度与拍摄点在X轴上的位置存在对应关系，因此可以表征拍摄点在X轴上的位置。通过上述两个图像特征基本上可以确定待定位相机150的在X-Y平面的位置信息。

具体地，可以将第一拍摄图像中的图像特征为基准，分别计算每张第二拍摄图像与第一拍摄图像的特征差异。以Y1位置拍摄的第二拍摄图像为例，假设该第二拍摄图像中的定位目标的面积大小是第一拍摄图像中的150%，那么特征差异可以记为50%。由于第一位置O和第二位置Y1的位置信息是已知的，因此可以获得两个位置的位置差异，那么该特征差异和位置差异就是存在对应关系的数据。获取足够多的上述对应关系数据，即可实现对位置差异相对于图像特征差异的函数映射关系的拟合。在步骤S205中，上述拟合步骤可以使用例如matlab、maple等专业的数学软件完成。同理，也可以对位置差异和棋盘网格侧边长度的差异的映射关系进行拟合。在本公开另外一些实施例中，上述特征差异还可以为第一拍摄图像和第二拍摄图像中的棋盘网格其中一个侧边的差值或其他可以作为图像特征差异的数值，总之本公开的实现不受图像特征差异的具体类型的限制。

由于在直播过程中，不关心待定位相机150的竖直位置（因为直播间的相机一般设置在相同的预设高度上），因此上述实施例仅在一个X-Y平面（水平平面）内选取第一位置和多个第二位置，所以只能定位X-Y坐标，而不能定位Z坐标。在本公开的一些其他实施例中，还可以在不同的高度上设置多个第二位置，从而实现对待定位相机150Z轴的定位。

在获得上述位置相对于图像特征的函数映射关系后，在步骤S208中，对于任何一个位置未知的待定位相机150都可以通过在获得其拍摄图像的图像特征后，根据映射关系求取其位置信息。

图3示出了示出了根据示例性实施例的用于真实空间内部的相机定位的方法的流程图。该方法是图2所示方法的一种变形，如图3所示，该方法包括以下步骤：

步骤S301，在真实空间的边界面上设置定位目标；

步骤S302，将定位相机设置在第一位置上，并获取第一拍摄图像；

步骤S303，将定位相机先后依次设置在多个第二位置上，并依次获取多个第二拍摄图像以组成第二拍摄图像组；

步骤S304，分别提取第一拍摄图像和第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；

步骤S305，基于每个第二位置和第一位置的位置差异以及对应的每个第二图像特征和第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；

步骤S306，调整待定位相机150的拍摄方向朝向定位目标以获取定位目标的定位拍摄图像；

步骤S307，提取定位拍摄图像的图像特征，得到定位图像特征；以及

步骤S308，基于映射关系以及定位图像特征确定待定位相机150在真实空间内部的位置。

本实施例的方法可以仅使用一个定位相机实现定位。具体地，使该定位相机在上述第一位置上和多个第二位置上依次移动并拍摄，仅通过一台定位相机就能够获得第一拍摄图像和多张第二拍摄图像，因此本实施例的方法无需使用多台相机，从而简化了本公开的方法和系统。本实施例的其他步骤和图2所示的方法相似，这里不再详细描述。

图7示出了示出了根据示例性实施例的用于虚拟拍摄的方法的流程图。该方法包括以下步骤：

步骤S701，在虚拟空间中创建虚拟场景；

步骤S702，在虚拟空间中创建用于拍摄虚拟场景的虚拟相机220；

步骤S703，在真实空间内部设置用于拍摄真实空间内部真实场景的待定位相机150；

步骤S704，上述用于真实空间内部的相机定位的方法；

步骤S705，调节虚拟相机220在虚拟空间中的拍摄位置以与待定位相机150在真实空间内部的位置一致；

步骤S706，获取虚拟相机220拍摄的虚拟场景图像以作为待定位相机150拍摄的真实场景图像的背景图像；

步骤S707，使用第一LED显示板111、第二LED显示板112和第三LED显示板113显示背景图像。

在步骤S701中，使用3D图像处理引擎在虚拟空间中创建虚拟场景。上述3D图像处理引擎包括但不限于，OpenGL、Unreal、Quake等。上述虚拟场景将用于后续的虚拟拍摄图像。

在步骤S702中，虚拟相机220并不是真实的相机，而是在虚拟空间中假象的相机，该虚拟相机220能够拍摄虚拟空间中的虚拟场景。在实际操作中，虚拟相机220可以是上述3D引擎中内置的应用模块。可以在3D引擎中直接调整该虚拟相机220的各项参数，例如：相机位置、拍摄角度、画幅、分辨率、焦距等参数。

在步骤S703，在真实空间内部设置待定位相机150。待定位相机150将用于拍摄真实空间的真实场景。在直播间中，由于不同拍摄角度的需要，一般会设置多台拍摄真实场景的相机，并通过与多台相机相连的控制器切换多台相机的视角。

在步骤S704中，应用上文的相机定位方法对待定位相机150进行定位，得到待定位的真实相机在真实空间中的位置信息，其具体过程参见图1中的方法，这里不再赘述。

在步骤S705中，在3D引擎中调整该虚拟相机220的位置参数，使得虚拟相机220的在虚拟空间中的位置和待定位相机150在真实空间中的位置一致。这样，虚拟相机220和待定位的真实相机就有相匹配的拍摄位置和拍摄角度。

步骤S706为图像合成处理的步骤。为了得到虚拟拍摄的图像，可以获取虚拟相机220拍摄的虚拟场景图像以作为待定位相机150拍摄的真实场景图像的背景图像。换句话说，使用虚拟相机220拍摄到的虚拟场景替换真实相机拍摄到的真实场景的背景部分，并保留真实场景的前景部分（例如，直播间内的主持人、直播台等），从而得到合成的虚拟拍摄的图像。最终得到的图像效果是真实场景的前景部分（主持人、直播台等）存在于以虚拟场景为背景的环境内，并且由于虚拟相机220和真实相机的位置已经实现匹配，所以虚拟的背景画面和真实场景部分的画面的完全吻合，极大地提高了虚拟拍摄的画面真实度。

在步骤S707中，若真实空间为带有LED显示板的直播间，那么还可以经由LED板显示上述虚拟的背景图像，从而实现虚拟直播间的效果。具体地，上述虚拟的背景图像数据可以从运行3D引擎的计算设备发送到用于控制LED显示板显示的渲染服务器中，渲染服务器接收到上述数据后控制LED显示板显示背景图像。

本公开还公开了一种用于真实空间内部的相机定位的系统100，包括：定位目标设置单元110、第一拍摄单元120、第二拍摄单元130、特征提取单元140、计算单元160和待定位相机150。定位目标设置单元110配置成在真实空间的边界面上设置定位目标。第一拍摄单元120配置成在正对定位目标的第一位置上朝向定位目标拍摄以获取定位目标的第一拍摄图像。第二拍摄单元130配置成在除第一位置以外的多个第二位置上朝向定位目标拍摄以获取定位目标的第二拍摄图像组，第二拍摄图像组包括在每个第二位置上拍摄的图像。特征提取单元140连接第一拍摄单元120和第二拍摄单元130，配置成分别提取第一拍摄图像和第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组。计算单元160配置成基于每个第二位置和第一位置的位置差异以及对应的每个第二图像特征和第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系。待定位相机150配置成朝向定位目标以获取定位目标的定位拍摄图像。特征提取单元140还连接待定位相机150，并还配置成提取定位拍摄图像的图像特征，得到定位图像特征。计算单元160，还配置成基于映射关系以及定位图像特征确定待定位相机150在真实空间内部的位置。如无特殊说明，上述连接一般指通信连接，即可以相互传输数据。

在本公开一个实施例中，第一拍摄单元120和第二拍摄单元130包括同一定位相机。定位相机配置成，在第一位置上获取第一拍摄图像；以及先后依次移动到多个第二位置上，并依次获取多个第二拍摄图像以组成第二拍摄图像组。上述定位相机的移动可以通过支撑相机的云台进行控制。

在本公开另一个实施例中，第一拍摄单元120和第二拍摄单元130包括不同的多个定位相机，多个定位相机包括在第一位置的第一定位相机以及分别在多个第二位置上的多个第二定位相机；第一定位相机配置成在第一位置上，获取第一拍摄图像；第二定位相机分别在多个第二位置上各自获取多个第二拍摄图像以组成第二拍摄图像组。

上述真实空间可以为直播间，直播间具有构成其底面的第一LED显示板111，以及构成直播间两个相邻侧壁的分别与第一LED显示板111正交的第二LED显示板112和第三LED显示板113。并且定位目标设置单元110包括第二LED显示板112或第三LED显示板113，并配置成以图象的方式显示定位目标。

这里，用于真实空间内部的相机定位的系统100中的各部件的操作分别与前面描述的步骤S101~S108的操作类似，在此不再赘述。

本公开还公开了一种用于虚拟拍摄的系统200，包括：虚拟场景创建单元210、虚拟相机220、待定位相机150、上述相机定位的系统100、调节单元230和图像处理单元240。虚拟场景创建单元210配置成在虚拟空间中创建虚拟场景。虚拟相机220被创建在虚拟空间中，用于拍摄虚拟场景。待定位相机150设置在真实空间内部，用于拍摄真实空间内部的真实场景。调节单元230配置成调节虚拟相机220在虚拟空间中的拍摄位置以与待定位相机150在真实空间内部的位置一致。图像处理单元240配置成获取虚拟相机220拍摄的虚拟场景图像以作为待定位相机150拍摄的真实场景图像的背景图像。

上述真实空间可以为直播间，系统200还包括：构成直播间底面的第一LED显示板111，以及构成直播间两个相邻侧壁的分别与第一LED显示板111正交的第二LED显示板112和第三LED显示板113；第一LED显示板111、第二LED显示板112和第三LED，还配置成显示背景图像。

这里，用于虚拟拍摄的系统200中的各部件的操作分别与前面描述的步骤S701~S707的操作类似，在此不再赘述。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

参考图10，现将描述可以作为本公开的服务器或客户端的电子设备1000的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器（ROM）1002中的计算机程序或者从存储单元1008加载到随机访问存储器（RAM）1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出（I/O）接口1005也连接至总线1004。上述计算单元1001可以和图8中的计算单元106为同一单元，也可以是两个不同的单元。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1008可以包括但不限于磁盘、光盘。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元160、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如用于真实空间内部的相机定位的方法。例如，在一些实施例中，用于真实空间内部的相机定位的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的用于真实空间内部的相机定位的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行用于真实空间内部的相机定位的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (18)

1.一种用于真实空间内部的相机定位的方法，包括：

在所述真实空间的边界面上设置定位目标；

在正对所述定位目标的第一位置上朝向所述定位目标拍摄以获取所述定位目标的第一拍摄图像；

在除所述第一位置以外的多个第二位置上朝向所述定位目标拍摄以获取所述定位目标的第二拍摄图像组，所述第二拍摄图像组包括在每个所述第二位置上拍摄的图像；

分别提取所述第一拍摄图像和所述第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；

基于每个所述第二位置和所述第一位置的位置差异以及对应的每个所述第二图像特征和所述第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；

调整待定位相机的拍摄方向朝向所述定位目标以获取所述定位目标的定位拍摄图像；

提取所述定位拍摄图像的图像特征，得到定位图像特征；以及

基于所述映射关系以及所述定位图像特征确定所述待定位相机在所述真实空间内部的位置。

2.如权利要求1所述的方法，其中，所述真实空间内部包括用于定位所述待定位相机的多个定位相机，多个所述定位相机包括位于所述第一位置的第一定位相机和分别位于多个所述第二位置上的多个第二定位相机，并且在正对所述定位目标的第一位置上朝向所述定位目标拍摄以获取所述定位目标的第一拍摄图像还包括：

通过所述第一定位相机获取所述第一拍摄图像；并且

在除所述第一位置以外的多个第二位置上朝向所述定位目标拍摄以获取所述定位目标的第二拍摄图像组还包括，

通过多个所述第二定位相机获取所述第二拍摄图像组。

3. 如权利要求1所述的方法，其中，所述真实空间内部包括用于定位所述待定位相机的一个定位相机，并且在正对所述定位目标的第一位置上朝向所述定位目标拍摄以获取所述定位目标的第一拍摄图像还包括：

将所述定位相机设置在所述第一位置上，并获取所述第一拍摄图像；并且

在除所述第一位置以外的多个第二位置上朝向所述定位目标拍摄以获取所述定位目标的第二拍摄图像组还包括，

将所述定位相机先后依次设置在多个所述第二位置上，并依次获取多个所述第二拍摄图像以组成所述第二拍摄图像组。

4.如权利要求1至3中任一项所述的方法，其中，所述真实空间为直播间，所述直播间具有构成其底面的第一LED显示板，以及构成所述直播间两个相邻侧壁的分别与所述第一LED显示板正交的第二LED显示板和第三LED显示板，所述定位目标以图象的方式显示在所述第二LED显示板或所述第三LED显示板上。

5.如权利要求4所述的方法，其中，所述定位目标为矩形的棋盘图像，所述棋盘图像包括多个网格单元，并且所述图像特征包括拍摄图像中每一个网格单元的特征。

6.如权利要求5所述的方法，其中，所述棋盘图像显示在所述第二LED显示板或所述第三LED显示板的中央。

7.如权利要求6所述的方法，其中，多个所述第二位置与所述第一位置在同一预设水平高度上，并且所述多个第二位置还包括在第一直线上的多个位置以及在第二直线上的多个位置，其中所述第一直线为经过所述第一位置所在的点并且平行于所述第二LED显示板的直线，所述第二直线为经过所述第一位置所在的点并且平行于所述第三LED显示板的直线。

8.一种用于虚拟拍摄的方法，包括：

在虚拟空间中创建虚拟场景；

在所述虚拟空间中创建用于拍摄所述虚拟场景的虚拟相机；

在真实空间内部设置用于拍摄所述真实空间内部真实场景的待定位相机；

根据权利要求1至7中任一项所述的用于真实空间内部的相机定位的方法；

调节所述虚拟相机在所述虚拟空间中的拍摄位置以与所述待定位相机在所述真实空间内部的位置一致；以及

获取所述虚拟相机拍摄的虚拟场景图像以作为所述待定位相机拍摄的真实场景图像的背景图像。

9.如权利要求8所述的方法，其中，所述真实空间为直播间，所述直播间具有构成其底面的第一LED显示板，以及构成所述直播间两个相邻侧壁的分别与所述第一LED显示板正交的第二LED显示板和第三LED显示板，并且在获取所述虚拟相机拍摄的所述虚拟场景的图像以作为虚拟拍摄的背景图像之后还包括：

使用所述第一LED显示板、所述第二LED显示板和所述第三LED显示板显示所述背景图像。

10.一种用于真实空间内部的相机定位的系统，包括：

定位目标设置单元，配置成在所述真实空间的边界面上设置定位目标；

第一拍摄单元，配置成在正对所述定位目标的第一位置上朝向所述定位目标拍摄以获取所述定位目标的第一拍摄图像；

第二拍摄单元，配置成在除所述第一位置以外的多个第二位置上朝向所述定位目标拍摄以获取所述定位目标的第二拍摄图像组，所述第二拍摄图像组包括在每个所述第二位置上拍摄的图像；

特征提取单元，连接所述第一拍摄单元和所述第二拍摄单元，配置成分别提取所述第一拍摄图像和所述第二拍摄图像组的图像特征，得到第一图像特征和第二图像特征组；

计算单元，配置成基于每个所述第二位置和所述第一位置的位置差异以及对应的每个所述第二图像特征和所述第一图像特征的特征差异之间的关系，确定拍摄位置和在该拍摄位置所拍摄的定位目标的图像的图像特征的映射关系；和

待定位相机，配置成朝向所述定位目标以获取所述定位目标的定位拍摄图像；其中

所述特征提取单元，连接所述待定位相机，并还配置成提取所述定位拍摄图像的图像特征，得到定位图像特征；

所述计算单元，还配置成基于所述映射关系以及所述定位图像特征确定所述待定位相机在所述真实空间内部的位置。

11.如权利要求10所述的系统，其中

所述第一拍摄单元包括位于所述第一位置的第一定位相机，所述第一定位相机配置成获取所述第一拍摄图像；

所述第二拍摄单元包括分别位于多个所述第二位置上的多个第二定位相机，所述多个第二定位相机配置成获取所述第二拍摄图像组。

12.如权利要求10所述的系统，其中

所述第一拍摄单元和所述第二拍摄单元包括同一定位相机；

所述定位相机配置成，在所述第一位置获取所述第一拍摄图像；以及先后依次移动到多个所述第二位置上，并依次获取多个所述第二拍摄图像以组成所述第二拍摄图像组。

13.如权利要求10所述的系统，其中，所述真实空间为直播间，所述直播间具有构成其底面的第一LED显示板，以及构成所述直播间两个相邻侧壁的分别与所述第一LED显示板正交的第二LED显示板和第三LED显示板，并且

所述定位目标设置单元包括第二LED显示板或第三LED显示板，并配置成以图象的方式显示所述定位目标。

14.一种用于虚拟拍摄的系统，包括：

虚拟场景创建单元，配置成在虚拟空间中创建虚拟场景；

虚拟相机，被创建在所述虚拟空间中，用于拍摄所述虚拟场景；

根据权利要求10至13中任一项所述的用于真实空间内部的相机定位的系统，其中待定位相机还配置成用于拍摄真实空间内部的真实场景；

调节单元，配置成调节所述虚拟相机在所述虚拟空间中的拍摄位置以与所述待定位相机在所述真实空间内部的位置一致；以及

图像处理单元，配置成获取所述虚拟相机拍摄的虚拟场景图像以作为所述待定位相机拍摄的真实场景图像的背景图像。

15.如权利要求14所述的系统，其中所述真实空间为直播间，所述系统还包括：构成所述直播间底面的第一LED显示板，以及构成所述直播间两个相邻侧壁的分别与所述第一LED显示板正交的第二LED显示板和第三LED显示板；

所述第一LED显示板、所述第二LED显示板和所述第三LED，还配置成显示所述背景图像。

16.一种计算机设备，包括：

存储器、处理器以及存储在所述存储器上的计算机程序，

其中，所述处理器被配置为执行所述计算机程序以实现权利要求1至9中任一项所述方法的步骤。

17.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。

18.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述方法的步骤。

Images