CN116437171A - 数据处理系统、数据处理方法和计算机可读存储介质 - Google Patents

Abstract

本发明的实施例提供一种数据处理系统、数据处理方法和计算机可读存储介质。所述方法包括：从定位装置接收定位数据，其中所述定位数据对应于相机装置；从镜头编码器接收所述相机装置的镜头参数；将所述定位数据和所述镜头参数封装在至少一个数据包中；以及通过网络接口将所述至少一个数据包发送到数据处理装置。

Description

数据处理系统、数据处理方法和计算机可读存储介质

技术领域

本发明涉及数据处理方法和计算机可读存储介质。

背景技术

当内容创作者利用相机拍摄用于虚拟制作(例如，虚拟现实内容的制作)的内容时，至关重要的是对相机和/或其他要被追踪的对象准确地进行追踪。传统上，内容创作者和/或相关人员需要花费数小时来为相机安装追踪装置，这减慢了进度并增加了创作虚拟制作(virtual production)的难度。

发明内容

因此，本发明涉及可用于解决上述技术问题的数据处理系统、数据处理方法和计算机可读存储介质。

本发明的实施例提供一种数据处理系统，所述数据处理系统包括信号处理装置。所述信号处理装置执行以下操作：从定位装置接收定位数据，其中所述定位数据对应于相机装置；从镜头编码器接收所述相机装置的镜头参数；将所述定位数据和所述镜头参数封装在至少一个数据包中；以及通过网络接口将所述至少一个数据包发送到数据处理装置。

本发明的实施例提供一种数据处理方法，所述数据处理方法包括：由信号处理装置从定位装置接收定位数据，其中所述定位数据对应于相机装置；由所述信号处理装置从镜头编码器接收所述相机装置的镜头参数；由所述信号处理装置将所述定位数据和所述镜头参数封装在至少一个数据包中；以及由所述信号处理装置通过网络接口将所述至少一个数据包发送到数据处理装置。

本发明的实施例提供一种计算机可读存储介质，所述计算机可读存储介质记录可执行计算机程序，所述可执行计算机程序由数据处理系统加载以执行以下步骤：从定位装置接收定位数据，其中所述定位数据对应于相机装置；从镜头编码器接收所述相机装置的镜头参数；将所述定位数据和所述镜头参数封装在至少一个数据包中；以及通过网络接口将所述至少一个数据包发送到数据处理装置。

附图说明

包括附图以提供对本发明的进一步理解，且附图被并入本说明书中并构成本说明书的一部分。附图示出本发明的实施例且与说明一同用于阐释本发明的原理。

图1示出根据本发明实施例的数据处理系统的示意图。

图2示出根据本发明实施例的数据处理方法的流程图。

图3示出根据本发明实施例的数据处理方法的流程图。

图4示出根据本发明的图1的数据处理系统。

图5示出根据本发明实施例的用于确定坐标的方法的流程图。

图6示出根据本发明实施例的由数据处理装置提供的用户接口。

[符号的说明]

10：数据处理系统

11、11a、11b：信号处理装置

12、12a、12b：定位装置

13：镜头编码器

14：相机装置

15：数据处理装置

16：终端装置

17：时钟源

40：数据处理系统

111：第一数据传输端口

112：第二数据传输端口

113：第一处理器

114：网络接口

151：第一网络接口

152：第二网络接口

153：第二处理器

610：用户接口

612：重新定中心功能

614a、614b、614c：图标

CS：参考时钟信号

L1：镜头参数

LC：镜头控制信号

P1：定位数据

P11：第一定位数据

P12：第二定位数据

PA1：第一数据包

PA2：第二数据包

PO：相机姿态

S1：数据信号

S210、S220、S230、S240、S310、S320、S330、S340、S350、S510、S520：步骤

TS：时间戳

具体实施方式

现将详细参照本发明的优选实施例，所述优选实施例的实例在附图中示出。在附图及说明中尽可能使用相同的参考编号指代相同或类似的部件。

参见图1，其示出根据本发明实施例的数据处理系统的示意图。在图1中，数据处理系统10可包括信号处理装置11、定位装置12、镜头编码器13、相机装置14、数据处理装置15、终端装置16和时钟源17。

在本发明的实施例中，相机装置14可用于拍摄虚拟制作的内容。举例来说，相机装置14可被布置在摄影棚中，其中所述摄影棚可被布置有例如绿幕和/或用于拍摄的其他设备(例如，光源)。在一个实施例中，男演员/女演员可站在绿幕前面，并且相机装置14可用于拍摄男演员/女演员在绿幕前面的图像。之后，对应于男演员/女演员的图像区可被提取并与虚拟背景结合，作为虚拟制作的视觉内容，但本发明不限于此。

在一个实施例中，定位装置12可通过例如螺钉或其他适配结构(固定地)安装在相机装置14上。在一个实施例中，定位装置12可用于检测定位装置12的定位数据P1。由于定位装置12(固定地)安装在相机装置14上，因此定位装置12可响应于相机装置14的移动而移动。在此种情形中，定位装置12的定位数据P1可被视为相机装置14的定位数据P1。

在一些实施例中，相机装置14的定位数据P1可包括相机装置14的平移分量和/或旋转分量(例如，6个自由度)的原始测量数据，但本发明不限于此。在一个实施例中，定位装置12可为附接到相机装置14的追踪器，并且可经由例如由外向内追踪机制或由内向外机制来检测定位装置12和/或相机装置14的定位数据P1。在由外向内追踪的情况下，环境可被设置有发射信标的几个基站，用于追踪器据以检测定位装置12和/或相机装置14的定位数据P1。在其他实施例中，定位装置12可使用任何现有的定位机制来确定定位装置12和/或相机装置14的定位数据P1。

在一个实施例中，镜头编码器13可设置在相机装置14上，并且连接到相机装置14(的镜头)，用于测量/读取/检测相机装置14的镜头的镜头参数L1。

在一个实施例中，由镜头编码器13获得的镜头参数L1可包括至少一个计数值，所述至少一个计数值与相机装置14的镜头的光圈、焦点、焦距中的至少一个对应。在一个实施例中，所述计数值可由例如终端装置16映射到相机装置14的镜头的光圈、焦点和/或焦距的实际设置值，但本发明不限于此。

在图1中，信号处理装置11可包括第一数据传输端口111、第二数据传输端口112、第一处理器113和网络接口114。第一数据传输端口111耦接到定位装置12，并接收来自定位装置12的定位数据P1。第二数据传输端口112耦接到镜头编码器13，并从镜头编码器13接收相机装置14的镜头参数L1。

在其他实施例中，信号处理装置11可包括更多的数据传输端口，用于与其他定位装置和/或镜头编码器连接。举例来说，在一个实施例中，信号处理装置11可包括两个附加的数据传输端口，用于连接两个额外的镜头编码器并接收由所述两个额外的镜头编码器测量的相应镜头参数，但本发明不限于此。

在一些实施例中，第一数据传输端口111、第二数据传输端口112(以及其他数据传输端口)可为即插即用端口/接口，例如通用串行总线(USB)端口/接口，但本发明不限于此。

第一处理器113耦接到第一数据传输端口111和第二数据传输端口112。在各种实施例中，第一处理器113可为例如通用处理器、专用处理器、常规处理器、数字信号处理器(digital signal processor，DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)电路、任何其他类型的集成电路(IC)、状态机及类似处理器。

在一个实施例中，第一处理器113将定位数据P1和镜头参数L1封装在至少一个数据包中。在一个实施例中，所述至少一个数据包可包括含有镜头参数L1的第一数据包PA1和含有定位数据P1的第二数据包PA2，但本发明不限于此。

在图1中，网络接口114耦接到第一处理器113，并且将所述至少一个数据包发送到数据处理装置15，用于进一步处理。在本发明的实施例中，网络接口114(以及在本发明中考虑的其他网络接口)可为例如以太网接口，但本发明不限于此。

在一个实施例中，第一数据包PA1可为用户数据报协议(User DatagramProtocol，UDP)包，并且第一处理器113可控制网络接口114通过UDP协议来发送第一数据包PA1。此外，第二数据包PA2可为传输控制协议/互联网协议(TCP/IP)包，且第一处理器113可控制网络接口114通过通用串行总线/IP(USB/IP)协议来发送第二数据包PA2，但本发明不限于此。

在其他实施例中，第一数据包PA1和第二数据包PA2可被实施为与设计者的期望协议对应的包。

在图1中，数据处理装置15包括第一网络接口151、第二网络接口152和第二处理器153。

在一个实施例中，第二处理器153耦接到第一网络接口151和第二网络接口152，并且第二处理器153的可能实施方式可参照对第一处理器113的说明，但本发明不限于此。

在一个实施例中，第一网络接口151耦接到信号处理装置11的网络接口114，并从信号处理装置11接收至少一个数据包(例如，第一数据包PA1和第二数据包PA2)。在一个实施例中，第二处理器153可从所述至少一个数据包中取得定位数据P1和镜头参数L1。举例来说，第二处理器153可从第一数据包PA1中取得镜头参数L1，并从第二数据包PA2中取得定位数据P1，但本发明不限于此。

在一个实施例中，第二处理器153基于定位数据P1来确定相机装置14的相机姿态PO。在定位数据P1包括相机装置14的平移分量和/或旋转分量的原始测量数据的实施例中，第二处理器153可对定位数据P1进行分析/处理，并且据以将相机装置14的实际平移分量和/或旋转分量确定为相机姿态PO。从另一个角度来看，信号处理装置11将相机姿态PO的原始测量数据(例如，由定位装置12检测到的定位数据P1)转发到数据处理装置15，并且数据处理装置15据以通过对原始测量数据进行分析来确定相机姿态PO，但本发明不限于此。

在一个实施例中，第二处理器153从耦接到相机装置14、数据处理装置15和终端装置16的时钟源17接收参考时钟信号CS。在一个实施例中，参考时钟信号CS可为用于相机装置14、数据处理装置15和终端装置16执行同步的参考信号。在一个实施例中，参考时钟信号CS可为包括多个时钟脉冲的脉冲串(pulse train)，其中所述时钟脉冲可在特定频率下提供。在此种情形中，相邻时钟脉冲之间的持续时间可为特定频率的倒数。

在一个实施例中，第二处理器153可确定对应于相机姿态PO的时间戳TS。举例来说，第二处理器153可响应于所述时钟脉冲中的一个来确定相机姿态PO和时间戳TS，其中时间戳TS对应于所述时钟脉冲中的所述一个的时间点。在一个实施例中，第二处理器153可使用所述时钟脉冲中的所述一个的时间点作为对应于相机姿态PO的时间戳TS。也就是说，第二处理器153遵循参考时钟信号CS的时序来确定相机姿态PO和相应的时间戳TS。

在一个实施例中，第二处理器153将相机姿态PO、时间戳TS和镜头参数L1封装在数据信号S1中，并经由第二网络接口152来发送数据信号S1。

在图1中，耦接到数据处理装置15的终端装置16可为用于呈现虚拟制作的视觉内容的任何智能装置和/或计算机装置。在一个实施例中，终端装置16可为内容创作者用于编辑虚拟制作的视觉内容的计算机，但本发明不限于此。

在一个实施例中，终端装置16可从数据处理装置15接收数据信号S1。因此，终端装置16可从数据信号S1中知晓在时间戳TS处的镜头参数L1和相机姿态PO的状态。此外，由相机装置14拍摄的每一图像可由相机装置14基于参考时钟信号CS用相应的时间戳进行标记，并且所拍摄的具有相应时间戳的图像将被提供给终端装置16。在此种情形中，终端装置16可基于每一图像的时间戳和每一相机姿态来知晓相机装置14在拍摄图像时的相机姿态。

举例来说，当终端装置16确定由相机装置14拍摄的图像中的特定图像具有与时间戳TS相同的时间戳时，终端装置16可确定相机姿态PO是相机装置14在拍摄所述特定图像时的相机姿态。

在一个实施例中，终端装置16可运行/呈现虚拟场景(例如，虚拟现实(virtualreality，VR)场景)。在此种情形中，当相机装置14用于拍摄一些真实对象(例如，男演员/女演员)作为所述特定图像时，终端装置16可从所述特定图像中裁剪/分割出与所述真实对象对应的图像区，并将所裁剪的图像区与虚拟场景进行结合以产生虚拟制作视频。在所述实施例中，虚拟场景包括对应于相机装置14的虚拟相机，并且在拍摄特定图像时，虚拟场景中的虚拟相机的姿态需要参考相机装置14的相机姿态PO(例如，旋转和/或平移)。由于由本发明的实施例提供的解决方案可获得相机装置14的准确的相机姿态PO，因此裁剪后的图像区可准确地与虚拟场景相结合，从而提高虚拟制作的质量。

在一个实施例中，信号处理装置11还可接收镜头控制信号LC，并据以控制镜头编码器13来调整相机装置14的镜头设置。在一个实施例中，相机装置14的镜头设置可包括例如相机装置14的镜头的光圈、焦点和/或焦距，并且用户可通过例如操作终端装置16的控制接口(例如，软件/硬件)来确定镜头设置。在此种情形中，终端装置16可根据用户的设置来控制数据处理装置15向信号处理装置11发送镜头控制信号LC。因此，信号处理装置11可控制镜头编码器13来调整相机装置14的镜头设置以对应于用户的要求，但本发明不限于此。

参见图2，其示出根据本发明实施例的数据处理方法的流程图。本实施例的方法可由图1中的信号处理装置11来执行，且以下将利用图1所示的组件来描述图2中每一步骤的细节。

在步骤S210中，信号处理装置11从定位装置12接收定位数据P1。在步骤S220中，信号处理装置11从镜头编码器13接收相机装置14的镜头参数L1。在步骤S230中，信号处理装置11将定位数据P1和镜头参数L1封装在至少一个数据包(例如，第一数据包PA1和第二数据包PA2)中。在步骤S240中，信号处理装置11发送所述至少一个数据包。图2中的步骤的细节可参考上文的说明，在此不再赘述。

参见图3，其示出根据本发明实施例的数据处理方法的流程图。本实施例的方法可由图1中的数据处理装置15来执行，且以下将利用图1所示的组件来描述图3中每一步骤的细节。

在步骤S310中，数据处理装置15从信号处理装置11接收所述至少一个数据包，并从所述至少一个数据包中取得定位数据P1和镜头参数L1。在步骤S320中，数据处理装置15基于定位数据P1来确定相机装置14的相机姿态PO。

在步骤S330中，数据处理装置15接收参考时钟信号CS，并据以确定对应于相机姿态PO的时间戳TS。在步骤S340中，数据处理装置15将相机姿态PO、时间戳TS和镜头参数L1封装在数据信号S1中。在步骤S350中，数据处理装置15发送数据信号S1。图3中的步骤的细节可参考上文的说明，在此不再赘述。

由上文可理解，本发明的实施例提供一种对相机装置在拍摄内容时的相机姿态进行准确追踪的简单、有效的解决方案。在本发明的实施例中，用户(例如，内容创作者)只需要将定位装置12和镜头编码器13安装到相机装置14上，且信号处理装置11与数据处理装置15可协作以便于终端装置16使所拍摄的图像与相机装置14的相机姿态同步。因此，可提高创作虚拟制作的效率。

此外，本发明的实施例还提供一种确定坐标的方法，所述方法可由本发明的数据处理系统进行，且将在下文中介绍其细节。

参见图4，其示出根据本发明的图1的数据处理系统。在图4中，数据处理系统40可包括信号处理装置11a、11b、定位装置12a、12b和数据处理装置15。在所述实施例中，信号处理装置11a和11b中的每一个可为与图1中的信号处理装置11相同类型的装置。定位装置12a和12b中的每一个可为与图1中的定位装置12相同类型的装置，并且图4中的数据处理装置15可为与图1中的数据处理装置15相同的装置。此外，数据处理系统40还可包括图1中的其他装置，例如镜头编码器13、终端装置16、时钟源17，但本发明不限于此。

在本发明的实施例中，类似于图1中将信号处理装置11和定位装置12安装在相机装置14上的情形，信号处理装置11a和定位装置12a可安装在相应的相机装置(图中未示出)或其他待追踪的物体/位置上。同样，信号处理装置11b和定位装置12b可安装在相应的相机装置(图中未示出)或其他待追踪的物体/位置上。

此外，尽管图4中仅示出信号处理装置与定位装置的两种组合(每种组合至少包括一个信号处理装置和一个定位装置)，但数据处理系统40可包括信号处理装置与定位装置的更多组合，但本发明不限于此。此外，为与信号处理装置11a、11b(以及其他额外的信号处理装置)进行连接，数据处理装置15可设置有相应数量的第一网络接口151。举例来说，如果数据处理装置15需要能够与多达N个(N是正整数)信号处理装置进行连接，则数据处理装置15可设计有N个第一网络接口151，但本发明不限于此。

在一些实施例中，数据处理装置15可基于来自定位装置12a、12b的定位数据来确定与定位装置12a、12b对应的相机装置的相机姿态。数据处理装置15可将所确定的相机装置的相机姿态发送到终端装置16，使终端装置16制作相应的虚拟制作(例如，将与真实对象对应的所裁剪的图像区与所呈现的虚拟场景进行结合)，但本发明不限于此。

参见图5，其示出根据本发明实施例的用于确定坐标的方法的流程图。本实施例的方法可由图4中的数据处理装置15来执行，且以下将利用图4所示的组件来描述图5中每一步骤的细节。

在步骤S510中，数据处理装置15接收多个定位数据，其中所述多个定位数据对应于现实世界中多个定位装置的装置位置，且所述定位装置包括第一定位装置和第二定位装置。

为更好地阐释本发明的概念，定位装置12a和12b将分别被假设为第一定位装置和第二定位装置，但本发明不限于此。

在图4中，由数据处理装置15接收的所述多个定位数据可包括对应于定位装置12a的第一定位数据P11和对应于定位装置12b的第二定位数据P12。在所述实施例中，数据处理装置15可从连接到定位装置12a的信号处理装置11a接收第一定位数据P11，并且从连接到定位装置12b的信号处理装置11b接收第二定位数据P12。具体来说，信号处理装置11a可从定位装置12a接收定位数据P11并将定位数据P11发送到数据处理装置15，且信号处理装置11b可从定位装置12b接收定位数据P12并将定位数据P12发送到数据处理装置15。

在其他实施例中，数据处理装置15可直接从定位装置12a和12b中的每一个接收定位数据P11和P12，但本发明不限于此。

如在图1的实施例中所描述，定位数据P11可对应于上面安装有信号处理装置11a和定位装置12a的第一相机装置的第一相机姿态，并且定位数据P12可对应于上面安装有信号处理装置11b和定位装置12b的第二相机装置的第二相机姿态，但本发明不限于此。

在一个实施例中，定位装置12a和12b可通过由外向内追踪机制或由内向外追踪机制(例如，同步定位和地图构建(simultaneous localization and mapping，SLAM))来获得定位数据P11和P12。在由外向内追踪的情况下，定位数据P11和P12可被理解为表征定位装置12a和12b相对于例如基站的位置，但本发明不限于此。

在一个实施例中，数据处理装置15可确定定位装置12a和12b在现实世界中的装置位置。在定位数据P11包括定位装置12a的平移分量和/或旋转分量的原始测量数据的实施例中，数据处理装置15可对定位数据P11进行分析/处理，并据以确定定位装置12a的实际平移分量和/或旋转分量，这可用于确定定位装置12a在现实世界中的装置位置。类似地，在定位数据P12包括定位装置12b的平移分量和/或旋转分量的原始测量数据的实施例中，数据处理装置15可对定位数据P12进行分析/处理，并据以确定定位装置12b的实际平移分量和/或旋转分量，这可用于确定定位装置12b在现实世界中的装置位置。

在步骤S520中，响应于确定将第一定位装置(例如，定位装置12a)选为虚拟世界的坐标系的参考点，数据处理装置15基于第一定位装置的装置位置与第二定位装置的装置位置之间的相对位置来确定第二定位装置(例如，定位装置12b)在虚拟世界的坐标系中的坐标。

为更好地阐释本发明的概念，虚拟世界的坐标系的参考点将被假设为坐标系的原点。在其他实施例中，参考点可为坐标系中任何其他期望的点。

举例来说，假设默认参考点是基站中的一个的位置(即，被视为参考点的基站的位置可为(0，0，0))，并且定位装置12a和12b的装置位置在现实世界中分别为(x1，y1，z1)和(x2，y2，z2)。在此种情形中，当定位装置12a被选为虚拟世界的坐标系的原点时，定位装置12a在虚拟世界的坐标系中的坐标可为例如(0，0，0)。基于定位装置12a和12b的装置位置之间的相对位置，数据处理装置15可将定位装置12b在虚拟世界的坐标系中的坐标确定为例如(x2-x1，y2-y1，z2-z1)，但本发明不限于此。

因此，数据处理装置15可容易地使用定位装置12a、12b中的每一个与现实世界中的基站之间的相对位置来确定定位装置12a、12b在虚拟世界中的坐标，这增加了创作虚拟制作的便利性。

在一个实施例中，数据处理装置15还可将定位装置12a、12b的坐标提供给图1中的终端装置16，使得终端装置16可使用这些信息来创作具有更好质量的视觉内容，但本发明不限于此。

此外，通过使用在本发明中介绍的解决方案，即使基站被移动，也可容易地确定定位装置12a、12b在虚拟世界中的坐标。具体来说，用户可能基于特定的要求来改变摄影棚中基站的位置。在此种情形中，用户可简单地将定位装置12a确定为参考点，并且即使基站已经移动到新的位置，也可适当地确定定位装置12a和12b在虚拟世界中的坐标。

举例来说，在用于由外向内追踪的基站被移动之后，定位装置12a和12b的装置位置可相对于基站分别变为(x1’，y1’，z1’)和(x2’，y2’，z2’)。然而，当再次将定位装置12a选为参考点时，定位装置12a和12b在虚拟世界中的坐标将分别被确定为(0，0，0)和(x2’-x1’，y2’-y1’，z2’-z1’)，其中(x2’-x1’，y2’-y1’，z2’-z1’)将与(x2-x1，y2-y1，z2-z1)相同。因此，可提高创作虚拟制作的效率。

在一个实施例中，响应于确定将第二定位装置(例如，定位装置12b)选为虚拟世界的坐标系的参考点，数据处理装置15还可基于第一定位装置的装置位置与第二定位装置的装置位置之间的相对位置来确定第一定位装置(例如，定位装置12a)在虚拟世界的坐标系中的坐标。

在此种情形中，当定位装置12b被选为虚拟世界的坐标系的原点时，定位装置12b在虚拟世界的坐标系中的坐标可为例如(0，0，0)。基于定位装置12a和12b的装置位置之间的相对位置，数据处理装置15可将定位装置12b在虚拟世界的坐标系中的坐标确定为例如(x1-x2，y1-y2，z1-z2)，但本发明不限于此。

也就是说，在定位装置12b被用作原点之后，数据处理装置15可改为使用定位装置12b作为虚拟世界的坐标系的原点，并且定位装置12a、12b的坐标将被据以更新。

在数据处理系统40包括其他定位装置的实施例中，数据处理装置15可基于被选为参考点的定位装置的装置位置与其他定位装置中的每一个的装置位置之间的相对位置来确定其他定位装置中的每一个在虚拟世界的坐标系中的坐标，但本发明不限于此。

参见图6，其示出根据本发明实施例的由数据处理装置15提供的用户接口。在图6中，数据处理装置15可提供用户接口610，其中用户接口610示出重新定中心(re-center)功能612。在所述实施例中，用户可使用重新定中心功能612来选择定位装置中的期望一个作为虚拟世界的坐标系的参考点。

在一个实施例中，响应于确定重新定中心功能612被触发，数据处理装置15可在用户接口610中提供多个检测到的定位装置。在一个实施例中，数据处理装置15可通过检查从定位装置接收的封装数据/姿态数据中的定位装置信息来检测定位装置，但本发明不限于此。在一个实施例中，用户接口610可仅示出数据处理装置15当前检测到的定位装置。

在图6中，假设图标614a到614c分别对应于定位装置12a、12b和由数据处理装置15检测到的另一个定位装置。在此种情形中，用户可选择期望的定位装置作为虚拟世界的坐标系的参考点。

在一个实施例中，假设使用者选择了对应于定位装置12a的图标614a，数据处理装置15可基于上文中的说明据以执行步骤S520，但本发明不限于此。

本发明还提供用于执行所述数据处理方法和/或用于确定坐标的方法的计算机可读存储介质。所述计算机可读存储介质由在其中实施的多个程序指令(例如，设定程序指令和部署程序指令)构成。这些程序指令可被加载到数据处理装置和信号处理装置中并由所述数据处理装置和信号处理装置执行，从而执行上述数据处理方法和/或用于确定坐标的方法以及数据处理装置和信号处理装置的功能。

综上所述，本发明的实施例提供一种对相机装置在拍摄内容时的相机姿态进行准确追踪的简单、有效的解决方案。在本发明的实施例中，用户(例如，内容创作者)只需要将定位装置和/或镜头编码器安装到相机装置上，且信号处理装置与数据处理装置可协作以便于终端装置使所拍摄的图像与相机装置的相机姿态同步。因此，终端装置可基于相机装置的相机姿态更准确地将所裁剪的图像区(例如，与例如男演员/女演员等真实对象对应的图像区)与所呈现的虚拟场景进行结合，这提高了创作虚拟制作的质量和效率。

此外，本发明的实施例还提供一种用于在定位装置中的一个被选为虚拟世界的参考点时，确定定位装置在虚拟世界的坐标系中的坐标的解决方案。因此，本发明的实施例能够容易地使用定位装置中的每一个与现实世界中的基站之间的相对位置来确定定位装置在虚拟世界中的坐标，这增加了创作虚拟制作的便利性。

对于所属领域中的技术人员来说将显而易见的是，可在不背离本发明的范围或精神的条件下对本发明的结构做出各种修改及变化。综上所述，本发明旨在涵盖落入以下权利要求书及其等效内容的范围内的本发明的修改及变化形式。

Claims (19)

1.一种数据处理系统，其特征在于，包括：

信号处理装置，经配置以执行：

从定位装置接收定位数据，其中所述定位数据对应于相机装置；

从镜头编码器接收所述相机装置的镜头参数；

将所述定位数据和所述镜头参数封装在至少一个数据包中；以及

通过网络接口将所述至少一个数据包发送到数据处理装置。

2.根据权利要求1所述的系统，其中所述信号处理装置包括：

第一数据传输端口，耦接到所述定位装置，并接收来自所述定位装置的所述定位数据；

第二数据传输端口，耦接到所述镜头编码器，并从所述镜头编码器接收所述相机装置的所述镜头参数，其中所述第一数据传输端口和所述第二数据传输端口为即插即用端口；

第一处理器，耦接到所述第一数据传输端口和所述第二数据传输端口，并将所述定位数据和所述镜头参数封装在所述至少一个数据包中；以及

所述网络接口，耦接到所述第一处理器，并且发送所述至少一个数据包。

3.根据权利要求1所述的系统，其中所述至少一个数据包包括含有所述镜头参数的第一数据包和含有所述定位数据的第二数据包。

4.根据权利要求3所述的系统，其中所述第一数据包是用户数据报协议包，并且所述第一处理器控制所述网络接口经由用户数据报协议来发送所述第一数据包。

5.根据权利要求3所述的系统，其中所述第二数据包是传输控制协议/互联网协议包，并且所述第一处理器控制所述网络接口通过通用串行总线/互联网协议来发送所述第二数据包。

6.根据权利要求1所述的系统，还包括：

所述数据处理装置，经配置以执行以下操作：

从所述信号处理装置接收所述至少一个数据包，并从所述至少一个数据包中取得所述定位数据和所述镜头参数；

基于所述定位数据来确定所述相机装置的相机姿态；

接收参考时钟信号，并据以确定对应于所述相机姿态的时间戳；

将所述相机姿态、所述时间戳和所述镜头参数封装在数据信号中；以及

发送所述数据信号。

7.根据权利要求6所述的系统，其中所述参考时钟信号包括多个时钟脉冲，并且所述数据处理装置执行以下操作：

响应于所述时钟脉冲中的一个来确定所述相机姿态和所述时间戳，其中所述时间戳对应于所述时钟脉冲中的所述一个的时间点。

8.根据权利要求6所述的系统，其中所述数据处理装置包括：

第一网络接口，耦接到所述信号处理装置，并从所述信号处理装置接收所述至少一个数据包；

第二处理器，耦接到所述第一网络接口，并且确定所述相机姿态和所述时间戳，并且将所述相机姿态、所述时间戳和所述镜头参数封装在所述数据信号中；以及

第二网络接口，耦接到所述第二处理器并发送所述数据信号。

9.根据权利要求1所述的系统，其中所述镜头参数包括至少一个计数值，所述至少一个计数值对应于所述相机装置的光圈、焦点、焦距中的至少一个。

10.根据权利要求1所述的系统，其中所述信号处理装置还执行：

接收镜头控制信号，并据以控制所述镜头编码器来调整所述相机装置的镜头设置。

11.一种数据处理方法，其特征在于，包括：

由信号处理装置从定位装置接收定位数据，其中所述定位数据对应于相机装置；

由所述信号处理装置从镜头编码器接收所述相机装置的镜头参数；

由所述信号处理装置将所述定位数据和所述镜头参数封装在至少一个数据包中；以及

由所述信号处理装置通过网络接口将所述至少一个数据包发送到数据处理装置。

12.根据权利要求11所述的方法，其中所述至少一个数据包包括含有所述镜头参数的第一数据包和含有所述定位数据的第二数据包。

13.根据权利要求12所述的方法，其中所述第一数据包是用户数据报协议包，并且所述第一数据包经由用户数据报协议发送。

14.根据权利要求12所述的方法，其中所述第二数据包是传输控制协议/互联网协议包，并且所述第二数据包经由通用串行总线/互联网协议发送。

15.根据权利要求11所述的方法，还包括：

由所述数据处理装置从所述信号处理装置接收所述至少一个数据包，并且由所述数据处理装置从所述至少一个数据包中取得所述定位数据和所述镜头参数；

由所述数据处理装置基于所述定位数据来确定所述相机装置的相机姿态；

由所述数据处理装置接收参考时钟信号，并据以确定对应于所述相机姿态的时间戳；

由所述数据处理装置将所述相机姿态、所述时间戳和所述镜头参数封装在数据信号中；以及

由所述数据处理装置发送所述数据信号。

16.根据权利要求15所述的方法，其中所述参考时钟信号包括多个时钟脉冲，并且所述方法包括：

由所述数据处理装置响应于所述时钟脉冲中的一个来确定所述相机姿态和所述时间戳，其中所述时间戳对应于所述时钟脉冲中的所述一个的时间点。

17.根据权利要求11所述的方法，其中所述镜头参数包括至少一个计数值，所述至少一个计数值对应于所述相机装置的光圈、焦点、焦距中的至少一个。

18.根据权利要求11所述的方法，还包括：

由所述信号处理装置接收镜头控制信号，并且据以由所述信号处理装置控制所述镜头编码器来调整所述相机装置的镜头设置。

19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质记录可执行计算机程序，所述可执行计算机程序由数据处理系统加载以执行以下步骤：

从定位装置接收定位数据，其中所述定位数据对应于相机装置；

从镜头编码器接收所述相机装置的镜头参数；

将所述定位数据和所述镜头参数封装在至少一个数据包中；以及

通过网络接口将所述至少一个数据包发送到数据处理装置。

Images