CN104103067B

CN104103067B - 用于生成图像截图的方法与设备

Info

Publication number: CN104103067B
Application number: CN201410133628.9A
Authority: CN
Inventors: 克里夫·亨利·吉尔拉德; 斯蒂芬·马克·凯汀; 罗伯特·马克·斯特凡·波特
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-04-04
Filing date: 2014-04-03
Publication date: 2018-07-13
Anticipated expiration: 2034-04-03
Also published as: GB2512621A; GB201320154D0; CN104104887A; US20140300687A1; GB2512686A; GB2512680A; GB201306050D0; US9979900B2; GB201316102D0; US9706135B2; CN104103067A; US20140300644A1

Abstract

本公开涉及用于生成图像截图的方法与设备。一种从由摄像机捕获的场景的图像生成截图的方法，包括：相对于捕获场景的摄像机的位置来限定虚拟摄像机的位置，虚拟摄像机的像平面为该截图；限定用于所捕获的图像的截图的像素位置的集合；生成被应用于所限定的像素位置的集合的虚拟摄像机旋转矩阵；将该矩阵应用于所限定的像素位置的集合，以针对每个所限定的像素位置确定相应的变换像素位置，变换像素位置限定所捕获的场景的部分图像的形状和位置；将变换像素位置集合中的每个变换像素位置映射至场景的部分图像中的相关像素；且使用已确定的场景的部分图像中的相应相关像素的值来为与变换像素位置相应的所限定的像素位置中的截图的每个像素建立值。

Description

用于生成图像截图的方法与设备

技术领域

本公开涉及方法与设备。

背景技术

本文中所提供的“背景技术”的描述是为了总体呈现本公开的背景。就该背景部分所描述以及提交时以其他方式还尚未取得作为现有技术资格的描述的各个方面的这个意义上来说，当前署名的发明人的工作既不明示也未暗示地承认为相对于本公开的现有技术。

利用其位置固定的摄像机捕获诸如体育赛事或者音乐会等实时事件是众所周知的。在一些情况下，尽管摄像机的位置被固定，但调整摄像机的俯仰（pitch）、偏转（yaw）和偶尔的横滚（roll）以跟随实时事件中的动作。因为观众可以专注于事件的相关部分，故对于观看者来说有时更加期望这种布置。

在其他情况下，摄像机的位置与俯仰、偏转和横滚被固定。因为摄像机不需要摄像机操作员，故对于捕获事件的全体工作人员来说有时更加期望这种布置。此外，固定位置安装支架比允许摄像机俯仰、偏转和横滚操作的安装支架更加便宜。

因此，期望提供允许在将摄像机固定安装的同时允许观众专注于事件的相关部分的一种系统。

发明内容

根据一个方面，提供一种从由摄像机已捕获的场景的图像中生成截图的方法，该方法包括：相对于捕获该场景的该摄像机的位置来限定虚拟摄像机的位置，该虚拟摄像机的图像平面为该截图；限定用于所捕获的图像的该截图的像素位置的集合；生成将被应用于所限定的像素位置的集合的虚拟摄像机旋转矩阵，该虚拟摄像机旋转矩阵表示该虚拟摄像机的偏转、俯仰以及横滚中的至少一个的组合；将该虚拟摄像机旋转矩阵应用于所限定的像素位置的集合，以针对所限定的像素位置中的每一个来确定相对应的变换像素位置，变换像素位置限定所捕获的该场景的图像的一部分的形状和位置；将变换像素位置的集合中的每一个变换像素位置映射至该场景的图像的该部分中的相关像素；以及使用已确定的该场景的图像的该部分中相对应的相关像素的值为与变换像素位置相对应的所限定的像素位置中的图像截图的每一个像素建立值。

可根据与虚拟摄像机的俯仰、偏转以及横滚中的一个或多个相关的一个或多个矩阵的乘积来算出该虚拟摄像机旋转矩阵。

虚拟摄像机旋转矩阵V可通过以下公式给出：

V=P_V*Y_V*R_V

其可以是俯仰旋转矩阵，俯仰是由绕x轴的角度限定的；

其可以是偏转旋转矩阵，偏转是由绕y轴的角度θ_V限定的；以及

其可以是横滚旋转矩阵，横滚是由绕z轴的角度ρ_V限定的。

针对所捕获的图像的截图所限定的像素位置可通过以下公式给出：

其中，s_x和s_y被规范化在通过截图的图像与场景的图像的比所确定的范围内并且s_z是根据虚拟摄像机的焦距确定的。

s_x可等于所限定的像素位置的x坐标，并被规范化在-n_x-+n_x的范围内，其中，

s_y可等于所限定的像素位置的y坐标，并被规范化在-rn_x-+rn_x的范围内，其中，以及

s_z可等于-F_V*n_x，其中，F_V等于虚拟摄像机的焦距。

该方法可进一步包括：

将虚拟摄像机旋转矩阵应用至所限定的像素位置s以获取变换后的像素位置，可通过以下公式给出：

并且处理变换后的像素位置c，以将所变换的像素位置映射至二维空间，二维映射的像素位置通过以下公式给出：

其中，c_x′和c_y′根据捕获场景的摄像机的焦距来确定。

c_x′可等于在-1-+1范围内规范化其中F_C等于捕获场景的摄像机的焦距，并且

c_y′可等于在-a-+a的范围内规范化，其中其中

F_V和F_C以单位限定以便对于90度的视场来说它们等于1。

可从镜头元数据中获得捕获场景的摄像机的焦距F_C。

可通过用户操作的控制器来控制虚拟摄像机的偏转θ_v和俯仰

可以通过被配置为跟踪所捕获的场景的图像中的对象的对象跟踪算法来控制虚拟摄像机的偏转θ_v和俯仰

根据绕预定俯仰轴捕获场景的摄像机的俯仰的角度和绕预定摄像机横滚轴捕获场景的摄像机的横滚的角度算出虚拟摄像机的横滚ρ_v。

从安装在捕获场景的摄像机上的装备中确定摄像机的俯仰和/或横滚的角度。

使用以下公式计算虚拟摄像机的横滚ρ_v：

其中，限定绕预定摄像机俯仰轴的捕获场景的摄像机的俯仰的角度并且ρ_rig限定绕预定摄像机横滚轴的捕获场景的摄像机的横滚的角度，该预定摄像机俯仰轴和横滚轴限定场景中的水平平面。

因此，该方法可进一步包括：

将所捕获的场景的图像生成为由第一位置中的第一摄像机和第二位置中的第二摄像机捕获的拼接图像，该第二位置不同于该第一位置。

可使用与捕获图像的摄像机相关的镜头元数据，针对所捕获的图像中的桶形失真和/或枕形失真对截图进行校正。

可使用鱼眼镜头来捕获所捕获的图像并且所捕获的图像可以是具有鱼眼失真的图像。可进一步被变换限定所捕获的场景的图像的一部分的形状和位置的变换后的像素位置，从而使得所捕获的图像的一部分的形状更加紧密地匹配所捕获的鱼眼失真的图像中的对象的形状。

根据另一个方面，提供一种从由摄像机已捕获的场景的图像中生成截图的装置，该装置包括电路，该电路被配置为：相对于捕获场景的摄像机的位置来限定虚拟摄像机的位置，该虚拟摄像机的图像平面为截图；限定用于所捕获的图像的截图的像素位置的集合；生成将被应用于所限定的像素位置的集合的虚拟摄像机旋转矩阵，该虚拟摄像机旋转矩阵表示虚拟摄像机的偏转、俯仰以及横滚中的至少一个的组合；将虚拟摄像机旋转矩阵应用于所限定的像素位置的集合，以针对所限定的像素位置中的每一个来确定相对应的变换像素位置，变换像素位置限定所捕获的场景的图像的一部分的形状和位置；将变换像素位置的集合中的每一个变换像素位置映射至场景的图像的该部分中的相关像素；以及使用已确定的场景的图像的该部分中的相对应的相关像素的值为所限定的与变换像素位置相对应的像素位置中的图像截图的每一个像素建立值。

可根据与该虚拟摄像机的俯仰、偏转以及横滚中的一个或多个相关的一个或多个矩阵的乘积来算出虚拟摄像机旋转矩阵。

虚拟摄像机旋转矩阵V可通过以下公式给出：

V=P_V*Y_V*R_V

P_V可等于可以是俯仰旋转矩阵，俯仰是由绕x轴的角度限定的；

Y_V可等于可以是偏转旋转矩阵，偏转是由绕y轴的角度θ_V限定的；以及

R_V可等于可以是横滚旋转矩阵，横滚是由绕z轴的角度ρ_V限定的。

捕获图像的截图图像的所限定的像素位置可通过以下公式给出：

其中，s_x和s_y在通过截图图像与场景的图像的比所确定的范围内规范化，并且s_z是根据虚拟摄像机的焦距确定的。

s_y可等于所限定的像素位置的y坐标，被规范化在-rn_x-+rn_x的范围内，其中，以及

s_z可等于-F_V*n_x，其中F_V等于虚拟摄像机的焦距。

该电路可以进一步被配置为：

将虚拟摄像机旋转矩阵应用至所限定的像素位置s，以获取变换后的像素位置，可通过以下公式给出：

其中，c_x′和c_y′根据捕获场景的摄像机的焦距来确定。

c_x′可等于并被规范化在-1-+1范围内，其中，F_C等于捕获场景的摄像机的焦距，并且

c_y′可等于并被规范化在-a-+a的范围内，其中，其中

F_V和F_C以单位限定以便对于90度的视场它们等于1。

可从镜头元数据中获得捕获场景的摄像机的焦距F_C。

可通过用户操作的控制器来控制虚拟摄像机的偏转θ_v和俯仰

虚拟摄像机的偏转θ_v和俯仰可以通过被配置为跟踪所捕获的该场景的图像中的对象的对象跟踪算法来控制

该虚拟摄像机的横滚ρ_v是根据绕预定俯仰轴捕获场景的摄像机的俯仰的角度和绕预定摄像机横滚轴捕获场景的摄像机的横滚的角度算出的。

该摄像机的俯仰和/或横滚的角度是从安装在捕获场景的摄像机上的装备确定的。

使用以下公式计算该虚拟摄像机的横滚ρ_v：

其中，限定绕预定摄像机俯仰轴捕获场景的摄像机的俯仰的角度并且ρ_rig限定绕预定摄像机横滚轴捕获该场景的该摄像机的横滚的角度，该预定摄像机俯仰轴和横滚轴限定场景中的水平平面。

该装置可进一步包括：

可使用鱼眼镜头捕获所捕获的图像并且所捕获的图像是包括鱼眼失真的图像。限定所捕获的场景的图像的一部分的形状和位置的所变换的像素位置被进一步变换，使得所捕获的图像的一部分的形状更加紧密地匹配所捕获的鱼眼失真的图像中的对象的形状。

根据另一方面，提供了一种包括计算机可读指令的计算机程序产品，当该计算机可读指令被加载至计算机上时，配置计算机来执行根据上述任一项的方法。

前述段落被提供用于一般性介绍，并不旨在限制下述权利要求的范围。通过参考以下结合附图的详细描述将更好地理解所描述的实施方式和另外的优点。

附图说明

通过参照以下结合附图所做的详细描述，对本公开更全面的理解及其许多附带的优点将会很容易地获得并且变得更好理解，附图中：

图1示出了摄像机捕获实时事件的平面图；

图2示出了由图1的摄像机104所捕获的图像200；

图3示出了图2中的所捕获的图像的一个部分的截图（cut-out）300；

图4示出了截图300被显示时的扩大图；

图5示出了根据本公开的实施方式的系统；

图6A至图6C示出了其图像平面形成图3的截图的虚拟摄像机的定位；

图7A-图7C示出了应用变换的矩形平面；

图8A-图8B示出了位于图7A-图7C的矩形平面内的像素位置；

图9A-图9C示出了所变换矩形平面中的像素位置到所捕获的图像中的相应的像素位置的变换；

图10类似于图3，但是示出了具有透视校正的图像截图300’而不是常规的矩形图像截图300；

图11示出了图10的截图被显示时的放大图；

图12示出了其中如通过虚拟摄像机的位置所确定的图像中所选择的像素位置没有准确落在图像中的像素位置上的情形；

图13示出了当多个摄像机被用于捕获场景的图像时根据本公开的实施方式的系统；

图14示出了用于捕获场景的图像的摄像机阵列和相关的摄像机平面的平面图；

图15示出了利用图14的布置的合成拼接图像；

图16示出了说明实施方式的流程图；

图17示出了说明场景的多个捕获的图像的实施方式的流程图；

图18示出了说明与虚拟摄像机相关的动作的限制的流程图；以及

图19A-图19B示出了图8A-图8B的像素位置的变换以便用于所捕获的图像中的鱼眼失真的校正。

具体实施方式

现参考附图，其中，相同的参考标号指代通篇几个附图中相同或者相应部分。

图1示出了摄像机捕获实时事件100的平面图。此示例事件是足球比赛。然而，设想任意类型的实时事件或现实场景。例如，现实场景可以是风景或建筑物以及诸如音乐会或者体育赛事等事件。摄像机104被放置在体育场中并且捕获足球场102。该摄像机104可以是安装在三脚架上的单个摄像机。在实施方式中，该单个摄像机104为4K摄像机。然而，设想诸如高清晰度摄像机或者8K摄像机等具有任何种类的分辨率的任何种类的摄像机。明显地，对于这样的现实场景，摄像机装备有适当的镜头，在这种情况下，该镜头可以是具有适当的视场的广角镜头。

可替换地，摄像机104可以是捕获现实场景的两个或多个摄像机的阵列。在这种可替换的情况下，来自摄像机阵列的图像将被拼接在一起以形成超高清晰度图像。此外，在可替换的实施方式中，阵列中的每个摄像机可具有任意分辨率并且例如可以是高清晰度摄像机、4K摄像机、8K摄像机或者可以具有这些分辨率的任意组合。在由索尼公司所提交的美国2011/0052093A中提供了拼接图像的示例性方法。通过引用将美国2011/0052093A的全部的公开内容结合于本文中。

图2示出了由图1的摄像机104所捕获的图像200。因为摄像机位于足球场102的上方，故由摄像机所捕获的图像200为“电视广播”视图。换言之，摄像机104在捕获现实场景时具有稍微向下的俯仰。

图3示出了图2中被捕获图像的一部分的截图300。图像的截图是图像200的片段并且复制指向现实场景内的位置的虚拟摄像机。用户可以利用鼠标或编辑套件中的特定的滚动球控制图像200的截图300的位置和尺寸。这复制了对摄像机104施加摇拍（pan）、倾斜和偏转的摄像机104的摄像机操作者的动作。通过调整截图300的尺寸，复制了变焦的应用。换言之，图像截图的位置和尺寸可以根据生产需求而进行移动和改变。编辑套件可以对现实场景进行遥控。可替换地，对象检测和/或跟踪算法可以确定图像的截图300的位置。在这个实例中，图像的截图300可以跟踪球或者一个或多个特定球员或球队。

通常，图像200的截图300将要被提供给与图像200的显示器不同的显示器。例如，如果图像200是通过拼接利用每个均具有4K分辨率的两个摄像机所捕获的两个图像所形成的图像，则截图300可以被提供给高清晰度电视。相反，如果图像200是由具有4K分辨率的单个摄像机所捕获的单个图像，则截图300可以被提供给PS 或者小于高清晰度电视的显示器。当然，来自由单个4K分辨率摄像机所捕获的图像200的截图300也可以被提供给高清晰度电视。换言之，图像200的截图被提供给具有的分辨率比所捕获的图像200的分辨率低的显示器。图像的截图300旨在复制指向并且缩放现实场景的特定区域的摄像机。

应注意，尽管截图300已经被描述为被显示在较低分辨率的显示器上，但这可能并非一定。例如，尽管截图300可以覆盖比图像200的区域更小的区域，并且将因此由较小数量的像素形成，但截图300仍可以被显示在4K分辨率显示器上。在这种情况下，可以使用像素差值法，从而使得较低分辨率截图仍然能够被显示在整个4K分辨率显示器上。

图4示出了截图300被显示时的扩大图。

这个截图以与前述美国公开（美国2011/0052093A）中所说明的方式类似的方式来生成，其中的截图300通常显示在手持装置上。

从图4中可以看出，截图300的透视不同于如果摄像机104实际上确已捕获了图像的片段而示出的透视。换言之，从截图图像300的透视中很明显的是，图像的截图不能复制指向位于现实场景内位置的摄像机104。具体地，图像200的截图中的球门桩的垂直线305看上去似乎倾斜，这是不正确的。

图5示出了根据本公开的实施方式的系统500。在系统500中，捕获现实场景的摄像机104连接至用于根据所捕获的图像生成图像的可扩展内容制备装置505，从而使得其可以被一个或多个高清晰度电视或者具有的屏幕大小小于所捕获的图像的分辨率的任意种类的个人显示器装置所使用。

可扩展内容制备装置505利用下文中所说明的映射技术生成所捕获的图像的片段。在实施方式中，该片段被供应给电视广播，以供广播。

此外，连接可扩展内容制备装置505的是存储介质520。该存储介质520存储由摄像机104所捕获的图像、由摄像机104所捕获的图像200的截图（片段）和计算机程序指令，该计算机程序指令被加载至可扩展内容制备装置505上并配置该可扩展内容制备装置505以根据本公开来操作。存储介质520是磁或光学可读介质，或者可以存储数据的任意类型存储介质。

此外，还连接至可扩展内容制备装置505的是监控器525和控制器530。在这种情况下，监控器525向用户显示图像的截图的位置和尺寸（如覆盖在图像200上的线框）以及可替换地实际输出的截图图像。在实施方式中，控制器为鼠标、操作杆或具有放大和缩小按钮的轨迹球装置。

可扩展内容制备装置505的输出是已经进行如以下将要说明的透视校正的图像200的截图。所校正的图像的截图被发送至电视广播公司。

可扩展内容制备装置505、存储介质520、监控器525和控制器530均位于编辑套件515中，该编辑套件515可以位于摄像机104附近或者可距离摄像机104很远并且通过网络或者经由光纤或同轴电缆（例如）连接至摄像机104。

如在图6A-图6C中可以看出，在实施方式中，可扩展内容制备装置505利用虚拟摄像机600来获得已校正透视的图像200的截图。相对于真实摄像机104的位置来指定虚拟摄像机600的位置。具体地，通过相对于真实摄像机104的偏转、俯仰和横滚的偏转、俯仰和横滚来限定虚拟摄像机600的位置。然后，通过考虑虚拟摄像机600的焦平面605及其相对于真实摄像机104的焦平面505的位置来获得已经校正透视的图像截图形状。下面将对其进行详细描述。

在图6A中，虚拟摄像机600利用相对于捕获场景的图像的真实摄像机104的偏转θ_V的偏转来定位，真实摄像机500的偏转被设定为零。为了简化，图6A仅示出了虚拟摄像机600的偏转。该图6A并未示出应用于虚拟摄像机600的任意俯仰或横滚。然而，本领域技术人员将理解的是，图6A可等同于应用于虚拟摄像机俯仰或横滚，以及实际上，虚拟摄像机的偏转、俯仰和/或横滚中的任一个均可随着虚拟摄像机在三维中旋转而同时改变。因为虚拟摄像机600的偏转与真实摄像机104的偏转相差θ_V，所以虚拟摄像机600的焦平面605是从真实摄像机104的焦平面505开始的角度θ_V的偏移。

在图6A中可以看出，虚拟摄像机600的焦平面605包括与虚拟摄像机600的视场对应的部分620；虚拟摄像机600的视场由虚线610来表示。在实施方式中，已校正透视的图像200的截图的形状可以通过将图像200的相关部分投射到与虚拟摄像机600相关的部分620上来获得。换言之，通过在图像200的相关部分上执行角度θ_V的旋转变换，可以获得已校正透视的图像200的截图。

在图6B中示出了这种情况，其中，原始图像被建立为3D空间中的平面625。这里，原始图像的平面625是从上方直接观看的。还示出了虚拟摄像机部分620，其是虚拟摄像机焦平面605的一部分。为了获得已校正透视的图像200的截图的形状，以角度θ_V将原始图像平面625的相关部分630变换在虚拟摄像机部分620上。在实施方式中，原始图像平面625的相关部分630形状上为矩形并且等价于图3的矩形截图部分300。如图6C所示，当从真实摄像机104的视点考虑时，通过将相关部分630变换角度θ_V，相关部分630的矩形形状被变换为透视校正的形状635。如将要说明的，这个透视校正的形状635被用于生成已校正透视的图像200的截图并且可将该截图显示在诸如高清晰度电视或者手持装置等的装置上。

如上所述，图6A-图6C示出了仅改变虚拟摄像机600的偏转θ_V所导致的变换。事实上，虚拟摄像机600的偏转、俯仰和横滚中的任意一个或多个均可随着虚拟摄像机在三维中旋转而同时改变。在实施方式中，与虚拟摄像机600的偏转、俯仰和横滚相关的变换中的每一个均可表示为相应的矩阵。当然，偏转、俯仰和横滚中的任意一个或多个均可表示为相应的矩阵。

与虚拟摄像机600的俯仰相关的变换可以利用以下俯仰旋转矩阵来表示：

该俯仰由绕x轴的角度来限定。

与虚拟摄像机600的偏转相关的变换可以利用以下偏转旋转矩阵来表示：

该偏转由绕y轴的角度来限定。

与虚拟摄像机600的横滚相关的变换可以利用以下横滚旋转矩阵来表示：

该横滚由绕z轴的角度ρ_V来限定。

因此，完整的变换可以被表示为由下式所给出的虚拟摄像机旋转矩阵：

V=P_V*Y_V*R_V (1)

应当注意的是，其中写在公式1中所产生的虚拟摄像机旋转矩阵V的P_v、Y_v和R_v的次序实现最自然的透视校正图像截图。然而，在实施方式中，将矩阵P_v、Y_v和R_v相乘在一起的次序也可以不同于公式1中所写的次序。

在至此为止的描述中，已经介绍了根据实施方式的从原始图像的相关部分630中获得透视校正形状635的原理。具体地，已作如下说明，通过在原始图像平面625的相关部分630上执行变换（根据虚拟摄像机的俯仰、偏转和横滚中的任意一个或多个来确定变换），相关部分630的矩形形状被变换为透视校正形状635。

在实施方式中，具有透视校正形状635的图像200的截图可以作为放大图像显示在装置上，诸如高清晰度电视或者手持装置（即，在其显示的图像的分辨率比图像200的分辨率低的装置上）。现将对其进行描述。

根据实施方式，透视校正截图的生成包括从预定矩形平面开始。矩形形状表示透视校正的截图被显示在显示装置上时的期望形状。例如，矩形形状是在其上显示透视校正的截图的屏幕形状。然后根据虚拟摄像机的偏转、俯仰和横滚变换预定矩形平面，以便获得透视校正截图的形状。该过程示出在图7A-图7C中。

图7A示出了如限定在三维坐标系统中的预定的矩形平面。该预定矩形平面由下式来限定：

其中：

s_x将被限定在-n_x-+n_x的范围内，其中，

s_y将被限定在-rn_x-+rn_x的范围内，其中，r是由所给出的截图的屏幕宽高比；以及

s_z=-F_V*n_x=通过n_x规范化的虚拟摄像机600的焦距F_V。

这里，截图宽度/高度是当它被显示在较低分辨率的装置上时的截图的宽度/高度并且图像宽度是图像200的宽度。在实施方式中，可以在像素中测量截图宽度/高度和图像宽度。因为s_z=-F_V*n_x（即，负的规范化的虚拟摄像机焦距），示出在图7A中的矩形平面被有效地放置在页面里距离-F_V*n_x处。虚拟摄像机焦距F_V被限定在单位中，这样使得对于90度的视场来说焦距为1。

然后，根据虚拟摄像机旋转矩阵V变换预定矩形平面。变换平面c中的结果由下式给出：

通过公式获得变换后的平面c：

c=V*s

这能够完整地写为：

该变换平面c示出在图7B中。为了简化，可以看出通过将其绕y轴旋转角度θ_V，已从矩形平面s中获得变换平面c。这对应于相对于摄像机104θ_V的虚拟摄像机600的偏转。实际上，矩形平面s的变换可以是导致绕x轴、y轴和z轴中的每一个旋转的虚拟摄像机的非零偏转、俯仰和横滚的结果。

当从摄像机104的透视考虑时，变换平面c与平面s相比看似好像已移动至不同的位置。这是因为变换平面c是在平面s被定位在由s_z=-F_V*n_x所给出的非零z位置时绕原点（x=0，y=0，z=0）旋转平面s的结果。

变换平面c还看似好像具有变形的、非矩形形状。这是图像截图的透视校正形状635。下一步是将此透视校正形状635变换为二维，从而使得具有此透视校正形状的图像剪裁可以被映射在二维图像200上。这可以通过由cz来除变换平面c的坐标c_x和c_y来实现，并且接着由摄像机104的焦距-F_c进行放大，以获得二维坐标集合：

其中：

图7C中示出了坐标的集合c′。为了图像截图在其作为图像200的放大部分被显示在较低分辨率设备（例如，高清晰度电视机）上时的透视看起来正确，坐标c′限定必须使用的图像截图的形状635。输出的c_x′将在-1-+1的范围内以及输出的c_y′将在-a-+a的范围内，其中a是由所给出的图像200的高宽比。此外，摄像机104的焦距F_c被限定在单位中，这样使得对于90度的视场来说F_c=1。

在实施方式中，摄像机104的焦距F_c可以利用来自摄像机的镜头的元数据自动地获得。这允许了无论何时改变镜头，在用户无需手动改变由可扩展内容制备装置505在计算中所使用的焦距F_C的情况下，对于任意镜头可生成二维透视校正形状635。可替换地，焦距F_C可由用户来设定。

虚拟摄像机600的偏转θ_V和俯仰均受控制器530控制。可以自动地计算虚拟摄像机的横滚ρ_V，以校正由摄像机装备的倾斜所引起或者在利用广角镜头拍摄时由自然发生的失真所引起的原始图像中的任意横滚。当从原始图像进行截图时，这个横滚特别值得注意。

例如，虚拟摄像机横滚可计算如下：

其中，是摄像机装备的俯仰（俯仰）角（例如，20度）并且θ_V、是如先前所限定的虚拟摄像机的偏转和俯仰。以这种方式，可以自动地计算校正横滚，而无需用户进行任何额外的校正。

装备的俯仰角能够从摄像机中或三脚架中的传感器（诸如加速计）或者通过外部装置来获得，或者装备的倾斜角可以在校准期间由用户手动输入。如果摄像机装备不是水平的并且具有其自己的横滚，则虚拟摄像机横滚也必须对摄像机装备的横滚进行校正。使摄像机装备横滚=ρ_rig。那么虚拟摄像机横滚可计算如下：

可替换地，如果装备俯仰未知，可通过调整额外参数ρ_manual来完成手动调整，然后，诸如以下等式2的等式可用于计算虚拟相机横滚：

ρ_manual应当由用户在虚拟摄像机摇拍向一侧时来调整，直至垂直线正确地出现在屏幕上。然而，优选利用装备俯仰的公式。

为了校正由摄像机104的镜头所引起的任意图片失真，镜头失真校正也可以被可扩展内容制备装置505应用于坐标c′。该校正可以通过调整导出坐标c′来实现，通过少量依赖于镜头失真的本质利用上述公式来建立。

例如，坐标c′的集合中的位置（c_x′,c_y′）可以向原点运动或者远离原点。当具有透视校正形状635的图像截图与原始图像一起使用时（如下所述），这将分别有助于补偿原始图像200中的枕形或者桶形失真。这能够利用下面公式来完成：

其中

以及C和K是常数。对于通常的CCD，当原始图像200是高宽比为16:9的图片时，C=1.70且K=1.29提供良好的结果。

b是镜头失真校正参数。这应根据所使用的摄像机104的镜头进行设定。如果镜头是变焦镜头，那么在不同的焦距时参数b可能不同。

b=0针对不需要镜头失真校正时的情况。

b>0用于校正桶形失真，而b<0用于校正枕形失真。在实施方式中，我们可使-0.1<b<0.1。

镜头失真特性可以作为来自镜头的额外的元数据被传递至可扩展内容制备装置505。然后可据此导出镜头失真参数b。

可替换地，仅镜头规格（品牌（make）和类型）可以作为元数据被传递至可扩展内容制备装置505，并接着可在存储于存储介质520中的查找表中对其查找，以发现适当的镜头失真校正参数b。对于变焦镜头，当前的焦距F_c也可以从镜头传递出，以允许查找给定镜头在特定焦距下的镜头失真参数b。

当应用上述镜头失真校正算法时，由坐标c′所限定的透视校正的形状635的拐角应该始终保持在相同的坐标上，而边缘将向中心运动（当校正枕形失真时）或者远离中心（当校正桶形失真时）。

我们注意到，以下描述涉及坐标c′，即，并未校正镜头失真的变换坐标平面。然而，应当理解，当已执行了镜头失真校正时，该描述也可以应用于c′坐标平面。

图7A-图7C的处理的结果是可以计算期望的低分辨率、矩形的、放大的图像的任意给定的像素坐标s_x,s_y，图像200中的相应的源像素的位置。这将需要给出虚拟摄像机偏转θ_V、俯仰横滚ρ_V和焦距F_V，需要给出原始摄影机焦距F_C以及需要给出图像200和期望的低分辨率、放大图像中的每一个的高度和宽度。这使得坐标c′根据图像200的维度按比例缩放（如果需要）并偏移。

因为它们相对于规范化的原始图像尺寸（dimension）进行计算（记得c_x′在-1与+1之间和c_y′在-a与+a之间），所以坐标c′可能必须按比例缩放。相对于图像200的实际的尺寸所限定的坐标c′是实际需要的。这是因为坐标c′形成图像的透视校正的截图300’，稍后将对此说明。因此，如果实际的图像尺寸与规范化的图像尺寸不一样，那么有必要按比例缩放。坐标c′的按比例缩放使得：c_x在-图像宽度/2与+图像宽度/2（图像宽度是原始图像200的宽度）之间并且c_y在-图像高度/2与+图像高度/2（图像高度是原始图像200的高度）之间。

坐标c′也必须通过将图像宽度/2加到c_x以及将图像高度/2加到c_y进行偏移。因为坐标c′已经被限定为包括正坐标值和负坐标值（即，c_x在-图像宽度/2与+图像宽度/2之间并且c_y在-图像高度/2与+图像高度/2之间），然而图像200中的像素仅利用正坐标限定（即，在x方向上的0与图像宽度之间以及在y方向上的0与图像高度之间），所以这个偏移是必要的。坐标c′通过将图像宽度/2加到c_x′增加并且将图像高度/2加到c_y′来偏移。如下更加详细地说明，这允许坐标c′来限定图像200的截图300’。

将参照图8-图16描述图像200中的相应的源像素的查找。图8A与图8B分别是图7A与图7C的再生版本。然而，差异是已经被标记在坐标s和c′的集合上的像素位置。具体地，在图8A中，平面s上的像素位置800已被标记。这些像素位置800表示将要被较低分辨率装置显示的矩形放大图像中的像素位置。在图8B中，示出了变换平面c′上的变换像素位置800’。变换像素位置800’是将虚拟摄像机旋转矩阵V应用于平面s（参见图7B）并且在像素位置800上执行之前所描述的二维变换（参见图7C）的结果。

图8B中的像素位置800’的集合形成图像200的截图的透视校正形状635。将要显示在相关的较低分辨率装置上的透视校正放大图像现在可以通过将像素位置800’映射至图像200中适当的像素位置来获得。然后，经由变换像素位置800’与原始像素位置800之间一对一的关系使用图像200中所映射的像素的值来获得用于矩形放大图像的像素值。参考图9A-图9B对其进行更加详细的说明。

图9A示出了变换平面c′的变换像素位置800A’、800B’、800C’、800D’和800E’。将证明如何将这些变换像素位置映射至图像200中相应的像素。应当理解的是，在实施方式中，利用针对像素位置800A’、800B’、800C’、800D’和800E’所描述的方法，变换平面c′上的所有的像素位置中的每一个将被映射至图像200中相应的像素。

图9B示出了当变换平面c′已经根据原始图像的尺寸按比例缩放（如果需要）并偏移时的变换像素位置800A’、800B’、800C’、800D’和800E’。这允许变换像素位置800A’、800B’、800C’、800D’和800E’将被映射至图像200上。更具体地，变换像素位置800A’、800B’、800C’、800D’和800E’中的每一个均能够被映射在图像200的像素上。对于每个变换像素位置，所映射到的像素的值能够与变换像素位置相关。

在图9B中，可以看出变换像素位置800A’与原始图像200的像素值N1相关。相似地，变换像素位置800B’与原始图像200的像素值N2相关。对剩余变换像素位置重复此过程，这样使得变换像素位置800C’、800D’和800E’分别与像素值N₃、N₄和N_n相关。像素值N_n是用于证明像素匹配过程能够被用于变换平面c′上的任意数量的变换像素位置的任意像素值。在实施方式中，图像200的像素可以是彩色像素。因此，每个像素值N₁、N₂等可以包括：例如用于红色、绿色和蓝色的单独值。

在图9C中，示出了被标记为800A、800B、800C、800D和800E的平面s的原始像素位置。这些分别对应于变换后的像素位置800A’、800B’、800C’、800D’和800E’。因为像素值N₁已经与变换像素位置800A’相关，则像素N₁也可以与原始像素位置800A相关。这是因为像素位置800A与变换像素位置800A’之间一一对应。对于像素值N₂、N₃等的每一个同样正确。具体地，像素值N₂可以与原始像素位置800B相关，像素值N₃可以与原始像素位置800C相关等。在矩形的、透视校正的放大图像中，其形状由平面s来确定，像素位置800A-800E中的像素值接着可以利用像素值N₁-N_n来确定。

使用此方法，原始像素位置800中的每一个能够被映射至图像200中的相应的像素。因此，能够使用所选择的图像200的像素获得矩形的、透视校正的放大图像。应注意，所选择的图像200的像素形成具有透视校正的图像截图形状635的像素块（patch ofpixels）。如图9B中所示，这是具有透视校正的图像截图300’。

图10类似于图3，但示出了具有透视校正的图像截图300’而不是常规的矩形图像的截图300。通过利用具有透视校正的图像截图，可以获得图像200的放大的、较低分辨率部分，其看起来好像通过真实摄像机104真实、物理摇拍、倾斜和/或变焦所捕获。这样的放大图像根据截图300’的像素生成，并示出在图11中。根据截图300’所生成的放大图像避免了使用非校正截图300出现的不自然的透视。

图12示出了其中待映射至截图300’中的变换像素位置800’的像素位置N_n的位置没有准确地落在图像200的像素位置上的情况。例如，如果虚拟摄像机的运动是完美地连续地，即，非粒状的，没有考虑图像200由离散像素形成的事实，可能发生这种情况。

在此实例中，示出了图像200中的四个实际像素位置。这些实际像素位置通过(x₁,y₁)、(x₂,y₂)、(x₃,y₃)和(x₄,y₄)来表示。因此利用这些像素位置中的至少一个确定像素值N_n。在实施方式中，可以使用与所选择的像素位置最接近的像素的值。可替换地，可以使用图像200中实际像素中的至少两个的值的平均或加权平均。

在图16中示出了描述这个处理的流程图2000。该处理在步骤2001中开始。在步骤2002中，确定截图被显示在用户的较低分辨率装置上时的形状。这通常是矩形截图形状以适配显示器的屏幕。在步骤2004中，根据虚拟摄像机的俯仰、偏转和横滚来变换截图图像。这提供了用于截图的位置和透视校正形状。在此阶段执行按比例缩放（如果需要）和偏移。在步骤2005中，透视校正的截图中的像素位置被映射至原始图像中的像素位置。以这种方式，获得将被显示在较低分辨率装置上的图像的像素值。在步骤2006中，将透视校正图案显示在较低分辨率装置上。最后，在步骤2007中，处理结束。

多个摄像机

如上所讨论的，摄像机104实际上可以是捕获现实场景的两个或多个摄像机的阵列。在此可替换的情况下，来自摄像机阵列的图像可以被拼接在一起以形成超高清晰度图像。在此情况下，如在图5中所描述的设备500被改变以形成系统1700，如在图13中所示。

参照图13，设备1700与设备500相比包括多个另外的组件（其中，相同的参考标号指代相同的特征），具体地，摄像机104实际上包括两个摄像机1710和1715。两个摄像机中的每一个的视场与小的重叠区域是不同的。被捕获的场景的图像来自摄像机1710和摄像机1715中的每一个。经由摄像机位置计算装置1705基于相对于预定参考位置（未在图13中示出）的每一个摄像机的偏转、俯仰和/或横滚，计算用于摄像机1710和摄像机1715中的每一个的摄像机旋转矩阵（在以下详细描述）。任何适当的方法均可被用于计算摄像机旋转矩阵。由索尼公司提交的US2011/0052093A中提供了示例性方法。通过引用将US2011/0052093A全部公开内容结合于本文中。摄像机位置计算装置1705可以被定位作为摄像机104的组件，作为可扩展内容制备装置505的组件或者作为位于编辑套件151或其他位置中的单独的装置。

有利地，通过使用多个摄像机来从不同位置捕获图像，场景的部分能够被虚拟摄像机有效地放大，同时在缩放图像中仍维持合理的高分辨率。当然，摄像机的数量不限于两个。可以使用任意数量的摄像机。

图14示出了摄像机1710和1715中的每一个的焦平面，该摄像机被支撑在装备1800上。右摄像机1715的焦平面是焦平面FP1并且左摄像机1710的焦平面是焦平面FP2。焦平面FP1和FP2相对于参考平面1805分别形成角度为角和角相对于参考方向1810确定虚拟摄像机600的方向。当虚拟摄像机600的方向是参考方向1800时，那么虚拟摄像机的焦平面与参考平面1805平行。

在实施方式中，摄像机的焦平面FP1和FP2可以不仅仅在一个旋转维度中相对于参考平面1805被定向。然而，摄像机1710和摄像机1715中的每一个均可以在三维中旋转（通过偏转、俯仰和/或横滚），这导致焦平面FP1和FP2在三维中相对于参考平面1805被定向。摄像机1710和摄像机1715中的每一个因此可以与旋转矩阵R相关。摄像机旋转矩阵R类似于虚拟摄像机旋转矩阵V。在实施方式中，通用摄像机旋转矩阵R可以被表示为俯仰、偏转和横滚的组合：

R=R_p*P_p*Y_R

其中，P_R是俯仰旋转矩阵，通过下式给出：

俯仰是绕x轴旋转角

Y_R是偏转旋转矩阵，通过下式给出：

偏转是绕y轴旋转角θ_R；以及

R_R是横滚旋转矩阵，通过下式给出：

横滚是绕z轴旋转角度ρ_R。

此外，已经发现其中如此处给出的相乘在一起获得R的P_R、Y_R和R_R的次序产生看起来最自然的图像截图。然而，P_R、Y_R和R_R也可以以不同的次序相乘。

因为摄像机1710和摄像机1715中的每一个的方位是不同的，则摄像机1710和摄像机1715中的每一个与不同的摄像机旋转矩阵R相关。具体地，具有焦平面FP1的摄像机1715可以与第一摄像机旋转矩阵R₁相关并且具有焦平面FP2的摄像机1710可以与第二摄像机旋转矩阵R₂相关。摄像机旋转矩阵R₁和R₂中的每一个均由它们各自的摄像机的偏转、俯仰和横滚所限定，并且由摄像机位置计算装置1705来计算。

分别由焦平面FP1和FP2中的对象形成来自摄像机1715和1710中的每一个的图像。图像可以被拼接在一起以获得二维拼接图像1900，如在图15中所示。在实施方式中，拼接图像可包括：第一区域1905，具有仅对应于第一焦平面FP1的图像数据（即，来自摄像机1715）；第二区域1910，具有仅对应于第二焦平面FP2的图像数据（即，来自摄像机1705）以及第三区域1915，具有对应于焦平面FP1和FP2两者的图像数据（即，来自两个摄像机）。第三区域1915是由于焦平面FP1和FP2的重叠形成。

记得之前描述的单个图像实施方式中（即，其中图像200是由单个的摄像机捕获的图像），通过将期望的放大的、低分辨率图像的尺寸和形状的预定矩形平面乘以虚拟摄像机旋转矩阵V来获得透视校正的图像截图形状635。这也应用于多个、拼接图像实施方式。然而，要求额外的条件以补偿摄像机1715和1710的不同的方向。这个条件是相关摄像机旋转矩阵R₁和R₂。因此，对于具有拼接图像的实施方式，变换公式

c=V*s

变为

c=R*V*s

其中，R可以是R₁和R₂。诸如将平面c变为二维以获得坐标c’的变换等余下的处理与参照单个摄像机实施方式所描述的处理保持一致。

因此，当存在两个摄像机时，对于在预定矩形平面s中的像素位置800中的每一个，存在两个可能的变换。具体地，存在利用R₁的一个变换和利用R₂的一个变换。为了获得截图300’要求的透视校正的形状和位置，平面s中的每个像素位置的变换针对R₁和R₂两者执行。一旦为获得c’坐标已实现二维变换，则c′坐标的结果值揭示来自最左边的图像（来自摄像机1715，由焦平面FP1中的对象形成）或者最右边的图像（来自摄像机1710，由焦平面FP2中的对象形成）是否将被用作源像素。

为了更详细地考虑这个问题，记得针对单个摄像机的情况，二维变换坐标c_x′将在-1与1之间并且二维变换坐标c_y′将在-a与a之间，其中（图像高度和图像宽度分别是原始图像200的高度和宽度）。对于多个摄像机的情况，这些限制也可应用于针对R₁和R₂中的至少一个的变换坐标（c_x′,c_y′）（具有通过来自摄像机1710和1715中的一个的图像的高度和宽度所确定的限制a）。对于给定的原始像素位置800，存在遵循利用R₁和R₂中的每一个的变换的三种可能的情况。

在第一种情况下，针对变换像素位置800’所获得的坐标（c_x′,c_y′）落在使用R₁而不是使用R₂时的上述限定的限制内。这意味着将要使用的校正变换的像素位置800’是针对R₁的一个。它也意味着与原始像素位置800相关的像素值（以形成最终的放大图像）将取自左手边图像（即，来自摄像机1715的焦平面FP1所限定的图像）。

在第二种情况下，针对变换像素为值800’所获得的坐标（c_x′,c_y′）落在使用R2而不是使用R₁时的上述限定的限制内。这意味着将要使用的校正变换的像素位置800’是针对R₂的一个。它也意味着与原始像素位置800相关的像素值（用于形成最终的放大图像）将取自右手边图像（即，来自摄像机1710的焦平面FP2所限定的图像）。

在第三种情况下，针对变换像素位置800’所获得的坐标（c_x′,c_y′）落在使用R₁和R₂的上述限定的限制内。这意味着可以使用变换像素位置800’中的任何一个并且源像素值可以取自左手图像或者右手图像中的任一个。在实施方式中，在此情况下，可扩展内容制备装置505可以被设定为选择变换像素位置800’中的一个。例如，可扩展内容制备装置505可以被设定为始终选择针对R₁所确定的变换像素位置800’（尽管，它可能与将被选择用于替代的、针对R₂所确定的变换像素位置800’等同）。在此情况下，与原始像素位置800相关的像素值（以形成最终的放大图像）将取自左手边的图像。可替换地，可以使用两个计算出的变换像素位置800’，并且可以获得作为左手边和右手边原始图像中的映射的像素值的加权组合的与原始像素位置800相关的像素值（以形成最终的放大图像）。

因此，通过单独使用摄像机旋转矩阵R1和R2变换每个像素位置800，并且接着通过使用预定c′坐标限制选择结果变换像素位置中的一个来获得最终变换像素位置800’的集合。此外，对于每个变换像素位置800’，可以发现与相关的原始像素位置800相关的像素值，以供最终的、透视校正的放大图像的形成。

以与之前参照图9A-图9C所描述的单个摄像机的情况类似的方式，变换像素位置800’形成透视校正截图300’的形状。根据需要通过按比例缩放并且偏移变换像素位置800’的集合，来自由摄像机1710和1715所捕获的原始图像中的至少一个中的像素值可以与每个原始像素位置800相关，因此，允许获得透视校正的放大图像。

在图17中示出了描述此处理的流程图2100。该处理在步骤2101中开始。在步骤2102中，确定截图在被显示在用户的较低分辨率装置上时的形状。这通常是矩形截图形状以适配显示器的屏幕。在步骤2103中，截图图像根据真实摄像机的俯仰、偏转和/或横滚以及根据虚拟摄像机的俯仰、偏转和/或横滚来变换。这提供了针对截图图像的多个可能的变换。在步骤2104中，确定截图图像的校正变换。校正变换是其中变换的截图的像素位置落入预定的规范化的x和y限制内的一个。对于给定的像素位置可以存在多于一个的校正变换。这提供了相对于与校正变换相关的原始图像的截图的位置和透视校正的形状。在这个阶段执行按比例缩放（如果需要）和偏移。在步骤2105中，透视校正的截图中的像素位置被映射至原始图像中的像素位置。以此方式，获得用于将要显示在较低分辨率装置上的图像的像素值。在步骤2106中，将透视校正图像显示在较低分辨率装置上。最后，在步骤2008中，处理结束。

虚拟摄像机限制算法

对于单个摄像机和多个摄像机的情况，利用透视校正的截图300’从原始捕获的图像200的像素值获得较低分辨率透视校正的放大图像。具体地，落入按比例缩放和偏移的透视校正的截图300’的区域内的像素值被用来生成透视校正放大图像的像素。

为了确保在结果放大图像中不存在空白像素（即，对于该像素没能获得数据），限制处理可以被应用于虚拟摄像机600的三维旋转，以便确保按比例缩放和偏移的透视校正的截图300’的整体保持在原始图像的区域内。换言之，因为这将导致放大图像的某个区域留下空白（因为不存在来自原始图像的相应像素数据），一定不能允许截图300’的部分运动出原始图像的区域之外。

在实施方式中，接下来的限制算法可以被用于确保截图300’保持在原始捕获的图像的区域内。

记得下面的公式3在根据原始像素位置800计算变换像素位置800’中限定了第一步。具体地，这个公式描述了预定矩形平面s的旋转变换以获得平面c（参见图7A-图7B）：

c=R*V*s (3)

对于多个摄像机的情况，摄像机旋转矩阵R被表示为每个摄像机的俯仰、偏转和横滚的组合：

R=R_R*P_R*Y_R

对于单个摄像机的情况，不要求物理摄像机104的旋转，并且因此R被设定为单位矩阵（I）。

虚拟摄像机旋转矩阵V也被表示为俯仰、偏转和横滚的组合（虽然次序不同）：

V=P_V*Y_V*R_V

所以，用于获得变换坐标平面c的公式

c=R*V*s

可以被写为：

c=R_R*P_R*Y_R*P_V*Y_V*R_V*s

虚拟摄像机600的最小和最大偏转和俯仰取决于变焦的当前水平以及虚拟摄像机的当前位置。

偏转限制算法

用于虚拟摄像机的最小偏转可以被认为是最终放大图像（表示为平面s）用的左拐角接触原始图像200的左边缘时的偏转。这可以通过针对给定的变换坐标c′和原始坐标s的集合查找偏转θ_V来获得。诸如当前的俯仰横滚ρ_V和焦距F_V等其他所有参数均被固定在当前值以供计算。

首先，组合虚拟摄像机偏转旋转矩阵Y_V的任一边的条件，给出：

c=A*Y_V*B*s

其中

A=R_R*P_R*Y_R*P_V

以及

B=R_V

使向量p是局部结果，

p=B*s

所以，

c=A*Y_V*p

将其完整给出：

我们的兴趣在于与原始图像的左手边缘重叠的透视校正的截图300’的最左侧拐角。这将发生在二维变换平面c′的最左侧的值（如限定在x方向上）给出为c_x′=-1时。我们记得c_x′能够通过c_x除以c_z建立并且接着通过摄像机104的焦距（F_c）放大，

这是以下一种形式：

αcosθ+bsinθ＝C

这可以通过利用三角恒等式来求解：

cos(θ-α)＝cosθcosα+sinθsinα

首先，引入R：

∴Rcos(θ-α)＝Rcosθcosα+Rsinθsinα

∴Rcos(θ-α)＝(Rcosα)cosθ+(Rsinα)sinθ

使a=R cosα；b cosα=R sinα

则：

Rcos(θ-α)＝αcosθ+bsinθ

现在，

a²+b²＝R²cos²α+R²sin²α＝R²(cos²α+sin²α)＝R²

所以,

与a cosθ+b sinθ=c进行比较，我们得出:

重新整理发现

现在通过替代a、b和c中的值能够被用于解出θ_V：

可以通过已知的摄像机旋转矩阵R（如果可用）和当前的虚拟摄像机俯仰旋转矩阵来计算矩阵A：

A=R_R*P_R*Y_R*P_V

可以利用下式来计算局部结果p：

p=B*s

其中B=R_v是当前虚拟摄像机横滚旋转矩阵，并且s是表示期望的放大图像的尺寸和形状的直角坐标平面s的适合的坐标。换言之，s是放大图像适合的屏幕坐标（我们回想原始像素位置800被限定在平面s上，原始像

素位置限定了放大图像的真实的像素坐标）。

通常，对于每个限制已测试了两个屏幕坐标。为了发现最小的偏转，我们测试顶部左边屏幕坐标和底部左边屏幕坐标。

对于顶部左边屏幕坐标，设定

对于底部左边屏幕坐标，设定

这里，F_V是虚拟摄像机600的焦距，并且使用之前定的n_x和r（其相对于原始图像的尺寸描述了放大图像的尺寸）。如已提及的，我们对于与那时图像的左手边缘一致的透视校正的截图300’的最左侧拐角感兴趣。当二维变换平面c′的最左侧值是通过c_x′=-1给定（如被限定在x方向上）时。这个c_x′的值因此在公式（4）中与顶部左边和底部左边屏幕坐标中的每一个相结合，以便获得两个θ_V的值。第一个是对于与原始图像的左手边缘相一致的顶部左边屏幕坐标的偏转值，同时第二个使对于与原始图像的左手边缘相一致的底部左边坐标的偏转值。这两个值的最大的限制（即，最少的负值）应该被用作最小的偏转的当前值。重复该过程以找到最大偏转，这次利用顶部右边屏幕坐标和底部右边屏幕坐标。

对于顶部右边屏幕坐标，设定

对于底部右边屏幕坐标，设定

在原始图像的右手边缘的对面测试这些坐标，所以此时，应该使用c_x′=1。

这将再次导致被计算出两个θ_V的值。第一个是对于与原始图像的右手边缘相一致的顶部右边屏幕坐标的偏转值，同时第二个使对于与原始图像的右手边缘相一致的底部右边坐标的偏转值。这两个值的最大的限制（即，最少的负值）应该被用作最大的偏转的当前值。

在实施方式中，这些限制被应用在阻尼算法中（如下面将描述的）以限制虚拟摄像机位置的当前x值。

应注意，如果用户放大或缩小，计算出的最小和最大偏转将被影响（因为F_V已经被改变）并且如在阻尼算法中所描述的将立即应用新的最小和最大偏转。如果用户改变虚拟摄像机600的俯仰或者如果改变了虚拟摄像机的横滚，这也会发生。由于在俯仰或装备俯仰上的改变或者如果描述摄像机104的任一参数被改变，则虚拟摄像机的俯仰和/或横滚会改变。以这种方式，虚拟摄像机600在原始图像的边界内保持恒定。因此，所描述的限制技术获得二维变换后的坐标c′的集合的最左边和最右边可能的值（即，c_x′=±1）,坐标c′的集合限定透视校正的截图形状635。也获得用于平面s的拐角的坐标，平面s限定最终的、放大的图像的尺寸和形状。然后，具有被固定的所有的其他真实摄像机104和虚拟摄像机600的参数的限制技术将这个用来找到虚拟摄像机的最小和最大偏转。

这个技术优于其他技术的是可以使用不同的算法以测试截图的拐角是否在与那时图像的边缘的外部并且将控制机构应用于校正虚拟摄像机位置。控制机构可能具有一些反应时间，故不能保证截图在所有的时间会一直在原始图像的限制内。这导致不期望的具有空白像素的放大图像，直至它们随后被校对。此外，这样的控制机构能够随着它们趋向过校正的错误而变得不稳定。

为了计算具有多个图像的最小和最大偏转，最小偏转将参照左手图像进行计算（即，通过在第一焦点平面FP1中的物体所限定的图像）并且最大偏转将相对于右手图像进行计算（即，通过第二焦点平面FP2中的物体所限定的图像）。对于左手图像来说，R₁可以被用在上述公式中。对于右手图像来说，R₂可以被用在上述公式中。

俯仰限制算法

相似的方法被用来限制虚拟摄像机的偏转。在此情况下，将虚拟摄像机偏转旋转矩阵P_v的任一边的条件组合以给出：

c=A*P_V*B*s

其中

A=R_R*P_R*Y_R

以及

B=Y_V*R_V

此外，使向量p为局部结果，

p=B*s

所以，

c=A*P_V*p

将此写出以完整给出：

除了此次我们对y的位置c_y′感兴趣，这个还可以利用如用于偏转的相同的方法放大。然后，相同的三角法恒等式可以再次被用来得出用于确定俯仰的解决方案。

通常，可针对每个限制测试两个屏幕坐标。为了发现用于虚拟摄像机的最小俯仰，测试顶部左边屏幕坐标和顶部右边屏幕坐标。

对于上方左屏幕坐标，设定

对于上方右屏幕坐标，设定

与原始图像200的顶部边缘相对的测试这些坐标，所以应该使用c_y′=a（其中，a是原始图像高度与原始图像宽度的比率，如先前所限定的）。这导致计算出的两个值。第一个是针对与原始图像的顶部边缘相一致的顶部左屏幕坐标的俯仰值，同时第二个值是针对与原始图像的顶部边缘相一致的顶部右屏幕的俯仰值。这两个值的最大的限制（即，最小负数）应当被用作最小俯仰的当前值。

对于底部左屏幕坐标，设定

对于底部右屏幕坐标，设定

与原始图像的底部边缘相对测试这些坐标，所以应该使用c_y′=-a。这将再次导致计算出的两个值。第一个是针对与原始图像的底部边缘相一致的底部左屏幕坐标的俯仰值，同时第二个值是针对与原始图像的底部边缘相一致的底部右屏幕的俯仰值。这两个值的最大的限制（即，最小负数）应当被用作最大俯仰的当前值。

在实施方式中，这些限制被应用在阻尼算法中（如将在下面所描述的）以限制虚拟摄像机位置的当前的y值。

在实施方式中，为了在当存在多个摄像机时获得最小和最大俯仰，当虚拟摄像机指向左边，θ_V<0时，上述算法可以被用来测试与左手图像相对（即，通过在第一焦点平面FP1中的对象所限定的图像），并且当虚拟摄像机指向右边，θ_V>0时，右手图像（即，通过在第二焦点平面FP2中的对象所限定的图像）。对于左手图像，R₁可以被用在上述公式中。对于右手图像，R₂可以被用在上述公式中。

可替换地，一直与两个摄像机相对可计算出俯仰限制（采用通过针对R₁和R₂两者测试的最大限制值），或者俯仰限制可以随着从负的改变至正的偏转逐渐地从依靠左图像（利用R₁）计算改变至倚靠右图像（利用R₂）计算。

调整针对镜头失真校正的限制

如上所述，可以在限定透视校正的截图300’的形状635的变换坐标c′上执行额外的桶形或枕形失真校正。因为这样的额外的校正将轻微改变透视校正的截图300’的形状635，所以将需要轻微地调整对虚拟摄像机600的运动的限制以将其考虑在内。具体地，因为这将导致变换坐标c’从原始图像200的中心进一步的运动（并且因此截图300’的边缘可以在常规的限制时移离原始图像200），所以当在变换坐标c’上执行桶形失真校正时，需要减少对虚拟摄像机600的偏转和俯仰的限制。针对偏转和/或俯仰的限制可以通过利用之前限定的镜头失真校正公式修改用于计算偏转和俯仰限制的c_x′或c_y′的值来减少。在这里重复镜头失真校正公式：

其中

如上所述，C和K均是常数并且b是镜头失真校正参数。因为当桶形失真校正的原始图像的边缘将向中心运动并且因此应该对虚拟摄像机进行更多限制，故偏转和俯仰限制应该仅针对其中b>0（桶形失真）的情况来改变。应注意，原始图像200的边缘向中心的运动对于桶形失真的校正等价于截图300’的边缘远离中心的运动对桶形失真的校正。在实施方式中，截图300’的边缘通过在变换坐标c′上使用失真校正公式来运动远离中心。有优势地，这意味着桶形失真校正仅在被要求截图的原始图像200的一部分上执行桶形失真校正，这减少了要求处理的数量。

然而，因为这个等价遵循截图300’的形状的桶形失真校正，通过考虑原始图像200的边缘的运动可以执行新限制的计算。利用该方法的新限制的计算将在下面说明。

偏转限制

当调整c_x′(-1或+1)的值以测试偏转限制时，c_y′=0将给出最差情况下的调整。这是因为c_y′=0是沿着原始图像的左或右手边缘的中点位置，其将向遵循桶形失真校正的中心移动最大的距离。因此，c_y′=0应该被用于上面的镜头失真校正公式中，以发现最差情况下c_x′的调整值。该调整值c_x′′能够接着被用于偏转限制公式中替代c_x′。即，不是利用偏转限制公式中的限制c_x=±1，而是使用利用失真校正公式对±1中的每一个所确定的调整值。

俯仰限制

同样地，当调整c_y′(-a或+a)的值以测试俯仰限制时，c_x′=0将给出最差情况下的调整。这是因为c_x′=0是沿着原始图像的顶部或底部边缘的中点位置，其向遵循桶形失真校正的中心移动最大的距离。因此，c_x′=0应该被用于上面的镜头失真校正公式中，以发现最差情况下c_y′的调整值。该调整值c_y′′能够接着被用于俯仰限制公式中替代c_y′。即，不是利用俯仰限制公式中的限制c_x=±a，而是使用利用失真校正公式对±a中的每一个所确定的调整值。

应注意，当b是负数时，意味着应用了枕形失真校正，原始图像200的边缘将运动远离中心。在此情况下，人们可能认为可以对偏转和俯仰限制进行较少的限制。然而，仅原始图像的边缘已经运动，而拐角保持在相同的位置。根据俯仰和偏转的限制，这意味着最坏的情况在拐角处。因此，为了确保截图300’在拐角处始终位于原始图像的边界内，实际上不应进行改变以使限制的限制较少。

参照图18，提供了示出虚拟摄像机限制算法的流程图2200。这个过程在2201处开始。在2202中确定用于虚拟摄像机的最小偏转。在2203中确定用于虚拟摄像机的最大偏转。在步骤2204中，判定虚拟摄像机的变焦的值或者俯仰或横滚是否已改变。如果答案为是，则过程返回至步骤2202，可替换地，如果答案是否，在步骤2205中确定用于虚拟摄像机的最小俯仰。在2206中确定用于虚拟摄像机的最大俯仰以及过程在2207中结束。

阻尼和灵敏性算法

阻尼算法的目标是利用来自控制器530的运动的自然感觉的惯量来创建真实感虚拟摄像机运动。控制器530被用于改变虚拟摄像机600的偏转、俯仰和变焦，并且例如可包括鼠标、操纵杆或轨迹球装置。

控制器运动被接收为定期更新的x、y和z位置。位置可以被限定为与先前位置的差（即鼠标如何发送其坐标）或者绝对位置。在实施方式中，z位置可以用乘法来改变，使得乘以某个因子（例如，乘以因子2，使得变焦为两倍）的放大花费相同的时间量，而不管变焦水平（因此，如从x4至x8一样，它花费用户相同的时间量来从x2至x4来变焦）。

该控制位置通过下式给出：

x和y位置将最终被解释为虚拟摄像机偏转和俯仰。如已提及的，z位置将被解释为虚拟摄像机变焦。

利用控制器位置的按比例缩放的版本计算虚拟摄像机600的目标偏转、俯仰和变焦（其组合可以被称为目标虚拟摄像机位置）。按比例缩放取决于控制器所要求的位置敏感度和缩放敏感度。

这里，PS=位置敏感度并且ZS=变焦敏感度。这些能够根据用户偏好进行设定。通常，用于x和y的位置敏感度将会是相同的，但是PS的不同值可以用于每一个。例如，如果用户想要简单的改变摄像机的偏转，但是难于改变其俯仰，PS的较低的值将被用于j_y而不是用于j_x。

此外，PS能够根据当前的变焦来按比例缩放。例如，PS的按比例缩放版本PS’可以通过如下公式获得：

PS′=PS/j_z

这确保了虚拟摄像机的位置在它被放大时改变的更加缓慢。接着用于虚拟摄像机的目标位置被限于：

函数f_limit是使用之前所描述的限制算法的函数。它防止虚拟摄像机600的位置超过将导致最终的、放大的图像的某个像素留下空白（由于透视校正的截图300’相应的区域离开原始图像200的边缘）的偏转和/或俯仰的预定限制。

虚拟摄像机600的当前位置（即，当前被用于放大图像的生成的位置）将被逐渐地修改，以通过阻尼系数所确定的速率向目标位置运动。在这个逐渐修改期间出现的每个新的、临时的、虚拟摄像机位置v′根据先前的位置利用以下公式v获得：

阻尼系数d通常是0.1，但是例如，根据用户偏好可以被调整至任意值。此外，阻尼系数可以根据新的虚拟摄像机位置而改变。例如，阻尼系数可以向原始图像200的边缘增加以避免超出原始图像200的虚拟摄像机。

最终，当前虚拟摄像机位置v′也是受限的，以再次确保从最终的、放大图像形成的透视校正的截图300’的整体保持在原始图像200的边界内。

因为起始虚拟摄像机位置与目标虚拟摄像机位置之间的中间位置将不是先前针对限制的测试，额外的限制是必要的。这意味着虚拟摄像机600看起来是从一个位置至另一个的面板，具有在此面板位于原始图像200的限制内期间所产生的所有的中间图像。这导致虚拟摄像机600的面板看起来更像跨场景的真实摄像机的面板。

x、y和z位置解释为利用比例常数的虚拟摄像机偏转、俯仰和变焦：

偏转，θ_v=v_x′*S_x

俯仰，

变焦，F_v=v_z′*S_z

这里S_x、Sy和Sz是比例常数。

可替换地，因为控制器运动被假定为表示通过反正切运算可获得的弧、偏转和俯仰中的摄像机的角运动：

偏转，θ_v=tan^-1(v_x′*S_x)

俯仰，

这给出了摄像机在原始（或拼接）摄像机图片上运动的更加精确的常数。

针对鱼眼镜头的校正

在实施方式中，摄像机104或摄像机1710、1715可以包括用于捕获原始图像的鱼眼镜头。鱼眼镜头是具有非常短的焦距的广角镜头。例如，鱼眼镜头可具有大约10mm的焦距。因为这种镜头使摄像机104或摄像机1710、1715有非常广的视场，故使用这种镜头是有利的。因此，例如，如果使用单个摄像机104，那么鱼眼镜头的使用能够确保整个足球场102能够被捕获到图像200中。

然而，鱼眼镜头的问题是捕获图像200会出现失真。这个失真是鱼眼镜头的众所周知的特性，并且使捕获图像200a呈凸起的非直线的外观。在本领域中鱼眼失真是众所周知的，所以在这里不进行详细地描述。尽管鱼眼失真经常故意用于图像中作为艺术效果，在实施方式中，这是所不期望的，因为这会导致失真和看起来不自然的图像截图300’。

在实施方式中，为了缓解这个问题，能够改变透视校正的截图300’的形状从而将图像200的任何鱼眼失真考虑在内。这种形状改变包括进一步变换像素位置800’，其限定了x-y平面中透视校正截图300’的形状（参见图8B），使得截图的形状与鱼眼失真图像200中的对象的失真的形状更加匹配。例如，在鱼眼图像中，线通常看起来是弯曲的并且对象看起来比正常的直线的图像更接近图像的中心。因此变换像素位置800’使得它们更接近x-y平面的原点并且使得截图图像300’中的直线变为弯曲的从而匹配鱼眼失真图像200中的弯曲的线。在图19A-图19B中示出了这种变换，其中图19A示出了原始像素位置800’并且图19B示出了变换的像素位置800’_f。

使用任意合适的方法能够将像素位置800’变换至像素位置800’_f。例如，对于给定的（c_x’、c_y’）的像素位置800’，能够通过向c_x’和c_y’中的每一个应用合适的比例因数而建立的变换像素位置800’_f。该比例因数将小于1（因为由鱼眼镜头捕获的对象的图像看起来比由非鱼眼镜头所捕获的对象更接近图像的中心）并且能够通过计算离由鱼眼镜头产生的图像的中心的捕获对象的距离与离相应直线的图像（即，由具有与选择的特定鱼眼镜头相同的焦距的理想的非鱼眼镜头生产的图像）的中心的同样捕获目标的距离的比来预先计算特定鱼眼镜头的比例因数。例如，该比例因数可以通过以下公式给出：

其中

并且P_f是所使用的特定用于镜头的具体参数（P_f的值可以不同于不同的镜头焦距、模型和/或制造商）。能够从镜头元数据自动地获得该值。可替换地，可以由用户手动输入。在实验中，建立P_f=1.4的值以连续校正10.5鱼眼镜头的鱼眼失真。应注意α是来自对向非鱼眼镜头的镜头光轴的目标的光的角度。

因而，的变换像素位置800’f可通过以下公式给出：

有利地，因为已经改变了透视校正的截图300’的形状从而将图像200的鱼眼失真考虑在内，当产生对应截图300’的矩形透视校正的放大图像时，图像200的鱼眼挖失真的放大图像也将被校正。因而，摄像机104或摄像机1710、1715能够使用鱼眼镜头从而获得更广的视场，同时，减轻从图像截图300’中生成的最终放大的图像中的任何不期望的鱼眼影响。

显然，根据上述教导本公开可以有许多的变形和修改。因此，应当理解，在所附权利要求的范围内，除了如本文中具体描述的以外，还可以以其他方式实践本公开。

在到目前为止已被描述为通过软件控制的数据处理设备实施（至少部分）的实施方式中，应当理解，诸如光盘、磁盘、半导体存储器等承载这样的软件的非暂时性机器可读介质也被认为是表示本公开的实施方式。

应当理解，为了清楚，以上说明已经参照不同的功能单元、电路和/或处理器描述了实施方式。然而，显而易见的是，在没有脱离实施方式的前提下，可以使用不同的功能单元、电路和/或处理器之间的任意适当的功能分布。

所描述的实施方式可以以包括硬件、软件、固件或它们的任意组合的任意适当的形式来实施。所描述的实施方式可选择地被至少部分地实施为运行在一个或多个数据处理器和/或数字信号处理器上的计算机软件。任意实施方式的元件和组件可以是任意适当的方式来物理、功能和逻辑地实施。当然，该功能可以被实施在单个单元、多个单元中或者该功能单元可以作为其他功能性单元的一部分来实施。如此，所公开的实施方式可以实施在单个单元中或者可以是物理或功能地分布在不同的单元、电路和/或处理器之间。

尽管已结合一些实施方式描述了本公开，但这并不旨在限制本文中所阐述的特定形式。此外，尽管可能看起来结合具体的实施方式描述了特征，但本领域普通技术人员将认识到，所描述的实施方式的不同的特征可以以任何适当的方式组合以实施本技术。

条款

下述标号的段落限定特征和/或实施方式。

1.一种从由摄像机捕获的场景的图像中生成截图的方法，所述方法包括：

相对于捕获所述场景的所述摄像机的位置来限定虚拟摄像机的位置，所述虚拟摄像机的图像平面为所述截图；

限定用于所捕获的图像的所述截图的像素位置的集合；

生成将被应用于所限定的像素位置的集合的虚拟摄像机旋转矩阵，所述虚拟摄像机旋转矩阵表示所述虚拟摄像机的偏转、俯仰和横滚中的至少一个的组合；

将所述虚拟摄像机旋转矩阵应用于所限定的像素位置的集合，以针对所限定的像素位置中的每一个来确定相对应的变换像素位置，所述变换像素位置限定所捕获的所述场景的图像的一部分的形状和位置；

将所述变换像素位置的集合中的每一个变换像素位置映射至所述场景的图像的所述部分中的相关像素；以及

使用已确定的所述场景的图像的所述部分中的相应的相关像素的值来为所限定的与所述变换像素位置相对应的像素位置中的图像截图的每一个像素建立值。

2.根据条款1所述的方法，其中，根据与所述虚拟摄像机的所述俯仰、偏转和横滚中的一个或多个相关的一个或多个矩阵的乘积来算出所述虚拟摄像机旋转矩阵。

3.根据条款2所述的方法，其中，，所述虚拟摄像机旋转矩阵V通过以下公式给出：

V=P_V*Y_V*R_V

4.根据条款2或3中任一条款所述的方法，其中：

是俯仰旋转矩阵，俯仰是由绕x轴的角度限定的；

是偏转旋转矩阵，偏转是由绕y轴的角度θ_V限定的；以及

是横滚旋转矩阵，横滚是由绕z轴的角度ρ_V限定的。

5.根据条款2、3、或4中任一条款所述的方法，其中：

捕获图像的截图图像的所限定的像素位置出自

其中

s_x和s_y在通过截图图像与场景的图像的比确定的范围内规范化，并且s_z是根据虚拟摄像机的焦距确定的。

6.根据条款5所述的方法，其中，s_x=所限定的像素位置的x坐标，并被规范化在-n_x-+n_x的范围内，其中，

s_y=所限定像素位置的y坐标，并被规范化在-rn_x-+rn_x范围内，其中，以及

s_Z=-F_V*n_x，其中F_V=虚拟摄像机的焦距。

7.根据条款6所述的方法进一步包括：

向所限定的像素位置s应用虚拟摄像机旋转矩阵以获得变换像素位置，通过以下公式给出：

并且处理变换像素位置c以将所变换的像素位置映射至二维空间，二维映射的像素位置通过以下公式给出：

其中，根据所捕获的场景的摄像机的焦距确定c_x′和c_y′。

8.根据条款7所述的方法，其中

在-1-+1的范围内规范化，其中F_c＝捕获场景的摄像机的焦距，以及

二维映射的像素位置的y坐标，在-a-+a的范围内规范化，其中其中

F_V和F_C以单位限定以便它们对于90度的视场等于1。

9.根据条款7或8所述的方法，其中，捕获场景的摄像机的焦距F_C是从透镜元数据中获得的。

10根据条款2至9中任一条款所述的方法，其中，通过用户操作的控制器来控制所述虚拟摄像机的所述偏转θ_v和所述俯仰

11.根据条款2至10任一条款所述的方法，其中，通过被配置为跟踪所捕获的所述场景的图像中的对象的对象跟踪算法来控制所述虚拟摄像机的所述偏转θ_v和所述俯仰

12.根据前述条款中任一项所述的方法，其中，根据绕预定俯仰轴的捕获所述场景的所述摄像机的所述俯仰的角度和绕预定摄像机横滚轴的捕获所述场景的所述摄像机的所述横滚的角度来计算所述虚拟摄像机的所述横滚ρ_v。

13.根据条款12所述的方法，其中，从其上安装了捕获所述场景的所述摄像机的装备中确定所述摄像机的所述俯仰和/或所述横滚的角度。

14.根据12或13中任一项所述的方法，其中，所述虚拟摄像机的所述横滚是使用以下公式算出的：

其中，限定绕预定摄像机俯仰轴的捕获所述场景的所述摄像机的俯仰的角度，以及ρ_rig限定绕预定摄像机横滚轴的捕获所述场景的所述摄像机的所述横滚的角度，所述预定摄像机俯仰轴和所述预定摄像机横滚轴限定所述场景中的水平平面。

15.根据前述条款中任一项所述的方法，进一步包括：

将所捕获的所述场景的图像生成为由第一位置中的第一摄像机和第二位置中的第二摄像机捕获的拼接图像，所述第二位置不同于所述第一位置。

16.根据前述条款中任一项所述的方法，其中，使用与捕获图像的所述摄像机相关的镜头元数据，针对所捕获的图像中的桶形失真和/或枕形失真对所述截图进行校正。

17.根据前述条款中任一项所述的方法，其中：

使用鱼眼镜头已捕获了所捕获的图像并且所捕获的图像是具有鱼眼失真的图像；以及

进一步变换限定所捕获的所述场景的图像的所述部分的形状和位置的所述变换像素位置，使得所捕获的图像的所述部分的形状更加紧密地匹配所捕获的鱼眼失真的图像中的对象的形状。

18.一种用于从由摄像机捕获的场景的图像中生成截图的装置，所述装置包括电路，所述电路被配置为：

限定用于所捕获的图像的所述截图的像素位置的集合；

19.根据条款18所述的装置，其中，所述虚拟摄像机旋转矩阵是根据与所述虚拟摄像机的所述俯仰、偏转和横滚中的一个或多个相关的一个或多个矩阵的乘积算出的。

20.根据条款19所述的装置，其中，所述虚拟摄像机旋转矩阵V由以下公式给出：

V=P_V*Y_V*R_V

21.根据条款18或19中任一条款所述的装置，其中：

是俯仰旋转矩阵，俯仰是由绕x轴的角度限定的；

是偏转旋转矩阵，偏转是由绕y轴的角度θ_V限定的；以及

是横滚旋转矩阵，横滚是由绕z轴的角度ρ_V限定的。

22.根据条款19、20或21中任一条款所述的装置，其中：

捕获图像的截图图像的所限定的像素位置通过以下公式给出：

23.根据条款22所述的装置，其中s_x=所限定的像素位置的x坐标，在-n_x-+n_x的范围内规范化，其中

s_y=所限定的像素位置的y坐标，在-rn_x-+rn_x的范围内规范化，其中以及

s_z=-F_V*n_x，其中F_V等于虚拟摄像机的焦距。

24.根据条款23所述的装置，其中，所述电路进一步被配置为：

以及处理变换后的像素位置c，以将所变换的像素位置映射至二维空间，二维映射的像素位置通过以下公式给出：

其中c_x′和c_y′根据捕获场景的摄像机的焦距来确定。

25.根据条款24所述的装置，其中

在-1-+1范围内规范化其中F_C等于捕获场景的摄像机的焦距，并且

在-a-+a的范围内规范化，其中其中

F_V和F_C以单位限定以便对于90度的视场它们等于1。

26.根据条款24或25所述的装置，其中捕获场景的摄像机的焦距F_C是从透镜元数据中获得的。

27.根据条款19至26中任一条款所述的方法，其中，所述虚拟摄像机的所述偏转θ_v和所述俯仰通过用户操作的控制器来控制。

28.根据条款19至27任一条款所述的装置，其中，。通过被配置为跟踪所捕获的所述场景的图像中的对象的对象跟踪算法来控制所述虚拟摄像机的所述偏转θ_v和所述俯仰

29.根据条款18至28中任一条款所述的装置，其中，所述虚拟摄像机的所述横滚ρ_v是根据绕预定俯仰轴捕获所述场景的所述摄像机的俯仰的角度和绕预定摄像机横滚轴捕获所述场景的所述摄像机的横滚的角度算出的。

30.根据条款29的所述装置，其中，所述摄像机的所述俯仰和/或所述横滚的角度是从安装在捕获所述场景的所述摄像机上的装备中确定的。

31.根据条款29或30中任一条款所述的装置，其中，其中，所述虚拟摄像机的所述横滚ρ_v是使用以下公式算出的：

其中，限定绕预定摄像机俯仰轴捕获所述场景的所述摄像机的俯仰的角度并且ρ_rig限定绕预定摄像机横滚轴捕获所述场景的所述摄像机的横滚的角度，所述预定摄像机俯仰轴和横滚轴限定所述场景中的水平平面。

32.根据条款18至31中任一条款所述的装置，进一步包括：

33.根据条款18至32中任一条款所述的装置，其中，使用与捕获图像的所述摄像机相关的镜头元数据，针对所捕获的图像中的桶形失真和/或枕形失真对所述截图进行校正。

34.根据条款18至33中任一条款所述的装置，其中：

限定所捕获的所述场景的图像的所述部分的形状和位置的所述变换像素位置被进一步变换，使得所捕获的图像的所述部分的形状更加紧密地匹配所捕获的鱼眼失真的图像中的对象的形状。

35.一种包含计算机可读指令的计算机程序产品，所述计算机程序产品在被加载到计算机中时配置所述计算机执行根据条款1的所述方法。

36.如上文中参考附图基本上描述了方法、装置或计算机程序产品。

Claims

限定用于所捕获的图像的所述截图的像素位置的集合；

使用已确定的所述场景的图像的所述部分中的相应的相关像素的值来为所限定的与所述变换像素位置相对应的像素位置中的图像截图的每一个像素建立值，

所述虚拟摄像机的所述横滚是使用以下公式算出的：

其中，ρ_v，θ_v和分别表示所述虚拟摄像机的所述横滚、所述偏转和所述俯仰，

表示绕预定摄像机俯仰轴的捕获所述场景的所述摄像机的俯仰的角度，

ρ_rig表示绕预定摄像机横滚轴的捕获所述场景的所述摄像机的所述横滚的角度，

所述预定摄像机俯仰轴和所述预定摄像机横滚轴限定所述场景中的水平平面。

2.根据权利要求1所述的方法，其中，根据与所述虚拟摄像机的所述俯仰、偏转和横滚中的一个或多个相关的一个或多个矩阵的乘积来算出所述虚拟摄像机旋转矩阵。

3.根据权利要求2所述的方法，其中，通过以下公式给出所述虚拟摄像机旋转矩阵V：

V＝P_V*Y_V*R_V

其中，P_V、Y_V和R_V分别表示俯仰旋转矩阵、偏转旋转矩阵和横滚旋转矩阵。

4.根据权利要求2所述的方法，其中，通过用户操作的控制器来控制所述虚拟摄像机的所述偏转θ_v和所述俯仰

5.根据权利要求2所述的方法，其中，通过被配置为跟踪所捕获的所述场景的图像中的对象的对象跟踪算法来控制所述虚拟摄像机的所述偏转θ_v和所述俯仰

6.根据权利要求1所述的方法，其中，从其上安装了捕获所述场景的所述摄像机的装备中确定所述摄像机的所述俯仰和/或所述横滚的角度。

7.根据权利要求1所述的方法，进一步包括：

8.根据权利要求1所述的方法，其中，使用与捕获图像的所述摄像机相关的镜头元数据，针对所捕获的图像中的桶形失真和/或枕形失真对所述截图进行校正。

9.根据权利要求1所述的方法，其中：

10.一种用于从由摄像机捕获的场景的图像中生成截图的装置，所述装置包括电路，所述电路被配置为：

限定用于所捕获的图像的所述截图的像素位置的集合；

所述虚拟摄像机的所述横滚是使用以下公式算出的：

11.根据权利要求10所述的装置，其中，所述虚拟摄像机旋转矩阵是根据与所述虚拟摄像机的所述俯仰、偏转和横滚中的一个或多个相关的一个或多个矩阵的乘积算出的。

12.根据权利要求11所述的装置，其中，所述虚拟摄像机旋转矩阵V通过以下公式给出：

V＝P_V*Y_V*R_V

13.根据权利要求11所述的装置，其中，所述虚拟摄像机的所述偏转θ_v和所述俯仰通过用户操作的控制器来控制。

14.根据权利要求11所述的装置，其中，所述虚拟摄像机的所述偏转θ_v和所述俯仰通过被配置为跟踪所捕获的所述场景的图像中的对象的对象跟踪算法来控制。

15.根据权利要求10所述的装置，其中，所述摄像机的所述俯仰和/或所述横滚的角度是从在其上安装了捕获所述场景的所述摄像机的装备确定的。

16.根据权利要求10所述的装置，其中：

17.一种非临时性计算机可读介质，包括计算机程序指令，当通过计算机执行所述计算机程序指令时引起所述计算机执行根据权利要求1所述的方法。