CN113259642A - 一种影片视角调节方法及系统 - Google Patents

一种影片视角调节方法及系统 Download PDF

Info

Publication number
CN113259642A
CN113259642A CN202110519293.4A CN202110519293A CN113259642A CN 113259642 A CN113259642 A CN 113259642A CN 202110519293 A CN202110519293 A CN 202110519293A CN 113259642 A CN113259642 A CN 113259642A
Authority
CN
China
Prior art keywords
camera
dimensional
screen
coordinates
dimensional coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110519293.4A
Other languages
English (en)
Other versions
CN113259642B (zh
Inventor
朱荣
范文豪
胡正林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fantawild Shenzhen Technology Co ltd
Original Assignee
Fantawild Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fantawild Shenzhen Technology Co ltd filed Critical Fantawild Shenzhen Technology Co ltd
Priority to CN202110519293.4A priority Critical patent/CN113259642B/zh
Publication of CN113259642A publication Critical patent/CN113259642A/zh
Application granted granted Critical
Publication of CN113259642B publication Critical patent/CN113259642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种影片视角调节方法及系统，所述方法包括：S1、构建屏幕的三维空间坐标系，并在屏幕上设置标记点，根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参；S2、向屏幕投射具有特征点的投影图，拍摄并识别投影图中特征点的二维坐标，且获取特征点在相机坐标系下的三维坐标；S3、根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标；S4、对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。本发明可实时渲染影片，达到实时调整观察视角的目的。

Description

一种影片视角调节方法及系统
技术领域
本发明涉及全景视频处理领域，更具体地涉及一种影片视角调节方法及系统。
背景技术
轨道车影院，沉浸式影院是主题公园行业中很受欢迎的室内特型影院，这些影院放映时，为了使得观众跟车移动时不论在哪个角度都可正确的观测到影片内容，通常需要把观众前方视野的画面都渲染出来，再把画面投射回到屏幕上，然后再把投射到屏幕上的画面在投影仪视角渲染出来，采用这种方式，渲染量比较大，成本较高。中国专利《CN104902252A-一种自适应多人自由视角全息立体显示的移动终端及方法》提出了一种在观察者移动时根据观察者的位置来调整改变观察视角，从而使得观察者正确的观测到影片内容，且不影响观察同一全息立体显示屏中其他观察者的观看效果，然而其是通过硬件显示屏来实现观察视角的改变的，不适用于普通的投影幕。
发明内容
本发明所要解决的技术问题是提供一种影片视角调节方法.
本发明所要解决的另一技术问题是提供一种影片视角调节系统。
为解决上述技术问题，根据本发明的一方面，提供一种影片视角调节方法，包括：
S1、构建屏幕的三维空间坐标系，并在屏幕上设置标记点，根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参；
S2、向屏幕投射具有特征点的投影图，拍摄并识别投影图中特征点的二维坐标，且获取特征点在相机坐标系下的三维坐标；
S3、根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标；
S4、对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
其进一步技术方案为：所述获取特征点在相机坐标系下的三维坐标，具体包括：
根据投影仪的投影图以及相机拍摄的特征点获得投影仪坐标系与相机坐标系间的对应关系；
导入并解析屏幕模型以获得所有顶点三维坐标，并使用标定相机的内外参数，根据相机成像模型以及所述对应关系计算顶点对应的二维像素坐标；
根据相机拍摄的特征点的二维坐标，比对顶点对应的二维像素坐标，以查找与特征点的二维坐标相邻的四个顶点的二维像素坐标，采用面积插值算法计算获得特征点及与其相邻四个顶点的分量，再根据计算获得的各分量和四个顶点的三维坐标计算获得特征点的三维坐标。
其进一步技术方案为：所述根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标，具体包括：
若相机的虚拟成像模型为小孔成像模型，获取相机的分辨率(Resolution_X,Resolution_Y)、银幕宽度(SW)、观察点到银幕的距离(Dis)以及传感器单位尺寸(sx,sy)，并根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy；
获取观察视角在三维屏幕空间的向量
Figure BDA0003063300030000031
根据向量
Figure BDA0003063300030000032
和最佳视角的向量
Figure BDA0003063300030000033
计算获得相机旋转矩阵R以及平移向量T；
根据相机旋转矩阵R、平移向量T、特征点的三维坐标(X，Y，Z)以及公式
Figure BDA0003063300030000034
计算获得二维纹理坐标(U，V)。
其进一步技术方案为：所述根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标，具体包括：
若相机的虚拟成像模型为鱼眼成像模型，获取相机的分辨率(Resolution_X,Resolution_Y)、银幕宽度(SW)、观察点到银幕的距离(Dis)以及传感器单位尺寸(sx,sy)，并根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy；
获取观察视角在三维屏幕空间的向量
Figure BDA0003063300030000035
根据向量
Figure BDA0003063300030000036
和最佳视角的向量
Figure BDA0003063300030000037
计算获得相机旋转矩阵R以及平移向量T；
根据相机旋转矩阵R、平移向量T、特征点的三维坐标(X，Y，Z)以及公式
Figure BDA0003063300030000038
及
Figure BDA0003063300030000039
计算获得二维纹理坐标(U，V)。
其进一步技术方案为：所述根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy，具体包括：
根据公式F＝DIS*W/SW计算获得焦距F；其中，W为成像宽度；
再根据公式fx＝F/dx，fy＝F/dy计算获得相机内参fx和fy；其中，dx和dy由公式dx＝sx/Resolution_X，dy＝sy/Resolution_Y计算获得；
并根据公式cx＝Resolution_X/2.0，cy＝Resolution_Y/2.0计算获得相机内参cx和cy。
其进一步技术方案为：所述步骤S1中，根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参，具体包括：
获取标记点在构建的三维空间坐标系下的三维坐标，并用已标定内参的相机拍摄屏幕上的标记点，根据标记点在相机拍摄图像中的二维坐标与确定的三维坐标计算获得所述相机的外参。
为解决上述技术问题，根据本发明的另一方面，提供一种影片视角调节系统，其包括：
构建标记单元，用于构建屏幕的三维空间坐标系，在屏幕上设置标记点，确定所述标记点在屏幕的三维空间坐标系下的三维坐标；
投影仪，用于向屏幕投射具有特征点的投影图；
相机，用于拍摄屏幕中的图像和投影图；
控制器，用于识别所拍摄投影图中特征点的二维坐标，且获取特征点在相机坐标系下的三维坐标，并根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标，且对待投影影片进行解码以获得图片，根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
其进一步技术方案为：所述控制器包括：
计算获取单元，用于根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参；
识别单元，用于识别所拍摄投影图中特征点的二维坐标；
导入转换单元，用于导入屏幕模型，且根据所述特征点的二维坐标、相机的内参和外参以及所述屏幕模型获取特征点在相机坐标系下的三维坐标；
坐标转换单元，用于根据相机的虚拟成像模型和获取的观察视角将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标；
渲染播放单元，用于对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
其进一步技术方案为：所述导入转换单元具体用于：根据投影仪的投影图以及相机拍摄的特征点获得投影仪坐标系与相机坐标系间的对应关系；导入并解析屏幕模型以获得所有顶点三维坐标，并使用标定相机的内外参数，根据相机成像模型以及所述对应关系计算顶点对应的二维像素坐标；根据相机拍摄的特征点的二维坐标，比对顶点对应的二维像素坐标，以查找与特征点的二维坐标相邻的四个顶点的二维像素坐标，采用面积插值算法计算获得特征点及与其相邻四个顶点的分量，再根据计算获得的各分量和四个顶点的三维坐标计算获得特征点的三维坐标。
与现有技术相比，本发明可实时根据观察视角的变化，校正多投影拼接显示的观察视角，且适用于平面幕、环幕、球幕、半球幕、半椭球幕以及异形幕等投影屏幕，即通过构建屏幕的三维空间坐标系，基于相机标定，通过投影仪投射特征点，相机拍摄并识别特征点，且使用屏幕模型计算特征点在屏幕空间的三维坐标，根据选择的相机的虚拟成像模型和获取的观察视角将特征点的三维坐标转换为观察视角下的统一的二维纹理坐标，以实时渲染影片，达到调整观察视角的目的。
附图说明
图1是本发明影片视角调节方法一具体实施例的流程示意图。
图2是本发明影片视角调节方法一具体实施例的子流程示意图。
图3是面积插值算法示意图。
图4是本发明影片视角调节方法应用于平面投影屏幕时虚拟相机视角映射图。
图5是本发明影片视角调节方法应用于球面投影屏幕时虚拟相机视角映射图。
图6是本发明影片视角调节系统一具体实施例的结构框图示意图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。
参照图1，图1为本发明影片视角调节方法一具体实施例的流程示意图。本发明影片视角调节方法是一种适用于平面幕、环幕、球幕、半球幕、半椭球幕以及异形幕等投影屏幕的视角调节方法，在附图所示的实施例中，所述影片视角调节方法包括：
S101、构建屏幕的三维空间坐标系，并在屏幕上设置标记点，根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参。
本发明中，所述用于拍摄屏幕中图像的相机预先已标定过内参，该相机可以为一个或多个，且需能拍摄到整个屏幕。
该步骤中，所述根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参，具体包括：获取标记点在构建的三维空间坐标系下的三维坐标，并用已标定内参的相机拍摄屏幕上的标记点，根据标记点在相机拍摄图像中的二维坐标与确定的三维坐标计算获得所述相机的外参，可知，使用转换后的标记点的三维坐标、相机内参及对应的相机拍摄的二维坐标计算相机的外参。可理解地，根据标记点计算获得的外参为设定的最佳视角下的外参。
具体地，本实施例中，可直接在屏幕上设置标记点，或者可通过激光三维坐标测量设备向屏幕上投射标记点，使用激光三维坐标测量设备测量屏幕上的标记点，获取该标记点在构建的屏幕三维空间坐标下的三维坐标，以达到统一坐标系的目的。
S102、向屏幕投射具有特征点的投影图，拍摄并识别投影图中特征点的二维坐标，且获取特征点在相机坐标系下的三维坐标。
本实施例中，多个投影仪逐一向屏幕投射投影图，相机拍摄投影图并识别其中的特征点，并使用对应于该屏幕类型的屏幕模型计算特征点在屏幕空间的三维坐标。
具体地，参照图2，所述获取特征点在相机坐标系下的三维坐标，包括：
S1021、根据投影仪的投影图以及相机拍摄的特征点获得投影仪坐标系与相机坐标系间的对应关系。
该步骤中，通过投影仪投射的投影图和相机拍摄的特征点来建立投影仪和相机的对应关系。
S1022、导入并解析屏幕模型以获得所有顶点三维坐标，并使用标定相机的内外参数，根据相机成像模型以及所述对应关系计算顶点对应的二维像素坐标。
可理解地，本实施例中，所述屏幕模型是指按照现实中的银幕比例制作的3d模型。
S1023、根据相机拍摄的特征点的二维坐标，比对顶点对应的二维像素坐标，以查找与特征点的二维坐标相邻的四个顶点的二维像素坐标，采用面积插值算法计算获得特征点及与其相邻四个顶点的分量，再根据计算获得的各分量和四个顶点的三维坐标计算获得特征点的三维坐标。
如图3所示，该步骤中，通过特征点S的二维坐标查找识别的与特征点相邻的虚拟映射成像的四个顶点(A，B，C，D四个顶点)的二维坐标，采用面积插值法可计算获得S点与A、B、C、D个点的分量，从而获得特征点的三维坐标，具体的计算如下：
首先，计算面积：若已知三个点A、B、C的坐标分别为A(x1，y1)、B(x2，y2)、C(x3、y3)时，三角形面积S＝＝0.5*(x1y2-x1y3+x2y3-x2y1+x3y1-x2y2)，将A、B、C、D四点连成矩形区域，图中分为A→C→B以及C→D→B两个三角形区域，计算s1(S->A->C)、s2(S->A->B)和s3(S->B->C)区域的面积，当S1、S2和S3同时大于等于0时则可认定S点在三角形ABC内，然后根据公式w1＝s1/S、w2＝s2/S以及w3＝s3/S分别计算分量w1，w2和w3，通过分量和A、B、C三点的三维坐标计算S点的三维坐标(X，Y，Z)，具体地，分别根据公式X＝w1*x2+w2*x3+w3*x1，Y＝w1*y2+w2*y3+w3*y1，Z＝w1*z2+w2*z3+w3*z1计算S点的三维坐标(X，Y，Z)，可理解地，按照上述方法可依次计算出所有特征点的三维坐标。
S103、根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标。
该步骤中，根据屏幕类型选择对应的相机的虚拟成像模型，屏幕类型可以为平面幕、环幕、球幕、半球幕、半椭球幕。
在某些实施例中，所述屏幕类型为平面屏幕，如图4所示，图4为本发明方法应用于平面屏幕时的映射示意图，选择的相机虚拟成像模型为小孔成像模型，该步骤S103具体包括：
获取相机的分辨率(Resolution_X,Resolution_Y)、银幕宽度(SW)、观察点到银幕的距离(Dis)以及传感器单位尺寸(sx,sy)，并根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy；具体地，所述根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy，包括：
根据公式F＝DIS*W/SW计算获得焦距F；其中，W为成像宽度；再根据公式fx＝F/dx，fy＝F/dy计算获得相机内参fx和fy；其中，dx和dy由公式dx＝sx/Resolution_X，dy＝sy/Resolution_Y计算获得；并根据公式cx＝Resolution_X/2.0，cy＝Resolution_Y/2.0计算获得相机内参cx和cy。
再获取观察视角在三维屏幕空间的向量
Figure BDA0003063300030000091
根据向量
Figure BDA0003063300030000092
和最佳视角的向量
Figure BDA0003063300030000093
计算获得相机旋转矩阵R以及平移向量T；其中相机旋转矩阵R为
Figure BDA0003063300030000094
平移向量T为
Figure BDA0003063300030000095
根据观察视角和最佳视角在构建的三维空间坐标系中的向量可计算获得矩阵R和向量T中元素的数值。该步骤中，最佳视角是预先设定的，一般为银幕中心到银幕的水平连线向量。可知，这一步骤主要计算虚拟相机在任意观察视角向量
Figure BDA0003063300030000096
与最佳视角之间的外参，即旋转平移，以把最佳视角下的三维坐标，根据这个外参计算映射到向量
Figure BDA0003063300030000097
观察视角下的二维纹理坐标。
根据相机旋转矩阵R、平移向量T、特征点的三维坐标(X，Y，Z)以及公式
Figure BDA0003063300030000101
计算获得二维纹理坐标(U，V)，即对上述五个公式联合求解可将特征点的三维坐标(X，Y，Z)转换为在观察视角下的二维纹理坐标(U，V)，如图4，其为观察视角A下根据上述步骤将特征点三维坐标转换成二维纹理坐标的映射图，可理解地，还可根据平面屏幕边界归一化二维纹理坐标，使用每一个投影仪对应的二维纹理坐标可计算投影拼接区域的融合图。
而在某些其他实施例中，所述屏幕类型还可为球幕，如图5所示，图5为本发明方法应用于球幕时的映射示意图，选择的相机虚拟成像模型为鱼眼成像模型，则该步骤S103同样包括：计算相机内参cx、cy、fx以及fy以及相机旋转矩阵R以及平移向量T，本实施例中内参和外参的计算方式和步骤和上述屏幕类型为平面屏幕的实施例中所描述的方式和步骤相同，在此不再赘述；步骤S103还包括：
根据相机旋转矩阵R、平移向量T、特征点的三维坐标(X，Y，Z)以及公式
Figure BDA0003063300030000102
及
Figure BDA0003063300030000103
计算获得二维纹理坐标(U，V)，其中，xc、yc为图像坐标系下的二维坐标，r为成像面的范围半径，θ为入射角；即该步骤中对上述公式联合求解可将特征点的三维坐标(X，Y，Z)转换为在观察视角下的二维纹理坐标(U，V)，如图5，其为观察视角B下根据上述步骤将特征点三维坐标转换成二维纹理坐标的映射图，可理解地，还可根据平面屏幕边界归一化二维纹理坐标。
S104、对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
该步骤中，实时解码待投影影片，将MP4等视频流格式解析成单张图片，再使用二维纹理坐标和融合图，实时通过纹理映射校正图片，并压缩成影片进行实时播放。
综上，本发明影片视角调节方法通过构建屏幕的三维空间坐标系，基于相机标定，相机拍摄并识别通过投影仪投射的图像中的特征点，且使用屏幕模型计算特征点在屏幕空间的三维坐标，根据选择的相机的虚拟成像模型和获取的观察视角将特征点的三维坐标转换为观察视角下的统一的二维纹理坐标，以实时渲染影片，达到实时根据观察视角的变化，校正调节多投影拼接显示的观察视角的目的。
参照图6，图6为本发明影片视角调节系统一具体实施例的结构框图示意图。在附图所示的实施例中，所述影片视角调节系统包括投影仪20、相机30、构建标记单元10以及控制器40。
其中，所述构建标记单元10用于构建屏幕的三维空间坐标系，且在屏幕上设置标记点，确定所述标记点在屏幕的三维空间坐标系下的三维坐标，本实施例中，可通过激光三维坐标测量设备向屏幕上投射标记点，并测量标记点坐标，获取该标记点在构建的屏幕三维空间坐标下的三维坐标，以达到统一坐标系的目的；所述投影仪20用于向屏幕投射具有特征点的投影图；所述相机30用于拍摄屏幕中的图像和投影图；所述控制器40具体包括计算获取单元401、识别单元402、导入转换单元403、坐标转换单元404以及渲染播放单元405，其中，所述计算获取单元401用于根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机30的外参，具体地，用已标定内参的相机30拍摄屏幕上的标记点，根据标记点在相机30拍摄图像中的二维坐标与确定的三维坐标计算获得所述相机30的外参；所述识别单元402用于识别所拍摄投影图中特征点的二维坐标；所述导入转换单元403用于导入屏幕模型，且根据所述特征点的二维坐标、相机30的内参和外参以及所述屏幕模型获取特征点在相机坐标系下的三维坐标；所述坐标转换单元404用于根据相机30的虚拟成像模型和获取的观察视角将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标；所述渲染播放单元405用于对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
在某些实施例中，具体地，所述导入转换单元403具体用于：根据投影仪20的投影图以及相机30拍摄的特征点获得投影仪坐标系与相机坐标系间的对应关系；导入并解析屏幕模型以获得所有顶点三维坐标，并使用标定相机30的内外参数，根据相机成像模型以及所述对应关系计算顶点对应的二维像素坐标；根据相机30拍摄的特征点的二维坐标，比对顶点对应的二维像素坐标，以查找与特征点的二维坐标相邻的四个顶点的二维像素坐标，采用面积插值算法计算获得特征点及与其相邻四个顶点的分量，再根据计算获得的各分量和四个顶点的三维坐标计算获得特征点的三维坐标。
而所述坐标转换单元404中根据屏幕类型选择对应的相机30的虚拟成像模型，屏幕类型可以为平面幕、环幕、球幕、半球幕、半椭球幕，当屏幕类型不同时，所选择的虚拟成像模型也可能不同，即平面幕一般对应选择小孔成像模型，球幕一般对应选择鱼眼成像模型，屏幕类型和相机30虚拟成像模型不同使得坐标转换单元404的具体转换计算过程也相应不同，具体可参照方法实施例中的描述，在此不再赘述。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。而对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (9)

1.一种影片视角调节方法，其特征在于，所述影片视角调节方法包括：
S1、构建屏幕的三维空间坐标系，并在屏幕上设置标记点，根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参；
S2、向屏幕投射具有特征点的投影图，拍摄并识别投影图中特征点的二维坐标，且获取特征点在相机坐标系下的三维坐标；
S3、根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标；
S4、对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
2.如权利要求1所述的影片视角调节方法，其特征在于，所述步骤S2中，获取特征点在相机坐标系下的三维坐标，具体包括：
根据投影仪的投影图以及相机拍摄的特征点获得投影仪坐标系与相机坐标系间的对应关系；
导入并解析屏幕模型以获得所有顶点三维坐标，并使用标定相机的内外参数，根据相机成像模型以及所述对应关系计算顶点对应的二维像素坐标；
根据相机拍摄的特征点的二维坐标，比对顶点对应的二维像素坐标，以查找与特征点的二维坐标相邻的四个顶点的二维像素坐标，采用面积插值算法计算获得特征点及与其相邻四个顶点的分量，再根据计算获得的各分量和四个顶点的三维坐标计算获得特征点的三维坐标。
3.如权利要求1所述的影片视角调节方法，其特征在于，所述步骤S3中，根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标，具体包括：
若相机的虚拟成像模型为小孔成像模型，获取相机的分辨率(Resolution_X,Resolution_Y)、银幕宽度(SW)、观察点到银幕的距离(Dis)以及传感器单位尺寸(sx,sy)，并根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy；
获取观察视角在三维屏幕空间的向量
Figure FDA0003063300020000021
根据向量
Figure FDA0003063300020000022
和最佳视角的向量
Figure FDA0003063300020000023
计算获得相机旋转矩阵R以及平移向量T；
根据相机旋转矩阵R、平移向量T、特征点的三维坐标(X，Y，Z)以及公式
Figure FDA0003063300020000024
计算获得二维纹理坐标(U，V)。
4.如权利要求1所述的影片视角调节方法，其特征在于，所述根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标，具体包括：
若相机的虚拟成像模型为鱼眼成像模型，获取相机的分辨率(Resolution_X,Resolution_Y)、银幕宽度(SW)、观察点到银幕的距离(Dis)以及传感器单位尺寸(sx,sy)，并根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy；
获取观察视角在三维屏幕空间的向量
Figure FDA0003063300020000025
根据向量
Figure FDA0003063300020000026
和最佳视角的向量
Figure FDA0003063300020000027
计算获得相机旋转矩阵R以及平移向量T；
根据相机旋转矩阵R、平移向量T、特征点的三维坐标(X，Y，Z)以及公
式
Figure FDA0003063300020000031
及
Figure FDA0003063300020000032
yd＝(θ/r)*yc计算获得二维纹理坐标(U，V)。
5.如权利要求3或4所述的影片视角调节方法，其特征在于，所述根据所述分辨率、银幕宽度、观察点到银幕的距离以及传感器单位尺寸计算获得相机内参cx、cy、fx以及fy，具体包括：
根据公式F＝DIS*W/SW计算获得焦距F；其中，W为成像宽度；
再根据公式fx＝F/dx，fy＝F/dy计算获得相机内参fx和fy；其中，dx和dy由公式dx＝sx/Resolution_X，dy＝sy/Resolution_Y计算获得；
并根据公式cx＝Resolution_X/2.0，cy＝Resolution_Y/2.0计算获得相机内参cx和cy。
6.如权利要求1所述的影片视角调节方法，其特征在于，所述步骤S1中，根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参，具体包括：
获取标记点在构建的三维空间坐标系下的三维坐标，并用已标定内参的相机拍摄屏幕上的标记点，根据标记点在相机拍摄图像中的二维坐标与确定的三维坐标计算获得所述相机的外参。
7.一种影片视角调节系统，其特征在于，所述影片视角调节系统包括：
构建标记单元，用于构建屏幕的三维空间坐标系，在屏幕上设置标记点，确定所述标记点在屏幕的三维空间坐标系下的三维坐标；
投影仪，用于向屏幕投射具有特征点的投影图；
相机，用于拍摄屏幕中的图像和投影图；
控制器，用于识别所拍摄投影图中特征点的二维坐标，且获取特征点在相机坐标系下的三维坐标，并根据相机的虚拟成像模型和获取的观察视角，将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标，且对待投影影片进行解码以获得图片，根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
8.如权利要求7所述的一种影片视角调节系统，其特征在于，所述控制器包括：
计算获取单元，用于根据所述标记点的三维坐标获取用于拍摄屏幕中图像的已标定内参相机的外参；
识别单元，用于识别所拍摄投影图中特征点的二维坐标；
导入转换单元，用于导入屏幕模型，且根据所述特征点的二维坐标、相机的内参和外参以及所述屏幕模型获取特征点在相机坐标系下的三维坐标；
坐标转换单元，用于根据相机的虚拟成像模型和获取的观察视角将所有特征点的三维坐标转换为该观察视角下的二维纹理坐标；
渲染播放单元，用于对待投影影片进行解码以获得图片，且根据二维纹理坐标实时渲染校正图片，并压缩成影片以实时播放。
9.如权利要求8所述的一种影片视角调节系统，其特征在于，所述导入转换单元具体用于：根据投影仪的投影图以及相机拍摄的特征点获得投影仪坐标系与相机坐标系间的对应关系；导入并解析屏幕模型以获得所有顶点三维坐标，并使用标定相机的内外参数，根据相机成像模型以及所述对应关系计算顶点对应的二维像素坐标；根据相机拍摄的特征点的二维坐标，比对顶点对应的二维像素坐标，以查找与特征点的二维坐标相邻的四个顶点的二维像素坐标，采用面积插值算法计算获得特征点及与其相邻四个顶点的分量，再根据计算获得的各分量和四个顶点的三维坐标计算获得特征点的三维坐标。
CN202110519293.4A 2021-05-12 2021-05-12 一种影片视角调节方法及系统 Active CN113259642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110519293.4A CN113259642B (zh) 2021-05-12 2021-05-12 一种影片视角调节方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110519293.4A CN113259642B (zh) 2021-05-12 2021-05-12 一种影片视角调节方法及系统

Publications (2)

Publication Number Publication Date
CN113259642A true CN113259642A (zh) 2021-08-13
CN113259642B CN113259642B (zh) 2023-05-30

Family

ID=77223229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110519293.4A Active CN113259642B (zh) 2021-05-12 2021-05-12 一种影片视角调节方法及系统

Country Status (1)

Country Link
CN (1) CN113259642B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418996A (zh) * 2022-01-19 2022-04-29 北京林业大学 一种基于三维空间角度算法的小叶杨根部构型解析方法
CN116433848A (zh) * 2023-04-21 2023-07-14 北京优酷科技有限公司 屏幕模型生成方法、装置、电子设备和存储介质
CN117765098A (zh) * 2024-02-22 2024-03-26 青岛科技大学 一种相机辅助标定方法、系统、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049337A (en) * 1996-11-21 2000-04-11 U. S. Philips Corporation Method and apparatus for adjusting relative offsets between texture maps dependent upon viewpoint
JP2004287517A (ja) * 2003-03-19 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
CN102014259A (zh) * 2010-11-17 2011-04-13 杭州华泰医疗科技有限公司 基于投影纹理映射的斜投影失真校正方法
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム
CN110336987A (zh) * 2019-04-03 2019-10-15 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法
CN111918045A (zh) * 2020-08-05 2020-11-10 华强方特(深圳)软件有限公司 用于多个投影机进行投影拼接校正的网格数据生成方法
CN112288873A (zh) * 2020-11-19 2021-01-29 网易（杭州）网络有限公司 渲染方法和装置、计算机可读存储介质、电子设备
JP2021026526A (ja) * 2019-08-06 2021-02-22 凸版印刷株式会社 表示制御装置、表示制御方法、及びプログラム
CN112734860A (zh) * 2021-01-15 2021-04-30 中国传媒大学 一种基于弧形幕先验信息的逐像素映射投影几何校正方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049337A (en) * 1996-11-21 2000-04-11 U. S. Philips Corporation Method and apparatus for adjusting relative offsets between texture maps dependent upon viewpoint
JP2004287517A (ja) * 2003-03-19 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
JP2011254411A (ja) * 2010-06-04 2011-12-15 Hokkaido Univ 映像投影システムおよび映像投影プログラム
CN102014259A (zh) * 2010-11-17 2011-04-13 杭州华泰医疗科技有限公司 基于投影纹理映射的斜投影失真校正方法
CN110336987A (zh) * 2019-04-03 2019-10-15 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
JP2021026526A (ja) * 2019-08-06 2021-02-22 凸版印刷株式会社 表示制御装置、表示制御方法、及びプログラム
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量系统及方法
CN111918045A (zh) * 2020-08-05 2020-11-10 华强方特(深圳)软件有限公司 用于多个投影机进行投影拼接校正的网格数据生成方法
CN112288873A (zh) * 2020-11-19 2021-01-29 网易（杭州）网络有限公司 渲染方法和装置、计算机可读存储介质、电子设备
CN112734860A (zh) * 2021-01-15 2021-04-30 中国传媒大学 一种基于弧形幕先验信息的逐像素映射投影几何校正方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418996A (zh) * 2022-01-19 2022-04-29 北京林业大学 一种基于三维空间角度算法的小叶杨根部构型解析方法
CN116433848A (zh) * 2023-04-21 2023-07-14 北京优酷科技有限公司 屏幕模型生成方法、装置、电子设备和存储介质
CN117765098A (zh) * 2024-02-22 2024-03-26 青岛科技大学 一种相机辅助标定方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113259642B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
EP3163535B1 (en) Wide-area image acquisition method and device
CN113259642B (zh) 一种影片视角调节方法及系统
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
KR100653200B1 (ko) 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
WO2019049421A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
CN103839227B (zh) 鱼眼图像校正方法和装置
US20040001138A1 (en) Stereoscopic panoramic video generation system
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
SG176327A1 (en) A system and method of image processing
WO2020235110A1 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
Lo et al. Image stitching for dual fisheye cameras
TWI676855B (zh) 投影機校正方法與使用此方法的投影系統
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN108282650B (zh) 一种裸眼立体显示方法、装置、系统及存储介质
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN112970044B (zh) 根据广角图像的视差估计
JP2020191624A (ja) 電子機器およびその制御方法
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
KR20190019059A (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
CN113114975B (zh) 图像拼接方法、装置、电子设备和存储介质
TW201824178A (zh) 全景即時影像處理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant