CN1694512A - 一种交互式多视点视频系统中虚拟视点的合成方法 - Google Patents
一种交互式多视点视频系统中虚拟视点的合成方法 Download PDFInfo
- Publication number
- CN1694512A CN1694512A CN 200510077472 CN200510077472A CN1694512A CN 1694512 A CN1694512 A CN 1694512A CN 200510077472 CN200510077472 CN 200510077472 CN 200510077472 A CN200510077472 A CN 200510077472A CN 1694512 A CN1694512 A CN 1694512A
- Authority
- CN
- China
- Prior art keywords
- image
- mentioned
- view
- video
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
本发明涉及一种交互式多视点视频系统中虚拟视点的合成方法,属信息传播技术领域。首先对视频系统初始化,根据实际视点的序号读取实际视频当前时间点的视频帧,将各视频帧分割成前景和背景图像;利用背景图像得到背景的全景图像;利用前景图像,得到前景的灰度图像,建立其与相邻实际视点拍摄的图像特征之间的对应关系;根据对应关系,对相邻实际视点的图像进行三角剖分,并根据三角剖分结果和上述插值帧数,在两个相邻实际视点之间进行插值运算,得到虚拟视点前景图像;将虚拟视点前景图像与背景的全景图像进行叠加,得到虚拟视点图像。本发明的方法,使用户在观看视点切换的过程中得到平滑过渡的视觉效果,而且计算量低、实时合成、视频质量好。
Description
技术领域
本发明涉及一种交互式多视点视频系统中虚拟视点的合成方法,尤其涉及一种用于用户自主选择视点时视点切换过程视频图像生成方法的设计,属于信息传播技术领域。
背景技术
多视点视频是视频处理的新兴领域。在这个领域中,单路视频源被环绕场景的拍摄的多路视频取代。多视点视频能够提供用户与场景的交互能力,即用户可以自主选择观察角度以获得更好的观看效果。虚拟视点是指在用户切换实际视点的过程中经过的没有实际摄像机拍摄的视点。依靠实际视点拍摄的视频生成虚拟视点的视频图像,达到视点平滑切换的目的成为目前多视点视频领域的重要问题。由于多视点视频系统中存在的摄像机数量多、相邻摄像机拍摄夹角大,传统合成方法在处理多视点视频合成问题时,存在着计算量大,处理摄像机夹角小和视频质量差的问题,限制了这些方法的实用性和应用场景。
发明内容
本发明的目的是提出一种交互式多视点视频系统中虚拟视点的合成方法,通过对前景图像的特征点提取和跟踪建立图像的对应关系;根据对应特征点进行视频对象的三角剖分;通过插值运算得到虚拟视点的视频前景图像;对于背景图像使用全景图生成方法得到拍摄场景背景的全景图;最后将前后景图像融合得到虚拟视点对应的虚拟图像。
本发明提出的交互式多视点视频系统中虚拟视点的合成方法,包括以下步骤:
(1)视频系统根据用户交互观看视频的请求,确定过渡视频图像质量的参数,进而确定相邻实际视点间需要插进的图像帧数,并确定用户当前的视点序号以及视角切换后的视点序号,进而计算视角切换所经过的实际视点的数量及其序号;
(2)根据上述实际视点的序号读取各路实际视频当前时间点的视频帧并存储;
(3)将上述实际视点的各视频帧分割成前景和背景图像,并按上述实际视点的序号依次分别存储;
(4)利用上述背景图像得到背景的全景图像;
(5)利用前景图像,得到前景的灰度图像,并对其进行中值滤波,去除噪声;
(6)从上述滤波后的前景灰度图像中提取图像特征,并建立其与相邻实际视点拍摄的图像特征之间的对应关系;
(7)根据上述对应关系,对相邻实际视点的图像进行三角剖分,并根据三角剖分结果和上述插值帧数,在两个相邻实际视点之间进行插值运算,得到虚拟视点前景图像;
(8)将上述虚拟视点前景图像与背景的全景图像进行叠加,得到虚拟视点图像。
上述方法中,将实际视点的各视频帧分割成前景和背景图像,包括以下步骤:
(1)对实际视点的多帧视频进行差值计算和平滑滤波,获得视频对象的大致区域;
(2)对上述大致区域进行形态处理,构造视频对象的内外边界;
(3)通过多值水线分割算法提取对象边界。
上述方法中,从滤波后的前景灰度图像中提取图像特征,并建立其与相邻实际视点拍摄的图像特征之间的对应关系的方法,包括以下步骤:
(1)计算前景灰度图像中所有象素对应矩阵
的特征值,λ1和λ2,且λ1大于λ2,其中A表示二阶矩阵,w表示搜索窗口,I表示提取特征的图像,IX=I/x,IY=I/y,x和y分别表示图像的水平和竖直方向;
(2)根据上述每个象素的二阶矩阵特征值中较小的一个λ2,将图像中的所有象素做降序排序;
(3)根据上述图像质量参数,从上述排序的象素中选取前n个象素作为图像特征,并存储特征的图像位置信息和顺序编号;
(4)根据上述图像特征,在与其相邻的实际视点的前景图像中进行窗口匹配搜索,设定一个窗口误差域值,选取窗口匹配误差最小并且低于误差阈值的象素作为与上述图像特征相对应的特征,并存储其位置信息和对应特征编号,对该特征作成功标记,对窗口误差值高于阈值的象素,作失败标记;
(5)重复步骤(4),直到所有特征都打上标记;
(6)对上述标记失败的图像特征,根据实际视点视频编码中的运动向量做步骤(2);得到最终的对应特征集合。
上述方法中,对相邻实际视点的图像进行三角剖分的方法,包括以下步骤:
(1)计算前景灰度图像中每两个图像特征点之间的距离,并排序得到距离的最大值和最小值;
(2)将上述最大值和最小值之差除以一个定值,得到搜索步长;
(3)从图像中两点之间距离最小的任意一点出发,以上述搜索步长为初始半径的循环搜索,每个循环的搜索半径增加一个搜索步长,对搜索范围内的点进行三点共线判断,若共线则继续搜索,直至找到形成三角形的点,将该三个点标记为入选,并存储三角形序号和三个点的特征序号;
(4)从上述找到的形成三角形的点出发,重复步骤(3),直到所有的点都标记成入选;
(5)按三角形重心的坐标大小,对上述所有形成的三角形进行升序排序,生成三角形列表。
上述方法中,在两个相邻实际视点之间进行插值运算,得到虚拟视点前景图像的方法,包括以下步骤:
(1)根据虚拟视点与相邻两个实际视点的距离大小的比例关系,确定虚拟视点图像的插值权重;
(2)计算所有虚拟视点图像与相邻两个实际视点图像的剖分三角形之间的变换矩阵;
(3)对每个虚拟视点中的象素,从上述三角形列表中寻找相应的三角形序号;
(4)从上述三角形之间的变换矩阵中选择与上述三角形序号相对应的变换矩阵,并将虚拟视点中象素的仿射坐标分别乘以该变换矩阵,得到对应的相邻实际视点图像中的象素坐标;
(5)读取相邻实际视点图像中的象素坐标对应的颜色信息,根据上述插值权重计算虚拟视点中象素的颜色值;
(6)重复步骤(4)和(5),计算虚拟视点图像中所有象素的颜色值。
上述方法中,将虚拟视点前景图像与背景的全景图像进行叠加,得到虚拟视点图像的方法,包括以下步骤:
(1)根据上述虚拟视点前景图像的插值权重,计算背景全景图中对应的背景窗口位置;
(2)在上述位置的窗口的背景图像上叠加对应的虚拟视点前景图像,得到虚拟视点图像;
(3)在上述叠加的虚拟视点图像上前景与背景的交接处,进行五阶高斯滤波,得到最终的合成视频图像。
本发明提出的一种交互式多视点视频系统中虚拟视点的合成方法,用于生成用户切换视点过程中的中间过渡视频序列,使得用户在观看视点切换的过程中得到平滑过渡的视觉效果。主要的优势在于低计算量,实时合成的可能性,较好的视频质量和算法使用现有硬件设备的良好接口。使用相邻摄像机视频流建立不完全三维结构关系来取代三维模型;并且通过提取并跟踪特征的方式来建立两个视频流之间的对应关系,可以不需要精确的摄像机标定方法,只要求摄像机的摆放是在同一水平线上并且是距离视频场景中的主要前景物体大致一样,搜索特征的时候不用考虑摄像机的旋转变化,降低搜索的复杂度。这种搜索和跟踪特征的方法可以处理25到30度摄像机夹角的拍摄图像。
具体实施方式
本发明提出的交互式多视点视频系统中虚拟视点的合成方法,首先视频系统根据用户交互观看视频的请求,确定过渡视频图像质量的参数,进而确定相邻实际视点间需要插进的图像帧数,并确定用户当前的视点序号以及视角切换后的视点序号,进而计算视角切换所经过的实际视点的数量及其序号;根据实际视点的序号读取各路实际视频当前时间点的视频帧并存储;将实际视点的各视频帧分割成前景和背景图像,并按上述实际视点的序号依次分别存储;利用背景图像得到背景的全景图像;利用前景图像,得到前景的灰度图像,并对其进行中值滤波,去除噪声;从滤波后的前景灰度图像中提取图像特征,并建立其与相邻实际视点拍摄的图像特征之间的对应关系;根据对应关系,对相邻实际视点的图像进行三角剖分,并根据三角剖分结果和上述插值帧数,在两个相邻实际视点之间进行插值运算,得到虚拟视点前景图像;将虚拟视点前景图像与背景的全景图像进行叠加,得到虚拟视点图像。
以下详细介绍本发明的内容:
本发明的方法,首先由交互式多视点视频系统接受用户发送的变换视点位置的请求,请求中包括过渡视频图像质量参数和用户当前的视点序号M以及视角切换后的视点序号N,上述过渡视频图像质量参数提供高质量图像和低质量图像两种选择,分别对应相邻实际视点间需要插进的图像帧数为20帧和10帧,上述M-N+1为变换视点位置所经过的实际视点数量,其序号为包含在M和N之间的所有自然数。
根据上述实际视点的序号读取各路实际视频当前时间点的视频帧并存储;将上述实际视点的各视频帧分别与其所在实际视点的前一帧视频进行差值计算和平滑滤波,获得视频对象的大致区域,进而进行形态处理构造视频对象的内外边界,改进的多值水线分割算法精确提取对象边界,即对内外边界区域内的图像进行平滑消除噪声,使得属于同一物体区域的像素点平滑,并且使区域与区域之间的边界得到保持,从内外边界向区域内部进行区域扩张,当内边界扩张区域和外边界扩张区域相交时,相交的边界就是前景和背景图像的分割边界,并按上述实际视点的序号依次分别存储。
对于上述背景图像,以序号最小的图像为基准图像,其坐标原点作为全景图的坐标原点,其他序号的图像分别计算相对于基准图像的全局运动参数,并根据上述全局运动参数计算其所有象素的全景图坐标,进而拼接成背景的全景图。
对于上述前景图像,首先得到前景的灰度图像,并对其进行中值滤波,去除噪声;并对上述灰度图像每个象素计算其矩阵
的特征值λ1和λ2,且λ1大于λ2,其中A表示二阶矩阵,w表示搜索窗口,实际采用9×9的窗口,I表示提取特征的图像,IX=I/x,IY=I/y,x和y分别表示图像的水平和竖直方向;并根据λ2的大小对所有象素降序排序,选取前50个象素作为图像特征,存储上述图像特征的对应坐标和顺序编号。
根据上述图像特征,在与其相邻的实际视点的前景图像中进行窗口为9×9的匹配搜索,设定一个窗口误差域值500,选取窗口匹配误差最小并且低于误差阈值的象素作为与上述图像特征相对应的特征,并存储其位置信息和对应特征编号,对该特征作成功标记,对窗口误差值高于阈值的象素,作失败标记。
对上述标记失败的图像特征,其搜索起始位置加上实际视点视频编码中对应的运动向量得到新的搜索起始位置,并重复上述的图像匹配搜索过程,所有有成功标记的特征形成最终的对应特征集合。
计算前景灰度图像中每两个图像特征点之间的距离,并排序得到距离的最大值和最小值,上述最大值和最小值之差除以一个定值100,得到搜索步长,从图像中两点之间距离最小的任意一点出发,以上述搜索步长为初始半径的循环搜索,每个循环的搜索半径增加一个搜索步长,对搜索范围内的点进行三点共线判断,若共线则继续搜索,直至找到形成三角形的点,将该三个点标记为入选,并存储三角形序号和三个点的特征序号,从上述找到的形成三角形的点出发,重复上述搜索过程直到所有的点都标记成入选;按三角形重心的坐标大小,对上述所有形成的三角形进行升序排序,生成三角形列表;根据虚拟视点与相邻两个实际视点的距离大小的比例关系,确定虚拟视点图像的插值权重λ,并根据下面的公式计算所有虚拟视点图像与相邻两个实际视点图像的剖分三角形之间的变换矩阵,
其中假设p(x,y,1)时在虚拟视点图像中的象素,T是象素p所在三角形的仿射变换矩阵,p1,p2分别p是在左右两个真实图像中对应象素的仿射坐标,T1和T2分别代表从p到p1和p2所在三角形的仿射矩阵。f1和f2分别表示从中间视点到左右两个实际视点图像的变换矩阵。f1 -1,f2 -1分别表示了f1和f2的逆矩阵;对每个虚拟视点中的象素,从上述三角形列表中寻找相应的三角形序号,并进而选择与上述三角形序号相对应的变换矩阵,将虚拟视点中象素的仿射坐标分别乘以该变换矩阵,得到对应的相邻实际视点图像中的象素坐标;读取相邻实际视点图像中的象素坐标对应的颜色信息,根据下面的公式计算虚拟视点中象素的颜色值,
C=C1*λ+C2*(1-λ)
其中C,C1和C2分别表示象素在中间视点,左视点和右视点的颜色值,而λ表示上述虚拟视点图像的插值权重;根据上述虚拟视点前景图像的插值权重λ,根据公式E1=L*(1-λ)及E2=L*(1-λ)+W计算背景全景图中对应的背景窗口位置,其中E1和E2表示窗口左右边界,L表示全景图长度,λ表示上述虚拟视点图像的插值权重,在上述位置的窗口的背景图像上叠加对应的虚拟视点前景图像,得到虚拟视点图像,在上述叠加的虚拟视点图像上前景与背景的交接处,进行5阶的高斯滤波,得到最终的合成视频图像。
Claims (6)
1、一种交互式多视点视频系统中虚拟视点的合成方法,其特征在于该方法包括以下步骤:
(1)视频系统根据用户交互观看视频的请求,确定过渡视频图像质量的参数,进而确定相邻实际视点间需要插进的图像帧数,并确定用户当前的视点序号以及视角切换后的视点序号,进而计算视角切换所经过的实际视点的数量及其序号;
(2)根据上述实际视点的序号读取各路实际视频当前时间点的视频帧并存储;
(3)将上述实际视点的各视频帧分割成前景和背景图像,并按上述实际视点的序号依次分别存储;
(4)利用上述背景图像得到背景的全景图像;
(5)利用前景图像,得到前景的灰度图像,并对其进行中值滤波,去除噪声;
(6)从上述滤波后的前景灰度图像中提取图像特征,并建立其与相邻实际视点拍摄的图像特征之间的对应关系;
(7)根据上述对应关系,对相邻实际视点的图像进行三角剖分,并根据三角剖分结果和上述插值帧数,在两个相邻实际视点之间进行插值运算,得到虚拟视点前景图像;
(8)将上述虚拟视点前景图像与背景的全景图像进行叠加,得到虚拟视点图像。
2、如权利要求1所述的方法,其特征在于其中所述的将实际视点的各视频帧分割成前景和背景图像,包括以下步骤:
(1)对实际视点的多帧视频进行差值计算和平滑滤波,获得视频对象的大致区域;
(2)对上述大致区域进行形态处理,构造视频对象的内外边界;
(3)通过多值水线分割算法提取对象边界。
3、如权利要求1所述的方法,其特征在于其中所述的从滤波后的前景灰度图像中提取图像特征,并建立其与相邻实际视点拍摄的图像特征之间的对应关系的方法,包括以下步骤:
(1)计算前景灰度图像中所有象素对应矩阵
的特征值,λ1和λ2,且λ1大于λ2,其中A表示二阶矩阵,w表示搜索窗口,I表示提取特征的图像,IX=I/x,IY=I/y,x和y分别表示图像的水平和竖直方向;
(2)根据上述每个象素的二阶矩阵特征值中较小的一个λ2,将图像中的所有象素做降序排序;
(3)根据上述图像质量参数,从上述排序的象素中选取前n个象素作为图像特征,并存储特征的图像位置信息和顺序编号;
(4)根据上述图像特征,在与其相邻的实际视点的前景图像中进行窗口匹配搜索,设定一个窗口误差域值,选取窗口匹配误差最小并且低于误差阈值的象素作为与上述图像特征相对应的特征,并存储其位置信息和对应特征编号,对该特征作成功标记,对窗口误差值高于阈值的象素,作失败标记;
(5)重复步骤(4),直到所有特征都打上标记;
(6)对上述标记失败的图像特征,根据实际视点视频编码中的运动向量做步骤(2);得到最终的对应特征集合。
4、如权利要求1所述的方法,其特征在于其中所述的对相邻实际视点的图像进行三角剖分的方法,包括以下步骤:
(1)计算前景灰度图像中每两个图像特征点之间的距离,并排序得到距离的最大值和最小值;
(2)将上述最大值和最小值之差除以一个定值,得到搜索步长;
(3)从图像中两点之间距离最小的任意一点出发,以上述搜索步长为初始半径的循环搜索,每个循环的搜索半径增加一个搜索步长,对搜索范围内的点进行三点共线判断,若共线则继续搜索,直至找到形成三角形的点,将该三个点标记为入选,并存储三角形序号和三个点的特征序号;
(4)从上述找到的形成三角形的点出发,重复步骤(3),直到所有的点都标记成入选;
(5)按三角形重心的坐标大小,对上述所有形成的三角形进行升序排序,生成三角形列表。
5、如权利要求1所述的方法,其特征在于其中所述的在两个相邻实际视点之间进行插值运算,得到虚拟视点前景图像的方法,包括以下步骤:
(1)根据虚拟视点与相邻两个实际视点的距离大小的比例关系,确定虚拟视点图像的插值权重;
(2)计算所有虚拟视点图像与相邻两个实际视点图像的剖分三角形之间的变换矩阵;
(3)对每个虚拟视点中的象素,从上述三角形列表中寻找相应的三角形序号;
(4)从上述三角形之间的变换矩阵中选择与上述三角形序号相对应的变换矩阵,并将虚拟视点中象素的仿射坐标分别乘以该变换矩阵,得到对应的相邻实际视点图像中的象素坐标;
(5)读取相邻实际视点图像中的象素坐标对应的颜色信息,根据上述插值权重计算虚拟视点中象素的颜色值;
(6)重复步骤(4)和(5),计算虚拟视点图像中所有象素的颜色值。
6、如权利要求1所述的方法,其特征在于其中所述的将虚拟视点前景图像与背景的全景图像进行叠加,得到虚拟视点图像的方法,包括以下步骤:
(1)根据上述虚拟视点前景图像的插值权重,计算背景全景图中对应的背景窗口位置;
(2)在上述位置的窗口的背景图像上叠加对应的虚拟视点前景图像,得到虚拟视点图像;
(3)在上述叠加的虚拟视点图像上前景与背景的交接处,进行五阶高斯滤波,得到最终的合成视频图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100774728A CN100355272C (zh) | 2005-06-24 | 2005-06-24 | 一种交互式多视点视频系统中虚拟视点的合成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100774728A CN100355272C (zh) | 2005-06-24 | 2005-06-24 | 一种交互式多视点视频系统中虚拟视点的合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1694512A true CN1694512A (zh) | 2005-11-09 |
CN100355272C CN100355272C (zh) | 2007-12-12 |
Family
ID=35353287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100774728A Expired - Fee Related CN100355272C (zh) | 2005-06-24 | 2005-06-24 | 一种交互式多视点视频系统中虚拟视点的合成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100355272C (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101459837B (zh) * | 2009-01-09 | 2010-06-09 | 清华大学 | 一种交互式多视点视频流媒体服务中控制延迟的方法 |
CN101969565A (zh) * | 2010-10-29 | 2011-02-09 | 清华大学 | 一种符合多视点视频标准的视频解码方法 |
CN101616237B (zh) * | 2008-06-27 | 2011-06-29 | 索尼株式会社 | 图像处理装置、图像处理方法 |
CN101558652B (zh) * | 2006-10-20 | 2011-08-17 | 诺基亚公司 | 用于实现低复杂度多视点视频编码的系统和方法 |
CN102239506A (zh) * | 2008-10-02 | 2011-11-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
CN102316254A (zh) * | 2010-06-29 | 2012-01-11 | 卡西欧计算机株式会社 | 具备生成三维图像的功能的摄影装置及三维图像生成方法 |
CN102368826A (zh) * | 2011-11-07 | 2012-03-07 | 天津大学 | 双视点视频到多视点视频的实时自适应生成方法 |
CN102385747A (zh) * | 2010-09-06 | 2012-03-21 | 佳能株式会社 | 用于生成全景图像的处理装置及方法 |
CN101668160B (zh) * | 2009-09-10 | 2012-08-29 | 华为终端有限公司 | 视频图像数据处理方法、装置及视频会议系统及终端 |
CN102081796B (zh) * | 2009-11-26 | 2014-05-07 | 日电(中国)有限公司 | 图像拼接方法和装置 |
WO2014075237A1 (zh) * | 2012-11-14 | 2014-05-22 | 华为技术有限公司 | 一种实现增强现实的方法及用户设备 |
CN103871109A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 一种虚拟现实系统自由视角切换方法 |
CN105096283A (zh) * | 2014-04-29 | 2015-11-25 | 华为技术有限公司 | 全景图像的获取方法和装置 |
CN106648109A (zh) * | 2016-12-30 | 2017-05-10 | 南京大学 | 一种基于三视角变换的真实场景实时虚拟漫游系统 |
CN109842740A (zh) * | 2017-11-24 | 2019-06-04 | 富泰华工业(深圳)有限公司 | 全景摄像机、图像处理系统及图像处理方法 |
CN109905719A (zh) * | 2013-03-15 | 2019-06-18 | 谷歌有限责任公司 | 生成具有多个视点的视频 |
CN109964253A (zh) * | 2016-10-28 | 2019-07-02 | 佳能株式会社 | 图像处理设备、图像处理系统、图像处理方法和程序 |
CN111640187A (zh) * | 2020-04-20 | 2020-09-08 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
WO2021213056A1 (zh) * | 2020-04-21 | 2021-10-28 | 北京字节跳动网络技术有限公司 | 图像显示方法、装置、设备及存储介质 |
CN115134579A (zh) * | 2022-06-16 | 2022-09-30 | 抖音视界(北京)有限公司 | 一种虚拟视点的生成方法、装置、存储介质及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2256567B (en) * | 1991-06-05 | 1995-01-11 | Sony Broadcast & Communication | Modelling system for imaging three-dimensional models |
US5714997A (en) * | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
CN1242851A (zh) * | 1996-12-29 | 2000-01-26 | 网上冲浪有限公司 | 互动虚拟现实系统的基于模型的景像外推 |
US6124862A (en) * | 1997-06-13 | 2000-09-26 | Anivision, Inc. | Method and apparatus for generating virtual views of sporting events |
GB9800397D0 (en) * | 1998-01-09 | 1998-03-04 | Philips Electronics Nv | Virtual environment viewpoint control |
JP3737784B2 (ja) * | 2002-07-01 | 2006-01-25 | コナミ株式会社 | 3次元画像処理プログラム、3次元画像処理方法及びビデオゲーム装置 |
US7447380B2 (en) * | 2002-09-12 | 2008-11-04 | Inoe Technologies, Llc | Efficient method for creating a viewpoint from plurality of images |
JP4393169B2 (ja) * | 2003-12-04 | 2010-01-06 | キヤノン株式会社 | 複合現実感提示方法および装置 |
-
2005
- 2005-06-24 CN CNB2005100774728A patent/CN100355272C/zh not_active Expired - Fee Related
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101558652B (zh) * | 2006-10-20 | 2011-08-17 | 诺基亚公司 | 用于实现低复杂度多视点视频编码的系统和方法 |
CN101616237B (zh) * | 2008-06-27 | 2011-06-29 | 索尼株式会社 | 图像处理装置、图像处理方法 |
US9214040B2 (en) | 2008-10-02 | 2015-12-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Intermediate view synthesis and multi-view data signal extraction |
CN102239506A (zh) * | 2008-10-02 | 2011-11-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
CN102239506B (zh) * | 2008-10-02 | 2014-07-09 | 弗兰霍菲尔运输应用研究公司 | 中间视合成和多视点数据信号的提取 |
CN101459837B (zh) * | 2009-01-09 | 2010-06-09 | 清华大学 | 一种交互式多视点视频流媒体服务中控制延迟的方法 |
CN101668160B (zh) * | 2009-09-10 | 2012-08-29 | 华为终端有限公司 | 视频图像数据处理方法、装置及视频会议系统及终端 |
CN102081796B (zh) * | 2009-11-26 | 2014-05-07 | 日电(中国)有限公司 | 图像拼接方法和装置 |
CN102316254B (zh) * | 2010-06-29 | 2014-02-26 | 卡西欧计算机株式会社 | 具备生成三维图像的功能的摄影装置及三维图像生成方法 |
CN102316254A (zh) * | 2010-06-29 | 2012-01-11 | 卡西欧计算机株式会社 | 具备生成三维图像的功能的摄影装置及三维图像生成方法 |
US10297005B2 (en) | 2010-09-06 | 2019-05-21 | Canon Kabushiki Kaisha | Method for generating panoramic image |
CN102385747A (zh) * | 2010-09-06 | 2012-03-21 | 佳能株式会社 | 用于生成全景图像的处理装置及方法 |
CN102385747B (zh) * | 2010-09-06 | 2015-07-15 | 佳能株式会社 | 用于生成全景图像的处理装置及方法 |
CN101969565B (zh) * | 2010-10-29 | 2012-08-22 | 清华大学 | 一种符合多视点视频标准的视频解码方法 |
CN101969565A (zh) * | 2010-10-29 | 2011-02-09 | 清华大学 | 一种符合多视点视频标准的视频解码方法 |
CN102368826A (zh) * | 2011-11-07 | 2012-03-07 | 天津大学 | 双视点视频到多视点视频的实时自适应生成方法 |
WO2014075237A1 (zh) * | 2012-11-14 | 2014-05-22 | 华为技术有限公司 | 一种实现增强现实的方法及用户设备 |
CN109905719B (zh) * | 2013-03-15 | 2021-05-07 | 谷歌有限责任公司 | 生成具有多个视点的视频 |
CN109905719A (zh) * | 2013-03-15 | 2019-06-18 | 谷歌有限责任公司 | 生成具有多个视点的视频 |
CN103871109A (zh) * | 2014-04-03 | 2014-06-18 | 深圳市德赛微电子技术有限公司 | 一种虚拟现实系统自由视角切换方法 |
CN103871109B (zh) * | 2014-04-03 | 2017-02-22 | 深圳市德赛微电子技术有限公司 | 一种虚拟现实系统自由视角切换方法 |
CN105096283A (zh) * | 2014-04-29 | 2015-11-25 | 华为技术有限公司 | 全景图像的获取方法和装置 |
CN105096283B (zh) * | 2014-04-29 | 2017-12-15 | 华为技术有限公司 | 全景图像的获取方法和装置 |
CN109964253A (zh) * | 2016-10-28 | 2019-07-02 | 佳能株式会社 | 图像处理设备、图像处理系统、图像处理方法和程序 |
CN109964253B (zh) * | 2016-10-28 | 2020-01-31 | 佳能株式会社 | 图像处理设备、图像处理系统、图像处理方法和存储介质 |
US11128813B2 (en) | 2016-10-28 | 2021-09-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, image processing method, and storage medium |
CN106648109A (zh) * | 2016-12-30 | 2017-05-10 | 南京大学 | 一种基于三视角变换的真实场景实时虚拟漫游系统 |
CN109842740A (zh) * | 2017-11-24 | 2019-06-04 | 富泰华工业(深圳)有限公司 | 全景摄像机、图像处理系统及图像处理方法 |
CN111640187A (zh) * | 2020-04-20 | 2020-09-08 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
CN111640187B (zh) * | 2020-04-20 | 2023-05-02 | 中国科学院计算技术研究所 | 一种基于插值过渡的视频拼接方法及系统 |
WO2021213056A1 (zh) * | 2020-04-21 | 2021-10-28 | 北京字节跳动网络技术有限公司 | 图像显示方法、装置、设备及存储介质 |
US11769466B2 (en) | 2020-04-21 | 2023-09-26 | Douyin Vision Co., Ltd. | Image display method and apparatus, device, and storage medium |
CN115134579A (zh) * | 2022-06-16 | 2022-09-30 | 抖音视界(北京)有限公司 | 一种虚拟视点的生成方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN100355272C (zh) | 2007-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1694512A (zh) | 一种交互式多视点视频系统中虚拟视点的合成方法 | |
US10846913B2 (en) | System and method for infinite synthetic image generation from multi-directional structured image array | |
US10540773B2 (en) | System and method for infinite smoothing of image sequences | |
US20190220991A1 (en) | Multi-directional structured image array capture on a 2d graph | |
US8351685B2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
CN1241419C (zh) | 用于多视图合成的方法 | |
Salahieh et al. | Test model for immersive video | |
CN102724529B (zh) | 虚拟视点视频序列的生成方法及生成装置 | |
CN1885953A (zh) | 中间矢量内插方法和执行该方法的三维显示装置 | |
CN101902657A (zh) | 一种基于深度图分层的虚拟多视点图像的生成方法 | |
CN107240147B (zh) | 图像渲染方法及系统 | |
CN104756489A (zh) | 一种虚拟视点合成方法及系统 | |
Schnyder et al. | 2D to 3D conversion of sports content using panoramas | |
EP2061005A2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
CN101047867A (zh) | 一种多视点视频颜色校正方法 | |
CN100337473C (zh) | 运动视频的全景图合成方法 | |
CN113538243A (zh) | 基于多视差注意力模块组合的超分辨图像重建方法 | |
Lu et al. | A survey on multiview video synthesis and editing | |
KR101103511B1 (ko) | 평면 영상을 입체 영상으로 변환하는 방법 | |
Yoon et al. | A framework for multi-view video coding using layered depth images | |
Liu et al. | Deep view synthesis via self-consistent generative network | |
CN107592538A (zh) | 一种降低立体视频深度图编码复杂度的方法 | |
Kim et al. | Super-resolution of multi-view ERP 360-degree images with two-stage disparity refinement | |
US20140327745A1 (en) | Rectified Stereoscopic 3D Panoramic Picture | |
CN1756312A (zh) | 一种具有运动前景的视频合成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071212 Termination date: 20140624 |
|
EXPY | Termination of patent right or utility model |