CN111629194B - 一种基于神经网络的全景视频转6dof视频的方法及系统 - Google Patents

一种基于神经网络的全景视频转6dof视频的方法及系统 Download PDF

Info

Publication number
CN111629194B
CN111629194B CN202010521611.6A CN202010521611A CN111629194B CN 111629194 B CN111629194 B CN 111629194B CN 202010521611 A CN202010521611 A CN 202010521611A CN 111629194 B CN111629194 B CN 111629194B
Authority
CN
China
Prior art keywords
panoramic
ods
depth
image
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010521611.6A
Other languages
English (en)
Other versions
CN111629194A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Shenzhi Technology Co ltd
Original Assignee
Beijing Zhongke Shenzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Shenzhi Technology Co ltd filed Critical Beijing Zhongke Shenzhi Technology Co ltd
Priority to CN202010521611.6A priority Critical patent/CN111629194B/zh
Publication of CN111629194A publication Critical patent/CN111629194A/zh
Application granted granted Critical
Publication of CN111629194B publication Critical patent/CN111629194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Abstract

本发明公开了一种基于神经网络的全景视频转6DOF视频的方法及系统，其中方法包括：将ODS全景立体图像输入到一全景深度特征提取网络中；所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；基于所述全景深度图，将原始输入的所述ODS全景立体图映射为对应的6DOF视频并保存。本发明利用卷积神经网络估计ODS全景立体图像的全景深度图，并通过将全景深度图映射为6DOF视频，解决了VR视频仅允许观察者旋转，不允许观察者自由移动的六个自由度观看的技术问题。

Description

一种基于神经网络的全景视频转6DOF视频的方法及系统
技术领域
本发明涉及VR视频制作技术领域，具体涉及一种基于神经网络的全景视频转6DOF视频的方法及系统。
背景技术
ODS(omni-directional stereo)全景立体图像为目前流行的媒体格式，比如VR头盔从视觉传感器中捕获的视频我们称之为ODS全景立体图像。VR头盔通过为佩戴者的每只眼睛分配不同的全景图像，可以模拟三维人类视觉，允许VR视频观察者旋转，但不允许观察者位置移动。
目前，VR视频制作技术领域的研究热点是如何获取高精度、低畸变率的ODS全景立体视频。比如有学者提出，通过至少3个带有鱼眼镜头的相机拍摄场景图像，然后将不同的场景图像“缝合”成ODS全景立体图像，该方法降低了ODS全景立体图像的畸变率，但还是无法实现ODS全景立体图像在VR中的6自由度(6DOF)观看，核心是观察者无法自由移动。
发明内容
本发明的目的在于提供一种基于神经网络的全景视频转6DOF视频的方法及系统，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于神经网络的全景视频转6DOF视频的方法，包括：
将ODS全景立体图像输入到一全景深度特征提取网络中；
所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；
基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的6DOF视频并保存。
作为本发明的一种优选方案，所述ODS全景立体图包括以左眼视角采集的第一ODS全景立体图像和在同个时间点以右眼视角采集的第二ODS全景立体图像，同一时刻分配给左眼的所述第一ODS全景立体图像以及分配给右眼的所述第二ODS全景立体图像模拟出三维人类视觉。
作为本发明的一种优选方案，所述全景深度特征提取网络采用卷积神经网络架构。
作为本发明的一种优选方案，通过一全景损失函数
Figure BDA0002532041240000021
表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数
Figure BDA0002532041240000022
通过以下公式表达：
Figure BDA0002532041240000023
上式中，w用于表示所述全景深度图的图宽；
h用于表示所述全景深度图的图高；
H(Δ)为所述全景深度图中的每个像素的berHu矩阵；
Figure BDA0002532041240000024
Figure BDA0002532041240000025
表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；
W用于表示所述全景深度图的边界像素的权值矩阵；
n表示W矩阵中非零元素的个数。
作为本发明的一种优选方案，所述W矩阵中各元素的元素值通过以下方法求得：
若像素pi,j为所述全景深度图的边界像素，则Wi,j＝λ，Wi,j表示作为所述W矩阵元素的所述像素pi,j对应的元素值；λ为一常数；i,j表示所述像素pi,j在所述全景深度图中的坐标位置；
若像素pi,j为非所述全景深度图的边界像素，则Wi,j＝0。
作为本发明的一种优选方案，通过经纬度坐标表示所述像素pi,j在所述全景深度图中的具体坐标位置。
作为本发明的一种优选方案，通过一边界损失函数估计所述全景深度特征提取网络提取的所述全景深度图的图像边界与真实图像边界的距离误差，所述边界损失函数通过下式表达：
Figure BDA0002532041240000026
上式中，
Figure BDA0002532041240000027
为像素b的预测深度；
y(b)为像素b的真实深度；
B(k)为表示构成所述全景深度图的图像边界的k个边界像素的集合；
N表示边界像素集合中的像素数量。
作为本发明的一种优选方案，用于表示所述全景深度图的图像边界的像素数量为16个。
本发明还提供了一种基于神经网络的全景视频转6DOF视频的系统，包括：
图像输入模块，用于输入所述ODS全景立体图像；
图像深度特征提取模块，连接所述图像输入模块，用于通过所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的所述全景深度图；
6DOF视频映射模块，连接所述图像深度特征提取模块，用于基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的所述6DOF视频并保存。
作为本发明的一种优选方案，通过一全景损失函数
Figure BDA0002532041240000031
表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数
Figure BDA0002532041240000032
通过以下公式表达：
Figure BDA0002532041240000033
上式中，w用于表示所述全景深度图的图宽；
h用于表示所述全景深度图的图高；
H(Δ)为所述全景深度图中的每个像素的berHu矩阵；
Figure BDA0002532041240000034
Figure BDA0002532041240000035
表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；
W用于表示所述全景深度图的边界像素的权值矩阵；
n表示W矩阵中非零元素的个数。
本发明利用卷积神经网络估计ODS全景立体图像的全景深度图，并通过将全景深度图映射为6DOF视频，解决了VR视频仅允许观察者旋转，不允许6自由度观看的技术问题。而且，本发明创新提出的全景损失函数和边界损失函数训练形成的全景深度图预测模型具有更高地预测精度，大幅提高了合成的6DOF视频的真实度和逼真度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于神经网络的全景视频转6DOF视频的方法的步骤图；
图2是本发明一实施例所述的基于神经网络的全景视频转6DOF视频的系统的结构图；
图3是所述全景深度特征提取网络的网络结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
首先对本发明实施例将涉及到的部分名词进行解释。本实施例中所述的ODS(omni-directional stereo)全景立体图像为所述全景视频的视频帧。DOF(degree offreedom)，中文含义为自由度，6DOF指六自由度。
本实施例提供的基于神经网络的全景视频转6DOF(degree of freedom)视频的方法，请参照图1，包括：
步骤S1，将ODS全景立体图像输入到一全景深度特征提取网络中；
步骤S2，全景深度特征提取网络提取ODS全景立体图像的图像深度特征，并输出ODS全景立体图像对应的全景深度图；
步骤S3，基于全景深度图，将原始输入的ODS全景立体图像映射为对应的6DOF视频并保存。
步骤S1中，获取ODS全景立体图像的现有方法有许多，比如可以通过多个带有鱼眼镜头的相机拍摄场景图像，然后通过图像缝合技术，将所有相机拍摄的场景图像进行“缝合”形成ODS全景立体图像。由于ODS全景立体图像的获取过程并非本发明要求权利保护的范围，所以关于关于ODS全景立体图像的具体获取过程在此不作阐述。
图3示出了本实施例提供的全景深度特征提取网络的网络结构示意图。本实施例提供的全景深度特征提取网络采用CNNs卷积神经网络架构。更具体地，本实施例对现有的U-Net神经网络的网络架构进行了改进，得到了全景深度特征提取网络。请参照图3，全景深度特征提取网络中包括多个依次级联的编码器和多个依次级联的解码器，编码器用于逐级提取ODS全景立体图像的图像深度特征；解码器的输入为编码器的输出，解码器用于基于提取的图像深度特征生成ODS全景立体图像对应的全景深度图以及基于全景深度图将原始输入的ODS全景立体图像映射为具有深度信息的全景图像。
图3中的Left指的是分配给左眼的第一ODS全景立体图像；图3中的Right指的是同一时刻分配给右眼的第二ODS全景立体图像。第一ODS全景立体图像和第二ODS全景立体图像同时分配给眼睛，可模拟出三维人类视觉。第一ODS全景立体图像和第二ODS全景立体图像进行图像融合后形成所述的ODS全景立体图像输入到全景深度特征提取网络中。
全景深度特征提取网络中提取图像特征的卷积核大小优选为3×3。由于全景深度特征提取网络的具体结构并非本发明要求权利保护的范围，所以关于全景深度特征提取网络的具体结构在此不做详细阐述。
为了提高全景深度特征提取网络预测全景深度图的精度，本实施例创新提出了一全景损失函数
Figure BDA0002532041240000051
表达全景深度特征提取网络预测全景深度图的全景损失。具体地，全景损失函数
Figure BDA0002532041240000052
通过以下公式表达：
Figure BDA0002532041240000053
上式中，w用于表示所述全景深度图的图宽；
h用于表示所述全景深度图的图高；
H(Δ)为全景深度图中的每个像素的berHu矩阵；每个像素的berHu矩阵通过现有的berHu损失函数计算而得，所以关于berHu矩阵的具体计算过程在此不做阐述；
Figure BDA0002532041240000054
Figure BDA0002532041240000055
表示全景深度特征提取网络对ODS全景立体图像中的某个像素的预测深度，y用于表示同个像素的真实深度；
W用于表示全景深度图的边界像素的权值矩阵；边界像素由全景深度特征提取网络预测而得，具体预测过程在此不做阐述；
n表示W矩阵中非零元素的个数。
W矩阵中各元素的元素值通过以下方法求得：
若像素pi,j为全景深度图的边界像素，则Wi,j＝λ，Wi,j表示作为W矩阵元素的像素pi,j对应的元素值；λ为一常数；i,j表示像素pi,j在全景深度图中的坐标位置；
若像素pi,j为非全景深度图的边界像素，则Wi,j＝0。
由于ODS全景立体图像中的水平和垂直像素表示一个球体的经度和纬度。因此ODS全景立体图像中的像素位置优选通过经纬度坐标表达。
准确识别出全景深度图的图像边界对于后续映射形成6DOF视频而言至关重要，因为如果图像边界预测不准确可能会造成后续映射的6DOF视频部分图像缺失或图像失真，影响视频真实度和流畅性，所以为了能够准确预测出图像边界，本实施例还创新提出了一边界损失函数用以估计全景深度特征提取网络提取的全景深度图的图像边界与真实图像边界的距离误差。该边界损失函数通过下式表达：
Figure BDA0002532041240000061
上式中，
Figure BDA0002532041240000062
为像素b的预测深度；
y(b)为像素b的真实深度；
B(k)为表示构成全景深度图的图像边界的k个边界像素的集合；
N表示边界像素集合中的像素数量。
经过多次实验而得，k取值为16时，全景深度特征提取网络预测的全景深度图边界的误差最小，所以全景深度特征提取网络预测的用于表示全景深度图的图像边界的边界像素的数量优选为16个。
上述技术方案中，另外需要说明的是，步骤S3中基于图像深度信息将原始输入的ODS全景立体图像映射为对应的6DOF视频的现有方法有许多，而且基于图像深度信息将原始的ODS全景立体图像映射为6DOF视频的方法也并非本发明要求权利保护的范围，所以关于6DOF视频的具体映射过程在此不做阐述。
以下对本发明一实施例提供的基于神经网络的全景视频转6DOF视频的系统进行阐述，请参照图2，该系统包括：
图像输入模块1，用于输入ODS全景立体图像；
图像深度特征提取模块2，连接图像输入模块1，用于通过全景深度特征提取网络提取ODS全景立体图像的图像深度特征，并输出ODS全景立体图像对应的全景深度图；
6DOF视频映射模块3，连接图像深度特征提取模块2，用于基于全景深度图，将原始输入的ODS全景立体图像映射为对应的6DOF视频并保存。
所述的全景深度特征提取网络采用卷积神经网络结构，具体的网络结构请参照图3，由于全景深度特征提取网络并非本发明要求权利保护的范围，所以全景深度特征提取网络的具体网络结构在此不做阐述。
本系统通过一全景损失函数
Figure BDA0002532041240000071
表达全景深度特征提取网络预测全景深度图的全景损失，全景损失函数
Figure BDA0002532041240000072
通过以下公式表达：
Figure BDA0002532041240000073
上式中，w用于表示全景深度图的图宽；
h用于表示全景深度图的图高；
H(Δ)为全景深度图中的每个像素的berHu矩阵；
Figure BDA0002532041240000074
Figure BDA0002532041240000075
表示全景深度特征提取网络对ODS全景立体图像中的某个像素的预测深度，y用于表示同个像素的真实深度；
W用于表示全景深度图的边界像素的权值矩阵；
n表示W矩阵中非零元素的个数。
W矩阵中各元素的元素值通过以下方法求得：
若像素pi,j为全景深度图的边界像素，则Wi,j＝λ，Wi,j表示作为W矩阵元素的像素pi,j对应的元素值；λ为一常数；i,j表示像素pi,j在全景深度图中的坐标位置；
若像素pi,j为非全景深度图的边界像素，则Wi,j＝0。
另外，本系统通过一边界损失函数估计全景深度特征提取网络提取的全景深度图的图像边界与真实图像边界的距离误差，边界损失函数通过下式表达：
Figure BDA0002532041240000076
上式中，
Figure BDA0002532041240000077
为像素b的预测深度；
y(b)为像素b的真实深度；
B(k)为表示构成全景深度图的图像边界的k个边界像素的集合；
N表示边界像素集合中的像素数量。
综上，本发明利用卷积神经网络估计ODS全景立体图像的全景深度图，并通过将全景深度图映射为6DOF视频，解决了VR视频仅允许观察者旋转，不允许6自由度观看的技术问题。另外，本发明通过全景损失函数和边界损失函数对预测结果进行评价，然后基于评价结果对全景深度特征提取网络的网络参数进行调整，有利于提高网络的特征提取精度，进而提升所合成的6DOF视频的真实度和逼真度。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (8)

1.一种基于神经网络的全景视频转6DOF视频的方法，其特征在于，包括：
将ODS全景立体图像输入到一全景深度特征提取网络中；
所述全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的全景深度图；
基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的6DOF视频并保存；
通过一全景损失函数
Figure FDA0002815833100000012
表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数
Figure FDA0002815833100000013
通过以下公式表达：
Figure FDA0002815833100000011
上式中，w用于表示所述全景深度图的图宽；
h用于表示所述全景深度图的图高；
H(Δ)为所述全景深度图中的每个像素的berHu矩阵；
Figure FDA0002815833100000014
Figure FDA0002815833100000015
表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；
W用于表示所述全景深度图的边界像素的权值矩阵；
n表示W矩阵中非零元素的个数。
2.如权利要求1所述的方法，其特征在于，所述ODS全景立体图包括以左眼视角采集的第一ODS全景立体图像和在同个时间点以右眼视角采集的第二ODS全景立体图像，同一时刻分配给左眼的所述第一ODS全景立体图像以及分配给右眼的所述第二ODS全景立体图像模拟出三维人类视觉。
3.如权利要求1所述的方法，其特征在于，所述全景深度特征提取网络采用卷积神经网络架构。
4.如权利要求1所述的方法，其特征在于，所述W矩阵中各元素的元素值通过以下方法求得：
若像素pi,j为所述全景深度图的边界像素，则Wi,j＝λ，Wi,j表示作为所述W矩阵元素的所述像素pi,j对应的元素值；λ为一常数；i,j表示所述像素pi,j在所述全景深度图中的坐标位置；
若像素pi,j为非所述全景深度图的边界像素，则Wi,j＝0。
5.如权利要求4所述的方法，其特征在于，通过经纬度坐标表示所述像素pi,j在所述全景深度图中的具体坐标位置。
6.如权利要求1所述的方法，其特征在于，通过一边界损失函数估计所述全景深度特征提取网络提取的所述全景深度图的图像边界与真实图像边界的距离误差，所述边界损失函数通过下式表达：
Figure FDA0002815833100000021
上式中，
Figure FDA0002815833100000022
为像素b的预测深度；
y(b)为像素b的真实深度；
B(k)为表示构成所述全景深度图的图像边界的k个边界像素的集合；
N表示边界像素集合中的像素数量。
7.如权利要求4或6所述的方法，其特征在于，用于表示所述全景深度图的图像边界的像素数量为16个。
8.一种基于神经网络的全景视频转6DOF视频的系统，其特征在于，包括：
图像输入模块，用于输入ODS全景立体图像；
图像深度特征提取模块，连接所述图像输入模块，用于通过全景深度特征提取网络提取所述ODS全景立体图像的图像深度特征，并输出所述ODS全景立体图像对应的所述全景深度图；
6DOF视频映射模块，连接所述图像深度特征提取模块，用于基于所述全景深度图，将原始输入的所述ODS全景立体图像映射为对应的所述6DOF视频并保存；
通过一全景损失函数
Figure FDA0002815833100000032
表达所述全景深度特征提取网络预测所述全景深度图的全景损失，所述全景损失函数
Figure FDA0002815833100000033
通过以下公式表达：
Figure FDA0002815833100000031
上式中，w用于表示所述全景深度图的图宽；
h用于表示所述全景深度图的图高；
H(Δ)为所述全景深度图中的每个像素的berHu矩阵；
Figure FDA0002815833100000034
Figure FDA0002815833100000035
表示所述全景深度特征提取网络对所述ODS全景立体图像中的某个像素的预测深度，y用于表示同个所述像素的真实深度；
W用于表示所述全景深度图的边界像素的权值矩阵；
n表示W矩阵中非零元素的个数。
CN202010521611.6A 2020-06-10 2020-06-10 一种基于神经网络的全景视频转6dof视频的方法及系统 Active CN111629194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010521611.6A CN111629194B (zh) 2020-06-10 2020-06-10 一种基于神经网络的全景视频转6dof视频的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521611.6A CN111629194B (zh) 2020-06-10 2020-06-10 一种基于神经网络的全景视频转6dof视频的方法及系统

Publications (2)

Publication Number Publication Date
CN111629194A CN111629194A (zh) 2020-09-04
CN111629194B true CN111629194B (zh) 2021-01-26

Family

ID=72261111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521611.6A Active CN111629194B (zh) 2020-06-10 2020-06-10 一种基于神经网络的全景视频转6dof视频的方法及系统

Country Status (1)

Country Link
CN (1) CN111629194B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037150B (zh) * 2020-09-07 2022-05-24 如你所视(北京)科技有限公司 孔洞修复模型训练及修复方法、装置、系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047101A (zh) * 2018-01-15 2019-07-23 北京三星通信技术研究有限公司 物体姿态估计方法、获得稠密深度图像的方法、相应装置
CN111105432A (zh) * 2019-12-24 2020-05-05 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device
CN109461177B (zh) * 2018-09-29 2021-12-10 浙江科技学院 一种基于神经网络的单目图像深度预测方法
CN109410261B (zh) * 2018-10-08 2021-12-10 浙江科技学院 基于金字塔池化模块的单目图像深度估计方法
CN109146944B (zh) * 2018-10-30 2020-06-26 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047101A (zh) * 2018-01-15 2019-07-23 北京三星通信技术研究有限公司 物体姿态估计方法、获得稠密深度图像的方法、相应装置
CN111105432A (zh) * 2019-12-24 2020-05-05 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法

Also Published As

Publication number Publication date
CN111629194A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
US10848743B2 (en) 3D Camera calibration for adjustable camera settings
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
JP5320524B1 (ja) ステレオ撮影装置
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
US11533431B2 (en) Method and device for generating a panoramic image
JP2023056056A (ja) データ生成方法、学習方法及び推定方法
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN113348489A (zh) 图像处理方法和装置
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
CN108564654B (zh) 三维大场景的画面进入方式
CN109788270B (zh) 3d-360度全景图像生成方法及装置
US10802390B2 (en) Spherical omnipolar imaging
CN111629194B (zh) 一种基于神经网络的全景视频转6dof视频的方法及系统
KR101670328B1 (ko) 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
KR100540732B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
WO2024022086A1 (zh) 基于三维显示的视频通信方法及系统
CN108053376A (zh) 一种语义分割信息指导深度学习鱼眼图像校正方法
CN111915739A (zh) 一种实时三维全景信息互动影息系统
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN111161399B (zh) 基于二维影像生成三维模型的数据处理方法及组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 100000 room 311a, floor 3, building 4, courtyard 4, middle Yongchang Road, Beijing Economic and Technological Development Zone, Beijing

Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Address before: 100000 303 platinum international building, block C, fortune World Building, No. 1, Hangfeng Road, Fengtai District, Beijing

Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd.

CP02 Change in the address of a patent holder
CP03 Change of name, title or address

Address after: Room 911, 9th Floor, Block B, Xingdi Center, Building 2, No.10, Jiuxianqiao North Road, Jiangtai Township, Chaoyang District, Beijing, 100000

Patentee after: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Country or region after: China

Address before: 100000 room 311a, floor 3, building 4, courtyard 4, middle Yongchang Road, Beijing Economic and Technological Development Zone, Beijing

Patentee before: Beijing Zhongke Shenzhi Technology Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address