CN108830925B - 一种基于球幕视频流的三维数字化建模方法 - Google Patents
一种基于球幕视频流的三维数字化建模方法 Download PDFInfo
- Publication number
- CN108830925B CN108830925B CN201810432930.2A CN201810432930A CN108830925B CN 108830925 B CN108830925 B CN 108830925B CN 201810432930 A CN201810432930 A CN 201810432930A CN 108830925 B CN108830925 B CN 108830925B
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- point
- video stream
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于球幕视频流的三维数字化建模方法。包括以下步骤：S手持球幕相机按照用户需求的路线进行视频拍摄；S2获取手持球幕相机视频流；S3在视频流中自动提取关键帧；S4利用超分辨率算法提高关键帧图像的图像质量；S5对关键帧图像上的像素点进行跟踪，得到稠密点云；S6选取跟踪稳定像素点利用PnP算法估计相机运动轨迹，从而确定相机位置和朝向；稳定像素点是位于关键帧图像中间区域上的点且连续跟踪帧数大于10帧；S7根据步骤S5中得到的稠密点云及步骤S6中得到的相机位置和朝向进行三维建模。本发明提供了一种无需定点拍摄、三维模型建立稳定性高，视觉效果流畅度高的三维数字化建模方法。
Description
技术领域
本发明涉及三维成像建模技术领域，涉及一种三维数字化建模方法，具体涉及一种基于球幕视频流的三维数字化建模方法。
背景技术
在三维数字化建模技术领域中，相机的定位是重要的基础技术指标，传统的相机定位是通过拍照的方式在某一点拍一张照片，再换到另一点进行拍照，之后用两点或者多点拍摄的照片进行位置的对比从而建立三维模型，这种方式得到的视频帧是不连续的，因此会产生数据的偏移或误差，从而导致在建模过程中引入重大的误差，这成为了三维数字化建模领域中的一大难题。
为了解决上述问题，技术人员在连续拍摄的视频中抓取关键帧，然后对关键帧进行高分辨还原，然而在这又遇到了新的问题，相机在移动的过程中无法对相机本身进行定位。
解决这个问题的传统的方式是SLAM，比如：一副图像是10000*5000的像素，可能就从中提取500个特征点，然后跟踪这500个特征点，无论相机走到哪里，VSLAM的方式一直跟踪的都是这500个特征点。这样导致特征点不全面，仅能针对之前提取的500特征点进行跟踪，因此跟踪的稳定性就会很差。另一方面，由于传统的方式的效果呈现都是通过点与点的方式进行过渡，会出现卡顿的情况；且通过现有方法建立模型的场景漫游方式只能呈现出导览的或者结构化的效果，细节不多，不够精致。因此客户体验不佳。
本发明旨在于提供一种基于球幕视频流的三维数字化建模方法，从而解决上述问题。
发明内容
为了解决背景技术中所提到的计算数据量过大的问题，本发明旨在于提供一种基于球幕视频流的三维数字化建模方法，通过将球幕相机在大场景中连续拍摄并采用光流(optical flow)的方式进行相机定位从而得到更准确的相机定位也使得建模更加稳定，本发明提供的技术方主要解决的技术问题为相机在移动的过程中对相机本身进行定位。
为了实现上述目的，本发明采用的技术方案如下：一种基于球幕视频流的三维数字化建模方法，其特殊之处在于：包括以下步骤：
S1手持球幕相机按照用户需求的路线进行视频拍摄；
S2获取手持球幕相机视频流；
S3在视频流中自动提取关键帧；
S4利用超分辨率算法提高关键帧图像的图像质量；
S5对关键帧图像上的像素点进行跟踪，得到稠密点云；
S6选取跟踪稳定的像素点利用PnP算法估计相机运动轨迹，从而确定相机位置和朝向；
S7根据步骤S5中得到的稠密点云及步骤S6中得到的相机位置和朝向进行三维建模。
上述步骤S6中稳定像素点是位于关键帧图像中间区域上的点且连续跟踪帧数大于10帧。
上述步骤S4是利用超分辨率算法提高关键帧图像的图像质量；上述超分辨率算法包括以下步骤：
S41上述基于光流法的图像配准算法的关键函数表示公式为：
其中，ρD(·)是一个惩罚函数，用来保证估计的运动矢量符合光流法的模型；
I1和I2是用来进行配准的两幅图像；u和v分别代表着水平和垂直方向的分量；λ是正则化参数；ρs(·)是所估计运动矢量矩阵的一个平滑约束；Δ(i，j)是图像中点(i，j)和其相邻点的差值；
利用基于光流法的图像配准算法得到准确的运动矢量矩阵的关键在于迭代的寻找最优解，即图像配准是由低分辨率到高分辨率的反复迭代过程。最优解的求解过程由二次惩罚函数开始，迭代一定次数之后，接着二次惩罚函数转换为Charbonnier惩罚函数，再进行一定的迭代次数之后能得到一个收敛的结果；
S42基于公式(1)推导出第k幅低分辨率图像与原始高分辨率的关系公式(2)为：
gk＝DkCkEk f+nk (2)
S43假设在低分辨率图像的生成过程中Ck和Dk是不变的，低分辨率图像的生成模型公式为:
gk＝DCEk f+nk (3)
其中，公式(2)与公式(3)中，Ek代表图像生成模型仿射变换；Ck表示点扩散函数的模糊矩阵；Dk是下采样矩阵；nk代表噪声；gk为低分辨率图像，f为高分辨率图像。
上述步骤S2中视频流获取图片的速度为每秒24帧。
上述步骤S3中关键帧为视频流每秒获取图片中的任意一帧。
本发明有益效果在于，该发明是基于球幕视频流的三维数字化建模，具体操作方法是在整个空间中走一圈(走位)持续不断地进行视频拍摄，用光流(optical flow)的方式进行相机定位。该发明有以下优点，首先，从操作上看，只需手持球幕相机进行走位，不需要选择特定的拍摄对象，也无需定点拍摄，可以拍摄运动或静止的物体，使得拍摄更加方便和灵活。其次，传统拍照方式是在某一点拍一张照片，因此得到的视频帧是不连续的，与之相比基于视频流获取图片的速度可达到每秒24帧，所得信息量远远超过传统图片获取方式，因此相机定位更准确，建模也比传统方式更稳定。传统建模方法是通过点与点的方式进行过渡，会出现卡顿的情况。本发明则可以实现通过视频进行过渡，不仅模型建立更加稳定，所呈现出来的视觉效果也更加流畅。最后，该发明的另一个亮点是其可扩展领域广泛，比如可将其置于无人机上进行拍摄。
附图说明
图1为本发明的稳定像素点选取中间区域示意图；
图2为本发明稳定像素点关键帧图像全景示意图；
图3为本发明稳定像素点选取结果示意图；
图4为本发明点云和光流定位效果示意图一；
图5为本发明点云和光流定位效果示意图二；
图6为本发明点云和光流定位效果示意图三。
具体实施方式
以下将结合实施例对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
参见图1-6，一种基于球幕视频流的三维数字化建模方法，包括以下步骤:
S1手持球幕相机按照用户需求的路线进行视频拍摄；
S2获取手持球幕相机视频流；
S3在视频流中自动提取关键帧；
S4利用超分辨率算法提高关键帧图像的图像质量；
S5对关键帧图像上的像素点进行跟踪，得到稠密点云；
S6选取跟踪稳定的、有代表性的像素点利用PnP算法估计相机运动轨迹，从而确定相机位置和朝向；
S7根据步骤S5中得到的稠密点云及步骤S6中得到的相机位置和朝向进行三维建模。
上述步骤S2中从视频流获取图片的速度最低为每秒24帧，即可以覆盖视频中的大部分图片，所获取的图片可组成最低帧数的视频。
上述步骤S3中关键帧为视频流每秒获取图片中的任意一帧，可适用任何一个视频，不需要专业人员来拍摄视频。
上述步骤S4是利用超分辨率算法提高关键帧图像的图像质量；上述超分辨率算法包括以下步骤：
S41上述基于光流法的图像配准算法的关键函数表示公式为：
其中，ρD(·)是一个惩罚函数，用来保证估计的运动矢量符合光流法的模型；
I1和I2是用来进行配准的两幅图像；
u和v分别代表着水平和垂直方向的分量；
λ是正则化参数；
ρs(·)是所估计运动矢量矩阵的一个平滑约束；
Δ(i，j)是图像中点(i，j)和其相邻点的差值；
利用基于光流法的图像配准算法得到准确的运动矢量矩阵的关键在于迭代的寻找最优解，即图像配准是由低分辨率到高分辨率的反复迭代过程，最优解的求解过程由二次惩罚函数开始，迭代一定次数之后，接着二次惩罚函数转换为Charbonnier惩罚函数，再进行一定的迭代次数之后能得到一个收敛的结果；
S42基于公式(1)推导出第k幅低分辨率图像与原始高分辨率的关系公式(2)为：
gk＝DkCkEk f+nk (2)
S43假设在低分辨率图像的生成过程中Ck和Dk是不变的，低分辨率图像的生成模型公式为:
gk＝DCEk f+nk (3)
其中，公式(2)与公式(3)中，Ek代表图像生成模型仿射变换；Ck表示点扩散函数的模糊矩阵；Dk是下采样矩阵；nk代表噪声；gk为低分辨率图像，f为高分辨率图像。
所述步骤S5中，关键帧图像上的像素点进行跟踪，采用的是光流跟踪的方法，它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
在本发明中采用Kanade-Lucas-Tomasi(KLT)方法进行目标跟踪，讲述其中步骤：
先说KLT算法的几个前提假设：(1)亮度恒定，(2)时间连续或者是运动是“小运动”，(3)空间一致，临近点有相似运动，保持相邻。
如果判断一个视频的相邻两帧I、J在某局部窗口w上是一样的，则在窗口w内有：I(x,y,t)＝J(x',y',t+τ)，假设(1)即为了保证其等号成立不受亮度的影响，假设(2)是为了保证KLT能够找到点，假设(3)则为以下原因假设，即对于同一个窗口中，所有点的偏移量都相等：
在窗口w上，所有(x,y)都往一个方向移动了(dx,dy)，从而得到(x',y')，即t时刻的(x,y)点在t+τ时刻为(x+dx,y+dy)，所以寻求匹配的问题可化为对以下的式子寻求最小值，或叫做最小化以下式子：
用积分来表示上述式子，以上式子可等效为：
这个式子的含义，即找到两副图像中，在W窗口中，I、J的差异，其中I以x-d/2为中心，J以x+d/2为中心，w/2为半径的一个矩形窗口间的差异，函数ε(d)要取得最小值，这个极值点的导数一定为0，即
于是，问题转化为：
其中：
从而，问题即为：
即其等式可看作为：
Zd＝e
其中，Z为一个2*2的矩阵，e为一个2*1的向量，
Z＝∫∫wg(x)gT(x)w(x)dx
e＝∫∫w[I(x)-J(x0]g(x)w(x)dx
为了要使d能够得到解，则Z需要满足条件，即Z*Z'矩阵可逆，其中Z'为Z矩阵的转置(ZT)，在一般情况下，角点具有这样的特点。
通过上述KLT算法进行目标跟踪，得到很多点的轨迹，即稠密点云。
上述步骤S6中稳定像素点是位于关键帧图像中间区域上的点且连续跟踪帧数大于10帧，这样获取的稳定像素点才可以估计相机运动轨迹，从而确定相机位置和朝向。
需要进一步说明的是：PnP算法是指通过多对3D与2D匹配点，在已知或者未知相机内参的情况下，利用最小化重投影误差来求解相机外参的算法。PnP算法是SLAM前端位姿跟踪部分中常用的算法之一。
进一步的，在步骤S7中，根据步骤S5中得到的稠密点云及步骤S6中得到的相机位置和朝向进行三维建模，具体过程如下：
S61基于稠密点云和相机位置和朝向进行三维建模；
S62对三维建模完成的模型贴图。
需要进一步说明的是，所述步骤S61中可分为：
S61.1初步计算出所述球幕相机位置得到部分有噪音点稠密点云，用距离和重投影的方式进行滤波滤掉噪音点；
S61.2对稠密点云做标记即整体点云中，并进行对应的标记；
S61.3以每个稠密点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S61.4将被射线包围的空间抠出来；
S61.5基于图论最短路径的方式做闭合空间。
需要说明的是，所述稠密点云为每个所述球幕相机可看见过滤之后所获得的。其中步骤S61.3也可理解为以每个稠密点云为起点，以对应的球幕相机作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间。
需要进一步说明的是，过滤指的是：在确认了关键帧图像上的像素点中某一点对应的三维坐标位置后，将这个三维坐标点重新投影到原来的球幕关键帧图像上，再次确认是否仍是那个点。其原因是，关键帧图像的点与其在三维世界的点的位置是一一对应关系，所以在确认了关键帧图像中某一点的三维坐标点后，可以将这个三维坐标点重新投射回去验证二维坐标点是否仍在原来的位置，以此来决定该像素点是否为噪点，是否需要过滤。
需要进一步说明的是，利用公式计算出对应的相机及其拍到的图形颜色：
V1＝normalize(CameraMatrixi*V0)
式中：V0为任何一个需要采样的空间点坐标(x，y，z，1)，对于一个模型需要光栅化所有点；V1为V0变换到相机空间的新位置坐标，通过向量归一化变换到单位球面上；Tx和Ty为V0所对应的纹理坐标(x，y)，选用坐标系为OPENGL纹理坐标系；aspecti：采样用的第i个全景图片的长宽比；CameraMatrixi：采样用的第i个全景图片的变换矩阵，将相机位置变换到原点，并重置相机面朝方向。
实施例
通过附图进一步对本发明的三维建模进行描述，本发明主要的实施方法为：S1手持球幕相机按照用户需求的路线进行视频拍摄；
S2获取手持球幕相机视频流；
S3在视频流中自动提取关键帧；
S4利用超分辨率算法提高关键帧图像的图像质量；
S5对关键帧图像上的像素点进行跟踪，得到稠密点云；
S6选取跟踪稳定的、有代表性的像素点利用PnP算法估计相机运动轨迹，从而确定相机位置和朝向；
S7根据步骤S5中得到的稠密点云及步骤S6中得到的相机位置和朝向进行三维建模。
需要进一步说明的是：传统VSLAM方式检测特征点过程如下：比如一副图像是10000*5000的像素，可能就从中提取500个特征点，然后跟踪这500个特征点，无论相机走到哪里，VSLAM的方式一直跟踪的都是这500个特征点。但是本发明中采用光流的方式是对在特定位置上的全部像素的跟踪，而不仅仅是对部分特征点的跟踪，这样跟踪的稳定性就提高了。
需要进一步说明的是：本发明基于全像素光流法，还具有反推建模的效果。现有技术中基于特征点进行的建模只有针对特征点才能反推到三维空间中的点，比如400个特征点就只能在空间中建400个点。基于光流的方式可以得到更加稠密的点云，同样也是提高了稳定性和后期建模的精确度。
需要进一步说明的是：本发明采用全像素光流法跟踪得出来的点云就直接是稠密点云，点云本身就是基于像素点生成的，跟踪全部像素就可以得到全部点云，点云稠密程度在图像上呈现为大致可以看出场景基本框架，之后按正常的建模方法建模就可。
VSLAM和光流两个原理是完全不同的。过去SLAM和SFM定位的方式是离散的，其操作主要是在空间中不同的位置进行拍摄得到照片，只能在这些不同点位得到的照片中找联系，也就是特征点匹配的过程。本发明中光流的方式则是基于不同的操作，即通过镜头直接视频取景，这个信息量非常大，与单帧图片相比信息量不是一个量级，本发明根据视频的连贯性来确定点位的位置，帧与帧之间的差别会很小，所以可以做到像素对像素的匹配，所以本发明的光流法更稳定。
需要进一步说明的是：本发明所提供的三维数字化建模方法可以对动态场景进行建模。正常的光流检测，是相机固定，视频中有运动物体，而采用本发明所提供的方法建模既可以是静态场景，相机在运动；也可以是相机运动的同时物体也处于运动状态。
需要进一步说明的是：做三维建模第一步都是在找匹配特征点，即找出不同的镜头都捕捉到的相同的像素点，现有技术中基于不同图片看到的相同的点的数量和质量以及在跟踪这些特征点的稳定性上都无法与基于视频流的方式相比较。包括在呈现效果上，传统方式是通过点与点的方式进行过渡，会出现卡顿的情况。本发明所提供的光流建模方法可以实现通过视频进行过渡，不仅模型建立更加稳定，所呈现出来的视觉效果也更加流畅。
本发明是通过镜头直接视频取景，这个信息量与单帧图片相比信息量不是一个量级，非常大，本发明根据视频的连贯性来确定点位的位置。因此，本发明还提供一种提高计算机效率的算法，变分方法的实时光流计算。
CLG(combined local-global method)方法是一种最近的变分技术，它将Horn和Schunck方法的稠密流场的质量与Lucas-Kanade方法的噪声鲁棒性相结合，当适当的方法与现代数值技术相结合时，光流场的实时变分计算是可能的。
用CLG方法进行光流计算，CLG方法结合了全局(global)Horn和Schunck方法的优势和局部(local)的Lucas-Kanade方法。设f(x，y，t)为图像序列，其中(x，y)表示矩形图像域Ω内的位置，t为时间。CLG方法计算光学流场
在某个时间t作为能量函数的最小值
其中矢量场
描述位移，
是空间梯度
表示时空梯度
矩阵
是
给出的结构张量，其中*表示卷积，Kρ是标准差ρ的高斯分布。权重α>0用作正则化参数。
对于ρ→0，CLG方法归结为Horn和Schunck方法，对于α→0，它变为Lucas-Kanade算法。它将Horn-Schunck的稠密流场与具有较高噪声鲁棒性的Lucas Kanade相结合。为了恢复光学流场，能量函数E(u，v)必须最小化。这是通过求解它的欧拉-拉格朗日方程来完成的，
其中Δ表示Laplacean。
如图1-6所示，图1为本发明的稳定像素点选取中间区域示意图，本发明选取图中空白区域的点进行跟踪，且连续跟踪帧数大于10帧；图2为图1中的本发明的稳定像素点关键帧图像全景示意图；图3为本发明稳定像素点选取结果示意图，选取原则为连续跟踪帧数大于10帧，图3中的中间区域具有很多稳定像素点，在图3中可看出，已用灰白点标出，在彩色的实际效果中为绿点标出；图4为本发明点云和光流定位效果示意图一；图5为本发明点云和光流定位效果示意图二；图6为本发明点云和光流定位效果示意图三；图4、图5、图6表示一个连贯过程，从开始的第一个房间，过渡到第2个房间。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。
Claims (4)
1.一种基于球幕视频流的三维数字化建模方法，其特征在于：包括以下步骤：
S1手持球幕相机按照用户需求的路线进行视频拍摄；
S2获取手持球幕相机视频流；
S3在视频流中自动提取关键帧；
S4利用超分辨率算法提高关键帧图像的图像质量；
S5对关键帧图像上的像素点进行跟踪，得到稠密点云；
S6选取跟踪稳定像素点利用PnP算法估计相机运动轨迹，从而确定相机位置和朝向；
S7根据步骤S5中得到的稠密点云及步骤S6中得到的相机位置和朝向进行三维建模；具体过程如下：
S61基于稠密点云和相机位置和朝向进行三维建模；
S62对三维建模完成的模型贴图；
所述步骤S61中可分为：
S61.1初步计算出所述球幕相机位置得到部分有噪音点稠密点云，用距离和重投影的方式进行滤波滤掉噪音点；
S61.2对稠密点云进行标记；
S61.3以每个稠密点云为起点，以对应的球幕相机为终点作一条虚拟直线，多个所述虚拟直线经过的空间交织在一起，形成一个可视空间；
S61.4将被射线包围的空间抠出来；
S61.5基于图论最短路径的方式做闭合空间；
所述步骤S3中关键帧为视频流每秒获取图片中的任意一帧。
2.根据权利要求1所述的一种基于球幕视频流的三维数字化建模方法，其特征在于：所述步骤S6中稳定像素点是位于关键帧图像中间区域上的点且连续跟踪帧数大于10帧。
3.根据权利要求1所述的一种基于球幕视频流的三维数字化建模方法，其特征在于：所述步骤S4是利用超分辨率算法提高关键帧图像的图像质量；所述超分辨率算法包括以下步骤：
S41基于光流法的图像配准算法的关键函数表示公式为：
其中，ρD(·)是一个惩罚函数，用来保证估计的运动矢量符合光流法的模型；
I1和I2是用来进行配准的两幅图像；u和v分别代表着水平和垂直方向的分量；λ是正则化参数；ρs(·)是所估计运动矢量矩阵的一个平滑约束；Δ(i，j)是图像中点(i，j)和其相邻点的差值；
利用基于光流法的图像配准算法得到准确的运动矢量矩阵的关键在于迭代的寻找最优解，即图像配准是由低分辨率到高分辨率的反复迭代过程，最优解的求解过程由二次惩罚函数开始，迭代一定次数之后，接着二次惩罚函数转换为Charbonnier惩罚函数，再进行一定的迭代次数之后能得到一个收敛的结果；
S42基于公式(1)推导出第k幅低分辨率图像与原始高分辨率的关系公式(2)为：
gk＝DkCkEkf+nk (2)
S43假设在低分辨率图像的生成过程中Ck和Dk是不变的，低分辨率图像的生成模型公式为:
gk＝DCEkf+nk (3)
其中，公式(2)与公式(3)中，Ek代表图像生成模型仿射变换；Ck表示点扩散函数的模糊矩阵；Dk是下采样矩阵；nk代表噪声；gk为低分辨率图像，f为高分辨率图像。
4.根据权利要求1所述的一种基于球幕视频流的三维数字化建模方法，其特征在于：所述步骤S2中视频流获取图片的速度为每秒24帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810432930.2A CN108830925B (zh) | 2018-05-08 | 2018-05-08 | 一种基于球幕视频流的三维数字化建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810432930.2A CN108830925B (zh) | 2018-05-08 | 2018-05-08 | 一种基于球幕视频流的三维数字化建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108830925A CN108830925A (zh) | 2018-11-16 |
| CN108830925B true CN108830925B (zh) | 2020-09-15 |
Family
ID=64148496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810432930.2A Active CN108830925B (zh) | 2018-05-08 | 2018-05-08 | 一种基于球幕视频流的三维数字化建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108830925B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610520B (zh) * | 2019-08-29 | 2022-03-29 | 中德（珠海）人工智能研究院有限公司 | 一种基于双球幕相机的视觉定位方法及系统 |
| CN112132466A (zh) * | 2020-09-24 | 2020-12-25 | 中德（珠海）人工智能研究院有限公司 | 基于三维建模的路线规划方法、装置、设备和存储介质 |
| CN112116633A (zh) * | 2020-09-25 | 2020-12-22 | 深圳爱莫科技有限公司 | 一种矿井打钻计数方法 |
| CN113295089B (zh) * | 2021-04-07 | 2024-04-26 | 深圳市异方科技有限公司 | 一种基于视觉惯性slam的车厢车厢容积率测量方法 |
| CN115830095A (zh) * | 2021-09-15 | 2023-03-21 | 中兴通讯股份有限公司 | 点云生成方法、装置、电子设备、系统和计算机存储介质 |
| CN113822866A (zh) * | 2021-09-23 | 2021-12-21 | 深圳爱莫科技有限公司 | 一种广适应的车轴数量识别方法、系统、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104992441B (zh) * | 2015-07-08 | 2017-11-17 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
| CN105551086B (zh) * | 2015-12-04 | 2018-01-02 | 华中科技大学 | 一种基于计算机视觉的个性化脚部建模与鞋垫定制方法 |
| CN106780592B (zh) * | 2016-06-30 | 2020-05-22 | 华南理工大学 | 基于相机运动和图像明暗的Kinect深度重建方法 |
| CN106251399B (zh) * | 2016-08-30 | 2019-04-16 | 广州市绯影信息科技有限公司 | 一种基于lsd-slam的实景三维重建方法及实施装置 |
-
2018
- 2018-05-08 CN CN201810432930.2A patent/CN108830925B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108830925A (zh) | 2018-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830925B (zh) | 一种基于球幕视频流的三维数字化建模方法 | |
| CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
| US11721067B2 (en) | System and method for virtual modeling of indoor scenes from imagery | |
| CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
| CN101616310B (zh) | 可变视角及分辨率的双目视觉系统目标图像稳定化方法 | |
| US9613420B2 (en) | Method for locating a camera and for 3D reconstruction in a partially known environment | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| CN107843251B (zh) | 移动机器人的位姿估计方法 | |
| Mann et al. | Video orbits of the projective group: A new perspective on image mosaicing | |
| EP3296952B1 (en) | Method and device for blurring a virtual object in a video | |
| JP2015521419A (ja) | コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム | |
| WO2019164498A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
| CN108958469B (zh) | 一种基于增强现实的在虚拟世界增加超链接的方法 | |
| CN110211169B (zh) | 基于多尺度超像素和相位相关的窄基线视差的重构方法 | |
| CN110245199B (zh) | 一种大倾角视频与2d地图的融合方法 | |
| CN108629829A (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
| CN107038758A (zh) | 一种基于orb算子的增强现实三维注册方法 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| CN110580715A (zh) | 一种基于照度约束和格网变形的图像对齐方法 | |
| CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
| Mann et al. | 'Video Orbits': Characterizing the Coordinate Transformation Between Two Images Using the Projective Group | |
| CN116664621A (zh) | 一种基于车载多目摄像头和深度神经网络的slam系统 | |
| Lerner et al. | Direct method for video-based navigation using a digital terrain map | |
| JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |