CN111833374A - 基于视频融合的路径规划方法、系统、存储介质、及终端 - Google Patents
基于视频融合的路径规划方法、系统、存储介质、及终端 Download PDFInfo
- Publication number
- CN111833374A CN111833374A CN201910323539.3A CN201910323539A CN111833374A CN 111833374 A CN111833374 A CN 111833374A CN 201910323539 A CN201910323539 A CN 201910323539A CN 111833374 A CN111833374 A CN 111833374A
- Authority
- CN
- China
- Prior art keywords
- path
- video
- interpolation
- fusion
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 230000035772 mutation Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供基于视频融合的路径规划方法、系统、存储介质、及终端，其包括：为待规划其轨迹的融合视频设置一或多个路径关键点；基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹；提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。本申请提供基于视频融合的路径规划解决方案，相比于现有技术更适用于在混合现实中的虚拟路径须时刻与动态场景视频中不断变化的视频采集目标相适应，从而得到较为理想的视频融合结果及效果。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及基于视频融合的路径规划方法、系统、存储介质、及终端。
背景技术
视频融合技术是虚拟现实技术的一个分支，是指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。
在混合现实中，虚拟路径须时刻与动态场景视频中不断变化的视频采集目标相适应，以达到虚实行为相一致的目的。但是，现有的视频融合方法缺乏对路径规划的分析，因而在实际的应用中无法得到理想的视频融合结果及效果。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于视频融合的路径规划方法、系统、存储介质、及终端，用于解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于视频融合的路径规划方法，其包括：为待规划其轨迹的融合视频设置一或多个路径关键点；基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹；提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。
于本申请的第一方面的一些实施例中，所述方法包括：利用贝塞尔曲线算法对所述第二路径轨迹进行平滑边角突变的处理，并在第二路径轨迹的轨迹线两端分别生成平滑时间戳，以令视频角度切换实现进/出较慢且中间移动过程速度较快。
于本申请的第一方面的一些实施例中，所述第二路径轨迹的生成方式包括：将路径关键点的两两坐标之间距离按照一定的步长进行分割生成中间值，令中间值对应的点为中间值点；利用插值算法并基于原先所设置的路径关键点以及基于所述路径关键点所生成的中间值点，生成基于拟合插值的插值曲线以作为所述第二路径轨迹。
于本申请的第一方面的一些实施例中，所述插值算法包括：最近邻域插值算法、双线性插值算法、及双三次插值算法中的任一种或多种组合。
于本申请的第一方面的一些实施例中，所述方法还包括：利用较高点位的图像采集设备所采集的图像与较低点位的图像采集设备所采集的图像相结合对三维模型进行贴图映射。
于本申请的第一方面的一些实施例中，所述方法还包括：判断当前观察视点是否超过视觉临界值；若超过视觉临界值，则采用较高点位的图像采集设备所采集的图像对三维模型进行贴图映射；若未超过视觉临界值，则采用较低点位的图像采集设备所采集的图像对三维模型进行贴图映射。
于本申请的第一方面的一些实施例中，所述图像采集设备包括一方向向量；所述方向向量根据图像采集设备的位置变化而改变其位置，以使其所指方向与图像采集设备到目标视角的方向保持一致。
为实现上述目的及其他相关目的，本申请的第二方面提供一种基于视频融合的路径规划系统，其包括：关键点设置模块，用于为待规划其轨迹的融合视频设置一或多个路径关键点；路径轨迹生成模块，用于基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹；提取模块，用于提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。
为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于视频融合的路径规划方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于视频融合的路径规划方法。
如上所述，本申请的基于视频融合的路径规划方法、系统、存储介质、及终端，具有以下有益效果：本申请提供基于视频融合的路径规划解决方案，相比于现有技术更适用于在混合现实中的虚拟路径须时刻与动态场景视频中不断变化的视频采集目标相适应，从而得到较为理想的视频融合结果及效果。
附图说明
图1显示为本申请一实施例中基于视频融合的路径规划方法的流程示意图。
图2显示为本申请一实施例中视频融合优化处理的方法流程示意图。
图3显示为本申请一实施例中基于视频融合的路径规划系统的示意图。
图4显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
视频融合技术是虚拟现实技术的一个分支，是指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。
视频融合技术一般可分为三个层次，即预处理、信息融合与应用层。其中，预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩及亮度调整或配准等等。信息融合即视频图像的融合，其又分为像素级、特征级、决策级融合等等。应用层用于综合评估及应用，即视频与三维模型融合后可主要从视频与客观这两个方面进行评估，对融合结果给出评价并将融合后的信息体进行实践应用。
在混合现实中，虚拟路径须时刻与动态场景视频中不断变化的视频采集目标相适应，以达到虚实行为相一致的目的。但是，现有的视频融合方法缺乏对路径规划的分析，因而在实际的应用中无法得到理想的视频融合结果及效果。因此，本申请提供基于视频融合的路径规划方法，用于解决该些技术难题，下文将结合具体的实施例来解释说明。
如图1所示，展示本申请一实施例中基于视频融合的路径规划方法的流程示意图。本实施例中的路径规划方法可应用于ARM控制器、FPGA控制器、SoC控制器、DSP控制器、或者MCU控制器等控制器；该方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant，简称PDA)等个人电脑。或者该方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。
于本实施例中，所述基于视频融合的路径规划方法主要包括步骤S11、步骤S12、以及步骤S13。
在步骤S11中，为待规划其轨迹的融合视频设置一或多个路径关键点。
在一实施例中，所述路径关键点包括采集设备的观察视点和/或障碍规避点。优选的，在设置完成一或多个路径关键点后，可调整不理想的关键点，以使基于路径关键点所构建的路径更接近目标预想路径。所述不理想的关键点主要是指，明显偏离当前构建轨迹的路径关键点，或者与相邻的路径关键点相比有较大轨迹突变，或者未识别障碍的障碍规避点等等。
在步骤S12中，基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹。
具体的，在完成路径关键点的设置后，将路径关键点的设置参数以标准格式输入路径运算模块，所述路径运算模块利用路径规划方法精确计算生成对应的路径点，并预计算生成第一路径轨迹线。所述路径运算模块具体可利用最速下降法、部分贪婪算法,Dijkstra算法、Floyed算法、SPFA算法(Bellman_Ford的改进算法)、A*算法、D*算法、图论最短算法、人工神经网络算法、粒子群算法啊、或者蚁群算法等等进行路径规划运算。
在一些实施例中，所述第二路径轨迹的生成方式包括：将路径关键点的两两坐标之间距离按照一定的步长进行分割生成中间值，令中间值对应的点为中间值点。利用插值算法并基于原先所设置的路径关键点以及基于所述路径关键点所生成的中间值点，生成基于拟合插值的插值曲线以作为所述第二路径轨迹。
所述插值算法例如为最近邻域插值算法(Nearest Neighbor Interpolation)，即选取距离插入的像素点最近的一个像素点，用它的像素点的灰度值代替插入的像素点；所述插值算法也可以是双线性插值算法，即在像素点矩阵上通过x和y两个方向的线性插值所得的结果；所述插值算法还可以是双三次插值算法(Bicubic interpolation)，即函数f在点(x，y)的值可通过矩形网格中最近的十六个采样点的加权平均得到。需说明的是，本实施例中所指的插值算法包括但不仅限于上述三种类型，事实上现有技术中所有能够用于实现插值计算的算法均可应用于本申请的技术方案中。
在一些实施例中，所述方法还包括：利用贝塞尔曲线算法对所述第二路径轨迹进行平滑边角突变的处理，并在第二路径轨迹的轨迹线两端分别生成平滑时间戳，以实现视频角度切换动画的进/出较慢且中间移动过程速度较快的效果。
于本实施例中，所述平滑边角突变的处理主要是对图像边缘进行处理，对图像边缘添加透明度，使得越靠近图像边缘的位置透明度越高，从而达到模糊图像边界的效果，减小图像与背景的割裂感。
在步骤S13中，提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。
在一实施例中，提取所述第二路径轨迹的方式包括：选取指定相机观察点间的路径导出或是直接将两两相机观察点变换路径全部导出至标准格式文件，之后视频融合系统通过读取这些文件即可完成相机视角间的切换。
上文，从路径关键点设置、路径计算以及路径提取与读取等三方面对基于视频融合的路径规划方法做了相应的解释与说明。在实际的应用中，视频融合经常会出现视频畸变过大而导致视频融合的视觉效果不佳的情况。因此，在完成路径规划后还需要对视频融合做优化处理以避免过大的视频畸变。
在一些实施例中，视频融合做优化处理的方式包括：对虚拟相机做高低点位的设计以及视角切换的动画效果，也即利用较高点位的图像采集设备所采集的图像与较低点位的图像采集设备所采集的图像相结合对三维模型进行贴图映射，其中虚拟相机在虚拟空间中的位置由现实相机相对于现实场景的位置运算获得。
所述图像采集设备包括但不限于：相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等等。
具体的，如图2所展示的一实施例中视频融合优化处理的方法流程，本实施例中的优化处理方法包括步骤S21、步骤S22、以及步骤S23。
在步骤S21中，判断当前观察视点是否超过视觉临界值。具体的，相机点位的设计采用高低点位相结合的方式覆盖整个三维场景，并应用权值法判断当前观察视点是否超过视觉临界值。
在步骤S22中，若超过视觉临界值，则采用较高点位的图像采集设备所采集的图像对三维模型进行贴图映射。
在步骤S23中，若未超过视觉临界值，则采用较低点位的图像采集设备所采集的图像对三维模型进行贴图映射。
因此，本实施例中采用高低点位相结合的设计能够根据视觉临界值，选择与当前观察视点相适应的较高点位或较低点位的图像采集设备，从而有效防止视频畸变过大，提升视频融合的视觉效果。
在一些实施例中，采用较高点位的相机所拍摄的视频对三维模型进行映射贴图时，可进行漫游相机的视角缩放及360°旋转环绕浏览，从而能够全方位地观察整个三维场景映射贴图视频后的效果，方便及时了解整个环境的事件发生。
在一些实施例中，当视频重叠于背景上时，对视频边缘到背景实现透明化过渡。也即，根据视频像素点到视频边缘的距离，按一定比率递减像素透明度，使得透明度由100％(不透明)到0％(完全透明)的效果过渡。当视频互相重叠时，上层视频到下层视频的重叠部分进行投影贴图。视频重叠部分的投影贴图融合本质上是多图片序列按时间轴逐一融合并合成视频的投影贴图融合，是对上层视频的重叠部分进行透明化过渡实现贴图混合的自然过渡效果。视频的切换实现了淡入淡出的效果，产生虚实结合的一种过渡视觉体验。
在一些实施例中，所述图像采集设备包括一方向向量；所述方向向量根据图像采集设备的位置变化而改变其位置，以使其所指方向与图像采集设备到目标视角的方向保持一致。具体的，漫游相机包含一个二维方向指针，能够根据预先设定的模型方向来根据相机位置变化，保证指针始终指向同一个方向，将模型、视频与实际方向结合，进一步提升直观性。
所述二维方向指针表示一个方向向量，由相机的坐标位置指向当前选定的视点的坐标位置。每一个视点的坐标位置都由配置文件初始化生成，这个配置文件的数据由实际现实场景标定计算获得。在相机进行视角切换时，其坐标位置不断改变，二维方向指针始终绑定相机到目标视角的方向向量，从而实现相机视角的变换自然过渡至目标视点的视角，完成模型、视频和实际方向的统一。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图3所示，展示本申请一实施例中基于视频融合的路径规划系统的示意图。所述系统包括关键点设置模块31、路径轨迹生成模块32、以及提取模块33。关键点设置模块31用于为待规划其轨迹的融合视频设置一或多个路径关键点；路径轨迹生成模块32用于基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹；提取模块33用于提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。
需要说明的是，本实施例提供的模块与上文中提供的方法，实施方式类似，故不再赘述。另外需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。
如图4所示，展示本申请一实施例中的再一种电子终端的结构示意图。本实例提供的电子终端，包括：处理器41、存储器42、收发器43、通信接口44和系统总线45；存储器42和通信接口44通过系统总线45与处理器41和收发器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信接口44和收发器43用于和其他设备进行通信，处理器41用于运行计算机程序，使电子终端执行如上基于视频融合的路径规划方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本申请提供基于视频融合的路径规划方法、系统、存储介质、及终端，本申请提供基于视频融合的路径规划解决方案，相比于现有技术更适用于在混合现实中的虚拟路径须时刻与动态场景视频中不断变化的视频采集目标相适应，从而得到较为理想的视频融合结果及效果。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种基于视频融合的路径规划方法，其特征在于，包括：
为待规划其轨迹的融合视频设置一或多个路径关键点；
基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹；
提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。
2.根据权利要求1所述的方法，其特征在于，包括：
利用贝塞尔曲线算法对所述第二路径轨迹进行平滑边角突变的处理，并在第二路径轨迹的轨迹线两端分别生成平滑时间戳，以令视频角度切换实现进/出较慢且中间移动过程速度较快。
3.根据权利要求1所述的方法，其特征在于，所述第二路径轨迹的生成方式包括：
将路径关键点的两两坐标之间距离按照一定的步长进行分割生成中间值，令中间值对应的点为中间值点；
利用插值算法并基于原先所设置的路径关键点以及基于所述路径关键点所生成的中间值点，生成基于拟合插值的插值曲线以作为所述第二路径轨迹。
4.根据权利要求3所述的方法，其特征在于，所述插值算法包括：最近邻域插值算法、双线性插值算法、及双三次插值算法中的任一种或多种组合。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用较高点位的图像采集设备所采集的图像与较低点位的图像采集设备所采集的图像相结合对三维模型进行贴图映射。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
判断当前观察视点是否超过视觉临界值；
若超过视觉临界值，则采用较高点位的图像采集设备所采集的图像对三维模型进行贴图映射；
若未超过视觉临界值，则采用较低点位的图像采集设备所采集的图像对三维模型进行贴图映射。
7.根据权利要求5所述的方法，其特征在于，所述图像采集设备包括一方向向量；所述方向向量根据图像采集设备的位置变化而改变其位置，以使其所指方向与图像采集设备到目标视角的方向保持一致。
8.一种基于视频融合的路径规划系统，其特征在于，包括：
关键点设置模块，用于为待规划其轨迹的融合视频设置一或多个路径关键点；
路径轨迹生成模块，用于基于所设置的路径关键点生成第一路径轨迹线，并利用插值算法对所述第一路径轨迹线进行插值处理，以生成基于拟合插值的第二路径轨迹；
提取模块，用于提取所述第二路径轨迹以供执行基于视频融合的视角切换操作。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述基于视频融合的路径规划方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至7中任一项所述基于视频融合的路径规划方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323539.3A CN111833374B (zh) | 2019-04-22 | 2019-04-22 | 基于视频融合的路径规划方法、系统、存储介质、及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910323539.3A CN111833374B (zh) | 2019-04-22 | 2019-04-22 | 基于视频融合的路径规划方法、系统、存储介质、及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111833374A true CN111833374A (zh) | 2020-10-27 |
| CN111833374B CN111833374B (zh) | 2023-12-05 |
Family
ID=72912169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910323539.3A Active CN111833374B (zh) | 2019-04-22 | 2019-04-22 | 基于视频融合的路径规划方法、系统、存储介质、及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833374B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348967A (zh) * | 2020-10-29 | 2021-02-09 | 国网浙江省电力有限公司 | 一种电力设备三维模型与实时视频无缝融合的方法 |
| CN112869969A (zh) * | 2021-01-14 | 2021-06-01 | 北京三角洲机器人科技有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101320482A (zh) * | 2008-07-08 | 2008-12-10 | 浙江大学 | 基于视频纹理的虚拟跑步运动员的绘制方法 |
| CN101763439A (zh) * | 2010-03-05 | 2010-06-30 | 中国科学院软件研究所 | 一种基于草图的超视频构建方法 |
| CN102096941A (zh) * | 2011-01-30 | 2011-06-15 | 北京航空航天大学 | 虚实融合环境下的光照一致性方法 |
| US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
| CN103795976A (zh) * | 2013-12-30 | 2014-05-14 | 北京正安融翰技术有限公司 | 一种全时空立体可视化方法 |
| CN105405158A (zh) * | 2015-10-30 | 2016-03-16 | 清华大学 | 十亿像素视频的实现方法 |
| US20160249039A1 (en) * | 2015-02-24 | 2016-08-25 | HypeVR | Lidar stereo fusion live action 3d model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
| CN105955456A (zh) * | 2016-04-15 | 2016-09-21 | 深圳超多维光电子有限公司 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
| CN107113416A (zh) * | 2014-11-13 | 2017-08-29 | 华为技术有限公司 | 多视点高速运动采集的方法及系统 |
| CN107316344A (zh) * | 2017-05-18 | 2017-11-03 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
| US20180047214A1 (en) * | 2014-12-23 | 2018-02-15 | Intel Corporation | Systems and methods for contextually augmented video creation and sharing |
| CN108694741A (zh) * | 2017-04-07 | 2018-10-23 | 杭州海康威视数字技术股份有限公司 | 一种三维重建方法及装置 |
-
2019
- 2019-04-22 CN CN201910323539.3A patent/CN111833374B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101320482A (zh) * | 2008-07-08 | 2008-12-10 | 浙江大学 | 基于视频纹理的虚拟跑步运动员的绘制方法 |
| CN101763439A (zh) * | 2010-03-05 | 2010-06-30 | 中国科学院软件研究所 | 一种基于草图的超视频构建方法 |
| CN102096941A (zh) * | 2011-01-30 | 2011-06-15 | 北京航空航天大学 | 虚实融合环境下的光照一致性方法 |
| US20130215239A1 (en) * | 2012-02-21 | 2013-08-22 | Sen Wang | 3d scene model from video |
| CN103795976A (zh) * | 2013-12-30 | 2014-05-14 | 北京正安融翰技术有限公司 | 一种全时空立体可视化方法 |
| CN107113416A (zh) * | 2014-11-13 | 2017-08-29 | 华为技术有限公司 | 多视点高速运动采集的方法及系统 |
| US20180047214A1 (en) * | 2014-12-23 | 2018-02-15 | Intel Corporation | Systems and methods for contextually augmented video creation and sharing |
| US20160249039A1 (en) * | 2015-02-24 | 2016-08-25 | HypeVR | Lidar stereo fusion live action 3d model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
| CN105405158A (zh) * | 2015-10-30 | 2016-03-16 | 清华大学 | 十亿像素视频的实现方法 |
| CN105955456A (zh) * | 2016-04-15 | 2016-09-21 | 深圳超多维光电子有限公司 | 虚拟现实与增强现实融合的方法、装置及智能穿戴设备 |
| CN108694741A (zh) * | 2017-04-07 | 2018-10-23 | 杭州海康威视数字技术股份有限公司 | 一种三维重建方法及装置 |
| CN107316344A (zh) * | 2017-05-18 | 2017-11-03 | 深圳市佳创视讯技术股份有限公司 | 一种虚实融合场景中漫游路径规划的方法 |
Non-Patent Citations (4)
| Title |
|---|
| STEFFEN GAUGLITZ等: "World-Stabilized Annotations and Virtual Scene Navigation for Remote Collaboration", 《UIST‘14：PROCEEDINGS OF THE 27TH ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY》, pages 449 - 459 * |
| 张辉等: "一种基于三维建图和虚拟现实的人机交互系统", 《控制与决策》, vol. 33, no. 11, pages 1980 - 1981 * |
| 程雪雪: "多摄像机目标协同跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 12, pages 138 - 786 * |
| 简洪登: "数字地球科学平台中实时视频运动目标的智能模拟与分析", 《中国博士学位论文全文数据库 信息科技辑》, no. 10, pages 138 - 10 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112348967A (zh) * | 2020-10-29 | 2021-02-09 | 国网浙江省电力有限公司 | 一种电力设备三维模型与实时视频无缝融合的方法 |
| CN112869969A (zh) * | 2021-01-14 | 2021-06-01 | 北京三角洲机器人科技有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
| CN112869969B (zh) * | 2021-01-14 | 2023-01-17 | 安徽金百合医疗器械有限公司 | 一种用于电动轮椅的全方位通行策略生成系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833374B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Attal et al. | MatryODShka: Real-time 6DoF video view synthesis using multi-sphere images | |
| Sahu et al. | Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review | |
| CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| US11270492B2 (en) | Graphics processing systems | |
| US20100053347A1 (en) | Content-Aware Video Stabilization | |
| CN111737518B (zh) | 基于三维场景模型的图像展示方法、装置及电子设备 | |
| CN108898630A (zh) | 一种三维重建方法、装置、设备和存储介质 | |
| CN112819944A (zh) | 三维人体模型重建方法、装置、电子设备及存储介质 | |
| CN110868541B (zh) | 视场融合方法及装置、存储介质、终端 | |
| US11044398B2 (en) | Panoramic light field capture, processing, and display | |
| CN110945868B (zh) | 用于生成场景的平铺三维图像表示的装置和方法 | |
| KR20220120674A (ko) | 3차원 재구성 방법, 장치, 기기 및 저장 매체 | |
| JP2023549069A (ja) | 位置姿勢取得方法及びその装置、電子機器、記憶媒体並びにプログラム | |
| CN111833374B (zh) | 基于视频融合的路径规划方法、系统、存储介质、及终端 | |
| KR20190078890A (ko) | 그리드 기반의 평면 추정 방법 및 장치 | |
| Dong et al. | Real-time occlusion handling for dynamic augmented reality using geometric sensing and graphical shading | |
| Zhang et al. | Video extrapolation in space and time | |
| CN113886510A (zh) | 一种终端交互方法、装置、设备及存储介质 | |
| CN113887507A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN116228850A (zh) | 物体姿态估计方法、装置、电子设备及可读存储介质 | |
| JP2024521816A (ja) | 無制約画像手ぶれ補正 | |
| CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
| CN112907733A (zh) | 重建三维模型的方法及装置和三维模型采集及重建系统 | |
| CN112634439A (zh) | 一种3d信息展示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |