CN110335300A - 基于视频融合的场景动态模拟方法、系统及存储介质 - Google Patents

基于视频融合的场景动态模拟方法、系统及存储介质 Download PDF

Info

Publication number
CN110335300A
CN110335300A CN201910398606.8A CN201910398606A CN110335300A CN 110335300 A CN110335300 A CN 110335300A CN 201910398606 A CN201910398606 A CN 201910398606A CN 110335300 A CN110335300 A CN 110335300A
Authority
CN
China
Prior art keywords
scene
threedimensional model
dimensional
motion
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910398606.8A
Other languages
English (en)
Inventor
李新福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Kangyun Technology Co Ltd
Original Assignee
Guangdong Kangyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Kangyun Technology Co Ltd filed Critical Guangdong Kangyun Technology Co Ltd
Priority to CN201910398606.8A priority Critical patent/CN110335300A/zh
Publication of CN110335300A publication Critical patent/CN110335300A/zh
Priority to PCT/CN2020/090218 priority patent/WO2020228767A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了基于视频融合的场景动态模拟方法、系统及存储介质，方法包括：扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；对场景的三维模型进行分割与智能识别，得到场景的对象；控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。本发明先根据扫描的三维数据重建出场景的三维模型，然后通过分割与智能识别得到场景的对象，最后让识别出的对象在场景的三维模型运动，从而模拟出动态的三维场景，不仅能模拟出场景的静态三维模型，而且可以结合分割与智能识别的结果模拟出真实场景的动态过程，最大限度地还原真实场景。本发明可广泛应用于三维建模领域。

Description

基于视频融合的场景动态模拟方法、系统及存储介质
技术领域
本发明涉及三维建模领域，尤其是一种基于视频融合的场景动态模拟方法、系统及存储介质。
背景技术
随着计算机等设备在各行各业的广泛应用，人们开始不满足于计算机等设备仅能显示二维的图像，更希望计算机等设备能表达出具有强烈真实感的现实三维世界。三维建模可以使计算机等设备做到这一点。三维建模，就是利用三维数据将现实中的三维物体或场景在计算机等设备中进行重建，最终实现在计算机等设备上模拟出真实的三维物体或场景。而三维数据就是使用各种三维数据采集设备采集得到的数据，它记录了有限体表面在离散点上的各种物理参量。
真实的场景一般包含有动态信息，但目前的三维建模技术大多只能重建模拟出场景的静态三维模型，而无法在场景的三维模型中模拟出真实场景的动态过程，亟待进一步完善和提高。
发明内容
为解决上述技术问题，本发明实施例的目的在于：提供一种基于视频融合的场景动态模拟方法、系统及存储介质。
本发明实施例所采取的第一技术方案是：
基于视频融合的场景动态模拟方法，包括以下步骤：
扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；
对场景的三维模型进行分割与智能识别，得到场景的对象；
控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。
进一步，所述扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型这一步骤，具体包括：
通过扫描设备扫描的方式获取场景的三维数据，所述扫描设备包括空间扫描仪、航拍扫描仪、物体扫描仪和人体扫描仪；
根据获取场景的三维数据采用人工智能的方法进行三维重建，生成场景的三维模型，其中，三维重建包括模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染；
根据场景的三维模型生成对应的链接。
进一步，所述对场景的三维模型进行分割与智能识别，得到场景的对象这一步骤，具体包括：
从场景的三维模型获取点云数据；
对获取的点云数据进行分割，得到场景内对象的点云；
采用人工智能的方法对场景内对象的点云进行智能识别，得到场景的对象名称。
进一步，所述控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景这一步骤，具体包括：
根据给定的样本和标签采用人工智能的方法训练对象在运动状态下的运动模型；
将场景的对象的运动状态输入训练好的运动模型，得到对象的运动路径；
控制场景的对象在场景的三维模型内沿着得到的运动路径进行运动。
进一步，所述控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景这一步骤，具体为：
控制场景的对象在场景的三维模型内随机运动，所述场景的对象在场景的三维模型内随机运动时根据智能识别的结果绕开障碍物运动。
进一步，还包括以下步骤：
获取场景内的实时视频流；
将场景内的实时视频流叠加至场景的三维模型内进行实时展示，以生成场景的3D动态实景。
本发明实施例所采取的第二技术方案是：
基于视频融合的场景动态模拟系统，包括以下模块：
扫描与建模模块，用于扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；
分割与智能识别模块，用于对场景的三维模型进行分割与智能识别，得到场景的对象；
运动控制模块，用于控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。
进一步，所述运动控制模块具体包括：
训练单元，用于根据给定的样本和标签采用人工智能的方法训练对象在运动状态下的运动模型；
运动路径获取单元，用于将场景的对象的运动状态输入训练好的运动模型，得到对象的运动路径；
控制单元，用于控制场景的对象在场景的三维模型内沿着得到的运动路径进行运动。
进一步，所述运动控制模块具体用于：
控制场景的对象在场景的三维模型内随机运动，所述场景的对象在场景的三维模型内随机运动时根据智能识别的结果绕开障碍物运动。
本发明实施例所采取的第三技术方案是：
基于视频融合的场景动态模拟系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明所述的基于视频融合的场景动态模拟方法。
本发明实施例所采取的第四技术方案是：
存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如本发明所述的基于视频融合的场景动态模拟方法。
上述本发明实施例中的一个或多个技术方案具有如下优点：本发明实施例先根据扫描的三维数据重建出场景的三维模型，然后通过分割与智能识别得到场景的对象，最后让识别出的对象在场景的三维模型内运动，从而模拟出动态的三维场景，不仅能模拟出场景的静态三维模型，而且可以结合分割与智能识别的结果模拟出真实场景的动态过程，最大限度地还原真实场景。
附图说明
图1为本发明实施例提供的基于视频融合的场景动态模拟方法流程图；
图2为本发明实施例提供的基于视频融合的场景动态模拟系统一种结构框图；
图3为本发明实施例提供的基于视频融合的场景动态模拟系统另一种结构框图。
具体实施方式
首先对本发明涉及的名称术语进行解释：
视频融合，包含2层含义：一层是在重建生成的场景的三维模型中融入场景内实时视频流以实现3D动态实景；另一层是在重建生成的场景的三维模型中让场景内的对象按照一定的规律(可通过人工智能算法训练学习)运动起来，从而模拟出真实场景的动态过程。
CCTV：闭路电视监控系统。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本文所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
参照图1，本发明实施例提供了一种基于视频融合的场景动态模拟方法，包括以下步骤：
S100、扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；
具体地，本实施例的场景可以是某个城市、某个园区、某个建筑物等场景。场景的三维数据可以是二维的图像、场景的点云数据等，其可通过各手动或自动的扫描设备(如相机、自动扫描机器人等)来采集。场景的三维数据扫描后，可在扫描设备、云端或后台服务器中进行三维重建，生成场景的三维模型。
S101、对场景的三维模型进行分割与智能识别，得到场景的对象；
具体地，本实施例的分割与智能识别主要是从场景的三维模型中分割出单个对象，然后对分割的单个对象进行智能识别，识别单个对象的名称和/或类型。智能识别可结合AI预训练的智能识别模型来实现。
S102、控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。
具体地，本实施例在识别得到场景的各个对象后，可以让场景的各个对象按照一定的规律运动起来，以模拟真实的动态场景。例如，可让场景内的人进行跑步、运动，让场景内的车辆沿着马路行走，让场景内的昆虫等动物飞行等。该规律可以是让场景的各个对象随机运动并根据智能识别的结果避开障碍物，也可以是通过AI和各种模型数据库(如人脸数据库、车辆数据库、人体运动姿态数据库等)提供的样本进行训练后得到的规律。为了提升场景模拟的真实性，可以在控制对象在在场景的三维模型内运动前通过人工智能算法进行训练，得到对应的对象的运动模型，这样通过分割与智能识别得到各个对象后，即可调用对象对应的运动模型自动计算出对象的运动路径，从而让对象沿着该运动路径运动。本实施例可结合各种真实场景下收集的数据和样本来对各种真实场景的动态过程进行模拟，以提供更真实和更有参考价值的模拟画面，可广泛应用于各种雪灾模拟、火灾模拟、水灾模拟等事故的动态模拟，某场足球赛、篮球赛、排球赛等比赛的动态模拟，交通事故的现场模拟和再现等等。
进一步作为优选的实施方式，所述扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型这一步骤S100，具体包括：
S1000、通过扫描设备扫描的方式获取场景的三维数据，所述扫描设备包括空间扫描仪、航拍扫描仪、物体扫描仪和人体扫描仪；
具体地，扫描设备，用于对场景内的对象进行扫描，并将扫描的数据上传给云端或后台服务器。扫描设备可以是航拍扫描设备、空间扫描仪、物体扫描仪或人体扫描设备。航拍扫描设备，可以是航拍飞机等航拍设备，用于扫描场景内区域范围(如整个园区)的三维数据。空间扫描设备，用于扫描室内环境(如某栋建筑某层楼的内部)或扫描室外环境(如某栋建筑外的某条马路等)的三维数据。空间扫描设备，可以是手持扫描设备(如带支撑架的相机)或其他自动扫描设备(如自动扫描机器人)。物体扫描仪，用于对某个物体(如苹果、笔)进行扫描。物体扫描仪，可以是手持的扫描设备(如带支撑架的RGB-D摄像机等)。人体扫描仪，用于扫描人体的三维数据。人体扫描仪，可以是现有专门针对人体建模的人体扫描仪。
三维数据包括二维图片和深度信息等数据。
优选地，本实施例的扫描设备可集成有具有边缘计算能力且可以植入人工智能算法的GPU芯片，能在扫描的同时进行计算，从而生成场景部分的三维模型，这样云端或后台服务器只需生成场景余下部分的三维模型即可，大大提升了建模的效率。
S1001、根据获取场景的三维数据采用人工智能的方法进行三维重建，生成场景的三维模型，其中，三维重建包括模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染；
具体地，根据场景的三维数据采用人工智能的方法进行三维重建，生成场景的三维模型这一过程可在扫描设备、云端或后台服务器中进行。扫描设备、云端或后台服务器集成了AI算法，能实现完全自动化的快速建模，无需人工的参与，显著提升了建模的效率且智能化程度高。
S1002、根据场景的三维模型生成对应的链接。
具体地，本实施例可生成场景的三维模型的链接(如URL链接等)，这样任何支持浏览器的计算设备(包括智能手机、平板电脑、笔记本电脑、智能手表、智能电视、计算机等)都可以通过该链接访问该三维模型，省去了装APP的过程，更加方便且通用性更强。
进一步作为优选的实施方式，所述对场景的三维模型进行分割与智能识别，得到场景的对象这一步骤S101，具体包括：
S1010、从场景的三维模型获取点云数据；
由于场景的三维模型是由多个点云(点的集合)组成的，可以在生成场景的三维模型后提供对应的点云数据，以便于后续的分割与智能识别。
S1011、对获取的点云数据进行分割，得到场景内对象的点云；
具体地，可根据点与邻近点的关系(如颜色、像素、大小、尺寸、距离等)对点云数据进行分割，从而根据点云数据生成场景内各个对象的点云。
S1012、采用人工智能的方法对场景内对象的点云进行智能识别，得到场景的对象名称。
场景内可包含多个物体、人物等对象。相应地，对点云数据进行分割，得到场景内对象的点云也包含了多个点云，这些分割出的点云的具体名称可经人工智能算法识别后即可得出。
进一步作为优选的实施方式，所述控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景这一步骤S102，具体包括：
S1020、根据给定的样本和标签采用人工智能的方法训练对象在运动状态下的运动模型；
S1021、将场景的对象的运动状态输入训练好的运动模型，得到对象的运动路径；
S1022、控制场景的对象在场景的三维模型内沿着得到的运动路径进行运动。
具体地，本实施例给定的训练样本可以是实际收集的各种对象的运动数据，也可以由预先建立的模型数据库来提供。例如，人体运动模型则可以通过预先收集的各种不同运动状态下(包括正常行走、慢跑、快跑、沿着马路走等)的人体运动数据(包括人体路径)放入人体运动数据库，训练时可直接从该数据库中获取人体的运动状态作为样本，获取对应的运动路径作为标签。本实施例应用人工智能的方法，可以训练出精确的运动路径模拟模型，这样通过智能识别得到对象及对象的运动状态后，即可自动利用该智能识别模型生成对应的运动路径，进而控制对象沿该运动路径在场景的三维模型内运动，方便且智能化程度高。
进一步作为优选的实施方式，所述控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景这一步骤S102，具体为：
控制场景的对象在场景的三维模型内随机运动，所述场景的对象在场景的三维模型内随机运动时根据智能识别的结果绕开障碍物运动。
具体地，本实施例还可以控制对象在场景的三维模型内随机运动，以模拟对象在场景内进行不规则运动(如人在公园内散步等)的情形。另外，为了符合真实的运动情况和完美再现真实的运动场景，本实施例的对象在运动还可以利用智能识别的结果避开障碍物，如车在运动时避开公路两侧的树木、护栏等障碍物，防止撞上树木、护栏等。
进一步作为优选的实施方式，还包括以下步骤：
S103、获取场景内的实时视频流；
具体地，场景的实时视频流可以通过CCTV、摄像头等视频采集装置来获取。
S104、将场景内的实时视频流叠加至场景的三维模型内进行实时展示，以生成场景的3D动态实景。
具体地，由于用于采集实时视频流的视频采集装置的位置是已知道或可以预先设定的，所以生成场景的三维模型后，只需在该三维模型中找出其对应的位置并将视频流采集装置采集的实时视频流视叠加在该位置进行持续播放，即可在三维模型内动态展示场景的3D视频流，克服了传统3D扫描建模技术得到的3D模型都是静态的缺陷，真正实现了场景的3D实景。用户通过三维模型对应的链接即可访问场景的三维模型以及在三维模型内动态播放或展示的3D视频流。本实施例利用这一方式真正实现3D模型与实时视频流的无缝融合，不受场景的改变和角度的改变的影响，在场景改变或角度改变后仍能在3D模型中观看到该实时视频流。
参照图2，本发明实施例还提供了一种基于视频融合的场景动态模拟系统，包括以下模块：
扫描与建模模块201，用于扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；
分割与智能识别模块202，用于对场景的三维模型进行分割与智能识别，得到场景的对象；
运动控制模块203，用于控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。
参照图2，进一步作为优选的实施方式，所述运动控制模块203具体包括：
训练单元2031，用于根据给定的样本和标签采用人工智能的方法训练对象在运动状态下的运动模型；
运动路径获取单元2032，用于将场景的对象的运动状态输入训练好的运动模型，得到对象的运动路径；
控制单元2033，用于控制场景的对象在场景的三维模型内沿着得到的运动路径进行运动。
进一步作为优选的实施方式，所述运动控制模块203具体用于：
控制场景的对象在场景的三维模型内随机运动，所述场景的对象在场景的三维模型内随机运动时根据智能识别的结果绕开障碍物运动。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
参照图3，本发明实施例还提供了一种基于视频融合的场景动态模拟系统，包括：
至少一个处理器301；
至少一个存储器302，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器301实现如本发明所述的基于视频融合的场景动态模拟方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于实现如本发明所述的基于视频融合的场景动态模拟方法。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于视频融合的场景动态模拟方法，其特征在于：包括以下步骤：
扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；
对场景的三维模型进行分割与智能识别，得到场景的对象；
控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。
2.根据权利要求1所述的基于视频融合的场景动态模拟方法，其特征在于：所述扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型这一步骤，具体包括：通过扫描设备扫描的方式获取场景的三维数据，所述扫描设备包括空间扫描仪、航拍扫描仪、物体扫描仪和人体扫描仪；
根据获取场景的三维数据采用人工智能的方法进行三维重建，生成场景的三维模型，其中，三维重建包括模型修复、剪辑、裁剪、减面、减模、压缩、处理材质、处理贴图、处理灯光和压缩渲染；
根据场景的三维模型生成对应的链接。
3.根据权利要求1所述的基于视频融合的场景动态模拟方法，其特征在于：所述对场景的三维模型进行分割与智能识别，得到场景的对象这一步骤，具体包括：
从场景的三维模型获取点云数据；
对获取的点云数据进行分割，得到场景内对象的点云；
采用人工智能的方法对场景内对象的点云进行智能识别，得到场景的对象名称。
4.根据权利要求1所述的基于视频融合的场景动态模拟方法，其特征在于：所述控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景这一步骤，具体包括：
根据给定的样本和标签采用人工智能的方法训练对象在运动状态下的运动模型；
将场景的对象的运动状态输入训练好的运动模型，得到对象的运动路径；
控制场景的对象在场景的三维模型内沿着得到的运动路径进行运动。
5.根据权利要求1所述的基于视频融合的场景动态模拟方法，其特征在于：所述控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景这一步骤，具体为：
控制场景的对象在场景的三维模型内随机运动，所述场景的对象在场景的三维模型内随机运动时根据智能识别的结果绕开障碍物运动。
6.根据权利要求1所述的基于视频融合的场景动态模拟方法，其特征在于：还包括以下步骤：
获取场景内的实时视频流；
将场景内的实时视频流叠加至场景的三维模型内进行实时展示，以生成场景的3D动态实景。
7.基于视频融合的场景动态模拟系统，其特征在于：包括以下模块：
扫描与建模模块，用于扫描场景的三维数据并根据扫描的三维数据进行三维建模，得到场景的三维模型；
分割与智能识别模块，用于对场景的三维模型进行分割与智能识别，得到场景的对象；
运动控制模块，用于控制场景的对象在场景的三维模型内运动，以模拟出动态的三维场景。
8.根据权利要求7所述的基于视频融合的场景动态模拟系统，其特征在于：所述运动控制模块具体包括：
训练单元，用于根据给定的样本和标签采用人工智能的方法训练对象在运动状态下的运动模型；
运动路径获取单元，用于将场景的对象的运动状态输入训练好的运动模型，得到对象的运动路径；
控制单元，用于控制场景的对象在场景的三维模型内沿着得到的运动路径进行运动。
9.基于视频融合的场景动态模拟系统，其特征在于：包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的基于视频融合的场景动态模拟方法。
10.存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-6任一项所述的基于视频融合的场景动态模拟方法。
CN201910398606.8A 2019-05-14 2019-05-14 基于视频融合的场景动态模拟方法、系统及存储介质 Pending CN110335300A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910398606.8A CN110335300A (zh) 2019-05-14 2019-05-14 基于视频融合的场景动态模拟方法、系统及存储介质
PCT/CN2020/090218 WO2020228767A1 (zh) 2019-05-14 2020-05-14 基于视频融合的场景动态模拟方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398606.8A CN110335300A (zh) 2019-05-14 2019-05-14 基于视频融合的场景动态模拟方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN110335300A true CN110335300A (zh) 2019-10-15

Family

ID=68138938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398606.8A Pending CN110335300A (zh) 2019-05-14 2019-05-14 基于视频融合的场景动态模拟方法、系统及存储介质

Country Status (2)

Country Link
CN (1) CN110335300A (zh)
WO (1) WO2020228767A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064946A (zh) * 2019-12-04 2020-04-24 广东康云科技有限公司 基于室内场景的视频融合方法、系统、装置和存储介质
WO2020228767A1 (zh) * 2019-05-14 2020-11-19 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN114373046A (zh) * 2021-12-27 2022-04-19 达闼机器人有限公司 辅助机器人运行的方法、装置及存储介质
CN114549942A (zh) * 2022-04-27 2022-05-27 网思科技股份有限公司 人工智能安防系统测试方法、装置、存储介质及测试设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646067A (zh) * 2009-05-26 2010-02-10 华中师范大学 数字化全空间智能监控系统及方法
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
CN106919895A (zh) * 2016-07-01 2017-07-04 湖南拓视觉信息技术有限公司 用于运动目标的跟踪方法和系统
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108196679A (zh) * 2018-01-23 2018-06-22 河北中科恒运软件科技股份有限公司 基于视频流的手势捕捉和纹理融合方法及系统
CN109085966A (zh) * 2018-06-15 2018-12-25 广东康云多维视觉智能科技有限公司 一种基于云计算的三维展示系统及方法
CN109376371A (zh) * 2018-08-27 2019-02-22 中国科学院计算技术研究所 一种行人运动仿真方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107003600A (zh) * 2014-09-15 2017-08-01 德米特里·戈里洛夫斯基 包括观察大场景的多个数字照相机的系统
US20180082414A1 (en) * 2016-09-21 2018-03-22 Astralink Ltd. Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection
CN109285220B (zh) * 2018-08-30 2022-11-15 阿波罗智能技术(北京)有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
CN110335300A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646067A (zh) * 2009-05-26 2010-02-10 华中师范大学 数字化全空间智能监控系统及方法
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
CN106919895A (zh) * 2016-07-01 2017-07-04 湖南拓视觉信息技术有限公司 用于运动目标的跟踪方法和系统
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108196679A (zh) * 2018-01-23 2018-06-22 河北中科恒运软件科技股份有限公司 基于视频流的手势捕捉和纹理融合方法及系统
CN109085966A (zh) * 2018-06-15 2018-12-25 广东康云多维视觉智能科技有限公司 一种基于云计算的三维展示系统及方法
CN109376371A (zh) * 2018-08-27 2019-02-22 中国科学院计算技术研究所 一种行人运动仿真方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO ZHANG 等: "MixedFusion: Real-Time Reconstruction of an Indoor Scene with Dynamic Objects", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 *
张寒晖: "虚拟人步行运动模拟与三维场景中路径规划的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020228767A1 (zh) * 2019-05-14 2020-11-19 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN111064946A (zh) * 2019-12-04 2020-04-24 广东康云科技有限公司 基于室内场景的视频融合方法、系统、装置和存储介质
CN114373046A (zh) * 2021-12-27 2022-04-19 达闼机器人有限公司 辅助机器人运行的方法、装置及存储介质
CN114373046B (zh) * 2021-12-27 2023-08-18 达闼机器人股份有限公司 辅助机器人运行的方法、装置及存储介质
CN114549942A (zh) * 2022-04-27 2022-05-27 网思科技股份有限公司 人工智能安防系统测试方法、装置、存储介质及测试设备

Also Published As

Publication number Publication date
WO2020228767A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
US11845008B2 (en) Building virtual reality (VR) gaming environments using real-world virtual reality maps
CN110310306A (zh) 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN110335300A (zh) 基于视频融合的场景动态模拟方法、系统及存储介质
CN112150575B (zh) 场景数据获取方法及模型训练方法、装置及计算机设备
JP4904264B2 (ja) ３ｄ空間次元に基づく画像処理のためのシステムおよび方法
CN113572962B (zh) 室外自然场景光照估计方法及装置
Liu et al. Learning to factorize and relight a city
WO1996031047A2 (en) Immersive video
CN109447020A (zh) 基于全景肢体动作的交互方法及系统
WO2020211427A1 (zh) 基于扫描点云数据的分割与识别方法、系统及存储介质
CN115641401A (zh) 一种三维实景模型的构建方法及相关装置
CN114125310A (zh) 拍照方法、终端设备及云端服务器
Yu et al. Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management
Zoellner et al. Reality Filtering: A Visual Time Machine in Augmented Reality.
CN114491694A (zh) 一种基于虚幻引擎的空间目标数据集构建方法
Aranjuelo et al. Leveraging Synthetic Data for DNN-Based Visual Analysis of Passenger Seats
Lv et al. P‐3.2: VR Air rescue immersive simulation system
Campos Image Manipulation and Classification: An Application to Fire Detection
Sufiyan et al. Panoramic Image-Based Aerial Localization using Synthetic Data via Photogrammetric Reconstruction
Zhang et al. A simulation environment for drone cinematography
Zhang Supporting first responders in emergencies using computer vision and drones
Ronzino AUTOMATIC RECONSTRUCTION OF INDOOR ENVIRONMENTS FOR SHARING AR AND VR SPACES
Zeng et al. Design and Implementation of Virtual Real Fusion Metaverse Scene Based on Deep Learning
CN116957915A (zh) 图像风格迁移方法、装置、设备及存储介质
CN117896509A (zh) 一种ar拍摄场景实时光照效果的预览方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191015

RJ01 Rejection of invention patent application after publication