CN114723896A - 一种通过摄像机多角度图像捕捉进行ar三维建模系统 - Google Patents

一种通过摄像机多角度图像捕捉进行ar三维建模系统 Download PDF

Info

Publication number
CN114723896A
CN114723896A CN202210637821.0A CN202210637821A CN114723896A CN 114723896 A CN114723896 A CN 114723896A CN 202210637821 A CN202210637821 A CN 202210637821A CN 114723896 A CN114723896 A CN 114723896A
Authority
CN
China
Prior art keywords
image
module
channel interface
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210637821.0A
Other languages
English (en)
Inventor
徐国栋
郭延海
公丕波
李志安
林道程
公霞
刘潇楠
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Wujie Intelligent Technology Co ltd
Original Assignee
Shandong Wujie Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Wujie Intelligent Technology Co ltd filed Critical Shandong Wujie Intelligent Technology Co ltd
Priority to CN202210637821.0A priority Critical patent/CN114723896A/zh
Publication of CN114723896A publication Critical patent/CN114723896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种通过摄像机多角度图像捕捉进行AR三维建模系统，解决了现有技术中通过摄像机图像捕捉时，角度比较单一，获取的图像信息比较单调的问题；包括：360°摄像机，通过旋转支架用于实现360°全方位图像信息捕捉；多通道接口，图像融合模块，用于将多通道接口接收的数据信息通过多尺度融合的方式实现所采集数据信息的交融；图像转换模块，用于实现图像融合模块输出不同图像元素信息的转换；本发明能够实现多角度图像获取，通过图像融合模块实现所采集图像信息的多尺度融合，通过图像转换模块实现图像融合模块图像元素信息的转换，进而满足AR空间三维建模的需求。

Description

一种通过摄像机多角度图像捕捉进行AR三维建模系统
技术领域
本发明属于图像处理技术领域，尤其涉及一种通过摄像机多角度图像捕捉进行AR三维建模系统。
背景技术
AR是现实增强技术（Augmented Reality），也就是用户常说的AR，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。换句话来说，现实世界通过影像呈现在屏幕中的时候，AR技术在现实世界和用户之间加入了一个可控制的编程层，从而增加出了一个全新的体验维度。通过AR应用，用户可以同现实世界进行更多、更深入的交互，能够实时地执行操作，获取反馈，而不仅仅是查看信息。AR应用在移动端设备上已经开始蓬勃地发展了起来，相比于依赖专门设备的VR技术，AR更加触手可及。
在进行AR空间三维建模时，通常通过图像捕捉技术实现数据信息的提取，进而将提取到的数据信息进行三维仿真，但是现有技术中通过摄像机图像捕捉时，角度比较单一，获取的图像信息比较单调，这就需要一种对角度图像捕捉技术，以全方位地提高AR空间三维建模能力，基于此，我们提出一种通过摄像机多角度图像捕捉进行AR三维建模系统。
发明内容
本发明提供一种通过摄像机多角度图像捕捉进行AR三维建模系统，旨在解决现有技术中通过摄像机图像捕捉时，角度比较单一，获取的图像信息比较单调的问题。
本发明是这样实现的，一种通过摄像机多角度图像捕捉进行AR三维建模系统，所述通过摄像机多角度图像捕捉进行AR三维建模系统包括：
360°摄像机，通过旋转支架用于实现360°全方位图像信息捕捉，以获取不同角度的图像信息；
多通道接口，用于将360°摄像机捕捉的图像信息通过不同的数据通道接口传递到其他设备，以实现所捕捉的图像信息的传递和交互；
图像融合模块，用于将多通道接口接收的数据信息通过多尺度融合的方式实现所采集数据信息的交融；
图像转换模块，用于实现图像融合模块输出不同图像元素信息的转换，以满足AR空间三维建模的需求；
虚拟图像构建模块，用于将所述图像转换模块转换后的图像信息构建成三维建模的形式，通过AR空间实现立体数据信息显示；
控制系统，用于控制其他模块处于工作状态；
3D动态演示模块，用于实现虚拟图像构建模块所构建图像信息的演示，以及显示器，用于显示3D动态演示模块输出的数据信息，以供用户应用。
优选地，所述控制系统分别与图像转换模块、虚拟图像构建模块、3D动态演示模块连接，所述360°摄像机的输出端与多通道接口的输入端连接，所述多通道接口的输出端与所述图像融合模块的输入端连接，所述图像融合模块的输出端与所述图像转换模块的输入端连接，所述3D动态演示模块还连接有显示器。
优选地，所述图像融合模块包括：
图像辨识模块，所述图像辨识模块包括图模获取模块、图像信息匹配模块、交互接口和图像存储模块；
与所述图像辨识模块进行数据交互的图像元素定义模块，所述图模获取模块与所述图像信息匹配模块连接，所述图像信息匹配模块通过交互接口与图像存储模块连接。
优选地，所述图像元素定义模块包括：
图像信息提取模块、图像分解模块、属性定义模块和像素定义模块，所述图像信息提取模块与属性定义模块连接，所述属性定义模块和图像分解模块分别与像素定义模块连接。
优选地，所述3D动态演示模块通过MFC算法模型实现虚拟图像信息的演示与显示，MFC算法模型实现动态演示的具体步骤为：
MFC动态演示过程基于虚拟化三维建模环境进行，通过显示器显示的动态数据实现图像信息演示过程，根据三维虚拟环境演示内容分为三个演示流程，分别为整体效果演示、3D模型动态演示和局部数据信息演示。
优选地，所述图像转换模块为基于改进型卷积分神经网络算法模型的图像转换模块，图像转换模块通过卷积分算法模型实现图像信息分解。
优选地，所述多通道接口至少包括RS232通信通道接口、RS485通信通道接口、载波通信信道接口、TCP/IP通信信道接口、RS422通信信道接口、以太网通信信道接口、CAN通信信道接口、USB通信信道接口、WIFI通信信道接口、ZigBee通信信道接口、蓝牙通信信道接口或光纤通信信道接口。
优选地，所述多通道接口还包括云数据交互端口。
优选地，所述虚拟图像构建模块为基于双曲S变换算法模型的构建模型。
优选地，通过卷积分算法模型实现图像信息分解的方法为：
将卷积分算法模型分为2层，其中第一层设置为64个3*3*3卷积核，第二层设置为16个3*3*3卷积核。
与现有技术相比，本申请实施例主要有以下有益效果：
本发明所提供的通过摄像机多角度图像捕捉进行AR三维建模系统能够实现多角度图像获取，通过图像融合模块实现所采集图像信息的多尺度融合，通过图像转换模块实现图像融合模块图像元素信息的转换，进而满足AR空间三维建模的需求，并通过改进型卷积分神经网络算法模型实现图像转换，提高了图像信息的转换，通过虚拟图像能够将所述图像转换模块转换后的图像信息构建成三维建模的形式，通过AR空间实现立体数据信息显示；并通过双曲S变换算法模型实现所构建图像信息的演示，大大提高了3D动态演示效果。
附图说明
图1是本发明提供的一种通过摄像机多角度图像捕捉进行AR三维建模系统的结构示意图。
图2是本发明提供的图像融合模块的结构示意图。
图3是本发明中图像融合模块实现图像信息融合的实现流程示意图。
图4是本发明提供的卷积分神经网络算法模型的结构示意图。
图5是本发明中通过卷积分神经网络算法模型实现数据信息的转换的实现流程示意图。
图6是本发明提供的张量卷积自编码神经网络结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
在进行AR空间三维建模时，通常通过图像捕捉技术实现数据信息的提取，进而将提取到的数据信息进行三维仿真，但是现有技术中通过摄像机图像捕捉时，角度比较单一，获取的图像信息比较单调，这就需要一种对角度图像捕捉技术，以全方位地提高AR空间三维建模能力，基于此，我们提出一种通过摄像机多角度图像捕捉进行AR三维建模系统。
本发明所提供的通过摄像机多角度图像捕捉进行AR三维建模系统能够实现多角度图像获取，通过图像融合模块实现所采集图像信息的多尺度融合，通过图像转换模块实现图像融合模块图像元素信息的转换，进而满足AR空间三维建模的需求，并通过改进型卷积分神经网络算法模型实现图像转换，提高了图像信息的转换，通过虚拟图像能够将所述图像转换模块转换后的图像信息构建成三维建模的形式，通过AR空间实现立体数据信息显示；并通过双曲S变换算法模型实现所构建图像信息的演示，大大提高了3D动态演示效果。
本发明实施例提供了一种通过摄像机多角度图像捕捉进行AR三维建模系统，如图1所示，所述通过摄像机多角度图像捕捉进行AR三维建模系统包括：
360°摄像机，通过旋转支架用于实现360°全方位图像信息捕捉，以获取不同角度的图像信息；
在本发明实施例中，所述360°摄像机为300万像素红外夜视全景网络高清监控摄像头，相对于现有技术，在摄像机背面用户可以插入SD进行存储视频，不过摄像机使用存储卡由于是24小时不间断工作，存储卡使用寿命较短，本申请摄像机采用360的云录功能，它可以将画面变化的录像自动存储在云端，只要用户有网络在任何时间地点都能查看，360°全景摄像头可无盲点监测覆盖面积400平方米左右，在具体实施例中，可以设有采用鱼眼式全景成像光学系统，拥有360°全景视图的摄像头，从而实现了本申请多角度图像捕捉功能。
多通道接口，用于将360°摄像机捕捉的图像信息通过不同的数据通道接口传递到其他设备，以实现所捕捉的图像信息的传递和交互；
图像融合模块，用于将多通道接口接收的图像信息通过多尺度融合的方式实现所采集的图像信息的交融；
图像转换模块，用于实现图像融合模块输出不同图像元素信息的转换，以满足AR空间三维建模的需求；
虚拟图像构建模块，用于将所述图像转换模块转换后的图像信息构建成三维建模的形式，通过AR空间实现立体数据信息显示；
控制系统，用于控制其他模块处于工作状态；
3D动态演示模块，用于实现虚拟图像构建模块所构建图像信息的演示，以及显示器，用于显示3D动态演示模块输出的数据信息，以供用户应用。
在本实施例中，所述多通道接口至少包括RS232通信通道接口、RS485通信通道接口、载波通信信道接口、TCP/IP通信信道接口、RS422通信信道接口、以太网通信信道接口、CAN通信信道接口、USB通信信道接口、WIFI通信信道接口、ZigBee通信信道接口、蓝牙通信信道接口或光纤通信信道接口，所述多通道接口还包括云数据交互端口。
本发明进一步较佳实施例中，如图1所示，所述控制系统分别与图像转换模块、虚拟图像构建模块、3D动态演示模块连接，所述360°摄像机的输出端与多通道接口的输入端连接，所述多通道接口的输出端与所述图像融合模块的输入端连接，所述图像融合模块的输出端与所述图像转换模块的输入端连接，所述3D动态演示模块还连接有显示器。
本发明进一步较佳实施例中，如图2所示，所述图像融合模块包括：
图像辨识模块，所述图像辨识模块包括图模获取模块、图像信息匹配模块、交互接口和图像存储模块；
与所述图像辨识模块进行数据交互的图像元素定义模块，所述图模获取模块与所述图像信息匹配模块连接，所述图像信息匹配模块通过交互接口与图像存储模块连接。
在本实施例中，所述图像元素定义模块包括：
图像信息提取模块、图像分解模块、属性定义模块和像素定义模块，所述图像信息提取模块与属性定义模块连接，所述属性定义模块和图像分解模块分别与像素定义模块连接。
在本实施例中，所述图像融合模块实现图像信息融合的方法包括：
如图3所示，步骤S101，通过图像分解模块实现图像信息的分解，将整块图像信息转换为不同尺寸的图像信息模块，将不同图像信息模块根据像素定义模型进行像素定义，通过属性定义模块实现不同尺寸图像信息模块的属性定义，所述图像分解模块采用卷积分算法模型实现数据信息分解；
步骤S102，再通过图像辨识模块实现图像信息三维辨识，通过图模获取模块获取数据信息，图模获取模块为兼容多通道接口的数据接收模块，图像信息匹配模块设置有标准图像数据库，将图像分解模块分解后的信息与标准图像数据库进行匹配，通过交互接口实现分解后图像信息的交互。
本发明进一步较佳实施例中，如图4所示，所述所述图像转换模块为基于改进型卷积分神经网络算法模型的图像转换模块，图像转换模块通过卷积分算法模型实现图像信息分解，通过卷积分算法模型实现图像信息分解的方法为：
将卷积分算法模型分为2层，其中第一层设置为64个3*3*3卷积核，第二层设置为16个3*3*3卷积核。
在本实施例中，通过这种方式的设置，能够提高采集到的图像在数据平移和扩展过程的数据稳定性，假设图像分解后输出信息结果为F，则数据信息被分类后，输出信息为U1，构建出的神经网络模型可以输出的结果为U2。则F的输出公式为：
Figure 233015DEST_PATH_IMAGE001
（1）
公式（1）中，其中的i表示为分解后的图像信息，M为输入图像信息总量，Fi为0时，图像信息分解到最小。
在上述实施例中，所述图像转换模块通过卷积分神经网络算法模型实现数据信息的转换，如图5所示，实现数据信息的转换的转换步骤具体为：
步骤S201，图像转换信息输入，输入的图像转换数据样本集合记作为：
Figure 9341DEST_PATH_IMAGE002
，
Figure 103199DEST_PATH_IMAGE003
表示第n个图像转换数据样本集合，图像转换的总数据量为
Figure 336472DEST_PATH_IMAGE004
，图像转换数据信息流程 函数
Figure 476466DEST_PATH_IMAGE005
与图像转换输出方程
Figure 56483DEST_PATH_IMAGE006
为逼近关系，
Figure 332744DEST_PATH_IMAGE007
在整个函数中作为启发函数使用， 在图像转换的过程其实也是图像信息维度降低的过程：
Figure 707224DEST_PATH_IMAGE008
（2）
公式（2）中，其中
Figure 334515DEST_PATH_IMAGE009
，并且表示图像转换数据信息作为权重参数，
Figure 452644DEST_PATH_IMAGE010
为图 像转换数据信息的向量值，
Figure 848990DEST_PATH_IMAGE011
为待图像转换图像信息的种类；
Figure 692574DEST_PATH_IMAGE012
表示第i个维度的数据信 息转换数据，
Figure 682527DEST_PATH_IMAGE013
表示原始数据信息，
Figure 463401DEST_PATH_IMAGE014
表示降维处理数据信息，
Figure 855200DEST_PATH_IMAGE015
表示数据维度，
Figure 696117DEST_PATH_IMAGE016
表 示降维的权重参数，
Figure 907786DEST_PATH_IMAGE017
中的T表示转换时间，
Figure 492351DEST_PATH_IMAGE018
图像信息维度的节点。
如图6所示，步骤S202，图像信息转换，在数据转换时，通过卷积分神经网络算法模型中张量卷积自编码神经网络实现信息转换。
具体地，转换后的数据信息函数记作为：
Figure 237191DEST_PATH_IMAGE019
（3）
公式（3）中，在图像信息图像转换的过程，θ为图像转换数据信息的一维向量度数， J表示为图像转换数据信息的目标函数，I和
Figure 249009DEST_PATH_IMAGE020
均表示张量卷积自编码神经网络中的变量 值。
步骤S203，图像转换误差诊断，对图像转换数据信息进行故障诊断，设置图像转换故障诊断神经网络迭代次。
同时，针对本发明中各种变换的图像状态曲线，变化幅度范围在0.5-1之间，其图像变换时的幅度计算公式为：
Figure 744713DEST_PATH_IMAGE021
（4）
公式（4）中，若图像波动曲线的变化幅度为0，则表示函数曲线稳定；若变化幅度不为0，则表示函数曲线存在波动性。
本发明进一步较佳实施例中，所述虚拟图像构建模块为基于双曲S变换算法模型的构建模型，双曲S变换算法模型在对图像信息进行S变换时，通过添加不对称变量和双曲变量实现图像变换数据的映射。
本发明进一步较佳实施例中，所述3D动态演示模块通过MFC算法模型实现虚拟图像信息的演示与显示，MFC算法模型实现动态演示的具体步骤为：
MFC动态演示过程基于虚拟化三维建模环境进行，通过显示器显示的动态数据实现图像信息演示过程，根据三维虚拟环境演示内容分为三个演示流程，分别为整体效果演示、3D模型动态演示和局部数据信息演示。
在本实施例中，整体效果演示、3D模型动态演示和局部数据信息演示传输到信息库中。地图文件库和场景模型库中的数据由MFC线程和GPS定位进行检索，MFC线程功能主要对视图信息进行捕捉和外接设备的传递，并根据数据内容弹出窗口；GPS定位负责对3D模型中显示器信息进行定位和掌握其状态，从而形成场景数据。MFC线程和GPS定位互相依存又相互影响。信息库数据主要应用于三维模型接口，在模型中进行效果展示实施。MFC动态演示技术对提高视图能力具有重要意义，通过演示三维建模中不同数据信息动态的调整，提高了三维演示数据信息的变化，进而制定相对应的图像制作方案，避免显示器在实际三维建模故障处理的误操作。微软基础类库(Microsoft Foundation Classes MFC)动态演示技术对虚拟环境下的显示器进行监测，将显示结果动态清晰显示在屏幕上。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。
综上所述，本发明所提供的通过摄像机多角度图像捕捉进行AR三维建模系统能够实现多角度图像获取，通过图像融合模块实现所采集图像信息的多尺度融合，通过图像转换模块实现图像融合模块图像元素信息的转换，进而满足AR空间三维建模的需求，并通过改进型卷积分神经网络算法模型实现图像转换，提高了图像信息的转换，通过虚拟图像能够将所述图像转换模块转换后的图像信息构建成三维建模的形式，通过AR空间实现立体数据信息显示；并通过双曲S变换算法模型实现所构建图像信息的演示，大大提高了3D动态演示效果。
需要说明的是，对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，涉及的动作和模块并不一定是本发明所必须的。
本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或通信连接可以是通过一些接口，装置或单元之间的间接耦合或通信连接，可以是电信或者其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

Claims (10)

1.一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述通过摄像机多角度图像捕捉进行AR三维建模系统包括：
360°摄像机，通过旋转支架用于实现360°全方位图像信息捕捉，以获取不同角度的图像信息；
多通道接口，用于将360°摄像机捕捉的图像信息通过不同的数据通道接口传递到其他设备，以实现所捕捉的图像信息的传递和交互；
图像融合模块，用于将多通道接口接收的图像信息通过多尺度融合的方式实现所采集的图像信息的交融；
图像转换模块，用于实现图像融合模块输出的不同图像元素信息的转换，以满足AR空间三维建模的需求；
虚拟图像构建模块，用于将所述图像转换模块转换后的图像信息构建成三维建模的形式，通过AR空间实现立体数据信息显示；
控制系统，用于控制其他模块处于工作状态；
3D动态演示模块，用于实现虚拟图像构建模块所构建图像信息的演示，以及显示器，用于显示3D动态演示模块输出的数据信息，以供用户应用。
2.如权利要求1所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述控制系统分别与图像转换模块、虚拟图像构建模块、3D动态演示模块连接，所述360°摄像机的输出端与多通道接口的输入端连接，所述多通道接口的输出端与所述图像融合模块的输入端连接，所述图像融合模块的输出端与所述图像转换模块的输入端连接，所述3D动态演示模块还连接有显示器。
3.如权利要求2所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述图像融合模块包括：
图像辨识模块，所述图像辨识模块包括图模获取模块、图像信息匹配模块、交互接口和图像存储模块；
与所述图像辨识模块进行数据交互的图像元素定义模块，所述图模获取模块与所述图像信息匹配模块连接，所述图像信息匹配模块通过交互接口与图像存储模块连接。
4.如权利要求3所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述图像元素定义模块包括：
图像信息提取模块、图像分解模块、属性定义模块和像素定义模块，所述图像信息提取模块与属性定义模块连接，所述属性定义模块和图像分解模块分别与像素定义模块连接。
5.如权利要求4所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述3D动态演示模块通过MFC算法模型实现虚拟图像信息的演示与显示，MFC算法模型实现动态演示的具体步骤为：
MFC动态演示过程基于虚拟化三维建模环境进行，通过显示器显示的动态数据实现图像信息演示过程，根据三维虚拟环境演示内容分为三个演示流程，分别为整体效果演示、3D模型动态演示和局部数据信息演示。
6.如权利要求1-5任一所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述图像转换模块为基于改进型卷积分神经网络算法模型的图像转换模块，图像转换模块通过卷积分算法模型实现图像信息分解。
7.如权利要求6所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述多通道接口至少包括RS232通信通道接口、RS485通信通道接口、载波通信信道接口、TCP/IP通信信道接口、RS422通信信道接口、以太网通信信道接口、CAN通信信道接口、USB通信信道接口、WIFI通信信道接口、ZigBee通信信道接口、蓝牙通信信道接口或光纤通信信道接口。
8.如权利要求7所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述多通道接口还包括云数据交互端口。
9.如权利要求8所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，所述虚拟图像构建模块为基于双曲S变换算法模型的构建模型。
10.如权利要求6所述的一种通过摄像机多角度图像捕捉进行AR三维建模系统，其特征在于，通过卷积分算法模型实现图像信息分解的方法为：
将卷积分算法模型分为2层，其中第一层设置为64个3*3*3卷积核，第二层设置为16个3*3*3卷积核。
CN202210637821.0A 2022-06-08 2022-06-08 一种通过摄像机多角度图像捕捉进行ar三维建模系统 Pending CN114723896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210637821.0A CN114723896A (zh) 2022-06-08 2022-06-08 一种通过摄像机多角度图像捕捉进行ar三维建模系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210637821.0A CN114723896A (zh) 2022-06-08 2022-06-08 一种通过摄像机多角度图像捕捉进行ar三维建模系统

Publications (1)

Publication Number Publication Date
CN114723896A true CN114723896A (zh) 2022-07-08

Family

ID=82233044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210637821.0A Pending CN114723896A (zh) 2022-06-08 2022-06-08 一种通过摄像机多角度图像捕捉进行ar三维建模系统

Country Status (1)

Country Link
CN (1) CN114723896A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN110109535A (zh) * 2019-03-18 2019-08-09 国网浙江省电力有限公司信息通信分公司 增强现实生成方法及装置
CN111651055A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘展示方法、装置、计算机设备及存储介质
WO2021238804A1 (zh) * 2020-05-29 2021-12-02 深圳市瑞立视多媒体科技有限公司 混合现实虚拟预演拍摄系统
CN114040097A (zh) * 2021-10-27 2022-02-11 苏州金螳螂文化发展股份有限公司 一种基于多通道图像采集融合的大场景交互动作捕捉系统
CN114283354A (zh) * 2021-12-04 2022-04-05 郑州轻工业大学 一种融合YOLOv4-F图像检测算法的火场可视化消防头盔

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN110109535A (zh) * 2019-03-18 2019-08-09 国网浙江省电力有限公司信息通信分公司 增强现实生成方法及装置
WO2021238804A1 (zh) * 2020-05-29 2021-12-02 深圳市瑞立视多媒体科技有限公司 混合现实虚拟预演拍摄系统
CN111651055A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 城市虚拟沙盘展示方法、装置、计算机设备及存储介质
CN114040097A (zh) * 2021-10-27 2022-02-11 苏州金螳螂文化发展股份有限公司 一种基于多通道图像采集融合的大场景交互动作捕捉系统
CN114283354A (zh) * 2021-12-04 2022-04-05 郑州轻工业大学 一种融合YOLOv4-F图像检测算法的火场可视化消防头盔

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DANIEL WAGNER等: "Real-time Panoramic Mapping and Tracking on Mobile Phones", 《IEEE》 *
丁晓生: "无人机遥感技术的水利水电工程施工现场监控", 《新器件新技术》 *
余思雨: "面向水面场景的增强现实关键技术研究与应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 *
史霄波: "医疗健康数据特征学习模型研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑(月刊)》 *
李云腾: "基于HoloLens空间映射的三维场景分割与识别", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》 *

Similar Documents

Publication Publication Date Title
CN114004941A (zh) 一种基于神经辐射场的室内场景三维重建系统及方法
EP3485635B1 (en) Light field capture
WO2019170166A1 (zh) 深度相机标定方法以及装置、电子设备及存储介质
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN112053446A (zh) 一种基于三维gis的实时监控视频与三维场景融合方法
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
WO2016011087A1 (en) Preprocessor for full parallax light field compression
CN109387186A (zh) 测绘信息获取方法、装置、电子设备及存储介质
DE202010018459U1 (de) System zur Darstellung von Übergängen zwischen Strassenansichten
CN107566793A (zh) 用于远程协助的方法、装置、系统及电子设备
CN112598780B (zh) 实例对象模型构建方法及装置、可读介质和电子设备
CN113869231B (zh) 一种用于获取目标对象的实时图像信息的方法与设备
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN110290285B (zh) 图像处理方法、图像处理装置、图像处理系统及介质
CN114442805A (zh) 一种监控场景展示方法、系统、电子设备及存储介质
CN111045770A (zh) 用于远程展示的方法、第一终端、设备、可读存储介质
CN112399162A (zh) 一种白平衡校正方法、装置、设备和存储介质
CN112288878B (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN110662015A (zh) 用于显示图像的方法及装置
CN109688381B (zh) Vr监控方法、装置、设备及存储介质
CN114723896A (zh) 一种通过摄像机多角度图像捕捉进行ar三维建模系统
CN116450092A (zh) 多显示终端仿真数据同步与交互方法及系统
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
CA3142001C (en) Spherical image based registration and self-localization for onsite and offsite viewing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220708

RJ01 Rejection of invention patent application after publication