CN115209121A - 一种具有智能集成功能的全范围仿真系统及方法 - Google Patents
一种具有智能集成功能的全范围仿真系统及方法 Download PDFInfo
- Publication number
- CN115209121A CN115209121A CN202210823070.1A CN202210823070A CN115209121A CN 115209121 A CN115209121 A CN 115209121A CN 202210823070 A CN202210823070 A CN 202210823070A CN 115209121 A CN115209121 A CN 115209121A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- image
- video
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000010354 integration Effects 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 189
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 14
- 238000004806 packaging method and process Methods 0.000 claims abstract description 10
- 230000001360 synchronised effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000009877 rendering Methods 0.000 claims description 22
- 238000013499 data model Methods 0.000 claims description 20
- 238000012800 visualization Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 9
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012856 packing Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 43
- 230000000007 visual effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种具有智能集成功能的全范围仿真系统及方法，涉及仿真系统技术领域，为了解决仿真系统的视频处理问题以及前期视频集成粗糙的问题。本具有智能集成功能的全范围仿真系统及方法，分段存储模块将同步序列号进行分段处理，分段处理是将视频和声音在打包主数据中分列成两组独立的数据，视频分解模块将视频中每个帧数的视频分解成多个单一的图片，分解成单一的图片后通过图片截取模块将每组图片从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取，建模处理模块可以将视频处理为视频整体更加流畅，画面效果更佳的仿真VR视频。
Description
技术领域
本发明涉及仿真系统技术领域，具体为一种具有智能集成功能的全范围仿真系统及方法。
背景技术
仿真系统是一种对系统问题求数值解的计算技术。现有仿真系统在使用时还存在一下问题：
1.仿真系统在视频采集时，视频数据处理过于笼统，从而导致视频数据异常的问题。
2.仿真系统前期的视频集成效果不佳，从而导致后期的VR画面效果过去粗糙，导致使用者在后期的使用时的体验感降低的问题。
发明内容
本发明的目的在于提供一种具有智能集成功能的全范围仿真系统及方法，分段存储模块将同步序列号进行分段处理，分段处理是将视频和声音在打包主数据中分列成两组独立的数据，视频分解模块将视频中每个帧数的视频分解成多个单一的图片，分解成单一的图片后通过图片截取模块将每组图片从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取，建模处理模块可以将视频处理为视频整体更加流畅，画面效果更佳的仿真VR视频，可以解决现有技术中的问题。
为实现上述目的，本发明提供如下技术方案：
一种具有智能集成功能的全范围仿真系统，包括音频采集终端、三维处理系统、VR接收终端、VR处理终端和VR生成模块，所述音频采集终端将音频数据传输至三维处理系统，三维处理系统将三维处理后的数据通传输至VR接收终端，VR接收终端将转换数据传输至VR处理终端，最后VR处理终端中的数据通过VR生成模块进行生成；
所述音频采集终端用于对视频数据的采集；
所述三维处理系统基于音频采集终端的视频采集数据，对视频中的图片以及声音进行处理；
所述VR接收终端基于三维处理系统的视频数据对其进行接收；
所述VR处理终端基于VR接收终端的数据对其进行VR处理；
所述VR生成模块基于VR处理终端的VR处理数据对其进行最终的VR视频生成。
优选的，所述音频采集终端包括数据采集模块、音频同步模块和分段存储模块；
所述数据采集模块包括语音接收模块和视频接收模块，通过语音接收模块和视频接收模块对采集的视频数据或者语音数据进行接收；
所述音频同步模块基于数据采集模块中的视频数据，将视频中的视频与视频中的声音进行同步，并打包成同步序列号；
所述分段存储模块基于音频同步模块的音频同步序列号将打包数据进行分段存储。
优选的，所述三维处理系统包括音频分段接收模块、视频分解模块、图片截取模块、图片处理模块和语音处理模块；
所述音频分段接收模块用于将声音和视频打包分组进行接收；
所述视频分解模块用于将视频分解成以帧率为单位的多组图片；
所述图片截取模块用于从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取；
所述图片处理模块基于图片截取模块将截取的图片进行处理；
所述语音处理模块通过原始数据将声音与以帧率为单位的图片进行数据打包；
所述图片处理模块包括图像修正模块、像素融合模块和颜色处理模块；
所述图像修正模块将失真图片进行的复原性处理；
所述像素融合模块将图片融合成重叠度大而且亮度差异小的图片；
所述颜色处理模块将图片的颜色进行自动调整。
优选的，所述图片处理模块，包括：
图片获取单元，用于获取截取到的图片，并确定截取到的图片的每个通道对应的灰度图像；
图像处理单元，用于对每个通道对应的灰度图像进行线性空间滤波得到滤波图像，并基于滤波图像计算去噪后的最终图像，具体步骤包括：
根据如下公式计算对每个通道对应的灰度图像进行线性空间滤波得到滤波图像：
其中，G(x,y)表示对每个通道对应的灰度图像进行线性空间滤波得到滤波图像；D(w，k)表示边缘检测滤波器系数，且取值范围为(0.5，1.8)；x表示每个通道对应的灰度图像中像素点的横坐标值；y表示每个通道对应的灰度图像中像素点的纵坐标值；f(x,y)表示每一通道对应的灰度图像；w表示边缘检测滤波器对灰度图像中像素点的横坐标值处理时的变化值；k表示边缘检测滤波器对灰度图像中像素点的纵坐标值处理时的变化值；
根据如下公式计算基于滤波图像计算去噪后的最终图像：
Q(x,y)＝α*f(x,y)+(1-α)*G(x,y)；
其中，Q(x,y)表示基于滤波图像计算去噪后的最终图像；α表示自适应混合比例系数，且取值范围为[0，1]；f(x,y)表示每一通道对应的灰度图像；G(x,y)表示对每个通道对应的灰度图像进行线性空间滤波得到滤波图像；
传输单元，用于将得到的去噪后的最终图像进行打包，得到目标数据包，并将所述目标数据包传输至所述VR接收终端。
优选的，所述VR接收终端包括图片初始模块、语音初始模块和交互模块；
所述图片初始模块包括图片捕捉模块和图片转换模块；
所述图片捕捉模块用于捕捉图片中的动作；
所述图片转换模块将捕捉到的动作转化为动作数据；
所述语音初始模块包括语音捕捉模块和语音转换模块；
所述语音捕捉模块用于用于捕捉语音中的声音及语言；
所述语音转换模块将捕捉到的语音转化为语音数据；
所述交互模块用于接收语音初始模块与视频初始模块的语音数据与动作数据进行融合。
优选的，所述VR处理终端包括同步模块、建模模块、建模处理模块和原数据存储模块；
所述同步模块将打包中的相同序列号的视频与语音整合为同步序列号的数据；
所述建模模块将同步序列号转换成建模计算数据；
所述建模处理模块将计算数据进行建模处理；
所述原数据存储模块基于建模处理模块将数据进行存储；
所述建模处理模块包括数据处理模块、功能处理模块和数据模型处理模块；
所述数据处理模块将建模计算数据进行数据问题的处理；
所述功能处理模块将建模计算数据进行仿真和诊断；
所述数据模型处理模块将建模计算数据中的数据模型和驱动进行调整。
优选的，所述VR生成模块包括可视化转换模块、视频渲染模块和视频生成模块；
所述可视化转换模块将计算数据以视频的形状进行转换；
所述视频渲染模块基于可视化转换模块将转换的视频进行画面效果的渲染；
所述视频生成模块将视频生成为可进行传输的视频。
优选的，所述VR生成模块，包括：
数据获取单元，用于获取处理后的音频数据，并提取所述音频数据的数据特征，且基于所述数据特征将所述音频数据分为声音数据和视频数据，其中，所述视频数据是以帧率为单位的平面图像；
数据分析单元，用于对所述声音数据进行语音识别，得到的所述声音数据对应的文本文件，并对所述文本文件进行处理，得到所述文本文件中每一句文本对应的时间戳；
视频处理单元，用于确定视频数据对应的平面图像序列，并确定所述平面图像序列与所述文本文件中每一句文本对应的时间戳的关联关系；
所述视频处理单元，用于基于所述关联关系确定每张平面图像对应的时间标识，并基于所述时间标识对所述视频数据对应的平面图像进行排序，其中，同一时刻下的平面图像至少为一张；
所述视频处理单元，还用于基于排序结果确定同一时刻的目标平面图像集合，并提取所述目标平面图像集合中每一平面图像的拍摄角度；
视频生成单元，用于基于所述拍摄角度对同一时刻的目标平面图像集合进行捕捉合并，得到当前时刻的三维图像；
所述视频生成单元，用于将不同时刻的所述三维图像实时渲染至空间投影对象，并对不同时刻的三维图像进行组合渲染及合并，得到视频数据对应的全景图；
所述视频生成单元，还用于将所述全景图进行球面投影以及二次渲染，并将声音数据与全景图进行实时关联，得到最终的VR全景图像；
图像评估单元，用于构建卷积神经网络模型，并基于历史VR图像对所述卷积神经网络模型进行训练，并基于训练结果对所述最终的VR全景图像进行分析，得到所述最终的VR全景图像的MOS值以及图像清晰度阈值；
所述图像评估单元，还用于确定MOS值以及图像清晰度阈值的权重值，并基于所述权重值得到最终的VR全景图像的质量分数，且在所述质量分数小于预设阈值时，重新对音频数据进行处理，直至质量分数大于或等于预设阈值。
优选的，图像评估单元，包括：
图像换取子单元，用于获取历史失真VR全景图像以及最终的VR全景图像，并分别提取历史失真VR全景图像和最终的VR全景图像的亮度特征对比度；
计算子单元，用于基于亮度特征对比度计算历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，并基于相似性计算最终的VR全景图像的客观质量得分，具体步骤包括：
根据如下公式计算历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性：
其中，
表示历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，且取值范围为[0，1]；μ表示误差系数，且取值范围为(0.002，0.05)；δ表示历史失真VR全景图像的亮度特征对比度；σ表示最终的VR全景图像的亮度特征对比度；ρ表示常数，且一般取值为0.5；
根据如下公式计算最终的VR全景图像的质量分数：
其中，λ表示最终的VR全景图像的质量分数；z表示最终的VR全景图像中横向像素点的当前个数；n表示最终的VR全景图像中横向像素点的总个数；r表示最终的VR全景图像中纵向像素点的当前个数；m表示最终的VR全景图像中纵向像素点的总个数；η(z，r)表示最终的VR全景图像中像素点(z，r)处的图像块的运动矢量特征；
表示表示历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，且取值范围为[0，1]；ω表示表示历史失真VR全景图像和最终的VR全景图像的纹理特征对比度之间的相似性，且取值范围为[0，1]；θ表示表示历史失真VR全景图像和最终的VR全景图像的深度特征对比度之间的相似性，且取值范围为[0，1]；
比较单元，用于将得到的质量分数与预设阈值进行比较；
若所述质量分数小于所述预设阈值，判定得到的最终的VR全景图像不合格，并重新对音频数据进行处理；
否则，判定得到的最终的VR全景图像合格。
本发明提供另一种技术方案，一种具有智能集成功能的全范围仿真系统的方法，包括以下步骤：
第一步：先通过音频采集终端将视频和语音进行接收，接收完成后通过三维处理系统将接收到的视频转换成三维视频数据；
第二步：三维处理系统再将三维视频数据通过VR接收终端进行接收，接收后通过VR处理终端对接收到的数据进行数据处理；
第三步：VR处理终端将视频数据处理后通过VR生成模块将视频生成为VR视频。
与现有技术相比，本发明的有益效果如下：
1.本发明提供一种具有智能集成功能的全范围仿真系统及方法，分段存储模块将同步序列号进行分段处理，分段处理是将视频和声音在打包主数据中分列成两组独立的数据，音频分段接收模块将分段后的数据传输进行接收，接收后传输至视频分解模块，视频分解模块将接收到的视频中的视频进行分解，是将视频中每个帧数的视频分解成多个单一的图片，分解成单一的图片后通过图片截取模块将每组图片从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取，不同角度的截取可以使后期的VR图片拼接更加的快速，分解后使后期的集成效果更佳，不会出现画面粗糙的情况。
2.本发明提供一种具有智能集成功能的全范围仿真系统及方法，数据处理模块解决特定数据中某类具体问题的解决方案，在归纳总结后整合成专业知识体系，并且使形成的模式在一定程度上实现自适应调整，功能处理模块用于数化仿真、分析诊断和决策自治，传输的数据遵守共同的传输规则，互相保持一定的统一性，数据模型处理模块用于数据模型和数据驱动模型，数据模型和数据驱动模型构成动态模型，具备自我调整数据的能力，数据处理模块、功能处理模块和数据模型处理模块可以使建模数据更加的精准完善，然后通过原数据存储模块对处理后的建模数据进行保存，建模数据处理完成后通过可视化转换模块将建模数据中的计算数据通过数据中的等多组视频帧进行整合转换，转换完成后通过视频渲染模块将视频图像进行适应性的画面效果的渲染，视频图像渲染后通过视频生成模块将视频数据转换成适合VR装备传输的视频数据，建模处理模块可以将视频处理为视频整体更加流畅，画面效果更佳的仿真VR视频。
3.本发明提供一种具有智能集成功能的全范围仿真系统及方法，通过对截取到的图片进行线性空间滤波，并根据滤波结果对图片进行去噪，确保截取到的图片清晰可见，为准确生成对应的VR视频提供了保障，提高了VR视频生成的效果。
4.本发明提供一种具有智能集成功能的全范围仿真系统及方法，通过对音频数据中的声音数据和视频数据进行分析，从而便于确定在不同时刻对应的不同角度的图像，为生成VR全景图像提供了便利，其次，通过将不同时刻对应的三维图像进行渲染以及合并，并在进行球面投影，确保最终得到的VR全景图像的可靠性，同时将声音数据与视频数据进行关联，提高了VR视频的观看效果，最后对生成的VR全景图像进行质量评估，从而保障了最终得到的VR全景图像的准确性以及可靠性。
5.：通过对历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性进行计算，并根据计算结果对最终的VR全景图像的质量进行评估，从而实现对最终的VR全景图像的质量进行准确有效的把握，且在质量不合格时，及时对音频数据进行重新处理，提高了VR视频生成的准确率以及可靠率。
附图说明
图1为本发明的整体拓扑示意图；
图2为本发明的音频采集终端模块示意图；
图3为本发明的三维处理系统模块示意图；
图4为本发明的VR接收终端模块示意图；
图5为本发明的VR处理终端模块示意图；
图6为本发明的VR生成模块示意图。
图中：1、音频采集终端；11、数据采集模块；111、语音接收模块；112、视频接收模块；12、音频同步模块；13、分段存储模块；2、三维处理系统；21、音频分段接收模块；22、视频分解模块；23、图片截取模块；24、图片处理模块；241、图像修正模块；242、像素融合模块；243、颜色处理模块；25、语音处理模块；3、VR接收终端；31、图片初始模块；311、图片捕捉模块；312、图片转换模块；32、语音初始模块；321、语音捕捉模块；322、语音转换模块；33、交互模块；4、VR处理终端；41、同步模块；42、建模模块；43、建模处理模块；431、数据处理模块；432、功能处理模块；433、数据模型处理模块；44、原数据存储模块；5、VR生成模块；51、可视化转换模块；52、视频渲染模块；53、视频生成模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决仿真系统在视频采集时，视频数据处理过于笼统，从而导致视频数据异常的问题，请参阅图1-图3，本实施例提供以为技术方案：
一种具有智能集成功能的全范围仿真系统，包括音频采集终端1、三维处理系统2、VR接收终端3、VR处理终端4和VR生成模块5，所述音频采集终端1将音频数据传输至三维处理系统2，三维处理系统2将三维处理后的数据通传输至VR接收终端3，VR接收终端3将转换数据传输至VR处理终端4，最后VR处理终端4中的数据通过VR生成模块5进行生成，音频采集终端1用于对视频数据的采集，三维处理系统2基于音频采集终端1的视频采集数据，对视频中的图片以及声音进行处理，VR接收终端3基于三维处理系统2的视频数据对其进行接收，VR处理终端4基于VR接收终端3的数据对其进行VR处理，VR生成模块5基于VR处理终端4的VR处理数据对其进行最终的VR视频生成。
音频采集终端1包括数据采集模块11、音频同步模块12和分段存储模块13，数据采集模块11包括语音接收模块111和视频接收模块112，通过语音接收模块111和视频接收模块112对采集的视频数据或者语音数据进行接收，音频同步模块12基于数据采集模块11中的视频数据，将视频中的视频与视频中的声音进行同步，并打包成同步序列号，分段存储模块13基于音频同步模块12的音频同步序列号将打包数据进行分段存储。
三维处理系统2包括音频分段接收模块21、视频分解模块22、图片截取模块23、图片处理模块24和语音处理模块25，音频分段接收模块21用于将声音和视频打包分组进行接收，视频分解模块22用于将视频分解成以帧率为单位的多组图片，图片截取模块23用于从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取，图片处理模块24基于图片截取模块23将截取的图片进行处理，语音处理模块25通过原始数据将声音与以帧率为单位的图片进行数据打包，图片处理模块24包括图像修正模块241、像素融合模块242和颜色处理模块243，图像修正模块241将失真图片进行的复原性处理，像素融合模块242将图片融合成重叠度大而且亮度差异小的图片，颜色处理模块243将图片的颜色进行自动调整。
具体的，语音接收模块111将独立的语音数据或者视频中的语音数据进行接收，视频接收模块112将视频的画面数据进行接收，音频同步模块12将视频接收模块112中视频数据中的语音进行同步处理，处理完成后将数据打包成同步序列号，最后分段存储模块13将同步序列号进行分段处理，分段处理是将视频和声音在打包主数据中分列成两组独立的数据，音频分段接收模块21将分段后的数据传输进行接收，接收后传输至视频分解模块22，视频分解模块22将接收到的视频中的视频进行分解，是将视频中每个帧数的视频分解成多个单一的图片，分解成单一的图片后通过图片截取模块23将每组图片从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取，不同角度的截取可以使后期的VR图片拼接更加的快速，之后在将每组图片通过图片处理模块24进行进一步的处理，之后通过语音处理模块25将语音数据根据视频的帧数进行快速或者慢速的处理。
为了解决仿真系统中视频集成效果不佳，从而导致使用者在后期的使用时的体验感降低的问题，请参阅图4-图6，提供以下技术方案：
VR接收终端3包括图片初始模块31、语音初始模块32和交互模块33，图片初始模块31包括图片捕捉模块311和图片转换模块312，图片捕捉模块311用于捕捉图片中的动作，图片转换模块312将捕捉到的动作转化为动作数据，语音初始模块32包括语音捕捉模块321和语音转换模块322，语音捕捉模块321用于捕捉语音中的声音及语言，语音转换模块322将捕捉到的语音转化为语音数据。
VR处理终端4包括同步模块41、建模模块42、建模处理模块43和原数据存储模块44，同步模块41将打包中的相同序列号的视频与语音整合为同步序列号的数据，建模模块42将同步序列号转换成建模计算数据，建模处理模块43将计算数据进行建模处理，原数据存储模块44基于建模处理模块43将数据进行存储，建模处理模块43包括数据处理模块431、功能处理模块432和数据模型处理模块433，数据处理模块431将建模计算数据进行数据问题的处理，功能处理模块432将建模计算数据进行仿真和诊断，数据模型处理模块433将建模计算数据中的数据模型和驱动进行调整。
VR生成模块5包括可视化转换模块51、视频渲染模块52和视频生成模块53，可视化转换模块51将计算数据以视频的形状进行转换，视频渲染模块52基于可视化转换模块51将转换的视频进行画面效果的渲染，视频生成模块53将视频生成为可进行传输的视频。
具体的，三维处理系统2传输的数据先通过图片初始模块31对数据中的图片进行处理，先将每组照片中的图像动作进行捕捉，捕捉完成后再将捕捉的图像工作通过图片转换模块312转换成图像数据，再通过语音初始模块32岁数据中的声音进行处理，先将图片同序列中的声音进行捕捉，捕捉完成后再通过语音转换模块322转换成语音数据，声音跟图片都转换为特定数据时，在通过交互模块33将语音特定数据和图像特定数据进行融合，融合完成后通过同步模块41将特定的语音数据和图像数据中的同序列号整合为同步的序列号，整合完成后通过建模模块42将同步序列号转换成建模计算数据，转换完成后通过建模处理模块43对数据进行建模处理，其中数据处理模块431解决特定数据中某类具体问题的解决方案，在归纳总结后整合成专业知识体系，并且使形成的模式在一定程度上实现自适应调整，功能处理模块432用于数化仿真、分析诊断和决策自治，传输的数据遵守共同的传输规则，互相保持一定的统一性，数据模型处理模块433用于数据模型和数据驱动模型，数据模型和数据驱动模型构成动态模型，具备自我调整数据的能力，数据处理模块431、功能处理模块432和数据模型处理模块433可以使建模数据更加的精准完善，然后通过原数据存储模块44对处理后的建模数据进行保存，建模数据处理完成后通过可视化转换模块51将建模数据中的计算数据通过数据中的等多组视频帧进行整合转换，转换完成后通过视频渲染模块52将视频图像进行适应性的画面效果的渲染，视频图像渲染后通过视频生成模块53将视频数据转换成适合VR装备传输的视频数据。
一种具有智能集成功能的全范围仿真系统的使用方法，包括以下步骤：
第一步：先通过音频采集终端1将视频和语音进行接收，接收完成后通过三维处理系统2将接收到的视频转换成三维视频数据，语音接收模块111将独立的语音数据或者视频中的语音数据进行接收，视频接收模块112将视频的画面数据进行接收，音频同步模块12将视频接收模块112中视频数据中的语音进行同步处理，处理完成后将数据打包成同步序列号，最后分段存储模块13将同步序列号进行分段处理，分段处理是将视频和声音在打包主数据中分列成两组独立的数据；
第二步：三维处理系统2再将三维视频数据通过VR接收终端3进行接收，接收后通过VR处理终端4对接收到的数据进行数据处理，图片捕捉模块311用于捕捉图片中的动作，图片转换模块312将捕捉到的动作转化为动作数据，语音捕捉模块321用于捕捉语音中的声音及语言，语音转换模块322将捕捉到的语音转化为语音数据；
第三步：VR处理终端4将视频数据处理后通过VR生成模块5将视频生成为VR视频，数据处理模块431将建模计算数据进行数据问题的处理，功能处理模块432将建模计算数据进行仿真和诊断，数据模型处理模块433将建模计算数据中的数据模型和驱动进行调整。
具体的，所述图片处理模块24，包括：
图片获取单元，用于获取截取到的图片，并确定截取到的图片的每个通道对应的灰度图像；
图像处理单元，用于对每个通道对应的灰度图像进行线性空间滤波得到滤波图像，并基于滤波图像计算去噪后的最终图像，具体步骤包括：
根据如下公式计算对每个通道对应的灰度图像进行线性空间滤波得到滤波图像：
其中，G(x,y)表示对每个通道对应的灰度图像进行线性空间滤波得到滤波图像；D(w，k)表示边缘检测滤波器系数，且取值范围为(0.5，1.8)；x表示每个通道对应的灰度图像中像素点的横坐标值；y表示每个通道对应的灰度图像中像素点的纵坐标值；f(x,y)表示每一通道对应的灰度图像；w表示边缘检测滤波器对灰度图像中像素点的横坐标值处理时的变化值；k表示边缘检测滤波器对灰度图像中像素点的纵坐标值处理时的变化值；
根据如下公式计算基于滤波图像计算去噪后的最终图像：
Q(x,y)＝α*f(x,y)+(1-α)*G(x,y)；
其中，Q(x,y)表示基于滤波图像计算去噪后的最终图像；α表示自适应混合比例系数，且取值范围为[0，1]；f(x,y)表示每一通道对应的灰度图像；G(x,y)表示对每个通道对应的灰度图像进行线性空间滤波得到滤波图像；
传输单元，用于将得到的去噪后的最终图像进行打包，得到目标数据包，并将所述目标数据包传输至所述VR接收终端(3)。
该实施例中，目标数据包指的是对得到的去噪后的最终图像进行打包后得到的数据包，便于将处理后的图像进行传输。
上述技术方案的有益效果是：通过对截取到的图片进行线性空间滤波，并根据滤波结果对图片进行去噪，确保截取到的图片清晰可见，为准确生成对应的VR视频提供了保障，提高了VR视频生成的效果。
具体的，所述VR生成模块5，包括：
数据获取单元，用于获取处理后的音频数据，并提取所述音频数据的数据特征，且基于所述数据特征将所述音频数据分为声音数据和视频数据，其中，所述视频数据是以帧率为单位的平面图像；
数据分析单元，用于对所述声音数据进行语音识别，得到的所述声音数据对应的文本文件，并对所述文本文件进行处理，得到所述文本文件中每一句文本对应的时间戳；
视频处理单元，用于确定视频数据对应的平面图像序列，并确定所述平面图像序列与所述文本文件中每一句文本对应的时间戳的关联关系；
所述视频处理单元，用于基于所述关联关系确定每张平面图像对应的时间标识，并基于所述时间标识对所述视频数据对应的平面图像进行排序，其中，同一时刻下的平面图像至少为一张；
所述视频处理单元，还用于基于排序结果确定同一时刻的目标平面图像集合，并提取所述目标平面图像集合中每一平面图像的拍摄角度；
视频生成单元，用于基于所述拍摄角度对同一时刻的目标平面图像集合进行捕捉合并，得到当前时刻的三维图像；
所述视频生成单元，用于将不同时刻的所述三维图像实时渲染至空间投影对象，并对不同时刻的三维图像进行组合渲染及合并，得到视频数据对应的全景图；
所述视频生成单元，还用于将所述全景图进行球面投影以及二次渲染，并将声音数据与全景图进行实时关联，得到最终的VR全景图像；
图像评估单元，用于构建卷积神经网络模型，并基于历史VR图像对所述卷积神经网络模型进行训练，并基于训练结果对所述最终的VR全景图像进行分析，得到所述最终的VR全景图像的MOS值以及图像清晰度阈值；
所述图像评估单元，还用于确定MOS值以及图像清晰度阈值的权重值，并基于所述权重值得到最终的VR全景图像的质量分数，且在所述质量分数小于预设阈值时，重新对音频数据进行处理，直至质量分数大于或等于预设阈值。
该实施例中，数据特征指的是音频数据中声音数据和视频数据具有的明显区别，包括数据的属性以及取值情况等。
该实施例中，视频数据是以帧率为单位的平面图像指的是视频数据是音频数据中各个帧对应的静态图片。
该实施例中，文本文件指的是对声音数据进行语音识别后得到的对应的文字描述。
该实施例中，时间戳指的是声音数据中每一句声音对应的时间发展顺序，即出声的先后顺序。
该实施例中，平面图像序列指的是视频数据中各个帧包含的静态图像的集合。
该实施例中，时间标识是用来标记不同平面图像随着时间发展出现的先后顺序。
该实施例中，确定同一时刻的目标平面图像集合指的是同一时刻在同一场景下不同角度对应的图像的集合。
该实施例中，对不同时刻的三维图像进行组合渲染及合并指的是将不同时刻的三维图像进行图像渲染以及将相邻时刻的三维图像进行拼接，从而确保得到的图像是随时间发展顺序而形成连贯的图像集。
该实施例中，将所述全景图进行球面投影以及二次渲染指的是将得到的全景图采用球面投影的方式进行再次投影，从而便于确保将全景图转换为与人眼成像相对应的图像格式。
该实施例中，历史VR图像是提前设定好的，用于对卷积神经网络模型进行训练，从而便于通过卷积神经网络对VR全景图像进行分析。
该实施例中，MOS值适用于表征VR全景图像中声音数据的质量情况，数值越大，表明声音效果越好。
该实施例中，预设阈值是提前设定好的，用于衡量最终的VR全景图像是否满足要求，是可以进行调整的。
上述技术方案的有益效果是：通过对音频数据中的声音数据和视频数据进行分析，从而便于确定在不同时刻对应的不同角度的图像，为生成VR全景图像提供了便利，其次，通过将不同时刻对应的三维图像进行渲染以及合并，并在进行球面投影，确保最终得到的VR全景图像的可靠性，同时将声音数据与视频数据进行关联，提高了VR视频的观看效果，最后对生成的VR全景图像进行质量评估，从而保障了最终得到的VR全景图像的准确性以及可靠性。
具体的，图像评估单元，包括：
图像换取子单元，用于获取历史失真VR全景图像以及最终的VR全景图像，并分别提取历史失真VR全景图像和最终的VR全景图像的亮度特征对比度；
计算子单元，用于基于亮度特征对比度计算历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，并基于相似性计算最终的VR全景图像的客观质量得分，具体步骤包括：
根据如下公式计算历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性：
其中，
表示历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，且取值范围为[0，1]；μ表示误差系数，且取值范围为(0.002，0.05)；δ表示历史失真VR全景图像的亮度特征对比度；σ表示最终的VR全景图像的亮度特征对比度；ρ表示常数，且一般取值为0.5；
根据如下公式计算最终的VR全景图像的质量分数：
其中，λ表示最终的VR全景图像的质量分数；z表示最终的VR全景图像中横向像素点的当前个数；n表示最终的VR全景图像中横向像素点的总个数；r表示最终的VR全景图像中纵向像素点的当前个数；m表示最终的VR全景图像中纵向像素点的总个数；η(z，r)表示最终的VR全景图像中像素点(z，r)处的图像块的运动矢量特征；
表示表示历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，且取值范围为[0，1]；ω表示表示历史失真VR全景图像和最终的VR全景图像的纹理特征对比度之间的相似性，且取值范围为[0，1]；θ表示表示历史失真VR全景图像和最终的VR全景图像的深度特征对比度之间的相似性，且取值范围为[0，1]；
比较单元，用于将得到的质量分数与预设阈值进行比较；
若所述质量分数小于所述预设阈值，判定得到的最终的VR全景图像不合格，并重新对音频数据进行处理；
否则，判定得到的最终的VR全景图像合格。
该实施例中，亮度特征对比度是用来表征历史失真VR全景图像以及最终的VR全景图像的亮度信息。
该实施例中，历史失真VR全景图像是提前设定好的，且图像是失真的，目的是为确定最终的VR全景图像的效果提供参考依据。
该实施例中，纹理特征对比度是用来表征历史失真VR全景图像以及最终的VR全景图像的纹理信息。
该实施例中，深度特征对比度是用来表征历史失真VR全景图像以及最终的VR全景图像中记录的内容距离摄像头的距离信息。
上述技术方案的有益效果是：通过对历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性进行计算，并根据计算结果对最终的VR全景图像的质量进行评估，从而实现对最终的VR全景图像的质量进行准确有效的把握，且在质量不合格时，及时对音频数据进行重新处理，提高了VR视频生成的准确率以及可靠率。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种具有智能集成功能的全范围仿真系统，包括音频采集终端(1)、三维处理系统(2)、VR接收终端(3)、VR处理终端(4)和VR生成模块(5)，其特征在于：所述音频采集终端(1)将音频数据传输至三维处理系统(2)，三维处理系统(2)将三维处理后的数据通传输至VR接收终端(3)，VR接收终端(3)将转换数据传输至VR处理终端(4)，最后VR处理终端(4)中的数据通过VR生成模块(5)进行生成；
所述音频采集终端(1)用于对视频数据的采集；
所述三维处理系统(2)基于音频采集终端(1)的视频采集数据，对视频中的图片以及声音进行处理；
所述VR接收终端(3)基于三维处理系统(2)的视频数据对其进行接收；
所述VR处理终端(4)基于VR接收终端(3)的数据对其进行VR处理；
所述VR生成模块(5)基于VR处理终端(4)的VR处理数据对其进行最终的VR视频生成。
2.根据权利要求1所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述音频采集终端(1)包括数据采集模块(11)、音频同步模块(12)和分段存储模块(13)；
所述数据采集模块(11)包括语音接收模块(111)和视频接收模块(112)，通过语音接收模块(111)和视频接收模块(112)对采集的视频数据或者语音数据进行接收；
所述音频同步模块(12)基于数据采集模块(11)中的视频数据，将视频中的视频与视频中的声音进行同步，并打包成同步序列号；
所述分段存储模块(13)基于音频同步模块(12)的音频同步序列号将打包数据进行分段存储。
3.根据权利要求1所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述三维处理系统(2)包括音频分段接收模块(21)、视频分解模块(22)、图片截取模块(23)、图片处理模块(24)和语音处理模块(25)；
所述音频分段接收模块(21)用于将声音和视频打包分组进行接收；
所述视频分解模块(22)用于将视频分解成以帧率为单位的多组图片；
所述图片截取模块(23)用于从不同的角度将图片进行不同视角的截取，不同的视角采用不同的经纬度截取；
所述图片处理模块(24)基于图片截取模块(23)将截取的图片进行处理；
所述语音处理模块(25)通过原始数据将声音与以帧率为单位的图片进行数据打包；
所述图片处理模块(24)包括图像修正模块(241)、像素融合模块(242)和颜色处理模块(243)；
所述图像修正模块(241)将失真图片进行的复原性处理；
所述像素融合模块(242)将图片融合成重叠度大而且亮度差异小的图片；
所述颜色处理模块(243)将图片的颜色进行自动调整。
4.根据权利要求3所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述图片处理模块(24)，包括：
图片获取单元，用于获取截取到的图片，并确定截取到的图片的每个通道对应的灰度图像；
图像处理单元，用于对每个通道对应的灰度图像进行线性空间滤波得到滤波图像，并基于滤波图像计算去噪后的最终图像，具体步骤包括：
根据如下公式计算对每个通道对应的灰度图像进行线性空间滤波得到滤波图像：
其中，G(x,y)表示对每个通道对应的灰度图像进行线性空间滤波得到滤波图像；D(w，k)表示边缘检测滤波器系数，且取值范围为(0.5，1.8)；x表示每个通道对应的灰度图像中像素点的横坐标值；y表示每个通道对应的灰度图像中像素点的纵坐标值；f(x,y)表示每一通道对应的灰度图像；w表示边缘检测滤波器对灰度图像中像素点的横坐标值处理时的变化值；k表示边缘检测滤波器对灰度图像中像素点的纵坐标值处理时的变化值；
根据如下公式计算基于滤波图像计算去噪后的最终图像：
Q(x,y)＝α*f(x,y)+(1-α)*G(x,y)；
其中，Q(x,y)表示基于滤波图像计算去噪后的最终图像；α表示自适应混合比例系数，且取值范围为[0，1]；f(x,y)表示每一通道对应的灰度图像；G(x,y)表示对每个通道对应的灰度图像进行线性空间滤波得到滤波图像；
传输单元，用于将得到的去噪后的最终图像进行打包，得到目标数据包，并将所述目标数据包传输至所述VR接收终端(3)。
5.根据权利要求1所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述VR接收终端(3)包括图片初始模块(31)、语音初始模块(32)和交互模块(33)；
所述图片初始模块(31)包括图片捕捉模块(311)和图片转换模块(312)；
所述图片捕捉模块(311)用于捕捉图片中的动作；
所述图片转换模块(312)将捕捉到的动作转化为动作数据；
所述语音初始模块(32)包括语音捕捉模块(321)和语音转换模块(322)；
所述语音捕捉模块(321)用于用于捕捉语音中的声音及语言；
所述语音转换模块(322)将捕捉到的语音转化为语音数据；
所述交互模块(33)用于接收语音初始模块与视频初始模块的语音数据与动作数据进行融合。
6.根据权利要求1所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述VR处理终端(4)包括同步模块(41)、建模模块(42)、建模处理模块(43)和原数据存储模块(44)；
所述同步模块(41)将打包中的相同序列号的视频与语音整合为同步序列号的数据；
所述建模模块(42)将同步序列号转换成建模计算数据；
所述建模处理模块(43)将计算数据进行建模处理；
所述原数据存储模块(44)基于建模处理模块(43)将数据进行存储；
所述所述建模处理模块(43)包括数据处理模块(431)、功能处理模块(432)和数据模型处理模块(433)；
所述数据处理模块(431)将建模计算数据进行数据问题的处理；
所述功能处理模块(432)将建模计算数据进行仿真和诊断；
所述数据模型处理模块(433)将建模计算数据中的数据模型和驱动进行调整。
7.根据权利要求1所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述VR生成模块(5)包括可视化转换模块(51)、视频渲染模块(52)和视频生成模块(53)；
所述可视化转换模块(51)将计算数据以视频的形状进行转换；
所述视频渲染模块(52)基于可视化转换模块(51)将转换的视频进行画面效果的渲染；
所述视频生成模块(53)将视频生成为可进行传输的视频。
8.根据权利要求7所述的一种具有智能集成功能的全范围仿真系统，其特征在于：所述VR生成模块(5)，包括：
数据获取单元，用于获取处理后的音频数据，并提取所述音频数据的数据特征，且基于所述数据特征将所述音频数据分为声音数据和视频数据，其中，所述视频数据是以帧率为单位的平面图像；
数据分析单元，用于对所述声音数据进行语音识别，得到的所述声音数据对应的文本文件，并对所述文本文件进行处理，得到所述文本文件中每一句文本对应的时间戳；
视频处理单元，用于确定视频数据对应的平面图像序列，并确定所述平面图像序列与所述文本文件中每一句文本对应的时间戳的关联关系；
所述视频处理单元，用于基于所述关联关系确定每张平面图像对应的时间标识，并基于所述时间标识对所述视频数据对应的平面图像进行排序，其中，同一时刻下的平面图像至少为一张；
所述视频处理单元，还用于基于排序结果确定同一时刻的目标平面图像集合，并提取所述目标平面图像集合中每一平面图像的拍摄角度；
视频生成单元，用于基于所述拍摄角度对同一时刻的目标平面图像集合进行捕捉合并，得到当前时刻的三维图像；
所述视频生成单元，用于将不同时刻的所述三维图像实时渲染至空间投影对象，并对不同时刻的三维图像进行组合渲染及合并，得到视频数据对应的全景图；
所述视频生成单元，还用于将所述全景图进行球面投影以及二次渲染，并将声音数据与全景图进行实时关联，得到最终的VR全景图像；
图像评估单元，用于构建卷积神经网络模型，并基于历史VR图像对所述卷积神经网络模型进行训练，并基于训练结果对所述最终的VR全景图像进行分析，得到所述最终的VR全景图像的MOS值以及图像清晰度阈值；
所述图像评估单元，还用于确定MOS值以及图像清晰度阈值的权重值，并基于所述权重值得到最终的VR全景图像的质量分数，且在所述质量分数小于预设阈值时，重新对音频数据进行处理，直至质量分数大于或等于预设阈值。
9.根据权利要求8所述的一种具有智能集成功能的全范围仿真系统，其特征在于，图像评估单元，包括：
图像换取子单元，用于获取历史失真VR全景图像以及最终的VR全景图像，并分别提取历史失真VR全景图像和最终的VR全景图像的亮度特征对比度；
计算子单元，用于基于亮度特征对比度计算历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，并基于相似性计算最终的VR全景图像的客观质量得分，具体步骤包括：
根据如下公式计算历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性：
其中，
表示历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，且取值范围为[0，1]；μ表示误差系数，且取值范围为(0.002，0.05)；δ表示历史失真VR全景图像的亮度特征对比度；σ表示最终的VR全景图像的亮度特征对比度；ρ表示常数，且一般取值为0.5；
根据如下公式计算最终的VR全景图像的质量分数：
其中，λ表示最终的VR全景图像的质量分数；z表示最终的VR全景图像中横向像素点的当前个数；n表示最终的VR全景图像中横向像素点的总个数；r表示最终的VR全景图像中纵向像素点的当前个数；m表示最终的VR全景图像中纵向像素点的总个数；η(z，r)表示最终的VR全景图像中像素点(z，r)处的图像块的运动矢量特征；
表示表示历史失真VR全景图像和最终的VR全景图像的亮度特征对比度之间的相似性，且取值范围为[0，1]；ω表示表示历史失真VR全景图像和最终的VR全景图像的纹理特征对比度之间的相似性，且取值范围为[0，1]；θ表示表示历史失真VR全景图像和最终的VR全景图像的深度特征对比度之间的相似性，且取值范围为[0，1]；
比较单元，用于将得到的质量分数与预设阈值进行比较；
若所述质量分数小于所述预设阈值，判定得到的最终的VR全景图像不合格，并重新对音频数据进行处理；
否则，判定得到的最终的VR全景图像合格。
10.一种如权利要求1-9任一项所述的具有智能集成功能的全范围仿真系统的使用方法，其特征在于，包括以下步骤：
第一步：先通过音频采集终端(1)将视频和语音进行接收，接收完成后通过三维处理系统(2)将接收到的视频转换成三维视频数据；
第二步：三维处理系统(2)再将三维视频数据通过VR接收终端(3)进行接收，接收后通过VR处理终端(4)对接收到的数据进行数据处理；
第三步：VR处理终端(4)将视频数据处理后通过VR生成模块(5)将视频生成为VR视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210823070.1A CN115209121B (zh) | 2022-07-14 | 2022-07-14 | 一种具有智能集成功能的全范围仿真系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210823070.1A CN115209121B (zh) | 2022-07-14 | 2022-07-14 | 一种具有智能集成功能的全范围仿真系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115209121A true CN115209121A (zh) | 2022-10-18 |
| CN115209121B CN115209121B (zh) | 2024-03-15 |
Family
ID=83579458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210823070.1A Active CN115209121B (zh) | 2022-07-14 | 2022-07-14 | 一种具有智能集成功能的全范围仿真系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115209121B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152600A (zh) * | 2013-03-08 | 2013-06-12 | 天津大学 | 一种立体视频质量评价方法 |
| CN103366399A (zh) * | 2013-07-02 | 2013-10-23 | 苏州瀚易特信息技术有限公司 | 三维全景模型生成方法 |
| CN103780895A (zh) * | 2014-01-16 | 2014-05-07 | 天津大学 | 一种立体视频质量评价方法 |
| CN104104952A (zh) * | 2014-08-01 | 2014-10-15 | 武汉高德信息产业有限公司 | 一种适应于移动设备存储与播放的音视频处理方法与系统 |
| US20150193970A1 (en) * | 2012-08-01 | 2015-07-09 | Chengdu Idealsee Technology Co., Ltd. | Video playing method and system based on augmented reality technology and mobile terminal |
| CN106875389A (zh) * | 2017-02-23 | 2017-06-20 | 天津大学 | 基于运动显著性的立体视频质量评价方法 |
| CN106911901A (zh) * | 2017-01-11 | 2017-06-30 | 北京光年无限科技有限公司 | 一种用于智能机器人的数据处理方法及系统 |
| CN107133918A (zh) * | 2017-05-05 | 2017-09-05 | 陈健 | 一种在三维场景中任意位置生成全景图的方法 |
| CN107886786A (zh) * | 2017-12-27 | 2018-04-06 | 安徽华久信科技有限公司 | 基于大数据的智能教育终端系统 |
| WO2018121333A1 (zh) * | 2016-12-30 | 2018-07-05 | 艾迪普（北京）文化科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| CN109859309A (zh) * | 2019-01-14 | 2019-06-07 | 仲恺农业工程学院 | 一种实现仿真教学的物联网教学信息处理系统及方法 |
| CN109976527A (zh) * | 2019-03-28 | 2019-07-05 | 重庆工程职业技术学院 | 交互式vr展示系统 |
| US20210319809A1 (en) * | 2020-04-10 | 2021-10-14 | Sunday Morning Technology (Guangzhou) Co., Ltd. | Method, system, medium, and smart device for cutting video using video content |
| CN113781664A (zh) * | 2021-11-09 | 2021-12-10 | 四川省交通勘察设计研究院有限公司 | 基于三维模型的vr全景图构造显示方法、系统及终端 |
| CN114547370A (zh) * | 2022-02-15 | 2022-05-27 | 北京大学 | 一种视频摘要提取方法及系统 |
| CN114648482A (zh) * | 2020-12-19 | 2022-06-21 | 中国科学院深圳先进技术研究院 | 立体全景图像的质量评价方法、系统 |
| CN115546369A (zh) * | 2022-09-21 | 2022-12-30 | 浙江广播电视集团 | 一种工作流调度接口构建管理方法及系统 |
-
2022
- 2022-07-14 CN CN202210823070.1A patent/CN115209121B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150193970A1 (en) * | 2012-08-01 | 2015-07-09 | Chengdu Idealsee Technology Co., Ltd. | Video playing method and system based on augmented reality technology and mobile terminal |
| CN103152600A (zh) * | 2013-03-08 | 2013-06-12 | 天津大学 | 一种立体视频质量评价方法 |
| CN103366399A (zh) * | 2013-07-02 | 2013-10-23 | 苏州瀚易特信息技术有限公司 | 三维全景模型生成方法 |
| CN103780895A (zh) * | 2014-01-16 | 2014-05-07 | 天津大学 | 一种立体视频质量评价方法 |
| CN104104952A (zh) * | 2014-08-01 | 2014-10-15 | 武汉高德信息产业有限公司 | 一种适应于移动设备存储与播放的音视频处理方法与系统 |
| CN108616731A (zh) * | 2016-12-30 | 2018-10-02 | 艾迪普（北京）文化科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| WO2018121333A1 (zh) * | 2016-12-30 | 2018-07-05 | 艾迪普（北京）文化科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| CN106911901A (zh) * | 2017-01-11 | 2017-06-30 | 北京光年无限科技有限公司 | 一种用于智能机器人的数据处理方法及系统 |
| CN106875389A (zh) * | 2017-02-23 | 2017-06-20 | 天津大学 | 基于运动显著性的立体视频质量评价方法 |
| CN107133918A (zh) * | 2017-05-05 | 2017-09-05 | 陈健 | 一种在三维场景中任意位置生成全景图的方法 |
| CN107886786A (zh) * | 2017-12-27 | 2018-04-06 | 安徽华久信科技有限公司 | 基于大数据的智能教育终端系统 |
| CN109859309A (zh) * | 2019-01-14 | 2019-06-07 | 仲恺农业工程学院 | 一种实现仿真教学的物联网教学信息处理系统及方法 |
| CN109976527A (zh) * | 2019-03-28 | 2019-07-05 | 重庆工程职业技术学院 | 交互式vr展示系统 |
| US20210319809A1 (en) * | 2020-04-10 | 2021-10-14 | Sunday Morning Technology (Guangzhou) Co., Ltd. | Method, system, medium, and smart device for cutting video using video content |
| CN114648482A (zh) * | 2020-12-19 | 2022-06-21 | 中国科学院深圳先进技术研究院 | 立体全景图像的质量评价方法、系统 |
| CN113781664A (zh) * | 2021-11-09 | 2021-12-10 | 四川省交通勘察设计研究院有限公司 | 基于三维模型的vr全景图构造显示方法、系统及终端 |
| CN114547370A (zh) * | 2022-02-15 | 2022-05-27 | 北京大学 | 一种视频摘要提取方法及系统 |
| CN115546369A (zh) * | 2022-09-21 | 2022-12-30 | 浙江广播电视集团 | 一种工作流调度接口构建管理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 吕伟龙;曾宪晖;孙亚旺;: "360全景视频渲染与压缩方法探索", 网络新媒体技术, no. 01 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115209121B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107105310B (zh) | 一种视频直播中人物形象替换方法、装置和一种录播系统 | |
| CN110944200B (zh) | 一种评估沉浸式视频转码方案的方法 | |
| CN107635136B (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
| EP2202687A2 (en) | Image quality evaluation device and method | |
| CN101610425B (zh) | 一种评测立体图像质量的方法和装置 | |
| CN110136144B (zh) | 一种图像分割方法、装置及终端设备 | |
| CN110837750A (zh) | 一种人脸质量评价方法与装置 | |
| CN113762107B (zh) | 对象状态评估方法、装置、电子设备及可读存储介质 | |
| CN110276831A (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN113192164A (zh) | 虚拟形象随动控制方法、装置、电子设备和可读存储介质 | |
| CN102333234A (zh) | 一种双目立体视频状态信息的监测方法及装置 | |
| CN109190533A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112396016B (zh) | 一种基于大数据技术的人脸识别系统 | |
| CN113573044B (zh) | 视频数据处理方法、装置、计算机设备及可读存储介质 | |
| Chen et al. | Sound to visual: Hierarchical cross-modal talking face video generation | |
| WO2023241298A1 (zh) | 一种视频生成方法、装置、存储介质及电子设备 | |
| CN115209121B (zh) | 一种具有智能集成功能的全范围仿真系统及方法 | |
| WO2023217138A1 (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
| CN112712525A (zh) | 多方图像交互系统及方法 | |
| CN115543075A (zh) | 一种带有远程互动教学功能的vr教学系统 | |
| KR101591402B1 (ko) | 관객반응 분석 시스템 및 방법 | |
| CN112700396A (zh) | 一种人脸图片光照评价方法、装置、计算设备和存储介质 | |
| CN111127587B (zh) | 一种基于对抗生成网络的无参考图像质量地图生成方法 | |
| CN114091511A (zh) | 一种基于时空信息的健身动作评分方法、系统及装置 | |
| KR101581586B1 (ko) | 깊이 영상의 노이즈를 보정하는 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |