CN107102728A - 基于虚拟现实技术的显示方法及系统 - Google Patents
基于虚拟现实技术的显示方法及系统 Download PDFInfo
- Publication number
- CN107102728A CN107102728A CN201710193066.0A CN201710193066A CN107102728A CN 107102728 A CN107102728 A CN 107102728A CN 201710193066 A CN201710193066 A CN 201710193066A CN 107102728 A CN107102728 A CN 107102728A
- Authority
- CN
- China
- Prior art keywords
- information
- audio
- virtual reality
- server
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005516 engineering process Methods 0.000 title claims abstract description 41
- 230000033001 locomotion Effects 0.000 claims abstract description 132
- 230000001360 synchronised effect Effects 0.000 claims abstract description 46
- 230000005540 biological transmission Effects 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 22
- 230000002123 temporal effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 230000002068 genetic effect Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 abstract description 4
- 230000003111 delayed effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 239000011800 void material Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000000418 atomic force spectrum Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Abstract
本发明提供了一种基于虚拟现实技术的显示方法及系统，方法包括：采集终端采集音频数据、图像数据并进行预处理以生成音频信息、图像信息并发送至服务器；虚拟现实终端获取佩带用户的运动参数信息并发送至服务器，向服务器发送观看当前环境对应的三维视频的请求，接收服务器发送的与用户运动状态同步的三维视频信息并显示；服务器接收音频、图像信息及运动参数信息，并将运动参数信息在SVM模型中训练以确定运动状态，根据音频、图像信息及预置背景信息生成三维视频信息并通过调整得到与运动状态同步的三维视频信息并发送至虚拟现实终端。以此，通过结合运动状态弥补三维视频的帧内延时，降低拖影感及卡顿感，提升用户使用虚拟现实设备的体验。
Description
技术领域
本发明涉及计算机领域，特别地，涉及一种基于虚拟现实技术的显示方法及系统。
背景技术
随着计算机技术的发展，虚拟现实(VR，Augmented Reality)技术越来越多的应用到各行各业，以教育行业为例，由于传统教学过程中缺乏生动的教学环境、老师与学生之间的互动等因素，将虚拟现实技术应用于教学应运而生，以模拟出生动的英语环境并可让学生参与互动，可带给学生更好的学习体验。
在虚拟现实技术的应用过程中，通常可采用多个摄像头从多个角度采集现实环境中的图像(比如包括老师在讲课的图像)，然后通过抠图、填充等处理，将采集到的图像与预定的背景图像(比如某种英语环境)进行合成，当虚拟现实终端的佩戴用户进行观看时，则可看到上述人物与背景合成后的“人在画中”的效果。
但是，在实际使用过程中，佩戴用户会存在头部转动、行走等不同的运动状态，显示于虚拟现实终端显示屏的画面中在每一帧结束时会跳回原点，也就是说，由于用户的视觉暂留现象会保留上一帧和当前帧的图像，从而产生拖影感及画面卡顿的现象，用户的使用体验较差。此外，由于图像是通过多个摄像头从多个方向采集，图像的数据量较大，虽然现有方案可通过软件或硬件进行图像数据的压缩，但基于目前的网络能力，仍然需要较长的传输时间，进而影响了后续步骤中的图像处理效率，因此，在用户观看的画面往往存在时延现象，也会影响用户的使用体验。
发明内容
本发明提供了一种基于虚拟现实技术的显示方法及系统，通过结合运动状态对视频的帧内延时进行弥补，以降低拖影感及卡顿感，提升用户使用虚拟现实设备的观看体验。
为实现上述目的，本发明提出了一种基于虚拟现实技术的显示方法，应用于采集终端，所述采集终端包括音频采集部分及图像采集部分，所述方法包括：
通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息；
通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息；
将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。
可选的，所述音频采集部分包括多个麦克风及音频预处理装置，
通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息，包括：
通过多个麦克风采集目标区域内的音频数据；
通过音频预处理装置提取符合预置标准的音频数据并根据提取结果生成音频信息。
可选的，所述图像采集装置包括多个摄像头及图像预处理装置，
通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息，包括：
通过多个摄像头采集目标区域内的图像数据；
通过图像预处理装置基于采集到的图像数据生成对应的IP数据流以作为图像信息。
本发明还提出了一种基于虚拟现实技术的显示方法，应用于虚拟现实终端，所述方法包括：
获取佩带用户的运动参数信息并发送至服务器；
向服务器发送观看当前环境对应的三维视频的请求，以便服务器根据所述运动参数信息、采集终端发送的音频信息、图像信息以及预置背景图像信息生成与用户运动状态同步的三维视频信息；
接收服务器发送的与用户运动状态同步的三维视频信息并进行显示。
可选的，所述虚拟现实终端中包括基于电容式微机电系统MEMS的运动参数采集装置，
获取佩带用户的运动参数信息，包括：
通过所述运动参数采集装置采集电容变化数据；
根据电容变化数据获取运动参数信息。
可选的，所述运动参数采集装置，包括：陀螺仪、加速度传感器、角速度传感器和/或压力传感器；
所述运动参数信息，包括：方向信息、加速度信息、角速度信息和/或压力信息。
可选的，获取佩带用户的运动参数信息，包括：
根据预置步频阈值对获取到的运动参数信息进行初步去噪处理；
对初步去噪处理后的运动参数信息进行小波变换操作，以将运动参数信息中的时域信号离散化；
将多种频率成分的混合信号分解到不同频段，根据各种子信号在频域上的特征按频带处理，以获得符合预置信噪比阈值的运动参数信息。
可选的，所述方法还包括：
从符合预置信噪比阈值的运动参数信息中提取运动状态的时域特征及频域特征；
将时域特征与频域特征进行组合以生成运动状态的融合特征集。
本发明另外提出了一种基于虚拟现实技术的显示方法，应用于服务器，所述方法包括：
接收采集终端发送的音频信息及图像信息；
接收虚拟现实终端发送的佩带用户的运动参数信息，并将所述运动参数信息基于支持向量机SVM模型进行训练以确定佩带用户的运动状态；
基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像信息生成三维视频信息，并根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息；
将所述与运动状态同步的三维视频信息发送至虚拟现实终端，以便虚拟现实终端对与运动状态同步的三维视频进行显示。
可选的，根据音频信息、图像信息及预置背景图像信息生成三维视频信息，包括：
将音频信息、图像信息及预置背景图像信息进行拼合处理，生成携带时间戳的三维全景视频流并以ASCII格式进行存储。
可选的，所述方法还包括：通过遗传算法对SVM模型进行适应度评估，
其中，适应度评估函数为f(xi)＝min(1-g(xi))，为SVM模型对样本划分的正确率。
与上述方法相应的，本发明提出了一种基于虚拟现实技术的显示系统，设置于采集终端，所述采集终端包括音频采集部分及图像采集部分，所述系统包括：
音频信息获取单元，用于通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息；
图像信息获取单元，用于通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息；
音频图像信息发送单元，用于将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。
本发明还提出了一种基于虚拟现实技术的显示系统，设置于虚拟现实终端，所述系统包括：
运动参数信息获取单元，用于获取佩带用户的运动参数信息并发送至服务器；
请求发送单元，用于向服务器发送观看当前环境对应的三维视频的请求，以便服务器根据所述运动参数信息、采集终端发送的音频信息、图像信息以及预置背景图像信息生成与用户运动状态同步的三维视频信息；
显示单元，用于接收服务器发送的与用户运动状态同步的三维视频信息并进行显示。
本发明另外提出了一种基于虚拟现实技术的显示系统，设置于服务器，所述系统包括：
音频图像信息接收单元，用于接收采集终端发送的音频信息及图像信息；
运动状态确定单元，用于接收虚拟现实终端发送的佩带用户的运动参数信息，并将所述运动参数信息基于支持向量机SVM模型进行训练以确定佩带用户的运动状态；
三维视频信息生成单元，用于基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像信息生成三维视频信息，并根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息；
三维视频信息发送单元，用于将所述与运动状态同步的三维视频信息发送至虚拟现实终端，以便虚拟现实终端对与运动状态同步的三维视频进行显示。
本发明实施例提供了一种基于虚拟现实技术的显示方法及系统，可应用于采集终端、虚拟现实终端及服务器，采集终端可通过音频采集部分采集目标区域内的音频数据并对音频数据进行预处理以生成音频信息，还可通过图像采集部分采集目标区域内的图像数据并对图像数据进行预处理以生成图像信息，然后将音频信息及图像信息发送至服务器；相应的，虚拟现实终端可获取佩带用户的运动参数信息并发送至服务器，可向服务器发送观看当前环境对应的三维视频的请求并可接收服务器发送的与用户运动状态同步的三维视频信息并进行显示；相应的，服务器可接收采集终端发送的音频信息及图像信息，还可接收虚拟现实终端发送的佩带用户的运动参数信息并可将所述运动参数信息基于SVM模型进行训练以确定佩带用户的运动状态，然后基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像生成三维视频信息，且根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息并发送至虚拟现实终端。以此，一方面，采集终端可对其采集到的音频数据、图像数据进行预处理后再发送到服务器，以减少传输的数据量，在提高传输速度的同时，还可降低服务器的数据处理量，进而提高服务器的数据处理效率；另一方面，虚拟现实终端在具有运动参数采集功能的同时，还可对其采集到的运动参数信息进行去噪、时域频率特征提取以及组合为融合特征集等后将运动参数信息发送到服务器，以减少传输的数据量，在提高传输速度的同时，还可降低服务器的数据处理量，进而提高服务器的数据处理效率；再一方面，服务器可根据由运动参数信息确定用户的运动状态，来调整由音频、图像信息及预置背景信息生成的三维视频信息的帧，也就是调整该三维视频的播放进度，以得到与运动状态同步的三维视频信息并发送至虚拟现实终端进行显示，通过结合运动状态对视频的帧内延时进行弥补，以有效改善视频的帧内延时率，降低拖影感及卡顿感，提升用户使用虚拟现实设备的观看体验。
附图说明
图1是本发明实施例提供的基于虚拟现实技术的第一显示方法流程图；
图2是本发明实施例提供的基于虚拟现实技术的第二显示方法流程图；
图3是本发明实施例提供的基于虚拟现实技术的第三显示方法流程图；
图4是本发明实施例提供的基于虚拟现实技术的第一显示装置示意图；
图5是本发明实施例提供的基于虚拟现实技术的第二显示装置示意图；
图6是本发明实施例提供的基于虚拟现实技术的第三显示装置示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
首先需要说明的是，在本实施例涉及到的实体可包括：采集终端(比如可用于采集声音、图像等)、虚拟现实终端(比如可提供给用户佩带的设备等)及服务器，各实体之间相互独立又相互配合，下面对具体的实现方式进行详细介绍。
实施例一
参看图1，该实施例一首先从采集终端的角度，提供了一种基于虚拟现实技术的显示方法。
在本实施例中，所述采集终端可包括音频采集部分及图像采集部分。
所述方法可以包括如下步骤：
S101,通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息。
在具体实现时，所述音频采集部分可包括多个麦克风(比如，分布于至少三个方位的至少三个麦克风)及音频预处理装置，多个麦克风可与音频预处理装置通信连接。
可通过多个麦克风采集目标区域内的音频数据，然后通过音频预处理装置，对音频数据的方位、频率、音量等参数进行分析，以提取出符合预置标准(比如符合预设的方位、频率、音量等)的音频数据并根据提取结果生成音频信息。以此，可在后续步骤中将经过预处理的音频信息发送至服务器，以减少数据传输量，提高数据传输速度。
S102,通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息。
在具体实现时，所述图像采集装置包括多个摄像头(可设置于不同的方位，以便于从多个方位进行图像采集)及图像预处理装置，摄像头与图像预处理装置可通过摄像头连接线进行连接。
可通过多个摄像头采集目标区域内的图像数据，然后可通过图像预处理装置基于采集到的图像数据生成对应的IP数据流(比如包含图像特征的字符串)并作为图像信息。以此，可在后续步骤中将经过预处理的音频信息(也就是IP数据流)发送至服务器，一方面，可减少数据传输量，提高数据传输速度，另一方面，由于IP数据流的松耦合特性，在服务器接收后可进行自由组合，数据组装更为灵活，以进一步保证数据处理效率。
在实际应用中，通过图像预处理装置对采集到的图像数据进行预处理的过程，可包括如下：
步骤1，由预置三维扫描仪构建对象的三维模型并设定初始边界条件；
步骤2，根据边界条件进行三维模型区域分解，分解得到与并行计算服务器中的总进程数相等的子模型数目，并将初始边界条件和各子模型中的元素信息分别输入到各进程；
步骤3，以初始边界条件为计算条件，当计算过程中初始的边界条件发生改变则重新启动边界设置程序，重新对该子模型进行计算，直到边界稳定或计算子结果为常数。
其中，步骤3中的计算方式为：
S31，读入当前进程中对应的输入文件，利用并行特征曲线算法对控制方程中的非线性项进行线性化处理，得到正定、对称的局部线性系统，其中并行特征曲线算法中公式为：
其中，K(i)为局部刚度矩阵，u(i)为局部未知变量，f(i)为已知的局部外力向量，R(i)为局部元素标编号和整体元素编号之间映射的0-1矩阵；
S32，对S31的局部未知变量u(i)区分表面自由度和内部自由度并整理，得到表面自由度方程如下:
其中，为当前小区域内部自由度，当前小区域表面和其他区域接界部分自由度，为当前小区域内部自由度对应的外力矢量；为当前小区域表面自由度对应的外力矢量； 为矩阵进行初等行列变换后对应的分块矩阵；
S33，运用平衡预条件迭代算法对表面自由度方程进行求解，得到；
S34，将代入(2)中的线性系统，采用直接法反解得到；
S35，将计算结果u(i)输出到当前进程负责的输出文件中；
S36，如果边界条件发生改变，重新启动边界设置程序，再进行计算，直到边界稳定或者计算子结果定常为止，每完成一定时间步的计算，进行一次输出文件(即IP数据流)的读写操作。
S103,将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。
实施例二
该实施例二是与实施例一相对应的虚拟现实终端的实现方式，参看图2，该实施例二从虚拟现实终端的角度提供了一种基于虚拟现实技术的显示方法，该方法具体可以包括如下步骤：
所述方法可以包括如下步骤：
S201，获取佩带用户的运动参数信息并发送至服务器。
在具体实现时，所述虚拟现实终端中包括基于电容式微机电系统(MEMS，MicroElectro Mechanical Systems)的运动参数采集装置，以此，可通过所述运动参数采集装置采集电容变化数据，根据电容变化数据获取运动参数信息。
其中，该运动参数采集装置的关键部分是一种悬臂构造的中间电容板，当速度变化或加速度达到足够大时，它所受的惯性力超过固定或支撑他的力，这时它就会移动，跟上、下电容板之间的距离就会变化，上、下电容就会因此变化。电容变化跟加速度成正比，电容变化会被转化为电压信号直接输出或经过数字化处理后输出。
通常，用户在水平运动中，垂直和前进两个加速度会呈现周期性变化。比如，在步行收脚的动作中，由于重心向上单只脚触地，垂直方向加速度是呈正向增加的趋势，之后继续向前，重心下移两脚触地，垂直方向加速度加速度则相反。水平加速度在收脚时减小，在迈步时增加。也就是说，在步行运动中，垂直和前进产生的加速度与时间大致为一个正弦曲线，而且在某点有一个峰值，其中垂直方向的加速度变化最大，服务器端则可对上述变化数据进行计算、加速度阈值决策等，即可获得用户运动状态。
在实际应用中，所述运动参数采集装置可包括：陀螺仪、加速度传感器、角速度传感器和/或压力传感器，因此，采集到的运动参数信息，可包括：方向信息、加速度信息、角速度信息和/或压力信息。
此外，一方面，由于在采集过程中电路中会存在电磁干扰，电磁干扰通常为高频噪声，而人体运动产生的主要是在50Hz以内的低频信号；另一方面，终端设备会有一些低幅度和快速的抽动状态，或是我们俗称的手抖，或者某个恶作剧用户想通过短时快速反复摇动设备来模拟人走路，这些干扰数据如果不去除，会影响运动状态获取的准确度。因此，在通过运动参数采集装置采集到佩带用户的运动参数信息后，还可根据预置步频阈值对获取到的运动参数信息进行初步去噪处理。比如，人体最快的跑步频率为5HZ，也就是说相邻两步的时间间隔至少大于0.2秒，我们可以此为步频阈值来过滤高频噪声，即步频过快的情况，以进行初步去噪处理。
进行初步去噪处理后，仍有可能存在频率在合理的范围内的非真正的运动数据，我们可以从运动的加速度规律来分析，即运动的过程中各方向的加速度会呈现周期规律性的变化，如走、跑、跳等不同运动，通过各方向加速度矢量的相关性分析方式进行。
具体的，我们可以对初步去噪处理后的运动参数信息进行小波变换操作(比如可包括小波分解、对高频小波系数处理、小波重构三个步骤的小波变换操作)，以将运动参数信息中的时域信号离散化，然后将多种频率成分的混合信号分解到不同频段，根据各种子信号在频域上的特征按频带处理，以获得符合预置信噪比阈值的运动参数信息。
其中，小波变换操作中使用的公式为：
其中，Cj，k为小波系数，λ为预置阈值。
由于时域特征可表征步态周期性、变化率和加速度等整体特征、频域特征可表征谱特性等细节特征，比如微小的运动特点，因此，为了将采集到的数据进一步细化以更便于服务器端根据采集数据对运动状态进行更为准确的分析，我们还可从符合预置信噪比阈值的运动参数信息中提取运动状态的时域特征及频域特征，再将运动状态的时域特征与频域特征进行组合以生成运动状态的融合特征集，然后再发送给服务器。
其中，针对时域特征提取，我们可以将符合预置信噪比阈值的运动参数信息中提取作用力中的垂直力曲线用一阶差分法检测前后、垂直方向曲线的波峰点和波谷点，以作为前后方向曲线、垂直方向曲线的关键点，并将垂直方向曲线的波谷点作为垂直方向曲线的参考点。
再提取垂直方向曲线的关键点的力值及力值出现的时相、相邻关键点作用力变化率及驱动冲量，以及与垂直方向对应的前后方向曲线的关键点处的力值、驱动冲量(力-时间曲线上居于0点以上的力与时间的积分)及制动冲量(力-时间曲线上居于0点以下的力与时间的积分)，并将提取结果作为运动状态的态时域特征。
其中，针对频域特征提取，可从符合预置信噪比阈值的运动参数信息中提取作用力中的垂直力曲线，并通过一阶差分算法确定垂直方向曲线的波谷点，以作为垂直方向曲线的参考点。
然后以垂直方向曲线的参考点为基准，通过线性插值算法对作用力进行波形对齐，以得到对齐后的作用力，再通过分层小波包分解算法(以对特征重要性进行分层分级从对齐后的作用力中提取运动状态的频域特征。
其中，针对时域特征与频域特征的组合，可在提取出上述运动状态的时域特征及频域特征后，通过模糊C均值法从运动状态的频域特征的多个小波包中挑选最小最优小波包集合，再通过模糊C均值法基于模糊隶属度排序从挑选出的小波包集合中挑选最小最优小波包分解系数，得到最小最优的运动状态的频域特征，再与运动状态的时域特征进行组合，以得到运动状态的融合特征集。
S202，向服务器发送观看当前环境对应的三维视频的请求，以便服务器根据所述运动参数信息、采集终端发送的音频信息、图像信息以及预置背景图像信息生成与用户运动状态同步的三维视频信息。
在具体实现时，比如可在虚拟现实终端上设置一个观看按钮，当用户触发该观看按钮，则为向服务器发送观看当前环境对应的三维视频的请求；当然，也可设置为当用户佩带上虚拟现实终端，即可向服务器发送观看当前环境对应的三维视频的请求，等等。
服务器则可根据上述请求生成与用户运动状态同步的三维视频信息并发送至虚拟现实终端。
S203，接收服务器发送的与用户运动状态同步的三维视频信息并显示于虚拟现实终端的显示屏上，以提供给用户观看。
实施例三
该实施例三是与实施例一、二相对应的服务器的实现方式，参看图3，该实施例三从服务器的角度提供了一种基于虚拟现实技术的显示方法，该方法具体可以包括如下步骤：
所述方法可以包括如下步骤：
S301，接收采集终端发送的音频信息及图像信息。
S302，接收虚拟现实终端发送的佩带用户的运动参数信息，并将所述运动参数信息基于SVM模型进行训练以确定佩带用户的运动状态。
服务器中可预先建立用于对运动状态进行识别的模型，比如可通过加速度、压力等三个方向(上下、左右、前后)的作用力的规律进行建模，并通过调整遗传算法中的权重，以对运动状态进行识别。
可先训练模型，再通过模型对运动参数信息对应的运动状态进行识别。假设模型中的运动参数数据库中已经注册了n类运动状态种类，将运动参数信息输入模型训练，根据输入信息判定是1至n中的哪个种类，以确定对应的运动种类；如果超出1至n的范围，则增加第n+1类运动状态，以更新运动参数数据库中的运动状态种类，然后将该输入的运动参数信息对应的运动种类确定为该第n+1类。
此外，在人体站立、下蹲、起立、行走等的不同运动状态下，可按照上述方法分别建立模型，对应形成不同运动状态的模型，以分别对不同运动状态进行识别，以实现更为精准且有效率的对运动状态进行识别。
在本实施例中，可采用支持向量机(SVM，Support Vector Machine)模型，其中可应用非线性映射径向基核函数，以将线性不可分的低维空间映射到线性可分的高维空间。
在训练过程中，随着输入数据的增加，SVM模型需要不断的自我优化，每次输入新的数据，可根据交叉验证法原理，计算SVM模型的识别率，通过遗传算法进行适应度评估，比如可不设定遗传算法的终止值，终止条件采用比高法等方式，如果训练的识别率高于现有方式，则设为最优参数，否则，执行选择、交叉和变异等操作进一步优化训练参数。其中，
适应度评估函数为：f(xi)＝min(1-g(xi))，为SVM模型对样本划分的正确率。
S303，基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像生成三维视频信息，并根据运动状态对三维视频信息进行调整以得到与运动状态同步的三维视频信息。
在具体实现时，可将音频信息、图像信息及预置背景图像信息进行拼合处理，生成携带时间戳的全景视频流并以ASCII格式进行存储。
S304，将所述与运动状态同步的三维视频信息发送至虚拟现实终端，以便虚拟现实终端对与运动状态同步的三维视频进行显示。
由于实施例三与实施例一、二是相对应的，因此，相关的具体实现可以参见实施例一、二中的介绍，这里不再赘述。
本发明实施例提供了一种基于虚拟现实技术的显示方法，可应用于采集终端、虚拟现实终端及服务器，采集终端可通过音频采集部分采集目标区域内的音频数据并对音频数据进行预处理以生成音频信息，还可通过图像采集部分采集目标区域内的图像数据并对图像数据进行预处理以生成图像信息，然后将音频信息及图像信息发送至服务器；相应的，虚拟现实终端可获取佩带用户的运动参数信息并发送至服务器，可向服务器发送观看当前环境对应的三维视频的请求并可接收服务器发送的与用户运动状态同步的三维视频信息并进行显示；相应的，服务器可接收采集终端发送的音频信息及图像信息，还可接收虚拟现实终端发送的佩带用户的运动参数信息并可将所述运动参数信息基于SVM模型进行训练以确定佩带用户的运动状态，然后基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像生成三维视频信息，且根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息并发送至虚拟现实终端。以此，一方面，采集终端可对其采集到的音频数据、图像数据进行预处理后再发送到服务器，以减少传输的数据量，在提高传输速度的同时，还可降低服务器的数据处理量，进而提高服务器的数据处理效率；另一方面，虚拟现实终端在具有运动参数采集功能的同时，还可对其采集到的运动参数信息进行去噪、时域频率特征提取以及组合为融合特征集等后将运动参数信息发送到服务器，以减少传输的数据量，在提高传输速度的同时，还可降低服务器的数据处理量，进而提高服务器的数据处理效率；再一方面，服务器可根据由运动参数信息确定用户的运动状态，来调整由音频、图像信息及预置背景信息生成的三维视频信息的帧，也就是调整该三维视频的播放进度，以得到与运动状态同步的三维视频信息并发送至虚拟现实终端进行显示，通过结合运动状态对视频的帧内延时进行弥补，以有效改善视频的帧内延时率，降低拖影感及卡顿感，提升用户使用虚拟现实设备的观看体验。
与前述实施例一中提供的基于虚拟现实技术的显示方法相对应，本申请实施例还提供了一种基于虚拟现实技术的显示系统。
在本实施例中，所述采集终端可包括音频采集部分及图像采集部分。
参看图4所示，设置于所述采集终端，所述系统可以包括：
音频信息获取单元41，可用于通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息。
图像信息获取单元42，可用于通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息。
音频图像信息发送单元43，可用于将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。
在具体实现时，所述音频采集部分包括多个麦克风及音频预处理装置，基于此，音频信息获取单元41，可具体用于：
通过多个麦克风采集目标区域内的音频数据；
通过音频预处理装置提取符合预置标准的音频数据并根据提取结果生成音频信息。
在具体实现时，所述图像采集部分可包括多个摄像头及图像预处理装置，基于此，图像信息获取单元42，可具体用于：
通过多个摄像头采集目标区域内的图像数据；
通过图像预处理装置基于采集到的图像数据生成对应的IP数据流以作为图像信息。
与前述实施例二中提供的基于虚拟现实技术的显示方法相对应，本申请实施例还提供了一种基于虚拟现实技术的显示系统。
参看图5，设置于虚拟现实终端，所述系统可以包括：
运动参数信息获取单元51，可用于获取佩带用户的运动参数信息并发送至服务器。
请求发送单元52，可用于向服务器发送观看当前环境对应的三维视频的请求，以便服务器根据所述运动参数信息、采集终端发送的音频信息、图像信息以及预置背景图像信息生成与用户运动状态同步的三维视频信息。
显示单元53，可用于接收服务器发送的与用户运动状态对应的三维视频信息并进行显示。
在具体实现时，所述虚拟现实终端中包括基于电容式微机电系统MEMS的运动参数采集装置。
基于此，运动参数信息获取单元51，可具体用于：
通过所述运动参数采集装置采集电容变化数据，并根据电容变化数据获取运动参数信息。
其中，所述运动参数采集装置，可包括：陀螺仪、加速度传感器、角速度传感器和/或压力传感器。
基于此，所述运动参数信息可包括：方向信息、加速度信息、角速度信息和/或压力信息。
在实际应用中，运动参数信息获取单元51，可具体用于：
根据预置步频阈值对获取到的运动参数信息进行初步去噪处理；
对初步去噪处理后的运动参数信息进行小波变换操作，以将运动参数信息中的时域信号离散化；
将多种频率成分的混合信号分解到不同频段，根据各种子信号在频域上的特征按频带处理，以获得符合预置信噪比阈值的运动参数信息。
此外，运动参数信息获取单元51，还可用于：
从符合预置信噪比阈值的运动参数信息中提取运动状态的时域特征及频域特征；
将时域特征与频域特征进行组合以生成运动状态的融合特征集。
与前述实施例三中提供的基于虚拟现实技术的显示方法相对应，本申请实施例还提供了一种基于虚拟现实技术的显示系统。
参看图6，设置于服务器中，所述系统可以包括：
音频图像信息接收单元61，可用于接收采集终端发送的音频信息及图像信息。
运动状态确定单元62，可用于接收虚拟现实终端发送的佩带用户的运动参数信息，并将所述运动参数信息基于支持向量机SVM模型进行训练以确定佩带用户的运动状态。
三维视频信息生成单元63，可用于基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像生成三维视频信息，并根据运动状态对三维视频信息进行调整以得到与运动状态同步的三维视频信息。
三维视频信息发送单元64，用于将所述与运动状态同步的三维视频信息发送至虚拟现实终端，以便虚拟现实终端对与运动状态同步的三维视频进行显示。
在具体实现时，三维视频信息生成单元63，可具体用于：
将音频信息、图像信息及预置背景图像信息进行拼合处理，生成携带时间戳的全景视频流并以ASCII格式进行存储。
在具体实现时，所述系统，还可包括：
评估单元，可用于通过遗传算法对SVM模型进行适应度评估，
其中，适应度评估函数为f(xi)＝min(1-g(xi))，为SVM模型对样本划分的正确率。
本发明实施例提供了一种基于虚拟现实技术的显示系统，可应用于采集终端、虚拟现实终端及服务器，采集终端可通过音频采集部分采集目标区域内的音频数据并对音频数据进行预处理以生成音频信息，还可通过图像采集部分采集目标区域内的图像数据并对图像数据进行预处理以生成图像信息，然后将音频信息及图像信息发送至服务器；相应的，虚拟现实终端可获取佩带用户的运动参数信息并发送至服务器，可向服务器发送观看当前环境对应的三维视频的请求并可接收服务器发送的与用户运动状态同步的三维视频信并进行显示；相应的，服务器可接收采集终端发送的音频信息及图像信息，还可接收虚拟现实终端发送的佩带用户的运动参数信息并可将所述运动参数信息基于SVM模型进行训练以确定佩带用户的运动状态，然后基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像生成三维视频信息，且根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息并发送至虚拟现实终端。以此，一方面，采集终端可对其采集到的音频数据、图像数据进行预处理后再发送到服务器，以减少传输的数据量，在提高传输速度的同时，还可降低服务器的数据处理量，进而提高服务器的数据处理效率；另一方面，虚拟现实终端在具有运动参数采集功能的同时，还可对其采集到的运动参数信息进行去噪、时域频率特征提取以及组合为融合特征集等后将运动参数信息发送到服务器，以减少传输的数据量，在提高传输速度的同时，还可降低服务器的数据处理量，进而提高服务器的数据处理效率；再一方面，服务器可根据由运动参数信息确定用户的运动状态，来调整由音频、图像信息及预置背景信息生成的三维视频信息的帧，也就是调整该三维视频的播放进度，以得到与运动状态同步的三维视频信息并发送至虚拟现实终端进行显示，通过结合运动状态对视频的帧内延时进行弥补，以有效改善视频的帧内延时率，降低拖影感及卡顿感，提升用户使用虚拟现实设备的观看体验。
以上对本发明实施例提供的基于虚拟现实技术的显示方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种基于虚拟现实技术的显示方法，其特征在于，应用于采集终端，所述采集终端包括音频采集部分及图像采集部分，所述方法包括：
通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息；
通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息；
将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。
2.根据权利要求1所述的方法，其特征在于，所述音频采集部分包括多个麦克风及音频预处理装置，
通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息，包括：
通过多个麦克风采集目标区域内的音频数据；
通过音频预处理装置提取符合预置标准的音频数据并根据提取结果生成音频信息。
3.根据权利要求1所述的方法，其特征在于，所述图像采集装置包括多个摄像头及图像预处理装置，
通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息，包括：
通过多个摄像头采集目标区域内的图像数据；
通过图像预处理装置基于采集到的图像数据生成对应的IP数据流以作为图像信息。
4.一种基于虚拟现实技术的显示方法，其特征在于，应用于虚拟现实终端，所述方法包括：
获取佩带用户的运动参数信息并发送至服务器；
向服务器发送观看当前环境对应的三维视频的请求，以便服务器根据所述运动参数信息、采集终端发送的音频信息、图像信息以及预置背景图像信息生成与用户运动状态同步的三维视频信息；
接收服务器发送的与用户运动状态同步的三维视频信息并进行显示。
5.根据权利要求4所述的方法，其特征在于，所述虚拟现实终端中包括基于电容式微机电系统MEMS的运动参数采集装置，
获取佩带用户的运动参数信息，包括：
通过所述运动参数采集装置采集电容变化数据；
根据电容变化数据获取运动参数信息。
6.根据权利要求5所述的方法，其特征在于，所述运动参数采集装置，包括：陀螺仪、加速度传感器、角速度传感器和/或压力传感器；
所述运动参数信息，包括：方向信息、加速度信息、角速度信息和/或压力信息。
7.根据权利要求6所述的方法，其特征在于，获取佩带用户的运动参数信息，包括：
根据预置步频阈值对获取到的运动参数信息进行初步去噪处理；
对初步去噪处理后的运动参数信息进行小波变换操作，以将运动参数信息中的时域信号离散化；
将多种频率成分的混合信号分解到不同频段，根据各种子信号在频域上的特征按频带处理，以获得符合预置信噪比阈值的运动参数信息。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
从符合预置信噪比阈值的运动参数信息中提取运动状态的时域特征及频域特征；
将时域特征与频域特征进行组合以生成运动状态的融合特征集。
9.一种基于虚拟现实技术的显示方法，其特征在于，应用于服务器，所述方法包括：
接收采集终端发送的音频信息及图像信息；
接收虚拟现实终端发送的佩带用户的运动参数信息，并将所述运动参数信息基于支持向量机SVM模型进行训练以确定佩带用户的运动状态；
基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像信息生成三维视频信息，并根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息；
将所述与运动状态同步的三维视频信息发送至虚拟现实终端，以便虚拟现实终端对与运动状态同步的三维视频进行显示。
10.根据权利要求9所述的方法，其特征在于，根据音频信息、图像信息及预置背景图像信息生成三维视频信息，包括：
将音频信息、图像信息及预置背景图像信息进行拼合处理，生成携带时间戳的三维全景视频流并以ASCII格式进行存储。
11.根据权利要求9所述的方法，其特征在于，还包括：通过遗传算法对SVM模型进行适应度评估，
其中，适应度评估函数为f(xi)＝min(1-g(xi))，为SVM模型对样本划分的正确率。
12.一种基于虚拟现实技术的显示系统，其特征在于，设置于采集终端，所述采集终端包括音频采集部分及图像采集部分，所述系统包括：
音频信息获取单元，用于通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息；
图像信息获取单元，用于通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息；
音频图像信息发送单元，用于将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。
13.一种基于虚拟现实技术的显示系统，其特征在于，设置于虚拟现实终端，所述系统包括：
运动参数信息获取单元，用于获取佩带用户的运动参数信息并发送至服务器；
请求发送单元，用于向服务器发送观看当前环境对应的三维视频的请求，以便服务器根据所述运动参数信息、采集终端发送的音频信息、图像信息以及预置背景图像信息生成与用户运动状态同步的三维视频信息；
显示单元，用于接收服务器发送的与用户运动状态同步的三维视频信息并进行显示。
14.一种基于虚拟现实技术的显示系统，其特征在于，设置于服务器，所述系统包括：
音频图像信息接收单元，用于接收采集终端发送的音频信息及图像信息；
运动状态确定单元，用于接收虚拟现实终端发送的佩带用户的运动参数信息，并将所述运动参数信息基于支持向量机SVM模型进行训练以确定佩带用户的运动状态；
三维视频信息生成单元，用于基于虚拟现实终端发送的观看当前环境对应的三维视频的请求，根据音频信息、图像信息及预置背景图像信息生成三维视频信息，并根据运动状态对所述三维视频信息进行调整以得到与运动状态同步的三维视频信息；
三维视频信息发送单元，用于将所述与运动状态同步的三维视频信息发送至虚拟现实终端，以便虚拟现实终端对与运动状态同步的三维视频进行显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710193066.0A CN107102728B (zh) | 2017-03-28 | 2017-03-28 | 基于虚拟现实技术的显示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710193066.0A CN107102728B (zh) | 2017-03-28 | 2017-03-28 | 基于虚拟现实技术的显示方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107102728A true CN107102728A (zh) | 2017-08-29 |
| CN107102728B CN107102728B (zh) | 2021-06-18 |
Family
ID=59674886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710193066.0A Expired - Fee Related CN107102728B (zh) | 2017-03-28 | 2017-03-28 | 基于虚拟现实技术的显示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107102728B (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
| CN108769640A (zh) * | 2018-09-11 | 2018-11-06 | 深圳众赢时代科技有限公司 | 自动调节视角投影技术 |
| CN108836337A (zh) * | 2018-05-04 | 2018-11-20 | 福建省莆田市双驰智能信息技术有限公司 | 一种通过足部运动状态进行个性化足型健康检测的方法 |
| CN108932060A (zh) * | 2018-09-07 | 2018-12-04 | 深圳众赢时代科技有限公司 | 手势立体互动投影技术 |
| CN109005443A (zh) * | 2018-08-24 | 2018-12-14 | 重庆虚拟实境科技有限公司 | Vr-ar一体机终端真人远程交互方法以及基于其的系统 |
| CN109041012A (zh) * | 2018-08-21 | 2018-12-18 | 上海交通大学 | 基于综合通信与计算能力的基站选择方法和系统 |
| CN109032361A (zh) * | 2018-08-29 | 2018-12-18 | 深圳众赢时代科技有限公司 | 智能3d投影技术 |
| CN109045682A (zh) * | 2018-07-13 | 2018-12-21 | 深圳众赢时代科技有限公司 | 一种降低投影手机与智能鞋互动健身游戏传输时延的方法 |
| CN109078320A (zh) * | 2018-07-13 | 2018-12-25 | 深圳众赢时代科技有限公司 | 一种基于投影手机分层分级的物联网终端数据处理方法 |
| CN109189277A (zh) * | 2018-09-11 | 2019-01-11 | 深圳众赢时代科技有限公司 | 一种使用触控红外的投影自动编写呈现技术 |
| CN109189276A (zh) * | 2018-08-29 | 2019-01-11 | 深圳众赢时代科技有限公司 | 桌面投影全息技术 |
| CN109256133A (zh) * | 2018-11-21 | 2019-01-22 | 上海玮舟微电子科技有限公司 | 一种语音交互方法、装置、设备及存储介质 |
| CN109285598A (zh) * | 2018-08-29 | 2019-01-29 | 深圳众赢时代科技有限公司 | 具备色彩情绪调节的手机投影技术 |
| CN109308133A (zh) * | 2018-09-07 | 2019-02-05 | 深圳众赢时代科技有限公司 | 智能交互投影互动技术 |
| CN110170346A (zh) * | 2018-02-20 | 2019-08-27 | 泰肯贸易股份公司 | 虚拟移液 |
| CN110400373A (zh) * | 2018-04-25 | 2019-11-01 | 中国移动通信集团设计院有限公司 | 视频信息处理方法及服务器 |
| CN110585696A (zh) * | 2019-09-25 | 2019-12-20 | 北京蓦然认知科技有限公司 | 一种车载虚拟现实内容显示的方法、系统、控制平台 |
| CN111314484A (zh) * | 2020-03-06 | 2020-06-19 | 王春花 | 虚拟现实数据同步方法、装置及虚拟现实服务器 |
| CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
| CN111984111A (zh) * | 2019-05-22 | 2020-11-24 | 中国移动通信有限公司研究院 | 多媒体处理方法、装置及通信设备 |
| CN112755500A (zh) * | 2020-12-15 | 2021-05-07 | 深圳市普汇智联科技有限公司 | 一种虚拟和现实相结合的台球运动装置及其使用方法 |
| CN113887683A (zh) * | 2021-09-22 | 2022-01-04 | 浙江大丰实业股份有限公司 | 一种基于虚拟现实的舞台声光交互系统 |
| US11564633B2 (en) * | 2018-12-21 | 2023-01-31 | Industrial Technology Research Institute | State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system |
| CN111862348B (zh) * | 2020-07-30 | 2024-04-30 | 深圳市腾讯计算机系统有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102231726A (zh) * | 2011-01-25 | 2011-11-02 | 北京捷讯华泰科技有限公司 | 虚拟现实合成方法及终端 |
| CN103049741A (zh) * | 2012-12-21 | 2013-04-17 | 中国科学院合肥物质科学研究院 | 基于足地作用力的步态特征提取方法及步态识别系统 |
| CN105516689A (zh) * | 2016-01-26 | 2016-04-20 | 深圳市维冠视界科技股份有限公司 | 一种分布式拼接显示方法及系统 |
| CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
| CN105824416A (zh) * | 2016-03-16 | 2016-08-03 | 成都电锯互动科技有限公司 | 一种将虚拟现实技术与云服务技术结合的方法 |
| CN105939481A (zh) * | 2016-05-12 | 2016-09-14 | 深圳市望尘科技有限公司 | 一种交互式三维虚拟现实视频节目录播和直播方法 |
| CN106020449A (zh) * | 2016-05-06 | 2016-10-12 | 广东欧珀移动通信有限公司 | 一种虚拟现实的交互方法及装置 |
| CN106097215A (zh) * | 2016-06-06 | 2016-11-09 | 惠州Tcl移动通信有限公司 | 一种基于虚拟现实的医患换位体验方法及系统 |
| CN106210269A (zh) * | 2016-06-22 | 2016-12-07 | 南京航空航天大学 | 一种基于智能手机的人体动作识别系统及方法 |
| US20160364915A1 (en) * | 2015-06-15 | 2016-12-15 | Google Inc. | Virtual reality content presentation including viewpoint transitions to prevent simulator sickness |
-
2017
- 2017-03-28 CN CN201710193066.0A patent/CN107102728B/zh not_active Expired - Fee Related
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102231726A (zh) * | 2011-01-25 | 2011-11-02 | 北京捷讯华泰科技有限公司 | 虚拟现实合成方法及终端 |
| CN103049741A (zh) * | 2012-12-21 | 2013-04-17 | 中国科学院合肥物质科学研究院 | 基于足地作用力的步态特征提取方法及步态识别系统 |
| US20160364915A1 (en) * | 2015-06-15 | 2016-12-15 | Google Inc. | Virtual reality content presentation including viewpoint transitions to prevent simulator sickness |
| CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
| CN105516689A (zh) * | 2016-01-26 | 2016-04-20 | 深圳市维冠视界科技股份有限公司 | 一种分布式拼接显示方法及系统 |
| CN105824416A (zh) * | 2016-03-16 | 2016-08-03 | 成都电锯互动科技有限公司 | 一种将虚拟现实技术与云服务技术结合的方法 |
| CN106020449A (zh) * | 2016-05-06 | 2016-10-12 | 广东欧珀移动通信有限公司 | 一种虚拟现实的交互方法及装置 |
| CN105939481A (zh) * | 2016-05-12 | 2016-09-14 | 深圳市望尘科技有限公司 | 一种交互式三维虚拟现实视频节目录播和直播方法 |
| CN106097215A (zh) * | 2016-06-06 | 2016-11-09 | 惠州Tcl移动通信有限公司 | 一种基于虚拟现实的医患换位体验方法及系统 |
| CN106210269A (zh) * | 2016-06-22 | 2016-12-07 | 南京航空航天大学 | 一种基于智能手机的人体动作识别系统及方法 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11747357B2 (en) | 2018-02-20 | 2023-09-05 | Tecan Trading Ag | Virtual pipetting |
| CN110170346A (zh) * | 2018-02-20 | 2019-08-27 | 泰肯贸易股份公司 | 虚拟移液 |
| CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
| CN110400373A (zh) * | 2018-04-25 | 2019-11-01 | 中国移动通信集团设计院有限公司 | 视频信息处理方法及服务器 |
| CN108836337A (zh) * | 2018-05-04 | 2018-11-20 | 福建省莆田市双驰智能信息技术有限公司 | 一种通过足部运动状态进行个性化足型健康检测的方法 |
| CN109045682A (zh) * | 2018-07-13 | 2018-12-21 | 深圳众赢时代科技有限公司 | 一种降低投影手机与智能鞋互动健身游戏传输时延的方法 |
| CN109078320A (zh) * | 2018-07-13 | 2018-12-25 | 深圳众赢时代科技有限公司 | 一种基于投影手机分层分级的物联网终端数据处理方法 |
| CN109041012A (zh) * | 2018-08-21 | 2018-12-18 | 上海交通大学 | 基于综合通信与计算能力的基站选择方法和系统 |
| CN109005443A (zh) * | 2018-08-24 | 2018-12-14 | 重庆虚拟实境科技有限公司 | Vr-ar一体机终端真人远程交互方法以及基于其的系统 |
| CN109005443B (zh) * | 2018-08-24 | 2021-05-28 | 重庆虚拟实境科技有限公司 | Vr-ar一体机终端真人远程交互方法以及基于其的系统 |
| CN109189276A (zh) * | 2018-08-29 | 2019-01-11 | 深圳众赢时代科技有限公司 | 桌面投影全息技术 |
| CN109032361A (zh) * | 2018-08-29 | 2018-12-18 | 深圳众赢时代科技有限公司 | 智能3d投影技术 |
| CN109285598A (zh) * | 2018-08-29 | 2019-01-29 | 深圳众赢时代科技有限公司 | 具备色彩情绪调节的手机投影技术 |
| CN108932060A (zh) * | 2018-09-07 | 2018-12-04 | 深圳众赢时代科技有限公司 | 手势立体互动投影技术 |
| CN109308133A (zh) * | 2018-09-07 | 2019-02-05 | 深圳众赢时代科技有限公司 | 智能交互投影互动技术 |
| CN108769640A (zh) * | 2018-09-11 | 2018-11-06 | 深圳众赢时代科技有限公司 | 自动调节视角投影技术 |
| CN109189277A (zh) * | 2018-09-11 | 2019-01-11 | 深圳众赢时代科技有限公司 | 一种使用触控红外的投影自动编写呈现技术 |
| CN109256133A (zh) * | 2018-11-21 | 2019-01-22 | 上海玮舟微电子科技有限公司 | 一种语音交互方法、装置、设备及存储介质 |
| US11564633B2 (en) * | 2018-12-21 | 2023-01-31 | Industrial Technology Research Institute | State assessment system, diagnosis and treatment system, and method for operating the diagnosis and treatment system |
| CN111984111A (zh) * | 2019-05-22 | 2020-11-24 | 中国移动通信有限公司研究院 | 多媒体处理方法、装置及通信设备 |
| CN110585696A (zh) * | 2019-09-25 | 2019-12-20 | 北京蓦然认知科技有限公司 | 一种车载虚拟现实内容显示的方法、系统、控制平台 |
| CN111314484B (zh) * | 2020-03-06 | 2020-11-10 | 北京掌中飞天科技股份有限公司 | 虚拟现实数据同步方法、装置及虚拟现实服务器 |
| CN111314484A (zh) * | 2020-03-06 | 2020-06-19 | 王春花 | 虚拟现实数据同步方法、装置及虚拟现实服务器 |
| CN111862348A (zh) * | 2020-07-30 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
| CN111862348B (zh) * | 2020-07-30 | 2024-04-30 | 深圳市腾讯计算机系统有限公司 | 视频显示方法、视频生成方法、装置、设备及存储介质 |
| CN112755500A (zh) * | 2020-12-15 | 2021-05-07 | 深圳市普汇智联科技有限公司 | 一种虚拟和现实相结合的台球运动装置及其使用方法 |
| CN112755500B (zh) * | 2020-12-15 | 2022-10-04 | 深圳市普汇智联科技有限公司 | 一种虚拟和现实相结合的台球运动装置及其使用方法 |
| CN113887683A (zh) * | 2021-09-22 | 2022-01-04 | 浙江大丰实业股份有限公司 | 一种基于虚拟现实的舞台声光交互系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107102728B (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107102728A (zh) | 基于虚拟现实技术的显示方法及系统 | |
| CN107015646A (zh) | 运动状态的识别方法及装置 | |
| CN205666911U (zh) | 一种运动视觉呈现系统 | |
| CN105608746B (zh) | 一种将现实进行虚拟实现的方法 | |
| CN102929386B (zh) | 一种动感重现虚拟现实的方法及系统 | |
| CN109692003B (zh) | 一种儿童跑步姿态纠正训练系统 | |
| CN107754225A (zh) | 一种智能健身教练系统 | |
| CN101715581A (zh) | 体积识别方法和系统 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| CN106310660A (zh) | 一种基于力学可视化的虚拟足球运动控制系统 | |
| CN105228709A (zh) | 用于重复检测和分析的信号分析 | |
| CN106484115A (zh) | 用于增强和虚拟现实的系统和方法 | |
| CN105209136A (zh) | 用于分析3d图像中的用户动作的质心状态矢量 | |
| CN108245880A (zh) | 基于多穿戴环带传感器融合的体感检测可视化方法和系统 | |
| CN106923839A (zh) | 运动辅助装置、运动辅助方法以及记录介质 | |
| CN204406327U (zh) | 基于三维体感摄影机的肢体康复模拟仿真训练系统 | |
| CN107551554A (zh) | 基于虚拟现实的实现室内运动场景模拟系统和方法 | |
| CN107272884A (zh) | 一种基于虚拟现实技术的控制方法及其控制系统 | |
| CN109388229A (zh) | 一种带有触感体验的沉浸式虚拟试衣方法及系统 | |
| CN107029409A (zh) | 一种基于虚拟现实技术的跑步训练系统 | |
| CN106880945A (zh) | 基于虚拟现实眼镜的室内骑行健身系统 | |
| CN206809712U (zh) | 一种基于虚拟现实技术的跑步训练系统 | |
| CN113076002A (zh) | 基于多部位动作识别的互联健身竞技系统及方法 | |
| CN107016411B (zh) | 数据处理方法及装置 | |
| CN111450480B (zh) | 一种基于vr的踏步机运动平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220708 Address after: 350000 R & D Building 8, No. 33, Donghu Road, digital Fujian Industrial Park, Changle District, Fuzhou City, Fujian Province Patentee after: Fujian rhinoceros Smart Technology Co.,Ltd. Address before: 100008 a594, 3rd floor, building 14, Cuiwei Zhongli, Haidian District, Beijing Patentee before: BEIJING RHINO DIGITAL TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210618 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |