CN113784108B - 一种基于5g传输技术的vr旅游观光方法及系统 - Google Patents

一种基于5g传输技术的vr旅游观光方法及系统 Download PDF

Info

Publication number
CN113784108B
CN113784108B CN202110982340.9A CN202110982340A CN113784108B CN 113784108 B CN113784108 B CN 113784108B CN 202110982340 A CN202110982340 A CN 202110982340A CN 113784108 B CN113784108 B CN 113784108B
Authority
CN
China
Prior art keywords
video
user
frame
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110982340.9A
Other languages
English (en)
Other versions
CN113784108A (zh
Inventor
胡震
褚富强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nupt Institute Of Big Data Research At Yancheng
Original Assignee
Nupt Institute Of Big Data Research At Yancheng
Yancheng Shannon Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nupt Institute Of Big Data Research At Yancheng, Yancheng Shannon Intelligent Technology Co ltd filed Critical Nupt Institute Of Big Data Research At Yancheng
Priority to CN202110982340.9A priority Critical patent/CN113784108B/zh
Publication of CN113784108A publication Critical patent/CN113784108A/zh
Application granted granted Critical
Publication of CN113784108B publication Critical patent/CN113784108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Abstract

本发明提供了一种基于5G传输技术的VR旅游观光方法及系统，包括：根据用户诉求，规划观光路线，由无人机拍摄所述观光路线的周围风景，由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频，基于VR设备，向用户播放VR实景视频，同时，获取所述用户的反馈，对所述VR实景视频进行调整。本发明可实现用户在室内即可通过VR设备观赏无人机拍摄的风景，增加了用户的旅游体验。

Description

一种基于5G传输技术的VR旅游观光方法及系统
技术领域
本发明涉及5G通信技术领域，特别涉及一种基于5G传输技术的VR旅游观光方法及系统。
背景技术
目前，根据目前国内各大景区的调查分析结果，国内及省内多数景区的旅游消费集中在门票、旅游商品购买、住宿与餐饮上，相当多的消费内容同质化严重，一大部分景点缺乏推广计划和特色资源；另一方面，热门景区和热门旅游城市人满为患，大量的旅游人群挤在路上，堵在车里，被坑在店里，消费后口碑评价较低的很多。在景区进行观光的过程中，老人孩子或一些残障人士，由于身体原因无法进行高强度的运动，导致无法游玩，有时也会由于所要观赏的景色所处的地方险隘，无法走得更近去观赏，降低用户体验效果。
发明内容
本发明提供一种基于5G传输技术的VR旅游观光方法及系统，用以实现用户在室内即可观看整个景区景象，提高用户体验效果。
为达到上述目的，本发明实施例提出了一种基于5G传输技术的VR旅游观光方法，包括：
步骤S101：根据用户诉求，规划观光路线；
步骤S102：由无人机拍摄所述观光路线的周围风景；
步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频；
步骤S104：基于VR设备，向用户播放VR实景视频，同时，获取所述用户的反馈，对所述VR实景视频进行调整。
优选的，步骤S101：根据用户诉求，规划观光路线，包括：
获取用户诉求，提取所述用户的喜好信息，根据所述喜好信息设置所述用户对观赏景区的偏好信息；
根据所述偏好信息，获取若干目标景点与所述偏好信息的匹配度，同时，搜集所述若干目标景点的景点信息，分析对应景点的最佳观赏时间；
根据所述匹配度与所述最佳观赏时间，规划所述观光路线。
优选的，步骤S102：由无人机拍摄所述观光路线的周围风景，包括：
获取所观光景区完整地图，将所得完整地图导入无人机数据库；
根据所述完整地图，生成景区模拟模型，将规划路线输入模拟模型，模拟无人机按规划路线飞行的最佳速度以及飞行高度，得到设置参数；
根据所得设置参数，设置无人机飞行路线与飞行参数，控制进行拍摄。
优选的，步骤3：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，包括：
将无人机所拍摄视频储存至无人机内部硬盘，对拍摄视频进行压缩处理，生成视频压缩包；
经由5G传输技术，将视频压缩包传输至VR设备终端数据库；
对VR设备终端数据库接收到的视频进行解压，生成第一待处理视频，将第一待处理视频发送至数据处理中心进行处理。
优选的，对拍摄视频进行压缩处理，生成视频压缩包，包括：
在所拍摄视频起始点开始截取预设长度视频帧进行重构，基于重构后的视频信号对初始视频帧进行帧预测，得到预测信号；
根据初始视频帧分布，将初始视频帧进行分区，根据分区后各区块的像素值与预测信号中像素值的差异，获得残差系数，将所得残差系数进行转换，对转换后的结果进行量化，得到各区块量化因数；
将分区后处于第一分区内的视频数据设为第一数据，处于第二分区内的视频数据设为第二数据，基于所得各区块量化因数，获得第一分区的第一量化集合以及第二分区的第二量化集合；
基于所述第一量化集合对所述第一数据进行熵编码，获取第一码流，基于所述第二量化集合对所述第二数据进行熵编码，获取第二码流；
根据所述第一码流与第二码流，生成压缩视频；
确定所述压缩视频的帧序列，构建对应压缩网络模型，将压缩视频第一帧进行重构，将所得第一重构帧作为压缩网络模型的输入，得到第二帧重构帧，根据所述第二帧重构帧与压缩视频中第一帧的差异值，获取损失系数，判断所述损失系数是否处于预设损失范围内；
若不处于，基于损失系数，调整压缩网络模型的压缩参数，并重新获取损失系数；
若处于，按照所述压缩视频的帧序列，将对应的每一帧依次输入压缩网络模型进行二次压缩，将最终结果进行输出，作为视频压缩包。
优选的，所述步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频，包括：
基于视频压缩包，生成相应解码，基于解码对视频压缩包进行解压，获得解压视频；
截取所述解压视频中的第一待测视频，将所述第一待测视频按帧数进行拆分，提取拆分后的每一帧的图像，作为第一待测图像；
根据所述第一待检测图像，获取第一灰度图，在所述第一灰度图中进行边缘点定位，根据定位结果，获取所述第一灰度图的边缘特征信息，并根据所述边缘特征信息，获取所述第一灰度图像中极值点分布，基于极值点分布，获取各极值点对应的极值点边缘宽度，生成平均边缘宽度；
基于所述第一灰度图，得到对应的灰度直方图，根据所述灰度直方图的特征，得到相应修正系数，基于所述修正系数，对平均边缘宽度进行修正，将修正后的值作为清晰度输出；
判断所述清晰度是否处于预设范围之内；
若处于，则该帧画面清晰度达标；
若不处于，则该帧画面清晰度不达标，在所述解压视频中截取包括该帧画面在内的预设长度的视频信息，获取所截取视频的分辨率与码率；
根据所得截取视频的分辨率与码率，匹配相应的降噪函数和锐度函数，并根据匹配结果计算解压视频分辨率与码率分别对应的降噪系数与锐度系数；
基于所述降噪系数与所述锐度系数，分别对相应的所截取视频中的分辨率与码率进行补偿处理，将补偿后的视频作为清晰度达标视频输出；
根据输出结果，制作相应的VR视频。
优选的，经由5G传输技术，将视频压缩包传输至VR设备终端数据库，包括：
将所述视频压缩包经由5G网络，传输至云端数据库；
VR设备终端对云端数据库中信息进行实时检测，当检测到云端数据库中有新增文件时，将所述新增文件下载至设备终端数据库。
优选的，步骤4：获取所述用户的反馈的过程中，还包括：
获取用户在体验VR视频时的声音与面部表情；
根据用户体验VR视频时的声音与面部表情，判断用户情绪，确定用户体验是情绪最佳点的时间信息；
根据用户体验是情绪最佳点的时间信息，获取用户在情绪最佳点时的观看内容，向用户展示与情绪最佳点时所观看内容匹配的可交互VR全景图。
优选的，可交互VR全景图的生成步骤如下：
基于所拍摄景点俯视图，建立场景模型；
对清晰度合格视频逐帧进行特征提取，提取视频中所有静止物信息，并对提取结果进行匹配，根据匹配结果，将同类静止物的特征信息设为同类景物特征；
从所述清晰度合格视频中，提取同类景物特征的所有特征信息，并进行融合，生成对应景物的3D全景模型；
获取所提取同类景物特征在视频中的初始出现时间以及末尾消失时间，得到对同类静止物的拍摄时间；
根据预先设定的无人机拍摄路线，来获取所述无人机的实时拍摄位置，同时，获取所述同类静止物与所述无人机的相对位置，进而获取所述同类静止物在景区内的各位置信息，并根据场景模型与景区比例，获得所得3D全景模型在场景模型中的精确位置，进而将对应3D全景模型在场景模型中相应位置进行填充；
对所有分类同景物特征进行第一预处理，建立所有静止物3D全景模型填充至场景模型中相应位置处；
对所述清晰度合格视频中非静止物进行标定，提取视频中非静止物运动轨迹与动作信息，生成运动特征；
提取清晰度合格视频中非静止物特征信息并进行分类，根据分类结果，得到同一非静止物的多个静止3D全景模型，基于非静止物的运动特征与所述多个静止3D全景模型，生成非静止物的动态3D全景模型，将所得动态3D全景模型填充到场景模型中相应位置处；
基于填充结果，生成所拍摄景区的场景模型，进而生成可交互VR全景图。
优选的，所述的一种基于5G传输技术的VR旅游观光系统，包括：
规划模块，根据用户诉求，规划观光路线；
拍摄模块，由无人机拍摄所述观光路线的周围风景；
处理模块，用于由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频；
播放模块，用于基于VR设备，向用户播放VR实景视频，同时，获取所述用户的反馈，对所述VR实景视频进行调整。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于5G传输技术的VR旅游观光方法流程图；
图2为本发明又一实施例中一种基于5G传输技术的VR旅游观光方法流程图；
图3为本发明又一实施例中一种基于5G传输技术的VR旅游观光方法流程图；
图4为本发明又一实施例中一种基于5G传输技术的VR旅游观光方法流程图；
图5为本发明一实施例中一种基于5G传输技术的VR旅游观光系统流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面参考图1至图5来描述本发明实施例提出的一种基于5G传输技术的VR旅游观光方法及系统。
实施例1：
如图1所示，本发明提供一种基于5G传输技术的VR旅游观光方法，包括：
步骤S101：根据用户诉求，规划观光路线；
步骤S102：由无人机拍摄所述观光路线的周围风景；
步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频；
步骤S104：基于VR设备，向用户播放VR实景视频，同时，获取所述用户的反馈，对所述VR实景视频进行调整。
该实施例中，用户诉求为对用户采访得到的用户需求情况；规划观光路线为根据客户的诉求进行分析得出的符合客户喜好的路线；5G传输技术为将所拍摄视频经5G互联网进行传输，便于提高传输速度；数据处理中心为对所拍摄视频进行处理的处理中心，例如是将数据处理为三维视频；VR实景视频为根据拍摄视频制作成的向用户播放的VR视频；用户反馈为用户观看时的声音表情，即用户当下对VR视频的直接反映。
上述发明的有益效果：根据用户诉求，规划合理的观光路线，然后基于无人机进行拍摄，并对拍摄的视频进行处理生成VR视频，让用户在室内通过VR设备可观看实时拍摄的风景，让用户在身体不允许的条件下也可看到自己喜欢的风景，增加了用户的出行体验。
实施例2：
基于实施例1的基础上，所述步骤S101：根据用户诉求，规划观光路线，包括：
获取用户诉求，提取所述用户的喜好信息，根据所述喜好信息设置所述用户对观赏景区的偏好信息；
根据所述偏好信息，获取若干目标景点与所述偏好信息的匹配度，同时，搜集所述若干目标景点的景点信息，分析对应景点的最佳观赏时间；
根据所述匹配度与所述最佳观赏时间，规划所述观光路线。
该实施例中，偏好信息为根据用用户的喜好分析的；匹配度为根据用户偏好信息与各景点信息匹配得到的相似程度值；景点信息为景点的具体游览信息，包括最佳观景地点与观景时间。
上述方案的有益效果：本发明可根据用户诉求得到用户的偏好信息，计算用户偏好信息与各景点的匹配度，然后根据匹配度与景点信息进行路线规划，保证所拍摄的风景时间与角度最佳，确保所拍摄的视频可满足用户的要求。
实施例3：
基于实施例1的基础上，所述步骤S102：由无人机拍摄所述观光路线的周围风景，包括：
获取所观光景区完整地图，将所得完整地图导入无人机数据库；
根据所述完整地图，生成景区模拟模型，将规划路线输入模拟模型，模拟无人机按规划路线飞行的最佳速度以及飞行高度，得到设置参数；
根据所得设置参数，设置无人机飞行路线与飞行参数，控制进行拍摄。
该实施例中，模拟模型为根据景区地图得到的模拟景区情况的模型；设置参数为模拟无人机按规划路线飞行时的模拟参数；飞行参数为根据设置参数得到的实际参数。
上述方案的有益效果：根据景区地图得到模拟模型，将规划路线输入模拟模型并模拟无人机飞过规划路线时的情况，根据模拟数据得到无人机的飞行数据，本发明可经过模拟模型得到无人机飞行时的参数情况，确保无人机可以按规定路线飞行。
实施例4：
基于实施例1的基础上，如图2所示，所述步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，包括：
步骤S201：将无人机所拍摄视频储存至无人机内部硬盘，对拍摄视频进行压缩处理，生成视频压缩包；
步骤S202：经由5G传输技术，将视频压缩包传输至VR设备终端数据库；
步骤S203：对VR设备终端数据库接收到的视频进行解压，生成第一待处理视频，将第一待处理视频发送至数据处理中心进行处理。
该实施例中，内部硬盘为无人机自带的内部存储硬盘；压缩处理为对无人机拍摄的视频进行压缩，增加传输速度；VR设备终端数据库为VR设备上的数据储存库；
上述方案的有益效果：对拍摄的视频进行压缩，可以减小内存使用情况，并且将视频压缩后可以增加视频传输效率，减少传输时间，并减少视频传输的流量损耗。
实施例5：
基于实施例4的基础上，如图3所示，所述对拍摄视频进行压缩处理，生成视频压缩包，包括：
步骤S301：在所拍摄视频起始点开始截取预设长度视频帧进行重构，基于重构后的视频信号对初始视频帧进行帧预测，得到预测信号；
步骤S302：根据初始视频帧分布，将初始视频帧进行分区，根据分区后各区块的像素值与预测信号中像素值的差异，获得残差系数，将所得残差系数进行转换，对转换后的结果进行量化，得到各区块量化因数；
步骤S303：将分区后处于第一分区内的视频数据设为第一数据，处于第二分区内的视频数据设为第二数据，基于所得各区块量化因数，获得第一分区的第一量化集合以及第二分区的第二量化集合；
步骤S304：基于所述第一量化集合对所述第一数据进行熵编码，获取第一码流，基于所述第二量化集合对所述第二数据进行熵编码，获取第二码流；
根据所述第一码流与第二码流，生成压缩视频；
步骤S305：确定所述压缩视频的帧序列，构建对应压缩网络模型，将压缩视频第一帧进行重构，将所得第一重构帧作为压缩网络模型的输入，得到第二帧重构帧，根据所述第二帧重构帧与压缩视频中第一帧的差异值，获取损失系数，判断所述损失系数是否处于预设损失范围内；
若不处于，基于损失系数，调整压缩网络模型的压缩参数，并重新获取损失系数；
若处于，按照所述压缩视频的帧序列，将对应的每一帧依次输入压缩网络模型进行二次压缩，将最终结果进行输出，作为视频压缩包。
该实施例中，帧预测为通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法；重构为对视频帧进行重新排列；分区为根据视频帧分布将视频分为两个分区；预测信号为根据重构后的视频信号对初始视频帧进行预测补偿，得到剔除帧序列冗余信息后的视频信号；预测值像素值为原稿图像被数字化时由计算机赋予的值,它代表了原稿某一小方块的平均亮度信息；残差为像素值与预测值中像素值之间的差的平均值，残差系数为根据残差得到的差异系数；量化因数为对残差系数量化后得到的；熵编码即编码过程中按熵原理不丢失任何信息的编码；码流是指在1秒钟内，通信端口在传输数据时高低电平变化的次数，也叫码率，单位时间内传送的数据越多，所包含的信息量也越多，是视频编码中画面质量控制中最重要的部分；差异值为第二帧重构帧与压缩视频中第一帧的差异；损失系数为根据第二帧重构帧与压缩视频中第一帧之间差异值得到的损失程度；第一分区为根据视频帧分布划分的第一视频分区；第二分区为根据视频帧分布划分的第二视频分区；量化因数为对残差系数转换后的结果进行量化后得到的因数；第一量化集合为用量化因数对第一数据进行量化得到的集合；第二量化集合为用量化因数对第二数据进行量化得到的集合；初始视频帧为拍摄的视频信号。
上述方案的有益效果：本发明可对拍摄视频进行压缩处理，并计算损失系数，确保视频压缩的质量，并对压缩后的视频进行二次压缩，可以有效的减小压缩包的内存，使传输效率进一步提高，并可有效的减小内存占用率，具有很强的实用性，为后续制作VR视频提供便利，间接提高用户体验效果。
实施例6：
基于实施例5的基础上，所示步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频，包括：
基于视频压缩包，生成相应解码，基于解码对视频压缩包进行解压，获得解压视频；
截取所述解压视频中的第一待测视频，将所述第一待测视频按帧数进行拆分，提取拆分后的每一帧的图像，作为第一待测图像；
根据所述第一待检测图像，获取第一灰度图，在所述第一灰度图中进行边缘点定位，根据定位结果，获取所述第一灰度图的边缘特征信息，并根据所述边缘特征信息，获取所述第一灰度图像中极值点分布，基于极值点分布，获取各极值点对应的极值点边缘宽度，生成平均边缘宽度；
基于所述第一灰度图，得到对应的灰度直方图，根据所述灰度直方图特征，得到相应修正系数，基于所述修正系数，对平均边缘宽度进行修正，将修正后的值作为清晰度输出；
判断所述清晰度是否处于预设范围之内；
若处于，则该帧画面清晰度达标；
若不处于，则该帧画面清晰度不达标，在所述解压视频中截取包括该帧画面在内的预设长度的视频信息，获取所截取视频的分辨率与码率；
根据所得截取视频的分辨率与码率，匹配相应的降噪函数和锐度函数，并根据匹配结果计算解压视频分辨率与码率分别对应的降噪系数与锐度系数；
基于所述降噪系数与所述锐度系数，分别对相应的所截取视频中的分辨率与码率进行补偿处理，将补偿后的视频作为清晰度达标视频输出；极值点为灰度图中像素的极大值点与极小值；灰度直方图是关于灰度级分布的函数，是对图像中灰度级分布的统计；修正系数是根据灰度直方图特征得到的对边缘宽度进行修正的修正系数；
根据输出结果，制作相应的VR视频。
该实施例中，解码为根据压缩包生成的对压缩包进行解压的代码；灰度图为用灰度表示的图像；边缘特征为图像中特性分布的不连续处，图像周围特性有阶跃变化或屋脊状变化的那些像素集合；边缘宽度为个极值点到边缘点的距离；码率为数据传输时单位时间传送的数据位数；修正系数为根据灰度直方图特征得到的对平均边缘宽度有补偿效果的系数。
上述方案的有益效果：本发明可对压缩视频进行解压，并根据解压视频，进行清晰度检测，当解压视频清晰度不达标时，对视频进行修正，使视频的清晰度达到要求，当视频清晰度不合格时，制作的VR视频清晰度会受到影响，导致用户体验不佳，本发明可增强视频清晰度，提高VR视频的质量，增加用户的VR体验。
实施例7：
基于实施例4的基础上，所述经由5G传输技术，将视频压缩包传输至VR设备终端数据库，包括：
将所述视频压缩包经由5G网络，传输至云端数据库；
VR设备终端对云端数据库中信息进行实时检测，当检测到云端数据库中有新增文件时，将所述新增文件下载至设备终端数据库。
该实施例中，云端数据库为互联网云端数据库；新增文件为无人机拍摄的视频文件；
上述方案的有益效果：本发明可实时检测云端数据库中有无新增文件，当检测到有新增文件时进行下载，可以实时获取无人机拍摄视频，提高工作效率。
实施例8：
基于实施例1的基础上，如图4所示，所述步骤S104：获取所述用户的反馈的过程中，还包括：
步骤S1041：获取用户在体验VR视频时的声音与面部表情；
步骤S1042：根据用户体验VR视频时的声音与面部表情，判断用户情绪，确定用户体验是情绪最佳点的时间信息；
步骤S1043：根据用户体验是情绪最佳点的时间信息，获取用户在情绪最佳点时的观看内容，向用户展示与情绪最佳点时所观看内容匹配的可交互VR全景图。
该实施例中，用户情绪为根据用户观看VR视频时的声音与面部表情分析出的用户的情绪状况；情绪最佳点为用户情绪最好的时刻；
上书方案的有益效果：本发明可根据用户的声音与面部表情分析用户观看时的情绪，并分析用户情绪最好时所观看风景，在用户观看完成后向用户展示与用户情绪最好时所观看风景向匹配的可交互VR全景图，进一步增加用户的体验。
实施例9：
基于实施例1的基础上，所述可交互VR全景图生成步骤如下：
基于所拍摄景点俯视图，建立场景模型；
对清晰度合格视频逐帧进行特征提取，提取视频中所有静止物信息，并对提取结果进行匹配，根据匹配结果，将同类静止物的特征信息设为同类景物特征；
从所述清晰度合格视频中，提取同类景物特征的所有特征信息，并进行融合，生成对应景物的3D全景模型；
获取所提取同类景物特征在视频中的初始出现时间以及末尾消失时间，得到对同类静止物的拍摄时间；
根据预先设定的无人机拍摄路线，来获取所述无人机的实时拍摄位置，同时，获取所述同类静止物与所述无人机的相对位置，进而获取所述同类静止物在景区内的各位置信息，并根据场景模型与景区比例，获得所得3D全景模型在场景模型中的精确位置，进而将对应3D全景模型在场景模型中相应位置进行填充；
对所有分类同景物特征进行第一预处理，建立所有静止物3D全景模型填充至场景模型中相应位置处；
对所述清晰度合格视频中非静止物进行标定，提取视频中非静止物运动轨迹与动作信息，生成运动特征；
提取清晰度合格视频中非静止物特征信息并进行分类，根据分类结果，得到同一非静止物的多个静止3D全景模型，基于非静止物的运动特征与所述多个静止3D全景模型，生成非静止物的动态3D全景模型，将所得动态3D全景模型填充到场景模型中相应位置处；
基于填充结果，生成所拍摄景区的场景模型，进而生成可交互VR全景图；
对剩余非静止物进行第二预处理，将所得处理结果填充入场景模型中，生成所拍摄景区3D全景模型，基于所述3D全景模型，生成可交互VR全景图。
该实施例中，场景模型为根据所拍摄经典俯视图生成的景点场景模拟模型；静止物为视频中所拍摄物呈静止画面的物体；非静止物为视频中进行运动的物体；同类景物特征为同一物体的特性信息；相对位置为所拍摄物体距离拍摄点的位置情况；
上述方案的有益效果：本发明可将所拍摄视频内画面分为静止物与非静止物进，并根据不同方法制作相应的3D全景模型，将所得3D全景模型填充入所示场景模型中，得到完整得可交互3D全景图，可以使用户与图中景物进行交互，增加了用户得参与感。
实施例10：
如图5所示，本发明提供一种基于5G传输技术的VR旅游观光系统，包括：
规划模块，根据用户诉求，规划观光路线；
拍摄模块，由无人机拍摄所述观光路线的周围风景；
处理模块，用于由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频；
播放模块，用于基于VR设备，向用户播放VR实景视频，同时，获取所述用户的反馈，对所述VR实景视频进行调整。
上述发明的有益效果：规划模块根据用户诉求，规划合理的观光路线，然后基于无人机进行拍摄，并对拍摄的视频进行处理生成VR视频，让用户在室内通过VR设备可观看实时拍摄的风景，让用户在身体不允许的条件下也可看到自己喜欢的风景。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于5G传输技术的VR旅游观光方法，其特征在于，包括：
步骤S101：根据用户诉求，规划观光路线；
步骤S102：由无人机拍摄所述观光路线的周围风景；
步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，制作所述观光路线的VR实景视频；
步骤S104：基于VR设备，向用户播放VR实景视频，同时，获取所述用户的反馈，对所述VR实景视频进行调整；
其中，步骤S104：获取所述用户的反馈的过程中，还包括：
获取用户在体验VR视频时的声音与面部表情；
根据用户体验VR视频时的声音与面部表情，判断用户情绪，确定用户体验是情绪最佳点的时间信息；
根据用户体验是情绪最佳点的时间信息，获取用户在情绪最佳点时的观看内容，向用户展示与情绪最佳点时所观看内容匹配的可交互VR全景图；
所述可交互VR全景图生成步骤如下：
基于所拍摄景点俯视图，建立场景模型；
对清晰度合格视频逐帧进行特征提取，提取视频中所有静止物信息，并对提取结果进行匹配，根据匹配结果，将同类静止物的特征信息设为同类景物特征；
从所述清晰度合格视频中，提取同类景物特征的所有特征信息，并进行融合，生成对应景物的3D全景模型；
获取所提取同类景物特征在视频中的初始出现时间以及末尾消失时间，得到对同类静止物的拍摄时间；
根据预先设定的无人机拍摄路线，来获取所述无人机的实时拍摄位置，同时，映射获取所述同类静止物与所述无人机的相对位置，进而获取所述同类静止物在景区内的各位置信息，并根据场景模型与景区比例，获得所得3D全景模型在场景模型中的精确位置，进而将对应3D全景模型在场景模型中相应位置进行填充；
对所述清晰度合格视频中非静止物进行标定，提取视频中非静止物运动轨迹与动作信息，生成运动特征；
提取清晰度合格视频中非静止物特征信息并进行分类，根据分类结果，得到同一非静止物的多个静止3D全景模型，基于非静止物的运动特征与所述多个静止3D全景模型，生成非静止物的动态3D全景模型，将所得动态3D全景模型填充到场景模型中相应位置处；
基于填充结果，生成所拍摄景区的场景模型，进而生成可交互VR全景图。
2.根据权利要求1所述的一种基于5G传输技术的VR旅游观光方法，其特征在于，所述步骤S101：根据用户诉求，规划观光路线，包括：
获取用户诉求，提取所述用户的喜好信息，根据所述喜好信息设置所述用户对观赏景区的偏好信息；
根据所述偏好信息，获取若干目标景点与所述偏好信息的匹配度，同时，搜集所述若干目标景点的景点信息，分析对应景点的最佳观赏时间；
根据所述匹配度与所述最佳观赏时间，规划所述观光路线。
3.根据权利要求1所述的一种基于5G传输技术的VR旅游观光方法，其特征在于，所述步骤S102：由无人机拍摄所述观光路线的周围风景，包括：
获取所观光景区完整地图，将所得完整地图导入无人机数据库；
根据所述完整地图，生成景区模拟模型，将规划路线输入模拟模型，模拟无人机按规划路线飞行的最佳速度以及飞行高度，得到设置参数；
根据所得设置参数，设置无人机飞行路线与飞行参数，控制进行拍摄。
4.根据权利要求1所述的一种基于5G传输技术的VR旅游观光方法，其特征在于，所述步骤S103：由5G传输技术将所拍摄风景传输至数据处理中心进行处理，包括：
将无人机所拍摄视频储存至无人机内部硬盘，对拍摄视频进行压缩处理，生成视频压缩包；
经由5G传输技术，将视频压缩包传输至VR设备终端数据库；
对VR设备终端数据库接收到的视频进行解压，生成第一待处理视频，将第一待处理视频发送至数据处理中心进行处理。
5.根据权利要求4所述的一种基于5G传输技术的VR旅游观光方法，其特征在于，所述对拍摄视频进行压缩处理，生成视频压缩包，包括：
在所拍摄视频起始点开始截取预设长度视频帧进行重构，基于重构后的视频信号对初始视频帧进行帧预测，得到预测信号；
根据初始视频帧分布，将初始视频帧进行分区，根据分区后各区块的像素值与预测信号中像素值的差异，获得残差系数，将所得残差系数进行转换，对转换后的结果进行量化，得到各区块量化因数；
将分区后处于第一分区内的视频数据设为第一数据，处于第二分区内的视频数据设为第二数据，基于所得各区块量化因数，获得第一分区的第一量化集合以及第二分区的第二量化集合；
基于所述第一量化集合对所述第一数据进行熵编码，获取第一码流，基于所述第二量化集合对所述第二数据进行熵编码，获取第二码流；
根据所述第一码流与第二码流，生成压缩视频；
确定所述压缩视频的帧序列，构建对应压缩网络模型，将压缩视频第一帧进行重构，将所得第一重构帧作为压缩网络模型的输入，得到第二帧重构帧，根据所述第二帧重构帧与压缩视频中第一帧的差异值，获取损失系数，判断所述损失系数是否处于预设损失范围内；
若不处于，基于损失系数，调整压缩网络模型的压缩参数，并重新获取损失系数；
若处于，按照所述压缩视频的帧序列，将对应的每一帧依次输入压缩网络模型进行二次压缩，将最终结果进行输出，作为视频压缩包。
6.根据权利要求4所述的一种基于5G传输技术的VR旅游观光方法，其特征在于，所述经由5G传输技术，将视频压缩包传输至VR设备终端数据库，包括：
将所述视频压缩包经由5G网络，传输至云端数据库；
VR设备终端对云端数据库中信息进行实时检测，当检测到云端数据库中有新增文件时，将所述新增文件下载至设备终端数据库。
CN202110982340.9A 2021-08-25 2021-08-25 一种基于5g传输技术的vr旅游观光方法及系统 Active CN113784108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110982340.9A CN113784108B (zh) 2021-08-25 2021-08-25 一种基于5g传输技术的vr旅游观光方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110982340.9A CN113784108B (zh) 2021-08-25 2021-08-25 一种基于5g传输技术的vr旅游观光方法及系统

Publications (2)

Publication Number Publication Date
CN113784108A CN113784108A (zh) 2021-12-10
CN113784108B true CN113784108B (zh) 2022-04-15

Family

ID=78839155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110982340.9A Active CN113784108B (zh) 2021-08-25 2021-08-25 一种基于5g传输技术的vr旅游观光方法及系统

Country Status (1)

Country Link
CN (1) CN113784108B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103105A (zh) * 2022-04-29 2022-09-23 北京旷视科技有限公司 拍摄控制方法、电子设备、存储介质及计算机程序产品
CN117495619B (zh) * 2023-12-25 2024-04-05 西安文理学院 一种基于大数据共享的智慧旅游方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976277A (zh) * 2016-05-05 2016-09-28 云神科技投资股份有限公司 一种基于全景智慧旅游的系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800082B (zh) * 2012-06-19 2015-04-15 浙江捷尚视觉科技股份有限公司 一种无参考的图像清晰度检测方法
CN102821323B (zh) * 2012-08-01 2014-12-17 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN106792156A (zh) * 2016-12-08 2017-05-31 深圳Tcl新技术有限公司 提升网络视频清晰度的方法及装置
CN106652043A (zh) * 2016-12-29 2017-05-10 深圳前海弘稼科技有限公司 一种景区虚拟游览方法及装置
CN106780185A (zh) * 2017-01-13 2017-05-31 厦门轻游信息科技有限公司 一种基于vr设备的智慧旅游系统
CN108632625B (zh) * 2017-03-21 2020-02-21 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN110389661A (zh) * 2019-06-14 2019-10-29 崔辰玮 基于vr技术、小型无人机和高速通讯技术的沉浸式远程旅游体验设备
CN110599845A (zh) * 2019-09-19 2019-12-20 深汕特别合作区智慧城市研究院有限公司 一种基于5g实时传输的vr沉浸式旅游系统
CN110865457B (zh) * 2019-11-15 2021-08-06 台州学院 基于5g传输技术的无人机vr旅游观光系统
CN111083482A (zh) * 2019-12-31 2020-04-28 合肥图鸭信息科技有限公司 一种视频压缩网络训练方法、装置及终端设备
CN111556298B (zh) * 2020-05-15 2023-04-25 航迅信息技术有限公司 一种无人机远程游览服务系统及方法
CN112532877A (zh) * 2020-11-26 2021-03-19 北京大学 一种景点无人机智能旅拍系统及方法
CN112672164B (zh) * 2020-12-10 2023-03-17 博流智能科技（南京）有限公司 视频压缩系统及方法、视频解压缩系统及方法
CN113194410A (zh) * 2021-04-28 2021-07-30 云景文旅科技有限公司 一种5g与虚拟增强现实融合的旅游信息处理方法和系统
CN112989214A (zh) * 2021-05-20 2021-06-18 湖北游游智游网络科技有限公司 一种旅游信息展示方法及相关设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976277A (zh) * 2016-05-05 2016-09-28 云神科技投资股份有限公司 一种基于全景智慧旅游的系统和方法

Also Published As

Publication number Publication date
CN113784108A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113784108B (zh) 一种基于5g传输技术的vr旅游观光方法及系统
KR102082816B1 (ko) 스트리밍 파일의 해상도 개선 방법
US11475666B2 (en) Method of obtaining mask frame data, computing device, and readable storage medium
JP2020010331A (ja) 画質を向上させる方法
US11871086B2 (en) Method of displaying comment information, computing device, and readable storage medium
CN104065965B (zh) 视频处理设备、方法及系统以及视频再现设备和方法
JP3982835B2 (ja) 対話アプリケーション用画像データ圧縮
US20210360224A1 (en) Method and apparatus for transmission parameter distribution of video resource
CN114079779B (zh) 图像处理方法、智能终端及存储介质
CN110087081B (zh) 视频编码方法、装置、服务器及存储介质
KR102050780B1 (ko) 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법
CN110996131B (zh) 视频编码方法、装置、计算机设备及存储介质
CN108600730B (zh) 一种基于合成图像质量度量的远程绘制方法
CN109949242A (zh) 图像去雾模型的生成方法、装置及图像去雾方法、装置
CN112492323B (zh) 直播蒙版的生成方法、可读存储介质及计算机设备
CN114930815A (zh) 基于上下文和特征的视频编码预分析比特预算
CN116095353A (zh) 基于体积视频的直播方法、装置、电子设备及存储介质
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
KR20160015136A (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN102724524B (zh) 一种基于h.264 的立体视频码率控制方法
CN115002470A (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
JP2024511103A (ja) 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第１のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN117337449A (zh) 点云质量增强方法、编码和解码方法及装置、存储介质
CN113486787A (zh) 一种脸部驱动和直播方法、装置、计算机设备和存储介质
CN117061792B (zh) 云视频协作渲染方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230524

Address after: 224000 South 15th floor, smart Valley Kechuang building, Xindu street, Chengnan New Area, Yancheng City, Jiangsu Province (CND)

Patentee after: NUPT INSTITUTE OF BIG DATA RESEARCH AT YANCHENG

Address before: 224000 15 / F, South Building, innovation building, big data Industrial Park, Yannan high tech Zone, Yancheng City, Jiangsu Province

Patentee before: Yancheng Shannon Intelligent Technology Co.,Ltd.

Patentee before: NUPT INSTITUTE OF BIG DATA RESEARCH AT YANCHENG

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211210

Assignee: Yancheng Nongfu Technology Co.,Ltd.

Assignor: NUPT INSTITUTE OF BIG DATA RESEARCH AT YANCHENG

Contract record no.: X2023980049126

Denomination of invention: A VR Tourism and Sightseeing Method and System Based on 5G Transmission Technology

Granted publication date: 20220415

License type: Common License

Record date: 20231203

Application publication date: 20211210

Assignee: Yanmi Technology (Yancheng) Co.,Ltd.

Assignor: NUPT INSTITUTE OF BIG DATA RESEARCH AT YANCHENG

Contract record no.: X2023980049119

Denomination of invention: A VR Tourism and Sightseeing Method and System Based on 5G Transmission Technology

Granted publication date: 20220415

License type: Common License

Record date: 20231203