CN116468613B - 超高清虚拟显示及控制方法、装置、设备及计算机介质 - Google Patents

超高清虚拟显示及控制方法、装置、设备及计算机介质 Download PDF

Info

Publication number
CN116468613B
CN116468613B CN202310730422.3A CN202310730422A CN116468613B CN 116468613 B CN116468613 B CN 116468613B CN 202310730422 A CN202310730422 A CN 202310730422A CN 116468613 B CN116468613 B CN 116468613B
Authority
CN
China
Prior art keywords
image data
standard
processing model
image processing
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310730422.3A
Other languages
English (en)
Other versions
CN116468613A (zh
Inventor
张兵
王萌
林晓甘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jingchuang Technology Electronics Co ltd
Original Assignee
Shenzhen Jingchuang Technology Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jingchuang Technology Electronics Co ltd filed Critical Shenzhen Jingchuang Technology Electronics Co ltd
Priority to CN202310730422.3A priority Critical patent/CN116468613B/zh
Publication of CN116468613A publication Critical patent/CN116468613A/zh
Application granted granted Critical
Publication of CN116468613B publication Critical patent/CN116468613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种超高清虚拟显示及控制方法、装置、设备及计算机介质，涉及虚拟现实技术领域，本申请超高清虚拟显示及控制方法包括：获取需要进行超高清处理的初始图像数据，并将初始图像数据输入至预设的目标图像处理模型，由目标图像处理模型按照预设的目标分辨率对初始图像数据进行拉伸和切割得到多个子图像数据；分别确定多个子图像数据各自对应的模糊核，并基于各模糊核分别对多个子图像数据执行去模糊操作得到多个清晰子图像数据；分别确定多个清晰子图像数据各自对应的畸变参数，并基各畸变参数分别对多个清晰子图像数据执行去畸变操作得到多个待合成图像数据；将多个待合成图像数据进行合成以得到与目标分辨率对应的超高清图像数据。

Description

超高清虚拟显示及控制方法、装置、设备及计算机介质
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种超高清虚拟显示及控制方法、装置、设备及计算机介质。
背景技术
随着VR（Virtual Reality-虚拟现实）技术的不断发展，用户在使用VR设备时对VR设备播放的图像的质量要求也越来越高，而分辨率是决定图像质量的重要因素，因此，为了满足用户的使用需求，VR设备需要输出分辨率更高的图像。
当前的VR设备在设计时需要考虑便携性，因此其内部往往不会配置数量过多的图形处理器（GPU），也就导致了当前VR设备的图形处理能力较弱，进而使得VR设备在输出具有超高清分辨率（即高于常见的1920*1080分辨率）的超高清图像时，图形处理器容易出现卡顿或直接崩溃的情况。因此，VR设备如果想输出超高清图像，就需要在内部配置更多的图形处理器，但是这样又会导致VR设备失去便携性，降低用户的使用体验。
发明内容
本申请的主要目的在于提供一种超高清虚拟显示及控制方法、装置、设备及计算机介质，旨在令VR设备能够更稳定在虚拟现实空间内输出超高清图像数据，提升用户的使用体验。
为实现上述目的，本申请提供一种超高清虚拟显示及控制方法，所述超高清虚拟显示及控制方法包括以下步骤：
获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；
通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；
通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；
将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据。
进一步地，所述由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据的步骤包括：
获取预设的目标分辨率和标准切割尺寸，并由所述目标图像处理模型按照所述目标分辨率对所述初始图像数据进行拉伸得到中间图像数据；
由所述目标图像处理模型按照所述标准切割尺寸在所述中间图像数据内确定多个目标切割点，并基于多个所述目标切割点对所述中间图像数据进行切割以得到多个子图像数据。
进一步地，在所述获取需要进行超高清处理的初始图像数据的步骤之前，所述方法还包括：
获取预设的多个标准图像数据，基于多个所述标准图像数据生成训练集和验证集；
根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型；
通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型。
进一步地，所述基于多个所述标准图像数据生成训练集和验证集的步骤，包括：
按照预设的标准模糊核分别对多个所述标准图像数据进行模糊化操作以生成多个标准模糊图像数据；
按照预设的标准畸变参数分别对多个所述标准图像数据进行畸变化操作以生成多个标准畸变图像数据；
将多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准畸变图像数据、所述标准模糊核及所述标准畸变参数进行整合生成训练集。
进一步地，所述基于多个所述标准图像数据生成训练集和验证集的步骤，还包括：
按照预设的验证模糊核分别对多个所述标准图像数据进行所述模糊化操作以生成多个验证模糊图像数据；
按照预设的验证畸变参数分别对多个所述标准图像数据进行所述畸变化操作以生成多个验证畸变图像数据；
将多个所述标准图像数据和各自对应的所述验证模糊图像数据、所述验证畸变图像数据进行整合生成验证集。
进一步地，所述根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型的步骤，包括：
将所述训练集内包含的多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核输入所述初始图像处理模型；
基于多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核之间的非线性映射关系对所述初始图像处理模型进行训练得到具有去模糊功能的第一图像处理模型；
将所述训练集内包含的多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数输入所述第一图像处理模型；
基于多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数之间的非线性映射关系对所述第一图像处理模型进行训练得到具有所述去模糊功能和去畸变功能的待验证图像处理模型。
进一步地，所述通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型的步骤，包括：
将所述验证集内包含的多个所述验证模糊图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行所述去模糊操作得到多个待验证清晰图像数据；
将所述验证集内包含的多个所述验证畸变图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行所述去畸变操作生成多个所述待验证清晰图像数据；
将多个所述待验证清晰图像数据分别与各自对应的所述标准图像数据进行比对得到各比对结果，并判断各所述比对结果是否均为所述待验证清晰图像数据与所述标准图像数据一致；
若判断到各所述比对结果均为所述待验证清晰图像数据与所述标准图像数据一致，则将所述待验证图像处理模型确定为目标图像处理模型。
此外，为实现上述目的，本申请还提供一种超高清虚拟显示及控制装置，所述装置包括：
图像切割模块，用于获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；
第一处理模块，用于通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；
第二处理模块，用于通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；
图像生成模块，用于将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据。
此外，为实现上述目的，本申请还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超高清虚拟显示及控制程序，所述超高清虚拟显示及控制程序被所述处理器执行时实现如上述的超高清虚拟显示及控制方法的步骤。
此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有超高清虚拟显示及控制程序，所述超高清虚拟显示及控制程序被处理器执行时实现如上述的超高清虚拟显示及控制方法的步骤。
本申请实施例提供的超高清虚拟显示及控制方法、装置、设备及计算机介质，通过获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据。
在本实施例中，终端设备在运行时，首先接收图像展示指令，从而获取该图像展示指令内携带的需要进行超高清处理的初始图像数据，并将该初始图像数据输入至终端设备内预设的目标图像处理模型，由目标图像处理模型按照该图像展示指令内预设的目标分辨率对初始图像数据进行拉伸和切割从而生成多个子图像数据，之后，目标图像处理模型分别确定多个子图像数据各自对应的模糊核，并基于各该模糊核分别对多个子图像数据进行去模糊操作从而生成多个清晰子图像数据，再之后，目标图像处理模型分别确定多个清晰子图像数据各自对应的畸变参数，并基于各该畸变参数分别对多个清晰子图像数据进行去畸变操作从而生成多个待合成图像数据，最后，目标图像处理模型基于初始图像数据对多个待合成图像数据进行排序得到排序结果，并按照该排序结果对多个待合成图像数据进行合成以得到与该目标分辨率对应的超高清图像数据，并将该超高清图像数据上传至终端设备，由终端设备通过内部配置的显示模块将该超高清图像数据展示给用户。
如此，本申请采用在VR设备内部署经过训练的目标图像处理模型，从而由目标图像处理模型按照预设的超高分辨率对初始图像数据进行拉伸和切割，并对切割后得到的各子图像数据进行去模糊和去畸变处理的方式，使得VR设备在对图像进行处理时无需像对整个图像进行处理一样占用大量的运算资源，进而也就使得VR设备内无需配置过多的图形处理器，最终达到了令VR设备能够更稳定在虚拟现实空间内输出超高清图像数据的技术效果，提升用户的使用体验。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的终端设备的结构示意图；
图2为本申请超高清虚拟显示及控制方法第一实施例的流程示意图；
图3为本申请超高清虚拟显示及控制方法第二实施例的流程示意图；
图4为本申请超高清虚拟显示及控制方法一实施例涉及的功能模块示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的终端设备结构示意图。
需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本申请实施例终端设备可以是执行本申请超高清虚拟显示及控制方法的设备，该终端设备具体可以是移动式头戴VR设备或固定式头戴VR设备等终端。
如图1所示，该终端设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及超高清虚拟显示及控制程序。
在图1所示的终端设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请终端设备中的处理器1001、存储器1005可以设置在终端设备中，所述终端设备通过处理器1001调用存储器1005中存储的超高清虚拟显示及控制程序，并执行本申请实施例提供的超高清虚拟显示及控制方法。
基于上述的终端设备，提供本申请超高清虚拟显示及控制方法的各个实施例。
请参照图2，图2为本申请超高清虚拟显示及控制方法第一实施例的流程示意图。
应当理解的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，本申请超高清虚拟显示及控制方法当然也可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，本申请超高清虚拟显示及控制方法，可以包括以下步骤：
步骤S10：获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；
需要说明的是，进行超高清处理中的“超高清”主要指的是超出通常图像处理软件或显示设备读取能力的图像分辨率，也就是说，该“超高清”对应的目标分辨率需要高于常见的全高清图像(1920*1080)，且该“超高清”对应的横向分辨率和纵向分辨率不设置有上限，该横向分辨率和该纵向分辨率之间的比值满足VR设备内的显示器对应的显示比例即可。
在本实施例中，终端设备在运行时，首先接收控制器发出的图像展示指令，终端设备进而读取该图像展示指令内携带的需要进行超高清处理的初始图像数据，并将该初始图像数据输入至终端设备内预设的目标图像处理模型，由目标图像处理模型基于该图像展示指令内执行的目标分辨率对初始图像数据进行拉伸和切割从而得到多个子图像数据。
示例性地，例如，用户在佩戴VR设备时，如果需要VR设备需要播放超高分辨率的图像数据，则可以通过控制与VR设备配套的手柄操纵器选中需要播放的初始图像数据并设置超高分辨率从而生成图像展示指令，之后，VR设备进而在运行时获取该图像展示指令，并读取该图像展示指令内携带的初始图像数据，进而将该图像输出数据输入至VR设备内预设的目标图像处理模型，由目标图像处理模型基于该图像展示指令确定用户需要展示的超高清图像对应的目标分辨率为4096*2160，而初始图像数据对应的默认分辨率为1920*1080，再之后，目标图像处理器按照该目标分辨率4096*2160对初始图像数据进行拉伸，并对完成拉伸后的图像数据进行切割从而得到多个子图像数据。
进一步地，在一种可行的实施例中，上述步骤S10中“由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据”的步骤，具体可以包括：
步骤S101：获取预设的目标分辨率和标准切割尺寸，并由所述目标图像处理模型按照所述目标分辨率对所述初始图像数据进行拉伸得到中间图像数据；
在本实施例中，目标图像处理模型获取预设的目标分辨率和标准切割尺寸，并按照该目标分辨率对初始图像数据进行拉伸，从而得到与该目标分辨率对应的中间图像数据。
步骤S102：由所述目标图像处理模型按照所述标准切割尺寸在所述中间图像数据内确定多个目标切割点，并基于多个所述目标切割点对所述中间图像数据进行切割以得到多个子图像数据；
在本实施例中，目标图像处理模型基于获取的标准切割尺寸切割比例和中间图像数据对应的横向分辨率和纵向分辨率，在该中间图像数据内确定多个目标切割点，并按照目标切割点对该中间图像数据进行切割从而得到与该中间图像数据对应的多个子图像数据。
示例性地，例如，目标图像处理模型首先获取预设的目标分辨率为4096*2160，并确定预设的标准切割尺寸为w*h，之后，目标图像处理模型按照该4096*2160的目标分辨率对分辨率为1920*1080的初始图像数据进行拉伸，从而得到与该目标分辨率大小一致的中间图像数据，之后，目标图像处理模型在中间图像数据的四个图像边角中随机选择一个角作为起始角点，并按照该标准切割尺寸为w*h在中间图像数据中确定多个目标切割点，再之后，目标图像处理模型按照确定的多个目标切割点对中间图像数据进行切割从而得到多个子图像数据。
需要说明的是，在本实施例中，上述标准切割尺寸内的w为标准横向切割尺寸，而h为标准竖向切割尺寸，可以理解的是，该标准横向切割尺寸和标准竖向切割尺寸均不应该超过目标分辨率对应的横向分辨率和纵向分辨率，且该标准横向切割尺寸与该横向分辨率之间应为整数倍数关系，而标准竖向切割尺寸与纵向分辨率之间同样为整数倍数关系，从而令目标图像处理模型在完成对图像数据的切割之后得到大小相同的多个子图像数据。
步骤S20：通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；
模糊核实际上是一个矩阵，清晰图像往往是与模糊核对应的矩阵卷积后才会变得模糊从而生成模糊图像，也就是说，模糊核是卷积核的一种。
在本实施例中，目标图像处理模型确定多个子图像数据各自对应的模糊类型，从而基于各该模糊类型确定多个子图像数据各自对应的模糊核，目标图像数据进而基于各模糊核分别对多个子图像数据执行去模糊操作得到多个清晰子图像数据。
步骤S30：通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；
畸变参数是指在拍摄过程中，由于光学系统形变、反射凹面和其他因素，而在图像处理中产生的影像失真现象，即，该畸变参数是一个可以用来描述图像失真的数字参数。
在本实施例中，目标图像处理模型确定初始图像数据对应的相机参数，并根据该相机参数确定多个清晰子图像数据各自对应的畸变参数，从而基于各该畸变参数分别对多个清晰子图像数据执行去畸变操作，得到多个清晰子图像数据各自对应的待合成图像数据。
步骤S40：将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据；
在本实施例中，目标图像处理模型基于初始图像数据对多个待合成图像数据进行排序以得到排序结果，目标图像处理模型进而基于该排序结果对多个待合成图像数据进行合成以得到与目标分辨率对应的超高清图像数据，并将该超高清图像数据上传至终端设备，由终端设备通过内部配置的显示单元将该超高清图像数据展示给用户。
示例性地，例如，目标图像处理模型基于获取的初始图像数据对多个待合成图像数据进行排序从而确定多个待合成图像数据之间的排列关系并，并基于该排列关系对多个待合成排列数据进行标号，之后，目标图像处理模型基于各待合成图像数据各自对应的标号将各待合成图像数据按照进行合成从而生成分辨率为4096*2160的超高清图像数据，并将该超高清图像数据上传至VR设备，由VR设备在预设的虚拟现实空间内生成该超高清图像数据，并通过配置的显示器将该超高清图像展示给佩戴该VR设备的用户。
在本实施例中，终端设备在运行时，首先接收控制器发出的图像展示指令，终端设备进而读取该图像展示指令内携带的需要进行超高清处理的初始图像数据，并将该初始图像数据输入至终端设备内预设的目标图像处理模型，由目标图像处理模型基于该图像展示指令内执行的目标分辨率对初始图像数据进行拉伸和切割从而得到多个子图像数据，之后，目标图像处理模型确定多个子图像数据各自对应的模糊类型，从而基于各该模糊类型确定多个子图像数据各自对应的模糊核，目标图像数据进而基于各模糊核分别对多个子图像数据执行去模糊操作得到多个清晰子图像数据，再之后，目标图像处理模型确定初始图像数据对应的相机参数，并根据该相机参数确定多个清晰子图像数据各自对应的畸变参数，从而基于各该畸变参数分别对多个清晰子图像数据执行去畸变操作，得到多个清晰子图像数据各自对应的待合成图像数据，最后，目标图像处理模型基于初始图像数据对多个待合成图像数据进行排序以得到排序结果，目标图像处理模型进而基于该排序结果对多个待合成图像数据进行合成以得到与目标分辨率对应的超高清图像数据，并将该超高清图像数据上传至终端设备，由终端设备通过内部配置的显示单元将该超高清图像数据展示给用户。
如此，本申请采用在VR设备内部署经过训练的目标图像处理模型，从而由目标图像处理模型按照预设的超高分辨率对初始图像数据进行拉伸和切割，并对切割后得到的各子图像数据进行去模糊和去畸变处理的方式，使得VR设备在对图像进行处理时无需像对整个图像进行处理一样占用大量的运算资源，进而也就使得VR设备内无需配置过多的图形处理器，最终达到了令VR设备能够更稳定在虚拟现实空间内输出超高清图像数据的技术效果，提升用户的使用体验。
进一步地，基于上述本申请超高清虚拟显示及控制方法的第一实施例，在此提出本申请超高清虚拟显示及控制方法第二实施例。
请参照图3，图3为本申请超高清虚拟显示及控制方法第二实施例的流程示意图，在上述步骤S10之前，本申请超高清虚拟显示及控制方法还可以包括以下步骤：
步骤A10：获取预设的多个标准图像数据，基于多个所述标准图像数据生成训练集和验证集；
在本实施例中，终端设备首先读取内部配置的存储装置获取技术人员预先存储的多个标准图像数据，并将多个标准图像数据输入至终端设备内配置的模型训练单元，由模型训练单元基于多个标准图像数据生成用于模型训练的训练集和验证集。
示例性地，例如，技术人员事先在VR设备内的配置的模型训练单元中部署初始图像处理模型，并在VR设备的存储装置内存储多张用于训练的标准图像数据，之后，VR设备在进行模型训练时，首先读取存储装置以获取技术人员存储的多张标准图像数据，并将多张该标准图像数据输入至模型训练单元，由模型训练单元对多张标准图像数据进行处理从而生成用于对初始图形处理模型进行训练的训练集和验证集。
进一步地，在一种可行的实施例中，上述步骤A10中“基于多个所述标准图像数据生成训练集和验证集”的步骤，具体可以包括：
步骤A101：按照预设的标准模糊核分别对多个所述标准图像数据进行模糊化操作以生成多个标准模糊图像数据；
步骤A102：按照预设的标准畸变参数分别对多个所述标准图像数据进行畸变化操作以生成多个标准畸变图像数据；
步骤A103：将多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准畸变图像数据、所述标准模糊核及所述标准畸变参数进行整合生成训练集；
示例性地，例如，模型训练单元首先获取预设的多个模糊类型，并按照多个该模糊类型确定多个标准模糊核，进而按照多个该标准模糊核分别对多个标准图像数据进行模糊操作生成多个标准模糊图像数据，同时，模型训练单元获取预设的多个标准相机参数，并基于多个该标准相机参数确定多个标准畸变参数，模型训练单元进而基于多个该标准畸变参数分别对多个标准图像数据进行畸变化操作生成多个标准畸变图像数据，之后，模型训练单元将多个标准图像数据和多个标准图像数据各自对应的标准模糊图像数据、标准畸变图像数据、标准模糊核及标准畸变参数进行整合，进而将整合得到的数据集作为训练集。
进一步地，在一种可行的实施例中，上述步骤A10中“基于多个所述标准图像数据生成训练集和验证集”的步骤，还可以包括：
步骤A104：按照预设的验证模糊核分别对多个所述标准图像数据进行所述模糊化操作以生成多个验证模糊图像数据；
步骤A105：按照预设的验证畸变参数分别对多个所述标准图像数据进行所述畸变化操作以生成多个验证畸变图像数据；
步骤A106：将多个所述标准图像数据和各自对应的所述验证模糊图像数据、所述验证畸变图像数据进行整合生成验证集；
示例性地，例如，模型训练单元首先获取预设的多个模糊类型，并按照多个模糊类型确定多个验证模糊核，进而按照多个验证模糊核分别对多个标准图像数据进行模糊操作生成多个验证模糊图像数据，同时，模型训练单元获取预设的多个相机参数，并基于多个该相机参数确定多个验证畸变参数，进而按照多个该验证畸变参数分别对多个标准图像数据进行畸变化操作生成多个验证畸变图像数据，之后，模型训练单元将多个标准图像数据和多个标准图像数据各自对应的验证模糊图像数据、验证畸变图像数据进行整合，从而将整合得到的数据集作为验证集。
步骤A20：根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型；
在本实施例中，模型训练单元将训练集内包含的多个标准图像数据和多个标准图像数据各自对应的标准模糊图像数据、标准畸变图像数据、标准模糊核及标准畸变参数输入至初始图像处理模型以对初始图像处理模型进行训练从而得到具有去模糊功能和去畸变功能的待验证图像处理模型。
进一步地，在一种可行的实施例中，上述步骤A20，具体可以包括：
步骤A201：将所述训练集内包含的多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核输入所述初始图像处理模型；
步骤A202：基于多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核之间的非线性映射关系对所述初始图像处理模型进行训练得到具有去模糊功能的第一图像处理模型；
步骤A203：将所述训练集内包含的多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数输入所述第一图像处理模型；
步骤A204：基于多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数之间的非线性映射关系对所述第一图像处理模型进行训练得到具有所述去模糊功能和去畸变功能的待验证图像处理模型；
示例性地，例如，模型训练单元首先将训练集内包含的多个标准图像数据和多个标准图像数据各自对应的标准模糊图像数据和标准模糊核输入至初始图像处理模型，从而基于多个标准图像数据和各自对应的标准模糊图像数据、标准模糊核之间的非线性映射关系对初始图像处理数据进行训练，使得初始图像处理模型具有去模糊功能从而得到第一图像处理模型，之后，模型训练单元将训练集内包含的多个标准图像数据和多个标准图像数据各自对应的标准畸变图像数据、标准畸变参数输入至该第一图像处理模型，从而基于多个标准图像数据和各自对应的标准畸变图像数据、标准畸变参数之间的非线性映射关系对第一图像处理模型进行训练，使得第一图像处理模型具有去畸变功能从而得到待验证图像处理模型。
步骤A30：通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型；
在本实施例中，模型训练单元将验证集内包含的多个验证模糊图像数据、验证畸变图像数据输至待验证图像处理模型，通过待验证图像处理模型对多个验证模糊图像数据进行去模糊处理，和，对多个验证畸变图像数据进行去畸变处理从而得到多个清晰图像数据以完成对待验证图像处理模型的验证，从而得到目标图像处理模型。
进一步地，在一种可行的实施例中，上述步骤A30，具体可以包括：
步骤A301：将所述验证集内包含的多个所述验证模糊图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行所述去模糊操作得到多个待验证清晰图像数据；
步骤A302：将所述验证集内包含的多个所述验证畸变图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行所述去畸变操作生成多个所述待验证清晰图像数据；
步骤A303：将多个所述待验证清晰图像数据分别与各自对应的所述标准图像数据进行比对得到各比对结果，并判断各所述比对结果是否均为所述待验证清晰图像数据与所述标准图像数据一致；
步骤A304：若判断到各所述比对结果均为所述待验证清晰图像数据与所述标准图像数据一致，则将所述待验证图像处理模型确定为目标图像处理模型；
示例性地，例如，模型训练单元首先读取验证集内包含的各验证模糊图像数据，并将各验证模糊图像数据输入至待验证图像处理模型，由待验证图像处理模型对各该验证模糊图像数据进行去模糊处理从而得到多个待验证清晰图像，同时，模型训练单元读取验证集内包含的各验证畸变图像数据，并将各验证畸变图像数据输入至该待验证图像处理模型，由待验证图像处理模型对各该验证畸变图像数据进行去畸变处理从而得到多个待验证清晰图像，之后，模型训练单元分别将多个待验证清晰图像与验证集内包含的多个标准图像数据进行比对得到各比对结果，并判断各比对结果是否均为待验证清晰图像与标准图像数据一致，再之后，若模型训练单元判断到各比对结果均为待验证清晰图像与标准图像数据一致，则确定待验证图像处理模型已经能够对图像数据进行正确的去模糊操作和去畸变操作，从而将该待验证图像处理模型确定为目标图像处理模型，而若模型训练单元判断到各比对结果不均为待验证清晰图像与标准图像数据一致，则确定待验证图像处理模型还不能对图像数据进行正确的去模糊操作和去畸变操作，从而重新执行模型训练操作。
需要说明的是，在另一实施例中，模型训练单元在获取比对结果之后，还可以基于各该比对结果确定上述待验证图像处理模型对应的去模糊成功率和的去畸变成功率，模型训练单元进而判断去模糊成功率和去畸变成功率是否均高于预设的成功率阈值，之后，若模型训练单元判断到去模糊成功率和去畸变成功率均高于该成功率阈值，则确定待验证图像处理模型已经能够对图像数据进行正确的去模糊操作和去畸变操作，从而将该待验证图像处理模型确定为目标图像处理模型，而若模型训练单元判断到去模糊成功率和去畸变成功率不是均高于该成功率阈值，则确定待验证图像处理模型还不能对图像数据进行正确的去模糊操作和去畸变操作，从而重新执行模型训练操作。
在本实施例中，终端设备首先读取内部配置的存储装置获取技术人员预先存储的多个标准图像数据，并将多个标准图像数据输入至终端设备内配置的模型训练单元，由模型训练单元基于多个标准图像数据生成用于模型训练的训练集和验证集，之后，模型训练单元将训练集内包含的多个标准图像数据和多个标准图像数据各自对应的标准模糊图像数据、标准畸变图像数据、标准模糊核及标准畸变参数输入至初始图像处理模型以对初始图像处理模型进行训练从而得到具有去模糊功能和去畸变功能的待验证图像处理模型，最后，模型训练单元将验证集内包含的多个验证模糊图像数据、验证畸变图像数据输至待验证图像处理模型，通过待验证图像处理模型对多个验证模糊图像数据进行去模糊处理，和，对多个验证畸变图像数据进行去畸变处理从而得到多个清晰图像数据以完成对待验证图像处理模型的验证，从而得到目标图像处理模型。
如此，本申请采用对标准图像数据进行模糊化处理和畸变化处理，从而得到用于模型训练的训练集，和用于对模型进行验证的验证集，进而通过训练集和验证集对部署的初始图像处理模型进行训练和验证的方式，达到了得到具有去模糊功能和去畸变功能的目标图像处理模型的目的。
此外，为实现上述目的，本申请还提供一种超高清虚拟显示及控制装置，请参照图4，图4为本申请超高清虚拟显示及控制方法一实施例涉及的功能模块示意图，如图4所示，所述装置包括：
图像切割模块10，用于获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；
第一处理模块20，用于通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；
第二处理模块30，用于通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；
图像生成模块40，用于将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据。
进一步地，图像切割模块10，包括：
图像拉伸单元，用于获取预设的目标分辨率和标准切割尺寸，并由所述目标图像处理模型按照所述目标分辨率对所述初始图像数据进行拉伸得到中间图像数据；
图像切割单元，用于由所述目标图像处理模型按照所述标准切割尺寸在所述中间图像数据内确定多个目标切割点，并基于多个所述目标切割点对所述中间图像数据进行切割以得到多个子图像数据。
进一步地，图像切割模块10，还包括：
数据收集单元，用于获取预设的多个标准图像数据，基于多个所述标准图像数据生成训练集和验证集；
模型训练单元，用于根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型；
模型验证单元，用于通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型。
进一步地，数据收集单元，包括：
第一数据处理子单元，用于按照预设的标准模糊核分别对多个所述标准图像数据进行模糊化操作以生成多个标准模糊图像数据；
第二数据处理子单元，用于按照预设的标准畸变参数分别对多个所述标准图像数据进行畸变化操作以生成多个标准畸变图像数据；
第一数据整合子单元，用于将多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准畸变图像数据、所述标准模糊核及所述标准畸变参数进行整合生成训练集。
进一步地，数据收集单元，还包括：
第三数据处理子单元，用于按照预设的验证模糊核分别对多个所述标准图像数据进行所述模糊化操作以生成多个验证模糊图像数据；
第四数据处理子单元，用于按照预设的验证畸变参数分别对多个所述标准图像数据进行所述畸变化操作以生成多个验证畸变图像数据；
第二数据整合子单元，用于将多个所述标准图像数据和各自对应的所述验证模糊图像数据、所述验证畸变图像数据进行整合生成验证集。
进一步地，模型训练单元，包括：
第一输入子单元，用于将所述训练集内包含的多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核输入所述初始图像处理模型；
模糊训练子单元，用于基于多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核之间的非线性映射关系对所述初始图像处理模型进行训练得到具有去模糊功能的第一图像处理模型；
第二输入子单元，用于将所述训练集内包含的多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数输入所述第一图像处理模型；
畸变训练子单元，用于基于多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数之间的非线性映射关系对所述第一图像处理模型进行训练得到具有所述去模糊功能和去畸变功能的待验证图像处理模型。
进一步地，模型验证单元，包括：
模糊处理子单元，用于将所述验证集内包含的多个所述验证模糊图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行所述去模糊操作得到多个待验证清晰图像数据；
畸变处理子单元，用于将所述验证集内包含的多个所述验证畸变图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行所述去畸变操作生成多个所述待验证清晰图像数据；
图像比对子单元，用于将多个所述待验证清晰图像数据分别与各自对应的所述标准图像数据进行比对得到各比对结果，并判断各所述比对结果是否均为所述待验证清晰图像数据与所述标准图像数据一致；
结果确定子单元，用于若判断到各所述比对结果均为所述待验证清晰图像数据与所述标准图像数据一致，则将所述待验证图像处理模型确定为目标图像处理模型。
此外，本申请还提供一种终端设备，该终端设备上有可在处理器上运行的超高清虚拟显示及控制程序，所述终端设备执行所述超高清虚拟显示及控制程序时实现如以上任一项实施例所述的超高清虚拟显示及控制方法的步骤。
本申请终端设备的具体实施例与上述超高清虚拟显示及控制方法各实施例基本相同，在此不作赘述。
此外，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有超高清虚拟显示及控制程序，所述超高清虚拟显示及控制程序被处理器执行时实现如以上任一项实施例所述超高清虚拟显示及控制方法的步骤。
本发计算机可读存储介质的具体实施例与上述超高清虚拟显示及控制方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光 盘)中，包括若干指令用以使得一台终端设备(可以是执行本申请超高清虚拟显示及控制方法的设备，该终端设备具体可以是移动式头戴VR设备或固定式头戴VR设备等终端等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (6)

1.一种超高清虚拟显示及控制方法，其特征在于，所述超高清虚拟显示及控制方法包括以下步骤：
获取预设的多个标准图像数据，基于多个所述标准图像数据生成训练集和验证集；
根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型；
所述根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型的步骤，包括：
将所述训练集内包含的多个所述标准图像数据和各自对应的标准模糊图像数据、标准模糊核输入所述初始图像处理模型；
基于多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核之间的非线性映射关系对所述初始图像处理模型进行训练得到具有去模糊功能的第一图像处理模型；
将所述训练集内包含的多个所述标准图像数据和各自对应的标准畸变图像数据、标准畸变参数输入所述第一图像处理模型；
基于多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数之间的非线性映射关系对所述第一图像处理模型进行训练得到具有所述去模糊功能和去畸变功能的待验证图像处理模型；
通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型；
所述通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型的步骤，包括：
将所述验证集内包含的多个验证模糊图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行去模糊操作得到多个待验证清晰图像数据；
将所述验证集内包含的多个验证畸变图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行去畸变操作生成多个所述待验证清晰图像数据；
将多个所述待验证清晰图像数据分别与各自对应的所述标准图像数据进行比对得到各比对结果；
基于各所述比对结果确定上述待验证图像处理模型对应的去模糊成功率和的去畸变成功率，判断去模糊成功率和去畸变成功率是否均高于预设的成功率阈值；
若判断到所述去模糊成功率和所述去畸变成功率均高于所述成功率阈值，则将所述待验证图像处理模型确定为目标图像处理模型，或者，若判断到各所述比对结果均为所述待验证清晰图像数据与所述标准图像数据一致，则将所述待验证图像处理模型确定为所述目标图像处理模型；
获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；
所述由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据的步骤包括：
获取预设的目标分辨率和标准切割尺寸，并由所述目标图像处理模型按照所述目标分辨率对所述初始图像数据进行拉伸得到中间图像数据，其中，所述标准切割尺寸包含标准横向切割尺寸和标准竖向切割尺寸，所述目标分辨率包含横向分辨率和纵向分辨率，所述标准横向切割尺寸与所述横向分辨率之间为整数倍数关系，所述标准竖向切割尺寸与所述纵向分辨率之间为所述整数倍数关系；
由所述目标图像处理模型按照所述标准横向切割尺寸和所述标准竖向切割尺寸在所述中间图像数据内确定多个目标切割点，并基于多个所述目标切割点对所述中间图像数据进行切割以得到多个子图像数据；
通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；
通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；
将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据。
2.如权利要求1所述的超高清虚拟显示及控制方法，其特征在于，所述基于多个所述标准图像数据生成训练集和验证集的步骤，包括：
按照预设的标准模糊核分别对多个所述标准图像数据进行模糊化操作以生成多个标准模糊图像数据；
按照预设的标准畸变参数分别对多个所述标准图像数据进行畸变化操作以生成多个标准畸变图像数据；
将多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准畸变图像数据、所述标准模糊核及所述标准畸变参数进行整合生成训练集。
3.如权利要求2所述的超高清虚拟显示及控制方法，其特征在于，所述基于多个所述标准图像数据生成训练集和验证集的步骤，还包括：
按照预设的验证模糊核分别对多个所述标准图像数据进行所述模糊化操作以生成多个验证模糊图像数据；
按照预设的验证畸变参数分别对多个所述标准图像数据进行所述畸变化操作以生成多个验证畸变图像数据；
将多个所述标准图像数据和各自对应的所述验证模糊图像数据、所述验证畸变图像数据进行整合生成验证集。
4.一种超高清虚拟显示及控制装置，其特征在于，所述装置包括：
数据收集单元，用于获取预设的多个标准图像数据，基于多个所述标准图像数据生成训练集和验证集；
模型训练单元，用于根据所述训练集对预设的初始图像处理模型进行训练生成具有去模糊功能和去畸变功能的待验证图像处理模型；
其中，所述模型训练单元，还用于将所述训练集内包含的多个所述标准图像数据和各自对应的标准模糊图像数据、标准模糊核输入所述初始图像处理模型；
基于多个所述标准图像数据和各自对应的所述标准模糊图像数据、所述标准模糊核之间的非线性映射关系对所述初始图像处理模型进行训练得到具有去模糊功能的第一图像处理模型；
将所述训练集内包含的多个所述标准图像数据和各自对应的标准畸变图像数据、标准畸变参数输入所述第一图像处理模型；
基于多个所述标准图像数据和各自对应的所述标准畸变图像数据、所述标准畸变参数之间的非线性映射关系对所述第一图像处理模型进行训练得到具有所述去模糊功能和去畸变功能的待验证图像处理模型；
模型验证单元，用于通过所述验证集对所述待验证图像处理模型进行验证得到目标图像处理模型；
其中，所述模型验证单元，还用于将所述验证集内包含的多个验证模糊图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行去模糊操作得到多个待验证清晰图像数据；
将所述验证集内包含的多个验证畸变图像数据输入至所述待验证图像处理模型，由所述待验证图像处理模型分别对多个所述验证模糊图像数据进行去畸变操作生成多个所述待验证清晰图像数据；
将多个所述待验证清晰图像数据分别与各自对应的所述标准图像数据进行比对得到各比对结果；
基于各所述比对结果确定上述待验证图像处理模型对应的去模糊成功率和的去畸变成功率，判断去模糊成功率和去畸变成功率是否均高于预设的成功率阈值；
若判断到所述去模糊成功率和所述去畸变成功率均高于所述成功率阈值，则将所述待验证图像处理模型确定为目标图像处理模型，或者，若判断到各所述比对结果均为所述待验证清晰图像数据与所述标准图像数据一致，则将所述待验证图像处理模型确定为所述目标图像处理模型；
图像切割模块，用于获取需要进行超高清处理的初始图像数据，并将所述初始图像数据输入至预设的目标图像处理模型，由所述目标图像处理模型按照预设的目标分辨率对所述初始图像数据进行拉伸和切割得到多个子图像数据；
第一处理模块，用于通过所述目标图像处理模型分别确定多个所述子图像数据各自对应的模糊核，并基于各所述模糊核分别对多个所述子图像数据执行去模糊操作得到多个清晰子图像数据；
其中，所述第一处理模块，还用于：
获取预设的目标分辨率和标准切割尺寸，并由所述目标图像处理模型按照所述目标分辨率对所述初始图像数据进行拉伸得到中间图像数据，其中，所述标准切割尺寸包含标准横向切割尺寸和标准竖向切割尺寸，所述目标分辨率包含横向分辨率和纵向分辨率，所述标准横向切割尺寸与所述横向分辨率之间为整数倍数关系，所述标准竖向切割尺寸与所述纵向分辨率之间为所述整数倍数关系；
由所述目标图像处理模型按照所述标准横向切割尺寸和所述标准竖向切割尺寸在所述中间图像数据内确定多个目标切割点，并基于多个所述目标切割点对所述中间图像数据进行切割以得到多个子图像数据；
第二处理模块，用于通过所述目标图像处理模型分别确定多个所述清晰子图像数据各自对应的畸变参数，并基各所述畸变参数分别对多个所述清晰子图像数据执行去畸变操作得到多个待合成图像数据；
图像生成模块，用于将多个所述待合成图像数据进行合成以得到与所述目标分辨率对应的超高清图像数据。
5.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超高清虚拟显示及控制程序，所述超高清虚拟显示及控制程序被所述处理器执行时实现如权利要求1至3中任一项所述的超高清虚拟显示及控制方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有超高清虚拟显示及控制程序，所述超高清虚拟显示及控制程序被处理器执行时实现如权利要求1至3中任一项所述的超高清虚拟显示及控制方法的步骤。
CN202310730422.3A 2023-06-20 2023-06-20 超高清虚拟显示及控制方法、装置、设备及计算机介质 Active CN116468613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310730422.3A CN116468613B (zh) 2023-06-20 2023-06-20 超高清虚拟显示及控制方法、装置、设备及计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310730422.3A CN116468613B (zh) 2023-06-20 2023-06-20 超高清虚拟显示及控制方法、装置、设备及计算机介质

Publications (2)

Publication Number Publication Date
CN116468613A CN116468613A (zh) 2023-07-21
CN116468613B true CN116468613B (zh) 2023-10-27

Family

ID=87177457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310730422.3A Active CN116468613B (zh) 2023-06-20 2023-06-20 超高清虚拟显示及控制方法、装置、设备及计算机介质

Country Status (1)

Country Link
CN (1) CN116468613B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810319A (zh) * 2017-04-26 2018-11-13 富士通株式会社 图像处理装置和图像处理方法
CN109727201A (zh) * 2017-10-30 2019-05-07 富士通株式会社 信息处理设备、图像处理方法以及存储介质
CN111681165A (zh) * 2020-06-02 2020-09-18 上海闻泰信息技术有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111787300A (zh) * 2020-07-29 2020-10-16 北京金山云网络技术有限公司 Vr视频的处理方法、装置及电子设备
CN115170396A (zh) * 2022-07-18 2022-10-11 中国银行股份有限公司 一种图像处理方法及装置、电子设备、存储介质
CN115439375A (zh) * 2022-11-02 2022-12-06 国仪量子(合肥)技术有限公司 图像去模糊模型的训练方法和装置以及应用方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810319A (zh) * 2017-04-26 2018-11-13 富士通株式会社 图像处理装置和图像处理方法
CN109727201A (zh) * 2017-10-30 2019-05-07 富士通株式会社 信息处理设备、图像处理方法以及存储介质
CN111681165A (zh) * 2020-06-02 2020-09-18 上海闻泰信息技术有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN111787300A (zh) * 2020-07-29 2020-10-16 北京金山云网络技术有限公司 Vr视频的处理方法、装置及电子设备
CN115170396A (zh) * 2022-07-18 2022-10-11 中国银行股份有限公司 一种图像处理方法及装置、电子设备、存储介质
CN115439375A (zh) * 2022-11-02 2022-12-06 国仪量子(合肥)技术有限公司 图像去模糊模型的训练方法和装置以及应用方法和装置

Also Published As

Publication number Publication date
CN116468613A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US20210097651A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN110599387A (zh) 一种自动去除图片水印的方法及装置
CN114170227B (zh) 产品表面缺陷检测方法、装置、设备及存储介质
CN107346546B (zh) 一种图像处理方法及装置
CN109035147B (zh) 图像处理方法及装置、电子装置、存储介质和计算机设备
JP2008083820A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10180782B2 (en) Fast image object detector
CN112528318A (zh) 一种图像脱敏的方法、装置及电子设备
CN116468613B (zh) 超高清虚拟显示及控制方法、装置、设备及计算机介质
CN113791857B (zh) Linux系统中应用窗口背景模糊处理方法及装置
CN108665498B (zh) 图像处理方法、装置、电子设备和存储介质
CN112788254B (zh) 摄像头抠像方法、装置、设备及存储介质
CN108810319B (zh) 图像处理装置和图像处理方法
CN114742774B (zh) 融合局部和全局特征的无参考图像质量评价方法及系统
US20210374916A1 (en) Storage medium storing program, image processing apparatus, and training method of machine learning model
CN115797267A (zh) 图像质量评估方法、系统、电子设备和存储介质
JP2000125179A (ja) デジタルカメラおよびその処理を実行するためのプログラムを記録した記録媒体
CN110399581B (zh) 基于机器学习的页面渲染方法、设备、存储介质及装置
CN111013152A (zh) 游戏模型动作的生成方法、装置及电子终端
CN113994369A (zh) 学习设备、图像处理设备、参数生成设备、学习方法和图像处理方法
CN114677443B (zh) 光学定位方法、装置、设备及存储介质
CN114596263B (zh) 深度学习的主板外观检测方法、装置、设备及存储介质
JP7210380B2 (ja) 画像学習プログラム、画像学習方法、及び画像認識装置
JP6076773B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN118470463A (zh) 缺陷样本生成方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant