CN108596834A - 图像的分辨率处理方法、图像处理装置及系统、存储介质 - Google Patents

图像的分辨率处理方法、图像处理装置及系统、存储介质 Download PDF

Info

Publication number
CN108596834A
CN108596834A CN201810392834.XA CN201810392834A CN108596834A CN 108596834 A CN108596834 A CN 108596834A CN 201810392834 A CN201810392834 A CN 201810392834A CN 108596834 A CN108596834 A CN 108596834A
Authority
CN
China
Prior art keywords
image
resolution
value
display device
movable information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810392834.XA
Other languages
English (en)
Other versions
CN108596834B (zh
Inventor
李懐哲
陳凱威
陳之容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810392834.XA priority Critical patent/CN108596834B/zh
Publication of CN108596834A publication Critical patent/CN108596834A/zh
Priority to EP19792700.7A priority patent/EP3786878A4/en
Priority to PCT/CN2019/075519 priority patent/WO2019205782A1/zh
Priority to US16/918,175 priority patent/US11244427B2/en
Application granted granted Critical
Publication of CN108596834B publication Critical patent/CN108596834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/73—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414—Vertical resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421—Horizontal resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

本发明实施例公开了一种图像的分辨率处理方法、图像处理装置及系统，其中，所述方法包括：获取显示装置的运动信息；根据由所述运动信息确定的所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述目标对象为横向分辨率对象或者纵向分辨率对象；根据由所述运动信息确定的速率信息和所述显示装置的标准分辨率，确定目标值；生成图像分辨率中目标对象的值为所述目标值的待显示图像。采用本发明实施例，可以通过降低分辨率的方式提高图像处理时的图像刷新率。

Description

图像的分辨率处理方法、图像处理装置及系统、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像的分辨率处理方法、图像处理装置、系统及存储介质。
背景技术
随着电子技术和计算机技术的发展，人们可以根据需要获取各种图像、制作各种图像、处理并显示各种图像，满足用户的图像视觉需求，例如，在虚拟现实(VirtualReality，VR)或增强现实(Augmented Reality，AR)等领域，会涉及到一些特殊图像的制作，渲染等相关图像处理，可以最终在VR/AR眼镜、头盔等显示装置上显示处理得到的图像，给用户带来非常好的视觉体验。
在VR/AR等系统中，在进行画面显示时，例如游戏画面显示时，一般需要维持高于某个画面刷新率阈值，例如90fps(帧每秒)的画面刷新率，维持该刷新率是保证用户图像视觉体验的一个重要指标。因此，如何保证一定的刷新率成为研究的热点问题。
发明内容
本发明实施例提供一种图像的分辨率处理方法、图像处理装置，可根据运动情况适当降低图像处理时所使用的分辨率值以在一定程度上保证刷新率。
一方面，本发明实施例提供了一种图像的分辨率处理方法，包括：
获取显示装置的运动信息；
根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；
根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；
生成图像分辨率中目标对象的值为所述目标值的待显示图像。
另一方面，本发明实施例还提供了一种图像的分辨率处理系统，包括：图像处理装置和显示装置，其中：
所述图像处理装置，用于获取显示装置的运动信息；根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；生成图像分辨率中目标对象的值为所述目标值的待显示图像，并根据待显示图像输出目标图像；
所述显示装置，用于向所述图像处理装置发送运动信息，并用于在接收到所述目标图像后，显示所述目标图像。
再一方面，本发明实施例提供了一种图像处理装置，包括：处理器和存储装置；所述存储装置，用于存储计算机程序指令；所述处理器，用于调用所述存储装置中存储的计算机程序指令，执行上述所述的图像的分辨率处理方法。
相应地，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序指令，该计算机程序指令被处理器执行时，用于执行上述的图像的分辨率处理方法。
本发明实施例可以在检测到用户运动时，根据运动方向来调整图像坐标系中X轴向或者Y轴向的分辨率值，在图像渲染等处理过程中自动改变待刷新图像的分辨率值的方式来保证一定的图像刷新率，可以维持头戴式显示装置等设备显示画面的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的图像处理流程的示意图；
图2是本发明实施例的一种图像的分辨率处理方法的流程示意图；
图3是本发明实施例的一种目标值的计算方法示意图；
图4是本发明实施例的分辨倍率确定规则的示意图；
图5是本发明实施例的一种计算目标值的示意图；
图6是本发明实施例的另一种目标值的计算方法示意图；
图7是本发明实施例的调控值与处理时长的关系的示意图；
图8是本发明实施例的再一种计算目标值的示意图；
图9是本发明实施例的图像对比示意图；
图10a是本发明实施例的另一种图像的分辨率处理方法的流程示意图；
图10b是本发明实施例的一种基于刷新率的图像处理示意图；
图10c是本发明实施例的另一种基于刷新率的图像处理示意图；
图11是本发明实施例的再一种图像的分辨率处理方法的流程示意图；
图12是本发明实施例的再一种图像的分辨率处理方法的流程示意图；
图13是本发明实施例的一种图像处理系统的结构示意图；
图14是本发明实施例的一种图像处理装置的结构示意图；
图15是本发明实施例的一种图像的分辨率处理装置的结构示意图。
具体实施方式
为了确保一定的图像刷新率，进而在一定程度上保证用户的图像视觉体验，通过研究用户对头戴式的显示装置中图像的观看舒适度，发现当用户的整个身体或者头部处于静止或低速运动状态时，人眼对于图像的精细结构的注意力会大于刷新率表现，也就是说，运动轻微时，用户会更关注图像的分辨率，更关注图像是否清晰。相反的，当整个身体或者头部快速移动时，通过人眼实际无法看清场景图像中的细节，但对于画面的流畅感，也就是图像刷新率更为敏锐，也就是说，运动较为剧烈时，可提高刷新率，而可以降低分辨率。因此，本发明实施例在生成待显示图像的过程中导入运动信息(例如位移速度、位移加速度、运动角度、运动角速度、运动角加速度等信息)作为分辨率值调控的依据，在快速运动时降低运动方向上的分辨率值，可以使得最终生成的待显示图像产生一定程度的模糊，而产生的模糊较接近于视觉暂留的效果。
本发明实施例可以在用户通过一个AR眼镜、VR头盔等类型的显示装置显示各类图像的过程中，在待显示图像的生成过程中，通过监控用户的运动状态，动态地调整图像分辨率，以原有的标准分辨率为基准，降低到目标分辨率，按照目标分辨率来生成待显示图像。通过对图像分辨率的调整，具体将标准分辨率中的横向分辨率对象和/或纵向分辨率对象上的值进行调整，降低相应的数值，从而降低图片渲染的运算量，以此换取更高的图像刷新率，确保用户在使用VR眼镜等显示装置处于观看图像、玩游戏等场景时，图像处理装置能够及时完成图像的渲染等处理工作，确保图像的流畅度并提高用户的沉浸感，用户即使在移动过程中也不会感到头晕等不适。
请参见图1和图2，图1是本发明实施例的图像处理流程的示意图，图像处理流程包括图像处理阶段和图像后处理阶段。图像处理阶段主要包括对图像的渲染等处理，生成待显示图像。图像后处理主要是将待显示图像处理成可供显示装置显示的图像，例如在VR应用场景下，图像处理阶段主要是基于游戏引擎等处理得到待显示的游戏画面，而图像后处理则是将待显示图像处理成可以在VR眼镜中正确显示的游戏画面。图2是本发明实施例的一种图像的分辨率处理方法的流程示意图。下面结合图1和图2对本发明实施例的图像处理流程进行详细描述。
图1中所提及的内容数据是指原始图像内容、游戏内容等数据，而控制器则可以是用于对图像、游戏对象进行控制的按键控制器等，控制器通过发出控制指令来控制图像的播放方式或者游戏中某个对象的运动。图像处理装置通过渲染引擎来进行图像处理，渲染引擎例如可以是各类游戏引擎。一方面，通过渲染引擎将内容数据和控制器发出的指令结合起来进行逻辑、操控、画面渲染等基础处理，另一方面，基于显示装置的运动方向来进行目标对象的确认、目标值的计算。最后，图像处理装置综合所述基础处理的结果和计算得到的目标值，生成待显示图像，所述待显示图像在目标对象(横向分辨率对象和/或纵向分辨率对象)上的值为所述目标值。在本发明实施例中，定义了图像分辨率包括两个对象，该两个对象为横向分辨率对象、纵向分辨率对象，不同的图像分辨率下两个对象具有各自的数值，例如：所述标准分辨率为1920*1080，则可以认为标准分辨率的横向分辨率对象的值为1920，纵向分辨率对象的值为1080。
在一个实施例中，图像处理阶段得到待显示图像后，由应用系统软件将待显示图像进行加工处理，得到在头戴显示设备上可以直接显示的应用图像，由头戴显示设备的显示模块直接显示，该显示模块可以采用显示屏直接显示应用图像，或者是投影装置投影显示等其他显示方式。
在一个实施例中，图像处理装置基于运动方向来进行目标值计算的过程中，首先在S201中获取显示装置的运动信息，进而基于运动信息来确定运动方向，在一个实施例中，图像处理装置可以利用图1所示的追踪系统来确定显示装置当前的运动方向，具体可以通过设置在显示装置上的加速度传感器、陀螺仪等传感器来检测显示装置的运动信息，这些运动信息例如可以是显示装置的三轴转动状态信息(包含角度/角速度/角加速度)，和/或位置状态信息(包含位置/速度/加速度)等，可以基于这些运动信息来确定显示装置当前的运动方向。当然，运动信息中也可以直接包括运动方向。
在S202中根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述目标对象为横向分辨率对象或者纵向分辨率对象，如上述，所述运动方向是根据所述运动信息确定的，也就是说，可以根据需要降低横向分辨率对象的值，或者降低纵向分辨率对象的值，或者两个值都降低。可以预先设置运动方向与像素坐标系中坐标轴的映射关系，在一个实施例中，可以将在水平方向上运动时的运动方向对应于像素坐标系中的横坐标，也就是说，在水平方向上的运动可以降低横向分辨率对象的值；将在竖直方向上运动时的运动方向对应于像素坐标系中的纵坐标，也就是说，在竖直方向上的运动可以降低纵向分辨率对象的值。而对于斜向上或者斜向下等运动，可以将该运动拆分成水平和竖直运动的两个分量，在水平方向上的分量的运动方向可以对应降低横向分辨率对象，在竖直方向上的分量的运动方向可以对应降低纵向分辨率对象。
在确定了目标对象后，可进一步地根据所述显示装置的运动信息确定出显示装置的速率信息，在一个实施例中，该运动信息包括显示装置当前的角速度信息、角加速度信息、位移速度信息、位移加速度信息等。该运动信息可以通过从加速度传感器、和/或陀螺仪等运动传感器上获取三个轴向上感测到的运动数据来确定。
在得到运动信息后，在S203中根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息也是根据所述运动信息确定的。所述标准分辨率是指在渲染引擎中预先配置的分辨率，如果不考虑显示装置的运动，渲染引擎会按照该标准分辨率进行图像处理，得到具有该标准分辨率的待显示图像，一般情况下，将显示装置的分辨率作为标准分辨率，例如，如果显示装置的分辨率为1920*1080，则标准分辨率即为1920*1080。在得到目标值后，即可基于目标值在S204中生成待显示图像，该待显示图像的图像分辨率中目标对象的值为所述目标值。也就是说，如果显示装置为水平方向上的运动，则后续调整标准分辨率在横向分辨率对象上的值，如果在竖直方向上运动，则后续调整标准分辨率在纵向分辨率对象上的值，例如，原本应该输出分辨率为1080×1200(此分辨率是指标准分辨率)的待显示图像，如果检测到水平方向上的运动，则可能输出583×1200的待显示图像，即横向分辨率对象上的值从1080调整为目标值583，而如果检测到竖直方向上的运动，则输出1080×1080的待显示图像，即纵向分辨率对象上的值从1200调整为目标值1080，如果用户在水平方向上和竖直方向上均有运动分量存在，则可输出583×1080的待显示图像。也就是说，所述目标值低于所述标准分辨率中所述目标对象的值，是根据标准分辨率中所述目标对象的值乘以分辨倍率确定所述目标值，分辨倍率为大于最低阈值而不大于1的数值，所述最低阈值例如可以是0.4、或0.5。
在一个实施例中，计算得到待显示图像的图像分辨率的目标值可以由图1中的状态监控模块来实现，状态监控模块根据整个图像处理过程的处理状态信息、显示装置的运动信息及标准分辨率等信息，通过运动状态对视觉影响的算法，最终输出优化的渲染格式指示信息，该渲染格式指示信息包括一个或者两个目标对象上的目标值，LoD(Level ofDetails，是一种降低3D对象复杂度的方法)分阶几何精细度调控数值等等。状态监控模块可以是产品中的专用的一个硬件模块，也可以是由处理器基于计算机程序指令实现的一个功能模块。
在一个实施例中，图像处理过程的处理状态信息包括当前的处理时长、当前的渲染分辨率(即标准分辨率)等信息。该状态监控模块将渲染格式指示信息发送给渲染引擎，由渲染引擎以此调控待显示图像的图像分辨率。也就是说，在一个实施例中，上述的S201至S203由图像处理装置中专门配置的状态监控模块来执行，S204则由图像处理装置中的渲染引擎来实现。在一个实施例中，状态监控模块和渲染引擎可以均设置在一个图像处理装置中，图像处理装置例如可以VR主机设备或AR主机设备。也可以是一台具备主机功能和显示功能的可穿戴设备中的部分重要结构，也就是说该可穿戴设备可以包括所述图像处理装置和所述显示装置。图1中示出的状态监控模块位于图像后处理阶段，主要是指该状态监控模块是一个应用层面的功能，或者说是应用系统软件中的一部分。在另一个实施例中，可以不存在状态监控模块，状态监控模块的相应功能直接配置到渲染引擎中。
上述提及的LoD方法主要用于降低某些模型的几何精细度，以换取图像刷新率，也就是说，在将标准分辨率的目标对象的值调整至目标值后(或者在调整的同时)，可以进一步地确定出目标图像对象，按照几何精细度调整规则对目标图像对象的几何精细度进行调整。其中，确定的目标图像对象是指在需要最终输出的所述待显示图像中的图像面积低于面积阈值的图像对象。在一个实施例中，几何精细度的调整过程包括：每个待渲染对象(图像对象)预先配置了多组不同几何精细度的模型，或是几何精细度的动态控制规则。在每次渲染发生时，会计算出待渲染对象在待显示图像中所占的图像面积，根据所占图像面积确定对应几何精细度的模型或者选择几何精细度的动态控制规则来控制带渲染图像的几何精细度。由于在调整至目标值的待显示图像中，待渲染图像的目标分辨率在变化，这个占用面积也会跟着变化，一旦某个图像对象的占用面积低于设计的阀值，例如占用面积画素小于物体几何精细度的1/4(球面积为投影面积的四倍)，则在图像对象即为目标图像对象，在渲染时就对目标图像对象直接使用较低一阶几何精细度的模型，藉此降低渲染所需的运算。
在另一个实施例中，所述根据由所述运动信息确定的所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值的步骤也可以简单地由渲染引擎来实现，在追踪系统得到相关的运动信息后，渲染引擎可以基于运动信息得到运动方向和运动的速率信息反馈给渲染引擎，由渲染引擎根据标准分辨率来最终计算得到目标值。渲染引擎还可以完成包括上述提到的几何精细度的调整处理。也就是说，在一个实施例中，上述的S201至S204均可以由图像处理装置的渲染引擎来实现。在一个实施例中，图像处理装置例如可以VR主机设备或AR主机设备，也可以是一台具备主机功能和显示功能的可穿戴设备的重要组成部分，也就是说该可穿戴设备可以包括所述图像处理装置和所述显示装置。
在一个实施例中，如图3所示，是本发明实施例的一种目标值的计算方法示意图，上述提及的根据由所述运动信息确定的速率信息和所述显示装置的标准分辨率，确定目标值可以包括：S301：采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；S302：根据标准分辨率的目标对象的值和所述分辨倍率，得到目标值。
在研究过程中进一步发现，运动速度与视觉上可接受的模糊程度呈现正比关系，所以，在本发明实施例中，运动速度与模糊程度的关系可以一个斜率来表示，所述分辨倍率确定规则可以根据该斜率来确定。同时，考虑到在轻微的运动时人眼对于物体会有追踪的动作，在本发明实施例中确定低速运动时不会降低分辨率，设置分辨倍率确定规则时也会参考低速率不降低分辨率的情况。另外，图像取样率过低时会产生格状噪声，容易被用户观察到，因此，设置分辨倍率确定规则时也需要避免图像取样率过低的情况。综上所述，实际的调整方式可以如图4所示，图4是本发明实施例的分辨倍率确定规则的示意图。具体的启动运动数值(例如运动速度值、角速度值、角加速度值等)和斜率因图像处理装置的系统性能会有所不同。在一个实施例中，为了避免图像取样率过低的情况，分辨率值的最小降低量在实测中约为0.4～0.5倍，即最小的分辨倍率应该为0.4～0.5之间的一个数值。也就是说，所述分辨倍率确定规则中定义了如果所述速率信息对应的运动数值小于第一阈值，则确定所述运动信息对应的分辨倍率为第一固定倍率；如果所述速率信息对应的运动数值大于第一阈值，则确定所述速率信息对应的分辨倍率a＝kb，k为斜率，b为速率信息对应的运动数值(例如速度值)；并且，所述分辨倍率确定规则中还定义了分辨倍率不小于第二固定倍率。
针对不同性能的图像处理装置，可以通过对该图像处理装置人工实际测量的方式，来测量在不同运动数值下的分辨倍率，以此人工标定该图像处理装置的第一阈值(即图4中的启动数值)、第二固定倍率(第二固定倍率例如可以是上述提到的0.4～0.5倍的倍率)，第一固定倍率例如可以为1，即不会调低分辨率值。而斜率k则可以基于第一阈值和产生第二固定倍率时的运动信息所对应的数值之间的实测得到的多个坐标点(运动数值，分辨倍率)，通过直线拟合等数学计算方式来计算得到。可以在保证参考刷新率(例如90fps)为基础的情况下，针对多个用户在测试时对运动中图像模糊的接受程度，来综合得到多个坐标点。
在一个实施例中，可以直接人工测试得到某个图像处理装置在各种运动数值(或者运动数值范围)下的分辨倍率，建立运动数值(或者运动数值范围)和分辨倍率的映射关系，例如映射表，后续在执行上述的S301时，可以直接基于该映射关系，确定与运动信息对应的运动数值映射的分辨倍率。
如图5所示，为一种计算目标值的示意图，记对应于水平方向运动信息的X方向(对应横向分辨率对象)的分辨倍率为Xf，记对应于竖直方向运动信息的Y方向(对应纵向分辨率对象)的分辨倍率为Yf。X方向的目标值＝标准分辨率中X方向的值×Xf，Y方向的目标值＝标准分辨率中Y方向的值×Yf。当X方向和Y方向均存在运动时，最终得到的目标值与标准分辨率之间的关系可以如图5所示。
在一个实施例中，再请参见图6，是本发明实施例的另一种目标值的计算方法示意图，上述提及的根据由所述运动信息确定的速率信息和所述显示装置的标准分辨率，确定目标值可以包括：S601：采用调控值确定规则，确定当前的图像处理性能参数包括的图像更新时长对应的调控值；S602：采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；S603：根据标准分辨率的目标对象的值和所述调控值、所述分辨倍率，得到目标值。其中，S602的具体实现可参考图4和图5对应实施例的描述。
在本发明实施例中，对于所述S601中提到的调控值，可以是根据当前渲染处理所花费的时长产生的，记为Gf，这个量值在渲染时间很短(例如远低于11ms)时可以大于1.0，以便进行超取样处理，提高分辨率增进画面细节，渲染时间较长时则根据超出的量进行缩减，以降低分辨率。调控值Gf与处理时长的关系可参考图7所示。也就是说，在所述S601中提到的调控值确定规则中定义了如果当前的图像处理性能参数包括的图像更新时长小于第一时长阈值，则确定调控值为第一固定调控值；并且，调控值不小于第二固定调控值。在一个实施例中，图7所示的调控值Gf和处理时长之间的关系也可以由人工测定的方式，对不同性能的图像处理装置进行标记，基于直线拟合等方式来确定图7中的斜率k1和斜率k2。如图7所示，第一固定调控值为1.2，第二固定调控值为0.7，第一时长阈值为小于11ms的一个时长值，例如可以是6ms，其中，经过实测发现，一般情况下，只要能够维持90fps(帧每秒)的刷新率，即可保证图像显示的流畅，而11ms约等于1/90。在其他实施例中，第一时长阈值还可以为其他值，例如，如果刷新率要求为60fps，则第一时长阈值可以16.6ms，或者诸如16ms等相近的数值。在一个实施例中，所述处理时长可以是指上述提及的图像处理阶段和图像后处理阶段两个阶段完成一帧图像处理的总时长，可以认为是GPU完成一个完整的可直接显示的图像所花费的时长。可以通过向GPU查询运作状态来记录每一帧图像从开始渲染到最终完成所花费的时间，得到所述处理时长。当然，在其他实施例中，也可由测试用户来定义一段时间作为处理时长，以便于更好更准确地确定出调控值Gf。
如图8所示，为再一种计算目标值的示意图，记对应于水平方向运动信息的X方向(对应横向分辨率对象)的分辨倍率为Xf，记对应于竖直方向运动信息的Y方向(对应纵向分辨率对象)的分辨倍率为Yf。X方向的目标值＝标准分辨率中X方向的值×Xf×Gf，Y方向的目标值＝标准分辨率Y方向的值×Yf×Gf。当X方向和Y方向均存在运动时，最终得到的目标值与标准分辨率之间的关系可以如图8所示。
举例来说，在一个标准分辨率为1080×1200的图像处理装置中，当该图像处理装置的处理时长需要13ms时，对应的调控值Gf对应值为0.9。此时X方向正在进行快速转头的动作，X方向的速度对应的分辨倍率Xf为0.6。Y方向属于慢速运动，分辨倍率为1.0。在此状况下，可以计算得到X方向的目标值＝1080×0.6×0.9＝583(可以按照四舍五入的方式取整)，X方向的目标值＝1200×1×0.9＝1080。因此，建议的目标值则是583x1080，降低了51.4％的画素运算量。降低分辨率即可大幅降低渲染负载，维持画面流畅度。
对于得到的图像分辨率在目标对象上为所述目标值的待显示图像，在显示装置显示所述待显示图像前，可以根据显示装置的显示分辨率、待显示图像的分辨率，对待显示图像进行放大处理，将放大处理后的待显示图像输出给所述显示装置显示，以在所述显示装置上全屏显示所述待显示图像。在一个实施例中，可以指定渲染目标(Render Target)的大小为显示装置的屏幕分辨率大小，GPU便可自动渲染出放大的结果。
如图9所示，图像901是原本应当输出的具有标准分辨率的待显示图像，但是经过图像的分辨率值处理后，实际输出的是图像902，即在X方向上横像分辨率对象的值被调整至相应目标值的待显示图像，在输出到显示装置最终显示之前，也就是上述提及的图像后处理阶段中，会基于显示装置的实际显示分辨率，对所述图像902进行放大处理，最终输出图像903在显示装置上显示，图像903在X方向上存在一定的模糊。降低分辨率值后进行放大处理会造成图像模糊，图像模糊的型态与降低分辨率值的方向有关，例如缩小X方向(即横向分辨率对象)的值会造成放大后图像的横向模糊，缩小Y方向(即纵向分辨率对象)的值则会造成放大后图像纵向模糊。
本发明实施例通过在已知的运动方向上进行降低分辨率值处理，放大后产生的模糊效果便会与运动方向重合，符合视觉上的效果，但能够有效提高图像的刷新率，在一定程度上减轻了模糊所造成的画面质量带来的不利影响。
再请参见图10a，是本发明实施例的一种图像的分辨率处理方法的流程示意图，本发明实施例的所述方法可以由图像处理装置来执行，该图像处理装置例如可以是VR主机设备或AR主机设备，该图像处理装置也可以是由设置在一台具备主机功能和显示功能的可穿戴设备中的部分重要结构所构成的，本发明实施例的所述方法包括如下步骤。
S1001：获取当前的图像处理性能参数；图像处理性能参数是指用于衡量图像处理装置当前对待显示图像的生成能力的参数，包括当前图像处理装置的图像刷新率、单帧图像的图像更新时长、图像处理资源占用率例如GPU的占有率。
S1002：如果图像处理性能参数满足分辨率调整条件，则获取显示装置当前的运动信息；其中，图像处理性能参数满足分辨率调整条件包括：所述图像处理性能参数包括的图像刷新率小于预设的速率阈值；所述图像处理性能参数包括的图像更新时长大于预设的时长阈值；所述图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值中的任意一种情况或多种情况。也就是说，如果图像刷新率较高，例如均不小于90fps，则不需要降低图像分辨率，按照正常处理方式基于标准分辨率进行图像渲染等图像处理即可；如果图像更新时长较短，则不需要降低图像分辨率，按照正常处理方式基于标准分辨率进行图像渲染等图像处理即可；如果GPU等图像处理资源的占用率较高，例如GPU占用率高达98％，极有可能导致后续无法正常进行图像处理，使得刷新率降低或者图像处理时长较长，这种情况下，需要降低图像分辨率，图像处理资源的占用率可以作为一个次要条件来衡量是否降低图像处理时所使用的分辨率。
S1003：根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象。
S1004：根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的。
S1005：生成待显示图像，所述待显示图像的图像分辨率中目标对象的值为所述目标值。
本发明实施例中，所述S1002至S1005各个步骤的具体实现可参考上述各实施例中相关内容的描述。
在一个实施例中，以所述图像处理性能参数为图像刷新率，且预设的速率阈值为90fps为例，如图10b所示，如果性能监控判断当前的图像刷新率大于(或等于)90fps，则图像处理装置的GPU会输出标准分辨率的渲染图像1011。如图10c所示，如果性能监控判断当前的图像刷新率小于90fps，则需要基于上述提及的S1002到S1005等相关步骤来进行调整，得到X坐标方向和/或Y坐标方向上对应的分辨率对象的值为对应的目标值的渲染图像1012。
再请参见图11，是本发明实施例的再一种图像的分辨率处理方法的流程示意图，本发明实施例的所述方法可以有图像处理装置来执行，该图像处理装置例如可以是VR主机设备或AR主机设备，该图像处理装置也可以是由设置在一台具备主机功能和显示功能的可穿戴设备中的部分重要结构所构成的，本发明实施例的所述方法包括如下步骤。
S1101：判断运动信息是否满足运动条件。运动信息主要包括上述提到的显示装置的三轴转动状态信息(包含角度/角速度/角加速度)，和/或位置状态信息(包含位置/速度/加速度)等信息。如果判断结果为是，所述运动信息满足运动条件，则触发执行下述的S1102，如果为否，则继续执行S1101；所述运动信息满足运动条件包括：由运动信息确定的所述显示装置的速率信息所指示的运动数值大于预设的速度阈值。在显示装置的运动数值大于速度阈值的情况下，例如运动加速度值大于加速度阈值、角加速度值大于角加速度阈值等等情况下，也可以考虑降低图像处理时所使用的图像分辨率，这样可以减小GPU等图像处理资源的处理压力，可以在一定程度上节省能耗，提供图像处理装置更长的续航能力。
S1102：根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象。
S1103：根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的。
S1104：生成待显示图像，所述待显示图像的图像分辨率中目标对象的值为所述目标值。
本发明实施例中，所述S1102至S1104各个步骤的具体实现可参考上述各实施例中相关内容的描述。
可以理解的是，在其他的实施例中，可以基于图像处理性能参数和运动信息，综合考虑是否降低图像分辨率。在一个实施例中，获取当前的图像处理性能参数；如果图像处理性能参数满足分辨率调整条件，则进一步确定显示装置的运动信息，判断所述运动信息是否满足运动条件；如果所述运动信息满足运动条件，则触发执行后续的S1102到S1104。
在一个实施例中，如图12所示，是本发明实施例的再一种图像的分辨率处理方法的流程示意图，本发明实施例的所述方法可以有图像处理装置来执行，该图像处理装置例如可以是VR主机设备或AR主机设备，该图像处理装置也可以是由设置在一台具备主机功能和显示功能的可穿戴设备中的部分重要结构所构成的，本发明实施例的所述方法包括如下步骤。
S1201：初始化处理，包括整个图像处理装置的系统初始化处理。
S1202：监控图像处理性能和显示装置的运动状态，获取图像处理性能参数和显示装置的运动信息。主要从GPU确定图像刷新率等性能参数，以及显示装置的运动加速度等数据，以此进行下述S1203的判断。
S1203：判断图像处理性能参数是否满足分辨率调整条件。例如刷新率是否大于90fps等条件。如果判断为否，不满足分辨率调整条件，则执行S1204，以便于按照最佳的画质渲染设置输出最佳的待显示图像。如果判断为是，即满足分辨率调整条件，则执行下述S1205。
S1204：根据设置的标准分辨率处理得到待显示图像。
S1205：判断运动信息是否满足运动条件，即判断用户是否为快速运动，例如运动信息包括的加速度大于预设的加速度阈值，或角加速度大于预设的角加速度阈值等条件。如果判断为否，不满足运动条件，也可以按照最佳的画质渲染设置输出最佳的待显示图像，直接基于标准分辨率处理得到待显示图像。或者在不满足运动条件时，按照较缓和的全局分辨率进行分辨率调整设置，也可以执行下述的S1206。而如果满足运动条件，表明显示装置的运动较为剧烈，则执行下述的S1207。
S1206：按照缓和分辨率调整规则，对标准分辨率进行调整得到缓和分辨率，并生成待显示图像，生成的该待显示图像的分辨率为所述缓和分辨率，所述缓和分辨率与上述提及的目标值不相同。在一个实施例中，如果检测到运动信息不满足运动条件，和/或图像处理性能参数不满足分辨率调整条件，也可以执行较缓和的分辨率调整规则，具体步骤可以包括：获取在横向分辨率对象和纵向分辨率对象上进行值调整的目标倍率，根据所述目标倍率计算得到横向分辨率对象的第一分辨率值，和纵向分辨率对象上的第二分辨率值，生成待显示图像，所述待显示图像在横向分辨率对象上为所述第一分辨率值、在纵向分辨率对象上为第二分辨率值。目标倍率为预设的值，为一使标准分辨率的变化很轻微值，例如为0.9，那么第一分辨率值和第二分辨率值实际分别为标准分辨率×0.9，例如上述1080*1200的标准分辨率，分别乘以0.9后的缓和分辨率为：972*1080。
S1207：根据由所述运动信息确定的所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述目标对象为横向分辨率对象或者纵向分辨率对象。
S1208：根据由所述运动信息确定的速率信息和所述显示装置的标准分辨率，确定目标值。
S1209：生成图像分辨率中目标对象的值为所述目标值的待显示图像。
本发明实施例中，所述S1207至S1209各个步骤的具体实现可参考上述各实施例中相关内容的描述。
在一个实施例中，也可以先判断所述运动信息是否满足运动条件；如果所述运动信息满足运动条件，则进一步获取当前的图像处理性能参数；如果图像处理性能参数满足分辨率调整条件，则触发执行根据由所述运动信息确定的所述显示装置的运动方向，确定出需要进行值调整的目标对象，以便于执行后续步骤得到待显示图像。
在一个实施例中，在生成待显示图像之后，即：执行了上述的S204、或者执行了上述的S1005、或者执行了上述的S1104之后，如果检测到运动信息不满足运动条件，和/或图像处理性能参数不满足分辨率调整条件，则可以继续执行所述根据由所述运动信息确定的所述显示装置的运动方向，确定出需要进行值调整的目标对象等步骤以便于得到新的目标值并生成新的待显示图像，并在持续检测到在生成N帧待显示图像的过程中，运动信息均不满足运动条件和/或图像处理性能参数均不满足分辨率调整条件，则停止执行所述根据由所述运动信息确定的所述显示装置的运动方向，确定出需要进行值调整的目标对象等步骤，不再执行获取目标值的步骤，即不进行分辨率调整，得到图像分辨率为标准分辨率的待显示图像。所述N可以根据需要设置为3～5的数值。
请参见图13，是本发明实施例的一种图像处理系统的结构示意图，所述系统包括图像处理装置和显示装置，在一个实施例中，所述图像处理装置例如可以是AR主机、或VR主机等设备，图13中以VR主机作为图像处理装置进行示例，所述显示装置则对应地可以为用于显示诸如游戏画面图像、CG图像、高清图像等AR眼镜、或VR头盔等显示设备，图13中以VR头盔作为显示设备进行示例。在图像处理装置中进行图像的渲染等处理，并输出图像，在显示装置中显示图像。图13所示的实施例主要体现了图像处理装置和显示装置分离的图像处理场景。图像处理装置能够通过上述各个实施例中描述的相关步骤进行图像处理，最终得到最终可供显示装置显示的待显示图像，并将其作为目标图像输出，显示装置直接显示由图像处理装置输出的目标图像。在图13中，所示的网络仅为示例，在一些实施例中，VR主机和VR头盔之间还可以通过其他方式相连，例如直接通过数据线进行有线连接。
在一个实施例中，所述图像处理装置，所述图像处理装置，用于获取显示装置的运动信息；根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；生成图像分辨率中目标对象的值为所述目标值的待显示图像，并根据待显示图像输出目标图像；所述显示装置，用于向所述图像处理装置发送运动信息，并用于在接收到所述目标图像后，显示所述目标图像。
在一个实施例中，如图14所示，所述图像处理装置1400可以包括用户接口1401、处理器1402、存储装置1403以及输出接口1404，当然该图像处理装置1400还可以包括用于为设备提供电源的供电模块、用于从互联网上下载包括各种图像的数据(例如游戏数据)等功能模块。所述图像处理装置1400还可以根据提供音箱接口、麦克风接口等接口模块。
所述用户接口1401可以包括一些物理按键或者触摸按键等构成的接口模块，能够接收用户的操作，该用户接口1401还可以包括一些能够向用户提示诸如图像处理装置1400的工作状态等信息的显示屏等结构。
所述存储装置1403可以包括易失性存储器(volatile memory)，如随机存取存储器(random-access memory，RAM)；存储装置1403也可以包括非易失性存储器(non-volatile memory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储装置1403还可以包括上述种类的存储器的组合。
所述处理器1402可以是中央处理器1402(central processing unit，CPU)。所述处理器1402还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器1402也可以为上述结构的组合。
在一个实施例中，所述存储装置1403还用于存储计算机程序指令。所述处理器1402可以调用所述计算机程序指令，可以实现上述涉及到各种方法及步骤。
所述处理器1402，调用所述存储装置1403中存储的计算机程序指令，用于获取显示装置的运动信息；根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；生成图像分辨率中目标对象的值为所述目标值的待显示图像。生成的显示图像可以通过所述输出接口1404输出，以便于显示装置显示这些图像。当然，在其他实施例中，如果图像处理装置1400直接还包括显示屏，则所述处理器1402生成的待显示图像通过所述输出接口1404发送给显示屏，由显示屏直接显示。
在一个实施例中，所述处理器1402，在用于获取显示装置的运动信息之前，还用于获取当前的图像处理性能参数；如果图像处理性能参数满足分辨率调整条件，则触发执行获取显示装置的运动信息；图像处理性能参数满足分辨率调整条件包括以下情况的任意一种或多种：
所述图像处理性能参数包括的图像刷新率小于预设的速率阈值；所述图像处理性能参数包括的图像更新时长大于预设的时长阈值；所述图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
在一个实施例中，所述处理器1402，在用于根据所述显示装置的运动方向，确定出需要进行值调整的目标对象之前，还用于如果所述运动信息满足运动条件，则触发执行所述根据所述显示装置的运动方向，确定出需要进行值调整的目标对象；所述运动信息满足运动条件包括：由运动信息确定的所述显示装置的速率信息所指示的运动数值大于预设的速度阈值。
在一个实施例中，所述处理器1402，在用于根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值时，用于采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；根据标准分辨率的目标对象的值和所述分辨倍率，得到目标值。
在一个实施例中，所述处理器1402，在用于根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值时，用于采用调控值确定规则，确定当前的图像处理性能参数包括的图像更新时长对应的调控值；采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；根据标准分辨率的目标对象的值和所述调控值、所述分辨倍率，得到目标值。
在一个实施例中，所述分辨倍率确定规则中定义了如果所述速率信息对应的运动数值小于第一阈值，则确定所述运动信息对应的分辨倍率为第一固定倍率；并且，分辨倍率不小于第二固定倍率。
在一个实施例中，所述调控值确定规则中定义了如果当前的图像处理性能参数包括的图像更新时长小于第一时长阈值，则确定调控值为第一固定调控值；并且，调控值不小于第二固定调控值。
在一个实施例中，所述处理器1402，调用所述存储装置1403中存储的计算机程序指令，还用于从生成的所述待显示图像中确定出目标图像对象，按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
在一个实施例中，所述处理器1402，调用所述存储装置1403中存储的计算机程序指令，还用于根据所述显示装置的显示分辨率值、待显示图像的分辨率值，对待显示图像进行放大处理；将放大处理后的待显示图像输出给所述显示装置显示。
本发明实施例的所述处理器1402的具体功能实现可参考上述各个实施例中相关内容的描述，在此不赘述。
本发明实施例可以在检测到用户运动时，根据运动方向来调整图像坐标系中X轴向或者Y轴向的分辨率值，通过改变图像渲染等处理过程中，图像的分辨率值的方式来保证一定的刷新率，可以维持头戴式显示装置等设备显示画面的稳定性。
请参见图15所示，是本发明实施例的一种图像的分辨率处理装置的结构示意图，本发明实施例的所述装置可以根据需要设置在VR主机、AR主机等设备中，本发明实施例的所述装置还可以设置在能够提供主机功能的智能手机、平板电脑、智能可穿戴设备等设备中，本发明实施例的所述装置包括如下模块。
获取模块1501，用于获取显示装置的运动信息；确定模块1502，根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；计算模块1503，根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；生成模块1504，用于生成图像分辨率中目标对象的值为所述目标值的待显示图像。
在一个实施例中，所述装置还包括：第一触发模块1505，所述第一触发模块1505，用于获取当前的图像处理性能参数；如果图像处理性能参数满足分辨率调整条件，则触发所述获取模块1501执行获取显示装置的运动信息；图像处理性能参数满足分辨率调整条件包括以下情况的任意一种或多种：
所述图像处理性能参数包括的图像刷新率小于预设的速率阈值；所述图像处理性能参数包括的图像更新时长大于预设的时长阈值；所述图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
在一个实施例中，所述装置还包括：第二触发模块1506，所述第二触发模块1506，用于如果所述运动信息满足运动条件，则触发所述获取模块1501执行所述根据由所述运动信息确定的所述显示装置的运动方向，确定出需要进行值调整的目标对象；所述运动信息满足运动条件包括：由运动信息确定的所述显示装置的速率信息所指示的运动数值大于预设的速度阈值。
在一个实施例中，所述第一触发模块1505和第二触发模块1506的触发功能可以由同一个触发模块来实现。
在一个实施例中，所述计算模块1503，具体用于采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；根据标准分辨率的目标对象的值和所述分辨倍率，得到目标值。
在一个实施例中，所述计算模块1503，具体用于采用调控值确定规则，确定当前的图像处理性能参数包括的图像更新时长对应的调控值；采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；根据标准分辨率的目标对象的值和所述调控值、所述分辨倍率，得到目标值。
在一个实施例中，所述分辨倍率确定规则中定义了如果所述速率信息对应的运动数值小于第一阈值，则确定所述运动信息对应的分辨倍率为第一固定倍率；并且，分辨倍率不小于第二固定倍率。
在一个实施例中，所述调控值确定规则中定义了如果当前的图像处理性能参数包括的图像更新时长小于第一时长阈值，则确定调控值为第一固定调控值；并且，调控值不小于第二固定调控值。
在一个实施例中，所述装置还可以包括：调整模块1507，所述调整模块1507，用于从生成的所述待显示图像中确定出目标图像对象，按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
在一个实施例中，所述装置还可以包括：缩放模块1508，所述缩放模块1508，用于根据所述显示装置的显示分辨率值、待显示图像的分辨率值，对待显示图像进行放大处理；将放大处理后的待显示图像输出给所述显示装置显示。
在一个实施例中，所述调整模块1507和所述缩放模块1508的具体功能可以由一个处理模块来实现。在一个实施例中，所述生成模块1504输出的待显示图像也可以直接发送给缩放模块1508，由缩放模块1508直接进行缩放处理而不需要按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
本发明实施例的所述装置的各个功能模块的具体功能实现可参考上述各个实施例中相关内容的描述，在此不赘述。
本发明实施例可以在检测到用户运动时，根据运动方向来调整图像坐标系中X轴向或者Y轴向的分辨率值，通过改变图像渲染等处理过程中，图像的分辨率值的方式来保证一定的刷新率，可以维持头戴式显示装置等设备显示画面的稳定性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (13)

1.一种图像的分辨率处理方法，其特征在于，包括：
获取显示装置的运动信息；
根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；
根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；
生成图像分辨率中目标对象的值为所述目标值的待显示图像。
2.如权利要求1所述的方法，其特征在于，所述获取显示装置的运动信息之前，还包括：
获取当前的图像处理性能参数；
如果图像处理性能参数满足分辨率调整条件，则触发执行所述获取显示装置的运动信息的步骤；
图像处理性能参数满足分辨率调整条件包括以下情况的任意一种或多种：
所述图像处理性能参数包括的图像刷新率小于预设的速率阈值；
所述图像处理性能参数包括的图像更新时长大于预设的时长阈值；
所述图像处理性能参数包括的图像处理资源占用率大于预设的占用率阈值。
3.如权利要求1所述的方法，其特征在于，所述根据所述显示装置的运动方向，确定出需要进行值调整的目标对象之前，还包括：
如果所述运动信息满足运动条件，则触发执行所述根据所述显示装置的运动方向，确定出需要进行值调整的目标对象的步骤；
所述运动信息满足运动条件包括：由运动信息确定的所述显示装置的速率信息所指示的运动数值大于预设的速度阈值。
4.如权利要求1所述的方法，其特征在于，所述根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，包括：
采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；
根据标准分辨率的目标对象的值和所述分辨倍率，得到目标值。
5.如权利要求1所述的方法，其特征在于，所述根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，包括：
采用调控值确定规则，确定当前的图像处理性能参数包括的图像更新时长对应的调控值；
采用分辨倍率确定规则，确定所述运动信息对应的分辨倍率；
根据标准分辨率的目标对象的值和所述调控值、所述分辨倍率，得到目标值。
6.如权利要求4或5所述的方法，其特征在于，所述分辨倍率确定规则中定义了如果所述速率信息对应的运动数值小于第一阈值，则确定所述运动信息对应的分辨倍率为第一固定倍率；并且，分辨倍率不小于第二固定倍率。
7.如权利要求5所述的方法，其特征在于，所述调控值确定规则中定义了如果当前的图像处理性能参数包括的图像更新时长小于第一时长阈值，则确定调控值为第一固定调控值；并且，调控值不小于第二固定调控值。
8.如权利要求1所述的方法，其特征在于，还包括：
从生成的所述待显示图像中确定出目标图像对象，按照几何精细度调整规则对目标图像对象的几何精细度进行调整。
9.如权利要求1所述的方法，其特征在于，还包括：
根据所述显示装置的显示分辨率值、待显示图像的分辨率值，对待显示图像进行放大处理；
将放大处理后的待显示图像输出给所述显示装置显示。
10.一种图像的分辨率处理系统，其特征在于，包括：图像处理装置和显示装置，其中：
所述图像处理装置，用于获取显示装置的运动信息；根据所述显示装置的运动方向，确定出需要进行值调整的目标对象，所述运动方向是根据所述运动信息确定的，所述目标对象为横向分辨率对象或者纵向分辨率对象；根据所述显示装置的速率信息和所述显示装置的标准分辨率，确定目标值，所述速率信息是根据所述运动信息确定的；生成图像分辨率中目标对象的值为所述目标值的待显示图像，并根据待显示图像输出目标图像；
所述显示装置，用于向所述图像处理装置发送运动信息，并用于在接收到所述目标图像后，显示所述目标图像。
11.如权利要求10所述的系统，其特征在于，
所述显示装置，用于当检测到显示目标图像的图像刷新率小于预设的速率阈值，和/或检测到采集到的运动信息满足运动条件时，向所述图像处理装置发送运动信息。
12.一种图像处理装置，其特征在于，包括：处理器和存储装置；
所述存储装置，用于存储计算机程序指令；
所述处理器，用于调用所述存储装置中存储的计算机程序指令，执行如权利要求1-9任一项所述的方法。
13.一种计算机存储介质，其特征在于，该计算机存储介质中存储有计算机程序指令，该计算机程序指令被处理器执行时，用于执行如权利要求1-9任一项所述的方法。
CN201810392834.XA 2018-04-27 2018-04-27 图像的分辨率处理方法、图像处理装置及系统、存储介质 Active CN108596834B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810392834.XA CN108596834B (zh) 2018-04-27 2018-04-27 图像的分辨率处理方法、图像处理装置及系统、存储介质
EP19792700.7A EP3786878A4 (en) 2018-04-27 2019-02-20 METHOD, SYSTEM AND APPARATUS FOR IMAGE RESOLUTION PROCESSING AND METHOD OF INFORMATION AND DEVICE
PCT/CN2019/075519 WO2019205782A1 (zh) 2018-04-27 2019-02-20 图像的分辨率处理方法、系统、装置、存储介质及设备
US16/918,175 US11244427B2 (en) 2018-04-27 2020-07-01 Image resolution processing method, system, and apparatus, storage medium, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810392834.XA CN108596834B (zh) 2018-04-27 2018-04-27 图像的分辨率处理方法、图像处理装置及系统、存储介质

Publications (2)

Publication Number Publication Date
CN108596834A true CN108596834A (zh) 2018-09-28
CN108596834B CN108596834B (zh) 2023-11-17

Family

ID=63610098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810392834.XA Active CN108596834B (zh) 2018-04-27 2018-04-27 图像的分辨率处理方法、图像处理装置及系统、存储介质

Country Status (4)

Country Link
US (1) US11244427B2 (zh)
EP (1) EP3786878A4 (zh)
CN (1) CN108596834B (zh)
WO (1) WO2019205782A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109473082A (zh) * 2019-01-08 2019-03-15 京东方科技集团股份有限公司 一种显示屏刷新率的调整方法、装置及虚拟现实设备
CN110166758A (zh) * 2019-06-24 2019-08-23 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
WO2019205782A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 图像的分辨率处理方法、系统、装置、存储介质及设备
CN111443883A (zh) * 2019-01-17 2020-07-24 精工爱普生株式会社 显示装置的控制方法、显示装置以及显示系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691251A (zh) * 2020-12-28 2022-07-01 深圳Tcl新技术有限公司 显示控制方法、装置、终端设备及计算机可读存储介质
CN113516782B (zh) * 2021-07-29 2023-09-05 中移（杭州）信息技术有限公司 Vr游戏渲染优化方法、装置、设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150348511A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Display Refresh Rate Based On Device Motion
US20150348493A1 (en) * 2014-05-27 2015-12-03 Samsung Electronics Co., Ltd. Method of controlling display and electronic device for providing the same
US20160170488A1 (en) * 2014-12-12 2016-06-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN106250080A (zh) * 2016-07-29 2016-12-21 腾讯科技（深圳）有限公司 图像显示方法及装置
US20170206625A1 (en) * 2016-01-18 2017-07-20 Advanced Micro Devices, Inc. Method and apparatus to accelerate rendering of graphics images
CN107003512A (zh) * 2014-12-30 2017-08-01 索尼互动娱乐股份有限公司 用于虚拟现实的头戴式显示器中的扫描显示系统
US20170352130A1 (en) * 2016-06-05 2017-12-07 Mediatek Inc. Display apparatus dynamically adjusting display resolution and control method thereof
CN107562351A (zh) * 2017-09-27 2018-01-09 努比亚技术有限公司 一种控制屏幕分辨率的方法、终端及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747680B1 (en) * 1999-12-13 2004-06-08 Microsoft Corporation Speed-dependent automatic zooming interface
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20160147063A1 (en) * 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
EP3216023A4 (en) * 2014-11-07 2018-07-18 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10769747B2 (en) * 2017-03-31 2020-09-08 Intel Corporation Intermediate frame generation
CN108596834B (zh) * 2018-04-27 2023-11-17 腾讯科技（深圳）有限公司 图像的分辨率处理方法、图像处理装置及系统、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150348493A1 (en) * 2014-05-27 2015-12-03 Samsung Electronics Co., Ltd. Method of controlling display and electronic device for providing the same
US20150348511A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Dynamic Display Refresh Rate Based On Device Motion
US20160170488A1 (en) * 2014-12-12 2016-06-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
CN107003512A (zh) * 2014-12-30 2017-08-01 索尼互动娱乐股份有限公司 用于虚拟现实的头戴式显示器中的扫描显示系统
US20170206625A1 (en) * 2016-01-18 2017-07-20 Advanced Micro Devices, Inc. Method and apparatus to accelerate rendering of graphics images
US20170352130A1 (en) * 2016-06-05 2017-12-07 Mediatek Inc. Display apparatus dynamically adjusting display resolution and control method thereof
CN106250080A (zh) * 2016-07-29 2016-12-21 腾讯科技（深圳）有限公司 图像显示方法及装置
CN107562351A (zh) * 2017-09-27 2018-01-09 努比亚技术有限公司 一种控制屏幕分辨率的方法、终端及计算机可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205782A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 图像的分辨率处理方法、系统、装置、存储介质及设备
US11244427B2 (en) 2018-04-27 2022-02-08 Tencent Technology (Shenzhen) Company Ltd Image resolution processing method, system, and apparatus, storage medium, and device
CN109473082A (zh) * 2019-01-08 2019-03-15 京东方科技集团股份有限公司 一种显示屏刷新率的调整方法、装置及虚拟现实设备
CN111443883A (zh) * 2019-01-17 2020-07-24 精工爱普生株式会社 显示装置的控制方法、显示装置以及显示系统
CN111443883B (zh) * 2019-01-17 2023-05-05 精工爱普生株式会社 显示装置的控制方法、显示装置以及显示系统
CN110166758A (zh) * 2019-06-24 2019-08-23 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质
WO2020259402A1 (zh) * 2019-06-24 2020-12-30 京东方科技集团股份有限公司 图像处理方法、装置、终端设备、介质、可穿戴系统
CN110166758B (zh) * 2019-06-24 2021-08-13 京东方科技集团股份有限公司 图像处理方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
WO2019205782A1 (zh) 2019-10-31
CN108596834B (zh) 2023-11-17
EP3786878A1 (en) 2021-03-03
EP3786878A4 (en) 2022-01-19
US20200334790A1 (en) 2020-10-22
US11244427B2 (en) 2022-02-08

Similar Documents

Publication Publication Date Title
CN108596834A (zh) 图像的分辨率处理方法、图像处理装置及系统、存储介质
US11836289B2 (en) Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10739849B2 (en) Selective peripheral vision filtering in a foveated rendering system
US10409365B2 (en) Method of providing a virtual space image subjected to blurring processing based on detected displacement, and system therefor
CN110555796B (zh) 图像调整方法、装置、存储介质以及设备
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20180146189A1 (en) Head mounted display and control method therefor
US9652063B2 (en) Input direction determination system, terminal, server, network system, information storage medium, and input direction determination method
CN109741463B (zh) 虚拟现实场景的渲染方法、装置及设备
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
CA2392725A1 (en) Image processing apparatus, image processing method, record medium, computer program, and semiconductor device
EP2777022A1 (en) Rendering system, rendering server, control method thereof, program, and recording medium
CN112288665A (zh) 图像融合的方法、装置、存储介质及电子设备
JP2022545598A (ja) 仮想対象の調整方法、装置、電子機器、コンピュータ記憶媒体及びプログラム
CN109829982A (zh) 模型匹配方法、装置、终端设备及存储介质
EP4206982A1 (en) Image processing method and apparatus, and device and medium
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
CN111103979A (zh) 一种基于视觉焦点的分区渲染方法及装置
CN112738498B (zh) 一种虚拟游览系统及方法
JP2019212137A (ja) ヒートマップ提示装置およびヒートマップ提示用プログラム
CN107844197A (zh) 虚拟现实场景显示方法及设备
JP2020106655A (ja) 情報処理装置、情報処理方法及びプログラム
JP7475625B2 (ja) ３次元空間における入力受付および入力表示方法、プログラム、および３次元空間における入力受付および入力表示装置
JP7252998B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
WO2022176719A1 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant