CN110351480B - 用于电子设备的图像处理方法、装置及电子设备 - Google Patents

用于电子设备的图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN110351480B
CN110351480B CN201910510610.9A CN201910510610A CN110351480B CN 110351480 B CN110351480 B CN 110351480B CN 201910510610 A CN201910510610 A CN 201910510610A CN 110351480 B CN110351480 B CN 110351480B
Authority
CN
China
Prior art keywords
image
current frame
current
frame time
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910510610.9A
Other languages
English (en)
Other versions
CN110351480A (zh
Inventor
邱涛
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201910510610.9A priority Critical patent/CN110351480B/zh
Priority to PCT/CN2019/109025 priority patent/WO2020248442A1/zh
Priority to US17/617,085 priority patent/US12020454B2/en
Publication of CN110351480A publication Critical patent/CN110351480A/zh
Application granted granted Critical
Publication of CN110351480B publication Critical patent/CN110351480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用于电子设备的图像处理方法、装置及电子设备，该方法包括：获取电子设备从上一帧时刻至当前帧时刻的位姿变化量；判断位姿变化量是否小于设定阈值；在位姿变化量小于设定阈值的情况下，根据近视口距离在当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据；渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像；合并上一帧图像和所述变化图像，得到在当前帧时刻的当前帧图像。

Description

用于电子设备的图像处理方法、装置及电子设备
技术领域
本发明涉及电子设备的图像显示技术领域，更具体地，本发明涉及一种用于电子设备的图像处理方法、装置及电子设备。
背景技术
随着VR、AR或者MR电子设备的普及，越来越多的人群加入到虚拟现实体验的阵营中。在虚拟世界中，用户可以玩游戏、直播、观看视频，其中这些项目的体验都需要稳定的帧率和画面显示效果，如果显示画面不稳定，效果达不到预期，很容易给用户的身体造成不良影响，降低用户的体验，从而造成用户的流失。
但目前的电子设备存在一些问题，以VR设备为头戴虚拟现实设备为例，当佩戴者头部运动幅度较小时，移动时电子设备对虚拟场景的每一帧画面整体重新渲染，渲染数据量较大，容易造成虚拟场景渲染延迟，引起电子设备位置抖动，影响用户体验。
发明内容
本发明实施例的一个目的是提供一种用于电子设备的图像处理方案。
根据本发明的第一方面，提供了一种用于电子设备的图像处理方法，其包括：
获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量；
判断所述位姿变化量是否小于设定阈值；
在所述位姿变化量小于所述设定阈值的情况下，根据近视口距离在所述当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据，所述当前值大于设定的初始值；其中，所述近视口距离为虚拟场景中的虚拟相机在每一帧时刻采集的图像数据中提取在对应帧时刻的待渲染图像数据的起始位置与所述虚拟相机的距离；
渲染所述在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像；
合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像。
可选地，所述在当前帧时刻的待渲染图像数据为生成当前帧时刻的图像与上一帧图像的变化的部分所需的数据。
可选地，所述获取在当前帧时刻的待渲染图像数据之前，所述图像处理方法还包括：
根据所述位姿变化量，获得所述近视口距离的所述当前值。
可选地，合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像，包括：
将所述变化图像的中心点与所述上一帧图像的中心点对齐，通过所述变化图像替换所述上一帧图像的中央部分，得到对应当前帧时刻的当前帧图像。
可选地，所述图像处理方法还包括：
在所述位姿变化量大于或者等于所述设定阈值的情况下，直接渲染得到所述电子设备在当前帧时刻的当前帧图像。
可选地，所述直接渲染得到所述电子设备在当前帧时刻的当前帧图像，包括：
根据近视口距离的设定的初始值，获取在当前帧时刻的待渲染图像数据，所述初始值为所述近视口距离的最小值；其中，所述近视口距离为从虚拟场景中的虚拟相机在对应帧时刻采集的图像数据中获取在对应帧时刻的待渲染图像数据的起始位置与所述虚拟相机的距离；
渲染所述在当前帧时刻的待渲染图像数据，得到所述在当前帧时刻的当前帧图像。
可选地，所述电子设备还包括惯性测量装置，所述获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量，包括：
获取所述惯性测量装置在所述上一帧时刻采集的上一测量值及所述惯性测量装置在所述当前帧时刻采集的当前测量值；
根据所述当前测量值和所述上一测量值，获得所述惯性测量装置的测量值的增量变化值；
根据所述增量变化值，获得所述位姿变化量。
可选地，所述获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量之前，所述的图像处理方法还包括：
实时获取所述电子设备的当前虚拟场景；
判断所述当前虚拟场景是三自由虚拟场景还是六自由度虚拟场景；
在所述当前虚拟场景是所述三自由度虚拟场景的情况下，关闭所述电子设备的旋转移动功能；
在所述当前虚拟场景是所述六自由度虚拟场景的情况下，保持所述电子设备的平移功能和旋转移动功能均为开启状态。
根据本发明的第二方面，提供了一种用于电子设备的图像处理装置，其包括：
第一获取模块，用于获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量；
第一判断模块，用于判断所述位姿变化量是否小于设定阈值；
渲染数据获取模块，用于在所述位姿变化量小于所述设定阈值的情况下，根据近视口距离在所述当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据，其中，所述近视口距离为虚拟场景中的虚拟相机在每一帧时刻采集的图像数据中提取在对应帧时刻的待渲染图像数据的起始位置与所述虚拟相机的距离，所述当前值大于设定的初始值；
变化图像渲染模块，渲染所述在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像；
合并模块，合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像。
根据本发明的第三方面，提供了一种用于电子设备的图像处理装置，其包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如第一方面中任一项所述的图像处理方法。
根据本发明的第四方面，提供了一种电子设备，其包括惯性测量装置、显示屏以及如第二方面中任一项所述的图像处理装置，所述显示屏用于显示所述图像处理装置得到的每一帧时刻的每一帧图像。
根据本发明公开的一个实施例，可以针对电子设备的位姿变化量小于设定阈值的情况下，基于设定大于近视口距离初始值的当前值，根据当前帧时刻近视口距离的当前值，确定当前帧时刻的待渲染图像数据，基于当前帧时刻的待渲染图像数据，获得当前帧时刻的变化图像，将变化图像与上一帧时刻渲染过的上一帧图像合并，获得当前帧时刻的当前图像，从而减小当前帧时刻的渲染数据量，缩短渲染数据的调用时间，避免由于渲染数据量大造成的显示画面延迟，从而消除电子设备的抖动，提高用户体验。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是根据本发明实施例的电子设备的组成结构框图；
图2是根据本发明实施例的图像处理方法的示意性流程图；
图3是根据本发明另一实施例的图像处理方法的示意性流程图；
图4是根据本发明实施例的电子设备的虚拟场景的示意图；
图5是根据本发明实施例的虚拟场景近视口距离的示意图；
图6是根据本发明第四实施例的图像处理方法的示意性流程图；
图7是根据本发明第五实施例的图像处理方法的示意性流程图；
图8是根据本发明第六实施例的图像处理方法的示意性流程图；
图9是根据本发明第七实施例的图像处理方法的示意性流程图；
图10是根据本发明实施例的图像处理装置的示意性原理框图；
图11是根据本发明另一个实施例的图像处理装置的示意性原理框图；
图12是根据本发明一个例子的图像处理方法的流程示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是根据本发明实施例的电子设备的组成结构框图。
根据图1所示，本发明实施例电子设备可以包括惯性测量装置1000、显示屏2000和图像处理装置3000，惯性测量装置1000可以用于测量电子设备的位姿变化，显示屏2000可以用于显示图像处理装置得到的每一帧时刻的每一帧图像，其中，图像处理装置3000可以根据本发明实施例的方法对电子设备在当前帧时刻的当前帧图像进行处理。
本发明的实施例中，电子设备可以是虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备或者混合现实(Mixed Reality)设备等智能设备。
惯性测量装置1000又称为惯性测量单元(IMU，Inertial Measurement Unit)，惯性测量单元是一种通过传感器组合来测量和报告速度、方向和重力的电子设备，其中，传感器包括加速度传感器、陀螺仪传感器和地磁传感器。由于惯性测量单元搭载了一个可以测量三自由度的加速度计，一个能测量三自由度的陀螺仪，以及一个能测量三自由度的磁力计，因此，惯性测量装置1000也称为九轴传感器。
本发明的实施例中，自由度(DoF)与刚体在空间内的运动相关，可以解释为“物体移动的不同基本方式”。自由度总共有六个，可分成两种不同的类型：平移和旋转。平移运动表示刚体可以在三个自由度中平移，具体为向前/向后、向上/向下、向左/向右平移运动。旋转运动表示刚体可以在三个自由度中旋转，具体为纵摇(Pitch)、横摇(Roll)和垂摇(Yaw)。根据电子设备的空间运动状态，电子设备的虚拟场景可以包括三自由度虚拟场景和六自由度虚拟场景。
在本发明的实施例中，参照图1所示，图像处理装置3000可以包括一个或多个存储器4000和一个或多个处理器5000。
存储器4000例如可以包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。
处理器5000可以是移动版处理器，也可以是单片机等。
存储器4000用于存储指令，该指令用于控制处理器5000进行操作以执行根据本发明实施例的信号处理方法，本领域技术人员可以根据本发明所公开的技术方案设计指令。指令是如何控制处理器进行操作，这是本领域的公知，故本发明实施例在此不再详细描述。
<方法实施例>
图2根据本发明实施例的图像处理方法的示意性流程图。
根据图2所示，本实施例的电子设备的图像处理方法由图像处理装置3000实施，该图像处理方法可以包括如下步骤S2100～S2300：
步骤S2100，图像处理装置3000获取电子设备从上一帧时刻至当前帧时刻的位姿变化量。
在本发明的实施例中，电子设备包括惯性测量装置1000，惯性测量装置1000是一种通过传感器组合来测量和报告速度、方向和重力的电子设备，其中，传感器包括加速度传感器、陀螺仪传感器和地磁传感器。例如，佩戴者使用VR头戴设备时，当佩戴者头部运动时，惯性测量装置1000可以对VR头戴设备的位姿进行实时测量，即惯性测量装置1000在上一帧时刻采集的上一测量值及在当前帧时刻采集的当前测量值。
根据图3所示，在本发明的实施例中，该步骤S2100获取电子设备从上一帧时刻至当前帧时刻的位姿变化量可以进一步包括如下步骤S2110～S2130：
步骤S2110，图像处理装置3000获取惯性测量装置1000在上一帧时刻采集的上一测量值及惯性测量装置1000在当前帧时刻采集的当前测量值。
在本发明的实施例中，由于惯性测量装置1000包括加速度传感器、陀螺仪传感器和地磁传感器，因此，惯性测量装置1000的测量值包括速度测量值、方向测量值和重力测量值，惯性测量装置1000的测量值为包括速度测量值、方向测量值和重力测量值的坐标矩阵。
电子设备的位置发生变化时，电子设备的虚拟场景camera随电子设备同步移动，从而虚拟场景随之变化，虚拟场景变化前的时刻为上一帧时刻，虚拟场景变化后的时刻为当前帧时刻，图像处理装置3000获取电子设备的位姿变化信息，即图像处理装置3000获取惯性测量装置1000在上一帧时刻采集的上一测量值及惯性测量装置1000在当前帧时刻采集的当前测量值。
步骤S2120，图像处理装置3000根据当前测量值和上一测量值，获得惯性测量装置的测量值的增量变化值。
在本发明的实施例中，电子设备的位置发生变化时，电子设备的虚拟场景camera对应的移动坐标是惯性测量装置1000根据当前测量值和上一测量值获得的测量值的增量变化值。
步骤S2130，图像处理装置3000根据增量变化值，获得位姿变化量。
在本发明的实施例中，惯性测量装置1000的测量值包括速度测量值、方向测量值和重力测量值，惯性测量装置1000的测量值为包括速度测量值、方向测量值和重力测量值的坐标矩阵，惯性测量装置1000根据当前测量值和上一测量值获得的测量值的增量变化值为坐标矩阵，根据该坐标矩阵求出的数值可以表征电子设备的位姿变化，本实施例根据惯性测量装置1000的测量值的增量变化值可以获得电子设备的位姿变化量。
步骤S2200，图像处理装置3000判断位姿变化量是否小于设定阈值。
在本发明的实施例中，以VR头戴设备为例，当佩戴者头部运动幅度较小时，即电子设备的位姿变化量小于设定阈值，移动时电子设备对虚拟场景的每一帧画面整体重新渲染，渲染数据量较大，容易造成虚拟场景渲染延迟，引起电子设备的位置抖动，影响用户体验。本实施例通过判断电子设备的位姿变化量是否小于设定阈值，确定判断虚拟场景的每一帧画面是否需要整体重新渲染，以避免在电子设备位姿变化量较小的情况下对虚拟场景的每一帧画面整体重新渲染造成虚拟场景渲染延迟的问题。
步骤S2300，图像处理装置3000在位姿变化量小于设定阈值的情况下，根据近视口距离在所述当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据，其中，当前值大于设定的初始值。
本实施例中，近视口距离为虚拟场景中的虚拟相机在每一帧时刻采集的图像数据中提取在对应帧时刻的待渲染图像数据的起始位置与虚拟相机的距离。
图4示出了本实施例的电子设备的虚拟场景的示意图，根据图4所示，在本发明的实施例的电子设备的显示系统中，视场角(Field of View，简称FOV)表示显示器边缘与观察点连线的夹角，图中∠AOB是水平视场角，∠BOC是垂直视场角。水平视场角是在虚拟场景中的虚拟相机1不发生转动的情况下，向左观察的极限到向右观察的极限的范围。垂直视场角是在虚拟场景中的虚拟相机1不发生转动的情况下，向上观察的极限到向下观察的极限的范围。例如，VR头戴式显示器的视场角通常指水平视场角。
在图4中，视锥体指的是空间中的一块区域，这块区域决定了虚拟相机可以看到的空间。视锥体由六个平面包围而成，这些平面也被称为裁剪平面(clip planes)。其中，近视口2和远视口3分别又称为近裁剪平面(near clip plane)和远裁剪平面(far clipplane)，近裁剪平面和远裁剪平面决定了电子设备可以看到的深度范围。
图5示出了本实施例虚拟场景近视口距离的示意图，近视口距离是表示虚拟相机1到近视口2(近裁剪平面)的距离。近视口距离的初始设定值是根据人眼的视场角和瞳距而确定的经验值，近视口距离的初始设定值可以保证电子设备的画面落在电子设备的显示屏上，近视口距离的初始设定值为最小值，即近视口2距离虚拟相机1的最近距离，小于初始值的近视口距离的图像不能在显示屏上显示完全。
在电子设备的图像处理中，虚拟相机显示的图像的渲染数据量是视锥体空间内包含场景模型的数据，即就是近视口与远视口之间的空间内包含的场景模型的数据。近视口距离越小即近视口2越靠近虚拟相机1，图片包含的信息越多，渲染数据量越大；近视口距离越大即近视口2越远离虚拟相机1，图片包含的信息越少，渲染数据量越小。
例如，当电子设备的位姿变化越小时，如果每一帧直接渲染近视口距离为初始设定值的近视口处显示的图像，由于渲染数据量大，容易造成画面延迟，引起电子设备抖动，影响用户体验。而当电子设备位姿变化越小时，远视口图像本身变化就很大。
在本实施例中，在当前帧时刻的待渲染图像数据为近视口距离为当前值时，生成近视口处显示的图像的数据，即当前帧时刻的待渲染图像数据为近视口距离为当前值时，近视口与远视口之间的空间内包含场景模型的数据，其中，当前值大于设定的初始值。在当前帧时刻的待渲染图像数据表征了生成当前帧时刻的图像与上一帧图像的变化的部分所需的数据。
本实施例通过设定当前帧时刻的近视口距离，根据当前帧时刻近视口距离的当前值，确定当前帧时刻的待渲染图像数据，减小当前帧时刻的渲染数据量，缩短渲染数据的调用时间，避免由于渲染数据量大造成的显示画面延迟，从而消除电子设备的抖动，提高用户体验。
步骤S2400，图像处理装置3000渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像。
在本发明的实施例中，在当前帧时刻的待渲染图像数据为近视口距离为当前值时近视口处显示的图像的渲染数据，对当前帧时刻的近视口处显示的图像进行渲染，得到在当前帧时刻的变化图像。
步骤S2500，图像处理装置3000合并上一帧图像和变化图像，得到在当前帧时刻的当前帧图像。
在本实施例中，合并上一帧图像和变化图像为，将变化图像的中心点与上一帧图像的中心点对齐，通过变化图像替换上一帧图像的中央部分，得到对应当前帧时刻的当前帧图像。
其中，上一帧图像即在上一帧时刻渲染的对应上一帧时刻的近视口距离的近视口处显示的图像，基于电子设备的位姿变化量控制在设定阈值之内，图像处于近视口，用户的视角不会观察到外侧图像的变化，对当前帧时刻的近视口距离设定为当前值，当前值小于初始设定值，基于当前帧时刻的待渲染图像数据，获得当前帧时刻的变化图像，将变化图像与上一帧时刻渲染过的上一帧图像合并，获得当前帧时刻的当前图像，从而减小当前帧时刻的渲染数据量，缩短渲染数据的调用时间，避免由于渲染数据量大造成的显示画面延迟，从而消除电子设备的抖动，提高用户体验。
在本发明的一个例子中，电子设备移动到上一帧时刻的位置的位姿变化大于或者等于设定阈值，电子设备的虚拟相机在上一帧时刻的近视口距离为初始设定值，上一帧时刻的近视口处显示的图像为近视口距离为初始设定值的图像，当前帧时刻的当前帧图像为上一帧时刻渲染的上一帧图像和当前帧渲染的变化图像合并得到的，合并后相当于上一帧图像补充了当前帧渲染的变化图像缺少的画面，即合并得到的当前帧图像和近视口距离为初始设定值的图像的数据量相当。
在本发明的另一个例子中，电子设备移动到上一帧时刻的位置的位姿变化小于设定阈值，电子设备的虚拟相机在上一帧时刻的近视口距离为上一帧时刻对应的设定值，该设定值小于初始设定值，上一帧时刻的近视口处显示的图像为近视口距离为上一帧时刻对应的设定值的图像，上一帧图像为上一帧渲染的图像与之前帧图像合并后得到的图像，即与近视口距离为初始设定值的近视口处显示的图像相当的图像。因此，当前帧时刻的当前帧图像为上一帧时刻合并渲染的上一帧图像和当前帧渲染的变化图像合并得到的，合并后相当于上一帧图像补充了当前帧渲染的变化图像缺少的画面，即合并得到的当前帧图像和近视口距离为初始设定值的图像的数据量相当。
本实施例可以针对电子设备的位姿变化量小于设定阈值的情况下，基于设定大于近视口距离初始值的当前值，根据当前帧时刻近视口距离的当前值，确定当前帧时刻的待渲染图像数据，基于当前帧时刻的待渲染图像数据，获得当前帧时刻的变化图像，将变化图像与上一帧时刻渲染过的上一帧图像合并，获得当前帧时刻的当前图像，从而减小当前帧时刻的渲染数据量，缩短渲染数据的调用时间，避免由于渲染数据量大造成的显示画面延迟，从而消除电子设备的抖动，提高用户体验。
根据图6所示，在本发明的实施例在图4所示实施例的基础上增加了步骤S6300，该方法可以包括如下步骤：S6100-S6500。
步骤S6100，图像处理装置3000获取电子设备从上一帧时刻至当前帧时刻的位姿变化量；
步骤S6200，判断位姿变化量是否小于设定阈值；
步骤S6300，图像处理装置3000根据位姿变化量，获得近视口距离的当前值。
近视口处显示的图像的渲染数据量相当于近视口与远视口之间的空间内包含的场景模型的数据，近视口距离越小即近视口越靠近虚拟相机，图片包含的信息越多，渲染数据量越大；近视口距离越大即近视口越远离虚拟相机，图片包含的信息越少，渲染数据量越小。
在位姿变化量小于设定阈值的情况下：
在本发明的一个例子中，近视口距离的当前值可以是预设的固定值，且该固定值小于初始值。
在本发明的另一个例子中，近视口距离的当前值可以根据位姿变化量确定，例如位姿变化量越小，当前值越大，需要渲染的数据量越小。
步骤S6400，渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像。
步骤S6500，合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像。
根据图7所示，在本发明的实施例的电子设备的图像处理方法还可以包括如下步骤S7100～S7300：
步骤S7100，图像处理装置3000获取电子设备从上一帧时刻至当前帧时刻的位姿变化量。
步骤S7200，图像处理装置3000判断位姿变化量是否小于设定阈值。
步骤S7300，图像处理装置3000在位姿变化量大于或者等于设定阈值的情况下，直接渲染得到电子设备在当前帧时刻的当前帧图像。
根据图8所示，在本发明的实施例中，步骤S7300在位姿变化量大于或者等于设定阈值的情况下，直接渲染得到电子设备在当前帧时刻的当前帧图像可以进一步包括如下步骤S7310～S7320：
步骤S7310，图像处理装置3000根据近视口距离的设定的初始值，获取在当前帧时刻的待渲染图像数据，其中，初始值为近视口距离的最小值。
其中，近视口距离为从虚拟场景中的虚拟相机在对应帧时刻采集的图像数据中获取在对应帧时刻的待渲染图像数据的起始位置与虚拟相机的距离。
步骤S7320，图像处理装置3000渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的当前帧图像。
在本发明的实施例中，近视口距离为近视口与虚拟场景的虚拟相机之间的距离，近视口距离的初始设定值为经验值，近视口距离的初始设定值是根据人眼的视场角和瞳距而确定的，为了保证电子设备的画面落在电子设备的显示屏上，因此，近视口距离的初始设定值为最小值，即距离虚拟相机的最近距离。
由于当电子设备位姿变化越小时，如果每一帧直接渲染近视口距离为初始设定值的近视口处显示的图像，由于渲染数据量大，容易造成画面延迟，引起电子设备抖动，影响用户体验。当虚拟设备位姿变化越大时，画面本身需要渲染的数据量较大，调用时间也较长，因此，可以直接对近视口距离为初始设定值的近视口处显示的图像进行渲染。
根据图9所示，在本发明的实施例的电子设备的图像处理方法，在获取电子设备从上一帧时刻至当前帧时刻的位姿变化量之前，还可以包括如下步骤S9100～S9400：
步骤S9100，图像处理装置3000实时获取电子设备的当前虚拟场景。
步骤S9200，图像处理装置3000判断当前虚拟场景是三自由虚拟场景还是六自由度虚拟场景
步骤S9300，图像处理装置3000在当前虚拟场景是三自由度虚拟场景的情况下，关闭电子设备的旋转移动功能。
步骤S9400，图像处理装置3000在当前虚拟场景是六自由度虚拟场景的情况下，保持电子设备的平移功能和旋转移动功能均为开启状态。
在本发明的实施例中，电子设备的虚拟场景可以包括三自由度虚拟场景和六自由度虚拟场景。在三自由度虚拟场景情况下，电子设备的运动仅包括平移运动而不包括旋转运动，即电子设备可以在三个自由度中平移，具体为向前/向后、向上/向下、向左/向右的平移运动。本实施例在三自由度虚拟场景的情况下，关闭电子设备的旋转移动功能，即关闭虚拟场景的虚拟相机的空间位移功能，只保留三自由度的角度变化功能，可以进一步避免空间位置移动导致的抖动影响。
在这个例子中，可以针对电子设备的位姿变化量小于设定阈值的情况下，基于设定大于近视口距离初始值的当前值，根据当前帧时刻近视口距离的当前值，确定当前帧时刻的待渲染图像数据，基于当前帧时刻的待渲染图像数据，获得当前帧时刻的变化图像，将变化图像与上一帧时刻渲染过的上一帧图像合并，获得当前帧时刻的当前图像，从而减小当前帧时刻的渲染数据量，缩短渲染数据的调用时间，避免由于渲染数据量大造成的显示画面延迟，从而消除电子设备的抖动，提高用户体验。
<装置实施例>
图10是根据本发明实施例的图像处理装置的示意性原理框图。
在本发明的实施例中，根据图10所示，图像处理装置3000可以包括第一获取模块3010、第一判断模块3020、渲染数据获取模块3030、变化图像渲染模块3040和合并模块3050，用于实施本实施例中提供的图像处理方法，在此不再赘述。
该第一获取模块3010可以获取电子设备从上一帧时刻至当前帧时刻的位姿变化量。
该第一判断模块3020可以用于判断位姿变化量是否小于设定阈值。
该渲染数据获取模块3030可以用于在位姿变化量小于设定阈值的情况下，根据近视口距离在当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据。
其中，近视口距离为虚拟场景中的虚拟相机在每一帧时刻采集的图像数据中提取在对应帧时刻的待渲染图像数据的起始位置与虚拟相机的距离，当前值大于设定的初始值。
该变化图像渲染模块3040可以用于渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像。
该合并模块3050可以用于合并上一帧图像和所述变化图像，得到在当前帧时刻的当前帧图像。
在本发明的一个实施例中，该合并模块3050还可以用于将变化图像的中心点与上一帧图像的中心点对齐，通过变化图像替换上一帧图像的中央部分，得到对应当前帧时刻的当前帧图像。
在本发明的一个实施例中，该第一获取模块3010可以包括测量单元3011、增量变化值确定单元3012、位姿变化量获取单元3013。
该测量单元3011可以用于获取惯性测量装置在所述上一帧时刻采集的上一测量值及惯性测量装置在当前帧时刻采集的当前测量值。
该增量变化值确定单元3012可以用于根据当前测量值和上一测量值，获得惯性测量装置的测量值的增量变化值。
该位姿变化量获取单元3013可以用于根据增量变化值，获得位姿变化量。
在本发明的一个实施例中，该图像处理装置3000还可以包括近视口距离获取单元3060。
该近视口距离获取单元3060可以用于根据位姿变化量，获得近视口距离的所述当前值。
在本发明的一个实施例中，该图像处理装置3000还可以包括渲染模块3070。
该渲染模块3070可以用于在位姿变化量大于或者等于设定阈值的情况下，直接渲染得到电子设备在当前帧时刻的当前帧图像。
在本发明的一个实施例中，该渲染模块3070可以包括数据获取单元3071、渲染单元3072。
该数据获取单元3071可以用于根据近视口距离的设定的初始值，获取在当前帧时刻的待渲染图像数据。
其中，近视口距离为从虚拟场景中的虚拟相机在对应帧时刻采集的图像数据中获取在对应帧时刻的待渲染图像数据的起始位置与虚拟相机的距离，初始值为近视口距离的最小值。
该渲染单元3720可以用于渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的当前帧图像。
在本发明的一个实施例中，该图像处理装置3000还可以包括第二获取模块3080、第二判断模块3090、第一功能模块3100、第二功能模块3200。
该第二获取模块3080可以用于实时获取电子设备的当前虚拟场景。
该第二判断模3090可以用于判断当前虚拟场景是三自由虚拟场景还是六自由度虚拟场景。
该第一功能模块3100可以用于在当前虚拟场景是所述三自由度虚拟场景的情况下，关闭电子设备的旋转移动功能。
该第二功能模块3200可以用于在当前虚拟场景是所述六自由度虚拟场景的情况下，保持电子设备的平移功能和旋转移动功能均为开启状态。
在本实施例中，还提供另一种用于电子设备的图像处理装置1100，如图11所示，包括：
存储器1110，用于存储可执行指令；
处理器1120，用于根据所述可执行指令的控制，运行电子设备执行如本实施例中提供的图像处理方法。
在本实施例中，图像处理装置1100可以是具有虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备或者混合现实(Mixed Reality)设备等智能设备等中的具有图像处理的模块。
<电子设备的实施例>
根据图1所示，在本实施例中，还提供一种电子设备，该电子设备包括：
惯性测量装置1000可以用于测量虚拟设备的位姿变化。
在本实施例中，惯性测量装置1000又称为惯性测量单元(IMU，InertialMeasurement Unit)，惯性测量单元是一种通过传感器组合来测量和报告速度、方向和重力的电子设备。
显示屏2000可以用于显示图像处理装置得到的每一帧时刻的每一帧图像，例如，该显示屏2000可以是手机。
以及，上述实施例中提供的图像处理装置3000或者图像处理装置1100。
图像处理装置3000可以如图10所示，图像处理装置1100可以如图11所示，在此不再赘述。
本实施例中，电子设备可以是具有虚拟现实(Virtual Reality，VR)设备、增强现实(Augmented Reality，AR)设备或者混合现实(Mixed Reality)设备等智能设备。图像处理装置1100可以是电子设备中具有图像处理功能的模块，例如，电子设备的芯片直接执行本实施对应的图像处理方法，在此不再赘述。
<例子>
图12是根据本发明一个例子的图像处理方法的流程示意图，该图像处理方法可以包括如下步骤：
步骤S12001，图像处理装置3000实时获取电子设备的当前虚拟场景。
步骤S12002，图像处理装置3000判断当前虚拟场景是否符合三自由虚拟场景，如果当前虚拟场景符合三自由虚拟场景，则执行步骤S12003，否则，执行步骤S12004。
步骤S12003，关闭电子设备的旋转移动功能，之后执行步骤S12005。
步骤S12004，保持电子设备的平移功能和旋转移动功能均为开启状态，之后执行步骤S12005。
步骤S12005，图像处理装置3000获取惯性测量装置1000在上一帧时刻采集的上一测量值及惯性测量装置1000在当前帧时刻采集的当前测量值。
步骤S12006，图像处理装置3000根据当前测量值和上一测量值，获得惯性测量装置的测量值的增量变化值。
步骤S12007，图像处理装置3000根据增量变化值，获得位姿变化量。
步骤S12008，图像处理装置3000判断位姿变化量是否小于设定阈值，如果判断位姿变化量小于设定阈值，则执行步骤S12009，否则，执行步骤S12040。
步骤S12009，根据位姿变化量，获得近视口距离的当前值。
步骤S12010，图像处理装置3000根据近视口距离在当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据。
步骤S12020，图像处理装置3000渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像。
步骤S12030，图像处理装置3000合并上一帧图像和变化图像，得到在当前帧时刻的当前帧图像。
步骤S12040，根据近视口距离的设定的初始值，获取在当前帧时刻的待渲染图像数据。
步骤S12050，图像处理装置3000渲染在当前帧时刻的待渲染图像数据，得到在当前帧时刻的当前帧图像。
上述各实施例主要重点描述与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分相互参见即可，每个实施例重点说明的都是与其他实施例的不同之处，但本领域技术人员应当清楚的是，上述各实施例可以根据需要单独使用或者相互结合使用。另外，对于装置实施例而言，由于其是与方法实施例相对应，所以描述得比较简单，相关之处参见方法实施例的对应部分的说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。
本发明可以是装置、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (11)

1.一种用于电子设备的图像处理方法，其特征在于，包括：
获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量；
判断所述位姿变化量是否小于设定阈值；
在所述位姿变化量小于所述设定阈值的情况下，根据近视口距离在所述当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据，所述当前值大于近视口距离的设定的初始值，所述初始值为所述近视口距离的最小值；其中，所述近视口距离为虚拟场景中的虚拟相机在每一帧时刻采集的图像数据中提取在对应帧时刻的待渲染图像数据的起始位置与所述虚拟相机的距离；
渲染所述在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像；
合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像。
2.根据权利要求1所述的方法，其特征在于，所述在当前帧时刻的待渲染图像数据为生成当前帧时刻的图像与上一帧图像的变化的部分所需的数据。
3.根据权利要求1所述的方法，其特征在于，所述获取在当前帧时刻的待渲染图像数据之前，所述图像处理方法还包括：
根据所述位姿变化量，获得所述近视口距离的所述当前值。
4.根据权利要求1所述的方法，其特征在于，所述合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像，包括：
将所述变化图像的中心点与所述上一帧图像的中心点对齐，通过所述变化图像替换所述上一帧图像的中央部分，得到对应当前帧时刻的当前帧图像。
5.根据权利要求1所述的方法，其特征在于，所述图像处理方法还包括：
在所述位姿变化量大于或者等于所述设定阈值的情况下，直接渲染得到所述电子设备在当前帧时刻的当前帧图像。
6.根据权利要求5所述的方法，其特征在于，所述直接渲染得到所述电子设备在当前帧时刻的当前帧图像，包括：
根据近视口距离的设定的初始值，获取在当前帧时刻的待渲染图像数据，所述初始值为所述近视口距离的最小值；其中，所述近视口距离为从虚拟场景中的虚拟相机在对应帧时刻采集的图像数据中获取在对应帧时刻的待渲染图像数据的起始位置与所述虚拟相机的距离；
渲染所述在当前帧时刻的待渲染图像数据，得到所述在当前帧时刻的当前帧图像。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述电子设备还包括惯性测量装置，所述获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量，包括：
获取所述惯性测量装置在所述上一帧时刻采集的上一测量值及所述惯性测量装置在所述当前帧时刻采集的当前测量值；
根据所述当前测量值和所述上一测量值，获得所述惯性测量装置的测量值的增量变化值；
根据所述增量变化值，获得所述位姿变化量。
8.根据权利要求1-6中任一项所述的方法，其特征在于，所述获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量之前，所述的图像处理方法，还包括：
实时获取所述电子设备的当前虚拟场景；
判断所述当前虚拟场景是三自由度虚拟场景还是六自由度虚拟场景；
在所述当前虚拟场景是所述三自由度虚拟场景的情况下，关闭所述电子设备的旋转移动功能；
在所述当前虚拟场景是所述六自由度虚拟场景的情况下，保持所述电子设备的平移功能和旋转移动功能均为开启状态。
9.一种用于电子设备的图像处理装置，其特征在于，包括：
第一获取模块，用于获取所述电子设备从上一帧时刻至当前帧时刻的位姿变化量；
第一判断模块，用于判断所述位姿变化量是否小于设定阈值；
渲染数据获取模块，用于在所述位姿变化量小于所述设定阈值的情况下，根据近视口距离在所述当前帧时刻的当前值，获取在当前帧时刻的待渲染图像数据，所述当前值大于近视口距离的设定的初始值，所述初始值为所述近视口距离的最小值；其中，所述近视口距离为虚拟场景中的虚拟相机在每一帧时刻采集的图像数据中提取在对应帧时刻的待渲染图像数据的起始位置与所述虚拟相机的距离；
变化图像渲染模块，渲染所述在当前帧时刻的待渲染图像数据，得到在当前帧时刻的变化图像；
合并模块，合并所述上一帧图像和所述变化图像，得到所述在当前帧时刻的当前帧图像。
10.一种用于电子设备的图像处理装置，其特征在于，包括存储器和处理器，所述存储器用于存储计算机指令，所述处理器用于从所述存储器中调用所述计算机指令，并在所述计算机指令的控制下执行如权利要求1-8中任一项所述的图像处理方法。
11.一种电子设备，其特征在于，包括惯性测量装置、显示屏以及如权利要求9或10中所述的图像处理装置，所述显示屏用于显示所述图像处理装置得到的每一帧时刻的每一帧图像，所述惯性测量装置用于测量电子设备的位姿。
CN201910510610.9A 2019-06-13 2019-06-13 用于电子设备的图像处理方法、装置及电子设备 Active CN110351480B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910510610.9A CN110351480B (zh) 2019-06-13 2019-06-13 用于电子设备的图像处理方法、装置及电子设备
PCT/CN2019/109025 WO2020248442A1 (zh) 2019-06-13 2019-09-29 用于电子设备的图像处理方法、装置及电子设备
US17/617,085 US12020454B2 (en) 2019-06-13 2019-09-29 Image processing method and apparatus for electronic device, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910510610.9A CN110351480B (zh) 2019-06-13 2019-06-13 用于电子设备的图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110351480A CN110351480A (zh) 2019-10-18
CN110351480B true CN110351480B (zh) 2021-01-15

Family

ID=68181947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910510610.9A Active CN110351480B (zh) 2019-06-13 2019-06-13 用于电子设备的图像处理方法、装置及电子设备

Country Status (3)

Country Link
US (1) US12020454B2 (zh)
CN (1) CN110351480B (zh)
WO (1) WO2020248442A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111156655A (zh) * 2019-12-24 2020-05-15 珠海格力电器股份有限公司 一种空调主控板故障自检测方法及空调
CN111583350B (zh) * 2020-05-29 2024-09-17 联想(北京)有限公司 图像处理方法、装置、系统及服务器
CN111627116B (zh) * 2020-05-29 2024-02-27 联想(北京)有限公司 图像渲染控制方法、装置及服务器
CN111988520B (zh) * 2020-07-07 2021-08-13 安徽文香科技有限公司 一种画面切换方法、装置、电子设备及存储介质
CN114584598A (zh) * 2020-11-16 2022-06-03 中国移动通信有限公司研究院 一种图像处理方法、装置、设备及可读存储介质
CN113724331B (zh) * 2021-09-02 2022-07-19 北京城市网邻信息技术有限公司 视频处理方法、视频处理装置和非瞬时性存储介质
CN117319935B (zh) * 2023-11-28 2024-07-23 深圳市碧源达科技有限公司 基于蓝牙定位的数据交互方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767575B2 (en) * 2014-08-22 2017-09-19 Applied Research Associates, Inc. Techniques for accurate pose estimation in outdoor environments
KR102292031B1 (ko) * 2015-06-12 2021-08-20 구글 엘엘씨 헤드 장착 디스플레이를 위한 전자 디스플레이 안정화
US9240069B1 (en) * 2015-06-30 2016-01-19 Ariadne's Thread (Usa), Inc. Low-latency virtual reality display system
CN107204044B (zh) * 2016-03-17 2023-05-05 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
EP3293723A3 (en) * 2016-09-09 2018-08-15 Samsung Electronics Co., Ltd. Method, storage medium, and electronic device for displaying images
CN106998409B (zh) * 2017-03-21 2020-11-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN106973283A (zh) * 2017-03-30 2017-07-21 北京炫房科技有限公司 一种图像显示方法及装置
CN107274476B (zh) * 2017-08-16 2020-12-18 城市生活（北京）资讯有限公司 一种阴影图的生成方法及装置
CN108765531A (zh) * 2018-03-27 2018-11-06 广东欧珀移动通信有限公司 图像渲染方法、装置、存储介质及智能终端
CN109656367A (zh) * 2018-12-24 2019-04-19 深圳超多维科技有限公司 一种应用于vr场景下的图像处理方法、装置及电子设备
CN109613984B (zh) * 2018-12-29 2022-06-10 歌尔光学科技有限公司 Vr直播中视频图像的处理方法、设备及系统
CN109741463B (zh) * 2019-01-02 2022-07-19 京东方科技集团股份有限公司 虚拟现实场景的渲染方法、装置及设备
CN109727305B (zh) * 2019-01-02 2024-01-12 京东方科技集团股份有限公司 虚拟现实系统画面处理方法、装置及存储介质

Also Published As

Publication number Publication date
US12020454B2 (en) 2024-06-25
WO2020248442A1 (zh) 2020-12-17
CN110351480A (zh) 2019-10-18
US20220237818A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
CN110351480B (zh) 用于电子设备的图像处理方法、装置及电子设备
US10453175B2 (en) Separate time-warping for a scene and an object for display of virtual reality content
US10979693B2 (en) Stereoscopic 3D camera for virtual reality experience
CN109791433B (zh) 预测式中心凹虚拟现实系统
US9361732B2 (en) Transitions between body-locked and world-locked augmented reality
CN106970697B (zh) 界面交互装置及方法
US10607403B2 (en) Shadows for inserted content
US20170109930A1 (en) Augmenting multi-view image data with synthetic objects using imu and image data
KR20190085509A (ko) 가상 및 증강 현실 디스플레이 시스템들 및 방법들을 위한 연속 시간 와핑 및 양안 시간 와핑
EP3462283B1 (en) Image display method and device utilized in virtual reality-based apparatus
US11099392B2 (en) Stabilized and tracked enhanced reality images
EP3572916B1 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
CN103517061B (zh) 一种终端设备的显示控制方法及装置
US20170171539A1 (en) System for displaying an image for a head mounted display
US20190259198A1 (en) Systems and methods for generating visual representations of a virtual object for display by user devices
KR20170013737A (ko) 헤드 마운트 디스플레이 장치 및 그 동작방법
CN111175972A (zh) 一种头戴式显示器及其场景显示方法和存储介质
EP3349101B1 (en) Movement tracking method and movement tracking system
CN112630964A (zh) 头戴式显示系统及其场景扫描方法
CN107197339B (zh) 影片弹幕的显示控制方法、装置及头戴式显示设备
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP2018063567A (ja) 画像処理装置、画像処理方法およびプログラム
JP2019133207A (ja) 映像生成装置及び映像生成方法、及び映像生成プログラム
US11681358B1 (en) Eye image stabilized augmented reality displays
CN118470257A (zh) 深度图的时间混合

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201012

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.