CN108289217A - 用于输出图像的方法和支持该方法的电子设备 - Google Patents

用于输出图像的方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN108289217A
CN108289217A CN201810021541.0A CN201810021541A CN108289217A CN 108289217 A CN108289217 A CN 108289217A CN 201810021541 A CN201810021541 A CN 201810021541A CN 108289217 A CN108289217 A CN 108289217A
Authority
CN
China
Prior art keywords
information
image
processor
user
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810021541.0A
Other languages
English (en)
Other versions
CN108289217B (zh
Inventor
金润柱
安秉玄
梁栽银
郑日会
I.S.柳
林镇镐
崔炳包
李姃恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108289217A publication Critical patent/CN108289217A/zh
Application granted granted Critical
Publication of CN108289217B publication Critical patent/CN108289217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatuses And Processes For Manufacturing Resistors (AREA)
  • Discharging, Photosensitive Material Shape In Electrophotography (AREA)
  • Supplying Of Containers To The Packaging Station (AREA)

Abstract

提供了根据本公开的一个实施例的输出图像的方法和支持该方法的电子设备。所述电子设备包括显示器、眼睛跟踪单元和处理器。处理器确定图像的用户的感兴趣区域，收集电子设备的情景信息，至少基于所述情景信息，确定与用于所述图像的感兴趣区域的图像处理相关的第一属性信息、和与用于除所述图像的感兴趣区域之外的剩余区域的图像处理相关的第二属性信息；以及在显示器上显示通过使用第一属性信息对感兴趣区域进行图像处理而获得的第一部分图像、以及通过使用第二属性信息对剩余区域进行图像处理而获得的第二部分图像。

Description

用于输出图像的方法和支持该方法的电子设备
相关申请的交叉引用
本申请要求于2017年1月10日向韩国知识产权局提交并被分配序号10-2017-0003733的韩国专利申请的权益，其全部公开内容通过引用合并于此。
技术领域
本公开的各种实施例总体上涉及用于输出图像的方法以及支持该方法的电子设备。
背景技术
本领域存在用于输出虚拟现实(VR)图像或三维(3D)图像的电子设备。随着技术的改进，这些电子设备已经变得更轻便和小巧。这些电子设备的示例包括智能眼镜、头戴式设备(以下称为HMD)等。
例如，HMD可以戴在用户的头部上。HMD可以在用户的眼睛前面显示屏幕并且可以输出3D图像。HMD可以提供各种增强现实(AR)效果或虚拟现实(VR)效果。
发明内容
本领域已知的HMD可以使用中心凹式(foveated)渲染来减少其处理器负载。中心凹式渲染是一种渲染技术，其检测用户的注视方向，并在与所检测的注视方向对应的区域中输出高分辨率图像。相反地，中心凹式渲染也在对应于所检测的注视方向的区域外的周边区域中输出低分辨率图像。
当应用中心凹式渲染时，HMD可以固定高分辨率区域的大小并固定或限制各种因素以应用中心凹式渲染。但是这种静态的中心凹式渲染可能并不是期望的。例如，如果用户的注视方向改变，但是高分辨率区域是固定的，则用户体验可能会降低。
根据本公开的一方面，一种电子设备，包括：显示器；眼睛跟踪单元，获得用户的注视信息；以及处理器。所述处理器通过使用注视信息来确定要在显示器上显示的图像的用户的感兴趣区域；收集电子设备的情景信息；至少基于所述情景信息，确定与用于所述图像的感兴趣区域的图像处理相关的第一属性信息、和与用于除所述图像的感兴趣区域之外的剩余区域的图像处理相关的第二属性信息；以及在显示器上显示通过使用第一属性信息对感兴趣区域进行图像处理而获得的第一部分图像、以及通过使用第二属性信息对剩余区域进行图像处理而获得的第二部分图像。
根据本公开的各种实施例的用于输出图像的方法和支持该方法的电子设备可以通过根据诸如终端规范/状态信息、图像分析信息、用户选择信息等的各种信息动态地改变中心凹式渲染来向用户提供适当的渲染结果。
在用于输出图像的方法和支持该方法的电子设备中，根据本公开的各种实施例，可以根据用户的偏好来调谐中心凹式渲染的调谐因子。
根据以下结合附图公开本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域技术人员将变得明显。
附图说明
根据以下结合附图的描述，本公开的某些实施例的以上和其他方面、特征和优点将变得更加明显，附图中：
图1A至图1C示出根据一个实施例的HMD的外部配置；
图2是根据两个实施例的两个HMD的框图。
图3是示出根据一个实施例的软件模块的框图；
图4A是示出根据一个实施例的通过使用HMD的情景(context)信息来输出图像的方法的流程图；
图4B是示出根据一个实施例的用于输出图像的方法的流程图；
图5示出了根据一个实施例的对图像的中心凹式渲染的应用；
图6示出了根据一个实施例的FOV图像和感兴趣区域的图像；
图7示出根据一个实施例的用于用户设置的用户界面(UI)；以及
图8是示出根据一个实施例的应用调谐因子的顺序的流程图。
在整个附图中，应该注意的是，相似的附图标记用于指示相同或相似的元件、特征和结构。
具体实施方式
在下文中，将参考附图来描述本公开的各种实施例。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对这里描述的各种实施例进行修改、等同和/或替换。
在本文公开的公开内容中，表述“具有”、“可具有”、“包括”、“包含”、“可包括”以及“可包含”指示对应的特征(例如，诸如数值、函数、操作或组件的要素)的存在，但不排除附加特征的存在。
在本文公开的公开内容中，表述“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”等可以包括一个或多个相关联的所列项目的任何和全部组合。例如，术语“A或B”、“A和B中的至少一个”或者“A或B中的至少一个”可以指以下所有情况：(1)包括至少一个A；(2)包括至少一个B；或(3)包括A和B两者。
本文中使用的诸如“第一”、“第二”等的术语可以指代本公开的各种实施例的各种元件。但是这些术语并不限制这些元件。例如，这些术语仅用于区分一元件与另一元件，但不限制元件的次序和/或优先级。例如，第一用户设备和第二用户设备可以代表不同的用户设备，而不管其顺序或重要性。在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
应该理解的是，当元件(例如，第一元件)被称为“(可操作地或通信地)耦合到”或“连接到”另一元件(例如第二元件)/“(可操作地或通信地)与”另一元件(例如第二元件)“耦合”时，它可以直接耦合到另一元件或者经由中间元件(例如，第三元件)连接到另一元件。相反，当元件(例如，第一元件)被称为“直接耦合到”或“直接连接到”另一元件(例如，第二元件)/“直接与”另一元件(例如第二元件)“耦合”时，应当理解的是，不存在中间元件(例如，第三元件)。
在此使用的表述“被配置为”可以意味着“适于”、“具有...的能力”、“设计为”、“适应于”、“被制作为”或“能够”。因此，术语“被配置为”并不一定仅意味着在硬件中“专门设计为”。相反，表述“被配置为…的设备”可以意味着设备“能够”与另一设备或其他组件一起操作。例如，“被配置为执行A、B和C的处理器”可以意味着用于执行指定操作的专用处理器(例如，嵌入式处理器)、或可以通过执行存储在存储器设备中的一个或多个软件程序来执行指定的操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
本公开中使用的术语用于描述具体实施例，并不意在限制本公开的范围。单数形式的术语也可以指复数，反之亦然，除非另有说明。除非在此另外定义，否则本文中使用的包括技术和科学术语的所有术语可以具有本领域技术人员通常理解的相同含义。应该进一步理解的是，在字典中定义并且通常使用的术语也应当根据其在相关领域中的惯用含义来解释，而不是根据其他含义来解释，除非在此明确地如此定义。在一些情况下，即使在说明书中明确地定义了术语，也不能将其解释为排除本公开的实施例。
根据本公开的各种实施例的电子设备可以是智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌面型PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或穿戴式设备。根据本公开的各种实施例，穿戴式设备可以包括附件(例如手表、戒指、手镯、脚踝镯、眼镜、隐形眼镜或HMD)、布类集成类型(例如电子衣服)、身体附接类型(例如，皮肤垫或纹身)、或植入类型(例如，植入式电路)。
根据另一实施例，电子设备可以是家用电器，诸如电视(TV)、数字多功能盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如XboxTM或PlayStationTM)、电子字典、电子钥匙、摄像机、电子相框等等。
根据另一实施例，电子设备可以是医疗设备(例如，诸如血糖监测设备、心率测量设备、血压测量设备、体温测量设备等的各种便携式医疗测量设备、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、医疗扫描仪和超声设备)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子装备(例如导航系统和罗盘)、航空电子设备、安全设备、车辆主机(headunits)、工业或家庭机器人、自动提款机(ATM)、销售点设备(POS)、或IoT(物联网)设备(例如灯泡、传感器、电度表或气量计、喷淋设备、火警、温控器、路灯、烤面包机、运动装备、热水箱、加热器、热水壶等)。
根据另一实施例，电子设备可以是家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量仪器(例如，水表、电表、气量计或者波表等等)。在各种实施例中，电子设备可以是上述设备中的一个或其组合。根据实施例的电子设备可以是柔性设备。此外，根据实施例的电子设备可以不限于上述电子设备，并且可以包括本领域中开发的其他电子设备。
在下文中，将参照附图描述根据本公开的实施例的电子设备。这里使用的术语“用户”可以指使用电子设备的人或者可以指使用电子设备的设备(例如，人造电子设备)。
图1A至图1C示出根据一个实施例的HMD的外部配置。HMD 101或102可以输出3D虚拟现实图像。HMD 101或102可以被实现为具有其自己的显示器的独立设备或者作为嵌入式保持器(drop-in holder)，使得可以在HMD中安装另一设备(例如，智能电话)。
参考图1A，可以将HMD 101戴在用户的眼睛上以显示图像。HMD 101可以是独立设备，使得其具有显示虚拟现实(VR)图像(在下文中，被称为VR图像)的其自己的显示器(未示出)。
根据一个实施例，HMD 101可以从集成的传感器收集运动信息以识别HMD 101或用户周围的对象。
HMD 101可以通过跟踪用户的头部来在3D VR图像的视场(FOV)区域中输出图像。跟踪用户的头部可以使用来自集成传感器的运动信息来实现。因此，当用户移动他或她的头部时，与头部运动相关联的运动信息可改变，并且因此FOV区域也可改变。
根据一个实施例，HMD 101可以包括主框架101a和用于将主框架101a固定到用户的头部的安装部分160。主框架101a可以包括用于输出VR图像的显示器、透明/半透明透镜、处理器、存储器等。安装部分160可以包括弹性带，使得主框架101a固定到用户的头部并且靠近用户眼睛周围的区域。
HMD 101可以包括与配套设备(例如，智能电话)、服务器或另一网络组件通信的无线通信组件。HMD 101可以被配置为直接与外部服务器通信，或者可以被配置为通过用户本地的配套设备与服务器通信。
参考图1B，HMD 102可以包括主框架102a、显示设备102b、盖子102c以及将主框架102a固定到用户头部的安装部分160。如所示，HMD 102是用于安装在其中的显示设备102b(例如，智能电话)的嵌入式保持器，其与图1A中的HMD 101不同。
主框架102a可以包括用于容纳显示设备102b的空间或结构。主框架102a还可以包括连接器，该连接器被配置为耦合到显示设备102b的电连接器(例如，微型USB)，使得HMD102可以与显示设备102b通信。
根据该实施例，主框架102a可以包括用于提供用户界面的触摸面板。主框架102a可以包括用于控制显示设备102b的不同类型的控制设备，诸如物理按键、物理按钮、触摸按键、一个或多个操纵杆、一个或多个轮状按键或触摸板。
主框架102a可以通过诸如USB连接器的连接器与显示设备102b连接，并且由主框架102a的触摸面板接收的触摸输入可以发送到显示设备102b。响应于从触摸面板接收的触摸输入，显示设备102b可以执行与触摸输入相对应的功能。例如，显示设备102b可以响应于所接收的触摸输入来调整音量或者调整显示的图像。
主框架102a可以用相对轻的材料(例如塑料)来实现，以向用户提供舒适度。为了强度或美观的外观，主框架102a可以包括各种其他材料，诸如玻璃、陶瓷、金属(例如铝)、金属合金(例如钢、不锈钢、钛合金、镁合金)等等。
主框架102a可以在其一个表面上包括安装显示设备102b的存储空间。限定存储空间的部分可以是弹性的或柔性的。因此，由于弹性或柔性，存储空间的大小可以变化，并且各种大小的显示设备102b可以安装在存储空间中。
显示设备102b(例如，智能电话)可以在安装在HMD 102上时使用，或者可以与HMD102分离并且独立地操作。显示设备102b可以包括显示器、处理器、通信模块等。
透镜单元140可以位于显示设备102b和用户的眼睛之间。从显示设备102b发射的光可以穿过透镜单元140。
参考图1C，主框架101a或102a可以包括在主框架101a或102a的内表面上(当沿箭头A的方向看时)的面部接触部分135。当被穿戴时，面部接触部分135可以与用户的面部接触。面部接触部分135可以弯曲以对应于人脸的轮廓，并且可以至少部分地是弹性的。面部接触部分135还可以包括具有与用户的鼻子的形状相对应的形状的鼻部凹部。
透镜单元140可以布置在面部接触部分135上，使得当被穿戴时，透镜单元140在用户的眼睛和HMD的显示器之间。
根据一个实施例，可以在透镜单元140周围布置眼睛跟踪单元(或传感器)150。眼睛跟踪单元150可以检测用户的注视的方向(在下文中可以被称为用户注视方向)。例如，为了眼睛跟踪的目的，眼睛跟踪单元150可以包括用于每个透镜的六个红外照明设备、红外反射器以及用于捕获反射光的一个或多个相机。
在中心凹式渲染模式(foveated rendering mode)中，HMD 101或102可以在用户的注视方向的指定范围(以下，该范围可以被称为感兴趣区域)内输出高分辨率图像。HMD101或102可在指定范围之外(在下文中，称为周边区域)输出低分辨率图像。因此，在中心凹式渲染模式中，HMD 101或102可以通过降低图像数据处理的计算复杂度来减少处理器负载。未使用的处理器电力然后可以用于改善VR或AR体验的其他方面。例如，由HMD显示的图像的帧率可以增加。
根据一个实施例，在中心凹式渲染模式中，HMD 101或102可以改变在中心凹式渲染模式中使用的调谐因子(例如，感兴趣区域的大小、FOV的大小等)。这些调谐因子可基于HMD 101或102的情景信息(或状态信息)(例如，处理器负载、GPU负载、电池中剩余的电力等)、用户设置信息(例如，用户指定的质量指标、性能指标、HMD是否处于省电模式等)或所显示的图像的场景分析信息(例如图像类型、显示的图像中的对象信息、分辨率等)而改变。在图2-图8中提供了关于改变调谐因子的附加信息。
图2是根据两个实施例的两个HMD的框图。
参考图2，HMD 101可以包括处理器110、存储器115、显示器120、运动识别单元130、透镜单元140和眼睛跟踪单元150。根据一个实施例，上述元件可以安装在图1A的主框架101a中。
处理器110可驱动例如操作系统(OS)或嵌入式软件程序，以控制连接到处理器110的多个硬件元件(例如，显示器120、运动识别单元130、透镜单元140和眼睛跟踪单元150)。处理器110可以包括微处理器或任何合适类型的处理电路，诸如一个或多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。另外，应该认识到，当通用计算机访问用于实现这里所示的处理的代码时，代码的执行将通用计算机转换成用于执行这里所示的处理的专用计算机。附图中提供的某些功能和步骤可以用硬件、软件或两者的组合来实现，并且可以全部或部分地在计算机的编程指令内执行。另外，本领域技术人员理解和认识到，在所要求保护的本公开中，“处理器”或“微处理器”可以是硬件。
根据一个实施例，处理器110可以从存储器115加载要输出的VR图像的全部或部分，并且可以通过显示器120输出加载的VR图像。处理器110可以确定是否进入中心凹式渲染模式，并确定中心凹式渲染模式所需的调谐因子。
存储器115可以存储VR图像，或者可以存储与该中心凹式渲染模式有关的各条信息。例如，存储器115可以存储与调谐因子有关的信息。
显示器120可以输出VR图像。在中心凹式渲染模式中，通过显示器120输出的图像的一个区域(例如，感兴趣区域)可以具有相对高的分辨率，而其他区域(例如，周边区域)可以具有相对低的分辨率。
运动识别单元130可以测量运动或者可以检测HMD 101的操作状态。运动识别单元130可以包括例如加速度传感器、陀螺仪传感器、地磁传感器、磁传感器、接近传感器、手势传感器、握持传感器和/或生物学传感器。HMD101可以通过使用加速度传感器、陀螺仪传感器和地磁传感器来检测用户头部的运动。HMD 101还可以通过使用接近传感器或握持传感器来检测用户是否穿戴HMD 101。
从显示器120输出的光可以穿过透镜单元140。处理器110可以校正显示的图像，以便防止可能由透镜单元140引起的图像失真。
眼睛跟踪单元(或传感器)150可以跟踪用户的注视方向。眼睛跟踪单元150可以包括例如红外照明设备、红外反射器以及用于捕获反射光的一个或多个相机。在另一示例中，眼睛跟踪单元150可以通过使用电眼震(electrical oculography,EOG)传感器、线圈系统、双重浦肯野系统(dual purkinje systems)、明亮瞳孔系统或暗瞳孔系统来跟踪用户的注视。
根据一个实施例，当HMD 101被用户穿戴并且用户移动用户的眼睛时，眼睛跟踪单元150可以检测用户的注视方向。在中心凹式渲染模式中，处理器110可以根据用户的注视方向来改变高分辨率区域的位置。
HMD 102可以包括主框架102a中的运动识别单元130、透镜单元140和眼睛跟踪单元150，并且处理器110、存储器115和显示器120可以被包括在显示设备102b中。HMD 102中的元件的操作和功能可以与HMD 101中的对应元件的操作和功能相同或相似。
HMD 102仅仅是说明性的，并且本公开不限于此。例如，运动识别单元130的全部或一部分可以被包括在显示设备102b中。
图3是示出根据一个实施例的软件模块的框图。虽然图3示出了单独的软件模块，但是本公开不限于此。例如，图3中示出的两个或更多个模块可以组合成单个模块。
参考图3，处理器110可以包括图像调整模块310和渲染模块350。
图像调整模块310可以确定要应用于中心凹式渲染模式的调谐因子。图像调整模块310可以基于显示的图像的场景信息(例如，图像的类型、显示的图像中的对象信息、显示的图像的分辨率等)、HMD 101或102的情景信息(例如，处理器负载、GPU负载、电池中剩余的电力等)或用户设置信息(例如，用户指定的质量指标、性能指标、HMD是否处于省电模式等等)来确定调谐因子。
根据一个实施例，图像调整模块310可以包括图像分析单元315、监视单元320、用户设置收集单元325和调谐因子确定单元330。
图像分析单元315可以分析VR图像输出的特性。例如，图像分析单元315可以确定VR图像的类型(例如，图像是静止图像、运动图像还是3D图像)、图像中的对象信息(例如，对象的大小和数量)、图像的分辨率等。
监视单元320可监视HMD 101或102的状态。监视单元320可获得诸如HMD的CPU和/或GPU负载、HMD的内部或外部温度、存储器利用、HMD的电池中剩余的电力等等的信息。
用户设置收集单元325可以收集与中心凹式渲染有关的用户输入。例如，用户设置收集单元325可以输出用于设置要输出的VR图像的质量指标的用户界面，并且可以收集由用户选择的质量指标。调谐因子(例如，感兴趣区域的大小、FOV的大小等)可以依赖于用户选择的质量指标而改变。可以由用户设置收集单元325输出用于中心凹式渲染的附加设置。这些设置结合图7在下面进一步描述。
调谐因子确定单元330可以基于从图像分析单元315、监视单元320和用户设置收集单元325接收的信息确定用于中心凹式渲染的调谐因子。调谐因子可以包括关于感兴趣区域的大小、FOV的大小、用于中心凹式渲染的帧缓冲器的大小、是否应用抗混淆等的信息。以下结合图8提供调谐因子的附加描述。
渲染模块350可以使用由调谐因子确定单元330确定的调谐因子来执行中心凹式渲染。根据一个实施例，渲染模块350可以包括渲染单元360和校正单元370。
渲染单元360可以渲染要在显示器120上显示的VR图像。在中心凹式渲染模式中，渲染单元360可以将感兴趣区域维持在相对高的分辨率，并且可以以相对低的分辨率渲染周边区域。
根据一个实施例，渲染单元360可以对感兴趣区域和周边区域之间的边界执行图像混合，使得从高分辨率到低分辨率的转变更加无缝。
校正单元370可以校正渲染的图像以防止由透镜单元140引起的图像失真。
根据一个实施例，在被配置为输出3D图像的至少一部分的电子设备中执行的图像输出方法可以包括：收集电子设备的状态信息、3D图像的分析信息、以及关于3D图像的输出的用户输入信息中的至少一个；基于所收集的信息，确定用于对3D图像的输出部分应用中心凹式渲染的调谐因子；以及基于所确定的调谐因子将中心凹式渲染应用于3D图像的输出部分。
根据一个实施例，用户输入信息包括关于由用户通过用户界面选择的质量指标和/或性能指标的信息。
根据一个实施例，调谐因子的确定包括基于质量指标和/或性能指标确定调谐因子。
根据一个实施例，调谐因子的确定在输出3D图像之前完成。
根据一个实施例，调谐因子的确定在输出3D图像的同时完成。
根据一个实施例，通过包括与3D图像的输出有关的多个项目的用户界面来收集用户输入信息，并且调谐因子的确定包括基于所述多个项目中由用户选择的项目来确定调谐因子。
图4A是示出根据一个实施例的通过使用HMD的情景信息来输出图像的方法的流程图。
参考图4A，在操作401中，处理器110可以确定要在显示器120上显示的图像中的用户的感兴趣区域。这可以通过使用由眼睛跟踪单元150收集的用户的注视信息来完成。
在操作402中，处理器110可以收集HMD 101或102的情景信息。如上所解释的，情景信息可以包括HMD的CPU和/或GPU负载、HMD的内部或外部温度、存储器利用、HMD的电池中剩余的电力等。
根据一个实施例，作为确定情景信息的一部分，处理器110可以分析要显示的图像的场景信息。例如，处理器110可以确定要显示的图像的复杂度。处理器110可以通过使用所确定的场景复杂度来确定中心凹式渲染的调谐因子。
在操作403中，基于情景信息，处理器110可以确定与用于感兴趣区域的图像处理相关的第一属性信息、和与用于剩余区域(例如周边区域)的图像处理相关的第二属性信息。第一属性信息和第二属性信息可以是中心凹式渲染所需的各种调谐因子。例如，第一属性信息可以是感兴趣区域的大小、形状或分辨率和/或存储感兴趣区域中的图像的数据所需的帧缓冲器的大小。第二属性信息可以是FOV区域的大小、是否应用抗混淆、和/或存储周边区域中的图像的数据所需的帧缓冲器的大小。
根据一个实施例，处理器110可以接收用于确定要在显示器120上显示的图像的处理模式的用户输入。处理器110可以根据用户选择的处理模式，确定第一属性信息和/或第二属性信息的至少一部分。
例如，当处理模式是第一模式时，处理器110可以确定第一属性信息和第二属性信息，以使要显示的图像的处理速度优先。
另一方面，当处理模式是第二模式时，处理器110可以确定第一属性信息和第二属性信息，以使要显示的图像的处理质量优先。下面结合图7提供关于处理模式的附加信息。
在操作404中，处理器110可以在显示器120上显示通过使用第一属性信息对感兴趣区域进行图像处理获得的第一部分图像、以及通过使用第二属性信息对周边区域进行图像处理而获得的第二部分图像。处理器110然后可以组合第一部分图像和第二部分图像。处理器110可以对感兴趣区域和周边区域之间的边界执行图像混合，使得从高分辨率到低分辨率的转变更加无缝。
图4B是示出根据一个实施例的用于输出图像的方法的流程图。
参考图4B，在操作410中，处理器110可以加载VR图像。根据一个实施例，处理器110可以优先处理VR图像的仅一部分，诸如图像的正在移动的部分。处理器110可以设置HMD101或102的方向、位置等的参考值。
在操作420中，处理器110可以确定是否应用中心凹式渲染模式。根据实施例，处理器110可以在中心凹式渲染模式是默认设置时自动应用中心凹式渲染模式，或者可以在用户通过用户界面选择中心凹式渲染模式时应用中心凹式渲染模式。
在不应用中心凹式渲染模式的情况下，处理器110可以以指定分辨率(例如，高分辨率)渲染整个图像，而不区分感兴趣区域和周边区域。
在应用了中心凹式渲染模式的情况下，处理器110可以在操作430中收集用于改变中心凹式渲染模式的调谐因子的改变信息。
根据实施例，改变信息可以包括关于HMD 101或102的状态的情景信息。例如，情景信息可以包括关于处理器110的当前处理负载、通信芯片以及HMD101或102的显示驱动电路的操作状态、HMD 101或102的电池中剩余的电力、HMD 101或102的内部或外部温度等的信息。
根据实施例，改变信息可以包括关于要输出的图像的复杂度的信息。例如，这可以包括关于VR图像的类型(例如，图像是静止图像、运动图像、3D图像等)、图像中的对象(例如，对象的大小和数量)、图像的分辨率等的信息。处理器110可以基于渲染图像所需的计算复杂度来确定图像的复杂度。
根据实施例，改变信息可以包括关于与中心凹式渲染有关的用户输入(或者在UI中的用户选择)的信息。例如，在用户为要输出的VR图像设置特定质量指标的情况下，处理器110可以调整中心凹式渲染的调谐因子，来维持VR图像以对应于所选择的质量指标的分辨率显示。在另一示例中，当用户选择省电优先的选项时，处理器110可以减小VR图像中的感兴趣区域的大小，或者可以降低VR图像的需要高计算复杂度的部分的分辨率。
在操作440中，处理器110可以基于改变信息确定调谐因子。例如，处理器110可以改变或调整与感兴趣区域的大小、FOV的大小、要显示的VR图像的帧缓冲器的大小、是否应用抗混淆等有关的调谐因子。
在操作450中，处理器110可以基于所确定的调谐因子来渲染VR图像。处理器110可以在显示器120上输出渲染的图像。
根据实施例，处理器110在输出VR图像之前可以识别改变信息并且可以基于改变信息来确定调谐因子。在这种情况下，调谐因子可以在输出VR图像的同时被固定。例如，在处理器110输出运动图像之前，处理器110可以分析运动图像的大小、运动图像的每个场景中的对象，确定电池中剩余的电力等，并且可以基于这些不同的分析和确定来确定调谐因子。可以基于所确定的调谐因子显示VR图像，并且在显示VR图像期间调谐因子可以是固定的。
根据另一实施例，处理器110在输出VR图像的同时可以识别改变信息并且可以基于改变信息改变调谐因子。因此，在该实施例中，在显示VR图像期间调谐因子不是固定的。例如，当以指定的fps(例如，60fps)输出3D图像时，处理器110可以在显示指定数量的帧(例如，10帧)之后改变调谐因子。
当用户选择特定质量指标时，处理器110在输出VR图像之前可以确定默认调谐因子是否满足对应的质量指标。如果是这样，则处理器110可以维持设置的调谐因子。否则，处理器110可以改变调谐因子以满足选择的质量指标。
而且，当用户选择特定质量指标时，处理器110在输出VR图像的同时可以确定是否满足所选择的质量指标。如果是这样，则处理器110可以维持当前的调谐因子。但是，如果否，则处理器110可以改变调谐因子以满足选择的质量指标。
图5示出了根据一个实施例的对图像的中心凹式渲染的应用。
参考图5，输出图像501可以包括具有相对高分辨率的感兴趣区域(在第一层中)510和具有相对低分辨率的周边区域(在第二层中)520。
根据一个实施例，感兴趣区域510中的图像的图像数据和周边区域520中的图像的图像数据可以存储在不同的缓冲器中。为了显示整个输出图像501，可以随后将不同缓冲器中的图像数据组合在一起。
例如，处理器110可将感兴趣区域510中的图像的图像数据存储在称为高分辨率帧缓冲器(HFB)的第一缓冲器中。根据实施例，存储在第一缓冲器中的图像数据可以具有与原始VR图像相同的分辨率。
处理器110可以将周边区域520中的图像的图像数据存储在称为低分辨率帧缓冲器(LFB)的第二缓冲器中。存储在第二缓冲器中的图像数据可以具有比原始VR图像更低的分辨率。
第一缓冲器中的图像数据和第二缓冲器中的图像数据可以在被称为输出缓冲器的另一个单独的帧缓冲器中组合在一起。例如，处理器110可以渲染在第一缓冲器(例如，HFB)中的图像数据和在第二缓冲器(例如，LFB)中的图像数据，并且可以将渲染的图像数据组合并且存储在输出缓冲器中。
替代地，第一缓冲器中的图像数据和第二缓冲器中的图像数据可以在第一缓冲器中组合在一起。为了考虑较低分辨率，处理器110可以放大周边区域的图像并在第一缓冲器中存储相应图像数据。
根据一个实施例，处理器110可以对周边区域520的图像数据执行抗混淆。因此，可以防止当周边区域520的低分辨率图像被放大时可能发生的混淆。
处理器110可以对感兴趣区域和周边区域之间的边界或与边界相邻的区域执行图像混合。因此，从高分辨率到低分辨率的转变更加无缝。例如，处理器110可以逐渐降低感兴趣区域510的边缘处的分辨率，使得在感兴趣区域的最外边缘处，分辨率与周边区域520的分辨率相同或相似。
处理器110可以根据调谐因子来改变感兴趣区域510的大小。例如，处理器110可以根据用户选择的特定质量指标来减小或增加感兴趣区域510的大小。
图6示出了根据一个实施例的FOV图像和感兴趣区域的图像。
参考图6，处理器110可以基于通过运动识别单元130收集的HMD的运动信息，将作为VR图像610的一部分的FOV图像620存储在帧缓冲器中。然后可以将FOV图像620显示在HMD的显示器120上。当运动信息改变时(例如，当用户移动他或她的头部时)，处理器110可以改变FOV的位置并显示不同的FOV图像。例如，当用户向上、向下、向左或向右移动头部时，FOV的位置可以向上、向下、向左或向右偏移，并且可以显示不同的FOV图像。
处理器110可以以较高分辨率处理作为FOV图像620的一部分的感兴趣区域的图像630。可以基于通过眼睛跟踪单元150收集的用户的注视方向信息来确定感兴趣区域。在用户移动他或她的瞳孔从而改变注视方向信息的情况下，处理器110可以改变感兴趣区域的位置。例如，当用户将他或她的瞳孔向上、向下、向左或向右移动、而不移动他或她的头部时，感兴趣区域的位置可根据瞳孔的运动程度向上、向下、向左或向右偏移。
根据一个实施例，处理器110可以基于所显示的图像的场景信息(例如，图像的类型、所显示的图像中的对象信息、所显示的图像的分辨率等)、HMD101或102的情景信息(例如，处理器负载、GPU负载、电池中剩余的电力等)、或者用户设置信息(例如，用户指定的质量指标、性能指标、HMD是否处于省电模式等)来改变FOV角度620a或感兴趣区域的角度630a。
例如，在用户提高要输出的VR图像的质量指标的情况下，可以增大FOV角度620a和感兴趣区域的角度630a。
在另一示例中，在用户降低要输出的VR图像的质量指标的情况下，可以减小FOV角度620a和感兴趣区域的角度630a。
在另一示例中，在用户降低要输出的VR图像的质量指标的情况下，处理器110可以首先减小感兴趣区域的角度630a，并且可以确定是否满足所选择的质量指标。然而，为了保证令人满意的性能，感兴趣区域的角度630a可以被要求至少为25度。当感兴趣区域的角度630a最小化到25度、但仍不满足所选择的质量指标时，处理器110可另外减小FOV角度620a。
图7示出根据一个实施例的用于用户设置的用户界面(UI)。图7仅仅是说明性的，并且本公开不限于此。
参考图7，处理器110可以输出自动模式UI 701。自动模式UI 701可以包括状态栏711，通过该状态栏711，用户确定中心凹式渲染的质量指标和性能指标，其中质量指标和性能指标具有权衡关系(即质量指标与性能指标成反比)。在用户选择了期望的质量指标之后，处理器110可以基于所选择的质量指标来确定调谐因子。
例如，当用户选择相对高的质量指标时，感兴趣区域可以相对宽，并且FOV也可以相对大。在这种情况下，显示的VR图像的每秒帧数(fps)可减少。相反，当用户选择相对低的质量指标时，感兴趣区域可以相对窄，并且FOV可以相对小。但每秒帧数(fps)可增加。
处理器110可以输出用户调整模式UI 702。用户调整模式UI 702可以包括与中心凹式渲染有关的各种项目。例如，在用户选择最高质量的情况下，处理器110可以确定调谐因子以在HMD的给定功率消耗水平下获得最高分辨率。
根据一个实施例，处理器110可以基于用户在图7中所示的界面中的选择来改变调谐因子。处理器110在输出VR图像的同时可以确定当前输出状态是否满足用户的选择，并且可以在当前输出状态不满足用户的选择时动态地改变调谐因子。
图8是示出根据一个实施例的应用调谐因子的顺序的流程图。图8仅仅是说明性的，并且本公开不限于此。图8中所示的操作中的一些可以被省略，或者其次序可以改变。
参考图8，在处理器110进入中心凹式渲染模式的情况下，处理器110可以顺序地应用多个调谐因子。
例如，在操作810中，处理器110可以(例如，通过确定感兴趣区域的角度)确定感兴趣区域的大小。
具体地，在由用户选择的质量指标相对高的情况下，处理器110可以增大感兴趣区域的大小。相反，在由用户选择的质量指标相对低的情况下，处理器110可以减小感兴趣区域的大小。
在操作820中，处理器110可以(例如，通过确定FOV的角度)确定FOV的大小。例如，在由用户选择的质量指标相对高的情况下，处理器110可以增大FOV的大小。相反，在由用户选择的质量指标相对低的情况下，处理器110可以减小FOV的大小。
在操作830中，处理器110可以确定是否将半数据类型(half data type)应用于图像数据。例如，在由用户选择的质量指标相对高的情况下，处理器110可不应用半数据类型。相反，在由用户选择的质量指标相对低的情况下，处理器110可以应用半数据类型来降低计算复杂度。
在操作840中，处理器110可以确定帧缓冲器的大小。例如，在由用户选择的质量指标相对高的情况下，处理器110可以增大第二缓冲器的大小。相反，在由用户选择的质量指标相对低的情况下，处理器110可以减小第二缓冲器的大小。
在另一示例中，在由用户选择的质量指标相对高的情况下，处理器110可以增大输出缓冲器的大小。相反，在由用户选择的质量指标相对低的情况下，处理器110可以减小输出缓冲器的大小。
在操作850中，处理器110可确定是否或如何应用抗混淆。例如，在由用户选择的质量指标相对高的情况下，处理器110可以应用时间抗混淆(temporal anti-aliasing)。相反，在由用户选择的质量指标相对低的情况下，处理器110可以应用高斯抗混淆滤波器。
根据一个实施例，一种电子设备，包括：显示器；眼睛跟踪单元，被配置为获得用户的注视信息；以及处理器，其中所述处理器被配置为：通过使用注视信息来确定要在显示器上显示的图像的用户的感兴趣区域；收集电子设备的情景信息；至少基于所述情景信息，确定与用于所述图像的感兴趣区域的图像处理相关的第一属性信息、和与用于除所述图像的感兴趣区域之外的剩余区域的图像处理相关的第二属性信息；以及在显示器上显示通过使用第一属性信息对感兴趣区域进行图像处理而获得的第一部分图像、以及通过使用第二属性信息对剩余区域进行图像处理而获得的第二部分图像。
根据一个实施例，所述情景信息包括所述电子设备的处理情景信息、温度情景信息和存储器利用情景信息中的至少一个。
根据一个实施例，所述处理器还被配置为：分析要显示的图像的场景信息；以及基于分析结果确定图像的场景复杂度。
根据一个实施例，所述处理器还被配置为：接收选择用于图像的处理模式的用户输入；以及至少部分地基于所选择的处理模式来确定第一属性信息和/或第二属性信息。
根据一个实施例，所述处理器还被配置为：当处理模式为第一条件时，确定第一属性信息和/或第二属性信息，以使图像的处理速度优先；以及当处理模式是第二条件时，确定第一属性信息和/或第二属性信息，以使图像的处理质量优先。
根据一个实施例，所述处理器还被配置为组合所述第一部分图像和所述第二部分图像。
根据一个实施例，所述第一属性信息包括关于所述感兴趣区域的大小或角度的信息。
根据一个实施例，所述第二属性信息包括关于所述剩余区域的大小或角度的信息、以及是否对所述剩余区域应用抗混淆的信息中的至少一个。
根据一个实施例，所述第一属性信息和/或所述第二属性信息包括以下中的至少一个：与是否将半数据类型应用于所述图像的图像数据相关的信息、以及关于用于第一部分图像和第二部分图像的一个或多个帧缓冲器的大小的信息。
根据一个实施例，一种电子设备，包括：显示器，被配置为输出3D图像的至少一部分；眼睛跟踪单元，被配置为跟踪用户的注视方向；存储器；以及处理器，其中所述处理器被配置为：收集所述电子设备的状态信息、所述3D图像的分析信息以及关于所述3D图像的输出的用户输入信息中的至少一个；基于所收集的信息确定用于将中心凹式渲染应用于所述3D图像的输出的部分的调谐因子；以及基于所确定的调谐因子将中心凹式渲染应用于所述3D图像的输出的部分。
根据一个实施例，所述用户输入信息包括关于由所述用户通过用户界面选择的质量指标和/或性能指标的信息，并且所述处理器还被配置为基于所选择的质量指标和/或所选择的性能指标来确定所述调谐因子。
根据一个实施例，所述处理器被配置为在输出3D图像之前确定调谐因子。
根据一个实施例，所述处理器被配置为在输出3D图像的同时确定调谐因子。
根据一个实施例，所述质量指标对应于3D图像的输出分辨率，并且所述性能指标对应于3D图像的帧率。
根据一个实施例，所述质量指标与性能指标成反比。
根据一个实施例，分析信息包括基于3D图像的类型、与3D图像中的对象相关的信息和/或3D图像的分辨率确定的图像复杂度。
根据一个实施例，状态信息包括处理器负载、GPU负载、电子设备的电池中剩余的电力以及电子设备的内部或外部温度中的至少一个。
根据一个实施例，通过包括与3D图像的输出相关的多个项目的用户界面来收集用户输入信息，并且处理器还被配置为基于多个项目中的由用户选择的项目来确定调谐因子。
根据一个实施例，处理器还被配置为计算用于显示3D图像的一个或多个帧的时间，并确定在该时间内的调谐因子。
根据一个实施例，电子设备是设计为戴在用户头部上的头戴式设备(HMD)或者智能眼镜设备。
这里使用的术语“模块”可以指例如包括硬件、软件和固件中的一个或其组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”可互换地使用。“模块”可以机械地或电子地实现。例如，“模块”可以包括已知或将开发的用于执行一些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个。
根据本公开的各种实施例的设备(例如其模块或其功能)或方法(例如，操作)的至少一部分可以被实现为以程序模块的形式存储在计算机可读存储介质中的指令。在指令由处理器(例如，处理器110)执行的情况下，处理器可以执行与指令相对应的功能。计算机可读存储介质可以是例如存储器115。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如磁带)、光介质(例如CD-ROM、数字多功能盘(DVD))、磁光介质(例如，软盘)或硬件设备(例如，ROM、RAM、闪存等)。程序指令可以包括由编译器生成的机器语言代码和可以由计算机使用解释器执行的高级语言代码。上述硬件设备可以被配置为作为用于执行本公开的各种实施例的操作的一个或多个软件模块来操作，反之亦然。
例如，电子设备可以包括处理器和用于存储计算机可读指令的存储器。存储器可以包括用于在由处理器执行时执行上述各种方法或功能的指令。例如，存储器可以包括指令，该指令在由处理器执行时使处理器通过使用用户的注视信息来确定要在显示器上显示的图像的用户的感兴趣区域，收集电子设备的情景信息，至少基于情景信息，确定与用于图像的感兴趣区域的图像处理相关的第一属性信息和与用于除图像的感兴趣区域之外的剩余区域的图像处理相关的第二属性信息，并且在显示器上显示通过使用第一属性信息对感兴趣区域进行图像处理而获得的第一部分图像、以及通过使用第二属性信息对剩余区域进行图像处理而获得的第二部分图像。
根据本公开的各种实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略一些元件或者可以添加其他附加元件。根据本公开的各种实施例的模块、程序模块或其他元件所执行的操作可以以顺序的、并行的、迭代的或启发式的方式来执行。此外，一些操作可以以另一次序执行或者可以被省略，或者可以添加其他操作。
尽管已经参考本公开的各种实施例显示和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。
本公开的上述实施例的某些方面可以以硬件、固件实现，或经由执行软件或计算机代码、或在网络上下载的计算机代码来实现，所述软件或计算机代码可以存储在诸如CDROM、数字多功能盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘的记录介质中，所述在网络上下载的计算机代码最初存储在远程记录介质或非暂时性机器可读介质上并被存储在本地记录介质上，使得可以经由使用通用计算机或专用处理器或者在可编程或专用硬件(诸如ASIC或FPGA)中存储在记录介质上的这种软件来呈现在此描述的方法。如本领域中将理解的，计算机、处理器、微处理器控制器或可编程硬件包括可以存储或接收当由计算机、处理器或硬件访问和执行时实现本文描述的处理方法的软件或计算机代码的存储器组件，例如RAM、ROM、闪存等。

Claims (15)

1.一种电子设备，包括：
显示器；
眼睛跟踪单元，被配置为获得用户的注视信息；以及
处理器，
其中所述处理器被配置为：
通过使用用户的注视信息来确定要在显示器上显示的图像的感兴趣区域；
收集电子设备的情景信息；
至少基于所述情景信息，确定与用于所述图像的感兴趣区域的图像处理相关的第一属性信息、和与用于除所述图像的感兴趣区域之外的剩余区域的图像处理相关的第二属性信息；以及
在显示器上显示通过使用第一属性信息对感兴趣区域进行图像处理而获得的第一部分图像、以及通过使用第二属性信息对剩余区域进行图像处理而获得的第二部分图像。
2.根据权利要求1所述的电子设备，其中，所述情景信息包括所述电子设备的处理情景信息、温度情景信息和存储器利用情景信息中的至少一个。
3.根据权利要求1所述的电子设备，其中所述处理器还被配置为：
分析要显示的图像的场景信息；以及
基于分析结果确定图像的场景复杂度。
4.根据权利要求1所述的电子设备，其中所述处理器还被配置为：
接收选择用于图像的处理模式的用户输入；以及
至少部分地基于所选择的处理模式来确定第一属性信息和/或第二属性信息。
5.根据权利要求4所述的电子设备，其中所述处理器还被配置为：
当处理模式为第一条件时，确定第一属性信息和/或第二属性信息，以使图像的处理速度优先；以及
当处理模式是第二条件时，确定第一属性信息和/或第二属性信息，以使图像的处理质量优先。
6.根据权利要求1所述的电子设备，其中所述处理器还被配置为组合所述第一部分图像和所述第二部分图像。
7.根据权利要求1所述的电子设备，其中，所述第一属性信息包含关于所述感兴趣区域的大小或角度的信息。
8.根据权利要求1所述的电子设备，其中，所述第二属性信息包括关于所述剩余区域的大小或角度的信息、以及是否对所述剩余区域应用抗混淆的信息中的至少一个。
9.根据权利要求1所述的电子设备，其中，所述第一属性信息和/或所述第二属性信息包含以下中的至少一个：与是否将半数据类型应用于所述图像的图像数据相关的信息、以及关于用于第一部分图像和第二部分图像的一个或多个帧缓冲器的大小的信息。
10.一种电子设备，包括：
显示器，被配置为输出3D图像的至少一部分；
眼睛跟踪单元，被配置为跟踪用户的注视方向；
存储器；以及
处理器，
其中所述处理器被配置为：
收集所述电子设备的状态信息、所述3D图像的分析信息以及关于所述3D图像的输出的用户输入信息中的至少一个；
基于所收集的信息确定用于将中心凹式渲染应用于所述3D图像的输出的部分的调谐因子；以及
基于所确定的调谐因子将所述中心凹式渲染应用于所述3D图像的输出的部分。
11.根据权利要求10所述的电子设备，其中所述用户输入信息包括关于由所述用户通过用户界面选择的质量指标和/或性能指标的信息，以及
其中所述处理器还被配置为基于所选择的质量指标和/或所选择的性能指标来确定所述调谐因子。
12.根据权利要求10所述的电子设备，其中所述处理器还被配置为：
计算显示3D图像的一个或多个帧的时间；以及
确定该时间内的调谐因子。
13.一种在被配置为输出3D图像的至少一部分的电子设备中执行的图像输出方法，所述方法包括：
收集所述电子设备的状态信息、所述3D图像的分析信息以及关于所述3D图像的输出的用户输入信息中的至少一个；
基于所收集的信息来确定用于将中心凹式渲染应用于3D图像的输出的部分的调谐因子；以及
基于所确定的调谐因子将所述中心凹式渲染应用于所述3D图像的输出的部分。
14.根据权利要求13所述的方法，其中，所述用户输入信息包括关于由用户通过用户界面选择的质量指标和/或性能指标的信息。
15.根据权利要求14所述的方法，其中所述调谐因子的确定还包括：
基于质量指标和/或性能指标确定调谐因子。
CN201810021541.0A 2017-01-10 2018-01-10 用于输出图像的方法和支持该方法的电子设备 Expired - Fee Related CN108289217B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170003733A KR102623391B1 (ko) 2017-01-10 2017-01-10 영상 출력 방법 및 이를 지원하는 전자 장치
KR10-2017-0003733 2017-01-10

Publications (2)

Publication Number Publication Date
CN108289217A true CN108289217A (zh) 2018-07-17
CN108289217B CN108289217B (zh) 2020-12-15

Family

ID=60997310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810021541.0A Expired - Fee Related CN108289217B (zh) 2017-01-10 2018-01-10 用于输出图像的方法和支持该方法的电子设备

Country Status (4)

Country Link
US (1) US10331208B2 (zh)
EP (1) EP3346371B1 (zh)
KR (1) KR102623391B1 (zh)
CN (1) CN108289217B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850958A (zh) * 2018-08-21 2020-02-28 波音公司 用于小凹模拟的系统和设备及计算机可读存储设备
CN110910470A (zh) * 2019-11-11 2020-03-24 广联达科技股份有限公司 一种生成高质量缩略图的方法和装置
CN111868816A (zh) * 2018-09-04 2020-10-30 京东方科技集团股份有限公司 显示优化方法和显示装置
CN112783319A (zh) * 2019-11-05 2021-05-11 宏达国际电子股份有限公司 显示系统
WO2021139764A1 (zh) * 2020-01-09 2021-07-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及存储介质
CN113661477A (zh) * 2019-09-27 2021-11-16 苹果公司 管理具有加法显示器的设备
CN113950845A (zh) * 2019-05-31 2022-01-18 Dts公司 凹式音频渲染
CN114303119A (zh) * 2019-08-13 2022-04-08 三星电子株式会社 共指理解电子设备及其控制方法
CN114584814A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 调整终端功耗的方法、码率的调整方法及相关设备
CN116737097A (zh) * 2022-09-30 2023-09-12 荣耀终端有限公司 一种投屏图像处理方法及电子设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
JP7000050B2 (ja) * 2017-06-29 2022-01-19 キヤノン株式会社 撮像制御装置及びその制御方法
WO2019082510A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム
US10742966B2 (en) * 2017-11-16 2020-08-11 Htc Corporation Method, system and recording medium for adaptive interleaved image warping
GB2569176B (en) * 2017-12-08 2022-04-13 Displaylink Uk Ltd Processing visual information for display on a screen
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
FR3086399B1 (fr) * 2018-09-24 2021-09-17 Commissariat Energie Atomique Systeme de vision en realite virtuelle ou augmentee avec capteur d'image de l'œil, et procede associe
CN109005632A (zh) * 2018-09-27 2018-12-14 广东小天才科技有限公司 一种辅助学习方法及智能台灯
US10598942B1 (en) * 2018-10-05 2020-03-24 Facebook Technologies, Llc Mounting assembly with reworkable active alignment
KR102204212B1 (ko) * 2018-12-21 2021-01-19 주식회사 딥엑스 실감형 콘텐츠 제공 장치 및 방법
US11210772B2 (en) * 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
KR20200111446A (ko) 2019-03-19 2020-09-29 삼성전자주식회사 합성 이미지를 생성하는 전자 장치 및 방법
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110672087B (zh) * 2019-09-02 2023-08-11 湖南凌傲科技有限公司 一种人体跟踪方法及系统
US11151408B2 (en) * 2019-09-10 2021-10-19 Snap Inc. Occlusion detection system
KR102262019B1 (ko) * 2019-12-30 2021-06-08 주식회사 버넥트 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
KR102420166B1 (ko) * 2020-12-30 2022-07-12 주식회사 버넥트 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템
CN114935971B (zh) * 2021-02-05 2024-08-20 京东方科技集团股份有限公司 显示装置和显示驱动方法
KR102586644B1 (ko) * 2021-12-13 2023-10-10 한국전자기술연구원 포비티드 홀로그램의 파라미터 결정을 위한 주변시 영상 품질 변화에 대한 인지 실험 방법
WO2024117515A1 (ko) * 2022-11-29 2024-06-06 삼성전자주식회사 시나리오 컨텍스트에 따른 렌더링 이미지를 생성하기 위한 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
US20160267884A1 (en) * 2015-03-12 2016-09-15 Oculus Vr, Llc Non-uniform rescaling of input data for displaying on display device
CN107807732A (zh) * 2016-09-09 2018-03-16 三星电子株式会社 用于显示图像的方法、存储介质和电子装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1205881A3 (en) 1998-02-17 2004-10-27 Sun Microsystems, Inc. Graphics system with variable resolution super-sampling
US7499594B2 (en) 2002-04-15 2009-03-03 At&T Intellectual Property 1, L.P. Multi-resolution predictive foveation for bandwidth reduction of moving images
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
KR101378328B1 (ko) * 2006-08-22 2014-03-27 삼성전자주식회사 디지털 영상 처리 방법
WO2011060525A1 (en) * 2009-11-19 2011-05-26 Esight Corporation Image magnification on a head mounted display
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
CN105974587B (zh) 2011-11-24 2018-09-28 松下知识产权经营株式会社 头戴式显示器装置
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US20140192679A1 (en) 2013-01-08 2014-07-10 Tatung Company Convergent Network Node with the Automatic Reconfiguration Capability
US20140347363A1 (en) * 2013-05-22 2014-11-27 Nikos Kaburlasos Localized Graphics Processing Based on User Interest
US9922253B2 (en) * 2013-10-11 2018-03-20 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
KR102454196B1 (ko) 2014-05-27 2022-10-14 삼성전자 주식회사 디스플레이 제어 방법 및 이를 제공하는 전자 장치
IL235073A (en) * 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
KR102638468B1 (ko) * 2015-05-06 2024-02-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10726619B2 (en) * 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
US11010956B2 (en) * 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
KR102408649B1 (ko) 2016-02-19 2022-06-15 삼성전자주식회사 환경 설정 방법 및 장치
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10401952B2 (en) * 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) * 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10681326B2 (en) 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
WO2018125579A1 (en) * 2016-12-29 2018-07-05 Sony Interactive Entertainment Inc. Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
US20160267884A1 (en) * 2015-03-12 2016-09-15 Oculus Vr, Llc Non-uniform rescaling of input data for displaying on display device
CN107807732A (zh) * 2016-09-09 2018-03-16 三星电子株式会社 用于显示图像的方法、存储介质和电子装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110850958B (zh) * 2018-08-21 2024-06-21 波音公司 用于小凹模拟的系统和设备及计算机可读存储设备
CN110850958A (zh) * 2018-08-21 2020-02-28 波音公司 用于小凹模拟的系统和设备及计算机可读存储设备
CN111868816B (zh) * 2018-09-04 2023-01-20 京东方科技集团股份有限公司 显示优化方法和显示装置
CN111868816A (zh) * 2018-09-04 2020-10-30 京东方科技集团股份有限公司 显示优化方法和显示装置
CN113950845A (zh) * 2019-05-31 2022-01-18 Dts公司 凹式音频渲染
CN113950845B (zh) * 2019-05-31 2023-08-04 Dts公司 凹式音频渲染
CN114303119A (zh) * 2019-08-13 2022-04-08 三星电子株式会社 共指理解电子设备及其控制方法
CN113661477A (zh) * 2019-09-27 2021-11-16 苹果公司 管理具有加法显示器的设备
CN113661477B (zh) * 2019-09-27 2024-09-10 苹果公司 管理具有加法显示器的设备
CN112783319A (zh) * 2019-11-05 2021-05-11 宏达国际电子股份有限公司 显示系统
CN110910470A (zh) * 2019-11-11 2020-03-24 广联达科技股份有限公司 一种生成高质量缩略图的方法和装置
CN110910470B (zh) * 2019-11-11 2023-07-07 广联达科技股份有限公司 一种生成高质量缩略图的方法和装置
WO2021139764A1 (zh) * 2020-01-09 2021-07-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及存储介质
CN114584814A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 调整终端功耗的方法、码率的调整方法及相关设备
CN116737097B (zh) * 2022-09-30 2024-05-17 荣耀终端有限公司 一种投屏图像处理方法及电子设备
CN116737097A (zh) * 2022-09-30 2023-09-12 荣耀终端有限公司 一种投屏图像处理方法及电子设备

Also Published As

Publication number Publication date
US20180196512A1 (en) 2018-07-12
KR102623391B1 (ko) 2024-01-11
KR20180082253A (ko) 2018-07-18
CN108289217B (zh) 2020-12-15
US10331208B2 (en) 2019-06-25
EP3346371B1 (en) 2021-03-31
EP3346371A1 (en) 2018-07-11

Similar Documents

Publication Publication Date Title
CN108289217A (zh) 用于输出图像的方法和支持该方法的电子设备
US11650626B2 (en) Systems and methods for extending a keyboard to a surrounding surface using a wearable extended reality appliance
US11714280B2 (en) Wristwatch based interface for augmented reality eyewear
EP3329320B1 (en) Head-mounted display device with detachable device
KR102423184B1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
US10607323B2 (en) Head-mounted electronic device
US10929005B2 (en) Electronic device, wearable device, and method of controlling displayed object in electronic device
KR20170053280A (ko) 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
CN106802482A (zh) 联接器以及头戴式显示装置
US20160132189A1 (en) Method of controlling the display of images and electronic device adapted to the same
WO2022170221A1 (en) Extended reality for productivity
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
EP3550415A2 (en) Method for displaying object and electronic device thereof
US12100066B2 (en) Curated contextual overlays for augmented reality experiences
US20240310913A1 (en) Emg-based control for interacting with vehicles, and systems and methods of use thereof
CN117043709A (zh) 用于生产力的扩展现实

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201215

Termination date: 20220110