CN109891881A - 电子设备及其显示方法 - Google Patents

电子设备及其显示方法 Download PDF

Info

Publication number
CN109891881A
CN109891881A CN201780065162.5A CN201780065162A CN109891881A CN 109891881 A CN109891881 A CN 109891881A CN 201780065162 A CN201780065162 A CN 201780065162A CN 109891881 A CN109891881 A CN 109891881A
Authority
CN
China
Prior art keywords
depth value
electronic equipment
processor
display
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780065162.5A
Other languages
English (en)
Inventor
金庚泰
李淳永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109891881A publication Critical patent/CN109891881A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了包括显示器和处理器的电子设备。所述处理器被配置为：在所述显示器中显示包括一个或更多个对象的立体图像；如果发生用户界面(UI)显示的事件，则从所述一个或更多个对象中识别其显示位置与所述UI的显示位置重叠并且其深度值小于所述UI的深度值的对象；改变所述UI和所识别的对象中的至少一个的深度值；以及根据改变后的深度值，在所述显示器中显示所述UI和所述立体图像。

Description

电子设备及其显示方法
技术领域
本公开总体涉及用于在显示器中显示内容或用户界面(UI)的方法。
背景技术
随着电子技术的发展，正在开发和发布各种类型的电子产品。近年来，已经广泛地发布了具有显示器的电子设备，诸如智能电话、平板PC、电视、监视器、头戴式显示器(HMD)等。
电子设备在显示器中显示各种信息，例如，内容、UI等。最近已经开发了一种通过使用3D图像技术将内容、UI等提供为立体图像的设备。
发明内容
技术问题
在显示器中显示立体图像时，UI可以与内容一起显示。在立体图像上显示立体UI的情况下，可能出现立体UI与立体图像中包括的对象之间的深度值的差异，因此，用户可能感觉到差异或者用户的眼睛可能疲劳。
技术方案
本公开的一方面提供了一种电子设备及电子设备的显示方法，所述电子设备在立体图像上显示UI时在考虑包括在所述立体图像中的对象的深度值和未包括在所述立体图像中的对象的深度值的情况下，显示诸如未包括在所述立体图像中的UI的对象。
根据本公开的一方面，电子设备包括：显示器；以及处理器，所述处理器被配置为：在所述显示器中显示包括一个或更多个对象的立体图像；如果发生用户界面(UI)显示的事件，则从一个或更多个对象中识别其显示位置与所述UI的显示位置重叠并且其深度值小于所述UI的深度值的对象；改变所述UI和所识别的对象中的至少一个的深度值；以及根据改变后的深度值，在所述显示器中显示所述UI和所述立体图像。
技术效果
根据本公开的一个方面，可以解决用户在观看UI时感觉到的差异或疲劳。另外，即使立体图像中包括的对象或UI的深度值改变，用户也可以识别尺寸与深度值改变之前的尺寸相同的对象或UI。
附图说明
通过下面结合附图的描述，本公开的某些实施例的以上和其他方面、特征和优点将更加明显，其中：
图1示出了根据本公开的实施例的电子设备；
图2示出了根据本公开的实施例的电子设备的框图；
图3示出了根据本公开的实施例的程序模块的框图；
图4是示出根据本公开的实施例的电子设备的配置的框图；
图5a至图5c是示出根据本公开的实施例的显示屏的视图；
图6a至图6c示出了UI的深度值减小的实施例；
图7a至图7c示出了识别的对象的深度值增大的实施例；
图8a至图8c示出了UI的深度值增大的实施例；
图9a至图9c示出了识别的对象的深度值减小的实施例；以及
图10是示出根据本公开的实施例的电子设备的显示方法的流程图。
在整个附图中，应当注意，相似的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
在下文中，可以参考附图描述本公开的实施例。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以以各种方式进行在本文中描述的实施例的修改、等同物和/或替代。在本公开中，本文使用的表达“具有”、“可以具有”、“包括”和“包含”，或“可以包括”和“可以包括”表示存在相应的特征和元件，诸如数值、功能、操作或组件，但不排除其他特征的存在。
在本公开中，表达“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多个”等可以包括相关的列出项目中的任一个和一个或更多个的所有组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指包括以下所有情况：(1)包括至少一个A、(2)包括至少一个B或(3)包括至少一个A和至少一个B两者。
本公开中使用的诸如“第一”、“第二”等术语可以用于指各种元件而不管顺序和/或优先级，并且将相关元件与其他元件区分开，但是不限制元件。例如，“第一用户设备”和“第二用户设备”指示不同的用户设备而不管顺序或优先级。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。
应当理解，当元件(诸如第一元件)被称为“与另一元件(例如，第二元件)(可操作地或通信地)耦接/(可操作地或通信地)耦接到另一元件(例如，第二元件)”或“连接到另一元件(诸如第二元件)”时，第一元件可以与第二元件直接耦接/直接耦接到第二元件或直接连接到第二元件，或者可以存在中间元件，诸如第三元件。相反，当第一元件被称为“与第二元件直接耦接/直接耦接到第二元件”或“直接连接到第二元件”时，应当理解，没有中间的第三元件。
根据情况，本公开中使用的表述“被配置为”可以与表述“适合于”、“具有……能力”、“设计为”、“适应于”、“用作”、“能够”可互换地使用。术语“被配置为”并不意味着仅在硬件中的“专门设计为”。相反，表述“设备被配置为”可以指示设备“能够”与另一设备或其他组件一起操作。“被配置(或设置)为执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器或嵌入式处理器，或者诸如中央处理单元(CPU)或应用处理器(AP)的通用处理器，该通用处理器通过执行存储在存储器设备中的一个或更多个软件程序来执行相应操作。
本公开中使用的术语用于描述特定实施例，并且不旨在限制本公开的范围。除非另有说明，否则单数形式的术语可以包括复数形式。本文使用的所有术语(包括技术或科学术语)可以具有本领域技术人员通常理解的含义相同的含义。将进一步理解的是，除非在本公开中明确地如此定义，否则在字典中定义并且通常使用的术语也应当被解释为相关领域中的惯例而不是以理想化或过于正式的方式来解释。在一些情况下，即使术语是在本公开中定义的术语，也不应当将它们解释为排除本公开的实施例。
例如，根据本公开的实施例的电子设备可以包括以下各项中的至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频3(MP3)播放器、移动医疗设备、相机或可穿戴设备。可穿戴设备可以包括以下各项中的至少一项：配件型(诸如手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或HMD)、织物或衣服集成型(诸如电子衣服)、身体附接型(诸如皮肤垫或纹身)或生物可植入型(诸如可植入电路)。
根据本公开的实施例，电子设备可以是家用电器。家用电器可以包括以下各项中的至少一项：电视、数字视频盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(诸如SamsungHomeSyncTM、AppleTVTM或Google TVTM)、游戏机(诸如XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机或电子相框。
根据另一实施例，电子设备可以包括以下各项中的至少一项：各种便携式医疗测量设备(包括血糖测量设备、心跳测量设备或体温测量设备、体温测量设备、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪和超声设备)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、船舶电子设备(诸如导航系统和回转罗盘)、航空电子设备、安全设备、车头单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)设备或物联网(IoT)设备(诸如灯泡、各种传感器、电表或燃气表、喷水器、火警、恒温器、街灯、烤面包机、健身器材、热水箱、加热器或锅炉)。
根据本公开的各种实施例，电子设备可以包括以下各项中的至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(包括水表、电表、燃气表或波长表)。电子设备可以是上述设备中的一个或其组合并且可以是柔性电子设备，但是不限于上述电子设备，并且可以根据新技术的发展包括新电子设备。
在下文中，将参考附图描述根据本公开的实施例的电子设备。在本公开中，术语“用户”可以指使用电子设备的人或可以指使用电子设备的人工智能电子设备。
图1示出了根据本公开的实施例的电子设备。
参考图1，根据本公开的实施例，电子设备101、102或104或服务器106可以通过网络162或短程通信164彼此连接。电子设备101可以包括总线110、处理器180、存储器130、输入/输出接口150、显示器120和通信接口160。电子设备101可以不包括上述元件中的至少一个，或者还可以包括其他元件。
总线110可以与上述元件110至170互连，并且可以包括用于传送通信(诸如上述元件间的控制消息和/或数据)的电路。
处理器180可以包括CPU、AP或通信处理器(CP)中的一个或更多个。处理器180可以执行与电子设备101的至少其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他元件相关联的指令或数据。根据实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如，内核141、中间件143、应用编程接口(API)145和/或应用程序(或应用)147。内核141、中间件143或API 145的至少一部分可以称为操作系统(OS)。
例如，内核141可以控制或管理用于执行其他程序(诸如中间件143、API 145或应用程序147)的操作或功能的系统资源(诸如总线110、处理器180或存储器130)。此外，内核141可以提供接口，该接口允许中间件143、API 145或应用147访问电子设备101的分立元件以便控制或管理系统资源。
中间件143可以执行中介角色，使得API 145或应用程序147与内核141通信以交换数据。此外，中间件143可以根据优先级处理从应用程序147接收的任务请求。例如，中间件143可以向应用程序147中的至少一个分配优先级，该优先级可以使其使用系统资源(诸如电子设备101的总线110、处理器180和存储器130)。例如，中间件143可以根据分配给所述至少一个的优先级来处理一个或更多个任务请求，这使得可以对一个或更多个任务请求执行调度或负载平衡。
API 145可以是应用程序147通过其控制由内核141或中间件143提供的功能的接口，并且可以包括用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或功能(诸如指令)。
输入/输出接口150将从用户或另一外部设备输入的指令或数据发送到电子设备101的其他元件。此外，输入/输出接口150可以将从电子设备101的其他元件接收的指令或数据输出给用户或其他外部设备。
显示器120可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器120可以向用户显示例如各种内容，诸如文本、图像、视频、图标和符号。显示器120可以包括触摸屏，并且可以接收使用电子笔或用户身体的一部分进行的触摸、手势、接近或悬停输入。
例如，通信接口160可以在电子设备101与外部设备(诸如第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口160可以是通过无线通信或有线通信连接到网络162以与外部设备通信。
无线通信可以包括使用例如长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的至少一个作为蜂窝通信协议的蜂窝通信。根据实施例，无线通信可以包括无线保真(Wi-Fi)、蓝牙、蓝牙低功耗(BLE)、zigbee、近场通信(NFC)、磁安全传输(MST)、射频(RF)、体域网(BAN)或全球导航卫星系统(GNSS)。
MST可以使用电磁信号响应于传输数据生成脉冲，并且脉冲可以生成磁场信号。电子设备101可以将磁场信号传送到POS设备，并且POS设备可以使用MST读取器来检测磁场信号。POS设备可以通过将检测到的磁场信号转换为电信号来恢复数据。
GNSS可以包括全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(Beidou)或基于可用区域或带宽的欧洲全球卫星导航系统(Galileo)中的至少一个。在下文中，在本公开中，“GPS”和“GNSS”可以互换使用。有线通信可以包括通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准-232(RS-232)或普通老式电话服务(POTS)中的至少一个。网络162可以包括至少一个电信网络，例如，诸如LAN或WAN的计算机网络、因特网或电话网络。
第一外部电子设备102和第二外部电子设备104中的每个可以是类型与电子设备101的类型不同或相同的设备。服务器106可以包括一个或更多个服务器的组。根据本公开的实施例，电子设备101将执行的全部或部分操作可以由另一个或多个电子设备(诸如第一外部电子设备102、第二外部电子设备104或服务器106)执行。在电子设备101自动地或响应于请求执行任何功能或服务的情况下，电子设备101可以不内部地执行功能或服务，但是可选地或附加地，电子设备101可以从另一设备(诸如外部电子设备102或104或服务器106)请求与电子设备101相关联的功能的至少一部分。另一电子设备可以执行所请求的功能或附加功能，并且可以将执行结果发送到电子设备101。电子设备101可以使用所接收的结果提供所请求的功能或服务，或者可以另外处理所接收的结果以提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算。
图2示出了根据本公开的实施例的电子设备的框图。
参考图2，电子设备201可以包括例如图1中所示的电子设备101的全部或一部分。电子设备201可以包括一个或更多个处理器，诸如AP 210、通信模块220、用户识别模块(SIM)229、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可以驱动例如OS或应用以控制连接到处理器210的多个硬件或软件元件，并且可以处理和计算各种数据。例如，处理器210可以用片上系统(SoC)实现。根据实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2中所示的元件的至少一部分，诸如蜂窝模块221。处理器210可以将从其他元件中的至少一个(诸如非易失性存储器)接收的指令或数据加载到易失性存储器中并处理加载的指令或数据。处理器210可以将各种数据存储在非易失性存储器中。
通信模块220可以被配置为与图1的通信接口160相同或相似。通信模块220可以包括蜂窝模块221、Wi-Fi模块222、蓝牙(BT)模块223、GNSS模块224(诸如GPS模块、Glonass模块、Beidou模块或Galileo模块)、近场通信(NFC)模块225和射频(RF)模块227。
蜂窝模块221可以通过通信网络提供语音通信、视频通信、个性化服务或因特网服务。根据实施例，蜂窝模块221可以通过使用SIM 229(诸如SIM卡)来执行通信网络内的电子设备201的辨别和认证。蜂窝模块221可以执行处理器210提供的功能的至少一部分。根据实施例，蜂窝模块221可以包括CP。
例如，Wi-Fi模块222、BT模块223、GNSS模块224或NFC模块225中的每个可以包括用于处理通过相应模块交换的数据的处理器。根据实施例，蜂窝模块221、Wi-Fi模块222、BT模块223、GNSS模块224或NFC模块225中的至少一部分(诸如两个或更多个)可以被包括在一个集成电路(IC)或IC封装内。
例如，RF模块227可以发送和接收通信信号，诸如RF信号。例如，RF模块227可以包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据另一实施例，蜂窝模块221、Wi-Fi模块222、BT模块223、GNSS模块224或NFC模块225中的至少一个可以通过单独的RF模块发送和接收RF信号。
SIM 229可以包括包含用户识别模块的卡和/或嵌入式SIM，并且可以包括唯一标识信息(诸如集成电路卡标识符(ICCID))或用户信息(诸如集成移动用户标识(IMSI))。
存储器230可以包括内部存储器232或外部存储器234。例如，内部存储器232可以包括易失性存储器(诸如动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM))、非易失性存储器(诸如一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(诸如NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))中的至少一个。
外部存储器234可以包括闪存驱动器，诸如紧凑型闪存(CF)、安全数字(SD)、微安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极端数字(xD)、多媒体卡(MMC)或记忆棒等。外部存储器234可以通过各种接口功能地和/或物理地连接到电子设备201。
安全模块236可以是包括存储空间的模块，该存储空间的安全级别高于存储器230的安全级别，并且可以是保证安全数据存储和受保护运行环境的电路。安全模块236可以用单独的电路实现，并且可以包括单独的处理器。例如，安全模块236可以是可移除的智能芯片或安全数字(SD)卡，或者可以包括嵌入在电子设备201的固定芯片中的嵌入式安全元件(eSE)。此外，安全模块236可以基于与电子设备201的OS不同的OS来操作。例如，安全模块236可以基于java卡开放平台(JCOP)OS来操作。
传感器模块240可以测量电子设备201的物理量或可以检测电子设备201的操作状态。传感器模块240可以将测量到或检测到的信息转换为电信号。例如，传感器模块240可以包括以下各项中的至少一项：手势传感器240A、陀螺仪传感器240B、大气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(诸如红绿蓝(RGB)传感器)、生物计量传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M。附加地，传感器模块240还可以包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或指纹传感器。传感器模块240还可以包括用于控制其中包括的至少一个或更多个传感器的控制电路。根据实施例，电子设备201还可以包括处理器，该处理器是处理器210的一部分或者独立于处理器210并且被配置为控制传感器模块240。当处理器210保持在休眠状态时，处理器可以控制传感器模块240。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、键256或超声输入设备258。触摸面板252可以使用电容性检测方法、电阻性检测方法、红外检测方法或超声检测方法中的至少一个。另外，触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层，以向用户提供触觉反应。
(数字)笔传感器254可以是触摸板的一部分，或者可以包括用于识别的附加片。键256可以包括物理按钮、光学键或小键盘。超声输入设备258可以通过麦克风288检测(或感测)由输入设备生成的超声信号，并且可以检查与检测到的超声信号相对应的数据。
显示器260可以包括面板262、全息图设备264或投影仪266。面板262可以与图1中所示的显示器120相同或相似。面板262可以实现为柔性、透明或可穿戴的。面板262和触摸面板252可以集成到单个模块中。全息图设备264可以使用光干涉现象在空间中显示立体图像。投影仪266可以将光投射到屏幕上以显示图像。例如，屏幕可以布置在电子设备201的内部或外部。根据实施例，面板262可以包括压力传感器(或力传感器)，其测量与用户触摸相对应的压力的强度。压力传感器可以与触摸面板252集成在一起，或者可以独立于触摸面板252而与一个或更多个传感器一起实现。显示器260还可以包括用于控制面板262、全息图设备264或投影仪266的控制电路。
接口270可以包括HDMI 272、USB 274、光学接口276或D-超小型(D-sub)278。接口270可以被包括在图1所示的通信接口160中。接口270可以包括移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以双向转换声音和电信号。音频模块280的至少一部分可以被包括在图1中所示的输入/输出接口150中。音频模块280可以处理通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。
例如，相机模块291可以拍摄静止图像或视频。根据实施例，相机模块291可以包括至少一个或更多个图像传感器(诸如前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(诸如LED或氙气灯)。
电源管理模块295可以管理电子设备201的电力。根据实施例，电源管理集成电路(PMIC)、充电器IC或电池量表可以被包括在电源管理模块295中。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括磁共振方法、磁感应方法或电磁方法，并且还可以包括附加电路、线圈回路、谐振电路或整流器。电池量表可以在电池充电时测量电池296的剩余容量及其电压、电流或温度。电池296可以包括可再充电电池和/或太阳能电池。
指示器297可以显示电子设备201或其一部分(诸如处理器210)的特定状态，诸如启动状态、消息状态或充电状态。电机298可以将电信号转换为机械振动并且可以产生以下效果：振动、触觉等。用于支持移动TV的处理设备(诸如GPU)可以被包括在电子设备201中。用于支持移动TV的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)、mediaFloTM等的标准处理媒体数据。
根据本公开的实施例的电子设备的上述元件中的每个可以配置有一个或更多个组件，并且可以根据电子设备的类型来改变元件的名称。电子设备可以包括至少一个上述元件，并且可以省略一些元件或者可以添加其他附加元件。此外，电子设备的一些元件可以彼此组合以形成一个实体，从而可以以与组合之前的方式相同的方式执行元件的功能。
图3示出了根据本公开的实施例的程序模块的框图。
根据实施例，程序模块310可以包括用于控制与电子设备101相关联的资源的OS和/或在OS上驱动的各种应用147。OS可以是Android、iOS、Windows、Symbian、Tizen或Bada。
程序模块310可以包括内核320、中间件330、API 360和/或应用370。程序模块310的至少一部分可以被预先加载在电子设备上或者可以从外部电子设备102、104或服务器106下载。
内核320可以包括系统资源管理器321或设备驱动器323。系统资源管理器321可以执行系统资源的控制、分配或检索。根据实施例，系统资源管理器321可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动器323可以包括显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330可以提供应用370共同需要的功能，或者可以通过API 360向应用370提供各种功能，以允许应用370有效地使用电子设备的有限系统资源。根据实施例，中间件330可以包括运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352中的至少一个。
运行时库335可以包括库模块，编译器使用该库模块以在执行应用370时通过编程语言添加新功能。运行时库335可以执行输入/输出管理、存储器管理或关于算术功能的性能。
应用程序管理器341可以管理应用370中的至少一个应用的生命周期。窗口管理器342可以管理在屏幕中使用的图形用户界面(GUI)资源。多媒体管理器343可以识别播放多种媒体文件所需的格式，并且可以通过使用适合于该格式的编解码器来执行媒体文件的编码或解码。资源管理器344可以管理资源，诸如应用370中的至少一个应用的存储空间、存储器或源代码。
电源管理器345可以与基本输入/输出系统(BIOS)一起操作以管理电池或电力，并且可以为电子设备的操作提供电力信息。数据库管理器346可以生成、搜索或修改将在应用370中的至少一个应用程序中使用的数据库。包管理器347可以安装或更新以包文件的形式分发的应用。
连接管理器348可以管理诸如Wi-Fi或蓝牙的无线连接。通知管理器349可以以不干扰用户的模式显示或通知诸如到达消息、约会或接近通知的事件。位置管理器350可以管理关于电子设备的位置信息。图形管理器351可以管理提供给用户的图形效果或管理与其相关的用户界面。安全管理器352可以提供系统安全性、用户认证等所需的一般安全功能。根据实施例，在电子设备101包括电话功能的情况下，中间件330还可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器。
中间件330可以包括中间件模块，其组合了上述元件的各种功能。中间件330可以提供专用于每种OS类型的模块以提供差异化功能。另外，中间件330可以动态地移除一部分预先存在的元件，或者可以向其添加新元件。
API 360可以是编程功能集，并且可以具有根据OS可变的配置。例如，在OS是Android或iOS的情况下，可以为每个平台提供一个API集。在OS为Tizen的情况下，可以为每个平台提供两个或更多个API集。
应用370可以包括能够为主页371、拨号器372、SMS/MMS 373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383和计时器384提供功能、提供健康护理(诸如测量运动量或血糖)或环境信息(诸如大气压力、湿度或温度的信息)的一个或更多个应用。
根据实施例，应用370可以包括信息交换应用以支持电子设备101与外部电子设备102或104之间的信息交换。信息交换应用可以包括用于将特定信息发送到外部的通知中继应用或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括将通知信息发送到外部电子设备的功能，该通知信息来自其他应用，诸如用于SMS/MMS、电子邮件、健康护理或环境信息的应用。另外，信息交换应用可以从外部电子设备接收通知信息并将通知信息提供给用户。
设备管理应用可以管理、安装、删除或更新至少一个功能，诸如外部电子设备本身(或元件的一部分)的开启/关闭或者与电子设备通信的第一外部电子设备102或第二外部电子设备104的显示器的亮度(或分辨率)的调整，在外部电子设备中运行的应用或从外部电子设备提供的服务，诸如呼叫服务或消息服务。
根据实施例，应用370可以包括根据外部电子设备的属性分配的移动医疗设备的健康护理应用。应用370可以包括从外部电子设备接收的应用。应用370可以包括可从服务器下载的预加载应用或第三方应用。程序模块310的元件名称可以根据操作系统的种类而修改。
根据本公开的实施例，程序模块310的至少一部分可以由软件、固件、硬件或其两个或更多个的组合来实现。程序模块310的至少一部分可以由处理器210实现或执行。程序模块310的至少一部分可以包括用于执行一个或更多个功能的模块、程序、例程、指令集或过程。
图4是示出根据本公开的实施例的电子设备的配置的框图。
参考图4，电子设备400可以包括通信模块410(或通信电路)、存储器420、输入模块430(或输入设备)、显示器440和处理器450。电子设备400可以是包括显示器的设备，诸如HMD、智能电话、平板电脑、电视、监视器等。根据实施例，可以省略图1中示出的元件的一部分。
根据实施例，通信模块410可以与外部电子设备通信。通信模块410可以从外部电子设备接收内容。例如，外部电子设备可以是能够在与电子设备400连接之后通过有线或无线方式向电子设备400提供内容的源设备，例如，内容提供商服务器、智能电话、平板PC、机顶盒、游戏机、台式PC等。内容可以包括立体图像，并且内容可以包括左眼图像和右眼图像。内容还可以包括左眼图像(或右眼图像)和深度图(或深度图像)，并且内容可以包括左眼图像、右眼图像和深度图。
根据实施例，存储器420可以存储内容。例如，存储器420可以存储经由通信模块410接收的内容。存储器420可以存储UI。例如，UI可以包括形状、字符、图标、文本或符号中的至少一个。UI可以是立体UI。例如，UI可以包括要在左眼图像中显示的左眼UI和要在右眼图像中显示的右眼UI。存储器420可以将UI的显示位置存储在显示器440上。例如，存储器420可以将UI映射到UI的显示位置，并且可以存储映射信息。存储器420可以将UI映射到UI的深度信息(或视差信息)，并且可以存储映射信息。
根据实施例，输入模块430可以接收用户输入。例如，输入模块430可以接收用于显示UI的用户输入。
在实施例中，输入模块430可以包括感测用户的触摸操纵的触摸传感器面板、压力传感器面板或感测用户的笔操纵的笔传感器面板。输入模块430可以包括按钮、慢进&往复、运动识别传感器或语音识别传感器。在电子设备101是HMD的情况下，输入模块430可以包括感测用户头部的运动的运动检测传感器，诸如陀螺仪传感器或加速度传感器。
根据实施例，显示器440可以显示包括立体图像的内容。显示器440可以显示经由通信模块410从外部电子设备接收的内容或者存储在存储器420中的内容。显示器440可以显示UI。显示器440可以以三维(3D)显示UI。
根据实施例，在嵌入电子设备400或与电子设备400电连接之后，显示器440可以位于电子设备400的外部。输入模块430和显示器440可以用能够同时显示和感测触摸输入的触摸屏实现。在触摸屏中，触摸传感器面板可以设置在显示面板上。
根据实施例，处理器450可以控制电子设备400的整体操作。例如，处理器450可以通过控制通信模块410、存储器420、输入模块430和显示器440中的每个来在显示器440中显示UI。
根据实施例，电子设备400可以包括至少一个处理器450。例如，电子设备400可以包括执行至少一个功能的多个处理器450。处理器450可以用包括CPU、GPU和存储器的SoC实现。
图5a至图5c是示出根据本公开的实施例的显示屏的视图。
图5a示出了在显示器中显示的立体图像被呈现在用户的眼睛中的画面。图5b示出了在图5a的图像上显示的UI。图5c是示出UI的深度和立体图像中包括的对象的深度的视图。
根据实施例，处理器450可以在显示器440中显示包括立体图像的内容。例如，处理器450可以在显示器440的一部分区域中显示左眼图像并且可以在显示器440的另一部分区域中显示右眼图像。再如，处理器450可以以指定周期在显示器440中交替地显示左眼图像和右眼图像，或者可以显示左眼图像和右眼图像，以便交替地设置在一个图像帧内。
根据实施例，立体图像可以包括至少一个对象。例如，参考图5a，立体图像可以包括第一对象11、第二对象13、第三对象15和第四对象17。例如，第四对象17可以是背景图像。
根据实施例，如果发生UI显示事件，则处理器450可以在显示器440中显示与事件相对应的至少一个UI。例如，参考图5b，处理器450可以在显示器440中显示第一UI 21、第二UI 23和第三UI 25。例如，如果通过输入模块430接收用于显示UI的用户输入，则处理器450可以在显示器440中显示UI。又如，如果内容的播放结束，则处理器450可以在显示器440中显示UI。再如，如果通过通信模块410接收到消息或电子邮件，则处理器450可以显示UI。处理器450可以以3D形式在显示器440中显示UI。
根据实施例，处理器450可以通过使用多个层来显示内容和UI。例如，多个层可以包括至少一个内容层和至少一个UI层，该至少一个内容层包括内容中包括的对象，并且该至少一个UI层包括UI。在根据指定顺序重叠之后，可以在显示器440中显示多个层。UI层可以位于内容层上。例如，在图5b中，可以在多个对象11、13、15和17上(或前面)显示多个UI21、23和25。例如，多个UI 21、23和25可以是显示为比多个对象11、13、15和17更靠近用户的眼睛。
根据实施例，在显示器440中显示UI之前，处理器450可以分别将UI的显示位置和深度值与立体图像中包括的至少一个对象的显示位置和深度值进行比较。处理器450可以从立体图像中的一个或更多个对象中识别其显示位置与UI的显示位置重叠并且其深度值小于UI的深度值的对象。例如，处理器450可以从立体图像中包括的对象中识别其显示位置与UI的显示位置重叠的对象，并且可以确定其显示位置与UI的显示位置重叠的对象的深度值是否小于UI的深度值。例如，参考图5b，第一对象11的显示位置和第一UI 21的显示位置的至少一部分可以重叠。第二对象13的显示位置和第二UI 23的显示位置的至少一部分可以重叠。第三对象15的显示位置和第三UI 25的显示位置的至少一部分可以重叠。参考图5c，第一对象11的至少一部分的深度值可以小于第一UI 21的深度值，并且第三对象15的至少一部分的深度值可以小于第三UI 25的深度值。因此，处理器450可以将第一对象11和第三对象15中的每个识别为其显示位置与UI的显示位置重叠并且比UI更接近视点的对象。
根据实施例，如果对象的至少一部分的深度值小于UI的深度值，则处理器450可以确定对象的深度值小于UI的深度值。例如，参考图5c，第一对象11的一部分的深度值可以大于第一UI 21的深度值。第一对象11的其余部分的深度值可以小于第一UI 21的深度值。因此，处理器450可以确定第一对象11的具有小于第一UI 21的深度值的深度值。
根据实施例，处理器450可以通过使用立体图像的深度图来确定UI的深度值和立体图像中包括的至少一个对象的深度值是否彼此重叠。如果深度图未包括在立体图像中，诸如如果立体图像仅包括左眼图像和右眼图像两者，则处理器450可以通过使用立体图像来生成深度图。例如，处理器450可以生成包括左眼图像和右眼图像两者中包括的对象(或像素)的视差信息的视差图(或视差图像)，并且可以将所生成的视差图转换为深度图。处理器450可以通过使用从立体图像生成的深度图来确定UI的深度值和立体图像中包括的至少一个对象的深度值是否彼此重叠。
参考图5b和图5c，即使第一UI 21和第三UI 25分别显示在第一对象11和第三对象15的前面，第一UI 21和第三UI 25也可以分别具有大于第一对象11和第三对象15的深度值的深度值。例如，可能在第一UI 21和第一对象11二者或在第三UI 25和第三对象15二者中发生用户识别的重叠顺序(或深度顺序)与深度值之间的不匹配。因此，当用户观看第一UI21或第三UI 25时，用户可能感受到由在第一UI 21或第三UI 25的外围处显示的第一对象11或第三对象15导致的差异或疲劳。
根据本公开的实施例，处理器450可以改变UI和其显示位置与UI的显示位置重叠并且其深度值小于UI的深度值的对象(所识别的对象)中的至少一个的深度值。例如，处理器450可以改变左眼图像和右眼图像中包括的UI以及所识别的对象中的至少一个的视差。随着左眼图像和右眼图像之间的视差变大，深度值可以变小。随着左眼图像和右眼图像之间的视差变小，深度值可以变大。
根据实施例，当改变UI或所识别的对象的深度值时，处理器450可以在3D空间中改变UI或所识别的对象的尺寸。处理器450可以基于UI或所识别的对象的深度值来改变UI或所识别的对象的尺寸。例如，如果UI或所识别的对象的深度值变小，则处理器450可以减小UI或所识别的对象的尺寸。又如，如果UI或所识别的对象的深度值变大，则处理器450可以增大UI或所识别的对象的尺寸。
根据实施例，处理器450可以根据如下等式(1)改变UI或所识别的对象的尺寸：
x'表示改变后的UI或所识别的对象的尺寸，诸如宽度、高度或厚度，x表示改变前的UI或识别对象的尺寸，z'表示改变后的UI或所识别的对象的深度值，z表示改变前的UI或所识别的对象的深度值。参考等式(1)，改变后的UI的尺寸x'可以与UI 21的深度值成比例。
根据实施例，如果改变深度值、重叠顺序(或深度顺序)以及UI和所识别的对象的尺寸中的至少一个，则处理器450可以根据改变后的深度值、重叠顺序和尺寸来在显示器440中显示UI和立体图像。例如，处理器450可以反映深度值、重叠顺序以及UI和所识别的对象的尺寸的变化以呈现左眼图像和右眼图像。
在下文中，将参考图6至图9描述改变UI或所识别的对象的深度值的实施例。
图6a至图6c示出了UI的深度值减小的实施例。
根据实施例，处理器450可以减小UI的深度值，使得小于所识别的对象的深度值。例如，参考图6a，处理器450可以减小第一UI 21的深度值，使得第一UI 21具有小于第一对象11的深度值的深度值。又如，处理器450可以减小第三UI 25的深度值，使得第三UI 25具有小于第三对象15的深度值的深度值。
根据实施例，如果UI的深度值改变，则处理器450可以改变3D空间中的UI的尺寸，使得对应于改变后的深度值。例如，参考图6b，如果第一UI 21的深度值从z减小到z'，则处理器450可以将第一UI 21的尺寸从x减小到x'，使得与减小后的深度值成比例。因此，即使UI的深度值改变，也可以以原始尺寸向用户显示UI。
参考图6c，第一UI 21和第三UI 25可以分别被显示在第一对象11和第三对象15的前面。第一UI 21和第三UI 25可以分别具有小于第一对象11和第三对象15的深度值的深度值。例如，随着第一UI 21和第三UI 25的深度值改变，可以在第一UI 21和第一对象11两者中或者在第三UI 25和第三对象15中解决用户识别的重叠顺序(或深度顺序)与深度值之间的不匹配。因此，可以解决用户在观看第一UI 21或第三UI 25时感觉到的差异或疲劳。
图7a至图7c示出了所识别的对象的深度值增大的实施例。
根据实施例，处理器450可以增大所识别的对象的深度值，使得UI的深度值小于所识别的对象的深度值。例如，参考图7a，处理器450可以增大第一对象11的深度值，使得第一UI 21具有小于第一对象11的深度值的深度值。又如，处理器450可以增大第三对象15的深度值，使得第三UI 25具有小于第三对象15的深度值的深度值。
根据实施例，如果所识别的对象的深度值被改变，则处理器450可以在3D空间中改变所识别的对象的尺寸，使得对应于改变后的深度值。例如，参考图7b，如果第一对象11的深度值从z增大到z'，则处理器450可以将第一对象11的尺寸从x增大到x'，使得与增大后的深度值成比例。又如，如果第一对象11的深度值从z增大到z'，则处理器450可以将第一对象11的厚度从△z增大到△z'，使得与增大后的深度值成比例。
参考图7c，第一UI 21和第三UI 25可以分别显示在第一对象11和第三对象15的前面。第一UI 21和第三UI 25可以分别具有小于第一对象11和第三对象15的深度值的深度值。例如，随着第一对象11和第三对象15的深度值改变，可以在第一UI 21和第一对象11两者中或者在第三UI 25和第三对象15两者中解决用户识别的重叠顺序(或深度顺序)与深度值之间的不匹配。因此，可以解决用户在观看第一UI 21或第三UI 25时感觉到的差异或疲劳。
图8a至图8c示出了UI的深度值增大的实施例。
根据实施例，处理器450可以增大UI的深度值，使得UI的深度值大于所识别的对象的深度值。例如，参考图8a，处理器450可以增大第一UI 21的深度值，使得第一UI 21具有大于第一对象11的深度值的深度值。
根据实施例，如果UI的深度值改变，则处理器450可以改变3D空间中的UI的尺寸，使得对应于改变后的深度值。例如，参考图8b，如果第一UI 21的深度值从z增大到z'，则处理器450可以将第一UI 21的尺寸从x增大到x'，使得与增大后的深度值成比例。因此，即使UI的深度值改变，也可以以原始尺寸向用户显示UI。
根据实施例，处理器450可以改变包括UI的层和包括所识别的对象的层的重叠顺序，使得对应于改变后的深度值。例如，处理器450可以改变包括第一对象11的第一层和包括第一UI 21的第二层的重叠顺序。又如，处理器450可以改变包括第三对象15的第三层和包括第三UI 25的第四层的重叠顺序。因此，第一对象11可以被显示在第一UI 21上，第三对象15可以被显示在第三UI25上。
参考图8c，第一UI 21和第三UI 25可以分别被显示在第一对象11和第三对象15的后面。第一UI 21和第三UI 25可以分别具有比第一对象11和第三对象15的深度值大的深度值。随着第一UI 21的深度值改变并且第一UI 21和第三UI 25的重叠顺序改变，可以在第一UI 21和第一对象11两者中或在第三UI 25和第三对象15两者中解决用户识别的重叠顺序(或深度顺序)与深度值之间的不匹配。因此，可以解决用户在观看第一UI 21或第三UI 25时感觉到的差异或疲劳。
图9a至图9c示出了所识别的对象的深度值减小的实施例。
根据实施例，处理器450可以减小所识别的对象的深度值，使得UI的深度值大于所识别的对象的深度值。例如，参考图9a，处理器450可以减小第一对象11的深度值，使得第一UI 21具有大于第一对象11的深度值的深度值。
根据实施例，如果所识别的对象的深度值被改变，则处理器450可以在3D空间中改变所识别的对象的尺寸，使得对应于改变后的深度值。例如，参考图9b，如果第一对象11的深度值从z减小到z'，则处理器450可以将第一对象11的尺寸从x减小到x'，使得与减小后的深度值成比例。又如，如果第一对象11的深度值从z减小到z'，则处理器450可以将第一对象11的厚度从△z减小到△z'，使得与减小后的深度值成比例。
根据实施例，处理器450可以改变包括UI的层和包括所识别的对象的层的重叠顺序，使得对应于改变后的深度值。例如，处理器450可以改变包括第一对象11的第一层和包括第一UI 21的第二层的重叠顺序。又如，处理器450可以改变包括第三对象15的第三层和包括第三UI 25的第四层的重叠顺序。因此，第一对象11可以被显示在第一UI 21上，第三对象15可以被显示在第三UI 25上。
参考图9c，第一UI 21和第三UI 25可以分别被显示在第一对象11和第三对象15的后面。第一UI 21和第三UI 25可以分别具有比第一对象11和第三对象15的深度值大的深度值。随着第一UI 21的深度值改变并且第一UI 21和第三UI 25的重叠顺序改变，可以在第一UI 21和第一对象11两者中或在第三UI 25和第三对象15两者中解决用户识别的重叠顺序(或深度顺序)与深度值之间的不匹配。因此，可以解决用户在观看第一UI 21或第三UI 25时感觉到的差异或疲劳。
根据实施例，处理器450可以同时改变UI和所识别的对象的深度值。例如，处理器450可以减小UI的深度值，并且同时可以增大所识别的对象的深度值。例如，处理器450可以增大UI的深度值，并且同时可以减小所识别的对象的深度值。又如，处理器450可以将UI的深度值减小第一值，并且同时可以将所识别的对象的深度值减小比第一值小的第二值。再如，处理器450可以将UI的深度值增大第三值，并且同时可以将所识别的对象的深度值增大比第三值大的第四值。
在处理器450减小UI或所识别的对象的深度值的情况下，UI或所识别的对象可以非常靠近用户被显示。在UI或所识别的对象非常靠近用户显示的情况下，可能干扰用户。处理器450可以确定UI或所识别的对象的深度值是否小于指定的深度值。根据实施例，如果UI或所识别的对象的深度值小于指定的深度值，则处理器450可以将立体图像和UI显示为二维(2D)图像。
根据实施例，可以随时间改变立体图像中包括的至少一个对象或UI的显示位置或深度值。例如，显示器440上显示的立体图像可以根据安装HMD的用户头部的移动而改变。又如，根据用户输入，可以在显示器440中显示新UI，或者可以改变UI的位置或深度值。如果改变了显示器440中显示的至少一个对象或UI的显示位置或深度值，则处理器450可以从立体图像中包括的一个或更多个对象中识别其显示位置与UI的显示位置重叠并且其深度值小于UI的深度值的对象。处理器450可以根据改变的显示位置改变UI和所识别的对象中的至少一个的深度值。
图10是示出根据本公开的实施例的电子设备的显示方法的流程图。
图10的方法可以包括上述电子设备400处理的步骤。关于参考图1至图9描述的电子设备的详细描述可以应用于图10所示的流程图。
根据实施例，在步骤1010中，电子设备可以在显示器中显示立体图像(或内容)。例如，电子设备可以在显示器的一部分区域中显示左眼图像，并且可以在显示器的另一部分区域中显示右眼图像。又如，电子设备可以以指定周期在显示器中交替地显示左眼图像和右眼图像，或者可以显示左眼图像和右眼图像，以便交替地设置在一个图像帧内。
根据实施例，在步骤1020中，电子设备可以确定是否发生UI显示事件。例如，电子设备可以确定是否通过输入模块430接收到用于显示UI的用户输入或者内容的播放是否结束。又如，电子设备可以确定是否接收到消息或电子邮件。
根据实施例，电子设备可以通过使用多个层来显示立体图像和UI。例如，多个层可以包括至少一个内容层和至少一个UI层，该至少一个内容层包括立体图像中包括的对象，该至少一个UI层包括UI。
根据实施例，如果UI显示事件发生，则在步骤1030中，电子设备可以识别其显示位置与UI的显示位置重叠并且其深度值小于UI的深度值的对象。在显示器中显示UI之前，电子设备可以将UI的显示位置和深度值与立体图像中包括的至少一个对象的显示位置和深度值进行比较。如果对象的至少一部分的深度值小于UI的深度值，则电子设备可以确定对象的深度值小于UI的深度值。
根据实施例，电子设备可以通过使用立体图像的深度图来确定UI和立体图像中包括的至少一个对象的深度值是否彼此重叠。如果立体图像仅包括左眼图像和右眼图像两者，则电子设备可以通过使用立体图像生成深度图。
根据实施例，如果没有识别出其显示位置与UI的显示位置重叠并且其深度值小于UI的深度值的对象，则在步骤1060中，电子设备可以在显示器中显示UI和立体图像。例如，电子设备可以根据UI中设置的显示位置和深度值在显示器中显示与UI显示事件相对应的UI。
根据实施例，如果识别出其显示位置与UI的显示位置重叠并且其深度值小于UI的深度值的对象，则在步骤1040中，电子设备可以改变UI和所识别的对象中的至少一个的深度值。例如，电子设备可以减小UI的深度值，使得小于所识别的对象的深度值。又如，电子设备可以增大所识别的对象的深度值，使得UI的深度值小于所识别的对象的深度值。又如，电子设备可以增大UI的深度值，使得大于所识别的对象的深度值。再如，电子设备可以减小所识别的对象的深度值，使得UI的深度值大于所识别的对象的深度值。
根据实施例，当改变UI或所识别的对象的深度值时，电子设备可以在3D空间中改变UI或所识别的对象的尺寸。电子设备可以基于UI或所识别的对象的深度值来改变UI或所识别的对象的尺寸，即，与UI或所识别的对象的深度值成比例。
根据实施例，在步骤1050中，电子设备可以改变包括UI的层和包括所识别的对象的层的重叠顺序，使得对应于改变后的深度值。在UI的显示位置和深度值与所识别的对象的显示位置和深度值彼此相同的情况下，可以跳过步骤1050。
根据实施例，在步骤1060中，电子设备可以在显示器中显示UI和立体图像。例如，如果改变UI和所识别的对象的深度值、重叠顺序和尺寸中的至少一个，则电子设备可以根据改变后的深度值、重叠顺序和尺寸来在显示器中显示UI和立体图像。如果UI或所识别的对象的深度值小于指定的深度值，则电子设备可以将立体图像和UI显示为二维(2D)图像。
根据实施例，在步骤1070中，电子设备可以确定包括在立体图像或UI中的至少一个对象是否改变。例如，电子设备可以确定包括在立体图像或UI中的至少一个对象的显示位置或深度值是否改变。
根据实施例，如果包括在立体图像或UI中的至少一个对象改变，则电子设备可以再次执行步骤1030至步骤1060。
本公开中使用的术语“模块”可以指示包括硬件、软件和固件的一个或更多个组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用、可以是集成组件的最小单元或可以是整体配置的部件、可以是用于执行一个或更多个功能的最小单元并且可以机械地或电子地实现。例如，“模块”可以包括专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行(已知或将要开发的)某些操作的可编程逻辑器件中的至少一个。
可以通过以程序模块的形式存储在计算机可读存储介质中的指令来实现根据本公开的实施例的装置或方法的至少一部分。当由处理器执行时，该指令可以使一个或更多个处理器执行与该指令相对应的功能。
计算机可读记录介质可包括硬盘、软盘、磁介质(诸如磁带)、光学介质(诸如光盘只读存储器(CD-ROM)和数字通用光盘(DVD))、磁光介质(诸如光盘)和硬件设备(诸如只读存储器(ROM)、随机存取存储器(RAM)或闪存)。程序指令不仅可以包括机械代码，诸如由编译器生成的东西，还可以包括在使用解释器的计算机上可执行的高级语言代码。上述硬件单元可以被配置为通过用于执行操作的一个或更多个软件模块来操作，反之亦然。
根据实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括其他元件。由模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方法执行。另外，一些操作可以以不同的顺序执行或者可以省略。替代地，可以添加其他操作。
虽然已经参考本公开的实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备，所述电子设备包括：
显示器；以及
处理器，所述处理器被配置为：
在所述显示器中显示包括一个或更多个对象的立体图像；
如果发生用户界面(UI)显示的事件，则从所述一个或更多个对象中识别其显示位置与所述UI的显示位置重叠并且其深度值小于所述UI的深度值的对象；
改变所述UI和所识别的对象中的至少一个的深度值；以及
根据改变后的深度值，在所述显示器中显示所述UI和所述立体图像。
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
将其至少一部分的深度值小于所述UI的深度值的对象识别为深度值小于所述UI的深度值的对象。
3.根据权利要求2所述的电子设备，其中，所述处理器还被配置为：
基于所述立体图像中包括的深度图，识别所述立体图像中包括的所述一个或更多个对象的显示位置和深度值。
4.根据权利要求3所述的电子设备，其中，所述处理器还被配置为：
如果所述深度图未包括在所述立体图像中，则通过使用所述立体图像生成所述深度图；以及
基于所生成的深度图，识别所述立体图像中包括的所述一个或更多个图像的显示位置和深度值。
5.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
减小所述UI的深度值，使得所述UI的深度值小于所识别的对象的深度值。
6.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
增大所识别的对象的深度值，使得所述UI的深度值小于所识别的对象的深度值。
7.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
增大所述UI的深度值，使得所述UI的深度值大于所识别的对象的深度值。
8.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
减小所识别的对象的深度值，使得所述UI的深度值大于所识别的对象的深度值。
9.根据权利要求7所述的电子设备，其中，所述处理器还被配置为：
改变包括所述UI的层和包括所识别的对象的层的重叠顺序，使得对应于改变后的深度值。
10.根据权利要求5所述的电子设备，其中，所述处理器还被配置为：
改变所述UI和所识别的对象的尺寸，使得对应于改变后的深度值。
11.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
如果所述UI的改变后的深度值小于指定深度值，则将所述立体图像和所述UI显示为二维(2D)图像。
12.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：
如果所述立体图像中包括的所述一个或更多个图像的显示位置和深度值改变，则根据所述一个或更多个图像的改变后的显示位置和深度值，改变所述UI和所识别的对象中的至少一个的深度值。
13.一种电子设备的显示方法，所述方法包括：
在显示器中显示包括一个或更多个对象的立体图像；
如果发生UI显示的事件，则从所述一个或更多个对象中识别其显示位置与所述UI的显示位置重叠并且其深度值小于所述UI的深度值的对象；
改变所述UI和所识别的对象中的至少一个的深度值；以及
根据改变后的深度值，在所述显示器中显示所述UI和所述立体图像。
14.根据权利要求13所述的方法，其中，从所述一个或更多个对象中识别其显示位置与所述UI的显示位置重叠并且其深度值小于所述UI的深度值的对象包括：
将其至少一部分的深度值小于所述UI的深度值的对象识别为其深度值小于所述UI的深度值的对象。
15.根据权利要求13所述的方法，其中，改变所述深度值包括：减小所述UI的深度值，使得所述UI的深度值小于所识别的对象的深度值。
CN201780065162.5A 2016-10-26 2017-10-26 电子设备及其显示方法 Pending CN109891881A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160140159A KR20180045609A (ko) 2016-10-26 2016-10-26 전자 장치 및 전자 장치의 표시 방법
KR10-2016-0140159 2016-10-26
PCT/KR2017/011904 WO2018080193A1 (en) 2016-10-26 2017-10-26 Electronic device and displaying method thereof

Publications (1)

Publication Number Publication Date
CN109891881A true CN109891881A (zh) 2019-06-14

Family

ID=61969690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780065162.5A Pending CN109891881A (zh) 2016-10-26 2017-10-26 电子设备及其显示方法

Country Status (5)

Country Link
US (1) US20180113607A1 (zh)
EP (1) EP3510439A4 (zh)
KR (1) KR20180045609A (zh)
CN (1) CN109891881A (zh)
WO (1) WO2018080193A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019631A1 (en) * 2010-07-21 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for reproducing 3d content
US20120206574A1 (en) * 2011-02-15 2012-08-16 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US20150254905A1 (en) * 2012-05-31 2015-09-10 Scott Ramsby Fixed size augmented reality objects
CN105026981A (zh) * 2013-03-15 2015-11-04 高通股份有限公司 用于在头戴式显示器上显示图像的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091012A1 (en) * 2006-09-28 2010-04-15 Koninklijke Philips Electronics N.V. 3 menu display
CA2680724C (en) * 2007-03-16 2016-01-26 Thomson Licensing System and method for combining text with three-dimensional content
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
KR101719981B1 (ko) * 2010-07-13 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기
KR101862543B1 (ko) * 2011-09-08 2018-07-06 삼성전자 주식회사 깊이정보 생성장치, 깊이정보 생성방법 및 그 저장매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120019631A1 (en) * 2010-07-21 2012-01-26 Samsung Electronics Co., Ltd. Method and apparatus for reproducing 3d content
US20120206574A1 (en) * 2011-02-15 2012-08-16 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US20150254905A1 (en) * 2012-05-31 2015-09-10 Scott Ramsby Fixed size augmented reality objects
CN105026981A (zh) * 2013-03-15 2015-11-04 高通股份有限公司 用于在头戴式显示器上显示图像的方法和设备

Also Published As

Publication number Publication date
US20180113607A1 (en) 2018-04-26
WO2018080193A1 (en) 2018-05-03
KR20180045609A (ko) 2018-05-04
EP3510439A1 (en) 2019-07-17
EP3510439A4 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
US20170148307A1 (en) Electronic device and method for controlling the electronic device
CN108388390A (zh) 控制指纹传感器的设备和方法
CN107257954A (zh) 用于提供屏幕镜像服务的设备和方法
CN108476277A (zh) 电子装置
KR20160054840A (ko) 정보를 공유하기 위한 가상 환경
KR20170017289A (ko) 콘텐츠를 송수신하는 전자 장치 및 방법
KR20160101600A (ko) 스크린 미러링 서비스 제공방법 및 장치
KR102358849B1 (ko) 스마트 워치에 대한 정보를 제공하는 전자 장치와 이의 동작 방법
CN108700995A (zh) 电子设备和用于切换和对齐其应用的方法
CN110199503A (zh) 消息生成方法及用于支持该方法的可穿戴的电子设备
KR102304260B1 (ko) 위치 결정 방법, 전자 장치 및 저장 매체
KR20170052976A (ko) 모션을 수행하는 전자 장치 및 그 제어 방법
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
CN107800866A (zh) 答复提供方法及支持答复提供方法的电子装置
CN108652594B (zh) 用于测量生物计量信息的电子设备和方法
US10582156B2 (en) Electronic device for performing video call and computer-readable recording medium
KR20170052003A (ko) 복수의 디스플레이들을 갖는 전자 장치 및 그 동작 방법
CN108475181A (zh) 电子设备和用于操作电子设备的方法
EP3447673B1 (en) Electronic device and control method therefor
CN108632529A (zh) 为焦点提供图形指示符的电子设备及操作电子设备的方法
KR20170079610A (ko) 전자 장치 및 그의 동작 방법
KR102323797B1 (ko) 전자 장치 및 그의 정보 공유 방법
CN108475163A (zh) 用于合成屏幕的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190614

WD01 Invention patent application deemed withdrawn after publication