CN110494840A - 电子设备和用于电子设备的屏幕图像显示方法 - Google Patents

电子设备和用于电子设备的屏幕图像显示方法 Download PDF

Info

Publication number
CN110494840A
CN110494840A CN201880023800.1A CN201880023800A CN110494840A CN 110494840 A CN110494840 A CN 110494840A CN 201880023800 A CN201880023800 A CN 201880023800A CN 110494840 A CN110494840 A CN 110494840A
Authority
CN
China
Prior art keywords
image
electronic equipment
information
image data
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880023800.1A
Other languages
English (en)
Inventor
林来铉
金镇炯
许江伟
李贤柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110494840A publication Critical patent/CN110494840A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

根据本发明的各种实施例，一种电子设备可以包括：显示器，用于将图像数据中与指定方向相对应的图像的至少一部分作为部分图像显示在屏幕上；通信电路，用于接收与外部电子设备相关的信息；以及处理器，用于执行控制，以便通过显示器显示图像数据的第一部分图像，从通过通信电路接收的信息中检查关于正在外部电子设备上显示的图像数据的第二部分图像的信息，并且当通过显示器在屏幕上显示第一部分图像时，允许通过显示器显示关于第二部分图像的信息。本发明的各种实施例可以使得其他实施例成为可能。

Description

电子设备和用于电子设备的屏幕图像显示方法
技术领域
本公开的各种实施例涉及电子设备和屏幕显示方法，其中，电子设备显示与外部电子设备相关的信息。
背景技术
通常，虚拟现实(VR)是指通过计算机图形生成的环境或情境，以便具有与现实相似的环境，并表示一种界面，该界面使人们能够通过感觉器官进行感知，感觉好像他们正在进行实际的交互。用户可以通过操纵设备与VR进行实时交互，并具有与真实设备相似的感觉体验。
此外，通过支持VR服务的电子设备，可以在各种服务(诸如教育、游戏、导航、广告或博客)中轻松、频繁地访问VR技术。例如，电子设备可以将屏幕划分为左侧和右侧，并通过所划分的屏幕分别显示与左眼和右眼相对应的图像。例如，正在开发可以耦合到显示设备或头戴式显示器(HMD)设备的头戴式设备，使得可以在整个视场中提供通过相应分开的屏幕显示的图像。在整个视场中为用户提供与两只眼睛相对应的图像，从而为用户提供VR服务。
当HMD设备佩戴在用户的身体的一部分上(例如，在用户的头部上)时，HMD设备或安装在HMD设备上的电子设备可以输出接收的全向图像。可以通过感测HMD设备的加速度、角速度或倾斜方向并且在与全向图像中的感测信息相对应的观看方向上显示图像数据来输出全向图像。因此，HMD设备可以响应于用户的移动来改变和显示屏幕，并且用户可以观看变化的屏幕，从而接收现实模拟服务。
发明内容
技术问题
提供VR的电子设备是提供对应于两只眼睛的图像的个人电子设备。这样的个人电子设备的局限性在于，多个人不能用单个设备同时观看相同图像。
即使多个用户佩戴各自的电子设备并且被提供有相同的图像，由相应用户佩戴的电子设备播放的图像的回放(playback)时间点也可能彼此不同。另外，即使在相应电子设备中的图像回放的时间点相同，也可能根据图像中相应用户的观看取向(orientation)在屏幕上显示不同的图像。
例如，在360°图像的情况下，用户仅分别观看整个360°图像当中对应于部分视场(fields of view，FOV)的图像。因此，即使观看相同图像的用户也可能正在观看不同的屏幕。这使得无法确认用户是否正在观看相同屏幕，并因此使得它们之间的有效对话变得困难。
本公开各种实施例可提供一种电子设备和一种电子设备的屏幕显示方法，其中，当多个电子设备播放相同的图像数据时，每个电子设备播放的图像数据的回放时间点是同步的，并且电子设备之一提供关于由另一电子设备显示的图像的取向的信息，或关于部分图像(partial image)的信息。
技术方案
根据本公开一方面，根据实施例的电子设备可以包括：显示器，被配置为将图像数据当中与指定取向相对应的图像的至少一部分作为部分图像显示在屏幕上；通信电路，被配置为接收与外部电子设备相关的信息；以及处理器，被配置为控制通过显示器显示图像数据中的第一部分图像，从通过通信电路接收的信息中识别图像数据当中与外部电子设备中正在显示的第二部分图像相关的信息，并且当第一部分图像通过显示器显示在屏幕上时，控制通过显示器显示与第二部分图像相关的信息。
根据各种实施例之一的用于在电子设备中显示屏幕的方法可以包括：将图像数据当中与指定取向相对应的图像的至少一部分作为第一部分图像显示在电子设备的屏幕上；通过通信电路接收与外部电子设备相关的信息；从通过通信电路接收的信息中识别图像数据当中与由外部电子设备正在显示的图像数据的第二部分图像相关的信息；并且当第一部分图像显示在屏幕上时，在屏幕上显示与第二部分图像相关的信息。
有益技术效果
根据各种实施例的电子设备和电子设备的屏幕显示方法不仅向电子设备的用户提供用户可见的图像，而且还提供与观看相同图像的另一用户的图像的取向相关的信息。
另外，各种实施例提供了一种电子设备和电子设备的屏幕显示方法，其中，当多个电子设备播放相同的图像数据时，同步每个电子设备播放的图像数据的回放时间点，并且提供关于图像的取向的信息或关于部分图像的信息，使得多个用户可以分别通过使用其自己的电子设备观看相同的图像。因此，多个用户可以在通过相应电子设备观看相同屏幕的同时有效地交谈。
附图说明
图1是示出根据本公开各种实施例的网络环境的图。
图2是示出根据本公开各种实施例的电子设备的配置的示例的图。
图3是根据本公开各种实施例的程序模块的框图。
图4是示出根据本公开各种实施例的将电子设备安装在可穿戴设备上的示例的图。
图5是示出根据本公开各种实施例的将电子设备安装在可穿戴设备上的示例的图。
图6是示出根据本公开各种实施例的用户佩戴在其上安装有电子设备的可穿戴设备的示例的图。
图7是示出根据本公开各种实施例的电子设备的屏幕模式的图。
图8是示出根据本公开各种实施例的3D空间的图。
图9是示出根据本公开各种实施例的在可穿戴设备上显示的屏幕的示例的图。
图10是示出根据本公开各种实施例的屏幕显示方法的概念的图。
图11是示出根据本公开各种实施例的时间同步的概念的图。
图12是示出根据本公开各种实施例的屏幕显示方法的概念的图。
图13是示出根据本公开各种实施例的在整个图像当中在屏幕上显示的部分图像的变化的图。
图14是示出根据本公开各种实施例的在整个图像当中在屏幕上显示的部分图像的变化的图。
图15是示出根据本公开各种实施例的在整个图像当中在屏幕上显示的部分图像的变化的图。
图16是示出根据本公开各种实施例的在整个图像当中在屏幕上显示的部分图像的变化的图。
图17是示出根据本公开各种实施例的显示与外部电子设备相关的信息的示例的图。
图18是示出根据本公开各种实施例的显示与外部电子设备相关的信息的示例的图。
图19是示出根据本公开各种实施例的显示与外部电子设备相关的信息的示例的图。
图20是示出根据本公开各种实施例的在部分图像之间的相对距离的概念的图。
图21是示出根据本公开各种实施例的电子设备的屏幕显示过程的流程图。
图22是示出根据本公开各种实施例的在设备之间发送/接收的信息的信号流程图。
图23是示出根据本公开各种实施例的在设备之间发送/接收的信息的信号流程图。
图24是示出根据本公开各种实施例的可穿戴设备的配置的示例的框图。
具体实施方式
在下文中，将参考附图描述各种实施例。实施例和其中使用的术语不旨在将本文公开的技术限制为特定形式，并且应被理解为包括对相应实施例的各种修改、等同和/或替代。在描述附图时，相似的附图标记可用于表示相似的构成元件。除非在上下文中它们明确地不同，否则单数表达可包括复数表达。如本文所使用的，除非上下文另外明确指出，否则单数形式也可包括复数形式。表述“第一”、“第二”、“所述第一”或“所述第二”可以修饰各种元素，而与顺序和/或重要性无关，并且仅用于区分一个元素与另一元素而不限制相应的元素。当一个元件(例如，第一元件)被称为“(功能上或通信上)连接”或“直接耦合”到另一元件(第二元件)时，该元件可直接连接到另一元件或通过又一个元件(例如，第三元件)连接到另一元件。表达“复数”可表示至少两个。
根据环境，在各种实施例中使用的表达“被配置为”可以在硬件或软件方面与例如“适合于”、“具有......能力”、“被适配为”、“制作成”、“能够”或“被设计成”互换使用。替代地，在某些情况下，表达“设备被配置为”可表示该设备与其他设备或组件一起“能够”。例如，短语“被适配为(或被配置为执行A、B和C的处理器)”可表示仅用于执行相应操作的专用处理器(例如，嵌入式处理器)或通用处理器(例如，中央处理器)(CPU)或应用处理器(AP))可通过执行存储在存储器设备中的一个或多个软件程序来执行相应的操作。
根据各种实施例的电子设备可以包括例如智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式个人计算机、膝上型个人计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗设备、相机或可穿戴设备中的至少一个。根据各种实施例，可穿戴设备可以包括附件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或服装集成类型(例如，电子服装)、身体安装类型(例如，皮肤垫(skin pad)或纹身)和生物植入类型(例如，植入式电路)中的至少一种。在一些实施例中，电子设备可以包括例如电视机、数字视盘(DVD)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如Samsung HomeSyncTM、Apple TVTM或者Google TVTM)、游戏控制台(例如XboxTM和PlayStationTM)、电子词典、电子钥匙、摄相机、电子相框中的至少一个。
在其他实施例中，电子设备可包括各种医疗设备(例如，各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影术(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)机和超声波机)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子设备(例如船舶导航设备和陀螺罗盘)、航空电子设备、安全设备、汽车主机(automotivehead unit)、家庭或工业机器人、银行自动柜员机、商店销售点或物联网设备(例如灯泡、各种传感器、电表或煤气表、洒水设备、火警、恒温器、路灯、烤面包机、体育用品、热水罐、加热器、锅炉等)中的至少一种。根据一些实施例，电子设备可包括家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种类型的测量仪器(例如水表、电表、煤气表、无线电波表等)中的至少一个。在各种实施例中，电子设备可以是柔性的，或者可以是前述各种设备中的一个或多个的组合。根据实施例，电子设备不限于上述的那些。在本公开中，术语“用户”可指示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
全向或多向图像相机系统是指能够在整个360°方向上或参考固定视点的部分方向上拍摄图像的相机系统。全向图像既可包括观察者在固定位置进行完整转动时看到的视图，也可包括在向上和向下移动他/她的头部时看到的视图。全向图像相机系统可通过使用多个相机或在相机上安装特殊类型的反射镜(诸如双曲线反射镜)或特殊镜头(诸如鱼眼镜头)来在整个方向上拍摄图像。相机可向服务器或电子设备提供通过在整个方向上拍摄图像而获得的图像数据。
图像数据可以由可戴在人体上的头戴式电子设备(诸如HMD设备)播放或显示。当HMD设备佩戴在用户的身体的部分上(例如，在用户的头部上)时，图像数据可被播放并显示在屏幕上。HMD设备可以感测加速度、角速度或倾斜方向，并且可在屏幕上显示图像数据中与感测的信息相对应的视图方向上的图像数据(例如，部分图像)。因此，HMD设备可以响应于用户的移动来改变和显示屏幕，并且用户可观看变化的屏幕并且因此接收现实模拟服务。
根据各种实施例，当多个电子设备要播放相同的图像数据(例如360°图像数据)时，可以同步每个电子设备播放的图像数据的回放时间点，并且电子设备之一可以提供关于由另一电子设备显示的图像的信息(例如，关于整个图像数据中在屏幕上显示的图像的取向的信息或关于部分图像的信息)。
在稍后描述的本公开的各种实施例中，由电子设备播放并显示在屏幕上的“图像数据”可以包括被配置为使得根据图像内的用户或电子设备的取向，对应于取向的图像的至少一部分可以作为部分图像显示在屏幕上的数据。例如，图像数据可以包括VR图像、360°图像、全景图像、动画、漫画、静止图像和全景照片。
此外，在稍后描述的本公开各种实施例中，“部分图像”可以指在图像数据的每个时间点可以显示的整个图像数据中的响应于指定取向而显示在屏幕上的图像的至少一部分。“部分图像”也可以称为“显示图像”或“显示数据”，因为其可以指整个图像数据中显示在电子设备屏幕上的图像的至少一部分。
尽管为了便于描述360°图像中的部分图像被显示(或播放)的情况，将进行以下描述，但是本公开的实施例适用于被配置为使得整个图像的至少一部分通过电子设备的显示器显示的任何类型的图像数据。
图1是根据本公开的各种实施例的在网络环境100内的电子设备101的框图。参考图1，电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在一些实施例中，电子设备101可以省略元件中的至少一个，或者可以进一步包括另一元件。总线110可以包括例如使元件110至170互连并且在元件之间发送通信(例如，控制消息或数据)的电路。处理器120可以包括中央处理单元、应用处理器或通信处理器(CP)中的一个或多个。处理器120例如可以执行与电子设备101的至少一个其他元件的控制和/或通信相关的操作或数据处理。根据各种实施例，电子设备101可以包括被配置为显示图像数据的HMD设备，并且电子设备101可以被安装和使用在单独的HMD设备上。
存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储例如与电子设备101的至少一个其他元件相关的指令或数据。根据各种实施例，存储器130可以存储要通过显示器160显示的图像数据。
根据实施例，存储器130可存储软件和/或程序140。程序140可以包括内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API145中的至少一些可被称为操作系统。内核141可以控制或管理用于执行由其他程序(例如中间件143、API 145或应用程序147)实施的操作或功能的系统资源(例如总线110、处理器120或存储器130)。此外，内核141可以提供接口，中间件143、应用编程接口145或应用程序147可以通过该接口访问电子设备101的各个元件，以控制或管理系统资源。
中间件143可用作例如用于允许API 145或应用程序147与内核141通信以交换数据的中介(intermediary)。此外，中间件143可以根据其优先级来处理从应用程序147接收的一个或多个任务请求。例如，中间件143可以将用于使用电子设备101的系统资源(例如，总线110、处理器120、存储器130等)的优先级分配给一个或多个应用程序147，并且可以处理一个或多个任务请求。API 145是应用程序147通过其控制从内核141或中间件143提供的功能的接口，并且可包括例如用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如指令)。例如，输入/输出接口150可将从用户或外部设备输入的指令或数据转发到电子设备101的其他(多个)元件，或者可将从电子设备101的其他(多个)元件接收的指令或数据输出到用户或外部设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160可以为用户显示例如各种类型的内容(例如，文本、图像、视频、图标和/或符号)。显示器160可以包括触摸屏，并且可以接收例如使用例如电子笔或用户的身体部分的触摸、手势、接近或悬停输入。
通信接口170可例如在电子设备101与外部设备(例如，第一外部电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170可通过无线或有线通信连接到网络162以与外部设备(例如，第二外部电子设备104或服务器106)通信。根据各种实施例，电子设备101可通过通信接口170从服务器106接收图像数据并且可将其存储在存储器130中。电子设备101可通过通信接口170接收关于第一外部电子设备102或第二外部电子设备104的信息。关于第一外部电子设备102或第二外部电子设备104的信息可以通过服务器106发送到电子设备101并且可不通过服务器106而直接从第一外部电子设备102或第二外部电子设备104发送到电子设备101。
无线通信可以包括例如蜂窝通信，该蜂窝通信使用LTE、高级LTE(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(gGSM)等中的至少一种。根据实施例，如图1中的元件164所示，无线通信可以包括例如无线保真(WiFi)、光保真(LiFi)、蓝牙、蓝牙低功耗(BLE)、紫蜂、近场通信(NFC)、磁安全传输、射频(RF)或体域网(BAN)中的至少一种。根据实施例，无线通信可以包括GNSS。GNSS可以是例如全球定位系统(GPS)、全球导航卫星系统(Glonass)，北斗导航卫星系统(以下称为“北斗”)或伽利略(Galileo欧洲基于全球卫星的导航系统)。在下文中，在本文中，术语“GPS”可以与术语“GNSS”互换。有线通信可以包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信、普通老式电话服务(POTS)等中的至少一种。网络162可以包括电信网络，例如，计算机网络(例如，LAN或WAN)、互联网或电话网络中的至少一个。
第一外部电子设备102和第二外部电子设备104中的每一个可以与电子设备101具有相同或不同的类型。根据各种实施例，在电子设备101中执行的全部或一些操作可以在另一电子设备或多个电子设备(例如，电子设备102和104或服务器106)中执行。根据实施例，当电子设备101必须自动地或响应于请求执行一些功能或服务时，电子设备101可以请求另一设备(例如，电子设备102或104或服务器106)执行与其相关的至少一些功能，而不是自身或另外地执行功能或服务。另一电子设备(例如，电子设备102或104或服务器106)可以执行请求的功能或附加功能，并且可以将其结果传递给电子设备101。电子设备101可以按原样提供接收的结果，或者可以附加地处理接收的结果以提供请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
根据各种实施例，当图像数据的第一部分图像通过电子设备101的显示器160显示在屏幕上时，并且当图像数据的第二部分图像显示在第一外部电子设备102或第二外部电子设备104的屏幕上时，电子设备101可以通过通信接口170接收与第二部分图像相关的信息。根据各种实施例，电子设备101可以从接收的与第二部分图像相关的信息中生成至少一条信息，并且可以通过显示器160在屏幕上显示该信息。
根据本公开的各种实施例之一的电子设备可以包括：显示器，被配置为将图像数据中与指定取向相对应的图像的至少一部分作为部分图像显示在屏幕上；通信电路，被配置为接收与外部电子设备相关的信息；以及处理器，被配置为控制通过显示器显示图像数据中的第一部分图像，从通过通信电路接收的信息中识别图像数据中与外部电子设备中正在显示的第二部分图像相关的信息，并且当第一部分图像通过显示器显示在屏幕上时，控制通过显示器显示与第二部分图像相关的信息。
根据各种实施例，与通过显示器显示的第二部分图像相关的信息可以包括关于与第一部分图像的相对位置关系的信息。
根据各种实施例，处理器可以被配置为当第一部分图像和第二部分图像之间的距离在指定距离内时，控制输出预先配置的通知。
根据各种实施例，预先配置的通知可以包括声音、图像、符号和动画中的至少一种。
根据各种实施例，电子设备可以被配置为从服务器接收图像数据。
根据各种实施例，处理器可以被配置为响应于外部电子设备的回放时间点同步请求，控制通过通信电路发送与由电子设备正在播放的图像数据的回放时间点相关的信息。
根据各种实施例，通信电路可以被配置为接收关于由外部电子设备正在播放的图像数据的回放时间点的信息。
根据各种实施例，处理器可以被配置为控制通过通信电路将关于通过显示器正在显示的第一部分图像的信息发送到外部电子设备。
根据各种实施例，图像数据可以包括虚拟现实图像、360°图像、全景图像、动画图像、漫画、静止图像和全景照片中的至少一个。
根据各种实施例，处理器可以被配置为当由外部电子设备播放的图像数据的回放时间点和由电子设备播放的图像数据的回放时间点同步时，控制通过显示器显示与第二部分图像相关的信息。
图2是根据本公开的各种实施例的电子设备201的框图。
参考图2，电子设备201可以包括例如图1所示的电子设备101的全部或一部分。电子设备201可以包括处理器210(例如，AP)、通信模块220、订户识别模块224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298中的至少一个。处理器210可以控制与其连接的多个硬件或软件元件，并且可以通过驱动操作系统或应用程序来执行各种数据处理和操作。处理器210可由例如片上系统(SoC)来实施。根据实施例，处理器210可以进一步包括图形处理单元(GPU)和/或图像信号处理器。处理器210还可以包括图2所示的元件中的至少一些(例如，蜂窝模块221)。处理器210可在易失性存储器中加载从至少一个其他元件(例如，非易失性存储器)接收的指令或数据，处理加载的指令或数据，并将结果数据存储在非易失性存储器中。
通信模块220(例如，通信接口170)可以包括例如蜂窝模块221、Wi-Fi模块223、蓝牙(BT)模块225、GNSS模块227、NFC模块228和RF模块229。蜂窝模块221可以通过通信网络提供例如语音通信服务、视频通信服务、文本消息服务、互联网服务等。根据实施例，蜂窝模块221可以使用订户识别模块224(例如，SIM卡)来识别和认证通信网络内的电子设备201。根据实施例，蜂窝模块221可以执行处理器210可以提供的至少一些功能。根据实施例，蜂窝模块221可以包括通信处理器(CP)。在一些实施例中，蜂窝模块221、无线模块223、蓝牙模块225、全球导航卫星系统模块227或NFC模块228中的至少一些(两个或更多个)可以包括在单个集成芯片(IC)或IC封装中。RF模块229可以发送/接收例如通信信号(例如，RF信号)。RF模块229可以包括例如收发器、功率放大器模块(pPAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一个可以通过单独的RF模块发送/接收RF信号。订户识别模块224可以包括例如包括订户识别模块或嵌入式SIM的卡，并且可以包含唯一识别信息(例如集成电路卡标识符(ICCID))或订户信息(例如，国际移动用户身份(IMSI))。
存储器230(例如，存储器130)可以包括例如内部存储器232或外部存储器234。内部存储器232可以包括例如易失性存储器(例如，DRAM、SRAM、SDRAM等)和非易失性存储器(例如，一次性可编程ROM(OTPROM)、PROM、EPROM、EEPROM、掩码ROM、闪存ROM、闪存、硬盘驱动器或固态驱动器(SSD))。外部存储器234可包括闪存驱动器，例如，紧凑型闪存(CF)、安全数字(SD)、微型SD、迷你SD、极限数字(xD)、多媒体卡(MMC)或记忆棒。外部存储器234可以通过各种接口在功能上或物理上连接到电子设备201。
传感器模块240可以例如测量物理量或检测电子设备201的操作状态，并将测量或检测的信息转换为电信号。传感器模块240可以包括例如姿态传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如红、绿、蓝(RGB)传感器)、生物测定传感器240I、温度/湿度传感器240J、照明传感器240K和紫外(UV)传感器240M中的至少一个。附加地或替代地，传感器模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块240可以进一步包括用于控制其中包括的一个或多个传感器的控制电路。在一些实施例中，电子设备201可以进一步包括处理器，该处理器被配置为控制作为处理器210的一部分或与处理器210分开的传感器模块240，并且可以在处理器210处于睡眠状态时控制传感器模块240。
输入设备250可以包括例如触摸面板252、(数字)笔传感器254、键256或超声波输入设备258。触摸面板252可以采用例如电容方案、电阻方案、红外方案或超声波方案中的至少一种。此外，触摸面板252可以进一步包括控制电路。触摸面板252可以进一步包括触觉层，以向用户提供触觉反应。(数字)笔传感器254可以包括例如识别片，该识别片是触摸板的一部分或与触摸板分开。键256可以包括例如物理按钮、光学键或键盘。超声波输入设备258可以通过麦克风(例如，麦克风288)检测由输入工具生成的超声波，以识别与检测的超声波相对应的数据。
显示器260(例如，显示器160)可以包括面板262、全息设备264、投影仪266和/或用于控制它们的控制电路。面板262可以被实施为例如柔性的、透明的或可穿戴的。面板262与触摸面板252一起可以被配置为一个或多个模块。根据实施例，面板262可以包括压力传感器(或力传感器)，其可以测量用户触摸的压力强度。压力传感器可以被实施为与触摸面板252集成，或者可以被实施为与触摸面板252分离的一个或多个传感器。全息设备264可以通过使用光的干涉在空中显示三维图像。投影仪266可以通过将光投射到屏幕上来显示图像。屏幕可以位于例如电子设备201的内部或外部。接口270可以包括，例如，HDMI 272、USB274、光学接口276或(D-sub)278。接口270可以包括在例如图1所示的通信接口170中。附加地或替代地，接口270可以例如包括移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块280可以将例如声音转换成电信号，反之亦然。音频模块280的至少一些元件可以被包括在例如图1所示的输入/输出接口150中。音频模块280可以处理通过例如扬声器282、接收器284、耳机286、麦克风288等输入或输出的声音信息。相机模块291是可以拍摄静止图像和运动图像的设备。根据实施例，相机模块291可以包括一个或多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。电源管理模块295可以管理例如电子设备201的电力。根据实施例，电源管理模块295可以包括电源管理集成电路(PMIC)、充电器IC或者电池或燃料量计。PMIC可以使用有线和/或无线充电方法。无线充电方法的示例可以包括磁共振方法、磁感应方法、电磁波方法等。可以进一步包括用于无线充电的附加电路(例如，线圈回路、谐振电路、整流器等)。电池量计可以测量例如电池296的剩余量以及在充电时的电压、电流或温度。电池296可以包括例如可再充电电池和/或太阳能电池。
指示器297可以显示电子设备201或电子设备201的一部分(例如，处理器210)的特定状态，例如，引导状态、消息状态、充电状态等。电动机298可以将电信号转换为机械振动，并且可以生成振动、触觉效果等。电子设备201可以包括能够根据标准(诸如数字多媒体广播(DMB)、数字视频广播(DVB)、媒体流等)处理媒体数据的移动TV支持设备(例如，GPU)。本文中描述的每个构成元件可以被配置为一个或多个组件，并且相应元件的名称可以基于电子设备的类型而改变。在各种实施例中，电子设备(例如，电子设备201)可以省略一些元件或者可以进一步包括附加元件，或者电子设备的一些元件可以彼此组合以配置一个实体，在这种情况下，电子设备可以同样地执行在组合之前的相应元件的功能。
图3是根据本公开的各种实施例的程序模块的框图。
根据实施例，程序模块310(例如，程序140)可以包括控制与操作系统上驱动的电子设备(例如，电子设备101)和/或各种应用(例如，应用程序147)相关的资源的操作系统。操作系统可以包括，例如，AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM、或BadaTM。参考图3，程序模块310可以包括内核320(例如内核141)、中间件330(例如中间件143)、API 360(例如API145)和/或应用370(例如应用程序147)。程序模块310的至少一部分可以被预加载在电子设备上，或者可以从外部电子设备(例如，电子设备102或104或服务器106)下载。
内核320可以包括例如系统资源管理器321和/或设备驱动器323。系统资源管理器321可以控制、分配或检索系统资源。根据实施例，系统资源管理器321可以包括进程管理器、存储器管理器或文件系统管理器。设备驱动器323可以包括例如显示驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。中间件330可以例如提供由应用370共同所需的功能，或者可以通过API 360向应用370提供各种功能，使得应用370可以有效地使用电子设备内的有限系统资源。根据实施例，中间件330可以包括运行库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352中的至少一个。
运行库335可以包括例如库模块，编译器使用该库模块以便在应用程序370被执行时通过编程语言添加新功能。运行库335可以管理输入/输出、管理存储器或处理算术函数。应用管理器341可以管理例如应用370的生命周期。窗口管理器342可以管理用于屏幕的GUI资源。多媒体管理器343可以识别播放各种媒体文件所需的格式，并且可以使用适合于相应格式的编解码器对媒体文件进行编码或解码。资源管理器344可以管理应用370的源代码或存储器中的空间。电源管理器345可以管理例如电池容量、温度或功率，并且可以基于相应的信息来确定或提供电子设备的操作所需的电源信息。根据实施例，电源管理器345可以结合基本输入/输出系统(BIOS)来操作。数据库管理器346可以例如生成、搜索或改变要由应用370使用的数据库。包管理器347可以管理以包文件的形式分发的应用的安装或更新。
连接管理器348可以管理例如无线连接。通知管理器349可以向用户通知事件，诸如传入消息、约定或接近通知。位置管理器350可以管理例如电子设备的位置信息。图形管理器351例如可以管理要提供给用户的图形效果或与图形效果相关的用户界面。安全管理器352可以提供例如系统安全或用户认证。根据实施例，中间件330可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器，或者能够形成上述元件的功能组合的中间件模块。根据实施例，中间件330可以根据操作系统的类型来提供专用模块。中间件330可以动态地删除一些现有元件，或者可以添加新元件。API 360例如是API编程功能的集，并且可以根据操作系统在具有不同配置的同时被提供。例如，在Android或iOS的情况下，可以为每个平台提供一个API集，并且在Tizen的情况下，可以为每个平台提供两个或更多API集。
应用370可以包括例如主页应用371、拨号器应用372、SMS/MMS应用373、即时消息(IM)应用374、浏览器应用375、相机应用376、警报应用377、联系人应用378、语音拨号应用379、电子邮件应用380、日历应用381、媒体播放器应用382、相册应用383、手表应用384、医疗保健应用(例如，用于测量运动量或血糖的应用)、或提供环境信息(例如，大气压、湿度或温度信息)的应用。根据实施例，应用370可以包括能够支持电子设备和外部电子设备之间的信息交换的信息交换应用。信息交换应用可以包括例如用于将特定信息中继到外部电子设备的通知中继应用或用于管理外部电子设备的设备管理应用。例如，通知中继应用可以将在电子设备的其他应用中生成的通知信息中继到外部电子设备，或者可以从外部电子设备接收通知信息以将接收的通知信息提供给用户。设备管理应用可以执行与电子设备通信的外部电子设备的功能(例如，打开/关闭外部电子设备(或其一些元件)或控制显示器的亮度(或分辨率)的功能)，或者安装、删除或更新由外部电子设备执行的应用。根据实施例，应用370可以包括根据外部电子设备的属性指定的应用(例如，移动医疗器械的健康护理应用)。根据实施例，应用370可以包括从外部电子设备接收的应用。程序模块310中的至少一些可以由软件、固件、硬件(例如，处理器210)或其两个或更多个的组合来实施(例如，执行)，并且可以包括用于执行一个或多个功能的模块、程序、例程、指令集或过程。
在下文中，将参考图4、图5和图6描述将电子设备(例如，智能电话)安装在可穿戴设备上的示例。
图4和图5是示出根据本公开的各种实施例的可穿戴设备400的示例的图。参考图4和图5，可穿戴设备400可以是图1所示的电子设备101、102或104。此外，如上所述，可穿戴设备400可以仅提供支架的功能，而不具有与电子设备420通信的功能。可穿戴设备400可以包括主体和盖。
当电子设备420被安装在可穿戴设备400的主体部分410上时，盖可以被固定到可穿戴设备400以覆盖电子设备420的后表面的外围，使得电子设备420保持安装在其中。可穿戴设备400可以包括支撑部分，当用户将可穿戴设备400放在他/她的头部上时可以使用该支撑部分。
另外，可穿戴设备400的主体部分410可具有分别设置在与佩戴者的双眼相对应的位置中的透镜。当电子设备420保持安装在可穿戴设备410的主体部分410上时，佩戴者可以通过透镜观看电子设备420的显示器(未示出)。如图4所示，可穿戴设备400可以是机械结构，其被配置为使得电子设备420可以以可附接/可拆卸的方式安装在其上。
根据各种实施例，可穿戴设备400可以包括图1的电子设备101的构成元件中的至少一个。例如，可穿戴设备400可以包括触摸面板、按钮、滚轮键和触摸板中的至少之一。触摸面板可以接收用户的触摸输入。触摸输入可以是用户在触摸板上的直接触摸输入，也可以是接近触摸板的悬停输入。当电子设备420安装在可穿戴设备400上时，可穿戴设备400可以通过诸如USB的接口连接到其上，以便与电子设备420通信。
电子设备420可以响应于从可穿戴设备400接收的输入并且控制与该输入相对应的功能。例如，电子设备420可以响应于接收的输入来控制音量或屏幕(例如，VR模式下的图像回放屏幕)。例如，当电子设备420安装在可穿戴设备400上时，电子设备420的外部设备连接器421可以连接到可穿戴设备400的连接器411，使得设备可以彼此通信。
根据各种实施例，电子设备420可以显示图像数据(例如360°图像数据)的第一部分图像，并且可以显示与由外部电子设备显示的图像数据的第二部分图像相关的信息。
图6是示出根据本公开各种实施例的用户佩戴具有在其上安装有电子设备420的可穿戴设备400的示例的图。如图6所示，用户可以佩戴可穿戴设备400，该可穿戴设备具有如图6所示在其头部上安装的电子设备420。佩戴者可通过可穿戴设备400中提供的透镜观看电子设备420的显示器的屏幕。
另外，如图6所示，佩戴者可通过设置在可穿戴设备400的主体部分410的侧表面上的触摸板430来控制可穿戴设备400的功能，或可通过其来控制电子设备420的功能。根据各种实施例，VR模式下的信息显示可例如由智能电话或移动电话来实施，并且还可由可穿戴设备400(例如HMD设备)来实施。
图7是示出根据本公开各种实施例的电子设备的屏幕模式的图。参考图7，电子设备700可是图4、图5和图6所示的电子设备420。当电子设备700以正常模式操作时，电子设备700可显示单个操作屏幕710，如图7的上部所示。
根据各种实施例，当电子设备700被安装在可穿戴设备上时，其可以在如图7的下部所示的VR模式(例如，HMT模式)下操作。当电子设备700在VR模式下操作时，电子设备700可以分别显示与用户的左眼相对应的屏幕720a和与右眼相对应的屏幕720b。在VR模式屏幕上，单个图像可以被分别地显示为两个图像720a和720b。
根据本公开各种实施例，当电子设备700被安装在可穿戴设备上并且在VR模式下操作时，与发生的事件相关的信息可被处理并显示在与VR模式对应的屏幕上(与用户的左眼对应的屏幕720a和与右眼对应的屏幕720b上)。
电子设备或可穿戴设备的上述示例示出了根据本公开实施例的能够显示图像数据的设备，并且本公开的各种实施例不限于上述设备。例如，根据各种实施例，本公开的实施例可应用于能够显示图像数据的任何类型的设备。
图8是示出根据本公开的各种实施例的3D空间的图。参考图8，可以由电子设备(例如，电子设备101、102或104)、电子设备的处理器或电子设备的控制器中的至少一个来实施3D空间801。
可以通过将广角图像/视频纹理映射(texture-mapping)到预先配置的3D模型810(例如，具有预先配置的半径R的球体、立方体或圆柱体)并在3D模型内(例如，在原点815)定位用户视点(或虚拟相机)来实施。
电子设备可以根据第一视点(例如，主相机视点)821渲染(render)与3D空间801的第一区域相对应的第一部分图像831(或第一显示屏)，并且将其显示在显示器的屏幕上。
电子设备可以渲染与3D空间801的第二区域相对应的第二部分图像834(或第二显示屏)，并且根据用户对视线方向的选择(或用于改变视线的输入)，例如根据从第一视点821到选择的视点822的移动角度840，在显示器的屏幕上显示该第二部分图像834。
在3D空间801中，相机/用户视场(或视图方向、渲染视口或渲染区域)可通过水平视场(FOV)851和垂直FOV 852控制。3D应用(用于VR应用)可配置界定/定义渲染视口的平面(例如，右/左/上/下/下/近/远平面)从而控制FOV。
根据各种实施例，可通过用户的身体的一部分(例如，眼睛、头部、躯干或手)的移动而改变视线并且可响应于视线的改变而生成第二部分图像。视线可通过从外部设备或外部用户接收的信号来改变或由此可控制视线的改变。
图9是示出根据本公开的各种实施例的当用户佩戴HMD设备时在HMD设备上显示的屏幕的示例的图。参考图9，用户901可以例如在他/她的头上佩戴可穿戴设备的壳体。可穿戴设备可以耦合到电子设备902，并且当接收到图像数据时，用户可以观看在电子设备902的显示器上显示的图像。
电子设备902可以在屏幕上显示接收的图像数据，并且接收的图像数据可以包括用户在旋转360°时可以看到的图像。用户901可以观察指向双眼的图像，从而观看VR屏幕。由电子设备902执行的3D应用可以根据用户901或电子设备902的移动(偏航(yaw)、俯仰(pitch)和翻滚(roll))来改变和显示图像。
根据本公开各种实施例，电子设备902的显示器可输出HMD模式屏幕911。HMD模式屏幕911可通过使用三维立体图像来构成显示屏幕，并且可是与相对应于电子设备902的指定取向的区域相对应的部分图像。例如，当用户901的头部朝上时，电子设备902可响应于此而向上移动并且电子设备902可显示与HMD模式屏幕911中的参考位置上方的区域相对应的屏幕905。
根据各种实施例，当电子设备902显示第一部分图像时，可以从至少一个外部电子设备接收与第二部分图像相对应的信息，并且可以在屏幕上显示与接收的关于第一部分图像的信息相关的信息。
图10是示出根据本公开的各种实施例的屏幕显示方法的概念的图。参考图10，根据各种实施例，可以通过多个用户(例如，用户A、用户B等)佩戴的多个电子设备1021和1022来播放相同的图像数据。
例如，当例如通过360°相机1010获得图像时，使得可根据指定取向显示部分图像，则可将获得的图像数据(例如360°图像数据)上载到服务器1000(例如，Facebook、YouTube或网志)或传送到相应使用者的电子设备1021和1022。
根据各种实施例，存储在服务器1000中的图像数据可以由用户A的第一电子设备1021或用户B的第二电子设备1022请求。在电子设备1021和1022的请求下，服务器1000可以将所请求的图像数据提供给相应的电子设备1021和1022。
发送到相应电子设备1021和1022的图像数据可以是相同的图像数据。替代地，显示在用户A佩戴的第一电子设备1021的屏幕上的图像数据和显示在用户B佩戴的第二电子设备1022的屏幕上的图像数据可以彼此不同。
为了保证当用户A和用户B接收到相同的用户数据时，用户可以在观看相同屏幕的同时彼此交谈，本公开的各种实施例可以同步显示在用户A的第一电子设备1021上的图像数据的回放时间点和显示在用户B的第二电子设备1022上的图像数据的回放时间点。根据各种实施例，当用户A的第一电子设备1021首先接收图像数据时，用户B的第二电子设备1022可以通过用户A的第一电子设备1021或者通过服务器1000接收与用户A的第一电子设备1021当前播放的图像数据的回放时间点相关的信息。用户B的第二电子设备1022可以通过使用接收的与回放时间点相关的信息，将由此播放的图像数据的回放时间点与用户A的第一电子设备1021播放的图像数据的回放时间点同步，然后播放图像数据。
即使由用户A的第一电子设备1021播放的图像数据的回放时间点和由用户B的第二电子设备1022播放的图像数据的回放时间点同步，也可以根据每条图像数据的指定取向在屏幕上显示具有不同取向的部分图像。例如，用户A的第一电子设备1021可以在相同回放时间点在屏幕上显示第一部分图像，并且用户B的第二电子设备1022可以在与用户A的第一电子设备1021的回放时间点相同的回放时间点在屏幕上显示第二部分图像。
根据各种实施例，当用户A的第一电子设备1021显示图像数据的第一部分图像时，可以从用户B的第二电子设备1022接收与第二部分图像相关的信息。用户A的第一电子设备1021可以直接从用户B的第二电子设备1022或者通过服务器1000接收与第二部分图像相关的信息。与第二部分图像相关的信息可以包括与图像数据的3D区域中的第二部分图像相对应的取向信息。
根据各种实施例，当用户A的第一电子设备1021接收到与第二部分图像相关的信息时，与第二部分图像相关的信息可以显示在用户A的第一电子设备1021的屏幕上。例如，根据稍后将参考图17和图18描述的各种实施例，第一部分图像和第二部分图像之间的相对位置关系可以显示在屏幕上。替代地，如稍后将参考图19所述，当第一部分图像和第二部分图像之间的相对距离在预定距离内时，可以在屏幕上显示通知，以通知用户A和用户B正在观看的部分图像彼此匹配或彼此接近。
当在用户A的第一电子设备1021的屏幕和用户B的第二电子设备1022的屏幕上显示的相应的部分图像相同(或相似)时，用户A和用户B可以在观看相同或相似的图像时彼此交谈。
图11是示出根据本公开的各种实施例的时间同步的概念的图。参考图11，由第一电子设备1021播放的图像数据和由第二电子设备1022播放的图像数据可以相同，但是相应的回放时间点可以不同。例如，第一电子设备1021当前可以播放在时间点T1的图像数据，并且第二电子设备1022当前可以播放在时间点T2的图像数据。
根据各种实施例，如果第二电子设备1022请求与第一电子设备1021时间同步，则第二电子设备1022可通过第一电子设备1021或服务器1000接收关于由第一电子设备1021播放的图像数据的回放时间点(例如T1)的信息。第二电子设备1022可基于接收的关于第一电子设备1021的回放时间点的信息，将回放时间点从T2移动到T1，从而执行与第一电子设备1021的时间同步。
根据各种实施例，如果第二电子设备1022被请求播放当前由第一电子设备1021播放的相同图像数据，则第二电子设备1022可在开始图像数据的回放之前接收关于由第一电子设备1021播放的图像数据的回放时间点(例如T1)的信息。第二电子设备1022可基于接收的关于第一电子设备1021的回放时间点的信息，将图像数据的开始时间点配置在T1，然后从时间点T1开始回放。
图12是示出根据本公开的各种实施例的屏幕显示方法的概念的图。参考图12，可以通过使用他/她自己的电子设备1210或1220向用户A或用户B提供图像数据。
即使向多个用户(例如，用户A和用户B)中的每一个提供相同的图像数据，相应用户实际观看的图像也可能由于用户A和用户B中的每一个的移动而不同。例如，假设每个电子设备能够提供的视场(FOV)是150°，则用户A可以参考特定取向观看图像数据中从0°到150°的第一部分图像1211，并且用户B可以观看相同图像数据中从240°到30°的第二部分图像1221。
在这种情况下，即使相同的图像数据被提供给相应的电子设备1210和1220并且即使图像数据的回放时间点相同，多个用户也可通过使用相应的电子设备1210和1220观看不同的图像，并且这可能在相互通信期间造成限制。根据各种实施例，当在用户A的第一电子设备1210的屏幕上显示第一部分图像时，可接收关于在用户B的第二电子设备1220上显示的第二部分图像的信息。基于接收的关于第二部分图像的信息，第一电子设备1210可在屏幕上显示第一部分图像和第二部分图像之间的相对位置或者与位置相关的信息。
图13、图14、图15和图16是示出根据本公开各种实施例的在屏幕上显示的整个图像中的部分图像的变化的图。如图13所示，用户在佩戴电子设备1300时可凝视特定方向1310。当用户凝视特定方向1310时，电子设备1300可感测电子设备1300的第一侧表面(例如，前表面)面向的第一方向1320。电子设备1300的第一侧表面面向的第一方向1320可以用于确定用户的凝视方向。
为了确保用户能够看到显示与第一方向1320相对应的整个空间的图像数据的第一部分图像1330，电子设备1310可以显示对应于第一部分图像1330的左眼图像和右眼图像。第一部分图像1330可以是与显示VR服务中配置的整个空间的整个图像数据的一部分相对应的部分图像。
佩戴电子设备1300的用户可以向右方向1340或向左方向1640转动他/她的头，并且电子设备1300可以通过传感器感测向右方向1340或向左方向1640的旋转，并且可以感测电子设备1300的取向变化。如图14、图15和图16所示，用户可以将其头部从第一方向1320转到第二方向1420、第三方向1520和第四方向1620。例如，电子设备1300可以感测从第一方向1320到第二方向1620的旋转，并且可以感测由于旋转而导致的电子设备1300的第一侧表面的取向变化1340和1440。
当电子设备1300感测到由于用户的头部的右转而导致的电子设备1300的第一侧表面的取向改变时，电子设备1300可以改变并显示第一部分图像1330。例如，电子设备1300可以响应于第二方向1420显示第二部分图像1430，可以响应于第三方向1520显示第三部分图像1530，并且可以响应于第四方向1620显示第四部分图像1630。根据各种实施例，电子设备1300可以显示左眼图像和右眼图像以便显示每个部分图像。第一部分图像1330至第四部分图像1630中的每一个可以是指示构成VR服务的整个空间的整个图像数据的部分图像。
如图14、图15和图16所示，第二部分图像1430可以是关于布置在第一部分图像1330的右侧的前视图的部分图像，第三部分图像1530可以是关于布置在第二部分图像1430的右侧的前视图的屏幕，第四部分图像1630可以是关于布置在第三部分图像1530的右侧的前视图的屏幕。因此，当用户将他/她的头向右转动时，他/她可以相继看到相对右侧的视图。
根据各种实施例，电子设备1300可以与对应于电子设备1300的第一侧表面面向的方向的部分图像一起在屏幕上显示关于由外部电子设备显示的第二部分图像的信息，如图17至图19所示。
图17、图18和图19是示出根据本公开的各种实施例的显示与外部电子设备相关的信息的示例的图。
参考图17，第一用户的第一电子设备可以显示图像数据的部分图像1710，并且第二用户的第二电子设备可以显示第二部分图像，该第二部分图像是与第一用户的图像数据相同的图像数据的另一部分图像。
根据各种实施例，在显示在第一用户的第一电子设备上的第一部分图像1710上，指示显示在第二电子设备上的第二部分图像的位置或取向的字符或图像(例如，箭头图像1720)可以参考第一部分图像1710一起显示在屏幕上。
如果如图17所示，在向第一用户显示的第一部分图像1710上向左下角显示箭头图像1720，则用户可以注意到由第二用户观看的第二部分图像面向由第一用户观看的部分图像1710的左下角，不同于由第一用户观看的部分图像1710。如果第一用户将他/她的头转向左下角，则第一用户可以观看由第二用户观看的相同的第二部分图像。
根据各种实施例，第二用户的第二电子设备可显示由第一电子设备显示的第一部分图像的取向。例如，由于由第二电子设备显示的第二部分图像被显示为存在于第一电子设备的屏幕上的左下角附近，所以由第一电子设备显示的第一部分图像可被显示为存在于第二电子设备的屏幕上的右上角附近。
第一用户通过第一电子设备观看的第一部分图像1710和第二用户通过第二电子设备观看的第二部分图像之间的相对位置差的值可以用箭头图像1720的尺寸、长度、颜色、亮度、透明度等不同地表示。
根据各种实施例，箭头图像1720的尺寸可以做得相对大，或者其长度可以做得更长，以便指示由第一用户观看的第一部分图像和由第二用户观看的第二部分图像之间的位置差很大。根据各种实施例，如果显示点而不是箭头图像1720，或者如果没有显示相关信息，则第一用户和第二用户可以确定他们正在以相同方向或接近方向观看部分图像。
根据各种实施例，第一用户的第一电子设备可以从第二用户的第二电子设备接收关于第二用户观看的第二部分图像的信息。第一电子设备可以确定，如果由第一电子设备显示的第一部分图像和由第二电子设备显示的第二部分图像之间的位置差落在预定范围内(或低于阈值)，则这两个部分图像是相同的。当认为两个部分图像相同时，可以在第一电子设备或第二电子设备的屏幕上指示部分图像相同，或者可以使相对位置差的指示器(例如箭头图像1720)消失。根据各种实施例，如果位置差大于或等于指定阈值，则第一用户的第一电子设备可以生成与位置差相对应的形状的箭头图像1720，并且可以在由第一用户观看的第一部分图像上的指定位置显示箭头图像1720。
参考图18，第一用户的第一电子设备可显示图像数据的第一部分图像1810，并且第二用户的第二电子设备可显示与第一电子设备显示的图像数据相同的图像数据的另一部分图像(例如，第二部分图像)。在由第一用户观看的部分图像1810上，参考由第一用户观看的第一部分图像，指示由第二用户观看的第二部分图像的位置或取向的图像可以被显示为图标图像或图形图像。
例如，可以在第一用户观看的第一部分图像1810上显示表示360°图像的字符图像1822。字符图像1822可以通过使用视觉图像来指示从整个图像中可以在屏幕上看到的视场。尽管以360°图像为例进行描述，但是如果需要，也可以给出270°图像或200°图像，并且本公开的各种实施例不限于此。
在第一电子设备的屏幕上，可以参考360°图像来计算由第一用户观看的第一部分图像的参考位置1821和由第二用户观看的第二部分图像的相对位置，并且可以在与第二部分图像的相对位置相对应的部分上显示表示第二电子设备的字符图像1822(例如，图像指示360°)。
根据各种实施例，在由第一用户观看的第一部分图像1810上，可以显示条1820以指示根据图像数据当前显示的部分图像的位置关系，如图18所示。条1820可以指示可以通过360°图像看到的整个图像。在条1820上，可以显示由第一用户观看的第一部分图像的参考位置1821，并且可以将由第二用户观看的第二部分图像的相对位置作为字符图像1822一起显示。
第一部分图像的位置和第二部分图像的位置可指示整个图像数据中每个部分图像的绝对位置或可指示第二部分图像相对第一部分图像的相对位置。
参考图19，第一用户的第一电子设备可以显示图像数据的第一部分图像1900，并且第二用户的第二电子设备可以显示与第一电子设备显示的图像数据相同的图像数据的另一部分图像(例如，第二部分图像)。如图17或图18所示，在由第一用户观看的部分图像1900上，指示由第二用户观看的第二部分图像的位置或取向的图像可以参考由第一用户观看的第一部分图像显示为图标图像或图形图像。
第一用户或第二用户可以检查部分图像之间的位置的指示器，并且可以将他/她的头部朝向对应的部分图像的位置移动，使得用户观看相同的部分图像。通过如上所述移动头部，图像数据中显示在屏幕上的部分图像如图13至图16所示被改变，并且两个部分图像之间的位置差(或角度差)可以在预定距离内(或在预定角度内)接近。根据各种实施例，如果确定两个部分图像之间的位置差(或角度差)已经接近在预定距离内，并且用户基本上正在观看相同的部分图像，则图像(例如，文本图像1910“MATCH”)可以显示在屏幕上，以便指示两个部分图像匹配，如图19所示。
通过在相应用户的电子设备上显示参考图17、图18和图19描述的指示器，每个用户可以识别用户观看的部分图像和另一用户观看的另一部分图像之间的相对距离，或者部分图像是否匹配。虽然给出了两个用户作为描述的示例，但是同样的情况也适用于三个或更多的用户。还可以实施为使得根据用户配置，与特定用户的电子设备相关的信息选择性被地显示在电子设备上。根据各种实施例，可以实施为使得相应用户的电子设备通过不同的名称、颜色或图像来区分和显示。
图20是示出根据本公开的各种实施例的部分图像之间的相对距离的概念的图。如图20所示，整个图像数据(例如360°图像数据)可以被三维配置。
根据各种实施例，第一部分图像可以由对应于第一方向2011的第一坐标(x1，y1，z1)表示，第二部分图像可以由对应于第二方向2021的第二坐标(x2，y2，z2)表示。上述坐标显示方法仅仅是实施例，并且可以使用各种坐标系来指示每个部分图像面向的方向。可以为第一部分图像配置第一用户FOV 2010，并且可以为第二部分图像配置第二用户FOV2020。
可以基于第一坐标和第二坐标的值来计算第一部分图像和第二部分图像之间的相对位置。另外，如果第一坐标和第二坐标之间的距离具有配置的值，则可以确定第一部分图像和第二部分图像彼此匹配。
图21是示出根据本公开各种实施例的电子设备的屏幕显示过程的流程图。参考图21，在操作2101中，电子设备(第一电子设备)(例如，图1的电子设备101或图10的第一电子设备1021)可以在屏幕上显示整个图像数据当中与第一取向相对应的第一部分图像。
在操作2103中，电子设备可以接收至少一个外部电子设备(第二电子设备)(例如，图1的电子设备102或104或者图10的第二电子设备1022)相关的信息，其中该至少一个外部电子设备正在播放与该电子设备相同的图像数据。根据各种实施例，与外部电子设备相关的信息可以包括与关于正在外部电子设备的屏幕上显示的第二部分图像相关的信息。
在操作2105中，电子设备可识别关于由外部电子设备正在显示的第二部分图像的信息。在操作2107中，电子设备可在屏幕上显示与第二部分图像相关的信息。
根据各种实施例，与第二部分图像相关的信息可以在电子设备(第一电子设备)的请求下从外部电子设备(第二电子设备)或从服务器发送。根据各种实施例，第二电子设备可以在每个预定时间向第一电子设备或服务器发送与第二部分图像相关的信息。
根据各种实施例，第二电子设备可任意地或者在满足指定条件的情况下发送与第二部分图像相关的信息。例如，指定条件可是第二电子设备移动预定程度或更大。与第二部分图像相关的信息可以是由第二电子设备显示的第二部分图像的位置信息。例如，关于第二部分图像的信息可包括关于整个图像数据(例如360°图像数据)中的部分图像对应的取向的信息(例如坐标值)。
根据本公开的各种实施例之一的用于在电子设备中显示屏幕的方法可以包括以下操作：将图像数据中与指定取向相对应的图像的至少一部分作为第一部分图像显示在电子设备的屏幕上；通过通信电路接收与外部电子设备相关的信息；从通过通信电路接收的信息中识别图像数据中与外部电子设备正在显示的第二部分图像相关的信息；并且当第一部分图像显示在屏幕上时，在屏幕上显示与第二部分图像相关的信息。
根据本公开的各种实施例，与在屏幕上正在显示的第二部分图像相关的信息可以包括关于与第一部分图像的相对位置关系的信息。
根据本公开的各种实施例，电子设备的屏幕显示方法还可包括以下操作：基于接收的与外部电子设备相关的信息，确定第一部分图像和第二部分图像之间的距离；以及作为确定的结果，当第一部分图像和第二部分图像之间的距离在指定距离之内时，输出预先配置的通知。
根据本公开的各种实施例，预先配置的通知可以包括声音、图像、符号和动画中的至少一个。
根据本公开各种实施例，该方法可以进一步包括从服务器接收图像数据。
根据本公开的各种实施例，该方法可以进一步包括以下操作：接收与外部电子设备的回放时间点同步请求；以及响应于回放时间点同步，向外部电子设备发送关于正显示在屏幕上的图像数据的回放时间点的信息。
根据本公开的各种实施例，该方法可以进一步包括：接收关于由外部电子设备正在播放的图像数据的回放时间点的信息。
根据本公开的各种实施例，该方法可以进一步包括向外部电子设备发送与正在屏幕上显示的第一部分图像相关的信息。
根据本公开的各种实施例，图像数据可以包括VR图像、360°图像、全景图像、动画图像、漫画、静止图像和全景照片中的至少一个。
根据本公开的各种实施例，该方法可以进一步包括：确定由外部电子设备正在播放的图像数据的回放时间点和由电子设备正在播放的图像数据的回放时间点是否同步；当作为确定的结果确认回放时间点被同步时，在屏幕上显示与第二部分图像相关的信息。
图22是示出根据本公开的各种实施例的在设备之间发送/接收的信息的信号流程图。参考图22，第一电子设备2202可访问服务器2206(2212)并且请求图像数据(例如360°图像)的发送(2214)。服务器2206可向第一电子设备2202发送所请求的360°图像(2216)。第一电子设备2202可接收并存储所发送的360°图像，并且可以自动播放或应用户的请求播放所发送的360°图像。
第二电子设备2204可以访问服务器2206(2218)。第二电子设备2204可以请求第一电子设备2202提供关于由第一电子设备2202播放的图像数据的信息(例如，回放时间点和/或取向信息)(2220)。
第一电子设备2202可以向第二电子设备2204发送关于由第一电子设备2202播放的图像数据的信息(2222)。第二电子设备2204可以基于从第一电子设备2202接收的信息来请求服务器2206发送图像数据(2224)。服务器2206可以响应于第二电子设备2204的请求来发送所请求的图像数据(2226)。
第二电子设备2204可以将从服务器接收的图像数据的回放时间点与第一电子设备2202的回放时间点同步(2228)。第二电子设备2204可以请求第一电子设备2202提供关于在第一电子设备2202的屏幕上显示的部分图像(例如，第一部分图像)的信息(2230)。请求关于部分图像的信息的方法可以以推送类型或请求/响应(req/rsp)类型来实施。
响应于该请求，第一电子设备2202可以向第二电子设备2204发送与在第一电子设备2202的屏幕上正在显示的第一部分图像相关的信息(2232)。第二电子设备2204可以在屏幕上显示与在第一电子设备2202的屏幕上显示的第一部分图像相关的信息(2234)。根据各种实施例，该信息可以被显示为由第二电子设备2204播放的第二部分图像的覆盖层(overlay)。
图23是示出根据本公开各种实施例的在设备之间发送/接收的信息的信号流程图。参考图23，第一电子设备2202可以访问服务器2206(2312)并且请求图像数据(例如360°图像)的发送(2314)。服务器2206可以向第一电子设备2202发送所请求的360°图像(2316)。第一电子设备2202可以接收并存储所发送的360°图像，并且可以自动播放或应用户的请求播放所发送的360°图像。
第二电子设备2204可访问服务器2206(2318)。在访问服务器2206(2318)之后，第二电子设备2204可请求服务器2206提供关于由第一电子设备2202播放的图像数据(例如，360°图像数据)的信息(例如，第一电子设备2202的识别信息、由第一电子设备2202播放的图像数据的回放时间点和/或取向信息等)(2320)。
服务器2206可以请求第一电子设备2202确认是否发送关于由第一电子设备2202播放的图像数据的信息(例如，回放时间点和/或取向信息)(2322)。响应于该请求，第一电子设备2202可以向服务器2206发送关于图像数据的信息发送确认消息(2324)。在接收到信息发送确认消息之后，服务器2206可以向第二电子设备2204发送所请求的图像数据(2326)。
第二电子设备2204可以将从服务器接收的图像数据的回放时间点与第一电子设备2202的回放时间点同步(2328)。第二电子设备2204可以请求第一电子设备2202提供关于在第一电子设备2202的屏幕上显示的部分图像(例如，第一部分图像)的信息(2330)。请求相关部分图像的信息的方法可以以推送类型或请求/响应(req/rsp)类型来实施。
响应于该请求，第一电子设备2202可以向第二电子设备2204发送与在第一电子设备2202的屏幕上显示的第一部分图像相关的信息(2332)。第二电子设备2204可以在屏幕上显示与在第一电子设备2202的屏幕上显示的第一部分图像相关的信息(2334)。根据各种实施例，该信息可以被显示为由第二电子设备2204播放的第二部分图像的覆盖层。
图24是示出根据本公开的各种实施例的可穿戴设备2400的另一配置的示例的框图。
参考图24，可穿戴设备2400可以独立于电子设备向穿戴者提供与所安装的电子设备(例如，显示设备)相同或相似的操作。可穿戴设备2400可以包括微控制单元(MCU)2410、通信模块2420、传感器模块2430、输入模块2440、凝视跟踪模块2450、振动器2452、焦点调节模块2454、电源管理模块2460、电池2462、显示器2470和相机模块2480。
通信模块2420可以包括例如，USB模块2421、Wi-Fi模块2422、BT模块2423、NFC模块2424和GPS模块2425。
传感器模块2430可以包括例如加速度传感器2431、陀螺仪传感器2432、大气压力传感器2433、磁传感器2434、加速度传感器2435、抓握传感器2436、接近(proxmity)传感器2437、RGB传感器2438和靠近(approach)传感器2439中的至少一个。
输入模块2440可以包括触摸板2441和按钮2442。
可穿戴设备2400可以包括显示器2470，该显示器2470可以固定地安装在其主体上，而不是可以将电子设备(例如，显示设备)与其附接/拆离的结构。显示器2470可以安装在主体上，使得可以通过图4、图5和图6所示的透镜部分向用户提供屏幕，而不是安装的电子设备的显示器。
在各个实施例中描述的每个构成元件可由至少一个组件构成，并且对应的构成元件的名称可根据电子设备的类型而变化。根据本公开各种实施例的电子设备可包括前述元件中的至少一个。在电子设备中可省略一些元件，或者可以进一步包括其他附加元件。而且，根据各种实施例的一些硬件组件可以被组合为一个实体，其可以执行与组合之前的相关组件的功能相同的功能。
本文使用的术语“模块”可以例如指包括硬件、软件和固件中的一个或两个或多个的组合的单元。“模块”可以与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成的组件元件或其一部分的最小单元。“模块”可以是用于执行一个或多个功能或其一部分的最小单元。“模块”可以机械地或电子地实施。例如，根据本公开的“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一个，用于执行已知的或者将在下文中开发的操作。
根据各种实施例，根据本公开的设备(例如，其模块或功能)或方法(例如，操作)中的至少一些可通过以编程模块形式存储在计算机可读存储介质中的命令来实施。指令在由处理器(例如，处理器120)执行时，可使一个或多个处理器执行与该指令相对应的功能。计算机可读存储介质可是例如存储器130。
计算机可读记录介质可以包括硬盘、软盘、磁性介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM)和数字多功能光盘(DVD))、磁光介质(例如，软盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存)等。此外，程序指令可以包括可以通过使用解释器在计算机中执行的高级语言代码，以及由编译器生成的机器代码。前述硬件设备可以被配置为作为一个或多个软件模块操作，以便执行本公开的操作，反之亦然。
根据本公开的编程模块可以包括一个或多个前述组件，或者可以进一步包括其他附加组件，或者可以省略一些前述组件。由根据本公开的各种实施例的模块、编程模块或其他组件元件执行的操作可以顺序地、并行地、重复地或以启发式方式执行。此外，一些操作可以以不同的顺序执行或者可以被省略，或者可以添加其他操作。
根据各种实施例，可提供一种存储命令的存储介质。所述命令可以被配置为当由至少一个处理器执行时使所述至少一个处理器执行至少一种操作。所述至少一个操作可包括以下操作：将图像数据中与指定取向相对应的图像的至少一部分作为第一部分图像显示在电子设备的屏幕上；通过通信电路接收与外部电子设备相关的信息；从通过通信电路接收的信息中识别图像数据中与由外部电子设备正在显示的图像数据的第二部分图像相关的信息；并且当第一部分图像显示在屏幕上时，在屏幕上显示与第二部分图像相关的信息。
此外，所述至少一个过程可以包括以下过程：从多个成像模块获取多个图像，所述多个成像模块被设置为彼此间隔开并且具有不同的光轴方向；生成关于通过使用多个图像生成的360°图像的参考FOV信息，使得参考FOV信息指示成为360°图像的参考的FOV信息；以及将参考FOV信息插入到与360°图像相关的信息中。
提供本文公开的各种实施例仅是为了容易地描述本公开的技术细节并帮助理解本公开，并且不旨在限制本公开的范围。因此，基于本公开的技术思想，本公开的范围应被解释为包括所有修改或各种其他实施例。

Claims (15)

1.一种电子设备，包括：
显示器，被配置为将图像数据当中与指定取向相对应的图像的至少一部分作为部分图像显示在屏幕上；
通信电路，被配置为接收与外部电子设备相关的信息；和
处理器，配置为：
控制通过显示器显示图像数据中的第一部分图像，
从通过通信电路接收的信息中识别图像数据当中与外部电子设备中正在显示的第二部分图像相关的信息，以及
当第一部分图像通过显示器显示在屏幕上时，控制通过显示器显示与第二部分图像相关的信息。
2.如权利要求1所述的电子设备，其中，与通过显示器显示的第二部分图像相关的信息包括关于与第一部分图像的相对位置关系的信息。
3.如权利要求1所述的电子设备，其中，处理器被配置为：
当在第一部分图像和第二部分图像之间的距离在指定距离内时，控制输出预先配置的通知。
4.如权利要求3所述的电子设备，其中，预先配置的通知包括声音、图像、符号和动画中的至少一个。
5.如权利要求1所述的电子设备，其中，电子设备被配置为从服务器接收图像数据。
6.如权利要求1所述的电子设备，其中，处理器被配置为：
响应于外部电子设备的回放时间点同步请求，控制通过通信电路发送关于由电子设备正在播放的图像数据的回放时间点的信息。
7.如权利要求1所述的电子设备，其中，通信电路被配置为接收关于由外部电子设备正在播放的图像数据的回放时间点的信息。
8.如权利要求1所述的电子设备，其中，处理器被配置为：
控制通过通信电路向外部电子设备发送关于正在通过显示器显示的第一部分图像的信息。
9.如权利要求1所述的电子设备，其中，所述图像数据包括VR图像、360°图像、全景图像、动画图像、漫画、静止图像和全景照片中的至少一个。
10.如权利要求1所述的电子设备，其中，处理器被配置为：
当由外部电子设备播放的图像数据的回放时间点和由电子设备播放的图像数据的回放时间点同步时，控制通过显示器显示与第二部分图像相关的信息。
11.一种用于在电子设备中显示屏幕的方法，所述方法包括：
将图像数据当中与指定取向相对应的图像的至少一部分作为第一部分图像显示在电子设备的屏幕上；
通过通信电路接收与外部电子设备相关的信息；
从通过通信电路接收的信息中识别图像数据当中与由外部电子设备正在显示的第二部分图像相关的信息；和
当第一部分图像显示在屏幕上时，在屏幕上显示与第二部分图像相关的信息。
12.如权利要求11所述的方法，其中，与在屏幕上显示的第二部分图像相关的信息包括关于与第一部分图像的相对位置关系的信息。
13.如权利要求11所述的方法，还包括：
基于所接收的与外部电子设备相关的信息确定在第一部分图像和第二部分图像之间的距离；和
作为确定的结果，当在第一部分图像和第二部分图像之间的距离在指定距离内时，输出预先配置的通知。
14.如权利要求13所述的方法，其中，预先配置的通知包括声音、图像、符号和动画中的至少一个。
15.如权利要求11所述的方法，还包括：从服务器接收图像数据。
CN201880023800.1A 2017-04-05 2018-04-02 电子设备和用于电子设备的屏幕图像显示方法 Pending CN110494840A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0044378 2017-04-05
KR1020170044378A KR20180113109A (ko) 2017-04-05 2017-04-05 전자 장치 및 전자 장치의 화면 표시 방법
PCT/KR2018/003865 WO2018186642A1 (ko) 2017-04-05 2018-04-02 전자 장치 및 전자 장치의 화면 표시 방법

Publications (1)

Publication Number Publication Date
CN110494840A true CN110494840A (zh) 2019-11-22

Family

ID=63713023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023800.1A Pending CN110494840A (zh) 2017-04-05 2018-04-02 电子设备和用于电子设备的屏幕图像显示方法

Country Status (5)

Country Link
US (1) US20200090704A1 (zh)
EP (1) EP3591514A4 (zh)
KR (1) KR20180113109A (zh)
CN (1) CN110494840A (zh)
WO (1) WO2018186642A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873313A (zh) * 2021-09-22 2021-12-31 乐相科技有限公司 一种虚拟现实画面分享方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719944B2 (en) * 2018-09-13 2020-07-21 Seiko Epson Corporation Dynamic object tracking

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103781522A (zh) * 2011-04-13 2014-05-07 奥托诺尼有限公司 用于生成并加入经验共享的方法和系统
US20150243078A1 (en) * 2014-02-24 2015-08-27 Sony Computer Entertainment Inc. Methods and Systems for Social Sharing Head Mounted Display (HMD) Content With a Second Screen
WO2015142135A1 (ko) * 2014-03-21 2015-09-24 삼성전자 주식회사 영상을 디스플레이 하는 방법 및 디바이스
CN105607882A (zh) * 2014-11-19 2016-05-25 三星电子株式会社 显示方法和电子装置
US20160147498A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
CN105794304A (zh) * 2013-12-28 2016-07-20 英特尔公司 具有异构显示屏的可穿戴电子设备
CN105930073A (zh) * 2015-02-27 2016-09-07 三星电子株式会社 用于支持电子设备中的通信的方法和装置
CN106385587A (zh) * 2016-09-14 2017-02-08 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
WO2017034886A1 (en) * 2015-08-24 2017-03-02 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4935345B2 (ja) * 2006-12-25 2012-05-23 ソニー株式会社 コンテンツ再生システム、再生装置、再生制御方法及びプログラム
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
KR102257621B1 (ko) * 2014-05-19 2021-05-28 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US9784976B2 (en) * 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
JP6017008B1 (ja) * 2015-12-01 2016-10-26 株式会社コロプラ アバター表示システム、ユーザ端末、及びプログラム
US10338392B2 (en) * 2016-06-13 2019-07-02 Microsoft Technology Licensing, Llc Identification of augmented reality image display position
EP3496044A4 (en) * 2016-07-15 2019-10-09 Nurve, Inc. PICTURE DISPLAY AND PICTURE DISPLAY SYSTEM
US10238968B2 (en) * 2016-12-06 2019-03-26 Colopl, Inc. Information processing method, apparatus, and system for executing the information processing method
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
JP7056055B2 (ja) * 2017-09-27 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103781522A (zh) * 2011-04-13 2014-05-07 奥托诺尼有限公司 用于生成并加入经验共享的方法和系统
CN105794304A (zh) * 2013-12-28 2016-07-20 英特尔公司 具有异构显示屏的可穿戴电子设备
US20150243078A1 (en) * 2014-02-24 2015-08-27 Sony Computer Entertainment Inc. Methods and Systems for Social Sharing Head Mounted Display (HMD) Content With a Second Screen
WO2015142135A1 (ko) * 2014-03-21 2015-09-24 삼성전자 주식회사 영상을 디스플레이 하는 방법 및 디바이스
CN105607882A (zh) * 2014-11-19 2016-05-25 三星电子株式会社 显示方法和电子装置
US20160147498A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method for displaying image and electronic device thereof
CN105930073A (zh) * 2015-02-27 2016-09-07 三星电子株式会社 用于支持电子设备中的通信的方法和装置
WO2017034886A1 (en) * 2015-08-24 2017-03-02 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
CN106385587A (zh) * 2016-09-14 2017-02-08 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873313A (zh) * 2021-09-22 2021-12-31 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN113873313B (zh) * 2021-09-22 2024-03-29 乐相科技有限公司 一种虚拟现实画面分享方法及装置

Also Published As

Publication number Publication date
EP3591514A4 (en) 2020-02-26
WO2018186642A1 (ko) 2018-10-11
EP3591514A1 (en) 2020-01-08
US20200090704A1 (en) 2020-03-19
KR20180113109A (ko) 2018-10-15

Similar Documents

Publication Publication Date Title
CN107807732B (zh) 用于显示图像的方法、存储介质和电子装置
KR102559625B1 (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
CN109471522B (zh) 用于在虚拟现实中控制指示器的方法和电子设备
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
KR102499349B1 (ko) 전방위 영상을 제공하는 전자 장치 및 방법
KR102649197B1 (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN110036647A (zh) 用于管理三维内容的缩略图的方法和设备
CN110352446A (zh) 用于获得图像的方法和装置及其记录介质
EP3023969A2 (en) Display and method and electronic device
CN107209572A (zh) 用于显示画面的方法和电子设备
KR20170060485A (ko) 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
US11670022B2 (en) Electronic device and method for displaying and generating panoramic image
KR102632270B1 (ko) 전자 장치 및 파노라마 영상 표시와 생성 방법
US10701337B2 (en) Method for controlling multi-field of view image and electronic device for supporting the same
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
CN110494840A (zh) 电子设备和用于电子设备的屏幕图像显示方法
US20180143681A1 (en) Electronic device for displaying image and method for controlling the same
KR102336879B1 (ko) 화면을 표시하는 전자 장치, 그 제어 방법
KR20180057870A (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치
CN108476314B (zh) 内容显示方法以及执行该方法的电子装置
KR102405385B1 (ko) 3d 컨텐츠를 위한 여러 오브젝트를 생성하는 방법 및 시스템
KR102404734B1 (ko) 컨텐트를 재생하는 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR20180041001A (ko) 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
KR20220078853A (ko) 증강현실 기반의 저작물을 생성하여 sns에 업로드하는 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191122