CN108293108A - 用于显示并生成全景图像的电子装置和方法 - Google Patents

用于显示并生成全景图像的电子装置和方法 Download PDF

Info

Publication number
CN108293108A
CN108293108A CN201680068696.9A CN201680068696A CN108293108A CN 108293108 A CN108293108 A CN 108293108A CN 201680068696 A CN201680068696 A CN 201680068696A CN 108293108 A CN108293108 A CN 108293108A
Authority
CN
China
Prior art keywords
image
electronic device
information
panoramic picture
view information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680068696.9A
Other languages
English (en)
Inventor
朴智勋
姜兑根
金芝希
柳德仁
崔宗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2016/013656 external-priority patent/WO2017091019A1/en
Publication of CN108293108A publication Critical patent/CN108293108A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于由电子装置显示全景图像的方法。根据本公开的示例性实施例，一种用于生成全景图像的方法可以包括：通过包括在所述电子装置中的传感器感测所述电子装置的第一侧表面面向的方向；显示与所述第一侧表面的所述感测的方向相对应的所述全景图像的第一部分图像；如果关于所述第一部分图像的信息与指示所述全景图像的参考视图的参考视图信息不同，则相对于所述第一部分图像确定对应于所述参考视图信息的方向；以及提供关于所述确定的方向的信息。

Description

用于显示并生成全景图像的电子装置和方法
技术领域
本公开大体上涉及用于显示并生成全景图像的电子装置和方法，并且例如涉及用于显示并生成包含视图信息的全景图像电子装置和方法。
背景技术
通常，虚拟现实(VR)是指由计算机图形创建的类似于现实生活环境的环境或情况，并且可以是指例如允许人通过他的感觉器官感觉它就好像他与它交互的界面。用户可以通过装置操纵与虚拟现实实时地进行互操作，并且可能具有与现实世界中类似的感官体验。
增强现实(AR)是虚拟现实的一部分，并且其是计算机图形方案，其通过将虚拟对象或信息与实际环境进行合成来允许虚拟对象看起来存在在原始环境中呈现。增强现实技术(AR)是向用户展示虚拟对象与用户眼睛看到的真实世界的重叠的技术。它显示了通过将附加信息和虚拟世界与真实世界实时混合获得的单个图像，并因此它也被称为混合现实(MR)。
通过支持虚拟现实服务的电子装置，此类虚拟现实技术可以容易地或经常地在各种服务中遇到，诸如教育、游戏、导航、广告或博客服务。例如，电子装置可以沿左右方向分割一个屏幕，并且可以分别将与用户的左眼和右眼相对应的图像分别显示到分屏。最近，正在开发头戴式影院(HMT)设备，其可以与显示器集成以通过用户的整体视图呈现在其各自对应的分屏上显示的图像。由于通过整体视图提供与用户眼睛对应的图像，用户可以接收虚拟现实服务。
上述信息作为背景信息提供以帮助理解本公开。
发明内容
技术问题
电子装置提供表示整体三维(3D)空间的全景图像以提供虚拟现实(VR)服务。由于用于提供VR服务的全景图像表示整个3D空间，用户可以使用他的电子装置观看全景图像，同时在期望的方向上自由移动。同时，由于全景图像表示整个3D空间，用户在他自己发现提供全景图像的特定部分的图像的方向以观看图像的特定部分时可能遭受不便。
根据本公开的各种示例性实施例，提供了一种用于生成并显示全景图像的电子装置和方法以解决前述或其他问题。
技术方案
根据本公开的示例性实施例，一种电子装置可以包括：传感器，其被配置成感测电子装置的第一侧表面面向的方向；显示器，其被配置成显示全景图像的部分图像；以及处理器，其被配置成在显示器上显示对应于通过传感器感测的第一侧表面的方向的全景图像的第一部分图像，以便如果关于第一部分图像的信息与指示全景图像的参考视图的参考视图信息不同，则相对于第一部分图像确定对应于参考视图信息的方向；以及提供关于确定的方向的信息。
根据本公开的示例性实施例，一种用于由电子装置显示全景图像的方法可以包括：通过包括在电子装置中的传感器感测电子装置的第一侧表面面向的方向；显示对应于第一侧表面的感测的方向的全景图像的第一部分图像；如果关于第一部分图像的信息与指示全景图像的参考视图的参考视图信息不同，则相对于第一部分图像确定对应于参考视图信息的方向；以及提供关于确定的方向的信息。
根据本公开的示例性实施例，一种电子装置可以包括：包括图像捕获电路的多个图像捕获模块，其彼此间隔开以具有不同的光轴方向；以及处理器，其被配置成通过多个图像捕获模块获得多个图像，以便生成指示使用多个图像生成的全景图像的参考视图的参考视图信息，并且将参考视图信息插入到与全景图像相关的信息中。
根据本公开的示例性实施例，一种用于由电子装置生成全景图像的方法可以包括：从包括图像捕获电路的多个图像捕获模块获得多个图像，该多个图像捕获模块被包括在电子装置中并且彼此间隔开以具有不同的光轴方向；生成指示使用多个图像生成的全景图像的参考视图的参考视图信息；以及将参考视图信息插入到与全景图像相关的信息中。
根据本公开的示例性实施例，在非暂态计算机可读记录介质中保留要在计算机上执行的程序，所述程序可以包括命令，所述命令在由处理器执行时致使处理器执行包括以下的操作：显示与通过包括在电子装置中的传感器感测的电子装置的第一侧表面面向的方向相对应的全景图像的第一部分图像；如果关于第一部分图像的信息与指示全景图像的参考视图的参考视图信息不同，则相对于第一部分图像确定对应于参考视图信息的方向；以及提供关于确定的方向的信息。
根据本公开的示例性实施例，在非暂态计算机可读记录介质中保留要在计算机上执行的程序，所述程序可以包括命令，所述命令在由处理器执行时致使处理器执行包括以下的操作：生成指示使用从多个图像捕获模块获得的多个图像生成的全景图像的参考视图的参考视图信息；以及将参考视图信息插入到关于全景图像的信息中。
根据本公开的示例性实施例，提供了一种用于生成并显示包含指示全景图像的参考视图的参考视图信息的全景图像的电子装置和方法。因此，用户可以有效地注意到提供全景图像的特定部分的图像的方向以便观看特定部分图像。
从下面结合附图公开了本公开的示例性实施例的详细描述中，本公开的其他方面、优点和突出特征对于本领域技术人员将变得显而易见。
附图简述
通过以下结合附图的详细描述，将更容易理解本公开及其许多伴随的方面和优点，其中相同的附图标记指代相同的元件，并且其中：
图1是示出根据本公开示例性实施例的包括电子装置的示例性网络环境的图；
图2是示出根据本公开的示例性实施例的示例性程序模块的框图；
图3a是示出根据本公开的示例性实施例的示例性电子装置和相关电子装置的透视图；
图3b是示出根据本公开的示例性实施例的电子装置的示例性显示的图；
图3c是示出根据本公开的示例性实施例的示例性电子装置的图；
图3d是示出根据本公开的示例性实施例的电子装置的示例性显示的图；
图3e是示出由用户观看的示例性屏幕的图；
图4是示出根据本公开的示例性实施例的用于由电子装置生成全景图像的示例性方法的流程图；
图5a是示出根据本公开的示例性实施例的用户佩戴HMT设备的示例的透视图；
图5b、图5c、图5d和图5e是示出根据本公开的示例性实施例的改变在电子装置上显示的全景图像的部分图像的示例的图；
图6a是示出根据本公开的示例性实施例的VR服务的示例性整体全景图像的图；
图6b是示出根据本公开的示例性实施例的电子装置的图；
图6c是示出根据本公开的示例性实施例的用户观看的全景图像的示例性部分图像的图；
图6d是示出根据本公开的示例性实施例的构成VR服务的示例性整体全景图像的示例的图；
图6e是示出根据本公开的示例性实施例的示例性电子装置的图；
图6f是示出根据本公开的示例性实施例的用户观看的全景图像的示例性部分图像的图；
图6g是示出根据本公开的示例性实施例的示例性整体全景图像的图；
图7a和7b是示出根据本公开的示例性实施例的由电子装置显示的全景图像的示例性部分图像的图；
图8a和图8b是示出根据本公开的示例性实施例的用于通过电子装置提供关于对应于参考视图信息的方向的信息的示例性方法的图；
图9是示出根据本公开的示例性实施例的用于通过电子装置改变显示为对应于参考视图信息的全景图像的部分图像的示例性方法的流程图；
图10a、10b和10c是示出根据本公开的示例性实施例的电子装置的图；
图11是示出根据本公开的示例性实施例的用于由电子装置生成全景图像的示例性方法的流程图；
图12a、12b、12c和12d是示出根据本公开的示例性实施例的用于生成参考视图信息的示例性方法的流程图；
图13a、13b和13c是示出根据本公开的示例性实施例的用于生成参考视图信息的示例性方法的图；
图14是示出根据本公开的示例性实施例的用于生成参考视图信息的示例性输入装置的图；
图15a、15b和15c是示出根据本公开的示例性实施例的用于生成参考视图信息的示例性方法的概念视图；
图16a和16b是示出根据本公开的示例性实施例的用于由单个电子装置生成参考视图信息的示例性方法的图；
图16c和16d是示出根据本公开的示例性实施例的用于由多个电子装置生成参考视图信息的示例性方法的图；
图17是示出根据本公开的示例性实施例的显示参考视图信息的示例性屏幕的图；并且
图18是示出根据本公开的示例性实施例的示例性电子装置的框图。
在整个附图中，相似的附图标记将被理解为指代相同的部分、部件和结构。
具体实施方式
以下参考附图描述本公开的各种示例性实施例。然而，应理解，本公开不限于示例性实施例，并且所有变化和/或等同物或替代物也落入本公开的范围内。在整个说明书和附图中，可以使用相同或类似的参考符号来指代相同或相似的元件。
如本文所用，术语“具有”、“可以具有”、“包括”或者“可以包括”特征(例如，数量、功能、操作或部件诸如部分)指示特征的存在并且不排除其他特征的存在。
如本文所用，术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指示(1)包括至少一个A，(2)包括至少一个B或(3)包括至少一个A和至少一个B中的全部。
如本文所用，术语“第一”和“第二”可以修改各种部件，而不管其重要性和/或顺序，并且用于将部件与另一个部件区分开而不限制部件。例如，第一用户装置和第二用户装置可以指示彼此不同的用户装置，而不管装置的顺序或重要性。例如，在不脱离本公开的范围的情况下，第一部件可以表示为第二部件并且反之亦然。
将理解，当元件(例如，第一元件)被称为(操作性地或可通信地)“与之联接/联接到”或“与之连接/连接到”另一个元件(例如，第二元件)时，其可以直接地或者通过第三元件联接到/连接到另一元件或与之联接/连接。另一方面，将理解，当元件(例如，第一元件)被称为“直接与之联接/联接到”或“直接与之连接/连接到”另一个元件(例如，第二元件)时，没有其他元件(例如，第三元件)插置在元件与另一个元件之间。
如本文所用，视情况而定，术语“配置(或设置)成”可以与术语“适合于”、“具有......的能力”、“设计成......”、“适于......”、“制成......”或“能够”互换使用。术语“配置(或设置)成”不一定意味着“在硬件中专门设计为”。相反，术语“配置成”可以指例如装置可以与另一个装置或多个部分一起执行操作的情况。例如，术语“配置(或设置)成执行A、B和C的处理器”可以指例如通用处理器(例如，CPU或应用程序处理器)，其可以通过执行存储在存储器装置或专用于执行操作的处理器(例如，嵌入式处理器)中的一个或多个软件程序来执行操作。
本文使用的术语被简单地提供来描述其各种示例性实施例，但不限制本公开的其他实施例的范围。应理解，除非上下文明确地另外规定，否则单数形式“一个”、“一种”和“所述”包括复数参考。本文使用的包括技术的术语和科学术语具有与本公开的示例性实施例所属领域的普通技术人员通常理解的相同的含义。将进一步理解，诸如常用词典中定义的那些术语应被解释为具有与相关领域的上下文的含义一致的含义，并且不会以理想化或过度正式的方式解释，除非明确定义于此。
例如，根据本公开的各种示例性实施例的电子装置的示例可以包括以下各项中的至少一个：智能电话、平板个人电脑(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、照相机或可佩戴装置等，但不限于此。根据本公开的示例性实施例，可佩戴装置可以包括以下各项中的至少一个：附件型装置(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣服整合型装置(例如，电子服装)、身体附着型装置(例如，皮肤垫或纹身)或体内可植入装置(例如，可植入电路)等，但不限于此。
根据本公开的示例性实施例，电子装置可以是家用电器。家用电器的示例可以包括以下各项中的至少一个：电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(XboxTM、PlayStationTM)、电子词典、电子钥匙、摄影机或电子相框等，但不限于此。
根据本公开的示例性实施例，电子装置的示例可以包括以下各项中的至少一个：各种医疗装置(例如，各种便携式医学测量装置(血糖测量装置、心跳测量装置或体温测量装置)、磁资源血管造影(MRA)装置、磁资源成像(MRI)装置、计算机断层摄影(CT)装置、成像装置或超声装置)、导航装置、全球导航卫星系统(GNSS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、航行电子装置(例如，航海导航装置或陀螺罗盘)、航空电子装置、安全装置、车辆头部单元、工业或者家庭机器人、自动提款机(ATM)、销售点(POS)装置或物联网(IoT)装置(例如，灯泡、各种传感器、电气或煤气表、喷水器、火灾报警器、恒温器、路灯、烤面包机、健身器材、热水箱、加热器或锅炉)等，但不限于此。
根据本公开的各种示例性实施例，电子装置的示例可以是以下各项中的至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或各种测量装置(例如，用于测量水、电、气或电磁波的装置)等，但不限于此。根据本公开的示例性实施例，电子装置可以是前述装置中的一个或组合。根据本公开的示例性实施例，电子装置可以是柔性电子装置。本文公开的电子装置不限于上述装置，并且可以包括根据技术发展的新的电子装置。
在下文中，根据本公开的各种示例性实施例，参考附图描述电子装置。如本文所用，术语“用户”可以表示使用电子装置的人或另一装置(例如，人造智能电子装置)。
参考图1，根据本公开的示例性实施例，电子装置101包括在网络环境100中。电子装置101可以包括总线110、处理器(例如，包括处理电路)120、存储器130、输入/输出接口(例如，包括输入/输出电路)150、显示器160以及通信接口(例如，包括通信电路)170。在一些示例性实施例中，电子装置101可以排除部件中的至少一个，或者可以添加另一部件。
总线110可以包括用于将部件110至170彼此连接并且在部件之间传送通信(例如，控制消息和/或数据)的电路。
处理器120可以包括各种处理电路，诸如例如但不限于专用处理器、中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器120可以对电子装置101的其他部件中的至少一个执行控制，和/或执行与通信相关的操作或数据处理。
存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子装置101的至少一个其他部件相关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以表示操作系统(OS)。
例如，内核141可以控制或管理用于执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141可以提供允许中间件143、API 145/或应用147访问电子装置101的各个部件以控制或管理系统资源的接口。
例如，中间件143可以用作中继以允许API 145或应用147与内核141通信数据。
此外，中间件143可以按优先级处理从应用程序147接收到的一个或多个任务请求。例如，中间件143可以将具有使用至少一个电子装置101的系统资源(例如，总线110、处理器120或存储器130)的优先级分配给至少一个应用程序147。例如，中间件143可以通过根据分配给至少一个应用程序147的优先级处理一个或多个任务请求来对一个或多个任务请求执行调度或负载平衡。
API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API133可以包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
输入/输出接口150可以包括被配置成用作可以例如将从用户或另一外部装置输入的命令或数据传送到电子装置101的其他部件的接口的各种输入/输出电路。此外，输入/输出接口150可以将从电子装置101的其他部件接收的命令或数据输出到用户或另一个外部装置。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器等，但不限于此。显示器160可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以使用电子笔或用户身体的一部分来接收例如触摸、手势、接近度或悬停输入。
例如，通信接口170可以设置电子装置101与外部电子装置(例如，第一电子装置102、第二电子装置104或服务器106)之间的通信。例如，通信接口170可以包括各种通信电路并且通过无线或有线通信与网络162连接以与外部电子装置通信。
无线通信可以使用例如长期演进(LTE)、高级长期演进(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、或全球移动通信系统(GSM)中的至少一个作为蜂窝通信协议。此外，无线通信可以包括例如无线通信164。无线通信164可以包括例如无线保真(Wi-Fi)、蓝牙、近场通信(NFC)或全球导航卫星系统(GNSS)中的至少一个。GNSS可以包括以下各项中的至少一个：例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下“北斗”)或伽利略或欧洲全球卫星导航系统。此后，在本文中，术语“GPS”和“GNSS”可以互换使用。有线通信可以包括以下各项中的至少一个：例如，通用串行总线(USB)、高清多媒体接口(HDMI)、推荐的标准(RS)-232、或普通老式电话服务(POTS)。网络162可以包括电信网络例如计算机网络(例如，局域网(LAN)或宽域网(WAN))、互联网或电话网络中的至少一个。
第一外部电子装置102和第二外部电子装置104各自可以是类型与电子装置101的类型相同或不同的装置。根据本公开的实施例，服务器106可以包括一组一个或多个服务器。根据本公开的示例性实施例，在电子装置101上执行的所有或一些操作可以在另一电子装置或多个其他电子装置(例如，电子装置102和104或服务器106)上执行。根据本公开的示例性实施例，当电子装置101应自动地或在请求时执行一些功能或服务时，电子装置101代替本身或附加地执行功能或服务可以请求另一装置(例如，电子装置102和104或服务器106)执行与其相关联的至少一些功能。其他电子装置(例如，电子装置102和104或服务器106)可以执行所请求的功能或另外功能，并且将执行结果传送到电子装置101。电子装置101可以通过原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
处理器120可以处理从其他元件(例如，存储器130、输入/输出接口150或通信接口170中的至少一个)获得的信息的至少一部分，并且可以以各种方式使用它们。例如，处理器120可以控制电子装置101的至少一些功能，使得电子装置101可以与另一电子装置(例如，电子装置102或104或服务器106)交互作用。处理器120可以与通信接口170集成。根据本公开的实施例，处理器120的至少一个配置可以被包括在服务器106中，并且可以被支持用于来自服务器106的在处理器120上实现的至少一个操作。
根据本公开的示例性实施例，存储器130可以包括使得处理器120能够操作的指令。例如，存储器130可以包括使得处理器120能够控制电子装置101的其他部件并且与其他电子装置102和104或服务器106交互作用的指令。处理器120可以基于存储在存储器130中的指令来控制电子装置101的其他部件并与其他电子装置102和104或服务器106交互作用。在下文中，基于电子装置101的每个部件来描述电子装置101的操作。存储器130中可以包括使得部件能够操作的指令。
根据本公开的示例性实施例，电子装置101可以包括用于感测电子装置101的第一侧表面的方向的传感器。能够感测电子装置101的方向的任何传感器(诸如例如但不限于陀螺仪传感器)可以用作传感器。电子装置101的第一侧表面的方向可以用于确定用户观看的方向。
例如，电子装置101可以将与电子装置101的显示器160相反定位的表面设置为第一表面，并且可以通过感测第一侧表面面向的方向来确定用户的视线的方向。
根据本公开的示例性实施例，处理器120可以在显示器160上显示对应于通过传感器感测的电子装置101的第一侧表面的方向的全景图像的第一部分图像。可以生成全景图像来表示虚拟现实(VR)服务中设置的整体空间。此外，全景图像可以包括左眼全景图像和右眼全景图像以提供VR服务。处理器120可以通过分别向显示器160的左侧部分和右侧部分显示左眼全景图像和右眼全景图像来向用户提供三维(3D)效果。
此外，处理器120可以放大与第一部分图像相关联的第一语音信息并且衰减与除了第一部分图像之外的全景图像的剩余部分相关联的语音信息。因此，处理器120可以为用户提供真实的语音效果。
根据本公开的示例性实施例，处理器120可以将关于第一部分图像的信息与指示全景图像的参考视图的参考视图信息进行比较。全景图像的参考视图可以例如是包括全景图像的制作者期望显示的部分的视图或者包括用户期望从全景图像观看的部分的视图。全景图像的参考视图可以由全景图像的制作者或用户设置，并且指示全景图像的参考视图的参考视图信息可以被插入到与全景图像有关的信息(例如，元数据)中。此外，参考视图信息可以在每次获得用于生成全景图像的多个图像时生成，并且可以与获得多个图像的时间相关联地插入到与全景图像相关的信息中。下面描述用于生成参考视图信息的示例性方法。
参考视图信息可以是指示全景图像的参考视图的位置或方向的信息。例如，参考视图信息可以包括关于全景图像的参考视图的坐标信息或方向信息或者关于已获得包括全景图像的参考视图的图像的图像捕获模块的信息中的至少一个。
关于第一部分图像的信息可以包括关于第一部分图像的坐标信息、关于已经获得包括第一部分图像的图像的至少一个图像捕获模块的信息以及关于第一部分图像的方向信息中的至少一个。
处理器120可以在将第一部分图像信息与参考视图信息进行比较之前识别是否在全景图像中设置参考视图信息。例如，处理器120可以确定与全景图像相关的信息是否包含参考视图信息，并且当与全景图像相关的信息包含参考视图信息时，处理器120可以将第一部分图像信息与参考视图信息进行比较。
根据本公开的示例性实施例，当第一部分图像信息与参考视图信息不同时，处理器120可以相对于第一部分图像确定对应于参考视图信息的方向。例如，当第一部分图像被定位成比对应于参考视图信息的部分图像相对更左时，处理器120可以确定相对于第一部分图像的对应于参考视图信息的方向是右。此外，处理器120还可以确定第一部分图像与对应于参考视图信息的部分图像之间的距离。
根据本公开的示例性实施例，处理器120可以向用户提供关于确定的方向的信息。例如，处理器120可以控制显示器160在第一部分图像的预设区域上显示表示关于确定的方向的信息的图形对象。处理器120可以控制显示器160显示图形对象，例如右箭头以指示右方向。然而，这仅仅是示例并且本公开不限于此。相反，可以使用各种形状的图形对象来指示确定的方向。
在这个示例中，处理器120可以根据第一部分图像与对应于参考视图信息的部分图像之间确定的距离来改变并显示图形对象。例如，处理器120可以在根据确定的距离改变图形对象的尺寸、位置或颜色的同时显示图形对象，使得用户可以直观地识别第一部分图像与对应于参考视图信息的部分图像之间的距离。
此外，处理器120可以通过输入/输出接口150(例如，扬声器)输出指示关于确定的方向的信息的语音。例如，处理器120可以使得诸如“向右移动”的语音能够被输出，并且还可以以语音输出确定的距离。
此外，处理器120可以根据关于确定的方向的信息来输出振动。例如，处理器120可以输出振动，使得用户可以感测右侧的振动，以便向用户通知确定的方向是右边。处理器120可以调整振动的强度以告知用户确定的距离。
这样，处理器120可以通过以下方式来诱导用户在对应于参考视图信息的方向上移动电子装置101：向用户提供关于相对于在显示器160上显示的全景图像的第一部分图像确定的对应于参考视图信息的方向的信息。
根据本公开的示例性实施例，处理器120可以控制显示器160，使得第一部分图像切换到对应于参考视图信息的全景图像的第二部分图像。例如，在感测到用于改变显示的图像的事件(例如，用户相对于提供给用户的第一部分图像沿着对应于参考视图信息的方向移动电子装置101)时，处理器120可以使得第一部分图像能够切换为对应于参考视图信息的第二部分图像，并且使得第二部分图像能够在显示器160上显示。此外，虽然未感测到电子装置101的移动，但处理器120可以使得将第一部分图像能够切换为第二部分图像。
当在显示器160上显示的图像从第一部分图像切换为第二部分图像时，处理器120可以衰减与第一部分图像相关联的第一语音信息，同时放大与第二部分图像相关联的第二语音信息。
图2是示出根据本公开的示例性实施例的示例性程序模块的框图。根据本公开的示例性实施例，程序模块210(例如，程序140)可以包括与控制与电子装置(例如，电子装置101)相关的资源和/或在操作系统上驱动的各种应用(例如，应用处理器147)的操作系统(OS)。操作系统可以包括例如Android、iOS、Windows、Symbian、Tizen或Bada。
程序210可以包括例如内核220、中间件230、应用编程接口(API)260和/或应用270。程序模块210的至少一部分可以预先加载在电子装置上，或者可以从外部电子装置(例如，电子装置102和104或服务器106)下载。
内核220(例如，内核141)可以包括例如系统资源管理器221和/或装置驱动器223。系统资源管理器221可以执行系统资源的控制、分配或恢复。根据本公开的示例性实施例，系统资源管理器221可以包括进程管理单元、存储器管理单元或文件系统管理单元。装置驱动器223可以包括例如显示器驱动器、照相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件230可以通过API 260向应用270提供各种功能，使得应用270可以有效地使用电子装置中有限的系统资源或提供应用270共同需要的功能。根据本公开的示例性实施例，中间件230(例如，中间件143)可以包括以下各项中的至少一个：运行时库235、应用管理器241、窗口管理器242、多媒体管理器243、资源管理器244、电源管理器245、数据库管理器246、分组管理器247、连接性管理器248、通知管理器249、位置管理器250、图形管理器251以及安全管理器252。
运行时库235可以包括由编译器使用以便在例如应用270被执行时通过编程语言添加新功能的库模块。运行时库235可以执行输入/输出管理、存储器管理或关于算术功能的操作。
应用管理器241可以管理例如应用270的至少一个应用的生命周期。窗口管理器242可以管理屏幕上使用的GUI资源。多媒体管理器243可以掌握播放各种媒体文件必需的格式，并使用适合格式的编解码器对媒体文件执行编码或解码。资源管理器244可以管理资源，诸如应用270、存储器或存储空间中的至少一个的源代码。
电源管理器245可以与例如基本输入/输出系统(BIOS)一起操作以管理电池或电源，并且提供操作电子装置必需的电源信息。数据库管理器246可以生成、搜索或改变要在应用270中的至少一个中使用的数据库。分组管理器247可以管理以分组文件的形式分发的应用的安装或更新。
连接性管理器248可以管理诸如例如Wi-Fi或蓝牙的无线连接。通知管理器249可以在不干扰用户的情况下向用户显示或通知诸如传来消息、约会或接近通知的事件。位置管理器250可以管理关于电子装置的位置信息。图形管理器251可以管理要提供给用户的图形效果及其相关的用户界面。安全管理器252可以提供系统安全或用户认证必需的各种安全功能。根据本公开的实施例，当电子装置(例如，电子装置101)具有电话能力时，中间件230还可以包括用于管理电子装置的语音呼叫或视频呼叫功能的电话管理器。
中间件230可以包括形成上述部件的各种功能的组合的中间件模块。中间件230可以提供专用于每种类型的操作系统的模块以便提供差异化功能。此外，中间件230可以动态地省略一些现有部件或添加新部件。
API 260(例如，API 145)可以是一组例如API编程功能并且可以取决于操作系统具有不同的配置。例如，在Android或iOS的情况下，可以为每个平台提供一个API组，并且在Tizen的情况下，可以为每个平台提供两个或更多个API组。
应用270(例如，应用处理器147)可以包括一个或多个应用或者提供环境信息(例如，提供大气压、湿度或温度信息)，所述一个或多个应用可以提供功能，诸如例如：主页271、拨号器272、短消息服务(SMS)/多媒体消息服务(MMS)273、即时消息(IM)274、浏览器275、照相机276、警报器277、联系人278、语音拨号279、电子邮件280、日历281、媒体播放器282、相册283或时钟284、健康护理(例如，测量锻炼程度或血糖)。
根据本公开的示例性实施例，应用270可以包括支持电子装置(例如，电子装置101)与外部电子装置(例如，电子装置102和104)之间的信息交换的应用(以下为了方便“信息交换应用”)。信息交换应用的示例可以包括但不限于，用于将特定信息传送到外部电子装置的通知中继应用或者用于管理外部电子装置的装置管理应用。
例如，通知中继应用可以包括用于将从电子装置的其他应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)生成的通知信息中继到外部电子装置(例如，电子装置102和104)的功能。此外，通知中继应用可以从例如外部电子装置接收通知信息，并且可以将接收的通知信息提供给用户。
装置管理应用可以执行与电子装置通信的外部电子装置(例如，电子装置102或104)的至少一些功能(例如，打开/关闭外部电子装置(或外部电子装置的一些部件)或控制显示器的亮度(或分辨率))，并且装置管理应用可以管理(例如，安装、删除或更新)在外部电子装置中操作的应用或从外部电子装置提供的服务(例如，呼叫服务或消息服务)。
根据本公开的示例性实施例，应用270可以包括根据外部电子装置(例如，电子装置102和104)的属性分配的应用(例如，移动医疗装置的健康护理应用)。根据本公开的示例性实施例，应用270可以包括从外部电子装置(例如，服务器106或电子装置102和104)接收的应用。根据本公开的实施例，应用270可以包括可从服务器下载的预加载应用或第三方应用。根据所示实施例的程序模块210的部件的名称可以根据操作系统的类型改变。
根据本公开的示例性实施例，程序模块210的至少一部分可以以软件、固件、硬件或其两个或更多个的组合实现。程序模块210的至少一部分可以由例如处理器(例如，处理器210)实现(例如，执行)。程序模块210的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
图3a是示出根据本公开的示例性实施例的示例性电子装置和相关电子装置的透视图。
电子装置101可以包括显示器160。此外，电子装置101可以存储虚拟现实(VR)应用。VR应用可以是可以通过显示器160向用户提供类似现实生活图像的应用。VR应用可以基于立体方案在显示器160上显示分别对应于用户的眼睛的左眼图像和右眼图像。
电子装置102可以例如是头戴式影院(HMT)设备。尽管用户移动，HMT设备也可以佩戴在用户的头上以固定到用户的头部。此外，HMT设备还可以紧固电子装置101，使得用户可以观察在电子装置101上显示的图像。
电子装置102可以包括被配置成佩戴在用户头部上的外壳350、紧固到外壳350并设置在对应于用户的眼睛的区域处的黑变(black change)部分330以及设置在外壳350的区域处的至少一个输入按钮321。此外，电子装置102可以包括输入板325，通过所述输入板325可以从用户接收轻扫输入。
用户可以使他的眼睛与黑变部分330紧密接触，允许用户通过由电子装置101提供的VR应用来观察图像而不受来自外部光线的干扰。
电子装置101可以联接到电子装置102。电子装置101可以通过有线或无线与电子装置102连接。例如，电子装置101可以通过通用串行总线(USB)与电子装置102连接，但这仅仅是示例。本领域的普通技术人员将理解，可以使用使得能够在电子装置101与102之间进行数据通信的任何其他连接，而不受限制。根据本公开的示例性实施例，电子装置101可以简单地以物理方式与电子装置102联接。
图3b是示出根据本公开的示例性实施例的电子装置的示例性显示的图。
参考图3b，电子装置101可以在显示器160上显示左眼图像361和右眼图像362。左眼图像361可以包括第一对象363，并且右眼图像362可以包括第二对象364。例如，第一对象363可以对应于左眼301，并且第二对象364可以对应于右眼302。
参考图3b，作为左眼301与右眼302之间的距离的瞳孔间距离(Inter pupillarydistance，IPD)例如可以是D。左眼图像361和右眼图像362可以对应于用户的眼睛并且可以是允许用户在感觉到深度的同时观看图像的图像。这样，左眼图像361和右眼图像362可以是用于VR服务的图像，并且可以是被配置成为VR服务的整个图像的一部分提供立体感觉的图像。此外，左眼图像361和右眼图像362可以是使用通过多个照相机获得的图像生成以显示整体空间的全景图像的部分图像。例如，左眼图像361和右眼图像362可以是对应于电子装置101的侧表面面向的方向的全景图像的部分图像。
电子装置101可以显示第一对象363和第二对象364，其中它们彼此间隔开预定距离。用户可以确定在穿过左眼301和第一对象363的直线与穿过右眼302和第二对象364的直线交叉的点处存在对象图像367。例如，用户可以通过L1观察位于远离用户的位置处的对象的存在。
图3c是示出根据本公开的示例性实施例的示例性电子装置的图。
根据本公开的示例性实施例，如图3C所示，电子装置101可以以可由用户佩戴的眼镜的形式来配置。配置为眼镜的电子装置101可以包括显示器160并且可以通过显示器160上的VR应用向用户提供类似现实生活的图像。电子装置101可以在显示器160上并通过VR应用基于立体方案来显示分别对应于用户的眼睛的左眼图像和右眼图像。
图3d是示出根据本公开的示例性实施例的示例性电子装置的示例性显示的图。
参考图3d，图3c所示的电子装置101可以在显示器160上显示左眼图像361和右眼图像362。左眼图像361可以包括第一对象363，并且右眼图像362可以包括第二对象364。例如，第一对象363可以对应于左眼301，并且第二对象364可以对应于右眼302。
如图3d所示，作为左眼301与右眼302之间的距离的IPD可以是D。左眼图像361和右眼图像362可以对应于用户的眼睛并且可以是允许用户在感觉到深度的同时观看图像的图像。这样，左眼图像361和右眼图像362可以是用于VR服务的图像，并且可以是被配置成为VR服务的整个图像的一部分提供立体感觉的图像。此外，左眼图像361和右眼图像362可以是使用通过多个照相机获得的图像生成以显示整体空间的全景图像的部分图像。例如，左眼图像361和右眼图像362可以是对应于电子装置101的侧表面面向的方向的全景图像的部分图像。
电子装置101可以显示第一对象363和第二对象364，其中它们彼此间隔开预定距离。用户可以确定在穿过左眼301和第一对象363的直线与穿过右眼302和第二对象364的直线交叉的点处存在对象图像367。例如，用户可以通过L1观察位于远离用户的点处的对象的存在。
图3e是示出由用户观看的示例性屏幕的图。如图3e所示，用户可以通过在电子装置101上显示的左眼图像361和右眼图像362来观察包括与第一对象363和第二对象364形状相同的图像371的屏幕。
图4是示出根据本公开的示例性实施例的用于由电子装置生成全景图像的示例性方法的流程图。
在操作410中，电子装置101可以通过传感器感测电子装置101的第一侧表面的方向。电子装置101的第一侧表面的方向可以用于确定用户观看的方向。
例如，电子装置101可以将与电子装置101的显示器160相反定位的表面设置为第一表面，并且可以通过感测第一侧表面面向的方向来确定用户的视线的方向。
在操作420中，电子装置101可以在显示器160上显示对应于通过传感器感测的电子装置101的第一侧表面的方向的全景图像的第一部分图像。全景图像可以包括左眼全景图像和右眼全景图像以提供VR服务。电子装置101可以在显示器160的预设右部分和左部分上显示右眼的第一部分图像和左眼的第一部分图像。
在操作430中，当第一部分图像信息与参考视图信息不同时，电子装置101可以相对于第一部分图像确定对应于参考视图信息的方向。例如，当第一部分图像被定位成比对应于参考视图信息的部分图像相对更左时，处理器120可以确定相对于第一部分图像的对应于参考视图信息的方向是右。此外，处理器120还可以确定第一部分图像与对应于参考视图信息的部分图像之间的距离。
在操作440中，电子装置101可以向用户提供关于确定的方向的信息。例如，电子装置101可以在显示器160上显示表示关于确定的方向的信息的图形对象，通过扬声器输出表示关于确定的方向的信息的语音，并且根据关于确定的方向的信息输出振动。此外，电子装置101可以输出图形对象、语音或振动以指示确定的第一部分图像与对应于参考视图信息的部分图像之间的距离。
此外，电子装置101可以输出图形对象、语音和振动的全部或者图形对象、语音或振动等中的仅两个。
图5a是示出根据本公开的示例性实施例的用户佩戴HMT设备的示例的透视图。
用户可以将外壳350放在他的头上。此外，电子装置101可以与电子装置102联接，并且用户可以观看在电子装置101的显示器上显示的图像。
电子装置101可以分别在显示器的左侧部分和右侧部分上显示左眼图像和右眼图像。左眼的图像可以入射到用户的左眼上，并且右眼的图像可以入射到用户的右眼上。例如，左眼的图像和右眼的图像可以入射到用户每个的眼睛上。用户可以通过观察入射到他眼睛上的图像来接收VR服务。
在电子装置101上执行的VR应用可以允许双眼的图像在显示器上显示。此外，VR应用可以基于用户或电子装置102的运动(偏航、俯仰或滚动)改变并显示双眼的图像。例如，VR应用可以基于电子装置102或者用户的运动(偏航、俯仰或滚动)在显示整体空间的全景图像中将双眼的图像从全景图像的第一部分图像切换到全景图像的第二部分图像并显示。
电子装置101可以通过输入按钮321和输入板325(参见图3a)中的至少一个从用户接收命令。例如，电子装置101可以从电子装置102获得聚焦命令、操纵命令或命令以改变为对应于参考视图的部分图像。或者，用户可以直接向电子装置101输入聚焦命令、操纵命令或者命令以改变为对应于参考视图的部分图像。
例如，当用户在输入板325的第一方向上输入轻扫手势时，电子装置101可以执行对应于其的操纵命令。
图5b、图5c、图5d和图5e是示出根据本公开的示例性实施例的改变在电子装置上显示的全景图像的部分图像的示例的图。
如图5b所示，用户可以在佩戴电子装置101时在第一方向511上观看。当用户在第一方向511上观看时，电子装置101可以感测电子装置101的第一侧表面面向的方向。电子装置101的第一侧表面面向的方向可以用于确定用户观看的方向。
电子装置101可以显示对应于第一部分图像521的左眼图像和右眼图像，使得用户可以观看显示对应于第一侧表面面向的方向的整体空间的全景图像的第一部分图像521。第一部分图像521可以是对应于显示VR服务中设置的整体空间的全景图像的一部分的图像。
同时，用户可以将他的头部朝右方向501转动，并且电子装置101可以感测右方向501上的转动并感测电子装置101的方向变化。如图5c至5e所示，用户可将他的头从第一方向511转到第二方向512、第三方向513和第四方向514。电子装置101可以感测从第一方向511到第四方向514的转动，并且可以感测随转动变化的电子装置101的第一侧表面的方向的变化。
当电子装置101感测到随用户向右转动他的头而变化的电子装置101的第一侧表面的方向时，电子装置101可以改变并显示第一部分图像521。例如，电子装置101可以显示对应于第二方向512的第二部分图像522、对应于第三方向513的第三部分图像523以及对应于第四方向514的第四部分图像524。例如，电子装置101可以显示用于显示每个部分图像的左眼图像和右眼图像。第一部分图像521至第四部分图像524均可以是表示构成VR服务的整体空间的全景图像的部分图像。
如图5b至5e所示，第二部分图像522可以是相对于第一部分图像521的右侧定位的前景的部分图像，第三部分图像523可以是相对于第二部分图像522的右侧定位的前景的屏幕，并且第四部分图像524可以是相对于第三部分图像的右侧定位的前景的屏幕。因此，当用户将头转向右侧时，用户可以顺序且相对地看到右手前景。
此外，电子装置101可以将关于对应于相对于在显示器160上显示的部分图像表示全景图像的参考视图的参考视图信息的方向的信息与对应于电子装置101的第一侧表面面向的方向的部分图像一起显示。以下描述假设图5d中所示的第三部分图像523是对应于参考视图信息的部分图像。
如上所述，当用户在第一方向511上观看时，电子装置101可以显示第一部分图像521。电子装置101可以相对于第一部分图像521确定对应于参考视图信息的方向。对应于参考视图信息的方向可以是相对于第一部分图像521的右方向。因此，电子装置101可以显示指示对应于参考视图信息的方向是右边的第一图形对象531。虽然以下描述了其中显示图形对象以向用户提供对应于参考视图信息的方向的示例，但本公开的实施例不限于此。例如，可以使用语音或振动来向用户提供对应于参考视图信息的方向。
当用户转动他的头以在第二方向512上观看时，电子装置101可以显示第二部分图像522。电子装置101可以相对于第二部分图像522确定对应于参考视图信息的方向。对应于参考视图信息的方向可以是相对于第二部分图像522的右方向。因此，电子装置101可以显示指示对应于参考视图信息的方向是右边的第二图形对象532。由于与第一部分图像521相比，第二部分图像522定位成相对更接近对应于参考视图信息的点，可以以比第一图形对象531更小的尺寸显示第二图形对象532。然而，本公开的示例性实施例不限于此。例如，可以以各种方式显示指示对应于参考视图信息的方向的图形对象，以通过位置、尺寸或颜色告知用户相对距离。
当用户转动他的头以在第三方向513上观看时，电子装置101可以显示第三部分图像523。电子装置101可以相对于第三部分图像523确定对应于参考视图信息的方向。如上所述，由于第三部分图像523是对应于参考视图信息的部分图像，电子装置101可以放弃显示指示对应于参考视图信息的方向的图形对象。此外，虽然未示出，但电子装置101可以通过消息、语音、图形对象或振动来告知用户在显示器160上显示的第三部分图像523对应于参考视图信息。
当用户转动他的头以在第四方向514上观看时，电子装置101可以显示第四部分图像524。电子装置101可以相对于第四部分图像524确定对应于参考视图信息的方向。对应于参考视图信息的方向可以是相对于第四部分图像524的左方向。因此，电子装置101可以显示指示对应于参考视图信息的方向是左边的第三图形对象534。
此外，即使当用户不转他的头时，电子装置101也可以将在显示器160上显示的信息从第一部分图像521改变为对应于参考视图信息的第三部分图像523。
这样，通过向用户提供关于对应于参考视图信息的方向的信息，电子装置101可以容易地发现对应于参考视图信息的部分图像。
图6a是示出根据本公开的示例性实施例包括VR服务的示例性整体全景图像的图。
图6a是示出根据本公开的示例性实施例的包括VR服务的全景图像的概念图。参考图6a，全景图像可以被配置成3D。全景图像可以包括至少一个对象601、602和603。第一对象601可以放置在第一位置(x1，y1，z1)，第二对象可以放置在第二位置(x2，y2，z2)，并且第三对象603可以放置在第三位置(x3，y3，z3)。对象601、602和603是包含在全景图像中的图像，并且其类型不受限制。
同时，可以在全景图像中设置第一用户视图611。在图6a所示的实施例中，第一对象601可以被包括在第一用户视图611中。电子装置101可以显示对应于第一用户视图611的第一部分图像。第一用户视图611可以根据通过传感器感测的电子装置101的第一侧表面的方向来确定。例如，可以基于第一方向与电子装置101的第一侧表面面向的方向之间的关系相对于面向第一方向的电子装置101的第一侧表面来确定第一用户视图611。
例如，电子装置101可以显示如图6b所示的左眼图像621和右眼图像624。左眼图像621可以包括左眼的第一图形对象623和左眼的第一对象622，所述第一图形对象623指示相对于第一部分图像的对应于全景图像的参考视图信息的方向。右眼图像624可以包括右眼的第一图形对象626和右眼的第一对象625，所述第一图形对象626指示相对于第一部分图像的对应于全景图像的参考视图信息的方向。
用户可以看见电子装置101并且可以观看如图6c所示的第一部分图像627。由用户观看的第一部分图像627可以包括第一对象628和第一图形对象629。第一部分图像可以是通过将全景图像投影在对应于第一用户视图611的平面上获得的图像。
同时，电子装置101可以检测屏幕改变事件。例如，屏幕改变事件可以是通过电子装置101的运动(例如，旋转)感测到的电子装置101的第一侧表面的方向的改变。如图5b至5e所示，用户可以在佩戴电子装置101的同时转动他的头。当用户转动他的头时，电子装置101可以感测电子装置101的第一侧表面面向的方向的改变，并且可以对应于电子装置101的第一侧表面面向的改变的方向将用户视图改变为如图6d所示的第二用户视图612。第二用户视图612可以包括第二对象602和第三对象603。
电子装置101可以对应于电子装置101的第一侧表面面向的方向改变的角度将用户视图从第一用户视图611改变为第二用户视图612。同时，本领域的普通技术人员应理解，作为屏幕改变事件的电子装置101的运动仅仅是示例，并且不限于此，可由电子装置101检测的任何输入方法可以投入使用。
根据本公开的示例性实施例，电子装置101的第一侧表面面向的方向改变的角度可以包括球面坐标系中彼此垂直的两个角度，例如在旋转轴是z轴的xy平面上的第一角度θ以及与xy平面成一定角度的第二角度根据本公开的示例性实施例，电子装置101可以旋转第一用户视图611以利用电子装置101的第一侧表面面向的方向改变的角度来确定第二用户视图612。或者，电子装置101可以使用电子装置101的第一侧表面面向的方向改变的角度来确定全景图像的旋转角度，并且还可以通过以全景图像的旋转角度旋转第一用户视图611来确定第二用户视图612。电子装置101可以显示对应于第二用户视图612的第二部分图像。
如图6e所示，电子装置101可以显示对应于第二部分图像的左眼图像632和右眼图像635。左眼图像632可以包括左眼的第二对象633和左眼的第三对象634，并且右眼图像635可以包括右眼的第二对象636和右眼的第三对象637。此外，当第二部分图像是对应于如图5d中所示的全景图像中的参考视图信息的部分图像时，与图6b中示出的相反，可以不显示指示相对于第二部分图像的对应于参考视图信息的方向的图形对象。
用户可以看见电子装置101并且可以观看如图6f所示的第二部分图像638。由用户观看的第二部分图像638可以包括第二对象639和第三对象640。
图6g是示出根据本公开的示例性实施例的示例性全景图像的图。参考图6g，电子装置101可以在角坐标系中设置全景图像650。设置在角坐标系中的全景图像650可以具有以第一角度θ设置的水平轴和以第二角度设置的垂直轴。
电子装置101可以首先显示作为全景图像650的第一部分的第一部分图像661。第一部分图像661可以包括第一图形对象652和第一对象651，所述第一图形对象652指示相对于第一部分图像661的对应于参考视图信息的方向。例如，电子装置101可以显示对应于第一部分图像661的左眼图像和右眼图像。
电子装置101可以感测电子装置101的第一侧表面面向的方向并且可以确定对应于电子装置101的第一侧表面面向的方向的改变的第二部分图像662。电子装置101可以对应于电子装置101的第一侧表面面向的方向的改变，将第一部分图像661改变为第二部分图像662，并且可以在显示器160上显示。第二部分图像662可以包括第二对象653和第三对象654。电子装置101可以显示对应于第二部分图像662的左眼图像和右眼图像。
图7a和7b是示出根据本公开的示例性实施例的由电子装置显示的全景图像的示例性部分图像的图。
下面参考图7a描述随着电子装置101移动而改变的在显示器160上显示的部分图像的过程。在图7a中，假定全景图像中对应于参考视图信息的部分图像是第三部分图像703。由于第三部分图像703对应于参考视图信息，其可以仅包括第二对象712和第三对象713。
电子装置101可以通过传感器感测电子装置101的第一侧表面的方向，并且可以显示对应于电子装置101的第一侧表面的感测到的方向的第一部分图像701。第一部分图像701可以包括第一图形对象721和第一对象711，所述第一图形对象721指示相对于第一部分图像701的参考视图信息的方向。
当电子装置101向右移动时，电子装置101可以感测电子装置101的第一侧表面的方向改变为右方向，并且可以对应于感测到电子装置101的第一侧表面的方向变为右方向，将显示器160上显示的部分图像顺序地改变为第二部分图像702、第三部分图像703、第四部分图像704和第五部分图像705。例如，电子装置101可以顺序地显示对应于多个部分图像701至705的左眼图像和右眼图像。
第二部分图像702可以包括第一对象711和第二图形对象722，第四部分图像704可以包括第三对象713和第三图形对象723，并且第五部分图像705可以包括第四图形对象724。
当电子装置101在显示器160上显示第一部分图像701和第二部分图像702时，电子装置101可以确定对应于参考视图信息的方向相对于第一部分图像701和第二部分图像702是右方向，并且可以显示指示右方向的图形对象721和722。
此外，当电子装置101在显示器160上显示第四部分图像704和第五部分图像705时，电子装置101可以确定对应于参考视图信息的方向相对于第四部分图像704和第五部分图像705是左方向，并且可以显示指示左方向的图形对象723和724。
下面参考图7b描述即使当电子装置101不移动时也改变显示器160上显示的部分图像的过程。电子装置101可以通过传感器感测电子装置101的第一侧表面的方向，并且可以显示对应于电子装置101的第一侧表面的感测到的方向的第一部分图像701。第一部分图像701可以包括第一图形对象721和第一对象711，所述第一图形对象721指示相对于第一部分图像701的参考视图信息的方向。
尽管电子装置101没有运动，例如，即使没有感测到电子装置101的第一侧表面的方向的改变，电子装置101也可以将显示器160上显示的图像改变为对应于参考视图信息的第三部分图像703。
当电子装置101识别出关于第一部分图像701的信息与参考视图信息不同时，电子装置101可以将在显示器160上显示的图像改变为第三部分图像703，并且在接收到用于改变在显示器160上显示的图像的单独用户输入时，电子装置101可以将在显示器160上显示的图像改变为第三部分图像703。
图8a和图8b是示出根据本公开的示例性实施例的用于通过电子装置提供关于对应于参考视图信息的方向的信息的示例性方法的图。
参考图8a，电子装置101可以通过输入/输出接口150(例如，扬声器)输出表示关于相对于显示器160上显示的部分图像的对应于参考视图信息的方向的信息的语音。例如，处理器120可以使得诸如“向右移动”的语音能够被输出，并且还可以以语音输出确定的距离。
此外，参考图8b，电子装置101可以基于关于相对于显示器160上显示的部分图像的对应于参考视图信息的方向的信息来输出振动。例如，处理器120可以输出振动，使得用户可以感测右侧的振动，以便通知用户确定的方向是右边。处理器120可以调整振动的强度以告知用户确定的距离。
图9是示出根据本公开的示例性实施例的用于通过电子装置改变显示为对应于参考视图信息的全景图像的部分图像的示例性方法的流程图。
在操作910中，电子装置101可以将显示器160上显示的第一部分图像切换为对应于参考视图信息的第二部分图像。例如，在感测到用于改变显示的图像的事件时，处理器120可以使得第一部分图像能够切换为对应于参考视图信息的第二部分图像，并且使得第二部分图像能够在显示器160上显示。此外，虽然未感测到电子装置101的移动，但电子装置101可以使得第一部分图像能够切换为第二部分图像。
在操作920中，当显示的图像从第一部分图像切换为第二部分图像时，电子装置101可以衰减与第一部分图像相关联的第一语音信息，同时放大与第二部分图像相关联的第二语音信息。
图10a、10b和10c是示出根据本公开的示例性实施例的示例性电子装置的图。
参考图10a，根据本公开的示例性实施例，电子装置1000可以包括多个图像捕获模块(例如，包括图像捕获电路)1001-1、1001-2、......和1001-n、处理器(例如，包括处理电路)1002、传感器1003以及至少一个麦克风1004。
根据本公开的示例性实施例，多个图像捕获模块1001-1、1001-2、......和1001-n可以包括各种图像捕获电路并且被布置成彼此间隔开使得它们各自的光轴具有不同的方向。由于多个图像捕获模块1001-1、1001-2、......和1001-n被布置成彼此间隔开使得它们各自的光轴具有不同的方向，电子装置1000可以通过多个图像捕获模块1001-1、1001-2，......和1001-n图像捕获整个3D空间。
此外，如图10b所示，电子装置1000可以例如形成为盘形。然而，这仅作为示例提供，而不限制本公开，并且电子装置1000可以以其他各种形状形成。此外，取决于电子装置1000的形状，可以布置多个图像捕获模块1001-1、1001-2、......和1001-n。
此外，如图10c所示，电子装置1000可以以各种方式使用。例如，如图10c(a)所示，用户可以在他的手中握住电子装置1000的同时捕获他所处空间的图像。此外，如图10c(b)所示，用户还可以在他的手腕上佩戴电子装置1000的同时捕获他所处空间的图像。此外，如图10c(c)所示，用户可以在佩戴用于保持电子装置1000的头盔的同时捕获他所处空间的图像，或者如图10c(d)和10c(e)所示，用户可以利用用于保持安装在袋子上的电子装置1000的撑杆1022或者在用户保持撑杆1022的同时捕获他所处的空间的图像。
根据本公开的示例性实施例，处理器1002可以通过多个图像捕获模块1001-1、1001-2、......和1001-n获得多个图像。由于多个图像捕获模块1001-1、1001-2、......和1001-n被布置成彼此间隔开使得它们各自的光轴具有不同的方向，通过多个图像捕获模块1001-1、1001-2、......和1001-n获得的多个图像可以是针对空间中的不同方向捕获的图像。
根据本公开的示例性实施例，处理器1002可以生成指示用作使用多个图像生成的全景图像的全景图像的参考的视图信息的参考视图信息。处理器1002可以将生成的参考视图信息插入到与全景图像相关的信息中。
全景图像的参考视图可以是包括全景图像的制作者期望显示的部分的视图或者包括用户期望从全景图像观看的部分的视图。参考视图信息可以是指示全景图像的参考视图的位置或方向的信息。例如，参考视图信息可以包括关于全景图像的参考视图的坐标信息或方向信息或者关于已获得包括全景图像的参考视图的图像的图像捕获模块的信息中的至少一个。
处理器1002可以在每次通过多个图像捕获模块1001-1、1001-2、......和1001-n获得多个图像时生成参考视图信息。此外，处理器1002可以在先前设置的每个周期处生成参考视图信息，并且可以在多个图像的每个帧处生成参考视图信息。处理器1002可以与生成参考视图信息的时间相关联地将生成的参考视图信息插入到与全景图像相关的信息中。
例如，处理器1002可以通过传感器1003感测电子装置1001的第一侧表面面向的方向，并且可以使用关于对应于电子装置的第一侧表面面向的感测到的方向的全景图像的第一部分图像的信息来生成参考视图信息。用户可以实时生成参考视图信息。用户可以将电子装置1000的第一侧表面设置为用于生成参考视图信息的参考表面，并且可以感测第一侧表面面向的方向并且使用所述方向来生成参考视图信息。
此外，处理器1002可以使用关于对应于通过预设第一图像捕获模块获得的图像的全景图像的第一部分图像的信息来生成参考视图信息以便在多个图像捕获模块1001-1、1001-2、......和1001-n中生成参考视图信息。用户可以将第一图像捕获模块设置为用于生成参考视图信息的参考图像捕获模块，并且可以使用通过第一图像捕获模块获得的图像来生成参考视图信息。
此外，处理器1002可以识别包括预先指定的目标对象的全景图像的第一部分图像以生成参考视图信息，并且可以使用关于第一部分图像的信息来生成参考视图信息。用户可以指定目标对象以生成参考视图信息，并且处理器1002可以跟踪全景图像中的对象以识别包括目标对象的第一部分图像。处理器1002可以使用包括目标对象的第一部分图像来生成参考视图信息。
此外，处理器1002可以识别对应于从用户接收到的输入的全景图像的第一部分图像，并且可以使用关于第一部分图像的信息来生成参考视图信息。用户输入可以在通过多个图像捕获模块1001-1、1001-2、......和1001-n捕获多个图像时实时接收，或者可以在全景图像已经生成之后接收。
根据本公开的示例性实施例，处理器1002可以使用关于通过上述各种方法识别的第一部分图像的信息来生成参考视图信息。例如，处理器1002可以生成参考视图信息以包括关于第一部分图像的坐标信息、关于已经获得包括第一部分图像的至少一个图像的至少一个图像捕获模块的信息以及关于第一部分图像的方向信息中的至少一个。
根据本公开的示例性实施例，全景图像可以包括左眼全景图像和右眼全景图像以提供VR服务，并且处理器1002可以使用通过多个图像捕获模块1001-1、1001-2、......和1001-n获得的多个图像生成左眼全景图像和右眼全景图像中的每一个。
根据本公开的示例性实施例，处理器1002可以通过至少一个麦克风1004获得与多个图像中的每一个相关联的语音信息。在使用通过至少一个麦克风1004获得的语音信息生成全景图像时，处理器1002可以生成关于全景图像的语音信息以与多个图像中的每一个相对应。
图11是示出根据本公开的示例性实施例的用于由电子装置生成全景图像的示例性方法的流程图。
在操作1110中，电子装置1000可以通过多个图像捕获模块1001-1、1001-2、......和1001-n获得多个图像。由于多个图像捕获模块1001-1、1001-2、......和1001-n被布置成彼此间隔开使得它们各自的光轴具有不同的方向，通过多个图像捕获模块1001-1、1001-2、......和1001-n获得的多个图像可以是针对空间中的不同方向捕获的图像。
在操作1120中，电子装置1000可以生成指示用作使用多个图像生成的全景图像的全景图像的参考的视图信息的参考视图信息。电子装置1000可以在每次通过多个图像捕获模块1001-1、1001-2、......和1001-n获得多个图像时生成参考视图信息。
此外，电子装置1000可以从位于电子装置1000外部的装置接收多个图像，并且还可以生成使用接收的多个图像生成的全景图像的参考视图信息。
在操作1130中，电子装置1000可以将生成的参考视图信息插入到与全景图像相关的信息中。与全景图像相关的信息可以是例如全景图像的元数据，并且参考视图信息可以被插入到全景图像的元数据中。
图12a、12b、12c和12d是示出根据本公开的示例性实施例的用于生成参考视图信息的示例性方法的流程图。
参考图12a，在操作1210中，电子装置1000可以通过传感器1003感测电子装置1000的第一侧表面面向的方向。用户可以将电子装置1000的第一侧表面设置为用于生成参考视图信息的参考表面，并且可以感测第一侧表面面向的方向并且使用所述方向来生成参考视图信息。
参考图13a，用户可以在沿第一方向1301移动电子装置1000时通过多个图像捕获模块1001-1、1001-2、......和1001-n获得多个图像。电子装置1000可以使用获得的多个图像来生成表示整体空间的全景图像1310。电子装置1000可以通过传感器1003感测电子装置1000的第一侧表面1302面向的方向。
在操作1211中，电子装置1000可以使用关于对应于电子装置1000的第一侧表面1302面向的感测到的方向的全景图像1310的第一部分图像1311的信息来生成指示用作全景图像1310的参考的视图的参考视图信息。
例如，电子装置1000可以生成参考视图信息以包括关于第一部分图像1311的坐标信息、关于已经获得包括第一部分图像1311的至少一个图像的至少一个图像捕获模块的信息以及关于第一部分图像1311的方向信息中的至少一个。
参考图12b，在操作1220中，电子装置1000可以识别对应于通过多个图像捕获模块1001-1、1001-2、......和1001-n中的预设第一图像捕获模块获得的图像的全景图像的第一部分图像。
参考图13b，第一图像捕获模块1331可以被设置为多个图像捕获模块1001-1、1001-2、......和1001-n中的具有相对于电子装置1000的中心预先设置的坐标的图像捕获模块。例如，存在于相对于电子装置1000的中心的坐标(x1，y1，z1)处的图像捕获模块可以被设置为第一图像捕获模块1331。因此，当电子装置1000旋转时，多个图像捕获模块1001-1、1001-2、......和1001-n的各自坐标实时变化，并因此，多个图像捕获模块1001-1、1001-2、......和1001-n中设置为第一图像捕获模块1331的图像捕获模块也可以实时变化。
此外，第一图像捕获模块1331可以被设置为多个图像捕获模块1001-1、1001-2、......和1001-n中的特定图像捕获模块。例如，在多个图像捕获模块1001-1、1001-2、......和1001-n当中，一号图像捕获模块1001-1可以被设置为第一图像捕获模块1331。在这个示例中，即使当电子装置1000自身如图13b(a)所示转动时或者电子装置1000随佩戴用于保持电子装置1000的头盔1332的用户转动他的头而旋转时，一号图像捕获模块1001-1可以保持为第一图像捕获模块1331。
在操作1221中，电子装置1000可以使用关于识别的第一部分图像的信息来生成关于全景图像的参考视图信息。
例如，电子装置100可以生成参考视图信息以包括关于第一部分图像的坐标信息、关于已经获得包括第一部分图像的至少一个图像的至少一个图像捕获模块的信息以及关于第一部分图像的方向信息中的至少一个。
参考图12c，在操作1230中，电子装置1000可以识别包括预先指定的目标对象的全景图像的第一部分图像。
图13c示出了目标对象1340逆时针旋转的示例。在第一位置处，可以从通过一号图像捕获模块1331获得的第一图像识别目标对象1340。之后，在目标对象1340逆时针移动时，目标对象可以被顺序地识别为通过二号图像捕获模块1332获得的第二图像、通过三号图像捕获模块1333获得的第三图像以及通过第四号图像捕获模块1334获得第四图像。
因此，第一部分图像可以顺序地变成第一图像至第四图像。
在操作1231中，电子装置100可以使用关于识别的第一部分图像的信息来生成关于全景图像的参考视图信息。
例如，电子装置100可以生成参考视图信息以包括关于第一部分图像的坐标信息、关于已经获得包括第一部分图像的至少一个图像的至少一个图像捕获模块的信息以及关于第一部分图像的方向信息中的至少一个。
参考图12d，在操作1240中，电子装置1000可以识别对应于从用户接收的输入的全景图像的第一部分图像。用户可以通过用于生成参考视图信息的电子装置1000的输入装置指定第一部分图像。电子装置1000可以根据通过输入装置接收的输入来识别全景图像的第一部分图像。
参考图14，用于生成参考视图信息的电子装置1000的输入装置可以被配置为可向左或向右旋转的装置1410(诸如微动梭子)或者被设计成能够在所有方向上旋转的球形装置1420。然而，这仅仅是为了说明的目的而提供的，并且本公开的示例性实施例不限于此。例如，可以使用电子装置1000可支持的各种输入装置来生成参考视图信息。
在操作1241中，电子装置1000可以使用关于识别的第一部分图像的信息来生成关于全景图像的参考视图信息。
例如，电子装置1000可以生成参考视图信息以包括关于第一部分图像的坐标信息、关于已经获得包括第一部分图像的至少一个图像的至少一个图像捕获模块的信息以及关于第一部分图像的方向信息中的至少一个。
此外，电子装置1000可以将通过多个图像捕获模块1001-1、1001-2、......和1001-n获得的多个图像实时发送到电子装置101。电子装置101的用户可以在观看接收到的多个图像之后移动电子装置101。参考视图信息可以根据电子装置101的移动而生成。
例如，当电子装置101的用户在第一方向上移动电子装置101时，接收到的多个图像中对应于第一方向的图像可以被识别为全景图像的第一部分图像。关于基于电子装置101的移动识别的第一部分图像的信息可以被发回给电子装置1000，并且电子装置1000可以使用接收到的关于第一部分图像的信息来生成参考视图信息。此外，电子装置101可以自己生成参考视图信息并且可以将生成的参考视图信息发送到电子装置1000。
图15a、15b和15c是示出根据本公开的示例性实施例的用于生成参考视图信息的示例性方法的图。
根据本公开的示例性实施例，可以在每次获得多个图像时生成关于全景图像的参考视图信息。例如，可以在多个图像的每一帧中生成参考视图信息。
参考图15a，在第一帧处，可以针对通过一号图像捕获模块获得的第一图像生成参考视图信息1510，并且在第二帧处，可以针对通过二号图像捕获模块获得的第二图像生成参考视图信息1511。此外，在第三帧处，可以针对通过二号图像捕获模块获得的图像与通过三号图像捕获模块获得的图像重叠的位置生成参考视图信息1512。在第n帧，可以针对通过n号图像捕获模块获得的图像生成参考视图信息1513。
由于通过多个图像生成全景图像，多个图像可以重叠。例如，二号图像可以包括不与其他图像重叠的部分1520和与相邻图像捕获模块重叠的部分1530。三号图像也可以包括不与其他图像重叠的部分1540和与相邻图像捕获模块重叠的部分1530。
参考图15b，参考视图信息1512也可以从图像重叠的部分1530生成。在图像重叠的部分1530中生成的参考视图信息1512可以包括关于已经获得每个重叠图像的图像捕获模块的信息。例如，参考视图信息1512可以包括关于二号图像捕获模块的信息以及关于三号图像捕获模块的信息中的全部。
上述参考视图信息1510、1511、1512和1513可以与获得多个图像的时间或生成参考视图信息1510、1511、1512和1513的时间(诸如帧号)相关联地插入到与全景图像相关的信息中。
例如，当参考视图信息被配置有关于图像捕获模块的信息时，参考视图信息可以与帧号相关联地插入到与全景图像相关的信息中，所述帧号诸如(f1，一号图像捕获模块)、(f2，二号图像捕获模块)、(F3，二号和三号图像捕获模块)以及(fn，n号图像捕获模块)。例如，f1、f2、f3和fn分别表示第一帧、第二帧、第三帧和第n帧。
此外，当参考视图信息可以被配置有坐标信息时，参考视图信息可以与获得图像的时间相关联地插入到与全景图像相关的信息中，所述时间诸如(t1，(x1，y1，z1))、(t2，(x2，y2，z2))、(t3，(x3，y3，z3))以及(tn，(xn，yn，zn))。例如，t1、t2、t3和tn分别表示获得图像的时间。
图15c是示出基于在表示整体空间的3D全景图像中获得图像的时间改变参考视图信息的示例的图。如图15c所示，3D全景图像可以以二维(2D)显示。用户可以在获得全景图像时设置指示全景图像的参考视图的参考视图信息，同时沿第一方向1550改变所述参考视图信息。例如，用户可以将图像从对应于三号图像捕获模块的第三图像顺序地改变为对应于二号图像捕获模块的第二图像和对应于一号图像捕获模块的第一图像。
此外，用户可以按照他的期望在第二方向1551和第三方向1552上改变并设置参考视图信息。
图16a和16b是示出根据本公开的示例性实施例的用于由单个电子装置生成参考视图信息的示例性方法的图。
参考图16a描述的是用于当一个电子装置1000朝向点D移动时生成参考视图信息并且用户期望在全景图像中顺序地显示点A、点F和点C的方法。
由于图像捕获模块1601、1602、1603和1604在固定方向上取向，通过图像捕获模块1601、1602、1603和1604中的每一个获得的图像如图16b所示随电子装置1000移动而变化。
参考图16b，在电子装置1000移动时，一号图像捕获模块1601对点A、B和C顺序地进行图像捕获，并且三号图像捕获模块1603对点G、F和E顺序地进行图像捕获。虽然电子装置1000移动，但二号图像捕获模块1602保持图像捕获点D，并且四号图像捕获模块1604保持图像捕获点H。
如上所述，当用户尝试在全景图像中顺序地显示点A、F和C时，电子装置1000可以生成第一参考视图信息以对应于通过一号图像捕获模块1601在一秒时间处捕获的图像以显示点A，生成第三参考视图信息以对应于通过三号图像捕获模块1603在三秒时间处捕获的图像以显示点F，并且生成第五参考视图信息以对应于通过一号图像捕获模块1601在五秒时间处捕获的图像以显示点C。此外，电子装置1000可以生成第二和第四参考视图信息以对应于通过二号图像捕获模块1602在二秒和四秒时间处捕获的图像，使得分别显示点的图像可以自然地切换。
这样，当用户期望在全景图像中顺序地显示特定点时，电子装置1000可以生成参考视图信息以对应于包含特定点的图像。
图16c和16d是示出根据本公开的示例性实施例的用于由多个电子装置生成参考视图信息的示例性方法的图。
参考图16c描述的是用于当两个电子装置1000-1和1000-2分别朝向点D和M移动并且用户期望在全景图像中显示点A、F、K、M和C时生成参考视图信息的方法。在图16c和16d所示的示例中，与图16a和16b中所示的示例相反，通过第二电子装置1000-2获得的图像可以用于显示难以通过第一电子装置1000-1进行图像捕获的点K和M。
参考图16d，在第一电子装置1000-1移动时，一号图像捕获模块1601从点A通过点B至点C顺序地捕获图像，并且三号图像捕获模块1603从点G通过点F至点E顺序地捕获图像。虽然第一电子装置1000-1移动，但四号图像捕获模块1604保持图像捕获点H，并且二号图像捕获模块1602保持图像捕获点D。
另外，在第二电子装置1000-2移动时，五号图像捕获模块1605对点G、F和E顺序地进行图像捕获，并且七号图像捕获模块1607对点J、K、L和N顺序地进行图像捕获。虽然第二电子装置1000-2移动，但六号图像捕获模块1606保持图像捕获点M，并且八号图像捕获模块1608保持图像捕获点I。
如上所述，当用户尝试在全景图像中顺序地显示点A、F、K、M和C时，第一电子装置1000-1可以生成第一参考视图信息以对应于通过一号图像捕获模块1601在一秒时间处捕获的图像以显示点A，并且生成第三参考视图信息以对应于通过三号图像捕获模块1603在三秒时间处捕获的图像以显示点F。此外，第一电子装置1000-1可以生成第二参考视图信息以对应于通过二号图像捕获模块1602在二秒时间处捕获的图像，使得分别显示点A和F的图像可以自然地切换。
此外，第二电子装置1000-2可以生成第四参考视图信息以对应于通过七号图像捕获模块1607在二秒时间处捕获的图像以显示点K。
可以生成第四参考视图信息以对应于通过七号图像捕获模块1607在二秒时间处捕获的图像，所述二秒时间在生成第三参考视图信息的三秒时间之前到来。为了显示点K，由于通过七号图像捕获模块1607仅对点K进行图像捕获而获得的图像在二秒时间处获得，第二电子装置1000-2可以生成第四参考视图信息以对应于在生成第三参考视图信息的时间之前到来的二秒时间处的图像。
因此，参考视图信息可能并非总是随时间的推移而顺序地生成。可以同时设置多个参考视图信息以显示特定点。生成参考视图信息的顺序可以被设置为与经过的时间相反。
用户可以生成第五参考视图信息以对应于通过六号图像捕获模块1606在三秒时间内捕获的图像以显示点M。此外，用户可以生成第八参考视图信息以对应于通过一号图像捕获模块1601在六秒时间处捕获的图像以显示点C。此外，为了从显示点M的图像平稳过渡到显示点C的图像，用户可以生成第六参考视图信息以对应于通过五号图像捕获模块1605或三号图像捕获模块1603在四秒时间处捕获的图像并且生成第七参考视图信息以对应于通过二号图像捕获模块1602在五秒时间处捕获的图像。
图17是示出根据本公开的示例性实施例的显示参考视图信息的示例性屏幕的图。
根据本公开的示例性实施例，电子装置1000可以将生成的参考视图信息插入到与全景图像相关的信息(例如全景图像的元数据)中。因此，用户可以通过显示与全景图像相关的信息(例如，全景图像的元数据)的屏幕来识别参考视图信息，如图17所示。参考视图信息可以以各种方式来表示。参考视图信息可以与获得参考视图信息的时间相关联地或者与参考视图已被设置的整体时间相关联地显示。然而，这仅仅是为了描述的目的而提供的，并且本公开的示例性实施例不限于此。例如，取决于用于设置参考视图信息的方法，元数据可以以各种方式在屏幕上显示。
图18是示出根据本公开的示例性实施例的示例性电子装置1801的框图。电子装置1801可以包括例如图1所示的电子装置101的全部或部分配置。电子装置1801可以包括一个或多个处理器(例如，应用处理器(AP))(例如，包括处理电路)1810、通信模块(例如，包括通信电路)1820、订户识别模块(SIM)1824、存储器1830、传感器模块1840、输入装置(例如，包括输入电路)1850、显示器1860、接口(例如，包括接口电路)1870、音频模块1880、照相机模块1891、电源管理模块1895、电池1896、指示器1897以及电机1898。
处理器1810可以包括各种处理电路，其被配置成通过运行例如操作系统或应用程序来控制连接到处理器1810的多个硬件和软件部件，并且处理器210可以处理并计算各种数据。处理器1810可以在例如片上系统(SoC)中实现。根据本公开的示例性实施例，处理器1810还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器1810可以包括图18所示的部件的至少一些(例如，蜂窝模块1821)。处理器1810可以将从其他部件(例如，非易失性存储器)中的至少一个接收的命令或数据加载到易失性存储器上，处理命令或数据，并且将各种数据存储在非易失性存储器中。
通信模块1820可以具有与图1的通信接口112相同或类似的配置。通信模块1820可以包括各种通信电路，诸如例如但不限于，蜂窝模块1821、无线保真(Wi-Fi)模块1823、蓝牙(BT)模块1825、GNSS模块1827、NFC模块1828以及RF模块1829。
蜂窝模块1821可以通过例如通信网络提供语音呼叫、视频呼叫、文本或互联网服务。蜂窝模块1821可以使用订户识别模块1824(例如，SIM卡)来执行通信网络内电子装置1801的识别或认证。根据本公开的实施例，蜂窝模块1821可以执行可由处理器1810提供的功能中的至少一些。根据本公开的实施例，蜂窝模块1821可以包括通信处理器(CP)。
Wi-Fi模块1823、蓝牙模块1825、GNSS模块1827或NFC模块1828可以包括例如用于处理通过模块通信的数据的处理器。根据本公开的示例性实施例，蜂窝模块1821、Wi-Fi模块1823、蓝牙模块1825、GNSS模块1827或NFC模块1828中的至少一些(例如，两个或更多个)可以被包括在单个集成电路(IC)或IC分组。
RF模块1829可以通信传达例如通信信号(例如，RF信号)。RF模块1829可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据本公开的实施例，蜂窝模块1821、Wi-Fi模块1823、蓝牙模块1825、GNSS模块1827或NFC模块1828中的至少一个可以通过单独RF模块传达RF信号。
订户识别模块1824可以包括例如具有订户识别模块的卡和/或嵌入式SIM，并且可以包含唯一识别信息(例如，集成电路卡标识符(ICCID)或订户信息(例如，国际移动订户身份(IMSI))。
存储器1830(例如，存储器130)可以包括例如内部存储器1832和/或外部存储器1834。内部存储器1832可以包括以下各项中的至少一个：例如，易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD)。
外部存储器1834可以包括闪存驱动器，例如，紧凑式闪存(CF)存储器、安全数字(SD)存储器、微型SD存储器、最小SD存储器、极限数字(xD)存储器、多媒体卡(MMC)或记忆棒TM。外部存储器1834可以通过各种接口在功能上和/或物理上连接到电子装置1801。
例如，传感器模块1840可以测量物理量或检测电子装置1801的运动状态，并且传感器模块240可以将测量或检测的信息转换为电信号。传感器模块1840可以包括以下各项中的至少一个：例如，手势传感器1840A、陀螺仪传感器1840B、大气压力传感器1840C、磁性传感器1840D、加速度传感器1840E、握持传感器1840F、接近传感器1840G、颜色传感器1840H(诸如，红绿蓝(RGB)传感器)、生物传感器1840I、温度/湿度传感器1840J、照度传感器1840K或紫外(UV)传感器1840M。另外或可选地，传感器模块1840可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或指纹传感器。传感器模块1840还可以包括用于控制包括在感测模块中的传感器中的至少一个或多个的控制电路。根据本公开的实施例，电子装置1801还可以包括被配置成将传感器模块1840控制为处理器1810的一部分或与处理器1810分离的处理器，并且电子装置1801可以在处理器1810处于睡眠状态时控制传感器模块1840。
输入单元1850可以包括各种输入电路，诸如例如但不限于，触摸面板1852、(数字)笔传感器1854、键1856或超声波输入装置1858。触摸面板1852可以使用电容式、电阻式、红外或超声波方法中的至少一种。触摸面板1852还可以包括控制电路。触摸面板1852还可以包括触觉层，并且向用户提供触觉响应。
(数字)笔传感器1854可以包括例如触摸面板的一部分或用于识别的单独片材。键1856可以包括例如物理按钮、光学键或键盘。超声输入装置1858可以通过麦克风感测从输入工具生成的超声波以便识别对应于感测的超声波的数据。
显示器1860可以包括面板1862、全息图装置1864或投影仪1866。面板1862可以被实现为柔性的、透明的或可佩戴的。面板1862也可以与触摸面板1852结合在模块中。全息图装置1864可以通过使用光干涉来在空气中制作三维(3D)图像(全息图)。投影仪1866可以通过将光投射到屏幕上来显示图像。屏幕可以例如位于电子装置1801内部或外部。根据实施例，显示器1860还可以包括用于控制面板1862、全息图装置1864或投影仪1866的控制电路。
接口1870可以包括各种接口电路，诸如例如但不限于，高清晰度多媒体接口(HDMI)1872、USB 1874、光学接口1876或D-微型(D-sub)1878。另外或可替代地，接口1870可以包括移动高清链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据关联(IrDA)标准接口。
音频模块1880可以将例如声音信号转换成电信号并且反之亦然。音频模块1880的至少一部分可以被包括在例如输入/输出接口中。音频模块1880可以处理通过例如扬声器1882、接收器1884、耳机1886或麦克风1888输入或输出的声音信息。
例如，照相机模块1891可以是用于记录静止图像和视频的装置，并且根据本公开的实施例可以包括一个或多个图像传感器(例如，正面和背面传感器)、镜头、图像信号处理器(ISP)或诸如LED或氙灯的闪光灯。
例如，电源管理器模块1895可以管理电子装置1801的电源。根据本公开的实施例，电源管理器模块1895可以包括电源管理集成电路(PMIC)、充电器IC或电池或电量计。PMIC可以具有有线和/或无线充电方案。无线充电方案可以包括例如磁共振方案、磁感应方案或基于电磁波的方案，并且可以添加附加电路诸如线圈环路、共振电路、整流器等以用于无线充电。当电池296充电时，电池量表可以测量电池1896的剩余电量、电压、电流或温度。电池1896可以包括例如可充电电池或太阳能电池。
指示器1897可以指示电子装置1801或电子装置的一部分(例如，处理器1810)的特定状态，包括例如启动状态、消息状态或充电状态。电机1898可以将电信号转换为机械振动，并且可以生成振动或触觉效果。虽然未示出，但用于支持移动TV的处理单元(诸如GPU)可以包括在电子装置1801中。用于支持移动TV的处理单元可以处理符合数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM的标准的媒体数据。
电子装置的上述部件中的每一个可以包括一个或多个部分，并且所述部分的名称可以随着电子装置的类型而变化。根据本公开的各种示例性实施例的电子装置可以包括至少一个上述部件、省略其中的一些或者包括其他附加部件。一些部件可以组合成一个实体，但实体可以执行与部件可能做的相同的功能。
术语‘模块’可以指包括硬件、软件和固件之一或其组合的单元。术语‘模块’可以与单元、逻辑、逻辑块、部件或电路互换使用。模块可以是最小单位或集成部件的一部分。模块可以是执行一个或多个功能的最小单位或部分。模块可以机械地或电子地实现。例如，模块可以包括执行一些操作的处理电路、专用处理器、专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个，所述操作已经已知或将来会开发。
根据本公开的示例性实施例，装置的至少一部分(例如，模块或其功能)或方法(例如，操作)可以被实现为例如以程序模块的形式存储在计算机可读存储介质中的指令。指令在由处理器(例如，处理器120)执行时可以使得处理器能够执行对应的功能。计算机可读存储介质可以是例如存储器130。
计算机可读存储介质可以包括诸如硬盘、软盘和磁带(例如，磁带)的硬件装置；诸如光盘ROM(CD-ROM)和数字多功能盘(DVD)的光学介质；诸如光磁盘、ROM、RAM、闪存等的磁光介质。程序指令的示例不仅可以包括机器语言代码，而且可以包括可由各种计算装置使用解释器执行的高级语言代码。上述硬件装置可以被配置成作为一个或多个软件模块操作以执行本公开的示例性实施例，并且反之亦然。
根据本公开的各种示例性实施例的模块或编程模块可以包括上述部件中的至少一个或多个、省略其中的一些或者进一步包括其他附加部件。根据本公开的各种示例性实施例的模块、编程模块或其他部件执行的操作可以顺序地、同时地、重复地或启发式地执行。此外，一些操作可以以不同的顺序执行，或者省略，或者包括其他附加操作。
根据本公开的示例性实施例，提供一种保留命令的存储介质，所述命令在由至少一个处理器执行以使得至少一个处理器能够执行至少一个操作，所述操作可以包括：识别用户通过传感器观看的方向；当关于第一部分图像的信息与指示全景图像的参考视图的参考视图信息不同时，显示对应于识别的观看方向的全景图像的第一部分图像；确定对应于参考视图信息的方向；以及提供关于识别的方向的信息。
至少一个操作还可以包括：从包括在电子装置中并且彼此间隔开以具有不同的光轴方向的多个图像捕获模块获得多个图像；生成指示使用多个图像生成的全景图像的参考视图的参考视图信息；以及将参考视图信息插入到与全景图像相关的信息中。
提供本文公开的示例性实施例用于描述和理解所公开的技术，并不限制本公开的范围。因此，基于本公开的技术精神，本公开的范围应被理解为包括所有变化或各种实施例。

Claims (15)

1.一种电子装置，其包括：
传感器，其被配置成感测所述电子装置的第一侧表面面向的方向；
显示器，其被配置成显示全景图像的部分图像；以及
处理器，其被配置成在所述显示器上显示与通过所述传感器感测的第一侧表面的方向相对应的所述全景图像的第一部分图像，如果关于所述第一部分图像的信息与指示所述全景图像的参考视图的参考视图信息不同，则相对于所述第一部分图像确定对应于参考视图信息的方向，并且提供关于所确定的方向的信息。
2.如权利要求1所述的电子装置，其中所述全景图像包括用于提供虚拟现实(VR)服务的左眼全景图像和右眼全景图像。
3.如权利要求1所述的电子装置，其中所述处理器被配置成放大与所述第一部分图像相关联的第一语音信息并且衰减与除了所述第一部分图像之外的全景图像的剩余部分相关联的语音信息。
4.如权利要求1所述的电子装置，其中关于所述第一部分图像的所述信息包括以下各项中的至少一个：关于所述第一部分图像的坐标信息、关于包括被配置成获得包含所述第一部分图像的图像的图像捕获电路的至少一个图像捕获模块的信息、以及关于所述第一部分图像的方向信息。
5.如权利要求1所述的电子装置，其中所述参考视图信息在每次获得用于生成所述全景图像的多个图像时生成，并且与获得所述多个图像的时间相关联地插入到与所述全景图像相关的信息中。
6.如权利要求1所述的电子装置，其中所述处理器被配置成控制所述显示器在所述第一部分图像的预设区域上显示指示关于所确定的方向的信息的图形对象。
7.如权利要求1所述的电子装置，其中所述处理器被配置成输出指示关于所确定的方向的信息的语音。
8.如权利要求1所述的电子装置，其中所述处理器被配置成输出基于关于所确定的方向的信息的振动。
9.如权利要求1所述的电子装置，其中所述处理器被配置成控制所述显示器将所述第一部分图像切换为与所述参考视图信息相对应的全景图像的第二部分图像。
10.如权利要求9所述的电子装置，其中所述处理器被配置成衰减与所述第一部分图像相关联的第一语音信息并且放大与所述第二部分图像相关联的第二语音信息。
11.一种用于由电子装置显示全景图像的方法，所述方法包括：
通过包括在所述电子装置中的传感器感测所述电子装置的第一侧表面面向的方向；
显示与所述第一侧表面的感测的方向相对应的所述全景图像的第一部分图像；
如果关于所述第一部分图像的信息与指示所述全景图像的参考视图的参考视图信息不同，则相对于所述第一部分图像确定对应于所述参考视图信息的方向；以及
提供关于所述确定的方向的信息。
12.一种电子装置，其包括：
包括图像捕获电路的多个图像捕获模块，所述图像捕获模块彼此间隔开并且具有不同的光轴方向；以及
处理器，其被配置成通过所述多个图像捕获模块的图像捕获电路获得多个图像，生成指示使用所述多个图像生成的全景图像的参考视图的参考视图信息，并且将所述参考视图信息插入到与所述全景图像相关的信息中。
13.如权利要求21所述的电子装置，其中所述参考视图信息在每次获得所述多个图像时生成，并且
其中所述处理器被配置成与获得所述多个图像的时间相关联地将所述参考视图信息插入到与所述全景图像相关的信息中。
14.如权利要求12所述的电子装置，其还包括被配置成感测所述电子装置的方向的传感器，其中所述处理器被配置成通过所述传感器确定所述电子装置的第一侧表面面向的方向，并且使用关于与所述电子装置的第一侧表面面向的感测的方向相对应的所述全景图像的第一部分图像的信息来生成所述参考视图信息。
15.如权利要求12所述的电子装置，其中所述处理器被配置成使用关于与通过所述多个图像捕获模块中的预设第一图像捕获模块获得的图像相对应的所述全景图像的第一部分图像的信息来生成所述参考视图信息。
CN201680068696.9A 2015-11-27 2016-11-24 用于显示并生成全景图像的电子装置和方法 Pending CN108293108A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20150167986 2015-11-27
KR10-2015-0167986 2015-11-27
KR10-2016-0143159 2016-10-31
KR1020160143159A KR102632270B1 (ko) 2015-11-27 2016-10-31 전자 장치 및 파노라마 영상 표시와 생성 방법
PCT/KR2016/013656 WO2017091019A1 (en) 2015-11-27 2016-11-24 Electronic device and method for displaying and generating panoramic image

Publications (1)

Publication Number Publication Date
CN108293108A true CN108293108A (zh) 2018-07-17

Family

ID=59223646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680068696.9A Pending CN108293108A (zh) 2015-11-27 2016-11-24 用于显示并生成全景图像的电子装置和方法

Country Status (3)

Country Link
EP (1) EP3342162B1 (zh)
KR (1) KR102632270B1 (zh)
CN (1) CN108293108A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961356A (zh) * 2019-03-20 2019-07-02 珠海格力电器股份有限公司 空调的销售系统
CN114760418A (zh) * 2022-04-24 2022-07-15 蒂姆维澳(上海)网络技术有限公司 一种360度全视角ar监控方法、系统及ar眼镜
CN115209203A (zh) * 2021-04-12 2022-10-18 佳能株式会社 电子装置、电子装置的控制方法以及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
KR102287133B1 (ko) * 2018-11-30 2021-08-09 한국전자기술연구원 자유 시점 영상 제공 방법 및 장치
KR102639493B1 (ko) * 2021-12-21 2024-02-23 경희대학교 산학협력단 360°비디오 컨텐츠를 제공하는 기지국 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US20020090143A1 (en) * 2001-01-11 2002-07-11 Takaaki Endo Image processing apparatus, method of processing images, and storage medium
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US20120075343A1 (en) * 2010-09-25 2012-03-29 Teledyne Scientific & Imaging, Llc Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP2013027021A (ja) * 2011-07-26 2013-02-04 Canon Inc 全方位撮像装置及び全方位撮像方法
US20140375683A1 (en) * 2013-06-25 2014-12-25 Thomas George Salter Indicating out-of-view augmented reality images
US20150309310A1 (en) * 2014-04-23 2015-10-29 Lg Electronics Inc. Head mounted display device displaying thumbnail image and method of controlling therefor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5037765B2 (ja) * 2001-09-07 2012-10-03 株式会社トプコン オペレータ誘導システム
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
KR100683850B1 (ko) * 2004-08-20 2007-02-16 삼성전자주식회사 파노라마 촬영 기능을 지원하는 촬영기기 및 촬영방법
US9766089B2 (en) * 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
KR101109670B1 (ko) * 2009-12-16 2012-01-31 주식회사 다음커뮤니케이션 파노라마 이미지를 디스플레이하는 방법
JP2012099917A (ja) * 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 撮像装置
CN103493103A (zh) * 2011-04-08 2014-01-01 皇家飞利浦有限公司 图像处理系统和方法
JP2013034081A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
KR102058857B1 (ko) * 2013-04-08 2019-12-26 삼성전자주식회사 촬영 장치 및 촬영 제어 방법
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
KR102165444B1 (ko) * 2013-08-28 2020-10-14 엘지전자 주식회사 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
WO2015179574A1 (en) * 2014-05-20 2015-11-26 Nextvr Inc. Methods and apparatus including or for use with one or more cameras

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
US20020090143A1 (en) * 2001-01-11 2002-07-11 Takaaki Endo Image processing apparatus, method of processing images, and storage medium
CN1965578A (zh) * 2003-06-03 2007-05-16 伦纳德·P·斯图尔特第三 数码3d/360度照相机系统
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US20120075343A1 (en) * 2010-09-25 2012-03-29 Teledyne Scientific & Imaging, Llc Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP2013027021A (ja) * 2011-07-26 2013-02-04 Canon Inc 全方位撮像装置及び全方位撮像方法
US20140375683A1 (en) * 2013-06-25 2014-12-25 Thomas George Salter Indicating out-of-view augmented reality images
US20150309310A1 (en) * 2014-04-23 2015-10-29 Lg Electronics Inc. Head mounted display device displaying thumbnail image and method of controlling therefor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961356A (zh) * 2019-03-20 2019-07-02 珠海格力电器股份有限公司 空调的销售系统
CN115209203A (zh) * 2021-04-12 2022-10-18 佳能株式会社 电子装置、电子装置的控制方法以及存储介质
CN114760418A (zh) * 2022-04-24 2022-07-15 蒂姆维澳(上海)网络技术有限公司 一种360度全视角ar监控方法、系统及ar眼镜

Also Published As

Publication number Publication date
EP3342162A4 (en) 2018-07-25
KR20170062376A (ko) 2017-06-07
EP3342162A1 (en) 2018-07-04
KR102632270B1 (ko) 2024-02-02
EP3342162B1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN107807732B (zh) 用于显示图像的方法、存储介质和电子装置
CN109471522B (zh) 用于在虚拟现实中控制指示器的方法和电子设备
KR102559625B1 (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
CN108279832A (zh) 图像采集方法和电子装置
US10380716B2 (en) Electronic device for providing omnidirectional image and method thereof
CN108293108A (zh) 用于显示并生成全景图像的电子装置和方法
EP3367664A1 (en) Photographing method using external electronic device and electronic device supporting the same
US11670022B2 (en) Electronic device and method for displaying and generating panoramic image
CN108370488B (zh) 音频提供方法及其设备
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
CN108429906A (zh) 电子设备和用于在电子设备中发送和接收图像数据的方法
CN107613283B (zh) 视频中的基于对象或区域的聚焦控制
CN105607882A (zh) 显示方法和电子装置
CN107491177A (zh) 用于识别旋转体的旋转的方法及用于处理该方法的电子设备
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
CN110326033A (zh) 用于控制无人驾驶飞行器的电子装置及操作该电子装置的方法
EP3469787B1 (en) Electronic device and computer-readable recording medium for displaying images
CN106250738A (zh) 用于执行个人认证的电子装置及其方法
CN110291528A (zh) 基于视觉的对象辨别装置和用于控制其的方法
CN106066611A (zh) 通过对接对功能进行扩展的方法及其电子装置
CN109845251B (zh) 用于显示图像的电子设备和方法
CN106168850B (zh) 用于显示屏幕的电子设备及其控制方法
CN108089700A (zh) 用于显示图像的电子设备及其控制方法
EP3591514A1 (en) Electronic device and screen image display method for electronic device
CN108427529A (zh) 电子设备及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180717