CN107810472B - 电子装置和用于控制全景图像的显示的方法 - Google Patents

电子装置和用于控制全景图像的显示的方法 Download PDF

Info

Publication number
CN107810472B
CN107810472B CN201680037070.1A CN201680037070A CN107810472B CN 107810472 B CN107810472 B CN 107810472B CN 201680037070 A CN201680037070 A CN 201680037070A CN 107810472 B CN107810472 B CN 107810472B
Authority
CN
China
Prior art keywords
focus
electronic device
panoramic image
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680037070.1A
Other languages
English (en)
Other versions
CN107810472A (zh
Inventor
韩宗铉
金宝根
崔圭玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107810472A publication Critical patent/CN107810472A/zh
Application granted granted Critical
Publication of CN107810472B publication Critical patent/CN107810472B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

本公开能够提供一种电子装置和用于在电子装置中对全景图像的显示进行控制的方法，其中，所述电子装置够提供全景图像的有意义的播放视点。一种电子装置包括处理器和被配置为显示全景图像的显示器。所述处理器进行控制以通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点，并进行控制以通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来在显示器中显示所述区域。

Description

电子装置和用于控制全景图像的显示的方法
技术领域
本公开涉及一种在具有平面显示器的电子装置中对360°全景图像的显示进行控制的技术。
背景技术
根据移动通信和处理器技术的发展以及用户对新的各种功能的需求，便携式终端被不断发展。因此，这种便携式终端(或电子设备)除了诸如语音通信和消息传输等一般通信功能外，还必须以各种形式输出多媒体内容。
此外,根据拍摄设备和图像处理技术的发展,多媒体内容正发展以包含完整的实际场景，具有360°视点的全景图像可以被提供，使得更大的空间能够根据相关技术被包括在一个图像格式中。这样的全景图像能够通过将拍摄视点缓慢地移动并合成在每个视点的图像的方法来产生，或能够通过使用最近开发的能够同时地360°拍摄所有空间并根据相关技术产生全景图像的虚拟现实(VR)设备来产生。此外,全景图像不仅能以静态图像形式被产生，也能以运动图像形式被产生,并且内容中的全景图像内容能够在360°视点被同时播放。
如图1A和图1B所示，全景图像可具有360°视点。为了方便描述，全景图像能够被转换为如图1C所示的平面形式，其中，左端视点和右端视点被连接在一起。
同时，由于有限的屏幕尺寸，移动终端仅能播放全景图像的部分区域。此外，即使具有大屏幕(诸如电视(TV)或监视器)的装置也不能同时输出360°播放视点。因此，在具有不支持360°视点的平面显示器的电子装置中播放全景图像的情况下，确定应在平面显示器中被显示的全景图像的视点是重要的。
用户期望的一些有意义的播放视点可能存在于全景图像中，它们可能会根据全景图像的播放时间发生变化；然而，该方法不能提取出有意义的播放视点，并根据相关技术为用户提供相应的场景。
以上所述，为便于理解已描述了本公开的背景；然而，本领域的技术人员将明白，本公开不局限于根据本领域的已知技术。
以上信息仅作为背景信息被提供，以助于理解本公开。至于上述任何内容是否可适用于本公开的现有技术，没有作出决定，也没有作出断言。
发明内容
【技术问题】
本公开的各方面是为了至少解决上面提到的问题和/或缺点，并至少提供下面描述的优点。因此，本公开的一方面在于提供一种电子装置和用于在电子装置中对全景图像的显示进行控制的方法，其中，所述电子装置当播放360°全景图像时能够提供图像的有意义的播放视点。
【技术方案】
根据本公开的一方面，提供了一种电子装置。所述电子装置包括：显示器，被配置为显示全景图像；和处理器。所述处理器通过对全景图像中包括的至少一个对象进行分析来控制提取至少一个焦点，并通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来在显示器中显示所述区域。
根据本公开的另一方面，提供了一种用于在电子装置中对全景图像的显示进行控制的方法。所述方法包括：通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点，并通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来在显示器中显示所述区域。
从以下结合附图的公开了本公开的各种实施例的详细描述中，本领域的技术人员将清楚本公开的其他方面、优点和显著特征。
【有益效果】
本公开的一方面可提供一种电子装置和用于在电子装置中对全景图像的显示进行控制的方法，其中，所述电子装置当播放360°全景图像时能够通提供图像的有意义的播放视点。
附图说明
从以下结合附图的描述，本公开的特定实施例的上述和其他方面、特征和优点将会更加清楚，其中：
图1A、图1B和图1C是示出根据本公开的各种实施例的全景图像的示例的示意图；
图2是示出根据本公开的实施例的网络环境中的电子装置的框图；
图3是示出根据本公开的实施例的电子装置的构造的框图；
图4是示出根据本公开的实施例的编程模块的构造的框图；
图5是示出根据本公开的实施例的电子装置的构造的框图；
图6A、图6B、图7、图8A、图8B、图9、图10和图11是示出根据本公开的各种实施例的提取焦点的示例的示意图；
图12是示出根据本公开的实施例的图形用户界面(GUI)屏幕的示例的示意图；以及
图13、图14和图15是示出根据本公开的各种实施例的用于在电子装置中对全景图像的显示进行控制的方法的流程图。
贯穿附图，相同的参考标号将被理解为表示相同的部件、组件和结构。
具体实施方式
提供参照附图的下列描述以助于透彻地理解由权利要求以及它们的等同物所限定的本公开的各种实施例。它包括各种具体地细节以助于理解，但是这些细节仅被当做是示例。因此，本领域的普通技术人员将理解的是，在不脱离本公开的范围和精神的情况下，可做出这里描述的各种实施例的各种改变和修改。此外，为了清楚和简洁，可省略已知功能和结构的描述。
在下面的描述和权利要求中使用的术语和词语不限于书面的含义，而仅是被发明人使用来使本公开能够被清楚和一致地理解。因此，本领域的技术人员应清楚的是本公开的各种实施例的下列描述仅被提供用于示意性目的，而不是用于限制由权利要求以及它们的等同物所限定的本公开的目的。
除非上下文另外清楚地指明，否则单数形式的术语包括复数指示。因此，例如，提及“组件表面”包括提及一个或更多个这样的表面。
本公开中使用的表述“包括”或“可包括”指示相应功能、操作或元件的存在，并且不限制附加的至少一个功能、操作或元件。此外，在本公开中，术语“包括”或“具有”指示在说明书中描述的特征、数值、操作、元件、组件或它们的组合的存在，并且不排除存在至少一个其他特征、数值、操作、元件、组件或它们的组合或还可包括至少一个其他特征、数值、操作、元件、组件或它们的组合。
在本公开中，表述“或”包括一起所列词语的任何组合或全部组合。例如，“A或B”可包括：A、B或A和B。
本公开中第一和第二的表述可代表本公开的各种元件，但不限于相应元件。例如，所述表述不限制相应元件的顺序和/或重要性。所述表述可被用于对一个元件与另一元件进行区别。例如，第一用户装置和第二用户装置两者都是用户装置并代表不同的用户装置。例如，在不脱离本公开的范围的情况下，第一构成元件可被称为第二构成元件，类似地，第二构成元件可被称为第一构成元件。
当描述元件被“耦接”到另一元件，所述元件可被“直接地耦接”到其他元件或通过第三元件“电耦接”到其他元件。然而，当描述元件被“直接地耦接”到另一元件时，所述元件与其他元件之间可不存在元件。
本公开中使用的术语不在于限制本公开，而是在于示出各种实施例。当在本公开和权利要求的描述中使用时，除非明确地不同地表示，否则单数形式包括复数形式。
除非不同地定义，否则这里使用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员通常所理解的含义相同的含义。除非明确地定义，否则应被分析出的是，在词典中定义的通常使用的术语具有与相关技术的上下文的含义相应的含义，并且不以理想化或过度正式的含义被分析。
在本公开中，电子装置可以是涉及通信功能的装置。例如，电子装置可以是：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段或1阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、便携式医疗装置、数码相机或可穿戴装置(例如，诸如电子眼镜的头戴式装置(HMD)、电子服装、电子手镯、电子项链、电子配件或智能手表)。
根据本公开的一些实施例，电子装置可以是涉及通信功能的智能家用电器。例如，电子装置可以是：电视(TV)、数字多功能盘(DVD)播放器、音响设备、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、电视(TV)盒(例如，Samsung
Figure BDA0001520618220000041
Apple
Figure BDA0001520618220000042
Google
Figure BDA0001520618220000043
等)、游戏机、电子词典、电子钥匙、摄像机或电子相框。
根据一些实施例，电子装置可以是：医疗装置(例如，磁谐振血管造影(MRA)、磁谐振成像(MRI)、计算机断层扫描(CT)、超声成像等)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、用于船舶的电子设备(例如，船舶导航装置、陀螺罗盘等)、航空电子设备、安全设备或者工业或家庭机器人。
根据一些实施例，电子装置可以是：具有通信功能的家具或建筑或结构的部分、电子板、电子签名接收装置、投影仪或各种测量装置(例如，水表、电表、燃气表、无线电测波仪等)。这里公开的电子装置可以是上面提到的装置中的一个或它们的任意组合。如本领域的技术人员所熟知的，上面提到的电子装置仅仅是示例性的，并且不被作为本公开的限制。
图2是示出根据本公开的实施例的电子设备的框图200。
参照图2，电子装置201可包括：总线210、处理器220、存储器230、用户输入模块250、显示器260和通信接口270。
总线210可以是用于将上述元件相互连接并例如通过在上述元件间传递控制消息来允许通信的电路。
处理器220可通过例如总线210从上述其他元件(例如，存储器230、用户输入模块250、显示器260和通信接口270)接收命令，可对接收的命令进行破译，并根据破译后的命令来执行操作和/或数据处理。
存储器230可存储从处理器器220和/或其他元件(例如，用户输入模块250、显示器260和通信接口270)接收的命令和/或由处理器220和/或其他元件产生的命令和/或数据。存储器230可包括软件和/或程序240，诸如内核241、中间件243、应用编程接口(API)245和应用247。上述编程模块中的每一个可由软件、固件、硬件和/或它们中的两个或更多个的组合来构造。
内核241可控制和/或管理用于执行在其他编程模块中(诸如，中间件243、API 245和/或应用程序247)中实现的操作和/或功能的系统资源(例如，总线210、处理器220或存储器230)。此外，内核241可提供接口，其中，中间件243、API 245和/或应用247可通过该接口对电子装置201的个体元件进行访问，并控制和/或管理电子装置201的个体元件。
中间件243可执行转发功能，使API 245和/或应用247能够与内核241进行通信并交换数据。此外，关于从应用247中的至少一个接收的操作请求，中间件243可通过例如将使用电子装置201的系统资源(例如，总线210、处理器220和/或存储器230)的优先级给予应用247中的至少一个应用来执行关于操作请求的负载平衡。
API 245是接口，其中，应用247可通过该接口对由内核241和/或中间件243提供的功能进行控制，并且API 245可包括例如用于文件控制、窗口控制、图像处理和/或字符控制等的至少一个接口或功能。
用户输入模块250可从用户接收例如命令和/或数据，并通过总线210将接收的命令和/或数据传送到处理器220和/或存储器230。显示器260可向用户显示图像、视频和/或数据。
通信接口270可在电子装置101以及其他电子装置202、电子装置204和/或服务器206之间建立通信。通信接口270可支持短距离通信协议(例如，Wi-Fi协议、蓝牙(BT)协议和近场通信(NFC)协议)、通信网络(例如，互联网、局域网(LAN)、无线区域网络(WAN)、电信网络、蜂窝网络和卫星网络)或老式电话服务(POTS)，或任何其他类似和/或适合的通信网络，诸如网络262等。电子装置202和电子装置204中的每一个可以是相同类型和/或不同类型的电子设备。
图3示出根据本公开的实施例的电子装置301的框图。电子装置301可形成例如图2中示出的电子装置201的全部或部分。参照图3，电子装置301可包括：至少一个应用处理器(AP)310、通信模块320、用户识别模块(SIM)卡324、存储器330、传感器模块340、输入装置350、显示器360、接口370、音频模块380、相机模块391、电源管理模块395、电池396、指示器397和电机398。
AP 310可驱动操作系统或应用，对被连接到AP 310的多个硬件或软件组件进行控制，还可针对包括多媒体数据的各种数据执行处理和操作。例如，AP 310可由片上系统(SoC)来形成。根据实施例，AP 310还可包括图形处理单元(GPU)(未示出)。
通信模块320(例如，图2中的通信接口270)可通过网络与连接到电子装置301(例如，电子装置201)的任何其他电子装置(例如，电子装置204或服务器206)执行数据通信。根据实施例，通信模块320中可包括：蜂窝模块321、Wi-Fi模块323、BT模块325、GPS模块327、NFC模块328和RF(射频)模块329。
蜂窝模块321可通过通信网络(例如，长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)等)来提供语音呼叫、视频呼叫、消息服务、互联网服务等。此外，蜂窝模块321可使用SIM卡324来执行对通信网络中的电子装置的识别和认证。根据实施例，蜂窝模块321可执行AP310能够提供的功能中的至少一部分功能。例如，蜂窝模块321可执行多媒体控制功能中的至少一部功能。
根据实施例，蜂窝模块321可包括通信处理器(CP)。此外，例如，蜂窝模块321可由SoC形成。尽管诸如蜂窝模块321(例如，CP)、存储器330或电源管理模块395的一些元件被示出是与图3中的AP 310不同的单独的元件，但是AP 310可被形成为具有实施例中的上述元件中的至少一部分(例如，蜂窝模块321)。
根据实施例，AP 310或蜂窝模块321(例如，CP)可将从连接的非易失性存储器或从其他元件中的至少一个元件接收的命令或数据加载到易失性存储器，以对其进行处理。此外，AP 310或蜂窝模块321可将从其他元件中的一个或更多个元件接收的数据或在其他元件中的一个或更多个元件创建的数据存储在非易失性存储器中。
Wi-Fi模块323、BT模块325、GPS模块327和NFC模块328中的每一个可包括用于对通过相应模块发送或接收的数据进行处理的处理器。尽管图3将蜂窝模块321、Wi-Fi模块323、BT模块325、GPS模块327和NFC模块328示出为不同的块，但是在实施例中它们中的至少一部分可被包括在单一的集成电路(IC)芯片或单一的IC封装中。例如，与蜂窝模块321、Wi-Fi模块323、BT模块325、GPS模块327和NFC模块328相应的各自的处理器的至少一部分(例如，与蜂窝模块321相应的CP和与Wi-Fi模块323相应的Wi-Fi处理器)可被形成为单一的SoC。
RF模块329可发送和接收数据，例如，RF信号或任何其他电信号。尽管未示出，但是射频(RF)模块329可包括：收发器、功率放大模块(PAM)、频率滤波器、低噪声放大器(LNA)等。此外，RF模块329可包括用于在空中传输电磁波的任何组件，例如，电线或导体。在实施例中，尽管图3示出蜂窝模块321、Wi-Fi模块323、BT模块325、GPS模块327和NFC模块328共享RF模块329，但是它们中的至少一个模块可通过单独的RF模块执行RF信号的发送或接收。
SIM卡324可以是由SIM形成的特定的卡，并可被插入在电子装置301的特定位置形成的插槽内。SIM卡324中可包括集成电路卡标识符(ICCID)或国际移动用户身份(IMSI)。
存储器330(例如，图2中的存储器230)可包括内部存储器332和外部存储器334。内部存储器332可包括：例如，易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)或非易失性存储器(例如，一次可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、NAND闪存、NOR闪存等)中的至少一个。
根据实施例，内部存储器可具有固态驱动器(SSD)的形式。外部存储器334可包括闪存驱动器，例如，紧凑式闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极速数字(xD)、记忆棒等。外部存储器334可通过各种接口被功能性地连接到电子装置301。根据实施例，电子装置301还可包括诸如硬盘驱动器的存储器装置或介质。
传感器模块340可测量物理量或感测电子装置301的操作状态，并随后可将测量到的或感测到的信息转换为电信号。传感器模块340包括：例如，手势传感器340A、陀螺仪传感器340B、大气压力传感器340C、磁性传感器340D、加速度传感器340E、握持传感器340F、接近传感器340G、颜色传感器340H(例如，红、绿、蓝(RGB)传感器)、生物传感器340I、温度/湿度传感器340J、照度传感器340K和紫外线(UV)传感器340M中的至少一种。此外或可选地，传感器模块340可包括：例如，电子鼻传感器(未示出)、肌电图(EMG)传感器(未示出)、脑电图(EEG)传感器(未示出)、心电图(ECG)传感器(未示出)、红外(IR)传感器(未示出)、虹膜扫描传感器(未示出)或指纹扫描传感器(未示出)。此外，传感器模块340中可包括用于控制装备在其中的一个或更多个传感器的控制电路。
输入装置350可包括：触摸面板352、数字笔传感器354、键356或超声输入装置358。触摸面板352可按照电容类型、电阻类型、红外类型或超声类型的方式识别触摸输入。此外，触摸面板352还可包括控制电路。在电容类型的情况下，物理接触或接近可被识别。触摸面板352还可包括触觉层。在这种情况下，触摸面板352可向用户提供触觉反馈。
数字笔传感器354可以以相同或类似的方式被形成为接收触摸输入或通过使用单独的识别板接收触摸输入。键356可包括：例如，物理按扭、光学键或小键盘。超声输入单元358是能够通过使用电子装置301中的麦克风388来感测通过产生超声信号的输入工具产生的声波来识别数据的特定装置，从而允许无线识别。根据实施例，电子装置301可从通过通信模块320被连接到电子装置301的外部装置(例如，计算机或服务器)接收用户输入。
显示器360(例如，显示器350)可包括面板362、全息装置364或投影仪366。面板362可以是例如液晶显示器(LCD)、有源矩阵有机发光二极管(AM-OLED)等。面板362可具有柔性的、透明的或可穿戴的形式。面板362可与触摸面板352一起被形成为单个模块。全息装置364可使用光的干涉在空中呈现立体图像。投影仪366可将图像投射在屏幕上，其中，屏幕可位于电子装置301的内部或外部。根据实施例，显示器360还可包括用于控制面板362、全息装置364和投影仪366的控制电路。
接口370可包括：例如，高清晰度多媒体接口(HDMI)372、通用串行总线(USB)374、光学接口376或D-超小型(D-sub)378。接口370可被包括在例如图2中示出的通信接口270中。此外或可选地，接口370可包括：例如，移动高清链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外线数据协会(IrDA)接口。
音频模块380可执行声音与电信号之间的转换。音频模块380可对通过扬声器382、接收器384、耳机386或麦克风388输入或输出的声音信息进行处理。
相机模块391是能够获得静止图像和运动图像的装置。根据实施例，相机模块391可包括：至少一个图像传感器(例如，前置传感器或后置传感器)、镜头(未示出)、图像信号处理器(ISP)(未示出)或闪光灯(例如，LED或氙灯，未示出)。
电源管理模块395可管理电子装置301的电源。尽管未示出，但是电源管理模块395可包括：例如，电源管理集成电路(PMIC)、充电器IC或者电池或燃料表。
PMIC可由例如IC芯片或SoC形成。充电可以以有线或无线方式被执行。充电器IC可对电池396进行充电并防止来自充电器的过电压或过电流。根据实施例，充电器IC可具有被用于有线充电类型和无线充电类型中的至少一种充电类型的充电器IC。无线充电类型可包括：例如，磁性谐振类型、磁感应类型或电磁类型。还可使用用于无线充电的任何附加电路，诸如线圈回路、谐振电路或整流器。
电池燃料表可在充电处理中测量电压、电流或温度以及电池396的剩余电量。电池396中可存储或产生电能，并可向电子装置301供应电能。电池396可以是例如可再充电电池或太阳能电池。
指示器397上可示出电子装置301或它的部件(例如，AP 310)的当前状态(例如，启动状态、消息状态或充电状态)。电机398可将电信号转换成机械振动。尽管未示出，但是电子装置301可包括用于支持移动TV的特定处理器(例如，GPU)。这个处理器可依从数字多媒体广播(DMB)、数字视频广播(DVB)或媒体流的标准来处理媒体数据。
这里公开的电子装置的上面讨论的每个元件可由一个或更多个组件形成，并且元件的名称可根据电子装置的类型而改变。这里公开的电子装置可由上面讨论的元件中的至少一个元件形成，并可省略一些元件或添加其他元件。一些元件可被集成为仍执行在这些元件被集成之前执行的功能相同的功能的单个实体。
本公开中使用的术语“模块”可指示包括硬件、软件和固件中的一个或它们的任意组合的特定单元。例如，模块可与单元、逻辑、逻辑块、组件或电路互换地使用。模块可以是执行一个或更多个特定功能的最小单元或最小单元中的一部分。模块可被机械或电子地形成。例如，这里公开的模块可包括已知或将被开发的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑装置中的至少一个。
图4是示出根据本公开的实施例的编程模块410的构造的框图。
参照图4，编程模块410可被包括(或被存储)在图2中示出的电子装置201(例如，存储器230)中，或可被包括(或被存储)在图3中示出的电子装置301(例如，存储器330)中。编程模块410的至少一部分可按照软件、固件、硬件或它们中的两个或更多个的组合而被实现。编程模块410可按照硬件而被实现，并可包括与电子装置(例如，电子装置201或电子装置301)相关的OS控制资源和/或在OS中执行的各种应用(例如，应用470)。例如，OS可以是Android、iOS、Windows、Symbian、Tizen、Bada等。
参照图4，编程模块410可包括：内核420、中间件430、API 460和/或应用470。
内核420(例如，内核241)可包括：系统资源管理器421和/或装置驱动器423。系统资源管理器421可包括：例如，进程管理器(未示出)、存储器管理器(未示出)和文件系统管理器(未示出)。系统资源管理器421可执行系统资源的控制、分配、恢复等。装置驱动器423可包括：例如，显示器驱动器(未示出)、相机驱动器(未示出)、蓝牙驱动器(未示出)、共享存储器驱动器(未示出)、USB驱动器(未示出)、键盘驱动器(未示出)、Wi-Fi驱动器(未示出)和/或音频驱动器(未示出)。此外，根据本公开的实施例，装置驱动器423可包括进程间通信(IPC)驱动器(未示出)。
中间件430可包括事先实现的多个模块以提供由应用470共同使用的功能。此外，中间件430可通过API 460向应用470提供功能，使得应用470能够有效地使用电子装置内的有限的系统资源。例如，如图4所示，中间件430(例如，中间件243)可包括：运行时库435、应用管理器441、窗口管理器442、多媒体管理器443、资源管理器444、电源管理器445、数据库管理器446、包管理器447、连接管理器448、通知管理器449、位置管理器450、图形管理器451、安全管理器452以及任何其他适合的和/或类似的管理器中的至少一个。
运行时库435可包括例如被编译器使用以在应用470被执行期间通过使用编程语言来添加新的功能的库模块。根据本公开的实施例，运行时库435可执行涉及输入和输出、存储器的管理、算术函数等的功能。
应用管理器441可管理例如应用470中的至少一个的的生命周期。窗口管理器442可管理在屏幕上使用的GUI资源。多媒体管理器443可检测被用于再现各种媒体文件的格式，并可通过适用于相关格式的编解码器对媒体文件进行编码或解码。资源管理器444可管理应用470中的至少一个的资源(诸如源代码、存储器、存储器空间等)。
电源管理器445可与基本输入/输出系统(BIOS)一起操作，可管理电池或电源，并可提供用于操作的电源信息等。数据库管理器446可以以使数据库的产生、搜索和/或改变能够被应用470中的至少一个使用的方式来管理数据库。包管理器447可管理以包文件的形式被分布的应用的安装和/或更新。
连接管理器448可管理无线连接，诸如，例如，Wi-Fi和蓝牙。通知管理器449可以以不打扰用户的方式向用户显示或报告诸如到达消息、约定、接近警告等的事件。位置管理器450可管理电子装置的位置信息。图形管理器451可管理将被提供给用户的图形效果和/或与图形效果相关的用户界面。安全管理器452可提供用于系统安全、用户认证等的各种安全功能。根据本公开的实施例，当电子装置(例如，电子装置201)具有电话功能时，中间件430还可包括用于管理电子装置的语音电话呼叫功能和/或视频电话呼叫功能的电话管理器(未示出)。
中间件430可通过上述内部元件模块中的各种功能性组合来产生和使用新的中间件模块。中间件430可提供根据OS的类型专用的模块以提供不同的功能。此外，中间件430可动态地删除现有的元件中的一些元件，或可添加新的元件。因此，中间件430可省略本公开的各种实施例中描述的元件中的一些元件，还可包括其他元件，或可用均执行类似的功能并具有不同的名称的元件来取代所述元件中的一些元件。
API 460(例如，API 245)是API编程功能的集合，并可根据OS使用不同的构造被提供。在Android或iOS的情况下，例如，一个API集可被提供到每个平台。在Tizen的情况下，例如，两个或更多个集可被提供到每个平台。
应用470(例如，应用247)可包括例如预加载的应用和/或第三方应用。应用470(例如，应用247)可包括：例如，主页应用471、拨号器应用472、短消息服务(SMS)/多媒体消息服务(MMS)应用473、即时消息(IM)应用474、浏览器应用475、相机应用476、闹钟应用477、联系人应用478、语音拨号应用479、电子邮件(e-mail)应用480、日历应用481、媒体播放器应用482、相册应用483、时钟应用484和任何其他适合的和/或类似的应用。
编程模块410的至少一部分可由非暂时性的计算机可读存储介质中存储的指令来实现。当所述指令被一个或更多个处理器(例如，应用处理器310)执行时，一个或更多个处理器可执行与所述指令响应的功能。非暂时性的计算机可读存储介质可以是例如存储器330。编程模块410的至少一部分可由例如一个或更多个处理器来实现(例如，执行)。编程模块410的至少一部分可包括例如用于执行一个或更多个功能的模块、程序、例程、指令集和/或进程。
图5是示出根据本发明的实施例的电子装置的构造的框图。
参照图5，根据本公开的实施例的电子装置500可包括：显示单元510、控制单元520、GPS模块540和通信单元530。更具体地，控制单元520可包括焦点提取模块522和显示控制模块524。焦点提取模块522可包括地标提取模块522a、光源提取模块522b、人物提取模块522c和对象提取模块522d；显示控制模块524可包括静止图像控制模块524a和运动图像控制模块524b。电子装置500还可包括图2中示出的电子装置201和图3中示出的电子装置301技术构造中的至少一个。然而，即使图5中示出的一些组件被省略或被其他组件替代，实现本公开仍然不存在问题。
根据本公开的各种实施例的电子装置500可以是智能电话、平板PC、膝上型PC或数字电视(DTV)；然而，任何能够向具有有限尺寸的显示器输出图像内容的装置都能够被用作用于实现本公开的电子装置而不限于上述示例。
显示单元510显示图像。显示单元510可被构造具有已知显示面板和面板驱动装置，诸如OLED和LCD，并且实际实现不限于上述示例。显示单元510可包括图3中示出的显示器360的组件中的至少一个组件。
同时，在显示单元510中显示的图像可以是电子装置500的存储器(未示出)中存储的或以流传输方法从外部装置接收的静止图像或运动图像。此外，根据本公开的各种实施例的电子装置能够处理具有360°视点的全景图像。当在电子装置500中显示全景图像时，存在因为显示单元510具有有限尺寸而仅能显示全景图像的部分视点的限制。
此外，显示单元510可包括能够检测由用户手指或手写笔产生的触摸输入的触摸面板。触摸面板可包括图3中示出的触摸面板352的组件中的至少一个组件。
根据本公开的各种实施例，控制单元是控制电子装置500的一般操作的计算装置，并可由诸如中央处理单元(CPU)和应用处理器(AP)的计算装置来构造；然而，根据相关技术本公开不限于上述示例。控制单元520可包括图2中示出的处理器220和图3中示出的应用处理器310的技术构造中的至少一个。
控制单元520可执行电子装置500的各种控制功能；然而，将根据本公开的技术精神在下文描述关于全景图像的焦点提取和图像显示的特征。尽管在下文中没有详细描述，但是根据相关技术由电子装置的控制单元或处理器执行的已知操作仍能够被控制单元520执行。
控制单元520能够通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点，并能够通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来控制在显示单元510中显示所述区域。更具体地，控制单元520可包括：焦点提取模块522，用于通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点；和显示控制模块524，用于通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来控制在显示单元510中显示所述区域。
这里，焦点提取模块522和显示控制模块524可以不被构造在单独的硬件中，并且它们可被划分为由控制单元520执行的处理、线程处理、指令、应用或数据单元或可被存储在存储器中。可选地，焦点提取模块522和显示控制模块524能够作为硬件或软件模块进行操作。
焦点提取模块522通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点。这里，对象可包括全景图像中包括的诸如建筑、标志牌、人物和光线的各种对象；焦点提取模块522可通过使用已知的各种图像处理方法和对象提取方法进行线近似、轮廓信息获取和形状分析的处理来提取对象。此外，焦点提取模块522通过从全景图像提取的对象中识别有意义的对象来将相应对象提取为焦点。也就是说，在本公开中，焦点可被解释为全景图像中包括的有意义的对象。
焦点提取模块522可包括：地标提取模块522a，用于从全景图像提取诸如建筑、地理特征和雕塑的地标；光源提取模块522b，用于提取与照明亮度相应的光源；人物提取模块522c，用于从图像提取人物；以及对象提取模块522d，用于提取诸如窗和门的特定对象。将参照图6A、图6B、图8A、图8B和图9至图11来详细地描述通过使用每个提取模块来提取焦点的方法。
同时，地标提取模块522a、光源提取模块522b、人物提取模块522c和对象提取模块522d可不必执行对象分析和针对所有全景图像内容的焦点提取，可根据用户的选择或全景图像的类型来部分地执行对象分析和焦点提取。
可通过每个模块来提取一个或更多个焦点，并且可存在无焦点。此外，在全景图像是运动图像的情况下，模块可在每一帧提取焦点或按照播放时间单元提取焦点。
如果播放全景图像被电子装置500的用户请求，则焦点提取模块522通过将包括至少一个提取出的焦点的区域确定为全景图像的播放视点来控制在显示单元510中显示所述区域。如上所述，电子装置500具有物理地有限尺寸的显示单元510，并且显示单元510不能同时以360°显示所有视点。因此，为了在显示单元510中显示全景图像，显示控制模块524可执行根据提取出的焦点来确定显示播放视点的顺序或类型的功能。
在全景图像是静止图像的情况下，显示控制模块524(或静止图像控制模块524a)在显示单元510中显示被确定了播放视点的图像。也就是说，如果焦点从全景图像被提取，则显示控制模块524控制在显示单元510中在相应焦点作为中心的情况下显示全景图像的的部分播放视点。如果从全景图像提取了多个焦点，则显示控制模块524根据每个焦点的优先级来控制顺序地显示包括每个焦点的区域的播放视点。
在全景图像是运动图像并且全景图像的缩略图被显示在内容列表屏幕中的情况下，显示控制模块524(或静止图像控制模块524a)可将部分播放视点转换为缩略图并在提取出的焦点作为中心的情况下将它们显示在显示单元510中。例如，当电子装置500显示存储器中存储的或从流传输服务器接收的多个全景图像的列表时，移动全景图像的缩略图可被显示在列表中。这里，在由显示控制模块524提取的焦点作为中心的情况下，通过从全景图像的部分的播放视点提取的缩略图可按照列表被显示。如果全景图像包括多个焦点，则可从包括每个焦点的多个区域产生缩略图并以播放时间的顺序被顺序地显示。
如果全景图像是运动图像并且请求播放全景图像，则显示控制模块524(或运动图像控制模块524b)可将被提取的至少一个焦点中的包括具有最高优先级的焦点的区域确定为初始播放视点。此外，在播放全景图像期间，显示控制模块524可根据提取出的焦点的优先级来顺序地改变全景图像的播放视点。
这里，焦点的优先级可通过焦点提取模块522中包括的模块522a至模块522d的每个来确定。例如，由地标提取模块522a提取的焦点可被确定为第一优先级，由光源提取模块522b提取的焦点可被确定为第二优先级，由人物提取模块522c提取的焦点可被确定为第三优先级，以及由对象提取模块522d提取的焦点可被确定为第四优先级。显示控制模块524可顺序地首先显示具有第一优先级的地标以及具有第二优先级至第四优先级的焦点。
此外，电子装置500可支持用户使得用户可直接地确定焦点的优先级。为此，控制单元520可产生包括用于输入至少一个提取出的焦点的优先级的设置菜单的GUI，在显示单元510中显示所述GUI，并根据用户的输入来确定焦点的优先级。将参照图12来更详细地描述用于输入焦点的优先级的GUI的示例。
如果在播放包括至少一个焦点的区域期间焦点停止超过预定时间，则显示控制模块524可将播放视点改变为包括具有较低优先级的焦点的区域。也就是说，如果在显示特定播放视点期间播放视点没有改变，则播放视点可被改变到包括具有较低优先级的焦点的区域。例如，如果一个人物在被显示在包括被提取为焦点的相应人物对象的区域中时停止了预定时间，或如果在显示包括被提取为焦点的建筑物的区域时播放视点在预定时间没有改变，则播放视点可被改变到包括具有下一优先级的焦点的区域。
此外，如果在播放视点中的一个被显示的状态下过去了预定时间，则显示控制模块524可将播放视点改变为包括具有较低优先级的焦点的区域。这里，用于改变焦点的基础时间可被设置为默认(例如，3秒或5秒)，或用于输入用于改变焦点的时间的菜单可被设置在之前提到的设置菜单中，其中，在所述设置菜单中可输入焦点的优先级，可根据用户输入来调整用于改变焦点的基础时间。
此外，如果在播放视点中的一个被显示的状态下检测到用于改变所述播放视点的用户输入，则显示控制模块524可将所述播放视点改变为具有较低优先级的焦点。这里，用于改变播放视点的用户输入可通过使用手指或手写笔触摸触摸面板的特定区域(例如，右侧或左侧)或显示的图标或者在触摸触摸面板的部分区域的状态下在特定方向上移动(例如，向右方向或向左方向)的用户输入来执行。
根据相关技术，当在电子装置中播放全景图像时，仅随机地显示全景图像的各种播放视点中的一部分，通过将被设置为默认的区域确定为播放视点来首先显示所述区域，通过根据用户输入的移动(或旋转)来显示播放视点。然而，本公开的各种实施例使用户可通过从全景图像提取与有意义的视点相应的焦点并顺序地和自动地播放所述相应的焦点来在不损失突出显示的部分的情况下观看全景图像。
GPS模块540能够通过接收GPS信号来识别电子装置的位置信息。GPS模块540可包括图3中示出的GPS模块327的技术构造。通过GPS模块540接收GPS信号来识别电子装置的位置的步骤是已知的技术，因此，这里省略所述步骤的详细描述。
通信单元530执行通过有线通信或无线通信来连接到网络并通过网络与外部服务器交换数据的功能。根据本公开的各种实施例，通信单元530可将通过GPS模块540识别出的电子装置的位置信息发送到外部服务器(未示出)并可从外部服务器接收与所述位置信息相应的地标信息。
外部服务器可将诸如每个位置、建筑、地理特征和雕塑的坐标的信息存储为地标信息，并且所述地标信息可以是相应地标的图像或指示地标的文本。
根据本公开的各种实施例，控制单元520的操作可由电子装置500中安装的应用(或程序)来执行。也就是说，可通过相应应用来执行由焦点提取模块522提取焦点的操作、由显示控制模块524控制全景图像的播放视点的操作、向外部服务器发送位置信息和接收地标信息的操作以及显示包括设置菜单的GUI和接收用户输入的操作。
例如，如果电子装置500中安装的应用根据用户输入被执行，则电子装置500中存储的或以流传输方法从外部服务器接收的图像文件可按照360°全景图像列表被提供，所述应用可播放用户选择的全景图像。此外，所述应用可通过提供设置菜单图标、确定焦点的优先级、确定用于移动到具有较低优先级的焦点的时间以及根据用户输入来改变所述应用的设置来显示与播放全景图像相关的设置菜单。
将参照图6A、图6B、图7、图8A、图8B和图9至图11来详细地描述用于从全景图像提取焦点的各种实施例以及用于确定播放视点并在电子装置500中显示它们的各种实施例。
为了方面描述，图6A、图6B、图7、图8A、图8B和图9至图11示出平铺的全景图像。
图6A和图6B是示出在地标提取模块522a中提取焦点的方法的示意图。
图6A的全景图像包括诸如建筑、山和云的各种对象。地标提取模块522a可从全景图像提取与有意义的视点相应的建筑对象f1、建筑对象f2和建筑对象f3。
这里，通信单元530可将通过GPS模块540识别出的电子装置500的位置信息发送到外部服务器并从外部服务器接收与当前位置相应的地标信息。这里，地标信息可以是与地标相应的图像，地标提取模块522a可通过使用从外部服务器接收的地标信息从多个对象(例如，建筑、山和云)中将对象f1、f2和f3提取为焦点。
同时，从外部服务器接收的地标信息可包括文本。也就是说，地标信息可包括指示地标的名称以及位于电子装置500的当前位置附近的地址的文本。
参照图6B，地标提取模块522a可从全景图像提取包括文本的对象(诸如标志牌)，并将与相应于当前位置的地标的文本信息匹配的对象f4和对象f5提取为焦点。
图7示出通过使用光源提取模块522b来提取焦点的方法。
光源提取模块522b可从全景图像提取具有高于预定值的亮度的区域。
参照图7，区域f6被识别为具有高于预定值的亮度，并可被提取为焦点。
因为全景图像包括360°视点，因此存在由于逆光使对象不能被清楚地识别的可能性。为此，光源提取模块522b可提取用户可容易地识别焦点的区域。
图8A和图8B示出通过使用人物提取模块522c来提取焦点的方法。
参照图8A和图8B，人物提取模块522c可提取全景图像中包括的人物对象并可从人物对象中将有意义的对象提取为焦点。如图8A所示如果少数的人物处于全景图像中，则位于最近的(或具有最大尺寸的)对象f8可被提取为焦点，或正在讲话或移动的人物对象f7被提取为焦点。
如图8B所示，如果大量人物处于全景图像中，则通过提取大量人物正在注视的对象f9来将播放视点V1确定为焦点。这遵循了有意义的对象存在于多个人物正在注视的方向中的假设。
图9示出通过使用对象提取模块522d来提取焦点的方法。
参照图9，对象提取模块522d可从全景图像的拍摄空间中将特定对象f10和对象f11(例如，门和窗)提取为焦点。
同时，显示器控制模块524可根据提取每个焦点的模块来确定焦点的优先级。例如，如果与地标、人物和光源相应的焦点分别被地标提取模块522a、人物提取模块522c和光源提取模块522b提取，则可通过确定地标为第一优先级、人物为第二优先级以及光源为第三优先级来确定播放视点。此外，如果每个模块提取多个焦点，则包括地标的区域被顺序地播放，包括人物或光源的区域被顺序地播放。上述实施例仅仅是实现本公开的示例，其中，上述实施例可根据通过设置菜单或实际实现形式的用户输入来不同地确定。
图10示出用于在全景图像是静止图像或提取了缩略图的情况下确定播放视点的方法。
参照图10，全景图像，地标提取模块522a可提取对象f12为焦点，其中，对象f12与位于电子装置500的当前位置附近的地标的名称文本相匹配。
如果全景图像是静止图像，则包括根据电子装置500的用户输入的焦点的区域V2可被确定为播放视点。此外，在全景图像是运动图像并且相应的全景图像的缩略图被显示的情况下，包括焦点f12的区域V2可被确定为播放视点。
尽管图10中在中心具有焦点f12的特定区域被确定为播放视点，但是本公开不限于这个示例。播放视点可根据特定的结构改变(诸如将焦点从中心向右侧移动70％)被确定。此外，如果全景静止图像中的多个焦点彼此相邻，则相邻的焦点可被组合到组中并且包括所述组的区域可被确定为播放视点。
图11示出在全景图像是运动图像的情况下确定播放视点的方法。
参照图11，焦点提取模块522可提取f13、f14和f15为焦点，并且可以以f13、f14和f15的顺序来确定焦点的优先级。
如果请求播放全景图像，则显示控制模块524在屏幕V3中显示具有最高优先级的f13，如果经过了预定时间或在预定时间内焦点f13没有改变，则包括具有较低优先级的焦点f14的区域V4可被确定为播放视点。此外，如果在显示屏幕V4的状态下经过了预定的时间或在预定时间内焦点f14没有改变，则包括具有较低优先级的焦点f15的区域V5可被确定为播放视点。
图12示出根据本公开的实施例的设置菜单GUI，其中，用户可使用所述设置菜单GUI来输入焦点的优先级。
参照图12，控制单元520产生用于输入由焦点提取模块522可提取的焦点的优先级的GUI 1250并在移动装置1200的显示器1210中显示GUI 1250。
参照图12，每个焦点的类型可以以文本形式被显示(1251至1254)。如另一实施例，控制单元520可从包括至少一个提取出的焦点的区域产生缩略图并在GUI 1250中显示缩略图。
用户可从GUI 1250中选择至少一个焦点，控制单元520可根据通过GUI1250的用户输入来确定焦点的优先级。例如，如果用户从提取出的焦点选择地标1251和光源1252，则包括地标1251和光源1252的区域可被确定为播放视点，并且可当播放全景图像时在显示单元510中被顺序地显示。此外，用户可通过GUI 1250来调整每个焦点(1251和1252)的优先级。
尽管图12仅示出用于输入焦点的优先级的GUI 1250，但是可通过显示的用于接收用户输入的GUI来提供用于设置用于改变具有较低优先级的焦点的时间、图像尺寸、焦点的位置或结构的各种设置菜单。
根据本公开的各种实施例的电子装置500可包括控制单元520和用于显示全景图像的显示单元510。控制单元520可通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点，并可通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来控制显示所述区域。
这里，控制单元520可包括：焦点提取模块522，用于提取至少一个焦点；和显示控制模块524，用于确定全景图像的播放视点。
如果全景图像是静止图像，则控制单元520可进行控制以在显示单元510中显示被确定了播放视点的图像。
如果全景图像是运动图像并且全景图像的缩略图被请求显示，则控制单元520可从被确定的播放视点的图像提取缩略图并在显示单元510中显示缩略图。
如果全景图像是运动图像并且全景图像被请求播放，则控制单元520可从将提取出的焦点确定包括具有最高优先级的焦点的区域作为初始播放视点。
控制单元520可根据提取出的焦点的优先级顺序地改变全景图像的播放视点。
如果在播放包括焦点的区域的状态下焦点停止超过预定时间，则控制单元520可将播放视点改变为包括具有较低优先级的焦点的区域。
电子装置500还可包括用于通过接收GPS信号来识别电子装置500的位置信息的GPS模块540，控制单元520可识别与通过GPS模块540识别出的电子装置500的位置信息相应的地标信息，并可从全景图像中包括的所述至少一个焦点提取与所述地标信息相匹配的至少一个对象。
这里，地标信息可包括与电子装置500的位置信息相应的地标的文本，控制单元520可从全景图像中包括的至少一个对象提取与地标的文本相匹配的至少一个对象作为焦点。
电子装置500还可包括用于与外部服务器进行通信的通信单元530，通信单元530可将通过GPS模块540识别出的电子装置500的位置信息发送到外部服务器，并从外部服务器接收与所述位置信息相应的地标信息。
控制单元520可从全景图像提取具有高于预定值的亮度的区域作为焦点。
作为焦点，控制单元520可从全景图像中包括的对象提取至少一个人物对象、从人物对象提取运动的人物对象或位于人物对象所注视的位置处的对象。
控制单元520可在显示单元510中产生并显示用于输入提取出的至少一个焦点的优先级的GUI，并根据用户输入通过GUI来确定焦点的优先级。
图13、图14和图15是示出根据本公开的各种实施例的用于对电子装置中的全景图像进行控制的方法的流程图。在下文中，将省略可从图2至图5、图6A、图6B、图7、图8A、图8B和图9至图12的描述中推导出的技术特征。
参照图13，根据本公开的实施例的一种用于在电子装置中对全景图像的显示进行控制的方法可包括：操作S100，通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点；和操作S200，通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来在显示器中显示所述区域。
参照图14，图14示出图13的通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点的操作S100的更详细的步骤。
如图所示，在操作S110，电子装置从全景图像中包括的对象提取与地标相应的对象作为焦点。这里，电子装置可将电子装置的位置信息发送到通过网络连接的外部服务器，并且电子装置可从外部服务器接收与所述位置信息相应的地标信息。地标信息可以是相应地标的图像或指示地标的文本。
电子装置可从全景图像中包括的对象提取与地标的图像或指示地标的文本相匹配的对象作为焦点。同时，可由电子装置的地标提取模块522a执行的提取地标作为焦点的操作已在图6A和图6B中被描述。
在操作S120，电子装置从全景图像中包括的对象提取与光源相应的对象作为焦点。更具体地，电子装置可提取具有高于预定值的亮度的区域作为焦点。可由电子装置的光源提取模块522b执行的提取光源作为焦点的操作已在图7中被描述。
在操作S130，电子装置从全景图像中包括的对象提取与人物相应的对象作为焦点。更具体地，如果少量的人物在全景图像中，则位于最近距离的人物对象(或最大的人物对象)可被提取为焦点，或正在说话或移动的人物对象可被提取为焦点。此外，如果大量人物在全景图像中，则大量人物正在注视的对象可被提取为焦点并可被确定为播放视点。可由电子装置的人物提取模块522c执行的提取人物对象作为焦点的操作已在图8A和图8B中被描述。
在操作S140，电子装置从全景图像提取诸如窗或门的特定对象作为焦点。可由电子装置的对象提取模块522d执行的提取对象为焦点的操作已在图9中被描述。
同时，图14示出了电子装置以地标、光源、人物和对象的顺序来提取焦点；然而，本公开不限于这个示例。可改变操作S100至操作S140的顺序或可省略一些操作。
参照图15，图15示出图13中的确定包括提取出的至少一个对象的区域作为播放视点并在显示单元中显示所述区域的操作S200的更详细的步骤。
首先，在操作S210，电子装置从用户接收对播放全景图像的请求。
在操作S220，电子装置根据对播放焦点的请求来播放具有第一优先级的焦点。在操作S230，如果在播放具有第一优先级的焦点期间经过了预定的时间或在包括焦点的区域的移动中没有改变，则在操作S240，电子装置通过确定包括具有第二优先级的焦点的区域作为播放视点来显示所述区域。
顺序地，在操作S250，如果检测到用于移动焦点的用户输入，其中，用于移动焦点的用户输入通过手指或手写笔触摸触摸面板的特定区域(例如，右侧或左侧)或显示的图标或者触摸触摸面板的一部分并按照特定方向(例如，向右方向或向左方向)拖拽预定距离，则在操作S260，播放视点根据用户输入改变为包括焦点的区域。
同时，根据本公开的各种实施例的用于在电子装置中对全景图像的显示进行控制的方法可包括：通过对全景图像中包括的至少一个对象进行分析来提取至少一个焦点；以及通过将包括提取出的至少一个焦点的区域确定为全景图像的播放视点来在显示单元中显示所述区域。
这里，在显示单元中播放区域的操作可包括：如果全景图像是静止图像，则显示被确定了播放视点的图像。
在显示单元中播放的操作可包括：如果全景图像是运动图像并且全景图像的缩略图被请求显示，则通过从被确定为播放视点的图像提取缩略图来在显示单元中显示缩略图。
在显示单元中播放的操作可包括：如果全景图像是运动图像并且请求播放全景图像，则将包括提取出的至少一个焦点中的具有最高优先级的焦点的区域确定为初始播放视点。
在显示单元中播放的操作可通过根据提取出的焦点的优先级顺序地改变全景图像的播放视点被执行。
在显示单元中播放的操作可包括：如果在包括焦点的区域中的一个区域正被播放的状态下焦点停止超过预定时间，则将播放视点改变为包括具有较低优先级的焦点的区域。
所述方法还可包括：通过接收GPS信号来识别电子装置的位置信息；提取焦点的操作可包括：识别与电子装置的被识别的位置信息相应的地标信息并从全景图像中包括的至少一个焦点提取与所述地标信息相匹配的至少一个对象作为焦点。
识别地标信息的操作可包括：将电子装置的被识别的位置信息发送到外部服务器，并从外部服务器接收与所述位置信息相应的地标信息。
所述方法还可包括：产生并显示用于输入提取出的至少一个焦点的优先级的GUI，并根据通过GUI的用户输入来确定焦点的优先级。
根据本公开的各种实施例，用户可通过从全景图像提取与有意义的视点相应的焦点并顺序地和自动地显示所述相应的焦点，在不损失突出显示的部分的情况下观看全景图像。
根据本公开的各种实施例的电子装置和用于对显示全景图像进行控制的方法当播放360°全景图像时可对用户提供图像中有意义的播放视点。
虽然已参照本公开的各种实施例示出并描述了本公开，但本领域的技术人员将理解的是，在不脱离由所附权利要求和它们的等同物所限定的本公开的精神和范围的情况下，可做出形式和细节上的各种改变。

Claims (13)

1.一种电子装置，包括：
显示器，被配置为显示全景图像；和
处理器，
其中，所述处理器被配置为：
通过对全景图像中包括的多个对象进行分析来提取至少两个焦点，
确定包括提取出的所述至少两个焦点中的具有最高优先级的焦点的区域，
进行控制以将确定的包括具有最高优先级的焦点的区域作为初始播放视点在所述显示器中进行显示，并且
响应于接收到用于改变播放视点的用户输入，以初始播放视点起始，将全景图像的播放视点改变为包括根据用户输入的焦点的区域，
其中，所述电子装置还包括：
全球定位系统(GPS)，被配置为通过接收GPS信号来识别所述电子装置的位置，
其中，所述处理器还被配置为：
识别与所述电子装置的通过GPS识别出的位置信息相应的地标信息；
从全景图像中包括的所述多个对象提取与所述地标信息相匹配的至少两个对象作为焦点。
2.如权利要求1所述的电子装置，其中，所述处理器还被配置为：如果全景图像是静止图像，则进行控制以在所述显示器中显示被确定为播放视点的图像。
3.如权利要求1所述的电子装置，其中，所述处理器还被配置为：如果全景图像是运动图像并且全景图像的缩略图被请求显示，则通过从被确定为播放视点的图像进行提取来在所述显示器中显示缩略图。
4.如权利要求1所述的电子装置，其中，所述处理器还被配置为：如果在包括焦点的区域中的一个区域正被播放的状态下焦点停止超过预定时间，则将播放视点改变为包括具有比当前正在被显示的焦点更低优先级的焦点的区域。
5.如权利要求1所述的电子装置，
其中，地标信息包括与所述电子装置的位置信息相应的地标的文本信息，以及
其中，所述处理器还被配置为：从全景图像中包括的所述多个对象提取与所述地标的文本信息相匹配的至少两个对象作为焦点。
6.如权利要求4所述的电子装置，还包括：
收发器，被配置为：
与外部服务器进行通信，
将所述电子装置的通过GPS识别出的位置信息发送到所述外部服务器，以及
从所述外部服务器接收与所述位置信息相应的地标信息。
7.如权利要求1所述的电子装置，其中，所述处理器还被配置为：从全景图像提取具有比预定值更高的亮度的区域作为焦点。
8.如权利要求1所述的电子装置，其中，所述处理器还被配置为：
从全景图像中的对象提取至少一个人物对象作为焦点，
从所述至少一个人物对象提取运动的人物对象作为焦点，或
提取位于所述至少一个人物对象正注视的位置处的对象作为焦点。
9.一种用于在电子装置中对全景图像的显示进行控制的方法，所述方法包括：
通过对全景图像中包括的多个对象进行分析来提取至少两个焦点；
确定包括提取出的所述至少两个焦点中的具有最高优先级的焦点的区域；
将确定的包括具有最高优先级的焦点的区域作为初始播放视点在显示器中进行显示，并且
响应于接收到用于改变播放视点的用户输入，以初始播放视点起始，将全景图像的播放视点改变为包括根据用户输入的焦点的区域，
其中，所述方法还包括：
通过接收全球定位系统(GPS)信号来识别所述电子装置的位置信息，
其中，提取至少两个焦点的步骤包括：
识别与所述电子装置的被识别出的位置信息相应的地标信息；以及
从全景图像中包括的所述多个对象提取与所述地标信息相匹配的至少两个对象作为焦点。
10.如权利要求9所述的方法，其中，在显示器中显示确定的区域的步骤包括：
如果全景图像是静止图像，则显示被确定为播放视点的图像。
11.如权利要求9所述的方法，其中，在显示器中显示确定的区域的步骤包括：
如果全景图像是运动图像并且全景图像的缩略图被请求显示，则通过从被确定为播放视点的图像进行提取来在显示器中显示缩略图。
12.如权利要求9所述的方法，其中，改变播放视点的步骤包括：
如果在包括焦点的区域中的一个区域正被播放的状态下焦点停止超过预定时间，则将播放视点改变为包括具有比当前正在被显示的焦点更低优先级的焦点的区域。
13.如权利要求9所述的方法，其中，识别地标信息的步骤包括：
将所述电子装置的被识别出的位置信息发送到外部服务器；以及
从所述外部服务器接收与所述位置信息相应的地标信息。
CN201680037070.1A 2015-06-24 2016-06-23 电子装置和用于控制全景图像的显示的方法 Expired - Fee Related CN107810472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150089768A KR102407765B1 (ko) 2015-06-24 2015-06-24 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
KR10-2015-0089768 2015-06-24
PCT/KR2016/006686 WO2016208992A1 (en) 2015-06-24 2016-06-23 Electronic device and method for controlling display of panorama image

Publications (2)

Publication Number Publication Date
CN107810472A CN107810472A (zh) 2018-03-16
CN107810472B true CN107810472B (zh) 2021-10-08

Family

ID=57585867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680037070.1A Expired - Fee Related CN107810472B (zh) 2015-06-24 2016-06-23 电子装置和用于控制全景图像的显示的方法

Country Status (5)

Country Link
US (1) US10999501B2 (zh)
EP (1) EP3314478A1 (zh)
KR (1) KR102407765B1 (zh)
CN (1) CN107810472B (zh)
WO (1) WO2016208992A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235438B (zh) * 2016-12-01 2021-12-28 Lg 电子株式会社 图像显示设备和包含该图像显示设备的图像显示系统
US11698927B2 (en) * 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
CN108848311A (zh) * 2018-07-25 2018-11-20 北京小米移动软件有限公司 全景照片显示方法及装置
US11323754B2 (en) * 2018-11-20 2022-05-03 At&T Intellectual Property I, L.P. Methods, devices, and systems for updating streaming panoramic video content due to a change in user viewpoint
JP7368699B2 (ja) * 2019-08-26 2023-10-25 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム
CN111915608B (zh) * 2020-09-11 2023-08-15 北京百度网讯科技有限公司 建筑物提取方法、装置、设备和存储介质
US11496674B2 (en) * 2020-09-18 2022-11-08 Microsoft Technology Licensing, Llc Camera placement guidance
CN112988357B (zh) * 2021-04-14 2021-07-27 湖北亿咖通科技有限公司 全景影像显示方法、计算机存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469259A (zh) * 2010-11-01 2012-05-23 奥林巴斯映像株式会社 全景图像生成装置及全景图像生成方法
US8508652B2 (en) * 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
CN106791485A (zh) * 2016-11-16 2017-05-31 深圳市异度信息产业有限公司 视频的切换方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001264723A1 (en) * 2000-05-18 2001-11-26 Imove Inc. Multiple camera video system which displays selected images
KR101473215B1 (ko) 2008-04-18 2014-12-17 삼성전자주식회사 파노라마 이미지 생성장치 및 그 방법
JP2010218107A (ja) 2009-03-16 2010-09-30 Toppan Printing Co Ltd パノラマｖｒファイル提供装置、プログラム、方法及び、システム
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
KR101242550B1 (ko) 2011-05-30 2013-03-20 (주)포스트미디어 동영상 파노라마 기반의 스토리텔링형 지역 정보 제공방법 및 시스템
KR20140110624A (ko) 2013-03-08 2014-09-17 삼성테크윈 주식회사 파노라마 영상 생성 장치 및 방법
KR20140112909A (ko) 2013-03-14 2014-09-24 삼성전자주식회사 파노라마 영상을 생성하는 전자 장치 및 방법
US10070048B2 (en) 2013-03-26 2018-09-04 Htc Corporation Panorama photographing method, panorama displaying method, and image capturing method
KR102067620B1 (ko) * 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102469259A (zh) * 2010-11-01 2012-05-23 奥林巴斯映像株式会社 全景图像生成装置及全景图像生成方法
US8508652B2 (en) * 2011-02-03 2013-08-13 DigitalOptics Corporation Europe Limited Autofocus method
CN106791485A (zh) * 2016-11-16 2017-05-31 深圳市异度信息产业有限公司 视频的切换方法及装置

Also Published As

Publication number Publication date
US20160381291A1 (en) 2016-12-29
EP3314478A4 (en) 2018-05-02
WO2016208992A1 (en) 2016-12-29
US10999501B2 (en) 2021-05-04
KR102407765B1 (ko) 2022-06-10
EP3314478A1 (en) 2018-05-02
KR20170000618A (ko) 2017-01-03
CN107810472A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
US20210195109A1 (en) Method for controlling camera and electronic device therefor
CN106060378B (zh) 用于设置拍摄模块的装置和方法
US10623661B2 (en) Image composition method with image sensors having different angles of view and electronic device for supporting the same
CN107810472B (zh) 电子装置和用于控制全景图像的显示的方法
CN108090012B (zh) 使用usb连接器与外部电子设备进行通信的电子设备
US10403241B2 (en) Electronic device and method for running function according to transformation of display of electronic device
US10990196B2 (en) Screen output method and electronic device supporting same
EP3021562B1 (en) Method for sharing screen and electronic device thereof
US20170235435A1 (en) Electronic device and method of application data display therefor
CN106055300B (zh) 用于控制声音输出的方法及其电子设备
CN108028891B (zh) 电子设备和照相方法
US11042240B2 (en) Electronic device and method for determining underwater shooting
US20150235366A1 (en) Method for processing image data and apparatus for the same
US20190357277A1 (en) Electronic device and tethering connection establishment method thereof
US10148242B2 (en) Method for reproducing contents and electronic device thereof
US20160286132A1 (en) Electronic device and method for photographing
US10250818B2 (en) Electronic device including a plurality of cameras and operating method thereof
US20170094219A1 (en) Method and electronic device for providing video of a specified playback time
US9942467B2 (en) Electronic device and method for adjusting camera exposure
US10319341B2 (en) Electronic device and method for displaying content thereof
US20180173701A1 (en) Method for contents tagging and electronic device supporting the same
US10503266B2 (en) Electronic device comprising electromagnetic interference sensor
US9612790B2 (en) Method and electronic device for providing frame information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211008

CF01 Termination of patent right due to non-payment of annual fee