CN110036647B - 用于管理三维内容的缩略图的电子设备 - Google Patents

用于管理三维内容的缩略图的电子设备 Download PDF

Info

Publication number
CN110036647B
CN110036647B CN201780075164.2A CN201780075164A CN110036647B CN 110036647 B CN110036647 B CN 110036647B CN 201780075164 A CN201780075164 A CN 201780075164A CN 110036647 B CN110036647 B CN 110036647B
Authority
CN
China
Prior art keywords
content
electronic device
fov
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780075164.2A
Other languages
English (en)
Other versions
CN110036647A (zh
Inventor
李定姬
全镛俊
玄恩浈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110036647A publication Critical patent/CN110036647A/zh
Application granted granted Critical
Publication of CN110036647B publication Critical patent/CN110036647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于管理三维内容的缩略图的电子设备。该电子设备包括显示器和处理器，该处理器与显示器和存储器电连接，并被配置为：响应于执行第一内容，在三维(3D)空间中使用第一内容；渲染与视野(FOV)相对应的区域；并且响应于指定事件，将与FOV有关的信息存储在存储器中作为第一内容的元数据。

Description

用于管理三维内容的缩略图的电子设备
技术领域
本申请要求于2016年12月23日向韩国知识产权局提交的韩国专利申请序列号10-2016-0178382的优先权，其全部公开内容通过引用的方式并入本文中。
本公开总体上涉及用于显示和使用三维内容的方法，并且更具体地涉及用于管理三维内容的缩略图的方法和设备。
背景技术
三维(3D)内容生成/消费设备(比如，提供虚拟现实的头戴式设备和能够拍摄全向图像的360度相机)是已知的。就3D内容而言，用户无法单次观看各个方向上的屏幕，且因此用户的眼睛只能看到整个内容区域的一部分。对于用户眼睛来说可见的区域被称为视野(FOV)。
当查看多个图像/视频内容的列表时，用户通常会使用缩略图来选择用户关注的内容。缩略图(一种预览图)可以按照将完整图像缩小到适合于缩略图的尺寸的方式来提供。
发明内容
技术问题
然而，在包括3D内容在内的列表中，当通过使用已知的方法来生成缩略图时，可能会造成严重的失真。举例来说，当使用传统方法时，对使用多个镜头拍摄的图像进行拼接，来生成360度图像。如果使用该图像来生成缩略图，则用户可能难以确定在拍摄缩略图所表示的图像时的情况，并且还可能难以确定图像是什么什么东西的图片。也就是说，用户通过已有的缩略图可能无法确定3D内容是什么东西的图片。
此外，即使在相同的时间点，3D内容也可以根据用户注视所指向的方向而具有不同的FOV。因此，表示3D内容的部分或在3D内容中被强调的部分可以因用户的不同而不同。
技术方案
为了至少处理上述缺点并提供至少下述优点，提出了本公开。
根据本公开的一方面，提供了一种电子设备。该电子设备包括：显示器；存储指令的存储器；以及至少一个处理器，被配置为执行所存储的指令以：在三维(3D)虚拟空间中实现第一内容；渲染与在3D虚拟空间中实现的第一内容的视野(FOV)相对应的区域；并且响应于指定事件，将与FOV有关的信息存储在存储器中作为第一内容的元数据。
根据本公开的一方面，提供了一种电子设备。该电子设备包括：存储指令的存储器；显示器；以及至少一个处理器，被配置为执行所存储的指令以：在三维(3D)虚拟空间中实现第一内容；渲染与第一内容的视野(FOV)相对应的区域；并且响应于结束对第一内容的实现，将基于与FOV有关的信息而生成的第一内容的缩略图存储在存储器中。
根据本公开的一方面，提供了一种存储指令的非暂时性计算机可读存储介质，所述指令在由电子设备的处理器执行时允许电子设备在三维(3D)虚拟空间中实现第一内容；渲染与在3D虚拟空间中实现的第一内容的视野(FOV)相对应的区域；并且响应于指定事件，将与FOV有关的信息存储在存储器中作为第一内容的元数据。
有益效果
根据本文公开的实施例，用户仅仅通过查看缩略图就可以知晓用户已经停止观看内容的点，且因而易于使用内容。
此外，当向其他人发布或发送3D内容时，用户可能会发现能轻易地强调特定区域。
另外，本公开可以提供以直接方式或间接方式来识别的各种效果。
通过以下结合附图公开了本公开的各种实施例的具体实施方式，本公开的其他方面、优点和显著特征对于本领域技术人员来说将变得显而易见。
附图说明
结合附图，通过以下具体实施方式，本公开的某些实施例的上述及其他方面、特征和优点将更加明显，在附图中：
图1是根据本公开实施例的网络环境中的电子设备的图；
图2是根据本公开实施例的头戴式显示器(HMD)设备的图；
图3是根据本公开实施例的电子设备的操作环境的图；
图4是根据本公开实施例的确定FOV的方法的图；
图5是根据本公开实施例的用于生成并再现3D内容的图像处理系统的图；
图6是根据本公开实施例的3D空间的图；
图7a是根据本公开实施例的根据头部佩戴有HMD设备的用户的移动来获得FOV信息的方法的图；
图7b是根据本公开实施例的根据头部佩戴有HMD设备的用户的旋转来获得FOV信息的方法的图；
图8是根据本公开实施例的元数据中存储的FOV信息的图；
图9是根据本公开实施例的基于FOV信息来生成缩略图的图；
图10是根据本公开实施例的生成内容的缩略图的方法的流程图；
图11是根据本公开实施例的基于注视信息而生成的缩略图的图；
图12是根据本公开实施例的使用FOV信息的方法的流程图；
图13是根据本公开实施例的电子设备的图；以及
图14是根据本公开实施例的程序模块的图。
在整个附图中，应注意的是：相似的附图标记用于描绘相同或相似的元素、特征和结构。
具体实施方式
本文下面将参考附图来描述本公开的实施例。然而，本公开的实施例并不局限于特定实施例，并且应被解释为包括本公开的所有修改、改变、等同设备和方法和/或备选实施例。在附图描述中，相似的附图标记用于相似的元素。
如本文所用的术语“具有”、“可以具有”、“包括”和“可以包括”表示存在对应的特征(例如，诸如数值、功能、操作或部件之类的元素)，并且不排除存在有附加特征。
如本文所用的术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”包括用这些术语枚举的项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”意指(1)包括至少一个A；(2)包括至少一个B；或(3)包括至少一个A和至少一个B。
如本文所用的诸如“第一”和“第二”之类的术语可以修饰各种元素，而不管相应元素的顺序和/或重要性如何，并且不会对相应元素造成限制。这些术语可以用于将一个元素与另一个元素区分开。例如，第一用户设备和第二用户设备可以指示不同的用户设备，而不管其顺序或重要性如何。例如，在不脱离本发明的范围的情况下，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素。
将会理解的是，当元素(例如，第一元素)“(有效地或通信地)耦合到”或“连接到”另一元素(例如，第二元素)时，该元素可以直接地耦合到另一元素，并且在该元素与另一元素之间也可以存在有中间元素(例如，第三元素)。相反，将会理解的是，当一个元素(例如，第一元素)“直接耦合到”或“直接连接到”另一元素(例如，第二元素)时，在该元素与另一元素之间没有中间元素(例如，第三元素)。
如本文所用的表述“被配置为(或被设置为)”可以根据上下文与“适合于”、“具有......的能力”、“被设计为”、“适于”、“被制造为”或“能够”互换地使用。术语“被配置为(被设置为)”不一定意指在硬件层面上“专门设计为”。相反，表述“被配置为......的装置”可以意指在特定上下文中该装置连同其他设备或部件一起“能够......”。例如，“被配置为(被设置为)执行A、B和C的处理器”可以意指用于执行相应操作的专用处理器(例如，嵌入式处理器)，或者能够通过执行存储器设备中存储的一个或多个软件程序来执行相应操作的通用处理器(例如，CPU或应用处理器)。
在描述本公开的各种实施例时使用的术语的目的在于描述特定实施例，且不旨在限制本公开。如本文所用，除非上下文另有明确说明，否则单数形式也旨在包括复数形式。除非另有定义，否则本文使用的所有术语(包括技术术语或科学术语)具有与相关领域的普通技术人员通常所理解的含义相同的含义。在常用字典中进行了定义的术语应被解释为具有与相关技术的上下文含义相同或相似的含义，不应被解释为具有理想的或夸大的含义，除非它们在本文中进行了明确定义。根据情况，即使是本公开中定义的术语也不应被解释为排除本公开的实施例。
例如，如本文所用的术语“模块”可以意味着包括硬件、软件和固件中的一者或者它们中的两个或多个的组合在内的单元。“模块”可以与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换地使用。“模块”可以是集成组件元件的最小单元或其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以以机械方式或电子方式实现。例如，根据本发明的“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行已知的或将在以后研发出的操作的可编程逻辑器件中的至少一种。
例如，根据本公开的电子设备可以包括以下中的至少一种：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book阅读器)、台式PC、膝上型计算机、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG-1音频层-3(MP3)播放器、移动医疗设备、相机和可穿戴设备。可穿戴设备可以包括以下中的至少一种：饰品类型(例如，手表、戒指、手环、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或衣服集成类型(例如，电子服装)、身体附着类型(例如，皮肤垫或纹身)和生物可植入类型(例如，可植入电路)。
电子设备可以是家用电器。例如，家用电器可以包括以下中的至少一种：电视、数字视频盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、便携式摄像机和电子相框。
电子设备可以包括以下中的至少一种：各种医疗设备(例如，各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备等)、磁共振血管造影仪(MRA)、磁共振成像仪(MRI)、计算机断层扫描(CT)机和超声机)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船用电子设备(例如，船用导航设备和陀螺罗盘)、航空电子设备、安保设备、车头单元、家用或工业机器人、银行内的自动柜员机(ATM)、商店内的销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、电表或燃气表、喷洒设备、火灾报警器、恒温器、路灯、烤面包机、体育器材、热水箱、加热器、锅炉等)。
电子设备可以包括以下中的至少一种：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如，水表、电表、燃气表和无线电波表)。电子设备可以是前述各种设备中的一个或多个的组合。电子设备也可以是柔性设备。此外，电子设备不局限于上述设备，并且可以包括基于新技术发展的电子设备。
在下文中，将参考附图来描述电子设备。在本公开中，术语“用户”可以表示使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
图1是根据本公开实施例的网络环境中的电子设备的图。
参考图1，电子设备100、第一电子设备102、第二电子设备104或服务器106可以通过网络162或本地无线通信164彼此连接。电子设备100包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。电子设备100可以不包括上述元件中的至少一个，或者还可以包括其他元件。
总线110可以将上述元件110至170互连，并且可以包括用于在上述元件之间传送通信(例如，控制消息和/或数据)的电路。
处理器120可以包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。处理器120可以执行与电子设备100的至少其他元件的控制和/或通信相关联的算术运算或数据处理。
存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储与电子设备100的至少一个其他元件相关联的指令或数据。存储器130可以存储软件和/或程序140。程序140可以包括内核141、中间件143、应用编程接口(API)145和/或应用程序(应用)147。内核141、中间件143或API 145的至少一部分可被称为操作系统(OS)。
内核141可以控制或管理用于执行其他程序(例如，中间件143、API 145和应用147)的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核141可以提供允许中间件143、API 145或应用147访问电子设备100的离散元件以便控制或管理系统资源的接口。
中间件143可以执行中介角色，这样使得API 145或应用147与内核141进行通信，以交换数据。
此外，中间件143可以根据优先级对从应用147接收的一个或多个任务请求进行处理。中间件143可以分配优先级，这使得可以将电子设备100的系统资源(例如，总线110、处理器120、存储器130等)用于应用147中的至少一个应用。中间件143可以根据向至少一个任务请求分配的优先级来对一个或多个任务请求进行处理，这使得可以对一个或多个任务请求执行调度或负载均衡。
API 145可以是应用147通过其控制由内核141或中间件143提供的功能的接口，并且可以包括用于文件控制、窗口控制、图像处理、角色控制等的至少一个接口或功能(例如，指令)。
输入/输出接口150可以是将从用户或另一外部设备输入的指令或数据向电子设备100的其他元件发送的接口。此外，输入/输出接口150可以将从电子设备100的其他元件接收的指令或数据向用户或另一外部设备输出。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。例如，显示器160可以向用户显示各种内容(例如，文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏，并且可以接收使用电子笔或用户身体的一部分而实现的触摸、手势、接近或悬停输入。
通信接口170可以在电子设备100与第一电子设备102、第二电子设备104或服务器106之间建立通信。通信接口170可以通过无线通信或有线通信连接到网络162，以便与第二电子设备104或服务器106进行通信。
无线通信可以使用以下中的至少一种来作为蜂窝通信协议：长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等。此外，无线通信可以包括本地无线通信164。本地无线通信164可以包括以下中的至少一种：无线保真(Wi-Fi)、蓝牙(BT)、近场通信(NFC)、磁条传输(MST)、全球导航卫星系统(GNSS)等。
MST可以响应于使用电磁信号的传输数据来生成脉冲，并且该脉冲可以生成磁场信号。电子设备100可以向POS设备传送该磁场信号，且POS可以使用MST读取器来检测磁场信号。POS设备可以通过将检测到的磁场信号转换为电信号来恢复数据。
GNSS可以包括以下中的至少一种：全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(北斗)、或者基于可用区域、带宽等的欧洲全球卫星导航系统(伽利略)。在下文中，GPS和GNSS可以互换地使用。有线通信可以包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话服务(POTS)等中的至少一种。网络162可以包括电信网络、计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络中的至少一种。
第一电子设备102和第二电子设备104中的每一个可以是其类型与电子设备100的类型不同或相同的设备。服务器106可以包括具有一个或多个服务器的组。电子设备100将会执行的全部或部分操作可以由第一电子设备102、第二电子设备104或服务器106执行。当电子设备100自动地或响应于请求而执行任何功能或服务时，电子设备100可以不在内部执行功能或服务，而是备选地或附加地它可以在电子设备102或104或服务器106处请求与电子设备100相关联的功能的至少一部分，电子设备102或104或服务器106可以执行所请求的功能或附加功能，并且可以向电子设备100发送执行结果。电子设备100可以使用接收到的结果来提供所请求的功能或服务，或者可以对接收到的结果进行附加处理，以提供所请求的功能或服务。为此，可以使用云计算、分布式计算或客户端-服务器计算。
图2是根据本公开实施例的HMD设备的图。HMD设备200a能够与电子设备100进行组合，并且HMD设备200b可以是包括其自身的处理器和显示器在内的集成设备。HMD设备200a和200b可以包括一些共同的元件。本文描述的HMD设备200(图3)可以包括HMD设备200a和HMD设备200b，或者可以是适合于每个实施例的HMD设备200a或200b。例如，HMD设备200可以包括用于检测头部佩戴有HMD设备200的用户的注视方向的传感器(例如，惯性传感器、重力传感器、陀螺仪传感器、地磁传感器等)。
继续参考图2，与HMD设备200a兼容的用户终端250(例如，智能电话)可以安装在HMD设备200a中。本文的用户终端250可以对应于图1的电子设备100。
HMD设备200a与HMD设备200b的不同之处可以在于：用户终端250安装在HMD设备200a中，并且HMD设备200a可以与具有实现图像的能力的用户终端250电性地或有效地组合以使用用户终端250的资源。
在另一示例中，HMD设备200b可以具有自身实现显示的能力(即，以独立方式，其中用户终端250未单独安装在HMD设备200b中)。HMD设备200b可以包括HMD设备200a和用户终端250中包括的至少一些元件。当HMD设备200b能够自身实现显示时，HMD设备200b可以从用户终端250接收渲染数据，并且可以通过其自身的显示器来输出所接收的渲染数据。除了用户终端250之外，HMD设备200b还可以通过使用未示出的PC的硬件/软件资源或与其电连接的任何外围设备来接收要在显示器上输出的渲染数据。在这种情况下，HMD设备200b可以通过连接器与用户终端250物理和电性连接。HMD设备200b可以包括用于配置无线网络的通信电路，并且可以通过诸如BT、Wi-Fi等的无线网络与资源提供设备有效连接。换言之，HMD设备200b可以通过适当的通信接口(例如，通信接口170)与资源提供设备有线/无线连接。
在HMD设备200b的各元件中，与HMD设备200a的元件相对应的元件(例如，201b、202b、203b等)可以不进行描述。
HMD设备200a可以包括主框架201a、罩202a和安装构件203a。
主框架201a可以具有用于接收用户终端250的空间，并且主框架201a可以包括连接器204a、屏幕位置调整单元205a和/或输入单元206a。主框架201a还可以包括镜头调整单元。
连接器204a可以与用户终端250的连接器(例如，USB接口)耦合。HMD设备200a和用户终端250可以通过USB接口彼此交互。
屏幕位置调整单元205a可被配置为将用户终端250的屏幕移动到适合于用户观看屏幕的位置。屏幕位置调整单元205a可以以硬件或软件实现，并且可以设置在主框架201a外部的多个位置处。
输入单元206a可以是用户接口，并且用户可以通过输入单元206a控制用户终端250的图形用户接口(GUI)。输入单元206a可以设置在主框架201a的一个表面(例如，右侧表面)上。输入单元206a可以对应于接收触摸输入(例如，直接触摸输入或悬停输入)的触摸板。
通过输入单元206a的输入可以发送到用户终端250，并且响应于所接收的输入，用户终端250可以提供与该输入相对应的功能。用户可以在触摸板上执行触摸输入，以调整内容量或控制图像的再现。除了图2所示的输入单元206a之外，还可以存在多个输入单元。除了触摸板之外，输入单元206a还可以包括物理按钮、触摸键、操纵杆或滚轮键。
罩202a可以固定到主框架201a上，以罩住接收用户终端250的空间。
安装构件203a可以连接到主框架201a，使得用户能够将HMD设备200a佩戴在用户身体的一部分(例如，头部)上。安装构件203a可以包括由弹性材料形成的带、VelcroTM带等。可以通过安装构件203a将主框架201a保持得更靠近用户的眼睛。安装构件203a可以用眼镜镜腿、头盔、带子等实现。
图3是根据本公开实施例的电子设备的操作环境的图。
参考图3，电子设备100可以从内容生成设备10获得3D内容，如虚拟现实(VR)内容。3D内容可以包括用户能够在任何方向上观看的360度图像、360度视频、3D虚拟现实数据等。除非另有说明，否则本文使用的术语“内容”表示3D内容。
内容生成设备10可以对应于用于生成3D内容的设备。内容生成设备10可以包括多个镜头，并且可以通过组合(或拼接)使用多个镜头同时拍摄的不同图像在以内容生成设备10为中心的情况下生成3D图像。内容生成设备10可以以类似方式生成3D视频。
内容生成设备10可以对应于3D内容提供服务器。电子设备100可以从服务器获得3D内容或3D虚拟环境数据。
电子设备100可以自己生成3D内容，或者可以将3D内容存储在电子设备100的存储器130中。
电子设备100可以与HMD设备200组合来进行操作，并且这种操作类型可以被称为插入型。电子设备100和HMD设备200可以彼此独立地使用。图3中的HMD设备200可以对应于图2的HMD设备200a和HMD设备200b中的任何一个。
电子设备100可以在与HMD设备200组合的状态下再现3D内容。如果将执行第一内容(其是3D内容)的指令输入到电子设备100中，则电子设备100可以在3D虚拟空间中实现第一内容。当电子设备100与HMD设备200组合时，电子设备100可以生成左眼图像和右眼图像，如此便允许用户通过HMD设备200的镜头将第一内容识别为3D空间。
电子设备100可以从HMD设备200获得用于确定FOV的注视信息。HMD设备200可以包括用于检测头部佩戴有HMD设备200的用户的注视方向的传感器(例如，惯性传感器、重力传感器、陀螺仪传感器、地磁传感器等)。HMD设备200可以通过定义与参考时间(例如，第一内容开始被再现的时间)相对应的参考注视方向并且感测HMD设备200相对于该参考注视方向的运动信息(例如，距离、角度等)，来检测出用户的注视方向。如果电子设备100从HMD设备200获得用于确定FOV的信息(如注视方向)(下文中被称为FOV信息)，则电子设备100可以生成与第一内容相对应的缩略图图像，或者可以基于FOV信息生成对缩略图进行定义的元数据。
电子设备100的用户可以与其他用户共享第一内容。电子设备100的用户可以向另一电子设备11发送第一内容，或者可以通过社交网络服务12或视频流服务13来共享第一内容。当发送第一内容时(例如，当将第一内容向另一电子设备11发送或将第一内容向提供服务12和13的服务器上传时)，电子设备100可以将缩略图图像与第一内容一起发送，或者可以发送包括对缩略图进行定义的元数据在内的第一内容。
图4是根据本公开实施例的确定FOV的方法的图。
用户1观看3D虚拟空间400，其中HMD设备200佩戴在他们的头上。HMD设备200可以是其中安装有电子设备100的HMD设备200a和集成HMD设备200b中的任何一个。基于HMD设备200a中安装的电子设备100，将给出以下描述。此外，虽然图4中示出了具有圆柱形形状的3D虚拟空间400，但这只是出于图示的目的，并且3D虚拟空间400可以用球体以用户1为中心来实现，例如如图6所示。
用户1可以面向3D虚拟空间400中的一个方向。可以基于用户的注视所指向的地方来确定用户1的FOV 401。电子设备100可以基于左侧角度(例如，lefiDegrees)、右侧角度(例如，rightDegrees)、上侧角度(例如，upDegrees)、下侧角度(例如，downDegrees)以及相对于注视方向到远平面的距离zFar来确定FOV 401。为了便于描述，假设注视方向是指向FOV 401的中心，可以假设FOV 401具有90度的左侧角度和右侧角度以及65度的上侧角度和下侧角度。在另一示例中，注视方向可以指向位于FOV 401的垂直中心线上并且低于FOV401的中心的点。在这种情况下，左侧角度和右侧角度可以是彼此相等的；然而，上侧角度可以被定义为大于下侧角度。
当在3D虚拟空间400中再现第一内容时，电子设备100可以基于FOV 401来再现第一内容。也就是说，由于用户1在3D虚拟空间400中单次无法查看所有的点，因此电子设备100可以使与基于用户1的FOV 401而确定的区域相对应的空间可视化。电子设备100可以从HMD设备200a获得注视信息，可以确定基于注视信息而获得的FOV 401，并且可以渲染与所确定的FOV 401相对应的空间。在渲染时可以排除掉相比起近平面更靠近用户1的对象(其与用户1间隔开距离zNear)以及相比起远平面离用户1更远的对象。
图5是根据本公开实施例的用于生成并再现3D内容的图像处理系统的图。
在图像处理系统500中，3D内容(例如，360度图像)可以由相机510、转码器520、编码器530、解码器540、渲染单元550和显示器560依次进行处理。
相机510、转码器520和编码器530可被包括在发送器中，而解码器540、渲染单元550和显示器560可被包括在接收器中。如图3所示，发送器和接收器可以分别用内容生成设备10和电子设备100来实现。相机510、转码器520和编码器530可以对应于内容生成设备10的硬件元件。此外，解码器540、渲染单元550和显示器560可以对应于电子设备100的硬件元件。
尽管为了便于描述将上述图像处理系统500划分为发送器和接收器，但是图像处理系统500的元件可全部被包括在单个设备中，或者可以以各种组合被包括在另一设备中。例如，电子设备100可以在其中包括图像处理系统500的所有元件。
相机510可以拍摄全向图像。假设相机510包括具有180度或更大角度的视角的一对鱼眼镜头，相机510可以通过使用这对鱼眼镜头来拍摄全向图像。相机510可以向转码器520发送通过使用这对鱼眼镜头所拍摄的两张图像。当相机510包括多个相机时，该多个相机510可以拍摄指向不同方向的空间。多个相机510可以将在不同方向上拍摄的多个图像向转码器520单独地发送，或者通过将多个图像组合成单张二维(2D)图像向转码器520发送。尽管在上述示例中将图像处理系统500中待处理的图像示出为由相机510拍摄，但是本公开并不局限于此。也就是说，要在图像处理系统500中处理的图像可以是虚拟图像(例如，基于虚拟空间从虚拟相机视角观看到的游戏图像或动画图像)。此外，尽管在上述示例中将图像处理系统500中待处理的图像示出为全向图像，但是图像可以是通过拍摄指向一个方向的一个空间或者拍摄指向多个方向的多个空间而获得的图像。例如，图像处理系统500还可以对通过使用一对鱼眼镜头中的一个镜头所拍摄的图像进行处理。
转码器520可以将全向图像映射成2D图像。转码器520可以将通过使用鱼眼镜头拍摄的两张图像映射到3D空间(坐标)上作为3D图像，然后可以将3D图像映射到2D空间(坐标)上作为2D图像。为了将全向图像映射成3D图像，转码器520可以将全向图像映射到3D虚拟模型的外表面或内表面上。
转码器520可以将全向图像映射成2D图像，并且可以在将3D图像映射成2D图像的同时生成关于3D图像与映射的2D图像之间的坐标关系的元数据。
编码器530可以对从转码器520发送的2D图像进行编码。编码器530可以基于编解码器标准来执行编码，比如，H.264、运动图像专家组(MPEG)-4、高效视频编码(HEVC)等。
在此，编码器530可以将2D图像的编码图像数据以视频或静止图像格式存储在存储器中。此外，由编码器530编码的图像数据可以以流式或文件格式发送到电子设备100。所存储或发送的编码图像数据可被发送到解码器540。
解码器540可以对从编码器530发送的编码图像数据进行解码。解码器540可以通过使用与编码器530用来对映射的2D图像进行编码的编解码器标准相同的编解码器标准(例如，H.264、MPEG-4、HEVC等)来执行解码。
渲染单元550可以基于解码的2D图像(下文中是输入帧)来执行渲染。在这种情况下，渲染单元550可以附加地使用元数据来进行渲染。元数据可以在发送器中生成，然后向接收器发送，或者也可以预先存储在接收器的存储单元中。当在发送器中通过使用联合图像专家组(JPEG)对图像帧进行编码时，元数据可被包括在JPEG的exif字段中，并且当在发送器中通过使用MPEG-4对图像帧进行压缩时，元数据可被包括在MPEG-4的moov字段中。此外，元数据可被包括在图像帧的末尾部分中。图5中提及的元数据可以是用于组合并渲染图像的元数据，但是可以不是用于生成缩略图的FOV信息。
显示器560可以显示所渲染的输出帧。显示器560可以对应于图1的显示器160。
图6是根据本公开实施例的3D空间的图。
3D空间601可以由HMD设备200实现。具体地，电子设备100可以基于第一内容来生成左眼图像和右眼图像，并且通过HMD设备200的镜头观看左眼图像和右眼图像的用户可以识别出3D虚拟空间。可以通过如下方式来实现3D空间601：将广角图像/视频纹理映射到预设3D模型610(例如，具有预设半径R的球体、立方体或圆柱体)上并在3D模型内部定位用户的视角(或者虚拟相机)(例如，在球体的中心点615处或者在与注视方向相反的方向上从中心点615向后预定距离的位置处)。
电子设备100可以根据第一注视621来渲染(例如，可视化)与3D空间601的第一区域相对应的第一部分图像631(或第一屏幕)，并且可以在显示器上显示经过渲染的第一部分图像631。第一部分图像631可以包括与对应于第一注视621的FOV相同或更大的区域。
响应于对观看模式的选择或用于改变视角的输入，电子设备100可以渲染与3D空间601的第二区域相对应的第二部分图像634(或第二屏幕)，并且可以在显示器上显示经过渲染的第二部分图像634。第二部分图像634可以包括大于或等于与第二注视640相对应的FOV的区域。
可以通过FOV的水平分量651和垂直分量652来控制3D空间601中的相机/用户视图(或渲染视口或渲染区域)。3D内容再现应用(或虚拟现实应用)可以通过配置限制并定义渲染视口的平面(例如，右平面、左平面、顶平面、底平面、近平面和远平面)来控制FOV。
如果在用户观看与第一注视621相对应的第一部分图像631时完全再现了第一内容，则电子设备100可以将第一部分图像631存储为第一内容的缩略图。如果在用户观看与第二注视640相对应的第二部分图像634时完全再现了第一内容，则电子设备100可以将第二部分图像634存储为第一内容的缩略图。
FOV可以由3D坐标系中的绝对坐标值来限定。FOV可以由球坐标系中的坐标值(r，？，？)来限定。由坐标值(r，？，？)限定的FOV可以被校正为2D平面并且可被存储为缩略图。可以通过开发者工具以API形式来提供校正算法，或者可以附加地或备选地使用不同的3D-2D校正算法。
电子设备100可以通过使用已经渲染出的图像来生成适合于每个应用的缩略图。电子设备100可以存储坐标值，以便在再现期间参考这些坐标值，或者可以存储与注视相对于起始点的移动有关的信息，以便提取出坐标值。
第一内容的缩略图可以是基于FOV信息来生成的单独图像数据。电子设备100可以将第一内容和第一内容的缩略图存储在电子设备100的存储器130中，并且可以映射它们之间的对应关系。当在照片应用中显示第一内容的缩略图时，电子设备100可以导入已经映射到第一内容上的第一内容的缩略图。
第一内容可以包括作为元数据的用于生成缩略图的FOV信息。当在照片应用中显示第一内容的缩略图时，电子设备100可以根据第一内容的元数据来识别FOV信息，并且可以在3D虚拟空间中实现第一内容时将与基于FOV信息所确定的区域对应的屏幕确定为缩略图。
上述两个实施例并不是相互排斥的，并且可以适当地加以使用。例如，在将与基于FOV信息所确定的区域相对应的屏幕确定为缩略图之后，电子设备100可以存储缩略图并且可以映射对应关系。
电子设备100可以捕捉与3D虚拟空间中的FOV相对应的区域，然后可以将捕捉的区域存储为缩略图。由于捕捉的缩略图对应于3D空间，因此当以2D形式显示捕捉的缩略图时，在图像的边缘部分可能会出现失真。电子设备100可以通过校正失真来生成缩略图，或者可以生成缩略图而不进行校正。
电子设备100可以通过使用电子设备100中提供的应用或解码器对原始图像(例如，FOV)进行解码，从而生成缩略图缓存，并且可以将缩略图缓存存储在存储器130中。电子设备100可以生成多个尺寸的缩略图缓存，以支持各种尺寸的视图。此外，在生成缩略图缓存时，电子设备100可以链接并存储用于标识原始内容的键值(例如，已经存储了内容的路径和/或已经生成了内容的日期)和解码的缩略图。因此，电子设备100可以基于键值来确定是否存在对应内容的缩略图缓存。
图7a是根据本公开实施例的根据头部佩戴有HMD设备的用户的移动来获得FOV信息的方法的图。
用户1可以在x、y或z方向上移动，同时HMD设备200佩戴在他们的头上。FOV的平面(例如，远平面)可以根据用户1的移动而发生变化。如果面向-z方向的用户1在-z方向上移动且同时HMD设备200佩戴在他们的头上，那么，从3D空间的中心点到远平面的距离可以等同地或以预定速率减小。通过HMD设备200的控制面板上的用户输入，用户1可以移动与用户1或3D空间中的注视对象相对应的角色。可以响应于控制面板上的用户输入来改变从3D空间的中心点到远平面的距离。FOV信息可以包括关于以下的信息：用户1的注视方向、用户1在注视方向上移动的距离以及到与注视方向相对应的远平面的距离。
HMD设备200可以在仅考虑HMD设备200的旋转的情况下调整FOV，这将在下面参考图7b进行描述。在图7b中，没有将HMD设备200的移动考虑在内。
图7b是根据本公开实施例的根据头部佩戴有HMD设备的用户的旋转来获得FOV信息的方法的图。
HMD设备200可以获得与用户1的旋转有关的信息。HMD设备200可以通过使用HMD设备200中包括的传感器来获得关于以下的信息：绕x轴的第一旋转角度(俯仰)、绕y轴的第二旋转角度(偏航)和绕z轴的第三旋转角度(横滚)。FOV信息可以包括关于用户1相对于参考方向的旋转角度的信息。如果电子设备100从HMD设备200获得关于旋转角度的信息，则电子设备100可以基于旋转信息来确定FOV。例如，即使用户1的注视指向的是-z方向，FOV也可以根据第三旋转角度的大小对应于不同区域(彼此重叠)。
图8是根据本公开实施例的元数据中存储的FOV信息的图。
HMD设备200可以确定从用户1的眼睛所在的点到3D虚拟空间的显示平面的注视距离Y。注视距离Y可以用到远平面的距离zFar或远平面与近平面之间的距离(zFar-zNear)代替。此外，可以根据用户1的移动(如图7a所示)或者在HMD设备200的控制下改变注视距离Y。注视距离Y可以是固定的。
FOV信息可以包括关于注视距离Y和与注视方向对应的当前位置的信息。如果第一内容开始被再现时的参考位置对应于第一坐标(例如，Y，0，0)，则与注视方向相对应的当前位置可以对应于第二坐标(例如，Y，a，b)。当前位置可以对应于与当前注视方向相对应的FOV的中心点。FOV信息可以存储为元数据。元数据可以与第一内容一起存储，或者可以作为单独的文件进行存储或同步。
电子设备100可以基于FOV信息来确定FOV。当电子设备100在3D空间中实现第一内容时，电子设备100可以基于FOV信息来确定与FOV相对应的区域，并且可以将该区域(即，与FOV对应的区域)存储为第一内容的缩略图；然而，电子设备100可以将与FOV对应的区域的一部分存储为第一内容的缩略图。
图9是根据本公开实施例的基于FOV信息来生成缩略图的图。
屏幕900可以对应于基于FOV信息来确定的第一内容的FOV。电子设备100可以将与FOV相对应的整个区域定义为第一内容的缩略图。
电子设备100可以根据FOV信息来获得FOV的参考点。电子设备100可以获得屏幕900的参考点901的坐标信息。电子设备100可以基于参考点来确定缩略图的大小。对于为多个图像提供缩略图的图库应用，可能已经预先定义了用于显示缩略图的区域。对于在200×200的像素区域中显示缩略图的照片应用，电子设备100可以相对于屏幕900(其对应于FOV)上的参考点901来生成与200×200像素相对应的区域，作为缩略图。电子设备100可以相对于参考点901生成与200n×200n像素相对应的区域作为缩略图；“n”可以对应于大于1的适当值。
当电子设备100将第一内容向社交网络服务12或视频流服务13上传时，可以基于在与相关服务相对应的网页或应用中显示的预览图的分辨率来生成缩略图。当社交网络服务12支持对于上传内容来说分辨率为320×240的预览图时，电子设备100可以相对于参考点901来生成作为缩略图的与320×240相对应的区域，或者可以生成水平垂直比为3：2的缩略图。换言之，电子设备100可以生成FOV屏幕900作为缩略图，或者可以根据应用/服务的特性来生成屏幕900的部分区域作为缩略图。可以将区域B生成为其中水平垂直比Bx：By是合适的应用的缩略图，并且可以将区域C生成为其中水平垂直比Cx：Cy是合适的应用的缩略图。
图10是根据本公开实施例的生成内容的缩略图的方法的流程图。
在操作1001中，电子设备100可以在3D虚拟空间中实现3D内容。电子设备100可以通过HMD设备200a在3D虚拟空间中实现VR内容。
在操作1001中在3D空间中实现内容可以包括以下含义：在3D空间中显示3D图像，在3D空间中再现3D视频内容并且将3D虚拟现实中包括的对象渲染到3D虚拟空间。
此外，电子设备100可以响应于预定义事件的发生而在3D空间中实现第一内容。当电子设备100识别出与HMD设备200a的组合时，电子设备100可以在3D空间中实现第一内容，或者在识别出该组合之后，出现用于选择第一内容或第一内容的缩略图的输入。
在操作1003中，电子设备100可以获得注视信息。电子设备100可以在第一内容开始被再现时获得注视信息。当第一内容开始被再现时，可以预先将注视信息定义为第一内容的任何点(例如，第一内容的中心区域)。在这种状态下，电子设备100可以基于控制指令和电子设备100的移动和/或电子设备100所耦合的HMD设备200a的移动来获得注视信息。电子设备100可以获得关于HMD设备200a的移动或旋转、借助于用户输入的设置改变等的信息。
在操作1005中，电子设备100可以基于注视信息来确定FOV。电子设备100可以确定用户的注视当前所指向的方向，并且可以基于所确定的方向、FOV的水平角度范围、FOV的垂直角度范围和/或到远平面的距离来确定FOV。图9的参考点可以是基于所确定的方向来确定的，并且图9的屏幕900可以是基于到远平面的距离和角度范围来确定的。
电子设备100可以继续渲染与FOV对应的第一内容的区域，其中在3D空间中实现第一内容。由于每当用户的注视方向发生改变时都会改变与FOV相对应的区域，电子设备100可以继续渲染包括FOV在内并且比FOV大预定范围的区域，作为缓冲区的概念。如果在操作1007中在该状态下发生了指定事件，则电子设备100可以基于FOV来生成缩略图，或者可以将FOV信息存储为元数据。如果完全再现了第一内容(即，如果发生了再现结束事件)，则电子设备100可以在存储器130中将与结束时间的FOV(即，最后一个FOV)相对应的区域的至少一部分存储为第一内容的缩略图。
第一内容可以是3D视频内容。除了注视信息之外，可以基于关于再现时间的信息来确定要渲染到FOV的图像。即使用户面向相同的方向，但随着时间的推移，也可以向FOV渲染不同的图像。因此，电子设备100可以在元数据中存储在指定事件(例如，结束事件)发生时第一内容的再现时间(例如，呈现时间戳(PTS))信息，作为FOV信息的一部分或者与FOV信息一起。
电子设备100可以响应于指定事件来执行以下操作。电子设备100可以基于在指定事件发生时的FOV来生成缩略图，并且可以将生成的缩略图与第一内容一起映射。备选地，电子设备100可以在事件发生时存储FOV信息，作为第一内容的元数据。电子设备100可以基于事件发生时的FOV信息来生成缩略图，可以将缩略图与第一内容一起映射，并且可以将FOV信息存储为第一内容的元数据。电子设备100可以将事件发生时的FOV信息作为元数据存储在存储器130中，并且可以将存储的元数据与第一内容一起映射。如果第一内容是视频内容，那么事件发生时的PTS信息可以作为FOV信息的一部分或作为元数据与FOV信息一起存储。当再次再现第一内容时或者当在共享之后由另一用户再现第一内容时，可以使用FOV信息(以及PTS信息)。
图11是根据本公开实施例的基于注视信息而生成的缩略图的图。
当捕捉了3D内容时，可以为捕捉的内容设置默认参考点(例如，内容首次再现时的FOV)。可以基于诸如前面或中心点之类的区域来生成缩略图，该区域在内容首次再现时显示在屏幕上。也就是说，内容生成设备10可以在生成3D内容时设置参考FOV，并且可以基于参考FOV来生成3D内容的缩略图。用户可以通过缩略图来选择内容或者可以识别内容信息。如果用户选择缩略图以通过HMD设备200来再现内容，则可以在再现期间根据用户的运动(例如，HMD设备200的移动)新生成FOV。因此，参考点可以发生改变，并且可以基于改变后的参考点来更新缩略图。
如果参考点对应于生成3D内容1100时的点①，则缩略图11101可以作为3D内容1100的缩略图显示在内容列表中。在用户选择列表中的3D内容1100并且在3D虚拟空间中再现3D内容1100之后，再现完成时的FOV的参考点可以对应于点②。缩略图21102可以在内容列表中显示为3D内容1100的缩略图。
因此，仅仅通过查看内容列表(例如，图库)中的缩略图，用户就可以知晓用户已经停止观看内容的点，且因而易于使用内容。
图12是根据本公开实施例的使用FOV信息的方法的流程图。
在操作1201中，可以发生缩略图的再现事件。电子设备100可以在电子设备100的显示器160上显示包括第一内容的缩略图在内的内容列表，并且可以响应于对第一内容的缩略图的选择来执行第一内容。对第一内容的执行可以是3D虚拟空间中对第一内容的再现，这已经在上面参考图10进行了描述。换言之，操作1201中的再现事件可以是在根据图10的方法完成对第一内容的再现之后再次执行第一内容的事件；然而，操作1201中的再现事件可以对应于任何3D内容的再现事件，这与图10的方法无关。此外，第一内容的缩略图可以对应于基于在图10的方法中完成再现时的FOV而生成的缩略图。内容列表可以是3D内容的列表，但是也可以包括一般的2D图像/视频内容。
在操作1203中，电子设备100可以确定是否存在与缩略图相关联的FOV信息。电子设备100可以通过图10的方法来确定对于具有元数据中包括的FOV信息的第一内容是否发生了操作1201中的再现事件，或者对于不具有作为元数据的FOV信息的第二内容是否发生了操作1201中的再现事件。如果第一内容的元数据包括FOV信息，则电子设备100可以在操作1205中基于FOV信息来开始再现第一内容。换句话说，电子设备100可以根据先前再现的最后一个FOV来再次再现第一内容。
然而，如果第一内容的元数据不包括FOV信息，则电子设备100可以在操作1207中从默认位置再现第一内容。默认位置可以与被定义为在首次再现内容时进行显示的FOV相对应。
在操作1209中，可以发生用于结束再现的事件。在操作1211中，电子设备100可以基于再现完成时的FOV来更新缩略图。当先前再现结束时的FOV信息已被包括在元数据中时，电子设备100可以使用最近结束时的FOV信息来更新元数据。此外，电子设备100可以基于更新后的FOV信息对要在各种类型的内容列表或预览图中显示的缩略图进行更新。
可以通过HMD设备200来获得FOV信息。电子设备100可以通过HMD设备200来实现3D空间，可以基于携带HMD设备200的用户的移动从HMD设备200获得用户的注视信息，并且可以基于所获得的注视信息来确定FOV。
电子设备100可以通过使用针对电子设备100的用户输入或电子设备100的陀螺仪传感器来确定与FOV相对应的3D空间的区域。全向图像(如360度图像)可以在电子设备100的显示器160上显示。由于全向图像包括在相对于拍摄中心的所有方向上的图像，因此在全方位图像作为2D图像在电子设备100的显示器160上显示的情况下，可以仅显示整个区域的一部分。用户可以通过使用触摸输入或电子笔输入，或者通过改变电子设备100的位置或方向(例如，从电子设备100的壳体露出的显示器160所面向的方向)来改变显示区域。显示器160上显示的区域可以对应于FOV。因此，与显示器160上的3D内容的再现(显示)停止时的区域有关的信息可以作为FOV信息被存储在3D内容的元数据中。如上所述，用户可以设置要在显示器160上显示的3D内容的首选区域，然后可以结束对3D内容的再现，以生成/更新首选缩略图。
此外，在360度图像的情况下，由于拍摄了拍摄者周围的整个空间，因此难以对特定部分加以强调或突出。当第一用户通过使用内容生成设备10拍摄商店的照片并随后将商店的图片向第二用户发送时，要强调特定部分是几乎不可能的。第一用户必须用已有的拍摄设备拍摄相应部分的照片，然后再单独地将该部分的照片向第二用户发送，或者必须向第二用户发送消息以及商店的照片，以向第二用户告知第二用户必须密切观看的部分。然而，根据本公开，如果第一用户将待共享的重要部分存储为FOV，则接收相应的360度图像的另一用户可以理解内容，将关注点放在相应部分。如果第二用户在观看(再现)接收到的内容之后还将第二用户想要强调或提及的部分存储为FOV，那么当第一用户再次共享内容时，第一用户可以轻易理解对第二用户来说重要的部分。此外，由于仅针对相同的内容来更新元数据，因此除了第一内容共享的情况之外，可以通过仅发送元数据来实现快速发送和低数据消耗的效果。
此外，即使在用户通过社交网络服务12或视频流服务13来共享3D内容时，如果用户在为用户想要显示的部分设置FOV之后发布了3D内容，那么在观看内容之前观看了缩略图(例如，预览图)的其他用户还可以观看3D内容，将关注点放在相应部分(FOV)。另外，当其他用户重新共享(例如，剪辑、转发等)相应的发布时，还可以基于重新共享相应内容的用户的FOV信息来发布相应的内容。第二用户可能对由第一用户上传到特定社交网络服务12的3D内容的缩略图(例如，屏幕A)感兴趣，并且可能希望在观看3D内容时在另一屏幕(例如，屏幕B)上与其他用户共享3D内容。如果选择了共享菜单(例如，剪辑、转发、共享等)，则电子设备100可以将选择共享菜单的时间视为指定事件发生的时间，并且可以基于与屏幕B对应的FOV来共享3D内容。
图13是根据本公开实施例的电子设备的图。
电子设备1301可以包括图1中所示的电子设备100的全部或一部分。电子设备1301可以包括一个或多个处理器(例如，应用处理器(AP))1310、通信模块1320、订户识别模块(SIM)1329、存储器1330、传感器模块1340、输入设备1350、显示器1360、接口1370、音频模块1380、相机模块1391、电源管理模块1395、电池1396、指示器1397和电机1398。
处理器1310可以驱动OS或应用来控制连接到处理器1310的多个硬件或软件元件，并且可以处理和计算各种数据。处理器1310可以用片上系统(SoC)来实现。处理器1310还可以包括图形处理单元(GPU)和/或图像信号处理器。处理器1310可以包括图13中所示的元件的至少一部分(例如，蜂窝模块1321)。处理器1310可以将从其他元件中的至少一个(例如，非易失性存储器)接收到的指令或数据加载到易失性存储器中并对加载的指令或数据进行处理。处理器1310可以将各种数据存储在非易失性存储器中。
通信模块1320可被配置为与图1的通信接口170相同或相似。通信模块1320可以包括蜂窝模块1321、Wi-Fi模块1322、BT模块1323、GNSS模块1324(例如，GPS模块、Glonass模块、北斗模块或伽利略模块)、NFC模块1325、MST模块1326和射频(RF)模块1327。
蜂窝模块1321可以通过通信网络来提供语音通信、视频通信、角色服务、互联网服务等。蜂窝模块1321可以通过使用SIM卡1329在通信网络内执行电子设备1301的辨别和认证。蜂窝模块1321可以执行处理器1310提供的功能的至少一部分。蜂窝模块1321可以包括CP。
例如，Wi-Fi模块1322、BT模块1323、GNSS模块1324、NFC模块1325或MST模块1326中的每一个可以包括用于处理通过相应模块交换的数据的处理器。蜂窝模块1321、Wi-Fi模块1322、BT模块1323、GNSS模块1324、NFC模块1325或MST模块1326中的至少一部分(例如，两个或更多个)可被包括在一个集成电路(IC)或IC封装内。
RF模块1327可以发送和接收通信信号(例如，RF信号)。RF模块1327可以包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。蜂窝模块1321、Wi-Fi模块1322、BT模块1323、GNSS模块1324、NFC模块1325或MST模块1326中的至少一个可以通过单独的RF模块来发送和接收RF信号。
SIM 1329可以是嵌入式SIM，并且可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。
存储器1330可以包括内部存储器1332或外部存储器1334。内部存储器1332可以包括以下中的至少一种：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)等)、硬盘驱动器或固态驱动器(SSD)。
外部存储器1334还可以包括闪存驱动器，比如，高密度闪存(CF)、安全数字(SD)、微安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极速数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器1334可以通过各种接口有效和/或物理地连接到电子设备1301。
安全模块1336可以是包括安全级别高于存储器1330的安全级别的存储空间在内的模块，并且可以是确保数据存储和受保护执行环境的安全的电路。安全模块1336可以用单独的电路实现，并且可以包括单独的处理器。例如，安全模块1336可以位于智能芯片或安全数字(SD)卡(其是可移除的)中，或者可以包括嵌入在电子设备1301的固定芯片中的嵌入式安全元件(eSE)。此外，安全模块1336可以基于与电子设备1301的OS不同的OS来操作。安全模块1336可以基于Java卡开放平台(JCOP)OS来操作。
传感器模块1340可以测量物理量或者可以检测电子设备1301的操作状态。传感器模块1340可以将测量或检测到的信息转换为电信号。传感器模块1340可以包括以下中的至少一种：手势传感器1340A、陀螺仪传感器1340B、气压传感器1340C、磁传感器1340D、加速度传感器1340E、握持传感器1340F、接近传感器1340G、颜色传感器1340H(例如，红色、绿色、蓝色(RGB)传感器)、生物特征传感器1340I、温度/湿度传感器1340J、照度传感器1340K或UV传感器1340M。虽然未示出，但附加地或一般地，传感器模块1340还可以包括电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块1340还可以包括用于控制其中包括的至少一个或多个传感器的控制电路。电子设备1301还可以包括处理器，该处理器是处理器1310的一部分或者独立于处理器1310，并且被配置为控制传感器模块1340。该处理器可以在处理器1310保持在睡眠状态下时控制传感器模块1340。
输入设备1350可以包括触摸面板1352、(数字)笔传感器1354、键1356或超声输入单元1358。触摸面板1352可以使用电容、电阻、红外和超声检测方法中的至少一种。此外，触摸面板1352还可以包括控制电路。触摸面板1352还可以包括触觉层，以向用户提供触觉反应。
(数字)笔传感器1354可以是触摸面板的一部分，或者可以包括用于进行识别的附加薄片。键1356可以包括物理按钮、光学键或键区。超声输入设备1358可以通过麦克风1388来检测(或感测)从输入设备生成的超声信号，并且可以检查与检测到的超声信号相对应的数据。
显示器1360可以包括面板1362、全息设备1364或投影仪1366。面板1362可以与图1中所示的显示器160相同或相似。面板1362可以实现为柔性的、透明的或可穿戴的。面板1362和触摸面板1352可以集成到单个模块中。全息设备1364可以使用光干涉现象在空间中显示立体图像。投影仪1366可以将光投射到屏幕上来显示图像。屏幕可以布置在电子设备1301的内部或外部。显示器1360还可以包括用于控制面板1362、全息设备1364或投影仪1366的控制电路。
接口1370可以包括HDMI 1372、USB 1374、光学接口1376或d超小型(D-sub)1378。接口1370可被包括在图1所示的通信接口170中。附加地或一般地，接口1370可以包括移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块1380可以在双向上转换声音和电信号。音频模块1380的至少一部分可被包括在图1中所示的输入/输出接口150中。音频模块1380可以处理通过扬声器1382、听筒1384、耳机1386或麦克风1388输入或输出的声音信息。
相机模块1391可以拍摄静止图像或视频。相机模块1391可以包括至少一个或多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。
电源管理模块1395可以管理电子设备1301的电源。电源管理集成电路(PMIC)、充电器IC或电池量表可被包括在电源管理模块1395中。PMIC可以具有有线充电法和/或无线充电法。无线充电法可以包括磁共振法、磁感应法或电磁法，并且还可以包括附加电路，例如，线圈回路、谐振电路、整流器等。电池量表可以在电池充电期间测量电池1396的剩余电量及其电压、电流或温度。电池1396可以包括可充电电池和/或太阳能电池。
指示器1397可以显示电子设备1301或其一部分(例如，处理器1310)的特定状态，比如，引导状态、消息状态、充电状态等。电机1398可以将电信号转换为机械振动并且可以产生以下效果：振动、触觉等。用于支持移动TV的处理设备(例如，GPU)可被包括在电子设备1301中。用于支持移动TV的处理设备可以根据数字多媒体广播(DMB)、数字视频广播(DVB)、mediaFLOTM等的标准对媒体数据进行处理。
电子设备1301的上述元件中的每一个可被配置有一个或多个组件，并且可以根据电子设备1301的类型来改变元件的名称。电子设备1301可以包括至少一个上述元件，可以省略一些元件，或者可以添加其他附加元件。此外，电子设备1301的一些元件可以彼此之间组合以形成一个实体，这样便可以按照与组合之前相同的方式执行各元件的功能。
图14示出了根据各种实施例的程序模块的框图。
程序模块1410可以包括OS，以便控制与电子设备(例如，电子设备100)相关联的资源和/或在OS上驱动的各种应用(例如，应用147)。OS可以是AndroidTM、iOSTM、WindowsTM、SymbianTM或TizenTM。
程序模块1410可以包括内核1420、中间件1430、API 1460和/或应用1470。程序模块1410的至少一部分可被预先加载在电子设备上或者可以从外部电子设备(例如，第一电子设备102、第二电子设备104、服务器106等)下载。
内核1420可以包括系统资源管理器1421或设备驱动程序1423。系统资源管理器1421可以控制、分配或取回系统资源。系统资源管理器1421可以包括进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动程序1423可以包括显示驱动程序、相机驱动程序、BT驱动程序、共享存储器驱动程序、USB驱动程序、键区驱动程序、Wi-Fi驱动程序、音频驱动程序或进程间通信(IPC)驱动程序。
中间件1430可以提供应用1470共同需要的功能，或者可以通过API 1460向应用1470提供各种功能，从而允许应用1470高效地使用电子设备的有限系统资源。中间件1430可以包括以下中的至少一种：运行库1435、应用管理器1441、窗口管理器1442、多媒体管理器1443、资源管理器1444、电源管理器1445、数据库管理器1446、包管理器1447、连接管理器1448、通知管理器1449、位置管理器1450、图形管理器1451、安全管理器1452或支付管理器1454。
运行库1435可以包括库模块，该库模块被编译器用来在执行应用1470时通过编程语言添加新功能。运行库1435可以执行输入/输出管理、存储器管理或与算术功能有关的能力。
应用管理器1441可以管理应用1470的至少一个应用的生命周期。窗口管理器1442可以管理在屏幕中使用的GUI资源。多媒体管理器1443可以识别出播放各种媒体文件所需的格式，并且可以通过使用适合于该格式的编解码器来执行对媒体文件的编码或解码。资源管理器1444可以管理资源，比如，存储空间、存储器或应用1470的至少一个应用的源代码。
电源管理器1445可以与基本输入/输出系统(BIOS)一起操作来管理电池或电源，并且可以提供用于电子设备的操作的电源信息。数据库管理器1446可以生成、搜索或修改将在应用1470的至少一个应用中使用的数据库。包管理器1447可以安装或更新以包文件的形式分发的应用。
连接管理器1448可以管理诸如Wi-Fi或BT之类的无线连接。通知管理器1449可以以不干扰用户的方式显示或通知事件，比如，到达消息、约定或接近通知。位置管理器1450可以管理关于电子设备的位置信息。图形管理器1451可以管理提供给用户的图形效果，或者管理与其相关的用户接口。安全管理器1452可以提供系统安全性、用户认证等所需的一般性安全功能。当电子设备包括电话功能时，中间件1430还可以包括用于管理电子设备的语音或视频呼叫功能的电话管理器。
中间件1430可以包括将上述元件的各种功能进行组合的中间件模块。中间件1430可以提供专用于每种类型的OS的模块，由此提供差异化的功能。另外，中间件1430可以动态地移除一部分预先存在的元素，或者可以向其添加新元素。
API 1460可以是一组编程功能，并且可以设置有根据OS的类型可发生变化的配置。当OS是AndroidTM或iOSTM时，它可以为每个平台提供一个API集。在OS是TizenTM的情况下，它可以为每个平台提供两个或更多个API集。
应用1470可以包括一个或多个应用，其能够提供主页应用1471、拨号器应用1472、SMS/MMS应用1473、即时消息应用(IM)1474、浏览器应用1475、相机应用1476、警报应用1477、联系人应用1478、语音拨号应用1479、电子邮件应用1480、日历应用1481、媒体播放器应用1482、相册应用1483、时钟应用1484、支付应用1485、健康护理应用(例如，测量运动量、血糖等)的功能，或者给出环境信息(例如，气压、湿度、温度等的信息)。
应用1470可以包括信息交换应用，以支持电子设备与外部电子设备之间的信息交换。信息交换应用可以包括用于将特定信息向外部电子设备发送的通知中继应用，或者用于管理外部电子设备的设备管理应用。
通知中继应用可以包括将由其他应用(例如，SMS/MMS、电子邮件、健康护理或环境信息的应用)产生的通知信息向外部电子设备发送的功能。另外，通知中继应用可以从外部电子设备接收通知信息并将该通知信息向用户提供。
设备管理应用可以管理(例如，安装、删除或更新)与电子设备通信的外部电子设备、在外部电子设备中运行的应用或者从外部电子设备提供的服务(例如，呼叫服务、消息服务等)的至少一个功能(例如，外部电子设备本身(或组件的一部分)的开启/关闭，或者显示器的亮度(或分辨率)的调整)。
应用1470可以包括根据外部电子设备的属性进行分配的应用(例如，移动医疗设备的健康护理应用)。应用1470可以包括从外部电子设备接收的应用。应用1470可以包括可从服务器下载的预加载应用或第三方应用。根据实施例的程序模块1410的元件的名称可以根据操作系统的种类进行修改。
程序模块1410的至少一部分可以由软件、固件、硬件或其两个或多个的组合来实现。例如，可以由处理器(例如，处理器1310)实现(例如，执行)程序模块1410的至少一部分。程序模块1410的至少一部分可以包括例如用于执行一个或多个功能的模块、程序、例程、指令集、进程等。
可以通过以程序模块的形式存储在非暂时性计算机可读存储介质中的指令来实现装置的(例如，其模块或功能)或方法(例如，操作)的至少一部分。当由处理器(例如，处理器120)执行时，该指令可以使一个或多个处理器执行与该指令对应的功能。例如，非暂时性计算机可读存储介质可以是存储器130。
非暂时性计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM)和数字通用盘(DVD)、磁光介质(例如，软式光盘))和硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪存)。此外，程序指令不仅可以包括诸如由编译器生成的对象之类的机械代码，而且还可以包括在使用解释器的计算机上可执行的高级语言代码。上述硬件单元可被配置为经由用于执行本公开的各种实施例的操作的一个或多个软件模块而操作，反之亦然。
模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者可以进一步包括其他附加元件。由模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方法执行。另外，某些操作可以以不同的顺序执行或者可以省略掉。备选地，可以添加其他操作。
尽管已经参考本公开的某些实施例示出并描述了本公开，但是本领域技术人员将会理解的是，在不脱离本公开的范围的情况下，可以在形式和细节上作出各种改变。因此，本公开的范围不应被限定为局限于这些实施例，而是应由所附权利要求及其等同物限定。

Claims (13)

1.一种电子设备，包括：
显示器；
存储指令的存储器；以及
至少一个处理器，被配置为执行所存储的指令以：
在三维“3D”虚拟空间中实现第一内容；
渲染与在所述3D虚拟空间中实现的所述第一内容的视野“FOV”相对应的区域；
响应于指定事件，将FOV信息存储在所述存储器中作为所述第一内容的元数据，所述FOV信息包括与从用户的眼睛所在的点到3D虚拟空间的显示平面的注视距离有关的信息以及与对应于注视方向的FOV的中心点相对应的当前位置；
根据作为元数据存储的FOV信息获得FOV的参考点；以及
相对于所述参考点，基于所述元数据和执行所述第一内容的应用的特性，生成与对应于所述FOV的区域或对应于所述FOV的区域的一部分相对应的所述第一内容的缩略图。
2.根据权利要求1所述的电子设备，其中，所述电子设备通过所述电子设备的通信接口与头戴式显示器“HMD”设备连接，并且
其中，所述至少一个处理器还被配置为执行所存储的指令以：
通过所述HMD设备来实现所述3D虚拟空间；
基于佩戴所述HMD设备的用户的移动，从所述HMD设备获得所述用户的注视信息；以及
基于所述用户的注视信息，确定所述FOV。
3.根据权利要求1所述的电子设备，其中，所述第一内容对应于360度图像和3D虚拟现实数据之一。
4.根据权利要求1所述的电子设备，其中，所述第一内容对应于360度视频。
5.根据权利要求4所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以在所述元数据中另外存储所述指定事件发生时所述第一内容的呈现时间戳“PTS”信息。
6.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令以：
在所述显示器上显示包括所述第一内容在内的内容列表；以及
基于所述元数据，显示所述内容列表中的所述第一内容的缩略图。
7.根据权利要求6所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以响应于对所述第一内容的所述缩略图的选择，执行所述第一内容。
8.根据权利要求1所述的电子设备，其中，所述指定事件对应于用于结束所述第一内容的指令。
9.根据权利要求8所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以在结束所述第一内容的执行之后基于所述元数据来重新执行所述第一内容。
10.根据权利要求5所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以在结束所述第一内容的执行之后基于所述PTS信息和与所述FOV有关的所述信息来重新执行所述第一内容。
11.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以响应于实现第二内容，基于所述第二内容的元数据中是否存在FOV信息来确定所述第二内容的再现位置。
12.根据权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以在所述第二内容的所述元数据中存在所述FOV信息时，从所述FOV再现所述第二内容。
13.根据权利要求11所述的电子设备，其中，所述至少一个处理器还被配置为执行所存储的指令，以在所述第二内容的所述元数据中不存在所述FOV信息时，从预定义的参考位置再现所述第二内容。
CN201780075164.2A 2016-12-23 2017-12-22 用于管理三维内容的缩略图的电子设备 Active CN110036647B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160178382A KR20180074369A (ko) 2016-12-23 2016-12-23 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
KR10-2016-0178382 2016-12-23
PCT/KR2017/015400 WO2018117757A1 (en) 2016-12-23 2017-12-22 Method and device for managing thumbnail of three-dimensional contents

Publications (2)

Publication Number Publication Date
CN110036647A CN110036647A (zh) 2019-07-19
CN110036647B true CN110036647B (zh) 2022-03-22

Family

ID=62627501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075164.2A Active CN110036647B (zh) 2016-12-23 2017-12-22 用于管理三维内容的缩略图的电子设备

Country Status (5)

Country Link
US (1) US11140317B2 (zh)
EP (1) EP3504585B1 (zh)
KR (1) KR20180074369A (zh)
CN (1) CN110036647B (zh)
WO (1) WO2018117757A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6497965B2 (ja) * 2015-02-23 2019-04-10 キヤノン株式会社 画像処理装置及び画像処理方法
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
JP2019066618A (ja) * 2017-09-29 2019-04-25 フォーブ インコーポレーテッド 画像表示システム、画像表示方法及び画像表示プログラム
CN110365917B (zh) * 2018-04-11 2021-08-03 京东方科技集团股份有限公司 图像处理方法、计算机产品、显示装置及计算机可读介质
US10356387B1 (en) * 2018-07-26 2019-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Bookmarking system and method in 360° immersive video based on gaze vector information
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US10839589B2 (en) * 2018-07-31 2020-11-17 Intel Corporation Enhanced immersive media pipeline for correction of artifacts and clarity of objects in computing environments
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
KR102200115B1 (ko) * 2018-12-06 2021-01-08 (주)포스트미디어 다시점 360도 vr 컨텐츠 제공 시스템
JP7183033B2 (ja) 2018-12-26 2022-12-05 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350511B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7350510B2 (ja) 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7356827B2 (ja) * 2019-06-26 2023-10-05 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
CN110910470B (zh) * 2019-11-11 2023-07-07 广联达科技股份有限公司 一种生成高质量缩略图的方法和装置
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
US20210245047A1 (en) 2020-02-10 2021-08-12 Intel Corporation Continuum architecture for cloud gaming
US12086373B2 (en) * 2020-10-22 2024-09-10 Samsung Electronics Co., Ltd Electronic device and method for controlling display of a plurality of objects on wearable display device
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
CN114827569B (zh) * 2022-04-24 2023-11-10 咪咕视讯科技有限公司 画面显示方法、装置、虚拟现实设备及存储介质
US11935201B2 (en) * 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729781A (zh) * 2008-10-10 2010-06-09 索尼株式会社 显示控制设备、显示控制方法和程序
CN102124746A (zh) * 2008-12-26 2011-07-13 松下电器产业株式会社 记录介质、再现装置、及集成电路
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841728B (zh) * 2003-04-17 2012-08-08 夏普株式会社 三维图像处理装置
JP4637045B2 (ja) * 2006-03-27 2011-02-23 三洋電機株式会社 撮像装置
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
WO2011059193A2 (en) * 2009-11-10 2011-05-19 Lg Electronics Inc. Method of recording and replaying video data, and display device using the same
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US20120307052A1 (en) * 2011-06-03 2012-12-06 Honeywell International Inc. System and method for thumbnail-based camera control
KR101976178B1 (ko) * 2012-06-05 2019-05-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US20140321770A1 (en) * 2013-04-24 2014-10-30 Nvidia Corporation System, method, and computer program product for generating an image thumbnail
KR102067620B1 (ko) 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9201578B2 (en) 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
KR102195899B1 (ko) * 2014-03-12 2020-12-28 삼성전자주식회사 컨텐트 관리 방법 및 이를 위한 클라우드 서버
KR102257621B1 (ko) 2014-05-19 2021-05-28 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US9113193B1 (en) * 2014-07-15 2015-08-18 Cisco Technology Inc. Video content item timeline
US10176683B2 (en) * 2014-09-18 2019-01-08 Honeywell International Inc. Virtual panoramic thumbnail to summarize and visualize video content in video surveillance and in connected home business
JP6497965B2 (ja) * 2015-02-23 2019-04-10 キヤノン株式会社 画像処理装置及び画像処理方法
US10423234B2 (en) * 2015-03-27 2019-09-24 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment
US9778740B2 (en) * 2015-04-10 2017-10-03 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
US9930315B2 (en) * 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10810797B2 (en) * 2015-05-22 2020-10-20 Otoy, Inc Augmenting AR/VR displays with image projections
CN107735152B (zh) 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
US20170124762A1 (en) * 2015-10-28 2017-05-04 Xerox Corporation Virtual reality method and system for text manipulation
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US10867119B1 (en) * 2016-03-29 2020-12-15 Amazon Technologies, Inc. Thumbnail image generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729781A (zh) * 2008-10-10 2010-06-09 索尼株式会社 显示控制设备、显示控制方法和程序
CN102124746A (zh) * 2008-12-26 2011-07-13 松下电器产业株式会社 记录介质、再现装置、及集成电路
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置

Also Published As

Publication number Publication date
US20180184000A1 (en) 2018-06-28
EP3504585A4 (en) 2019-09-18
WO2018117757A1 (en) 2018-06-28
EP3504585B1 (en) 2021-09-22
KR20180074369A (ko) 2018-07-03
US11140317B2 (en) 2021-10-05
CN110036647A (zh) 2019-07-19
EP3504585A1 (en) 2019-07-03

Similar Documents

Publication Publication Date Title
CN110036647B (zh) 用于管理三维内容的缩略图的电子设备
EP3446282B1 (en) Image processing apparatus and method
US10623661B2 (en) Image composition method with image sensors having different angles of view and electronic device for supporting the same
CN109644229B (zh) 用于控制相机的方法及其电子设备
US10482672B2 (en) Electronic device and method for transmitting and receiving image data in electronic device
CN108462818B (zh) 电子设备及用于在该电子设备中显示360度图像的方法
KR102498598B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
US10930056B2 (en) Electronic device for generating images having rendering qualities differing by view vector
US10823958B2 (en) Electronic device for encoding or decoding frames of video and method for controlling thereof
US20180025478A1 (en) Electronic device for processing image
US20160086386A1 (en) Method and apparatus for screen capture
KR20170060485A (ko) 표시 모드에 따른 콘텐트를 표시하기 위한 전자 장치 및 방법
US11670022B2 (en) Electronic device and method for displaying and generating panoramic image
US11244422B2 (en) Image processing apparatus and image processing method therefor
KR102498815B1 (ko) 전자 장치 및 전자 장치의 비디오 편집 방법
KR102653336B1 (ko) 전자 장치 및 그 제어 방법
KR20180113109A (ko) 전자 장치 및 전자 장치의 화면 표시 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant