CN106254940A - 播放全景内容的方法及装置 - Google Patents

播放全景内容的方法及装置 Download PDF

Info

Publication number
CN106254940A
CN106254940A CN201610847181.0A CN201610847181A CN106254940A CN 106254940 A CN106254940 A CN 106254940A CN 201610847181 A CN201610847181 A CN 201610847181A CN 106254940 A CN106254940 A CN 106254940A
Authority
CN
China
Prior art keywords
panorama
advance
content
broadcast
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610847181.0A
Other languages
English (en)
Other versions
CN106254940B (zh
Inventor
王延栋
黄业桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING FENGJING TECHNOLOGY Co.,Ltd.
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Madv Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Madv Technology Co Ltd filed Critical Beijing Madv Technology Co Ltd
Priority to CN201610847181.0A priority Critical patent/CN106254940B/zh
Publication of CN106254940A publication Critical patent/CN106254940A/zh
Application granted granted Critical
Publication of CN106254940B publication Critical patent/CN106254940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种播放全景内容的方法及装置，所述方法包括：展示全景内容的全景缩略图；检测用户的选取操作，在用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图，同时，进行全景内容的缓冲；在显示全景预播图的过程中，检测用户的显示控制操作，按照用户的显示控制操作控制所述全景预播图的显示；在全景内容缓冲完成后，从全景预播图的显示切换到全景内容的播放。本发明中，当用户选择播放某个全景内容时，可以无需等待，直接播放全景预播图，避免出现黑屏或其他等待画面。由于全景预播图采用了与全景内容一致数据格式和相同的渲染、显示方法，会给用户带来一致的全景体验，在真正播放全景内容时实现平滑切换。

Description

播放全景内容的方法及装置
技术领域
本发明涉及虚拟现实技术，尤指一种播放全景内容的方法及装置。
背景技术
随着虚拟现实技术的不断成熟，全景内容正在逐渐普及，并进入人们的生活，人们可以通过各种各样的途径接触到种类繁多的全景内容。
全景内容由于其自身的特点，使得它与普通图片和普通视频等内容相比，数据量至少是普通内容的一倍。在相同的网络条件下，观看全景内容势必会有更长的等待加载的时间。
目前，在用户等待加载的时候，通常会在播放画面上显示黑屏或其他固定的等待画面，这就造成了用户的等待过程相对枯燥，用户体验差，甚至使用户没有耐心等待加载完成便退出了播放。
此外，如果在经过较长时间的等待后，用户发现所点击播放的全景内容并不是自己感兴趣的内容，将会给用户造成更差的体验，并极大的浪费用户的时间和网络资源。
发明内容
为了解决上述技术问题，本发明提供了一种播放全景内容的方法及装置，能够增强用户在等待加载时的体验，并有效提高用户发现感兴趣内容的效率。
为了达到本发明目的，本申请提供了一种播放全景内容的方法，包括：
展示全景内容的全景缩略图；
检测用户的选取操作，在用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图，同时，进行全景内容的缓冲；
在显示全景预播图的过程中，检测用户的显示控制操作，按照用户的显示控制操作控制所述全景预播图的显示；
在全景内容缓冲完成后，从全景预播图的显示切换到全景内容的播放。
本申请还提供了一种生成全景内容的方法，包括：
获取全景内容；
为所述全景内容生成全景预播图，并根据所述全景预播图为所述全景内容生成全景缩略图；
其中，所述全景缩略图用于展示所述全景内容；所述全景预播图用于在用户选取一全景缩略图后，并进行全景内容缓冲时，供用户预览全景内容。
本申请还提供了一种播放全景内容的装置，包括：
一展示单元，用于展示全景内容的全景缩略图；
一检测单元，用于检测用户的选取操作以及用户的显示控制操作；
一显示单元，用于在所述检测单元检测到用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图；
一缓冲单元，用于在所述显示单元显示对应的全景内容的全景预播图的同时，进行全景内容的缓冲；
一显示控制单元，用于在所述显示单元显示全景预播图的过程中，所述检测单元检测到用户的显示控制操作时，按照用户的显示控制操作控制所述全景预播图的显示；
一显示切换单元，用于在所述缓冲单元完成全景内容缓冲后，将所述显示单元从全景预播图的显示切换到全景内容的播放。
本申请还提供了一种生成全景内容的装置，包括：
一获取单元，用于获取全景内容；
一第一生成单元，用于为所述全景内容生成全景预播图；
一第二生成单元，根据所述全景预播图为所述全景内容生成全景缩略图；
其中，所述全景缩略图用于展示所述全景内容；所述全景预播图用于在用户选取一全景缩略图后，并进行全景内容缓冲时，供用户预览全景内容。
与现有技术相比，本发明包括展示全景内容的全景缩略图；检测用户的选取操作，在用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图，同时，进行全景内容的缓冲；在显示全景预播图的过程中，检测用户的显示控制操作，按照用户的显示控制操作控制所述全景预播图的显示；在全景内容缓冲完成后，从全景预播图的显示切换到全景内容的播放。本发明中，当用户选择播放某个全景内容时，可以无需等待，直接播放全景预播图，避免出现黑屏或其他等待画面。由于全景预播图采用了与全景内容一致数据格式和相同的渲染、显示方法，会给用户带来一致的全景体验，在真正播放全景内容时实现平滑切换。并且，用户能够快速预览全景内容，选择是继续等待播放，还是终止播放选择其他全景内容，避免了在长时间等待后，发现所播放的内容并不是自己感兴趣的内容所带来的用户体验差的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请一实施方式的播放全景内容的方法的流程图；
图2为本申请另一实施例生成全景内容的方法的流程图；
图3为本申请又一实施例的播放全景内容的装置的架构图；
图4为本申请又一实施例的生成全景内容的装置的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
现有技术中，在用户选择一个要播放的全景内容，等待播放的过程中，通常是在播放界面上显示黑屏或是某些固定画面。在缓冲完成后，才开始进行全景内容的播放。这种方式下，用户的等待过程过于枯燥，如果等待时间相对较长，则可能导致用户放弃播放，甚至造成用户的流失，并且，在长时间的等待后，如果播放的内容并不是用户感兴趣的内容，将会造成更差的用户体验，用户需要耗费大量的时间和网络资源才能找到自己感兴趣的全景内容，成本过高且效率低下。
本申请中为全景内容设置全景缩略图和全景预播图，通过全景缩略图展示全景内容，在用户选择任一全景缩略图后，直接渲染并播放相应全景内容对应的全景预播图，并同时进行全景内容的缓冲。如果全景内容为全景图片，则全景预播图为按照全景图片的尺寸等比例缩小后得到的全景图像；如果全景内容为全景视频，则全景预播图为将全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸等比例缩小后得到的多幅全景图像。在显示全景预播图的过程中，用户可以按照操作全景内容的方式，对全景预播图进行显示控制操作，如通过重力传感器、加速度传感器、陀螺仪传感器或手势等调整全景预播图的视角，以及通过手势调整全景预播图的显示比例等。
本申请中的全景预播图相对于全景内容本身，其数据量大大降低，因此，在用户选择播放某一全景内容后，无需用户等待即可播放全景内容对应的全景预播图。全景预播图是一帧全景图像，用户可以对全景预播图进行与全景内容相同的显示控制操作，用户通过全景预播图能够充分了解所选择播放的全景内容中将要展现的内容。通过全景预播图的播放，一方面无需用户等待即可进入全景内容的播放，避免了用户长时间枯燥的等待过程；另一方面，用户通过全景预播图可以充分、详细的了解到全景内容中将会展现的内容，便于用户选择是继续等待进一步的播放，还是终止播放选择其他全景内容，大大提高了用户选择自己感兴趣的内容的效率。
以下结合附图详细说明本申请各实施例提供的技术方案。
如图1所示，本申请一实施例提供的播放全景内容的方法，包括：
步骤101：展示全景内容的全景缩略图；
步骤102：检测用户的选取操作，在用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图，同时，进行全景内容的缓冲；
步骤103：在显示全景预播图的过程中，检测用户的显示控制操作，按照用户的显示控制操作控制全景预播图的显示；
步骤104：在全景内容缓冲完成后，从全景预播图的显示切换到全景内容的播放。
本申请的播放全景内容的方法可以应用在各种能够播放全景内容的终端设备中，如手机、PC和头显设备等。在具体实施过程中，播放的实现可以是以独立的APP形式安装在用户的终端设备中，也可以以模块的形式内置于其他APP中。本申请中的全景内容既可以是全景图片，也可以是随时间发生变化的全景图像序列，包括但不限于全景视频、全景动画、由计算机程序实时生成的全景画面等。
在实际应用中，为获得全景内容，需要由包含多个图像采集单元的拍摄终端各拍摄超过180度范围的图像，再进行拼接融合得到全景内容。优选的，可由包含两个图像采集单元的拍摄终端，将两路超过180度范围的图像拼接融合为全景图片或全景视频。
对于拍摄得到的全景内容，本申请中为全景内容相应的生成全景缩略图和全景预播图。全景缩略图用于展示相应的全景内容。
本申请中，在用户选择进入全景缩略图的展示界面后，首先在终端设备中展示全部全景内容的全景缩略图。例如，在终端设备中可以通过列表的形式对全部的全景内容的全景缩略图进行显示。用户可以通过点击选取任意一个全景缩略图选择对相应的全景内容进行播放。
在本申请的一可选实施例中，对于全景图片，其全景缩略图可以是全景预播图在一预定视角上的图像。例如，对于采用将全景图片贴在球体表面的渲染方式，全景缩略图可以是全景预播图在任意视角上的图像。优选的，可以选择能够呈现关键画面的视角上的图像作为全景缩略图。对于全景视频，全景缩略图可以是在将全景视频划分为多段后，首段全景视频对应的全景预播图在一预定视角上的图像。
对于全景图片和全景视频，均通过加载对应的全景缩略图，以列表的方式向用户进行展示。
全景缩略图主要用于在终端设备上展示全景内容，在用户选择某一全景缩略图后，即可进行播放界面，之后，可以直接开始执行相应的播放操作，也可以在用户选择播放后再执行相应的播放操作。
其次，在用户选择进入全景缩略图的展示界面，在终端设备上展示全景内容的全景缩略图后，需要实时检测用户对全景缩略图的选取操作，在用户选取某一全景缩略图后，记录用户选取的全景内容，对相应的全景内容的全景预播图进行渲染，并在播放界面上进行显示。
本申请中的全景预播图用于在用户选取一全景缩略图后，进行全景内容缓冲的过程中，在播放界面上播放全景预播图供用户预览全景内容。不仅可以避免用户在等待缓冲时的枯燥感，也可以使用户及时了解到所选择的全景内容将会呈现的内容，从而高效的判断是继续等待，还是选择终止播放。
在全景内容为全景图片时，按照全景图片的尺寸对全景图片进行等比例缩小，将缩小得到的全景图像作为全景图片的全景预播图。全景图片是一个静态的全景内容，只需要按照全景图片的尺寸等比例降低全景图片的分辨率，然后采用图像压缩算法进行压缩并存储为相应格式的图像文件，可以大大减少全景图片的数据量，使用户可以通过网络快速访问全景预播图。
在全景内容为全景视频时，可以将全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸等比例缩小，将缩小得到的多幅全景图像作为全景视频的全景预播图。对全景视频的分段，可以按照全景视频的时长进行平均划分，也可以按照全景视频内容的情节和所展现的内容等进行划分。
全景视频是一个动态的全景内容，由连续的图像帧组成，例如，在生成全景视频的全景预播图时，可以按照总时长，将全景视频等分成多段，提取出每一段的第一帧作为该段全景视频的关键帧。在得到每段全景视频的关键帧后，按照关键帧的图像尺寸等比例降低图像分辨率，然后采用图像压缩算法进行压缩存储。在存储全景视频的全景预播图时，可以按照关键帧在全景视频中的时间戳进行命名，也可以按照关键帧的帧号进行命名，以便于在播放时快速定位到全景预播图。
本申请中采用与播放全景内容相同的方式对全景预播图进行渲染和显示。例如，将全景预播图贴在一种三维几何形体表面，包括但不限于球体、立方体和三棱锥体等。按照某种投影变换求出假想中的虚拟摄像机按照最终朝向所拍摄到的内容，并在显示设备上显示。投影变换包括但不限于透视变换、正交投影变换。
在本申请的一实施例中，对于全景图片，在显示全景图片对应的全景预播图时，可以将全景图片的全景预播图按比例还原放大到全景图片的原始尺寸，将还原放大后的全景预播图进行渲染并显示。例如，可以采用全景球面渲染方式将全景预播图显示到终端设备上。
在本申请的另一实施例中，对于全景视频，在播放全景视频对应的全景预播图时，可以在播放界面上标记出全景视频的每幅全景预播图在全景视频中的位置；例如，可以在播放界面的播放进度上标记出每幅全景预播图的位置。并检测用户的定位操作，例如用户对播放进度条的拖动、指针的指向或点选等，在用户定位到播放界面上标记出的其中一个位置上时，通过全景预播图的名称定为到该全景预播图的存储位置，将该位置上对应的全景预播图按比例还原放大到全景视频图像的原始尺寸，将还原放大后的全景预播图进行渲染并显示。
在实际使用中，在用户选取全景视频的全景缩略图后，可以将首段全景视频的全景预播图按比例放大到全景视频本身的大小，然后采用全景球面渲染方式将全景缩略图显示到终端设备上，同时在播放界面上的播放进度上标记出其他全景预播图的位置，用户可以通过操作进度条定位到某一个分段的全景预播图的位置，并进行全景显示。
本申请中，对于在缓冲等待时间为用户播放的全景预播图，用户可以按照与播放全景内容相同的显示控制操作对全景预播图进行显示控制。例如，在播放全景预播图时像播放全景内容一样通过手势操作或终端设备的硬件传感器改变观看视角，还可以通过捏合手势拉远观看内容或通过扩大手势拉近观看内容，实现全景预播图的360度观看和放大或缩小观看效果，同时实时记录用户操作导致的观看视角和放缩比例的变化值。
为此，在显示全景预播图的过程中，需要实时检测用户的显示控制操作，显示控制操作包括用户的手势调整或通过重力传感器、加速度传感器或陀螺仪传感器等方式的调整等。在检测到用户的显示控制操作后，按照用户的控制调整对全景预播图的显示。为用户显示全景预播图与播放全景内容，对用户来讲是极其相似的体验，通过观看全景预播图以及对全景预播图进行显示控制，用户能够详细且客观的了解到所选择的全景内容将会展现的信息，从而在开始正式播放全景内容之前即可做出继续等待还是终止播放的选择，不仅节省了用户的时间和网络资源，而且能够更有效率的选择出用户自己感兴趣的全景内容。
由于全景内容的数据量巨大，是普通图片和视频数据量的一倍或数倍。从云端加载全景内容相对于普通内容要消耗更多的时间，也就是说用户需要有更长的等待时间，因此，在显示全景预播图的同时，进行全景内容的缓冲，可以大大降低用户等待的枯燥感。
在全景内容缓冲完成后，就可以从全景预播图的显示切换到全景内容的播放。对于全景图片，当全景图片下载完毕；对于全景视频，当用户选择的全景预播图对应的视频段缓冲到足够播放数据量后，根据用户当前观看全景预播图的视角和放缩比例，将全景预播图直接切换为对应的全景内容的播放。
由于在从全景预播图切换到全景内容时，两者的画面是一致的，并且观看角度和缩放比例也一致，因此实现了从全景预播图到全景内容的平滑切换。
在本申请的一可选实施例中，在显示全景预播图时，为了使用户可以知道当前所观看的内容是预播的画面，而并非是最终的全景内容，可以在显示全景预播图时，在播放画面之上加一暗的遮罩，缓冲到全景内容并切换为播放全景内容时，将画面上的遮罩去掉，即从观看全景预播图到观看真正的全景内容会有一个由暗变亮的过程。
如图2所示，本申请还提供了一种生成全景内容的方法，包括：
步骤201：获取全景内容；
步骤202：为全景内容生成全景预播图，并根据全景预播图为全景内容生成全景缩略图；其中，全景缩略图用于展示全景内容；全景预播图用于在用户选取一全景缩略图后，并进行全景内容缓冲时，供用户预览全景内容。
在实际中，为了得到全景图片或全景视频等全景内容，拍摄终端需要首先使用图像采集单元拍摄外界图像，得到多路广角视频数据，两图像采集单元拍摄的图像需保证有部分重叠区域。拍摄终端接收多路广角视频数据，以对多路广角视频数据进行拼接融合处理，得到全景图片或全景视频。
在拍摄终端拍摄得到全景图片或全景视频等全景内容后，从拍摄终端获取到全景内容。为全景内容生成全景预播图和全景缩略图。全景预播图和全景缩略图可以由拍摄终端生成，拍摄终端在为全景内容生成全景预播图和全景缩略图后，在拍摄终端中单独保存或存储到云端。用户的终端设备在需要展示全景缩略图和全景预播图时，从拍摄终端或云端拉取全景内容的全景缩略图和全景预播图，并进行展示。全景预播图和全景缩略图也可以由用户的终端设备生成，用户的终端设备在从拍摄设备中获取到全景内容后，为全景内容生成全景预播图和全景缩略图，并上传到云端，在本地数据清除或其他用户需要使用时，从云端拉取全景内容的全景预播图和全景缩略图，并进行展示。
在用户选择播放某一全景内容后，在缓冲全景内容的过程中，为减少用户枯燥的等待时间，以及让用户能够及时了解到全景内容将会展现的内容，在缓冲全景内容的同时播放全景预播图。用户可以按照操作全景内容的方式，对全景预播图进行显示控制操作。
在本申请的一实施例中，生成全景预播图，包括：
在全景内容为全景图片时，按照全景图片的尺寸对全景图片进行等比例缩小，将得到的全景图像作为全景图片的全景预播图；在全景内容为全景视频时，将全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸进行等比例缩小，将得到的多幅全景图像作为全景视频的全景预播图。
全景缩略图用于展示全景内容，在用户选择进入全景缩略图的展示界面后，在终端设备中展示全部全景内容的全景缩略图。例如，在终端设备中通过列表的形式对全部的全景内容的全景缩略图进行显示。用户可以通过点击选取任意一个全景缩略图选择对相应的全景内容进行播放。
在本申请的一实施例中，根据全景预播图为全景内容生成全景缩略图，包括：
在全景内容为全景图片时，选取全景预播图在一预定视角上的图像，作为全景图片的全景缩略图；
在全景内容为全景视频时，选取首段全景视频对应的全景预播图在一预定视角上的图像，作为全景视频的全景缩略图。
上述预定视角可以是全景预播图的任意视角，例如，可以是能够展现出关键画面的视角。
在为全景内容生成全景预播图和全景缩略图后，对全景预播图和全景缩略图进行命名，并存储到对应的位置中。终端设备可以通过名称很容易的定位并访问到某一全景内容对应的全景预播图和全景缩略图。
本申请中通过全景缩略图展示全景内容，在用户选择任一全景缩略图后，在缓冲全景内容的同时，渲染并播放相应全景内容对应的全景预播图。用户可以按照操作全景内容的方式，对全景预播图进行显示控制操作。用户通过全景预播图能够充分了解到将要播放的全景内容中将要展现的内容，可以及时做出是继续等待正式内容的播放，还是选择终止播放的选择。并且，全景预播图的数据量较少，无需用户等待即可进行播放，避免了用户长时间枯燥的等待过程。
如图3所示，本申请还提供了一种播放全景内容的装置，包括：
一展示单元，用于展示全景内容的全景缩略图；
一检测单元，用于检测用户的选取操作以及用户的显示控制操作；
一显示单元，用于在上述检测单元检测到用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图；
一缓冲单元，用于在上述显示单元显示对应的全景内容的全景预播图的同时，进行全景内容的缓冲；
一显示控制单元，用于在上述显示单元显示全景预播图的过程中，上述检测单元检测到用户的显示控制操作时，按照用户的显示控制操作控制全景预播图的显示；
一显示切换单元，用于在上述缓冲单元完成全景内容缓冲后，将上述显示单元从全景预播图的显示切换到全景内容的播放。
进一步，全景内容为全景图片；全景预播图为按照全景图片的尺寸等比例缩小后得到的全景图像；全景缩略图为所述全景预播图在一预定视角上的图像；全景内容为全景视频；全景预播图为将所述全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸等比例缩小后得到的多幅全景图像；全景缩略图为首段全景视频对应的全景预播图在一预定视角上的图像。
进一步，上述显示单元渲染并显示对应的全景内容的全景预播图，包括：
将全景图片的全景预播图按比例还原放大到全景图片的原始尺寸，将还原放大后的全景预播图进行渲染并显示。
进一步，上述显示单元渲染并显示对应的全景内容的全景预播图，包括：
在播放界面上标记出全景视频的每幅全景预播图在全景视频中的位置；
检测用户的定位操作，在用户定位到播放界面上标记出的其中一个位置上时，将该位置对应的全景预播图按比例还原放大到全景视频图像的原始尺寸，将还原放大后的全景预播图进行渲染并显示。
如图4所示，本申请还提供了一种生成全景内容的装置，包括：
一获取单元，用于获取全景内容；
一第一生成单元，用于为全景内容生成全景预播图；
一第二生成单元，根据全景预播图为全景内容生成全景缩略图；
其中，全景缩略图用于展示所述全景内容；全景预播图用于在用户选取一全景缩略图后，并进行全景内容缓冲时，供用户预览全景内容。
进一步，上述第一生成单元为全景内容生成全景预播图，包括：
在全景内容为全景图片时，按照全景图片的尺寸对全景图片进行等比例缩小，将得到的全景图像作为所述全景预播图；在全景内容为全景视频时，将全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸进行等比例缩小，将得到的多幅全景图像作为所述全景预播图；
上述第二生成单元根据全景预播图为所述全景内容生成全景缩略图，包括：
在全景内容为全景图片时，选取全景预播图在一预定视角上的图像，作为全景图片的全景缩略图；
在全景内容为全景视频时，选取首段全景视频对应的全景预播图在一预定视角上的图像，作为全景视频的全景缩略图。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种播放全景内容的方法，其特征在于，包括：
展示全景内容的全景缩略图；
检测用户的选取操作，在用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图，同时，进行全景内容的缓冲；
在显示全景预播图的过程中，检测用户的显示控制操作，按照用户的显示控制操作控制所述全景预播图的显示；
在全景内容缓冲完成后，从全景预播图的显示切换到全景内容的播放。
2.根据权利要求1所述的方法，其特征在于：
所述全景内容为全景图片；
所述全景预播图为按照全景图片的尺寸等比例缩小后得到的全景图像；
所述全景缩略图为所述全景预播图在一预定视角上的图像。
3.根据权利要求2所述的方法，其特征在于：
所述全景内容为全景视频；
所述全景预播图为将所述全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸等比例缩小后得到的多幅全景图像；
所述全景缩略图为首段全景视频的全景预播图在一预定视角上的图像。
4.根据权利要求2所述的方法，其特征在于，所述渲染并显示对应的全景内容的全景预播图，包括：
将所述全景图片的全景预播图按比例还原放大到全景图片的原始尺寸，将还原放大后的全景预播图进行渲染并显示。
5.根据权利要求3所述的方法，其特征在于，所述渲染并显示对应的全景内容的全景预播图，包括：
在播放界面上标记出全景视频的每幅全景预播图在全景视频中的位置；
检测用户的定位操作，在用户定位到播放界面上标记出的其中一个位置上时，将该位置对应的全景预播图按比例还原放大到全景视频图像的原始尺寸，将还原放大后的全景预播图进行渲染并显示。
6.一种生成全景内容的方法，其特征在于，包括：
获取全景内容；
为所述全景内容生成全景预播图，并根据所述全景预播图为所述全景内容生成全景缩略图；
其中，所述全景缩略图用于展示所述全景内容；所述全景预播图用于在用户选取一全景缩略图后，并进行全景内容缓冲时，供用户预览全景内容。
7.根据权利要求6所述的方法，其特征在于：
所述为所述全景内容生成全景预播图，包括：
如果所述全景内容为全景图片，则按照全景图片的尺寸对全景图片进行等比例缩小，将缩小得到的全景图像作为所述全景预播图；如果所述全景内容为全景视频，则将所述全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸进行等比例缩小，将缩小得到的多幅全景图像作为所述全景预播图；
所述根据所述全景预播图为所述全景内容生成全景缩略图，包括：
如果所述全景内容为全景图片，则选取所述全景预播图在一预定视角上的图像，作为所述全景图片的全景缩略图；
如果所述全景内容为全景视频，则选取首段全景视频对应的全景预播图在一预定视角上的图像，作为所述全景视频的全景缩略图。
8.一种播放全景内容的装置，其特征在于，包括：
一展示单元，用于展示全景内容的全景缩略图；
一检测单元，用于检测用户的选取操作以及用户的显示控制操作；
一显示单元，用于在所述检测单元检测到用户选取一全景缩略图后，渲染并显示对应的全景内容的全景预播图；
一缓冲单元，用于在所述显示单元显示对应的全景内容的全景预播图的同时，进行全景内容的缓冲；
一显示控制单元，用于在所述显示单元显示全景预播图的过程中，所述检测单元检测到用户的显示控制操作时，按照用户的显示控制操作控制所述全景预播图的显示；
一显示切换单元，用于在所述缓冲单元完成全景内容缓冲后，将所述显示单元从全景预播图的显示切换到全景内容的播放。
9.根据权利要求8所述的装置，其特征在于：
所述全景内容为全景图片；
所述全景预播图为按照全景图片的尺寸等比例缩小后得到的全景图像；
所述全景缩略图为所述全景预播图在一预定视角上的图像；
所述全景内容为全景视频；
所述全景预播图为将所述全景视频划分为多段，提取每一段全景视频的首帧，并按照首帧的尺寸等比例缩小后得到的多幅全景图像；
所述全景缩略图为首段全景视频对应的全景预播图在一预定视角上的图像。
10.一种生成全景内容的装置，其特征在于，包括：
一获取单元，用于获取全景内容；
一第一生成单元，用于为所述全景内容生成全景预播图；
一第二生成单元，根据所述全景预播图为所述全景内容生成全景缩略图；
其中，所述全景缩略图用于展示所述全景内容；所述全景预播图用于在用户选取一全景缩略图后，并进行全景内容缓冲时，供用户预览全景内容。
CN201610847181.0A 2016-09-23 2016-09-23 播放全景内容的方法及装置 Active CN106254940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610847181.0A CN106254940B (zh) 2016-09-23 2016-09-23 播放全景内容的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610847181.0A CN106254940B (zh) 2016-09-23 2016-09-23 播放全景内容的方法及装置

Publications (2)

Publication Number Publication Date
CN106254940A true CN106254940A (zh) 2016-12-21
CN106254940B CN106254940B (zh) 2019-11-01

Family

ID=57610812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610847181.0A Active CN106254940B (zh) 2016-09-23 2016-09-23 播放全景内容的方法及装置

Country Status (1)

Country Link
CN (1) CN106254940B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961622A (zh) * 2017-03-30 2017-07-18 联想(北京)有限公司 一种显示处理方法及装置
CN106990932A (zh) * 2017-03-31 2017-07-28 奇酷互联网络科技（深圳）有限公司 图片显示方法和装置
CN107315471A (zh) * 2017-06-11 2017-11-03 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频实现方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN107765964A (zh) * 2017-09-07 2018-03-06 深圳岚锋创视网络科技有限公司 一种浏览全景影像文件的局部区域的方法、装置及便携式终端
CN109302636A (zh) * 2017-07-24 2019-02-01 阿里巴巴集团控股有限公司 提供数据对象全景图信息的方法及装置
CN113888725A (zh) * 2021-09-30 2022-01-04 北京城市网邻信息技术有限公司 虚拟现实界面的加载方法、装置、设备和介质
CN116485493A (zh) * 2023-04-10 2023-07-25 北京城市网邻信息技术有限公司 房源信息处理和展示方法、装置、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1678070A (zh) * 2004-03-29 2005-10-05 三洋电机株式会社 在多个显示装置上显示图像的图像处理装置及方法
CN101090460A (zh) * 2006-06-13 2007-12-19 上海杰图软件技术有限公司 一种在多幅全景图之间切换的方法
CN101098311A (zh) * 2006-06-29 2008-01-02 腾讯科技（深圳）有限公司 一种即时通信中图片实时传输方法及其装置
CN101345852A (zh) * 2008-05-13 2009-01-14 深圳市迅雷网络技术有限公司 一种在线视频片段选播方法和系统
WO2012077981A2 (ko) * 2010-12-07 2012-06-14 삼성전자 주식회사 컨텐츠를 구성하는 데이터를 송신하는 송신 장치와 그 데이터를 수신하여 처리하는 수신 장치 및 그 방법
CN102663140A (zh) * 2012-05-08 2012-09-12 苏州盛景空间信息技术有限公司 基于tb级全景图像数据快速访问方法
CN103426202A (zh) * 2013-07-24 2013-12-04 江苏物联网络科技发展有限公司 三维全景互动移动终端展示系统及展示方法
CN103534727A (zh) * 2011-05-17 2014-01-22 苹果公司 全景处理
CN103905734A (zh) * 2014-04-17 2014-07-02 苏州科达科技股份有限公司 一种智能跟踪摄像方法和装置
CN103929627A (zh) * 2014-05-08 2014-07-16 深圳英飞拓科技股份有限公司 基于Dptz的视频监控互动方法及装置
CN104765863A (zh) * 2015-04-23 2015-07-08 深圳市美贝壳科技有限公司 移动终端的照片快速显示方法
CN105144229A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理装置、图像处理方法和程序
CN105144230A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理设备、图像处理方法和程序
CN105376500A (zh) * 2014-08-18 2016-03-02 三星电子株式会社 用于产生全景视频的视频处理设备及其方法
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1678070A (zh) * 2004-03-29 2005-10-05 三洋电机株式会社 在多个显示装置上显示图像的图像处理装置及方法
CN101090460A (zh) * 2006-06-13 2007-12-19 上海杰图软件技术有限公司 一种在多幅全景图之间切换的方法
CN101098311A (zh) * 2006-06-29 2008-01-02 腾讯科技（深圳）有限公司 一种即时通信中图片实时传输方法及其装置
CN101345852A (zh) * 2008-05-13 2009-01-14 深圳市迅雷网络技术有限公司 一种在线视频片段选播方法和系统
US20130251342A1 (en) * 2010-12-07 2013-09-26 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
WO2012077981A2 (ko) * 2010-12-07 2012-06-14 삼성전자 주식회사 컨텐츠를 구성하는 데이터를 송신하는 송신 장치와 그 데이터를 수신하여 처리하는 수신 장치 및 그 방법
CN103534727A (zh) * 2011-05-17 2014-01-22 苹果公司 全景处理
CN102663140A (zh) * 2012-05-08 2012-09-12 苏州盛景空间信息技术有限公司 基于tb级全景图像数据快速访问方法
CN105144229A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理装置、图像处理方法和程序
CN105144230A (zh) * 2013-04-30 2015-12-09 索尼公司 图像处理设备、图像处理方法和程序
CN103426202A (zh) * 2013-07-24 2013-12-04 江苏物联网络科技发展有限公司 三维全景互动移动终端展示系统及展示方法
CN103905734A (zh) * 2014-04-17 2014-07-02 苏州科达科技股份有限公司 一种智能跟踪摄像方法和装置
CN103929627A (zh) * 2014-05-08 2014-07-16 深圳英飞拓科技股份有限公司 基于Dptz的视频监控互动方法及装置
CN105376500A (zh) * 2014-08-18 2016-03-02 三星电子株式会社 用于产生全景视频的视频处理设备及其方法
CN104765863A (zh) * 2015-04-23 2015-07-08 深圳市美贝壳科技有限公司 移动终端的照片快速显示方法
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961622A (zh) * 2017-03-30 2017-07-18 联想(北京)有限公司 一种显示处理方法及装置
CN106990932A (zh) * 2017-03-31 2017-07-28 奇酷互联网络科技（深圳）有限公司 图片显示方法和装置
CN107315471A (zh) * 2017-06-11 2017-11-03 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频实现方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN109302636A (zh) * 2017-07-24 2019-02-01 阿里巴巴集团控股有限公司 提供数据对象全景图信息的方法及装置
CN109302636B (zh) * 2017-07-24 2022-05-27 阿里巴巴集团控股有限公司 提供数据对象全景图信息的方法及装置
CN107765964A (zh) * 2017-09-07 2018-03-06 深圳岚锋创视网络科技有限公司 一种浏览全景影像文件的局部区域的方法、装置及便携式终端
CN113888725A (zh) * 2021-09-30 2022-01-04 北京城市网邻信息技术有限公司 虚拟现实界面的加载方法、装置、设备和介质
CN116485493A (zh) * 2023-04-10 2023-07-25 北京城市网邻信息技术有限公司 房源信息处理和展示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN106254940B (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN106254940B (zh) 播放全景内容的方法及装置
CN106331732B (zh) 生成、展现全景内容的方法及装置
EP2219372B1 (en) Image processing device, dynamic image reproduction device, and processing method and program used in the devices
CN104219584B (zh) 基于增强现实的全景视频交互方法和系统
JP5406813B2 (ja) パノラマ画像表示装置およびパノラマ画像表示方法
CN101552874B (zh) 图像处理设备、显示控制方法、程序和存储介质
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
CN107770627A (zh) 图像显示装置和操作图像显示装置的方法
EP2180701A1 (en) Image processing device, dynamic image reproduction device, and processing method and program in them
KR20160021501A (ko) 파노라믹 동영상을 생성하는 동영상 처리 장치 및 그 방법
JP5578011B2 (ja) 広角撮影画像へのスーパーインポーズ方法および装置
CN105979339A (zh) 一种窗口显示方法及客户端
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
WO2022002181A1 (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
KR20130037998A (ko) 디스플레이 장치 및 그 디스플레이 방법
CN114598819B (zh) 视频录制方法、装置和电子设备
TW201119393A (en) Method and apparatus for creating a zone of interest in a video display
CN107295393A (zh) 媒体播放中的附加媒体展示方法及装置
JP2007272468A (ja) 情報処理装置および方法、並びにプログラム
CN111147883A (zh) 直播方法、装置、头戴显示设备和可读存储介质
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
US9779306B2 (en) Content playback system, server, mobile terminal, content playback method, and recording medium
KR20100135131A (ko) 디스플레이 장치에서 영상 처리 방법 및 디스플레이 장치
Hanke et al. iLex: Handling Multi-Camera Recordings
KR101481689B1 (ko) 숫자정보를 이용한 멀티미디어 컨텐츠 탐색방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170313

Address after: 100041 Beijing, Shijingshan District Xing Xing street, building 30, No. 17, building 4, No. 80

Applicant after: BEIJING FENGJING TECHNOLOGY Co.,Ltd.

Applicant after: BEIJING XIAOMI MOBILE SOFTWARE Co.,Ltd.

Address before: 100041 Beijing, Shijingshan District Xing Xing street, building 30, No. 17, building 4, No. 80

Applicant before: BEIJING FENGJING TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant