CN106101847A - 全景视频交互传输的方法和系统 - Google Patents

全景视频交互传输的方法和系统 Download PDF

Info

Publication number
CN106101847A
CN106101847A CN201610547764.1A CN201610547764A CN106101847A CN 106101847 A CN106101847 A CN 106101847A CN 201610547764 A CN201610547764 A CN 201610547764A CN 106101847 A CN106101847 A CN 106101847A
Authority
CN
China
Prior art keywords
interest
location information
server
area
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610547764.1A
Other languages
English (en)
Inventor
黄巍
胡建荣
施维俊
陈逊敏
赵新凤
林昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201610547764.1A priority Critical patent/CN106101847A/zh
Publication of CN106101847A publication Critical patent/CN106101847A/zh
Priority to US16/317,637 priority patent/US10693938B2/en
Priority to KR1020197004116A priority patent/KR102363364B1/ko
Priority to PCT/KR2017/007483 priority patent/WO2018012888A1/en
Priority to EP17827958.4A priority patent/EP3473008A4/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种全景视频交互传输的方法和系统，其中方法包括：客户端确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息；所述服务器根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。采用本发明，可以减少全景视频传输的资源开销和传输时延。

Description

全景视频交互传输的方法和系统
技术领域
本发明涉及全景视频技术领域，尤其涉及一种全景视频交互传输的方法和系统。
背景技术
随着计算机技术的飞速发展，多媒体所包含的种类也越来越多，所能表现的效果也越来越多，而一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。
全景视频是一种新兴的媒体，和传统的视频相比，具有视野大、分辨率高、数据量大等特点。利用全景视频，观察者视点不变，改变观察方向就能够观察到周围的全部场景，而普通的二维视频只反映了全景视频的某个局部。全景视频被越来越多的应用于展示房产、观光景点、汽车、酒店、校园、文化和体育场馆、公司办公环境等领域。
全景视频的生成是面向一种图像拼接的技术。首先用若干摄像机采集不同角度的实时图像，其中需要的摄像机个数与采集的角度有关，然后把同一时间内采集到的不同角度的图像用一种无缝的图像拼接技术缝合成一幅360度的全景图，最后再把这幅全景图用柱面或者球面等算法映射到一个二维平面上。
由于全景视频图像是由多幅采集图像缝合拼接而成，因此一般来说，全景图像的分辨率非常大，数据量会是普通图像的5～6倍甚至更多倍数以上。比如目前Facebook公司的虚拟现实设备Oculus Rift VR眼镜，可以传输单眼分辨率为6K，帧率为60fps的全景视频，其码率可高达245Mbps。这样，如果按照传统的视频传输方案传输全部的全景视频数据给客户端，将会产生很大的传输资源开销。另外，由于全景视频的数据量很大，产生的网络传输延迟也会很大，从而会造成客户端播放全景视频时的卡顿。
发明内容
有鉴于此，本发明的主要目的在于提供一种全景视频交互传输的方法和系统，该方法可以减少全景视频传输的资源开销和传输时延。
为了达到上述目的，本发明提出的技术方案为：
一种全景视频交互传输的方法，包括：
客户端确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息；
所述服务器根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。
一种全景视频交互传输的系统，包括：
客户端，用于确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息；
服务器，用于根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。
综上所述，本发明提出的全景视频交互传输的方法和系统，客户端通过对当前用户的感兴趣区域进行定位，并将相应的定位信息发给服务器，服务器只需要定位用户感兴趣区域所对应的全景视频切片，仅将该部分全景视频切片发送给客户端即可。如此，可以大大减少视频传输量，从而可以有效减少全景视频传输的资源开销和传输时延，进而可以提高客户端播放全景视频的流畅性。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的核心思想是：客户端对用户感兴趣的区域进行计算并跟踪，然后发送给服务器，服务器仅将用户感兴趣的区域对应的视频切片发给客户端。如此，可以减少全景视频传输的资源开销和传输时延。
图1为本发明实施例的全景视频交互传输方法流程示意图，如图1所示，该实施例主要包括：
步骤101、客户端确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息。
本步骤中，客户端在向服务器请求视频之前，需要确定用户当前感兴趣区域的定位信息，以便服务器在后续步骤中，可以基于该定位信息，仅将用户当前感兴趣区域对应的视频切片发给客户端。
考虑到在实际应用中人眼的正常视野角度是有一定范围的，例如120度左右，当前大部分虚拟现实产品的视野角度也是在110度到120度之间，部分甚至低于该数值。较佳地，为了使得每次所获取的视频切片量与用户的可视需要准确匹配，这里，所述感兴趣区域的视角范围可以设置为所述用户的当前可视视角范围，如120度。这样，由于用户当前视角有限，超过这个视角之外的区域不视为用户感兴趣的区域，客户端不会获取对应的区域信息，也不会向服务器请求和传输对应的全景视频数据，从而可以在满足用户可视需要的同时，对视频传输量进行了合理控制，有效解决传输时延问题。
在具体确定感兴趣区域的定位信息时，客户端需要将用户当前感兴趣区域的中心点在摄像机坐标系中的坐标转换为世界坐标系统中的坐标，将转换后的坐标作为定位信息告知服务器，以便服务器可以基于此对感兴趣区域所对应的视频切片进行准确定位。具体转换方法为本领域人员所掌握，在此不再赘述。
较佳地，所述感兴趣区域的定位信息可以包括：区域中心点的x坐标、区域中心点的y坐标、区域的长度值和区域的宽度值。在实际应用中，并不限于上述信息，只需要满足：定位信息所包含的信息能满足服务器对感兴趣区域进行准确定位的需要即可。
较佳地，客户端可以采用下述方法向服务器请求所述感兴趣区域的视频信息：
客户端向所述服务器发送视频切片请求消息，所述视频切片请求消息携带当前所述当前感兴趣区域的定位信息。
在实际应用中，所述感兴趣区域的定位信息可以采用JSON数据格式来组织，例如：当感兴趣区域的定位信息由区域中心点的x坐标、区域中心点的y坐标、区域的长度值和区域的宽度值组成时，可以采用JSON数据格式生成下述数据片段：
其中xcoordinate表示感兴趣区域中心点的x坐标，ycoordinate表示y坐标，width表示区域宽度，height表示区域高度。上段数据表示用户当前感兴趣区域中心点的x坐标为100，y坐标为200，区域宽度为600，区域高度为300。
上述仅是实际应用中关于所述定位信息的一种数据格式举例，在实际应用中，并不限于此，本领域技术人员可根据实际需要选择合适的数据组织方式，在此不再赘述。
在实际应用中，本步骤可以采用周期性触发方式执行，即客户端可以按照一定的周期，周期性地向服务器请求当前感兴趣区域的视频信息；该周期的长度，可由本领域技术人员根据实际应用中全景视频展示的连续性需求和视频传输的时延要求，设置合适取值。
本步骤也可以按照事件触发的方式执行，例如客户端可以在用户有视频查看需求时，向服务器请求当前感兴趣区域的视频信息。
在实际应用中，所述客户端可以是手机、平板等终端设备以及头戴式虚拟现实头盔、眼镜等可视设备等，所述服务器则可以通过计算机实现。
步骤102、所述服务器根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。
本步骤中，服务器仅将用户当前感兴趣区域对应的全景视频切片发给用户，如此，可以大大减少视频传输量，从而可以有效减少全景视频传输的资源开销和传输时延，进而高客户端播放全景视频的流畅性。
需要说明的是，在实际应用中，服务器是以视频切片的方式对全景视频进行保存的，即需要先对全景视频进行分割，得到若干视频切片，然后将所得到的视频切片进行保存。这样，服务器获得感兴趣区域的定位信息后，可以只读取出与该感兴趣区域所涉及到的视频切片发给用户即可。全景视频的具体分割保存方式可采用现有方法实现，在此不再赘述。
较佳地，为了减少获取全景视频切片的时延，本步骤中，服务器可以采用优先从缓存中获取所述感兴趣区域对应的全景视频切片的方式，来减少读取存储介质产生的处理延迟。具体地可以采用下述方法实现这一目的：
所述服务器判断所述定位信息对应的全景视频切片是否已存在于本服务器的缓存中，如果是，则从缓存中读取所述全景视频切片，否则，从全景视频所在的外存储器中获取所述全景视频切片。
较佳地，服务器还可以采用对用户需要的全景视频切片进行预先缓存的方式，来进一步减少获取全景视频切片的时延，具体地可以采用下述方法实现这一目的。
在每个兴趣区域计算周期，所述客户端对所述用户在下一周期的感兴趣区域进行预估，将所预估的感兴趣区域的定位信息发送给所述服务器；所述服务器根据所预估的感兴趣区域的定位信息，获取相应的全景视频切片并保存至缓存中。
所述每个兴趣区域计算周期用于限定客户端更新用户感兴趣区域定位信息的周期，周期的具体长度可由本领域技术人员根据实际需要进行设置。
上述预先缓存的方法中，客户端需要对用户在下一周期的感兴趣区域进行预估，即根据当前周期中客户端转动时感应器捕捉到的转动方向、转动角度和动作的位移加速度，可以预测到客户端下一次移动时的方向和角度，基于该方向和角度即可预估出下一周期的感兴趣区域。上述动作包括但不限于：向左转动、向右转动、向上转动、向下转动、放大视角、缩小视角等操作。具体的预估方法为本领域技术人员所掌握，在此不再赘述。
在实际应用中，客户端可以在向服务器请求所述感兴趣区域的视频信息时，利用该请求将当前周期对下一周期所预估的感兴趣区域的定位信息发送给所述服务器。
为了减少服务器的处理延迟，在具体实现时，服务器进行当前周期视频切片读取和对下一周期视频切片的预读取操作可以由不同的线程来进行，这样可以减少同一个线程顺序读取存储介质的次数，降低了系统的响应时间。具体的，服务器当前周期视频切片读取线程在当前周期读取当前周期中用户感兴趣区域对应的视频切片；而预读取线程在当前周期得到用户下一周期感兴趣区域的定位信息后，读取该区域对应的视频切片至内存中进行缓存。
较佳地，步骤102中当客户端收到服务器返回的视频切片数据后，为了防止全景视频渲染时视频切片数据不足带来的视频卡顿，可以先将接收到的视频切片缓存在本地，然后再进行渲染和显示。
通过上述全景视频交互方法的实施例，可以看出本发明可以有效降低全景视频传输过程中所需的带宽，减少全景视频的传输延迟，进而有效提高了用户体验。图2为与上述方法相对应的一种全景视频交互传输的系统，如图2所示，该系统包括：
客户端，用于确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息。
服务器，用于根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。
较佳地，所述客户端，用于向所述服务器发送视频切片请求消息，所述视频切片请求消息携带当前所述当前感兴趣区域的定位信息。
较佳地，所述客户端，进一步用于在每个兴趣区域计算周期，对所述用户在下一周期的感兴趣区域进行预估，将所预估的感兴趣区域的定位信息发送给所述服务器；
所述服务器，用于根据所预估的感兴趣区域的定位信息，获取相应的全景视频切片并保存至缓存中。
较佳地，所述服务器，用于判断所述定位信息对应的全景视频切片是否已存在于本服务器的缓存中，如果是，则从缓存中读取所述全景视频切片，否则，从全景视频所在的外存储器中获取所述全景视频切片。
较佳地，所述定位信息包括：区域中心点的x坐标、区域中心点的y坐标、区域的长度值和区域的宽度值。
较佳地，所述感兴趣区域的视角范围为所述用户的当前可视视角范围。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种全景视频交互传输的方法，其特征在于，包括：
客户端确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息；
所述服务器根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述向服务器请求所述感兴趣区域的视频信息包括：
所述客户端向所述服务器发送视频切片请求消息，所述视频切片请求消息携带当前所述当前感兴趣区域的定位信息。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
在每个兴趣区域计算周期，所述客户端对所述用户在下一周期的感兴趣区域进行预估，将所预估的感兴趣区域的定位信息发送给所述服务器；
所述服务器根据所预估的感兴趣区域的定位信息，获取相应的全景视频切片并保存至缓存中。
4.根据权利要求1或3所述的方法，其特征在于，所述获取所述感兴趣区域对应的全景视频切片包括：
所述服务器判断所述定位信息对应的全景视频切片是否已存在于本服务器的缓存中，如果是，则从缓存中读取所述全景视频切片，否则，从全景视频所在的外存储器中获取所述全景视频切片。
5.根据权利要求1所述的方法，其特征在于，所述定位信息包括：区域中心点的x坐标、区域中心点的y坐标、区域的长度值和区域的宽度值。
6.根据权利要求1所述的方法，其特征在于，所述感兴趣区域的视角范围为所述用户的当前可视视角范围。
7.一种全景视频交互传输的系统，其特征在于，包括：
客户端，用于确定用户当前感兴趣区域的定位信息；利用所述定位信息，向服务器请求所述感兴趣区域的视频信息；
服务器，用于根据所述定位信息，获取所述感兴趣区域对应的全景视频切片，将所述全景视频切片发送给所述客户端。
8.根据权利要求7所述的系统，其特征在于，所述客户端，用于向所述服务器发送视频切片请求消息，所述视频切片请求消息携带当前所述当前感兴趣区域的定位信息。
9.根据权利要求7所述的系统，其特征在于，所述客户端，进一步用于在每个兴趣区域计算周期，对所述用户在下一周期的感兴趣区域进行预估，将所预估的感兴趣区域的定位信息发送给所述服务器；
所述服务器，用于根据所预估的感兴趣区域的定位信息，获取相应的全景视频切片并保存至缓存中。
10.根据权利要求7或9所述的系统，其特征在于，所述服务器，用于判断所述定位信息对应的全景视频切片是否已存在于本服务器的缓存中，如果是，则从缓存中读取所述全景视频切片，否则，从全景视频所在的外存储器中获取所述全景视频切片。
11.根据权利要求7所述的系统，其特征在于，所述定位信息包括：区域中心点的x坐标、区域中心点的y坐标、区域的长度值和区域的宽度值。
12.根据权利要求7所述的系统，其特征在于，所述感兴趣区域的视角范围为所述用户的当前可视视角范围。
CN201610547764.1A 2016-07-12 2016-07-12 全景视频交互传输的方法和系统 Pending CN106101847A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610547764.1A CN106101847A (zh) 2016-07-12 2016-07-12 全景视频交互传输的方法和系统
US16/317,637 US10693938B2 (en) 2016-07-12 2017-07-12 Method and system for interactive transmission of panoramic video
KR1020197004116A KR102363364B1 (ko) 2016-07-12 2017-07-12 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템
PCT/KR2017/007483 WO2018012888A1 (en) 2016-07-12 2017-07-12 Method and system for interactive transmission of panoramic video
EP17827958.4A EP3473008A4 (en) 2016-07-12 2017-07-12 METHOD AND SYSTEM FOR THE INTERACTIVE TRANSMISSION OF PANORAMIC VIDEOS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610547764.1A CN106101847A (zh) 2016-07-12 2016-07-12 全景视频交互传输的方法和系统

Publications (1)

Publication Number Publication Date
CN106101847A true CN106101847A (zh) 2016-11-09

Family

ID=57219839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610547764.1A Pending CN106101847A (zh) 2016-07-12 2016-07-12 全景视频交互传输的方法和系统

Country Status (5)

Country Link
US (1) US10693938B2 (zh)
EP (1) EP3473008A4 (zh)
KR (1) KR102363364B1 (zh)
CN (1) CN106101847A (zh)
WO (1) WO2018012888A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961622A (zh) * 2017-03-30 2017-07-18 联想(北京)有限公司 一种显示处理方法及装置
CN107194865A (zh) * 2017-04-26 2017-09-22 微景天下（北京）科技有限公司 一种全景图片在vr头显中的显示方法及装置
WO2018108104A1 (zh) * 2016-12-13 2018-06-21 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统
CN108271084A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种信息的处理方法及装置
WO2018126702A1 (zh) * 2017-01-06 2018-07-12 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
CN108495148A (zh) * 2018-04-02 2018-09-04 四川隧唐科技股份有限公司 图像数据加载方法及装置
CN108632631A (zh) * 2017-03-16 2018-10-09 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN108683842A (zh) * 2018-04-25 2018-10-19 深圳岚锋创视网络科技有限公司 一种全景相机及输出全景视频的方法和装置
CN108693953A (zh) * 2017-02-28 2018-10-23 华为技术有限公司 一种增强现实ar投影方法及云端服务器
CN108777809A (zh) * 2018-04-11 2018-11-09 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN108810427A (zh) * 2017-05-02 2018-11-13 北京大学 基于视点的全景视频内容表示的方法及装置
CN109862019A (zh) * 2019-02-20 2019-06-07 联想(北京)有限公司 数据处理方法、装置以及系统
CN110708562A (zh) * 2018-07-09 2020-01-17 上海交通大学 基于节点计算的全景视频传输方法及系统
CN110798707A (zh) * 2018-08-02 2020-02-14 华为技术有限公司 传输媒体数据的方法、客户端和服务器
WO2020093862A1 (zh) * 2018-11-08 2020-05-14 华为技术有限公司 一种vr视频处理的方法及相关装置
CN111225293A (zh) * 2018-11-23 2020-06-02 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN113411557A (zh) * 2021-05-11 2021-09-17 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN113645500A (zh) * 2021-10-15 2021-11-12 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统
CN114650453A (zh) * 2022-04-02 2022-06-21 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质
WO2022199584A1 (zh) * 2021-03-26 2022-09-29 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
CN114567742A (zh) * 2021-12-27 2022-05-31 影石创新科技股份有限公司 全景视频的传输方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
CN103945165A (zh) * 2014-05-05 2014-07-23 北京领通科技有限公司 终端设备远程视频传输的处理方法和装置
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
US20160165309A1 (en) * 2013-07-29 2016-06-09 Koninklijke Kpn N.V. Providing tile video streams to a client

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
WO2004004363A1 (ja) 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
KR100700218B1 (ko) 2004-08-13 2007-03-27 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상을 위해 가상 영상영역을 생성하는 방법 및 장치
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
AU2011331972B2 (en) * 2010-11-24 2016-07-07 Google Llc Rendering and navigating photographic panoramas with depth information in a geographic information system
US8970666B2 (en) 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US20130141526A1 (en) 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
CN202652420U (zh) 2012-04-17 2013-01-02 北京明科全讯技术有限公司 一种全景监控系统
US9245372B2 (en) 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
WO2014087297A1 (en) 2012-12-05 2014-06-12 Koninklijke Philips N.V. Enabling a user to navigate through image data
EP2973228B1 (en) * 2013-07-26 2019-08-28 Huawei Technologies Co., Ltd. Spatial adaptation in adaptive streaming
EP2852149A1 (en) 2013-09-20 2015-03-25 Alcatel Lucent Method and apparatus for generation, processing and delivery of 3D video
JP6440747B2 (ja) * 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
WO2016009864A1 (ja) * 2014-07-18 2016-01-21 ソニー株式会社 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
WO2017061560A1 (ja) * 2015-10-08 2017-04-13 コニカミノルタ株式会社 超音波診断装置、及び超音波信号処理方法
KR102171119B1 (ko) * 2015-11-05 2020-10-28 삼성전자주식회사 복수개의 블록 기반의 파이프라인을 이용한 데이터 처리 속도 개선 장치 및 그 동작 방법
CA3013111C (en) * 2016-02-02 2022-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scene section and region of interest handling in video streaming
US10681326B2 (en) * 2016-05-19 2020-06-09 AVAGO TECHNOLOGlES INTERNATIONAL SALES PTE. LIMITED 360 degree video system with coordinate compression
CN109792544A (zh) * 2016-06-02 2019-05-21 彗星科技有限责任公司 用于流传输全景视频的方法和装置
ES2883151T3 (es) * 2016-10-12 2021-12-07 Koninklijke Kpn Nv Procesamiento de datos de vídeo esféricos sobre la base de una zona de interés

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
US20160165309A1 (en) * 2013-07-29 2016-06-09 Koninklijke Kpn N.V. Providing tile video streams to a client
CN103945165A (zh) * 2014-05-05 2014-07-23 北京领通科技有限公司 终端设备远程视频传输的处理方法和装置
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN105323552A (zh) * 2015-10-26 2016-02-10 北京时代拓灵科技有限公司 一种全景视频播放方法及系统

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018108104A1 (zh) * 2016-12-13 2018-06-21 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统
CN108271084B (zh) * 2016-12-30 2021-06-15 华为技术有限公司 一种信息的处理方法及装置
CN108271084A (zh) * 2016-12-30 2018-07-10 华为技术有限公司 一种信息的处理方法及装置
US11095936B2 (en) 2017-01-06 2021-08-17 Huawei Technologies Co., Ltd. Streaming media transmission method and client applied to virtual reality technology
WO2018126702A1 (zh) * 2017-01-06 2018-07-12 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
CN108282449A (zh) * 2017-01-06 2018-07-13 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
CN108693953A (zh) * 2017-02-28 2018-10-23 华为技术有限公司 一种增强现实ar投影方法及云端服务器
CN108632631A (zh) * 2017-03-16 2018-10-09 华为技术有限公司 一种全景视频中视频分片的下载方法和装置
CN106961622A (zh) * 2017-03-30 2017-07-18 联想(北京)有限公司 一种显示处理方法及装置
CN107194865A (zh) * 2017-04-26 2017-09-22 微景天下（北京）科技有限公司 一种全景图片在vr头显中的显示方法及装置
CN108810427B (zh) * 2017-05-02 2020-12-04 北京大学 基于视点的全景视频内容表示的方法及装置
CN108810427A (zh) * 2017-05-02 2018-11-13 北京大学 基于视点的全景视频内容表示的方法及装置
CN108495148A (zh) * 2018-04-02 2018-09-04 四川隧唐科技股份有限公司 图像数据加载方法及装置
CN108777809A (zh) * 2018-04-11 2018-11-09 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN108777809B (zh) * 2018-04-11 2020-08-21 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN108683842B (zh) * 2018-04-25 2021-06-04 影石创新科技股份有限公司 一种全景相机及输出全景视频的方法和装置
CN108683842A (zh) * 2018-04-25 2018-10-19 深圳岚锋创视网络科技有限公司 一种全景相机及输出全景视频的方法和装置
CN110708566A (zh) * 2018-07-09 2020-01-17 上海交通大学 基于节点计算的全景视频传输方法及系统
CN110708562A (zh) * 2018-07-09 2020-01-17 上海交通大学 基于节点计算的全景视频传输方法及系统
CN110798707A (zh) * 2018-08-02 2020-02-14 华为技术有限公司 传输媒体数据的方法、客户端和服务器
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
WO2020093862A1 (zh) * 2018-11-08 2020-05-14 华为技术有限公司 一种vr视频处理的方法及相关装置
CN111163306B (zh) * 2018-11-08 2022-04-05 华为技术有限公司 一种vr视频处理的方法及相关装置
CN111163306A (zh) * 2018-11-08 2020-05-15 华为技术有限公司 一种vr视频处理的方法及相关装置
US11341712B2 (en) 2018-11-08 2022-05-24 Huawei Technologies Co., Ltd. VR video processing method and related apparatus
CN111225293B (zh) * 2018-11-23 2023-10-03 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN111225293A (zh) * 2018-11-23 2020-06-02 深圳市中兴微电子技术有限公司 一种视频数据处理方法、装置以及计算机存储介质
CN109862019A (zh) * 2019-02-20 2019-06-07 联想(北京)有限公司 数据处理方法、装置以及系统
WO2022199584A1 (zh) * 2021-03-26 2022-09-29 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN113411557B (zh) * 2021-05-11 2022-03-18 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN113411557A (zh) * 2021-05-11 2021-09-17 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN113645500B (zh) * 2021-10-15 2022-01-07 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统
CN113645500A (zh) * 2021-10-15 2021-11-12 北京蔚领时代科技有限公司 虚拟现实视频流数据处理系统
CN114650453A (zh) * 2022-04-02 2022-06-21 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质
CN114650453B (zh) * 2022-04-02 2023-08-15 北京中庆现代技术股份有限公司 应用于课堂录播中的目标追踪方法、装置、设备以及介质

Also Published As

Publication number Publication date
WO2018012888A1 (en) 2018-01-18
KR102363364B1 (ko) 2022-02-15
US10693938B2 (en) 2020-06-23
US20190289055A1 (en) 2019-09-19
EP3473008A1 (en) 2019-04-24
KR20190031504A (ko) 2019-03-26
EP3473008A4 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
CN106101847A (zh) 全景视频交互传输的方法和系统
CN109565610B (zh) 处理全向视频的方法、装置以及存储介质
US10062414B1 (en) Determining a future field of view (FOV) for a particular user viewing a 360 degree video stream in a network
US10712555B2 (en) Streaming virtual reality video
CN109600674B (zh) 非线性媒体的基于客户端的自适应流式传输
TWI683285B (zh) 顯示資料的處理方法、裝置及系統
EP3606082A1 (en) Panoramic video playback method and client terminal
US8970663B2 (en) 3D video conference
US10499066B2 (en) Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
US20190327467A1 (en) Hologram streaming machine
CN109587579A (zh) 基于cdn的多视角码流传输方法、装置、设备和存储介质
BR112020013511A2 (pt) aparelho para gerar um fluxo de bits de dados de imagem, método para gerar um fluxo de bits de dados de imagem e produto de programa de computador
CN108319362A (zh) 一种全景信息显示方法、电子设备和计算机存储介质
CN109427031A (zh) 一种数据处理方法及设备
CN113286138A (zh) 一种全景视频显示方法及显示设备
Park et al. Omnilive: Super-resolution enhanced 360 video live streaming for mobile devices
JP7447266B2 (ja) ボリュメトリック画像データに関するビューの符号化及び復号
US11134236B2 (en) Image processing device and system
US10687040B2 (en) Capturing and displaying a video in an immersive reality environment
CN111885417A (zh) Vr视频播放方法、装置、设备以及存储介质
JP2017183816A (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
KR102577685B1 (ko) 사용자의 관심영역 추정이 가능한 저지연 360 vr 스트리밍 시스템 및 방법
CN102231817B (zh) 一种视频探头的多用户控制和访问方法
Shi et al. Real time streaming of 8K 360 degree video to mobile VR headsets
CN117076405A (zh) 一种地理信息数据的动态显示方法以及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication