CN103369467B - 在通信网络中信号传递三维视频信息 - Google Patents

在通信网络中信号传递三维视频信息 Download PDF

Info

Publication number
CN103369467B
CN103369467B CN201310121164.5A CN201310121164A CN103369467B CN 103369467 B CN103369467 B CN 103369467B CN 201310121164 A CN201310121164 A CN 201310121164A CN 103369467 B CN103369467 B CN 103369467B
Authority
CN
China
Prior art keywords
encapsulation format
frame
video
format
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310121164.5A
Other languages
English (en)
Other versions
CN103369467A (zh
Inventor
O.奥伊曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201610342932.3A priority Critical patent/CN105915882B/zh
Publication of CN103369467A publication Critical patent/CN103369467A/zh
Application granted granted Critical
Publication of CN103369467B publication Critical patent/CN103369467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00—Modulated-carrier systems
    • H04L27/26—Systems using multi-frequency codes
    • H04L27/2601—Multicarrier modulation systems
    • H04L27/2647—Arrangements specific to the receiver only
    • H04L27/2655—Synchronisation arrangements
    • H04L27/2657—Carrier synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0048—Allocation of pilot signals, i.e. of signals known to the receiver
    • H04L5/0051—Allocation of pilot signals, i.e. of signals known to the receiver of dedicated pilots, i.e. pilots destined for a single user or terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/58—Message adaptation for wireless communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1016—IP multimedia subsystem [IMS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/248—Connectivity information update
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W60/00—Affiliation to network, e.g. registration; Terminating affiliation with the network, e.g. de-registration
    • H04W60/04—Affiliation to network, e.g. registration; Terminating affiliation with the network, e.g. de-registration using triggered events
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/15—Setup of multiple wireless link connections
    • H04W76/16—Involving different core network technologies, e.g. a packet-switched [PS] bearer in combination with a circuit-switched [CS] bearer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/06—Registration at serving network Location Register, VLR or user mobility server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W80/00—Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/08—Upper layer protocols
    • H04W80/12—Application layer protocols, e.g. WAP [Wireless Application Protocol]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/189—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast in combination with wireless systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/18—Selecting a network or a communication service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W60/00—Affiliation to network, e.g. registration; Terminating affiliation with the network, e.g. de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开涉及在通信网络中信号传递三维视频信息。本公开的实施例描述用于在通信网络中信号传递设备的立体三维视频内容能力的设备、方法、计算机可读介质和系统配置。可描述其他实施例并且它们可被要求保护。

Description

在通信网络中信号传递三维视频信息
相关申请的交叉引用
本申请要求2012年4月9日提交的名为“先进无线通信系统和技术”的美国临时专利申请号61/621,939的优先权益，和2012年8月3日提交的名为“先进无线通信系统和技术”的美国临时专利申请号61/679,627的优先权益，这些文档的全部公开通过引用结合于此。
技术领域
本发明的实施例大体上涉及通信的领域，并且更具体地涉及在通信网络中信号传递三维视频信息。
背景技术
三维（3-D）视频提供高质量和拟真多媒体体验，其只是最近通过显示技术、信号处理、传输技术和电路设计中的进步才在消费电子产品和移动平台上变为可行。这在当前通过各种渠道（包括Blu-rayDiscTM、电缆和卫星传输等）被引入家庭，以及通过支持3-D的智能电话等被引入移动网络。涉及通过无线网络分发这样的内容的概念正在开发中。
附图说明
实施例将通过下列详细说明连同附图而容易理解。为了便于该描述，类似的标号指代类似的结构元件。实施例通过示例而非限制的方式在附图的图中图示。
图1示意图示根据各种实施例的无线通信网络。
图2a-b图示根据各种实施例的流内容和/或关联的会话描述和元数据文件的适配（adaption）。
图3图示根据实施例的流会话的设立。
图4图示根据各种实施例的帧兼容封装格式（packingformat）。
图5图示根据各种实施例的信号传递3-D视频设备能力的方法。
图6图示根据各种实施例的信号传递3-D视频内容的方法。
图7示意描绘根据各种实施例的示例系统。
具体实施方式
本公开的说明性实施例包括但不限于用于在通信网络中客户端设备的信号传递立体三维视频内容能力的方法、系统、计算机可读介质和装置。本发明的一些实施例在本上下文中可以关于在无线通信网络中移动设备的信号传递立体三维视频内容能力的方法、系统、计算机可读介质和装置。
说明性实施例的各种方面将使用通常由本领域内技术人员采用的术语来描述以向本领域内其他技术人员传达他们的工作的实质。然而，替代实施例可仅用描述的方面中的一些实践，这对于本领域内技术人员将是明显的。为了说明的目的，阐述具体数字、材料和配置以便提供对说明性实施例的全面理解。然而，替代实施例可在没有具体细节的情况下实践，这对于本领域内技术人员将是明显的。在其他实例中，省略或简化众所周知的特征以便不掩盖说明性实施例。
]此外，各种操作将进而采用对于理解说明性实施例最有帮助的方式描述为多个分立操作；然而，描述的顺序不应该解释为暗示这些操作必定依赖于顺序。特别地，这些操作不需要按呈现的顺序进行。
重复使用短语“在一些实施例中”。该短语一般不指相同的实施例；然而，它可指相同的实施例。术语“包括”、“具有”和“包含”是同义的，除非上下文另外指示。短语“A和/或B”意思是（A）、（B）或（A和B）。短语“A/B”和“A或B”意思是（A）、（B）或（A和B），与短语“A和/或B”相似。短语“A、B和C中的至少一个”意思是（A）、（B）、（C）、（A和B）、（A和C）、（B和C）或（A、B和C）。短语“（A）B”意思是（B）或（A和B），即A是可选的。
尽管已经在本文说明和描述具体实施例，本领域内普通技术人员将意识到很多种替代和/或等同实现可代替示出和描述的具体实施例，而不偏离本公开的实施例的范围。本申请意在涵盖本文论述的实施例的任何适配或变化。因此，明显地规定本公开的实施例仅由权利要求和其等同物所限制。
如本文使用的，“模块”可指代以下各项、是以下各项的一部分或包括以下各项：专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或群组）和/或存储器（共享、专用或群组）、组合逻辑电路和/或提供描述的功能性的其他适合部件。
随着H.264/MPEG-4先进视频编码（AVC）标准的引入已经证明视频压缩能力的明显提高。因为开发该标准，ITU-T视频编码专家组（VCEG）和国际标准化组织（ISO）/国际电工委员会（IEC）移动图像专家组（MPEG）的联合视频小组还定出AVC扩展（称为多视点视频编码（MVC））的标准。MVC提供例如多个同步视频拍摄设备等视频场景的多个视图的紧凑表示。
在立体3D视频应用中，显示两个视图。一个针对左眼并且一个针对右眼。存在用于使立体3D视频内容的视图格式化的各种方法。在一个实施例中，立体成对3D视频的编码可以是MVC的特殊情况，其中左眼和右眼视图经由MVC产生。产生3D视频内容的其他编码格式也是可能的。关于对这些不同的格式解码和渲染，各种设备可具有不同的能力。本文描述的实施例提供设备能力交换的各种参数，其可便于在例如无线网络（例如演进的通用地面无线电接入网络（EUTRAN））等通信网络中分发和查看3D视频内容。
图1示意地图示根据各种实施例的网络环境100。该网络环境100包括与无线电接入网络（RAN）108无线耦合的用户装置（UE）104，其还可称为客户终端或移动设备。该RAN108可包括增强节点基站（eNB）112，其配置成经由空中（OTA）接口与UE104通信。该RAN108可以是第三代合作伙伴计划（3GPP）长期演进（LTE）先进网络的一部分，并且可称为EUTRAN。在其他实施例中，可利用其他的无线电接入网络技术。
UE104可通过RAN108与远程媒体服务器116通信。尽管示出eNB112与该媒体服务器直接通信，将理解在各种实施例中通信可流过许多中间联网部件，例如交换机、路由器、网关等。例如，在一些实施例中，RAN108可与核心服务网络（CSN）耦合，该CSN使RAN108与更大的网络（媒体服务器116可认为是其的一部分）、例如广域网通信耦合。
尽管图1将网络环境描述为无线通信网络，其他实施例可在其他类型的网络中使用，例如有线网络。可理解可采用本发明的实施例的其他网络环境与在图1中描绘的示例中明确示出的那些相比可包括额外的、更少的或不同的部件。例如，在有线网络中采用的本发明的实施例可具有媒体服务器116和UE104，其在没有RAN108的情况下互相通信。
UE104和媒体服务器116可具有许多配置成便于3D视频内容的访问、存储、传输和显示的部件。例如，UE104可包括内容管理模块120、具有流应用126的媒体播放器124和显示器128。流应用126可具有足够的功能性来接收3D视频内容和关联的信息；解码、拆解以及用别的方式重新组装3D视频；以及在显示器128上渲染3D视频。在各种实施例中，在采用的流技术的背景下可引用流应用126。例如，在内容由分组交换流服务（PSS）来流播的实施例中，流应用126可称为PSS应用。内容管理模块120可协商或用别的方式传送流参数，其包括例如设备能力参数，以能够以便于媒体播放器124操作的方式接收数据。
媒体服务器116可包括具有流应用134的内容分发模块132、内容管理模块136和内容存储140。内容分发模块132可对存储在内容存储140中的3D视频内容编码、封装或用别的方式组装，用于传输到一个或多个UE，例如UE104。内容管理模块136可协商或用别的方式传送流参数（其包括例如设备能力参数）并且以便于分发3D内容的方式控制内容分发模块132。
在一些实施例中，示出为是媒体服务器116的一部分的部件中的一个或多个可设置成与媒体服务器116分开并且通过通信链路与媒体服务器通信耦合。例如，在一些实施例中，内容存储140可设置成远离内容分发模块132和内容管理模块136。
在一些实施例中，内容分发模块132可根据3GPP流标准在一个示例中通过eNB112将3D视频内容分发给UE104。例如，可根据PSS标准（例如3GPPTS26.234V11.0.0（2012年3月16日））、通过HTTP的动态自适应流（DASH）标准（例如3GPPTS26.247V.11.0.0（2012年3月16日））、多媒体广播和多播服务（MBMS）标准（例如，TS26.346V11.1.0（2012年6月29日））和/或基于IMS的PSS和MBMS服务（IMS_PSS_MBMS）标准（例如，TS26.237V.11.0.0（2012年6月29日））传输3D视频内容。流应用126可配置成通过许多传输协议中的任意传输协议接收3D视频内容，例如实时传输协议（RTP）、超文本传输协议（HTTP）等。
能力交换使例如媒体服务器116等媒体流服务器能够向广泛设备提供适合于考虑中的特定设备的视频内容。为了便于服务器端内容协商以用于流，媒体服务器116可确定UE104的具体能力。
内容管理模块120和内容管理模块136可协商或用别的方式传送3D视频内容流会话的参数。该协商可经由RAN108通过会话级信令而发生。在一些实施例中，该会话级信令可包括与设备能力信息（其包括媒体播放器124的立体3D视频解码和渲染能力）有关的传输。在各种实施例中，设备能力信息可进一步包括预解码器缓冲区大小、初始缓冲、解码器能力、显示器特性（屏幕大小、分辨率、位深度等）、流方法（实时流协议（RTSP）、HTTP等）、自适应支持、体验质量（QoE）支持、扩展实时传输协议（RTCP）报告支持、快速内容切换支持、支持的RTP概况（RTPprofile）、会话描述协议（SDP）属性，等。
在流会话的设立期间，内容管理模块136可使用设备能力信息以采用向UE104提供正确类型的多媒体内容的方式控制内容分发模块132。例如，媒体服务器116可基于UE104的实际能力确定视频流的多个可用变化形式中的哪些变化形式是期望的以确定对该终端最适合的流。这可允许提高3D视频内容以及关联的会话描述和元数据文件（例如SDP文件或媒体呈现描述（MPD）文件）到UE104的分发。
内容分发模块132可访问内容存储140中的内容并且在分发内容/关联文件之前根据协商会话参数使内容和/或关联的会话描述和元数据文件（例如SDP/MPD文件）适配。内容在被分发到UE104时可由媒体播放器124解码并且在显示器128上渲染。
根据参考图2a-b的一些具体示例示出内容和/或关联会话描述和元数据文件的适配，而根据参考图3的具体示例示出流会话的设立。
图2a图示根据一些实施例的具有3D视频格式适配的基于DASH的流实施例。特别地，图2a图示与DASH客户端208通信并且实现推式流实施例的HTTP服务器204，其中流控制由客户端而不是服务器来维持，其中客户端在检查MPD后通过一系列基于HTTP的请求-应答事务从服务器下载内容。在基于DASH的流中，MPD元数据文件提供关于存储在HTTP服务器204中的媒体内容表示的结构和不同版本的信息（其包括不同的比特率、帧率、分辨率、编解码类型等）。基于描述片段的关系以及它们如何形成媒体呈现的该MPD元数据信息，DASH客户端208可使用HTTPGET或部分GET方法来请求媒体片段。HTTP服务器204和DASH客户端208可分别与媒体服务器116和UE104相似并且大致上与其能互换。
在DASH中，可在MPD中信号传递3D视频格式和对应的内容信息的集合到DASH客户端208。根据DASH客户端208的能力概况和它支持的3D格式，HTTP服务器204可提供不同的格式化内容，例如HTTP服务器204可在MPD中排除DASH客户端208不支持的3D格式并且只包括DASH客户端208所支持的那些3D格式。在该背景下，HTTP服务器204可将对不同3D视频格式优化的内容提供给DASH客户端208。在进行此的时候，HTTP服务器204可使用来自DASH客户端108的描述各种支持的3D视频格式的设备能力交换信令。DASH客户端208然后可请求由DASH客户端208支持的3D视频内容的对应版本。此外，当用HTTP检索MPD时，DASH客户端208可在GET请求中包括3D视频编解码（codec）和格式信息，其包括基于概况差异（ProfDiff）对3D视频格式的任何临时调整。在示例中，该差异可配置成临时修改内容呈现会话的一个或多个MPD参数。例如，该差异可配置成修改MPD直到内容呈现会话结束或后续差异（其对应于首先传送的差异）被传送到HTTP服务器204。这样，HTTP服务器204可将优化的MPD分发给DASH客户端208。
图2b图示根据一些实施例的具有3D视频格式适配的基于RTSP的流的实施例。特别地，图2b图示实现推式流方法的服务器212和客户端216，其中流和会话控制由服务器212而不是客户端216来维持。服务器212和客户端216可分别与媒体服务器116和UE104相似并且大致上与其能互换。
推式流的示例包括分别基于RTSP和会话发起协议（SIP）的PSS和IMS_PSS_MBMS服务。在该背景下，服务器212接收来自客户端216的支持的3D视频编解码和格式的集合并且基于该信息使内容适配，例如服务器212基于支持的3D视频格式在存储的内容版本之间选择最适合的内容版本或者动态转码该内容，以及将内容流播到客户端216。SDP中携带的会话相关元数据可携带流内容的3D视频格式信息。
图3图示根据一些实施例的具有预订/通知IMS_PSS_MBMS服务的服务发现。特别地，图3图示UE304、IP多媒体（IM）核心网（CN）子系统308和服务发现功能（SDF）312之间的交互。UE304可与UE104相似并且大致上与其能互换。IMCN子系统308和SDF312可以是与接入网域（例如，RAN108）接口的核心网域的一部分。
在IMS_PSS_MBMS服务中，UE304可在服务发现期间在SIPSUBSCRIBE消息中将设备能力信息（例如，支持的3D视频编解码和格式）发送给IMCN子系统308。IMCN子系统308然后可将该消息转发给SDF312。SDF312例如根据如在用户概况（个性化服务发现）中描述的UE304的能力来确定正确的服务发现信息。SDF312然后可将SIP200OK消息发送给IMCN子系统308，该消息被转送到UE304以基于发送的设备能力信息（其也包括支持的3D视频编解码和格式）来确认会话发起。之后，SDF132可发送SIPNOTIFY消息（具有服务发现信息）给IMCN子系统308，其将SIPNOTIFY消息转送回到UE304。UE304然后可通过将SIP200OK消息发送到IMCN子系统308而作出应答，该SIP200OK消息然后被转送到SDF312。
这样的框架在基于IMS的PSS和MBMS用户服务中使用支持的3D视频格式而实现优化的服务发现。稍后在IMS会话期间，UE304还可使用SIP信令来指示更新，其包括基于ProfDiff（例如，如果当前设备取向与默认设备取向不同）对支持的3D视频编解码和格式的集合的任何临时调整。这可通过另外的SIPSUBSCRIBE消息（其包括关于对3D视频格式信息更新的信息）刷新预订而进行。
再次参考图1，在一些实施例中，媒体服务器116可与具有UE104的概况信息的设备概况服务器144耦合。该概况信息可包括设备能力信息中的一些或全部。在这样的实施例中，媒体服务器116可接收来自UE104的标识信息并且然后从设备概况服务器144检索概况信息。这可作为会话级信令的一部分而进行。
在一些实施例中，UE104可基于ProfDiff信令用附加属性补充从设备概况服务器144检索的概况信息或覆盖在它的设备能力概况中已经限定的属性。在一个示例中，这样的临时调整可通过用户偏好而触发，例如如果特定会话的用户仅想接收二维（2D）视频（即使终端能够渲染3D视频）。
流应用134可根据许多不同的流类型对3D视频内容编码以供在网络环境100中传输，其中每个流类型具有关联的帧类型。帧类型可以包括帧封装、联播（simulcast）或2D加辅助帧类型。
帧封装可包括帧兼容封装格式和每视图全分辨率（FRPV）封装格式。在帧兼容分组格式（packetformat）中，流应用134可在空间上将立体对的组成帧封装到单个帧内并且对该单个帧编码。由流应用126产生的输出帧包含立体对的组成帧。每个视图的原始帧的空间分辨率和封装的单个帧可以是相同的。在该情况下，流应用134可在封装操作之前对两个组成帧降采样。帧兼容封装格式可使用如分别在图4a-e中图示的垂直交错、水平交错、并排、上下排列或棋盘格式，并且可相应地进行降采样。
在一些实施例中，流应用134可通过将如在H.264/AVC标准中规定的一个或多个帧封装设置补充增强信息（SEI）消息包括到位流中而指示使用的帧封装格式。流应用126可对帧解码、将来自解码器的输出帧的两个组成帧拆解、对帧过采样以恢复编码器侧降采样过程，并且在显示器128上渲染组成帧。
FRPV封装格式可包括时间交错。在时间交错中，可以原始视频的帧率的两倍对3D视频编码，其中每个母图像和随后的图像构成立体对（左和右视图）。可典型地以高帧率进行时间交错的立体视频的渲染，其中主动（快门）眼镜用于使每只眼睛中的不正确视图混合。这可依靠眼镜与屏幕之间的准确同步。
在使用联播帧类型的实施例中，左和右视图可在单独的联播流中传输。单独传输的流可通过流应用126结合并且被联合解码。
在使用2D加辅助帧类型的实施例中，2D视频内容可连同可由流应用126使用以在显示器128上渲染3D视频的辅助信息一起由流应用134发送。该辅助信息可以是，例如是2D图的深度/视差图，其中每个像素限定关联的2D视频帧中的一个或多个像素的深度/视差。
在一些实施例中，可使用其他的帧类型。例如，在一些实施例中，流应用134可能够将立体视图编码为可在相同或不同的流中传输的基本视图流和非基本视图流。在一些实施例中，这可称为基于MVC的立体视频。非基本视图流可包括视图间预测帧，其提供空间/时间预测信息。基本视图流对于单视图（例如，2D）解码器可足以将基本视图渲染为2D视频，而非基本视图流可对3D解码器、例如流应用126提供足够信息来渲染3D视频。如果媒体服务器116已知UE能力，它可以省略将非基本视图流发送到不支持3D视频或不具有足够的比特率来支持3D视频的设备。
在各种实施例中，从内容管理模块120和/或设备概况服务器144传输到内容管理模块136的设备能力信息可包括3D格式属性，其包括与通过相关传输协议（例如RTP或HTTP，由流应用126支持）的立体3D视频的流相关的一个或多个格式的列表。在一些实施例中，3D格式属性可以是RTP或HTTP的流帧封装格式，其对于垂直交错具有整数值“1”、对于水平交错具有“2”、对于并排具有“3”、对于上下排列具有“4”、对于棋盘具有“0”或对于时间交错具有“5”。在一些实施例中，相同的3D格式属性可用于指示在具体文件或容器格式中支持的帧封装格式。在一些实施例中，3D格式属性可包括更广义的值，例如对于帧封装是“FP”。
在一些实施例中，3D格式属性可以是对联播具有值“SC”或对于2D视频加辅助信息具有值“2DA”的另一个流格式。
在UE104支持超过一个格式类型的实施例中，它可进一步指示一个或多个优选的格式类型。这可以通过将格式类型按偏好的顺序列表、使偏好指示符与选择的格式类型关联等而进行。
在一些实施例中，除提供帧类型属性外，内容管理模块120和/或设备概况服务器144可提供一个或多个组元类型属性。这些组元类型属性可提供关于视频组元的具体类型的额外细节，这些视频组元是立体3D视频的组成元素、由流应用126支持和/或偏好。
组元类型属性可具有用于指示中心视点流（center-viewstream）的值“C”、用于指示中心视点流和深度图的值“CD”、用于指示中心视点流和视差图的值“CP”、用于指示深度图的值“D”、用于指示视差图的值“P”、用于指示左视图流的值“L”、用于指示左视图流和深度图的值“LD”、用于指示视频帧（其包括来自左和右视图的交替扫描线）的值“LIL”、用于指示左视图流和视差图的值“LP”、用于指示右视图流的值“R”、用于指示帧顺序（例如，包括来自左和右流的交替帧－额外信令（例如AVCSEI消息）的视频流对于信号通知哪些帧包含左和右视图可以是必须的）的值“Seq”、用于指示并排的值“SbS”以及用于指示上下排列的值“TaB”。
每个格式类型属性可与组元类型属性的相应集合关联。例如，如果格式类型是SC，关联的组元类型可以是L或R，分别用于指示左和右视图。
PSS规范3GPPTS24.234中的设备能力交换信令能力使服务器能够向广泛设备提供适合于讨论中的特定设备的内容。为了提高立体3D视频内容到客户终端的分发，本公开描述新的属性集合，其可包括在PSS词汇中用于设备能力交换信令。这些提出的属性可描述客户终端的3D解码和渲染能力，其包括客户端支持哪些3D视频帧封装格式。这例如可允许服务器和网络向客户终端提供优化的RTSPSDP或DASHMPD，以及进行适当的转码和3D格式转换以便使传输的3D视频内容与客户端设备的能力匹配。
支持的3D视频编解码和格式的设备能力交换信令可在3GPPTS26.234中实现，其中PSS词汇中包括三个新属性：（1）对于流组元（streamingcomponent），两个属性分别指示与通过RTP和HTTP的立体3D视频流相关的支持的帧封装格式的列表，以及（2）对于ThreeGPFileFormat组元，一个属性指示与立体3D视频相关的可以包括在3GPP文件格式（3GP）文件中的支持的帧封装格式的列表，其是通常用于基于3GPP的多媒体服务的多媒体容器格式。根据一些实施例，属性定义的细节在下文呈现。
属性名称：StreamingFramePackingFormatsRTP
属性定义：与PSS应用支持的通过RTP的立体3D视频流相关的支持的帧封装格式列表。在立体3D视频的范围内的帧封装格式包括：
帧兼容封装格式：1=垂直交错，2=水平交错，3=并排，4=上下排列，0=棋盘
每视图全分辨率的封装格式：5=时间交错
组元：流
类型：文字（袋）
合法值：对应于支持的帧封装格式的整数值列表
分辨率规则：附上
示例：
属性名称：StreamingFramePackingFormatsHTTP
属性定义：与PSS应用支持的通过HTTP的立体3D视频流相关的支持的帧封装格式列表。在立体3D视频的范围内的帧封装格式包括：
帧兼容封装格式：1=垂直交错，2=水平交错，3=并排，4=上下排列，0=棋盘
每视图全分辨率的封装格式：5=时间交错
组元：流
类型：文字（袋）
合法值：对应于支持的帧封装格式的整数值列表
分辨率规则：附上
示例：
属性名称：ThreeGPFramePackingFormats
属性定义：与立体3D视频相关的支持的帧封装格式的列表可以包括在3GP文件中并且由PSS应用所处理。
组元：ThreeGPFileFormat
类型：文字（袋）
合法值：对应于支持的帧封装格式的整数值列表。整数值应该是3或4，其分别对应于并排和上下排列帧封装格式。
分辨率规则：附上
示例：
在一些实施例中，例如如在MPD中描述的媒体呈现可包括适配集合、表示和子表示所共有的属性和元素。一个这样的元素可以是FramePacking元素。FramePacking元素可规定视频媒体组元类型的帧封装设置信息。当对视频组元未提供FramePacking元素时，帧封装可不用于视频媒体组元。
FramePacking元素可包括shcemeIdUri属性，其包括统一资源标识符（URI），用于识别采用的帧封装配置方案。在一些实施例中，FramePacking元素可进一步包括value属性，用于对描述符元素提供值。
在一些实施例中，可存在多个FramePacking元素。如果这样的话，每个元素可包含足够的信息来选择或拒绝描述的表示。
如果方案或者所有FramePacking元素的值未被识别，客户端可忽略描述的表示。客户端可在观察FramePacking元素的基础上拒绝适配集合。
对于包含符合ISO/IEC信息技术－视听对象的编码－部分10：先进视频编码（ISO/IEC14496-10:2012）的视频组元的适配集合或表示，FramePackinschemeIdUri的统一资源号可以是
urn:mpeg:dash:14496:10:frame-_pcking_arrangement_type:2011，其可定义成指示如由ISO/IEC14496-10:2012（‘frame-_packing_arrangement_type的定义’）的表D-8定义的帧封装设置包含在FramePacking元素中。value可以是如在ISO/IEC14496-10:2012的表D-8中规定的“Value”栏并且可以根据相同表格中的‘Interpretation’栏来解释。
图5图示根据一些实施例信号传递3D视频设备能力的方法500。方法500可由UE（例如，UE104）的部件进行。在一些实施例中，UE可包括和/或访问具有存储在其上的指令的一个或多个计算机可读介质，这些指令在被执行时使UE或其部件进行方法500。
在504，UE可确定设备能力信息。如上文描述的，该设备能力信息可包括关于媒体播放器的解码和渲染能力的信息。在一些实施例中，位于UE或别处上的内容管理模块可通过在UE上运行一个或多个脚本来直接测试能力而确定该信息。在其他实施例中，内容管理模块可访问包含相关信息的一个或多个存储文件。
在508，UE可向媒体服务器116或设备概况服务器144提供设备能力信息，其包括在UE处的媒体播放器的立体3D视频解码和渲染能力。如上文描述的，设备能力信息可包括一个或多个格式类型属性，其代表由UE的流应用所支持的帧类型列表。在一些实施例中，可在512处的请求之前或之后提供设备能力信息。
在一些实施例中，设备能力信息中的一些或全部可由另一个实体（例如，设备概况服务器）提供给媒体服务器。
在512，UE可请求3D视频内容。在一些实施例中，请求可根据适当的流/传输协议，例如HTTP、RTP、RTSP、DASH、MBMS、PSS、IMS_PSS_MBMS等。请求可针对媒体服务器并且可包括统一资源定位符（URL）或请求的内容或其部分的一些其他指示符。在一些实施例中，对设备能力信息的临时调整（例如，经由ProfDiff信令）还可连同508处的请求一起被提供。相应地，UE可基于ProfDiff信令用附加属性补充从设备概况服务器检索的概况信息或覆盖在它的设备能力概况中已经限定的属性。在一个示例中，这样的临时调整可通过用户偏好而触发，例如如果特定会话的用户仅想接收二维（2D）视频（即使终端能够渲染3D视频）。
在516，UE可接收请求的3D视频内容并且在UE的显示器上渲染内容。内容的渲染可包括多种过程，例如但不限于，解码、过转换、拆解、排序等。
图6图示根据一些实施例信号传递3D视频内容的方法600。方法600可由媒体服务器（例如，媒体服务器116）的部件进行。在一些实施例中，媒体服务器可包括和/或访问具有存储在其上的指令的一个或多个计算机可读介质，这些指令在被执行时使媒体服务器或其部件进行方法600。
在604，媒体服务器可确定设备能力信息。在一些实施例中，媒体服务器可通过接收作为会话级信令的一部分的来自UE或设备概况服务器的信息而确定设备能力信息。
在608，媒体服务器可接收对3D视频内容的请求。在一些实施例中，该请求可根据适当的流/传输协议，例如HTTP、RTP、RTSP、DASH、MBMS、PSS、IMS_PSS_MBMS等。该请求可来自UE并且可包括统一资源定位符（URL）或请求的内容或其部分的一些其他指示符。在一些实施例中，在608处接收的请求可与设备能力信息604的确定同时、在确定之前或在确定之后发生。在一些实施例中，对设备能力信息的临时调整（例如，经由ProfDiff信令）还可连同608处的请求一起被接收。相应地，媒体服务器可基于ProfDiff信令用附加属性补充从设备概况服务器检索的概况信息或覆盖在它的设备能力概况中已经限定的属性。
在612，媒体服务器可基于说明UE处的媒体播放器的立体3D视频解码和渲染能力的设备能力信息而生成会话描述和/或元数据文件以建立流会话，例如SDP文件或媒体呈现描述（MPD）。
在616，媒体服务器可采用设备能力信息中如指示为由UE所支持的格式类型对3D视频内容编码。3D视频内容然后可流播到移动设备。
在本文描述的部件，例如UE104、媒体服务器116和/或设备概况服务器144可使用任何适合的硬件和/或软件实现在系统中以根据期望配置。图7对于一个实施例图示示例系统700，其包括一个或多个处理器704、与处理器704中的至少一个耦合的系统控制逻辑708、与系统控制逻辑708耦合的系统存储器712、与系统控制逻辑708耦合的非易失性存储器（NVM）/存储716、与系统控制逻辑708耦合的网络接口720和/或与系统控制逻辑708耦合的输入/输出（I/O）设备732。
处理器704可包括一个或多个单核或多核处理器。处理器704可包括通用处理器和专用处理器（例如，图形处理器、应用处理器、基带处理器等）的任何组合。
对于一个实施例的系统控制逻辑708可包括任何适合的接口控制器，用于提供任何适合的接口给处理器704中的至少一个和/或与系统控制逻辑708通信的任何适合的设备或部件。
对于一个实施例的系统控制逻辑708可包括一个或多个存储器控制器，用于提供接口给系统存储器712。系统存储器712可用于加载和存储数据和/或指令，例如逻辑724。对于一个实施例的系统存储器712可包括任何适合的易失性存储器，例如适合的动态随机存取存储器（DRAM）等。
NVM/存储716可包括一个或多个有形的非暂时性计算机可读介质，用于存储数据和/或指令，例如逻辑724。NVM/存储716可包括任何适合的非易失性存储器，例如闪速存储器等，和/或可包括任何适合的非易失性存储设备，例如一个或多个硬盘驱动器（HDD）、一个或多个压缩盘（CD）驱动器和/或一个或多个数字多用途盘（DVD）驱动器等。
NVM/存储716可包括这样的存储资源，其在物理上是系统700安装在其上的设备的一部分，或者它可以能够由该设备访问但不一定是该设备的一部分。例如，可经由网络接口720通过网络访问和/或通过输入/输出（I/O）设备732访问NVM/存储716。
逻辑724在由处理器704中的至少一个执行时使系统进行在本文关于UE104、媒体服务器116和/或设备概况服务器144描述的操作。逻辑724可另外/备选地设置在系统的其他部件中，例如在系统控制逻辑708中，并且可包括硬件、软件和/或固件部件的任何组合。
网络接口720可具有收发器722，用于提供无线电接口给系统700以通过一个或多个网络通信和/或与任何其他适合的设备通信。在各种实施例中，收发器722可与系统700的其他部件集成。例如，收发器722可包括处理器704的处理器、系统存储器712的存储器以及NVM/存储716的NVM/存储。网络接口720可包括任何适合的硬件和/或固件。网络接口720可包括多个天线，用于提供多输入多输出无线电接口。对于一个实施例的网络接口720可包括例如有线网络适配器、无线网络适配器、电话调制解调器和/或无线调制解调器。
对于一个实施例，处理器704中的至少一个可与系统控制逻辑708的一个或多个控制器的逻辑封装在一起。对于一个实施例，处理器704中的至少一个可与系统控制逻辑708的一个或多个控制器的逻辑封装在一起来形成系统级封装（SiP）。对于一个实施例，处理器704中的至少一个可集成在与系统控制逻辑708的一个或多个控制器的逻辑相同的芯片上。对于一个实施例，处理器704中的至少一个可集成在与系统控制逻辑708的一个或多个控制器的逻辑相同的芯片上来形成芯片上系统（SoC）。
在各种实施例中，I/O设备732可包括设计成使用户能够与系统700交互的用户界面、设计成使外围部件能够与系统700交互的外围部件接口和/或设计成确定涉及系统700的环境条件和/或位置信息的传感器。
在各种实施例中，用户界面可包括但不限于用于渲染3D视频的显示器（例如，液晶显示器、触摸屏显示器、自动立体显示器等）、扬声器、麦克风、一个或多个拍摄设备（例如，静物拍摄设备和/或视频拍摄设备）、闪光灯（例如，发光二极管闪光灯）和键盘。
在各种实施例中，外围部件接口可包括但不限于非易失性存储器端口、通用串行总线（USB）端口、音频插口和电力供应接口。
在各种实施例中，传感器可包括但不限于陀螺仪传感器、加速计、接近传感器、环境光传感器和定位单元。该定位单元也可以是网络接口720的一部分或与网络接口720交互来与定位网络的部件、例如全球定位系统（GPS）卫星通信。
在各种实施例中，系统700可以是移动计算设备，例如但不限于膝上型计算设备、平板计算设备、上网本、智能电话等。在各种实施例中，系统700可具有更多或更少部件和/或不同的架构。
根据本公开的一个方面，提供一种用于提供3D视频的媒体服务器，所述媒体服务器包括：用于从网络实体获得流帧封装格式属性的部件，所述流帧封装格式属性包括由无线通信网络的客户终端所支持的与通过所述客户终端上的分组交换流服务（PSS）应用所支持的传输协议的立体3D视频的流相关的帧封装格式的列表，其中传输协议是实时传输协议（RTP）或超文本传输协议（HTTP）；用于基于所述流帧封装格式属性使内容适配的部件；用于基于所述流帧封装格式属性生成会话描述或元数据文件以建立流会话的部件；以及用于将适配的内容和生成的会话描述或元数据文件传送给所述客户终端的部件。
所述帧封装格式的列表包括垂直交错帧兼容封装格式、水平交错帧兼容封装格式、并排帧兼容封装格式、上下排列帧兼容封装格式、棋盘帧兼容封装格式或时间交错的每视图全分辨率封装格式的指示。
所述列表包括分别对应于一个或多个支持的帧封装格式的一个或多个整数值的列表。
所述一个或多个整数值的列表包括：1，对应于垂直交错帧兼容封装格式；2，对应于水平交错帧兼容封装格式；3，对应于并排帧兼容封装格式；4，对应于上下排列帧兼容封装格式；0，对应于棋盘帧兼容封装格式；或5，对应于时间交错的每视图全分辨率封装格式。
所述传输协议包括RTP。
所述传输协议包括HTTP。
所述会话描述或元数据文件是实时流协议（RTSP）会话描述协议（SDP）文件或通过超文本传输协议的动态自适应流（DASH）媒体呈现描述（MPD）文件。
内容是3D视频内容并且所述媒体服务器进一步包括：
基于所述流帧封装格式属性将所述3D视频内容转码或转换所述3D视频内容的格式的部件。
所述网络实体是设备概况服务器或包括所述客户终端的用户装置。
根据本公开另一方面，提供一种用于提供3D视频的媒体服务器，所述媒体服务器包括：用于从网络实体获得帧封装格式属性的部件，所述帧封装格式属性包括由用户装置支持的与能够包括在第三代合作伙伴计划文件格式（3GP）文件中并且由所述用户装置上的分组交换流服务（PSS）应用所处理的立体3D视频相关的一个或多个帧封装格式的列表；用于基于所述帧封装格式属性将内容传送给所述用户装置的部件。
所述帧封装格式的列表包括并排帧封装格式或上下排列帧封装格式的指示。
所述列表包括分别对应于一个或多个帧封装格式的一个或多个整数值的列表。
所述一个或多个整数值的列表包括对应于并排帧封装格式的3或对应于上下排列帧封装格式的4。
根据本公开再另一方面，提供一种用于查看3D视频的用户装置UE，所述UE包括：媒体播放器，用于对由UE无线接收的立体三维（3D）视频内容解码并且在所述UE的显示器上渲染；以及内容管理模块，用于：确定设备能力信息，其包括所述媒体播放器支持的3D视频编解码和格式；将一个或多个消息传送到媒体服务器或设备概况服务器，所述一个或多个消息包括所述设备能力信息；将至少一个消息传送到媒体服务器，所述至少一个消息包括对立体3D视频内容的请求以及关于所述设备能力信息的任何临时调整。
所述设备能力信息具有3D格式属性，其包括媒体播放器电路所支持的格式类型。
所述格式类型是对应于帧兼容封装格式或每视图全分辨率封装格式的帧封装格式类型、联播格式类型或二维加辅助格式类型。
所述格式类型是帧封装格式类型，其是具有用于指示垂直交错、水平交错、并排、上下排列或棋盘的值的帧兼容封装格式。
所述3D视频内容经由分组交换流服务由移动设备无线接收。
所述内容管理模块在服务发现期间在会话发起协议（SIP）SUBSCRIBE消息中传送设备能力信息到互联网协议多媒体核心网络子系统。
在服务发现之后，所述内容管理模块使用SIP信令来更新支持的3D视频编解码和格式的集合。
所述媒体播放器进一步配置成：接收包括请求的立体3D视频内容的流，其中所述媒体播放器进一步配置成根据通过超文本传输协议的动态自适应流（DASH）协议、分组交换流（PSS）协议或基于互联网协议多媒体子系统（IMS）的PSS和多媒体广播/多播（MBMS）服务协议来接收所述流。
所述媒体播放器进一步配置成接收与所述流关联的会话描述协议（SDP）文件或媒体呈现描述（MPD）元数据文件。
UE进一步包括：自动立体显示器，用于在所述媒体播放器的控制下渲染所述3D视频内容。
根据本公开再另一方面，提供一种用于便于呈现3D视频的设备概况服务器，所述设备概况服务器用于：获得对涉及用户装置的3D能力信息的请求；以及提供流帧封装格式属性，其包括由所述用户装置支持的与通过所述用户装置上的分组交换流服务（PSS）应用所支持的传输协议的立体3D视频的流相关的帧封装格式的列表，其中所述传输协议是实时传输协议（RTP）或超文本传输协议（HTTP）。
所述帧封装格式的列表包括垂直交错帧兼容封装格式、水平交错帧兼容封装格式、并排帧兼容封装格式、上下排列帧兼容封装格式、棋盘帧兼容封装格式或时间交错的每视图全分辨率封装格式的指示。
所述传输协议包括RTP。
所述传输协议包括HTTP。
所述列表包括分别对应于一个或多个支持的帧封装格式的一个或多个整数值的列表。
所述一个或多个整数值的列表包括：1，对应于垂直交错帧兼容封装格式；2，对应于水平交错帧兼容封装格式；3，对应于并排帧兼容封装格式；4，对应于上下排列帧兼容封装格式；0，对应于棋盘帧兼容封装格式；或5，对应于时间交错的每视图全分辨率封装格式。
尽管已经在本文中为了描述的目的说明和描述某些实施例，用于实现相同目的所计算的许多种替代和/或等同实施例或实现可代替示出并且描述的实施例，而不偏离本公开的范围。该申请意在涵盖本文论述的实施例的任何适配或变化。因此，明确地规定本文描述的实施例仅由权利要求和其的等同物限制。

Claims (28)

1.一种用于提供3D视频的媒体服务器，所述媒体服务器包括：
用于从设备概况服务器获得流帧封装格式属性的部件，所述流帧封装格式属性包括由无线通信网络的客户终端所支持的与通过所述客户终端上的分组交换流服务（PSS）应用所支持的传输协议的立体3D视频的流相关的帧封装格式的列表，其中传输协议是实时传输协议（RTP）或超文本传输协议（HTTP）；
用于基于所述流帧封装格式属性使内容适配的部件；
用于基于所述流帧封装格式属性生成会话描述或元数据文件以建立流会话的部件；以及
用于将适配的内容和生成的会话描述或元数据文件传送给所述客户终端的部件。
2.如权利要求1所述的媒体服务器，所述帧封装格式的列表包括垂直交错帧兼容封装格式、水平交错帧兼容封装格式、并排帧兼容封装格式、上下排列帧兼容封装格式、棋盘帧兼容封装格式或时间交错的每视图全分辨率封装格式的指示。
3.如权利要求1所述的媒体服务器，所述列表包括分别对应于一个或多个支持的帧封装格式的一个或多个整数值的列表。
4.如权利要求3所述的媒体服务器，所述一个或多个整数值的列表包括：1，对应于垂直交错帧兼容封装格式；2，对应于水平交错帧兼容封装格式；3，对应于并排帧兼容封装格式；4，对应于上下排列帧兼容封装格式；0，对应于棋盘帧兼容封装格式；或5，对应于时间交错的每视图全分辨率封装格式。
5.如权利要求1所述的媒体服务器，所述传输协议包括RTP。
6.如权利要求1所述的媒体服务器，其中所述传输协议包括HTTP。
7.如权利要求1所述的媒体服务器，所述会话描述或元数据文件是实时流协议（RTSP）会话描述协议（SDP）文件或通过超文本传输协议的动态自适应流（DASH）媒体呈现描述（MPD）文件。
8.如权利要求1所述的媒体服务器，其中内容是3D视频内容并且所述媒体服务器进一步包括：
用于基于所述流帧封装格式属性将所述3D视频内容转码或转换所述3D视频内容的格式的部件。
9.一种用于提供3D视频的媒体服务器，所述媒体服务器包括：
用于从设备概况服务器获得帧封装格式属性的部件，所述帧封装格式属性包括由用户装置支持的与能够包括在第三代合作伙伴计划文件格式（3GP）文件中并且由所述用户装置上的分组交换流服务（PSS）应用所处理的立体3D视频相关的一个或多个帧封装格式的列表；
用于基于所述帧封装格式属性将内容传送给所述用户装置的部件。
10.如权利要求9所述的媒体服务器，所述帧封装格式的列表包括并排帧封装格式或上下排列帧封装格式的指示。
11.如权利要求9所述的媒体服务器，所述列表包括分别对应于一个或多个帧封装格式的一个或多个整数值的列表。
12.如权利要求11所述的媒体服务器，所述一个或多个整数值的列表包括对应于并排帧封装格式的3或对应于上下排列帧封装格式的4。
13.一种用于查看3D视频的用户装置UE，所述UE包括：
媒体播放器，用于对由UE无线接收的立体三维（3D）视频内容解码并且在所述UE的显示器上渲染所述立体三维（3D）视频内容；以及
内容管理模块，用于：
确定设备能力信息，其包括所述媒体播放器支持的3D视频编解码和格式；
将一个或多个消息传送到设备概况服务器，所述一个或多个消息包括所述设备能力信息；
将至少一个消息传送到媒体服务器，所述至少一个消息包括对立体3D视频内容的请求以及关于所述设备能力信息的任何临时调整。
14.如权利要求13所述的UE，所述设备能力信息具有3D格式属性，其包括媒体播放器电路所支持的格式类型。
15.如权利要求14所述的UE，所述格式类型是对应于帧兼容封装格式或每视图全分辨率封装格式的帧封装格式类型、联播格式类型或二维加辅助格式类型。
16.如权利要求15所述的UE，所述格式类型是帧封装格式类型，其是具有用于指示垂直交错、水平交错、并排、上下排列或棋盘的值的帧兼容封装格式。
17.如权利要求13所述的UE，所述3D视频内容经由分组交换流服务由移动设备无线接收。
18.如权利要求13所述的UE，所述内容管理模块在服务发现期间在会话发起协议（SIP）SUBSCRIBE消息中传送设备能力信息到互联网协议多媒体核心网络子系统。
19.如权利要求18所述的UE，在服务发现之后，所述内容管理模块使用SIP信令来更新支持的3D视频编解码和格式的集合。
20.如权利要求13所述的UE，所述媒体播放器进一步配置成：
接收包括请求的立体3D视频内容的流，其中所述媒体播放器进一步配置成根据通过超文本传输协议的动态自适应流（DASH）协议、分组交换流（PSS）协议或基于互联网协议多媒体子系统（IMS）的PSS和多媒体广播/多播（MBMS）服务协议来接收所述流。
21.如权利要求20所述的UE，所述媒体播放器进一步配置成接收与所述流关联的会话描述协议（SDP）文件或媒体呈现描述（MPD）元数据文件。
22.如权利要求13所述的UE，UE进一步包括：
自动立体显示器，用于在所述媒体播放器的控制下渲染所述3D视频内容。
23.一种用于便于呈现3D视频的设备概况服务器，所述设备概况服务器用于：
获得对涉及用户装置的3D能力信息的请求；以及
提供流帧封装格式属性，其包括由所述用户装置支持的与通过所述用户装置上的分组交换流服务（PSS）应用所支持的传输协议的立体3D视频的流相关的帧封装格式的列表，其中所述传输协议是实时传输协议（RTP）或超文本传输协议（HTTP）。
24.如权利要求23所述的设备概况服务器，所述帧封装格式的列表包括垂直交错帧兼容封装格式、水平交错帧兼容封装格式、并排帧兼容封装格式、上下排列帧兼容封装格式、棋盘帧兼容封装格式或时间交错的每视图全分辨率封装格式的指示。
25.如权利要求23所述的设备概况服务器，所述传输协议包括RTP。
26.如权利要求23所述的设备概况服务器，所述传输协议包括HTTP。
27.如权利要求23所述的设备概况服务器，所述列表包括分别对应于一个或多个支持的帧封装格式的一个或多个整数值的列表。
28.如权利要求27所述的设备概况服务器，所述一个或多个整数值的列表包括：1，对应于垂直交错帧兼容封装格式；2，对应于水平交错帧兼容封装格式；3，对应于并排帧兼容封装格式；4，对应于上下排列帧兼容封装格式；0，对应于棋盘帧兼容封装格式；或5，对应于时间交错的每视图全分辨率封装格式。
CN201310121164.5A 2012-04-09 2013-04-09 在通信网络中信号传递三维视频信息 Active CN103369467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610342932.3A CN105915882B (zh) 2012-04-09 2013-04-09 在通信网络中信号传递三维视频信息

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201261621939P 2012-04-09 2012-04-09
US61/621939 2012-04-09
US61/621,939 2012-04-09
US201261679627P 2012-08-03 2012-08-03
US61/679627 2012-08-03
US61/679,627 2012-08-03
US13/626,767 US9584793B2 (en) 2012-04-09 2012-09-25 Signaling three-dimensional video information in communication networks
US13/626,767 2012-09-25
US13/626767 2012-09-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610342932.3A Division CN105915882B (zh) 2012-04-09 2013-04-09 在通信网络中信号传递三维视频信息

Publications (2)

Publication Number Publication Date
CN103369467A CN103369467A (zh) 2013-10-23
CN103369467B true CN103369467B (zh) 2016-06-22

Family

ID=74551320

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310121164.5A Active CN103369467B (zh) 2012-04-09 2013-04-09 在通信网络中信号传递三维视频信息
CN201610342932.3A Active CN105915882B (zh) 2012-04-09 2013-04-09 在通信网络中信号传递三维视频信息

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610342932.3A Active CN105915882B (zh) 2012-04-09 2013-04-09 在通信网络中信号传递三维视频信息

Country Status (19)

Country Link
US (3) US9584793B2 (zh)
EP (2) EP2837192B8 (zh)
JP (2) JP6248330B2 (zh)
KR (3) KR101630108B1 (zh)
CN (2) CN103369467B (zh)
AU (1) AU2016203175B2 (zh)
BE (1) BE1021405B1 (zh)
CA (2) CA2868038C (zh)
FI (2) FI126988B (zh)
FR (1) FR2993426B1 (zh)
HK (1) HK1187769A1 (zh)
IT (1) ITMI20130537A1 (zh)
MX (2) MX341486B (zh)
MY (1) MY168796A (zh)
NL (1) NL2010602C2 (zh)
RU (2) RU2643446C1 (zh)
SE (1) SE537942C2 (zh)
TW (2) TW201720149A (zh)
WO (1) WO2013155110A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks
US9438883B2 (en) 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
CN103294767A (zh) * 2013-04-22 2013-09-11 腾讯科技（深圳）有限公司 浏览器的多媒体信息显示方法及装置
CA2912351A1 (en) * 2013-05-31 2014-12-04 Sony Corporation Information processing device and information processing method
KR20150083429A (ko) * 2014-01-08 2015-07-17 한국전자통신연구원 Ｄａｓｈ를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법
TWI510911B (zh) * 2014-01-14 2015-12-01 Wistron Corp 行動電話及內核除錯訊息之輸出方法
JP6456980B2 (ja) * 2014-02-10 2019-01-23 エルジー エレクトロニクス インコーポレイティド ３ｄ放送サービスのための放送信号の送受信方法及び装置
KR20160142327A (ko) * 2014-04-30 2016-12-12 엘지전자 주식회사 방송 전송 장치, 방송 수신 장치, 방송 전송 장치의 동작 방법 및 방송 수신 장치의 동작 방법
CN117278537A (zh) * 2015-02-11 2023-12-22 Vid拓展公司 用于dash中的一般化http头的系统和方法
US20170026431A1 (en) * 2015-07-20 2017-01-26 Intel IP Corporation Multicast mechanism for wireless devices
JP2017092646A (ja) * 2015-11-06 2017-05-25 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及びプログラム
CN106454317B (zh) * 2016-11-15 2018-04-13 天津大学 基于模糊控制的立体视频质量自适应算法
WO2018179843A1 (en) * 2017-03-26 2018-10-04 Sharp Kabushiki Kaisha Systems and methods for signaling information for virtual reality applications
CN108668179B (zh) * 2017-03-27 2021-05-14 华为技术有限公司 媒体索引文件的传输方法及相关设备
US10484308B2 (en) 2017-03-31 2019-11-19 At&T Intellectual Property I, L.P. Apparatus and method of managing resources for video services
US10819763B2 (en) 2017-03-31 2020-10-27 At&T Intellectual Property I, L.P. Apparatus and method of video streaming
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
KR102476204B1 (ko) * 2017-10-19 2022-12-08 삼성전자주식회사 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템
US11303826B2 (en) 2018-01-31 2022-04-12 Lg Electronics Inc. Method and device for transmitting/receiving metadata of image in wireless communication system
CN111670579A (zh) * 2018-02-28 2020-09-15 索尼公司 内容分发控制装置、内容分发控制方法、程序和内容分发控制系统
WO2019167633A1 (ja) * 2018-02-28 2019-09-06 ソニー株式会社 コンテンツ配信制御装置、コンテンツ配信制御方法、プログラム、およびコンテンツ配信システム
CN109743281A (zh) * 2018-11-19 2019-05-10 视联动力信息技术股份有限公司 一种通信方法及装置
US11044185B2 (en) 2018-12-14 2021-06-22 At&T Intellectual Property I, L.P. Latency prediction and guidance in wireless communication systems
US11320725B2 (en) 2019-11-22 2022-05-03 Canon Kabushiki Kaisha Projection type display apparatus, projection type display system, control method of projection type display apparatus, and storage medium
CN113382227A (zh) * 2021-06-03 2021-09-10 天翼阅读文化传播有限公司 一种基于智能手机的裸眼3d全景视频渲染装置及方法
US20230007067A1 (en) * 2021-06-30 2023-01-05 Tencent America LLC Bidirectional presentation datastream
JP2023044353A (ja) 2021-09-17 2023-03-30 セイコーエプソン株式会社 電気光学装置および電子機器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282462A (ja) * 2003-03-17 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報配信システム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463912B2 (en) * 2000-05-23 2013-06-11 Media Farm, Inc. Remote displays in mobile communication networks
US6407680B1 (en) 2000-12-22 2002-06-18 Generic Media, Inc. Distributed on-demand media transcoding system and method
KR100420601B1 (ko) * 2001-11-22 2004-03-02 에스케이 텔레콤주식회사 비디오 데이터 스트리밍 서비스 방법
KR100556826B1 (ko) 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US7392316B2 (en) 2003-06-30 2008-06-24 Microsoft Corporation Client to server streaming of multimedia content using HTTP
US7426734B2 (en) 2003-10-24 2008-09-16 Microsoft Corporation Facilitating presentation functionality through a programming interface media namespace
US8537204B2 (en) 2004-07-08 2013-09-17 Gyoung Il Cho 3D television broadcasting system
TWI242382B (en) 2004-08-31 2005-10-21 Sunplus Technology Co Ltd Three-dimensional video composite signal demodulating method and system capable of inhibiting pseudo-color noises
JP2008530835A (ja) 2005-02-08 2008-08-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） パケット交換ネットワーク上のオンデマンドマルチチャネルストリーミングセッション
ES2557295T3 (es) 2005-04-28 2016-01-25 Arenanet, Llc Sistema y método para la distribución selectiva de información
JP2006331199A (ja) 2005-05-27 2006-12-07 Ntt Docomo Inc サービス決定装置及びサービス決定方法
JP2007036874A (ja) * 2005-07-28 2007-02-08 Univ Of Tokyo 視聴者情報測定システム及びこれを用いたマッチングシステム
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US20080228912A1 (en) 2007-03-16 2008-09-18 Ramakrishna Vedantham Enhanced Quality Reporting for Transmission Sessions
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
US8630273B2 (en) 2007-07-17 2014-01-14 France Telecom Dynamic appropriation of at least one multimedia device during call set-up
US20100134494A1 (en) 2008-12-02 2010-06-03 Electronics And Telecommunications Research Institute Remote shading-based 3d streaming apparatus and method
US9083958B2 (en) 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
US20110032331A1 (en) 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
US8380878B2 (en) * 2009-08-13 2013-02-19 Cox Communications, Inc. Side loading
US8310520B2 (en) 2009-08-19 2012-11-13 Avaya Inc. Flexible decomposition and recomposition of multimedia conferencing streams using real-time control information
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
CN102714715B (zh) * 2009-09-22 2016-01-20 高通股份有限公司 用于文件格式轨迹选择的媒体提取器轨迹
RU2540804C2 (ru) * 2009-10-20 2015-02-10 Телефонактиеболагет Лм Эрикссон (Пабл) Предоставление дополнительной информации обработки
US20110138018A1 (en) 2009-12-04 2011-06-09 Qualcomm Incorporated Mobile media server
CN102696230A (zh) * 2010-01-07 2012-09-26 汤姆森特许公司 为视频内容显示提供的方法和装置
KR101694821B1 (ko) 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
CA2797619C (en) 2010-04-30 2015-11-24 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
US8402502B2 (en) 2010-06-16 2013-03-19 At&T Intellectual Property I, L.P. Method and apparatus for presenting media content
US9560406B2 (en) * 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9131033B2 (en) 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9226045B2 (en) * 2010-08-05 2015-12-29 Qualcomm Incorporated Signaling attributes for network-streamed video data
US8677428B2 (en) 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
EP2424251A3 (en) 2010-08-23 2012-12-26 Lg Electronics Inc. Method for providing 3d video data in a 3dtv
US8896664B2 (en) 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
EP2706755A4 (en) * 2011-05-27 2014-07-16 Huawei Tech Co Ltd MEDIA TRANSMISSION PROCEDURE, MEDIA RECEPTION PROCEDURE, CLIENT AND SYSTEM THEREFOR
EP2597876A1 (en) * 2011-11-24 2013-05-29 Koninklijke Philips Electronics N.V. Interlaced 3D video
US9584793B2 (en) 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004282462A (ja) * 2003-03-17 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報配信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Frame compatible formats for 3D video distribution;Anthony Vetro;《IEEE》;20100929;正文第2405-2408页 *

Also Published As

Publication number Publication date
RU2591174C2 (ru) 2016-07-10
CN103369467A (zh) 2013-10-23
FI20175391L (fi) 2017-05-04
WO2013155110A1 (en) 2013-10-17
KR101881265B1 (ko) 2018-07-23
TW201401849A (zh) 2014-01-01
EP2837192B8 (en) 2021-01-20
EP2837192A4 (en) 2015-08-19
CA2868038A1 (en) 2013-10-17
SE1350444A1 (sv) 2013-10-10
US10194134B2 (en) 2019-01-29
US9584793B2 (en) 2017-02-28
AU2016203175A1 (en) 2016-06-09
NL2010602C2 (en) 2015-04-09
CN105915882A (zh) 2016-08-31
JP2015515830A (ja) 2015-05-28
EP2966875A1 (en) 2016-01-13
AU2016203175B2 (en) 2017-10-19
BE1021405B1 (fr) 2015-11-17
MX341486B (es) 2016-08-23
NL2010602A (en) 2013-10-15
EP2837192A1 (en) 2015-02-18
MX2014011579A (es) 2015-06-23
US20170353709A1 (en) 2017-12-07
MY168796A (en) 2018-12-04
SE537942C2 (sv) 2015-12-01
HK1187769A1 (zh) 2014-04-11
AU2013246041A1 (en) 2014-10-02
MX362598B (es) 2019-01-25
TWI578756B (zh) 2017-04-11
FR2993426B1 (fr) 2018-03-16
FI126988B (en) 2017-09-15
FI20135313A (fi) 2013-10-10
CA2868038C (en) 2017-03-28
KR20160075787A (ko) 2016-06-29
KR101727875B1 (ko) 2017-04-17
KR20170044205A (ko) 2017-04-24
RU2014138947A (ru) 2016-04-10
JP6248330B2 (ja) 2017-12-20
US20150113572A1 (en) 2015-04-23
FI129521B (en) 2022-03-31
FR2993426A1 (fr) 2014-01-17
ITMI20130537A1 (it) 2013-10-10
TW201720149A (zh) 2017-06-01
EP2837192B1 (en) 2020-10-28
KR20140136007A (ko) 2014-11-27
US20130266289A1 (en) 2013-10-10
JP6428885B2 (ja) 2018-11-28
BR112014024061A2 (zh) 2017-06-20
RU2643446C1 (ru) 2018-02-01
CA2957198C (en) 2019-05-07
JP2018014746A (ja) 2018-01-25
CN105915882B (zh) 2019-04-30
CA2957198A1 (en) 2013-10-17
US9787967B2 (en) 2017-10-10
KR101630108B1 (ko) 2016-06-13

Similar Documents

Publication Publication Date Title
CN103369467B (zh) 在通信网络中信号传递三维视频信息
ES2482605B2 (es) Señalización de información de vídeo tridimensional en redes de comunicación
AU2013246041B2 (en) Signaling three dimensional video information in communication networks
FI20225190A1 (en) Signaling of three-dimensional video information in communication networks
BR112014024061B1 (pt) Meio legível por computador, método, aparelho e sistema para sinalização de informação de vídeo tridimensional em redes de comunicação

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1187769

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1187769

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20200402

Address after: California, USA

Patentee after: Apple Inc.

Address before: California, USA

Patentee before: INTEL Corp.

TR01 Transfer of patent right