BR112019013609A2 - Método e aparelho de processamento de informação - Google Patents
Método e aparelho de processamento de informação Download PDFInfo
- Publication number
- BR112019013609A2 BR112019013609A2 BR112019013609-6A BR112019013609A BR112019013609A2 BR 112019013609 A2 BR112019013609 A2 BR 112019013609A2 BR 112019013609 A BR112019013609 A BR 112019013609A BR 112019013609 A2 BR112019013609 A2 BR 112019013609A2
- Authority
- BR
- Brazil
- Prior art keywords
- spatial
- information
- target
- spatial information
- track
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 86
- 230000005540 biological transmission Effects 0.000 abstract description 16
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 17
- 230000006978 adaptation Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 101100468275 Caenorhabditis elegans rep-1 gene Proteins 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 101100238610 Mus musculus Msh3 gene Proteins 0.000 description 7
- 238000005096 rolling process Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Image Processing (AREA)
Abstract
um método de processamento de informação e aparelho para transmissão de mídia, em que o dito método de processamento de informação para transmissão de mídia compreende: aquisição de informação espacial alvo de um objeto espacial alvo, sendo objeto espacial alvo um objeto espacial em dois objetos espaciais associados a dados de duas imagens nos dados de vídeo alvo, e os dados das duas imagens sendo dados de duas imagens; as informações espaciais de destino incluem informações espaciais de atributos iguais, as informações espaciais de atributos iguais compreendem informações idênticas entre as informações espaciais respectivas dos dois objetos espaciais, enquanto as informações espaciais de objetos espaciais que não o objeto espacial de destino nos dois objetos espaciais são atribuir informação espacial; e de acordo com as informações espaciais do alvo, determinando os dados de vídeo a serem reproduzidos. por meio da substituição de um conjunto de informações espaciais de atributos iguais por uma parte duplicada nas respectivas informações espaciais dos dois objetos espaciais, a redundância de informações espaciais é reduzida, reduzindo, assim, o volume de dados de informações espaciais.
Description
MÉTODO E APARELHO DE PROCESSAMENTO DE INFORMAÇÃO
CAMPO TÉCNICO [0001]
A presente invenção se refere ao campo de processamento de mídia de streaming (transmissão contínua) e, em particular, a um método e aparelho de processamento de informação.
ANTECEDENTES
I. Introdução à tecnologia de MPEG-DASH [0002]
Em novembro de 2011, a organização MPEG aprovou o padrão DASH. O padrão DASH (referido como a especificação técnica DASH abaixo, para abreviar) é uma especificação técnica para transmissão de um fluxo de mídia de acordo com o protocolo HTTP. A especificação DASH principalmente inclui duas partes: uma descrição de apresentação de mídia (em Inglês: Media Presentation Description, MPD) e um formato de arquivo de mídia (em Inglês: file format).
1. Formato de arquivo de mídia [0003] O formato de arquivo de mídia é um tipo de formato de arquivo. Em DASH, um servidor prepara uma pluralidade de versões de fluxos de bit para um mesmo conteúdo de vídeo, e cada versão de fluxo de bit é referida como uma representação (em Inglês: representation) no padrão DASH. A representação é um conjunto e uma encapsulação de um ou mais fluxos de bit em um formato de transmissão, e uma representação inclui um ou mais segmentos. Versões diferentes de fluxos de bit podem ter parâmetros de codificação diferentes, tais como taxas de bit e resoluções. Cada fluxo de bit é segmentado em uma pluralidade de arquivos pequenos, e cada arquivo pequeno é referido como um segmento
Petição 870190088422, de 06/09/2019, pág. 19/143
2/125 (ou referido como um segmento, em Inglês: segment) . Um cliente pode comutar entre representações de midia diferentes em um processo de requisição de dados de segmento de midia. 0 segmento pode ser encapsulado com base em um formato (um ISO BMFF (Base Media File Format)) no padrão ISO/IEC 14496-12, ou pode ser encapsulado com base em um formato (MPEG-2 TS) em ISO/IEC 13818-1.
2. Descrição de apresentação de mídia [0004] No padrão DASH, a descrição de apresentação de midia é referida como uma MPD, e a MPD pode ser um arquivo xml. Uma informação no arquivo é descrita de uma maneira hierárquica. Conforme mostrado na figura 1, toda informação em um nivel atual é herdada em um nivel seguinte. Alguns metadados de midia são descritos no arquivo. Os metadados podem permitir que o cliente entenda uma informação de conteúdo de midia no servidor, e o cliente pode usar a informação para construir um http-URL para requisição de um segmento.
[0005] No padrão DASH, uma apresentação de midia (em Inglês: media presentation) é um conjunto de dados estruturados que apresenta um conteúdo de midia. Uma descrição de apresentação de midia (em Inglês: media presentation description) é um arquivo que normativamente descreve uma apresentação de midia e é usado para a provisão de um serviço de midia de streaming. Um periodo (em Inglês: period) e um grupo de periodos consecutivos formam uma apresentação de midia inteira, e o periodo tem recursos contínuos e não de superposição. Na MPD, uma representação (em Inglês: representation) é um conjunto e uma encapsulação de uma informação de descrição de um ou mais fluxos de bit
Petição 870190088422, de 06/09/2019, pág. 20/143
3/125 em um formato de transmissão, e uma representação inclui um ou mais segmentos. Um conjunto de adaptação (em Inglês: Adaptation Set) representa um conjunto de uma pluralidade de versões de codificação mutuamente substituíveis de um mesmo componente de conteúdo de midia, e um conjunto de adaptação inclui uma ou mais representações. Um subconjunto (em Inglês: subset) é uma combinação de conjuntos de adaptação. Quando tocando todos os conjuntos de adaptação na combinação, um reprodutor pode obter um conteúdo de midia correspondente. Uma informação de segmento é uma unidade de midia referenciada por um localizador de recurso uniforme de HTTP na descrição de apresentação de midia. A informação de segmento descreve um segmento de dados de midia. 0 segmento dos dados de midia pode ser armazenado em um arquivo ou pode ser armazenado separadamente. Em uma maneira possível, a MPD armazena o segmento dos dados de mídia.
[0006] Para um conceito técnico relacionado da tecnologia de MPEG-DASH na presente invenção, faça uma referência às provisões relacionadas em ISO/IEC 23009-1: Information technology—Dynamic adaptive streaming over HTTP (DASH)—Part 1: Media presentation description and segment formats; ou faça uma referência a provisões relacionadas em uma versão de padrão histórica, tal como ISO/IEC 23009-1:2013 ou ISO/IEC 23009-1:2012
II. Introdução à tecnologia de realidade virtual (virtual reality, VR) [0007] A tecnologia de realidade virtual é um sistema de simulação em computador que pode criar um mundo virtual e tornar experimentado o mundo virtual. A tecnologia de realidade virtual gera um ambiente simulado pelo uso de um
Petição 870190088422, de 06/09/2019, pág. 21/143
4/125 computador, e é uma simulação de sistema fundido de informação de fonte múltipla de visão dinâmica tridimensional interativa e comportamento fisico. A tecnologia pode permitir que um usuário seja imerso no ambiente. VR inclui principalmente aspectos tais como ambiente simulado, percepção, uma habilidade natural e um dispositivo de detecção. 0 ambiente simulado é uma imagem realistica, tridimensional, dinâmica, em tempo real, gerada em computador. A percepção significa que uma VR ideal deve ter todos os tipos de percepção humana. Além da percepção visual gerada por uma tecnologia gráfica de computador, uma percepção, tais como uma sensação auditiva, uma sensação táctil, uma sensação de força e um movimento que também é incluído, e mesmo uma sensação olfativa, uma sensação de gosto e similares também são incluídos. Isto também é referido como percepção múltipla. A habilidade natural se refere ao movimento de cabeça ou olho de uma pessoa, um gesto ou um outro comportamento humano ou ação. 0 computador processa dados adequados para uma ação de um participante, cria uma resposta para uma entrada do usuário em tempo real, e separadamente retorna a resposta para os cinco órgãos sensitivos do usuário. 0 dispositivo de detecção é um dispositivo de interação tridimensional. Quando um vídeo de VR (ou um vídeo de 360 graus ou um vídeo omnidirecional (em Inglês: Omnidirectional video)) é apresentado em um dispositivo montado em cabeça e um dispositivo portátil, apenas parte de uma imagem de vídeo correspondente a uma orientação de cabeça de um usuário e áudio associado são apresentados.
[0008] Uma diferença entre um vídeo de VR e um vídeo
Petição 870190088422, de 06/09/2019, pág. 22/143
5/125 normal (em Inglês: normal video) está no fato de o conteúdo de vídeo inteiro no video normal ser apresentado a um usuário, mas um vídeo de VR que é quase apenas um subconjunto do vídeo inteiro é apresentado para o usuário (em Inglês: em VR, tipicamente apenas um subconjunto da região de vídeo inteira representada pelas imagens de vídeo).
III. Introdução à informação espacial [0009] Em um padrão existente, as descrições de informação espacial são conforme se segue: O esquema de SRD permite que autores de apresentação de mídia expressem relações espaciais entre objetos espaciais. Um objeto espacial é definido como uma parte espacial de um componente de conteúdo (por exemplo, uma região de interesse ou um título) e representado por um conjunto de adaptação ou uma sub-representação.
[0010] [Chinês]: Uma informação espacial é uma relação espacial (isto é, relações espaciais) entre objetos espaciais (isto é, objetos espaciais). Um objeto espacial é definido como um espaço parcial de um componente de conteúdo, por exemplo, uma região de interesse existente (em Inglês: region of interest, ROI), e um título. A relação espacial pode ser descrita em um conjunto de adaptação e uma subrepresentação. No padrão existente, uma informação espacial do objeto espacial pode ser descrita como uma MPD.
[0011] No documento de padrão ISO/IEC 14496-12 (2012), um arquivo inclui muitas caixas (boxes) e caixas completas (FullBox). Cada caixa inclui um cabeçalho (Header) e dados (Data) . Uma caixa completa é uma extensão de uma caixa. O cabeçalho inclui um comprimento (size) e um tipo (type) da caixa inteira. Quando size=0, significa que a caixa
Petição 870190088422, de 06/09/2019, pág. 23/143
6/125 é a última caixa no arquivo. Quando size=l, isto significa que mais bits são requeridos para a descrição do comprimento de caixa. Os dados são dados reais na caixa, e podem ser dados puros ou mais subcaixas.
[0012] No documento de padrão ISO/IEC 14496-12 (2012), uma caixa tref é usada para a descrição de uma relação entre trilhas (track) . Por exemplo, um arquivo MP4 inclui três trilhas de video (video), cujos IDs são respectivamente 2, 3 e 4, e três trilhas de áudio, cujos IDs são respectivamente 6, 7 e 8. Pode ser especificado em uma caixa tref para cada uma da trilha 2 e da trilha 6 que a trilha 2 e a trilha 6 são ligadas para tocarem.
[0013] Em provisões de um padrão atual, por exemplo, ISO/IEC 23000-20, um tipo de referência (reference_type) usado para uma referência entre uma trilha de conteúdo de midia e uma trilha de metadados é 'cdsc' . Por exemplo, se uma trilha de referência for obtida através de uma análise gramatical de uma trilha de video, e um tipo de referência for 'cdsc', isto indicará que a trilha de referência é a trilha de metadados usada para a descrição da trilha de video. Contudo, em uma aplicação real, há muitos tipos de metadados que descrevem conteúdo de midia, e tipos diferentes de metadados proveem diferentes métodos de uso para um usuário. Quando se usa um método existente, um cliente precisa analisar gramaticalmente todas as trilhas incluídas em um arquivo e, então, determinar, com base no tipo de referência usado para a referência entre a trilha de conteúdo de midia e a trilha de metadados, um atributo de uma trilha associada a um conteúdo de midia, de modo a se determinarem atributos incluídos na trilha de video, e uma experiência
Petição 870190088422, de 06/09/2019, pág. 24/143
7/125 provida para o usuário pelo uso de atributos diferentes. Em outras palavras, no método existente, se for requerido determinar uma operação que pode ser executada pelo cliente quando uma trilha de midia for apresentada, a operação poderá ser determinada, dependendo de a análise gramatical de todas as trilhas em um arquivo ser completada. Como resultado, a complexidade de um procedimento de implementação do cliente é aumentada.
[0014] Com um desenvolvimento crescente da tecnologia de realidade virtual (em Inglês: virtual reality, VR), crescentemente mais aplicações para visualização de um video de VR em um campo de visão de 360 graus ou similar são apresentadas para um usuário. Em um processo de visualização de um video de VR, o usuário pode mudar um campo de visão (em Inglês: field of vision, FOV) em qualquer momento, cada campo de visão sendo correspondente a dados de video de um objeto espacial (o qual pode ser entendido como uma região no video de VR), e uma imagem de video de VR apresentada no campo de visão do usuário também deve ser comutada conforme o campo de visão for comutado.
[0015] Na técnica anterior, quando um video de VR é apresentado, dados de video de objetos espaciais que podem cobrir campos de visão de olhos humanos são apresentados. Um objeto espacial visto por um usuário pode ser uma região de interesse selecionada pela maioria dos usuários, ou pode ser uma região especificada por um produtor de video, e a região muda constantemente com o tempo. Para a identificação de uma localização que é de um objeto espacial associado a dados de imagem e que está no video de VR, uma informação espacial usada para descrição da localização do objeto espacial no
Petição 870190088422, de 06/09/2019, pág. 25/143
8/125 vídeo de VR precisa ser encapsulada em um arquivo correspondente. Devido ao fato de dados de imagem em dados de vídeo serem correspondentes a uma grande quantidade de imagens, uma grande quantidade de informação espacial da grande quantidade de imagens causa um volume de dados excessivamente grande.
SUMÁRIO [0016] As modalidades da presente invenção proveem um método e um aparelho de processamento de informação de mídia de streaming, para diminuição de um volume de dados de informação espacial.
[0017] O objetivo precedente e outros objetivos são alcançados pelo uso de recursos nas reivindicações independentes. Outras implementações são refletidas nas reivindicações dependentes, no relatório descritivo e nos desenhos associados.
[0018] Um primeiro aspecto provê um método de processamento de informação de mídia de streaming, e o método inclui:
a obtenção de uma informação espacial alvo de um objeto espacial alvo, onde o objeto espacial alvo é um de dois objetos espaciais, os dois objetos espaciais são associados a dados de duas imagens que são compreendidos nos dados de vídeo alvos, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre uma respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais inclui a informação espacial de mesmo atributo; e
Petição 870190088422, de 06/09/2019, pág. 26/143
9/125 a determinação, com base na informação espacial alvo, de dados de vídeo que precisam ser reproduzidos.
[0019] Os dados de vídeo alvos podem ser um fluxo de bit, isto é, um fluxo de bit de vídeo alvo; ou podem ser dados originais que não são dados codificados ou reconstruídos obtidos através de reconstrução, isto é, uma sequência de vídeo alvo. Quando os dados de vídeo alvos são o fluxo de bit de vídeo alvo, os dados das duas imagens podem ser dados codificados das duas imagens. Quando os dados de
| vídeo alvos | são a | sequência | de | vídeo | alvo, os dados | das | duas |
| imagens são | dados | originais | ou | dados | ; reconstruídos | das | duas |
| imagens. | |||||||
| [0020] | As | duas imagens | podem estar | em | uma |
correspondência um para um com os dois objetos espaciais.
[0021] A informação espacial de mesmo atributo é um grupo de informações, e as respectivas informações espaciais dos dois objetos espaciais compartilham o grupo de informação.
[0022] A obtenção de uma informação espacial alvo de um objeto espacial alvo pode incluir: o recebimento da informação espacial alvo do objeto espacial alvo a partir de um servidor.
[0023] As duas imagens podem ser dois quadros em uma sequência de vídeo. Para se ser específico, as duas imagens são correspondentes a momentos diferentes; ou as duas imagens podem ser subimagens de um mesmo quadro em uma sequência de vídeo, isto é, as duas imagens são correspondentes a um mesmo momento; ou as duas imagens podem ser subimagens de quadros diferentes em uma sequência de vídeo.
[0024] Uma parte repetida entre a respectiva
Petição 870190088422, de 06/09/2019, pág. 27/143
10/125 informação espacial dos dois objetos espaciais é representada por um grupo de informações espaciais de mesmo atributo, para redução de redundância da informação espacial, desse modo se diminuindo um volume de dados da informação espacial.
[0025] A determinação, com base na informação espacial alvo, de dados de video que precisam ser reproduzidos pode incluir: a determinação, com base na informação espacial alvo, quanto a se o objeto espacial alvo inclui todos ou alguns objetos espaciais correspondentes a uma imagem que precisa ser reproduzida; e, quando o objeto espacial alvo inclui alguns ou todos os objetos espaciais correspondentes a uma imagem que precisa ser reproduzida, a determinação dos dados de video alvos como os dados de video que precisam ser reproduzidos.
[0026] A determinação, com base na informação espacial alvo, de dados de video que precisam ser reproduzidos pode incluir: a determinação, com base na informação espacial alvo e uma relação espacial (ou uma trilha de comutação de um campo de visão) entre o objeto espacial alvo e um objeto espacial correspondente a uma imagem que precisa ser reproduzida, uma informação espacial do objeto espacial (ou um objeto espacial obtido após o campo de visão ser comutado) correspondente à imagem que precisa ser reproduzida, de modo a se determinarem adicionalmente os dados de video que precisam ser reproduzidos. Especificamente, os dados de video que precisam ser reproduzidos podem ser um fluxo de bit de video que precisa ser reproduzido. Após a informação espacial alvo do objeto espacial alvo ser obtida, uma localização relativa do objeto
Petição 870190088422, de 06/09/2019, pág. 28/143
11/125 espacial alvo em um espaço panorâmico (ou referido como um objeto espacial panorâmico) pode ser determinada, e, então, uma localização do objeto espacial obtido após o campo de visão ser comutado pode ser determinada em um processo de exibição de video com base na informação espacial alvo do objeto espacial alvo e na trilha de comutação do campo de visão. Ainda, um fluxo de bit de video que precisa ser reproduzido e que é correspondente à imagem que precisa ser reproduzida é requisitado a partir do servidor. Em uma implementação especifica, uma requisição para obtenção do fluxo de bit de video que precisa ser reproduzido pode ser enviada para o servidor com base em uma informação, tal como um URL, que é de um fluxo de bit de cada objeto espacial descrito e que é descrito em uma MPD, de modo a se obter o fluxo de bit de video que precisa ser reproduzido, e decodificar e tocar o fluxo de bit de video que precisa ser reproduzido.
[0027] De acordo com o primeiro aspecto, em uma primeira implementação possivel do primeiro aspecto, a informação espacial alvo ainda inclui uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial alvo ainda inclui uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação de atributo diferente do outro objeto espacial.
[0028] Que a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação de atributo diferente do outro objeto espacial pode significar que os valores dos dois pedaços de informação
Petição 870190088422, de 06/09/2019, pág. 29/143
12/125 espacial de atributo diferente são diferentes.
[0029] De acordo com o primeiro aspecto ou a primeira implementação do primeiro aspecto, em uma segunda implementação possível do primeiro aspecto, a informação espacial alvo inclui uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda inclui uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0030] A informação espacial alvo também pode incluir uma informação de localização de um outro ponto de localização (um ponto esquerdo inferior, um ponto direito superior, um ponto direito inferior ou um ponto pré-regulado) no objeto espacial alvo no lugar da informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo.
[0031] O ponto esquerdo superior é um ponto cujos valor de coordenada horizontal e valor de coordenada vertical são, cada um, mínimos no objeto espacial alvo.
[0032] Quando um sistema de coordenadas correspondente à informação espacial alvo é um sistema de coordenadas angular, a informação de localização do ponto central ou a informação de localização do ponto esquerdo superior pode ser um ângulo de arfagem Θ (pitch) e um ângulo
| de guinada | ψ (yaw), | ou | pode ser | um ângulo | de | arfagem | Θ |
| (pitch), um | ângulo | de | guinada ψ | (yaw), e | um | ângulo | de |
| rolamento Φ | (roll). | Alternativamente, quando | um | sistema | de |
coordenadas correspondente à informação espacial alvo é um sistema de coordenadas de pixel, a informação de localização
Petição 870190088422, de 06/09/2019, pág. 30/143
13/125 do ponto central ou a informação de localização do ponto esquerdo superior pode ser uma coordenada horizontal em uma unidade de um pixel e uma coordenada vertical em uma unidade de um pixel.
[0033] De acordo com o primeiro aspecto ou a primeira implementação do primeiro aspecto, em uma terceira implementação possível do primeiro aspecto, a informação espacial alvo inclui uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
[0034] A informação espacial alvo também pode incluir uma informação de localização de um ponto direito superior do objeto espacial alvo e uma informação de localização de um ponto esquerdo inferior do objeto espacial alvo.
[0035] De acordo com qualquer um dentre o primeiro aspecto ou da primeira implementação do primeiro aspecto à terceira implementação do primeiro aspecto, em uma quarta implementação possível do primeiro aspecto, a informação espacial alvo inclui uma informação de rotação espacial do objeto espacial alvo.
[0036] A informação de rotação espacial do objeto espacial alvo pode ser usada para indicar um grau no qual o objeto espacial alvo roda em relação a um eixo de coordenada horizontal ou um eixo de coordenada vertical de um objeto espacial panorâmico, e o objeto espacial alvo é o objeto espacial panorâmico.
[0037] Quando o sistema de coordenadas correspondente à informação espacial alvo é um sistema de
Petição 870190088422, de 06/09/2019, pág. 31/143
14/125 coordenadas angular, a informação de rotação espacial pode ser um ângulo de rolamento Φ (roll). Alternativamente, quando o sistema de coordenadas correspondente à informação espacial alvo é um sistema de coordenadas de pixel, a informação de rotação espacial pode ser representada pelo uso de um vetor de movimento que é de um ponto de localização no objeto espacial alvo e que é obtido através de uma conversão pelo uso do ângulo de rolamento, e o vetor de movimento está em uma unidade de um pixel.
[0038] De acordo com qualquer um dentre o primeiro aspecto ou da primeira implementação do primeiro aspecto à quarta implementação do primeiro aspecto, em uma quinta implementação possível do primeiro aspecto, a informação espacial alvo é encapsulada em dados de informação espacial ou uma trilha de informação espacial (track) , os dados de informação espacial são um fluxo de bit dos dados de vídeo alvos, metadados dos dados de vídeo alvos, ou um arquivo independente dos dados de vídeo alvos, e a trilha de informação espacial é uma trilha independente dos dados de vídeo alvos.
[0039] O arquivo independente dos dados de vídeo alvos pode ser um arquivo de informação espacial usado para a descrição de uma informação espacial. A trilha independente dos dados de vídeo alvos pode ser uma trilha de informação espacial usada para descrição de uma informação espacial.
[0040] Quando a informação espacial alvo é encapsulada no fluxo de bit dos dados de vídeo alvos, o informação espacial alvo pode ser encapsulada em uma unidade de informação de melhoramento auxiliar ou uma unidade de regulagem de parâmetro no fluxo de bit dos dados de vídeo
Petição 870190088422, de 06/09/2019, pág. 32/143
15/125 alvos, ou a informação espacial alvo pode ser encapsulada em um segmento de uma representação na qual os dados de video alvos estão localizados. Especificamente, a informação espacial alvo pode ser encapsulada em uma caixa (por exemplo, uma caixa trun ou uma caixa thfd).
[0041] A informação espacial de mesmo atributo e a informação espacial de atributo diferente do objeto espacial alvo podem ser encapsuladas em uma mesma caixa, ou podem ser encapsuladas em caixas diferentes. Especificamente, a informação espacial de mesmo atributo pode ser encapsulada em uma caixa 3dsc, e informação espacial de atributo diferente do objeto espacial alvo pode ser encapsulada em uma caixa mdat.
[0042] De acordo com a quinta implementação do primeiro aspecto, em uma sexta implementação possível do primeiro aspecto, os dados de informação espacial ou a trilha de informação espacial ainda incluem um identificador de tipo de informação espacial usado para se indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para se indicar que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0043] Pode ser aprendido a partir de definições que a informação espacial de mesmo atributo e a informação espacial de atributo diferente do objeto espacial alvo são complementares. Portanto, quando o identificador de tipo de informação espacial é usado para indicar a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo, o identificador de tipo de informação espacial também pode ser usado para indicar uma
Petição 870190088422, de 06/09/2019, pág. 33/143
16/125 informação que está na informação espacial alvo e que pertence à informação espacial de atributo diferente do objeto espacial alvo.
[0044] O identificador de tipo de informação espacial também pode ser usado para indicar um tipo de informação espacial da informação espacial de mesmo atributo ou da informação espacial de atributo diferente do objeto espacial alvo. Um tipo de informação espacial opcional pode incluir, mas não está limitado a: uma informação espacial incluindo uma informação de localização de um objeto espacial alvo, mas não incluindo uma informação de largura e altura do objeto espacial, uma informação espacial incluindo uma informação de largura e altura de um objeto espacial, mas não incluindo uma informação de localização do objeto espacial, e uma informação espacial incluindo uma informação de largura e altura de um objeto espacial e uma informação de localização do objeto espacial.
[0045] O identificador de tipo de informação espacial também pode ser usado para indicar tipos de objeto espacial dos dois objetos espaciais. Um tipo de objeto espacial opcional pode incluir, mas não está limitado a: um objeto espacial cujas localização, largura e altura permanecem não modificadas, um objeto espacial cuja localização muda e cujas largura e altura permanecem não modificadas, um objeto espacial cuja localização permanece não modificado e cujas largura e altura mudam, e um objeto espacial cujas localização, largura e altura todas mudam.
[0046] Para a segunda implementação do primeiro aspecto, quando o identificador de tipo de informação espacial é um primeiro valor pré-regulado, o identificador
Petição 870190088422, de 06/09/2019, pág. 34/143
17/125 de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo, a largura do objeto espacial alvo e a altura do objeto espacial alvo. Quando o identificador de tipo de informação espacial é um segundo valor pré-regulado, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a largura do objeto espacial alvo e a altura do objeto espacial alvo. Quando o identificador de tipo de informação espacial é um terceiro valor pré-regulado, o identificador de tipo de informação espacial é usado para indicar que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo.
[0047] De forma correspondente, para a segunda implementação do primeiro aspecto, quando o identificador de tipo de informação espacial é o primeiro valor pré-regulado, o identificador de tipo de informação espacial ainda indica que nenhuma informação espacial de atributo diferente existe. Quando o identificador de tipo de informação espacial é o segundo valor pré-regulado, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é o terceiro valor pré-regulado, o
Petição 870190088422, de 06/09/2019, pág. 35/143
18/125 identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo, a largura do objeto espacial alvo e a altura do objeto espacial alvo.
[0048] Para a terceira implementação do primeiro aspecto, quando o identificador de tipo de informação espacial é um quarto valor pré-regulado, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto esquerdo superior do objeto espacial alvo e a informação de localização do ponto direito inferior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é um quinto valor pré-regulado o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto direito inferior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é um sexto valor pré-regulado, o identificador de tipo de informação espacial é usado para indicar que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo. Deve ser notado que a informação de localização do ponto esquerdo superior do objeto espacial alvo ou a informação de localização do ponto direito inferior do objeto espacial alvo pode ser substituída pela largura do objeto espacial alvo e a altura do objeto espacial alvo.
Petição 870190088422, de 06/09/2019, pág. 36/143
19/125 [0049] De forma correspondente, para a terceira implementação do primeiro aspecto, quando o identificador de tipo de informação espacial é o quarto valor pré-regulado, o identificador de tipo de informação espacial ainda indica que nenhuma informação espacial de atributo diferente existe. Quando o identificador de tipo de informação espacial é o quinto valor pré-regulado, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é o sexto valor pré-regulado, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto esquerdo superior do objeto espacial alvo e a informação de localização do ponto direito inferior do objeto espacial alvo. Deve ser notado que a informação de localização do ponto esquerdo superior do objeto espacial alvo ou a informação de localização do ponto direito inferior do objeto espacial alvo pode ser substituída pela largura do objeto espacial alvo e pela altura do objeto espacial alvo.
[0050] De acordo com a sexta implementação do primeiro aspecto, em uma sétima implementação possível do primeiro aspecto, quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui um valor mínimo da largura do objeto espacial alvo,
Petição 870190088422, de 06/09/2019, pág. 37/143
20/125 um valor mínimo da altura do objeto espacial alvo, um valor máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0051] De acordo com a sexta implementação do primeiro aspecto ou a sétima implementação do primeiro aspecto, em uma oitava implementação possível do primeiro aspecto, o identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0052] De acordo com qualquer uma da quinta implementação do primeiro aspecto à oitava implementação do primeiro aspecto, em uma nona implementação possível do primeiro aspecto, os dados de informação espacial ou a trilha de informação espacial ainda incluem um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
[0053] Quando o sistema de coordenadas é um sistema de coordenadas de pixel, a informação de localização é representada por uma unidade de um pixel, e a largura e a altura também são representadas em uma unidade de um pixel. Quando o sistema de coordenadas é um sistema de coordenadas angular, a informação de localização é representada por um ângulo. Por exemplo, a informação de localização pode ser um ângulo de arfagem Θ (pitch) e um ângulo de guinada ψ (yaw), ou pode ser um ângulo de arfagem Θ (pitch) , um ângulo de guinada ψ (yaw), e um ângulo de rolamento Φ (roll) . A largura e a altura são usadas, cada uma, para a representação de uma faixa de ângulo pelo uso de um ângulo.
Petição 870190088422, de 06/09/2019, pág. 38/143
21/125 [0054] De acordo com a nona implementação do primeiro aspecto, em uma décima implementação possível do primeiro aspecto, o identificador de sistema de coordenadas e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0055] De acordo com qualquer uma da quinta implementação do primeiro aspecto à décima implementação do primeiro aspecto, em uma décima primeira implementação possível do primeiro aspecto, os dados de informação espacial ou a trilha de informação espacial ainda incluem um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
[0056] O identificador de informação de rotação espacial e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa, ou o identificador de informação de rotação espacial e a informação espacial de atributo diferente do objeto espacial alvo podem ser encapsulados em uma mesma caixa. Especificamente, em um caso no qual o identificador de informação de rotação espacial e a informação espacial de atributo diferente do objeto espacial alvo são encapsulados em uma mesma caixa, quando o identificador de informação de rotação espacial indica que a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo, a informação espacial de atributo diferente do objeto espacial alvo inclui a informação de rotação espacial.
[0057] Quando o identificador de informação de rotação espacial indica que a informação espacial alvo inclui
Petição 870190088422, de 06/09/2019, pág. 39/143
22/125 a informação de rotação espacial do objeto espacial alvo, ele indica que o objeto espacial alvo roda. Quando o identificador de informação de rotação espacial indica que o objeto espacial alvo não inclui a informação de rotação espacial do objeto espacial alvo, ele indica que o objeto espacial alvo não roda.
[0058] Um segundo aspecto provê um método de processamento de informação de midia de streaming, e o método inclui:
a obtenção de uma respectiva informação espacial de dois objetos espaciais que estão associados a dados de duas imagens que estão nos dados de video alvos; e a determinação de uma informação espacial alvo de um objeto espacial alvo com base na respectiva informação espacial dos dois objetos espaciais, onde o objeto espacial alvo é um de dois objetos espaciais, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre a respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais inclui a informação espacial de mesmo atributo, onde o método ainda pode incluir: o envio da informação espacial alvo para um cliente.
[0059] De acordo com o segundo aspecto, em uma primeira implementação possivel do segundo aspecto, a informação espacial alvo ainda pode incluir uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial ainda pode
Petição 870190088422, de 06/09/2019, pág. 40/143
23/125 incluir uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação espacial de atributo diferente do outro objeto espacial.
[0060] De acordo com o segundo aspecto ou a primeira implementação do segundo aspecto, em uma segunda implementação possivel do segundo aspecto, a informação espacial alvo pode incluir uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda pode incluir uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0061] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma informação de localização dos respectivos pontos centrais dos dois objetos espaciais ou uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais, e a respectiva informação espacial dos dois objetos espaciais ainda pode incluir respectivas larguras dos dois objetos espaciais e respectivas alturas dos dois objetos espaciais.
[0062] De acordo com o segundo aspecto ou a primeira implementação do segundo aspecto, em uma terceira implementação possivel do segundo aspecto, em uma terceira implementação possivel do segundo aspecto, a informação espacial alvo pode incluir uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
Petição 870190088422, de 06/09/2019, pág. 41/143
24/125 [0063] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais e uma informação de localização de respectivos pontos direitos inferiores dos dois objetos espaciais.
[0064] De acordo com qualquer um dentre o segundo aspecto ou da primeira implementação do segundo aspecto à terceira implementação do segundo aspecto, em uma quarta implementação possível do segundo aspecto, a informação espacial alvo pode incluir uma informação de rotação espacial do objeto espacial alvo.
[0065] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma respectiva informação de rotação espacial dos dois objetos espaciais.
[0066] De acordo com qualquer um dentre o segundo aspecto ou da primeira implementação do segundo aspecto à quarta implementação do segundo aspecto, em uma quinta implementação possível do segundo aspecto, a informação espacial alvo pode ser encapsulada em dados de informação espacial ou uma trilha de informação espacial (track) , os dados de informação espacial podem ser um fluxo de bit dos dados de vídeo alvos, metadados dos dados de vídeo alvos, ou um arquivo independente dos dados de vídeo alvos, e a trilha de informação espacial pode ser uma trilha independente dos dados de vídeo alvos.
[0067] De acordo com a quinta implementação do segundo aspecto, em uma sexta implementação do segundo aspecto, os dados de informação espacial ou a trilha de
Petição 870190088422, de 06/09/2019, pág. 42/143
25/125 informação espacial ainda pode incluir um identificador de tipo de informação espacial usado para indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para indicar uma informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0068] De acordo com a sexta implementação do segundo aspecto, em uma sétima implementação possível do segundo aspecto, quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma
| informação | pertencente | à informação | espacial de | mesmo | ||
| atributo, | a informação | espacial | de | mesmo | atributo | pode |
| incluir um | valor mínimo | da largura | do | objeto | espacial | alvo, |
| um valor mínimo da altura do objeto | espacial | alvo, um | valor |
máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0069] De acordo com a sexta implementação do segundo aspecto ou a sétima implementação do segundo aspecto, em uma oitava implementação possível do segundo aspecto, o identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0070] De acordo com qualquer uma da quinta implementação do segundo aspecto à oitava implementação do segundo aspecto, em uma nona implementação possível do segundo aspecto, os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel
Petição 870190088422, de 06/09/2019, pág. 43/143
26/125 ou um sistema de coordenadas angular.
[0071]
De acordo com a nona implementação do segundo aspecto, em uma décima implementação possivel do segundo aspecto, o identificador de sistema de coordenadas e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0072]
De acordo com qualquer uma da quinta implementação do segundo aspecto à décima implementação do segundo aspecto, em uma décima primeira implementação possivel do segundo aspecto, os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
[0073] Um terceiro aspecto provê um aparelho de processamento de informação de midia de streaming, e o aparelho inclui:
um módulo de obtenção, configurado para a obtenção de uma informação espacial alvo de um objeto espacial alvo, onde o objeto espacial alvo é um de dois objetos espaciais, os dois objetos espaciais são associados a dados de duas imagens que são compreendidos nos dados de video alvos, a informação espacial alvo compreende uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo compreende uma mesma informação entre uma respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais compreende a informação espacial de mesmo atributo; e
Petição 870190088422, de 06/09/2019, pág. 44/143
27/125 um módulo de determinação, configurado para a determinação, com base na informação espacial alvo, de dados de video a serem reproduzidos, onde o módulo de obtenção pode ser configurado para receber a informação espacial alvo a partir de um servidor.
[0074] De acordo com o terceiro aspecto, em uma primeira implementação possivel do terceiro aspecto, a informação espacial alvo ainda inclui uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial alvo ainda incluir uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação de atributo diferente do outro objeto espacial.
[0075] De acordo com o terceiro aspecto ou a primeira implementação do terceiro aspecto, a informação espacial alvo inclui uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda compreende uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0076] De acordo com o terceiro aspecto ou a primeira implementação do terceiro aspecto, em uma terceira implementação possivel do terceiro aspecto, a informação espacial alvo inclui uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
[0077] De acordo com qualquer um dentre o terceiro aspecto ou da primeira implementação do terceiro aspecto à
Petição 870190088422, de 06/09/2019, pág. 45/143
28/125 terceira implementação do terceiro aspecto, em uma quarta implementação possível do terceiro aspecto, a informação espacial alvo inclui uma informação de rotação espacial do objeto espacial alvo.
[0078] De acordo com qualquer um dentre o terceiro aspecto ou da primeira implementação do terceiro aspecto à quarta implementação do terceiro aspecto, em uma quinta implementação possível do terceiro aspecto, a informação espacial alvo é encapsulada em dados de informação espacial ou uma trilha de informação espacial (track), os dados de informação espacial são um fluxo de bit dos dados de vídeo alvos, metadados dos dados de vídeo alvos, ou um arquivo independente dos dados de vídeo alvos, e a trilha de informação espacial é uma trilha independente dos dados de vídeo alvos.
[0079] De acordo com a quinta implementação do terceiro aspecto, em uma sexta implementação possível do terceiro aspecto, os dados de informação espacial ou a trilha de informação espacial ainda incluem um identificador de tipo de informação espacial usado para se indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para se indicar que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0080] De acordo com a sexta implementação do terceiro aspecto, em uma sétima implementação possível do terceiro aspecto, quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo, a informação espacial de mesmo atributo
Petição 870190088422, de 06/09/2019, pág. 46/143
29/125 inclui um valor minimo da largura do objeto espacial alvo, um valor minimo da altura do objeto espacial alvo, um valor máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0081] De acordo com a sexta implementação do terceiro aspecto ou a sétima implementação do terceiro aspecto, em uma oitava implementação possivel do terceiro aspecto, o identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0082] De acordo com qualquer uma da quinta implementação do terceiro aspecto à oitava implementação do terceiro aspecto, em uma nona implementação possivel do terceiro aspecto, os dados de informação espacial ou a trilha de informação espacial ainda incluem um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
[0083] De acordo com a nona implementação do terceiro aspecto, em uma décima implementação possivel do terceiro aspecto, o identificador de sistema de coordenadas e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0084] De acordo com qualquer uma da quinta implementação do terceiro aspecto à décima implementação do terceiro aspecto, em uma décima primeira implementação possivel do terceiro aspecto, os dados de informação espacial ou a trilha de informação espacial ainda incluem um identificador de informação de rotação espacial, e o
Petição 870190088422, de 06/09/2019, pág. 47/143
30/125 identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
| [0085] | Um | quarto aspecto provê | um aparelho | de |
| processamento | de | informação de mídia de | streaming, e | o |
| aparelho inclui: | ||||
| um módulo | de | obtenção, configurado para a obtenção | de |
uma respectiva informação espacial de dois objetos espaciais que estão associados a dados de duas imagens que estão em dados de video alvos; e um módulo de determinação, configurado para a determinação da informação espacial alvo de um objeto espacial alvo com base na respectiva informação espacial dos dois objetos espaciais que é obtida pelo módulo de obtenção, onde o objeto espacial alvo é um de dois objetos espaciais, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre a respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo no dois objetos espaciais inclui a informação espacial de mesmo atributo, onde o aparelho ainda pode incluir um módulo de envio, configurado para o envio da informação espacial alvo determinada pelo módulo de determinação para um cliente.
[0086] De acordo com o quarto aspecto, em uma primeira implementação possível do quarto aspecto, a informação espacial alvo ainda pode incluir uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial ainda inclui
Petição 870190088422, de 06/09/2019, pág. 48/143
31/125 uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação espacial de atributo diferente do outro objeto espacial.
[0087] De acordo com o quarto aspecto ou a primeira implementação do quarto aspecto, em uma segunda implementação possível do quarto aspecto, a informação espacial alvo pode incluir uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda pode incluir uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0088] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma informação de localização dos respectivos pontos centrais dos dois objetos espaciais ou uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais, e a respectiva informação espacial dos dois objetos espaciais ainda pode incluir respectivas larguras dos dois objetos espaciais e respectivas alturas dos dois objetos espaciais.
[0089] De acordo com o quarto aspecto ou a primeira implementação do quarto aspecto, em uma terceira implementação possível do quarto aspecto, a informação espacial alvo pode incluir uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
[0090] De forma correspondente, a respectiva
Petição 870190088422, de 06/09/2019, pág. 49/143
32/125 informação espacial dos dois objetos espaciais pode incluir uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais e uma informação de localização de respectivos pontos direitos inferiores dos dois objetos espaciais.
[0091] De acordo com qualquer um dentre o quarto aspecto ou da primeira implementação do quarto aspecto à terceira implementação do quarto aspecto, em uma quarta implementação possível do quarto aspecto, a informação espacial alvo pode incluir uma informação de rotação espacial do objeto espacial alvo.
[0092] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma respectiva informação de rotação espacial dos dois objetos espaciais.
[0093] De acordo com qualquer um dentre o quarto aspecto ou da primeira implementação do quarto aspecto à quarta implementação do quarto aspecto, em uma quinta implementação possível do quarto aspecto, a informação espacial alvo pode ser encapsulada em dados de informação espacial ou uma trilha de informação espacial (track), os dados de informação espacial podem ser um fluxo de bit dos dados de video alvos, metadados dos dados de vídeo alvos, ou um arquivo independente dos dados de vídeo alvos, e a trilha de informação espacial pode ser uma trilha independente dos dados de vídeo alvos.
[0094] De acordo com a quinta implementação do quarto aspecto, em uma sexta implementação do quarto aspecto, os dados de informação espacial ou a trilha de informação espacial ainda pode incluir um identificador de tipo de
Petição 870190088422, de 06/09/2019, pág. 50/143
33/125 informação espacial usado para indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para indicar uma informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0095] De acordo com a sexta implementação do quarto aspecto, em uma sétima implementação possivel do quarto aspecto, quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo, a informação espacial de mesmo atributo pode incluir um valor minimo da largura do objeto espacial alvo, um valor minimo da altura do objeto espacial alvo, um valor máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0096] De acordo com a sexta implementação do quarto aspecto ou a sétima implementação do quarto aspecto, em uma oitava implementação possivel do quarto aspecto, o identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0097] De acordo com qualquer uma da quinta implementação do quarto aspecto à oitava implementação do quarto aspecto, em uma nona implementação possivel do quarto aspecto, os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
Petição 870190088422, de 06/09/2019, pág. 51/143
34/125 [0098] De acordo com a nona implementação do quarto aspecto, em uma décima implementação possível do quarto aspecto, o identificador de sistema de coordenadas e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0099] De acordo com qualquer uma da quinta implementação do quarto aspecto à décima implementação do quarto aspecto, em uma décima primeira implementação possível do quarto aspecto, os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
[0100] Um quinto aspecto provê um aparelho de processamento de informação de mídia de streaming, e o aparelho inclui um processador e uma memória. A memória é configurada para armazenar um código, e o processador lê o código armazenado na memória, para execução do método provido no primeiro aspecto.
[0101] Um sexto aspecto provê um meio de armazenamento em computador, e o meio de armazenamento em computador é configurado para armazenar uma instrução de software de computador executada pelo processador no quinto aspecto, para execução do método provido no primeiro aspecto.
[0102] Um sétimo aspecto provê um aparelho de processamento de informação de mídia de streaming, e o aparelho inclui um processador e uma memória. A memória é configurada para armazenar um código, e o processador lê o código armazenado na memória, para execução do método provido
Petição 870190088422, de 06/09/2019, pág. 52/143
35/125 no segundo aspecto.
[0103] Um oitavo aspecto provê um meio de armazenamento em computador, e o meio de armazenamento em computador é configurado para armazenar uma instrução de software de computador executada pelo processador no sétimo aspecto, para execução do método provido no segundo aspecto.
[0104] Em uma implementação possível das modalidades da presente invenção, uma maneira de descrição de um tipo de referência (reference type) de uma referência entre dados de mídia e metadados é exposta. Com base em um tipo de referência estipulado em um padrão de rascunho existente, tipos de referência diferentes são definidos para diferentes métodos para uso de metadados, de modo a se ajudar um cliente a executar um processamento correspondente com base em um tipo de referência.
[0105] Em uma implementação possível das modalidades da presente invenção, o tipo de referência da referência entre os dados de mídia e os metadados é armazenado em uma trilha de dados de mídia (track) ou uma trilha de metadados. Em uma implementação possível, o tipo de referência da referência entre os dados de mídia e os metadados é transmitido em uma forma de uma caixa (box). Para definições relacionadas de uma trilha e uma caixa, faça uma referência a provisões relacionadas no padrão MPEG-DASH existente e ISO/IEC 14496-12. Os detalhes não são descritos aqui de novo. Em um exemplo, uma informação sobre o tipo de referência pode ser armazenada em uma caixa tref.
[0106] Em uma implementação possível das modalidades da presente invenção, os dados de mídia são dados de vídeo, e o tipo de referência da referência entre os dados de mídia
Petição 870190088422, de 06/09/2019, pág. 53/143
36/125 e metadados é armazenado em uma trilha de vídeo. Por exemplo, a caixa tref é armazenada em metadados que descrevem a trilha de vídeo.
[0107] Em um exemplo, uma trilha incluindo a caixa tref é uma trilha de vídeo referenciada e é associada à trilha de metadados pelo uso do tipo de referência que é da referência entre os dados de mídia e os metadados e que está na caixa tref. A trilha de metadados referenciada pode ser determinada pelo uso de um ID de trilha.
[0108] Em uma implementação possível das modalidades da presente invenção, o tipo de referência pode ser usado para a descrição de um ou mais pedaços da informação a seguir:
uma região de interesse (region of interest, ROI) nos dados de mídia, uma região espacial coberta pelos dados de mídia, uma informação de qualidade associada à ROI nos dados de mídia, e uma informação de qualidade associada à região espacial coberta pelos dados de mídia.
[0109] Em um exemplo das modalidades da presente invenção, o tipo de referência pode ser usado para a descrição de um ou mais pedaços da informação a seguir:
uma informação de localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de mídia e que está em uma esfera, em um plano 2D ou uma imagem mapeada; ou uma informação de localização espacial que é de uma região coberta pelos dados de mídia e que está em uma esfera, em um plano 2D ou em uma imagem mapeada; ou uma informação de qualidade espacial da ROI ou da região
Petição 870190088422, de 06/09/2019, pág. 54/143
37/125 coberta .
[0110] A informação de ROI precedente é incluida em uma trilha de metadados temporizada da ROI, e a informação de qualidade é incluída em uma trilha de metadados temporizada de qualidade.
[0111] Em um exemplo das modalidades da presente invenção, uma caixa 'tref' da trilha de dados de mídia inclui o tipo de referência representando a referência entre os dados de mídia e os metadados. O tipo de referência pode ser usado para a descrição de um ou mais pedaços da informação a seguir: uma informação de localização espacial 2D de uma região de interesse (region of interest, ROI) em um objeto espacial correspondente aos dados de mídia, uma informação de localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de mídia e que está em uma esfera, uma informação de localização espacial que é de uma ROI em um objeto espacial correspondente aos dados e mídia e que está em uma imagem mapeada, uma informação de localização espacial 2D de um objeto espacial correspondente aos dados de mídia, uma informação de localização espacial que é de um objeto espacial correspondente aos dados e mídia e que em uma esfera, uma informação de localização espacial que é de um objeto espacial correspondente aos dados de mídia e que em uma imagem mapeada, uma informação de qualidade de uma localização espacial 2D de uma ROI em um objeto espacial correspondente aos dados de mídia, uma informação de qualidade de uma localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de mídia e que está em uma esfera, uma informação de qualidade de uma localização espacial que é de uma ROI em um objeto espacial
Petição 870190088422, de 06/09/2019, pág. 55/143
38/125 correspondente aos dados de mídia e que está em uma imagem mapeada, uma informação de qualidade de uma localização espacial 2D de um objeto espacial correspondente aos dados de midia, uma informação de qualidade de uma localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma esfera, ou uma informação de qualidade de uma localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma imagem mapeada.
[0112] Em um exemplo das modalidades da presente invenção, um valor do tipo de referência é rois, indicando que uma trilha de referência inclui uma informação de região da ROI em uma esfera (esta trilha contém a informação de região da ROI na esfera) . A informação de região da ROI é uma região espacial que descreve uma imagem correspondente a uma amostra em uma trilha de video referenciada. O cliente pode obter a informação de região da ROI pela análise gramatical de uma amostra em uma trilha de metadados temporizada da ROI, e apresentar, pelo uso da informação de ROI, uma ROI da imagem correspondente à amostra na trilha de video referenciada (o cliente pode usar a amostra nesta trilha para renderizar a ROI na esfera).
[0113] Em um exemplo das modalidades da presente invenção, um valor do tipo de referência é roiq, indicando que uma trilha referenciada inclui uma informação de qualidade de uma ROI que é de uma imagem correspondente a uma amostra em uma trilha de video referenciada e que está em uma esfera (esta trilha contém a informação de qualidade da ROI na esfera para a trilha de video referenciada) . O cliente pode obter uma qualidade da ROI dos dados de video
Petição 870190088422, de 06/09/2019, pág. 56/143
39/125 referenciados pela análise gramatical de uma amostra em uma trilha de metadados temporizados de qualidade (o cliente pode usar a amostra nesta trilha para conhecer a qualidade do objeto de ROI na esfera).
[0114] Em um exemplo das modalidades da presente invenção, um valor do tipo de referência é conc, indicando que uma trilha referenciada inclui uma informação de cobertura que é de uma imagem correspondente a uma amostra em uma trilha de video e que está em uma esfera (esta trilha provê uma informação na área da superfície esférica para a trilha de vídeo referenciada). A trilha de metadados referenciados pode ser uma trilha de metadados temporizados de ponto de vista recomendado (esta trilha pode ser uma trilha de metadados temporizados de ponto de vista recomendado), e a trilha de vídeo referenciada pode ser uma trilha de vídeo em um campo de visão de um diretor (a trilha de vídeo referenciada pode ser uma trilha de vídeo de corte de diretor).
[0115] Em um exemplo das modalidades da presente invenção, uma correspondência entre um valor e uma informação descrita que é de um tipo de referência (reference_type) é mostrada a seguir:
Tabela 1
| Valor de reference type | Relação de referência descrita |
| ri2d | Uma trilha de metadados associados a dados de mídia é uma trilha de informação espacial, e uma amostra na trilha descreve uma informação de localização espacial 2D de uma ROI em um objeto |
Petição 870190088422, de 06/09/2019, pág. 57/143
40/125
| espacial correspondente aos dados de midia | |
| rois | Uma trilha de metadados associados a dados de midia é uma trilha de informação espacial, e uma amostra na trilha descreve uma informação de localização espacial de uma ROI em um objeto espacial correspondente aos dados de midia e que está em uma esfera |
| ri2p | Uma trilha de metadados associados a dados de midia é uma trilha de informação espacial, e uma amostra na trilha descreve uma informação de localização espacial de uma ROI em um objeto espacial correspondente aos dados de midia e que está em uma imagem mapeada |
| cv2d | Uma trilha de metadados associados a dados de midia é uma trilha de informação espacial, e uma amostra na trilha descreve uma informação de localização espacial 2D de um objeto espacial correspondente aos dados de midia |
| cvsp | Uma trilha de metadados associados a dados de midia é uma trilha de informação espacial, e uma amostra na trilha descreve informação de localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma esfera |
Petição 870190088422, de 06/09/2019, pág. 58/143
41/125
| cv2p | Uma trilha de metadados associados a dados de midia é uma trilha de informação espacial, e uma amostra na trilha descreve informação de localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma imagem mapeada |
[0116] Nas modalidades da presente invenção, no lado de servidor, quando dados de midia encapsulam uma sintaxe de uma caixa 'tref', um tipo de referência de uma referência entre os dados de midia e metadados que têm uma referência com os dados de midia é encapsulado. Após o cliente analisar gramaticalmente os dados de uma trilha de midia, pelo uso da informação descrita no tipo de referência da referência entre os dados de midia e os metadados, o cliente pode aprender que um processamento pode ser executado nos dados de video. Neste método, a análise gramatical de trilhas pode ser desacoplada de cada outra, e a complexidade em um procedimento de implementação do cliente é reduzida. O cliente pode requisitar dados de trilha correspondentes de acordo com diferentes exigências de processamento.
[0117] A ROI nas modalidades da presente invenção pode ser um campo de visão, ou pode ser um campo recomendado de visão, por exemplo, um campo de visão de um autor.
[0118] Em uma modalidade da presente invenção, o campo de visão ou o campo de visão recomendado pode ser uma área de cobertura, e a área de cobertura é uma região espacial de um objeto espacial correspondente a dados de midia.
[0119] Em uma implementação das modalidades da
Petição 870190088422, de 06/09/2019, pág. 59/143
42/125 presente invenção, uma trilha de dados de mídia inclui um tipo de referência de uma referência entre os dados de mídia e os metadados que têm uma relação de referência com os dados de mídia. 0 tipo de referência pode descrever uma localização espacial 2D de uma ROI em um objeto espacial correspondente aos dados de mídia, uma localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de mídia e que está em uma esfera, ou uma localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de mídia e que está em uma imagem mapeada.
[0120] Em um exemplo específico, a trilha de dados de mídia inclui uma caixa 'tref'.
[0121] Um valor de reference_type na caixa 'tref' é ri2d, e o valor indica que os dados de mídia estão associados a uma trilha de metadados temporizados da ROI. Uma amostra (sample) na trilha na ROI é uma informação de localização espacial da ROI no objeto espacial correspondente aos dados de mídia, e a informação de localização 2D pode ser uma localização definida no padrão existente ISO/IEC 23001-10.
[0122] Alternativamente, um valor de reference_type é rois, e uma amostra (sample) em uma trilha na ROI é uma informação de localização espacial que é da ROI no objeto espacial correspondente aos dados de mídia e que é na esfera. A informação de localização espacial na esfera pode ser uma amostra que está em uma trilha de metadados temporizados na esfera e que é definida no padrão existente ISO/IEC 2300020 .
[0123] Alternativamente, um valor de reference_type é ri2p, e o valor indica que os dados de mídia estão associados a uma trilha de metadados temporizados da ROI.
Petição 870190088422, de 06/09/2019, pág. 60/143
43/125
Uma amostra (sample) em uma trilha na ROI é uma informação de localização espacial que é da ROI no objeto espacial correspondente aos dados de midia e que está na imagem mapeada.
[0124] Em um exemplo correspondente, pode haver as maneiras de processamento a seguir do cliente:
1. O cliente analisa gramaticalmente uma trilha de dados de midia para a obtenção de uma caixa 'tref' na trilha, onde um ID de trilha (o qual pode ser qualquer inteiro não nulo) da trilha de dados de midia é 1; e obtém, a partir da caixa 'tref', uma trilha referenciada cujo valor reference_type é 'ri2d', 'rois' ou 'ri2p', onde um ID de trilha (o qual pode ser qualquer inteiro não nulo) da trilha referenciada é 2.
2. O cliente determina, com base em 'ri2d', que a trilha cujo ID de trilha é 2 descreve uma informação de localização espacial de uma ROI em um objeto espacial correspondente aos dados de midia; ou determina, com base em 'rois', que a trilha cujo ID de trilha é 2 descreve uma informação de localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de midia e que está em uma esfera; ou determina, com base em 'ri2p' que a trilha cujo ID de trilha é 2 descreve uma informação de localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de midia e que está em uma imagem mapeada.
3. O cliente pode prover uma opção de ROI em uma interface de usuário, e um usuário escolhe se é para ver um conteúdo na ROI; e, se o usuário escolher ver o conteúdo na ROI, o cliente apresentará o conteúdo na ROI; ou o cliente apresentará diretamente o conteúdo na ROI.
Petição 870190088422, de 06/09/2019, pág. 61/143
44/125
4. Antes de o cliente precisar apresentar o conteúdo na ROI, o cliente analisa gramaticalmente uma trilha de metadados temporizados cujo ID de trilha = 2, para a obtenção de uma informação de localização espacial da ROI a partir da trilha, e intercepta o conteúdo na ROI a partir de um conteúdo de video com base na informação de localização espacial, e apresenta o conteúdo na ROI. Um tipo de metadados referenciado pela trilha é claramente descrito em metadados de tref na trilha, de modo que uma análise gramatical de trilhas executada pelo cliente seja desacoplada de cada outra, e a complexidade em um procedimento de implementação do cliente é reduzida.
[0125] Em uma implementação possivel das modalidades da presente invenção, conforme mostrado na figura 17, uma informação de cobertura descreve uma região na qual um conteúdo de midia de uma trilha atual é capturado em um conteúdo de video de fonte inteiro. A região pode ser uma região em uma esfera de VR, pode ser uma região em uma imagem 2D, ou pode ser uma região capturada após uma esfera ser mapeada para uma imagem 2D. Conforme descrito na figura 17, uma informação de localização espacial em um gráfico pequeno à direita na figura 17 (a) é uma informação de cobertura do gráfico pequeno em um gráfico grande à esquerda. Em um gráfico esférico (17(a)), uma região capturada na esfera para uma região cinza é uma área de cobertura da região cinza. Uma descrição de um tipo de referência em uma trilha de midia na área de cobertura é adicionada a uma caixa 'tref'. Uma informação de descrição indica que os metadados são uma informação de localização espacial 2D de um objeto espacial correspondente a dados de midia, ou uma informação
Petição 870190088422, de 06/09/2019, pág. 62/143
45/125 de localização espacial que é de um objeto espacial correspondente a dados de mídia e que está em uma esfera, ou uma informação de localização espacial que é de um objeto espacial correspondente a dados de mídia e que está em uma imagem mapeada.
[0126] Em uma maneira possível das modalidades da presente invenção, a informação de cobertura é descrita pelo uso de uma caixa. Um exemplo específico é mostrado abaixo:
Caixa de informação de cobertura
Tipo de caixa: 'covi'
Recipiente: caixa de vídeo omnidirecional projetada ( 'povd')
Obrigatória: não
Quantidade: zero ou um [0127] Em um exemplo, a caixa provê uma informação em uma região em uma esfera representada por um quadro projetado associado a um recipiente
ProjctedOmnidirectionalVideoBox. (Esta caixa provê uma informação sobre a área na superfície esférica que é representada pelo quadro projetado associado ao recipiente ProjctedOmnidirectionalVideoBox). Se os dados não tiverem nenhuma caixa representando a informação de cobertura, isto indicará que o quadro projetado é uma representação correspondente à esfera inteira (a ausência desta caixa indica que o quadro projetado é uma representação da esfera inteira).
[0128] Quando um formato de projeção é uma projeção equiangular, uma região esférica representada pelo quadro projetado é uma região especificada por dois círculos de guinada e dois círculos de arfagem, conforme mostrado na
Petição 870190088422, de 06/09/2019, pág. 63/143
46/125 figura 10 (quando o formato de projeção é a projeção equirretangular, a região esférica representada pelo quadro projetado é a região especificada por dois círculos de guinada e dois círculos de arfagem, conforme ilustrado na figura 10).
[0129] Em um exemplo das modalidades da presente invenção, a informação de cobertura é descrita da maneira a seguir:
aligned(8) class CoveragelnformationBox extends
FullBox('covi', version = 0, flags) { unsigned int(l) dynamic_range_flag;
if (dynamic_range_flag == 0) { unsigned int(8) shape_type;
bit (7) reserved = 0;
unsigned int(16) static_hor_range;
unsigned int(16) static_ver_range;
} }
} [0130] Um elemento hor_range e um elemento ver_range
| especificam | faixas | horizontal e | vertical | de | uma | imagem | que | |
| é correspondente a | uma | amostra | (sample) | em | uma | trilha | de | |
| vídeo e que | está em | uma | esfera, e | pode ser | em | uma | unidade | de |
| a 0,01 grau | ||||||||
| [0131] | Em | um | exemplo, | hor_range | e | ver_range |
especificam uma faixa de um ponto central de uma região. Uma faixa de hor_range deve ser de 1 a 3 6000, uma faixa de ver_range deve ser de 1 a 36000. center_pitch+ver_range+2 não é maior do que 18000, e center_pitch-ver_range+2 não é maior do que -18000. (hor_range e ver_range especificam a
Petição 870190088422, de 06/09/2019, pág. 64/143
47/125 faixa através do ponto central da região. hor_range deve estar na faixa de 1 a 36000, inclusive. ver_range deve estar na faixa de 1 a 36000, inclusive. center_pitch+ver_range4-2 não deve ser maior do que 18000. center_pitch-ver_range4-2 não deve ser menor do que -18000).
[0132] Em um exemplo das modalidades da presente invenção, quando um valor de dynamic_range_flag é igual a 0, isto indica que as faixas horizontal e vertical correspondentes a todas as amostras em uma entrada de amostra permanecem não modificadas (dynamic_range_flag igual a 0 especifica que as faixas horizontal e vertical da região permanecem não modificadas em todas as amostras se referindo a esta entrada de amostra). Neste caso, faixas, horizontal e vertical ranges que são de imagens correspondentes a estas amostras e que estão em uma esfera podem ser descritas em dados da entrada de amostra.
[0133] Em um exemplo das modalidades da presente invenção, quando um valor de dynamic_range_flag é igual a 1, isto indica que as faixas horizontal e vertical correspondentes à amostra são descritas em um formato de amostra (dynamic_range_flag igual a 1 especifica que as faixas horizontal e vertical da região são indicadas no formato de amostra).
[0134] Em um exemplo das modalidades da presente invenção, uma trilha de informação de cobertura é usada para a descrição de uma área de cobertura que é de uma imagem correspondente a uma amostra em uma trilha de video e que está em uma esfera.
[0135] Em um exemplo, a trilha de metadados temporizados de cobertura é usada para indicar uma área de
Petição 870190088422, de 06/09/2019, pág. 65/143
48/125 cobertura de um conteúdo de vídeo em uma esfera.
| [0136] | Em | um exemplo, um tipo de | entrada de uma | |
| amostra na | trilha | de metadados temporizados | de | cobertura é |
| ' covg' . | ||||
| [0137] | Em | um exemplo, | um | elemento |
RegionOnSphereSample pode ser usado para a descrição de uma sintaxe de amostra na trilha de metadados temporizados de cobertura. Para um exemplo específico do elemento RegionOnSphereSample, faça uma referência a provisões relacionadas em um padrão existente, por exemplo, faça uma referência ao exemplo relacionado em ISO/IEC 23000-20.
[0138] Em um exemplo, um valor de shape_type em
RegionOnSphereConfigBox na entrada de amostra é 0.
[0139] Em um exemplo, um elemento static_hor_range e um elemento static_ver_range, ou um elemento hor_range e um elemento ver_range são respectivamente usados para indicação de uma área de cobertura de um ponto de vista horizontal correspondente e uma área de cobertura de um ponto de vista vertical correspondente. Um elemento center_yaw e um elemento center_pitch são indicados para indicação de um ponto central da área de cobertura.
[0140] Em um exemplo, um valor de reference_type em uma caixa 'tref' é cv2d, e o significado semântico indica que dados de mídia estão associados a uma trilha de metadados temporizados de uma área de cobertura. Uma amostra (sample) em uma área de cobertura é uma informação de localização espacial 2D de um objeto espacial correspondente aos dados de mídia, e a informação de localização 2D pode ser uma informação de localização definida no padrão existente ISO/IEC 23001-10.
Petição 870190088422, de 06/09/2019, pág. 66/143
49/125 [0141] Alternativamente, um valor de reference_type é cvsp, e o significado semântico indica que os dados de mídia estão associados a uma trilha de metadados temporizados de uma área de cobertura. Uma amostra (sample) em uma trilha na área de cobertura é uma informação de localização espacial que é de um objeto espacial correspondente aos dados de mídia e que está em uma esfera, e a informação na esfera pode ser uma amostra que está na trilha de metadados temporizados na esfera e que é definida no padrão existente ISO/IEC 2300020 .
[0142] Alternativamente, um valor de reference_type é cv2p, e o significado semântico indica que os dados de mídia estão associados a uma trilha de metadados temporizados de uma área de cobertura. Uma amostra (sample) em uma trilha na área de cobertura é uma informação de localização espacial que é de um objeto espacial correspondente aos dados de mídia e que está em uma imagem mapeada.
[0143] Em um exemplo correspondente, pode haver as maneiras de processamento a seguir do cliente:
1. O cliente analisa gramaticalmente uma trilha de dados de mídia para a obtenção de uma caixa 'tref' na trilha de mídia, onde um ID de trilha (o qual pode ser um inteiro não nulo) da trilha de dados de mídia é 1; e obtém, a partir da caixa 'tref', uma trilha referenciada cujo valor reference_type é 'cv2d', 'cvsp', ou 'cv2p', onde um ID de trilha (o qual pode ser um inteiro não nulo) da trilha é 2.
2. O cliente determina, com base em 'cv2d', que a trilha cujo ID de trilha é 2 descreve uma informação de localização espacial 2D de um objeto espacial correspondente aos dados de mídia; ou determina, com base em 'cvsp', que a trilha
Petição 870190088422, de 06/09/2019, pág. 67/143
50/125 cujo ID de trilha é 2 descreve uma informação de localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma esfera; ou determina, com base em 'cv2p', que a trilha cujo ID de trilha é 2 descreve uma informação de localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma imagem mapeada.
3. 0 cliente pode determinar, com base em uma informação de cobertura e uma capacidade de apresentação de um dispositivo, se todo o conteúdo de midia é apresentado ou uma parte de conteúdo de mídia é capturada para apresentação; ou quando um campo de visão de um usuário muda, determinar como o usuário obtém os dados fora do campo de visão.
[0144] Em um exemplo, a trilha cujo ID de trilha é 2 é uma trilha de descrição de informação espacial em uma área de cobertura, um tipo de entrada de amostra da trilha indica que uma trilha de metadados temporizados atual é uma trilha de descrição de informação espacial em uma área de cobertura, e um valor do tipo de entrada de amostra pode ser cvvp (ponto de vista de cobertura).
[0145] Em um exemplo, uma informação de cobertura de mídia pode ser descrita pelo uso de uma trilha independente, por exemplo, pode ser descrita pelo uso de uma trilha de metadados temporizados, cujo valor de tipo de entrada de amostra é 'cvvp'. Contudo, se a informação de cobertura de mídia for estática (todos os quadros em um vídeo têm uma mesma informação de cobertura), uma trilha de metadados associada às áreas de cobertura não é necessária. Neste caso, a informação de cobertura de mídia pode ser descrita em detalhados de uma trilha de mídia (ID de trilha = 1) . Uma
Petição 870190088422, de 06/09/2019, pág. 68/143
51/125 informação de descrição especifica está em 'covi' (caixa de informação de cobertura) em ISO/IEC 23000-20, e a caixa descreve um formato da área de cobertura em uma esfera ou um plano 2D.
[0146] Em uma implementação possível das modalidades da presente invenção, um valor de um tipicamente ode referência descreve uma maneira de descrição de uma relação de referência entre uma trilha de metadados e uma trilha de dados de mídia que são de uma informação de qualidade.
[0147] Em um exemplo, uma correspondência específica é mostrada na tabela a seguir:
Tabela 2
| Valor de reference type | Relação de referência descrita |
| r2dq | Uma trilha de metadados associada a dados de mídia é uma trilha de informação de qualidade de informação espacial, e uma amostra na trilha descreve uma informação de qualidade de uma localização espacial 2D de uma ROI em um objeto espacial correspondente aos dados de mídia |
| risq | Uma trilha de metadados associada a dados de mídia é uma trilha de informação de qualidade de informação espacial, e uma amostra na trilha descreve uma informação de qualidade de uma localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de mídia e que está em uma esfera |
Petição 870190088422, de 06/09/2019, pág. 69/143
52/125
| ri2p | Uma trilha de metadados associada a dados de midia é uma trilha de informação de qualidade de informação espacial, e uma amostra na trilha descreve uma informação de qualidade de uma localização espacial que é de uma ROI em um objeto espacial correspondente aos dados de midia e que está em uma imagem mapeada |
| c2dq | Uma trilha de metadados associada a dados de midia é uma trilha de informação de qualidade de informação espacial, e uma amostra na trilha descreve uma informação de qualidade de uma localização espacial 2D de um objeto espacial correspondente aos dados de midia |
| cspq | Uma trilha de metadados associada a dados de midia é uma trilha de informação de qualidade de informação espacial, e uma amostra na trilha descreve uma informação de qualidade de uma localização espacial que é de um objeto espacial correspondente aos dados de midia e que está em uma esfera |
| c2pq | Uma trilha de metadados associada a dados de midia é uma trilha de informação de qualidade de informação espacial, e uma amostra na trilha descreve uma informação de qualidade de uma localização espacial que é de um objeto espacial |
Petição 870190088422, de 06/09/2019, pág. 70/143
53/125
| correspondente aos dados de midia e que está em uma imagem mapeada |
[0148] Em um exemplo correspondente, o cliente analisa gramaticalmente uma trilha dos dados de midia para a obtenção de um valor reference_type, onde ID de trilha = 1, e o valor reference_type em uma caixa 'tref' é 'r2dq', 'risq', 'ri2p', 'c2dq', 'cspq', ou 'c2pq', e, então, o cliente pode aprender que uma trilha de metadados da informação de qualidade de uma região espacial da ROI existe ou uma trilha de metadados descrevendo uma qualidade de um video em uma área de cobertura de conteúdo de midia existe. Se o cliente precisar obter uma informação de qualidade de um video atual, o cliente poderá analisar gramaticalmente a trilha correspondente à informação de qualidade.
[0149] Um tipo de metadados referenciado pela trilha é claramente descrito em metadados na trilha, de modo que uma análise gramatical de trilhas executada pelo cliente seja desacoplada de cada outra, e uma complexidade em um procedimento de implementação do cliente seja reduzida.
BREVE DESCRIÇÃO DOS DESENHOS [0150] Para a descrição das soluções técnicas nas modalidades da presente invenção mais claramente, o que vem a seguir descreve brevemente os desenhos associados requeridos para a descrição das modalidades. Evidentemente, os desenhos associados na descrição a seguir mostram meramente algumas modalidades da presente invenção, e uma pessoa de conhecimento comum na técnica pode derivar outros desenhos a partir destes desenhos associados, sem esforços criativos.
[0151] A figura 1 é um diagrama estrutural
Petição 870190088422, de 06/09/2019, pág. 71/143
54/125 esquemático de uma MPD de um padrão DASH que é usado para uma transmissão de mídia de streaming de vídeo de camada de sistema;
a figura 2 é um diagrama esquemático de uma instância de estrutura de uma transmissão de padrão DASH usado para uma transmissão de mídia de streaming de vídeo de camada de sistema;
a figura 3 é um diagrama esquemático de uma comutação de segmento de fluxo de bit de acordo com uma modalidade da presente invenção;
a figura 4 é um diagrama esquemático de uma maneira de armazenamento de um segmento em dados de fluxo de bit;
a figura 5 é um outro diagrama esquemático de uma maneira de armazenamento de um segmento em dados de fluxo de bit;
a figura 6 é um diagrama esquemático de um campo de visão correspondente a uma mudança de campo de visão;
a figura 7 é um outro diagrama esquemático de uma relação espacial entre objetos espaciais;
a figura 8 é um fluxograma esquemático de um método de processamento de informação de mídia de streaming de acordo com uma modalidade da presente invenção;
a figura 9 é um diagrama esquemático de uma localização relativa de um objeto espacial alvo em um espaço panorâmico;
a figura 10 é um diagrama esquemático de um sistema de coordenadas de acordo com uma modalidade da presente invenção;
a figura 11 é um diagrama esquemático de um outro sistema de coordenadas de acordo com uma modalidade da presente invenção;
a figura 12 é um diagrama esquemático de um outro sistema
Petição 870190088422, de 06/09/2019, pág. 72/143
55/125 de coordenadas de acordo com uma modalidade da presente invenção;
a figura 13 é um fluxograma esquemático de um método de processamento de informação de midia de streaming de acordo com uma modalidade da presente invenção;
a figura 14 é um diagrama esquemático de uma estrutura lógica de um aparelho de processamento de informação de midia de streaming de acordo com uma modalidade da presente invenção;
a figura 15 é um diagrama esquemático de uma estrutura lógica de um aparelho de processamento de informação de midia de streaming de acordo com uma modalidade da presente invenção;
a figura 16 é um diagrama esquemático de uma estrutura de hardware de um dispositivo de computação de acordo com uma modalidade da presente invenção; e a figura 17 é um diagrama esquemático de uma área de cobertura de acordo com uma modalidade da presente invenção.
DESCRIÇÃO DE MODALIDADES [0152] O que vem a seguir clara e completamente descreve as soluções técnicas nas modalidades da presente invenção com referência aos desenhos associados nas modalidades da presente invenção.
[0153] Atualmente, uma estrutura de padrão DASH pode ser usada em uma solução de transmissão de midia de streaming de video de camada de sistema orientado para o cliente. A figura 2 é um diagrama esquemático de uma instância de estrutura de transmissão de padrão DASH usada para transmissão de midia de streaming de video de camada de sistema. Um processo de transmissão de dados da solução de
Petição 870190088422, de 06/09/2019, pág. 73/143
56/125 transmissão de midia de streaming de video de camada de sistema inclui dois processos: um processo no qual uma extremidade de servidor (por exemplo, um servidor de HTTP ou um servidor de preparação de conteúdo de midia, o qual é referido como um servidor abaixo, para abreviar) gera dados de midia para conteúdo de midia e responde a uma requisição de um cliente, e um processo no qual o cliente (por exemplo, um cliente de midia de streaming de HTTP) requisita e obtém os dados de midia a partir do servidor. Os dados de midia incluem uma descrição de apresentação de midia (em Inglês: Media Presentation Description, MPD) e um fluxo de bit de midia (por exemplo, um fluxo de bit de midia que precisa ser executado). A MPD no servidor inclui uma pluralidade de representações (também referidas como representação, em Inglês: representation), e cada representação descreve uma pluralidade de segmentos. Um módulo de controle de requisição de midia de streaming de HTTP do cliente obtém a MPD enviada pelo servidor, e analisa a MPD para determinar uma informação que é sobre cada segmento de um fluxo de bit de video e que é descrita na MPD, e ainda determina um segmento que precisa ser requisitado; envia uma requisição de HTTP de segmento correspondente para o servidor; e decodifica e reproduz o segmento pelo uso de um reprodutor de midia.
(1) No processo no qual o servidor gera os dados de midia para o conteúdo de video, os dados de midia gerados pelo servidor para o conteúdo de video incluem diferentes versões de fluxos de bit de video correspondentes ao mesmo conteúdo de video, e MPDs dos fluxos de bit. Por exemplo, o servidor gera, para um mesmo episódio de uma série de TV, um fluxo de bit com uma resolução baixa, uma taxa de bit baixa e uma
Petição 870190088422, de 06/09/2019, pág. 74/143
57/125 taxa de quadro baixa (por exemplo, uma resolução de 3 60p, uma taxa de bit de 300 kbps e uma taxa de quadro de 15 fps), um fluxo de bit com uma resolução moderada, uma taxa de bit moderada e uma taxa de quadro alta (por exemplo, uma resolução de 720p, uma taxa de bit de 1200 kbps e uma taxa de quadro de 25 fps), uma taxa de bit com uma resolução alta, uma taxa de bit alta e uma taxa de quadro alta (por exemplo, uma resolução de 1080p, uma taxa de bit de 3000 kbps e uma taxa de quadro de 25 fps) e similares.
[0154] Além disso, o servidor ainda pode gerar uma MPD para o conteúdo de video do episódio da série de TV. A figura 1 é um diagrama estrutural esquemático de uma MPD de um padrão DASH em uma solução de transmissão de sistema. A MPD do fluxo de bit inclui uma pluralidade de períodos (Period) . Por exemplo, uma parte na qual um começo de período equivale a 100s na MPD na figura 1 pode incluir uma pluralidade de conjuntos de adaptação (em Inglês: adaptation set), e cada conjunto de adaptação pode incluir uma pluralidade de representações, tais como uma representação 1, uma representação 2, ... Cada representação descreve um ou mais segmentos do fluxo de bit.
[0155] Em uma modalidade da presente invenção, cada representação descreve uma informação sobre vários segmentos (em Inglês: Segment) em uma sequência de tempo, por exemplo, um segmento de inicialização (em Inglês: Initialization segment), um segmento de mídia (Media Segment) 1, um segmento de mídia 2, ..., e um segmento de mídia 20. A representação pode incluir uma informação de segmento, tal como um momento de começo de reprodução, duração de reprodução e endereço de armazenamento de rede (por exemplo, um endereço de
Petição 870190088422, de 06/09/2019, pág. 75/143
58/125 armazenamento de rede representado em uma forma de um localizador de recurso uniforme (em Inglês: Universal Resource Locator, URL)).
(2) No processo no qual o cliente requisita e obtém os dados de midia a partir do servidor, quando um usuário escolhe reproduzir um video, o cliente obtém uma MPD correspondente a partir do servidor com base em um conteúdo de video reproduzido pelo usuário sob demanda. 0 cliente envia para o servidor com base em um endereço de armazenamento de rede de um segmento de fluxo de bit descrito na MPD, uma requisição para transferência (via download) do segmento de fluxo de bit correspondente ao endereço de armazenamento de rede, e o servidor envia o segmento de fluxo de bit para o cliente com base na requisição recebida. Após a obtenção do segmento de fluxo de bit enviado pelo servidor, o cliente pode executar operações pelo uso do reprodutor de midia, tais como decodificação e reprodução do segmento de fluxo de bit.
[0156] A figura 3 é um diagrama esquemático de uma comutação de segmento de fluxo de bit de acordo com uma modalidade da presente invenção. Um servidor pode preparar três pedaços de dados de fluxo de bit de versões diferentes para o mesmo conteúdo de video (tal como um filme), e usar três representações em uma MPD para descrever os três pedaços de dados de fluxo de bit de versões diferentes. É assumido que as três representações (a representação é referida como uma rep abaixo, para abreviar) pode ser uma rep 1, uma rep 2, uma rep 3 e similares. A rep 1 é um video de alta definição com uma taxa de bit de 4 mbps (megabits por segundo), a rep 2 é um video de definição padrão com uma taxa de bit de 2
Petição 870190088422, de 06/09/2019, pág. 76/143
59/125 mbps, e o rep 3 é um video normal com uma taxa de bit de 1 mbps. Um segmento em cada rep inclui um fluxo de bit de video de um periodo de tempo, e segmentos incluídos em reps diferentes são alinhados com cada outro em um mesmo período de tempo. Para se ser específico, cada rep descreve segmentos em períodos de tempo em uma sequência de tempo, e segmentos em um mesmo período de tempo têm um mesmo comprimento, de modo que uma comutação pode ser realizada entre conteúdo de segmentos em reps diferentes. Conforme mostrado na figura, um segmento marcado com uma sombra na figura é de dados de segmento requisitados por um cliente para reprodução, e os três primeiros segmentos requisitados pelo cliente são segmentos na rep 3. Quando requisita um quarto segmento, o cliente pode requisitar um quarto segmento na rep 2, e, então, pode comutar para o quarto segmento na rep 2 para reprodução após um terceiro segmento na rep 3 ser reproduzido. Um ponto de fim de reprodução (o qual pode ser correspondente a um momento de fim de reprodução em termos de tempo) do terceiro segmento na rep 3 é um ponto de começo de reprodução (o qual pode ser correspondente a um momento de começo de reprodução em termos de tempo) do quarto segmento, e também é um ponto de começo de reprodução de um quarto segmento na rep 2 ou na rep 1, de modo que segmentos em diferentes reps estejam alinhados com cada outro. Após requisitar o quarto segmento na rep 2, o cliente comuta para a rep 1 para requisitar um quinto segmento, um sexto segmento e similares na rep 1. Depois disso, o cliente pode comutar para a rep 3 para requisitar um sétimo segmento na rep 3, e, então, comutar para a rep 1 para requisitar um oitavo segmento na rep 1. Os segmentos em cada rep podem ser
Petição 870190088422, de 06/09/2019, pág. 77/143
60/125 armazenados em um arquivo em uma maneira de conexão de fim com começo, ou podem ser armazenados independentemente como pequenos arquivos. O segmento pode ser encapsulado com base em um formato (ISO BMFF (Formato de Arquivo de Midia de Base)) no padrão ISO/IEC 14496-12, ou pode ser encapsulado com base em um formato (MPEG-2 TS) em ISO/IEC 13818-1. Isto pode ser especificamente determinado de acordo com uma exigência de cenário de aplicação real, e não é limitado aqui .
[0157] Conforme mencionado em um formato de arquivo de midia de DASH, o segmento pode ser armazenado de duas maneiras: uma é que cada segmento é armazenado separada e independentemente. A figura 4 é um diagrama esquemático de uma maneira de armazenamento em dados de fluxo de bit. A outra é que todos os segmentos em uma mesma rep sejam armazenados em um arquivo. A figura 5 é um outro diagrama esquemático de uma maneira de armazenamento de um segmento em dados de fluxo de bit. Conforme mostrado na figura 4, cada um dos segmentos em uma rep A é separadamente armazenado como um arquivo, e cada um dos segmentos em uma rep B também é separadamente armazenado como um arquivo. De forma correspondente, da maneira de armazenamento mostrada na figura 4, um servidor pode usar uma forma de um modelo ou uma forma de uma lista para descrever uma informação, tal como um URL de cada segmento em uma MPD de um fluxo de bit. Conforme mostrado na figura 5, todos os segmentos na rep 1 são armazenados como um arquivo, e todos os segmentos na rep 2 são armazenados como um arquivo. De forma correspondente, no método de armazenamento mostrado na figura 5, o servidor pode usar um segmento de indice (em Inglês: index segment,
Petição 870190088422, de 06/09/2019, pág. 78/143
61/125 isto é, sidx na figura 5) em uma MPD de um fluxo de bit para descrição de uma informação relacionada, tal como um desvio de byte de cada segmento em um arquivo armazenando o segmento, um tamanho de cada segmento e uma duração (duration, também referida como duração de cada segmento) de cada segmento.
[0158] Atualmente, com uma popularidade crescente de aplicações para visualização de um video de VR, tal como um video de 360 graus, crescentemente mais usuários se unem em grupo para experimentarem uma visualização de video de VR em um grande campo de visão. Este novo aplicativo de visualização de video traz um novo modo de visualização de video e uma experiência visual para um usuário, e também traz um novo desafio técnico. Em um processo de visualização de um video em um campo de visão grande, tal como de 3 60 graus (360 graus são usados como um exemplo para descrição nesta modalidade da presente invenção), uma região espacial (uma região espacial também pode ser referida como um objeto espacial) de um video de VR é um espaço panorâmico de 360 graus (ou referido como um espaço omnidirecional, ou referido como um objeto espacial panorâmico), e isto excede uma faixa visual normal de olhos humanos. Portanto, em um processo de visualização do video, um usuário muda um ângulo de visualização (isto é, um campo de visão, FOV) em qualquer tempo. O usuário vê imagens de video diferentes quando vê um campo de visão diferente e, portanto, um conteúdo apresentado neste video precisa mudar com uma mudança de um campo de visão do usuário. A figura 6 é um diagrama esquemático de um campo de visão correspondente a uma mudança de campo de visão. Um bloco 1 e um bloco 2 são respectivamente dois
Petição 870190088422, de 06/09/2019, pág. 79/143
62/125 campos de visão diferentes de um usuário. Em um processo de visualização de um video, o usuário pode comutar um campo de visão para visualização do vídeo do bloco 1 para o segundo bloco pelo uso de uma operação tal como um movimento de olho, um movimento de cabeça ou uma comutação de tela de um dispositivo de visualização de vídeo. Uma imagem de vídeo vista pelo usuário quando o campo de visão é o bloco 1 é uma imagem de vídeo apresentada em um momento atual por um ou mais objetos espaciais correspondentes ao campo de visão. 0 campo de visão do usuário é comutado para o bloco 2 em um próximo momento. Neste caso, a imagem de vídeo vista pelo usuário também deve ser comutada para uma imagem de vídeo apresentada neste momento por um objeto espacial correspondente ao bloco 2.
[0159] Em algumas implementações praticáveis, para extração de uma imagem de vídeo em um grande campo de visão de 360 graus, um servidor pode dividir um espaço panorâmico (ou referido como objeto espacial panorâmico) em uma faixa de campo de visão de 3 60 graus para a obtenção de uma pluralidade de objetos espaciais. Cada objeto espacial é correspondente a um subcampo de visão do usuário, e uma pluralidade de subcampos de visão é fatiada para formar um campo de visão de observação de olho humano completo. Em outras palavras, um campo de visão de olho humano (referido como campo de visão abaixo para abreviar) pode ser correspondente a um ou mais objetos espaciais obtidos através de divisão. Os objetos espaciais correspondentes ao campo de visão são todos os objetos espaciais correspondentes a objetos de conteúdo em uma faixa de campo de visão de olho humano. O campo de visão de observação de olho humano pode
Petição 870190088422, de 06/09/2019, pág. 80/143
63/125 mudar dinamicamente, mas a faixa de campo de visão usualmente pode ser de 120 graus x 120 graus. Um objeto espacial correspondente a um objeto de conteúdo na faixa de campo de visão de olho humano de 120 graus x 120 graus pode incluir um ou mais objetos espaciais obtidos através de divisão, por exemplo, um campo de visão 1 correspondente ao bloco 1 na figura 6 e um campo de visão 2 correspondente ao bloco 2. Ainda, um cliente pode obter, pelo uso de uma MPD, uma informação espacial de um fluxo de bit de vídeo preparado pelo servidor para cada objeto espacial; e, então, pode requisitar, a partir do servidor de acordo com uma exigência de campo de visão, um segmento de fluxo de bit de vídeo correspondente a um ou mais objetos espaciais em um período de tempo, e extrair um objeto espacial correspondente de acordo com a exigência de campo de visão. O cliente extrai, em um mesmo período de tempo, segmentos de fluxo de bit de vídeo correspondentes a todos os objetos espaciais na faixa de campo de visão de 360 graus, de modo a se extrair e exibir uma imagem de vídeo completa no período de tempo no espaço panorâmico de 360 graus inteiro.
[0160] Em uma implementação específica, durante uma divisão de objeto espacial de 360 graus, o servidor pode primeiramente mapear uma esfera para um plano, e dividir os objetos espaciais no plano. Especificamente, o servidor pode mapear a esfera para uma vista plana de longitude e latitude em uma maneira de mapeamento de longitude e latitude. A figura 7 é um diagrama esquemático de um objeto espacial de acordo com uma modalidade da presente invenção. O servidor pode mapear a esfera para a vista plana de longitude e latitude em uma pluralidade de objetos espaciais, tais como
Petição 870190088422, de 06/09/2019, pág. 81/143
64/125 os objetos espaciais A a I. Ainda, o servidor pode mapear a esfera para um cubo, e, então, expandir uma pluralidade de superficies do cubo para a obtenção de uma vista plana; ou mapear a esfera para um outro poliedro, e expandir uma pluralidade de superficies do poliedro para a obtenção de uma vista plana. 0 servidor pode mapear a esfera para uma vista plana de mais maneiras de mapeamento. Isto pode ser especificamente determinado de acordo com uma exigência de cenário de aplicação real, e isto não é limitado aqui. Uma descrição é provida abaixo com referência à figura 7 pelo uso da maneira de mapeamento de longitude e latitude como um exemplo. Conforme mostrado na figura 7, após dividir o espaço panorâmico da esfera na pluralidade de objetos espaciais, tais como objetos espaciais A a I, o servidor pode preparar um grupo de fluxos de bit de video de DASH para cada objeto espacial. Cada objeto espacial é correspondente a um grupo de fluxos de bit de video DASH. Quando um cliente comuta um campo de visão para visualização de um video, o cliente pode obter, com base em um novo campo de visão selecionado pelo usuário, um fluxo de bit correspondente a um novo objeto espacial, e, então, pode apresentar um conteúdo de video do fluxo de bit do novo objeto espacial no novo campo de visão. Um método de processamento de informação e um aparelho providos nas modalidades da presente invenção são descritos abaixo com referência da figura 8 à figura 10.
[0161] O padrão DASH é usado em uma solução de transmissão de midia de streaming de video de camada de sistema. Para se ser especifico, o cliente analisa uma MPD, requisita dados de video a partir do servidor sob demanda, e recebe os dados enviados pelo servidor, de modo a se
Petição 870190088422, de 06/09/2019, pág. 82/143
65/125 implementar uma transmissão de dados de vídeo.
[0162] Em algumas modalidades, quando se produz um vídeo, um produtor de vídeo (referido como um autor abaixo, para abreviar) pode projetar, de acordo com uma exigência de um roteiro do vídeo, uma linha de enredo principal para reprodução de vídeo. Em um processo de reprodução de vídeo, um usuário pode aprender o enredo ao ver apenas uma imagem de vídeo correspondente à linha de enredo principal, e pode ou não ver uma outra imagem de vídeo. Portanto, pode ser aprendido que, no processo de reprodução de vídeo, o cliente pode seletivamente reproduzir uma imagem de vídeo correspondente ao enredo, e pode não apresentar uma outra imagem de vídeo, de modo a se pouparem recursos de transmissão de dados de vídeo e recursos de espaço de armazenamento, e melhorar a eficiência de processamento de dados de vídeo. Após designar o enredo principal, o autor pode designar, com base na linha de enredo principal, uma imagem de vídeo que precisa ser apresentada para o usuário em cada momento de reprodução durante uma reprodução de vídeo, e o enredo da linha de enredo principal pode ser obtido quando as imagens de vídeo em todos os momentos de reprodução forem concatenadas em uma sequência de tempo. A imagem de vídeo que precisa ser apresentada para o usuário em cada momento de reprodução é uma imagem de vídeo apresentada em um objeto espacial correspondente ao momento de reprodução, isto é, uma imagem de vídeo que precisa ser apresentada pelo objeto espacial no momento. Em uma implementação específica, um campo de visão correspondente à imagem de vídeo que precisa ser apresentado mecanismo cada momento de reprodução pode ser regulado para um campo de
Petição 870190088422, de 06/09/2019, pág. 83/143
66/125 visão do autor, e um objeto espacial que apresenta uma imagem de vídeo no campo de visão do autor pode ser regulado para um objeto espacial do autor. Um fluxo de bit correspondente ao objeto no campo de visão do autor pode ser regulado para um fluxo de bit do campo de visão do autor. 0 fluxo de bit do campo de visão do autor inclui dados de quadro de vídeo de uma pluralidade de quadros de vídeo (dados codificados da pluralidade de quadros de vídeo). Quando cada quadro de vídeo é apresentado, o quadro de vídeo pode ser uma imagem, isto é, o fluxo de bit do campo de visão do autor é correspondente a uma pluralidade de imagens. No processo de reprodução de vídeo, uma imagem apresentada em cada momento de reprodução no campo de visão do autor é apenas uma parte de uma imagem panorâmica (ou referida como uma imagem de VR ou uma imagem omnidirecional) que precisa ser apresentada no vídeo inteiro. Em momentos de reprodução diferentes, uma informação espacial de objetos espaciais associados a imagens correspondentes aos fluxos de bit de vídeo de autor pode ser diferente ou pode ser a mesma, isto é, uma informação espacial de objetos espaciais associados a dados de vídeo no fluxo de bit do campo de visão do autor é diferente.
[0163] Em algumas implementações praticáveis, após designar o campo de visão do autor em cada momento de reprodução, o autor pode preparar um fluxo de bit correspondente para o campo de visão do autor em cada momento de reprodução pelo uso do servidor. O fluxo de bit correspondente ao campo de visão do autor pode ser regulado para um fluxo de bit do campo de visão do autor. O servidor pode codificar o fluxo de bit do campo de visão do autor e
Petição 870190088422, de 06/09/2019, pág. 84/143
67/125 transmitir um fluxo de bit codificado para o cliente. Após a decodificação do fluxo de bit do campo de visão do autor, o cliente pode apresentar para o usuário uma imagem de enredo correspondente ao fluxo de bit do campo de visão do autor. 0 servidor não precisa transmitir para o cliente um fluxo de bit de um campo de visão (o qual é regulado para um campo de visão não de autor, isto é, um fluxo de bit de um campo de visão estático), outro além do campo de visão do autor, de modo a poupar recursos, tal como uma largura de banda de transmissão de dados de vídeo.
[0164] Em algumas implementações praticáveis, uma imagem de um objeto espacial pré-regulado é apresentada no campo de visão do autor com base no enredo designado pelo autor para o vídeo, e objetos espaciais do autor nos momentos de reprodução diferentes podem ser diferentes ou podem ser os mesmos. Portanto, pode ser aprendido que o campo de visão do autor é um campo de visão que muda constantemente com um momento de reprodução, e o objeto espacial do autor é um objeto espacial dinâmico cuja localização muda constantemente, isto é, nem todas as localizações de objetos espaciais do autor que são correspondentes a todos os momentos de reprodução são as mesmas no espaço panorâmico. Cada objeto espacial mostrado na figura 7 é um objeto espacial obtido através de uma divisão de acordo com uma regra pré-regulada, e é um objeto espacial cuja posição relativa é fixa no espaço panorâmico. Um objeto espacial do autor correspondente a qualquer momento de reprodução não é necessariamente um dos objetos espaciais fixos mostrados na figura 7, mas é um objeto espacial cuja posição relativa muda constantemente no espaço global. Um conteúdo,
Petição 870190088422, de 06/09/2019, pág. 85/143
68/125 apresentado no vídeo, obtido pelo cliente a partir do servidor é uma concatenação de campos de visão do autor, e não inclui um objeto espacial correspondente a um campo de visão não de autor. 0 fluxo de bit do campo de visão do autor inclui apenas um conteúdo do objeto espacial do autor, e uma MPD obtida a partir do servidor não inclui uma informação espacial do objeto espacial do autor no campo de visão do autor. Neste caso, o cliente pode decodificar e apresentar apenas o fluxo de bit do campo de visão do autor. Se o usuário comutar um campo de visão para visualização do vídeo para um campo de visão não de autor no processo de visualização de vídeo, o cliente não poderá apresentar um conteúdo de vídeo correspondente para o usuário.
[0165] Em algumas modalidade, quando da geração de uma descrição de apresentação de mídia, o servidor pode adicionar uma informação de identificação para a descrição de apresentação de mídia, para a identificação de um fluxo de bit que é do vídeo e que está no campo de visão do autor, isto é, o fluxo de bit do campo de visão do autor. Em uma implementação específica, a informação de identificação pode ser portada em uma informação de atributo que é portada na descrição de apresentação de mídia e que é de um conjunto de fluxo de bit no qual o fluxo de bit do campo de visão do autor está localizado. Para se ser específico, a informação de identificação pode ser portada em uma informação sobre um conjunto de adaptação na descrição de apresentação de mídia, ou a informação de identificação pode ser portada em uma informação sobre uma representação incluída na descrição de apresentação de mídia. Ainda, a informação de identificação pode ser portada em uma informação sobre um descritor na
Petição 870190088422, de 06/09/2019, pág. 86/143
69/125 descrição de apresentação de midia. 0 cliente pode rapidamente identificar o fluxo de bit do campo de visão do autor e um fluxo de bit do campo de visão não de autor pela análise gramatical da MPD para a obtenção de um elemento de sintaxe adicionado na MPD. Se uma informação espacial relacionada ao fluxo de bit do campo de visão do autor for encapsulada em um arquivo de metadados independente, o cliente poderá obter metadados da informação espacial com base em um identificador de codificador - decodificador pela análise gramatical da MPD, de modo a analisar gramaticalmente a informação espacial.
[0166] Em algumas implementações, o servidor ainda pode adicionar uma informação espacial de um ou mais objetos espaciais do autor ao fluxo de bit do campo de visão do autor. Cada objeto espacial do autor é correspondente a uma ou mais imagens, isto é, uma ou mais imagens podem ser associadas a um mesmo objeto espacial, ou cada imagem pode ser associada a um objeto espacial. O servidor pode adicionar uma informação espacial de cada objeto espacial do autor ao fluxo de bit do campo de visão do autor, de modo que o servidor possa usar a informação espacial como uma amostra, e separadamente encapsular a informação espacial em uma trilha ou um arquivo. Uma informação espacial de um objeto espacial do autor é uma relação espacial entre o objeto espacial do autor e um componente de conteúdo associado ao objeto espacial do autor, isto é, uma relação espacial entre o objeto espacial do autor e o espaço panorâmico. Para se ser específico, um espaço descrito pela informação espacial do objeto espacial do autor pode ser especificamente uma parte do espaço panorâmico, por exemplo, qualquer objeto
Petição 870190088422, de 06/09/2019, pág. 87/143
70/125 espacial na figura 7. Em uma implementação especifica, para um fluxo de bit de DASH, o servidor pode adicionar a informação espacial a uma caixa trun ou uma caixa tfhd que é em um formato de arquivo existente e que está incluida em um segmento do fluxo de bit do campo de visão do autor, de modo a se descrever uma informação espacial de um objeto espacial associado a cada quadro de imagem correspondente a dados de quadro de video no fluxo de bit do campo de visão do autor.
[0167] Ainda, devido ao fato de poder haver uma mesma informação entre a informação espacial dos objetos espaciais associados a todos os quadros de imagem, uma repetição e uma redundância existem em uma informação espacial de uma pluralidade de objetos espaciais do autor, e, consequentemente, uma eficiência de transmissão de dados é afetada.
[0168] Nas modalidades da presente invenção, um formato de arquivo de video (em Inglês: file format) provido no padrão DASH é modificado, de modo a se reduzirem a repetição e a redundância existentes na informação espacial da pluralidade de objetos espaciais do autor.
[0169] A modificação de formato de arquivo provida na presente invenção pode ser aplicada a um formato de arquivo de ISOBMFF ou MPEG2-TS. Isto pode ser especificamente determinado de acordo com uma exigência de cenário de aplicação real, e não é limitado aqui.
[0170] A figura 8 é um fluxograma esquemático de um método de processamento de informação de midia de streaming de acordo com uma modalidade da presente invenção. O método de processamento de informação de midia de streaming provido
Petição 870190088422, de 06/09/2019, pág. 88/143
71/125 nesta modalidade da presente invenção pode ser aplicado ao campo de DASH, e também pode ser aplicado a um outro campo de mídia de streaming, por exemplo, uma transmissão de mídia de streaming baseada em protocolo RTP. Um corpo de execução do método pode ser um cliente, e pode ser especificamente um terminal, um equipamento de usuário ou um dispositivo de computador, ou pode ser um dispositivo de rede, tal como um gateway ou um servidor proxy. Conforme mostrado na figura 8, o método pode incluir as etapas a seguir:
S801. Obter uma informação espacial alvo de um objeto espacial alvo, onde o objeto espacial alvo é um de dois objetos espaciais, os dois objetos espaciais estão associados a dados de duas imagens que são incluídos nos dados de vídeo alvos, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre respectivas informações espaciais de dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais inclui a informação espacial de mesmo atributo.
[0171] Os dados de vídeo alvos podem ser um fluxo de bit de vídeo alvo ou podem ser dados de vídeo não codificados. Quando os dados de vídeo alvos são o fluxo de bit de vídeo alvo, os dados das duas imagens podem ser dados codificados das duas imagens. Ainda, o fluxo de bit de vídeo alvo pode ser um fluxo de bit de um campo de visão de um autor, ou pode ser um fluxo de bit de um campo de visão não de autor.
[0172] A obtenção da informação espacial alvo do objeto espacial alvo pode ser o recebimento da informação
Petição 870190088422, de 06/09/2019, pág. 89/143
72/125 espacial alvo a partir de um servidor.
[0173] As duas imagens podem estar em uma correspondência de um a um com os dois objetos espaciais, ou um objeto espacial pode ser correspondente a duas imagens.
[0174] Uma informação espacial de um objeto espacial alvo é uma relação espacial entre o objeto espacial alvo e um componente de conteúdo associado ao objeto espacial alvo, isto é, uma relação espacial entre o objeto espacial alvo e um espaço panorâmico. Para se ser especifico, um espaço descrito pela informação espacial alvo do objeto espacial alvo pode ser especificamente uma parte do espaço panorâmico. Os dados de video alvos podem ser o fluxo de bit do campo de visão do autor, ou podem ser o fluxo de bit do campo de visão não de autor. O objeto espacial alvo pode ou não ser o objeto espacial do autor.
S802. Determinar, com base na informação espacial alvo, dados de video que precisam ser reproduzidos.
[0175] Ainda, após os dados de video que precisam ser reproduzidos serem determinados, os dados de video que precisam ser reproduzidos podem ser adicionalmente exibidos.
[0176] Em algumas modalidades, a informação espacial alvo ainda pode incluir uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial alvo ainda inclui uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação espacial de atributo diferente do outro objeto espacial.
[0177] Em uma implementação possível da informação espacial alvo, a informação espacial alvo pode incluir uma
Petição 870190088422, de 06/09/2019, pág. 90/143
73/125 informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda pode incluir uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0178] Quando um sistema de coordenadas correspondente à informação espacial alvo é um sistema de coordenadas angular, a informação espacial alvo pode ser descrita pelo uso de um ângulo de guinada; ou quando um sistema de coordenadas correspondente à informação espacial alvo é um sistema de coordenadas de pixel, a informação espacial alvo pode ser descrita pelo uso de uma localização espacial em um gráfico de longitude e latitude, ou pelo uso de um outro gráfico de sólido geométrico. Isto não é limitado aqui. A informação espacial alvo é descrita pelo uso de um ângulo de guinada, por exemplo, um ângulo de arfagem Θ (pitch), um ângulo de guinada ψ (yaw), um ângulo de rolamento Φ (roll), uma largura usada para representação de uma faixa de ângulo e uma altura usada para representação de uma faixa de ângulo. A figura 9 é um diagrama esquemático de uma localização relativa de um ponto central de um objeto espacial alvo em um espaço panorâmico. Na figura 9, o ponto O é um centro de esfera correspondente a uma imagem esférica de um vídeo panorâmico de VR de 360 graus, e pode ser considerado como uma localização de um olho humano durante uma visualização de uma imagem panorâmica de VR. Um ponto A é o ponto central do objeto espacial alvo, C e F são pontos de fronteira ao longo de um eixo horizontal de coordenadas do objeto espacial alvo que passam através do ponto A no objeto espacial alvo, E e D são pontos de fronteira ao longo
Petição 870190088422, de 06/09/2019, pág. 91/143
74/125 de um eixo vertical de coordenadas do objeto espacial alvo que passam através do ponto A no objeto espacial alvo, B é um ponto que está em uma linha equatorial e que é projetado a partir do ponto A ao longo de um meridiano esférico, e I é um ponto de coordenada de começo em uma direção horizontal na linha equatorial. Os significados de elementos são explicados abaixo:
Um ângulo de arfagem é um ângulo de deflexão, em uma direção vertical, de um ponto que está em uma imagem de esfera panorâmica (isto é, um espaço global) e para o qual uma posição central de uma imagem do objeto espacial alvo é mapeada, tal como ^AOB na figura 9.
Um ângulo de guinada é um ângulo de deflexão, em uma direção horizontal, do ponto que está na imagem esférica panorâmica e para o qual a posição central da imagem do objeto espacial alvo é mapeada, tal como IOB na figura 9.
Um ângulo de rolamento é um ângulo de rotação em uma direção na qual o centro da esfera é conectado a um ponto que está na imagem esférica panorâmica e para o qual a posição central da imagem do objeto espacial alvo, tal como ^DOB na figura 9.
Uma altura usada para representação de uma faixa de ângulo (uma altura do objeto espacial alvo em um sistema de coordenadas angular) é uma altura de um campo de visão da imagem que é do objeto espacial alvo e que está na imagem esférica panorâmica, e é representada por um ângulo máximo do campo de visão em uma direção vertical, tal como ^DOE na figura 9. Uma largura usada para representação de uma faixa de ângulo (uma largura do objeto espacial alvo em um sistema de coordenadas angular) é uma largura do campo de visão da
Petição 870190088422, de 06/09/2019, pág. 92/143
75/125 imagem que é do objeto espacial alvo e que está na imagem esférica panorâmica, e é representada por um ângulo máximo do campo de visão em uma direção horizontal, tal como ^COF na figura 9.
[0179] Em uma outra implementação possivel da informação espacial alvo, a informação espacial alvo pode incluir uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
[0180] Em uma outra implementação possivel da informação espacial alvo, quando o objeto espacial alvo não é um retângulo, a informação espacial alvo pode incluir pelo menos um dentre um tipo de formato, um raio e uma circunferência do objeto espacial alvo.
[0181] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de rotação espacial o objeto espacial alvo.
[0182] Em algumas implementações, a informação espacial alvo pode ser encapsulada em dados de informação espacial ou um trilha de informação espacial (track), os dados de informação espacial podem ser um fluxo de bit dos dados de video alvos, metadados dos dados de video alvos, ou um arquivo independente dos dados de video alvos, e a trilha de informação espacial pode ser uma trilha independente dos dados de video alvos.
[0183] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de tipo de informação espacial usado para indicar um tipo da informação espacial de mesmo atributo, e o identificador de
Petição 870190088422, de 06/09/2019, pág. 93/143
76/125 tipo de informação espacial é usado para indicar uma informação que é na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0184]
Quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo, a informação espacial de mesmo atributo pode incluir um valor minimo da largura do objeto espacial alvo, um valor minimo da altura do objeto espacial alvo, um valor máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0185] O identificador de tipo de informação espacial e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0186] Em uma implementação especifica, quando a informação espacial alvo é encapsulada em um arquivo (um arquivo de informação espacial) independente dos dados de video alvos ou uma trilha (uma trilha de informação espacial) independentemente dos dados de video alvos, o servidor pode adicionar a informação espacial de mesmo atributo a uma caixa 3dsc em um formato de arquivo existente, e adicionar a informação espacial de atributo diferente do objeto espacial alvo a uma caixa mdat no formato de arquivo existente.
[0187] Exemplo 1 (Example 1) de adição de informação espacial:
aligned(8) class
3DSphericalCoordinatesSampleEntry//a informação espacial de mesmo atributo extends MetadataSampleEntry ('3dsc') { unsigned int(2) regionType; //o identificador
Petição 870190088422, de 06/09/2019, pág. 94/143
77/125 de tipo de informação espacial if (regionType ==0) { //o identificador de tipo de informação espacial é 0 unsigned int(16) yaw; //o ângulo de guinada unsigned int(16) pitch; //o ângulo de arfagem unsigned int(16) roll; //o ângulo de rolamento unsigned int(16) reference_width;//a largura do objeto espacial alvo unsigned int(16) reference_height;//a altura do objeto espacial alvo }
If (regionType ==1) { //o identificador de tipo de informação espacial é 1 unsigned int(16) reference_width; //a largura do objeto espacial alvo unsigned int(16) reference_height; //a altura do objeto espacial alvo }
If (regionType ==2) { //o identificador de tipo de informação espacial é 2 unsigned int(16) min_reference_width;//o valor minimo da largura do objeto espacial alvo unsigned int(16) min_reference_height;//o valor minimo da altura do objeto espacial alvo unsigned int(16) max_reference_width;//o valor máximo da largura do objeto espacial alvo unsigned int(16) max_reference_height;//o valor máximo da altura do objeto
Petição 870190088422, de 06/09/2019, pág. 95/143
78/125 espacial alvo aligned (8) class
SphericalCoordinatesSample(){ //a informação espacial de atributo diferente do objeto espacial alvo ( (regionType ==1) unsigned int(16) yaw;
unsigned int(16) pitch;
unsigned int(16) roll;
((regionType ==2) unsigned int(16) yaw;
unsigned int(16) pitch;
unsigned int(16) roll;
unsigned int(16) reference_width;
unsigned int(16) reference_height;
Neste exemplo, a informação espacial de mesmo atributo pode ser, ao invés de toda de uma guinada, uma arfagem, um rolamento, reference_width, e reference_height, por exemplo, a informação espacial de mesmo atributo não tem rolamento. 0 rolamento pode pertencer à informação espacial de atributo diferente do objeto espacial alvo, e pode não ser incluído na informação espacial alvo. 0 identificador de tipo de informação espacial regionType é ainda adicionado à caixa 3dsc. Este exemplo é um exemplo em um caso de um sistema de coordenadas angular. Quando o identificador de tipo de informação espacial é 0, o identificador de tipo de
Petição 870190088422, de 06/09/2019, pág. 96/143
79/125 informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo, a largura do objeto espacial alvo e a altura do objeto espacial alvo. Neste exemplo, a informação de localização pode ser presentada por um ângulo de arfagem Θ (pitch) , um ângulo de guinada ψ (yaw) e um ângulo de rolamento Φ (roll), e a largura e a altura, cada uma, também podem ser representadas por um ângulo. Em outras palavras, é entendido que quando o identificador de tipo de informação espacial é 0, os dois objetos espaciais têm ambos uma mesma localização e um mesmo tamanho (incluindo, mas não limitando, uma largura e uma altura).
[0189] Quando o identificador de tipo de informação espacial é 1, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a largura do objeto espacial alvo e a altura do objeto espacial alvo. Em outras palavras, é entendido que, quando o identificador de tipo de informação espacial é 1, os dois objetos espaciais têm um mesmo tamanho (incluindo, mas não limitando, uma largura e uma altura) , mas localizações diferentes.
[0190] Quando o identificador de tipo de informação espacial é 2, o identificador de tipo de informação espacial é usado para indicar que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo. Em outras palavras, é entendido que, quando o
Petição 870190088422, de 06/09/2019, pág. 97/143
80/125 identificador de tipo de informação espacial é 2, os dois objetos espaciais têm tamanhos e localizações diferentes.
[0191] De forma correspondente, quando o identificador de tipo de informação espacial é 0, pode ser indicado que nenhuma informação espacial de atributo diferente existe. Quando o identificador de tipo de informação espacial é 1, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é 2, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto central do objeto espacial alvo ou a informação de localização do ponto esquerdo superior do objeto espacial alvo, a largura do objeto espacial alvo e a altura do objeto espacial alvo.
[0192] Exemplo (Exemplo 2) de adição de informação espacial:
aligned(8) class
3DSphericalCoordinatesSampleEntry//a informação espacial de mesmo atributo extends MetadataSampleEntry ('3dsc') { unsigned int(2) regionType; //o identificador de tipo de informação espacial if (regionType ==0){//o identificador de tipo de informação espacial é 0 unsigned int(16) top_left_x;//uma coordenada
Petição 870190088422, de 06/09/2019, pág. 98/143
81/125 horizontal do ponto esquerdo superior unsigned int(16) top_left_y;//uma coordenada
| vertical do ponto esquerdo | superior | ||||
| unsigned | int(16) | reference_width; //a | largura | do | |
| objeto | espacial | alvo | |||
| objeto | unsigned espacial | int(16) alvo | reference_height; //a | altura | do |
}
If (regionType ==1) {//o identificador de tipo de informação espacial é 1 unsigned int(16) reference_width;//a largura do objeto espacial alvo unsigned int(16) reference_height;//a altura do objeto espacial alvo }
If (regionType ==2) {//o identificador de tipo de informação espacial é 2 unsigned int(16) min_reference_width;//o valor minimo da largura do objeto espacial alvo unsigned int(16) min_reference_height;//o valor minimo da altura do objeto espacial alvo unsigned int(16) max_reference_width;//o valor máximo da largura do objeto espacial alvo unsigned int(16) max_reference_height;//o valor máximo da altura do objeto espacial alvo } }
aligned(8) class SphericalCoordinatesSample(){//a informação espacial de atributo diferente do objeto espacial
Petição 870190088422, de 06/09/2019, pág. 99/143
82/125 alvo
| if ((regionType ==1) | { | |
| unsigned int(16) | top_left_x; | //a |
| coordenada horizontal do ponto | esquerdo superior | |
| unsigned int(16) | top_left_y; | //a |
coordenada vertical do ponto esquerdo superior }
| if ((regionType ==2) | { | |
| unsigned int(16) | top_left_x; | //a |
| coordenada horizontal do ponto | esquerdo superior | |
| unsigned int(16) | top_left_y; | //a |
coordenada vertical do ponto esquerdo superior unsigned int(16) reference_width;//a largura do objeto espacial alvo unsigned int(16) reference_height;//a altura do objeto espacial alvo }
} [0193] Este exemplo é um exemplo em um caso de um sistema de coordenadas de pixel. Quando o identificador de tipo de informação espacial é 0, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto esquerdo superior do objeto espacial alvo, a largura do objeto espacial alvo e a altura do objeto espacial alvo. Neste exemplo, a informação de localização é representada por uma coordenada horizontal em uma unidade de um pixel e uma coordenada vertical em uma unidade de um pixel, e a largura e a altura, cada uma, também são
Petição 870190088422, de 06/09/2019, pág. 100/143
83/125 representadas em uma unidade de um pixel. A coordenada horizontal e a coordenada vertical podem ser coordenadas de um ponto de localização na vista plana de longitude e latitude na figura 7, ou podem ser coordenadas de um ponto de localização no espaço panorâmico (ou um objeto espacial panorâmico). Em outras palavras, é entendido que quando o identificador de tipo de informação espacial é 0, os dois objetos espaciais têm ambos uma mesma localização e um mesmo tamanho. Deve ser notado que a informação de localização do ponto esquerdo superior do objeto espacial alvo pode ser substituída pela informação de localização do ponto central do objeto espacial alvo.
[0194] Quando o identificador de tipo de informação espacial é 1, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a largura do objeto espacial alvo e a altura do objeto espacial alvo. Em outras palavras, é entendido que, quando o identificador de tipo de informação espacial é 1, os dois objetos espaciais têm um mesmo tamanho, mas localizações diferentes.
[0195] Quando o identificador de tipo de informação espacial é 2, o identificador de tipo de informação espacial é usado para indicar que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo. Em outras palavras, é entendido que, quando o identificador de tipo de informação espacial é 2, os dois objetos espaciais têm tamanhos e localizações diferentes.
[0196] De forma correspondente, quando o identificador de tipo de informação espacial é 0, pode ser
Petição 870190088422, de 06/09/2019, pág. 101/143
84/125
| indicado | que nenhuma | informação espacial | de | atributo | ||
| diferente | existe. Quando | o identificador | de | tipo | de | |
| informação | espacial é | 1, | o identificador | de | tipo | de |
informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto esquerdo superior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é 2, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto esquerdo superior do objeto espacial alvo, a largura do objeto espacial alvo e a altura do objeto espacial alvo. Deve ser notado que a informação de localização do ponto esquerdo superior do objeto espacial alvo pode ser substituída pela informação de localização do ponto central do objeto espacial alvo.
[0197] Exemplo (Exemplo 3) de adição de informação espacial:
aligned(8) class
3DSphericalCoordinatesSampleEntry//a informação espacial de mesmo atributo extends MetadataSampleEntry ('3dsc') { unsigned int(2) regionType; //o identificador de tipo de informação espacial if (regionType ==0){//o identificador de tipo de
| informação | espacial | é 0 | ||
| unsigned | int(16) | top_left_x;//uma | coordenada | |
| horizontal | do ponto | esquerdo | superior | |
| unsigned | int(16) | top_left_y;//uma | coordenada |
vertical do ponto esquerdo superior
Petição 870190088422, de 06/09/2019, pág. 102/143
85/125 unsigned int(16) down_right_x;//uma coordenada horizontal do ponto direito inferior unsigned int(16) down_right_y;//uma coordenada vertical do ponto direito inferior }
If (regionType ==1) {//o identificador de tipo de informação espacial é 1 unsigned int(16) down_right_x;//a coordenada horizontal do ponto direito inferior unsigned int(16) down_right_y;//a coordenada vertical do ponto direito inferior }
If (regionType ==2) {//o identificador de tipo de informação espacial é 2 unsigned int(16) min_reference_width;//o valor minimo da largura do objeto espacial alvo unsigned int(16) min_reference_height;//o valor minimo da altura do objeto espacial alvo unsigned int(16) max_reference_width;//o valor máximo da largura do objeto espacial alvo unsigned int(16) max_reference_height;//o valor máximo da altura do objeto espacial alvo) }
aligned(8) class SphericalCoordinatesSample(){//a informação espacial de atributo diferente do objeto espacial alvo if ((regionType ==1){ unsigned int(16) top_left_x;//a coordenada horizontal do ponto esquerdo superior unsigned int(16) top_left_y;//a
Petição 870190088422, de 06/09/2019, pág. 103/143
86/125 coordenada vertical do ponto esquerdo superior }
if ((regionType ==2){ unsigned int(16) top_left_x;//a coordenada horizontal do ponto esquerdo superior unsigned int(16) top_left_y;//a coordenada vertical do ponto esquerdo superior unsigned int(16) down_right_x;//a coordenada horizontal do ponto direito inferior unsigned int(16) down_right_y;//a coordenada vertical do ponto direito inferior }
} [0198] Este exemplo é um exemplo em um caso de um sistema de coordenadas de pixel. Quando o identificador de tipo de informação espacial é 0, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto esquerdo superior do objeto espacial alvo e a informação de localização do ponto direito inferior do objeto espacial alvo. Neste exemplo, a informação de localização é representada por uma coordenada horizontal em uma unidade de um pixel e uma coordenada vertical em uma unidade de um pixel. A coordenada horizontal e a coordenada vertical podem ser coordenadas de um ponto de localização na vista plana de longitude e latitude na figura 7, ou podem ser coordenadas de um ponto de localização no espaço panorâmico (ou um objeto espacial panorâmico). Em outras palavras, é entendido que quando o identificador de tipo de
Petição 870190088422, de 06/09/2019, pág. 104/143
87/125 informação espacial é 0, os dois objetos espaciais têm ambos uma mesma localização e um mesmo tamanho. Deve ser notado que a informação de localização do ponto esquerdo superior do objeto espacial alvo pode ser substituída pela altura e pela largura do objeto espacial alvo.
[0199] Quando o identificador de tipo de informação espacial é 1, o identificador de tipo de informação espacial é usado para indicar que a informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo é a informação de localização do ponto direito inferior do objeto espacial alvo. Em outras palavras, é entendido que quando o identificador de tipo de informação espacial é 1, os dois objetos espaciais têm um mesmo tamanho, mas localizações diferentes. Deve ser notado que a informação de localização do ponto direito inferior do objeto espacial alvo pode ser substituída pela altura e pela largura do objeto espacial alvo.
[0200] Quando o identificador de tipo de informação espacial é 2, o identificador de tipo de informação espacial é usado para indicar que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo. Em outras palavras, é entendido que, quando o identificador de tipo de informação espacial é 2, os dois objetos espaciais têm tamanhos e localizações diferentes.
[0201] De forma correspondente, quando o identificador de tipo de informação espacial é 0, pode ser indicado que nenhuma informação espacial de atributo diferente existe. Quando o identificador de tipo de informação espacial é 1, o identificador de tipo de informação espacial ainda indica que a informação espacial
Petição 870190088422, de 06/09/2019, pág. 105/143
88/125 de atributo diferente do objeto espacial alvo é a informação de localização do ponto esquerdo superior do objeto espacial alvo. Quando o identificador de tipo de informação espacial é 2, o identificador de tipo de informação espacial ainda indica que a informação espacial de atributo diferente do objeto espacial alvo é a informação de localização do ponto esquerdo superior do objeto espacial alvo e a informação de localização do ponto direito inferior do objeto espacial alvo. Deve ser notado que a informação de localização do ponto direito inferior do objeto espacial alvo pode ser substituída pela altura e pela largura do objeto espacial alvo.
[0202] Em algumas modalidades, os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de sistema de coordenadas usado para indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
[0203] O identificador de sistema de coordenadas e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0204] Em uma implementação especifica, quando a informação espacial alvo é encapsulada em um arquivo (um arquivo de informação espacial) independentemente dos dados de video alvos ou uma trilha (uma trilha de informação espacial) independente dos dados de video alvos, o servidor pode adicionar o identificador de sistema de coordenadas a uma caixa 3dsc em um formato de arquivo existente.
[0205] Exemplo (Exemplo 1) de adição do
Petição 870190088422, de 06/09/2019, pág. 106/143
89/125 identificador de sistema de coordenadas:
aligned (8) class
3DSphericalCoordinatesSampleEntry//a informação espacial de mesmo atributo extends MetadataSampleEntry ('3dsc') { unsigned int(2) Coordinate- system;// identificador de sistema de coordenadas [0206]
Neste exemplo, quando ο identificador de sistema de coordenadas coordinate_system é 0, o sistema de coordenadas é um sistema de coordenadas angular. Quando o identificador de sistema de coordenadas é 1, o sistema de coordenadas é um sistema de coordenadas de pixel.
[0207]
Em algumas modalidades os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
[0208] O identificador de informação de rotação espacial e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa (por exemplo, uma caixa 3dsc), ou o identificador de informação de rotação espacial e a informação espacial de atributo diferente do objeto espacial alvo podem ser encapsulados em uma mesma caixa (por exemplo, uma caixa mdat) . Especificamente, em um caso no qual o identificador de informação de rotação espacial e a informação espacial de atributo diferente do objeto espacial
Petição 870190088422, de 06/09/2019, pág. 107/143
90/125 alvo são encapsulados em uma mesma caixa, quando o identificador de informação de rotação espacial indica que a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo, a informação espacial de atributo diferente do objeto espacial alvo inclui a informação de rotação espacial.
[0209] Em uma implementação especifica, o servidor pode encapsular o identificador de informação de rotação espacial e a informação espacial de atributo diferente do objeto espacial alvo em uma mesma caixa (por exemplo, uma caixa mdat). Ainda, o servidor pode encapsular o identificador de informação de rotação espacial e a informação espacial de atributo diferente do objeto espacial alvo em uma mesma amostra na mesma caixa. Uma amostra pode encapsular uma informação espacial de atributo diferente correspondente a um objeto espacial.
[0210] Exemplo (Exemplo 1) de adição de identificador de informação de rotação espacial:
aligned(8) class SphericalCoordinatesSample(){ unsigned int(l) rotation_flag;//o identificador de informação de rotação espacial, onde 0 indica que não há rotação, e 1 indica que existe uma rotação if (rotation_flag == 1) {
unsigned int(16) rotation_degree;//a informação de rotação espacial do objeto espacial alvo }
Petição 870190088422, de 06/09/2019, pág. 108/143
91/125 [0211] Em algumas modalidades, a informação espacial de mesmo atributo e a informação espacial de atributo diferente do objeto espacial alvo podem ser encapsuladas em metadados de trilha (track metadata) de informação espacial de um video, por exemplo, podem ser encapsuladas em uma mesma caixa, tal como uma caixa trun, uma caixa tfhd ou uma caixa nova.
[0212] Exemplo (Exemplo 4) de adição de informação espacial:
sintaxe (syntax) de uma caixa trun, uma caixa tfhd ou uma caixa nova unsigned int(2) regionType; //o identificador de tipo de informação espacial if (regionType ==0){ //o identificador de tipo de informação espacial é 0
......//a informação espacial de mesmo atributo é a mesma que a informação espacial de mesmo atributo existente quando o identificador de tipo de informação espacial for 0 na modalidade precedente }
If (regionType ==1) {//o identificador de tipo de informação espacial é 1
......// a informação espacial de mesmo atributo é a mesma que a informação espacial de mesmo atributo existente quando o identificador de tipo de informação espacial for 1 na modalidade precedente }
If (regionType ==2) {//o identificador de tipo de informação espacial é 2
......// a informação espacial de mesmo atributo é a
Petição 870190088422, de 06/09/2019, pág. 109/143
92/125 mesma que a informação espacial de mesmo atributo existente quando o identificador de tipo de informação espacial for 2 na modalidade precedente }
unsigned int(32) samplecount;//quantidade de amostra for (i=l;i<= samplecount;i++)
If (regionType ==1) {//o identificador de tipo de informação espacial é 1
......//a informação espacial de atributo diferente é a mesma que a informação espacial de atributo diferente que é do objeto espacial alvo e que existe quando o identificador de tipo de informação espacial é 1 na modalidade precedente }
If (regionType ==2) {//o identificador de tipo de informação espacial é 2
......//a informação espacial de atributo diferente é a mesma que a informação espacial de atributo diferente que é do objeto espacial alvo e que existe quando o identificador de tipo de informação espacial é 2 na modalidade precedente } }
[0213] Um pedaço de informação espacial de um objeto espacial é uma amostra, a quantidade de amostra precedente é usada para indicar uma quantidade de objetos espaciais, e cada objeto espacial é correspondente a um grupo de informação espacial de atributo diferente. Uma implementação do método de processamento de informação de midia de streaming provido nesta modalidade da presente invenção
Petição 870190088422, de 06/09/2019, pág. 110/143
93/125 inclui as etapas a seguir:
1. Um arquivo de informação espacial, uma trilha de informação espacial (a informação espacial pode ser referida como metadados temporizados), ou metadados de informação espacial de um vídeo (ou referidos como metadados dos dados de vídeo alvos) são obtidos.
2. 0 arquivo de informação espacial ou a trilha de informação espacial é analisado gramaticalmente.
3. Uma caixa (caixa de descrição de informação espacial), cuja tag é 3dsc é obtida através de análise gramatical, e o identificador de tipo de informação espacial é analisado gramaticalmente. 0 identificador de tipo de informação espacial pode ser usado para indicar tipos de objeto espacial dos dois objetos espaciais. Um tipo de objeto espacial opcional pode incluir, mas não está limitado a: um objeto espacial cuja localização e cujo tamanho permanecem não modificados, um objeto espacial cuja localização muda e cujo tamanho permanece não modificado, um objeto espacial cuja localização permanece não modificada e cujo tamanho muda, e um objeto espacial cuja localização e cujo tamanho ambos mudam.
4. Se um tipo de objeto espacial obtido através de análise gramatical for um objeto espacial cuja localização e cujo tamanho permanecem não modificados, a informação espacial de mesmo atributo obtida através de análise gramatical na caixa 3dsc poderá ser usada como a informação espacial alvo, onde o objeto espacial cuja localização e cujo tamanho permanecem não modificados significa que uma localização espacial do objeto espacial e um tamanho espacial do objeto espacial permanecem não modificados. 0 tipo de
Petição 870190088422, de 06/09/2019, pág. 111/143
94/125 objeto espacial indica que toda informação espacial dos dois objetos espaciais é a mesma, e um valor da informação espacial é idêntico àquele da informação espacial de mesmo atributo obtida através de análise gramatical. Se a informação espacial de mesmo atributo for este tipo de informação espacial de mesmo atributo, em uma análise gramatical subsequente, uma caixa na qual a informação espacial de atributo diferente do objeto espacial alvo está localizada não precisará ser analisada gramaticalmente.
5. Se um tipo de objeto espacial obtido através de análise gramatical for um objeto espacial cuja localização muda e cujo tamanho permanece não modificado, uma informação espacial de mesmo atributo na caixa 3dsc portará uma informação de tamanho do objeto espacial, por exemplo, uma altura e uma largura do objeto espacial alvo. Neste caso, uma informação portada na informação espacial de atributo diferente que é do objeto espacial alvo e que é obtida através de uma análise gramatical subsequente é uma informação de localização de cada objeto espacial.
6. Se um tipo de objeto espacial obtido através de análise gramatical for um objeto espacial cuja localização e cujo tamanho ambos mudam, uma informação portada na informação espacial de atributo diferente que é do objeto espacial alvo e que é obtida através de uma análise gramatical subsequente é uma informação de localização (por exemplo, uma informação de localização de um ponto central) de cada objeto espacial e uma informação de tamanho do objeto espacial, por exemplo, uma altura e uma largura do objeto espacial.
7. Após a informação espacial alvo ser obtida através de
Petição 870190088422, de 06/09/2019, pág. 112/143
95/125 análise gramatical, um objeto de conteúdo que precisa ser apresentado é selecionado a partir de um vídeo de VR obtido com base em um objeto espacial (o objeto espacial alvo) descrito na informação espacial alvo; ou dados de vídeo correspondentes a um objeto espacial descrito na informação espacial alvo é requisitado para decodificação e apresentação; ou uma localização de um conteúdo de vídeo visto atualmente em um espaço de vídeo de VR (ou referido como um espaço panorâmico) é determinada com base na informação espacial alvo.
[0214] Em algumas modalidades, uma maneira de portar a informação espacial pode ser descrita pela adição de um identificador de maneira de portar (carryType) para uma MPD. Por exemplo, uma maneira de portar pode ser que: a informação espacial é portada em um arquivo de informação espacial, uma trilha de informação espacial ou metadados dos dados de vídeo alvos.
[0215] Um descritor de atributo essencial (EssentialProperty) ou um descritor de atributo suplementar (SupplementalProperty) da MPD é usado como um exemplo:
Tabela de sintaxe: atributos EssentialProperty@value e/ou SupplementalProperty@value para o esquema
| Parâmetro EssentialProperty@value ou SupplementalProperty@value | Uso | Descrição |
| source_id | M | Identificador de fonte |
| carryType | M | Descrever uma maneira de portar metadados de informação espacial 0: Portado em metadados dos dados de |
Petição 870190088422, de 06/09/2019, pág. 113/143
96/125
| vídeo alvos 1: Portado em uma trilha de informação espacial |
ou
Tabela de sintaxe: atributos EssentialProperty@value e/ou
| SupplementalProperty@value para o esquema | ||
| Parâmetro EssentialProperty@value ou SupplementalProperty@value | Uso | Descrição |
| source_id | M | Identificador de fonte |
| carryType | M | Descrever uma maneira de portar metadados de informação espacial 0: Portado em metadados dos dados de vídeo alvos 1: Portado em uma trilha de informação espacial 2: Portado em um arquivo de informação espacial |
[0216] Um exemplo de MPD específico é mostrado abaixo:
[0217] Exemplo 1: a informação espacial é portada em meteadados dos dados de video alvos <?xml version=l.0 encoding=UTF-8?>
<MPD xmlns=urn:mpeg: dash: schema :mpd:2011 type=static mediaPresentationDuration=PTlOS minBufferTime=PTlS profiles=urn:mpeg: dash: profile :isoff-on-demand:2 011>
Petição 870190088422, de 06/09/2019, pág. 114/143
97/125 <Period>
<!—a informação espacial é portada em metadados dos dados de video alvos —>
<AdaptationSet segmentAlignment=true subsegmentAlignment=true subsegmentStartsWithSAP=l>
<EssentialProperty schemeIdUri=urn:mpeg: dash:xxx:2016 value=l, 0/>
<Representation id=zoomed mimeType=video/mp4 codecs=avcl.42c01e bandwidth=5000000 width=1920 height=1080>
<BaseURL>video.mp4</BaseURL>
</Representation>
</AdaptationSet>
</Period>
</MPD>
[0218] Neste exemplo, value=l, 0, onde 1 é o identificador de fonte e 0 indica que a informação espacial é portada em metadados (ou referidos como os metadados dos dados de video alvos) em uma trilha dos dados de video alvos.
[0219] Exemplo 2: a informação espacial é portada em uma trilha de informação espacial <?xml version=l.0 encoding=UTF-8?>
<MPD xmlns=urn:mpeg: dash: schema :mpd:2011 type=static mediaPresentationDuration=PTlOS minBufferTime=PTlS profiles=urn:mpeg: dash: profile :isoff-on-demand:2 011>
<Period>
Petição 870190088422, de 06/09/2019, pág. 115/143
98/125 <!— a informação espacial é portada em uma trilha de informação espacial, e a trilha de informação espacial e os dados de vídeo alvos estão em um mesmo arquivo —>
<AdaptationSet segmentAlignment=true subsegmentAlignment=true subsegmentStartsWithSAP=l>
<EssentialProperty schemeIdUri=urn:mpeg: dash:xxx:2016 value=l, 1/>
<Representation id=zoomed mimeType=video/mp4 codecs=avcl.42c01e bandwidth=5000000 width=1920 height=1080>
<BaseURL>video.mp4</BaseURL>
</Representation>
</AdaptationSet>
</Period>
</MPD>
[0220] Neste exemplo, value=l, 1, onde 1 é o identificador de fonte, e 1 indica que a informação espacial é portada em uma trilha de informação espacial independente.
[0221] Exemplo 3: a informação espacial é portada em um arquivo de informação espacial independente <?xml version=l.0 encoding=UTF-8?>
<MPD xmlns=urn:mpeg: dash: schema :mpd:2011 type=static mediaPresentationDuration=PTlOS minBufferTime=PTlS profiles=urn:mpeg: dash: profile :isoff-on-demand:2 011> <Period>
<!— a informação espacial é portada em um arquivo
Petição 870190088422, de 06/09/2019, pág. 116/143
99/125 de informação espacial independente —>
<AdaptationSet segmentAlignment=true subsegmentAlignment=true subsegmentStartsWithSAP=l>
<EssentialProperty schemeIdUri=urn:mpeg: dash:xxx:2016 value=l, 2/>
<Representation id=zoomed mimeType=video/mp4 codecs=avcl.42c01e bandwidth=5000000 width=1920 height=1080>
<BaseURL>video.mp4</BaseURL>
</Representation>
</AdaptationSet>
<!—arquivo de informação espacial—>
<AdaptationSet segmentAlignment=true subsegmentAlignment=true subsegmentStartsWithSAP=l>
<Representation id=roi-coordinates associationld=zoomed associationType=cdsc codecs=2dcc bandwidth=100>
<BaseURL>roi_coordinates.mp4</BaseURL>
</Representation>
</AdaptationSet>
</Period>
</MPD>
[0222] Neste exemplo, value=l, 2, onde 1 é o identificador de fonte e 2 indica que a informação espacial é portada em um arquivo de informação espacial independente. Uma representação de video alvo (ou referida como um fluxo de bit de video alvo) associada ao arquivo de informação espacial é representada como associationld=zoomed, e o arquivo de informação espacial é associado a uma
Petição 870190088422, de 06/09/2019, pág. 117/143
100/125 representação de vídeo alvo cujo ID de representação é zoomed.
[0223] O cliente pode obter a maneira de portar a informação espacial pela análise gramatical da MPD, de modo a obter a informação espacial com base na maneira de portar.
[0224] Em algumas modalidades, os dados de informação espacial ou a trilha de informação espacial ainda pode incluir um identificador de tipo de largura e altura usado para indicar o objeto espacial alvo. O identificador de tipo de largura e altura pode ser usado para indicar um sistema de coordenadas usado para descrição da largura e da altura do objeto espacial alvo, ou o identificador de tipo de largura e altura pode ser usado para indicar um sistema de coordenadas usado para descrever uma fronteira do objeto espacial alvo. O identificador de tipo de largura e altura pode ser um identificador, ou pode incluir um identificador de tipo de largura e um identificador de tipo de altura.
[0225] O identificador de tipo de largura e altura e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa (por exemplo, uma caixa 3dsc) , ou o identificador de tipo de largura e altura e a informação espacial de mesmo atributo do objeto espacial alvo podem ser encapsulados em uma mesma caixa (por exemplo, uma caixa mdat).
[0226] Em uma implementação específica, o servidor pode encapsular o identificador de tipo de largura e altura e a informação espacial de mesmo atributo em uma mesma caixa (por exemplo, uma caixa 3dsc). Ainda, quando a informação espacial alvo é encapsulada em um arquivo (um arquivo de informação espacial) independente dos dados de vídeo alvos
Petição 870190088422, de 06/09/2019, pág. 118/143
101/125 ou uma trilha (uma trilha de informação espacial) independente dos dados de video alvos, o servidor pode adicionar o identificador de tipo de largura e altura à caixa
3dsc.
[0227]
Exemplo (Exemplo 1) de adição do identificador de tipo de largura e altura:
aligned(8) class
3DSphericalCoordinatesSampleEntry//a informação espacial de mesmo atributo extends MetadataSampleEntry ('3dsc') { unsigned int(2) edge_type;// o identificador de tipo de largura e altura }
[0228] Em algumas modalidades, a informação espacial de mesmo atributo e a informação espacial de atributo diferente do objeto espacial alvo podem ser encapsuladas em metadados de trilha (track metadata) de informação espacial de um video, por exemplo, podem ser encapsuladas em uma mesma caixa, tal como uma caixa trun, uma caixa tfhd, ou uma caixa nova.
[0229] Exemplo (Exemplo 2) de adição de informação espacial:
sintaxe (syntax) de uma caixa trun, uma caixa tfhd, ou uma caixa nova{ unsigned int(2) edge_type;// o identificador de tipo de largura e altura
Petição 870190088422, de 06/09/2019, pág. 119/143
102/125 }
[0230] Neste exemplo, quando o identificador de tipo de largura e altura é 0, o sistema de coordenadas usado para descrever a largura e a altura do objeto espacial alvo é mostrado na figura 10. Uma parte sombreada de uma esfera é o objeto espacial alvo, e vértices de quatro cantos do objeto espacial alvo são respectivamente Β, E, G, e I. Na figura 10, O é um centro de esfera correspondente a uma imagem de esfera de um video panorâmico de VR de 360 graus, e os vértices Β, E, G, e I são separadamente pontos que estão na esfera e nos quais circulos que passam através do centro de esfera (o centro de esfera O é usado como um centro do circulo, e um raio do circulo é um raio da esfera correspondente à imagem esférica do video panorâmico de VR de 360 graus, o circulo passa através de um eixo z, e há dois desses circulos com um passando através dos pontos B, A, I, e O, e o outro passando através dos pontos E, F, G, e O) interceptam circulos paralelos a um eixo x e um eixo y (o centro de esfera O não é usado como um centro do circulo, há dois desses circulos com um passando através dos pontos B, D, e E, e o outro passando através dos pontos I, H, e G, e os dois circulos são paralelos a cada outro) . C é o ponto central do objeto espacial alvo, um ângulo correspondente a uma borda DH representa a altura do objeto espacial alvo, um ângulo correspondente a uma borda AF representa a largura do objeto espacial alvo, e a borda DH e a borda AF passam através do ponto C. Uma borda BI, uma borda EG, e a borda DH são correspondentes a um mesmo ângulo; e uma borda BE, uma borda IG, e a borda AF são correspondentes a um mesmo ângulo. Um vértice de um ângulo correspondente à borda BE é J, e J
Petição 870190088422, de 06/09/2019, pág. 120/143
103/125 é um ponto no qual o eixo z intercepta o circulo que está nos circulos precedentes e onde os pontos B, D, e E estão localizados. De forma correspondente, um vértice de um ângulo correspondente à borda IG é um ponto no qual o eixo z intercepta o circulo que está nos circulos precedentes e onde os pontos I, H, e G estão localizados. Um vértice de um ângulo correspondente à borda AF é o ponto O, e cada um dos vértices de ângulos correspondentes à borda BI, à borda EG, e à borda DH também é o ponto O.
[0231] Deve ser notado que o precedente é apenas um exemplo. O objeto espacial alvo pode ser obtido quando dois circulos passando através do eixo x interceptam dois circulos que são paralelos ao eixo y e ao eixo z e que não passam através do centro de esfera; ou o objeto espacial alvo pode ser obtido quando dois circulos passando através do eixo y interceptam dois circulos que são paralelos ao eixo x e ao eixo z e que não passam através do centro de esfera.
[0232] Quando o identificador de tipo de largura e altura é 1, o sistema de coordenadas usado para descrição da largura e da altura do objeto espacial alvo é mostrado na figura 11. Uma parte sombreada de uma esfera é o objeto espacial alvo, e vértices de quatro cantos do objeto espacial alvo são respectivamente B, E, G, e I. Na figura 11, O é um centro de esfera correspondente a uma imagem de esfera de um video panorâmico de VR de 360 graus, e os vértices B, E, G, e I são separadamente pontos que estão na esfera e onde circulos passando através de um eixo z (o centro de esfera O é usado como um centro do circulo, um raio do circulo é um raio da esfera correspondente à imagem esférica do video panorâmico de VR de 360 graus, e há dois desses circulos com
Petição 870190088422, de 06/09/2019, pág. 121/143
104/125 um passando através dos pontos B, A, e I, e o outro passando através dos pontos E, F, e G) interceptam circulos passando através de um eixo y (o centro de esfera O é usado como um centro do circulo, um raio do circulo é o raio da esfera correspondente à imagem esférica do video panorâmico de VR de 360 graus, e há dois desses circulos com um passando através dos pontos B, D, e E, e o outro passando através dos pontos I, H, e G) . C é o ponto central do objeto espacial alvo, um ângulo correspondente a uma borda DH representa a altura do objeto espacial alvo, um ângulo correspondente a uma borda AF representa a largura do objeto espacial alvo, e a borda DH e a borda AF passam através do ponto C. Uma borda BI, uma borda EG, e a borda DH são correspondentes a um mesmo ângulo; e uma borda BE, uma borda IG, e a borda AF são correspondentes a um mesmo ângulo. Um vértice de um ângulo correspondente à borda BE é a point J, e o ponto J é um ponto no qual o eixo z intercepta um circulo que passa através dos pontos B e E e que é paralelo a um eixo x e ao eixo y. Um vértice de um ângulo correspondente à borda IG é um ponto no qual o eixo z intercepta um circulo que passa através dos pontos I e G e que é paralelo ao eixo x e ao eixo y. Um vértice de um ângulo correspondente à borda AF é o ponto O. Um vértice de um ângulo correspondente à borda BI é a point L, e o ponto L é um ponto no qual o eixo y intercepta um circulo que passa através dos pontos B e I e que é paralelo ao eixo z e ao eixo x. Um vértice de um ângulo correspondente à borda EG é um ponto no qual o eixo y intercepta um circulo que passa através dos pontos E e G e que é paralelo ao eixo z e ao eixo x. Um vértice de um ângulo correspondente à borda DH também é o ponto O.
Petição 870190088422, de 06/09/2019, pág. 122/143
105/125 [0233] Deve ser notado que o precedente é apenas um exemplo. O objeto espacial alvo pode ser obtido quando dois círculos passando através do eixo x interceptam dois círculos passando através do eixo z; ou o objeto espacial alvo pode ser obtido quando dois círculos passando através do eixo x interceptam dois círculos passando através do eixo y.
[0234] Quando o identificador de tipo de largura e altura é 2, o sistema de coordenadas usado para descrição da largura e da altura do objeto espacial alvo é mostrado na figura 12. Uma parte sombreada de uma esfera é o objeto espacial alvo, e vértices de quatro cantos do objeto espacial alvo são respectivamente B, E, G, e I. Na figura 12, O é um centro de esfera correspondente a uma imagem de esfera de um vídeo panorâmico de VR de 360 graus, e os vértices B, E, G, e I são separadamente pontos que estão na esfera e nos quais círculos paralelos a um eixo x e a um eixo z (o centro de esfera O não é usado como um centro do círculo, há dois desses círculos com um passando através dos pontos B, A, e I, e o outro passando através dos pontos E, F, e G, e os dois círculos são paralelos a cada outro) interceptam círculos paralelos ao eixo x e ao eixo y (o centro de esfera O não é usado como um centro do círculo, há dois desses círculos com um passando através dos pontos B, D, e E, e o outro passando através dos pontos I, H, e G, e os dois círculos são paralelos a cada outro). C é o ponto central do objeto espacial alvo, um ângulo correspondente a uma borda DH representa a altura do objeto espacial alvo, um ângulo correspondente a uma borda AF representa a largura do objeto espacial alvo, e a borda DH e a borda AF passam através do ponto C. Uma borda BI, uma borda EG, e a borda DH são
Petição 870190088422, de 06/09/2019, pág. 123/143
106/125 correspondentes a um mesmo ângulo; e uma borda BE, uma borda IG, e a borda AF são correspondentes a um mesmo ângulo. Cada um dos vértices de ângulos correspondentes à borda BE, à borda IG, e à borda AF é o ponto O; e cada um dos vértices de ângulos correspondentes à borda BI, à borda EG, e à borda DH também é o ponto O.
[0235] Deve ser notado que o precedente é apenas um exemplo. O objeto espacial alvo pode ser obtido quando dois circulos que são paralelos ao eixo y e ao eixo z e que não passam através do centro de esfera interceptam dois circulos que são paralelos ao eixo y e ao eixo x e que não passam através do centro de esfera; ou o objeto espacial alvo pode ser obtido quando dois circulos que são paralelos ao eixo y e ao eixo z e que não passam através do centro de esfera interceptam dois circulos que são paralelos ao eixo z e ao eixo x e que não passam através do centro de esfera.
[0236] Uma maneira de obtenção do ponto J e do ponto L na figura 11 é a mesma que uma maneira de obtenção do ponto J na figura 10. O vértice do ângulo correspondente à borda BE é o ponto J, e o vértice do ângulo correspondente à borda BI é o ponto L. Na figura 12, cada um dos vértices correspondente à borda BE e à borda BI é o ponto O.
[0237] Em algumas modalidades, a informação espacial de mesmo atributo e a informação espacial de atributo diferente do objeto espacial alvo também podem incluir uma informação de descrição do objeto espacial alvo. Por exemplo, a informação de descrição é usada para se descrever o objeto espacial alvo como uma região de campo de visão (por exemplo, o objeto espacial alvo pode ser um objeto espacial correspondente a um fluxo de bit de um campo de visão) ou
Petição 870190088422, de 06/09/2019, pág. 124/143
107/125 uma região de interesse; ou a informação de descrição é usada para se descrever uma informação e qualidade do objeto espacial alvo. A informação de descrição pode ser adicionada à sintaxe (syntax) da caixa 3dsc, na caixa trun ou na caixa tfhd na modalidade precedente, ou a informação de descrição (content_type) pode ser adicionada a SphericalCoordinatesSample, de modo a se implementarem uma ou mais das funções a seguir: descrição do objeto espacial alvo como uma região de campo de visão, descrição do objeto espacial alvo como uma região de interesse, e descrição da informação de qualidade do objeto espacial alvo.
[0238] A figura 13 é um fluxograma esquemático de um método de processamento de informação de midia de streaming de acordo com uma modalidade da presente invenção. Um corpo de execução do método pode ser um servidor, e pode ser especificamente um dispositivo de computador. Conforme mostrado na figura 13, o método pode incluir as etapas a seguir:
S1001. Obter uma respectiva informação espacial de dois objetos espaciais que estão associados a dados de duas imagens que estão em dados de video alvos.
S1002. Determinar uma informação espacial alvo de um objeto espacial alvo com base na respectiva informação espacial dos dois objetos espaciais, onde o objeto espacial alvo é um de dois objetos espaciais, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre a respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos
Petição 870190088422, de 06/09/2019, pág. 125/143
108/125 espaciais inclui a informação espacial de mesmo atributo.
[0239] Em algumas modalidades, o método ainda pode incluir: o envio da informação espacial alvo para um cliente.
[0240] Em algumas modalidades, a informação espacial alvo ainda pode incluir uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial ainda inclui uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação espacial de atributo diferente do outro objeto espacial.
[0241] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda pode incluir uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0242] De forma correspondente, as respectivas informações espaciais dos dois objetos espaciais podem incluir uma informação de localização de respectivos pontos centrais dos dois objetos espaciais ou uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais, e a respectiva informação espacial dos dois objetos espaciais ainda pode incluir respectivas larguras dos dois objetos espaciais e respectivas alturas dos dois objetos espaciais.
[0243] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação
Petição 870190088422, de 06/09/2019, pág. 126/143
109/125 de localização de um ponto direito inferior do objeto espacial alvo.
[0244] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma informação de localização dos respectivos pontos esquerdos superiores dos dois objetos espaciais e uma informação de localização dos respectivos pontos direitos inferiores dos dois objetos espaciais.
[0245] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de rotação espacial do objeto espacial alvo.
[0246] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma respectiva informação de rotação espacial dos dois objetos espaciais.
[0247] Em algumas modalidades, a informação espacial alvo pode ser encapsulada em dados de informação espacial ou uma trilha de informação espacial (track) os dados de informação espacial podem ser um fluxo de bit dos dados de video alvos, metadados dos dados de video alvos, ou um arquivo independente dos dados de video alvos, e a trilha de informação espacial pode ser uma trilha independente dos dados de video alvos.
[0248] Os dados de informação espacial ou a trilha de informação espacial ainda pode incluir um identificador de tipo de informação espacial usado para indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para indicar uma informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
Petição 870190088422, de 06/09/2019, pág. 127/143
110/125 [0249] Quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma
| informação | pertencente | à informação | espacial de | mesmo | ||
| atributo, | a informação | espacial | de | mesmo | atributo | pode |
| incluir um | valor mínimo | da largura | do | objeto | espacial | alvo, |
| um valor mínimo da altura do objeto | espacial | alvo, um | valor |
máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0250] O identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0251] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
[0252] O identificador de sistema de coordenadas e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0253] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
[0254] Pode ser entendido que, para um processo de implementação especifico ou uma solução de implementação do método de processamento de informação de mídia de streaming nesta modalidade, faça uma referência às descrições
Petição 870190088422, de 06/09/2019, pág. 128/143
111/125 relacionadas da modalidade de método correspondente à figura 8. Os detalhes não são descritos aqui de novo.
[0255] A figura 14 mostra um aparelho de processamento de informação de midia de streaming 1100, de acordo com uma modalidade da presente invenção. O aparelho de processamento de informação 1100 pode ser um servidor, e pode ser especificamente um dispositivo de computador. O aparelho 1100 inclui um módulo de obtenção 1101 e um módulo de determinação 1102.
[0256] O módulo de obtenção 1101 é configurado para a obtenção de uma informação espacial alvo de um objeto espacial alvo. O objeto espacial alvo é um de dois objetos espaciais, os dois objetos espaciais estão associados a dados de duas imagens que são incluídos nos dados de vídeo alvos, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre respectivas informações espaciais de dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais inclui a informação espacial de mesmo atributo.
[0257] O módulo de determinação 1102 é configurado para determinar, com base na informação espacial alvo obtida pelo módulo de obtenção, dados de vídeo que precisam ser reproduzidos.
[0258] Em algumas modalidades, o aparelho de processamento de informação 1100 ainda pode incluir um módulo de exibição (ou referido com um visor), configurado para exibir os dados de vídeo que precisam ser reproduzidos.
[0259] Em algumas modalidades, o módulo de obtenção
Petição 870190088422, de 06/09/2019, pág. 129/143
112/125
1101 é configurado para receber uma informação espacial a partir de um servidor. Quando o módulo de obtenção 1101 é configurado para receber a informação espacial alvo a partir do servidor, o módulo de obtenção pode ser um módulo de recepção (ou referido como um receptor ou um transceptor).
[0260] Em algumas modalidades, a informação espacial alvo ainda pode incluir uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial ainda inclui uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação espacial de atributo diferente do outro objeto espacial.
[0261] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda pode incluir uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0262] De forma correspondente, as respectivas informações espaciais dos dois objetos espaciais podem incluir uma informação de localização de respectivos pontos centrais dos dois objetos espaciais ou uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais, e a respectiva informação espacial dos dois objetos espaciais ainda pode incluir respectivas larguras dos dois objetos espaciais e respectivas alturas dos dois objetos espaciais.
[0263] Em algumas modalidades, a informação espacial
Petição 870190088422, de 06/09/2019, pág. 130/143
113/125 alvo pode incluir uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
[0264] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma informação de localização dos respectivos pontos esquerdos superiores dos dois objetos espaciais e uma informação de localização dos respectivos pontos direitos inferiores dos dois objetos espaciais.
[0265] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de rotação espacial do objeto espacial alvo.
[0266] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma respectiva informação de rotação espacial dos dois objetos espaciais.
[0267] Em algumas modalidades, a informação espacial alvo pode ser encapsulada em dados de informação espacial ou uma trilha de informação espacial (track) os dados de informação espacial podem ser um fluxo de bit dos dados de video alvos, metadados dos dados de video alvos, ou um arquivo independente dos dados de vídeo alvos, e a trilha de informação espacial pode ser uma trilha independente dos dados de vídeo alvos.
[0268] Os dados de informação espacial ou a trilha de informação espacial ainda pode incluir um identificador de tipo de informação espacial usado para indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para indicar uma
Petição 870190088422, de 06/09/2019, pág. 131/143
114/125 informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0269] Quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma
| informação | pertencente | à informação | espacial de | mesmo | ||
| atributo, | a informação | espacial | de | mesmo | atributo | pode |
| incluir um | valor minimo | da largura | do | objeto | espacial | alvo, |
| um valor minimo da altura do objeto | espacial | alvo, um | valor |
máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0270] O identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0271] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
[0272] O identificador de sistema de coordenadas e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0273] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação espacial do objeto espacial alvo.
[0274] Pode ser entendido que as funções do módulo de obtenção 1101 e do módulo de determinação 1102 podem ser
Petição 870190088422, de 06/09/2019, pág. 132/143
115/125 implementadas através de uma programação de software, podem ser implementadas através de uma programação de hardware, ou podem ser implementadas através de um circuito. Isto não é limitado aqui.
[0275] Pode ser entendido que as funções dos módulos do aparelho de processamento de informação de midia de streaming 1100 nesta modalidade podem ser especificamente implementadas com base no método na modalidade de método precedente. Para um processo de implementação especifico do
| mesmo, faça uma | referência a | descrições relacionadas | na | ||
| modalidade de | método precedente. Os | detalhes não | são | ||
| descritos aqui | de | novo. | |||
| [0276] | A | figura 15 | mostra | um aparelho | de |
| processamento | de | informação de | midia de | streaming 1200 | de |
acordo com uma modalidade da presente invenção. O aparelho inclui um módulo de obtenção 1201 e um módulo de determinação 1202 .
[0277] O módulo de obtenção 1201 é configurado para a obtenção de uma respectiva informação espacial de dois objetos espaciais que estão associados a dados de duas imagens que estão nos dados de video alvos.
[0278] O módulo de determinação 1202 é configurado para determinar uma informação espacial alvo de um objeto espacial alvo com base na respectiva informação espacial dos dois objetos espaciais que é obtida pelo módulo de obtenção. O objeto espacial alvo é um de dois objetos espaciais, a informação espacial alvo inclui uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo inclui uma mesma informação entre a respectiva informação espacial dos dois objetos espaciais, e uma informação
Petição 870190088422, de 06/09/2019, pág. 133/143
116/125 espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais inclui a informação espacial de mesmo atributo.
[0279] Em algumas modalidades, o aparelho 1200 ainda pode incluir um módulo de envio (ou referido como um transmissor ou um transceptor), configurado para enviar a informação espacial alvo determinada pelo módulo de determinação para um cliente.
[0280] Em algumas modalidades, a informação espacial alvo ainda pode incluir uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial ainda inclui uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo é diferente da informação espacial de atributo diferente do outro objeto espacial.
[0281] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda pode incluir uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
[0282] De forma correspondente, as respectivas informações espaciais dos dois objetos espaciais podem incluir uma informação de localização de respectivos pontos centrais dos dois objetos espaciais ou uma informação de localização de respectivos pontos esquerdos superiores dos dois objetos espaciais, e a respectiva informação espacial dos dois objetos espaciais ainda pode incluir respectivas
Petição 870190088422, de 06/09/2019, pág. 134/143
117/125 larguras dos dois objetos espaciais e respectivas alturas dos dois objetos espaciais.
[0283] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.
[0284] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma informação de localização dos respectivos pontos esquerdos superiores dos dois objetos espaciais e uma informação de localização dos respectivos pontos direitos inferiores dos dois objetos espaciais.
[0285] Em algumas modalidades, a informação espacial alvo pode incluir uma informação de rotação espacial do objeto espacial alvo.
[0286] De forma correspondente, a respectiva informação espacial dos dois objetos espaciais pode incluir uma respectiva informação de rotação espacial dos dois objetos espaciais.
[0287] Em algumas modalidades, a informação espacial alvo pode ser encapsulada em dados de informação espacial ou uma trilha de informação espacial (track) os dados de informação espacial podem ser um fluxo de bit dos dados de video alvos, metadados dos dados de video alvos, ou um arquivo independente dos dados de video alvos, e a trilha de informação espacial pode ser uma trilha independente dos dados de video alvos.
[0288] Os dados de informação espacial ou a trilha de informação espacial ainda pode incluir um identificador
Petição 870190088422, de 06/09/2019, pág. 135/143
118/125 de tipo de informação espacial usado para indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial é usado para indicar uma informação que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.
[0289] Quando o identificador de tipo de informação espacial indica que a informação espacial alvo não tem uma
| informação | pertencente | à informação | espacial de | mesmo | ||
| atributo, | a informação | espacial | de | mesmo | atributo | pode |
| incluir um | valor minimo | da largura | do | objeto | espacial | alvo, |
| um valor minimo da altura do objeto | espacial | alvo, um | valor |
máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.
[0290] O identificador de tipo de informação espacial e a informação espacial de mesmo atributo são encapsulados em uma mesma caixa.
[0291] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas é um sistema de coordenadas de pixel ou um sistema de coordenadas angular.
[0292] O identificador de sistema de coordenadas e a informação espacial de mesmo atributo podem ser encapsulados em uma mesma caixa.
[0293] Os dados de informação espacial ou a trilha de informação espacial ainda podem incluir um identificador de informação de rotação espacial, e o identificador de informação de rotação espacial é usado para se indicar se a informação espacial alvo inclui a informação de rotação
Petição 870190088422, de 06/09/2019, pág. 136/143
119/125 espacial do objeto espacial alvo.
[0294] Pode ser entendido que as funções do módulo de obtenção 1201 e do módulo de determinação 1202 podem ser implementadas através da programação de software, podem ser implementadas através da programação de hardware ou podem ser implementadas através de um circuito. Isso não é limitado aqui.
[0295] Pode ser entendido que as funções dos módulos do aparelho de processamento de informação de midia de streaming 1200 nesta modalidade podem ser especificamente implementadas com base no método na modalidade de método precedente. Para um processo de implementação especifico do mesmo, faça uma referência a descrições relacionadas na modalidade de método precedente. Os detalhes não são descritos aqui de novo.
[0296] A figura 16 é um diagrama esquemático de uma estrutura de hardware de um dispositivo de computador 1300 de acordo com uma modalidade da presente invenção. Conforme mostrado na figura 16, o dispositivo de computador 1300 pode ser usado como uma implementação do aparelho de processamento de informação de midia de streaming 1100, e também pode ser usado como uma implementação do aparelho de processamento de informação de midia de streaming 1200. O dispositivo de computador 1300 inclui um processador 1302, uma memória 1304, uma interface de entrada/saida 1306, uma interface de comunicações 1308 e um barramento 1310. O processador 1302, a memória 1304, a interface de entrada/saida 1306 e a interface de comunicações 1308 se comunicam com e são conectados a cada outro pelo uso do barramento 1310.
[0297] O processador 1302 pode ser uma unidade de
Petição 870190088422, de 06/09/2019, pág. 137/143
120/125 processamento central de finalidade geral (Central Processing Unit, CPU), um microprocessador, um circuito integrado especifico de aplicação (Application Specific Integrated Circuit, ASIC), ou um ou mais circuitos integrados, e é configurado para executar um programa relacionado, de modo a se implementarem as funções que precisam ser executadas pelos módulos incluídos no aparelho de processamento de informação de mídia de streaming 1100 ou no aparelho de processamento de informação de mídia de streaming 1200 providos nas modalidades da presente invenção, ou para execução do método de processamento de informação de mídia de streaming correspondente à figura 8 ou à figura 13 provido nas modalidades de método da presente invenção. O processador 1302 pode ser um chip de circuito integrado e tem uma capacidade de processamento de sinal. Em um processo de implementação, as etapas nos métodos precedentes podem ser implementadas pelo uso de um circuito lógico integrado de hardware no processador 1302, ou pelo uso de instruções em uma forma de software. O processador 1302 pode ser um processador de finalidade geral, um processador de sinal digital (DSP), um circuito integrado específico de aplicação (ASIC), um arranjo de porta programável no campo (FPGA) ou um outro dispositivo lógico programável, uma porta discreta ou um dispositivo lógico de transistor, ou um componente de hardware discreto. O processador 1302 pode implementar ou executar os métodos, as etapas e os diagramas de blocos lógicos que são expostos nas modalidades da presente invenção. O processador de finalidade geral pode ser um microprocessador, ou o processador pode ser qualquer processador convencional ou
Petição 870190088422, de 06/09/2019, pág. 138/143
121/125 similar. As etapas dos métodos expostos com referência às modalidades da presente invenção podem ser diretamente executadas ou completadas pelo uso de um processador de decodificação de hardware, ou ser executadas e completadas pelo uso de uma combinação de módulos de hardware e de software no processador de decodificação. Um módulo de software pode estar localizado em um meio de armazenamento maduro na técnica, tal como uma memória de acesso randômico, uma memória flash, uma memória apenas de leitura, uma memória apenas de leitura programável, uma memória apenas de leitura apagável eletricamente, um registrador ou similar. 0 meio de armazenamento está localizado na memória 1304. O processador 1302 lê uma informação na memória 1304, e completa, com referência a um hardware do processador 1302, as funções que precisam ser executadas pelos módulos incluídos no aparelho de processamento de informação de mídia de streaming 1100 ou no aparelho de processamento de informação de mídia de streaming 1200 providos nas modalidades da presente invenção, ou executa o método de processamento de informação de mídia de streaming correspondente à figura 8 ou à figura 13 provido nas modalidades de método da presente invenção.
[0298] A memória 1304 pode ser uma memória apenas de leitura (Read Only Memory, ROM), um dispositivo de armazenamento estático, um dispositivo de armazenamento dinâmico ou uma memória de acesso randômico (Random Access Memory, RAM) . A memória 1304 pode armazenar um sistema operacional e um outro programa aplicativo. Quando um software ou firmware é usado para a implementação das funções que precisam ser executadas pelo módulo incluído no aparelho de processamento de informação de mídia de streaming 1100 ou
Petição 870190088422, de 06/09/2019, pág. 139/143
122/125 no aparelho de processamento de informação de midia de streaming 1200 providos nas modalidades da presente invenção, ou executa o método de processamento de informação de midia de streaming correspondente à figura 8 ou à figura 13 provido nas modalidades de método da presente invenção, um código de programa usado para a implementação das soluções técnicas providas nas modalidades da presente invenção é armazenado na memória 1304. O processador 1302 executa operações que precisam ser executadas pelos módulos incluídos no aparelho de processamento de informação de midia de streaming 1100 ou no aparelho de processamento de informação de midia de streaming 1200 providos nas modalidades da presente invenção, ou executa um método que é para a geração de um modelo de regressão usado para predição de um indicador de performance chave e que é provido nas modalidades da presente invenção.
| [0299] | A interface de | entrada/saida | 1306 | é |
| configurada | para receber dados | e informação | que | são |
| introduzidos | e dados de saida, | tal como um resultado | de |
operação. A interface de entrada/saida 1306 pode servir como o módulo de obtenção 1101 no aparelho 1100, ou o módulo de obtenção 1201 ou o módulo de envio no aparelho 1200.
[0300] A interface de comunicações 1308 implementa uma comunicação entre o dispositivo de computador 1300 e um outro dispositivo ou uma rede de comunicações pelo uso de um aparelho transceptor incluindo, mas não limitando, um transceptor. A interface de comunicações 1308 pode servir como o módulo de obtenção 1101 no aparelho 1100, ou o módulo de obtenção 1201 ou o módulo de envio no aparelho 1200.
[0301] O barramento 1310 pode incluir um canal usado
Petição 870190088422, de 06/09/2019, pág. 140/143
123/125 para a transferência de uma informação entre componentes (tais como o processador 1302, a memória 1304, a interface de entrada/saida 1306 e a interface de comunicações 1308) do dispositivo de computador 1300.
[0302] Deve ser notado que, embora para o dispositivo de computador 1300 mostrado na figura 16, meramente o processador 1302, a memória 1304, a interface de entrada/saida 1306, a interface de comunicações 1308 e o barramento 1310 sejam mostrados, em um processo de implementação especifico, uma pessoa versada na técnica deve entender que o dispositivo de computador 1300 ainda inclui um outro componente requerido para uma rodada normal, por exemplo, quando o dispositivo de computador 1300 é usado como uma implementação do aparelho de processamento de informação de midia de streaming 1100, o aparelho de processamento de informação de midia de streaming 1100 ainda pode incluir um visor, configurado para exibição de dados de video que precisem ser reproduzidos. Além disso, uma pessoa versada na técnica deve entender que, de acordo com uma exigência especifica, o dispositivo de computador 1300 ainda pode incluir um componente de hardware que implemente uma outra função adicional. Além disso, uma pessoa versada na técnica deve entender que o dispositivo de computador 1300 pode incluir apenas um componente requerido para implementação desta modalidade da presente invenção, e não precisa incluir todos os componentes mostrados na figura 16.
[0303] Deve ser notado que, para facilidade de descrição, as modalidades de método precedentes são expressas como uma série de ações. Contudo, uma pessoa versada na técnica deve apreciar que a presente invenção não
Petição 870190088422, de 06/09/2019, pág. 141/143
124/125 está limitada à sequência de ação descrita, porque, de acordo com a presente invenção, algumas etapas podem ser executadas em outras sequências ou executadas simultaneamente. Além disso, uma pessoa versada na técnica também deve apreciar que todas as modalidades descritas no relatório descritivo são modalidades de exemplo, e as ações relacionadas e módulos não são necessariamente obrigatórios para a presente invenção. Uma pessoa de conhecimento comum na técnica pode entender que todos ou alguns dos processos dos métodos nas modalidades podem ser implementados por um programa de computador instruindo um hardware relevante. 0 programa pode ser armazenado em um meio de armazenamento que pode ser lido em computador. Quando o programa roda, os processos dos métodos nas modalidades são executados. 0 meio de armazenamento precedente pode incluir um disco magnético, um disco ótico, uma memória apenas de leitura (ROM: Read-Only Memory) ou uma memória de acesso randômico (RAM: Random Access Memory).
[0304] Embora a presente invenção seja descrita com referência às modalidades, em um processo de implementação da presente invenção que reivindica proteção, uma pessoa versada na técnica pode entender e implementar uma outra variação das modalidades expostas ao ver os desenhos associados, o conteúdo exposto e as reivindicações associadas. Nas reivindicações, compreendendo (comprising) não exclui um outro componente ou uma outra etapa, e um ou uma não exclui um caso de uma pluralidade de. Um processador único ou uma outra unidade pode implementar várias funções enumeradas nas reivindicações. Algumas medidas são registradas em reivindicações dependentes que
Petição 870190088422, de 06/09/2019, pág. 142/143
125/125 são diferentes de cada outra, mas isto não significa que estas medidas não podem ser combinadas para a produção de um melhor efeito. Um programa de computador pode ser armazenado/distribuido em um meio apropriado, tal como um meio de armazenamento ótico ou um meio de estado sólido e ser provido em conjunto com outro hardware ou ser usado como uma parte de hardware, ou pode ser distribuído de uma outra maneira, por exemplo, pelo uso da Internet, ou um outro sistema de telecomunicações com fio ou sem fio.
[0305] Os exemplos específicos são usados neste relatório descritivo para a descrição dos princípios e das implementações da presente invenção. As descrições das modalidades precedentes são meramente pretendidas para ajudarem no entendimento do método e da ideia da presente invenção. Além disso, com respeito às implementações e ao escopo de aplicação, modificações podem ser feitas por uma pessoa de conhecimento comum na técnica, de acordo com a ideia da presente invenção. Portanto, este relatório descritivo não deve ser construído como uma limitação para a presente invenção.
Claims (5)
- REIVINDICAÇÕES EMENDADAS1. Método de processamento de informação de midia de streaming, caracterizado pelo fato de que o método compreende:a obtenção de uma informação espacial alvo de um objeto espacial alvo, em que o objeto espacial alvo é um de dois objetos espaciais, os dois objetos espaciais são associados a dados de duas imagens que são compreendidos nos dados de video alvos, a informação espacial alvo compreende uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo compreende uma mesma informação entre uma respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais compreende a informação espacial de mesmo atributo; e a determinação, com base na informação espacial alvo, de dados de video a serem reproduzidos.
- 2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a informação espacial alvo ainda compreende uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial alvo ainda compreender uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo ser diferente da informação de atributo diferente do outro objeto espacial.
- 3. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que a informação espacial alvo compreende uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização dePetição 870190088420, de 06/09/2019, pág. 8/132/5 um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda compreender uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
4. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de a informação espacial alvo compreender uma informação de localização de um ponto esquerdo superior do objeto espacial alvo e uma informação de localização de um ponto direito inferior do objeto espacial alvo.5. Método, de acordo com qualquer uma das reivindicações1 a 4, caracterizado pelo fato de que a informação espacial alvo compreende uma informação de rotação espacial do objeto espacial alvo.6. Método, de acordo com qualquer uma das reivindicações1 a 5, caracterizado pelo fato de a informação espacial alvo ser encapsulada em dados de informação espacial ou uma trilha de informação espacial (track), os dados de informação espacial serem um fluxo de bit dos dados de video alvos, metadados dos dados de video alvos, ou um arquivo independente dos dados de video alvos, e a trilha de informação espacial ser uma trilha independente dos dados de video alvos.7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de os dados de informação espacial ou a trilha de informação espacial ainda compreenderem um identificador de tipo de informação espacial usado para se indicar um tipo da informação espacial de mesmo atributo, e o identificador de tipo de informação espacial ser usado para se indicar que está na informação espacial alvo e que pertence à informação espacial de mesmo atributo.Petição 870190088420, de 06/09/2019, pág. 9/133/58. Método, de acordo com a reivindicação 7, caracterizado pelo fato de, quando o identificador de tipo de informação espacial indicar que a informação espacial alvo não tem uma informação pertencente à informação espacial de mesmo atributo, a informação espacial de mesmo atributo compreender um valor minimo da largura do objeto espacial alvo, um valor minimo da altura do objeto espacial alvo, um valor máximo da largura do objeto espacial alvo e um valor máximo da altura do objeto espacial alvo.9. Método, de acordo com a reivindicação 7 ou 8, caracterizado pelo fato de o identificador de tipo de informação espacial e a informação espacial de mesmo atributo serem encapsulados em uma mesma caixa.10. Método, de acordo com qualquer uma das reivindicações 6 a 9, caracterizado pelo fato de os dados de informação espacial ou a trilha de informação espacial aindacompreenderem um identificador de sistema de coordenadas usado para se indicar um sistema de coordenadas correspondente à informação espacial alvo, e o sistema de coordenadas ser um sistema de coordenadas de pixel ou um sistema de coordenadas angular.11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de o identificador de sistema de coordenadas e a informação espacial de mesmo atributo serem encapsulados em uma mesma caixa.12. Método, de acordo com qualquer uma das reivindicações 6 a 11, caracterizado pelo fato de os dados de informação espacial ou a trilha de informação espacial ainda compreenderem um identificador de informação de rotação espacial, e o identificador de informação de rotaçãoPetição 870190088420, de 06/09/2019, pág. 10/13 - 4/5 espacial ser usado para se indicar se a informação espacial alvo compreende a informação de rotação espacial do objeto espacial alvo.13. Aparelho de processamento de informação de midia de streaming, caracterizado pelo fato de que o aparelho compreende:um módulo de obtenção, configurado para a obtenção de uma informação espacial alvo de um objeto espacial alvo, em que o objeto espacial alvo é um de dois objetos espaciais, os dois objetos espaciais são associados a dados de duas imagens que são compreendidos nos dados de video alvos, a informação espacial alvo compreende uma informação espacial de mesmo atributo, a informação espacial de mesmo atributo compreende uma mesma informação entre uma respectiva informação espacial dos dois objetos espaciais, e uma informação espacial de um outro objeto espacial além do objeto espacial alvo nos dois objetos espaciais compreende a informação espacial de mesmo atributo; e um módulo de determinação, configurado para a determinação, com base na informação espacial alvo, de dados de video a serem reproduzidos.14. Aparelho, de acordo com a reivindicação 13, caracterizado pelo fato de a informação espacial alvo ainda compreender uma informação espacial de atributo diferente do objeto espacial alvo, a informação espacial do outro objeto espacial alvo ainda compreender uma informação espacial de atributo diferente do outro objeto espacial, e a informação espacial de atributo diferente do objeto espacial alvo ser diferente da informação de atributo diferente do outro objeto espacial.Petição 870190088420, de 06/09/2019, pág. 11/13
- 5/515. Aparelho, de acordo com a reivindicação 13 ou 14, caracterizado pelo fato de que a informação espacial alvo compreende uma informação de localização de um ponto central do objeto espacial alvo ou uma informação de localização de um ponto esquerdo superior do objeto espacial alvo, e a informação espacial alvo ainda compreende uma largura do objeto espacial alvo e uma altura do objeto espacial alvo.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611252815 | 2016-12-30 | ||
| CN201611252815.4 | 2016-12-30 | ||
| CNPCT/CN2017/070863 | 2017-01-11 | ||
| PCT/CN2017/070863 WO2018120294A1 (zh) | 2016-12-30 | 2017-01-11 | 一种信息的处理方法及装置 |
| PCT/CN2017/078585 WO2018120474A1 (zh) | 2016-12-30 | 2017-03-29 | 一种信息的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112019013609A2 true BR112019013609A2 (pt) | 2020-01-07 |
| BR112019013609A8 BR112019013609A8 (pt) | 2023-04-04 |
Family
ID=62706774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112019013609A BR112019013609A8 (pt) | 2016-12-30 | 2017-03-29 | Método e aparelho de processamento de informação |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20190325652A1 (pt) |
| EP (2) | EP3557534A4 (pt) |
| JP (1) | JP7058273B2 (pt) |
| KR (1) | KR102261559B1 (pt) |
| CN (3) | CN109074678B (pt) |
| BR (1) | BR112019013609A8 (pt) |
| MX (1) | MX2019007926A (pt) |
| WO (1) | WO2018120294A1 (pt) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102598082B1 (ko) * | 2016-10-28 | 2023-11-03 | 삼성전자주식회사 | 영상 표시 장치, 모바일 장치 및 그 동작방법 |
| US11532128B2 (en) | 2017-03-23 | 2022-12-20 | Qualcomm Incorporated | Advanced signaling of regions of interest in omnidirectional visual media |
| GB2560921B (en) * | 2017-03-27 | 2020-04-08 | Canon Kk | Method and apparatus for encoding media data comprising generated content |
| US10467783B2 (en) | 2018-02-23 | 2019-11-05 | ExoAnalytic Solutions, Inc. | Visualization interfaces for real-time identification, tracking, and prediction of space objects |
| CN116248947A (zh) * | 2018-09-27 | 2023-06-09 | 华为技术有限公司 | 处理媒体数据的方法、客户端和服务器 |
| WO2020063850A1 (zh) * | 2018-09-27 | 2020-04-02 | 华为技术有限公司 | 一种处理媒体数据的方法、终端及服务器 |
| CN109886234B (zh) * | 2019-02-28 | 2021-06-22 | 苏州科达科技股份有限公司 | 目标检测方法、装置、系统、电子设备、存储介质 |
| GB2601678B (en) * | 2019-07-25 | 2024-03-06 | Exoanalytic Solutions Inc | Systems and Visualization interfaces for orbital paths and path parameters of space objects |
| CN113453083B (zh) * | 2020-03-24 | 2022-06-28 | 腾讯科技（深圳）有限公司 | 多自由度场景下的沉浸式媒体获取方法、设备及存储介质 |
| WO2021251185A1 (ja) * | 2020-06-11 | 2021-12-16 | ソニーグループ株式会社 | 情報処理装置および方法 |
| US20210392386A1 (en) * | 2020-06-12 | 2021-12-16 | Tencent America LLC | Data model for representation and streaming of heterogeneous immersive media |
| US11687386B2 (en) * | 2020-10-07 | 2023-06-27 | Tencent America LLC | MPD validity expiration processing model |
| CN114374675B (zh) * | 2020-10-14 | 2023-02-28 | 腾讯科技（深圳）有限公司 | 媒体文件的封装方法、媒体文件的解封装方法及相关设备 |
| US20230018718A1 (en) | 2021-06-30 | 2023-01-19 | Lemon Inc. | Signaling Replacement of Video Data Units in a Picture-in-Picture Region |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4304108B2 (ja) * | 2004-03-31 | 2009-07-29 | 株式会社東芝 | メタデータ配信装置、動画再生装置および動画再生システム |
| JP4671873B2 (ja) | 2006-01-23 | 2011-04-20 | シャープ株式会社 | 合成映像生成システム |
| CN101291415B (zh) * | 2008-05-30 | 2010-07-21 | 华为终端有限公司 | 一种三维视频通信的方法、装置及系统 |
| KR20110129903A (ko) * | 2009-02-18 | 2011-12-02 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | ３ｄ 시청자 메타데이터의 전송 |
| CN101692229B (zh) * | 2009-07-28 | 2012-06-20 | 武汉大学 | 基于数据内容的三维空间数据自适应多级缓存系统 |
| US20110149042A1 (en) * | 2009-12-18 | 2011-06-23 | Electronics And Telecommunications Research Institute | Method and apparatus for generating a stereoscopic image |
| CN102081671A (zh) * | 2011-01-25 | 2011-06-01 | 北京中星微电子有限公司 | 一种视频可伸缩文件的生成方法及装置 |
| CN102184082B (zh) * | 2011-05-20 | 2013-04-03 | 广州市数字视频编解码技术国家工程实验室研究开发与产业化中心 | 一种基于双目视差原理的3d浏览器实现方法 |
| CN103164440B (zh) * | 2011-12-14 | 2016-05-11 | 中国海洋大学 | 面向虚拟现实的空间数据引擎方法 |
| US20140340404A1 (en) | 2011-12-16 | 2014-11-20 | Thomson Licensing | Method and apparatus for generating 3d free viewpoint video |
| JP2014010111A (ja) * | 2012-07-02 | 2014-01-20 | Toshiba Corp | 計測装置、方法、及びプログラム |
| CN103729358A (zh) * | 2012-10-11 | 2014-04-16 | 中国航天科工集团第二研究院二〇七所 | 基于数据库的视频摘要生成方法 |
| US9584792B2 (en) * | 2013-01-04 | 2017-02-28 | Qualcomm Incorporated | Indication of current view dependency on reference view in multiview coding file format |
| KR101861979B1 (ko) * | 2013-01-18 | 2018-05-28 | 캐논 가부시끼가이샤 | 미디어 데이터 영역 및 메타 데이터 영역을 포함하는 미디어 파일의 생성 방법 및 디바이스 |
| CN103391447B (zh) * | 2013-07-11 | 2015-05-20 | 上海交通大学 | 3d节目镜头切换中安全深度保证与调整方法 |
| CN105408916B (zh) * | 2013-07-26 | 2019-07-23 | 华为技术有限公司 | 用于自适应流媒体中的空间自适应的系统和方法 |
| CN106233745B (zh) * | 2013-07-29 | 2021-01-15 | 皇家Kpn公司 | 向客户端提供瓦片视频流 |
| CN104657376B (zh) * | 2013-11-20 | 2018-09-18 | 航天信息股份有限公司 | 基于节目关系的视频节目的搜索方法和装置 |
| CN103826123B (zh) * | 2014-03-04 | 2017-01-18 | 无锡海之量软件科技有限公司 | 面向对象的视频控制流的编码及传输方法 |
| GB2524531B (en) * | 2014-03-25 | 2018-02-07 | Canon Kk | Methods, devices, and computer programs for improving streaming of partitioned timed media data |
| JP2015187797A (ja) | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
| CN104010225B (zh) * | 2014-06-20 | 2016-02-10 | 合一网络技术(北京)有限公司 | 显示全景视频的方法和系统 |
| JP6440747B2 (ja) * | 2014-06-27 | 2018-12-19 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定 |
| EP4297357A3 (en) * | 2014-06-27 | 2024-04-03 | Samsung Electronics Co., Ltd. | Method and device for transmitting data |
| CN104463957B (zh) * | 2014-11-24 | 2017-06-20 | 北京航空航天大学 | 一种基于素材的三维场景生成工具集成方法 |
| CN104615735B (zh) * | 2015-02-11 | 2019-03-15 | 中科星图股份有限公司 | 一种基于地理信息空间系统的时空信息可视化方法 |
| CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
| GB2538997A (en) | 2015-06-03 | 2016-12-07 | Nokia Technologies Oy | A method, an apparatus, a computer program for video coding |
| CN106101684A (zh) * | 2016-06-30 | 2016-11-09 | 深圳市虚拟现实科技有限公司 | 远程全景图像实时传输和流畅显示的方法 |
-
2017
- 2017-01-11 WO PCT/CN2017/070863 patent/WO2018120294A1/zh active Application Filing
- 2017-01-11 CN CN201780000430.5A patent/CN109074678B/zh active Active
- 2017-03-29 EP EP17888252.8A patent/EP3557534A4/en not_active Ceased
- 2017-03-29 MX MX2019007926A patent/MX2019007926A/es unknown
- 2017-03-29 CN CN201780081717.5A patent/CN110121734B/zh active Active
- 2017-03-29 EP EP23172704.1A patent/EP4287637A1/en active Pending
- 2017-03-29 KR KR1020197022156A patent/KR102261559B1/ko active IP Right Grant
- 2017-03-29 JP JP2019535932A patent/JP7058273B2/ja active Active
- 2017-03-29 BR BR112019013609A patent/BR112019013609A8/pt unknown
- 2017-04-01 CN CN201710214606.9A patent/CN108271044B/zh active Active
-
2019
- 2019-07-01 US US16/458,734 patent/US20190325652A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN110121734A (zh) | 2019-08-13 |
| CN108271044B (zh) | 2020-11-17 |
| WO2018120294A1 (zh) | 2018-07-05 |
| US20190325652A1 (en) | 2019-10-24 |
| MX2019007926A (es) | 2019-12-16 |
| CN110121734B (zh) | 2021-06-01 |
| EP4287637A1 (en) | 2023-12-06 |
| KR102261559B1 (ko) | 2021-06-04 |
| CN108271044A (zh) | 2018-07-10 |
| BR112019013609A8 (pt) | 2023-04-04 |
| KR20190101422A (ko) | 2019-08-30 |
| EP3557534A1 (en) | 2019-10-23 |
| CN109074678B (zh) | 2021-02-05 |
| JP7058273B2 (ja) | 2022-04-21 |
| CN109074678A (zh) | 2018-12-21 |
| EP3557534A4 (en) | 2020-01-01 |
| JP2020503792A (ja) | 2020-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112019013609A2 (pt) | Método e aparelho de processamento de informação | |
| KR102241082B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
| WO2018214698A1 (zh) | 一种视频信息的呈现方法和装置 | |
| US20200389640A1 (en) | Method and device for transmitting 360-degree video by using metadata related to hotspot and roi | |
| WO2018058773A1 (zh) | 一种视频数据的处理方法及装置 | |
| CN108702528A (zh) | 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备 | |
| CN109218755B (zh) | 一种媒体数据的处理方法和装置 | |
| KR102157658B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
| CN107888993B (zh) | 一种视频数据的处理方法及装置 | |
| US20210176446A1 (en) | Method and device for transmitting and receiving metadata about plurality of viewpoints | |
| US20200322586A1 (en) | Method for 360 video processing based on multiple viewpoints and apparatus therefor | |
| US20200145716A1 (en) | Media information processing method and apparatus | |
| WO2018072488A1 (zh) | 一种数据处理方法、相关设备及系统 | |
| WO2018058993A1 (zh) | 一种视频数据的处理方法及装置 | |
| WO2020062700A1 (zh) | 处理媒体数据的方法、客户端和服务器 | |
| WO2018120474A1 (zh) | 一种信息的处理方法及装置 | |
| WO2023169003A1 (zh) | 点云媒体的解码方法、点云媒体的编码方法及装置 | |
| CN108271084B (zh) | 一种信息的处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Free format text: A CLASSIFICACAO ANTERIOR ERA: G06T 19/00 Ipc: H04N 19/167 (2014.01), H04N 19/70 (2014.01) |