JP2022545880A - コードストリームの処理方法、装置、第1端末、第2端末及び記憶媒体 - Google Patents
コードストリームの処理方法、装置、第1端末、第2端末及び記憶媒体 Download PDFInfo
- Publication number
- JP2022545880A JP2022545880A JP2022511181A JP2022511181A JP2022545880A JP 2022545880 A JP2022545880 A JP 2022545880A JP 2022511181 A JP2022511181 A JP 2022511181A JP 2022511181 A JP2022511181 A JP 2022511181A JP 2022545880 A JP2022545880 A JP 2022545880A
- Authority
- JP
- Japan
- Prior art keywords
- information
- codestream
- image data
- motion
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 442
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 85
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004424 eye movement Effects 0.000 claims description 7
- 230000000153 supplemental effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000015654 memory Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 230000004886 head movement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Library & Information Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ecology (AREA)
- Emergency Management (AREA)
- Environmental & Geological Engineering (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
パノラマ画像データを取得することと、
運動情報を取得することと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む、
コードストリームの処理方法を提供する。
コードストリームを受信することと、
前記コードストリームから運動情報を抽出することと、
運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む、
コードストリームの処理方法を提供する。
パノラマ画像データ及び運動情報を取得するように構成される取得モジュールと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュールと、を備える、
コードストリームの処理装置を提供する。
コードストリームを受信するように構成される受信モジュールと、
前記コードストリームから運動情報を抽出するように構成される抽出モジュールと、
運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュールと、を備える、
コードストリームの処理装置を提供する。
1つ又は複数のプロセッサと
1つ又は複数のプログラムを記憶するための記憶装置とを備え、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサは、本願の第1態様に記載のコードストリームの処理方法を実現する、
第1端末を提供する。
1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置とを備え、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサは、本願の第2態様に記載のコードストリームの処理方法を実現する、
第2端末を提供する。
コンピュータプログラムが記憶され、
前記コンピュータプログラムがプロセッサによって実行されると、本願の実施例におけるいずれかの方法を実現する、
記憶媒体を提供する。
T時刻のコードストリームを取得し、コードストリームから抽出された頭部位置がA点にあり、A点の位置情報に基づいてパノラマ画像データにおける一部の画像データ、即ち、目標画像データを取得し、表示装置に一部の画像データを表示する。T+1時刻のコードストリームを取得し、コードストリームから抽出された頭部位置がB点にあり、B点の位置情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
T時刻のコードストリームを取得し、コードストリームから頭部回転角度αを抽出し、αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。T+1時刻のコードストリームを取得し、コードストリームから頭部回転角度βを抽出し、βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
T時刻のコードストリームを取得し、コードストリームからA点にある頭部位置及び頭部回転角度αを抽出し、A点の位置及び頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。
T時刻のコードストリームを取得し、コードストリームから複数グループの頭部運動情報を抽出し、そのうちの1グループの頭部運動情報、例えば第1グループを選出し、第1グループの頭部運動情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示してもよい。
Claims (29)
- パノラマ画像データを取得することと、
運動情報を取得することと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む、
コードストリームの処理方法。 - 前記運動情報が前記パノラマ画像データと同期に取得され、又は、
前記運動情報が予め設定されたものである、
請求項1に記載のコードストリームの処理方法。 - 前記運動情報は、
頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも1つを含む、
請求項1に記載のコードストリームの処理方法。 - 前記頭部運動情報は、
頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの1つを含む、
請求項3に記載のコードストリームの処理方法。 - 前記ボディ運動情報は、
ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対情報との組合せとのうちの1つを含む、
請求項3に記載のコードストリームの処理方法。 - 前記視点運動情報は、
視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの1つを含む、
請求項3に記載のコードストリームの処理方法。 - 前記運動情報は、少なくとも1グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
1グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの1つを含む、
請求項1に記載のコードストリームの処理方法。 - 前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
前記運動情報が1つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成することと、
前記運動情報が1つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成することとのうちの少なくとも1つを含み、
前記識別情報は、前記運動情報が1つ前の時刻の運動情報と同じであることを指示するために使用される、
請求項1に記載のコードストリームの処理方法。 - 前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことを含む、
請求項1に記載のコードストリームの処理方法。 - 前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことは、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも1つに書き込むことを含む、
請求項9に記載のコードストリームの処理方法。 - 前記コードストリームを記憶又は送信することをさらに含む、
請求項1に記載のコードストリームの処理方法。 - コードストリームを受信することと、
前記コードストリームから運動情報を抽出することと、
前記運動情報が抽出された場合に、抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む、
コードストリームの処理方法。 - 前記コードストリームから運動情報を抽出することは、
前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも1つから運動情報を抽出することを含む、
請求項12に記載のコードストリームの処理方法。 - 抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
前記運動情報に基づいて前記パノラマ画像データから一部のデータを切り取り、目標画像データを取得することを含む、
請求項12に記載のコードストリームの処理方法。 - 前記運動情報は、
頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも1つを含む、
請求項12に記載のコードストリームの処理方法。 - 前記頭部運動情報は、
頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの1つを含む、
請求項15に記載のコードストリームの処理方法。 - 前記ボディ運動情報は、
ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの1つを含む、
請求項15に記載のコードストリームの処理方法。 - 前記視点運動情報は、
視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの1つを含む、
請求項15に記載のコードストリームの処理方法。 - 前記運動情報は、少なくとも1グループの運動パラメータ組合せを含み、
1グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報、視点運動情報のうちの1つを含む、
請求項12に記載のコードストリームの処理方法。 - 抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
抽出された前記運動情報が識別情報である場合に、1つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することを含み、
前記識別情報は、前記運動情報が1つ前の時刻の運動情報と同じであることを指示するために使用される、
請求項12に記載のコードストリームの処理方法。 - 前記運動情報が抽出されなかった場合に、1つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することをさらに含む、
請求項12に記載のコードストリームの処理方法。 - 前記運動情報は、少なくとも2グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、
選出指令が検出されなかった場合に、1つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、を含む、
請求項12に記載のコードストリームの処理方法。 - 前記目標画像データに対して符号化を行い、符号化された目標画像データに対して、記憶及び伝送のうちの少なくとも1つの操作を行うことをさらに含む、
請求項12に記載のコードストリームの処理方法。 - 前記目標画像データを表示することをさらに含む、
請求項12に記載のコードストリームの処理方法。 - パノラマ画像データ及び運動情報を取得するように構成される取得モジュールと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュールと、を備える、
コードストリームの処理装置。 - コードストリームを受信するように構成される受信モジュールと、
前記コードストリームから運動情報を抽出するように構成される抽出モジュールと、
前記運動情報が抽出された場合に、抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュールと、を備える、
コードストリームの処理装置。 - 少なくとも1つのプロセッサと、
少なくとも1つのプログラムを記憶するように構成される記憶装置とを備え、
前記少なくとも1つのプログラムが前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサは、請求項1から11のいずれか1項に記載のコードストリームの処理方法を実現する、
第1端末。 - 少なくとも1つのプロセッサと、
少なくとも1つのプログラムを記憶するように構成される記憶装置とを備え、
前記少なくとも1つのプログラムが前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサは、請求項12から24のいずれか1項に記載のコードストリームの処理方法を実現する、
第2端末。 - コンピュータプログラムが記憶され、
前記コンピュータプログラムがプロセッサによって実行されると、請求項1から24のいずれか1項に記載のコードストリームの処理方法を実現する、
記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910770654.5 | 2019-08-20 | ||
CN201910770654.5A CN112423108B (zh) | 2019-08-20 | 2019-08-20 | 码流的处理方法、装置、第一终端、第二终端及存储介质 |
PCT/CN2020/109928 WO2021032105A1 (zh) | 2019-08-20 | 2020-08-19 | 码流的处理方法、装置、第一终端、第二终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022545880A true JP2022545880A (ja) | 2022-11-01 |
JP7356579B2 JP7356579B2 (ja) | 2023-10-04 |
Family
ID=74659939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022511181A Active JP7356579B2 (ja) | 2019-08-20 | 2020-08-19 | コードストリームの処理方法、装置、第1端末、第2端末及び記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220303518A1 (ja) |
EP (1) | EP4021001A4 (ja) |
JP (1) | JP7356579B2 (ja) |
KR (1) | KR20220045038A (ja) |
CN (1) | CN112423108B (ja) |
WO (1) | WO2021032105A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114365874B (zh) * | 2022-01-11 | 2023-07-04 | 深圳市华微矽电子科技有限公司 | 一种高效雾化装置及其在电子烟中的应用 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180061002A1 (en) * | 2016-08-25 | 2018-03-01 | Lg Electronics Inc. | Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video |
WO2018093851A1 (en) * | 2016-11-17 | 2018-05-24 | Intel Corporation | Suggested viewport indication for panoramic video |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050018911A1 (en) * | 2003-07-24 | 2005-01-27 | Eastman Kodak Company | Foveated video coding system and method |
US20120092348A1 (en) * | 2010-10-14 | 2012-04-19 | Immersive Media Company | Semi-automatic navigation with an immersive image |
US8953022B2 (en) * | 2011-01-10 | 2015-02-10 | Aria Glassworks, Inc. | System and method for sharing virtual and augmented reality scenes between users and viewers |
US20140009503A1 (en) * | 2012-07-03 | 2014-01-09 | Tourwrist, Inc. | Systems and Methods for Tracking User Postures to Control Display of Panoramas |
CN104754358B (zh) * | 2013-12-27 | 2019-02-19 | 中兴通讯股份有限公司 | 码流的生成和处理方法、装置及系统 |
US9691181B2 (en) * | 2014-02-24 | 2017-06-27 | Sony Interactive Entertainment Inc. | Methods and systems for social sharing head mounted display (HMD) content with a second screen |
GB2523740B (en) * | 2014-02-26 | 2020-10-14 | Sony Interactive Entertainment Inc | Image encoding and display |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US9997199B2 (en) * | 2014-12-05 | 2018-06-12 | Warner Bros. Entertainment Inc. | Immersive virtual reality production and playback for storytelling content |
US11245939B2 (en) * | 2015-06-26 | 2022-02-08 | Samsung Electronics Co., Ltd. | Generating and transmitting metadata for virtual reality |
US11019257B2 (en) * | 2016-05-19 | 2021-05-25 | Avago Technologies International Sales Pte. Limited | 360 degree video capture and playback |
US10805592B2 (en) * | 2016-06-30 | 2020-10-13 | Sony Interactive Entertainment Inc. | Apparatus and method for gaze tracking |
US20180007352A1 (en) * | 2016-06-30 | 2018-01-04 | Nokia Technologies Oy | Method and apparatus for rotation and switching of video content |
CN109644262A (zh) * | 2016-08-25 | 2019-04-16 | Lg电子株式会社 | 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置 |
DE102017009145A1 (de) * | 2016-10-14 | 2018-04-19 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Erfassung und Wiedergabe von 360-Grad-Videos |
US10754529B2 (en) * | 2016-10-28 | 2020-08-25 | Adobe Inc. | Facilitating editing of virtual-reality content using a virtual-reality headset |
US10560678B2 (en) * | 2016-11-09 | 2020-02-11 | Mediatek Inc. | Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function |
US10560660B2 (en) * | 2017-01-04 | 2020-02-11 | Intel Corporation | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission |
US10769797B2 (en) * | 2017-01-05 | 2020-09-08 | Samsung Electronics Co., Ltd. | Virtual reality experience sharing |
WO2018131813A1 (en) * | 2017-01-10 | 2018-07-19 | Samsung Electronics Co., Ltd. | Method and apparatus for generating metadata for 3d images |
US11252390B2 (en) * | 2017-01-13 | 2022-02-15 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding or decoding 360 degree image |
CN106791437B (zh) * | 2017-01-20 | 2020-02-14 | 维沃移动通信有限公司 | 一种全景图像拍摄方法及移动终端 |
CN107659851B (zh) * | 2017-03-28 | 2019-09-17 | 腾讯科技(北京)有限公司 | 全景图像的展示控制方法及装置 |
CN107230179A (zh) * | 2017-04-27 | 2017-10-03 | 北京小鸟看看科技有限公司 | 全景图像的存储方法、展示方法及设备 |
US10679415B2 (en) * | 2017-07-05 | 2020-06-09 | Qualcomm Incorporated | Enhanced signaling of regions of interest in container files and video bitstreams |
KR102157656B1 (ko) * | 2018-06-22 | 2020-10-23 | 엘지전자 주식회사 | 360도 비디오를 송수신하는 방법 및 그 장치 |
CN109099915B (zh) * | 2018-06-27 | 2020-12-25 | 未来机器人(深圳)有限公司 | 移动机器人定位方法、装置、计算机设备和存储介质 |
WO2020009341A1 (ko) * | 2018-07-06 | 2020-01-09 | 엘지전자 주식회사 | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 |
KR102281349B1 (ko) * | 2018-07-13 | 2021-07-26 | 엘지전자 주식회사 | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 |
KR101982291B1 (ko) * | 2018-07-19 | 2019-05-24 | 주식회사 테크노블러드코리아 | 가상현실 화면의 배열 및 표시방법 |
US10699154B2 (en) * | 2018-08-08 | 2020-06-30 | At&T Intellectual Property I, L.P. | Optimizing 360-degree video streaming with video content analysis |
US11528509B2 (en) * | 2018-09-07 | 2022-12-13 | Lg Electronics Inc. | Video transmission method, video transmission device, video receiving method and video receiving device |
US11509879B2 (en) * | 2018-10-02 | 2022-11-22 | Lg Electronics Inc. | Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video |
US20210329214A1 (en) * | 2018-10-04 | 2021-10-21 | Lg Electronics Inc. | An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video |
CN112148115A (zh) * | 2019-06-28 | 2020-12-29 | 中兴通讯股份有限公司 | 媒体处理方法、装置、系统和可读存储介质 |
FI4005202T3 (fi) * | 2019-07-22 | 2023-12-28 | Interdigital Vc Holdings Inc | Menetelmä ja laite volumetrisen videosisällön toimittamiseksi |
WO2021198553A1 (en) * | 2020-04-02 | 2021-10-07 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
US20230370565A1 (en) * | 2022-05-11 | 2023-11-16 | Brian R. Muras | Visual image management |
-
2019
- 2019-08-20 CN CN201910770654.5A patent/CN112423108B/zh active Active
-
2020
- 2020-08-19 KR KR1020227008752A patent/KR20220045038A/ko active Search and Examination
- 2020-08-19 WO PCT/CN2020/109928 patent/WO2021032105A1/zh unknown
- 2020-08-19 EP EP20855105.1A patent/EP4021001A4/en active Pending
- 2020-08-19 US US17/636,533 patent/US20220303518A1/en active Pending
- 2020-08-19 JP JP2022511181A patent/JP7356579B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180061002A1 (en) * | 2016-08-25 | 2018-03-01 | Lg Electronics Inc. | Method of transmitting omnidirectional video, method of receiving omnidirectional video, device for transmitting omnidirectional video, and device for receiving omnidirectional video |
WO2018093851A1 (en) * | 2016-11-17 | 2018-05-24 | Intel Corporation | Suggested viewport indication for panoramic video |
Also Published As
Publication number | Publication date |
---|---|
EP4021001A4 (en) | 2023-09-20 |
JP7356579B2 (ja) | 2023-10-04 |
CN112423108A (zh) | 2021-02-26 |
WO2021032105A1 (zh) | 2021-02-25 |
KR20220045038A (ko) | 2022-04-12 |
CN112423108B (zh) | 2023-06-30 |
EP4021001A1 (en) | 2022-06-29 |
US20220303518A1 (en) | 2022-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102241082B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
US20220232293A1 (en) | Methods and apparatus for delivering content and/or playing back content | |
US9729850B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
KR102258448B1 (ko) | 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치 | |
US20160381398A1 (en) | Generating and transmitting metadata for virtual reality | |
KR20170015938A (ko) | 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치 | |
KR102120110B1 (ko) | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 | |
KR20200065087A (ko) | 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치 | |
EP3434021B1 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
CN102984560B (zh) | 从断点处播放视频的方法和设备 | |
WO2019007120A1 (zh) | 一种媒体数据的处理方法和装置 | |
CN110933461B (zh) | 图像处理方法、装置、系统、网络设备、终端及存储介质 | |
JP6934052B2 (ja) | 表示制御装置、表示制御方法及びプログラム | |
KR20190116928A (ko) | 360도 비디오를 송수신하는 방법 및 그 장치 | |
JP7356579B2 (ja) | コードストリームの処理方法、装置、第1端末、第2端末及び記憶媒体 | |
WO2018027067A1 (en) | Methods and systems for panoramic video with collaborative live streaming | |
CN108810574B (zh) | 一种视频信息处理方法及终端 | |
US20220256132A1 (en) | Devices and methods for generating and rendering immersive video | |
EP3695305A1 (en) | Selection of animated viewing angle in an immersive virtual environment | |
EP4072149A1 (en) | Media resource playing and text rendering method, apparatus and device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7356579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |