JP2009182605A - 圧縮システム、プログラムおよび方法 - Google Patents
圧縮システム、プログラムおよび方法 Download PDFInfo
- Publication number
- JP2009182605A JP2009182605A JP2008019281A JP2008019281A JP2009182605A JP 2009182605 A JP2009182605 A JP 2009182605A JP 2008019281 A JP2008019281 A JP 2008019281A JP 2008019281 A JP2008019281 A JP 2008019281A JP 2009182605 A JP2009182605 A JP 2009182605A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- screen
- frame
- motion vector
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006835 compression Effects 0.000 title claims abstract description 156
- 238000007906 compression Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims description 33
- 239000013598 vector Substances 0.000 claims abstract description 112
- 238000004364 calculation method Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims description 60
- 238000012986 modification Methods 0.000 description 18
- 230000004048 modification Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】3次元空間内で画面に対して相対的に移動する3次元のオブジェクトを画面に投影した動画像を圧縮するシステムであって、圧縮対象フレームに応じた時刻および他のフレームに応じた時刻の間におけるオブジェクトの3次元空間内での動きを画面に投影して、オブジェクトの画面内での動きベクトルを算出する動き算出部と、動きベクトルに基づく動き補償により圧縮対象フレームを圧縮する圧縮部とを備えるシステムを提供する。
【選択図】図1
Description
(x,y)=((S/z1)×x1,(S/z1)×y1)) …(1)
20 クライアント装置
22 入力部
24 展開部
26 表示部
30 サーバ装置
32 3次元データ処理部
34 フレーム画像生成部
36 動き算出部
38 圧縮部
42 頂点処理部
44 ピクセル処理部
46 残差算出部
48 画像圧縮部
50 動き補償部
52 符号化部
60 調整部
62 形状符号化部
64 形状算出部
66 選択部
70 プロキシサーバ装置
72 プロキシサーバ内3次元データ処理部
200 スクリーン
300 オブジェクト
1900 コンピュータ
2000 CPU
2010 ROM
2020 RAM
2030 通信インターフェイス
2040 ハードディスクドライブ
2050 フレキシブルディスク・ドライブ
2060 CD−ROMドライブ
2070 入出力チップ
2075 グラフィック・コントローラ
2080 表示装置
2082 ホスト・コントローラ
2084 入出力コントローラ
2090 フレキシブルディスク
2095 CD−ROM
Claims (14)
- 3次元空間内で画面に対して相対的に移動するオブジェクトを前記画面に投影した動画像を圧縮するシステムであって、
圧縮対象フレームに応じた時刻および他のフレームに応じた時刻の間における前記オブジェクトの3次元空間内での動きを画面に投影して、前記オブジェクトの画面内での動きベクトルを算出する動き算出部と、
前記動きベクトルに基づく動き補償により前記圧縮対象フレームを圧縮する圧縮部と
を備えるシステム。 - 前記圧縮部は、前記圧縮対象フレームに投影された前記オブジェクトを含む領域の画像から、当該領域に対応付けられた前記動きベクトルにより指定される前記他のフレームにおける領域の画像を、減じた差分画像を圧縮する請求項1に記載のシステム。
- 前記圧縮対象フレームに投影された前記オブジェクトを含む領域の画像と、前記他のフレームにおける前記動きベクトルにより指定される領域の画像とをより一致させるように前記動きベクトルを調整する調整部を更に備える請求項2に記載のシステム。
- 前記調整部は、前記圧縮対象フレームに投影された前記オブジェクトを含む領域の画像と、前記他のフレームにおける前記動きベクトルにより指定される領域を予め定められたピクセル数の範囲でずらした各領域の画像とを比較し、画像が最も一致する前記他のフレーム上の領域を指定するように前記動きベクトルを変更する請求項3に記載のシステム。
- 3次元空間内の複数の前記オブジェクトを画面に投影して前記圧縮対象フレームを生成するフレーム画像生成部を更に備え、
前記フレーム画像生成部は、前記圧縮対象フレームの各ピクセルまたは各領域毎に、当該ピクセルまたは当該領域に対して最も前面に位置する前記オブジェクトの識別情報を対応付け、
前記動き算出部は、前記圧縮対象フレームの各領域の前記動きベクトルを算出する場合に、当該領域または当該領域内の各ピクセルに対応付けられた識別情報から当該領域に投影されたオブジェクトを特定し、特定された前記オブジェクトの3次元空間内での動きを画面に投影して前記動きベクトルを算出する
請求項1に記載のシステム。 - 3次元空間内の複数の前記オブジェクトを画面に投影して前記圧縮対象フレームを生成するフレーム画像生成部を更に備え、
前記フレーム画像生成部は、前記圧縮対象フレームの各ピクセルまたは各領域毎に、当該ピクセルまたは当該領域に対して最も前面に位置する前記オブジェクトの3次元空間内での動きを対応付け、
前記動き算出部は、前記圧縮対象フレームの各領域の動きベクトルを算出する場合に、当該領域または当該領域内の各ピクセルに対応付けられた3次元空間内での動きを画面に投影して前記動きベクトルを算出する
請求項1に記載のシステム。 - 3次元空間内の複数の前記オブジェクトを画面に投影して前記圧縮対象フレームを生成するフレーム画像生成部を更に備え、
前記動き算出部は、前記圧縮対象フレームの領域毎に、当該領域に対して最も前面に位置する前記オブジェクトについて算出した前記動きベクトルを対応付け、
前記圧縮部は、前記圧縮対象フレームの各領域の画像を圧縮する場合に、当該領域に対応付けられた前記動きベクトルに基づく動き補償を行う
請求項1に記載のシステム。 - 圧縮対象フレームに応じた時刻における前記オブジェクトの3次元空間内での形状を画面に投影して、画面内に投影された前記オブジェクトの形状を算出する形状算出部を更に備え、
前記圧縮部は、前記動きベクトルおよび前記形状に基づく動き補償により前記圧縮対象フレームを圧縮する
請求項1に記載のシステム。 - 当該システムは、3次元空間内の前記オブジェクトを複数の画面のそれぞれに投影した複数の動画像のそれぞれを圧縮するものであり、
前記動き算出部は、前記オブジェクトが第1の前記画面および第2の前記画面から予め指定された距離以上離れていることを条件として、当該オブジェクトの動きを前記第1の画面に投影した前記動きベクトルを、前記第2の画面における当該オブジェクトの前記動きベクトルとして共用する
請求項1に記載のシステム。 - 前記動き算出部は、前記圧縮対象フレームに応じた時刻、および複数の前記他のフレームのそれぞれに応じた時刻の間における前記オブジェクトの3次元空間内での動きを画面に投影して、前記複数の他のフレームのそれぞれの領域を指定する複数の前記動きベクトルを算出し、
前記複数の他のフレームのうち、対応する前記動きベクトルにより指定される領域の画像が、前記圧縮対象フレームに投影された前記オブジェクトを含む領域の画像と最も一致する前記他のフレームを選択する選択部を更に備え、
前記圧縮部は、選択部が選択した前記他のフレームおよび当該他のフレームに対応する前記動きベクトルに基づく動き補償により前記圧縮対象フレームを圧縮する
請求項1に記載のシステム。 - 複数の前記他のフレームのうち、前記オブジェクトの向きが前記圧縮対象フレームにおける前記オブジェクトの向きにより近い他のフレームを選択する選択部を更に備え、
前記動き算出部は、前記圧縮対象フレームに応じた時刻および選択された前記他のフレームに応じた時刻の間における前記オブジェクトの3次元空間内での動きを画面に投影して前記動きベクトルを算出する
請求項1に記載のシステム。 - 前記圧縮対象フレーム中に投影される複数の前記オブジェクトのうち、予め定められた数未満のオブジェクトのみが前記他のフレーム中にも投影されていることを条件として、前記圧縮部は、動き補償を用いずに前記圧縮対象フレームを圧縮する
請求項1に記載のシステム。 - 3次元空間内で画面に対して相対的に移動するオブジェクトを前記画面に投影した動画像をコンピュータにより圧縮するためのプログラムであって、
当該プログラムは、前記コンピュータを、
圧縮対象フレームに応じた時刻および他のフレームに応じた時刻の間における前記オブジェクトの3次元空間内での動きを画面に投影して、画面内での前記オブジェクトの動きベクトルを算出する動き算出部と、
前記動きベクトルに基づく動き補償により前記圧縮対象フレームを圧縮する圧縮部と、
して機能させるプログラム。 - 3次元空間内で画面に対して相対的に移動するオブジェクトを前記画面に投影した動画像をコンピュータにより圧縮する方法であって、
圧縮対象フレームに応じた時刻および他のフレームに応じた時刻の間における前記オブジェクトの3次元空間内での動きを画面に投影して、画面内での前記オブジェクトの動きベクトルを算出し、
前記動きベクトルに基づく動き補償により前記圧縮対象フレームを圧縮する
方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008019281A JP5039921B2 (ja) | 2008-01-30 | 2008-01-30 | 圧縮システム、プログラムおよび方法 |
US12/361,648 US8331435B2 (en) | 2008-01-30 | 2009-01-29 | Compression system, program and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008019281A JP5039921B2 (ja) | 2008-01-30 | 2008-01-30 | 圧縮システム、プログラムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009182605A true JP2009182605A (ja) | 2009-08-13 |
JP5039921B2 JP5039921B2 (ja) | 2012-10-03 |
Family
ID=40954704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008019281A Active JP5039921B2 (ja) | 2008-01-30 | 2008-01-30 | 圧縮システム、プログラムおよび方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8331435B2 (ja) |
JP (1) | JP5039921B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011139184A (ja) * | 2009-12-28 | 2011-07-14 | Mega Chips Corp | 画像圧縮装置、撮像装置および画像圧縮方法 |
JP2016509486A (ja) * | 2014-01-09 | 2016-03-31 | 株式会社スクウェア・エニックス・ホールディングス | ネットワークを介して送信するためのビデオゲーム画面画像の生成及び符号化を行う方法及びシステム |
JP2021528734A (ja) * | 2018-06-26 | 2021-10-21 | ソニーグループ株式会社 | ジオメトリ情報の動き補償 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011019202A (ja) * | 2009-07-10 | 2011-01-27 | Sony Corp | 映像信号処理装置および映像表示装置 |
EP2384001A1 (en) * | 2010-04-29 | 2011-11-02 | Alcatel Lucent | Providing of encoded video applications in a network environment |
WO2012078640A2 (en) * | 2010-12-06 | 2012-06-14 | The Regents Of The University Of California | Rendering and encoding adaptation to address computation and network bandwidth constraints |
WO2013026048A2 (en) | 2011-08-18 | 2013-02-21 | Utherverse Digital, Inc. | Systems and methods of virtual world interaction |
US8913664B2 (en) * | 2011-09-16 | 2014-12-16 | Sony Computer Entertainment Inc. | Three-dimensional motion mapping for cloud gaming |
US9930082B2 (en) | 2012-11-20 | 2018-03-27 | Nvidia Corporation | Method and system for network driven automatic adaptive rendering impedance |
US10616086B2 (en) | 2012-12-27 | 2020-04-07 | Navidia Corporation | Network adaptive latency reduction through frame rate control |
US9819604B2 (en) | 2013-07-31 | 2017-11-14 | Nvidia Corporation | Real time network adaptive low latency transport stream muxing of audio/video streams for miracast |
CN106463032B (zh) * | 2014-03-03 | 2019-05-31 | Vsk电子有限公司 | 利用方向感应的入侵检测方法及系统 |
US9716875B2 (en) * | 2015-09-18 | 2017-07-25 | Intel Corporation | Facilitating quantization and compression of three-dimensional graphics data using screen space metrics at computing devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161505A (ja) * | 1994-11-30 | 1996-06-21 | Sony Corp | 動画像処理装置、動画像符号化装置および動画像復号装置 |
JPH09212652A (ja) * | 1996-01-30 | 1997-08-15 | Tsushin Hoso Kiko | 動画像の3次元構造情報及び3次元運動情報の抽出方法 |
JP2004517590A (ja) * | 2001-01-24 | 2004-06-10 | オーワイ ゲームクラスター リミテッド | ビデオ情報圧縮方法 |
JP2004320804A (ja) * | 2004-06-16 | 2004-11-11 | Hitachi Ltd | 可変長復号化回路及び方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0877356A (ja) * | 1994-09-09 | 1996-03-22 | Fujitsu Ltd | 三次元多眼画像の処理方法及び処理装置 |
US6157396A (en) * | 1999-02-16 | 2000-12-05 | Pixonics Llc | System and method for using bitstream information to process images for use in digital display systems |
FR2833797B1 (fr) * | 2001-12-19 | 2004-02-13 | Thomson Licensing Sa | Procede d'estimation du mouvement dominant dans une sequence d'images |
-
2008
- 2008-01-30 JP JP2008019281A patent/JP5039921B2/ja active Active
-
2009
- 2009-01-29 US US12/361,648 patent/US8331435B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161505A (ja) * | 1994-11-30 | 1996-06-21 | Sony Corp | 動画像処理装置、動画像符号化装置および動画像復号装置 |
JPH09212652A (ja) * | 1996-01-30 | 1997-08-15 | Tsushin Hoso Kiko | 動画像の3次元構造情報及び3次元運動情報の抽出方法 |
JP2004517590A (ja) * | 2001-01-24 | 2004-06-10 | オーワイ ゲームクラスター リミテッド | ビデオ情報圧縮方法 |
JP2004320804A (ja) * | 2004-06-16 | 2004-11-11 | Hitachi Ltd | 可変長復号化回路及び方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011139184A (ja) * | 2009-12-28 | 2011-07-14 | Mega Chips Corp | 画像圧縮装置、撮像装置および画像圧縮方法 |
JP2016509486A (ja) * | 2014-01-09 | 2016-03-31 | 株式会社スクウェア・エニックス・ホールディングス | ネットワークを介して送信するためのビデオゲーム画面画像の生成及び符号化を行う方法及びシステム |
JP2021528734A (ja) * | 2018-06-26 | 2021-10-21 | ソニーグループ株式会社 | ジオメトリ情報の動き補償 |
JP7161150B2 (ja) | 2018-06-26 | 2022-10-26 | ソニーグループ株式会社 | ジオメトリ情報の動き補償 |
US11501507B2 (en) | 2018-06-26 | 2022-11-15 | Sony Group Corporation | Motion compensation of geometry information |
Also Published As
Publication number | Publication date |
---|---|
JP5039921B2 (ja) | 2012-10-03 |
US8331435B2 (en) | 2012-12-11 |
US20090207172A1 (en) | 2009-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5039921B2 (ja) | 圧縮システム、プログラムおよび方法 | |
US10861215B2 (en) | Asynchronous time and space warp with determination of region of interest | |
US10334238B2 (en) | Method and system for real-time rendering displaying high resolution virtual reality (VR) video | |
US11978175B2 (en) | Mixed reality system with color virtual content warping and method of generating virtual content using same | |
CN110322542B (zh) | 重建真实世界3d场景的视图 | |
EP3274966B1 (en) | Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes | |
JP4004408B2 (ja) | ビデオ情報圧縮方法 | |
KR100938964B1 (ko) | 3차원 컴퓨터 그래픽스의 압축을 위한 시스템 및 방법 | |
CA2803956C (en) | Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium | |
US11941748B2 (en) | Lightweight view dependent rendering system for mobile devices | |
US10841555B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US11496758B2 (en) | Priority-based video encoding and transmission | |
CN111612878B (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
TW202025088A (zh) | 用於遠端呈現虛擬實境之異步空間翹曲 | |
JP2018067106A (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
TW202141418A (zh) | 處理拆分渲染中的遮蔽之方法及裝置 | |
US20210192681A1 (en) | Frame reprojection for virtual reality and augmented reality | |
JP2020028096A (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
WO2020006293A1 (en) | Video encoding system | |
CN109493349B (zh) | 一种图像特征处理模块、增强现实设备和角点检测方法 | |
WO2023058545A1 (ja) | 情報処理装置および方法、プログラム | |
US20230177763A1 (en) | Method for Adapting the Rendering of a Scene | |
CN117974814A (zh) | 用于图像处理的方法、装置及存储介质 | |
JP2020113159A (ja) | 情報端末装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20120509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120522 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5039921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150720 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |