JP2013545149A - マルチビュー生成のためのレンダリング装置およびその方法 - Google Patents
マルチビュー生成のためのレンダリング装置およびその方法 Download PDFInfo
- Publication number
- JP2013545149A JP2013545149A JP2013525832A JP2013525832A JP2013545149A JP 2013545149 A JP2013545149 A JP 2013545149A JP 2013525832 A JP2013525832 A JP 2013525832A JP 2013525832 A JP2013525832 A JP 2013525832A JP 2013545149 A JP2013545149 A JP 2013545149A
- Authority
- JP
- Japan
- Prior art keywords
- view
- hole
- views
- reference hole
- holes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
レンダリング装置は、複数の参照ビューをレンダリングして複数の予測ビューを生成し、ホール集合部は、生成されたそれぞれの予測ビューに存在するホールを用いて1つの基準ホールレイヤを生成し、ホール復元部は、生成された基準ホールレイヤの基準ホールを復元し、マルチビュー生成部は、基準ホールの復元された基準ホールレイヤを用いて各予測ビューに存在するホールを除去する。
Description
110 レンダリング部
120 ホール検出部
130 ホール集合部
140 ホール復元部
150 マルチビュー生成部
Claims (28)
- 少なくとも1つの参照ビューをレンダリングして複数の予測ビューを生成するレンダリング部と、
前記それぞれの予測ビューに存在するホールの集合を示す基準ホールを生成するホール集合部と、
前記基準ホールを復元するホール復元部と、
前記復元された基準ホールを用いて、前記各予測ビューに存在するホールを除去するマルチビュー生成部と、
を含むことを特徴とするマルチビュー生成のための装置。 - 前記予測ビューは、連続する2つの参照ビューの間に位置する補間ビューであることを特徴とする請求項1に記載のマルチビュー生成のための装置。
- 前記補間ビューは、連続的な補間ビューであることを特徴とする請求項2に記載のマルチビュー生成のための装置。
- 前記ホール集合部は、
前記基準ホールを含む基準ホールレイヤを生成し、
前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有することを特徴とする請求項2に記載のマルチビュー生成のための装置。 - 前記基準ホールは、前記各補間ビューに存在するそれぞれのホールよりも大きい大きさを有することを特徴とする請求項2に記載のマルチビュー生成のための装置。
- 前記マルチビュー生成部は、前記各補間ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去することを特徴とする請求項2に記載のマルチビュー生成のための装置。
- 前記予測ビューは、
前記少なくとも1つの参照ビューの外側に位置する補外ビューであることを特徴とする請求項1に記載のマルチビュー生成のための装置。 - 前記補外ビューは、1つの参照ビューをレンダリングして生成されることを特徴とする請求項7に記載のマルチビュー生成のための装置。
- 前記補外ビューは、連続的な補外ビューであることを特徴とする請求項7に記載のマルチビュー生成のための装置。
- 前記ホール集合部は、
前記基準ホールを含む基準ホールレイヤを生成し、
前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有することを特徴とする請求項7に記載のマルチビュー生成のための装置。 - 前記基準ホールは、前記各補外ビューに存在するそれぞれのホールよりも大きい大きさを有することを特徴とする請求項7に記載のマルチビュー生成のための装置。
- 前記マルチビュー生成部は、前記各補外ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去することを特徴とする請求項7に記載のマルチビュー生成のための装置。
- 前記それぞれの予測ビューに存在するホールを検出するホール検出部をさらに含むことを特徴とする請求項1に記載のマルチビュー生成のためのレンダリング装置。
- 少なくとも1つの参照ビューをレンダリングして複数の予測ビューを生成するステップと、
前記それぞれの予測ビューに存在するホールの集合を示す基準ホールを生成するステップと、
前記基準ホールを復元するステップと、
前記復元された基準ホールを用いて前記各予測ビューに存在するホールを除去するステップと、
を含むことを特徴とするマルチビュー生成方法。 - 前記予測ビューは、連続する2つの参照ビューの間に位置する補間ビューであることを特徴とする請求項14に記載のマルチビュー生成方法。
- 前記補間ビューは、連続的な補間ビューであることを特徴とする請求項15に記載のマルチビュー生成方法。
- 前記基準ホールを生成するステップは、
前記基準ホールを含む基準ホールレイヤを生成し、
前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有することを特徴とする請求項15に記載のマルチビュー生成方法。 - 前記基準ホールは、前記各補間ビューに存在するそれぞれのホールよりも大きい大きさを有することを特徴とする請求項15に記載のマルチビュー生成方法。
- 前記各予測ビューに存在する前記ホールを除去するステップは、前記各補間ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去することを特徴とする請求項15に記載のマルチビュー生成方法。
- 前記予測ビューは、
前記少なくとも1つの参照ビューの外側に位置する補外ビューであることを特徴とする請求項14に記載のマルチビュー生成方法。 - 前記補外ビューは、1つの参照ビューをレンダリングして生成されることを特徴とする請求項20に記載のマルチビュー生成方法。
- 前記補外ビューは、連続的な補外ビューであることを特徴とする請求項20に記載のマルチビュー生成方法。
- 前記基準ホールを生成するステップは、
前記基準ホールを含む基準ホールレイヤを生成し、
前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有することを特徴とする請求項20に記載のマルチビュー生成方法。 - 前記基準ホールは、前記各補外ビューに存在するそれぞれのホールよりも大きい大きさを有することを特徴とする請求項20に記載のマルチビュー生成方法。
- 前記各補外ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去することを特徴とする請求項20に記載のマルチビュー生成方法。
- マルチビュー生成のためのレンダリング装置において、
メモリと、
複数の予測ビューに存在するホールを用いて前記各予測ビューに存在するホールの集合を示す基準ホールを生成し、前記基準ホールを復元し、前記復元された基準ホールを用いて前記各予測ビューに存在する前記ホールを除去するように構成されたプロセッサと、
を含むことを特徴とするマルチビュー生成のためのレンダリング装置。 - マルチビュー生成のための装置を含むマルチビューディスプレイ装置において、
マルチビューを生成するための装置に含まれ、複数の予測ビューに存在するホールを用いて前記各予測ビューに存在するホールの集合を示す基準ホールを生成し、前記基準ホールを復元し、前記復元された基準ホールを用いて前記各予測ビューに存在する前記ホールを除去するように構成されたプロセッサと、
前記予測ビューに基づいたマルチビューイメージをディスプレイするマルチビューディスプレイと、
を含むことを特徴とするマルチビュー生成のためのマルチビューディスプレイ装置。 - 前記マルチビューを生成するための装置は、
前記各補間ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去することを特徴とする請求項27に記載のマルチビュー生成のためのマルチビューディスプレイ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20100083570 | 2010-08-27 | ||
KR10-2010-0083570 | 2010-08-27 | ||
PCT/KR2011/006285 WO2012026768A2 (en) | 2010-08-27 | 2011-08-25 | Rendering apparatus and method for generating multi-views |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013545149A true JP2013545149A (ja) | 2013-12-19 |
JP5784729B2 JP5784729B2 (ja) | 2015-09-24 |
Family
ID=45696564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013525832A Active JP5784729B2 (ja) | 2010-08-27 | 2011-08-25 | マルチビュー生成のためのレンダリング装置およびその方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9147281B2 (ja) |
EP (1) | EP2609575B1 (ja) |
JP (1) | JP5784729B2 (ja) |
KR (1) | KR101895327B1 (ja) |
CN (1) | CN102687178B (ja) |
WO (1) | WO2012026768A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140039649A (ko) | 2012-09-24 | 2014-04-02 | 삼성전자주식회사 | 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치 |
KR101918030B1 (ko) | 2012-12-20 | 2018-11-14 | 삼성전자주식회사 | 하이브리드 멀티-뷰 랜더링 방법 및 장치 |
KR102156402B1 (ko) * | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
EP3511147B1 (en) * | 2014-09-29 | 2020-11-11 | Nichia Corporation | Method for manufacturing package, method for manufacturing light emitting device, package and light emitting device |
US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
KR102350235B1 (ko) | 2014-11-25 | 2022-01-13 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
CN106028020B (zh) * | 2016-06-21 | 2017-11-17 | 电子科技大学 | 一种基于多方向预测的虚拟视角图像空洞填补方法 |
CN110895793B (zh) * | 2018-09-13 | 2022-06-14 | 阿里巴巴(中国)有限公司 | 图像处理方法、装置及存储介质 |
US11570418B2 (en) | 2021-06-17 | 2023-01-31 | Creal Sa | Techniques for generating light field data by combining multiple synthesized viewpoints |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0927969A (ja) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 複数画像の中間像生成方法及び視差推定方法および装置 |
JPH10191396A (ja) * | 1996-12-26 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 中間視点画像生成方法および視差推定方法および画像伝送方法 |
JP2009124308A (ja) * | 2007-11-13 | 2009-06-04 | Tokyo Denki Univ | 多眼視画像作成システム及び多眼視画像作成方法 |
JP2009528747A (ja) * | 2006-02-28 | 2009-08-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像における指向性の穴埋め |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5530774A (en) * | 1994-03-25 | 1996-06-25 | Eastman Kodak Company | Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields |
CN1897705A (zh) * | 2002-01-18 | 2007-01-17 | 株式会社东芝 | 视频编码方法和装置以及视频解码方法和装置 |
EP1654884A1 (en) * | 2003-08-05 | 2006-05-10 | Koninklijke Philips Electronics N.V. | Multi-view image generation |
KR100655465B1 (ko) | 2004-08-30 | 2006-12-08 | 중앙대학교 산학협력단 | 실시간 중간 시점 영상 보간 방법 |
KR100590025B1 (ko) | 2004-12-30 | 2006-06-14 | 전자부품연구원 | 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치 |
WO2006075304A2 (en) * | 2005-01-12 | 2006-07-20 | Koninklijke Philips Electronics N.V. | Depth perception |
KR100731979B1 (ko) | 2005-10-18 | 2007-06-25 | 전자부품연구원 | 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 |
KR100745691B1 (ko) | 2005-12-08 | 2007-08-03 | 한국전자통신연구원 | 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법 |
WO2008100826A1 (en) * | 2007-02-13 | 2008-08-21 | Clairvoyante, Inc | Subpixel layouts and subpixel rendering methods for directional displays and systems |
KR100924716B1 (ko) | 2007-12-24 | 2009-11-04 | 연세대학교 산학협력단 | 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법 |
BRPI0910284A2 (pt) * | 2008-03-04 | 2015-09-29 | Thomson Licensing | vista de referência virtual |
KR20100008649A (ko) | 2008-07-16 | 2010-01-26 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
KR101066550B1 (ko) | 2008-08-11 | 2011-09-21 | 한국전자통신연구원 | 가상시점 영상 생성방법 및 그 장치 |
US8913657B2 (en) * | 2008-10-27 | 2014-12-16 | Lg Electronics Inc. | Virtual view image synthesis method and apparatus |
KR20100083570A (ko) | 2009-01-14 | 2010-07-22 | 삼성전자주식회사 | 얼굴 인식 방법 |
-
2011
- 2011-08-25 CN CN201180004611.8A patent/CN102687178B/zh active Active
- 2011-08-25 EP EP11820195.3A patent/EP2609575B1/en active Active
- 2011-08-25 JP JP2013525832A patent/JP5784729B2/ja active Active
- 2011-08-25 WO PCT/KR2011/006285 patent/WO2012026768A2/en active Application Filing
- 2011-08-26 KR KR1020110085469A patent/KR101895327B1/ko active IP Right Grant
- 2011-08-26 US US13/218,989 patent/US9147281B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0927969A (ja) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | 複数画像の中間像生成方法及び視差推定方法および装置 |
JPH10191396A (ja) * | 1996-12-26 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 中間視点画像生成方法および視差推定方法および画像伝送方法 |
JP2009528747A (ja) * | 2006-02-28 | 2009-08-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像における指向性の穴埋め |
JP2009124308A (ja) * | 2007-11-13 | 2009-06-04 | Tokyo Denki Univ | 多眼視画像作成システム及び多眼視画像作成方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2609575B1 (en) | 2019-02-27 |
KR101895327B1 (ko) | 2018-09-10 |
US20120050283A1 (en) | 2012-03-01 |
WO2012026768A2 (en) | 2012-03-01 |
WO2012026768A3 (en) | 2012-05-18 |
US9147281B2 (en) | 2015-09-29 |
KR20120020078A (ko) | 2012-03-07 |
CN102687178A (zh) | 2012-09-19 |
JP5784729B2 (ja) | 2015-09-24 |
EP2609575A4 (en) | 2015-05-06 |
EP2609575A2 (en) | 2013-07-03 |
CN102687178B (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5784729B2 (ja) | マルチビュー生成のためのレンダリング装置およびその方法 | |
Battisti et al. | Objective image quality assessment of 3D synthesized views | |
EP2477158B1 (en) | Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching | |
RU2519433C2 (ru) | Способ и система для обработки входного трехмерного видеосигнала | |
KR101697184B1 (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
EP2451164B1 (en) | Improved view synthesis | |
JP2005151534A5 (ja) | ||
US20130038600A1 (en) | System and Method of Processing 3D Stereoscopic Image | |
EP2153669A1 (en) | Method, apparatus and system for processing depth-related information | |
KR20100051675A (ko) | 깊이-관련 정보 전파를 위한 방법 및 장치 | |
JP7184748B2 (ja) | 場面の積層深度データを生成するための方法 | |
KR20120137295A (ko) | 영상 처리를 위한 방법 및 장치 | |
WO2019244944A1 (ja) | 三次元再構成方法および三次元再構成装置 | |
EP2717247A2 (en) | Image processing apparatus and method for performing image rendering based on orientation of display | |
JP6184062B2 (ja) | 映像処理のための方法及び装置 | |
JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2007053621A (ja) | 画像生成装置 | |
Kellnhofer et al. | Optimizing disparity for motion in depth | |
WO2013128765A1 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
US20120170841A1 (en) | Image processing apparatus and method | |
JP5906033B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
EP2541494B1 (en) | Method and apparatus for restoring resolution of multi-view image | |
JP5254297B2 (ja) | 画像処理装置 | |
TWI517096B (zh) | 用於立體影像合成之逆向深度映射方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5784729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |