JP2016519905A - 2次元ビデオの3次元ビデオへの変換方法及びシステム - Google Patents
2次元ビデオの3次元ビデオへの変換方法及びシステム Download PDFInfo
- Publication number
- JP2016519905A JP2016519905A JP2016507524A JP2016507524A JP2016519905A JP 2016519905 A JP2016519905 A JP 2016519905A JP 2016507524 A JP2016507524 A JP 2016507524A JP 2016507524 A JP2016507524 A JP 2016507524A JP 2016519905 A JP2016519905 A JP 2016519905A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- motion
- view frame
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
Claims (20)
- 2次元ビデオの3次元ビデオへの変換方法であって、前記2次元ビデオは一連のビデオフレームを有し、
(a)ビデオフレームxの一部とビデオフレームyの一部との間の動きの、動きの方向及び動きの大きさを計算すること、
(b)前記動きの方向に基づいてビューフレームL及びビューフレームRを求めること、及び、
(c)前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成すること、
を含む、方法。 - 複数の連続するビデオフレームのために、(a)から(c)を繰り返すことを更に含む
請求項1の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することによって、前記動きを求めることを更に含む、
請求項1の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、疑似パターン認識を行うことを含む、
請求項3の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxの所定の数のピクセルをビデオフレームyの対応する所定の数のピクセルと比較することを含む、
請求項3の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxのエッジにある少なくとも1つのピクセルをビデオフレームyのエッジにある対応する少なくとも1つのピクセルと比較することを含む、
請求項3の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxの中央部に実質的に近い少なくとも1つのピクセルをビデオフレームyの中央部に実質的に近い対応する少なくとも1つのピクセルと比較することを含む、
請求項3の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、ビデオフレームxの2以上のコーナーのそれぞれにある少なくとも1つのピクセルをビデオフレームyの2以上のコーナーのそれぞれにある対応する少なくとも1つのピクセルと、前記動きを求めるために、比較することを含む、
請求項3の方法。 - 前記ビデオフレームxの一部を前記ビデオフレームyと比較することは、
(a)ビデオフレームxのエッジにある少なくとも1つのピクセルをビデオフレームyのエッジにある対応する少なくとも1つのピクセルと比較すること、
(b)(a)において動きが見つからない場合に、ビデオフレームxの中央部に実質的に近い少なくとも1つのピクセルをビデオフレームyの中央部に実質的に近い対応する少なくとも1つのピクセルと比較すること、及び、
(c)(a)及び(b)において動きが見つからない場合に、
ビデオフレームxの2以上のコーナーのそれぞれにある少なくとも1つのピクセルをビデオフレームyの2以上のコーナーのそれぞれにある対応する少なくとも1つのピクセルと比較すること、
を含む、請求項3の方法。 - 前記動きの方向に基づいてビューフレームL及びビューフレームRを求めることは、
(a)動きの方向が右向きである場合には、ビデオフレームxをビューフレームLであるとして設定し、ビデオフレームyをビューフレームRであるとして設定すること、及び、
(b)動きの方向が左向きである場合には、ビデオフレームxをビューフレームRであるとして設定し、ビデオフレームyをビューフレームLであるとして設定すること、
を含む、請求項1の方法。 - 前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することは、ビューフレームRをデジタル的に歪ませることによって、修正ビューフレームR’を作成することを含む、
請求項1の方法。 - 前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することは、ビューフレームRを引き延ばされた台形にデジタル的に歪ませることによって、修正ビューフレームR’を作成することを含む、
請求項1の方法。 - 前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成することは、ビューフレームRを、オリジナルのフレームサイズを超えるエッジがトリミングされた引き延ばされた台形に、デジタル的に歪ませることによって、修正ビューフレームR’を作成することを含む、
請求項1の方法。 - フレームLをユーザの左目で見るために修正し、フレームRをユーザの右目で見るために修正することを更に含む、
請求項1の方法。 - 第1の色を除去することによってビューフレームLをユーザの左目で見るために修正し、第2の色を除去することによってビューフレームRをユーザの右目で見るために修正することを更に含む、
請求項1の方法。 - 第1方向に偏光させることによってビューフレームLをユーザの左目で見るために修正し、第2方向に偏光させることによってビューフレームRをユーザの右目で見るために修正することを更に含む、
請求項1の方法。 - ビューフレームLをユーザの左目によって見るために、修正ビューフレームR’をユーザの右目によって見るために、表示することを更に含む、
請求項1の方法。 - ビューフレームLをユーザの左目によって見るために、修正ビューフレームR’をユーザの右目によって見るために、格納することを更に含む、
請求項1の方法。 - 2次元ビデオの3次元ビデオへの変換を行うビデオ表示デバイスであって、前記2次元ビデオは一連のビデオフレームを有し、
(a)処理ユニットと、
(b)実行されたときに、前記処理ユニットに、
ビデオフレームxの少なくとも一部をビデオフレームyの対応する少なくとも一部と比較することによって、これらの間の動きを求め、
前記求められた動きに基づいて、動きの方向及び動きの大きさを計算し、前記動きの方向に基づいてビューフレームL及びビューフレームRを求め、
前記動きの方向及び前記動きの大きさに基づいてビューフレームRを修正することによって、修正ビューフレームR’を作成する
ように指示をする、ビデオ表示デバイスで実行可能な命令を有するメモリ構造と、
を有する、ビデオ表示デバイス。 - 実行されたときに、2次元ビデオを3次元ビデオへ変換するようにビデオ表示デバイスを構成する実行可能な命令を格納する、1以上のデバイス読み取り可能な媒体であって、前記2次元ビデオは一連のビデオフレームを有し、実行されたときに、
(a)ビデオフレームxの所定の数のピクセルをビデオフレームyの対応する所定の数のピクセルと比較することによって、これらの間の動きを求めること、
(b)前記求められた動きに基づいて、動きの方向及び動きの大きさを計算すること、
(c)(i)動きの方向が右向きである場合には、ビデオフレームxをビューフレームLであるとして設定し、ビデオフレームyをビューフレームRであるとして設定すること、及び、
(ii)動きの方向が左向きである場合には、ビデオフレームxをビューフレームRであるとして設定し、ビデオフレームyをビューフレームLであるとして設定すること
を含み、前記動きの方向に基づいてビューフレームL及びビューフレームRを求めること、並びに、
(d)前記動きの方向及び前記動きの大きさに基づいてビューフレームRをデジタル的に歪ませることによって、修正ビューフレームR’を作成すること、
を含む行為を更に行うように前記ビデオ表示デバイスを構成する実行可能な命令を格納する、1以上のデバイス読み取り可能な媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2013/035843 WO2014168614A1 (en) | 2013-04-09 | 2013-04-09 | Two-dimensional video to three-dimensional video conversion method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016519905A true JP2016519905A (ja) | 2016-07-07 |
JP6333952B2 JP6333952B2 (ja) | 2018-05-30 |
Family
ID=51689873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016507524A Expired - Fee Related JP6333952B2 (ja) | 2013-04-09 | 2013-04-09 | ビデオフレーム間の動きに基づく2次元ビデオの3次元ビデオへの変換 |
Country Status (9)
Country | Link |
---|---|
EP (1) | EP2984820A4 (ja) |
JP (1) | JP6333952B2 (ja) |
KR (1) | KR101729883B1 (ja) |
CN (1) | CN105531997B (ja) |
AU (1) | AU2013385831B2 (ja) |
CA (1) | CA2909245C (ja) |
RU (1) | RU2642367C2 (ja) |
SG (1) | SG11201508332YA (ja) |
WO (1) | WO2014168614A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07307961A (ja) * | 1994-05-13 | 1995-11-21 | Pioneer Electron Corp | 立体表示方法及び装置 |
JPH08149517A (ja) * | 1994-09-22 | 1996-06-07 | Sanyo Electric Co Ltd | 2次元映像から3次元映像を生成する方法 |
JPH08149510A (ja) * | 1994-11-18 | 1996-06-07 | Sanyo Electric Co Ltd | 2次元3次元映像変換方法 |
JP2000285253A (ja) * | 1999-01-28 | 2000-10-13 | Toshiba Corp | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
JP2001515287A (ja) * | 1997-09-02 | 2001-09-18 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | 画像処理方法および装置 |
WO2012078621A1 (en) * | 2010-12-06 | 2012-06-14 | Teranex Systems Inc. | Pseudo-3d forced perspective methods and devices |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001039512A1 (en) * | 1999-11-26 | 2001-05-31 | Sanyo Electric Co., Ltd. | Device and method for converting two-dimensional video to three-dimensional video |
US8325220B2 (en) * | 2005-12-02 | 2012-12-04 | Koninklijke Philips Electronics N.V. | Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input |
WO2008075276A1 (en) * | 2006-12-19 | 2008-06-26 | Koninklijke Philips Electronics N.V. | Method and system to convert 2d video into 3d video |
KR20100127423A (ko) * | 2009-05-26 | 2010-12-06 | 엘지전자 주식회사 | 영상표시기기에서 영상 디스플레이 장치 및 방법 |
RU92595U1 (ru) * | 2009-12-24 | 2010-03-20 | Михаил Михайлович Слепко | Устройство для формирования 3d стереоскопического изображения из 2d моноскопического изображения |
KR101660910B1 (ko) * | 2010-04-28 | 2016-09-29 | 주식회사 알티캐스트 | 영상 데이터 처리장치 및 방법 |
US9261710B2 (en) * | 2010-06-01 | 2016-02-16 | Intel Corporation | 2D quality enhancer in polarized 3D systems for 2D-3D co-existence |
US9300947B2 (en) * | 2011-03-24 | 2016-03-29 | Kodak Alaris Inc. | Producing 3D images from captured 2D video |
KR20130010613A (ko) * | 2011-07-19 | 2013-01-29 | 엘지전자 주식회사 | 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법 |
CN102724530B (zh) * | 2012-05-29 | 2014-10-22 | 清华大学 | 基于反馈控制的平面视频立体化方法 |
-
2013
- 2013-04-09 RU RU2015147541A patent/RU2642367C2/ru not_active IP Right Cessation
- 2013-04-09 CN CN201380077274.4A patent/CN105531997B/zh not_active Expired - Fee Related
- 2013-04-09 AU AU2013385831A patent/AU2013385831B2/en not_active Ceased
- 2013-04-09 KR KR1020157031808A patent/KR101729883B1/ko active IP Right Grant
- 2013-04-09 SG SG11201508332YA patent/SG11201508332YA/en unknown
- 2013-04-09 WO PCT/US2013/035843 patent/WO2014168614A1/en active Application Filing
- 2013-04-09 EP EP13881474.4A patent/EP2984820A4/en not_active Withdrawn
- 2013-04-09 CA CA2909245A patent/CA2909245C/en not_active Expired - Fee Related
- 2013-04-09 JP JP2016507524A patent/JP6333952B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07307961A (ja) * | 1994-05-13 | 1995-11-21 | Pioneer Electron Corp | 立体表示方法及び装置 |
JPH08149517A (ja) * | 1994-09-22 | 1996-06-07 | Sanyo Electric Co Ltd | 2次元映像から3次元映像を生成する方法 |
JPH08149510A (ja) * | 1994-11-18 | 1996-06-07 | Sanyo Electric Co Ltd | 2次元3次元映像変換方法 |
JP2001515287A (ja) * | 1997-09-02 | 2001-09-18 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | 画像処理方法および装置 |
JP2000285253A (ja) * | 1999-01-28 | 2000-10-13 | Toshiba Corp | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
WO2012078621A1 (en) * | 2010-12-06 | 2012-06-14 | Teranex Systems Inc. | Pseudo-3d forced perspective methods and devices |
JP2014506039A (ja) * | 2010-12-06 | 2014-03-06 | テラネックス システムズ インコーポレイテッド | 疑似3d強化遠近法を用いた方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6333952B2 (ja) | 2018-05-30 |
CN105531997B (zh) | 2018-07-13 |
SG11201508332YA (en) | 2015-11-27 |
KR20160022295A (ko) | 2016-02-29 |
CA2909245C (en) | 2018-02-27 |
EP2984820A1 (en) | 2016-02-17 |
RU2015147541A (ru) | 2017-05-12 |
RU2642367C2 (ru) | 2018-01-24 |
KR101729883B1 (ko) | 2017-04-24 |
CN105531997A (zh) | 2016-04-27 |
CA2909245A1 (en) | 2014-10-16 |
AU2013385831A1 (en) | 2015-11-12 |
WO2014168614A1 (en) | 2014-10-16 |
AU2013385831B2 (en) | 2016-09-01 |
EP2984820A4 (en) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8358332B2 (en) | Generation of three-dimensional movies with improved depth control | |
Devernay et al. | Stereoscopic cinema | |
JP2019511024A (ja) | パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング | |
US9558541B2 (en) | Method of correcting image overlap area, recording medium, and execution apparatus | |
JP2015043573A (ja) | 映像重合領域の補正方法、記録媒体、及び起動装置 | |
JP2010510569A (ja) | 2次元から3次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法 | |
JP6683307B2 (ja) | 多数のカメラを用いた最適の球形映像獲得方法 | |
US9536347B2 (en) | Apparatus and method for forming light field image | |
KR101713875B1 (ko) | 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템 | |
JP2014095853A (ja) | 画像処理装置、投影装置、画像処理方法及びプログラム | |
US10291900B2 (en) | Method and apparatus for normalizing size of content in multi-projection theater | |
US9172940B2 (en) | Two-dimensional video to three-dimensional video conversion based on movement between video frames | |
US20210152737A1 (en) | Apparatus and method for stitching together multiple images | |
JP6333952B2 (ja) | ビデオフレーム間の動きに基づく2次元ビデオの3次元ビデオへの変換 | |
CN104584075B (zh) | 用于描述对象空间的对象点以及用于其执行的连接方法 | |
JP6457964B2 (ja) | 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム | |
JP5645448B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR101567002B1 (ko) | 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 | |
JP2014135006A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6079135B2 (ja) | 画像処理装置、映像データ補正方法及びプログラム | |
US20230350344A1 (en) | Information processing device, information processing method, program, and hologram display system | |
JP2011150213A (ja) | 浮遊立体表示装置システム | |
WO2012157459A1 (ja) | 立体視用画像生成システム | |
JP2021111859A (ja) | 立体画像生成装置及びそのプログラム | |
JP2019013012A (ja) | データ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6333952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |