JP2012142852A - 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 - Google Patents
擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 Download PDFInfo
- Publication number
- JP2012142852A JP2012142852A JP2011000658A JP2011000658A JP2012142852A JP 2012142852 A JP2012142852 A JP 2012142852A JP 2011000658 A JP2011000658 A JP 2011000658A JP 2011000658 A JP2011000658 A JP 2011000658A JP 2012142852 A JP2012142852 A JP 2012142852A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic image
- depth
- unit
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】本発明の擬似立体画像生成装置は、非立体画像に座標を設定して座標情報として生成する座標情報生成部2と、非立体画像を構成する各画素の画素値を所定の閾値と比較して閾値より大きい画素からなる領域を有効画像部として検出する有効画像検出部3と、有効画像部の座標に基づいて座標情報を補正して補正情報を生成する座標補正部4と、補正情報に基づいて基本奥行きモデルを算出する第1〜第3基本奥行きモデル算出部7〜9と、有効画像部の上下20%の領域における輝度信号の高域成分を評価する高域成分評価部5、6と、基本奥行きモデルの合成比率を決定して合成する合成部10と、非立体画像のR信号を加算する加算器11とを備えていることを特徴とする。
【選択図】図1
Description
図1は本実施形態に係る擬似立体画像生成装置の構成を示すブロック図である。
z2=(r2−x2)0.5−{r2−(w/2)2−(h/2)2}0.5 (2)
z3=(r2−y2)0.5−{r2−(w/2)2−(h/2)2}0.5 (3)
z4=r−{r2−(w/2)2−(h/2)2}0.5 (4)
尚、奥行き値Zは球を示す次式
x2+y2+z2=r2
におけるzの値のことであり、xy平面に画像を置いてz軸方向を奥行きと設定したときの値である。
次に、本実施形態に係る擬似立体画像生成装置による奥行き推定データの生成処理の手順を図5のフローチャートを参照して説明する。
画面上部20%の領域の水平開始位置=hsp
画面上部20%の領域の水平終了位置=hep
画面上部20%の領域の垂直開始位置=vsp
画面上部20%の領域の垂直終了位置=vsp+(vep−vsp)×0.2
となる。この上部エリア信号はステップS209において上部の高域成分評価部5へ出力される。
画面下部20%の領域の水平開始位置=hsp
画面下部20%の領域の水平終了位置=hep
画面下部20%の領域の垂直開始位置=vsp+(vep−vsp)×0.8
画面下部20%の領域の垂直終了位置=vep
となる。この下部エリア信号はステップS211において下部の高域成分評価部6へ出力される。こうしてエリア信号と有効画像部の座標(第2座標情報)が出力されると、図6に示した有効画像検出部3による有効画像部の検出処理(図5のステップS103)は終了する。
x’=x−(hep−hsp)/2+hsp
y’=y−(vep−vsp)/2+vsp
w’=hep−hsp
h’=vep−vsp
となる。ここで、図8に非立体画像が有効画像部の上下に無画部が存在するレターボックス形式の場合の座標x’、y’を示す。同様に図9に有効画像部の左右に無画部が存在するサイドパネル形式の場合の座標x’、y’を示す。図10に、有効画像部の左右方向かつ、上下方向にそれぞれ対称な大きさで無画部が存在するウィンドウAの場合の座標x’、y’を示し、図11に有効画像部の上下左右方向に対してそれぞれ無画部が存在するウィンドウBの場合の座標x’、y’を示す。この時の有効画像部の水平開始座標hsp、水平終了座標hep、垂直開始座標vsp、垂直終了座標vepの一例を表1に示す。表1において無画部無しとは、有効画像検出部3によって無画部が存在しないと判定された非立体画像の座標x’、y’である。
上述したように擬似立体画像生成装置によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側(鼻側)に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることによってステレオペアを構成することができる。
以上詳細に説明したように、本発明を適用した一実施形態に係る擬似立体画像生成装置及び擬似立体画像生成プログラムによれば、非立体画像のうち無画部を含んでいない有効画像部を検出し、この有効画像部に対して奥行き推定データを生成するので、非立体画像が無画部を含んだ画像であっても違和感がなくて現実に近い奥行き感を有する擬似立体画像を生成することができる。
2 座標情報生成部
3 有効画像検出部
4 座標補正部
5 上部の高域成分評価部
6 下部の高域成分評価部
7 第1基本奥行きモデル算出部
8 第2基本奥行きモデル算出部
9 第3基本奥行きモデル算出部
10 合成部
11 加算器(奥行き推定データ生成部)
53 テクスチャシフト部
54 オクルージョン補償部
55 ポスト処理部
100 擬似立体画像生成装置
200 ステレオペア生成装置
300 ステレオ表示装置
Claims (3)
- 画像に座標を設定して第1座標情報として生成する座標情報生成部と、
前記画像を構成する各画素の画素値を所定の閾値と比較して、前記閾値より大きい画素からなる領域を有効画像部とし、前記有効画像部を示す第2座標情報を検出する有効画像検出部と、
前記第2座標情報に基づいて、前記有効画像部の所定領域の座標を示すエリア信号を生成するエリア信号生成部と、
前記有効画像部の第2座標情報に基づいて前記第1座標情報を補正して補正情報を生成する座標補正部と、
基本となる複数のシーン構造に対応した奥行き値を示す複数の基本奥行きモデルを、前記補正情報に基づいて算出する基本奥行きモデル算出部と、
前記エリア信号で指定された前記有効画像部の所定領域における輝度信号の高域成分を評価する高域成分評価部と、
前記高域成分評価部による評価に基づいて前記基本奥行きモデルの合成比率を決定し、前記合成比率によって前記複数の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成部と、
前記合成基本奥行きモデルから前記画像の奥行き情報を示す奥行き推定データを生成する奥行き推定データ生成部と
を備えていることを特徴とする擬似立体画像生成装置。 - 画像に座標を設定して第1座標情報として生成する座標情報生成ステップと、
前記画像を構成する各画素の画素値を所定の閾値と比較して、前記閾値より大きい画素からなる領域を有効画像部とし、前記有効画像部を示す第2座標情報を検出する有効画像検出ステップと、
前記第2座標情報に基づいて、前記有効画像部の所定領域の座標を示すエリア信号を生成するエリア信号生成ステップと、
前記有効画像部の第2座標情報に基づいて前記第1座標情報を補正して補正情報を生成する座標補正ステップと、
基本となる複数のシーン構造に対応した奥行き値を示す複数の基本奥行きモデルを、前記補正情報に基づいて算出する基本奥行きモデル算出ステップと、
前記エリア信号で指定された前記有効画像部の所定領域における輝度信号の高域成分を評価する高域成分評価ステップと、
前記高域成分評価ステップによる評価に基づいて前記基本奥行きモデルの合成比率を決定し、前記合成比率によって前記複数の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成ステップと、
前記合成基本奥行きモデルから前記画像の奥行き情報を示す奥行き推定データを生成する奥行き推定データ生成ステップと
をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。 - 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、
前記奥行き推定データを生成する請求項1に記載の擬似立体画像生成装置と、
前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、
前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011000658A JP5459231B2 (ja) | 2011-01-05 | 2011-01-05 | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011000658A JP5459231B2 (ja) | 2011-01-05 | 2011-01-05 | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012142852A true JP2012142852A (ja) | 2012-07-26 |
JP5459231B2 JP5459231B2 (ja) | 2014-04-02 |
Family
ID=46678670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011000658A Active JP5459231B2 (ja) | 2011-01-05 | 2011-01-05 | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5459231B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018212009A1 (en) * | 2017-05-15 | 2018-11-22 | Sharp Kabushiki Kaisha | Systems and methods for mapping sample locations to angular coordinates in virtual reality applications |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007329699A (ja) * | 2006-06-08 | 2007-12-20 | Sony Corp | 映像信号処理装置、映像表示装置および映像表示方法 |
JP4214976B2 (ja) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
JP2009038619A (ja) * | 2007-08-02 | 2009-02-19 | Sony Corp | 画像処理装置および方法、並びにプログラム |
-
2011
- 2011-01-05 JP JP2011000658A patent/JP5459231B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4214976B2 (ja) * | 2003-09-24 | 2009-01-28 | 日本ビクター株式会社 | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム |
JP2007329699A (ja) * | 2006-06-08 | 2007-12-20 | Sony Corp | 映像信号処理装置、映像表示装置および映像表示方法 |
JP2009038619A (ja) * | 2007-08-02 | 2009-02-19 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018212009A1 (en) * | 2017-05-15 | 2018-11-22 | Sharp Kabushiki Kaisha | Systems and methods for mapping sample locations to angular coordinates in virtual reality applications |
Also Published As
Publication number | Publication date |
---|---|
JP5459231B2 (ja) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
US9154762B2 (en) | Stereoscopic image system utilizing pixel shifting and interpolation | |
TW201301202A (zh) | 影像處理方法以及影像處理裝置 | |
JP5692051B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
JP5127973B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
TWI478100B (zh) | 影像深度估計方法及其裝置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
KR101329069B1 (ko) | 깊이 추정 데이터 생성 장치, 깊이 추정 데이터 생성 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 및, 의사 입체 화상 표시 장치 | |
JP5459231B2 (ja) | 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置 | |
TWM529333U (zh) | 立體嵌入式影像系統 | |
JP4892105B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP5500092B2 (ja) | 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置 | |
Yang et al. | Depth image-based rendering with edge-oriented hole filling for multiview synthesis | |
JP5691966B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
JP5786807B2 (ja) | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 | |
JP2012084961A (ja) | 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム | |
JP5780214B2 (ja) | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 | |
JP6056459B2 (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム | |
JP5888140B2 (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム | |
JP5395884B2 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2014072640A (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム | |
TW201308978A (zh) | 二維轉三維轉換裝置及其方法 | |
Cheng et al. | Merging static and dynamic depth cues with optical-flow recovery for creating stereo videos | |
Cheng et al. | Research Article Merging Static and Dynamic Depth Cues with Optical-Flow Recovery for Creating Stereo Videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131230 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5459231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |