JP2010226500A - 立体画像表示装置および立体画像表示方法 - Google Patents
立体画像表示装置および立体画像表示方法 Download PDFInfo
- Publication number
- JP2010226500A JP2010226500A JP2009072434A JP2009072434A JP2010226500A JP 2010226500 A JP2010226500 A JP 2010226500A JP 2009072434 A JP2009072434 A JP 2009072434A JP 2009072434 A JP2009072434 A JP 2009072434A JP 2010226500 A JP2010226500 A JP 2010226500A
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground
- background
- boundary
- installation position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【解決手段】実写多視点画像から、前景画像または背景画像を生成し、これを三次元画像表示時に二次元画像として表示したい位置を反映したシフト量で、前景画像または背景画像を取り除いた各多視点画像と合成する。
【選択図】図1
Description
−wc×Ef/(L+Ef)/Pe≦wpix≦wc×En/(L+En)/Pe・・・(1)
(Pe:三次元表示時の画素ピッチ)
の範囲で探索すれば、対応画素の探索効率が改善する。前景境界En及び背景境界Efとの区別は、周辺の画素との視差や画素情報の関連度から判断する。たとえば、隣接した画素が前景境界En近傍のz座標を持つようならば前景に判定し、背景境界Ef近傍のz座標を持つようならば背景に判定する。また、前景境界En近傍の画素と色や輝度情報が近ければ前景に判定し背景境界Ef近傍の画素と色や輝度情報が近ければ背景に判定する。
前景画像/背景画像生成部4は、三次元表示する際の前景画像と背景画像を生成するものである。前景画像と背景画像の生成手法について、図2を用いながら説明する。図2(a)は、マルチカメラによる多視点画像を示している。図2(a)の中央にあるのが、マルチカメラの真ん中に配置されるカメラ(センターカメラという)の画像である。図2(a)に示す多視点画像から、センターカメラ以外のカメラ画像は、大きな視差をもっていることがわかる。図2(b)は、図2(a)に示す多視点画像から、飛び出し・奥行き限界内のオブジェクト(物体)を抜き出した画像である。背後にあるオブジェクト(物体)は手前にあるオブジェクト(物体)に隠される状態であるオクルージョンによって、オブジェクト(物体)に欠けが発生している。図2(c)は、遠景を適切な視差量(シフト量)内にシフトさせた背景画像を示している。図2(d)は、近景を適切な視差量(シフト量)内にシフトさせた前景画像を示している。図2(f)は、図2(a)に示す多視点画像から、表示面よりも飛び出した方向の適切な視差量(シフト量)の閾値を超えた画像を切り出したものを示している。図2(h)は、視差量(シフト量)の絶対値を小さくした画像を示している。
また、三次元表示する範囲を、ユーザによって設定可能としてもよいことは勿論である。さらに、三次元表示する範囲を、画像に含まれる周波数成分をフーリエ変換等で解析して映像の周波数に連動するようにしてもよい。
画像合成部7は、前景ボード設置位置/背景ボード設置位置設定部6に記憶された前景ボード設置位置(Bn)または背景ボード設置位置(Bf)から導出した画素のシフト量を反映して、前景画像/背景画像生成部4が生成した前景画像(図2(i))または背景画像(図2(h))と、表示限界外画像除去部5が生成した多視点画像(図2(b))を合成する機能を果たすものである。
2・・・視差マップ生成部
3・・・前景境界/背景境界設定部
4・・・前景画像/背景画像生成部
5・・・表示限界外画像除去部
6・・・前景ボード設置位置/前景ボード設置位置設定部
7・・・画像合成部
8・・・画像表示部
10・・・表示用画像生成部
Claims (6)
- 複数方向から対象物体を実写して多視点画像を取得する画像取得部と、
前記画像取得部によって取得された多視点画像から視差マップを生成するマップ生成部と、
三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界(En)と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界(Ef)を設定する境界設定部と、
前記前景境界(En)と前記背景境界(Ef)の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去する画像除去部と、
前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成する画像生成部と、
前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置(Bn)とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置(Bf)としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定する位置記憶部と、
前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記画像除去部から出力された多視点画像に、前記画像生成部から出力された前記前景画像及び前記背景画像を合成し、裸眼式三次元画像表示装置に表示するフォーマットに並び替える画像合成部と、
を備えることを特徴とする立体画像表示装置。 - 前記視差マップ生成時に対応する画素を探索する範囲を、複数の実写用カメラの間隔と実写用カメラと対象物体との撮影距離に基づいて、一定範囲に限定することを特徴とする請求項1記載の立体画像表示装置。
- 前記一定範囲wpix(ピクセル)は、実写用カメラの間隔wc、撮影距離L、三次元表示時の画素ピッチPe、前景境界En、背景境界Efであるとき、
−wc×Ef/(L+Ef)/Pe≦wpix≦wc×En/(L+En)/Pe
であることを特徴とする請求項2記載の立体画像表示装置。 - 前記前景境界の値(En)が、三次元画像表示装置の飛び出し限界(Dn)の値と一致し、前記背景境界の値(Ef)が、三次元画像表示装置の奥行き限界(Df)の値と一致し、前記前景ボード設置位置(Bn)の値が三次元画像表示装置の飛び出し限界(Dn)の値と一致し、前記背景ボード設置位置(Bf)の値が三次元画像表示装置の奥行き限界(Df)の値に一致していることを特徴とする請求項1記載の立体画像表示装置。
- 前記前景境界値の絶対値|En|と、前記前景ボード設置位置の値の絶対値|Bn|は、
|En|>|Bn|
前記背景境界値の絶対値|Ef|と、前記背景ボード設置位置の値の絶対値|Bf|は、
|Ef|>|Bf|
の関係にあることを特徴とする請求項4に記載の立体画像表示装置。 - 三次元画像表示画面にコンテンツを表示する立体画像表示方法であって、
複数方向から対象物体を実写して多視点画像を取得するステップと、
前記取得された多視点画像から視差マップを生成するステップと、
三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界(En)と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界(Ef)を設定するステップと、
前記前景境界(En)と前記背景境界(Ef)の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去するステップと、
前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成するステップと、
前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置(Bn)とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置(Bf)としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定するステップと、
前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記表示限界外画像除去後の多視点画像に、前記前景画像及び前記背景画像を合成するステップと、
前記合成した画像を裸眼式三次元画像表示装置に表示するフォーマットに並び替えるステップと、
を有することを特徴とする立体画像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072434A JP2010226500A (ja) | 2009-03-24 | 2009-03-24 | 立体画像表示装置および立体画像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009072434A JP2010226500A (ja) | 2009-03-24 | 2009-03-24 | 立体画像表示装置および立体画像表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010226500A true JP2010226500A (ja) | 2010-10-07 |
Family
ID=43043190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009072434A Pending JP2010226500A (ja) | 2009-03-24 | 2009-03-24 | 立体画像表示装置および立体画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010226500A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012070103A (ja) * | 2010-09-21 | 2012-04-05 | Olympus Imaging Corp | 撮像装置及び画像通信システム |
EP2469867A2 (en) | 2010-12-22 | 2012-06-27 | Sony Corporation | Image processing apparatus and image processing method |
WO2012147329A1 (ja) * | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 |
WO2013069413A1 (ja) * | 2011-11-10 | 2013-05-16 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP5469258B2 (ja) * | 2011-02-09 | 2014-04-16 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
WO2014155670A1 (ja) * | 2013-03-29 | 2014-10-02 | 株式会社 東芝 | 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム |
US8885026B2 (en) | 2011-03-31 | 2014-11-11 | Fujifilm Corporation | Imaging device and imaging method |
JP2016529764A (ja) * | 2013-06-17 | 2016-09-23 | リアルディー インコーポレイテッド | 指向性バックライトの光源の制御 |
JP2017501516A (ja) * | 2013-11-12 | 2017-01-12 | ファイユージョン,インコーポレイテッド | サラウンドビュー内のオブジェクト及び階層の解析及び操作 |
JPWO2015037473A1 (ja) * | 2013-09-11 | 2017-03-02 | ソニー株式会社 | 画像処理装置および方法 |
US9648305B2 (en) | 2011-03-31 | 2017-05-09 | Fujifilm Corporation | Stereoscopic imaging apparatus and stereoscopic imaging method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331607A (ja) * | 1995-03-29 | 1996-12-13 | Sanyo Electric Co Ltd | 三次元表示画像生成方法 |
JP2002223458A (ja) * | 2001-01-26 | 2002-08-09 | Nippon Hoso Kyokai <Nhk> | 立体映像作成装置 |
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2003284094A (ja) * | 2002-03-27 | 2003-10-03 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2005026966A (ja) * | 2003-07-01 | 2005-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 奥行き情報の再生成方法、奥行き情報の再生成装置、プログラム、および記録媒体 |
JP2006270924A (ja) * | 2005-02-28 | 2006-10-05 | Victor Co Of Japan Ltd | 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体 |
JP2006319469A (ja) * | 2005-05-10 | 2006-11-24 | Kazunari Era | 立体視画像生成装置およびプログラム |
-
2009
- 2009-03-24 JP JP2009072434A patent/JP2010226500A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331607A (ja) * | 1995-03-29 | 1996-12-13 | Sanyo Electric Co Ltd | 三次元表示画像生成方法 |
JP2002223458A (ja) * | 2001-01-26 | 2002-08-09 | Nippon Hoso Kyokai <Nhk> | 立体映像作成装置 |
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2003284094A (ja) * | 2002-03-27 | 2003-10-03 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2005026966A (ja) * | 2003-07-01 | 2005-01-27 | Nippon Telegr & Teleph Corp <Ntt> | 奥行き情報の再生成方法、奥行き情報の再生成装置、プログラム、および記録媒体 |
JP2006270924A (ja) * | 2005-02-28 | 2006-10-05 | Victor Co Of Japan Ltd | 映像データ処理装置、映像再生装置、映像データ処理方法、映像再生方法、これらの方法をコンピュータによって実行するためのプログラム並びに記録媒体 |
JP2006319469A (ja) * | 2005-05-10 | 2006-11-24 | Kazunari Era | 立体視画像生成装置およびプログラム |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012070103A (ja) * | 2010-09-21 | 2012-04-05 | Olympus Imaging Corp | 撮像装置及び画像通信システム |
EP2469867A2 (en) | 2010-12-22 | 2012-06-27 | Sony Corporation | Image processing apparatus and image processing method |
JP5469258B2 (ja) * | 2011-02-09 | 2014-04-16 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
JPWO2012108099A1 (ja) * | 2011-02-09 | 2014-07-03 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
US8823778B2 (en) | 2011-02-09 | 2014-09-02 | Fujifilm Corporation | Imaging device and imaging method |
US8885026B2 (en) | 2011-03-31 | 2014-11-11 | Fujifilm Corporation | Imaging device and imaging method |
US9648305B2 (en) | 2011-03-31 | 2017-05-09 | Fujifilm Corporation | Stereoscopic imaging apparatus and stereoscopic imaging method |
WO2012147329A1 (ja) * | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 |
JP6002043B2 (ja) * | 2011-04-28 | 2016-10-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体 |
JP2013105183A (ja) * | 2011-11-10 | 2013-05-30 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
WO2013069413A1 (ja) * | 2011-11-10 | 2013-05-16 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
JP5851625B2 (ja) * | 2013-03-29 | 2016-02-03 | 株式会社東芝 | 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム |
WO2014155670A1 (ja) * | 2013-03-29 | 2014-10-02 | 株式会社 東芝 | 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム |
JP2016529764A (ja) * | 2013-06-17 | 2016-09-23 | リアルディー インコーポレイテッド | 指向性バックライトの光源の制御 |
JPWO2015037473A1 (ja) * | 2013-09-11 | 2017-03-02 | ソニー株式会社 | 画像処理装置および方法 |
JP2017501516A (ja) * | 2013-11-12 | 2017-01-12 | ファイユージョン,インコーポレイテッド | サラウンドビュー内のオブジェクト及び階層の解析及び操作 |
US10521954B2 (en) | 2013-11-12 | 2019-12-31 | Fyusion, Inc. | Analysis and manipulation of panoramic surround views |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010226500A (ja) | 立体画像表示装置および立体画像表示方法 | |
JP4328311B2 (ja) | 三次元画像表示用多視点画像の作成方法およびプログラム | |
US8488869B2 (en) | Image processing method and apparatus | |
JP4489610B2 (ja) | 立体視可能な表示装置および方法 | |
JP5406269B2 (ja) | 奥行き検知装置及び方法 | |
JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
US7557824B2 (en) | Method and apparatus for generating a stereoscopic image | |
JP5011316B2 (ja) | 出力画像のレンダリング | |
JP4762994B2 (ja) | 視差マップ | |
ES2676055T3 (es) | Receptor de imagen eficaz para múltiples vistas | |
JP5449162B2 (ja) | 映像符号化装置、映像符号化方法、映像再生装置、及び映像再生方法 | |
EP3158536B1 (en) | Method and apparatus for generating a three dimensional image | |
JP4942106B2 (ja) | 奥行データ出力装置及び奥行データ受信装置 | |
JP2007096951A (ja) | 多視点画像作成装置、多視点画像作成方法および多視点画像作成プログラム | |
JPWO2007116549A1 (ja) | 画像処理装置 | |
JP2007533022A (ja) | 2.5dグラフックスをレンダリングするためのゴースト・アーチファクト削減 | |
JP2007067846A (ja) | 立体表示画像データの構造、立体表示画像データの記録方法、表示再生方法、記録プログラム、および表示再生プログラム | |
WO2012042998A1 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2011078036A (ja) | 擬似立体画像作成装置及び擬似立体画像表示システム | |
US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
JP2006101224A (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
JP5928280B2 (ja) | 多視点画像生成装置及び方法 | |
JP2012134885A (ja) | 画像処理装置及び画像処理方法 | |
JP2013191950A (ja) | 立体画像データ生成システム、立体画像データ表示システム、および、立体画像データ表示方法 | |
KR101369006B1 (ko) | 다시점 영상 재생 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130924 |