JP2011066507A

JP2011066507A - 画像処理装置

Info

Publication number: JP2011066507A
Application number: JP2009213275A
Authority: JP
Inventors: Yoshihisa Obara; 義久小原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-09-15
Filing date: 2009-09-15
Publication date: 2011-03-31
Also published as: US20110063293A1

Abstract

【課題】多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減可能とするための画像処理装置を提供すること。
【解決手段】三次元表示の素材となる素材画像を描画する素材画像描画手段である描画装置３と、素材画像描画手段により描画された素材画像のデータを記憶する素材画像記憶手段であるメモリ４と、素材画像記憶手段から読み出された素材画像のデータ、素材画像に対して設定された深度情報、及び予め設定された視点位置情報に基づいて、三次元表示用の画像データを生成し、三次元表示のための表示手段である立体ディスプレイ２へ出力する三次元画像生成手段である画像生成装置５と、を有する。
【選択図】図１

Description

本発明は、画像処理装置に関する。

三次元表示のための立体ディスプレイは、視差を持たせた左右両眼用画像を表示することにより、観察者に対し立体的な映像を提供する。立体ディスプレイとしては、例えば、複数箇所の観察者に対して立体的な映像効果を与えるための、いわゆる多視点方式の立体ディスプレイが提案されている。立体ディスプレイは、対応する視点位置の数に相当する組の左右両眼用画像を描画し、保持する手法が採用されている（三次元表示画像の生成については、例えば、特許文献１参照）。このため、対応する視点位置の数が多くなるほど、描画処理の負担の増大、メモリ消費量の増大、システムバスのトランザクションの増大などにより、ハードウェア構成の負荷が大きくなるという問題を生じる。

特開平８−３３１６０７号公報

本発明は、多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減可能とするための画像処理装置を提供することを目的とする。

本願発明の一態様によれば、三次元表示の素材となる素材画像を描画する素材画像描画手段と、前記素材画像描画手段により描画された前記素材画像のデータを記憶する素材画像記憶手段と、前記素材画像記憶手段から読み出された前記素材画像のデータ、前記素材画像に対して設定された深度情報、及び予め設定された視点位置情報に基づいて、前記三次元表示用の画像データを生成し、前記三次元表示のための表示手段へ出力する三次元画像生成手段と、を有することを特徴とする画像処理装置が提供される。

本発明によれば、多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減させることができるという効果を奏する。

図１は、実施の形態に係る画像処理装置を備える表示システムの構成を示すブロック図である。図２は、画像生成装置の構成を示すブロック図である。図３は、メモリに保持される素材画像のデータ及び深度情報を示す概念図である。図４は、視差生成器による視差の生成について説明する図である。図５は、画像合成器による左右両眼用画像の合成について説明する図である。図６は、画像処理装置の動作手順を説明するフローチャートである。

以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。

（実施の形態）
図１は、実施の形態に係る画像処理装置１を備える表示システムの構成を示すブロック図である。表示システムは、画像処理装置１と、立体ディスプレイ２とを備える。画像処理装置１は、描画装置３、メモリ４及び画像生成装置５を備える。画像処理装置１は、三次元表示用の画像データを生成し、立体ディスプレイ２へ出力する。立体ディスプレイ２は、三次元表示のための表示手段として機能する。

描画装置３は、三次元表示の素材となる素材画像を描画する素材画像描画手段として機能する。メモリ４は、描画装置３により描画された素材画像のデータ（以下、適宜「素材画像データ」と称する）を、素材画像に対して設定された深度情報とともに記憶する素材画像記憶手段として機能する。素材画像データとは、素材画像を構成する各画素の色データ、例えば、三原色であるＲ、Ｇ、Ｂの信号値とする。深度情報とは、三次元方向のうち奥行き方向について設定される像の位置情報であって、例えばユーザによって設定される。画像生成装置５は、メモリ４から読み出された素材画像データ及び深度情報と、視点位置情報とに基づいて、三次元表示用の画像データを生成する三次元画像生成手段として機能する。視点位置情報とは、三次元表示の立体視を可能とする視点の位置情報であって、例えば立体ディスプレイ２の仕様によって予め設定される。

図２は、画像生成装置５の構成を示すブロック図である。画像生成装置５は、視差生成器１１、視点位置カウンタ１２及び画像合成器１３を備える。視差生成器１１は、深度情報及び視点位置情報に応じて、視点位置ごとの左右両眼用画像を生成する視差生成手段として機能する。左右両眼用画像とは、左眼用画像及び右眼用画像の両方を指すものとする。視差とは、左右両眼からある点を見たときの視線ベクトルの角度差をいうものとする。視点位置カウンタ１２は、視点位置情報として、視点位置を表すカウント値Ｃを出力する。画像合成器１３は、視差生成器１１で生成された左眼用画像同士、右眼用画像同士をそれぞれ合成することにより三次元表示用の画像データを生成する画像合成手段として機能する。

次に、画像処理装置１の動作を説明する。図３は、メモリ４に保持される素材画像データ及び深度情報を示す概念図である。図３中、（ａ）はメモリ４のうち素材画像データが格納されるメモリ領域ＭＡ、（ｂ）はメモリ４のうち深度情報が格納されるメモリ領域ＭＢをそれぞれ表している。例えば、描画装置３により、背景である素材画像１ａ（深度は無限遠）と、楕円形の物体（以下、物体αとする）の像である素材画像２ａ（深度ＤＡ、但し、０＜ＤＡ＜無限遠）、二等辺三角形の物体（以下、物体βとする）の像である素材画像３ａ（深度ＤＢ、但し、０＜ＤＢ＜無限遠、かつＤＡ＞ＤＢ）が描画されたとする。

メモリ領域ＭＡには、素材画像１ａ、２ａ、３ａの各データがそれぞれフレームバッファへ格納される。メモリ領域ＭＢには、素材画像１ａ、２ａ、３ａに対応して、深度情報１ｂ（深度＝無限遠）、２ｂ（深度＝ＤＡ）、３ｂ（深度＝ＤＢ）がそれぞれ深度バッファへ格納される。

図２に示す画像生成装置５は、メモリ領域ＭＡに格納された各フレームバッファのデータと、メモリＭＢに格納された各深度バッファのデータとを、それぞれ水平方向へ１ラインずつ読み込む。画像生成装置５へ読み込まれたデータは、視差生成器１１へ入力される。また、視差生成器１１には、視点位置カウンタ１２からのカウント値Ｃが入力される。なお、深度情報は、メモリ４に格納される場合に限られない。例えば、深度情報は、画像生成装置５に対して、プレーンごとの固定値として設定されるものとしても良い。

図４は、視差生成器１１による視差の生成について説明する図である。視差生成器１１は、水平方向について視差を持たせた左右両眼用画像を生成する。左右両眼用画像は、メモリ領域ＭＡから読み込まれる各フレームバッファのデータを基にして、メモリ領域ＭＢから読み込まれる深度バッファのデータ及びカウント値Ｃに応じて生成される。

視差生成器１１は、素材画像１ａのデータ及び深度情報１ｂから、背景の左眼用画像１ｃ及び右眼用画像１ｄを生成する。深度情報１ｂは無限遠であるため、背景の左右両眼用画像１ｃ、１ｄの視差シフト量ｓ１はゼロとされる。視差生成器１１は、素材画像２ａのデータ及び深度情報２ｂから、物体αの左眼用画像２ｃ及び右眼用画像２ｄを生成する。物体αの左右両眼用画像２ｃ、２ｄの視差シフト量ｓ２は、深度情報２ｂと、カウント値Ｃとして入力される視点位置情報とに応じて算出される。物体αの左眼用画像２ｃは、素材画像２ａに対して水平右向きへ視差シフト量ｓ２だけ物体αをシフトさせて生成される。物体αの右眼用画像２ｄは、素材画像２ａに対して水平左向きへ視差シフト量ｓ２だけ物体αをシフトさせて生成される。

視差生成器１１は、素材画像３ａのデータ及び深度情報３ｂから、物体βの左眼用画像３ｃ及び右眼用画像３ｄを生成する。物体βの左右両眼用画像３ｃ、３ｄの視差シフト量ｓ３は、深度情報３ｂと、カウント値Ｃとして入力される視点位置情報とに応じて算出される。物体βの左眼用画像３ｃは、素材画像３ａに対して水平右向きへ視差シフト量ｓ３だけ物体βをシフトさせて生成される。物体βの右眼用画像３ｄは、素材画像３ａに対して水平左向きへ視差シフト量ｓ３だけ物体βをシフトさせて生成される。一般に、視点から近い位置にある物ほど視差は大きくなるため、視差シフト量ｓ２、ｓ３には、ｓ２＜ｓ３の関係が成り立つ。

視差生成器１１は、カウント値Ｃが入力されるごとに、背景の左右両眼用画像１ｃ、１ｄ、物体αの左右両眼用画像２ｃ、２ｄ、物体βの左右両眼用画像３ｃ、３ｄを生成する。素材画像２ａ、２ｂに対して左右両眼用画像２ｃ、２ｄ、３ｃ、３ｄを生成する場合における物体α、βのシフトは、基準となる座標と画像との対応関係を視差シフト量ｓ２、ｓ３に応じて変化させることにより行う。

図５は、画像合成器１３による左右両眼用画像の合成について説明する図である。例えば、視点位置情報として、それぞれ異なる位置の視点１から視点ｎが設定されているとする。画像合成器１３は、カウント値Ｃとして視点位置情報が入力された視点１について、背景の左眼用画像１ｃ、物体αの左眼用画像２ｃ、物体βの左眼用画像３ｃを合成することにより、視点１に対する左眼用画像１ｅを生成する。また、視点１について、背景の右眼用画像１ｄ、物体αの右眼用画像２ｄ、物体βの右眼用画像３ｄを合成することにより、視点１に対する右眼用画像１ｆを生成する。画像合成器１３は、深度情報１ｂ、２ｂ、３ｂに応じて、手前から奥へ物体β、物体α、背景が重なるような合成処理により、左右両眼用画像１ｅ、１ｆを合成する。

画像合成器１３による画像の合成には、例えば、視点からは別の物体や面に隠れて見えなくなる領域を消去する隠面消去処理が採用される。また、画像合成器１３は、係数（アルファ値）を使って複数の画像を半透明合成するアルファブレンドを採用することとしても良い。画像合成器１３は、視点１の場合と同様にして、視点２から視点ｎのそれぞれについても、左眼用画像２ｅ〜ｎｅ及び右眼用画像２ｆ〜ｎｆを合成する。このように、画像合成器１３は、各視点位置における左右両眼用画像１ｅ〜ｎｅ、１ｆ〜ｎｆのデータを、三次元表示用の画像データとして生成する。

図６は、画像処理装置１の動作手順を説明するフローチャートである。描画装置３により素材画像を描画する（ステップＳ１）と、素材画像データがメモリ４へ書き込まれる（ステップＳ２）。例えば、スイッチ操作等により三次元表示の開始が指示されると、メモリ４に格納されている素材画像データ及び深度情報が画像生成装置５へ読み出される（ステップＳ３）。

次に、座標と画像との対応関係を視差分だけシフトさせる（ステップＳ４）ことにより、視差生成器１１において左右両眼用画像を生成する。視差は、視点位置情報に基づいて視差シフト量を算出することにより、視点ごとに生成される。視差シフト量の算出には、深度情報も使用される。設定されている全ての視点について左右両目用画像が生成されると、画像合成器１３での画像合成により、三次元表示用の画像データを生成する（ステップＳ５）。画像合成器１３による合成処理には、深度情報も使用される。画像生成装置５は、生成した三次元表示用の画像データをラインバッファに格納する（ステップＳ６）。画像生成装置５は、ラインバッファに格納した三次元表示用の画像データを立体ディスプレイ２へ順次出力する（ステップＳ７）。

画像処理装置１は、描画装置３での描画処理は素材画像のみとし、視点ごとの画像については画像生成装置５にて生成する。このため、視点ごとの全ての画像について描画処理をする場合に対して、描画処理負担を軽減できる。また、メモリ４には素材画像に関するデータのみを保持することとし、三次元表示用の画像データについては画像生成装置５のラインバッファに１ライン分のデータのみが保持される。画像処理装置１は、視点の数より少ないフレームバッファを用意すれば良いことから、視点の数だけ左右両眼用のフレームバッファを要する場合に比べて、メモリ消費量を軽減できる。さらに、描画装置３、メモリ４及び画像生成装置５の間では素材画像に関するデータのみの書き込み及び読み出しをすることで、三次元表示用の画像データ全体の書き込み及び読み出しをする場合に比べて、バスのトランザクションを軽減できる。

このことから、三次元表示において対応可能とする視点位置の数が多くなる場合に、描画処理の負担の軽減、メモリ消費量の軽減、システムバスのトランザクションの軽減が可能となる。以上により、多くの視点位置に対応させた三次元表示におけるハードウェア構成の負荷を低減させることができるという効果を奏する。画像処理装置１は、プレーン合成など既存技術を用いる回路に対して、ハードウェア構成の少しの変更或いは追加により構成することができる。また、画像の水平方向移動に限定して視差を生成する構成とすることで、視差生成のための処理は表示の１ライン単位に限定することが可能なため、ハードウェアの実装コストを抑制できる。

１画像処理装置、２立体ディスプレイ、３描画装置、４メモリ、５画像生成装置、１１視差生成器、１２視点位置カウンタ、１３画像合成器。

Claims

三次元表示の素材となる素材画像を描画する素材画像描画手段と、
前記素材画像描画手段により描画された前記素材画像のデータを記憶する素材画像記憶手段と、
前記素材画像記憶手段から読み出された前記素材画像のデータ、前記素材画像に対して設定された深度情報、及び予め設定された視点位置情報に基づいて、前記三次元表示用の画像データを生成し、前記三次元表示のための表示手段へ出力する三次元画像生成手段と、を有することを特徴とする画像処理装置。
前記三次元画像生成手段は、前記深度情報及び前記視点位置情報に応じて、視点位置ごとの左右両眼用画像を生成する視差生成手段を有することを特徴とする請求項１に記載の画像処理装置。
前記視差生成手段は、水平方向について視差を持たせた前記左右両眼用画像を生成することを特徴とする請求項２に記載の画像処理装置。
前記三次元画像生成手段は、各素材画像の左眼用画像同士、右眼用画像同士をそれぞれ合成することにより前記三次元表示用の画像データを生成する画像合成手段を有することを特徴とする請求項２又は３に記載の画像処理装置。
前記三次元画像生成手段は、前記視点位置を表すカウント値を出力する視点位置カウンタを有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。