JP2015039064A

JP2015039064A - 画像処理装置

Info

Publication number: JP2015039064A
Application number: JP2010284805A
Authority: JP
Inventors: 田雅弘山; Masahiro Yamada; 木山王; Mushan Wang
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2015-02-26
Also published as: US20120154384A1; EP2469864A2; EP2469864A3

Abstract

【課題】偽像、逆視、または多重像が表示されるのを防止することを可能にする。【解決手段】一実施形態の画像処理装置は、複数の視差画像のそれぞれに含まれる視差画像成分を並べ替えて、それぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、警告メッセージを設定する警告メッセージ設定回路と、前記三次元画像表示用の画素において隣接する、被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分との少なくとも一方に前記警告メッセージを合成した合成画像を生成する合成回路と、を備えている。【選択図】図１

Description

本発明の実施形態は、画像処理装置に関する。

めがね無しで三次元画像を観察できる裸眼式三次元画像表示装置（以下、三次元画像表示装置ともいう）は、液晶表示装置（ＬＣＤ）に代表されるフラットパネルディスプレイ（ＦＰＤ）の前面に、レンズアレイに代表される射出瞳を配するという構造を持つ。射出瞳は一定間隔で設けられ、射出瞳ひとつに対して、複数のＦＰＤの画素が割り当てられるが、本明細書中では、このひとつの射出瞳に割り当てられた複数の画素を画素グループと称する。射出瞳は三次元画像表示装置の画素に相当し、観察位置に応じて射出瞳を経由して見える画素が切り替わる。すなわち、画素グループは、観察位置によって画素情報が変わる三次元画像表示用画素として振舞う。

このような構成の三次元画像表示装置においては、ＦＰＤの画素が有限なため画素グループを構成する画素数にも制限がある。このため、三次元画像が観察できる範囲（視域）が制限されることが避けられない。また、観察者が視域から左右に逸脱すると、本来の射出瞳に隣接した射出瞳に対応した画素グループの視差画像を観察することが避けられない。このとき観察者が観察する光線は、本来の射出瞳に隣接した射出瞳を経由した光線による三次元画像であることから、光線方向と視差情報が一致せず、歪を含む。しかしながら、観察位置の移動に応じて視差画像が切り替わることから、この場合も三次元画像として見える。上記歪を含んだ三次元画像（偽像）が見える領域をサイドローブと呼ぶ場合もある。

正しい視域からサイドローブに遷移する領域では、画素グループの境界の両側の視差画像を視差の並びが逆転した状態で見ることになるために、逆視と呼ばれる現象が発生し、凹凸が逆転した像が観察されたり、画素グループの境界の両側の視差画像を同時に見ることで、本来異なる視点で見るべき映像が多重に重なって見える多重像が生じることが知られている。

また、偽像に由来する上記のような問題に対する対策の一つとして、例えば視域からサイドローブに遷移する領域でなんらかの警告画像を知覚できるように表示することで、違和感を減らすことはできなくても、サイドローブが正しい画像でないことを観察者に伝えるという手法が知られている。

特許第３８９２８０８号公報特開２００８−６７０９２号公報特開２００９−２３９６６５号公報

本発明が解決しようとする課題は、偽像、逆視、または多重像が表示されるのを防止することのできる画像処理装置を提供することである。

一実施形態の画像処理装置は、複数の視差画像のそれぞれに含まれる視差画像成分を並べ替えて、それぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、警告メッセージを設定する警告メッセージ設定回路と、前記三次元画像表示用の画素において隣接する、被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分との少なくとも一方に前記警告メッセージを合成した合成画像を生成する合成回路と、を備えていることを特徴とする。

第１実施形態による画像処理装置を示すブロック図。第１実施形態に用いられる多視差画像を示す図。第１実施形態の視差画像並べ替え回路によって並べ替えられた三次元画像用の画素を示す図。図３に示す三次元画像用の画素を表示パネルに表示した場合を示す図。警告メッセージが合成された三次元画像用の画素を示す図。第２実施形形態による画像処理装置を示すブロック図。

図面を参照して、実施形態を説明する。

（第１実施形態）
第１実施形態の画像処理装置を図１に示す。この実施形態の画像処理装置は、画像処理部１０と、表示パネル５０とを備えている。表示パネル５０は、マトリクス状に配列された画素を有する表示部（図示せず）を備えており、例えば、液晶表示パネル、プラズマディスプレイパネル等の平面表示パネルである。さらに表示パネル５０は、上記表示部に対向するように配置され、上記画素からの光線を制御する複数の射出瞳を有する光線制御素子（図示せず）も備えている。光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット板或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイ或いはフライアイレンズアレイが用いられる。すなわち、スリット板のスリット、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、フライアイレンズアレイのフライアイレンズが各射出瞳となる。なお、本実施形態および後述する第２実施形態においては、表示パネル５０は、複数の射出瞳を有する光線制御素素子を備えているが、パララックスバリアを透過型液晶表示装置などにより電子式に発生させ、バリアパターンの形状や位置などを電子的に可変制御する表示パネルを用いてもよく、三次元画像表示用の画像が表示可能な表示パネルであればよい。

画像処理部１０は、視差画像並べ替え回路２０と、警告メッセージ設定回路３０と、合成回路４０と、を備えている。視差画像並べ替え回路２０は、入力された多視差画像データを、表示パネル５０に表示するための、三次元画像表示用の画像に並べ替える。この三次元画像表示用の画像を構成する画素のそれぞれは、ひとつの射出瞳に対応しており、異なる視差画像の視差画像成分を有している。例えば、多視差画像が９視差画像、すなわち＃０視差画像〜＃８視差画像から構成される場合には、三次元画像表示用の画像を構成する画素は、＃０視差画像〜＃８視差画像のそれぞれの視差画像成分を含んでいる。警告メッセージ設定回路３０は、表示パネル５０に表示する警告メッセージを設定する。警告メッセージは、文字であってもよいし、画像であってもよい。また、この警告メッセージは、予め設定されていてもよいし、視聴者が変更できるように構成することもできる。合成回路４０は、三次元画像表示用の画像と、警告メッセージ設定回路３０によって設定された警告メッセージを合成し、この合成された表示用画像を表示パネル５０に送り、三次元画像を表示させる。

次に、視差画像並べ替え回路２０に入力される多視差画像と、視差画像並べ替え回路２０によって並べ替えられた三次元画像表示用の画像を構成する画素とについて、図２および図３を参照して説明する。

視差画像並べ替え回路２０に入力される多視差画像を図２に示す。本実施形態では、多視差画像として９視差画像を例にとって説明するが、これに限られるものではない。＃０視差画像１０１_０〜＃８視差画像１００_８からなる９視差画像が視差画像並べ替え回路２０に入力される。なお、これらの９視差画像１００_０〜１００_８はそれぞれ、同じサイズの画像、例えば１２８０×７２０画素（Ｒ（赤）、Ｇ（緑）、Ｂ（青）等のサブ画素ではない）からなる画像である。

そして、これらの９視差画像１００_０〜１００_８は、一定の距離（視距離）から９台のカメラによって被写体を撮影した画像（カメラ画像）と等価な画像である。＃０視差画像１０１_０は被写体に向かって最も左に配置されるカメラから撮影した画像であり、＃８視差画像１０１_８は被写体に向かった最も右に配置されたカメラから撮影した画像であり、ｉを１〜７までの任意の整数とするとき、＃ｉ視差画像１０１_ｉは、被写体に向かって最も左に配置されるカメラと、被写体に向かった最も右に配置されるカメラとの間に配置される７台のカメラのうち左から数えてｉ番目のカメラから撮影された画像である。

これらの９視差画像１００_０〜１００_８を視画像並べ替え回路２０によって並べ替えたときの三次元画像表示用の画像は、９種類の三次元画像表示用の画素Ｐ_０〜Ｐ_８から構成され、これら９種類の画素Ｐ_０〜Ｐ_８をそれぞれ図３（ａ）乃至図３（ｉ）に示す。すなわち、各画素は異なる視差画像の視差画像成分から構成され、この視差画像成分に付された番号は、この視差画像成分が含まれる視差画像の番号を示している。例えば、画素Ｐ_０の左端の視差画像成分４は＃４視差画像１００_４の視差画像成分を表し、この視差画像成分４に隣接する視差画像成分３は、＃３視差画像１００_３から切り出された視差画像成分を示す。

また、画素Ｐ_０における視差画像成分３に隣接する視差画像成分２は、＃２視差画像１００_２から切り出された視差画像成分を示し、この視差画像成分２に隣接する視差画像成分１は、＃１視差画像１００_１から切り出された視差画像成分を示す。

また、画素Ｐ_０における視差画像成分１に隣接する視差画像成分０は、＃０視差画像１００_０から切り出された視差画像成分を示し、この視差画像成分０に隣接する視差画像成分８は、＃８視差画像１００_８から切り出された６番目の視差画像成分を示す。

また、画素Ｐ_０における視差画像成分８に隣接する視差画像成分７は、＃７視差画像１００_７から切り出された視差画像成分を示し、この視差画像成分７に隣接する視差画像成分６は、＃６視差画像１００_６から切り出された視差画像成分を示す。

また、画素Ｐ_０における視差画像成分６に隣接する視差画像成分５は、＃５視差画像１００_５から切り出された視差画像成分を示している。

すなわち、画素Ｐ_０は、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、および＃５視差画像１００_５からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_１は、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、および＃６視差画像からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_２は、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、および＃７視差画像１００_７からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_３は、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、および＃８視差画像１００_８からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_４は、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、および＃０視差画像１００_０からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_５は、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、および＃１視差画像１００_１からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_６は、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、および＃２視差画像１００_２からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_７は、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、および＃３視差画像１００_３からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

同様に、画素Ｐ_８は、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、および＃４視差画像１００_４からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。

次に、視画像並べ替え回路２０によって並べ替えられた三次元画像表示用の画像を図４に示す。この画像は、９個の画像領域２００_０〜２００_８がこの順番で配列された構成を有している。各画像領域２００_ｉ（ｉ＝０，・・・，８）は、同じ種類の画素Ｐ_ｉが複数個、表示パネルの表示画面の列方向（横方向）に配列されている。両端の画像領域２００_０および画像領域２００_８は、同じ個数の画素から構成される。また、画像領域２００_１〜２００_７は、同じ個数の画素から構成されるが、画像領域２００_０および画像領域２００_８の画素数以上となる。すなわち、画像領域２００_ｉ（ｉ＝０，・・・，８）の画素Ｐ_ｉの個数をｍ_ｉとすると、ｍ_０＝ｍ_８、ｍ_１＝ｍ_２＝ｍ_３＝ｍ_４＝ｍ_５＝ｍ_６＝ｍ_７、ｍ_０≦ｍ_ｊ（ｊ＝１，・・・，７）となる。

画像領域２００_０の左端からｊ（≦ｍ_０）番目の画素Ｐ_０は、図２に示す、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６および＃５視差画像１００_５のそれぞれの左端からｊ番目の視差画像成分を切り出して配列した画像となっている。

また、画像領域２００_１の左端からｊ（≦ｍ_１）番目の画素Ｐ_１は、図２に示す＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、および＃６視差画像１００_６のそれぞれの左端から（ｍ_０＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_１の左端からｊ（１≦ｊ≦ｍ_１）番目の画素Ｐ_１は、画像領域２００_０の左端から（ｍ_０＋ｊ）番目の画素である。

また、画像領域２００_２の左端からｊ（≦ｍ_２）番目の画素Ｐ_２は、図２に示す＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、および＃７視差画像１００_７のそれぞれの左端から（ｍ_０＋ｍ_１＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_２の左端からｊ（１≦ｊ≦ｍ_２）番目の画素Ｐ_２は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｊ）番目の画素である。

また、画像領域２００_３の左端からｊ（≦ｍ_３）番目の画素Ｐ_３は、図２に示す＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、および＃８視差画像１００_８のそれぞれの左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_３の左端からｊ（１≦ｊ≦ｍ_３）番目の画素Ｐ_３は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｊ）番目の画素である。

また、画像領域２００_４の左端からｊ（≦ｍ_４）番目の画素Ｐ_４は、図２に示す＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、および＃０視差画像１００_０のそれぞれの左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_４の左端からｊ（１≦ｊ≦ｍ_４）番目の画素Ｐ_４は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｊ）番目の画素である。

また、画像領域２００_５の左端からｊ（≦ｍ_５）番目の画素Ｐ_５は、図２に示す＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、＃２視差画像１００_２、および＃１視差画像１００_１のそれぞれの左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_４の左端からｊ（１≦ｊ≦ｍ_５）番目の画素Ｐ_５は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｊ）番目の画素である。

また、画像領域２００_６の左端からｊ（≦ｍ_６）番目の画素Ｐ_６は、図２に示す＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、＃３視差画像１００_３、および＃２視差画像１００_２のそれぞれの左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_６の左端からｊ（≦ｍ_６）番目の画素Ｐ_６は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｊ）番目の画素である。

また、画像領域２００_７の左端からｊ（≦ｍ_７）番目の画素Ｐ_７は、図２に示す＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、＃４視差画像１００_４、および＃３視差画像１００_３のそれぞれの左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｍ_６＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_７の左端からｊ（≦ｍ_７）番目の画素Ｐ_７は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｍ_６＋ｊ）番目の画素である。

また、画像領域２００_８の左端からｊ（≦ｍ_８）番目の画素Ｐ_８は、図２に示す＃３視差画像１００_３、＃２視差画像１００_２、＃１視差画像１００_１、＃０視差画像１００_０、＃８視差画像１００_８、＃７視差画像１００_７、＃６視差画像１００_６、＃５視差画像１００_５、および＃４視差画像１００_４のそれぞれの左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｍ_６＋ｍ_７＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００_８の左端からｊ（≦ｍ_８）番目の画素Ｐ_８は、画像領域２００_０の左端から（ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｍ_６＋ｍ_７＋ｊ）番目の画素である。

すなわち、三次元画像表示用の画像の左端からｊ（１≦ｊ≦ｍ_０＋ｍ_１＋ｍ_２＋ｍ_３＋ｍ_４＋ｍ_５＋ｍ_６＋ｍ_７＋ｍ_８）番目の画素、すなわち画像領域２００_０の左端からｊ番目の画素は、９個の視差画像１００_０〜１００_８のそれぞれの左端からｊ番目の視差画像成分を含んでいる。

更に、三次元画像表示用の画像の各画像領域２００_ｉ（ｉ＝０，・・・，８）における画素Ｐ_ｉの視差画像成分の配列順序は、画素Ｐ_ｉの配列位置が表示パネルの中心の画像領域２００_４から向かって左に行くにつれて、右目用の視差画像、例えば、＃８視差画像、＃７視差画像、＃６視差画像、＃５視差画像のそれぞれの視差画像成分が上記順番で画素の右から中央方向に移動されるように配置され、画素Ｐ_ｉの配列位置が表示パネルの中心の画像領域２００_４から向かって右に行くにつれて、左目用の視差画像、例えば、＃０視差画像、＃１視差画像、＃２視差画像、＃３視差画像のそれぞれの視差画像成分が上記順番で画素の左から中央方向に移動されるように配置される。このような、複数の視差画像を並べ替えて三次元画像表示用の画像を作成する方法は、例えば特開２００９−２３９６６５号公報に開示されている。

また、上述のように構成された画素Ｐ_０〜Ｐ_８のそれぞれは、各視差画像１００_ｉ（ｉ＝０，・・・，８）の視差画像成分を含んでいる。各画素Ｐ_ｉ（ｉ＝０，・・・，８）において、隣接する視差画像成分のそれぞれの視差画像を示す番号が１しか違わない場合には、それらの視差画像成分を含む元の視差画像は、隣接するカメラによって撮影された画像であるから、近い画像となる。しかし、前述したように、視差画像１００_０は最も左端に配置されたカメラによって撮影された画像であり、視差画像１００_８は最も右端に配置されたカメラによって撮影された画像であるので、各画素Ｐ_ｉ（ｉ＝０，・・・，８）において、これらの視差画像１００_０、１００_８の視差画像成分が隣接して配置される表示パネルの領域に対応する三次元画像の表示領域には、偽像、逆視、または多重像が表示される可能性がある。

そこで、本実施形態においては、上記領域に、警告メッセージ設定回路３０によって設定された警告メッセージを挿入するように構成したものである。この警告メッセージの挿入は合成回路４０によって行われる。合成回路４０によって、三次元画像表示用の画素Ｐ_０〜Ｐ_８と警告メッセージが合成され、合成後の三次元画像表示用の画素Ｐ_０〜Ｐ_８を図５に示す。図５に示す合成後の画素Ｐ_０〜Ｐ_８には、最左端のカメラで撮影された視差画像１００_０および最右端のカメラで撮影された視差画像１００_８のそれぞれの視差画像成分が隣接して配置される領域に警告メッセージが挿入される。

このように構成することにより、偽像、逆視、または多重像が表示されるのを防止することができる。

また、一般に、三次元画像表示装置においては、フラットパネルディスプレイ上に光線制御素子を貼り合わせる際に、三次元画像用の画素を表示するフラットパネルディスプレイの画素グループに各射出瞳が対応する精度で位置合わせする必要がある。このため、貼り合わせる際の精度が悪いと、三次元画像用の画素に、他の画素の視差画像成分が混入する可能性が高く、同一の品質を維持することが難しく、画像表示装置を製造するスループットが低下するという課題がある。

しかし、本実施形態においては、最左端のカメラで撮影された視差画像１００_０および最右端のカメラで撮影された視差画像１００_８のそれぞれの視差画像成分が隣接して配置される領域に警告メッセージが挿入されるので、警告メッセージが見えない視域における光漏れ量を低下させることができる。これにより、三次元画像をより鮮明にすることができるとともにスループットの低下を抑制することができる。

なお、警告メッセージは、上記画素領域の画素にすべて挿入する必要はなく、部分的に挿入してもよい。

また、警告メッセージは、図４に示すように三次元画像用の画素Ｐ_０〜Ｐ_８を表示パネルの表示画面に横方向に配列したときに、配列された画素Ｐ_０〜Ｐ_８のうち上記表示画面の横方向における中心線から左側に配置される画素には、＃８視差画像１００_８の視差画像成分に挿入し、上記中心線から右側に配置される画素には、＃０視差画像１００_０の視差画像成分に挿入してもよい。このように、一方の視差画像成分に警告メッセージを挿入することにより、両方の視差画像成分に警告メッセージを挿入する場合に比べて光り漏れ量を低下させることができる。

また、＃８視差画像１００_８の視差画像成分に挿入するメッセージと、＃０視差画像１００_０の視差画像成分に挿入するメッセージとを異ならせてもよい。

また、この第１実施形態においては、多視差画像が９視差画像であり、三次元画像表示用の画像が９個の画像領域２００_０〜２００_８から構成されている場合を例にとって説明したが、この例に限られるものではなく、ｎを３以上の整数とし、ｉを３以上ｎ以下の整数としたとき、多視差画像がｎ視差画像である場合には、三次元画像表示用の画像はｉ個の画像領域から構成されていてもよい。

（第２実施形態）
第２実施形態の画像処理装置を図６に示す。第１実施形態においては、警告メッセージは、視差画像の視差画像成分を並べ替えて三次元画像用の画像を作成した後に、警告メッセージを挿入したが、第２実施形態の画像処理装置は、並べ替える前の視差画像成分に警告メッセージを挿入するものである。すなわち、視差画像に警告メッセージを挿入する構成となっている。

第２実施形態の画像処理装置は、第１実施形態の画像処理部１０を画像処理部１０Ａに置き換えた構成となっている。画像処理部１０Ａは、警告メッセージ設定回路３０と、合成回路４５とを備えている。警告メッセージ設定回路３０は第１実施形態で説明した回路と同一である。

合成回路４５は、入力される多視差画像と警告メッセージを合成し、警告メッセージが合成された多視差画像を生成する。図５からわかるように、第１実施形態においては、三次元画像用の画像における警告メッセージが挿入される多視差画像成分の位置は決定されているので、三次元画像用の画像を生成する前における＃８視差画像１００_８および＃０視差画像１００_０の、警告メッセージが挿入される多視差画像成分の位置も決定されることになる。これらの決定された位置における視差画像成分に警告メッセージを合成回路４５によって挿入する。そして、警告メッセージが合成された視差画像は、視差画像並べ替え回路３０によって三次元画像用の画像に並べ替えられる。視差画像並べ替え回路３０から出力される三次元画像用の画像には、警告メッセージが挿入されており、それらの挿入箇所は、図５に示す箇所と同じになる。

この第２実施形態も第１実施形態と同様の効果を得ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０画像処理部
１０Ａ画像処理部
２０視差画像並べ替え回路
３０警告メッセージ設定回路
４０合成回路
４５合成回路
５０表示パネル
１００_０〜１００_８視差画像
２００_０〜２００_８三次元画像用の画素

Claims

複数の視差画像のそれぞれに含まれる視差画像成分を並べ替えて、それぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、
警告メッセージを設定する警告メッセージ設定回路と、
前記三次元画像表示用の画素において隣接する、被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分との少なくとも一方に前記警告メッセージを合成した合成画像を生成する合成回路と、
を備えていることを特徴とする画像処理装置。
前記合成画像を表示する表示パネルを更に備えていることを特徴とする請求項１記載の画像処理装置。
前記複数の三次元画像表示用の画素は前記表示パネルの表示画面に横方向に配列され、配列された前記複数の三次元画像表示用の画素のうち上記表示画面の横方向における中心線から左側に配置される三次元画像表示用の画素には、前記被写体に向かって右側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成され、前記中心線から右側に配置される三次元画像表示用の画素には、前記被写体に向かって左側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成されることを特徴とする請求項２記載の画像処理装置。
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像のそれぞれの左端からｊ番目の視差画像成分を含んでいることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
前記三次元画像表示用の画素における視差画像成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像のそれぞれの視差画像成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の視差画像成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項４記載の画像処理装置。
警告メッセージを設定する警告メッセージ設定回路と、
それぞれが複数の視差画像成分を有する複数の視差画像を受け、前記複数の視差画像のうち被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像との少なくとも一方に前記警告メッセージを合成した合成画像を生成し、この合成画像を含む複数の視差画像を出力する合成回路と、
前記合成回路から出力された前記複数の視差画像の視差画像成分を並べ替えてそれぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、
を備えていることを特徴とする画像処理装置。
前記三次元画像表示用の画像を表示する表示パネルを更に備えていることを特徴とする請求項６記載の画像処理装置。
前記複数の三次元画像表示用の画素は前記表示パネルの表示画面に横方向に配列され、配列された前記複数の三次元画像表示用の画素のうち上記表示画面の横方向における中心線から左側に配置される三次元画像表示用の画素には、前記被写体に向かって右側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成され、前記中心線から右側に配置される三次元画像表示用の画素には、前記被写体に向かって左側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成されることを特徴とする請求項７記載の画像処理装置。
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像のそれぞれの左端からｊ番目の視差画像成分を含んでいることを特徴とする請求項６乃至８のいずれかに記載の画像処理装置。
前記三次元画像表示用の画素における視差画像成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像のそれぞれの視差画像成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の視差画像成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項９記載の画像処理装置。