JP2013005135A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】多視点画像を視聴者数に最適な解像度で表示できるようにする。
【解決手段】撮像部２１は、視聴者の存在する方向の画像を撮像する。顔画像検出部２２は、画像から顔画像を検出する。視聴者数検出部２３は、顔画像に基づいて視聴者数を検出する。多視点画像生成部２６は、視聴者数に応じた多視点画像を生成して表示部２７に供給する。パララックスバリアピッチ算出部６１は、視聴者数に応じてパララックスバリアピッチを算出する。パララックスバリアピッチ制御部６２は、パララックスバリアピッチの算出結果に基づいて、パララックスバリア６３を制御する。表示画素配列設定部６４は、多視点画像をスリット状に分割し、視聴者位置と左右反転した順序でディスプレイ６５に表示させる。本技術は、３次元画像処理装置に適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、入力画像である２視点の裸眼３次元立体視画像が入力されるとき、視聴者数に対応した適切な解像度で多視点画像を視聴できるようにした画像処理装置および方法、並びにプログラムに関する。

特殊なメガネを用いることなく立体視の出来る裸眼の画像表示装置としては，パララックスバリア方式（例えば、特許文献１参照）やレンチキュラレンズ方式（例えば、特許文献２参照）が良く知られている。

特開平７−５４２０号公報 特開平５−４９０４４号公報

ところで、上述した二眼式のパララックスバリア方式やレンチキュラ方式は、いずれの場合も、画素を右眼用画素と左眼用画素とに分けて、それぞれ右眼用画像および左眼用画像を表示するため、解像度が半分になる。このため、さらに多くの視聴者の視点方向に対応するように多視点での視聴が可能な構成にすると、さらに、解像度が低下する。

しかしながら、必ずしも多視点での視聴が必要となるわけではなく、例えば、視聴者数が１人であるにも関わらず、多視点での視聴を可能としたことにより、その１人の視聴者は低解像度の画像を視聴することになってしまうことがあった。

本技術はこのような状況に鑑みてなされたものであり、特に、入力画像として２視点の裸眼３次元立体視画像が入力されるとき、視聴者数に対応した適切な解像度で多視点画像を視聴できるようにするものである。

本技術の一側面の画像処理装置は、視聴者数を検出する視聴者数検出部と、前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部と、入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部と、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部と、前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部とを含む。

視聴者の存在する方向の画像を撮像する撮像部と、前記撮像部により撮像された画像内の視聴者の顔画像を検出する顔画像検出部をさらに含ませるようにすることができ、前記視聴者数検出部には、前記顔画像検出部により検出された顔画像の数に基づいて、視聴者数を検出させるようにすることができる。

前記必要視点数算出部には、前記視聴者数検出部により検出された視聴者数の視聴者が水平方向に等間隔で存在し、前記視聴者それぞれの第１の視点画像である左眼用画像が、左隣りの視聴者の第２の視点画像である右眼用画像と同一であり、前記視聴者それぞれの第２の視点画像である右眼用画像が、右隣りの視聴者の第１の視点画像である左眼用画像と同一であるものとしたときの視点数を算出させるようにすることができる。

前記多視点画像生成部には、入力される立体視可能な２視点画像を用いて、それらの内挿補間、または外挿補間により、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成させるようにすることができる。

前記視聴者の存在する位置を検出する視聴者位置検出部をさらに含ませるようにすることができ、前記多視点画像生成部には、前記視聴者位置検出部により検出された前記視聴者の存在する位置に基づいて、入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成させるようにすることができる。

前記視差障壁部は、パララックスバリアとすることができ、前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させるパララックスバリアのスリットのピッチを算出するスリットピッチ算出部をさらに含み、前記スリットピッチ算出部により算出されたピッチのスリットを構成することで、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成させるようにすることができる。

前記視差障壁部は、レンチキュラレンズとすることができ、前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させるレンチキュラレンズで構成される凹凸のピッチを算出する凹凸ピッチ算出部をさらに含み、前記凹凸ピッチ算出部により算出されたピッチの凹凸を構成することで、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成させるようにすることができる。

本技術の一側面の画像処理方法は、視聴者数を検出する視聴者数検出部における、前記視聴者数を検出する視聴者数検出ステップと、前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部における、前記視聴者数検出ステップの処理により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出ステップと、入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部における、前記入力される立体視可能な２視点画像を用いて、前記必要視点数算出ステップの処理により算出された必要視点数分の多視点画像を生成する多視点画像生成ステップと、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部における、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示ステップと、前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部における、前記表示ステップの処理における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁ステップとを含む。

本技術の一側面のプログラムは、視聴者数を検出する視聴者数検出部と、前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部と、入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部と、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部と、前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部とを含む画像処理装置を制御するコンピュータに、前記視聴者数検出部における、視聴者数を検出する視聴者数検出ステップと、前記必要視点数算出部における、前記視聴者数検出ステップの処理により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出ステップと、前記多視点画像生成部における、入力される立体視可能な２視点画像を用いて、前記必要視点数算出ステップの処理により算出された必要視点数分の多視点画像を生成する多視点画像生成ステップと、前記表示部における、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示ステップと、前記視差障壁部における、前記表示ステップの処理における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁ステップとを含む処理を実行させる。

視聴者数が検出され、検出された視聴者数に基づいて、必要視点数が算出され、入力される立体視可能な２視点画像を用いて、算出された必要視点数分の多視点画像が生成され、前記多視点画像が視点方向の画像毎にスリット状に分割され、視点方向の配置順序と逆方向の順序で繰り返し配置されて表示され、視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像が、前記視線方向毎に透過される視差障壁が構成される。

本技術の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本技術によれば、２視点の入力画像より裸眼による多視点の３次元立体視画像を簡易な手法で生成することが可能となる。

本技術を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。 図１の画像処理装置による多視点画像表示処理を説明するフローチャートである。 多視点画像の表示処理を説明する図である。 パララックスバリアのスリットのピッチを算出する方法を説明する図である。 画像処理装置の第２の実施の形態の構成例を示すブロック図である。 図５の画像処理装置による多視点画像表示処理を説明するフローチャートである。 視聴者の位置に対応した多視点画像の表示処理を説明する図である。 視聴者の位置に対応した多視点画像の表示例を説明する図である。 画像処理装置の第３の実施の形態の構成例を示すブロック図である。 図９の画像処理装置による多視点画像表示処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行なう。
１．第１の実施の形態（パララックスバリアを使用する例）
２．第２の実施の形態（視聴者の位置情報を利用する例）
３．第３の実施の形態（レンチキュラレンズを使用する例）

＜１．第１の実施の形態＞
［パララックスバリアを使用した画像処理装置］
図１は、本技術を適用した画像処理装置の第１の実施の形態の構成例を示している。図１の画像処理装置１１は、右眼用画像、および左眼用画像の入力画像であって、所定の視差を以って裸眼による３次元立体視を可能とする画像を、視聴者数に基づいた適切な解像度の多視点画像として表示するものであり、例えば、テレビジョン受像機などである。

図１の画像処理装置１１は、撮像部２１、顔画像検出部２２、視聴者数検出部２３、必要視点数算出部２４、右眼用画像取得部２５−１、左眼用画像取得部２５−２、多視点画像生成部２６、および表示部２７を備えている。

撮像部２１は、画像処理装置１１により表示される画像を視聴する視聴者が存在する方向の画像を撮像し、顔画像検出部２２に供給する。

顔画像検出部２２は、供給されてきた画像より人体の顔の輪郭の情報や、器官である眼、耳、鼻、または口などを検出可能な特徴量を抽出して、矩形状の顔画像として特定し、特定した顔画像を、撮像された画像と共に視聴者数検出部２３に供給する。

視聴者数検出部２３は、顔画像検出部２２より供給されてくる顔画像を取得すると、取得した顔画像の数を求め、これを視聴者数として検出し、検出結果である視聴者数の情報を必要視点数算出部２４に供給する。

必要視点数算出部２４は、視聴者数検出部２３より供給されてくる視聴者数の情報に基づいて、多視点画像を構成する際に必要とされる必要視点数を算出し、多視点画像生成部２６、および表示部２７に供給する。視聴者は、表示される画像に対して水平方向に略等間隔に存在するものと仮定する。また、視聴者が３次元立体視可能とするには、視聴者１人に付き、それぞれ左眼用画像、および右眼用画像が設定される。さらに、第１の視聴者に対して左隣に存在する第２の視聴者は、第１の視聴者の左眼用画像を、自らの右眼用画像として利用するものとする。また、同様に、第１の視聴者に対して右隣に存在する第３の視聴者は、第１の視聴者の右眼用画像を、自らの左眼用画像として利用するものとする。したがって、例えば、視聴者が３人の場合、必要視点数は、４視点となる。

右眼用画像取得部２５−１、および左眼用画像取得部２５−２は、それぞれ入力される３次元立体視可能な右眼用画像、および左眼用画像を取得し、多視点画像生成部２６に供給する。

多視点画像生成部２６は、必要視点数算出部２４より供給されてくる必要視点数の情報に基づいて、右眼用画像取得部２５−１、および左眼用画像取得部２５−２より供給されてくる右眼用画像、および左眼用画像より多視点画像を生成して表示部２７に供給する。

より詳細には、多視点画像生成部２６は、２視点判定部４１、２視点画像出力部４２、Ｎ視点画像生成部４３、および選択出力部４４より構成されている。２視点判定部４１は、必要視点数算出部２４より供給されてくる必要視点数が２視点であるか否かを判定し、判定結果を選択出力部４４に供給する。２視点画像出力部４２は、右眼用画像取得部２５−１、および左眼用画像取得部２５−２より供給されてくる右眼用画像、および左眼用画像をそのまま選択出力部４４に供給する。Ｎ視点画像生成部４３は、必要視点数算出部２４より供給されてくる必要視点数の情報に基づいて、右眼用画像取得部２５−１、および左眼用画像取得部２５−２より供給されてくる右眼用画像、および左眼用画像を利用して、必要視点数の画像を、補間生成部４３ａを制御して、内挿補間、または外挿補間により必要視点数分の画像を生成して選択出力部４４に供給する。選択出力部４４は、２視点判定部４１より供給される判定結果に基づいて、必要視点数が２視点であった場合、２視点画像出力部４２より供給されてくる右眼用画像、および左眼用画像からなる２視点画像を、そのまま表示部２７に出力する。一方、選択出力部４４は、２視点判定部４１より供給される判定結果に基づいて、必要視点数が２視点ではない場合、Ｎ視点画像生成部４３により生成された多視点画像を表示部２７に出力する。

表示部２７は、必要視点数算出部２４より供給されてくる必要視点数の情報に基づいて、パララックスバリア６３のスリットのピッチ（間隔）を制御すると共に、多視点画像生成部２６より供給されてくる２視点画像、または、多視点画像を表示させて、パララックスバリア６３を介して多視点画像を表示する。

より詳細には、表示部２７は、パララックスバリアピッチ算出部６１、パララックスバリアピッチ制御部６２、パララックスバリア６３、表示画素配列設定部６４、およびディスプレイ６５を備えている。パララックスバリアピッチ算出部６１は、必要視点数算出部２４により算出された必要視点数に応じて、パララックスバリア６３によりディスプレイ６５から発光される光を透過する垂直方向のスリットのピッチ（スリット間隔）を算出して、パララックスバリアピッチ制御部６２に供給する。パララックスバリアピッチ制御部６２は、パララックスバリアピッチ算出部６１により算出されたパララックスバリアのピッチ（スリット間隔）の情報に基づいて、対応する垂直方向のスリットを構成するようにパララックスバリア６３の動作を制御する。

パララックスバリア６３は、例えば、液晶パネルなどからなり、パララックスバリアピッチ制御部６２により制御されたピッチで垂直方向のスリットを構成する。より詳細には、パララックスバリア６３は、例えば、液晶により垂直方向のスリットを構成する領域以外については、遮光領域を構成して、スリット領域のみを光の透過領域に設定することにより視差障壁を構成し、パララックスバリアとして機能する。表示画素配列設定部６４は、必要視点数算出部２４より供給されてくる必要視点数に応じて、生成された多視点画像を画素列単位でスリット状に分離して、視線方向に対して反転方向にスリット状の多視点画像を配置してディスプレイ６５を表示させる。ディスプレイ６５は、液晶ディスプレイ（LCD）、プラズマディスプレイ、または有機ELなどからなり、表示画素配列設定部６４より供給されてくる画素値で画素より発色させることで画像を表示する。

［図１の画像処理装置による多視点画像表示処理］
次に、図２のフローチャートを参照して、図１の画像処理装置１１による多視点画像表示処理について説明する。

ステップＳ１において、撮像部２１は、視聴者の存在する方向、すなわち、表示部２７により表示される画像と対向する方向の画像を撮像し、撮像した画像を顔画像検出部２２に供給する。

ステップＳ２において、顔画像検出部２２は、供給されてきた画像より顔画像を検出するのに必要とされる特徴量を抽出することにより、矩形状の顔画像として検出し、撮像された画像と共に矩形状の顔画像を視聴者数検出部２３に供給する。

ステップＳ３において、視聴者数検出部２３は、供給されてきた顔画像の数に基づいて、視聴者数を検出し、検出した視聴者数の情報を必要視点数算出部２４に供給する。

ステップＳ４において、必要視点数算出部２４は、視聴者数検出部２３より供給されてきた視聴者数の情報に基づいて、必要視点数Ｎを算出する。すなわち、例えば、視聴者数が１人であるような場合、図３の右部で示されるように、必要視点数は、ディスプレイ６５、およびパララックスバリア６３の表示方向に対して対向する位置に存在する視聴者Ｈ１の左眼用の視点Ｌ１、および右眼用の視点Ｒ１の合計２視点となる。この場合、視聴者Ｈの視点Ｌ１，Ｒ１のそれぞれに左眼用画像としての視点画像Ａ、および右眼用画像としての視点画像Ｂが必要となる。一方、視聴者数が３人であるような場合、図３の左部で示されるように、必要視点数は、ディスプレイ６５、およびパララックスバリア６３に対して対向する位置に存在する視聴者Ｈ１１乃至Ｈ１３のそれぞれの左眼用の視点、および右眼用の視点となる。ここで、視聴者Ｈ１１乃至Ｈ１３は、ディスプレイ６５、およびパララックスバリア６３と対向する面に等間隔で存在するものと仮定する。すなわち、視聴者Ｈ１１に必要な視点は、左眼用の視点Ｌ１１、および右眼用の視点Ｒ１１である。また、視聴者Ｈ１２に必要な視点は、左眼用の視点Ｌ１２、および右眼用の視点Ｒ１２である。さらに、視聴者Ｈ１３に必要な視点は、左眼用の視点Ｌ１３、および右眼用の視点Ｒ１３である。従って、この場合、視聴者Ｈ１１の視点Ｌ１１に左眼用画像としての視点画像Ａが必要となり、視聴者Ｈ１１の視点Ｒ１１への右眼用画像、および視聴者Ｈ１２の視点Ｌ１２への左眼用画像としての視点画像Ｂが必要となる。また、視聴者Ｈ１２の視点Ｒ１２への右眼用画像、および視聴者Ｈ１３の視点Ｌ１３への左眼用画像としての視点画像Ｃが必要となり、視聴者Ｈ１３の視点Ｒ１３に右眼用画像としての視点画像Ｄが必要となる。

すなわち、視聴者Ｈ１２を基準と考えるとき、視聴者Ｈ１２の左隣の視聴者Ｈ１１の右眼用画像となる視点Ｒ１１と、視聴者Ｈ１２の左眼用画像となる視点Ｌ１２とは、同一になる。また、視聴者Ｈ１２の右隣の視聴者Ｈ１３の左眼用画像となる視点Ｌ１２と、視聴者Ｈ１２の右眼用画像となる視点Ｒ１２とは、同一になる。

この結果、視聴者数が３人である場合、必要視点数Ｎは４となる。尚、これ以外の人数であっても、各視聴者の視点は、右隣りに存在する人物とは、左眼用画像の視点を、左隣りに存在する人物とは、右眼用画像の視点をそれぞれ共有する構成とする。また、図３において、ディスプレイ６５上に付されたＡ乃至Ｄは、いずれも視点画像Ａ乃至Ｄに対応する画像が画素単位で垂直方向にスリット状に分割された画素配置を示している。また、パララックスバリア６３は、実線部分が遮光領域であり、その隙間がスリットであり、ディスプレイ６５により発せられる光の透過領域である。尚、図３におけるパララックスバリア６３のＱ２，Ｑ４は、それぞれ必要視点数Ｎが２，４におけるスリットのピッチ（間隔）を示しており、ディスプレイ６５におけるｐは、画素のピッチ（間隔）を示している。

ステップＳ５において、多視点画像生成部２６の２視点画像出力部４２は、右眼用画像取得部２５−１より供給されてくる右眼用画像、および左眼用画像取得部２５−２より供給されてくる左眼用画像をそのまま２視点画像として選択出力部４４に出力する。

ステップＳ６において、多視点画像生成部２６のＮ視点画像生成部４３は、右眼用画像取得部２５−１より供給されてくる右眼用画像、および左眼用画像取得部２５−２より供給されてくる左眼用画像より、必要視聴者数に応じてＮ視点画像を生成する。そして、Ｎ視点画像生成部４３は、生成したＮ視点画像を選択出力部４４に出力する。

より詳細には、Ｎ視点画像生成部４３は、例えば、図３の左部で示されるように必要視点数が４である場合、視点画像Ｂ，Ｃが、入力された２視点画像となるので、視点画像Ａ，Ｄをそれぞれ視点画像Ｂ，Ｃの外挿補間により求める。また、必要視点数が３であるような場合、Ｎ視点画像生成部４３は、図３の左部で示されるように、４視点となる視点画像Ａ乃至Ｄの画像を生成した後、この視点Ａ，Ｂ間、Ｂ，Ｃ間、およびＣ，Ｄ間のそれぞれで内挿補間により新たな３種類の視点となる画像を生成する。また、入力画像の水平解像度が1920画素である場合、２視点画像のとき、各視点画像の水平解像度は960画素となり、さらに、４視点画像のとき、各視点画像の水平解像度は480画素となり、必要視点数に応じて変化することとなるが、必要視点数に応じて、不要に多視点画像が構成されないので、必要視点数に応じて適切な水平解像度の視点画像が生成される。

ステップＳ７において、２視点判定部４１は、必要視点数Ｎが２であるか否かを判定する。ステップＳ７において、必要視点数Ｎが２である場合、ステップＳ８において、２視点判定部４１は、必要視点数Ｎ＝２であることを選択出力部４４に供給する。選択出力部４４は、２視点判定部４１より供給されてくる判定結果が２視点画像であるので、２視点画像出力部４２より供給されてくる入力画像である２視点画像をそのまま表示部２７に供給する。

一方、ステップＳ７において、必要視点数Ｎが２ではない場合、ステップＳ９において、選択出力部４４は、Ｎ視点画像生成部４３より供給されてくるＮ視点画像を表示部２７に供給する。

ステップＳ１０において、表示部２７のパララックスバリアピッチ算出部６１は、必要視点数Ｎに応じて、パララックスバリア６３におけるスリットのピッチ（間隔）を算出し、算出結果をパララックスバリアピッチ制御部６２に供給する。より詳細には、パララックスバリア６３におけるスリットのピッチは、図４で示されるディスプレイ６５、パララックスバリア６３、および視聴者Ｈ１１乃至Ｈ１３のそれぞれの視点画像により、以下の式（１），式（２）の関係を満たすように設定される。

ｅ：ｐ＝ｄ：ｇ
・・・（１）
Ｑ：ｄ＝Ｎ×ｐ：（ｄ＋ｇ）
・・・（２）

ここで、ｅは、各視聴者の左右の眼の眼間距離であり、ｐはディスプレイ６５の画素間のピッチ（間隔）であり、ｄはパララックスバリア６３から視聴者の観測位置までの距離であり、ｇは、パララックスバリア６３（のスリット：開口部）とディスプレイ６５との距離である。また、Ｑはパララックスバリア６３のスリットのピッチ（間隔）であり、Ｎは必要視点数である。

この結果、パララックスバリアのスリットのピッチＱは、以下の式（３）を算出することにより求められる。

Ｑ＝（ｄ×Ｎ×ｐ）／（ｄ＋ｇ）
・・・（３）

ステップＳ１１において、パララックスバリアピッチ制御部６２は、バララックスバリア６３のパネルを制御して、パララックスバリアピッチ算出部６１より供給されてくるピッチでスリットを設けるように設定する。このとき、パララックスバリア６３は、中央にスリットが設けられ、そのスリットを基準として、順次パララックスバリアピッチ算出部６１より供給されてくるピッチ（間隔）でスリットが設定される。

ステップＳ１２において、表示画素配列設定部６４は、選択出力部４４より供給されてきた２視点画像、またはＮ視点画像を、図３で示されるように、画素列単位でスリット状に分割し、視聴者の配列方向に対して、配列順序を左右反転するように画素列を配置してディスプレイ６５を表示させる。

すなわち、例えば、図３の左部で示されるように、視聴者Ｈ１１乃至Ｈ１３が視聴する位置において、図中の左から視点画像Ａ乃至Ｄと設定されている場合、ディスプレイ６５上の画素列配列は、画素列単位でスリット状に分割された視点画像Ａ乃至Ｄに対応する視線方向の画像が、左右反転した順序で、画像Ｄ乃至Ａと繰り返し配列される。

以上の処理により、視聴者Ｈ１１乃至Ｈ１３は、それぞれ異なる視点で表示部２７に表示された画像を視聴しても、いずれの位置でも３次元立体視画像を視聴することが可能となる。このため、例えば、水平解像度が1920画素の画像である場合には、必要視点数Ｎが４であれば、各視点画像は480画素となり、必要視点数Ｎが２であれば、各視点の画像は960画素となる。すなわち、視聴者数に応じて、各視聴者が視聴する水平解像度が可変となるため、視聴者数に応じて、適切な解像度で多視点での立体視画像の視聴を実現することが可能となる。

＜２．第２の実施の形態＞
［視聴者の位置を利用した画像処理装置］
以上においては、入力画像である２視点画像から視聴者数により設定される必要視点数に応じてＮ視点画像を生成して表示する例について説明してきたが、各画像について、視点位置により異なる多視点画像が生成されている場合、視聴者数のみならず、視聴者の位置に応じた２視点画像を選択して表示するようにしてもよい。

図５は、視聴者数のみならず、視聴者の位置に応じた２視点画像を生成して表示するようにした画像処理装置の第２の実施の形態の構成例である。尚、図５の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は、省略するものとする。

すなわち、図５の画像処理装置１１において、図１の画像処理装置１１と異なる点は、視聴者位置検出部８１を新たに備えた点である。さらに、多視点画像生成部２６において、Ｎ視点画像生成部４３、および選択出力部４４に代えて、Ｎ視点画像生成部９１、および選択出力部９２が設けられている。

視聴者位置検出部８１は、顔画像検出部２２より供給されてくる矩形画像からなる顔画像と、撮像された画像内に基づいて、矩形画像からなる顔画像の、撮像された画像内における位置を検出し、これを視聴者位置として検出する。視聴者位置検出部８１は、検出した視聴者位置の情報を多視点画像生成部２６に供給する。

多視点画像生成部２６のＮ視点画像生成部９１は、視聴者位置検出部８１より供給されてくる視聴者位置、および必要視点数Ｎの情報に基づいて、視聴者のそれぞれの位置に対応する２視点画像を、右眼用画像および左眼用画像により多視点画像を生成する。そして、Ｎ視点画像生成部９１は、生成した選択出力部９２に供給する。

選択出力部９２は、基本的な機能は選択出力部４４と同一であるが、２視点判定部４１により２視点であるとの判定がなされると共に、さらに、視聴者位置の情報に基づいて、視聴者が表示部２７に対して正面に存在する場合にのみ、２視点画像出力部４２より供給されてくる２視点画像を表示部２７に出力する。

［図５の画像処理装置１１による多視点画像表示処理］
次に、図６のフローチャートを参照して、図５の画像処理装置１１により多視点画像表示処理について説明する。尚、図６のフローチャートにおけるステップＳ３１乃至Ｓ３４，Ｓ３６およびステップＳ４０乃至Ｓ４５の処理については、図２のフローチャートを参照して説明したステップＳ１乃至Ｓ５、およびステップＳ８乃至Ｓ１２の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ３１乃至Ｓ３４の処理により、必要視点数が求められると、ステップＳ３５において、視聴者位置検出部８１は、顔画像検出部２２より供給されてくる矩形画像からなる顔画像の画像内の位置に基づいて、視聴者位置を検出し、検出した視聴者位置の情報を多視点画像生成部２６に供給する。

ステップＳ３６において、２視点画像生成部４２は、右眼用画像取得部２５−１、および左眼用画像取得部２５−２より供給されてくる右眼用画像および左眼用画像をそのまま選択出力部９２に供給する。

ステップＳ３７において、Ｎ視点画像生成部９１は、視聴者位置検出部８１より供給されてくる視聴者位置と必要視点数Ｎの情報に基づいて、視聴者の位置に対応する２視点画像を、右眼用画像および左眼用画像より生成して、選択出力部４４に供給する。

すなわち、視聴者が１人である場合、例えば、図７の左部、中央部、および右部に存在する視聴者Ｈ１１乃至Ｈ１３は、それぞれ異なる方向からパララックスバリア６３およびディスプレイ６５を視聴していることになる。すなわち、視聴者Ｈ１１乃至Ｈ１３は、それぞれディスプレイ６５およびパララックスバリア６３を自らの位置から見て右手方向、正面方向、および左手方向に見ていることになる。ディスプレイ６５およびパララックスバリア６３の存在する位置に、例えば、図８の左部で示されるように、上底部に「あ」の記載があり、その側面に「上底部からみて反時計回りに「こさしすせそた」と記述されているる円柱状のオブジェクトＢ１が表示された多視点画像が多視点画像取得部８２に取得されているものとする。この場合、図８の左部で示されるように、視聴者Ｈ１１乃至Ｈ１３は、オブジェクトＢ１をそれぞれ右手方向、正面方向、および左手方向に見ていることになる。すなわち、図７における視聴者Ｈ１１乃至Ｈ１３がディスプレイ６５およびパララックスバリア６３を視聴している位置関係と一致することになる。

そこで、Ｎ視点画像生成部９１は、図７の左部で示される視聴者Ｈ１１のようにディスプレイ６５およびパララックスバリア６３を右手方向に見る位置に視聴者位置の情報が供給されたときには、図８の右部におけるオブジェクトＢ１Ｒが立体的に見える２視点画像を、図７で示される視点画像Ａ，Ｂを、入力画像である２視点画像より外挿補間して生成し選択出力部９２に供給する。

また、Ｎ視点画像生成部９１は、図７の中央部で示される視聴者Ｈ１２のようにディスプレイ６５およびパララックスバリア６３を正面方向に見る位置に視聴者位置の情報が供給されたときには、図８の右部におけるオブジェクトＢ１Ｃが立体的に見える２視点画像を、図７で示される視点画像Ｂ，Ｃを、入力画像である２視点画像より外挿補間して生成し選択出力部９２に供給する。

さらに、Ｎ視点画像生成部９１は、視聴者Ｈ１３のようにディスプレイ６５およびパララックスバリア６３を左手方向に見る位置に視聴者位置の情報が供給されたときには、図８の右部におけるオブジェクトＢ１Ｌが立体的に見える２視点画像を、図７で示される視点画像Ｃ，Ｄを、入力画像である２視点画像より外挿補間して生成し選択出力部９２に供給する。

このため、図８で示されるように、ディスプレイ６５およびパララックスバリア６３を右手方向にする視聴者Ｈ１１には、オブジェクトＢ１を右手方向に眺めたときのように、オブジェクトＢ１を正面方向に見たとき、正面に見える太字の「す」の字が、オブジェクトＢ１Ｒで示されるように、右方向に回転してずれたように見せることが可能となる。また、ディスプレイ６５およびパララックスバリア６３を正面方向にする視聴者Ｈ１２には、オブジェクトＢ１を正面方向に眺めたときのように、オブジェクトＢ１を正面方向に見たとき、オブジェクトＢ１Ｃで示されるように、太字の「す」の字を正面に見せることが可能となる。さらに、ディスプレイ６５およびパララックスバリア６３を左手方向にする視聴者Ｈ１３には、オブジェクトＢ１を左手方向に眺めたときのように、オブジェクトＢ１を左手方向に見たとき、正面に見える太字の「す」の字が、オブジェクトＢ１Ｌで示されるように、左方向に回転してずれたように見せることが可能となる。

そして、ステップＳ３８において、必要視点数Ｎが２である場合、ステップＳ３９において、選択出力部９２は、視聴者位置検出部８１より供給されてくる視聴者位置が中央位置であるか否かを判定する。例えば、ステップＳ３９において、視聴者位置が中央位置である場合、ステップＳ４０において、選択出力部９２は、２視点画像出力部４２より供給されてくる、入力画像である２視点画像をそのまま表示部２７に出力する。また、ステップＳ３９において、視聴者位置検出部８１より供給されてくる視聴者位置が中央位置ではない場合、ステップＳ４１において、選択出力部９２は、Ｎ視点画像生成部９１より供給されてくるＮ視点画像を表示部２７に出力する。

結果として、ディスプレイ６５およびパララックスバリア６３を視聴者が視聴する方向に対応した３次元立体視を実現することが可能となる。また、視聴者が離れた位置に複数に存在するような場合、Ｎ視点画像生成部９１は、各視聴者の位置で必要とされる２視点画像を視聴者数分だけ生成することで、複数の視聴者のそれぞれの位置毎に適切な３次元立体視を実現することができる。この場合、複数の視聴者で多視点画像を共有できるときは、できるだけ共有することで、多視点画像として必要な画像を減らすようにすることができるので、解像度の低下を抑制することもできる。

以上によれば、多視点画像が生成されているような場合、ディスプレイ６５やパララックスバリア６３に対する視聴者の視聴位置に対応して、２視点画像を選択して表示することにより、あたかも３次元立体視するオブジェクトとの位置関係も変化しているように視聴させることが可能となる。

＜３．第３の実施の形態＞
［レンチキュラレンズを使用した画像処理装置］
以上においては、視差障壁を構成するものとして、パララックスバリアを用いる例について説明してきたが、視差障壁の構成を必要視点数に応じて設定できればよいので、パララックスバリアに限るものではなく、例えば、レンチキュラレンズなどであってもよい。

図９は、レンチキュラレンズを使用するようにした画像処理装置１１の第３の実施の形態の構成例を示している。尚、図９において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、図９の画像処理装置１１において、図１の画像処理装置１１と異なるのは、パララックスバリアピッチ算出部６１、パララックスバリアピッチ制御部６２、およびパララックスバリア６３に代えて、レンチキュラレンズピッチ算出部１０１、レンチキュラレンズピッチ制御部１０２、およびレンチキュラレンズ１０３を備えている点である。

レンチキュラレンズ１０３は、基本的にパララックスバリア６３と同一の目的に使用されるものである。パララックスバリア６３は、遮光領域を構成して、光の透過領域をスリットとすることにより視差障壁を構成しているが、レンチキュラレンズ１０３は、カマボコ状の凹凸が垂直方向に設けられた液体レンズから構成されており、レンチキュラレンズピッチ制御部１０２より供給される電圧により、その凹凸部のピッチが変化することで、パララックスバリアのスリットのピッチを変化させるのと同様の機能を発揮する。

レンチキュラレンズピッチ算出部１０１は、パララックスバリアピッチ算出部６１により算出されるスリットのピッチに対応する、レンチキュラレンズ１０３の凹凸のピッチ（間隔）を算出し、算出結果をレンチキュラレンズピッチ制御部１０２に供給する。

レンチキュラレンズピッチ制御部１０２は、この算出結果に基づいて、対応する電圧を発生して、レンチキュラレンズ１０３の凹凸形状のピッチを適切な間隔に変化させて制御する。

［図９の画像処理装置による多視点画像表示処理］
次に、図１０のフローチャートを参照して、図９の画像処理装置による多視点画像表示処理について説明する。尚、図１０のフローチャートにおけるステップＳ６１乃至Ｓ６９，Ｓ７２の処理については、図２のフローチャートにおけるステップＳ１乃至Ｓ９，Ｓ１２における処理と同様であるので、その説明は省略する。

すなわち、ステップＳ６１乃至Ｓ６９の処理により、多視点画像、または２視点画像が表示部２７に供給されると、ステップＳ７０において、表示部２７のレンチキュラレンズピッチ算出部１０１は、必要視点数Ｎに応じて、レンチキュラレンズ１０３における凹凸のピッチ（間隔）を算出し、算出結果をレンチキュラレンズピッチ制御部１０２に供給する。尚、算出方法については、上述した式（３）に対応したものであるので、その説明は省略するものとする。

ステップＳ７１において、レンチキュラレンズピッチ制御部１０２は、レンチキュラレンズ１０３の印加電圧を制御して、レンチキュラレンズピッチ算出部１０１より供給されてくるピッチで凹凸を設けるように設定する。

以上の処理により、パララックスバリア６３に代えてレンチキュラレンズ１０３を使用するようにしても、図１における画像処理装置１１と同様の効果を奏することが可能である。また、レンチキュラレンズ１０３は、パララックスバリア６３よりも透過する光量が高いので、その分、明るい立体視画像を視聴者に視聴させることが可能となる。尚、図９の画像処理装置１１において、図５の画像処理装置１１における場合と同様に、視聴者位置検出部８１を設け、Ｎ視点画像生成部４３、および選択出力部４４に代えて、Ｎ視点画像生成部９１、および選択出力部９２を設けるようにして、視聴者位置に対応した２視点画像を表示するようにしてもよい。

以上の如く、本技術によれば、複数の視聴者が存在しても、多視点画像を視聴者数に応じた適切な解像度で表示させることが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

尚、本技術は以下のような構成を取ることができる。
（１） 視聴者数を検出する視聴者数検出部と、
前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部と、
入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部と、
前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部と、
前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部と
を含む画像処理装置。
（２） 視聴者の存在する方向の画像を撮像する撮像部と、
前記撮像部により撮像された画像内の視聴者の顔画像を検出する顔画像検出部をさらに含み、
前記視聴者数検出部は、前記顔画像検出部により検出された顔画像の数に基づいて、視聴者数を検出する
（１）に記載の画像処理装置。
（３） 前記必要視点数算出部は、前記視聴者数検出部により検出された視聴者数の視聴者が水平方向に等間隔で存在し、前記視聴者それぞれの第１の視点画像である左眼用画像が、左隣りの視聴者の第２の視点画像である右眼用画像と同一であり、前記視聴者それぞれの第２の視点画像である右眼用画像が、右隣りの視聴者の第１の視点画像である左眼用画像と同一であるものとしたときの視点数を算出する
（１）または（２）に記載の画像処理装置。
（４） 前記多視点画像生成部は、入力される立体視可能な２視点画像を用いて、それらの内挿補間、または外挿補間により、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する
（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記視聴者の存在する位置を検出する視聴者位置検出部と、
前記多視点画像生成部は、前記視聴者位置検出部により検出された前記視聴者の存在する位置に基づいて、入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記視差障壁部は、パララックスバリアであり、
前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させるパララックスバリアのスリットのピッチを算出するスリットピッチ算出部をさらに含み、
前記スリットピッチ算出部により算出されたピッチのスリットを構成することで、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記視差障壁部は、レンチキュラレンズであり、
前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させるレンチキュラレンズで構成される凹凸のピッチを算出する凹凸ピッチ算出部をさらに含み、
前記凹凸ピッチ算出部により算出されたピッチの凹凸を構成することで、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する
（１）乃至（５）のいずれかに記載の画像処理装置。
（８） 視聴者数を検出する視聴者数検出部における、前記視聴者数を検出する視聴者数検出ステップと、
前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部における、前記視聴者数検出ステップの処理により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出ステップと、
入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部における、前記入力される立体視可能な２視点画像を用いて、前記必要視点数算出ステップの処理により算出された必要視点数分の多視点画像を生成する多視点画像生成ステップと、
前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部における、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示ステップと、
前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部における、前記表示ステップの処理における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁ステップと
を含む画像処理方法。
（９） 視聴者数を検出する視聴者数検出部と、
前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部と、
入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部と、
前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部と、
前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部と
を含む画像処理装置を制御するコンピュータに、
前記視聴者数検出部における、視聴者数を検出する視聴者数検出ステップと、
前記必要視点数算出部における、前記視聴者数検出ステップの処理により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出ステップと、
前記多視点画像生成部における、入力される立体視可能な２視点画像を用いて、前記必要視点数算出ステップの処理により算出された必要視点数分の多視点画像を生成する多視点画像生成ステップと、
前記表示部における、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示ステップと、
前記視差障壁部における、前記表示ステップの処理における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁ステップと
を含む処理を実行させるプログラム。

１１ 画像処理装置， ２１ 撮像部， ２２ 顔画像検出部， ２３ 視聴者数検出部， ２４ 必要視点数検出部， ２５−１ 右眼用画像取得部， ２５−２ 左眼用画像取得部， ２６ 多視点画像生成部， ２７ 表示部， ４１ ２視点判定部， ４２ ２視点画像出力部， ４３ Ｎ視点画像生成部， ４４ 選択出力部， ６１ パララックスバリアピッチ算出部， ６２ パララックスバリアピッチ制御部， ６３ パララックスバリア， ６４ 表示画素配列設定部， ６５ ディスプレイ， ８１ 視聴者位置検出部， ８２ 多視点画像取得部， ９１ Ｎ視点画像選択部， １０１ レンチキュラレンズピッチ算出部， １０２ レンチキュラレンズピッチ制御部， １０３ レンチキュラレンズ

Claims (9)

1. 視聴者数を検出する視聴者数検出部と、
   前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部と、
   入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部と、
   前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部と、
   前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部と
   を含む画像処理装置。
2. 視聴者の存在する方向の画像を撮像する撮像部と、
   前記撮像部により撮像された画像内の視聴者の顔画像を検出する顔画像検出部をさらに含み、
   前記視聴者数検出部は、前記顔画像検出部により検出された顔画像の数に基づいて、視聴者数を検出する
   請求項１に記載の画像処理装置。
3. 前記必要視点数算出部は、前記視聴者数検出部により検出された視聴者数の視聴者が水平方向に等間隔で存在し、前記視聴者それぞれの第１の視点画像である左眼用画像が、左隣りの視聴者の第２の視点画像である右眼用画像と同一であり、前記視聴者それぞれの第２の視点画像である右眼用画像が、右隣りの視聴者の第１の視点画像である左眼用画像と同一であるものとしたときの視点数を算出する
   請求項１に記載の画像処理装置。
4. 前記多視点画像生成部は、入力される立体視可能な２視点画像を用いて、それらの内挿補間、または外挿補間により、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する
   請求項１に記載の画像処理装置。
5. 前記視聴者の存在する位置を検出する視聴者位置検出部と、
   前記多視点画像生成部は、前記視聴者位置検出部により検出された前記視聴者の存在する位置に基づいて、入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する
   請求項１に記載の画像処理装置。
6. 前記視差障壁部は、パララックスバリアであり、
   前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させるパララックスバリアのスリットのピッチを算出するスリットピッチ算出部をさらに含み、
   前記スリットピッチ算出部により算出されたピッチのスリットを構成することで、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する
   請求項１に記載の画像処理装置。
7. 前記視差障壁部は、レンチキュラレンズであり、
   前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させるレンチキュラレンズで構成される凹凸のピッチを算出する凹凸ピッチ算出部をさらに含み、
   前記凹凸ピッチ算出部により算出されたピッチの凹凸を構成することで、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する
   請求項１に記載の画像処理装置。
8. 視聴者数を検出する視聴者数検出部における、前記視聴者数を検出する視聴者数検出ステップと、
   前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部における、前記視聴者数検出ステップの処理により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出ステップと、
   入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部における、前記入力される立体視可能な２視点画像を用いて、前記必要視点数算出ステップの処理により算出された必要視点数分の多視点画像を生成する多視点画像生成ステップと、
   前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部における、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示ステップと、
   前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部における、前記表示ステップの処理における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁ステップと
   を含む画像処理方法。
9. 視聴者数を検出する視聴者数検出部と、
   前記視聴者数検出部により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出部と、
   入力される立体視可能な２視点画像を用いて、前記必要視点数算出部により算出された必要視点数分の多視点画像を生成する多視点画像生成部と、
   前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示部と、
   前記表示部における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁部と
   を含む画像処理装置を制御するコンピュータに、
   前記視聴者数検出部における、視聴者数を検出する視聴者数検出ステップと、
   前記必要視点数算出部における、前記視聴者数検出ステップの処理により検出された視聴者数に基づいて、必要視点数を算出する必要視点数算出ステップと、
   前記多視点画像生成部における、入力される立体視可能な２視点画像を用いて、前記必要視点数算出ステップの処理により算出された必要視点数分の多視点画像を生成する多視点画像生成ステップと、
   前記表示部における、前記多視点画像の視点方向の画像毎にスリット状に分割し、視点方向の配置順序と逆方向の順序で繰り返し配置して表示させる表示ステップと、
   前記視差障壁部における、前記表示ステップの処理における視点方向のスリット状の画像毎の配置間隔に基づいて、前記視線方向毎の画像を、前記視線方向毎に透過させる視差障壁を構成する視差障壁ステップと
   を含む処理を実行させるプログラム。

Images