JP2010140235A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】立体画像を適切に表示装置に表示させる。
【解決手段】立体画像が表示される表示部１５０の画面には、一定の幅を有する右目用と左目用のフィルタが交互に並んで配置されている偏光フィルタが貼り合わせられている。パラメータ受付部１２０は、フィルタ幅情報とフィルタの位置ズレを示す位置補正情報とのパラメータを受け付ける。画像入力部１１０は、右目画像と左目画像を入力する。判定領域算出部１３１は、パラメータに基づいて立体画像を構成する各画素についての判定領域を算出する。画素配置位置判定部１３２は、判定領域に基づいて立体画像を構成する各画素が右目画像であるか左目画像であるかを判定する。立体画像処理部１３４は、この判定結果に基づいて立体画像を作成する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、立体画像を作成する画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、表示装置の画面に画像を表示させ、この画像を３次元的（立体的）にユーザに見せることが可能な立体画像表示技術が提案されている。例えば、水平方向に横１列に並んだ右目画像および左目画像が交互にはめ込まれた立体画像を、偏光フィルタが固定されている表示装置の画面に表示させる立体画像表示方法が提案されている。ここで、偏光フィルタは、右目用フィルタと左目用フィルタから構成されて、右目用フィルタは右目用画像が表示される部分に固定され、左目用フィルタは左目用画像が表示される部分に固定される。これにより、偏光メガネを装着したユーザの右目には右目画像が入射され、ユーザの左目には左目用画像が入射される。この右目画像と左目画像の視差を利用する立体画像表示方法として、例えば、画面に表示された立体画像を立体的に見ることができるμＰＯＬ（マイクロポール）方式が提案されている（例えば、特許文献１参照）。

しかしながら、上記μＰＯＬ方式では、画面の画素位置に対して正確な位置に偏光フィルタが固定されていないと、両目に入射される画像が正確に分離されない。この場合には、綺麗に立体画像を見られなくなる（いわゆる、クロストーク）という問題が生じうる。そこで、例えば、機械設備を用いて、出荷前の表示装置の画面に対して偏光フィルタを正確な位置に固定するフィルタの位置合わせ方法が提案されている（例えば、特許文献２参照）。
特開２００５−２１５３２６号公報（図１） 特開２００３−７５７７３号公報（図７）

上述の従来技術によれば、表示装置の画面の画素位置に対して正確な位置に偏光フィルタを固定することができる。しかしながら、例えば、表示装置とは別に偏光フィルタを購入し、表示装置に偏光フィルタをユーザが手で貼りあわせる場合が考えられる。この場合には、上述の従来技術のフィルタの位置合わせ方法を用いることができないため、表示装置の画面の画素位置に対して正確な位置に偏光フィルタを固定することが困難であることが想定される。そこで、例えば、表示装置に偏光フィルタをユーザが手で貼りあわせるような場合でも、立体画像を適切に表示させることが重要である。

本発明は上記問題点に鑑みてなされたものであり、立体画像を適切に表示させることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、偏光フィルタを構成する各ラインの垂直方向のサイズを示すフィルタ幅情報および上記偏光フィルタの位置ズレを示す位置補正情報を受け付ける受付部と、出力画像となる立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための判定領域を上記フィルタ幅情報および上記位置補正情報に基づいて上記画素毎に算出する算出部と、上記画素毎に算出された判定領域に基づいて上記各画素が上記右目画像領域および上記左目画像領域のうちいずれに含まれるかを上記画素毎に判定する判定部と、上記判定部による判定結果に基づいて決定される画素配置に従って右目画像および左目画像から立体画像を作成する立体画像処理部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、フィルタ幅情報および位置補正情報に基づいて立体画像の各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを画素毎に判定し、この判定結果に基づいて決定される画素配置に従って右目画像および左目画像から立体画像を作成するという作用をもたらす。

また、この第１の側面において、上記位置補正情報は上記偏光フィルタの垂直方向のズレ情報を含み、上記算出部は、上記フィルタ幅情報および上記ズレ情報により特定される垂直方向に一定の幅を備える水平方向のラインを上記判定領域として算出するようにしてもよい。これにより、フィルタ幅情報およびズレ情報により特定される垂直方向に一定の幅を備える水平方向のラインを判定領域として算出するという作用をもたらす。

また、この第１の側面において、上記偏光フィルタは、上記作成された立体画像が表示される表示画面の前面に固定される偏光フィルタであり、上記画素の垂直方向のサイズを基準値として当該基準値の２倍の大きさを上記偏光フィルタを構成する各ラインの垂直方向のサイズとし、上記算出部は、上記画素の垂直方向のサイズを上記一定の幅として上記判定領域を算出するようにしてもよい。これにより、上記画素の垂直方向のサイズを基準値として当該基準値の２倍の大きさを上記フィルタ幅情報とし、上記画素の垂直方向のサイズを上記一定の幅とした上記判定領域を算出するという作用をもたらす。

また、この第１の側面において、上記位置補正情報は上記偏光フィルタの回転ズレ情報を含み、上記算出部は、上記回転ズレ情報により特定される角度により上記水平方向のラインを回転して上記判定領域を算出するようにしてもよい。これにより、回転ズレ情報により特定される角度により回転された上記水平ラインを判定領域として算出するという作用をもたらす。

また、この第１の側面において、上記偏光フィルタは、上記作成された立体画像が表示される表示画面の前面に固定される偏光フィルタであり、上記画素の垂直方向のサイズを基準値とし当該基準値の２√２の大きさを上記偏光フィルタを構成する各ラインの垂直方向のサイズとする偏光フィルタとするようにしてもよい。これにより、立体画像を構成する各画素の垂直方向のサイズの２√２の大きさをフィルタ幅情報として、判定領域を算出するという作用をもたらす。

また、この第１の側面において、上記判定部は、上記画素が上記右目画像領域および上記左目画像領域のうちいずれにも含まれないと判定した画素を、上記立体画像を出力しない無効領域に含まれる画素であると判定するようにしてもよい。これにより、無効領域に含まれる画素が含まれた立体画像が作成されるという作用をもたらす。

また、この第２の側面は、偏光フィルタを構成する各ラインの垂直方向のサイズを示すフィルタ幅情報および上記偏光フィルタの位置ズレを示す位置補正情報を受け付ける受付部と、出力画像となる立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための判定領域を上記フィルタ幅情報および上記位置補正情報に基づいて上記画素毎に算出する算出部と、上記画素毎に算出された判定領域に基づいて上記各画素が上記右目画像領域および上記左目画像領域のうちいずれに含まれるかを上記画素毎に判定する判定部と、上記判定部による判定結果に基づいて決定された上記立体画像を作成するための右目画像および左目画像を構成する各画素の画素配置を立体画像画素配置位置情報として保持する判定結果保持部とを具備する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、フィルタ幅情報および位置補正情報に基づいて立体画像の各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを画素毎に判定し、この判定結果に基づいて、右目画像および左目画像を構成する各画素の画素配置を決定し、決定された画素配置を立体画像画素配置位置情報として保持するという作用をもたらす。

本発明によれば、立体画像を適切に表示させることができるという優れた効果を奏し得る。

以下、本発明を実施するための最良の形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（立体画像作成制御：偏光フィルタの垂直方向の位置ズレを補正する例）
２．第２の実施の形態（立体画像作成制御：偏光フィルタの垂直方向の位置ズレおよび回転ズレを補正する例）

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明の第１の実施形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、画像入力部１１０と、パラメータ受付部１２０と、立体画像作成部１３０と、表示制御部１４０と、表示部１５０とを備える。

画像入力部１１０は、右目画像と左目画像とを含む画像を入力して、入力された画像を立体画像作成部１３０に出力するものである。ここで、立体画像（３Ｄ画像）は、人の両目の視差位置の違いを利用して、立体的に視聴させるための画像である。例えば、立体画像として、水平方向に横１列に並んだ右目画像および左目画像の各画素が交互にはめ込まれた画像を用いることができる。ここで、右目画像および左目画像は、立体画像作成部１３０により作成される立体画像の元となる１組の画像である。この１組の画像を構成する１つの右目画像と１つの左目画像とが対応して画像入力部１１０に入力される。立体画像が画面に表示される場合、偏光フィルタを介して立体画像のうち右目画像は偏光メガネを装着したユーザの右目に入射される。また、左目画像は偏光メガネを装着したユーザの左目に入射される。偏光フィルタは、立体画像を構成する右目画像および左目画像からなる画素列と同じ大きさの右目用フィルタと左目用フィルタから構成される。この偏光フィルタの一例として、μＰＯＬが知られている。なお、画像入力部１１０に入力される画像については、図２を用いて詳細に説明する。

パラメータ受付部１２０は、偏光フィルタの幅や偏光フィルタの位置ズレ量を示す各種のパラメータの入力を受け付け、これらの各値を立体画像作成部１３０に出力するものである。パラメータ受付部１２０は、数値等が入力される操作ボタンを備え、これらの操作ボタンに入力されたパラメータを受け付けるようにしてもよい。また、パラメータ受付部１２０は、リモコン（リモートコントローラ）等の操作ボタンによる操作入力を、そのリモコンから無線を介して受信し、この受信された操作入力に対応するパラメータを受け付けるようにしてもよい。なお、パラメータ受付部１２０は、特許請求の範囲に記載の受付部の一例である。

立体画像作成部１３０は、判定領域算出部１３１と、画素配置位置判定部１３２と、判定結果保持部１３３と、立体画像処理部１３４とを備え、画像入力部１１０から出力される右目画像と左目画像とを含む画像に基づいて立体画像を作成するものである。また、立体画像作成部１３０は、パラメータ受付部１２０によりパラメータが受け付けられた場合にはそのパラメータに基づいて立体画像を構成する各画素が右目画像領域または左目画像領域の何れに含まれるかを判定し、この判定結果に基づいた立体画像を作成する。ここで、右目画像領域は、立体画像を作成するための右目画像を構成する各画素が配置される領域である。また、左目画像領域は、立体画像を作成するための左目画像を構成する各画素が配置される領域である。

判定領域算出部１３１は、立体画像を構成する各画素について、パラメータ受付部１２０により出力されたパラメータに基づいて判定領域を算出して、判定領域に関する情報を画素配置位置判定部１３２に出力するものである。ここで、判定領域は、立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための立体画像上の領域である。なお、判定領域算出部１３１による判定領域の算出については、図４（ａ）を用いて詳細に説明する。なお、判定領域算出部１３１は、特許請求の範囲に記載の算出部の一例である。

画素配置位置判定部１３２は、判定領域算出部１３１から出力された判定領域を示す情報に基づいて、立体画像を構成する各画素が右目画像領域または左目画像領域のいずれに含まれるかを判定するものである。また、画素配置位置判定部１３２は、右目画像領域および左目画像領域の何れにも含まれない画素を無効画像領域と判定する。判定後に画素配置位置判定部１３２は、判定結果を判定結果保持部１３３に出力する。なお、画素配置位置判定部１３２による画素判定については、図４（ｂ）を用いて詳細に説明する。なお、画素配置位置判定部１３２は、特許請求の範囲に記載の判定部の一例である。

判定結果保持部１３３は、画素配置位置判定部１３２から出力された判定結果を、作成対象となる立体画像に対応する画素群に関連付けて、これを立体画像画素配置位置情報として保持するものである。そして、判定結果保持部１３３は、保持されている立体画像画素配置位置情報を立体画像処理部１３４に出力する。

立体画像処理部１３４は、判定結果保持部１３３から出力された立体画像画素配置位置情報に基づいて、画像入力部１１０から出力された右目画像および左目画像から画像を抽出して、立体画像を作成するものである。立体画像処理部１３４は、作成した立体画像を表示制御部１４０に出力する。なお、立体画像処理部１３４による立体画像の作成方法については、図５を用いて詳細に説明する。

表示制御部１４０は、立体画像作成部１３０から出力された立体画像を表示部１５０に表示させる表示制御を行うものである。

表示部１５０は、表示装置などから構成されて、表示制御部１４０から出力された立体画像を表示するものである。

［画像入力部に入力される画像の例］
図２は、本発明の第１の実施の形態における画像入力部１１０に入力される画像の例を示す図である。図２（ａ）は、サイド・バイ・サイド（side-by-side）方式による立体画像を作成するための右目画像および左目画像の例である。このサイド・バイ・サイド方式では、１組の右目画像と左目画像とが並べて配置される。また、図２（ｂ）は、フレームシーケンシャル方式による立体画像を作成するための右目画像および左目画像の例である。このフレームシーケンシャル方式では、１組の右目画像および左目画像が連続するフレームにより構成される。

例えば、図２（ａ）に示すように、サイド・バイ・サイド方式では、１組の右目画像４０２と左目画像４０１とが並べて配置されて画像４０３が構成される。この画像４０３が画像入力部１１０に入力されて、これに基づいて立体画像が作成される。また、例えば、図２（ｂ）に示すように、フレームシーケンシャル方式では、１組の右目画像４０５および左目画像４０４が連続する２つのフレームにより構成される。図２（ｂ）では、この連続する２つのフレームを符号４０６で示す。なお、本発明の実施の形態では、立体画像を動画として表示する例を示すが、以下では、説明の容易のため、これらの動画を構成する各フレーム（画像）を中心に説明する。例えば、画像４０３、右目画像４０５および左目画像４０４は、立体画像を作成するための動画を構成する１フレームの例である。また、画像４０３に基づいて、立体画像として表示される動画を構成する１フレームが作成される。また、右目画像４０５および左目画像４０４に基づいて、立体画像として表示される動画を構成する１フレームが作成される。

［立体画像の作成例］
図３は、本発明の第１の実施の形態における立体画像作成部１３０により作成される立体画像の作成方法の一例を示す図である。この例では、偏光フィルタ１９０が表示装置１８０の画面にズレなく貼り付けられており、偏光フィルタの位置ズレを考慮しない場合について示す。なお、図３（ｃ）に示す表示装置１８０は、画像処理装置１００の外観を示すものであり、図１に示す表示部１５０に対応する。

図３（ａ）には、画像入力部１１０に入力された右目画像２０１および左目画像２０２を示す。図３（ａ）に示す右目画像２０１を構成する画素列Ｒ１乃至Ｒ１０は、右目画像２０１を構成する各画素のうち、水平方向の画素を１つのまとまりとした縦１画素分の画素列を表している。同様に、図３（ａ）に示す左目画像２０２を構成する画素列Ｌ１乃至Ｌ１０は、左目画像２０２を構成する各画素のうち、水平方向の画素を１つのまとまりとした縦１画素分の画素列を表している。ここで、右目画像２０１は、立体画像を作成するための右目用画像である。例えば、画素列Ｒ１乃至Ｒ１０のうち、奇数番号の画素列Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｒ９の画像が、立体画像における各走査線の１本おきに交互にはめ込まれる。また、左目画像２０２は、立体画像を作成するための左目用画像である。例えば、画素列Ｌ１乃至Ｌ１０のうち、偶数番号の画素列Ｌ２、Ｌ４、Ｌ６、Ｌ８、Ｌ１０の画像が、立体画像における各走査線の１本おきに交互にはめ込まれる。なお、右目用画像および左目用画像の配置例を図３（ｂ）に示す。画像入力部１１０は、この右目画像２０１および左目画像２０２を立体画像作成部１３０に出力する。なお、本発明の実施の形態では、説明の容易のため、画像を構成する各画素を模式的に示す。

図３（ｂ）には、立体画像作成部１３０により作成される立体画像２０３の一例を示す。図３（ｂ）に示すように、立体画像２０３は、右目画像２０１および左目画像２０２から抽出された右目用画像および左目用画像の画素列が交互に並んで配置される。例えば、右目画像２０１に１本おきに交互にはめ込まれた画素列Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｒ９と、左目画像２０２に１本おきに交互にはめ込まれた画素列Ｌ２、Ｌ４、Ｌ６、Ｌ８、Ｌ１０とが垂直方向に交互に配置される。この立体画像を作成後、立体画像作成部１３０は、作成した立体画像を表示制御部１４０に出力する。

図３（ｃ）には、表示装置１８０の画面上に偏光フィルタ１９０が設けられた場合における立体画像２０３の表示例を示す。偏光フィルタ１９０は、表示装置１８０の画面と同一の大きさである。そして、偏光フィルタ１９０は、右目画像２０１の画素列Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｒ９に対応する５個の右目用フィルタ１９１と、左目画像２０２の画素列Ｌ２、Ｌ４、Ｌ６、Ｌ８、Ｌ１０に対応する５個の左目用フィルタ１９２とが交互に配置されている。ここで、右目用フィルタ１９１および左目用フィルタ１９２の垂直方向の長さは、右目画像２０１および左目画像２０２の画素列の垂直方向の長さと同一である。また、図３（ｃ）に示す例では、右目画像２０１および左目画像２０２の画素列と、これらに対応する右目用フィルタ１９１および左目用フィルタ１９２とはズレがないものとする。この偏光フィルタ１９０を介して、立体画像２０３のうち画素列Ｒ１、Ｒ３、Ｒ５、Ｒ７、Ｒ９が右目用画像として表示装置１８０の画面に表示される。また、立体画像２０３のうち画素列Ｌ２、Ｌ４、Ｌ６、Ｌ８、Ｌ１０が左目用画像として表示装置１８０の画面に表示される。このようにして、偏光フィルタ１９０が貼り合わせられた立体画像２０３が表示されている画面を視認する者は、偏光メガネを介して入射される右目用の画像と左目用の画像による視差の効果により立体画像２０３を立体的に見ることができる。

［判定領域の算出例および画素位置の判定例］
図４は、本発明の第１の実施の形態における判定領域算出部１３１による判定領域算出および画素配置位置判定部１３２による画素位置の判定を説明するための図である。

ここで、表示装置の画面の垂直方向の１画素分の縦幅（画素サイズ）と、偏光フィルタを構成する右目用フィルタまたは左目用フィルタの縦幅（フィルタ幅）との関係について説明する。例えば、画素サイズに対してフィルタ幅の倍率をｓとした場合を想定する。

例えば、ｓ＝１とする場合に、右目画像に対応する画素列および左目画像に対応する画素列と、右目用フィルタおよび左目用フィルタの各ラインとの位置関係が正確であれば、表示装置に立体画像を表示させることができる。すなわち、１画素分の画素列と、右目用フィルタおよび左目用フィルタの１ラインとを対応させ、右目用フィルタが貼り付けられている位置に右目画像を合成させ、左目用フィルタが貼り付けられる位置に左目画像を合成させた立体画像を表示させる。

しかしながら、偏光フィルタが表示装置の画面に対してズレて貼り付けられている場合には、右目画像に対応する画素列および左目画像に対応する画素列と、右目用フィルタおよび左目用フィルタの各ラインとの位置関係がズレてしまうおそれがある。これらの位置関係がズレた場合には、偏光フィルタを介して表示される立体画像が正確に分離されなくなってしまうため、綺麗に立体画像を見られなくなってしまう（いわゆる、クロストークが発生する）。

そこで、例えば、画素サイズよりもフィルタ幅を長くすることにより、クロストークの発生を防止することが考えられる。例えば、フィルタ幅を画素サイズの２倍（ｓ＝２）とする場合を想定する。この場合に、表示装置における１画素分の画素列と偏光フィルタを構成する各ラインとを対応させて、偏光フィルタを画面に貼り合わせる。そして、例えば、２画素分の画素列と、右目用フィルタおよび左目用フィルタの２ラインとを対応させ、右目用フィルタが貼り付けられている位置に右目画像を表示させ、左目用フィルタが貼り付けられる位置に左目画像を表示させることができる。この場合には、例えば、右目画像の２画素分の画素列と、左目画像の２画素分の画素列とが１つおきに交互に合成され、立体画像が作成される。

しかしながら、ｓ＝２の場合において、偏光フィルタが画面の垂直方向にズレて貼り合わせられていると、偏光フィルタを構成する各ラインと、表示装置における２画素分の画素列とが対応する位置に配置されないことになる。このような場合でも、例えば、表示装置における２画素分の画素列のうちの１画素分の画素列が、偏光フィルタの１ラインと重なり合うことになる。このため、表示装置における２画素分の画素列のうちの１画素分の画素列に、右目画像または左目画像の１画素分の画素列を配置することにより、右目画像の１画素分の画素列と、左目画像の１画素分の画素列とが交互に合成され、立体画像が作成される。ただし、この場合には、右目画像の１画素分の画素列と、左目画像の１画素分の画素列との間に、１画素分の無効画素列が生じることになる。しかしながら、このように作成される立体画像は、右目用画像から構成される画素列および左目用画像から構成される画素列が垂直方向に均等な間隔で配置されているため、見え方に不均一さを生じない。また、偏光フィルタの張り合わせを再度行わなくても、クロストークの発生を防止することができる。すなわち、ｓ＝２とすることにより、偏光フィルタがズレて画面に貼り付けられていても、クロストークのない綺麗な立体画像を表示させることができる。

一方、例えば、２＜ｓとする場合が考えられる。この場合に、例えば、右目画像のｓ画素分の画素列と、左目画像のｓ画素分の画素列とが１つおきに交互に合成され、立体画像が作成される。しかしながら、２＜ｓの場合において、偏光フィルタが画面の垂直方向にズレて貼り合わせられていると、偏光フィルタを構成する各ラインと、表示装置におけるｓ画素分の画素列とが対応する位置に配置されないことになる。このような場合でも、例えば、表示装置におけるｓ画素分の画素列のうちの（ｓ−１）画素分の画素列が、偏光フィルタの１ラインと重なり合うことになる。このため、表示装置におけるｓ画素分の画素列のうちの（ｓ−１）画素分の画素列に、右目画像または左目画像の（ｓ−１）画素分の画素列を配置することにより、右目画像の（ｓ−１）画素分の画素列と、左目画像の（ｓ−１）画素分の画素列とが交互に合成される。そして、このように合成された立体画像が作成される。ただし、この場合には、右目画像の（ｓ−１）画素分の画素列と、左目画像の（ｓ−１）画素分の画素列との間に、１画素分の無効画素列が生じることになる。このように作成される立体画像はフィルタ幅が広がるほど右目画像または左目画像の（ｓ−１）画素分の画素列の縦幅が増えるため、結果として縦幅の広い右目画像および左目画像から構成される立体画像が画面に表示される。しかしながら、縦幅が広がるほど視覚的な影響により立体画像を奇麗に見ることができなくなる。

なお、１＜ｓ＜２とする場合に、偏光フィルタが画面の垂直方向にズレて貼り合わせられていると、画面に対応する画素と右目用フィルタおよび左目用フィルタの各ラインとの位置関係において、どちらにも含まれない画素列が多数生じうる。このため、このような偏光フィルタを用いても空間的なバラツキ（不均一さ）が大きくなる。また、ｓ＜１にすると、全ての画素列が右目用フィルタおよび左目用フィルタの各ラインに含まれなくなる。

以上の説明の通り、偏光フィルムの幅の変化は、出力される立体画像の空間的なバラツキ（不均一さ）や有効画素数に影響を与えるため、偏光フィルムの幅の設定が重要となる。そこで、例えば、本発明の第１の実施の形態では、ｓ＝２とした偏光フィルタを用いる例について説明する。なお、縦幅の広がりによる視覚的な影響を考慮して、２＜ｓの倍率からなるフィルタ幅を用いるようにしてもよい。また、垂直ズレを補正することが可能な他のフィルタ幅を用いるようにしてもよい。

図４（ａ）には、判定領域算出１３１による判定領域の算出対象となる画素群３０１を示す。この画素群３０１は、表示装置１８０の画面に表示される立体画像を構成する各画素の画素位置をそれぞれ矩形により表すものである。

まず、判定領域算出部１３１は、パラメータ受付部１２０により受け付けられたパラメータを取得する。なお、本発明の第１の実施の形態では、パラメータとして、フィルタ幅情報ｗおよび位置補正情報ｄｖが入力された場合を例にして説明する。ここで、フィルタ幅情報ｗは、表示装置１８０の画面上に設けられている偏光フィルタの垂直方向の長さを示す値である。また、位置補正情報ｄｖは、表示装置１８０の画面上に設けられている偏光フィルタの垂直方向のズレ量を示す値である。これらの各値が、ユーザにより入力される。次に、判定領域算出部１３１は、画素群３０１における水平方向をＸ軸とし、垂直方向をＹ軸とするＸＹ座標を設定する。なお、画素群３０１の左下隅を原点０とする。次に、判定領域算出部１３１は、パラメータ受付部１２０に入力されたフィルタ幅情報ｗおよび位置補正情報ｄｖに基づいて、次式により判定領域を算出する。
ｙ＝２ｎ×ｗ＋ｄｖ … 式１
ｙ＝（２ｎ＋１）×ｗ＋ｄｖ … 式２
ｙ＝（２ｎ＋２）×ｗ＋ｄｖ … 式３
なお、ｎは整数である。

すなわち、判定領域算出部１３１は、画素群３０１において、式１および式２により特定される２つの直線の間の領域を右目画像領域として算出する。また、判定領域算出部１３１は、画素群３０１において、式２および式３により特定される２つの直線の間の領域を左目画像領域として算出する。

例えば、ｎ＝０のときに、式１よりｙ＝ｄｖ（直線３２１）が導かれる。また、ｎ＝０のときに、式２よりｙ＝ｗ＋ｄｖ（直線３２２）が導かれる。これにより、判定領域算出部１３１は、直線３２１および直線３２２で特定される領域を右目画像領域３１２として算出する。同様に、ｎ＝０のときに、式２よりｙ＝ｗ＋ｄｖ（直線３２２）が導かれる。また、式３より、ｙ＝２ｗ＋ｄｖ（直線３２３）が導かれる。これにより、判定領域算出部１３１は、直線３２２および直線３２３で特定される領域を左目画像領域３１３として算出する。

判定領域算出部１３１は、ｎに代入する数を変更することにより（例えば＋１ずつ）、判定領域として右目画像領域および左目画像領域を順次算出する。具体的には、判定領域算出部１３１は、ｎ＝１のときに、式１乃至３により直線３２３乃至３２５が導かれて、判定領域として右目画像領域３１４および左目画像領域３１５を算出する。また、ｎ＝２のときに、式１乃至３により直線３２５乃至３２７が導かれて、判定領域として右目画像領域３１６および左目画像領域３１７を算出する。

以上のように、判定領域算出部１３１は、判定領域を算出して、この判定領域判定領域に関する情報を画素配置位置判定部１３２に出力する。

図４（ｂ）には、画素配置位置判定部１３２により立体画像を構成する各画素が含まれる領域を判定する判定方法を示す。なお、図４（ｂ）は、図４（ａ）に示す破線の丸３５０内に含まれる各画素を拡大した図である。

図４（ｂ）に示すＸＹ座標上において、画素配置位置判定部１３２による判定対象となる画素の左下端の座標を（Ｘｐ、Ｙｑ）とする。また、判定対象となる画素のＸ軸方向の長さをｌｘとし、判定対象となる画素のＹ軸方向の長さをｌｙとする。

画素判定部１３２は、画素群３０１を構成する各画素について、判定領域算出部１３１により式１乃至式３を用いて算出された右目画像領域および左目画像領域のうちのいずれに含まれるのかを判定する。具体的には、画素判定部１３２は以下の式４乃至１１を用いて判定する。下記（１）の式４乃至７は、判定対象となる画素が式１および式２で特定される右目画像領域に含まれるか否かについて判定するためのものである。下記（２）の式８乃至１１は、判定対象となる画素が式２および式３で特定される左目画像領域に含まれるか否かについて判定するためのものである。
（１）画素が右目画像領域に含まれるか否かを判定するための条件式
Ｙｑ＞２ｎ×ｗ＋ｄｖ … 式４
Ｙｑ＜（２ｎ＋１）×ｗ＋ｄｖ … 式５
Ｙｑ＋ｌｙ＞２ｎ×ｗ＋ｄｖ … 式６
Ｙｑ＋ｌｙ＜（２ｎ＋１）×ｗ＋ｄｖ … 式７
（２）画素が左目画像領域に含まれるか否かを判定するための条件式
Ｙｑ＞（２ｎ＋１）×ｗ＋ｄｖ … 式８
Ｙｑ＜（２ｎ＋２）×ｗ＋ｄｖ … 式９
Ｙｑ＋ｌｙ＞（２ｎ＋１）×ｗ＋ｄｖ … 式１０
Ｙｑ＋ｌｙ＜（２ｎ＋２）×ｗ＋ｄｖ … 式１１

具体的には、画素配置位置判定部１３２は、座標（Ｘｐ、Ｙｑ）が、式４乃至７の条件式を全て満たす場合には、座標（Ｘｐ、Ｙｑ）に対応する画素が右目画像領域に含まれると判定する。また、画素配置位置判定部１３２は、座標（Ｘｐ、Ｙｑ）が、式８乃至１１の条件式を全て満たす場合には、座標（Ｘｐ、Ｙｑ）に対応する画素が左目画像領域に含まれると判定する。

ここで、右目画像領域および左目画像領域のいずれにも含まれないと判定された画素については無効画像領域に含まれると判定される。すなわち、画素配置位置判定部１３２は、上記（１）の式４乃至７および上記（２）の式８乃至１１を用いて、座標（Ｘｐ、Ｙｑ）に対応する画素が無効画像領域に含まれるかを判定する。具体的には、上記（１）の式４乃至７の条件式のうち少なくとも何れかの条件式を満たさない場合、および、上記（２）の式８乃至１１の条件式のうち少なくとも何れかの条件式を満たさない場合に無効画像領域に含まれると判定される。

各座標（Ｘｐ、Ｙｑ）に対応する画素についての判定結果は、画素ごとに判定結果保持部１３３に出力される。そして、判定結果保持部１３３は、各画素についての判定結果を関連付けた情報である立体画像画素配置位置情報を保持する。また、判定結果保持部１３３は、立体画像処理部１３４が立体画像を作成する際に、保持されている立体画像画素配置位置情報を立体画像処理部１３４に出力する。そして、立体画像処理部１３４は、この立体画像画素配置位置情報に基づいて画像入力部１１０から出力された右目画像および左目画像から立体画像の合成対象となる画像を抽出し、この抽出された画像を合成することにより立体画像を作成する。

具体的には、立体画像処理部１３４は、右目画像領域に含まれると判定された画素位置に該当する右目画像の画素と、左目画像領域に含まれると判定された画素位置に該当する左目画像の画素とをそれぞれ抽出する。そして、抽出された画素を合成することにより立体画像を作成する。なお、図５では、このように求められる判定結果と、この判定結果に基づいて作成される立体画像との関係の一例を示す。

［画素位置の判定例および判定結果に基づいて作成される立体画像の例］
図５は、本発明の第１の実施の形態における画素配置位置判定部１３２による画素位置の判定および立体画像処理部１３４による立体画像の作成を説明するための図である。なお、図５（ａ）に示すように、フィルタ幅情報ｗ、位置補正情報ｄｖおよび式１乃至３に基づいて、判定領域算出部１３１により画素群３０１に対して右目画像領域３１２、３１４、３１６および左目画像領域３１３、３１５が算出されているものとする。

画素配置位置判定部１３２は、画素群を構成する画素のうち左下隅の画素から判定を開始し、Ｘ軸方向の右側に向かって順に各画素について判定を行う。そして、右端の画素まで判定が終了すると、隣接するＹ軸方向の上側の画素の左端の画素に戻って再び画素についての判定を行う。ここで、図５（ａ）に示す画素群３０１におけるＸＹ座標において、各画素の位置を（Ｘｐ、Ｙｑ）で示す。ここで、ｐはＸ軸における原点からの画素の数を示す。また、ｑはＹ軸における原点からの画素の数を示す。なお、図５（ａ）に示す例では、Ｘ軸方向に１２個の画素が配置されている例を示す。また、ｐの最大数を示す値をｐＭａｘする。また、図５（ａ）に示す例では、Ｙ軸方向に１０個の画素が配置されている例を示す。また、ｑの最大値を示す値をｑＭａｘとする。例えば、ＸＹ座標軸上の原点を示す座標（Ｘ_０、Ｙ_０）に対応する画素から判定され、Ｙ_０の画素列に属する画素がＸ軸方向の右側に向かって順次判定される。座標（Ｘ_１１、Ｙ_０）に対応する画素について判定されると、次は、座標（Ｘ_０、Ｙ_１）に対応する画素が判定されて、Ｙ_１に属する画素がＸ軸方向の右側に向かって順次判定される。

画素配置位置判定部１３２は、判定対象となる画素が上記（１）の式４乃至７の条件、または、上記（２）の式８乃至１１の条件を満たすか否かを順次判定し、その画素が右目画像領域に含まれるか左目画像領域に含まれるかを判定する。例えば、画素３０２（座標（Ｘ_３、Ｙ_１）に対応する画素）はｎ＝０の時、上記（１）の式４乃至７の条件を全て満たし、上記（２）の式８乃至１１の条件を満たさないため、画素３０２は右目画像領域に含まれると判定される。また、画素３０３（座標（Ｘ_２、Ｙ_２）に対応する画素）は、上記（１）の式４乃至７の条件および上記（２）の式８乃至１１の条件のいずれも満たさないため、無効画像領域に含まれると判定される。具体的には、画素３０３（座標（Ｘ_２、Ｙ_２）に対応する画素）は、ｎ＝０のとき式４および式６を満たすが、Ｙ_２＋ｌｙ＞ｗ＋ｄｖとなるため、式７の条件を満たさない。このため、全ての上記（１）の式４乃至７を満たさないことになる。また、ｎ＝０のとき式９乃至１１を満たすが、Ｙ_２＜ｗ＋ｄｖとなるため、式８の条件を満たさない。よって、全ての上記（２）の式８乃至１１を満たさないことになる。従って画素３０３は、無効画像領域に含まれると判定される。また、画素３０４（座標（Ｘ_２、Ｙ_３）に対応する画素）はｎ＝０の時、上記（１）の式４乃至７の条件を満たさないが、上記（２）の式８乃至１１の条件を満たすため、画素３０４は左目画像領域に含まれると判定される。

図５（ｂ）には、立体画像画素配置位置情報に基づいて作成される立体画像の一例を示す。例えば、図５（ｂ）に示すように、立体画像処理部１３４は、立体画像画素配置位置情報が示す画素群３０１の各画素に関連付けられている右目画像領域または左目画像領域の情報に従って、右目画像および左目画像からから立体画像の合成対象となる画像を抽出する。そして、この抽出された画像を合成することにより立体画像３０５を作成する。図５（ｂ）では、立体画像３０５の構成する画素のうち、右目画像領域３１２、３１４、３１６に含まれると判定された画素をＲで示す。また、立体画像３０５の構成する画素のうち、左目画像領域３１３、３１５に含まれると判定された画素をＬで示す。

［立体画像の作成例］
図６は、本発明の第１の実施の形態における立体画像作成部１３０により立体画像が作成される場合の流れの一例を示す図である。

図６（ａ）には、画像入力部１１０に入力された右目画像２０１および左目画像２０２を示す。なお、右目画像２０１および左目画像２０２は、図３（ａ）に示す右目画像２０１および左目画像２０２と同じであるため、同一の符号を付して、これらの説明を省略する。

図６（ｂ）には、立体画像作成部１３０により作成される立体画像２０４の一例を示す。立体画像２０４はパラメータ受付部１２０に入力されたフィルタ幅情報２ｗおよび位置補正情報ｄｖに基づいて作成された立体画像の一例である。フィルタ幅情報２ｗとは、右目画像２０１および左目画像２０２の縦１画素分をｗとしたときの２画素分の幅を示している。

立体画像２０４には、右目画像領域および左目画像領域にも含まれない無効画像領域からなる画素列Ｎが含まれている。具体的には、右目画像２０１から抽出されたｗの幅からなる画素列Ｒ１、Ｒ５、Ｒ９および左目画像２０２から抽出されたｗの幅からなる画素列Ｌ３、Ｌ７がそれぞれｗの間隔で交互に並んでいる。そして、それぞれ抽出された画素列の間にｗの幅からなる無効画像からなる画素列Ｎが並んでいる。

図６（ｃ）には、表示装置１８０の画面に表示される立体画像の表示例を示す。なお、図６（ｃ）に示す表示装置１８０の画面には、偏光フィルタ１９３が貼り合わせられている。ここで、偏光フィルタ１９３は、水平方向の１画素のラインで構成される画素列の幅の２倍の幅を有する偏光フィルタである。すなわち、偏光フィルタ１９３の右目用フィルタ１９４および左目用フィルタ１９５は、通常の偏光フィルタの左目用フィルタおよび右目用フィルタの２倍の長さである。また、偏光フィルタ１９３は、何らかの理由で、表示装置１８０の画面に対して、垂直方向にｄｖだけズレた状態で貼り合わせられている。例えば、ユーザが、偏光フィルタ１９３を手で貼り合わせた場合などが想定される。

しかしながら、図６（ｃ）に示すように、右目画像を構成する画素列Ｒ１、Ｒ５、Ｒ９の表示部分と、右目用フィルタ１９４とが重複しているため、右目画像が右目用フィルタ１９４を介して出力される。また、左目画像を構成する画素列Ｌ３、Ｌ７の表示部分と、左目用フィルタ１９５とが重複しているため、左目画像が左目用フィルタ１９５を介して出力される。これにより、偏光メガネを装着しているユーザの右目には右目画像のみが入射され、ユーザの左目には左目画像のみが入射される。従って、画面に対して位置ズレして貼り合わせられた偏光フィルタ１９３を介して表示される立体画像２０４にはクロストークの影響が無いため、ユーザは適切に立体画像２０４を立体的に見ることができる。

［画像処理装置の動作例］
次に、本発明の第１の実施の形態における画像処理装置の動作例について説明する。

図７は、本発明の第１の実施の形態における立体画像作成部１３０による立体画像画素配置位置判定処理の処理手順を示すフローチャートである。

まず、パラメータ受付部１２０により、フィルタ幅情報または位置補正情報の少なくとも１つのパラメータが受け付けられたか否かが判定される（ステップＳ９０１）。パラメータが受け付けられなければ（ステップＳ９０１；Ｎｏ）、立体画像画素配置位置判定処理の動作を終了する。パラメータ入力があれば（ステップＳ９０１；Ｙｅｓ）、このパラメータに基づいて、判定領域算出部１３１により判定領域が算出される（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の算出手順の一例である。次に、この判定領域に基づいて、画素群を構成する各画素が右目画像領域に含まれるか左目画像領域に含まれるかについて画素配置位置判定部１３２により画素配置位置判定処理される（Ｓ９１０）。なお、ステップＳ９１０は、特許請求の範囲に記載の判定手順の一例である。この画素配置位置判定処理については、図８を参照して詳細に説明する。次に、画素配置位置判定処理による判定結果が立体画像画素配置位置情報として判定結果保持部１３３により保持される（ステップＳ９０３）。そして、立体画像画素配置位置判定処理の動作を終了する。

図８は、本発明の第１の実施の形態における立体画像作成部１３０による立体画像画素配置位置判定処理の処理手順のうちの画素配置位置判定処理（図７に示すステップＳ９１０の処理手順）を示すフローチャートである。

まず、座標（Ｘｐ、Ｙｑ）に対応させて、ｑが「０」に初期化され（ステップＳ９１１）、ｐが「０」に初期化される（ステップＳ９１２）。次に、座標（Ｘｐ、Ｙｑ）に対応する判定対象画素について、条件式（右目条件式４乃至７、および左目条件式８乃至１１）の演算が行われる（ステップＳ９１３）。この演算結果に基づいて、判定対象画素が右目条件式４乃至７の全てを満たすか否かが判断される（ステップＳ９１４）。判定対象画素が右目条件式４乃至７の全てを満たせば（ステップＳ９１４；Ｙｅｓ）、判定対象画素は右目画像領域に含まれると判定される（ステップＳ９１８）。一方、判定対象画素が右目条件式を満たさなければ（ステップＳ９１４；Ｎｏ）、左目条件式８乃至１１の全てを満たすか否かが判定される（ステップＳ９１５）。判定対象画素が左目条件式の全てを満たせば（ステップＳ９１５；Ｙｅｓ）、判定対処画素が左目画像領域に含まれると判定される（ステップＳ９１６）。判定対象画素が左目条件式の全てを満たさなければ（ステップＳ９１５；Ｎｏ）、判定対処画素が無効画像領域に含まれると判定される（ステップＳ９１７）。判定対象画素が画素群の右端にある画素であることを示すｐ＝Ｍａｘであれば（ステップＳ９１９；Ｙｅｓ）、判定対象画素が画素群の上端にあるか否かが判定される（ステップＳ９２０）。一方、判定対象画素が画素群の右端にある画素でなければ（ステップＳ９１９；Ｎｏ）、ｐに１が加えられて（ステップＳ９２１）、次の判定対象画素について条件式が計算される（ステップＳ９１３）。ステップＳ９２０において、判定対象画素が画素群の右上隅にあり、ｑ＝Ｙｍａｘならば（ステップＳ９２０；Ｙｅｓ）画素判定処理は終了する。判定対象画素が画素群の右上隅になく、ｑ＝Ｙｍａｘでなければ（ステップＳ９２０；Ｎｏ）、ｑに「１」が加算され（ステップＳ９２２）、ｐが「０」に初期化され（ステップＳ９１２）、次の判定対象画素についての条件式の計算が行われる（ステップＳ９１３）。

図９は、本発明の第１の実施の形態における立体画像作成部１３０による立体画像作成処理の処理手順を示すフローチャートである。ここでは、画像入力部１１０に入力される右目画像および左目画像の１組を用いて立体画像を表示する例について説明する。

画像入力部１１０に右目画像および左目画像の１組が入力されると（ステップＳ９０４；Ｙｅｓ）、判定結果保持部１３３に立体画像画素配置位置情報が保持されているか否かが判定される（ステップＳ９０５）。判定結果保持部１３３に立体画像画素配置位置情報が保持されていれば（ステップＳ９０５；Ｙｅｓ）、立体画像処理部１３４は、その立体画像画素配置位置情報に基づいて右目画像および左目画像から画像を抽出する。そして、立体画像処理部１３４は、この抽出された画像を合成して立体画像を作成する（ステップＳ９０６）。なお、ステップＳ９０６は、特許請求の範囲に記載の立体画像処理手順の一例である。一方、判定結果保持部１３３に立体画像画素配置位置情報が保持されていなければ（ステップＳ９０５；Ｎｏ）、立体画像処理部１３４は、予め設定されている画素位置に対応する右目画像および左目画像から画像を抽出する。そして、立体画像処理部１３４は、この抽出された画像を合成して立体画像を作成する（ステップＳ９０７）。例えば、右目画像および左目画像のそれぞれが、交互に走査線の１本おきにはめ込まれた通常の立体画像が作成される。立体画像が作成されると（ステップＳ９０６、Ｓ９０７）、立体画像処理部１３４による立体画像の作成は終了する。

以上説明したとおり、本発明の第１の実施の形態によれば、立体画像作成部１３０は、偏光フィルタの位置ズレを示す位置補正情報をパラメータ受付部１２０から取得して、このパラメータに基づいて位置ズレを補正して立体画像を作成することができる。これにより、例えば、μＰＯＬ方式等に準拠する偏光フィルタを既存の表示装置に手作業によって貼り合わせたことにより画面に対して位置ズレが生じた場合であっても、クロストークの影響の無い立体画像を表示させることができる。また、例えば、偏光フィルタを表示装置の画面に貼り合わせる製造工程において、貼り合わせの位置ズレによる歩留り低下が生じることが想定される。しかしながら、本発明の第１の実施の形態によれば、位置ズレを補正して立体画像を作成することができるため、位置ズレを直す必要がなく、再度の貼り合わせが不要である。このため、偏光フィルタの貼り合わせに係る製造コストを削減することができる。また、超多画素ディスプレイなどの高密度な画素からなる表示装置を用いれば、無効画像領域の追加による解像度低下の影響を少なくすることができる。また、例えば、表示装置に偏光フィルタを貼り合わせる製造コストよりも、表示装置の画素を高密度化するコストが低下することが想定される。例えば、超多画素ディスプレイに、本発明の第１の実施の形態を適用することにより、無効画像領域の追加による解像度低下の影響を少なくすることができる。このため、表示装置に偏光フィルタを貼り合わせる製造工程を省略することができる。これにより、表示装置の製造コストを削減させることができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、偏光フィルタの垂直ズレを補正する例について説明した。本発明の第２の実施の形態では、偏光フィルタの垂直ズレとともに、偏光フィルタの回転ズレを補正する例について説明する。なお、本発明の第２の実施の形態における画像処理装置は、図１に示す画像処理装置１００の構成と同一である。このため、以下では、本発明の第１の実施の形態と同一の部分については同一の符号を付して説明し、これらの説明を省略する。ここで、偏光フィルタの回転ズレは、例えば、パラメータ受付部１２０により、偏光フィルタの回転ズレを示す位置補正情報ｄｒがパラメータとして受け付けられる。

［判定領域の算出例および画素位置の判定例］
図１０は、本発明の第２の実施の形態における判定領域算出部１３１による判定領域算出および画素配置位置判定部１３２による画素位置の判定を説明するための図である。

ここで、表示装置の画面の垂直方向の１画素分の縦幅（画素サイズ）と、偏光フィルタを構成する右目用フィルタまたは左目用フィルタの縦幅（フィルタ幅）との関係について説明する。例えば、画素サイズに対してフィルタ幅の倍率をｓとした場合を想定する。

ここで、垂直方向の画素列および水平方向の画素列を考慮した場合には、回転ズレによる回転角度の最大を４５°と考えることができる。このため、偏光フィルタの垂直ズレとともに、回転ズレを考慮する場合には、例えば、回転角度４５°を想定することにより、任意の角度に対応することができる。なお、垂直ズレのみを考慮した場合については、本発明の第１の実施の形態で示した通りである。そこで、本発明の第１の実施の形態で示したフィルタ幅ｓを√２倍とした値（２√２）を用いることにより、本発明の第１の実施の形態で示した関係と同様に考えることができる。これらの関係は、以下の（ａ）乃至（ｄ）により表すことができる。
（ａ）ｓ＝２√２のとき、立体的に見える部分の空間的なバラツキが最も少なくなる。
（ｂ）２√２＜ｓのとき、空間的なバラツキが大きくなり、有効画素が増える。
（ｃ）√２≦ｓ＜２√２のとき、空間的なバラツキが大きくなり、有効画素が減る。
（ｄ）ｓ＜√２のとき、全ての画素が無効画素になる。
以上の関係が成立するため、例えば、本発明の第２の実施の形態では、ｓ＝２√２とした偏光フィルタを用いる例について説明する。なお、縦幅の広がりによる視覚的な影響を考慮して、２√２＜ｓの倍率からなるフィルタ幅を用いるようにしてもよい。また、垂直ズレおよび回転ズレを補正することが可能な他のフィルタ幅を用いるようにしてもよい。

図１０（ａ）には、判定領域算出１３１による判定領域の算出対象となる画素群５０１を示す。この画素群５０１は、表示装置１８０の画面に表示される立体画像を構成する各画素の画素位置を矩形（１２個×１２個の矩形）により表すものである。

まず、判定領域算出部１３１は、パラメータ受付部１２０により受け付けられたパラメータを取得する。なお、本発明の第２の実施の形態では、パラメータとして、フィルタ幅情報ｗおよび位置補正情報ｄｖ、ｄｒが入力された場合を例にして説明する。ここで、フィルタ幅情報ｗは、表示装置１８０の画面上に設けられている偏光フィルタの垂直方向の長さを示す値である。また、位置補正情報ｄｖは、表示装置１８０の画面上に設けられている偏光フィルタの垂直方向のズレ量を示す値である。また、位置補正情報ｄｒは、表示装置１８０の画面上に設けられている偏光フィルタの回転ズレによる回転量を示す値である。

これらの各値が、パラメータ受付部１２０においてユーザにより入力される。次に、判定領域算出部１３１は、本発明の第１の実施の形態と同様に、画素群５０１における水平方向をＸ軸とし、垂直方向をＹ軸とするＸＹ座標を設定する。なお、画素群５０１の左下隅を原点０とする。次に、判定領域算出部１３１は、パラメータ受付部１２０に入力されたフィルタ幅情報ｗおよび位置補正情報ｄｖ、ｄｒに基づいて、次式により判定領域を算出する。
ｙ＝ｔａｎ（ｄｒ）×ｘ＋２ｎ×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１２
ｙ＝ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋１）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１３
ｙ＝ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋２）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１４
なお、ｎは整数である。

すなわち、判定領域算出部１３１は、画素群５０１において、式１２および式１３により特定される２つの直線の間の領域を右目画像領域として算出する。また、判定領域算出部１３１は、画素群５０１において、式１３および式１４により特定される２つの直線の間の領域を左目画像領域として算出する。

例えば、ｎ＝０のときに、式１２よりｙ＝ｔａｎ（ｄｒ）×ｘ＋ｄｖ（直線５２１）が導かれる。また、ｎ＝０のときに、式１３よりｙ＝ｔａｎ（ｄｒ）×ｘ＋ｗ×ｃｏｓ（ｄｒ）＋ｄｖ（直線５２２）が導かれる。これにより、判定領域算出部１３１は、直線５２１および直線５２２で特定される領域を右目画像領域５１２として算出する。同様に、ｎ＝０のときに、式１３よりｙ＝ｔａｎ（ｄｒ）×ｘ＋ｗ×ｃｏｓ（ｄｒ）＋ｄｖ（直線５２２）が導かれる。また、式１４より、ｙ＝ｔａｎ（ｄｒ）×ｘ＋２×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ（直線５２３）が導かれる。これにより、判定領域算出部１３１は、直線５２２および直線５２３で特定される領域を左目画像領域５１３として算出する。

判定領域算出部１３１は、ｎに代入する自然数を変更することにより（例えば＋１ずつ）、判定領域として右目画像領域および左目画像領域を順次算出する。具体的には、判定領域算出部１３１は、ｎ＝１のときに、式１２乃至１４により直線５２３乃至５２５が導かれて、判定領域として右目画像領域５１４および左目画像領域５１５を算出する。また、ｎ＝２のときに、式１２、１３により直線５２５、５２６が導かれて、判定領域として右目画像領域５１６を算出する。

以上のように、判定領域算出部１３１は、判定領域を算出して、この判定領域判定領域に関する情報を画素配置位置判定部１３２に出力する。

図１０（ｂ）には、画素配置位置判定部１３２により立体画像を構成する各画素が含まれる領域を判定する判定方法を示す。なお、図１０（ｂ）は、図１０（ａ）に示す破線の丸５５０内に含まれる各画素を拡大した図である。

図１０（ｂ）に示すＸＹ座標上において、画素配置位置判定部１３２による判定対象となる画素の左下端の座標を（Ｘｐ、Ｙｑ）とする。また、判定対象となる画素のＸ軸方向の長さをｌｘとし、判定対象となる画素のＹ軸方向の長さをｌｙとする。

画素判定部１３２は、画素群５０１を構成する各画素について、判定領域算出部１３１により式１２乃至式１４を用いて算出された右目画像領域および左目画像領域のうちのいずれに含まれるのかを判定する。具体的には、画素判定部１３２は以下の式１５乃至１８を用いて判定する。下記（３）の式１５乃至１８は、判定対象となる画素が式１２および式１３で特定される右目画像領域に含まれるか否かについて判定するためのものである。下記（４）の式１９乃至２２は、判定対象となる画素が式１３および式１４で特定される左目画像領域に含まれるか否かについて判定するためのものである。
（３）画素が右目画像領域に含まれるか否かを判定するための条件式
Ｙｑ＞ｔａｎ（ｄｒ）×ｘ＋２ｎ×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１５
Ｙｑ＜ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋１）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１６
Ｙｑ＋ｌｙ＞ｔａｎ（ｄｒ）×ｘ＋２ｎ×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１７
Ｙｑ＋ｌｙ＜（ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋１）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ…式１８
（４）画素が左目画像領域に含まれるか否かを判定するための条件式
Ｙｑ＞ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋１）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式１９
Ｙｑ＜ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋２）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ … 式２０
Ｙｑ＋ｌｙ＞ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋１）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ… 式２１
Ｙｑ＋ｌｙ＜ｔａｎ（ｄｒ）×ｘ＋（２ｎ＋２）×ｗ×ｃｏｓ（ｄｒ）＋ｄｖ… 式２２

具体的には、画素配置位置判定部１３２は、座標（Ｘｐ、Ｙｑ）が、式１５乃至１８の条件式を全て満たす場合には、座標（Ｘｐ、Ｙｑ）に対応する画素が右目画像領域に含まれると判定する。また、画素配置位置判定部１３２は、座標（Ｘｐ、Ｙｑ）が、式１９乃至２２の条件式を全て満たす場合には、座標（Ｘｐ、Ｙｑ）に対応する画素が左目画像領域に含まれると判定する。

ここで、右目画像領域および左目画像領域のいずれにも含まれないと判定された画素については無効画像領域に含まれると判定される。すなわち、画素配置位置判定部１３２は、上記（３）の式１５乃至１８および上記（４）の式１９乃至２２を用いて、座標（Ｘｐ、Ｙｑ）に対応する画素が無効画像領域に含まれるかを判定する。具体的には、上記（３）の式１５乃至１８の条件式のうち少なくとも何れかの条件式を満たさない場合、および、上記（４）の式１９乃至２２の条件式のうち少なくとも何れかの条件式を満たさない場合に無効画像領域に含まれると判定される。

各座標（Ｘｐ、Ｙｑ）に対応する画素についての判定結果は、画素ごとに判定結果保持部１３３に出力される。そして、判定結果保持部１３３は、各画素についての判定結果を関連付けた情報である立体画像画素配置位置情報を保持する。また、判定結果保持部１３３は、立体画像処理部１３４が立体画像を作成する際に、保持されている立体画像画素配置位置情報を立体画像処理部１３４に出力する。そして、立体画像処理部１３４は、この立体画像画素配置位置情報に基づいて画像入力部１１０から出力された右目画像および左目画像から立体画像の合成対象となる画像を抽出し、この抽出された画像を合成することにより立体画像を作成する。

具体的には、立体画像処理部１３４は、右目画像領域に含まれると判定された画素位置に該当する右目画像の画素と、左目画像領域に含まれると判定された画素位置に該当する左目画像の画素とをそれぞれ抽出する。そして、抽出された画素を合成することにより立体画像を作成する。なお、図１１では、このように求められる判定結果と、この判定結果に基づいて作成される立体画像との関係の一例を示す。

［画素位置の判定例および判定結果に基づいて作成される立体画像の例］
図１１は、本発明の第２の実施の形態における画素配置位置判定部１３２による画素位置の判定および立体画像処理部１３４による立体画像の作成を説明するための図である。なお、図１１（ａ）に示すようにフィルタ幅情報ｗ、位置補正情報ｄｖ、ｄｒおよび式１２乃至１４に基づいて、判定領域算出部１３１により画素群５０１に対して右目画像領域５１２、５１４、５１６および左目画像領域５１３、５１５が算出されているものとする。

画素配置位置判定部１３２は、画素群を構成する画素のうち左下隅の画素から判定を開始し、Ｘ軸方向の右側に向かって順に各画素について判定を行う。そして、右端の画素まで判定が終了すると、隣接するＹ軸方向の上側の画素の左端の画素に戻って再び画素についての判定を行う。ここで、図１１（ａ）に示す画素群５０１におけるＸＹ座標において、各画素の位置を（Ｘｐ、Ｙｑ）で示す。ここで、ｐはＸ軸における原点からの画素の数を示す。また、ｑはＹ軸における原点からの画素の数を示す。なお、図１１（ａ）に示す例では、Ｘ軸方向に１２個の画素が配置されている例を示す。また、ｐの最大数を示す値をｐＭａｘする。また、図１１（ａ）に示す例では、Ｙ軸方向に１２個の画素が配置されている例を示す。また、ｑの最大値を示す値をｑＭａｘとする。例えば、ＸＹ座標軸上の原点を示す座標（Ｘ_０、Ｙ_０）に対応する画素から判定され、Ｙ_０の画素列に属する画素がＸ軸方向の右側に向かって順次判定される。座標（Ｘ_１１、Ｙ_０）に対応する画素について判定されると、次は、座標（Ｘ_０、Ｙ_１）に対応する画素が判定されて、Ｙ_１に属する画素がＸ軸方向の右側に向かって順次判定される。

画素配置位置判定部１３２は、判定対象となる画素が上記（３）の式１５乃至１８の条件、または、上記（４）の式８乃至１１の条件を満たすか否かを順次判定し、その画素が右目画像領域に含まれるか左目画像領域に含まれるかを判定する。例えば、画素５０２（座標（Ｘ_３、Ｙ_１）に対応する画素）はｎ＝０の時、上記（３）の式１５乃至１８の条件を全て満たし、上記（４）の式１９乃至２２の条件を満たさないため、画素５０２は右目画像領域に含まれると判定される。また、画素５０３（座標（Ｘ_２、Ｙ_２）に対応する画素）は、上記（３）の式１５乃至１８の条件および上記（４）の式１９乃至２２の条件のいずれも満たさないため、無効画像領域に含まれると判定される。具体的には、画素５０３（座標（Ｘ_２、Ｙ_２）に対応する画素）は、ｎ＝０のとき式１５および式１７を満たすが、Ｙ_２＋ｌｙ＞ｔａｎ（ｄｒ）×Ｘ_２＋２ｗ×ｃｏｓ(ｄｒ)＋ｄｖとなるため、式１８の条件を満たさない。このため、全ての上記（３）の式１５乃至１８を満たさないことになる。また、ｎ＝０のとき式２０乃至２２を満たすが、Ｙ_２＜ｔａｎ（ｄｒ）×Ｘ_２＋ｗ×ｃｏｓ(ｄｒ)＋ｄｖとなるため、式１９の条件を満たさない。よって、全ての上記（４）の式１９乃至２２を満たさないことになる。従って画素５０３は、無効画像領域に含まれると判定される。また、画素５０４（座標（Ｘ_２、Ｙ_３）に対応する画素）はｎ＝０の時、上記（３）式１５乃至１８の条件を満たさないが、上記（４）の式１９乃至２２の条件を満たすため、画素５０４は左目画像領域に含まれると判定される。

図１１（ｂ）には、立体画像画素配置位置情報に基づいて作成される立体画像の一例を示す。例えば図１１（ｂ）に示すように立体画像処理部１３４は、立体画像画素配置位置情報が示す画素群５０１の各画素に関連付けられている右目画像領域または左目画像領域の情報に従って、右目画像および左目画像からから立体画像の合成対象となる画像を抽出する。そして、この抽出された画像を合成することにより立体画像５０５を作成する。図１１（ｂ）では、立体画像５０５の構成する画素のうち、右目画像領域５１２、５１４、５１６に含まれると判定された画素をＲで示す。また、立体画像３０５の構成する画素のうち、左目画像領域５１３、５１５に含まれると判定された画素をＬで示す。

［立体画像の作成例］
図１２は、本発明の第２の実施の形態における立体画像作成部１３０により立体画像が作成される場合の流れの一例を示す図である。

図１２（ａ）には、画像入力部１１０に入力された右目画像２１１および左目画像２１２を示す。図１２（ａ）に示すように、右目画像２１１を構成する画素にはＲが付されている。また、左目画像２１２を構成する画素にはＬが付されている。

図１２（ｂ）には、立体画像作成部１３０により作成される立体画像の一例である立体画像２１３を示す。立体画像２１３はパラメータ受付部１２０に入力されたフィルタ幅情報２√２ｗおよび位置補正情報ｄｖ、ｄｒに基づいて作成された立体画像の一例である。フィルタ幅情報２√２ｗとは、右目画像２１１および左目画像２１２の縦１画素分をｗとしたときの２√２画素分の幅を示している。また、図１２（ｂ）に示すように立体画像２１３は、判定領域算出部１３１により算出された判定領域である右目画像領域２１４、２１６、２１８および左目画像領域２１５、２１７に基づいて作成されている。図１２（ｂ）では、立体画像２１３を構成する画素のうち右目画像領域に含まれるものにはＲが付され、左目画像領域に含まれるものにはＬが付されている。また、右目画像領域および左目画像領域のいずれにも含まれない画素は無地になっている。

図１２（ｃ）には、表示装置１８０の画面に表示される立体画像の表示例を示す。なお、図１２（ｃ）に示す表示装置１８０の画面には、偏光フィルタ１９７がズレた状態で貼り合わせられている。ここで、偏光フィルタ１９７は表示装置１８０の画面に対してｄｖ分が垂直方向にズレており、また、回転量ｄｒ分が回転してズレた状態で貼り合わされている。なお、偏光フィルタ１９７は２√２ｗの幅を有し、右目用フィルタ１９８および左目用フィルタ１９９とから構成されているものとする。

このように、偏光フィルタ１９７が画面に対して回転量を伴ってズレて貼り合わされていても、図１２（ｃ）に示すように、右目画像および左目画像は適切に表示装置１８０の画面に表示される。すなわち、Ｒで示される右目画像は右目用フィルタ１９８と重なり合い、Ｌで示される左目画像は左目用フィルタ１９９と重なり合っている。従って、画面に対して位置ズレして貼り合わせられた偏光フィルタ１９７を介して表示される立体画像２１３にはクロストークの影響が無いため、ユーザは適切に立体画像２１３を立体的に見ることができる。

なお、偏光フィルムの幅の変化は、出力される立体画像の空間的なバラツキ（不均一さ）や有効画素数に影響を与える。例えば、本発明の第２の実施の形態において、表示装置の１画素分の縦幅に対して偏光フィルタを構成する右目用フィルタまたは左目用フィルタの縦幅（フィルタ幅）の倍率をｓとした場合に、以下（ｅ）乃至（ｈ）の影響が想定される。
（ｅ）ｓ＝２√２のとき、立体的に見える部分の空間的なバラツキが最も少なくなる。
（ｆ）２√２＜ｓのとき、空間的なバラツキが大きくなり、有効画素が増える。
（ｇ）√２≦ｓ≦２√２のとき、空間的なバラツキが大きくなり、有効画素が減る。
（ｈ）ｓ＜√２のとき、全ての画素が無効画素になる。
そこで、本発明の第２の実施の形態を適用する場合には、ｓ＝２√２とした偏光フィルタを用いることが好ましい。

以上説明したとおり、本発明の第２の実施の形態によれば、立体画像作成部１３０は、偏光フィルタの位置ズレを示す位置補正情報として回転ズレを示す回転量をパラメータ受付部１２０から取得する。そして、このパラメータに基づいて位置ズレを補正して立体画像を作成することができる。これにより、例えば、μＰＯＬ方式の偏光フィルタをユーザが既存の表示装置に手で貼り合わせたことにより画面に対して回転を伴って位置ズレが生じていても、クロストークの影響が無い立体画像を表示させることができる。

本発明の実施の形態では、表示部１５０を備える画像処理装置について説明した。しかしながら、例えば、立体画像作成部により作成された立体画像を外部表示装置に出力し、その外部表示装置に表示させることが可能な画像処理装置に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の第１の実施形態における画像処理装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における画像入力部１１０に入力される画像の例を示す図である。 本発明の第１の実施の形態におけるパラメータ受付部１２０によりパラメータの入力が受け付けられていない場合に表示装置１８０の画面に表示される立体画像の作成方法の一例を示す図である。 本発明の第１の実施の形態における判定領域算出部１３１による判定領域算出および画素配置位置判定部１３２による画素位置の判定を説明するための図である。 本発明の第１の実施の形態における画素配置位置判定部１３２による画素位置の判定および立体画像処理部１３４による立体画像の作成を説明するための図である。 本発明の第１の実施の形態における立体画像作成部１３０により立体画像が作成される場合の流れの一例を示す図である。 本発明の第１の実施の形態における立体画像作成部１３０による立体画像画素配置位置判定処理の処理手順を示すフローチャートである。 本発明の第１の実施の形態における立体画像作成部１３０による立体画像画素配置位置判定処理の処理手順のうちの画素配置位置判定処理（図７に示すステップＳ９１０の処理手順）を示すフローチャートである。 本発明の第１の実施の形態における立体画像作成部１３０による立体画像作成処理の処理手順を示すフローチャートである。 本発明の第２の実施の形態における判定領域算出部１３１による判定領域算出および画素配置位置判定部１３２による画素位置の判定を説明するための図である。 本発明の第２の実施の形態における画素配置位置判定部１３２による画素位置の判定および立体画像処理部１３４による立体画像の作成を説明するための図である。 本発明の第２の実施の形態における立体画像作成部１３０により立体画像が作成される場合の流れの一例を示す図である。

符号の説明

１００ 画像処理装置
１１０ 画像入力部
１２０ パラメータ受付部
１３０ 立体画像作成部
１３１ 判定領域算出部
１３２ 画素配置位置判定部
１３３ 判定結果保持部
１３４ 立体画像処理部
１４０ 表示制御部
１５０ 表示部
１８０ 表示装置
１９０、１９３、１９７ 偏光フィルタ
１９１、１９４、１９８ 右目用フィルタ
１９２、１９９ 左目用フィルタ
２０１、２１１、４０２、４０５ 右目画像
２０２、２１２、４０１、４０４ 左目画像
２０３、２０４、２１３、３０５、５０５ 立体画像
３０１、５０１ 画素群
２１４、３１２、３１４、３１６ 右目画像領域
２１５、３１３、３１５、３１７ 左目画像領域
５１２、５１４、５１６ 右目画像領域
５１３、５１５ 左目画像領域

Claims (9)

1. 偏光フィルタを構成する各ラインの垂直方向のサイズを示すフィルタ幅情報および前記偏光フィルタの位置ズレを示す位置補正情報を受け付ける受付部と、
   出力画像となる立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための判定領域を前記フィルタ幅情報および前記位置補正情報に基づいて前記画素毎に算出する算出部と、
   前記画素毎に算出された判定領域に基づいて前記各画素が前記右目画像領域および前記左目画像領域のうちいずれに含まれるかを前記画素毎に判定する判定部と、
   前記判定部による判定結果に基づいて決定される画素配置に従って右目画像および左目画像から立体画像を作成する立体画像処理部と
   を具備する画像処理装置。
2. 前記位置補正情報は、前記偏光フィルタの垂直方向のズレ情報を含み、
   前記算出部は、前記フィルタ幅情報および前記ズレ情報により特定される垂直方向に一定の幅を備える水平方向のラインを前記判定領域として算出する
   請求項１記載の画像処理装置。
3. 前記偏光フィルタは、前記作成された立体画像が表示される表示画面の前面に固定される偏光フィルタであり、前記画素の垂直方向のサイズを基準値として当該基準値の２倍の大きさを前記偏光フィルタを構成する各ラインの垂直方向のサイズとし、
   前記算出部は、前記画素の垂直方向のサイズを前記一定の幅として前記判定領域を算出する請求項２記載の画像処理装置。
4. 前記位置補正情報は前記偏光フィルタの回転ズレ情報を含み、
   前記算出部は、前記回転ズレ情報により特定される角度により前記水平方向のラインを回転して前記判定領域を算出する
   請求項２記載の画像処理装置。
5. 前記偏光フィルタは、前記作成された立体画像が表示される表示画面の前面に固定される偏光フィルタであり、前記画素の垂直方向のサイズを基準値とし当該基準値の２√２の大きさを前記偏光フィルタを構成する各ラインの垂直方向のサイズとする偏光フィルタである請求項４記載の画像処理装置。
6. 前記判定部は、前記画素が前記右目画像領域および前記左目画像領域のうちいずれにも含まれないと判定した画素を、前記立体画像を出力しない無効領域に含まれる画素であると判定する請求項１記載の画像処理装置。
7. 偏光フィルタを構成する各ラインの垂直方向のサイズを示すフィルタ幅情報および前記偏光フィルタの位置ズレを示す位置補正情報を受け付ける受付部と、
   出力画像となる立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための判定領域を前記フィルタ幅情報および前記位置補正情報に基づいて前記画素毎に算出する算出部と、
   前記画素毎に算出された判定領域に基づいて前記各画素が前記右目画像領域および前記左目画像領域のうちいずれに含まれるかを前記画素毎に判定する判定部と、
   前記判定部による判定結果に基づいて決定された前記立体画像を作成するための右目画像および左目画像を構成する各画素の画素配置を立体画像画素配置位置情報として保持する判定結果保持部と
   を具備する画像処理装置。
8. 偏光フィルタを構成する各ラインの垂直方向のサイズを示すフィルタ幅情報および前記偏光フィルタの位置ズレを示す位置補正情報に基づいて、出力画像となる立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための判定領域を前記画素毎に算出する算出手順と、
   前記画素毎に算出された判定領域に基づいて前記各画素が前記右目画像領域および前記左目画像領域のうちいずれに含まれるかを前記画素毎に判定する判定手順と、
   前記判定部による判定結果に基づいて決定される画素配置に従って右目画像および左目画像から立体画像を作成する立体画像処理手順と
   を具備する画像処理方法。
9. 偏光フィルタを構成する各ラインの垂直方向のサイズを示すフィルタ幅情報および前記偏光フィルタの位置ズレを示す位置補正情報に基づいて、出力画像となる立体画像を構成する各画素が右目画像領域および左目画像領域のうちいずれに含まれるかを判定するための判定領域を前記画素毎に算出する算出手順と、
   前記画素毎に算出された判定領域に基づいて前記各画素が前記右目画像領域および前記左目画像領域のうちいずれに含まれるかを前記画素毎に判定する判定手順と、
   前記判定部による判定結果に基づいて決定される画素配置に従って右目画像および左目画像から立体画像を作成する立体画像処理手順と
   をコンピュータに実行させるプログラム。

Images