JP2004104329A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP2004104329A JP2004104329A JP2002261538A JP2002261538A JP2004104329A JP 2004104329 A JP2004104329 A JP 2004104329A JP 2002261538 A JP2002261538 A JP 2002261538A JP 2002261538 A JP2002261538 A JP 2002261538A JP 2004104329 A JP2004104329 A JP 2004104329A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic
- eye
- image data
- displaying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】共通のＬ画像とＲ画像を用いて、様々な立体視の方法を実現する。
【解決手段】「アナグリフ」ボタン１３１は、Ｌ，Ｒ画像を用いてアナグリフ画像を生成させるときに押下される。「カラーアナグリフ１」ボタン１３２は、Ｌ，Ｒ画像を用いて第１のカラーアナグリフ画像を生成させるときに押下される。「カラーアナグリフ２」ボタン１３３は、立体視画像の元となったＬ，Ｒ画像を用いて第２のカラーアナグリフ画像を生成させるときに押下される。これらの場合、ユーザは、赤青メガネを用いて画像を見る必要がある。「レンチキュラ」ボタン１３４は、Ｌ，Ｒ画像を用いてレンチキュラ画像を生成させるときに押下される。この場合、ユーザは、レンチキュラスクリーンを介して画像を見る必要がある。本発明は、画像処理プログラムに適用することができる。
【選択図】 図１８
【解決手段】「アナグリフ」ボタン１３１は、Ｌ，Ｒ画像を用いてアナグリフ画像を生成させるときに押下される。「カラーアナグリフ１」ボタン１３２は、Ｌ，Ｒ画像を用いて第１のカラーアナグリフ画像を生成させるときに押下される。「カラーアナグリフ２」ボタン１３３は、立体視画像の元となったＬ，Ｒ画像を用いて第２のカラーアナグリフ画像を生成させるときに押下される。これらの場合、ユーザは、赤青メガネを用いて画像を見る必要がある。「レンチキュラ」ボタン１３４は、Ｌ，Ｒ画像を用いてレンチキュラ画像を生成させるときに押下される。この場合、ユーザは、レンチキュラスクリーンを介して画像を見る必要がある。本発明は、画像処理プログラムに適用することができる。
【選択図】 図１８
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、左眼用の画像と右眼用の画像を元にして立体視画像を生成する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、人の左右の眼がそれぞれ取得する網膜像の空間的ずれ（両眼視差）を利用して、２次元の画像を立体的に視認させる方法（以下、立体視の方法と記述する）が数多く知られている。
【０００３】
立体視の方法としては、特殊なメガネを利用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式等と、特殊なメガネを利用しないレンチキュラ方式等が知られている（いずれについても、例えば、非特許文献１参照）。
【０００４】
アナグリフ方式は、例えば、左眼用の画像（以下、Ｌ画像と記述する）を赤色モノトーン画像に変換し、右眼用の画像（以下、Ｒ画像と記述する）を青色モノトーン画像に変換して、赤色モノトーン画像と青色モノトーン画像を重ね合わせる。そして、その画像を、左側に赤色フィルタ、右側に青色フィルタが配置されたメガネ（以下、赤青メガネと記述する）を用いて見る方法である。アナグリフ方式は、比較的容易で安価に実施できることが、画像全体がモノトーンとなってしまう。
【０００５】
カラーアナグリフ方式は、アナグリフ方式の短所を補うものであり、Ｌ画像とＲ画像を重ね合わせたとき、それぞれの画像において対応する箇所がずれる部分（すなわち、視差が大きい部分）については、アナグリフ方式と同様に、例えば、Ｌ画像を赤色モノトーン画像に変換し、Ｒ画像を青色モノトーン画像に変換して重ね合わせる。それぞれの画像の対応する箇所がずれない部分（すなわち、視差が小さい部分）については、本来の色の状態で重ね合わせる。そして、その画像を、赤青メガネを用いて見る方法である。
【０００６】
カラーアナグリフ方式では、画像全体のうち、視差が少ない部分については、本来の色を再現することができる。なお、カラーアナグリフ方式には、視差が少ない部分に用いる色の違いにより、複数のバリエーションが存在する。以下、視差が小さい部分に本来の色を用いる方式を、第１のカラーアナグリフ方式と記述する。また、視差が小さい部分に本来の色を用いない方式を、第２のカラーアナグリフ方式と記述する。
【０００７】
偏光フィルタ方式は、例えば、垂直方向の直線偏光によって投影されたＬ画像と、水平方向の直線偏光によって投影されたＲ画像を重ね合わせる。そして、その画像を、左側に垂直方向の直線偏光フィルタ、右側に水平方向の直線偏光フィルタが配置された偏光フィルタメガネを用いて見る方法である。偏光フィルタ方式は、色の再現性がよく、解像度が高いことが長所であるが、偏光フィルタを利用することにより画像が暗くなってしまう短所がある。
【０００８】
時分割立体テレビジョン方式は、テレビジョン受像機に、Ｌ画像とＲ画像を、フィールド周期毎に交互に表示するようにし、その映像を、テレビジョン受像機のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて見る方法である。時分割立体テレビジョン方式は、液晶シャッタメガネの開閉動作を高い精度で制御することが重要となる。
【０００９】
レンチキュラ方式は、画面を縦方向のストライプ状の領域に区分し、各ストライプ上の領域に交互に、Ｌ画像とＲ画像を表示し、その映像を、レンチキュラスクリーンと称されるレンズで覆う方法である。
【００１０】
ところで、上述したさまざまな立体視の方法を実現するためには、Ｌ画像とＲ画像を取得する必要がある。Ｌ画像とＲ画像を取得するためには、同一の被写体を、カメラの位置を人の両眼の間隔だけ移動して２回撮影する方法が最も容易である。
【００１１】
また、１回の撮影でＬ画像とＲ画像を取得する方法として、例えば、図１に示すように、ミラーなどから構成される光学アダプタ１１を、カメラ１の撮影レンズ３の外側に取り付ける方法が知られている（例えば、特許文献１参照）。
【００１２】
図２は、光学アダプタ１１の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は、ミラー２１によってミラー２２に向けて反射され、ミラー２２によって撮影レンズ３に向けて反射された後、撮影レンズ３によって集光される。単一の採光窓から入射される左眼用の光学像は、ミラー２１，２２によって反射されることなく、撮影レンズ３によって集光される。
【００１３】
光学アダプタ１１を介して入射された光学像は、図３に示すように、左眼用の領域および右眼用の領域からなる画像（以下、視差画像と記述する）として撮影される。この左眼用の領域がＬ画像として利用され、右眼用の領域がＲ画像として利用される。
【００１４】
【非特許文献１】
泉武博監修、ＮＨＫ放送技術研究所編「３次元映像の基礎」オーム出版、平成７年６月５日発行
【特許文献１】
特開平１１−４６３７３号公報
【００１５】
【発明が解決しようとする課題】
上述したような様々な立体視の方法を１台の装置で実現することができれば、立体視に対するユーザの興味を長引かせることが可能となるが、従来、上述したような様々な立体視の方法を１台の装置できる装置は実現されていない課題があった。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、共通のＬ画像とＲ画像を用いて、様々な立体視の方法を実現できるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
本発明の画像処理装置は、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成手段と、ユーザの操作を受け付ける受付手段と、受付手段によって受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成手段とを含むことを特徴とする。
【００１８】
本発明の画像処理装置は、作成手段によって作成された第２の立体視画像の印刷を制御する印刷制御手段をさらに含むことができる。
【００１９】
前記作成手段は、第２の立体視画像を表示するための画像データとして、アナグリフ画像を表示するための画像データを作成するようにすることができる。
【００２０】
前記作成手段は、第２の立体視画像を表示するための画像データとして、カラーアナグリフ画像を表示するための画像データ作成するようにすることができる。
【００２１】
前記作成手段は、第２の立体視画像を表示するための画像データとして、レンチキュラ画像を表示するための画像データを作成するようにすることができる。
【００２２】
本発明の画像処理装置は、受付手段によって受け付けられたユーザの操作に基づき、左眼用の画像および右眼用の画像を交互に表示させる表示制御手段をさらに含むことができる。
【００２３】
前記生成手段は、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを用いて、第１の立体視画像を表示するための画像データ生成するようにすることができる。
【００２４】
本発明の画像処理方法は、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップとを含むことを特徴とする。
【００２５】
本発明の記録媒体のプログラムは、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップとを含むことを特徴とする。
【００２６】
本発明のプログラムは、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２７】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の立体視画像を表示するための画像データが生成される。また、ユーザの操作に基づき、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データが作成される。
【００２８】
【発明の実施の形態】
図４は、本発明を適用した立体視システムの構成例を示している。この立体視システムは、主に、立体視画像を生成するパーソナルコンピュータ（ＰＣ）３１、表示された立体視画像を見るときにユーザが使用するフィルタメガネ４１、およびパーソナルコンピュータ３１の表示部５７の表示面外側に配置するライン偏光４３から構成される。
【００２９】
パーソナルコンピュータ３１は、図１に示されたように、光学アダプタ１１が装着された状態のカメラ（ディジタルスチルカメラ）１によって撮影された視差画像、光学アダプタ１１が装着されていない状態で撮影された画像などを取り込み、視差画像または連続的に撮影された２枚の画像からなる画像対を元にして立体視画像を生成して表示する。なお、ディジタルスチルカメラ１からパーソナルコンピュータ３１に取り込まれる視差画像等の画像データには、撮影された日時、撮影された順序を示すシリアルなファイル番号、連写モードで撮影されたか否かを示す連写モードフラグなどの属性情報が付与されている。
【００３０】
フィルタメガネ４１は、パーソナルコンピュータ３１に接続された支持棒４２により、パーソナルコンピュータ３１のキーボード付近の上方空間に位置するように支持されている。フィルタメガネ４１の左側の枠には、垂直方向の直線偏光フィルタが配置されている。また、右側の枠には、水平方向の直線偏光フィルタが配置されている。
【００３１】
パーソナルコンピュータ３１の表示部５７の表示面外側に配置するライン偏光板４３は、水平方向の偶数ラインに垂直方向の直線偏光フィルタが、水平方向の奇数ラインに水平方向の直線偏光フィルタが配置されている。
【００３２】
フィルタメガネ４１、支持棒４２、およびライン偏光板４３は、例えば、図１の光学アダプタ１１、並びに画像処理プログラム６５（図１０を参照して後述する）などとセットにされて販売される。
【００３３】
次に、パーソナルコンピュータ３１によって立体視画像が生成される過程の概要について、図５乃至図８を参照して説明する。
【００３４】
図５は、光学アダプタ１１が装着されたディジタルスチルカメラ１によって撮影された視差画像を示している。同図において、視差画像の右眼用の領域は、ミラーによって反射されているものであり、左眼用の領域は、ミラーによって反射されていないものであるとする。そこで、以下においては、視差画像の右眼用の領域をミラー画像、左眼用の領域をスルー画像と記述する。
【００３５】
上述したように、ミラー画像は、スルー画像に比較して、画質（輝度、彩度、解像度等）が劣化している。特に、ミラー画像の周辺部（上辺部、下辺部、および左辺部）は、中心部に比較して輝度が低下している。また、ミラー画像は、本来、矩形である画像が台形に歪んだものとなる。そこで、始めにミラー画像の画質が補正され（詳細については、図１４を参照して後述する）、画像の形状の歪みが補正される。次に、図６に示すように、ミラー画像およびスルー画像がそれぞれトリミングされて、Ｒ画像およびＬ画像が生成される。
【００３６】
次に、図７に示すように、次式（１）に従って、Ｌ画像とＲ画像が合成されて、図８に示すような立体視画像が生成される。
偶数ライン
１×（Ｌ画像の画素）＋０×（Ｒ画像の画素）＝（立体視画像の画素）
奇数ライン
０×（Ｌ画像の画素）＋１×（Ｒ画像の画素）＝（立体視画像の画素）・・・（１）
【００３７】
以上で、立体視画像が生成される過程の概要についての説明を終了する。生成された立体視画像は、表示部５７に表示される。図９に示すように、ユーザは、表示部５７に表示された立体視画像を、フィルタメガネ４１およびライン偏光板４３を介して見ることになる。したがって、ユーザの左眼は、立体視画像の偶数ライン、すなわち、１ライン置きのＬ画像を見ることになり、ユーザの右眼は、立体視画像の奇数ライン、すなわち、１ライン置きのＲ画像を見ることになる。よって、ユーザは、立体視画像を立体的に視認することが可能となる。
【００３８】
次に、図１０は、画像処理プログラム６５を実行することにより、立体視画像を生成する処理等を実行するパーソナルコンピュータ３１の構成例を示している。
【００３９】
パーソナルコンピュータ３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１を内蔵している。ＣＰＵ５１には、バス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ
Ｍｅｍｏｒｙ）５３が接続されている。
【００４０】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる操作入力部５６、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や生成される立体視画像等を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等よりなる表示部５７、各種のプログラムやデータを格納するハードディスクドライブなどよりなる記憶部５８、およびインタネット等のネットワークを介してデータを通信する通信部５９が接続されている。また、入出力インタフェース５５には、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、および半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００４１】
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部６５に記憶され、記憶部６５からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４２】
このパーソナルコンピュータに立体視画像を生成する処理等を実行させる画像処理プログラム６５は、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク６３（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）を含む）、もしくは半導体メモリ６４に格納された状態でパーソナルコンピュータ３１に供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。記憶部５８にインストールされている画像処理プログラム６５は、操作入力部５６に入力されるユーザからのコマンドに対応するＣＰＵ５１の指令によって、記憶部５８からＲＡＭ５３にロードされて実行される。
【００４３】
図１１は、ＣＰＵ５１が画像処理プログラムを実行することによって実現される機能ブロックの構成例示している。
【００４４】
ＧＵＩブロック７１は、ＧＵＩに対するユーザの操作に対応して、画像管理部７２乃至表示制御部７６を制御する。画像管理ブロック７２は、ＧＵＩブロック７１からの制御に従い、ディジタルカメラ１から取り込まれて記憶部５８等に記憶されている視差画像などの画像データを、画像処理プログラム６５が取り扱うデータとして管理する。また、画像管理ブロック７２は、視差画像に付加されている属性情報に、サムネイル画像（縮小画像）の画像データ、トリミングされる領域の位置を示す情報、画質が補正されるときの設定値を示す情報、上下方向の位置が調整されるときの調整値を示す情報等を追加する。
【００４５】
画像取得ブロック７３は、ＧＵＩブロック７１からの制御に従い、画像管理ブロック７２によって管理されている視差画像などの画像データを取得し、ベース画像選択ブロック７４に出力する。ベース画像選択ブロック７４は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、画像処理ブロック７３から入力される画像のうち、ユーザによって選択された視差画像または画像対を立体視画像生成ブロック７５に出力する。また、ベース画像選択ブロック７４は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、画像処理ブロック７３から入力される画像のうち、立体視画像の元とすることができる画像対を選択して、立体視画像生成ブロック７５に出力する。
【００４６】
立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、ベース画像選択ブロック７４から入力される視差画像または画像対を元に、立体視画像を生成して表示制御ブロック７６に出力する。表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、ＧＵＩおよび生成される立体視画像の表示を制御する。
【００４７】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について説明するが、その前に、画像処理プログラム６５に対応するウィンドウと当該ウィンドウ上のＧＵＩについて、図１２および図１３を参照して説明する。
【００４８】
図１２は、画像処理プログラム６５が起動されたときに表示されるウィンドウ１０１の表示例を示している。ウィンドウ１０１には、処理の対象とする画像のサムネイルなどが表示されるメインエリア１０２、および「立体視」ボタン１０４乃至「エンド」ボタン１０７が設けられている。
【００４９】
「画像取得」ボタン１０３は、立体視画像の元とする視差画像および画像対を選択するためのサムネイルをメインエリア１０２に表示させるときに押下される。「立体視画像」ボタン１０４は、選択された立体視画像（または画像対）を元にして立体視画像の生成を開始させるときに押下される。「ＬＲ置換」ボタン１０５は、立体視画像の元となるＬ画像とＲ画像を置換させるときに押下される。「印刷」ボタン１０６は、生成された立体視画像などをプリントアウトするときに押下される。「エンド」ボタン１０７は、画像処理プログラムを終了させるときに押下される。
【００５０】
図１３は、「画像取得」ボタン１０３が押下されたときのウィンドウ１０１の表示例を示している。メインエリア１０２には、ディジタルカメラ１から取り込まれた視差画像、通常の画像（連続的に撮影された画像対含む）などのサムネイル画像が表示される。メインエリア１０２の上側には、「視差画像選択」ボタン１１１、「画像対選択」ボタン１１２、および「画像対自動選択」ボタン１１３が設けられる。
【００５１】
「視差画像選択」ボタン１１１は、メインエリア１０２に表示されているサムネイル画像のうち、視差画像に対応するものを選択するときに押下される。すなわち、ユーザは、「視差画像選択」ボタン１１１を押下した後、視差画像に対応するサムネイルを１つだけ選択することができる。
【００５２】
「画像対選択」ボタン１１２は、メインエリア１０２に表示されているサムネイル画像のうち、立体視画像の元とする画像対に対応するものを選択するときに押下される。すなわち、ユーザは、「画像対選択」ボタン１１２を押下した後、画像対に対応するサムネイルを２つ選択することができる。
【００５３】
「画像対自動選択」ボタン１１３は、メインエリア１０２に表示されているサムネイル画像のうち、立体視画像の元とする画像対を自動的に選択させるときに押下される。
【００５４】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について、図１４のフローチャートを参照して説明する。この立体視画像生成処理は、図１３に示されたメインエリア１０２のサムネイルのうち、視差画像に対応するものがユーザによって選択された後、「立体視画像」ボタン１０４が押下されたときに開始される。
【００５５】
ステップＳ１において、ベース画像選択ブロック７４は、画像処理ブロック７３から入力される画像データのうち、ＧＵＩブロック７１からの制御に従い、ユーザが選択する視差画像の画像データを立体視画像生成ブロック７５に出力する。
【００５６】
ステップＳ２において、立体視画像生成ブロック７５は、ミラー画像の周辺部の輝度を、実験結果に基づくルックアップテーブル（または関数）を用いて補正する。この補正に関する情報は、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００５７】
ここで、実験とは、画像処理プログラム６５の開発者側によって実施されたものである。具体的には、光学アダプタ１１を装着した状態のディジタルカメラ１で画角の全体を占める白壁等を撮影し、得られた視差画像のうちのミラー画像について、中心部と周辺部の画素の輝度を比較する。そして、その比較結果に基づき、周辺部の画素の輝度が、中心部の画素の輝度と一致するように、例えば、周辺部の座標を入力とし、当該座標に対する補正値を出力するようなルックアップテーブル（関数でもよい）を生成する。または、周辺部の輝度を入力とし、当該輝度に対する補正値を出力するようなルックアップテーブルを生成する。そして、生成したルックアップテーブルを画像処理プログラム６５に組み込むようにすればよい。画像処理プログラム６５には、ディジタルカメラ１の機種に対応して複数のルックアップテーブルを組み込むようにしてもよい。
【００５８】
なお、ステップＳ２において、スルー画像の輝度も修正するようにしてもよい。
【００５９】
また、ステップＳ２において、立体視画像生成ブロック７５は、台形に歪んでいるミラー画像の形状を補正する。なお、このミラー画像の形状の補正については、本出願人が特開２００２−３４０５４号として既に提案済であるので、その説明は省略する。
【００６０】
ステップＳ３において、立体視画像生成ブロック７５は、補正済のミラー画像とスルー画像との全体的な輝度を比較して、その比較結果に基づいて、ミラー画像の輝度を補正する。具体的には、ミラー画像とスルー画像のそれぞれにおいて、所定の複数（例えば、４点）のサンプリング点の輝度を加算し、ミラー画像における輝度の加算値と、スルー画像の輝度の加算値を比較して、その差がなくなるように、ミラー画像を補正する。この補正に関する情報も、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６１】
例えば、ミラー画像における４サンプリング点の輝度の加算値が３５０であり、スルー画像の４サンプリング点の輝度の加算値が５００である場合、その差１５０をサンプリング点の数で除算した値（１５０／４）を、ミラー画像の全ての画素の輝度に加算する。
【００６２】
また、ステップＳ３において、立体視画像生成ブロック７５は、ミラー画像とスルー画像の全体的な彩度が一致するように、ミラー画像の色差を補正する。この補正に関する情報も、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６３】
ステップＳ４において、立体視画像生成ブロック７５は、ミラー画像に対し、所定のエッジ強調処理を施して、画像の全体的なぼけを補正する。ステップＳ５において、立体視画像生成ブロック７５は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、ミラー画像とスルー画像をそれぞれトリミングして、それぞれを、Ｌ画像とＲ画像に設定する。このトリミング位置に関する情報は、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６４】
ステップＳ６において、立体視画像生成ブロック７５は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、Ｌ画像とＲ画像の上下方向の位置を調整する。なお、Ｌ画像とＲ画像の上下方向の位置を調整する過程の情報は、表示制御ブロック７６に出力されて、その調整の様子がメインエリア１０２に表示される（詳細は図１６のフローチャートを参照して後述する）。
【００６５】
ステップＳ７において、立体視画像生成ブロック７５は、ステップＳ６の処理で上下方向の位置が調整されたＬ画像およびＲ画像を、式（１）に従って合成し、立体視画像を生成する。生成された立体視画像は、メインエリア１０２に表示される。また、生成された立体視画像の画像データは、画像管理ブロック７２により、元となった視差画像に対応付けて記憶される。
【００６６】
なお、ユーザからの所定の操作により、生成された立体視画像を表示部５７の全体を占めるように表示させることも可能である。以上で、立体視画像生成処理の説明を終了する。
【００６７】
ところで、画像処理プログラム６５によれば、２枚の画像からなる画像対を元にしても、立体視画像を生成することができる。この画像対は、図１３に示された「画像対選択」ボタン１１２を押下して、メインエリア１０２に表示されているサムネイル画像のうちの２つを選択することにより、ユーザが任意に選択することができる。
【００６８】
画像対が選択された後、「立体視画像」ボタン１０４が押下された場合、画像対の一方がＬ画像とされ、他方がＲ画像とされて、上述したステップＳ６以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック７２により、元となった画像対に対応付けて記憶される。
【００６９】
なお、立体視画像の元とする画像対を自動的に選択させることもできる。画像対を自動的に選択する処理について、図１５のフローチャートを参照して説明する。この画像対自動選択処理は、図１３に示された「画像対自動選択」１１３が押下されたときに開始される。また、この画像対自動選択処理は、画像処理ブロック７３からベース画像選択ブロック７４に入力される画像が１つずつ処理対象とされて実行される。
【００７０】
ステップＳ１１において、ベース画像選択ブロック７４は、処理対象の画像が連写モードで撮影されたものであるか否かを、属性情報に含まれる連写フラグを参照して判定する。処理対象の画像が連写モードで撮影されたものではないと判定された場合、処理はステップＳ１２に進む。
【００７１】
ステップＳ１２において、ベース画像選択ブロック７４は、処理対象の画像と、１枚後に撮影された画像との撮影日時の差が所定の閾値（例えば、数秒）以内であるか否かを判定する。撮影日時の差が所定の閾値以内であると判定された場合、処理はステップＳ１３に進む。
【００７２】
ステップＳ１３において、ベース画像選択ブロック７４は、処理対象の画像と、１枚後に撮影された画像との類似度を算出し、類似度が所定の閾値以内であるか否かを判定する。ここで、２枚の画像の類似度としては、例えば、それぞれから所定の１ライン分の画素を抽出し、対応する画素同士の差分の総和を算出するようにする。
【００７３】
処理対象の画像と１枚後に撮影された画像との類似度が所定の閾値以内であると判定された場合、処理対象の画像と１枚後に撮影された画像とは、同一の被写体を連続して撮影したものであると判断できるので、処理対象の画像と１枚後に撮影された画像とを画像対に設定する。
【００７４】
画像対に設定された２枚の画像のサムネイルは、画像対に設定されたことをユーザに通知するために、メインエリア１０２において、例えば、単一の太枠で囲まれる。また、画像対の情報は、画像管理ブロック７２に出力され、画像対のそれぞれの画像データの付加情報に、画像対の相手を示す情報（シリアル番号等）が追加される。あるいは、画像対をなす２つの画像データとそれぞれの属性情報を新たなフォルダを生成して記憶するようにしてもよい。
【００７５】
なお、ステップＳ１１において、処理対象の画像が連写モードで撮影されたものであると判定された場合、ステップＳ１２はスキップされ、処理はステップＳ１３に進む。
【００７６】
ステップＳ１２において、処理対象の画像と、１枚後に撮影された画像との撮影日時の差が所定の閾値以内ではないと判定された場合、この２枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。
【００７７】
ステップＳ１３において、処理対象の画像と、１枚後に撮影された画像との類似度が所定の閾値以内ではないと判定された場合にも、この２枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。以上で、画像対自動選択処理の説明を終了する。
【００７８】
この画像対自動選択処理が、画像処理ブロック７３からベース画像選択ブロック７４に入力される全ての画像を処理対象として実行された後に、複数の画像対が設定されている場合、ユーザは設定された複数の画像対のうち、１つの画像対を選択することができる。画像対がユーザによって選択された後、「立体視画像」ボタン１０４が押下された場合、上述したステップＳ６以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック７２により、元となった画像対に対応付けて記憶される。
【００７９】
ただし、画像対を元にして立体視画像を生成した場合、画像対の一方をＬ画像とし、他方をＲ画像とする設定が適切ではなかった場合（逆であった場合）、立体的に視認することはできない。このとき、ユーザが「ＬＲ置換」ボタン１０５を押下すれば、Ｌ画像とＲ画像が置換されて、立体的に視認できる立体視画像が再生成される。
【００８０】
また、「ＬＲ置換」ボタン１０５を押下して立体視画像を再生成させることは、表示された立体視画像に対して、ライン偏光板４３が１ライン分だけ上下方向にずれて設置されている場合にも有効に作用する。
【００８１】
次に、図１４のステップＳ６の処理、すなわち、Ｌ画像とＲ画像の上下方向の位置を調整する処理の詳細について、図１６のフローチャートおよび図１７を参照して説明する。
【００８２】
ステップＳ２１において、立体視画像生成ブロック７５は、ステップＳ６の処理で設定したＬ画像およびＲ画像のサムネイル画像を、画像管理ブロック７２から取得する。ステップＳ２２において、立体視画像生成ブロック７５は、Ｌ画像のサムネイル画像とＲ画像のサムネイル画像の同じ座標の画素を５０％ずつ加算して合成画像を生成する。
【００８３】
このとき、ウィンドウ１０１の表示は、例えば、図１７に示すようなものとなる。すなわち、メインエリア１０２には、Ｌ画像が表示されたＬ画像表示エリア１２１、Ｒ画像が表示されたＲ画像表示エリア１２２、および合成画像が表示された合成画像表示エリア１２３が設けられる。
【００８４】
メインエリア１０２の上方には、Ｌ画像に対するＲ画像の相対的な位置を上方に移動させて合成画像を再生成させるときに操作させる「Ｒ画像上方移動」ボタン１２４、Ｌ画像に対するＲ画像の相対的な位置を下方に移動させ合成画像を再生成させるときに操作される「Ｒ画像下方移動」ボタン１２５、およびＬ画像に対するＲ画像の相対的な位置の調整が終了したとき操作される「位置調整終了」ボタン１２６が設けられる。
【００８５】
図１４に戻る。ステップＳ２３において、ＧＵＩブロック７１は、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５が押下されたか否かを判定する。「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５が押下されたと判定された場合、処理はステップＳ２４に進む。ステップＳ２４において、立体視画像生成ブロック７５は、ユーザの操作に従うＧＵＩブロック７１からの制御に基づき、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させて、合成画像を再生成する。
【００８６】
このとき、合成画像表示エリア１２３の表示は、再生成された合成画像に更新される。なお、ステップＳ２３において、「Ｒ画像上方移動」ボタン１２４および「Ｒ画像下方移動」ボタン１２５が押下されていない判定された場合、ステップＳ２４はスキップされ、処理はステップＳ２５に進む。
【００８７】
ステップＳ２５において、ＧＵＩブロック７１は、「位置調整終了」ボタン１２６が押下されたか否かを判定する。「位置調整終了」ボタン１２６が押下されていないと判定された場合、ステップＳ２３に戻り、それ以降の処理が繰り返される。
【００８８】
従って、ユーザは、合成画像表示エリア１２３に表示される合成画像を見ながら、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５を押下することにより、Ｌ画像とＲ画像の上下方向の位置を調整することができる。なお、再生成されて表示される合成画像は、データ量の少ない縮小された画像であるので、この再生成の処理は速やかに実行される。
【００８９】
ステップＳ２５において、「位置調整終了」ボタン１２６が押下されたと判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、立体視画像生成ブロック７５は、Ｌ画像とＲ画像の上下方向の位置の調整値を画像管理ブロック７２に出力する。画像管理ブロック７２は、この上下方向の位置の調整値を、視差画像の属性情報に追加する。なお、画像対がＬ画像とＲ画像とされている場合、この上下方向の位置の調整値は、画像対の両方の属性情報に追加される。この後、処理は、上述した図１４のステップＳ７に戻ることとなる。
【００９０】
以上で、Ｌ画像とＲ画像の上下方向の位置を調整する処理の説明を終了する。
【００９１】
なお、上述した説明においては、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５を押下することにより、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させるようにしたが、例えば、合成画像表示エリア１２３に表示されている合成画像を、マウス（操作入力部５６）を用いて、上方または下方にドラッグアンドドロップすることにより、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させるようにしてもよい。
【００９２】
次に、図１８は、立体視画像が生成されたときのウィンドウ１０１の表示例を示している。メインエリア１０２には、生成された立体視画像が表示される。メインエリア１０２の上側には、メインエリア１０２の表示を、立体視画像から、立体視画像の元となったＬ画像およびＲ画像を用いて従来の立体視の方法によって立体的に視認することができる画像に変換させるときに押下される「アナグリフ」ボタン１３１乃至「液晶シャッタメガネ」１３５が設けられている。また、メインエリア１０２の左側には、生成された立体視画像に任意の文字、記号などを書き込むときに押下される「テキスト入力」ボタン１３６が追加して設けられている。
【００９３】
「アナグリフ」ボタン１３１は、立体視画像の元となったＬ画像およびＲ画像を用いてアナグリフ方式の画像（以下、アナグリフ画像と記述する）を生成させるときに押下される。「カラーアナグリフ１」ボタン１３２は、立体視画像の元となったＬ画像およびＲ画像を用いて第１のカラーアナグリフ方式の画像（以下、第１のカラーアナグリフ画像と記述する）を生成させるときに押下される。「カラーアナグリフ２」ボタン１３３は、立体視画像の元となったＬ画像およびＲ画像を用いて第２のカラーアナグリフ方式の画像（以下、第２のカラーアナグリフ画像と記述する）を生成させるときに押下される。これらの場合、ユーザは、赤青メガネを用いて画像を見る必要がある。
【００９４】
「レンチキュラ」ボタン１３４は、立体視画像の元となったＬ画像およびＲ画像を用いてレンチキュラ方式の画像（以下、第１のレンチキュラ画像と記述する）を生成させるときに押下される。この場合、ユーザは、レンチキュラスクリーンを介して画像を見る必要がある。
【００９５】
「液晶シャッタメガネ」ボタン１３５は、立体視画像の元となったＬ画像およびＲ画像を時分割立体テレビジョン方式で表示させるときに押下される。この場合、ユーザは、表示部５７のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて画像を見る必要がある。
【００９６】
次に、メインエリア１０２に表示されている立体視画像を、ユーザの操作に対応して変換する処理について、図１９のフローチャートを参照して説明する。
【００９７】
この立体視画像変換処理は、立体視画像が生成され、図１８に示されたようなウィンドウ１０１が表示されたときに開始される。
【００９８】
ステップＳ３１において、ＧＵＩブロック７１は、「ＬＲ置換」ボタン１０５が押下されたか否かを判定する。「ＬＲ置換」ボタン１０５が押下されたと判定された場合、処理はステップＳ３２に進む。ステップＳ３２において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を置換して、立体視画像を再生成する。表示制御ブロック７６は、再生成された立体視画像を、メインエリア１０２に表示させる。この後、処理はステップＳ４３に進む。
【００９９】
ステップＳ３１において、「ＬＲ置換」ボタン１０５が押下されていないと判定された場合、処理はステップＳ３３に進む。ステップＳ３３において、ＧＵＩブロック７１は、「アナグリフ」ボタン１３１が押下されたか否かを判定する。「アナグリフ」ボタン１３１が押下されたと判定された場合、処理はステップＳ３４に進む。ステップＳ３４において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、アナグリフ画像を生成する。表示制御ブロック７６は、生成されたアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１００】
ステップＳ３３において、「アナグリフ」ボタン１３１が押下されていないと判定された場合、処理はステップＳ３５に進む。ステップＳ３５において、ＧＵＩブロック７１は、「カラーアナグリフ１」ボタン１３２が押下されたか否かを判定する。「カラーアナグリフ１」ボタン１３２が押下されたと判定された場合、処理はステップＳ３６に進む。ステップＳ３６において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、第１のカラーアナグリフ画像を生成する。表示制御ブロック７６は、生成された第１のカラーアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０１】
ステップＳ３５において、「カラーアナグリフ１」ボタン１３２が押下されていないと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、ＧＵＩブロック７１は、「カラーアナグリフ２」ボタン１３３が押下されたか否かを判定する。「カラーアナグリフ２」ボタン１３３が押下されたと判定された場合、処理はステップＳ３８に進む。ステップＳ３８において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、第２のカラーアナグリフ画像を生成する。表示制御ブロック７６は、生成された第２のカラーアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０２】
ステップＳ３７において、「カラーアナグリフ２」ボタン１３３が押下されていないと判定された場合、処理はステップＳ３９に進む。ステップＳ３９において、ＧＵＩブロック７１は、「レンチキュラ」ボタン１３４が押下されたか否かを判定する。「レンチキュラ」ボタン１３４が押下されたと判定された場合、処理はステップＳ４０に進む。ステップＳ４０において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、レンチキュラ画像を生成する。表示制御ブロック７６は、生成されたレンチキュラ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０３】
ステップＳ３９において、「レンチキュラ」ボタン１３４が押下されていないと判定された場合、処理はステップＳ４１に進む。ステップＳ４１において、ＧＵＩブロック７１は、「液晶シャッタメガネ」ボタン１３５が押下されたか否かを判定する。「液晶シャッタメガネ」ボタン１３５が押下されたと判定された場合、処理はステップＳ４２に進む。ステップＳ４２において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を表示制御ブロック７６に供給する。表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、Ｌ画像とＲ画像を、表示部５７のフィールド周期に同期して交互にメインエリア１０２に表示させる。この後、処理はステップＳ４３に進む。
【０１０４】
ステップＳ４３において、ＧＵＩブロック７１は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップＳ４４に進む。ステップＳ４４において、ＧＵＩブロック７１は、「エンド」ボタン１０７が押下されたか否かを判定する。「エンド」ボタン１０７が押下されたと判定された場合、立体視画像変換処理は終了され、さらに、実行されている画像処理プログラム６５も終了される。
【０１０５】
ステップＳ４４において、「エンド」ボタン１０７が押下されてないと判定された場合、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１０６】
ステップＳ３４，Ｓ３６，Ｓ３８、またはＳ４０の処理の後に実行されるステップＳ４５において、ＧＵＩブロック７１は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップＳ４６に進む。ステップＳ４６において、ＧＵＩブロック７１は、「印刷」ボタン１０６が押下されたか否かを判定する。「印刷」ボタン１０６が押下されたと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、メインエリア１０２に表示されているアナグリフ画像、第１のカラーアナグリフ画像、第２のアナグリフ画像、またはレンチキュラ画像の画像データをプリンタ（不図示）に出力して印刷させる。
【０１０７】
印刷されたアナグリフ画像、第１のカラーアナグリフ画像、または第２のアナグリフ画像は、赤青メガネを用いることにより、立体的に視認することができる。印刷されたレンチキュラ画像は、レンチキュラパネルを介することにより、立体的に視認することができる。以上で、立体視画像変換処理の説明を終了する。
【０１０８】
次に、図２０は、「テキスト入力」ボタン１３６が押下されたときのウィンドウ１０１の表示例を示している。メインエリア１０２の上側には、メインエリア１０２に表示されている立体視画像に重畳して、任意の文字、記号等を表示させるためのテキスト入力エリア１４１が設けられている。テキスト入力エリア１４１に入力される文字等は、立体的に視認されるように立体視画像に重畳される。ユーザは、マウス（操作入力部５６）を用いてドラッグアンドドロップすることにより、テキスト入力エリア１４１を任意の位置に移動することができる。
【０１０９】
メインエリア１０２の上側には、テキスト入力エリア１４１に入力された文字等の立体視したときの遠近感を近づけるときに押下される「近く」ボタン１４２、およびテキスト入力エリア１４１に入力される文字等の立体視したときの遠近感を遠ざけるときに押下される「遠く」ボタン１４３が設けられている。
【０１１０】
ここで、テキスト入力処理について、図２１のフローチャートを参照して説明する。このテキスト入力処理は、「テキスト入力」ボタン１３６が押下されたときに開始される。
【０１１１】
ステップＳ５１において、表示制御ブロック７６は、メインエリア１０２に表示されている立体視画像に重畳して、テキスト入力エリア１４１を表示する。ユーザがテキスト入力エリア１４１に任意の文字等を入力すると、立体視画像生成ブロック７５は、入力された文字等が所定の遠近感で立体的に視認されるように、立体視画像に文字等を重畳する。
【０１１２】
ステップＳ５２において、ＧＵＩブロック７１は、「近く」ボタン１４２が押下されたか否かを判定する。「近く」ボタン１４２が押下されたと判定された場合、処理はステップＳ５３に進む。ステップＳ５３において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、入力された文字等の遠近感がより近くで立体的に視認されるように、立体視画像に文字等を重畳する。なお、ステップＳ５２において、「近く」ボタン１４２が押下されていないと判定された場合、ステップＳ５３の処理はスキップされる。
【０１１３】
ステップＳ５４において、ＧＵＩブロック７１は、「遠く」ボタン１４３が押下されたか否かを判定する。「遠く」ボタン１４３が押下されたと判定された場合、処理はステップＳ５５に進む。ステップＳ５５において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、入力された文字等の遠近感がより遠くで立体的に視認されるように、立体視画像等に文字等を重畳する。なお、ステップＳ５４において、「遠く」ボタン１４３が押下されていないと判定された場合、ステップＳ５５の処理はスキップされる。
【０１１４】
ステップＳ５６において、ＧＵＩブロック７１は、「テキスト入力」ボタン１３６４２が再び押下されたか否かを判定する。「テキスト入力」ボタン１３６が再び押下されていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１１５】
ステップＳ５６において、「テキスト入力」ボタン１３６４２が再び押下されたと判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、立体視画像生成ブロック７５は、入力された文字等のテキスト情報、文字等の立体視画像上の座標情報、文字等の立体視における遠近の情報を画像管理ブロック７２に出力する。画像管理ブロック７２は、立体視画像の画像データに対応付けて記録する。以上で、テキスト入力処理の説明を終了する。
【０１１６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１８】
【発明の効果】
以上のように、本発明によれば、共通のＬ画像とＲ画像を用いて、様々な立体視の方法を実現することが可能となる。
【図面の簡単な説明】
【図１】光学アダプタをカメラに取り付けた状態を示す図である。
【図２】図１の光学アダプタの構成例を示す図である。
【図３】光学アダプタ取り付けた状態のカメラによって撮影される視差画像を示す図である。
【図４】本発明を適用した立体視システムの構成例を示す図である。
【図５】ミラー画像とスルー画像から構成される視差画像を示す図である。
【図６】ミラー画像とスルー画像からトリミングされるＬ画像とＲ画像を示す図である。
【図７】Ｌ画像とＲ画像を合成して立体視画像生成する処理を説明するための図である。
【図８】立体視画像を示す図である。
【図９】立体視画像を立体的に視認する概要を説明するための図である。
【図１０】図４のパーソナルコンピュータの構成例を示すブロック図である。
【図１１】図１０のＣＰＵが画像処理プログラムを実行すること実現する機能ブロックの構成例を示す図である。
【図１２】画像処理プログラムに対応するウィンドウの表示例を示す図である。
【図１３】図１２の「画像取得」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図１４】立体視画像生成処理を説明するフローチャートである。
【図１５】画像対自動選択処理を説明するフローチャートである。
【図１６】Ｌ画像とＲ画像の上下方向の位置調整処理を説明するフローチャートである。
【図１７】Ｌ画像とＲ画像の上下方向の位置調整処理におけるウィンドウの表示例を示す図である。
【図１８】立体視画像が生成されたときのウィンドウの表示例を示す図である。
【図１９】立体視画像変換処理を説明するフローチャートである。
【図２０】図１８の「テキスト入力」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図２１】テキスト入力処理を説明するフローチャートである。
【符号の説明】
１ ディジタルスチルカメラ， １１ 光学アダプタ， ３１ パーソナルコンピュータ， ４１ フィルタメガネ， ４３ ライン偏光板， ５１ ＣＰＵ，６１ 磁気ディスク， ６２ 光ディスク， ６３ 光磁気ディスク， ６４半導体メモリ， ６５ 画像処理プログラム， ７１ ＧＵＩブロック， ７２画像管理ブロック， ７３ 画像取得ブロック， ７４ ベース画像選択ブロック， ７５ 立体視画像生成ブロック， ７６ 表示制御ブロック
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、左眼用の画像と右眼用の画像を元にして立体視画像を生成する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、人の左右の眼がそれぞれ取得する網膜像の空間的ずれ（両眼視差）を利用して、２次元の画像を立体的に視認させる方法（以下、立体視の方法と記述する）が数多く知られている。
【０００３】
立体視の方法としては、特殊なメガネを利用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式等と、特殊なメガネを利用しないレンチキュラ方式等が知られている（いずれについても、例えば、非特許文献１参照）。
【０００４】
アナグリフ方式は、例えば、左眼用の画像（以下、Ｌ画像と記述する）を赤色モノトーン画像に変換し、右眼用の画像（以下、Ｒ画像と記述する）を青色モノトーン画像に変換して、赤色モノトーン画像と青色モノトーン画像を重ね合わせる。そして、その画像を、左側に赤色フィルタ、右側に青色フィルタが配置されたメガネ（以下、赤青メガネと記述する）を用いて見る方法である。アナグリフ方式は、比較的容易で安価に実施できることが、画像全体がモノトーンとなってしまう。
【０００５】
カラーアナグリフ方式は、アナグリフ方式の短所を補うものであり、Ｌ画像とＲ画像を重ね合わせたとき、それぞれの画像において対応する箇所がずれる部分（すなわち、視差が大きい部分）については、アナグリフ方式と同様に、例えば、Ｌ画像を赤色モノトーン画像に変換し、Ｒ画像を青色モノトーン画像に変換して重ね合わせる。それぞれの画像の対応する箇所がずれない部分（すなわち、視差が小さい部分）については、本来の色の状態で重ね合わせる。そして、その画像を、赤青メガネを用いて見る方法である。
【０００６】
カラーアナグリフ方式では、画像全体のうち、視差が少ない部分については、本来の色を再現することができる。なお、カラーアナグリフ方式には、視差が少ない部分に用いる色の違いにより、複数のバリエーションが存在する。以下、視差が小さい部分に本来の色を用いる方式を、第１のカラーアナグリフ方式と記述する。また、視差が小さい部分に本来の色を用いない方式を、第２のカラーアナグリフ方式と記述する。
【０００７】
偏光フィルタ方式は、例えば、垂直方向の直線偏光によって投影されたＬ画像と、水平方向の直線偏光によって投影されたＲ画像を重ね合わせる。そして、その画像を、左側に垂直方向の直線偏光フィルタ、右側に水平方向の直線偏光フィルタが配置された偏光フィルタメガネを用いて見る方法である。偏光フィルタ方式は、色の再現性がよく、解像度が高いことが長所であるが、偏光フィルタを利用することにより画像が暗くなってしまう短所がある。
【０００８】
時分割立体テレビジョン方式は、テレビジョン受像機に、Ｌ画像とＲ画像を、フィールド周期毎に交互に表示するようにし、その映像を、テレビジョン受像機のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて見る方法である。時分割立体テレビジョン方式は、液晶シャッタメガネの開閉動作を高い精度で制御することが重要となる。
【０００９】
レンチキュラ方式は、画面を縦方向のストライプ状の領域に区分し、各ストライプ上の領域に交互に、Ｌ画像とＲ画像を表示し、その映像を、レンチキュラスクリーンと称されるレンズで覆う方法である。
【００１０】
ところで、上述したさまざまな立体視の方法を実現するためには、Ｌ画像とＲ画像を取得する必要がある。Ｌ画像とＲ画像を取得するためには、同一の被写体を、カメラの位置を人の両眼の間隔だけ移動して２回撮影する方法が最も容易である。
【００１１】
また、１回の撮影でＬ画像とＲ画像を取得する方法として、例えば、図１に示すように、ミラーなどから構成される光学アダプタ１１を、カメラ１の撮影レンズ３の外側に取り付ける方法が知られている（例えば、特許文献１参照）。
【００１２】
図２は、光学アダプタ１１の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は、ミラー２１によってミラー２２に向けて反射され、ミラー２２によって撮影レンズ３に向けて反射された後、撮影レンズ３によって集光される。単一の採光窓から入射される左眼用の光学像は、ミラー２１，２２によって反射されることなく、撮影レンズ３によって集光される。
【００１３】
光学アダプタ１１を介して入射された光学像は、図３に示すように、左眼用の領域および右眼用の領域からなる画像（以下、視差画像と記述する）として撮影される。この左眼用の領域がＬ画像として利用され、右眼用の領域がＲ画像として利用される。
【００１４】
【非特許文献１】
泉武博監修、ＮＨＫ放送技術研究所編「３次元映像の基礎」オーム出版、平成７年６月５日発行
【特許文献１】
特開平１１−４６３７３号公報
【００１５】
【発明が解決しようとする課題】
上述したような様々な立体視の方法を１台の装置で実現することができれば、立体視に対するユーザの興味を長引かせることが可能となるが、従来、上述したような様々な立体視の方法を１台の装置できる装置は実現されていない課題があった。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、共通のＬ画像とＲ画像を用いて、様々な立体視の方法を実現できるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
本発明の画像処理装置は、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成手段と、ユーザの操作を受け付ける受付手段と、受付手段によって受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成手段とを含むことを特徴とする。
【００１８】
本発明の画像処理装置は、作成手段によって作成された第２の立体視画像の印刷を制御する印刷制御手段をさらに含むことができる。
【００１９】
前記作成手段は、第２の立体視画像を表示するための画像データとして、アナグリフ画像を表示するための画像データを作成するようにすることができる。
【００２０】
前記作成手段は、第２の立体視画像を表示するための画像データとして、カラーアナグリフ画像を表示するための画像データ作成するようにすることができる。
【００２１】
前記作成手段は、第２の立体視画像を表示するための画像データとして、レンチキュラ画像を表示するための画像データを作成するようにすることができる。
【００２２】
本発明の画像処理装置は、受付手段によって受け付けられたユーザの操作に基づき、左眼用の画像および右眼用の画像を交互に表示させる表示制御手段をさらに含むことができる。
【００２３】
前記生成手段は、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを用いて、第１の立体視画像を表示するための画像データ生成するようにすることができる。
【００２４】
本発明の画像処理方法は、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップとを含むことを特徴とする。
【００２５】
本発明の記録媒体のプログラムは、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップとを含むことを特徴とする。
【００２６】
本発明のプログラムは、第１の立体視画像の奇数ラインについては左眼用の画像および右眼用の画像のうちの一方の画像データを優先的に用い、第１の立体視画像の偶数ラインについては左眼用の画像および右眼用の画像のうちの他方の画像データを優先的に用いて、第１の立体視画像を表示するための画像データを生成する生成ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に基づき、左眼用の画像の画像データおよび右眼用の画像の画像データを用いて、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２７】
本発明の画像処理装置および方法、並びにプログラムにおいては、第１の立体視画像を表示するための画像データが生成される。また、ユーザの操作に基づき、第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データが作成される。
【００２８】
【発明の実施の形態】
図４は、本発明を適用した立体視システムの構成例を示している。この立体視システムは、主に、立体視画像を生成するパーソナルコンピュータ（ＰＣ）３１、表示された立体視画像を見るときにユーザが使用するフィルタメガネ４１、およびパーソナルコンピュータ３１の表示部５７の表示面外側に配置するライン偏光４３から構成される。
【００２９】
パーソナルコンピュータ３１は、図１に示されたように、光学アダプタ１１が装着された状態のカメラ（ディジタルスチルカメラ）１によって撮影された視差画像、光学アダプタ１１が装着されていない状態で撮影された画像などを取り込み、視差画像または連続的に撮影された２枚の画像からなる画像対を元にして立体視画像を生成して表示する。なお、ディジタルスチルカメラ１からパーソナルコンピュータ３１に取り込まれる視差画像等の画像データには、撮影された日時、撮影された順序を示すシリアルなファイル番号、連写モードで撮影されたか否かを示す連写モードフラグなどの属性情報が付与されている。
【００３０】
フィルタメガネ４１は、パーソナルコンピュータ３１に接続された支持棒４２により、パーソナルコンピュータ３１のキーボード付近の上方空間に位置するように支持されている。フィルタメガネ４１の左側の枠には、垂直方向の直線偏光フィルタが配置されている。また、右側の枠には、水平方向の直線偏光フィルタが配置されている。
【００３１】
パーソナルコンピュータ３１の表示部５７の表示面外側に配置するライン偏光板４３は、水平方向の偶数ラインに垂直方向の直線偏光フィルタが、水平方向の奇数ラインに水平方向の直線偏光フィルタが配置されている。
【００３２】
フィルタメガネ４１、支持棒４２、およびライン偏光板４３は、例えば、図１の光学アダプタ１１、並びに画像処理プログラム６５（図１０を参照して後述する）などとセットにされて販売される。
【００３３】
次に、パーソナルコンピュータ３１によって立体視画像が生成される過程の概要について、図５乃至図８を参照して説明する。
【００３４】
図５は、光学アダプタ１１が装着されたディジタルスチルカメラ１によって撮影された視差画像を示している。同図において、視差画像の右眼用の領域は、ミラーによって反射されているものであり、左眼用の領域は、ミラーによって反射されていないものであるとする。そこで、以下においては、視差画像の右眼用の領域をミラー画像、左眼用の領域をスルー画像と記述する。
【００３５】
上述したように、ミラー画像は、スルー画像に比較して、画質（輝度、彩度、解像度等）が劣化している。特に、ミラー画像の周辺部（上辺部、下辺部、および左辺部）は、中心部に比較して輝度が低下している。また、ミラー画像は、本来、矩形である画像が台形に歪んだものとなる。そこで、始めにミラー画像の画質が補正され（詳細については、図１４を参照して後述する）、画像の形状の歪みが補正される。次に、図６に示すように、ミラー画像およびスルー画像がそれぞれトリミングされて、Ｒ画像およびＬ画像が生成される。
【００３６】
次に、図７に示すように、次式（１）に従って、Ｌ画像とＲ画像が合成されて、図８に示すような立体視画像が生成される。
偶数ライン
１×（Ｌ画像の画素）＋０×（Ｒ画像の画素）＝（立体視画像の画素）
奇数ライン
０×（Ｌ画像の画素）＋１×（Ｒ画像の画素）＝（立体視画像の画素）・・・（１）
【００３７】
以上で、立体視画像が生成される過程の概要についての説明を終了する。生成された立体視画像は、表示部５７に表示される。図９に示すように、ユーザは、表示部５７に表示された立体視画像を、フィルタメガネ４１およびライン偏光板４３を介して見ることになる。したがって、ユーザの左眼は、立体視画像の偶数ライン、すなわち、１ライン置きのＬ画像を見ることになり、ユーザの右眼は、立体視画像の奇数ライン、すなわち、１ライン置きのＲ画像を見ることになる。よって、ユーザは、立体視画像を立体的に視認することが可能となる。
【００３８】
次に、図１０は、画像処理プログラム６５を実行することにより、立体視画像を生成する処理等を実行するパーソナルコンピュータ３１の構成例を示している。
【００３９】
パーソナルコンピュータ３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１を内蔵している。ＣＰＵ５１には、バス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ
Ｍｅｍｏｒｙ）５３が接続されている。
【００４０】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる操作入力部５６、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や生成される立体視画像等を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等よりなる表示部５７、各種のプログラムやデータを格納するハードディスクドライブなどよりなる記憶部５８、およびインタネット等のネットワークを介してデータを通信する通信部５９が接続されている。また、入出力インタフェース５５には、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、および半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００４１】
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部６５に記憶され、記憶部６５からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００４２】
このパーソナルコンピュータに立体視画像を生成する処理等を実行させる画像処理プログラム６５は、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク６３（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）を含む）、もしくは半導体メモリ６４に格納された状態でパーソナルコンピュータ３１に供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。記憶部５８にインストールされている画像処理プログラム６５は、操作入力部５６に入力されるユーザからのコマンドに対応するＣＰＵ５１の指令によって、記憶部５８からＲＡＭ５３にロードされて実行される。
【００４３】
図１１は、ＣＰＵ５１が画像処理プログラムを実行することによって実現される機能ブロックの構成例示している。
【００４４】
ＧＵＩブロック７１は、ＧＵＩに対するユーザの操作に対応して、画像管理部７２乃至表示制御部７６を制御する。画像管理ブロック７２は、ＧＵＩブロック７１からの制御に従い、ディジタルカメラ１から取り込まれて記憶部５８等に記憶されている視差画像などの画像データを、画像処理プログラム６５が取り扱うデータとして管理する。また、画像管理ブロック７２は、視差画像に付加されている属性情報に、サムネイル画像（縮小画像）の画像データ、トリミングされる領域の位置を示す情報、画質が補正されるときの設定値を示す情報、上下方向の位置が調整されるときの調整値を示す情報等を追加する。
【００４５】
画像取得ブロック７３は、ＧＵＩブロック７１からの制御に従い、画像管理ブロック７２によって管理されている視差画像などの画像データを取得し、ベース画像選択ブロック７４に出力する。ベース画像選択ブロック７４は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、画像処理ブロック７３から入力される画像のうち、ユーザによって選択された視差画像または画像対を立体視画像生成ブロック７５に出力する。また、ベース画像選択ブロック７４は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、画像処理ブロック７３から入力される画像のうち、立体視画像の元とすることができる画像対を選択して、立体視画像生成ブロック７５に出力する。
【００４６】
立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、ベース画像選択ブロック７４から入力される視差画像または画像対を元に、立体視画像を生成して表示制御ブロック７６に出力する。表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、ＧＵＩおよび生成される立体視画像の表示を制御する。
【００４７】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について説明するが、その前に、画像処理プログラム６５に対応するウィンドウと当該ウィンドウ上のＧＵＩについて、図１２および図１３を参照して説明する。
【００４８】
図１２は、画像処理プログラム６５が起動されたときに表示されるウィンドウ１０１の表示例を示している。ウィンドウ１０１には、処理の対象とする画像のサムネイルなどが表示されるメインエリア１０２、および「立体視」ボタン１０４乃至「エンド」ボタン１０７が設けられている。
【００４９】
「画像取得」ボタン１０３は、立体視画像の元とする視差画像および画像対を選択するためのサムネイルをメインエリア１０２に表示させるときに押下される。「立体視画像」ボタン１０４は、選択された立体視画像（または画像対）を元にして立体視画像の生成を開始させるときに押下される。「ＬＲ置換」ボタン１０５は、立体視画像の元となるＬ画像とＲ画像を置換させるときに押下される。「印刷」ボタン１０６は、生成された立体視画像などをプリントアウトするときに押下される。「エンド」ボタン１０７は、画像処理プログラムを終了させるときに押下される。
【００５０】
図１３は、「画像取得」ボタン１０３が押下されたときのウィンドウ１０１の表示例を示している。メインエリア１０２には、ディジタルカメラ１から取り込まれた視差画像、通常の画像（連続的に撮影された画像対含む）などのサムネイル画像が表示される。メインエリア１０２の上側には、「視差画像選択」ボタン１１１、「画像対選択」ボタン１１２、および「画像対自動選択」ボタン１１３が設けられる。
【００５１】
「視差画像選択」ボタン１１１は、メインエリア１０２に表示されているサムネイル画像のうち、視差画像に対応するものを選択するときに押下される。すなわち、ユーザは、「視差画像選択」ボタン１１１を押下した後、視差画像に対応するサムネイルを１つだけ選択することができる。
【００５２】
「画像対選択」ボタン１１２は、メインエリア１０２に表示されているサムネイル画像のうち、立体視画像の元とする画像対に対応するものを選択するときに押下される。すなわち、ユーザは、「画像対選択」ボタン１１２を押下した後、画像対に対応するサムネイルを２つ選択することができる。
【００５３】
「画像対自動選択」ボタン１１３は、メインエリア１０２に表示されているサムネイル画像のうち、立体視画像の元とする画像対を自動的に選択させるときに押下される。
【００５４】
次に、視差画像を元にして立体視画像を生成する立体視画像生成処理について、図１４のフローチャートを参照して説明する。この立体視画像生成処理は、図１３に示されたメインエリア１０２のサムネイルのうち、視差画像に対応するものがユーザによって選択された後、「立体視画像」ボタン１０４が押下されたときに開始される。
【００５５】
ステップＳ１において、ベース画像選択ブロック７４は、画像処理ブロック７３から入力される画像データのうち、ＧＵＩブロック７１からの制御に従い、ユーザが選択する視差画像の画像データを立体視画像生成ブロック７５に出力する。
【００５６】
ステップＳ２において、立体視画像生成ブロック７５は、ミラー画像の周辺部の輝度を、実験結果に基づくルックアップテーブル（または関数）を用いて補正する。この補正に関する情報は、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００５７】
ここで、実験とは、画像処理プログラム６５の開発者側によって実施されたものである。具体的には、光学アダプタ１１を装着した状態のディジタルカメラ１で画角の全体を占める白壁等を撮影し、得られた視差画像のうちのミラー画像について、中心部と周辺部の画素の輝度を比較する。そして、その比較結果に基づき、周辺部の画素の輝度が、中心部の画素の輝度と一致するように、例えば、周辺部の座標を入力とし、当該座標に対する補正値を出力するようなルックアップテーブル（関数でもよい）を生成する。または、周辺部の輝度を入力とし、当該輝度に対する補正値を出力するようなルックアップテーブルを生成する。そして、生成したルックアップテーブルを画像処理プログラム６５に組み込むようにすればよい。画像処理プログラム６５には、ディジタルカメラ１の機種に対応して複数のルックアップテーブルを組み込むようにしてもよい。
【００５８】
なお、ステップＳ２において、スルー画像の輝度も修正するようにしてもよい。
【００５９】
また、ステップＳ２において、立体視画像生成ブロック７５は、台形に歪んでいるミラー画像の形状を補正する。なお、このミラー画像の形状の補正については、本出願人が特開２００２−３４０５４号として既に提案済であるので、その説明は省略する。
【００６０】
ステップＳ３において、立体視画像生成ブロック７５は、補正済のミラー画像とスルー画像との全体的な輝度を比較して、その比較結果に基づいて、ミラー画像の輝度を補正する。具体的には、ミラー画像とスルー画像のそれぞれにおいて、所定の複数（例えば、４点）のサンプリング点の輝度を加算し、ミラー画像における輝度の加算値と、スルー画像の輝度の加算値を比較して、その差がなくなるように、ミラー画像を補正する。この補正に関する情報も、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６１】
例えば、ミラー画像における４サンプリング点の輝度の加算値が３５０であり、スルー画像の４サンプリング点の輝度の加算値が５００である場合、その差１５０をサンプリング点の数で除算した値（１５０／４）を、ミラー画像の全ての画素の輝度に加算する。
【００６２】
また、ステップＳ３において、立体視画像生成ブロック７５は、ミラー画像とスルー画像の全体的な彩度が一致するように、ミラー画像の色差を補正する。この補正に関する情報も、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６３】
ステップＳ４において、立体視画像生成ブロック７５は、ミラー画像に対し、所定のエッジ強調処理を施して、画像の全体的なぼけを補正する。ステップＳ５において、立体視画像生成ブロック７５は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、ミラー画像とスルー画像をそれぞれトリミングして、それぞれを、Ｌ画像とＲ画像に設定する。このトリミング位置に関する情報は、画像管理ブロック７２に出力され、画像管理ブロック７２により、視差画像の属性情報に追加される。
【００６４】
ステップＳ６において、立体視画像生成ブロック７５は、ユーザの操作に対応するＧＵＩブロック７１からの制御に従い、Ｌ画像とＲ画像の上下方向の位置を調整する。なお、Ｌ画像とＲ画像の上下方向の位置を調整する過程の情報は、表示制御ブロック７６に出力されて、その調整の様子がメインエリア１０２に表示される（詳細は図１６のフローチャートを参照して後述する）。
【００６５】
ステップＳ７において、立体視画像生成ブロック７５は、ステップＳ６の処理で上下方向の位置が調整されたＬ画像およびＲ画像を、式（１）に従って合成し、立体視画像を生成する。生成された立体視画像は、メインエリア１０２に表示される。また、生成された立体視画像の画像データは、画像管理ブロック７２により、元となった視差画像に対応付けて記憶される。
【００６６】
なお、ユーザからの所定の操作により、生成された立体視画像を表示部５７の全体を占めるように表示させることも可能である。以上で、立体視画像生成処理の説明を終了する。
【００６７】
ところで、画像処理プログラム６５によれば、２枚の画像からなる画像対を元にしても、立体視画像を生成することができる。この画像対は、図１３に示された「画像対選択」ボタン１１２を押下して、メインエリア１０２に表示されているサムネイル画像のうちの２つを選択することにより、ユーザが任意に選択することができる。
【００６８】
画像対が選択された後、「立体視画像」ボタン１０４が押下された場合、画像対の一方がＬ画像とされ、他方がＲ画像とされて、上述したステップＳ６以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック７２により、元となった画像対に対応付けて記憶される。
【００６９】
なお、立体視画像の元とする画像対を自動的に選択させることもできる。画像対を自動的に選択する処理について、図１５のフローチャートを参照して説明する。この画像対自動選択処理は、図１３に示された「画像対自動選択」１１３が押下されたときに開始される。また、この画像対自動選択処理は、画像処理ブロック７３からベース画像選択ブロック７４に入力される画像が１つずつ処理対象とされて実行される。
【００７０】
ステップＳ１１において、ベース画像選択ブロック７４は、処理対象の画像が連写モードで撮影されたものであるか否かを、属性情報に含まれる連写フラグを参照して判定する。処理対象の画像が連写モードで撮影されたものではないと判定された場合、処理はステップＳ１２に進む。
【００７１】
ステップＳ１２において、ベース画像選択ブロック７４は、処理対象の画像と、１枚後に撮影された画像との撮影日時の差が所定の閾値（例えば、数秒）以内であるか否かを判定する。撮影日時の差が所定の閾値以内であると判定された場合、処理はステップＳ１３に進む。
【００７２】
ステップＳ１３において、ベース画像選択ブロック７４は、処理対象の画像と、１枚後に撮影された画像との類似度を算出し、類似度が所定の閾値以内であるか否かを判定する。ここで、２枚の画像の類似度としては、例えば、それぞれから所定の１ライン分の画素を抽出し、対応する画素同士の差分の総和を算出するようにする。
【００７３】
処理対象の画像と１枚後に撮影された画像との類似度が所定の閾値以内であると判定された場合、処理対象の画像と１枚後に撮影された画像とは、同一の被写体を連続して撮影したものであると判断できるので、処理対象の画像と１枚後に撮影された画像とを画像対に設定する。
【００７４】
画像対に設定された２枚の画像のサムネイルは、画像対に設定されたことをユーザに通知するために、メインエリア１０２において、例えば、単一の太枠で囲まれる。また、画像対の情報は、画像管理ブロック７２に出力され、画像対のそれぞれの画像データの付加情報に、画像対の相手を示す情報（シリアル番号等）が追加される。あるいは、画像対をなす２つの画像データとそれぞれの属性情報を新たなフォルダを生成して記憶するようにしてもよい。
【００７５】
なお、ステップＳ１１において、処理対象の画像が連写モードで撮影されたものであると判定された場合、ステップＳ１２はスキップされ、処理はステップＳ１３に進む。
【００７６】
ステップＳ１２において、処理対象の画像と、１枚後に撮影された画像との撮影日時の差が所定の閾値以内ではないと判定された場合、この２枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。
【００７７】
ステップＳ１３において、処理対象の画像と、１枚後に撮影された画像との類似度が所定の閾値以内ではないと判定された場合にも、この２枚の画像は、立体視画像の元とする画像対に適していないので、画像対自動選択処理は終了される。以上で、画像対自動選択処理の説明を終了する。
【００７８】
この画像対自動選択処理が、画像処理ブロック７３からベース画像選択ブロック７４に入力される全ての画像を処理対象として実行された後に、複数の画像対が設定されている場合、ユーザは設定された複数の画像対のうち、１つの画像対を選択することができる。画像対がユーザによって選択された後、「立体視画像」ボタン１０４が押下された場合、上述したステップＳ６以降の処理が開始されて、立体視画像が生成される。生成された立体視画像の画像データは、画像管理ブロック７２により、元となった画像対に対応付けて記憶される。
【００７９】
ただし、画像対を元にして立体視画像を生成した場合、画像対の一方をＬ画像とし、他方をＲ画像とする設定が適切ではなかった場合（逆であった場合）、立体的に視認することはできない。このとき、ユーザが「ＬＲ置換」ボタン１０５を押下すれば、Ｌ画像とＲ画像が置換されて、立体的に視認できる立体視画像が再生成される。
【００８０】
また、「ＬＲ置換」ボタン１０５を押下して立体視画像を再生成させることは、表示された立体視画像に対して、ライン偏光板４３が１ライン分だけ上下方向にずれて設置されている場合にも有効に作用する。
【００８１】
次に、図１４のステップＳ６の処理、すなわち、Ｌ画像とＲ画像の上下方向の位置を調整する処理の詳細について、図１６のフローチャートおよび図１７を参照して説明する。
【００８２】
ステップＳ２１において、立体視画像生成ブロック７５は、ステップＳ６の処理で設定したＬ画像およびＲ画像のサムネイル画像を、画像管理ブロック７２から取得する。ステップＳ２２において、立体視画像生成ブロック７５は、Ｌ画像のサムネイル画像とＲ画像のサムネイル画像の同じ座標の画素を５０％ずつ加算して合成画像を生成する。
【００８３】
このとき、ウィンドウ１０１の表示は、例えば、図１７に示すようなものとなる。すなわち、メインエリア１０２には、Ｌ画像が表示されたＬ画像表示エリア１２１、Ｒ画像が表示されたＲ画像表示エリア１２２、および合成画像が表示された合成画像表示エリア１２３が設けられる。
【００８４】
メインエリア１０２の上方には、Ｌ画像に対するＲ画像の相対的な位置を上方に移動させて合成画像を再生成させるときに操作させる「Ｒ画像上方移動」ボタン１２４、Ｌ画像に対するＲ画像の相対的な位置を下方に移動させ合成画像を再生成させるときに操作される「Ｒ画像下方移動」ボタン１２５、およびＬ画像に対するＲ画像の相対的な位置の調整が終了したとき操作される「位置調整終了」ボタン１２６が設けられる。
【００８５】
図１４に戻る。ステップＳ２３において、ＧＵＩブロック７１は、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５が押下されたか否かを判定する。「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５が押下されたと判定された場合、処理はステップＳ２４に進む。ステップＳ２４において、立体視画像生成ブロック７５は、ユーザの操作に従うＧＵＩブロック７１からの制御に基づき、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させて、合成画像を再生成する。
【００８６】
このとき、合成画像表示エリア１２３の表示は、再生成された合成画像に更新される。なお、ステップＳ２３において、「Ｒ画像上方移動」ボタン１２４および「Ｒ画像下方移動」ボタン１２５が押下されていない判定された場合、ステップＳ２４はスキップされ、処理はステップＳ２５に進む。
【００８７】
ステップＳ２５において、ＧＵＩブロック７１は、「位置調整終了」ボタン１２６が押下されたか否かを判定する。「位置調整終了」ボタン１２６が押下されていないと判定された場合、ステップＳ２３に戻り、それ以降の処理が繰り返される。
【００８８】
従って、ユーザは、合成画像表示エリア１２３に表示される合成画像を見ながら、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５を押下することにより、Ｌ画像とＲ画像の上下方向の位置を調整することができる。なお、再生成されて表示される合成画像は、データ量の少ない縮小された画像であるので、この再生成の処理は速やかに実行される。
【００８９】
ステップＳ２５において、「位置調整終了」ボタン１２６が押下されたと判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、立体視画像生成ブロック７５は、Ｌ画像とＲ画像の上下方向の位置の調整値を画像管理ブロック７２に出力する。画像管理ブロック７２は、この上下方向の位置の調整値を、視差画像の属性情報に追加する。なお、画像対がＬ画像とＲ画像とされている場合、この上下方向の位置の調整値は、画像対の両方の属性情報に追加される。この後、処理は、上述した図１４のステップＳ７に戻ることとなる。
【００９０】
以上で、Ｌ画像とＲ画像の上下方向の位置を調整する処理の説明を終了する。
【００９１】
なお、上述した説明においては、「Ｒ画像上方移動」ボタン１２４または「Ｒ画像下方移動」ボタン１２５を押下することにより、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させるようにしたが、例えば、合成画像表示エリア１２３に表示されている合成画像を、マウス（操作入力部５６）を用いて、上方または下方にドラッグアンドドロップすることにより、Ｌ画像に対するＲ画像の相対的な位置を上方または下方に移動させるようにしてもよい。
【００９２】
次に、図１８は、立体視画像が生成されたときのウィンドウ１０１の表示例を示している。メインエリア１０２には、生成された立体視画像が表示される。メインエリア１０２の上側には、メインエリア１０２の表示を、立体視画像から、立体視画像の元となったＬ画像およびＲ画像を用いて従来の立体視の方法によって立体的に視認することができる画像に変換させるときに押下される「アナグリフ」ボタン１３１乃至「液晶シャッタメガネ」１３５が設けられている。また、メインエリア１０２の左側には、生成された立体視画像に任意の文字、記号などを書き込むときに押下される「テキスト入力」ボタン１３６が追加して設けられている。
【００９３】
「アナグリフ」ボタン１３１は、立体視画像の元となったＬ画像およびＲ画像を用いてアナグリフ方式の画像（以下、アナグリフ画像と記述する）を生成させるときに押下される。「カラーアナグリフ１」ボタン１３２は、立体視画像の元となったＬ画像およびＲ画像を用いて第１のカラーアナグリフ方式の画像（以下、第１のカラーアナグリフ画像と記述する）を生成させるときに押下される。「カラーアナグリフ２」ボタン１３３は、立体視画像の元となったＬ画像およびＲ画像を用いて第２のカラーアナグリフ方式の画像（以下、第２のカラーアナグリフ画像と記述する）を生成させるときに押下される。これらの場合、ユーザは、赤青メガネを用いて画像を見る必要がある。
【００９４】
「レンチキュラ」ボタン１３４は、立体視画像の元となったＬ画像およびＲ画像を用いてレンチキュラ方式の画像（以下、第１のレンチキュラ画像と記述する）を生成させるときに押下される。この場合、ユーザは、レンチキュラスクリーンを介して画像を見る必要がある。
【００９５】
「液晶シャッタメガネ」ボタン１３５は、立体視画像の元となったＬ画像およびＲ画像を時分割立体テレビジョン方式で表示させるときに押下される。この場合、ユーザは、表示部５７のフィールド周期に同期して左眼側と右眼側を交互に開閉する液晶シャッタメガネを用いて画像を見る必要がある。
【００９６】
次に、メインエリア１０２に表示されている立体視画像を、ユーザの操作に対応して変換する処理について、図１９のフローチャートを参照して説明する。
【００９７】
この立体視画像変換処理は、立体視画像が生成され、図１８に示されたようなウィンドウ１０１が表示されたときに開始される。
【００９８】
ステップＳ３１において、ＧＵＩブロック７１は、「ＬＲ置換」ボタン１０５が押下されたか否かを判定する。「ＬＲ置換」ボタン１０５が押下されたと判定された場合、処理はステップＳ３２に進む。ステップＳ３２において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を置換して、立体視画像を再生成する。表示制御ブロック７６は、再生成された立体視画像を、メインエリア１０２に表示させる。この後、処理はステップＳ４３に進む。
【００９９】
ステップＳ３１において、「ＬＲ置換」ボタン１０５が押下されていないと判定された場合、処理はステップＳ３３に進む。ステップＳ３３において、ＧＵＩブロック７１は、「アナグリフ」ボタン１３１が押下されたか否かを判定する。「アナグリフ」ボタン１３１が押下されたと判定された場合、処理はステップＳ３４に進む。ステップＳ３４において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、アナグリフ画像を生成する。表示制御ブロック７６は、生成されたアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１００】
ステップＳ３３において、「アナグリフ」ボタン１３１が押下されていないと判定された場合、処理はステップＳ３５に進む。ステップＳ３５において、ＧＵＩブロック７１は、「カラーアナグリフ１」ボタン１３２が押下されたか否かを判定する。「カラーアナグリフ１」ボタン１３２が押下されたと判定された場合、処理はステップＳ３６に進む。ステップＳ３６において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、第１のカラーアナグリフ画像を生成する。表示制御ブロック７６は、生成された第１のカラーアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０１】
ステップＳ３５において、「カラーアナグリフ１」ボタン１３２が押下されていないと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、ＧＵＩブロック７１は、「カラーアナグリフ２」ボタン１３３が押下されたか否かを判定する。「カラーアナグリフ２」ボタン１３３が押下されたと判定された場合、処理はステップＳ３８に進む。ステップＳ３８において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、第２のカラーアナグリフ画像を生成する。表示制御ブロック７６は、生成された第２のカラーアナグリフ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０２】
ステップＳ３７において、「カラーアナグリフ２」ボタン１３３が押下されていないと判定された場合、処理はステップＳ３９に進む。ステップＳ３９において、ＧＵＩブロック７１は、「レンチキュラ」ボタン１３４が押下されたか否かを判定する。「レンチキュラ」ボタン１３４が押下されたと判定された場合、処理はステップＳ４０に進む。ステップＳ４０において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を用い、レンチキュラ画像を生成する。表示制御ブロック７６は、生成されたレンチキュラ画像をメインエリア１０２に表示させる。この後、処理はステップＳ４５に進む。
【０１０３】
ステップＳ３９において、「レンチキュラ」ボタン１３４が押下されていないと判定された場合、処理はステップＳ４１に進む。ステップＳ４１において、ＧＵＩブロック７１は、「液晶シャッタメガネ」ボタン１３５が押下されたか否かを判定する。「液晶シャッタメガネ」ボタン１３５が押下されたと判定された場合、処理はステップＳ４２に進む。ステップＳ４２において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、現在生成されている立体視画像の元となったＬ画像とＲ画像を表示制御ブロック７６に供給する。表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、Ｌ画像とＲ画像を、表示部５７のフィールド周期に同期して交互にメインエリア１０２に表示させる。この後、処理はステップＳ４３に進む。
【０１０４】
ステップＳ４３において、ＧＵＩブロック７１は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップＳ４４に進む。ステップＳ４４において、ＧＵＩブロック７１は、「エンド」ボタン１０７が押下されたか否かを判定する。「エンド」ボタン１０７が押下されたと判定された場合、立体視画像変換処理は終了され、さらに、実行されている画像処理プログラム６５も終了される。
【０１０５】
ステップＳ４４において、「エンド」ボタン１０７が押下されてないと判定された場合、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１０６】
ステップＳ３４，Ｓ３６，Ｓ３８、またはＳ４０の処理の後に実行されるステップＳ４５において、ＧＵＩブロック７１は、何らかのボタンが押下されるまで待機する。何らかのボタンが押下されたと判定された場合、処理はステップＳ４６に進む。ステップＳ４６において、ＧＵＩブロック７１は、「印刷」ボタン１０６が押下されたか否かを判定する。「印刷」ボタン１０６が押下されたと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、表示制御ブロック７６は、ＧＵＩブロック７１からの制御に従い、メインエリア１０２に表示されているアナグリフ画像、第１のカラーアナグリフ画像、第２のアナグリフ画像、またはレンチキュラ画像の画像データをプリンタ（不図示）に出力して印刷させる。
【０１０７】
印刷されたアナグリフ画像、第１のカラーアナグリフ画像、または第２のアナグリフ画像は、赤青メガネを用いることにより、立体的に視認することができる。印刷されたレンチキュラ画像は、レンチキュラパネルを介することにより、立体的に視認することができる。以上で、立体視画像変換処理の説明を終了する。
【０１０８】
次に、図２０は、「テキスト入力」ボタン１３６が押下されたときのウィンドウ１０１の表示例を示している。メインエリア１０２の上側には、メインエリア１０２に表示されている立体視画像に重畳して、任意の文字、記号等を表示させるためのテキスト入力エリア１４１が設けられている。テキスト入力エリア１４１に入力される文字等は、立体的に視認されるように立体視画像に重畳される。ユーザは、マウス（操作入力部５６）を用いてドラッグアンドドロップすることにより、テキスト入力エリア１４１を任意の位置に移動することができる。
【０１０９】
メインエリア１０２の上側には、テキスト入力エリア１４１に入力された文字等の立体視したときの遠近感を近づけるときに押下される「近く」ボタン１４２、およびテキスト入力エリア１４１に入力される文字等の立体視したときの遠近感を遠ざけるときに押下される「遠く」ボタン１４３が設けられている。
【０１１０】
ここで、テキスト入力処理について、図２１のフローチャートを参照して説明する。このテキスト入力処理は、「テキスト入力」ボタン１３６が押下されたときに開始される。
【０１１１】
ステップＳ５１において、表示制御ブロック７６は、メインエリア１０２に表示されている立体視画像に重畳して、テキスト入力エリア１４１を表示する。ユーザがテキスト入力エリア１４１に任意の文字等を入力すると、立体視画像生成ブロック７５は、入力された文字等が所定の遠近感で立体的に視認されるように、立体視画像に文字等を重畳する。
【０１１２】
ステップＳ５２において、ＧＵＩブロック７１は、「近く」ボタン１４２が押下されたか否かを判定する。「近く」ボタン１４２が押下されたと判定された場合、処理はステップＳ５３に進む。ステップＳ５３において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、入力された文字等の遠近感がより近くで立体的に視認されるように、立体視画像に文字等を重畳する。なお、ステップＳ５２において、「近く」ボタン１４２が押下されていないと判定された場合、ステップＳ５３の処理はスキップされる。
【０１１３】
ステップＳ５４において、ＧＵＩブロック７１は、「遠く」ボタン１４３が押下されたか否かを判定する。「遠く」ボタン１４３が押下されたと判定された場合、処理はステップＳ５５に進む。ステップＳ５５において、立体視画像生成ブロック７５は、ＧＵＩブロック７１からの制御に従い、入力された文字等の遠近感がより遠くで立体的に視認されるように、立体視画像等に文字等を重畳する。なお、ステップＳ５４において、「遠く」ボタン１４３が押下されていないと判定された場合、ステップＳ５５の処理はスキップされる。
【０１１４】
ステップＳ５６において、ＧＵＩブロック７１は、「テキスト入力」ボタン１３６４２が再び押下されたか否かを判定する。「テキスト入力」ボタン１３６が再び押下されていないと判定された場合、ステップＳ５２に戻り、それ以降の処理が繰り返される。
【０１１５】
ステップＳ５６において、「テキスト入力」ボタン１３６４２が再び押下されたと判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、立体視画像生成ブロック７５は、入力された文字等のテキスト情報、文字等の立体視画像上の座標情報、文字等の立体視における遠近の情報を画像管理ブロック７２に出力する。画像管理ブロック７２は、立体視画像の画像データに対応付けて記録する。以上で、テキスト入力処理の説明を終了する。
【０１１６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１８】
【発明の効果】
以上のように、本発明によれば、共通のＬ画像とＲ画像を用いて、様々な立体視の方法を実現することが可能となる。
【図面の簡単な説明】
【図１】光学アダプタをカメラに取り付けた状態を示す図である。
【図２】図１の光学アダプタの構成例を示す図である。
【図３】光学アダプタ取り付けた状態のカメラによって撮影される視差画像を示す図である。
【図４】本発明を適用した立体視システムの構成例を示す図である。
【図５】ミラー画像とスルー画像から構成される視差画像を示す図である。
【図６】ミラー画像とスルー画像からトリミングされるＬ画像とＲ画像を示す図である。
【図７】Ｌ画像とＲ画像を合成して立体視画像生成する処理を説明するための図である。
【図８】立体視画像を示す図である。
【図９】立体視画像を立体的に視認する概要を説明するための図である。
【図１０】図４のパーソナルコンピュータの構成例を示すブロック図である。
【図１１】図１０のＣＰＵが画像処理プログラムを実行すること実現する機能ブロックの構成例を示す図である。
【図１２】画像処理プログラムに対応するウィンドウの表示例を示す図である。
【図１３】図１２の「画像取得」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図１４】立体視画像生成処理を説明するフローチャートである。
【図１５】画像対自動選択処理を説明するフローチャートである。
【図１６】Ｌ画像とＲ画像の上下方向の位置調整処理を説明するフローチャートである。
【図１７】Ｌ画像とＲ画像の上下方向の位置調整処理におけるウィンドウの表示例を示す図である。
【図１８】立体視画像が生成されたときのウィンドウの表示例を示す図である。
【図１９】立体視画像変換処理を説明するフローチャートである。
【図２０】図１８の「テキスト入力」ボタンが押下されたときのウィンドウの表示例を示す図である。
【図２１】テキスト入力処理を説明するフローチャートである。
【符号の説明】
１ ディジタルスチルカメラ， １１ 光学アダプタ， ３１ パーソナルコンピュータ， ４１ フィルタメガネ， ４３ ライン偏光板， ５１ ＣＰＵ，６１ 磁気ディスク， ６２ 光ディスク， ６３ 光磁気ディスク， ６４半導体メモリ， ６５ 画像処理プログラム， ７１ ＧＵＩブロック， ７２画像管理ブロック， ７３ 画像取得ブロック， ７４ ベース画像選択ブロック， ７５ 立体視画像生成ブロック， ７６ 表示制御ブロック
Claims (10)
- 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成する画像処理装置において、
第１の立体視画像の奇数ラインについては前記左眼用の画像および前記右眼用の画像のうちの一方の画像データを優先的に用い、前記第１の立体視画像の偶数ラインについては前記左眼用の画像および前記右眼用の画像のうちの他方の画像データを優先的に用いて、前記第１の立体視画像を表示するための画像データを生成する生成手段と、
ユーザの操作を受け付ける受付手段と、
前記受付手段によって受け付けられた前記ユーザの操作に基づき、前記左眼用の画像の画像データおよび前記右眼用の画像の画像データを用いて、前記第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成手段と
を含むことを特徴とする画像処理装置。 - 前記作成手段によって作成された前記第２の立体視画像の印刷を制御する印刷制御手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 前記作成手段は、前記第２の立体視画像を表示するための画像データとして、アナグリフ画像を表示するための画像データを作成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記作成手段は、前記第２の立体視画像を表示するための画像データとして、カラーアナグリフ画像を表示するための画像データ作成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記作成手段は、前記第２の立体視画像を表示するための画像データとして、レンチキュラ画像を表示するための画像データを作成する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記受付手段によって受け付けられた前記ユーザの操作に基づき、前記左眼用の画像および前記右眼用の画像を交互に表示させる表示制御手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 前記生成手段は、第１の立体視画像の奇数ラインについては前記左眼用の画像および前記右眼用の画像のうちの一方の画像データを用い、前記第１の立体視画像の偶数ラインについては前記左眼用の画像および前記右眼用の画像のうちの他方の画像データを用いて、前記第１の立体視画像を表示するための画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成する画像処理装置の画像処理方法において、
第１の立体視画像の奇数ラインについては前記左眼用の画像および前記右眼用の画像のうちの一方の画像データを優先的に用い、前記第１の立体視画像の偶数ラインについては前記左眼用の画像および前記右眼用の画像のうちの他方の画像データを優先的に用いて、前記第１の立体視画像を表示するための画像データを生成する生成ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に基づき、前記左眼用の画像の画像データおよび前記右眼用の画像の画像データを用いて、前記第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップと
を含むことを特徴とする画像処理方法。 - 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成するプログラムであって、
第１の立体視画像の奇数ラインについては前記左眼用の画像および前記右眼用の画像のうちの一方の画像データを優先的に用い、前記第１の立体視画像の偶数ラインについては前記左眼用の画像および前記右眼用の画像のうちの他方の画像データを優先的に用いて、前記第１の立体視画像を表示するための画像データを生成する生成ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に基づき、前記左眼用の画像の画像データおよび前記右眼用の画像の画像データを用いて、前記第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 左眼用の画像および右眼用の画像に基づいて立体視画像を表示するための画像データを生成するコンピュータに、
第１の立体視画像の奇数ラインについては前記左眼用の画像および前記右眼用の画像のうちの一方の画像データを優先的に用い、前記第１の立体視画像の偶数ラインについては前記左眼用の画像および前記右眼用の画像のうちの他方の画像データを優先的に用いて、前記第１の立体視画像を表示するための画像データを生成する生成ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に基づき、前記左眼用の画像の画像データおよび前記右眼用の画像の画像データを用いて、前記第１の立体視画像とは異なる方式の第２の立体視画像を表示するための画像データを作成する作成ステップと
を含む処理を実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002261538A JP4165158B2 (ja) | 2002-09-06 | 2002-09-06 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002261538A JP4165158B2 (ja) | 2002-09-06 | 2002-09-06 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004104329A true JP2004104329A (ja) | 2004-04-02 |
| JP4165158B2 JP4165158B2 (ja) | 2008-10-15 |
Family
ID=32261884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002261538A Expired - Fee Related JP4165158B2 (ja) | 2002-09-06 | 2002-09-06 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4165158B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012231220A (ja) * | 2011-04-25 | 2012-11-22 | Alpine Electronics Inc | ３ｄ画像表示システム |
| JP2013088495A (ja) * | 2011-10-14 | 2013-05-13 | Dainippon Printing Co Ltd | 立体視画像形成体および立体視用具 |
| JP2013172795A (ja) * | 2012-02-24 | 2013-09-05 | Square Enix Co Ltd | 立体ゲーム装置 |
| US9177382B2 (en) | 2012-04-04 | 2015-11-03 | Seiko Epson Corporation | Image processing apparatus for forming synthetic image and image processing method for forming synthetic image |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5477129B2 (ja) * | 2010-04-07 | 2014-04-23 | ソニー株式会社 | 映像信号処理装置、表示装置、表示方法及びプログラム |
-
2002
- 2002-09-06 JP JP2002261538A patent/JP4165158B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012231220A (ja) * | 2011-04-25 | 2012-11-22 | Alpine Electronics Inc | ３ｄ画像表示システム |
| JP2013088495A (ja) * | 2011-10-14 | 2013-05-13 | Dainippon Printing Co Ltd | 立体視画像形成体および立体視用具 |
| JP2013172795A (ja) * | 2012-02-24 | 2013-09-05 | Square Enix Co Ltd | 立体ゲーム装置 |
| US9177382B2 (en) | 2012-04-04 | 2015-11-03 | Seiko Epson Corporation | Image processing apparatus for forming synthetic image and image processing method for forming synthetic image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4165158B2 (ja) | 2008-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4072674B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP5355208B2 (ja) | ３次元表示装置及びデジタルズーム補正方法 | |
| JP3978392B2 (ja) | 立体映像信号生成回路及び立体映像表示装置 | |
| EP2597502A1 (en) | Imaging device, method for controlling same, and program | |
| JP5266126B2 (ja) | 画像表示装置および方法並びにプログラム | |
| US20110273543A1 (en) | Image processing apparatus, image processing method, recording method, and recording medium | |
| JP5039182B2 (ja) | 立体映像出力装置およびバックライト制御方法 | |
| JP2004129186A (ja) | 立体画像データ処理装置ならびに立体画像データ処理用プログラムおよび記録媒体 | |
| US20090244258A1 (en) | Stereoscopic display apparatus, stereoscopic display method, and program | |
| CN102959974B (zh) | 立体图像再现装置、其视差调整方法及摄影装置 | |
| JPH1127703A (ja) | 表示装置及びその制御方法 | |
| US20130162764A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable medium | |
| JP2011211450A (ja) | 立体映像表示装置、立体映像撮像装置および立体映像表示方法 | |
| CN102972036B (zh) | 重放装置、复眼摄像装置、重放方法及程序 | |
| JP4129786B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US9369699B2 (en) | Stereoscopic image display device, stereoscopic imaging device, and methods | |
| JP4165158B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4200718B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4200717B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| KR20150038147A (ko) | 영상 생성 방법 | |
| JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
| JP4129787B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4668602B2 (ja) | 立体視画像生成装置および方法並びにプログラム | |
| JP4184061B2 (ja) | 立体視画像編集装置及び立体視画像編集プログラム | |
| JP2004266862A (ja) | ステレオ画像撮影用カメラ、および、ステレオ画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080721 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |