JP2006287274A - 撮像装置及びそれを用いた立体視画像生成システム - Google Patents

Abstract

【課題】 感度補正や視野の微調整という煩雑な作業なしに高精度な立体視画像を得る。
【解決手段】 光電変換により画信号を得る１枚の撮像センサ１４と、所定の基線長を有する２光路によって光を導き前記撮像センサの露光面における２領域に結像させる光学系１１と、前記撮像センサ１４の露光面における任意位置の領域に対応する画信号を読み出す読出手段１５と、前記撮像センサ１４の露光面における２領域を指定して前記読出手段１５による画信号の読み出しを制御する読出制御手段１６を具備した撮像装置１と、前記読出手段１５により読出された２領域の画信号を受けて、当該２領域の画信号に対応する画像を立体的に融合させて立体的画像を作成する画像処理手段２０とを具備する。
【選択図】 図７

Description

この発明は、立体視画像を得るために好適な撮像装置及びそれを用いた立体視画像生成システムに関するものである。

従来より、視差（parallax:パララックス）を用いて立体的な画像を得るための装置としては、「ステレオカメラ」と称される装置が知られている。この装置は、所定の間隔（基線長）を持たせて離間した２つのカメラを用いて同一被写体を撮像し、得られた視差を持つ２枚の画像を立体的に融合させることにより、立体感のある画像として認識させるものである。この「ステレオカメラ」を用いる場合には、一般的に２枚のフィルムに視差を持つ画像を夫々記録し、「ステレオスコープ」或いは「ステレオビュワー」と呼ばれる装置を用いて、肉眼により立体的融合を行っている。

上記装置の応用として、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラ等による電子画像を用いて立体視画像を得る装置もあるが、係る装置では例えば特許文献１に示されているように、２台のカメラ或いは２個のＣＣＤセンサを用いるものである。このため、２台のカメラ間において或いは２個のＣＣＤセンサ間において、センサ特性のばらつきが避けられず、また、視野、光学倍率等の光学特性において差異が生じることがあり、パーソナルコンピュータ等を用いた画像処理による画像の立体的融合を行う際の障害となっていた。
特開２００３−１８７２６１号公報

上記における２台のカメラ間或いは２個のＣＣＤセンサ間の差異について、各センサの感度補正や、視野の微調整を行って対応しているが、煩雑な作業が必要であり、補正不能である場合もあった。

本発明における課題は、感度補正や、視野の微調整という煩雑な作業が不要となり、簡易な構成でありながら高精度な立体視画像を得ることを可能とする撮像装置及びそれを用いた立体視画像生成システムを提供することである。

本発明に係る撮像装置は、光電変換により画信号を得る１枚の撮像センサと、所定の基線長を有する２光路によって光を導き前記撮像センサの露光面における２領域に結像させる光学系と、前記撮像センサの露光面における任意位置の領域に対応する画信号を読み出す読出手段と、前記撮像センサの露光面における２領域を指定して前記読出手段による画信号の読み出しを制御する読出制御手段とを具備したことを特徴としている。

本発明に係る撮像装置では、前記２領域の外側に結像の無い露光面が存在し、前記２領域が重ならぬように、前記２領域におけるイメージサークルを横または縦に並べて結像させる光路を、光学系が備えていることを特徴とする。

本発明に係る撮像装置では、前記読出手段は、１画素または数画素を単位として領域を変更可能であることを特徴とする。

本発明に係る立体視画像生成システムは、光電変換により画信号を得る１枚の撮像センサと、所定の基線長を有する２光路によって光を導き前記撮像センサの露光面における２領域に結像させる光学系と、前記撮像センサの露光面における任意位置の領域に対応する画信号を読み出す読出手段と、前記撮像センサの露光面における２領域を指定して前記読出手段による画信号の読み出しを制御する読出制御手段とを具備した撮像装置と、前記読出手段により読出された２領域の画信号を受けて、当該２領域の画信号に対応する画像を立体的に融合させて立体的画像を作成する画像処理手段とを具備することを特徴とする。

本発明に係る立体視画像生成システムでは、前記２領域の外側に結像の無い露光面が存在し、前記２領域が重ならぬように、前記２領域におけるイメージサークルを横または縦に並べて結像させる光路を、光学系が備えていることを特徴とする。

本発明に係る立体視画像生成システムでは、前記読出手段は、１画素または数画素を単位として領域を変更可能であることを特徴とする。

本発明では、１枚の撮像センサを用い、２光路によって光を導き上記撮像センサの露光面における２領域に結像させるので、センサの感度補正が不要であり、また、露光面における２領域を指定して画信号の読み出しを行うので、立体的に融合させるべき画像が上記撮像センサの露光面の所定位置に露光されるものである必要がなく、視野の調整が不要となり煩雑な作業を行う必要がないという効果を奏するものである。

本発明では、１枚の撮像センサの露光面における２領域に同一被写体像を結像させる光学系を用い、また、撮像センサの露光面における任意位置の領域に対応する画信号を読み出す読出手段を備え、撮像センサの露光面における２領域を指定して上記読出手段による画信号の読み出しを制御するようにして、センサの感度補正や視野の調整作業を不要とする目的を達成したものである。

以下添付図面を参照して本発明に係る撮像装置及びそれを用いた立体視画像生成システムの実施例を説明する。図１は、この発明に係る撮像装置を用いた立体視画像生成システムの簡略な構成図を示すものである。撮像装置１は、光学系１１とカメラ部１２とが一つの筐体を構成している。カメラ部１２は画像処理を行うパーソナルコンピュータ２とケーブル３を介して接続されている。なお、撮像装置１においては、光学系１１とカメラ部１２とが一つの筐体を構成しているものに限らず、光学系１１が交換レンズなどの構成により交換の際に分離される構成を採用しても良い。

図２に、光学系１１の光学部品による構成例を示している。この例では、対物レンズ１１１ａ、１１１ｂが所定の基線長を持つように図１の光筒１１０ａ、１１０ｂ内に配置されており、対物レンズ１１１ａ、１１１ｂから入射した光が図２に示すプリズム（ミラーも可）１１２ａ、１１２ｂにより反射され、更にプリズム（ミラーも可）１１３ａ、１１３ｂにより反射され、カメラ部１２内に設けられている撮像センサ１４の露光面の異なる２領域Ｅ１、Ｅ２に到るように各光部品が配置された光路設計がなされている。斯して、被写体の画像が撮像センサ１４の露光面における２領域Ｅ１、Ｅ２に結像する。

上記撮像センサ１４の露光面において、２領域の外側に結像の無い露光面が存在し、２領域が重ならぬように適切な間隔を持つように、光学系１１において各光部品が配置されている。図３に示される被写体１０を撮像装置１にて撮像した場合に、撮像センサ１４の露光面において結像した画像の例を図４〜図６に示す。図４〜図６の結像例は見易さを考慮して正立像を示しているが、実際には倒立像となることが通例である。図４は、各レンズによるイメージサークル（有効像円）Ｍ１、Ｍ２が横にほぼ同じ高さ位置に並べられて結像された例を示しており、図５は、各レンズによるイメージサークル（有効像円）Ｍ１、Ｍ２が異なる高さ位置に横に並べられて結像された例を示している。

上記では、イメージサークル（有効像円）が横に並べられるように光路が構成された例を示したが、これ以外に図６に示すように、各レンズによるイメージサークル（有効像円）Ｍ１、Ｍ２が縦に並べて結像されるように光路を構成しても良い。本発明に係る撮像装置の光路は、上記のいずれに対応するものであっても良い。なお、図３の光部品の構成及び配置は一例に過ぎず、他の構成及び配置としても良い。例えば、対物レンズ１１１ａ、１１１ｂの位置を、プリズム（ミラーも可）１１２ａとプリズム（ミラーも可）１１３ａとの間に設け、プリズム（ミラーも可）１１２ｂとプリズム（ミラーも可）１１３ｂとの間に設けて良い。更に、プリズム（ミラーも可）１１３ａ、１１３ｂと撮像センサ１４における露光面の間に１枚又は複数枚のレンズとして設けて良い。

図７に、この発明に係る撮像装置１を用いた立体視画像生成システムの機能ブロック図を示す。撮像装置１には、光学系１１及び撮像センサ１４が備えられている以外に、読出手段１５、読出制御手段１６が備えられている。パーソナルコンピュータ２は、画像処理手段２０を構成する。

読出手段１５は、撮像センサ１４の露光面における任意位置の領域に対応する画信号を読み出すものである。即ち、撮像センサ１４をＣＭＯＳセンサにより構成し、読出手段１５は、ｘアドレスとｙアドレスによって撮像センサ１４中の任意の１画素を順次選択して、画像信号を読出すようにアドレス指定を行うものである。

読出制御手段１６は、撮像センサ１４の露光面における２領域を指定して上記読出手段１５による画信号の読み出しを制御するものである。例えば図８において、撮像センサ１４の露光面７０における２領域Ｓ１、Ｓ２を指定する場合には、矩形の領域Ｓ１における左上角点の座標（ｘ１１，ｙ１１）と右下角点の（ｘ１２，ｙ１２）とを有すると共に、矩形の領域Ｓ２における左上角点の座標（ｘ２１，ｙ２１）と右下角点の（ｘ２２，ｙ２２）とを有し、まず、矩形の領域Ｓ１における画信号を読出すために、座標（ｘ１１，ｙ１１）の読出しを読出手段１５へ指示し、次に読出しクロックに応じてｘ座標の１インクリメントを行って読出しを指示し、ｘ座標がｘ１２までインクリメントされると、ｘ座標をｘ１１へ戻すと共にｙ座標をｙ１１から１インクリメントとして読出しを指示し、矩形の領域Ｓ１における第２行目の画信号の読出し指示へ移行する。

第２行目の画信号の読出し指示においても、次にｘ座標の１インクリメントを行って読出しを指示し、ｘ座標がｘ１２までインクリメントされると、ｘ座標をｘ１１へ戻すと共にｙ座標をｙ１１から１インクリメントとして読出しを指示し、矩形の領域Ｓ１における第３行目の画信号の読出し指示へ移行する。以下同様にして読出しの指示を続け、ｙ座標がｙ１２となった行について画信号の読出し指示を行い、ｘ座標がｘ１２までインクリメントされると当該矩形の領域Ｓ１における画信号の読出し指示を終了する。次に、矩形の領域Ｓ２における画信号を読出し指示を、矩形の領域Ｓ１における画信号を読出し指示と同様にして行う。なお、撮像センサ１４の露光面７０における画素数は、例えば、２０４８×２０４８画素とし、２領域Ｓ１、Ｓ２の画素数はＶＧＡサイズ（６４０×４８０画素）を採用することができる。

読出制御手段１６は、例えば、上記２領域Ｓ１、Ｓ２について予め座標データを保持しており、初期状態ではこれに基づき２領域Ｓ１、Ｓ２の画信号を読出す。次に、パーソナルコンピュータ２から領域位置の変更指定情報が送られ、１画素または数画素を単位として領域の位置（座標）を変更して２領域Ｓ１、Ｓ２における画信号の読出しが行われる。パーソナルコンピュータ２から送られる領域位置の変更指定情報は、画像処理手段２０が画像処理の結果として得た情報であっても良いし、または、パーソナルコンピュータ２の画面に表示された２領域Ｓ１、Ｓ２についての映像を目視したオペレータが入力（例えば、マウスやキーによる画面の移動操作による入力）した情報であっても良い。

上記の読出手段１５及び読出制御手段１６による処理機能は、具体的には、特許３４８４１７８号公報に記載の構成により、所要の２領域を指定して読出しを行うものであり、ＷＯＩ（Window of Interest）機能と称されるものである。

以上のようにして読出された２領域Ｓ１、Ｓ２の画信号は、ケーブル３を介してパーソナルコンピュータ２により構成される画像処理手段２０へ送られる。画像処理手段２０は、読出手段１５により読出された２領域の画信号を受けて、当該２領域の画信号に対応する画像を立体的に融合させて立体的画像を作成するものである。

例えば、図９に示されるように、光学系１１における左側の光路から得られるＬ画像と、光学系１１における右側の光路から得られるＲ画像とを用いて立体的融合により立体的画像を得る。立体的画像生成の手法は、公知の手法を用いる。例えば、Ｌ画像とＲ画像との対応点を検出して視差を求め、距離計測を行うステレオ画像法と称される手法により被写体について距離データの集合からなる三次元モデルを得て、必要な場合に実際に得られた画像からなるテクスチャ画像を貼り付ける処理を用いることができる。

以上のように構成された撮像装置及びそれを用いた立体視画像生成システムにあっては、撮像装置１による被写体の撮像を行うことにより、撮像センサ１４の露光面における２領域から画信号の読出しが行われ、立体的画像が作成される。ここにおいて、１個の撮像センサ１４の露光面に結像した画像に係る画信号を読出して用いるので、２個のセンサやカメラを用いた場合に比べて感度差などのばらつきがなく、２視野光学系が有する光軸のずれについても機械的に補正することなく読出し位置（２領域Ｓ１、Ｓ２の位置）変更で対応できる。また、ＷＯＩ機能により必要な領域を読出すので、百万画素を超える画素数を持つ高画素カメラを用いても読出し時間を短縮できる。更に、２台のカメラを用いる場合に比べてシステムを簡素化できるものである。

上記においては、撮像センサ１４がＣＭＯＳセンサにより構成された場合を説明したが、撮像センサ１４としてＣＣＤセンサを用いることも可能である。係る場合には、図６に示すように、各レンズによるイメージサークル（有効像円）Ｍ１、Ｍ２が縦に並べて結像されるように光路が構成される。

そして、読取手段１５は、パーシャルスキャンと呼ばれる読出し手法を用いて、図１０における２領域Ｔ１、Ｔ２の画信号を行を単位として読出す。読出制御手段１６は、２領域Ｔ１、Ｔ２を指定する場合には、矩形の領域Ｔ１における最上位行のｙ座標（ｙ１１１）と最下位行のｙ座標（ｙ１１２）とを有すると共に、矩形の領域Ｔ２における最上位行のｙ座標（ｙ１１３）と最下位行のｙ座標（ｙ１１４）とを有し、まず、矩形の領域Ｔ１における画信号を読出すために、ｙ座標（ｙ１１１）の行に係る画信号読出しを読出手段１５へ指示し、１行分の画信号が読出されると次にｙ座標の１インクリメントを行って読出しを指示し、ｙ座標がｙ１１２までインクリメントされると矩形の領域Ｔ１画信号の読出し指示を終了する。次に、矩形の領域Ｔ２における画信号を読出し指示を、矩形の領域Ｔ１における画信号を読出し指示と同様にして行う。

読出制御手段１６は、例えば、上記２領域Ｔ１、Ｔ２について予めｙ座標データを保持しており、初期状態ではこれに基づき２領域Ｔ１、Ｔ２の画信号を読出す。次に、パーソナルコンピュータ２から領域位置の変更指定情報が送られ、１行または数行を単位として領域のｙ座標を変更して２領域Ｔ１、Ｔ２における画信号の読出しが行われる。

このように撮像センサ１４としてＣＣＤセンサを用いた場合には、ＷＯＩ機能による画信号の読出しを行うことができないので、読出し時間短縮の効果は先の例ほどではないが、２個のセンサやカメラを用いた場合に比べて感度差などのばらつきがない効果、２視野光学系が有する光軸のずれについても機械的に補正することなく読出し位置（２領域Ｓ１、Ｓ２の位置）変更で対応できる効果、また、２台のカメラを用いる場合に比べてシステムを簡素化できる効果を奏するものである。

本発明の実施例に係る撮像装置を用いた立体視画像生成システムの簡略な構成図。 本発明の実施例に係る撮像装置における光学系の光学部品による構成例を示す図。 本発明の実施例に係る撮像装置にて撮像する被写体を示す斜視図。 本発明の実施例に係る撮像装置における撮像センサの露光面においてほぼ同じ高さ位置に横並びで結像した画像の例を示す図。 本発明の実施例に係る撮像装置における撮像センサの露光面において異なる高さ位置に横並びで結像した画像の例を示す図。 本発明の実施例に係る撮像装置における撮像センサの露光面において縦並びで結像した画像の例を示す図。 本発明に係る撮像装置を用いた立体視画像生成システムの機能ブロック図。 本発明に係る撮像装置により露光面における２領域から画信号を読出す動作の際に用いられる座標情報を示す図。 本発明に係る撮像装置を用いた立体視画像生成システムによる２画像を用いた立体的融合の説明図。 本発明に係る撮像装置により露光面における２領域からパーシャルスキャンを用いて画信号を読出す動作の際に用いられる座標情報を示す図。

符号の説明

１ 撮像装置
２ パーソナルコンピュータ
３ ケーブル
１１ 光学系
１２ カメラ部
１４ 撮像センサ
１５ 読出手段
１６ 読出制御手段
２０ 画像処理手段
１１１ａ、１１１ｂ 対物レンズ
１１２ａ、１１２ｂ、１１３ａ、１１３ｂ プリズム
Ｅ１、Ｅ２ 露光面

Claims (6)

1. 光電変換により画信号を得る１枚の撮像センサと、
   所定の基線長を有する２光路によって光を導き前記撮像センサの露光面における２領域に結像させる光学系と、
   前記撮像センサの露光面における任意位置の領域に対応する画信号を読み出す読出手段と、
   前記撮像センサの露光面における２領域を指定して前記読出手段による画信号の読み出しを制御する読出制御手段とを、
   具備したことを特徴とする撮像装置。
2. 前記２領域の外側に結像の無い露光面が存在し、前記２領域が重ならぬように、前記２領域におけるイメージサークルを横または縦に並べて結像させる光路を前記光学系が、備えていることを特徴とする請求項１に記載の撮像装置。
3. 前記読出手段は、１画素または数画素を単位として領域を変更可能であることを特徴とする請求項１に記載の撮像装置。
4. 光電変換により画信号を得る１枚の撮像センサと、所定の基線長を有する２光路によって光を導き前記撮像センサの露光面における２領域に結像させる光学系と、前記撮像センサの露光面における任意位置の領域に対応する画信号を読み出す読出手段と、前記撮像センサの露光面における２領域を指定して前記読出手段による画信号の読み出しを制御する読出制御手段とを具備した撮像装置と、
   前記読出手段により読出された２領域の画信号を受けて、当該２領域の画信号に対応する画像を立体的に融合させて立体的画像を作成する画像処理手段と
   を具備することを特徴とする立体視画像生成システム。
5. 前記２領域の外側に結像の無い露光面が存在し、前記２領域が重ならぬように、前記２領域におけるイメージサークルを横または縦に並べて結像させる光路を前記光学系が、備えていることを特徴とする請求項４に記載の立体視画像生成システム。
6. 前記読出手段は、１画素または数画素を単位として領域を変更可能であることを特徴とする請求項４に記載の立体視画像生成システム。