JP2002077947A - 立体画像補正方法及びこれを用いた立体画像装置 - Google Patents

Abstract

(57)【要約】 【課題】 左右画像のずれのない良好な立体映像が容易
に得られる立体画像補正方法を提供する。 【解決手段】２個以上の視差のついた画像について、撮
影もしくは画像作成時に生じた、望ましくない画像間の
位置ずれや回転ずれを画像処理により各映像のほぼ同じ
映像領域を抽出し、それらの角度や位置が最適となるよ
うに調整することにより、観察者にとって見やすい立体
映像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、立体画像の補正
方法及びこれを用いた立体画像装置に関する。

【０００２】

【従来の技術】立体画像の撮影には、例えば、図５のよ
うな、同期した２台のカメラもしくはカムコーダ６１を
水平方向に並べて、視差のある画像を同時に撮影する画
像撮影装置が用いられる。この画像撮影装置では２つの
視点からの画像Ｌ（左眼画像）及びＲ（右眼画像）が、
それぞれ別々のレンズ６２を通り、別々のＣＣＤからな
る撮像素子６３に入射し、別々の画像記録手段６４に記
録される。

【０００３】他の立体画像の撮影においては、例えば、
図６のような、２つの撮像レンズ７２が水平方向に並べ
て配置された１台のカメラもしくはカムコーダ７１で、
視差のある画像を同時に撮影する画像撮影装置が用いら
れる。この画像撮影装置では２つの視点からの画像Ｌ及
びＲが、それぞれ別々の撮像レンズ７２を通過した後、
プリズムや反射鏡のような光学手段７５を介して、１つ
の撮像素子７３に入射し、１つの画像記録手段７４に記
録される。

【０００４】また、立体画像の撮影には、例えば、図７
のような、１台のカメラもしくはカムコーダ８１に左右
映像を同時に取り込むための立体アダプタ８６を取り付
けて、視差のある画像を同時に撮影する画像撮影装置が
用いられる。この画像撮影装置では２つの視点からの画
像Ｌ及びＲが、プリズムや反射鏡のような光学手段８５
を介して、１つの撮像レンズ８２を通過し、１つの撮像
素子８３に入射し、１つの画像記録手段８４に記録され
る。

【０００５】

【発明が解決しようとする課題】従来の図５に示す画像
撮影装置で撮影された映像では、２台のカメラ間の光軸
がずれると右眼映像と左眼映像の間の位置ずれや回転ず
れが生じるという問題点がある。

【０００６】また、従来の図６に示す画像撮影装置で撮
影された映像では、２台の撮影レンズ間の光軸がずれる
と右眼映像と左眼映像の間の位置ずれや回転ずれが生じ
るという問題点がある。

【０００７】また、従来の図７に示す画像撮影装置で撮
影された映像では、アダプタの２つの光路の光軸がずれ
ると右眼映像と左眼映像の間の位置ずれや回転ずれが生
じる、という問題点がある。

【０００８】上記したいずれの場合も光軸を精密に合わ
せることは困難であり、コストが高くなり、定期的なメ
ンテナンスが必要となる等の問題点がある。

【０００９】この発明は、上述した従来の問題点に鑑み
なされたものにして、左右画像のずれのない良好な立体
映像が容易に得られる立体画像補正方法を提供すること
を目的とする。

【００１０】

【課題を解決するための手段】この発明は、上記問題を
解決するために、２個以上の視差のついた画像につい
て、撮影もしくは画像作成時に生じた画像間のずれを、
各画像のほぼ同じ画像領域を抽出し、各領域間の視差を
所定の量になるように、各画像を画像変換して調整する
ことを特徴とする。

【００１１】また、この発明は、前記ほぼ同じ画像領域
が決められた一定の大きさの領域あるいは、特定の被写
体とすることができる。

【００１２】また、この発明は、左眼画像を入力する手
段と、右目画像を入力する手段と、両手段からの画像を
比較し画像のずれを算出しずれのある画像に演算を施し
画像を補正する画像補正手段と、を備えたことを特徴と
する。

【００１３】また、前記画像補正手段は、各画像のほぼ
同じ画像領域を抽出し、各領域間の視差を所定の量にな
るように、各画像を補正することを特徴とする。

【００１４】上記したように、２個以上の視差のついた
画像について、撮影もしくは画像作成時に生じた、望ま
しくない画像間の位置ずれや回転ずれを画像処理により
各映像のほぼ同じ映像領域を抽出し、それらの角度や位
置が最適となるように調整することにより、観察者にと
って見やすい立体映像が得られる。また、高精度が要求
されるアダプタの光軸調整を行うことなく鮮明な立体映
像が得られるため、システムの低コスト化、高性能化が
可能となり、メンテナンス作業も大幅に削減される。

【００１５】

【発明の実施の形態】以下、この発明の実施の形態を図
面に基づいて説明する。図１は、この発明を立体画像撮
影装置に用いた例を示すブロック図である。

【００１６】図１に示す実施形態においては、互いに同
期がとれ、例えば、ＣＣＤ等の撮像素子を内蔵した２台
のカメラからなるステレオカメラ１で撮像した画像を処
理する立体画像撮影処理システムの構成を示している。

【００１７】上記ステレオカメラ１は、左眼用カメラ１
１と右眼用カメラ１２とからなり、図示しないカメラス
テイに所定の基線長をもって配置されている。左眼用カ
メラ１１、右眼用カメラ１２で撮像した２つの画像は画
像処理回路２へ与えられる。この画像処理回路２は、Ｃ
ＤＳクランプ回路やゲイン調整回路等のアナログ処理回
路の他、Ａ／Ｄ変換器、輝度補正回路等のデジタル処理
回路を含む。

【００１８】この画像処理回路２はカメラ１１、１２か
らの画像信号を適宜処理して被写体像を示す画像データ
を生成する。この画像処理回路２からの画像データが画
像補正回路３へ与えられ、この画像補正装置３にて後述
する画像補正がされ、それぞれ補正された最適な立体画
像が光ディスク、磁気テープなどの記録媒体を有する画
像出力部５に与えられ記録される。

【００１９】この画像出力部５は、左眼用画像を記録す
る左眼用画像出力部５１、右眼用画像を記録する右眼用
画像出力部５２を備える。この画像出力部５から立体画
像を表示する表示装置（図示しない）へ左右の画像が与
えられ、スクリーンなどに立体画像が表示される。これ
ら画像処理回路２、画像補正装置３、画像出力部５等は
ＭＰＵ、ＲＯＭ、ＲＡＭ等を備えた制御装置４により制
御される。

【００２０】前記画像出力部５１、５２には、例えば、
画像圧縮部が備えられ、制御装置４の指示に基づき画像
補正装置３から与えられた画像を動画像の場合には、Ｍ
ＰＥＧ（Moving Picture Experts Group）方式などによ
り画像圧縮し、記録媒体に記憶させる。また、静止画の
場合には、ＪＰＥＧ（Joint Photographic ExpertsGro
up）方式などにより画像圧縮して、記録媒体に記憶させ
る。

【００２１】上記した２台のカメラ１１、１２は初期製
造段階で互いの光軸が平行になるように機械的に調整さ
れてカメラステイに固定される。しかし、両カメラ１
１、１２で撮像した各画像には、機械的な組み立て精度
の限界、レンズの焦点距離のばらつきやレンズの歪みの
影響、ＣＣＤの受光面のあおりによる撮像画像内の拡大
縮小率の相違により、必ずしも最適な画像が得られるわ
けではない。

【００２２】このため、この実施形態においては、画像
補正装置３にて、各カメラ１１、１２の撮影画像におけ
る光学的な位置ずれを補正して立体映像処理に最適な画
像データが得られるようにしている。そこで、この実施
形態においては、後述するように、各カメラ１１、１２
の画像領域を両画像を撮像されている所定の領域に抽出
する。従って、各カメラ１１、１２のＣＣＤは画像数が
オーバースペックのＣＣＤを用いており、後述の処理で
不要な領域をカットするように処理される。

【００２３】上記したように、画像処理回路２では、各
カメラ１１、１２からのアナログ画像をＡ／Ｄ変換器で
それぞれデジタル画像データに変換し、輝度補正等の処
理が施された後、画像補正回路３の画像メモリ３１、３
２へそれぞれデータを与え、画像メモリ３１、３２に画
像データが格納される。

【００２４】この画像メモリ３１、３２に格納したデー
タのほぼ同じ領域の画像データをマッチング回路３３に
与える。このマッチング回路３３で各画像メモリ３１、
３２に格納されたほぼ同じ領域の画像データのマッチン
グをとり、そのマッチング回路３３からのデータに基づ
き、補正すべき変換関数を算出し、画像メモリ３１、３
２から与えられる画像データを画像変換回路３４、３５
にて補正する。

【００２５】前記マッチング回路３３には、制御装置４
から調整条件が与えられ、この調整条件に基づき、マッ
チング回路３３が画像メモリ３１、３２からの画像デー
タへの変換関数等を算出し、画像変換回路３４、３５に
与える。

【００２６】次に、この装置の画像補正につき説明す
る。まず、出荷時等に行われる初期調整等につき説明す
る。

【００２７】初期調整等は基準スケールを用いて行う。
画像補正装置３においては、両カメラ１１、１２で撮像
したアナログ画像を画像処理回路２によりデジタル画像
に変換し、画像メモリ３１、３２に格納する。この初期
調整等においては、例えば、正方格子パターンのような
特定の補正量計測用撮像パターンを両カメラ１１、１２
で撮像する。そして、それら両データを画像メモリ３
１、３２に格納する。

【００２８】画像メモリ３１、３２からマッチング回路
３３にほぼ同じ領域の画像データが与えられる。マッチ
ング回路３３では、それぞれのカメラの撮像画像につい
て画素毎の座標補正量を求める。即ち、基準正方格子パ
ターンのデータに基づき、撮像した両画像パターンをマ
ッピング回路３３にて比較して、格子点毎に偏差を求
め、この偏差から補正方向を加味した格子点毎の補正量
を算出し、その補正量に基づく変換関数を画像変換回路
３４、３５にそれぞれ与える。

【００２９】画像変換回路３４、３５では、算出された
変換関数に基づき、画像メモリ３１、３２からの画像デ
ータに補正演算を施し、左右ずれ、上下ずれ、回転ずれ
等を補正し、画像出力部５１、５２に補正された画像デ
ータを与える。画像出力部５１、５２では、入力された
画像データを圧縮し、記録媒体に格納する。

【００３０】次に、上記した画像補正の処理動作につ
き、図２の処理フローに従い更に説明する。

【００３１】まず、両カメラ１１、１２より、それぞれ
左右の画像を撮像し、画像処理回路２から左右の画像を
入力する（ステップＳ１）。そして、画像補正のための
変換関数を決定するための処理フラグがオンのなってい
るか判断する（ステップＳ２）。両カメラの調整作業を
行うように制御装置４に指示すると、このフラグがオン
になる。フラグがオンになっていると、画像変換回路３
４、３５における変換関数を求めるルーチンに入る。左
眼用カメラ１１で撮像し画像メモリ３１に格納されてい
る左眼基準画像を抽出し、マッチング回路３３に与える
（ステップＳ３）。

【００３２】続いて、右眼用カメラ１２で撮像し画像メ
モリ３２に格納されている対応する右眼画像を抽出し、
マッチング回路３３に与える（ステップＳ４）。マッチ
ング回路３３では、両画像を比較し、左右のずれ（Ｘ方
向）、上下のずれ（Ｙ方向）、回転ずれ（θ）及び倍率
のずれ（サイズ）を算出する。この算出データに基づき
変換関数を決定する（ステップＳ６）。画像変換回路３
４、３５では与えられた変換関数に基づき、画像補正の
ための変換関数を変更した後、変換関数決定処理フラグ
をオフにする（ステップＳ７）。

【００３３】左右のカメラ１１、１２で撮像した画像デ
ータは画像３１、３２から画像変換回路３４、３５に与
えられ、画像変換回路３４、３５で決定された変換関数
に基づき画像変換され（ステップＳ８）、適正に補正さ
れた左右の画像データが画像出力部５１、５２に与えら
れ、格納されてゆく（ステップＳ９）。そして、画像入
力が終了するまで、前述の動作が繰り返され、画像入力
が終了すると、画像撮像動作が終了する。

【００３４】上記した実施の形態においては、マッチン
グ回路３３、画像変換回路３４、３５及び制御回路４を
それぞれ別の回路で構成しているが、マイクロコンピュ
ータとＲＡＭ、ＲＯＭを用いて、ソフトウェアにより上
記した動作を行うように構成してもよい。

【００３５】また、上記した実施形態においては、基本
パターンを撮像して初期調整する場合につき説明した
が、ユーザにより実際に撮像したデータに基づき調整を
行うように構成してもよい。

【００３６】図３は上記した実際に撮像した画像に基づ
き立体画像を調整する方法を示した模式図である。左眼
用カメラ１１及び右眼用カメラ１２を用いて撮影する。
このとき、図示はしていないが、それぞれのオリジナル
画像がファインダなどを構成するモニタに表示されるよ
うになっている。１１ａ、１２ａは、オリジナルの左眼
画像と右眼画像であり、映像の位置と角度にずれが生じ
ている。

【００３７】この画像処理では、まず基準画像を決定す
る。この図３に示す実施形態おいては、家が傾かずに写
っている左眼画像１２ａを基準画像とする。両方の画像
共に家が傾いている場合には左右いずれかの画像を手動
で回転させて基準画像としてもよい。また、左右いずれ
かの画像の家を選択して、家の屋根の線が水平になるよ
うに自動的に処理を行い、基準画像としてもよい。

【００３８】次に、基準被写体を決定する。ここでは左
眼画像に写っている木１２２ａを基準被写体とする。基
準被写体は他の被写体でもよいし、画像全体であっても
よい。

【００３９】次に、左右映像のずれを補正する処理を行
う。図の１３はこの画像処理を表しており、ここでは左
右画像を重ねたときに、右眼画像に写っている木１２２
ｂが、左眼画像に写っている基準被写体、木１２２ａと
ほぼ重なるように、マッチング回路３３において右眼画
像の位置や角度を調整するための変換関数を求める。更
に両方の画像が写っている領域１２３を抽出している。

【００４０】１３ａ、１３ｂは画像処理が終了した左右
画像を再び分離した様子である。領域１２３は両方の画
像が写っている領域である。

【００４１】こうして抽出された画像は立体映像表示装
置に出力され、見やすい立体映像として観察される。

【００４２】ここでは、基準被写体を木１２２ａとした
ため、木１２２ａと１２２ｂとの間には視差が殆どつい
ていない。そのため観察者には、木１２２ａ（１２２
ｂ）が画面上に位置し、家や人が飛び出し、山や雲が奥
まって見える。この基準被写体を他の被写体とすると、
その被写体が画面上に位置して見える。

【００４３】映像の切り替わりが多く、基準被写体を一
つのものに決めるのが困難な場合は、領域を基準として
もよい。例えば、画像全体であってもよいし、画面中央
等の決められた一部の領域でもよい。画面全体を基準と
する場合は、例えばずれの全体の平均が最小になるよう
に処理すれば、飛び出しと奥行きが平均化された画像と
なる。基準を画面中央の一部の領域とする場合は、例え
ばその領域のずれの平均が最小になるように処理する。
この場合は基準領域内の視差が小さくなるので、ほぼ画
面上に位置することになり、他の領域は基準領域に対し
て飛び出したり奥まったりする。

【００４４】本実施形態では、撮影されたオリジナル画
像の補正に使われる例であるが、完成した立体画像に視
差がつきすぎていた場合に、左右画像の水平位置を調整
して視差を小さくするために用いることもできる。

【００４５】また、この発明の画像補正方法は、立体画
像表示装置に組み込まれていてもよい。図４は、立体画
像表示装置にこの発明の画像補正方法を適用した場合の
実施形態を示すブロック図である。

【００４６】上記ステレオカメラ等を用いて撮像された
画像データが左眼画像入力部２１、右眼画像入力部２２
に格納されており、この両画像入力部２１、２２から左
右の画像データが画像補正回路３ａへ与えられ、この画
像補正装置３にて後述する画像補正がされ、それぞれ補
正された最適な立体画像が液晶プロジェクタなどの画像
出力部５ａに与えられる。画像出力部５ａは、左眼用画
像を出力する左眼用画像出力部５１ａ、右眼用画像を出
力する右眼用画像出力部５２ａを備える。この画像出力
部５ａから立体画像が出力されスクリーン等に立体画像
が表示される。これら画像補正装置３ａ、画像出力部５
ａ等はＭＰＵ、ＲＯＭ、ＲＡＭ等を備えた制御装置（図
示しない）により制御される。

【００４７】前記画像入力部２１、２２には、例えば、
画像伸張部が備えられ、ＭＰＥＧ（Moving Picture Exp
erts Group）方式などにより圧縮された画像を伸張し、
伸張した画像データを画像補正回路３ａに与える。

【００４８】上記した２台のステレオカメラ等で撮像し
た各画像には、機械的な組み立て精度の限界、レンズの
焦点距離のばらつきやレンズの歪みの影響、ＣＣＤの受
光面のあおりによる撮像画像内の拡大縮小率の相違によ
り、必ずしも最適な画像が得られているわけではない。

【００４９】このため、この実施形態においては、画像
補正装置３ａにて、記録した撮影画像における光学的な
位置ずれを補正して立体映像表示に最適な画像データが
得られるようにしている。

【００５０】画像入力部２１、２２からのデジタル画像
データは画像補正回路３ａの画像メモリ３１ａ、３２ａ
へそれぞれ与えられ、画像メモリ３１ａ、３２ａに画像
データが格納される。この画像メモリ３１ａ、３２ａに
格納したデータをマッチング回路３３ａに与え、このマ
ッチング回路３３ａで各画像メモリ３１ａ、３２ａに格
納された画像データのマッチングをとり、そのマッチン
グ回路３３ａからのデータに基づき、画像メモリ３１
ａ、３２ａに格納されたデータを画像変換回路３４ａ、
３５ａにて補正する。前記マッチング回路３３ａには、
調整条件入力装置４ａから調整条件が与えられ、この調
整条件に基づき、マッチング回路３３ａが画像メモリ３
１ａ、３２ａからの画像データへの変換関数等を算出
し、画像変換回路３４ａ、３５ａに与える。

【００５１】画像変換回路３４ａ、３５ａでは、算出さ
れた補正量に基づき、画像メモリ３１ａ、３２ａからの
画像データに補正演算を施し、左右ずれ、回転ずれ等を
補正し、画像出力部５１ａ、５２ａに補正された画像デ
ータを与え立体画像をスクリーン等に表示する。

【００５２】図３の模式図を参照して上記した補正につ
き説明する。左眼用カメラ及び右眼用カメラを用いて撮
影された画像を画像出力部５１ａ、５２ａより出力す
る。１１ａ、１２ａは、オリジナルの左眼画像と右眼画
像を表示したものであり、映像の位置と角度にずれが生
じている。

【００５３】この画像処理では、まず基準画像を決定す
る。この図３に示す実施形態おいては、家が傾かずに写
っている左眼画像１２ａを基準画像とする。両方の画像
共に家が傾いている場合には左右いずれかの画像を手動
などで回転させて基準画像としてもよい。また、左右い
ずれかの画像の家を選択して、家の屋根の線が水平にな
るように自動的に処理を行い、基準画像としてもよい。

【００５４】次に、基準被写体を決定する。ここでは左
眼画像に写っている木１２２ａを基準被写体とする。

【００５５】次に、左右映像のずれを補正する処理を行
う。１３はこの画像処理を表しており、ここでは左右画
像を重ねたときに、右眼画像に写っている木１２２ｂ
が、左眼画像に写っている基準被写体、木１２２ａとほ
ぼ重なるように、マッチング回路３３ａにおいて右眼画
像の位置や角度を調整するための変換関数を求める。更
に両方の画像が写っている領域１２３を抽出している。

【００５６】１３ａ、１３ｂは画像処理が終了した左右
画像を再び分離して表示した様子である。領域１２３は
両方の画像が写っている領域である。

【００５７】こうして抽出された画像は立体映像表示装
置に出力され、見やすい立体映像として観察される。

【００５８】上記したように、この発明の立体画像補正
方法は、立体画像撮影装置に組み込まれていてもよく、
また、コンピュータ等の立体画像作成装置に組み込まれ
ていてもよい。

【００５９】

【発明の効果】以上に説明したように、この発明では、
２個以上の視差のついた画像について、撮影もしくは画
像作成時に生じた、望ましくない画像間の位置ずれや回
転ずれを、画像処理により各映像のほぼ同じ映像領域を
抽出し、それらの角度や位置が最適となるように調整す
ることにより、観察者にとって見やすい立体映像が得ら
れる。また、高精度が要求されるアダプタの光軸調整を
行うことなく鮮明な立体映像が得られるため、システム
の低コスト化、高性能化が可能となり、メンテナンス作
業も大幅に削減することができる。

【図面の簡単な説明】

【図１】この発明を立体画像撮影装置に用いた例を示す
ブロック図である。

【図２】この発明の立体画像の補正動作を示すフローチ
ャートである。

【図３】実際に撮像した画像に基づき立体画像を調整す
る方法を示した模式図である。

【図４】この発明を立体画像表示装置に用いた例を示す
ブロック図である。

【図５】従来の立体映像撮像装置の構成を示す模式図で
ある。

【図６】従来の立体映像撮像装置の構成を示す模式図で
ある。

【図７】従来の立体映像撮像装置の構成を示す模式図で
ある。

【符号の説明】

１ ステレオカメラ １１ 左眼用カメラ １２ 右眼用カメラ ２ 画像処理回路 ３ 画像補正回路 ３１、３２ 画像メモリ ３３ マッチング回路 ３４、３５ 画像変換回路 ４ 制御装置 ５ 画像出力部 ５１ 左眼用画像出力部 ５２ 右眼用画像出力部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ２個以上の視差のついた画像について、
   撮影もしくは画像作成時に生じた画像間のずれを、各画
   像のほぼ同じ画像領域を抽出し、各領域間の視差を所定
   の量になるように、各画像を画像変換して調整すること
   を特徴とする立体画像補正方法。
2. 【請求項２】 前記ほぼ同じ画像領域が決められた一定
   の大きさの領域であることを特徴とする請求項１に記載
   の立体画像補正方法。
3. 【請求項３】 前記ほぼ同じ映像領域が、特定の被写体
   であることを特徴とする請求項１に記載の立体画像補正
   方法。
4. 【請求項４】 左眼画像を入力する手段と、右目画像を
   入力する手段と、両手段からの画像を比較し画像のずれ
   を算出しずれのある画像に演算を施し画像を補正する画
   像補正手段と、を備えたことを特徴とする立体画像装
   置。
5. 【請求項５】 前記画像補正手段は、各画像のほぼ同じ
   画像領域を抽出し、各領域間の視差を所定の量になるよ
   うに、各画像を補正することを特徴とする請求項４に記
   載の立体画像装置。