JP2004120095A

JP2004120095A - 全方位双眼立体視画像の生成方法

Info

Publication number: JP2004120095A
Application number: JP2002277571A
Authority: JP
Inventors: Susumu Horiguchi; 堀口　進; Vanijja Vajirasak; バジラサク　バニジャ
Original assignee: D Link Corp
Current assignee: D Link Corp
Priority date: 2002-09-24
Filing date: 2002-09-24
Publication date: 2004-04-15
Anticipated expiration: 2022-09-24
Also published as: JP4183466B2

Abstract

【課題】実空間を撮影した画像からコンピュータ処理により撮影位置における全方位の双眼立体視を可能にする右目用と左目用の矩形画像を生成し、遠隔地からカメラ設置場所の全方位の立体的な画像を観察可能にする。
【解決手段】観察ないし監視しようとする場所に、対向ないし隣接する頂点の間隔を略両眼の間隔とした正多角形の頂点位置に全方位カメラを配置し、各カメラが撮影した全方位画像を切断した領域から、０度〜３６０度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの該当領域を選択して繋ぎ合わせることにより、右目用と左目用の全方位の矩形画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像から当該選択された方向の所定の視野角の矩形画像を切出す。
【選択図】　　　図２

Description

【０００１】
【発明の属する技術分野】
この発明は、実空間を撮影した画像からコンピュータ処理により撮影位置における全方位の双眼立体視を可能にする右目用と左目用の矩形画像を生成する方法に関するものである。
【０００２】
【従来の技術】
遠隔地の景観や状況を観察ないし監視するために、現地に接地されたカメラの撮影画像を観察者が操作している表示端末にコンピュータネットワークを利用して送信するシステムは公知である。カメラとして一般的な矩形領域を撮影するカメラを用いたときには、観察者が望む方向を見るために、カメラの方向を遠隔制御する必要が生ずる。この方法は、カメラの方向を変えるための機械的な仕組みとその遠隔制御装置を必要とするため、全体システムが複雑になり高価になる。この問題を解決する手段として、撮影現場に凸面鏡ないし魚眼レンズなどを装着したカメラを設置して、当該カメラで全方位の画像を取り込む方法が利用されている。このような方法で取り込まれた全方位画像は、カメラの光軸の前方又は後方を中心とした円形ないし環状の二次元画像となるので、当該全方位画像を人間にとってなじみやすい矩形画像（所定の視野角に対応する部分の矩形画像又は全方位の景観を示す矩形画像）に変換して表示させる必要がある。
【０００３】
特表２０００−５１５９８４号公報には、環状の全方位画像を全方位を表示する矩形画像や観察者が指定する部分領域の矩形画像に変換して送信することについての記載がある。
【０００４】
【発明が解決しようとする課題】
この発明の課題は、カメラの設置場所における全方位を遠隔地から双眼立体視可能にすることである。画像データの処理という観点から見た最も簡単な方法は、両目の間隔に等しい間隔で同方向に向けて２台のカメラを設置し、この２台のカメラを観察者が指定する方向に向けるようにすることである。しかし、この方法は、前述したように、全体システムが複雑になり高価になるとともに、複数の観察者がそれぞれ異なる方向を観察したいという要求には応えることができない。
【０００５】
この発明の課題は、カメラ設置場所における全方位画像から当該場所での全方位の双眼立体視を可能にする右目用と左目用との２つの矩形画像を生成することである。この２つの矩形画像は、観察者が観察方向を変更したときに、新たな方向に対応する画像に変更される必要があり、同時に左目用と右目用の画像は、観察方向を向いた右目と左目の間隔に相当する視線のずれを備えたものでなければならない。
【０００６】
この発明は、カメラで撮影された全方位の画像から観察者が選択する任意の方向の右目用と左目用の矩形の画像を生成する手段を提供するものであり、この発明の方法とコンピュータネットワークを利用することによって、遠隔地からカメラ設置場所の全方位の立体的な画像を観察することができるようになる。
【０００７】
【課題を解決するための手段】
この発明の全方位双眼立体視画像の生成方法は、観察ないし監視しようとする場所に、対向ないし隣接する頂点の間隔を略両眼の間隔とした正多角形の頂点位置に当該正多角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ１ｎ〜１ｗ、１ｎｅ〜１ｎｗを配置し、各カメラが撮影した全方位画像を前記正多角形の各頂点の方向及び各辺の垂直二等分線の方向で切断した領域から、０度〜３６０度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含む領域を選択して繋ぎ合わせることにより、右目用と左目用の全方位の矩形画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像から当該選択された方向の所定の視野角の矩形画像を切出すというものである。
【０００８】
全方位カメラ１ｎ〜１ｗ、１ｎｅ〜１ｎｗで得られる画像は、カメラの数に等しい数の円形ないし環状の全方位画像であり、ユーザに提供される画像は、ユーザが選択した方向の所定の視野角の右目用と左目用との一対の矩形画像である。この発明の方法では、複数の全方位画像をそれぞれその頂点方向と辺の垂直二等分線の方向とで切断して一対の矩形のユーザ画像を生成する。この生成過程における極座標から直交座標への変換は、どの段階ででも行うことができるが、異なるカメラの画像から切断した画像相互の継ぎ目を滑らかな画像の変化に補正するときは、矩形画像に変換した後で補正して繋ぎ合わせる方法が技術的により簡単である。
【０００９】
請求項２の発明に係る全方位双眼立体視画像の生成方法は、切断した扇状のセグメント画像を矩形のセグメント画像に変換して０度〜３６０度の観察方向に対応して、その観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含む矩形のセグメント画像を選択して繋ぎ合わせることにより、右目用と左目用の全方位の矩形画像を生成したあと、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像から当該選択された方向の所定の視野角の矩形画像を切出すというものである。
【００１０】
簡易なシステムでは、ユーザが選択する特定の範囲の観察方向に対して、同一画像で近似することも可能である。この場合には、切断した画像を接続するという操作は週略することが可能である。請求項３に係る全方位双眼立体視画像の生成方法は、切断した扇状のセグメント画像を矩形のセグメント画像に変換して０度〜３６０度の観察方向に対応して、その観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含むセ矩形のグメント画像を選択して右目用と左目用の矩形画像の複数対を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像の複数対から当該選択された方向に最も近い方向の対を選択するというものである。
【００１１】
好ましい方法は、請求項４記載の方法、すなわち、全方位カメラ１ｎ〜１ｗを対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に配置する、請求項１、２又は３記載の全方位双眼立体視画像の生成方法である。この場合、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に、交互に偏倚させて配置するのが好ましい。この方法によれば、少ない数のカメラでかつ隣接するカメラの映像を最少にした矩形画像を生成できる。
【００１２】
同様な他の好ましい方法は、請求項６の方法、すなわち、全方位カメラ１ｎｅ〜１ｎｗを隣接する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に配置した、請求項１、２又は３記載の全方位双眼立体視画像の生成方法である。この方法によれば、少ない数のカメラでかつ隣接するカメラの映像を含まない矩形画像を生成できる。
【００１３】
【発明の実施の形態】
以下、この発明の全方位双眼立体視画像の生成方法を利用した立体画像の送信方法の例を示す添付図面を参照して、この発明の実施形態を説明する。
【００１４】
図１はハードウェア構成図である。図１において、１ｎ、１ｅ、１ｓ及び１ｗは全方位カメラ（アナログ又はディジタルカメラ）、２は画像生成用コンピュータ、３は配信サーバ、４はユーザ端末（表示端末）、５はルータ、６はインターネットである。全方位カメラ１ｎ、１ｅ、１ｓ、１ｗは、水平面上の正四角形の各頂点位置に配置されており、当該正四角形の対向する頂点間の距離は、人間の両目の間隔と略等しい６ｃｍとしてある。これらのカメラのそれぞれは、魚眼レンズないし放物凸面鏡７を備えており、各カメラの光軸を中心とする全方位の画像を撮影する。撮影された画像は、各カメラの結像面に円形の全方位画像を生成する。
【００１５】
画像生成用コンピュータ２は、一般的なコンピュータシステムと同じ構成であり、ＣＰＵ、メインメモリ、入力インタフェイス、ネットワークインタフェイスなどを備えている。画像生成用コンピュータ２は、円形の全方位画像の指定された領域を矩形画像に変換する画像変換手段（演算式やテーブルなど）、生成された複数の矩形画像を所定の順序で接続して全方位を表示する矩形のパノラマ画像を生成するパノラマ画像生成手段及び矩形画像を接続する際に隣接する矩形画像の接続部に生じているずれや歪みを補正する補正手段を備えている。補正手段は、隣接する矩形画像が異なるカメラで撮影された全方位画像を元にして生成されたものであるときは、カメラの設置位置のずれ及び基準方向（図の例ではＮ、Ｅ、Ｓ及びＷ方向）からの角度ずれに基づく矩形画像の周縁部及び接続部の画像データを補正する。
【００１６】
配信サーバ３は、画像生成用コンピュータ２で生成された右目用と左目用の２つのパノラマ画像を保持し、各ユーザ端末から指令されたそれぞれの方向の所定の視野角の矩形領域をそれぞれのパノラマ画像から切り取って、当該ユーザの端末に送信する。
【００１７】
画像生成用コンピュータ２で行われる画像処理が図２に示されている。４個の全方位カメラ１ｎ、１ｅ、１ｓ、１ｗから受信した４個の円形の全方位画像１０ｎ、１０ｅ、１０ｓ、１０ｗは、基準方向を含む円周を８等分する線で切断され、不要部分（図に斜線で示す部分）は捨てられる。残った１６個の扇状のセグメントは、それぞれが矩形画像に変換された後、所定の順序で接続されて左目用と右目用の全方位のパノラマ画像１１Ｌ、１１Ｒが作成される。各セグメントを接続する順序は、全方位画像の扇形のセグメントとパノラマ画像の矩形のセグメントとに図で同一の１Ｌ〜８Ｌ、１Ｒ〜８Ｒの番号を付して示してある。また、全方位画像とパノラマ画像における基準方向及びその中間の方向は、図でＮ、Ｅ、Ｓ、Ｗ及びＮＥ、ＳＥ、ＳＷ、ＮＷで示してある。これらの記号は東西南北及びその中間の方向を示すアルファベット記号となっているが、必ずしもＮが真北を向いている必要はない。前述した補正手段は、パノラマ画像１１の図でＮＥ、ＳＥ、ＳＷ及びＮＷで示す接続部分の画像を補正するのに用いられる。
【００１８】
生成された２つのパノラマ画像１１Ｌ、１１Ｒは、配信サーバ３に送られる。図３は、配信サーバ３で行う画像処理を示した図である。配信サーバ３は、受取った２つのパノラマ画像１１Ｌ、１１Ｒを保持し、各ユーザ端末からの観察方向の選択信号に応じて、右目用と左目用のパノラマ画像から対応する視野角分の画像領域を切り取って、右目用及び左目用の２つの矩形画像を各端末にインターネット６を介して送信する。
【００１９】
ユーザ端末に送信する画像は、例えば観察者がＮ方向を見ている場合、図のＮ方向を０度、右回りを＋方向として、−４５度から０度までの左目の画像は「１Ｌ」を、右目の画像は「１Ｒ」を使用する。０度から＋４５度までの左目の画像は「２Ｌ」を、右目の画像は「２Ｒ」を使用する。同様に、観察者がＥ方向を見ている場合、＋４５度から＋９０度までの左目の画像は「３Ｌ」を、右目の画像は「３Ｒ」を使用する。＋９０度から＋１３５度までの左目の画像は「４Ｌ」を、右目の画像は「４Ｒ」を使用する。
【００２０】
つまり、観察者が見ている方向に対して、視線と直交する方向に離れて設置された２地点のカメラの画像を常に用いて景観を表示するということである。例えば、Ｎ方向とＮＥ方向との間の画像を取得する場合、Ｅ方向よりＮ方向に近いため、そのＮ方向に対して垂直な方向の２地点の画像２Ｌと２Ｒを使用し、Ｅ方向とＮＥ方向との間の画像を取得する場合はＮ方向よりＥ方向に近いため、そのＥ方向に対して垂直な方向の２地点の画像３Ｌと３Ｒを使用する。従って、＋２０度方向の画像を得たい場合、左目の画像は２Ｌから、右目の画像は２Ｒから取得することになる。同様に、＋７５度方向の画像が得たい場合は左目の画像は３Ｌから、右目の画像は３Ｒから取得する。
【００２１】
更に、パノラマ画像の接続部に適正な補正を行うことにより、任意の方向及び視野角の双眼視を実現するための矩形画像をパノラマ画像１１Ｌ、１１Ｒから切出してユーザ端末に送信することができる。
【００２２】
全方位カメラ１ｎ〜１ｗを図１に示すように配置した場合、矩形画像を生成するのに使用する撮影領域２Ｌ、４Ｌ、６Ｌ、８Ｌ及び１Ｒ、３Ｒ、５Ｒ、７Ｒの端に隣接するカメラの一部が映る。この問題は、隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に、交互に偏倚させて配置することで解決できる。即ち、図４に示すように、カメラ１ｎ、１ｓをこれらに隣接するカメラ１ｅ、１ｗに対してカメラ本体に対するレンズの上下位置を上下逆方向し、更に、カメラ１ｎ、１ｓとこれらに隣接するカメラ１ｅ、１ｗとが離隔する光軸方向に、交互に偏倚させて配置する。カメラを交互に偏倚させることにより、図の例では、カメラ１ｎ、１ｓの撮影高さは面ＮＳにあり、カメラ１ｅ、１ｗの撮影高さは面ＥＷにある。そしてこの面ＮＳと面ＥＷとは、隣接するカメラが各カメラの上下方向の視野から外れる間隔だけ離隔させてある。カメラをこの様に配置したときは、カメラ１ｎ、１ｓの画像とカメラ１ｅ、１ｗの画像との間に高さ方向のずれが生ずるが、風景などの遠景の撮影時には、このずれは殆ど問題にならないし、近景のときは画像に高さ補正することにより、ずれを目立たなくすることができる。
【００２３】
図５及び図６は、４個の全方位カメラ１ｎｅ、１ｓｅ、１ｓｗ、１ｎｗを隣接する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に配置したときのカメラ配置と、その４個の円形の全方位画像１０ｎｅ、１０ｓｅ、１０ｓｗ、１０ｎｗから左目用と右目用の全方位のパノラマ画像１１Ｌ、１１Ｒを生成する例を示した図である。図２で説明したように、各全方位画像は基準方向を含む円周を８等分する線で切断され、不要部分（図６に斜線で示す部分）は捨てられ、残った１６個の扇状のセグメントは、それぞれが矩形画像に変換された後、所定の順序で接続されて、パノラマ画像１１Ｌ、１１Ｒを生成する。
【００２４】
カメラは位置をこのようにしたときは、図４のように隣接するカメラ相互を上下逆にしなくても、隣接するカメラが映るのを防止できる。この場合は、各カメラの画像にカメラの間隔に対応する左右方向のずれが生ずるが、遠景の撮影時には、このずれは殆ど問題にならないし、近景のときは画像に横方向の補正をすることにより、ずれを目立たなくすることができる。
【００２５】
なお、上記実施例では、対頂点間隔又は隣接頂点間隔が両目の間隔に略等しい正四角形の各頂点位置に全方位カメラを配置した例を示したが、正三角形、正六角形、正八角形などの頂点位置に全方位カメラを配置して同様な方法により、全方位双眼立体視画像を生成することができる。これらの正多角形は、辺長すなわち隣接するカメラ相互の間隔が両目の間隔となる大きさ、隣接する２つ目のカメラとの間隔が両目の間隔となる大きさ、対向する頂点のカメラ間の間隔が両目の間隔となる大きさ（実施例の場合）など、種々の大きさの多角形とすることが可能である。
【００２６】
また、ユーザ端末が１台ないし数台程度であるときは、全方位をパノラマ画像に変換する代わりに観察者が指定する方向の扇状セグメントのみをその領域の矩形画像に変換して送信するという方法を採用することもできる。
【図面の簡単な説明】
【図１】この発明の方法を用いた全方位双眼立体視画像の配信システムを示すハードウェア構成図
【図２】図１の画像生成用コンピュータでの画像処理を示す説明図
【図３】図１の配信サーバでの画像処理を示す説明図
【図４】図１の例におけるカメラ配置の他の例を示した図
【図５】４個のカメラを隣接頂点間隔を略両目の間隔とした正四角形の頂点位置に配置したときカメラ配置の例を示した図
【図６】図５のカメラ配置での画像処理を示す説明図
【符号の説明】
１ｎ，１ｅ，１ｓ，１ｗ，１ｎｅ，１ｓｅ，１ｓｗ，１ｎｗ　全方位カメラ
１０ｎ，１０ｅ，１０ｓ，１０ｗ，１０ｎｅ，１０ｓｅ，１０ｓｗ，１０ｎｗ　各全方位カメラの円形の全方位画像
１１Ｌ，１１Ｒ　左目用と右目用の矩形の全方位画像

Claims

対向ないし隣接する頂点の間隔を略両眼の間隔とした正多角形の頂点位置に当該正多角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ（１ｎ〜１ｗ，１ｎｅ〜１ｎｗ）を配置し、各カメラが撮影した全方位画像を前記正多角形の各頂点の方向及び各辺の垂直二等分線の方向で切断したセグメント画像から、０度〜３６０度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含むセグメントを選択して繋ぎ合わせることにより、右目用と左目用の全方位画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の全方位画像から当該選択された方向の所定の視野角の矩形画像を切出すことを特徴とする、全方位双眼立体視画像の生成方法。
対向ないし隣接する頂点の間隔を略両眼の間隔とした正多角形の頂点位置に当該正多角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ（１ｎ〜１ｗ，１ｎｅ〜１ｎｗ）を配置し、各カメラが撮影した円形の全方位画像の前記正多角形の各頂点の方向及び各辺の垂直二等分線の方向で切断した扇状の領域を矩形のセグメント画像に変換し、０度〜３６０度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含むセグメントを繋ぎ合わせることにより、右目用と左目用の矩形の全方位画像を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の全方位画像から当該選択された方向の所定の視野角の矩形画像を切出すことを特徴とする、全方位双眼立体視画像の生成方法。
対向ないし隣接する頂点の間隔を略両眼の間隔とした正多角形の頂点位置に当該正多角形の面と直交する軸回りの全方位の画像を撮影する全方位カメラ（１ｎ〜１ｗ，１ｎｅ〜１ｎｗ）を配置し、各カメラが撮影した全方位画像を前記正多角形の各頂点の方向及び各辺の垂直二等分線の方向で切断した扇状の領域を矩形のセグメント画像に変換し、０度〜３６０度の観察方向に対応してその観察方向と直交する方向に両目の間隔と最も近い間隔で離れている一対のカメラの当該視線の方向を含む一対のセグメント画像で右目用と左目用の矩形画像の複数対を生成し、観察者が観察方向を選択したときに、前記左目用と右目用の矩形画像の複数対から当該選択された方向に最も近い方向の対を選択することを特徴とする、全方位双眼立体視画像の生成方法。
全方位カメラ（１ｎ〜１ｗ）を対向する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に配置した、請求項１、２又は３記載の全方位双眼立体視画像の生成方法。
隣接するカメラ相互のカメラ本体に対するレンズの上下位置を上下逆方向にすると共に、カメラ相互が離隔する光軸方向に、交互に偏倚させて配置した、請求項４記載の全方位双眼立体視画像の生成方法。
全方位カメラ（１ｎｅ〜１ｎｗ）を隣接する頂点の間隔を略両眼の間隔とした正四角形の頂点位置に配置した、請求項１、２又は３記載の全方位双眼立体視画像の生成方法。