JP2001204015A

JP2001204015A - 周囲カメラ・システム、周囲カメラの撮像画像に基づいて周囲画像を生成する方法、隣接カメラによる撮像画像の接続処理装置及び方法、並びに、隣接カメラを用いた距離測定装置及び方法

Info

Publication number: JP2001204015A
Application number: JP2000013911A
Authority: JP
Inventors: Jiyunichi Rekimoto; 純一暦本; Shigeru Tajima; 茂田島; Nobuyuki Matsushita; 伸行松下; Yuji Ayatsuka; 祐二綾塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-01-18
Filing date: 2000-01-18
Publication date: 2001-07-27

Abstract

(57)【要約】【課題】略全周囲の風景画像を撮像することができる
周囲カメラを提供する。【解決手段】周囲カメラは、正十二面体のような多面
体の各構成面上に１台ずつカメラを搭載してなり、各々
のカメラによって全周囲にわたる撮像画像が得られる。
隣り合うカメラの撮像画像同士を順次接続していくこと
で、１枚の全周囲画像が得られる。但し、各カメラの投
影中心が完全に一致するように周囲カメラを組み立てる
ことはできない。そこで、撮像画像同士を接続するとき
には、被写体の遠近に応じて、隣接する撮像画像同士の
接続位置を動的に調整することで、画像間の境界付近で
の途切れや継ぎ目をなくし、滑らかな周囲風景を生成す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザの周囲の風
景画像を提供する周囲カメラ・システムに係り、特に、
撮像方向が異なる複数のカメラによる撮像画像に基づい
てユーザの周囲の風景画像を提供する周囲カメラ・シス
テムに関する。

【０００２】更に詳しくは、本発明は、複数のカメラを
例えば正十二面体のような多面体の各構成面上に配設し
てなる周囲カメラ・システムに係り、特に、各カメラの
撮像画像間の途切れを好適に接続して滑らかな風景画像
を提供することができる周囲カメラ・システムに関す
る。

【０００３】

【従来の技術】ユーザの周囲の風景画像を提供する装置
として全周囲カメラが知られている。この種の周囲カメ
ラ・システムは、例えば正十二面体のような多面体の構
成面の各々にカメラを設置して構成される。このような
場合、各カメラの撮像画像同士をうまく接続することに
よって、個々のカメラの視野よりもはるかに広い領域の
画像を、あたかも単一のカメラで撮像したかの如くに提
供することができる。

【０００４】周囲カメラ・システムによる撮像画像の用
途として、例えばＨＭＤ（ヘッド・マウント・ディスプ
レイ）及びＨＴ（ヘッド・トラッカ）で構成される画像
表示システムが挙げられる。ＨＭＤは、一般に眼鏡状の
構造を有し、眼鏡の左右各レンズに相当する部位に小型
ディスプレイが配設され、ユーザの頭部に搭載して用い
られる。また、ＨＴも、ユーザの頭部に取り付けられ、
ジャイロ・センサのような位置・姿勢検出機構を用いて
該頭部の動きを追跡することができる。ＨＭＤ及びＨＴ
を組み合わせた画像表示システムによれば、ユーザが首
を振るなど頭部の運動（すなわち目線の方向）に合致し
た周囲画像をユーザの両眼に直接供給することができ
る。

【０００５】ＨＭＤに関しては、例えば、本出願人に既
に譲渡されている特開平１１−２７５６０５号公報に開
示されている。同公報に記載のヘッド・マウント・ディ
スプレイによれば、フィールド毎に切り替わるフィール
ド判別信号が含まれていない映像信号を左右の各目に対
応するＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓ
ｐｌａｙ）パネルに映像を映し出すときに、映像信号の
同期信号に同期して切り替わるフィールド判別制御信号
を生成させ、このフィールド判別制御信号は左右のＬＣ
Ｄパネルに映し出される左右の映像信号を交互に切り替
えるようにして立体視できる映像を発生させることがで
きる。

【０００６】周囲カメラの他の用途としては、所定の設
置場所から比較的広い範囲を偵察しなければならない監
視装置などが挙げられる。

【０００７】また、多面体の各々の構成面上に１台ずつ
カメラを設けることで構成される周囲カメラ・システム
に関しては、例えば、米国特許第５，０２３，７２５号
明細書や同特許第５，７０３，６０４号明細書に開示さ
れている。これらの米国特許では、１２個の正５角形で
構成される正十二面体（Ｄｏｄｅｃａｈｅｄｒｏｎ）を
用いて構成される周囲カメラ・システムが開示されてい
る。

【０００８】上記したように、複数のカメラからなる周
囲カメラ・システムは、隣り合うカメラの撮像画像の境
界同士をうまく接続することによって、個々のカメラの
視野よりもはるかに広い領域の画像を、あたかも単一の
広角度カメラで撮像したかのような画像を生成する画像
処理を行う。また、視野角の広いレンズを用いればカメ
ラは広範囲を撮像することができるが、その分だけ解像
度が低下して細部が見えづらくなる。これに対し、周囲
カメラ・システムによれば、広範囲の撮像画像を高解像
度のまま提供することができる。撮像画像の貼り合わせ
処理を簡素化する便宜上、各カメラを搭載するための多
面体は、正多角形を構成面とする正多面体であることが
好ましい。

【０００９】ところで、実在するカメラの多くは、ピン
ホールカメラ・モデルによる中心投影を行う。中心投影
とは、投影中心と３次元物体表面の点とを結ぶ直線
（「視線」とも言う）とカメラの投影スクリーンとの交
点に物体表面の点の色濃度値を配置していくことで、投
影画像を形成する。中心投影では、同じ大きさの物体で
あっても、カメラの投影中心に近づくにつれて大きな像
として投影され、逆に、投影中心から遠ざかるにつれて
小さく投影される性質を持つ。

【００１０】また、ピンホールカメラ・モデルでは、同
じ視線上の点は、カメラの投影中心からの距離の遠近に
拘らず、投影スクリーン（すなわち撮像面）上の同じ位
置に投影される性質を持つ。したがって、隣り合うカメ
ラの撮像画像を、互いのカメラの投影中心が一致するよ
うに配設することによって、各カメラ間で視線を共有す
ることになる。この結果、異なるカメラを用いながら、
事実上、単一のカメラで同じ場所から眺めていることに
等しくなる。すなわち、隣り合うカメラにおいて重なり
合う撮像領域において、任意の場所を画像間の境界とし
て指定しても、撮像画像同士は滑らかに接続される。

【００１１】例えば、図１に示すように、カメラの投影
中心Ｃを共有する３台の隣接するカメラ＃１、＃２、及
び＃３が配設されているとする。視線方向Ｐ上にある物
体が存在するならば、物体表面上の同じ場所が、投影中
心Ｃから離れた位置Ｓ１又は近い位置Ｓ２のいずれにあ
ったとしても、カメラ＃１及びカメラ＃２の各々の撮像
面上では同じ位置で撮像される。したがって、カメラ＃
１及び＃２の視野が重なり合う領域内で互いの撮像画像
の境界を任意に取り決めることよって、継ぎ目の判らな
い滑らかな画像間接続を行うことができる。そして、こ
のような滑らかな画像接続を、全ての隣接カメラ同士の
撮像画像間で行うことによって、継ぎ目のない全周囲に
わたる１枚の撮像画像を得ることができる。

【００１２】例えば、図１において、任意の視線方向Ｐ
に相当する線分をカメラ＃１及びカメラ＃２の撮像画像
同士の境界線として設定したとしても、該境界線よりも
紙面左側の物体表面はカメラ＃１による撮像画像が用い
られ、且つ、該境界線よりも紙面右側の物体表面はカメ
ラ＃２による撮像画像が用いられることになり、両撮像
画像は滑らかに接続される。

【００１３】しかしながら、現実には、各カメラは容積
を持つので、撮像中心がただ１つの点に集中するように
複数のカメラを配設することはそもそも物理的に不可能
である。また、３以上のカメラの撮像中心が３次元空間
上で一致するように組み立てることも、極めて困難な作
業を必要とする。

【００１４】図２に示すように、各々のカメラ＃１、＃
２、及び＃３の投影中心Ｃ１、Ｃ２、Ｃ３を離間して配
置した場合には、物体表面上の同じ場所であっても、視
線を共有することはできない。

【００１５】図２において、直線Ｂをカメラ＃１及びカ
メラ＃２それぞれの撮像画像同士の境界線として設定し
たとする。このような場合、物体表面上の同じ場所が該
境界線Ｂ上にあったとしても、各々のカメラ＃１及び＃
２からの距離に応じて各撮像画像に現れる位置は変わっ
てしまう。

【００１６】例えば、カメラ＃１の撮像画像上では、物
体表面が遠い位置Ｓ１にあるときにはＡ１に、近い位置
Ｓ２にあるときにはＡ２に現れる。同様に、カメラ＃２
の撮像画像上では、物体表面が遠い位置Ｓ１にあるとき
にはＢ１に、近い位置Ｓ２にあるときにはＢ２に現れ
る。

【００１７】したがって、同じ境界線Ｂを隣接画像間の
接続位置として採用する場合であっても、物体が遠い距
離Ｓ１にあるときには、Ａ１及びＢ１で撮像画像同士を
接続しなければならないし、物体が近い距離Ｓ２にある
ときにはＡ２及びＢ２で撮像画像同士を接続しなければ
ならない。すなわち、撮像した物体（すなわち被写体）
の遠近に応じて、隣接する撮像画像同士の接続位置を動
的に調整しなければ、境界付近で接続する画像が途切れ
てしまい、滑らかな周囲風景を生成することができな
い。画像の途切れは、実際には、接続する画素間の濃淡
の極端な相違として現れる。この結果、周囲画像上に
は、原画像間の継ぎ目が映ってしまう。

【００１８】

【発明が解決しようとする課題】本発明の目的は、撮像
方向が異なる複数のカメラによる撮像画像に基づいてユ
ーザの周囲の風景画像を提供する、優れた周囲カメラ・
システムを提供することにある。

【００１９】本発明の更なる目的は、複数のカメラを例
えば正十二面体のような多面体の各構成面上に配設して
なる、優れた周囲カメラ・システムを提供することにあ
る。

【００２０】本発明の更なる目的は、各カメラの撮像画
像間の途切れを好適に接続して滑らかな風景画像を提供
することができる、優れた周囲カメラ・システムを提供
することにある。

【００２１】本発明の更なる目的は、投影中心が一致し
ない複数のカメラを多面体の各構成面上に配設して、各
カメラの撮像画像同士を接続して滑らかな周囲画像を得
ることができる、優れた周囲カメラ・システムを提供す
ることにある。

【００２２】本発明の更なる目的は、投影中心が一致し
ない複数のカメラを多面体の各構成面上に配設して、各
カメラの撮像画像同士の接続位置を動的に調整して、境
界付近で画像が途切れることがない滑らかな周囲画像を
得ることができる、優れた周囲カメラ・システムを提供
することにある。

【００２３】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、複数の
構成面からなる多面体フレームと、少なくとも２以上の
構成面上に各１台ずつ搭載された複数のカメラと、隣接
するカメラの撮像画像同士を接続して周囲画像を生成す
る手段と、を具備し、前記周囲画像生成手段は、被写体
までの距離に応じた画像同士の貼り合わせ位置を決定す
る処理と、該貼り合わせ位置における接続画素間の画素
値の差分を算出する処理と、接続画素間における画素値
の差分の合計が最小となる貼り合わせ位置を最適な貼り
合わせ位置として決定する処理と、各隣接画像毎に決定
された最適な貼り合わせ位置に従って、隣接画像同士を
接続して周囲画像を貼り合わせる処理と、を実行するこ
とを特徴とする周囲カメラ・システムである。

【００２４】本発明の第１の側面に係る周囲カメラ・シ
ステムにおいて、前記多面体フレームの各構成面は略正
多角形であってもよく、また、前記多面体フレームは略
正多面体であってもよい。正多面体フレームとして、例
えば、１２個の略正５角形で構成される正十二面体（Ｄ
ｏｄｅｃａｈｅｄｒｏｎ）や、１２個の略平行四辺形で
構成される略正十二面体（ＲｈｏｍｂｉｃＤｏｄｅｃ
ａｈｅｄｒｏｎ）を適用することができる。

【００２５】また、本発明の第２の側面は、複数の構成
面からなる多面体フレームと、少なくとも２以上の構成
面上に各１台ずつ搭載された複数のカメラとで構成され
る周囲カメラの撮像画像に基づいて周囲画像を生成する
方法であって、（ａ）被写体までの距離に応じた画像同
士の貼り合わせ位置を決定するステップと、（ｂ）該貼
り合わせ位置における接続画素間の画素値の差分を算出
するステップと、（ｃ）接続画素間における画素値の差
分の合計が最小となる貼り合わせ位置を最適な貼り合わ
せ位置として決定するステップと、（ｄ）各隣接画像毎
に決定された最適な貼り合わせ位置に従って、隣接画像
同士を接続して周囲画像を貼り合わせるステップと、を
具備することを特徴とする周囲カメラの撮像画像に基づ
いて周囲画像を生成する方法である。

【００２６】本発明の第２の側面に係る周囲画像生成方
法において、前記多面体フレームの各構成面は略正多角
形であってもよく、また、前記多面体フレームは略正多
面体であってもよい。正多面体フレームとして、例え
ば、１２個の略正５角形で構成される正十二面体（Ｄｏ
ｄｅｃａｈｅｄｒｏｎ）や、１２個の略平行四辺形で構
成される略正十二面体（ＲｈｏｍｂｉｃＤｏｄｅｃａ
ｈｅｄｒｏｎ）を適用することができる。

【００２７】また、本発明の第３の側面は、撮像領域が
重なり合う隣接カメラによる撮像画像同士を接続する接
続処理装置又は方法であって、（ａ）被写体までの距離
に応じた画像同士の貼り合わせ位置を決定する手段又は
ステップと、（ｂ）該貼り合わせ位置における接続画素
間の画素値の差分を算出する手段又はステップと、
（ｃ）接続画素間における画素値の差分の合計が最小と
なる貼り合わせ位置を最適な貼り合わせ位置として決定
する手段又はステップと、を具備することを特徴とする
隣接カメラによる撮像画像の接続処理装置又は方法であ
る。

【００２８】また、本発明の第４の側面は、撮像領域が
重なり合う隣接カメラの撮像画像を用いて被写体までの
距離を測定する距離測定装置又は方法であって、（ａ）
被写体までの距離に応じた画像同士の貼り合わせ位置を
決定する手段又はステップと、（ｂ）該貼り合わせ位置
における接続画素間の画素値の差分を算出する手段又は
ステップと、（ｃ）接続画素間における画素値の差分の
合計が最小となる貼り合わせ位置に対応する距離を被写
体が現実に存在する位置として決定する手段又はステッ
プと、を特徴とする隣接カメラを用いた距離測定装置又
は方法である。

【００２９】

【作用】本発明に係る周囲カメラは、正十二面体のよう
な多面体の各構成面上に１台ずつカメラを搭載してな
り、各々のカメラによって全周囲にわたる撮像画像が得
られる。そして、隣り合うカメラの撮像画像同士を順次
接続していくことで、１枚の全周囲画像が得られる。

【００３０】但し、各カメラの投影中心が完全に一致す
るように周囲カメラを組み立てることはできない。

【００３１】そこで、隣接する撮像画像同士を接続する
ときには、被写体までの距離を順次探索して、撮像画像
間の境界の画素同士が最も滑らかに接続される距離を被
写体までの現実の距離として認識・特定して、画像の接
続処理を行う。濃淡などの画素値の差分が少ない画素同
士は連続的であり、隣接画像同士は継ぎ目なく滑らかに
接続される。

【００３２】すなわち、被写体の遠近に応じて、隣接す
る撮像画像同士の接続位置を動的に調整することで、画
像間の境界付近での途切れや継ぎ目をなくし、滑らかな
周囲風景を生成することができる訳である。

【００３３】また、隣接する撮像画像同士の接続処理の
際に、被写体までの距離を特定する。言い換えれば、周
囲カメラを、特定の被写体までの距離を測定する距離測
定装置として利用することも可能である。例えば、不審
な侵入者などの被写体を監視しなければならない監視装
置においては、比較的広範囲にわたって侵入者の動きを
撮像するだけでなく、その距離をも特定することができ
る。

【００３４】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００３５】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００３６】図３には、多面体の各構成面上にカメラを
配設して構成される周囲カメラ１の外観を示している。

【００３７】同図に示すように、周囲カメラ１は、１２
個の略正５角形の構成面からなる略正十二面体（Ｄｏｄ
ｅｃａｈｅｄｒｏｎ）形状のフレーム５と、該フレーム
５の各面上に１台ずつ配備された複数のカメラ１０Ａ，
１０Ｂ，１０Ｃ…で構成される。各カメラ１０Ａ…は、
周囲の風景のうち、それぞれが担当する領域を撮像して
周囲画像の一部として供給することができる。

【００３８】各カメラ１０Ａ…は、投影中心を持つピン
ホール・タイプのカメラであり、例えば、素子表面にマ
イクロレンズを組み込んだＣＣＤ（ＣｈａｒｇｅＣｏ
ｕｐｌｅｄｄｅｖｉｃｅ：電荷結合素子）カメラでよ
い。ここで、ＣＣＤとは、ＭＯＳ（ＭｅｔａｌＯｘｉ
ｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型電極をチェーン
のように配設して構成される集積回路のことであり、半
導体表面の電荷をある電極から次の電極へと順次転送す
る機能を利用して、撮像した画像データを出力するよう
になっている。

【００３９】正十二面体のフレーム５上に、撮像方向を
外向きにして各カメラ１０Ａ…を設置することで、それ
ぞれのカメラ１０Ａ…の投影中心はフレーム５内で近接
するように配置される。但し、各々のカメラの容積や組
立精度などの問題により、全ての投影中心が略一致する
ことは非現実的である。

【００４０】なお、フレーム５の全ての構成面上にカメ
ラ１０を配備する必要はない。例えば、フレーム５の底
面に相当する構成面は台座１５のために予約されてい
る。台座１５の一側面からは、各カメラ１０Ａ…による
撮像画像データを外部出力するためのケーブル類が接続
されている。

【００４１】また、複数のカメラ１０Ａ，１０Ｂ…を搭
載するためのフレーム５は、必ずしも正５角形を構成面
とする正十二面体である必要はなく、ほとんど全周囲に
渡ってカメラ１０Ａ…の撮像方向を設定することができ
る正多面体であればよい。例えば、図１１に示すよう
な、１２個の略平行四辺形で構成される略正十二面体
（ＲｈｏｍｂｉｃＤｏｄｅｃａｈｅｄｒｏｎ）をフレ
ーム５の外形として採用することもできる。

【００４２】図４には、周囲カメラ１による複数の撮像
画像を処理するためのデータ処理システム５０の構成を
模式的に示している。同図に示すように、データ処理シ
ステム５０は、ビデオ記録再生装置５１と、ビデオ・キ
ャプチャ装置５２と、コンピュータ・システム５３とで
構成される。

【００４３】ビデオ記録再生装置５１は、周囲カメラ１
を構成する各カメラ１０Ａ，１０Ｂ…が出力する撮像画
像を磁気テープや磁気ディスク、光ディスクなどの記録
媒体上にアナログ記録することができる。

【００４４】ビデオ・キャプチャ装置５２は、ビデオ記
録再生装置５１において蓄積された各カメラ１０Ａ，１
０Ｂ…の撮像画像を、アナログ−デジタル変換するとと
もに、コンピュータ・データとして所定のフォーマッテ
ィング処理を施すことができる。ビデオ・キャプチャ装
置５２は、一般には、いわゆる「アダプタ・カード」の
形式で構成され、コンピュータのマザーボード上の拡張
スロットに装着して用いることができる。

【００４５】コンピュータ・システム５３は、ビデオ・
キャプチャ装置５２から各カメラ１０Ａ，１０Ｂ…の撮
像画像の供給を受けて、隣接する撮像画像同士の接続処
理を行う。

【００４６】コンピュータ・システム５３は、例えばワ
ークステーション（ＷＳ）又はパーソナル・コンピュー
タ（ＰＣ）と呼ばれる市販のコンピュータ・システムで
よい。上記の画像同士の接続処理は、コンピュータ上で
所定の画像処理アプリケーションを実行するという形態
で具現することができるが、その処理手順の詳細は後述
に譲る。

【００４７】コンピュータ・システム５３は、各カメラ
１０Ａ，１０Ｂ…から供給された撮像画像の接続処理を
繰り返すことで、周囲カメラ１を囲む略全周囲の風景画
像を生成することができる。このような全周囲画像を、
例えば、コンピュータ・システム５３上のローカル・デ
ィスクに蓄積しておき、適宜読み出して、ディスプレイ
・スクリーン上に提示することができる。また、このよ
うな全周囲画像を例えばＨＭＤ（ヘッド・マウント・デ
ィスプレイ）及びＨＴ（ヘッド・トラッカ）で構成され
る画像表示システム（［従来の技術］の欄を参照のこ
と）に供給することができる。あるいは、生成された全
周囲画像を、監視装置による広範囲にわたる監視画像と
して用いることもできる。

【００４８】また、図４には図示しないが、コンピュー
タ・システム５３は、ネットワーク・インターフェース
・カードを装備することによって、Ｅｔｈｅｒｎｅｔや
ＢｌｕｅｔｏｏｔｈなどのＬＡＮ（ＬｏｃａｌＡｒｅ
ａＮｅｔｗｏｒｋ）に接続して、他のホスト・システ
ムと双方向通信を行うことができる。また、ＬＡＮはさ
らにインターネットのような広域ネットワークにゲート
ウェイ接続されていてもよい。

【００４９】このような場合、コンピュータ・システム
５３は、ＦＴＰ（ＦｉｌｅＴｒａｎｓｆｅｒＰｒｏ
ｔｏｃｏｌ）などの通信プロトコルに従って各種のアプ
リケーションをＷｅｂサイトなどからダウンロードする
ことができる。また、コンピュータ・システム５３は、
自らもＷｅｂサイトとして、生成した全周囲画像を無料
若しくは有料で配信サービスすることができる。

【００５０】なお、コンピュータ・システム５３の一例
は、米ＩＢＭ社のＰＣ／ＡＴ（ＰｅｒｓｏｎａｌＣｏ
ｍｐｕｔｅｒ／ＡｄｖａｎｃｅｄＴｅｃｈｎｏｌｏｇ
ｙ）互換機又はその後継機であり、ＯＡＤＧ（ＰＣＯ
ｐｅｎＡｒｃｈｉｔｅｃｔｕｒｅＤｅｖｅｌｏｐｅ
ｒｓＧｒｏｕｐ）仕様に準拠する。

【００５１】次いで、コンピュータ・システム５３上で
行われる隣接画像の接続処理手順について説明する。

【００５２】本実施例に係る周囲カメラ１の場合、周囲
画像の一部を提供する各カメラ１０Ａ，１０Ｂ…の投影
中心が一致しない。この結果、図２を参照しながら既に
説明したように、隣接する撮像画像同士を接続するため
にある境界線Ｂを設定したとしても、境界線Ｂ上の点
は、各々のカメラ１０Ａ，１０Ｂ…からの距離に応じて
異なった場所に結像される。すなわち、撮像画像上に現
れた物体（すなわち被写体）とカメラ１０Ａ，１０Ｂ…
との距離に応じて、隣接画像間の接続画素は動的に変動
てしまう。（図２に示す例では、被写体が遠い位置Ｓ１
にあるときには、カメラ＃１の画素Ａ１とカメラ＃２の
画素Ｂ１が接続画素となり、被写体が近い距離Ｓ２にあ
るときには、カメラ＃１の画素Ａ２とカメラ＃２の画素
Ｂ２が接続画素となる。）

【００５３】このことを言い換えれば、被写体の距離さ
え判れば、隣接する撮像画像同士に接続位置が一意に定
まる訳である。本実施例では、このような仕組みを活用
して、隣接するカメラ１０Ａ，１０Ｂ…の境界線上で接
続位置を線形的に探索しながら、両撮像画像の接続が最
も滑らかになる場所を特定するものである。また、最も
滑らかに両画像間が接続される位置に相当する被写体距
離は、周囲カメラ１から被写体までの実際の距離でもあ
る。

【００５４】図５には、隣接するカメラ１０Ａ…の撮像
画像同士を接続するための処理手順をフローチャートの
形式で示している。以下、このフローチャートを参照し
ながら説明する。

【００５５】該処理ルーチンを開始するに先立ち、各変
数の初期化処理を行っておく。例えば、周囲カメラ１か
ら被写体までの設定距離Ｌを最小値に設定するととも
に、最小差分Ｄに充分大きな値を代入しておく（ステッ
プＳ１０）。

【００５６】ステップＳ１１で形成される閉ループで
は、周囲カメラ１から被写体までの設定距離Ｌを、計測
可能な最小値から最大値に向かって順次変化させていき
ながら、設定距離において隣接する画像同士の接続処理
を試みる。但し、該閉ループの繰り返し処理において、
設定距離の増分ΔＬは、例えば等差級数であっても等比
級数であってもよい。

【００５７】次いでステップＳ１２では、設定距離Ｌに
おける隣接画像同士の接続位置を決定する。

【００５８】図６には、周囲カメラ１と被写体との設定
距離Ｌに応じて、カメラ＃１及びカメラ＃２の撮像画像
同士の接続位置を決定する様子を図解している。ここ
で、カメラ＃１及び＃２の各撮像画像は、所定の境界線
Ｂ上で接続するものとする。例えば、周囲カメラ１から
の被写体までの設定距離Ｌ１であれば、カメラ＃１の画
素Ａ１とカメラ＃２の画素Ｂ１が接続位置として決定さ
れる。また、周囲カメラ１からの被写体までの設定距離
Ｌ２であれば、カメラ＃１の画素Ａ２とカメラ＃２の画
素Ｂ２が接続位置として決定される。

【００５９】次いで、ステップＳ１３では、接続位置に
おける画素間の画素値の差分を算出する。

【００６０】例えば、図７に示すように、周囲カメラ１
と被写体との設定距離Ｌ上に被写体が存在するような場
合には、カメラ＃１及びカメラ＃２それぞれの撮像画像
における接続位置の画素Ａ_L及びＢ_Lは同じ場所を撮像す
ることになる。したがって、各カメラ＃１及び＃２の撮
像画像は接続位置において連続的すなわち滑らかに接続
されており、画素Ａ_L及びＢ_Lの画素値は略同一となる。

【００６１】これに対し、周囲カメラ１と被写体との設
定距離Ｌ上に被写体が存在しない場合には、図８に示す
ように、カメラ＃１及びカメラ＃２それぞれの撮像画像
における接続位置の画素Ａ_L及びＢ_Lは異なる場所を撮像
することになる。したがって、各カメラ＃１及び＃２の
撮像画像は接続位置において不連続となって、画素Ａ_L
及びＢ_L間では画素値に差分が生じることになる。

【００６２】図７及び図８は、隣接する撮像画像間の境
界線上における任意の一画素に着目して図解したもので
ある。すなわち、実際には、図９に示すように、両撮像
画像間は、境界線上に配列される複数の画素で接続され
ている。

【００６３】そこで、ステップＳ１４では、両撮像画像
間の境界線上における全画素の差分の合計値を求める。
さらに、算出された差分の合計値が最小差分Ｄと大小比
較する。

【００６４】もし、合計した差分値が最小差分Ｄよりも
小さいならば、ステップＳ１５に進んで、最小差分Ｄに
現在算出された差分合計値を代入するとともに、現在の
被写体までの距離Ｌを最適距離Ｌ_appに代入する。

【００６５】そして、ステップＳ１１に戻り、設定距離
Ｌを増分して、上記と同様の処理を繰り返し実行する。

【００６６】このような閉ループ処理を、設定距離Ｌが
最大値に到達するまで実行する。この処理の結果、該処
理ルーチンの戻り値として最適距離Ｌ_appが出力され
る。この最適距離Ｌ_appは、両撮像画像の接続が最も滑
らかになる貼り合わせ場所を特定するものである。

【００６７】このようにして、周囲カメラ１の各隣接カ
メラ１０Ａ，１０Ｂ…毎に求められた最適な貼り合わせ
場所に従って、各々の隣接画像同士を接続していくこと
で、周囲画像を生成することができる。生成された周囲
画像は、例えばＨＭＤ（ヘッド・マウント・ディスプレ
イ）及びＨＴ（ヘッド・トラッカ）で構成される画像表
示システム（［従来の技術］の欄を参照のこと）に供給
される。

【００６８】また、最適距離Ｌ_appは周囲カメラ１から
被写体までの距離に相当する。言い換えれば、周囲カメ
ラ１の他の用途として、被写体の距離測定装置に適用す
ることができる。

【００６９】例えば、本実施例に係る周囲カメラ１を防
犯カメラのような監視装置として利用した場合には、監
視領域内で広角にわたって動き回る不審な侵入者の映像
を、複数のカメラ１０Ａ，１０Ｂ…にまたがって連続的
な画像として捉えることができるだけでなく、該不審者
等までの距離を把握することができる（図１０を参照の
こと）。

【００７０】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。すなわち、例示とい
う形態で本発明を開示してきたのであり、限定的に解釈
されるべきではない。本発明の要旨を判断するために
は、冒頭に記載した特許請求の範囲の欄を参酌すべきで
ある。

【００７１】

【発明の効果】以上詳記したように、本発明によれば、
撮像方向が異なる複数のカメラによる撮像画像に基づい
てユーザの周囲の風景画像を提供する、優れた周囲カメ
ラ・システムを提供することができる。

【００７２】また、本発明によれば、複数のカメラを例
えば正十二面体のような多面体の各構成面上に配設して
なる、優れた周囲カメラ・システムを提供することがで
きる。

【００７３】また、本発明によれば、各カメラの撮像画
像間の途切れを好適に接続して滑らかな風景画像を提供
することができる、優れた周囲カメラ・システムを提供
することができる。

【００７４】また、本発明によれば、投影中心が一致し
ない複数のカメラを多面体の各構成面上に配設して、各
カメラの撮像画像同士を接続して滑らかな周囲画像を得
ることができる、優れた周囲カメラ・システムを提供す
ることができる。

【００７５】また、本発明によれば、投影中心が一致し
ない複数のカメラを多面体の各構成面上に配設して、各
カメラの撮像画像同士の接続位置を動的に調整して、原
画像間の境界付近で画像が途切れることがない滑らかな
周囲画像を得ることができる、優れた周囲カメラ・シス
テムを提供することができる。

【図面の簡単な説明】

【図１】図１は、投影中心が一致する複数の隣接カメラ
を用いて物体を撮像する様子を示すとともに、各カメラ
による撮像画像同士を滑らかに接続する仕組みを説明す
るための図である。

【図２】投影中心が一致しない複数の隣接カメラを用い
て物体を撮像する様子を示すとともに、各カメラによる
撮像画像同士を滑らかに接続するためには物体との距離
に応じて接続位置を調整する必要があることを説明する
ための図である。

【図３】多面体の各構成面上にカメラを１台ずつ配設し
て構成される周囲カメラ１の外観を描写した図である。

【図４】周囲カメラ１による複数の撮像画像を処理する
ためのデータ処理システム５０の構成を模式的に示した
図である。

【図５】隣接するカメラ１０Ａ…の撮像画像同士を接続
するための処理手順を示したフローチャートである。

【図６】周囲カメラ１と被写体との設定距離Ｌに応じた
画像の接続位置を決定する様子を示した図である。

【図７】周囲カメラ１と被写体との設定距離Ｌ上に被写
体が存在する場合、各カメラ＃１及び＃２の撮像画像の
接続位置において連続的であり、接続位置の各画素Ａ_L
及びＢ_Lの画素値が略同一になることを説明するための
図である。

【図８】周囲カメラ１と被写体との設定距離Ｌ上に被写
体が存在しない場合、各カメラ＃１及び＃２の撮像画像
が接続位置において不連続であり、接続位置の画素Ａ_L
及びＢ_L間で画素値の差分が生じることを説明するため
の図である。

【図９】隣接する撮像画像同士を接続する様子を描写し
た図である。

【図１０】周囲カメラ１を防犯カメラに適用した例を描
写した図である。

【図１１】１２個の平行四辺形で構成される正十二面体
（ＲｈｏｍｂｉｃＤｏｄｅｃａｈｅｄｒｏｎ）を示し
た図である。

【符号の説明】

１…周囲カメラ５…フレーム１０…ＣＣＤカメラ１５…台座５０…データ処理システム５１…ビデオ記録再生装置５２…ビデオ・キャプチャ装置５３…コンピュータ・システム

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０３Ｂ 37/00 Ｇ０３Ｂ 37/00 ＡＨ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｃ (72)発明者松下伸行東京都品川区東五反田３丁目14番13号株式会社ソニーコンピュータサイエンス研究所内 (72)発明者綾塚祐二東京都品川区東五反田３丁目14番13号株式会社ソニーコンピュータサイエンス研究所内Ｆターム(参考） 2F065 AA06 BB05 CC16 FF05 FF09 JJ03 JJ05 JJ26 QQ00 QQ03 QQ24 QQ25 QQ27 QQ28 QQ38 SS02 SS13 2H059 BA11 5C022 AA01 AB61 AB68 AC42 AC69 AC77 AC78 5C054 FD02 FE11 HA01 HA18

Claims

【特許請求の範囲】

【請求項１】複数の構成面からなる多面体フレームと、少なくとも２以上の構成面上に各１台ずつ搭載された複
数のカメラと、隣接するカメラの撮像画像同士を接続して周囲画像を生
成する手段と、を具備し、前記周囲画像生成手段は、被写体までの距離に応じた画像同士の貼り合わせ位置を
決定する処理と、該貼り合わせ位置における接続画素間の画素値の差分を
算出する処理と、接続画素間における画素値の差分の合計が最小となる貼
り合わせ位置を最適な貼り合わせ位置として決定する処
理と、各隣接画像毎に決定された最適な貼り合わせ位置に従っ
て、隣接画像同士を接続して周囲画像を貼り合わせる処
理と、を実行することを特徴とする周囲カメラ・システ
ム。
【請求項２】前記多面体フレームの各構成面は略正多角
形であることを特徴とする請求項１に記載の周囲カメラ
・システム。
【請求項３】前記多面体フレームは略正多面体であるこ
とを特徴とする請求項１に記載の周囲カメラ・システ
ム。
【請求項４】前記多面体フレームは１２個の略正５角形
で構成される正十二面体（Ｄｏｄｅｃａｈｅｄｒｏｎ）
であることを特徴とする請求項１に記載の周囲カメラ・
システム。
【請求項５】前記多面体フレームは１２個の略平行四辺
形で構成される略正十二面体（ＲｈｏｍｂｉｃＤｏｄ
ｅｃａｈｅｄｒｏｎ）であることを特徴とする請求項１
に記載の周囲カメラ・システム。
【請求項６】複数の構成面からなる多面体フレームと、
少なくとも２以上の構成面上に各１台ずつ搭載された複
数のカメラとで構成される周囲カメラの撮像画像に基づ
いて周囲画像を生成する方法であって、（ａ）被写体ま
での距離に応じた画像同士の貼り合わせ位置を決定する
ステップと、（ｂ）該貼り合わせ位置における接続画素
間の画素値の差分を算出するステップと、（ｃ）接続画
素間における画素値の差分の合計が最小となる貼り合わ
せ位置を最適な貼り合わせ位置として決定するステップ
と、（ｄ）各隣接画像毎に決定された最適な貼り合わせ
位置に従って、隣接画像同士を接続して周囲画像を貼り
合わせるステップと、を具備することを特徴とする周囲
カメラの撮像画像に基づいて周囲画像を生成する方法。
【請求項７】前記多面体フレームの各構成面は略正多角
形であることを特徴とする請求項６に記載の周囲カメラ
の撮像画像に基づいて周囲画像を生成する方法。
【請求項８】前記多面体フレームは略正多面体であるこ
とを特徴とする請求項６に記載の周囲カメラの撮像画像
に基づいて周囲画像を生成する方法。
【請求項９】前記多面体フレームは１２個の略正５角形
で構成される正十二面体（Ｄｏｄｅｃａｈｅｄｒｏｎ）
であることを特徴とする請求項６に記載の周囲カメラの
撮像画像に基づいて周囲画像を生成する方法。
【請求項１０】前記多面体フレームは１２個の略平行四
辺形で構成される略正十二面体（ＲｈｏｍｂｉｃＤｏ
ｄｅｃａｈｅｄｒｏｎ）であることを特徴とする請求項
６に記載の周囲カメラの撮像画像に基づいて周囲画像を
生成する方法。
【請求項１１】撮像領域が重なり合う隣接カメラによる
撮像画像同士を接続する接続処理装置であって、（ａ）
被写体までの距離に応じた画像同士の貼り合わせ位置を
決定する手段と、（ｂ）該貼り合わせ位置における接続
画素間の画素値の差分を算出する手段と、（ｃ）接続画
素間における画素値の差分の合計が最小となる貼り合わ
せ位置を最適な貼り合わせ位置として決定する手段と、
を具備することを特徴とする隣接カメラによる撮像画像
の接続処理装置。
【請求項１２】撮像領域が重なり合う隣接カメラによる
撮像画像同士を接続する接続処理方法であって、（ａ）
被写体までの距離に応じた画像同士の貼り合わせ位置を
決定するステップと、（ｂ）該貼り合わせ位置における
接続画素間の画素値の差分を算出するステップと、
（ｃ）接続画素間における画素値の差分の合計が最小と
なる貼り合わせ位置を最適な貼り合わせ位置として決定
するステップと、を具備することを特徴とする隣接カメ
ラによる撮像画像の接続処理方法。
【請求項１３】撮像領域が重なり合う隣接カメラの撮像
画像を用いて被写体までの距離を測定する距離測定装置
であって、（ａ）被写体までの距離に応じた画像同士の
貼り合わせ位置を決定する手段と、（ｂ）該貼り合わせ
位置における接続画素間の画素値の差分を算出する手段
と、（ｃ）接続画素間における画素値の差分の合計が最
小となる貼り合わせ位置に対応する距離を被写体が現実
に存在する位置として決定する手段と、を特徴とする隣
接カメラを用いた距離測定装置。
【請求項１４】撮像領域が重なり合う隣接カメラの撮像
画像を用いて被写体までの距離を測定する距離測定方法
であって、（ａ）被写体までの距離に応じた画像同士の
貼り合わせ位置を決定するステップと、（ｂ）該貼り合
わせ位置における接続画素間の画素値の差分を算出する
ステップと、（ｃ）接続画素間における画素値の差分の
合計が最小となる貼り合わせ位置に対応する距離を被写
体が現実に存在する位置として決定するステップと、を
特徴とする隣接カメラを用いた距離測定方法。