JP2003333582A

JP2003333582A - 全方位画像撮像装置及び全方位画像撮像装置の制御方法及びプログラム及び記憶媒体

Info

Publication number: JP2003333582A
Application number: JP2002139059A
Authority: JP
Inventors: Takashi Oya; 崇大矢; Tomoaki Kawai; 智明河合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-05-14
Filing date: 2002-05-14
Publication date: 2003-11-21
Anticipated expiration: 2022-05-14
Also published as: JP3862603B2

Abstract

(57)【要約】【課題】全方位画像を撮像する場合に、全方位画像の画
像中心と有効画像領域とを容易に求められるようにす
る。【解決手段】周囲３６０°の被写体からの光を反射する
回転体ミラー１１０と、回転体ミラーによって反射され
た被写体光を撮像するカメラ１１１と、回転体ミラーか
らの反射光により形成されるドーナツ状の有効範囲を有
する画像の、内側の有効範囲外の円形領域の中心座標を
求める演算部１０２とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は回転体ミラーを用い
て側方３６０度の視野角を持つ全方位画像を撮影する技
術に関するものである。

【０００２】

【従来の技術】回転体ミラーを用いて側方３６０度の視
野角を持つ全方位画像を撮影する方式は既に知られてお
り、「八木："全方位ビジョンの研究動向"、コンピュー
タビジョンとイメージメディア、Ｖｏｌ１２５, ｐｐ.
１４７-１６０」に様々な手法が紹介されている。この
他にも、特開平１１−２０５７７２号公報「全方位撮像
画像伝送システム及び全方位撮像画像伝送方法」や、特
開２０００−２６１７８３号公報「撮影画像配信システ
ム」などの応用例が多数存在する。また回転体ミラーの
うち双曲面ミラーを用いたパノラマ画像や投影画像の生
成方式に関しては、特開平０６−２９５３３３号公報
「全方位視覚系」に述べられている。また特開平１１−
１７４６０３号公報「全方位撮影装置」では、カメラに
取り付ける双曲面ミラーユニットの構造例が説明されて
いる。

【０００３】上記の応用例においては、回転体ミラーを
用いて撮影した全方位画像を、周囲３６０度のパノラマ
画像や透視投影画像に変換する。このような変換を行う
ためには、回転体ミラーの形状、全方位画像の画像中
心、有効画像領域、カメラの焦点距離、撮像面の大きさ
などに関する種々のパラメータを必要とする。

【０００４】

【発明が解決しようとする課題】従来の方式においては
前記パラメータを事前に記録しておき、プログラムを実
行する際に読み込むなどしていた。しかし、パラメータ
のうち全方位画像の画像中心あるいはその有効画像領域
は、撮影を行わないと決定できない。このため、複数の
回転体ミラーとカメラとの組み合わせを変更するたびに
画像中心と有効画像領域の計測を行う必要があった。ま
た、画像の大きさによってその値が異なるため、同一の
回転体ミラーとカメラとの組み合わせにおいても、画像
サイズを変更するたびに画像中心と有効画像領域の指定
を行う必要があり、煩雑であった。

【０００５】従って、本発明は上述した課題に鑑みてな
されたものであり、その目的は、全方位画像を撮像する
場合に、全方位画像の画像中心と有効画像領域とを容易
に求められるようにすることである。

【０００６】

【課題を解決するための手段】上述した課題を解決し、
目的を達成するために、本発明に係わる全方位画像撮像
装置は、周囲３６０°の被写体からの光を反射する回転
体ミラーと、該回転体ミラーによって反射された被写体
光を撮像するカメラと、前記回転体ミラーからの反射光
により形成されるドーナツ状の有効範囲を有する画像
の、内側の有効範囲外の円形領域の中心座標を求める演
算手段とを備えることを特徴としている。

【０００７】また、この発明に係わる全方位画像撮像装
置において、前記演算手段は、前記ドーナツ状の有効範
囲を有する画像を二値化して、明度の低い前記円形領域
を抽出し、該円形領域の重心を求めることを特徴として
いる。

【０００８】また、この発明に係わる全方位画像撮像装
置において、前記演算手段は、前記円形領域のエッジを
構成する点群を抽出し、該点群をハフ変換によって円の
パラメータ空間に投票し、投票空間のピークを検出して
前記円形領域の中心座標を求めることを特徴としてい
る。

【０００９】また、この発明に係わる全方位画像撮像装
置において、前記演算手段は、前記ハフ変換を行って投
票空間のピークを検出する際に、画像中に存在する前記
円形領域の中心座標に加えて該円形領域の半径を同時に
求めることによって、有効な画像領域の外周円と内周円
の半径を求めることを特徴としている。

【００１０】また、この発明に係わる全方位画像撮像装
置において、前記回転体ミラーの周囲に直線状のマーカ
ーを有する部材を更に備え、前記カメラは前記被写体光
と共に前記マーカーの像を撮像し、前記演算手段は前記
マーカーの画像を二値化して直線群を求めると共に、該
直線群の交点を求めることを特徴としている。

【００１１】また、この発明に係わる全方位画像撮像装
置において、前記円形領域の中心と半径を画面上で手動
操作によって対話的に調整する調整手段を更に備えるこ
とを特徴としている。

【００１２】また、本発明に係わる全方位画像撮像装置
の制御方法は、周囲３６０°の被写体からの光を反射す
る回転体ミラーによって反射された被写体光を撮像する
全方位画像撮像装置の制御方法であって、前記回転体ミ
ラーからの反射光により形成されるドーナツ状の有効範
囲を有する画像を撮像する撮像工程と、前記ドーナツ状
の有効範囲を有する画像の内側の有効範囲外の円形領域
の中心座標を求める演算工程とを備えることを特徴とし
ている。

【００１３】また、この発明に係わる全方位画像撮像装
置の制御方法において、前記演算工程では、前記ドーナ
ツ状の有効範囲を有する画像を二値化して、明度の低い
前記円形領域を抽出し、該円形領域の重心を求めること
を特徴としている。

【００１４】また、この発明に係わる全方位画像撮像装
置の制御方法において、前記演算工程では、前記円形領
域のエッジを構成する点群を抽出し、該点群をハフ変換
によって円のパラメータ空間に投票し、投票空間のピー
クを検出して前記円形領域の中心座標を求めることを特
徴としている。

【００１５】また、この発明に係わる全方位画像撮像装
置の制御方法において、前記演算工程では、前記ハフ変
換を行って投票空間のピークを検出する際に、画像中に
存在する前記円形領域の中心座標に加えて該円形領域の
半径を同時に求めることによって、有効な画像領域の外
周円と内周円の半径を求めることを特徴としている。

【００１６】また、この発明に係わる全方位画像撮像装
置の制御方法において、前記全方位画像撮像装置は、前
記回転体ミラーの周囲に直線状のマーカーを有する部材
を更に備え、前記撮像工程では前記被写体光と共に前記
マーカーの像を撮像し、前記演算工程では前記マーカー
の画像を二値化して直線群を求めると共に、該直線群の
交点を求めることを特徴としている。

【００１７】また、この発明に係わる全方位画像撮像装
置の制御方法において、前記円形領域の中心と半径を画
面上で手動操作によって対話的に調整する調整工程を更
に備えることを特徴としている。

【００１８】また、本発明に係わるプログラムは、上記
の制御方法をコンピュータに実行させることを特徴とし
ている。

【００１９】また、本発明に係わる記憶媒体は、請求項
１３に記載のプログラムをコンピュータ読み取り可能に
記憶したことを特徴としている。

【００２０】

【発明の実施の形態】以下、本発明の好適な実施形態に
ついて、添付図面を参照して説明する。

【００２１】（第１の実施形態）本実施形態では全方位
画像のパラメータのうち、画像中心座標を画像処理によ
って自動的に求める。

【００２２】図１は、本実施形態におけるパラメータ計
測装置のハードウェア構成を示すブロック図である。

【００２３】図１において、パラメータ計測装置は、Ｃ
ＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、二次記憶部
１０５を具備する。また、プログラムの実行をはじめと
する各種の操作のために、マウスなどのポインティング
デバイス１０６、キーボード１０７を接続する。また、
フロッピーディスクドライブ、ＭＯドライブなどの外部
入出力機器との接続を行うためのＩ／Ｏ１０８を具備す
る。また、映像信号を入力して画像データを取り込むた
めの画像取込装置１０９を具備する。

【００２４】画像取込装置１０９には回転体ミラー１１
０を装着したカメラ１１１から出た画像信号を入力す
る。この他にも、ＲＳ−２３２Ｃ、ＵＳＢ、ＩＥＥＥ１
３９４などのシリアルＩ／ＯやパラレルＩ／Ｏを通じて
カメラを接続し、画像を取り込む方法があるが、本発明
は画像の取り込み方法に依存するものではない。

【００２５】画像表示装置は操作画面や画像表示のため
にビデオＲＡＭ１１２を具備し、モニタ１１３を接続す
る。さらに、ネットワーク１１５を通じて操作を行った
り、画像を送受信したりするための通信装置１１４を具
備する。

【００２６】ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０
４、二次記憶１０５、ポインティングデバイス１０６、
キーボード１０７、Ｉ／Ｏ１０８、画像取込装置１０
９、ビデオＲＡＭ１１２、通信装置１１４は内部バス１
０１に接続する。以上のパラメータ計測装置は市販のパ
ーソナルコンピュータを用いることで簡単に実現でき
る。

【００２７】つぎに、本実施例において使用する回転体
ミラーの構造例を図２に示す。

【００２８】図２（ａ）は回転体ミラーの外観である。
回転体ミラーはミラー部２０１、ガラス筒部２０２、カ
メラ接続部２０３、黒針部２０４などからなり、市販の
カメラやビデオカメラに装着する。ミラー部の断面は
球、放物線、双曲線などの形状であることから、回転体
ミラーと呼ばれている。回転体ミラーの構造例に関して
は特開平１１−１７４６０３号公報に詳しく述べられて
いる。

【００２９】図２（ｂ）は撮影原理であり、回転体ミラ
ー２０５がカメラ２０６に装着された状態を模式的に示
している。ここで、空間上の点Ｐ（２０９）を出た光線
は回転体ミラーに反射して２１０のような経路によっ
て、レンズ２０７を通過しＣＣＤ面２０８に到達する。
その結果、例えばカメラを垂直方向上面に装着して撮影
した場合、図２（ｃ）に示すような全方位画像を得るこ
とができる。

【００３０】回転体ミラーを用いたときの、空間上の点
と全方位画像上の点との対応関係に関しては、特開平０
６−２９５３３３号公報に詳しく述べられている。この
対応関係を用いると、全方位画像を空間中に設けた仮想
の平面や曲面に逆投影することで、側方３６０度のパノ
ラマ画像や、透視投影画像などの、我々が一般に目にす
る自然な画像を得ることができる。しかし対応関係を表
す数式を求めるためには、回転体ミラーの断面形状や、
全方位画像の中心座標などのパラメータが必要である。
中でも全方位画像の中心座標は、画像から直接求める必
要がある。

【００３１】全方位画像の中心には黒針部２０４が２１
１のように円状に存在する。また、その外側に周囲３６
０度の画像２１２が回転体ミラーの外周まで存在する。
以下この領域を有効画像領域と称する。さらにその外側
にはミラーを介さずに直接カメラに入る光線や、回転体
ミラー底面２１３が存在する。図では直接カメラに入る
光線は省略しているが、この光線の有無は本発明には無
関係である。また回転体ミラーには「八木："全方位ビ
ジョンの研究動向"、コンピュータビジョンとイメージ
メディア、Ｖｏｌ１２５, ｐｐ.１４７−１６０」に述
べられているようにさまざまな種類のものが存在し、針
部が無いものや、ミラーの保持方法が異なるものなどが
存在する。このような場合、回転体ミラーの中央部を黒
く塗ったり円形のマーカーを付けたりすることで、図２
（ｃ）と同様な画像を得るようにしてもよい。

【００３２】本実施形態における、画像中心の計測方法
の原理を図３に示す。

【００３３】図３（ａ）のドーナツ状の白色部分は全方
位画像である。この全方位画像の中心領域３０１に対し
てあるしきい値を用いて二値化して、図３（ｃ）のよう
な円形領域３０３を画像中心付近に得る。そして、この
領域の重心座標を求めて全方位画像（内側の有効範囲外
の円形領域）の中心座標とする。ここで、全方位画像の
中心領域３０１のサイズに関しては、有効画像領域の外
周円の直径が全方位画像の短辺にほぼ等しいと仮定し
て、縦横が全方位画像の縦横の１/２程度の長さを持つ
矩形領域を、全方位画像の中央部分に設ければよい。

【００３４】二値化の際のしきい値を求める方法を述べ
る。矩形領域３０１の明度ヒストグラムを図３（ｂ）に
示す。全方位画像は中心が暗く、その外側の有効画像領
域はシーンに応じてさまざまな明度の画素が存在する。
ヒストグラム曲線３０２によれば、比較的暗い画素から
なる分布と明るい画素からなる分布とに分離しているの
が分かる。そこで、二つの分布を分けるようなしきい値
を設定すればよい。しきい値を図にIthと示す。Ithはヒ
ストグラムを見て手動で設定してもよいが、大津の方法
など公知の手法を用いれば自動的に設定することが可能
である。

【００３５】二値化を終了すると、雑音を除去して暗い
領域を抽出する。これはメディアンフィルタなどの雑音
除去フィルタを適用した後に、画素の連結処理を行って
領域を抽出し、その中で面積の大きな領域を求めれば、
容易に中心部の円形領域３０３を得ることができる。よ
って最後に同領域の重心座標を求め、全方位画像の画像
中心座標とする。

【００３６】次に本実施形態の処理手順を図４のフロー
チャートに示す。機器の設置は既に行われているものと
する。

【００３７】開始後、ステップＳ４０１において装置の
起動などの初期化を行う。次にステップＳ４０２におい
て全方位画像を撮影する。ここで画像は必ずしもその場
で撮影したものである必要は無く、事前に撮影したもの
をハードディスクなどの二次記憶装置やネットワークを
通じて読み込む場合など、さまざまな場合が存在する。

【００３８】つぎにステップＳ４０３においてしきい値
の設定を行う。しきい値は前述したように、画像中央付
近の矩形領域に関して作成したヒストグラムに基づく手
法によって求める。つぎにステップＳ４０４において、
求めたしきい値を用いて二値化を行う。さらにステップ
Ｓ４０５において、領域抽出処理を行う。フィルタによ
る雑音除去処理もここに含まれる。検出された領域のう
ち最大のものを中心円領域の候補とする。

【００３９】ステップＳ４０６において、中心円領域の
抽出が成功したかどうかを確認する。これは中心円領域
の候補の面積が十分大きいかどうかを計測する。面積は
雑音領域の面積より十分大きな値であれば良く、経験的
に設定することで何ら問題は生じない。もし中心円領域
の抽出が成功したと判断すればＹ分岐し、ステップＳ
４０７において領域の重心を求め、この座標を全方位画
像の中心座標として終了する。

【００４０】もしステップＳ４０６において、中心円領
域の候補の面積が小さく、しきい値以下である場合、抽
出が失敗したとしてステップＳ４０３に戻って二値化の
しきい値を設定しなおして、もう一度抽出を試みる。こ
の際に二値化のしきい値は一定幅大きくしたり、暗い領
域が抽出されやすいようにする。

【００４１】以上の説明からも明らかなように、本実施
形態によれば、全方位画像に対して、画像処理を施して
中央に存在する円形領域を抽出し、その重心点を求める
ことによって、全方位画像の中心座標を自動的に求める
ことができる。

【００４２】（第２の実施形態）次に第２の実施形態に
ついて説明する。

【００４３】本実施形態は全方位画像に対してエッジ検
出処理を施して得たエッジ画像に対して、ハフ変換を適
用して画像中の円を検出し、全方位画像の中心座標、お
よび、有効画像領域の内周と外周とを求めるものであ
る。本実施形態のハードウェア構成図は図１と同じであ
るため、説明を省略する。また、本実施形態で使用する
回転体ミラーの構造も図２と同じであるため、説明を省
略する。また、本実施形態も第１の実施形態と同様回転
体ミラーの種類に依存するものではない。

【００４４】本実施形態において求めるパラメータは全
方位画像上に存在する二つの同心円である。これを図５
（ａ）に示す。画像中には中心が同じで半径の異なる外
周円５０１と内周円５０２が存在し、有効画像領域は両
円の間にある。

【００４５】二つの円を求める手順を説明する。まず、
図５（ａ）に対してエッジ抽出処理を施した結果を図５
（ｂ）に示す。エッジ抽出処理は周辺画素との明度差の
大きな画素を検出するもので、Sobelフィルタなどさま
ざまな公知の方法がある。ここでは円周５０３に加えて
画像中に存在する様々なエッジ５０４が検出される。エ
ッジ画像を見ると、円周の部分は有効画像とそれ以外の
暗い領域との境界にあたるので、強いエッジが検出され
ていることがわかる。そこで、強いエッジのみを選択す
るために、二値化処理を行う。

【００４６】図５（ｃ）に二値化処理の結果を示す。こ
こで、二値化の際のしきい値は第１の実施形態において
中央付近の円形領域を求める際に行った方法を同様な方
法によって決定することができる。以上の処理によって
同心円の候補５０５、５０６が検出される。

【００４７】次にこの同心円の中心座標と半径を、ハフ
変換を用いて求める。ハフ変換とは直線や円など特定の
パラメータを持つ幾何図形を画像中から抽出する方法
で、画像上の点群をパラメータ空間に写像し、投票を行
ってピークを検出することで、幾何図形を検出する公知
の手法である。高速化、高精度化に関する様々な手法が
提案されており、円の検出例としては、 C.Kimme, D.Ba
llad, and J.Sklansky,"Finding circles by and array
of accumulators", Commun. ACM, vol.１８, no.２, p
p.１２０-１２２, １９７５. がある。また高速化手法
の例としては、市川、泉田、村上、"投票配列を１次元
化したハフ変換による円検出の高速化について"、電子
情報通信学会論文誌, Vol.J８０-D-II No.１１ pp.２９
４９-２９５７がある。

【００４８】円の検出にこの手法を適用する場合、円の
式が中心座標を（ｘ_c，ｙ_c）、半径をｒとして、（ｘ−
ｘ_c）²＋（ｙ−ｙ_c）²＝ｒ²と表されることから、パラ
メータ数は３となり、ｘ_c，ｙ_c，ｒから成る三次元のパ
ラメータ空間を用意する。そして、各ｒに対して、図５
（ｃ）で検出されたエッジ点の座標を上式のｘ，ｙに代
入して得られる円をパラメータ空間に描画し投票を行
う。上位二つのピーク、すなわち、全投票空間中で得票
数の高い座標から順に二つを検出して、二つの円のパラ
メータとする。

【００４９】ここでパラメータ空間の単位は画素であ
り、大きさは、ｒが１から画像の高さの半分まで、ｘ，
ｙは画像の中心付近の適当な範囲を設定すればよいの
で、有限の範囲で収めることができる。また二つの円が
同心でない場合、平均をとってもよいし、あるいは、外
側の円を優先させてもよい。以上の方法で全方位画像に
おける中心座標と、有効画像領域の内周円と外周円とを
求めることができる。

【００５０】つぎに本実施形態における処理手順を図６
に示す。

【００５１】初期化ステップＳ６０１後、ステップＳ６
０２において画像を取得する。これは第１の実施形態と
同様、その場で撮影してもよいし、ファイルをネットワ
ークや二次記憶から読み込んでもよい。次にステップＳ
６０３において、エッジ検出フィルタを用いたエッジ検
出処理を行う。つぎにステップＳ６０４において、しき
い値を設定し、ステップＳ６０５において二値化処理を
行う。さらにステップＳ６０６においてハフ変換を行っ
て、検出された点をパラメータ空間に投票する。さらに
ステップＳ６０７において、パラメータ空間で上から順
に二つのピークを検出し、円の検出を終了する。ステッ
プＳ６０８では二つの円が検出されたかどうかを確認
し、もし、検出されないか、二つの円の中心が大きく異
なる場合には、Ｎ分岐してステップＳ６０４に戻って、
改めてしきい値を設定しなおして、再度円の検出処理を
行う。それ以外の場合はＹ分岐して終了する。

【００５２】以上の説明からも明らかなように、第２の
実施形態によれば、エッジを検出後にハフ変換を施すこ
とによって二つの円を検出し、全方位画像の中心座標に
加えて、有効画像領域の内周円と外周円とを求めること
ができる。

【００５３】（第３の実施形態）次に第３の実施形態に
ついて説明する。本実施形態ではマーカーを回転体ミラ
ーユニットに貼り付けて画像を撮影し、マーカー画像か
ら全方位画像の画像中心を求める。

【００５４】本実施形態で用いるマーカーの例を図７
（ａ）に示す。図は無色透明で矩形形状のセロファン７
０１に、黒線で示されたマーカー７０２を等間隔に描い
たものである。７０１は透明で曲げることができる素材
であれば素材に依存するものではない。マーカーはセロ
ファンの短辺に対して平行、かつ、等間隔に描く。これ
を回転体ミラーユニットに巻きつけて装着した状態を図
７（ｂ）に示す。装着の際には回転体ミラーの回転軸と
マーカーの線が平行になるように注意する。

【００５５】つぎに、全方位画像の画像中心の計測原理
を説明する。

【００５６】マーカーを装着した状態で撮影した全方位
画像の例を図８（ａ）に示す。図ではマーカー８０１が
中心から外側に向かって写っている。そこでこのマーカ
ーを直線群として検出し、これら直線群の交点を求め
て、これを全方位画像の画像中心とする。

【００５７】直線検出の原理を図８（ｂ）および（ｃ）
に示す。図８（ｂ）は図８（ａ）に対して、二値化処理
を行った後、細線化処理を施した例である。ここで二値
化の際のしきい値はマーカーの明度が低いことから、第
１の実施形態と同様な手法によって設定することが可能
である。また、細線化処理は領域の骨格を求める処理
で、公知のものであるため、説明は省略する。

【００５８】つぎに、図８（ｃ）は図８（ｂ）の画像に
対してハフ変換によって直線を検出したものである。直
線のハフ変換も円と同様、よく知られた手法であるので
説明を省略する。直線の場合、パラメータ空間は二次元
となり、円よりも小さくて済む。図８（ｂ）をパラメー
タ空間上に投影すると、複数のピークが検出されるの
で、上位数個のピークを採用することで複数の直線を検
出することができる。検出した直線群を図８（ｃ）に示
す。これらの直線８０３はかならずしも一点で交わると
は限らないが、直線群の交点群を求め、さらに交点群の
重心点を求めることで、全方位画像の中心８０４を求め
ることができる。

【００５９】つぎに、図９を用いて本実施形態の処理手
順を説明する。

【００６０】初期化ステップＳ９０１、画像取得ステッ
プＳ９０２は第１の実施形態と同じである。また、しき
い値設定ステップＳ９０３、二値化ステップＳ９０４は
範囲が画像全体となる他は、第１の実施形態と同様なの
で説明を省略する。二値化後、ステップＳ９０５におい
て細線化を行い、ステップＳ９０６においてハフ変換を
行う。ステップＳ９０７において、ある程度の大きさを
持つピークのうち、大きいほうから数個のピークを選択
して直線を検出する。もし複数の直線が検出された場合
にはステップＳ９０８においてＹ分岐し、ステップＳ９
０９において複数直線の互いの交点を求め、その重心座
標を計測して、全方位画像の中心として処理を終了す
る。もし複数の直線が検出されなかった場合にはステッ
プＳ９０７においてＮ分岐し処理を終了する。

【００６１】以上述べたように、第３の実施形態によれ
ば、マーカーを回転体ミラーユニットに装着し、全方位
画像に写ったマーカーを画像処理することで、全方位画
像の中心を自動的に求めることができる。

【００６２】（第４の実施形態）つぎに第４の実施形態
について説明する。

【００６３】本実施形態は全方位画像のパラメータを画
像上で対話的に設定するためのＧＵＩ（グラフィカル・
ユーザー・インターフェース）に関するものである。ユ
ーザーはこのＧＵＩによって、第１から第３の実施形態
で説明した方法で自動的に求めたパラメータに対して、
微調整を行うことができる。本実施形態におけるＧＵＩ
の例を図１０に示す。

【００６４】図１０において、１００１はウィンドウシ
ステムに表示されるダイアログであり、ダイアログ上に
全方位画像１００２、パラメータ表示領域１００３を配
置する。１００４はマウスカーソルなどのポインタであ
る。全方位画像上には画像中心１００５、有効画像領域
の内周１００６、外周１００７に対応する図形が表示さ
れている。ユーザーは図形をドラッグ操作して、実際の
画像に重ねることによって、対話的にパラメータを調整
できる。以下１００５〜１００７の図形をパラメータス
コープと称する。

【００６５】パラメータ表示領域１００３には、パラメ
ータとして全方位画像の中心座標Ｘ、Ｙおよび、有効画
像領域の内周円の半径Ｒ１、および、外周円の半径Ｒ２
が、テキストボックス上にそれぞれ表示されている。各
表示はパラメータスコープに連動して変化する。また、
ユーザーがテキストボックス上でマウスポインタをクリ
ックすると入力モードになり数値を直接入力できる。数
値が変化するとパラメータスコープの表示も連動して変
化する。

【００６６】数値を入力したり、パラメータスコープを
移動したりして、全方位画像のパラメータを設定した後
に、変更を確定する場合にはＯＫボタン１００８を押
す。また、変更を確定せずにダイアログを終了する場合
にはキャンセルボタン１００９を押す。

【００６７】つぎに本実施形態におけるパラメータ測定
の手順を、図１１を用いて説明する。図１１では、図１
０のダイアログが起動するところから、消去されるまで
を説明し、その前後の初期化処理などの説明は省略す
る。

【００６８】ステップＳ１１０１においてダイアログが
起動すると、ステップＳ１１０２においてイベント待ち
を行う。イベントにはテキストボックスの数値入力、マ
ウスの左ボタンダウン、マウス移動、マウスの左ボタン
アップ、ＯＫボタン選択、キャンセルボタン選択等があ
る。ステップＳ１１０２においてイベントが発生する
と、ステップＳ１１０３においてイベントが数値入力イ
ベントであるかどうか確認する。なお、マウスのボタン
に関しては便宜上左ボタンを使用するが、本実施形態は
使用するボタンに依存するものではない。

【００６９】数値入力イベントはパラメータ表示領域１
００３上のテキストボックスをクリックすると発生す
る。もしイベントが数値入力イベントであるならばステ
ップＳ１１０３においてＹ分岐し、ステップＳ１１０４
において数値入力処理を行う。数値入力処理においては
指定したテキストボックス上にカーソルが現れ、数字を
入力／修正できる。この処理は一般にウィンドウシステ
ムで提供されていることから、実装の詳細は省略する。
数値入力が終了するとステップＳ１１１１において規定
のイベント処理を行う。この処理は一般にウィンドウシ
ステムが行うイベント処理であるため説明を省略する。
その後再びステップＳ１１０２に戻ってイベント待ちを
行う。ステップＳ１１０３において、もし数値入力では
なかった場合にはＮ分岐してステップＳ１１０５に進
む。

【００７０】ステップＳ１１０５ではイベントがマウス
の左ボタンダウンイベントであるかどうか確認する。も
しそうであるならば移動モードをＯＮにし、ポインタの
近傍にあるパラメータスコープの要素、すなわち、中
心、小円、大円、の三つのオブジェクトのうち一つを選
択する。いずれのオブジェクトも近くにない場合には選
択を行わない。つぎに前記したステップＳ１１１１以下
の処理を行う。

【００７１】ステップＳ１１０５においてマウスの左ボ
タンダウンイベントではない場合、ステップＳ１１０７
に進んでマウスムーブイベントかどうか判断する。もし
マウスムーブイベントである場合にはＹ分岐し、ステッ
プＳ１１０８において移動処理を行う。これにより、選
択されたパラメータスコープの一オブジェクトのパラメ
ータを変更する。中心が選択されている場合パラメータ
スコープ全体を移動する。小円もしくは大円が選択され
ている場合、小円もしくは大円の半径を変更する。ここ
で小円の半径が大円より大きくなることはない。移動処
理を終了後、前記したステップＳ１１１１以下の処理を
行う。

【００７２】ステップＳ１１０７においてマウスムーブ
イベントでない場合にはＮ分岐してステップＳ１１０９
に進んでマウスの左ボタンアップイベントかどうか判断
する。もしそうである場合にはＹ分岐してステップＳ１
１１０に進んで移動モードをＯＦＦにする。パラメータ
スコープの一オブジェクトが選択されている場合には選
択を解除する。つぎにステップＳ１１１１以下の処理を
行う。

【００７３】ステップＳ１１０９においてマウスの左ボ
タンアップイベントではない場合はＮ分岐し、ステップ
Ｓ１１１３においてＯＫボタンアップイベントかどうか
を判別する。もしそうである場合にはＹ分岐し、ステッ
プＳ１１１４に進んでデータ確定処理を行う。ここでは
テキストボックスにある数値やダイアログ上のパラメー
タスコープの表示状態を、パラメータスコープの値とし
て確定する。次にステップＳ１１１６に進んでダイアロ
グの消去処理を行う。次にステップＳ１１１７に進んで
規定のイベント処理を行い終了する。

【００７４】もしステップＳ１１１３においてＯＫボタ
ンアップイベントで無かった場合には、ステップＳ１１
１５に進んでキャンセルボタンアップイベントであるか
どうかを判別する。もしそうである場合にはＹ分岐し
て、変更したデータの確定を行わず、前記したステップ
Ｓ１１１６以下の処理を行い終了する。もし、ステップ
Ｓ１１１５において、キャンセルイベントでもない場合
には、ステップＳ１１１１に進んで、規定のイベント処
理のみを行った後、ステップＳ１１０２に進んでイベン
ト待ちループに戻る。

【００７５】以上述べたように、第４の実施形態によれ
ば、全方位画像の中心、有効画像領域の内周円と外周円
の半径を直感的かつ対話的に変更する手段を設けること
によって、自動設定以外の微調整を行なうことができ
る。

【００７６】（第５の実施形態）本発明は、図１の基本
構成を含んでいれば、複数の機器（例えば、ホストコン
ピュータ、インタフェース機器、プリンタなど）から構
成されるシステムに適用しても良い。

【００７７】また、上述した実施形態の機能を実現する
べく各種のデバイスを動作させるように、該各種デバイ
スと接続された装置あるいはシステム内のコンピュータ
に対し、上記実施形態の機能を実現するためのソフトウ
ェアのプログラムコードを供給し、そのシステムあるい
は装置のコンピュータに格納されたプログラムにしたが
って上記各種デバイスを動作させることによって実施し
たものも、本発明の範疇に含まれる。

【００７８】また、この場合、上記ソフトウェアのプロ
グラムコード自体が上述した実施形態の機能を実現する
ことになり、そのプログラムコード自体、およびそのプ
ログラムコードをコンピュータに供給するための手段、
例えばかかるプログラムコードを格納した記録媒体は本
発明を構成する。かかるプログラムコードを記憶する記
録媒体としては、例えばフロッピー（登録商標）ディス
ク、ハードディスク、光ディスク、光磁気ディスク、Ｃ
Ｄ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、Ｒ
ＯＭ等を用いることができる。

【００７９】また、コンピュータが供給されたプログラ
ムコードを実行することにより、常住の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼動しているＯＳ（オペレーションシ
ステム）あるいは他のアプリケーションソフトなどの共
同して上述の実施形態の自供が実現される場合にも、か
かるプログラムコード自体は本発明の実施形態に含まれ
ることは言うまでもない。

【００８０】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードや、コンピュータに接続さ
れた機能拡張ユニットに備わるメモリに格納された後、
そのプログラムコードの指示に基づいてその機能拡張ボ
ードや機能拡張ユニットに備わるＣＰＵなどが、実際の
処理の一部または全部を行い、その処理によって上述し
た実施形態の機能が実現されてる場合にも本発明に含ま
れることは言うまでもない。

【００８１】

【発明の効果】以上説明したように、本発明によれば、
全方位画像をパノラマ画像や透視投影画像に変換する際
に不可欠な、全方位画像のパラメータを自動的に求める
ことができる。

【００８２】また自動的に求めたパラメータを、使用者
が対話的に修正することができる。

【００８３】その結果、全方位画像のパラメータを効率
的かつ正確に設定することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態のハードウェア構成を示す
ブロック図である。

【図２】本発明で使用する回転体ミラーの構造と全方位
画像の説明図である。

【図３】全方位画像中心の円形領域を抽出して画像中心
を求める例の原理図である。

【図４】全方位画像中心の円形領域を抽出して画像中心
を求める例の処理手順を示す図である。

【図５】全方位画像中から複数の円を抽出して画像中心
と有効画像領域を求める例の原理図である。

【図６】全方位画像中から複数の円を抽出して画像中心
と有効画像領域を求める例の処理手順を示す図である。

【図７】マーカーを用いて画像中心を求める場合の、マ
ーカーの説明図である。

【図８】マーカーを用いて画像中心を求める場合の原理
図である。

【図９】マーカーを用いて画像中心を求める場合の処理
手順を示す図である。

【図１０】対話的にパラメータを設定する場合の画面表
示例を示す図である。

【図１１】対話的にパラメータを設定する場合の処理手
順を示す図である。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B047 BC09 CA12 CB16 5C022 AA01 AB68 AC51 5C054 AA05 CC06 FC15 FD03 HA18 5L096 CA03 FA06 FA24 FA69

Claims

【特許請求の範囲】

【請求項１】周囲３６０°の被写体からの光を反射す
る回転体ミラーと、該回転体ミラーによって反射された被写体光を撮像する
カメラと、前記回転体ミラーからの反射光により形成されるドーナ
ツ状の有効範囲を有する画像の、内側の有効範囲外の円
形領域の中心座標を求める演算手段とを備えることを特
徴とする全方位画像撮像装置。
【請求項２】前記演算手段は、前記ドーナツ状の有効
範囲を有する画像を二値化して、明度の低い前記円形領
域を抽出し、該円形領域の重心を求めることを特徴とす
る請求項１に記載の全方位画像撮像装置。
【請求項３】前記演算手段は、前記円形領域のエッジ
を構成する点群を抽出し、該点群をハフ変換によって円
のパラメータ空間に投票し、投票空間のピークを検出し
て前記円形領域の中心座標を求めることを特徴とする請
求項１に記載の全方位画像撮像装置。
【請求項４】前記演算手段は、前記ハフ変換を行って
投票空間のピークを検出する際に、画像中に存在する前
記円形領域の中心座標に加えて該円形領域の半径を同時
に求めることによって、有効な画像領域の外周円と内周
円の半径を求めることを特徴とする請求項３に記載の全
方位画像撮像装置。
【請求項５】前記回転体ミラーの周囲に直線状のマー
カーを有する部材を更に備え、前記カメラは前記被写体
光と共に前記マーカーの像を撮像し、前記演算手段は前
記マーカーの画像を二値化して直線群を求めると共に、
該直線群の交点を求めることを特徴とする請求項１に記
載の全方位画像撮像装置。
【請求項６】前記円形領域の中心と半径を画面上で手
動操作によって対話的に調整する調整手段を更に備える
ことを特徴とする請求項１に記載の全方位画像撮像装
置。
【請求項７】周囲３６０°の被写体からの光を反射す
る回転体ミラーによって反射された被写体光を撮像する
全方位画像撮像装置の制御方法であって、前記回転体ミ
ラーからの反射光により形成されるドーナツ状の有効範
囲を有する画像を撮像する撮像工程と、前記ドーナツ状の有効範囲を有する画像の内側の有効範
囲外の円形領域の中心座標を求める演算工程とを備える
ことを特徴とする全方位画像撮像装置の制御方法。
【請求項８】前記演算工程では、前記ドーナツ状の有
効範囲を有する画像を二値化して、明度の低い前記円形
領域を抽出し、該円形領域の重心を求めることを特徴と
する請求項７に記載の全方位画像撮像装置の制御方法。
【請求項９】前記演算工程では、前記円形領域のエッ
ジを構成する点群を抽出し、該点群をハフ変換によって
円のパラメータ空間に投票し、投票空間のピークを検出
して前記円形領域の中心座標を求めることを特徴とする
請求項７に記載の全方位画像撮像装置の制御方法。
【請求項１０】前記演算工程では、前記ハフ変換を行
って投票空間のピークを検出する際に、画像中に存在す
る前記円形領域の中心座標に加えて該円形領域の半径を
同時に求めることによって、有効な画像領域の外周円と
内周円の半径を求めることを特徴とする請求項９に記載
の全方位画像撮像装置の制御方法。
【請求項１１】前記全方位画像撮像装置は、前記回転
体ミラーの周囲に直線状のマーカーを有する部材を更に
備え、前記撮像工程では前記被写体光と共に前記マーカ
ーの像を撮像し、前記演算工程では前記マーカーの画像
を二値化して直線群を求めると共に、該直線群の交点を
求めることを特徴とする請求項７に記載の全方位画像撮
像装置の制御方法。
【請求項１２】前記円形領域の中心と半径を画面上で
手動操作によって対話的に調整する調整工程を更に備え
ることを特徴とする請求項７に記載の全方位画像撮像装
置の制御方法。
【請求項１３】請求項７乃至１２のいずれか１項に記
載の制御方法をコンピュータに実行させることを特徴と
するプログラム。
【請求項１４】請求項１３に記載のプログラムをコン
ピュータ読み取り可能に記憶したことを特徴とする記憶
媒体。