JP2003304434A

JP2003304434A - 全方位撮像システム

Info

Publication number: JP2003304434A
Application number: JP2002108486A
Authority: JP
Inventors: Hiroshi Sugiki; 拓杉木; Osamu Iwaki; 修岩木; Naoki Takamoto; 直紀高本; Kazuya Mitsuyama; 和哉光山; Yoshito Imamura; 省人今村
Original assignee: Sony Corp; Tateyama Machine Co Ltd
Current assignee: Sony Corp; Tateyama Machine Co Ltd
Priority date: 2002-04-10
Filing date: 2002-04-10
Publication date: 2003-10-24

Abstract

(57)【要約】【課題】移動しながら全方位に亘る撮影を行っても光
学系の傾斜角度を目標とする傾斜角度に維持する。【解決手段】全方位に亘って撮像した環状画像を展開
画像にして表示するときに、上記傾斜角度設定手段によ
り目標第１傾斜角度及び目標第２傾斜角度を設定して記
憶し、上記傾斜角度検出手段により上記チルト手段の第
１傾斜角度及び第２傾斜角度を検出しながら、目標第１
傾斜角度及び目標第２傾斜角度に維持するように上記チ
ルト駆動手段を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、全方位に亘って
光入射をして環状画像を撮像し、この環状画像をパノラ
マ状の展開画像にして表示する全方位撮像システムに関
する。

【０００２】

【従来の技術】従来より、撮像カメラの撮像方向を設定
するには、撮像方向を水平方向に回転させる回転機構
（パン機構）と、撮像方向を垂直方向に回転させる一軸
の回転機構（チルト機構）を駆動することにより実現し
ている。

【０００３】これに対し、全方位撮像カメラでは、全方
位の画像を撮像するので、水平方向の回転機構が不要と
なる。また、全方位撮像カメラでは、周囲３６０度の視
野領域の画像を取り込むものであるので、垂直方向につ
いては全方位について設定した角度への、動作及びその
角度の維持が必要となる。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
機構では、撮像方向を垂直方向の一軸において駆動する
回転機構（チルト手段）を用いていたので、その一軸方
向にしか撮像方向の角度設定をすることができず、その
一軸方向と直交する方向には角度設定ができないという
問題点があった。また、撮像方向の傾斜角度検出機構と
して、加速度センサなどを用いた傾斜センサか、ロータ
リエンコーダなどの回転角検出機構が必要である。

【０００５】更に、従来の全方位撮像カメラでは、撮像
カメラの取り付け物を基準とし、この取り付け物が移動
したときの傾斜角度を設定して維持するための傾斜角維
持機構を用いており、撮像カメラの取り付け物自体が傾
くと、重力方向を基準とした傾斜角度に維持することが
できないという問題点がある。

【０００６】更にまた、従来の全方位撮像カメラでは、
撮像方向を傾斜した状態で撮像すると、環状画像からパ
ノラマ状の展開画像に変換したときに、撮像方向の傾斜
角度に基いて展開画像に歪みが発生するという問題点が
あった。

【０００７】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、移動しながら撮影を行っ
ても光学系の傾斜角度を目標とする傾斜角度に維持する
ことができる全方位撮像システムを提供することを目的
とする。

【０００８】

【課題を解決するための手段】本発明に係る全方位撮像
システムは、上述の課題を解決するために、全方位に亘
って撮像光を入射する光学系と、上記光学系を介して入
射した撮像光から、環状画像を生成する撮像手段と、直
交する２軸の回転機構を有し、上記光学系の第１傾斜角
度及び第２傾斜角度を調整して上記撮像手段の撮像方向
を調整するチルト手段とを有し、全方位に亘って撮像し
た環状画像を展開画像にして表示するときに、上記傾斜
角度設定手段により目標第１傾斜角度及び目標第２傾斜
角度を設定して記憶し、上記傾斜角度検出手段により上
記チルト手段の第１傾斜角度及び第２傾斜角度を検出し
ながら、目標第１傾斜角度及び目標第２傾斜角度に維持
するように上記チルト駆動手段を制御する。

【０００９】

【発明の実施の形態】以下、本発明を適用した実施の形
態について図面を参照しながら詳細に説明する。

【００１０】［第１実施形態に係る全方位カメラシステ
ム］本発明は、図１〜図３にその外観構成を有し、図４
にような機能的な構成の全方位カメラシステムに適用さ
れる。

【００１１】[第１実施形態に係る全方位カメラシステ
ムの外観構成]図１に本発明を適用した全方位カメラシ
ステムの斜視図、図２に全方位カメラシステムの正面
図、図３に全方位カメラシステムの側面図を示す。

【００１２】この全方位カメラシステムは、光学系１、
撮像カメラ２、これらの光学系１及び撮像カメラ２を支
持する第１フレーム３を第２フレーム４、第３フレーム
５にて支持して構成されている。

【００１３】第３フレーム５は、その底面部が移動物体
や静止物体に取り付けられたり、ユーザが手持ちして持
ち運びされる。光学系１は、撮像カメラ２に取り付けら
れており、全方位に亘って入射した撮像光を撮像カメラ
２に導く。これらの光学系１及び撮像カメラ２は、第１
フレーム３に固定して取り付けられている。第１フレー
ム３は、第１回転軸６を軸として第２フレーム４に取り
付けられている。この第２フレーム４は、第２回転軸７
を軸として、第３フレーム５に取り付けられている。

【００１４】このように、全方位カメラシステムでは、
第１回転軸６を中心軸として第１フレーム３を駆動し、
第２回転軸７を中心軸として第２フレーム４と駆動する
ことにより、光学系１の全方位にて２軸の垂直方向に傾
斜可能とした構成となっている。ここで、第１回転軸６
及び第２回転軸７は、高さ方向（垂直方向）において同
一位置とされている。

【００１５】すなわち、第１回転軸６を軸として第１フ
レーム３を駆動するために、第１プーリ８、第１ベルト
９、第２プーリ１０、第１モータ１１を第１チルト駆動
部として備える。また、第２回転軸７を軸として第２フ
レーム４を駆動するために、第３プーリ１２、第２ベル
ト１３、第４プーリ１４、第２モータ１５を第２チルト
駆動部として備える。これらの第１チルト駆動部及び第
２チルト駆動部により、光学系１及び撮像カメラ２を全
方位の垂直方向へ移動可能とする。

【００１６】なお、チルト駆動部として第１プーリ８、
第１ベルト９、第２プーリ１０、第３プーリ１２、第２
ベルト１３、第４プーリ１４に代えて、ギヤなどにて構
成しても良く、更にはこれらを使用せずに第１回転軸６
及び第２回転軸７に光学系１及び第２モータ１５を直接
取り付けて駆動しても良い。

【００１７】このように駆動する全方位カメラシステム
において、光学系１の傾斜角度を検出するために、第１
回転軸６の第１傾斜角度を検出するための第１傾斜セン
サ１６及び第１ロータリーエンコーダ１７を備え、更
に、第２回転軸７の第２傾斜角度を検出するための第２
傾斜角センサ１８及び第２ロータリーエンコーダ１９を
備えている。

【００１８】なお、第１傾斜角度及び第２傾斜角度を検
出する手段としては、傾斜角センサ又はロータリーエン
コーダのいずれかであっても良い。また、第１傾斜角セ
ンサ１６，第２傾斜角センサ１８に代えて単一の３Ｄモ
ーションセンサを使用して第１回転軸６及び第２回転軸
７の各回転傾斜角度を検出しても良い。

【００１９】この３Ｄモーションセンサは、セラミック
ジャイロ、加速度センサ、時期センサを組み合わせ、光
学系１の３次元角度ををリアルタイムにて検出するもの
である。

【００２０】「全方位カメラシステムの機能的な構成」
図４に、上述したように構成された全方位カメラシステ
ムの機能的な構成を示す。

【００２１】なお、上述した全方位カメラシステムと同
様の部分については同一符号を付することによりその詳
細な説明を省略する。

【００２２】この全方位カメラシステムは、この第１フ
レーム３及び第２フレーム４に取り付けられた第１回転
軸６及び第２回転軸７に相当して第１傾斜角度及び第２
傾斜角度に傾斜するチルト部２１が第１プーリ８、第１
ベルト９、第２プーリ１０及び第１モータ１１からなる
第１チルト駆動部２２、第３プーリ１２、第２ベルト１
３、第４プーリ１４及び第２モータ１５からなる第２チ
ルト駆動部２３により駆動される。

【００２３】また、この全方位カメラシステムにおい
て、第１傾斜センサ１６及び第１ロータリーエンコーダ
１７が第１傾斜角検出部２４として機能し、第２傾斜角
センサ１８及び第２ロータリーエンコーダ１９が第２傾
斜角検出部２５として機能する。

【００２４】更に、この全方位カメラシステムにおい
て、光学系１の目標傾斜角度を設定する手段として、内
蔵された内部傾斜角設定部２６、ユーザに操作されるパ
ーソナルコンピュータやＧＰＳ（global positioning s
ystem）等からなる第１外部傾斜角設定部２７、ユーザ
に操作されるリモートコントローラ等からなる第２外部
傾斜角設定部２８を備える。

【００２５】全方位カメラシステムを動作させて光学系
１及び撮像カメラ２により環状画像を撮像するときに
は、制御部３０により、内部傾斜角設定部２６、第１外
部傾斜角設定部２７、第２外部傾斜角設定部２８のうち
のいずれかの傾斜角度設定により目標傾斜角度とするよ
うに第１フレーム３及び第２フレーム４を駆動させるか
を決定するモード切換制御する。すなわち、制御部３０
は、内部傾斜角設定部２６、第１外部傾斜角設定部２７
又は第２外部傾斜角設定部２８のいずれかを有効に使用
可能とする。

【００２６】なお、第１外部傾斜角設定部２７としてＧ
ＰＳを使用した場合には、予め位置情報と設定角度のデ
ータを記憶しておくことで、光学系１の位置に応じた目
標角度設定を選択可能である。

【００２７】内部傾斜角設定部２６〜第２外部傾斜角設
定部２８により設定されている傾斜角度は、設定角記憶
部２９に記憶されている。

【００２８】また、この全方位カメラシステムにおい
て、撮像カメラ２により撮像した画像データは、例えば
所定の撮像タイミングごとにチルト部２１を介して画像
展開部３１及び制御部３０に送られる。この画像データ
は、撮像カメラ２により環状の画像として作成され、画
像展開部３１により例えばパノラマ状に展開されて画像
補正部３２に送られる。画像補正部３２では、展開画像
に画像処理をすることで、環状画像から展開画像にした
ことによる歪み成分を除去して、表示部３３に展開画像
を送って表示させる。

【００２９】[制御部３０の機能的な構成]このような全
方位カメラシステムは、制御部３０により上述した各部
が制御される。この制御部３０は、図５に示すように構
成される。この制御部３０は、ＣＰＵ（Central Proces
sing Unit）４１と、ＲＡＭ（Random Access Memory）
４２、フラッシュＲＯＭ（Read Only Memory）４３、Ａ
Ｄコンバータ４４、ＤＡコンバータ４５、第１ＩＯポー
ト４６、シリアルＩＯポート４７、第２ＩＯポート４８
とがバス４９を介して接続されている。

【００３０】この制御部３０は、全方位カメラシステム
の起動時において、フラッシュＲＯＭ４３に記憶された
プログラムや初期設定値等をＣＰＵ４１により読み出
し、ＣＰＵ４１によりプログラムに従った処理をするこ
とにより以下の各種処理をする。このとき、ＣＰＵ４１
は、ＲＡＭ４２を作業領域として使用し、入力される各
種データを用いた演算をする。

【００３１】制御部３０は、加速度センサからなる第１
傾斜センサ１６及び第２傾斜角センサ１８から、第１回
転軸６における傾斜角度及び第２回転軸７における傾斜
角度に比例した電圧を発生して、ＡＤコンバータ４４に
より検出する。それぞれの電圧値は、ＡＤコンバータ４
４にてディジタル値に変換され、ＣＰＵ４１に出力され
る。

【００３２】また、制御部３０は、第１ロータリーエン
コーダ１７から第１傾斜角度に比例した数のパルス信号
を第１カウンタ５０により入力し、第１カウンタ５０に
より保持しているカウント値をカウントアップする。こ
のカウント値は、第２ＩＯポート４８により読み込まれ
てＣＰＵ４１に出力される。同様に、制御部３０は、第
２ロータリーエンコーダ１９から第２傾斜角度に比例し
た数のパルス信号を第２カウンタ５１により入力し、第
２カウンタ５１により保持しているカウント値をカウン
トアップする。このカウント値は、第２ＩＯポート４８
により読み込まれてＣＰＵ４１に出力される。

【００３３】このように、ＣＰＵ４１では、第１傾斜セ
ンサ１６及び第２傾斜角センサ１８、又は第１ロータリ
ーエンコーダ１７及び第２ロータリーエンコーダ１９か
らの信号に応じて、現在の第１傾斜角度及び第２傾斜角
度を取得する。

【００３４】ここで、第１傾斜センサ１６及び第２傾斜
角センサ１８は重力方向を基準とした第１傾斜角及び第
２傾斜角度を検出し、第１ロータリーエンコーダ１７及
び第２ロータリーエンコーダ１９は、撮像カメラ２の第
１フレーム３に対する取り付け面を基準とした第１傾斜
角度及び第２傾斜角度を検出する。

【００３５】本例においては、第１傾斜センサ１６及び
第２傾斜角センサ１８、又は第１ロータリーエンコーダ
１７及び第２ロータリーエンコーダ１９のいずれかを使
用することは限定しないが、第１傾斜センサ１６及び第
２傾斜角センサ１８と、第１ロータリーエンコーダ１７
及び第２ロータリーエンコーダ１９とを併用することも
できる。

【００３６】すなわち、ＣＰＵ４１は、初期設定時にお
いては第１傾斜センサ１６及び第２傾斜角センサ１８で
発生する電圧値を使用して基準傾斜角度にするように第
１モータ１１及び第２モータ１５を制御し、以降におい
ては基準傾斜角度を基準として第１ロータリーエンコー
ダ１７及び第２ロータリーエンコーダ１９からのパルス
信号数を検出して第１傾斜角度及び第２傾斜角度の制御
をする。これにより、全方位カメラシステムによれば、
重力方向を基準とした傾斜角度制御をすることができる
と共に、ロータリーエンコーダを用いた高精度な傾斜角
度制御をすることができる。

【００３７】また、この制御部３０では、内部傾斜角設
定部２６に備えられている操作スイッチ２６ａからのモ
ード変更命令や目標傾斜角度変更命令を示す操作入力信
号を第１ＩＯポート４６により入力してＣＰＵ４１に出
力する。更に、第１外部傾斜角設定部２７としてパソコ
ン２７Ａ、第２外部傾斜角設定部２８としてリモコン２
８Ａを使用した場合、リモコン２８Ａやパソコン２７Ａ
からのモード変更命令や目標傾斜角度変更命令をシリア
ルＩＯポート４７により入力してＣＰＵ４１に出力す
る。

【００３８】ＣＰＵ４１は、入力した目標傾斜角度変更
命令に応じて、目標第１傾斜角度及び目標第２傾斜角度
を設定角記憶部２９に記憶しておく。また、ＣＰＵ４１
は、現在に選択されているモードや、目標第１傾斜角
度、目標第２傾斜角度、現在の第１傾斜角度、第２傾斜
角度を表示器２６ｂに表示しておく。

【００３９】そして、ＣＰＵ４１により現在の第１傾斜
角度と目標第１傾斜角度との第１差分角度、現在の第２
傾斜角度と目標第２傾斜角度との第２差分角度を演算
し、求めた第１差分角度に定数ｋ１を乗じた値とされ、
第２差分角度に定数ｋ２を乗じた値とされる。

【００４０】この第１差分角度は、ＤＡコンバータ４５
に出力され、ＤＡコンバータ４５によりディジタル値か
らアナログ値に変換されて、第１アンプ５２に供給され
て第１モータ１１を駆動させる。また、第２差分角度
は、同様にＤＡコンバータ４５によりディジタル値から
アナログ値に変換されて、第２アンプ５３に供給して第
２モータ１５を駆動させる。なお、第１モータ１１及び
第２モータ１５を第１、第２差分角度に比例した駆動力
とするためには、第１アンプ５２及び第２アンプ５３に
代えてＰＷＭ（Pulse Width Modulation）回路を設け、
差分角度量に応じたディジタル値に応じてパルス幅（デ
ューティ比）を調整して第１モータ１１及び第２モータ
１５の駆動量を制御するようにしても良い。

【００４１】このように第１モータ１１を駆動させるこ
とにより第１プーリ８、第１ベルト９、第２プーリ１０
を駆動させて第１回転軸６についての第１傾斜角度を制
御すると共に、第２モータ１５を駆動させることにより
第３プーリ１２、第２ベルト１３、第４プーリ１４を駆
動させて第２回転軸７についての第２傾斜角度を調整す
る。これにより、ＣＰＵ４１は、第１フレーム３を目標
第１傾斜角度の傾きとすると共に、第２フレーム４を目
標第２傾斜角度の傾きとするように、傾斜角度制御処理
を行う。なお、この傾斜角度制御処理の詳細な処理手順
については後述する。

【００４２】第１外部傾斜角設定部２７としてＧＰＳを
使用した場合には、ＧＰＳからの位置情報がシリアルＩ
Ｏポート４７に入力され、ＣＰＵ４１により、位置情報
に応じた第１傾斜角度及び第２傾斜角度にするように第
１モータ１１及び第２モータ１５を制御する。このと
き、ＣＰＵ４１は、例えばフラッシュＲＯＭ４３に格納
されている位置情報と目標第１傾斜角度及び目標第２傾
斜角度との関連づけを記したテーブルデータを参照する
ことで、位置情報に応じた目標第１傾斜角度及び目標第
２傾斜角度を取得する。

【００４３】[全方位カメラシステムによる傾斜角度制
御処理]つぎに、上述した全方位カメラシステムによる
傾斜角度制御処理の処理手順について図６及び図７のフ
ローチャートを参照して説明する。なお、以下に説明す
る処理においては、第１外部傾斜角設定部２７としてパ
ソコン２７Ａを使用し、第２外部傾斜角設定部２８とし
てリモコン２８Ａを使用した場合について説明する。

【００４４】先ず、全方位カメラシステムが例えばユー
ザの指示などにより起動すると、図６のステップＳ１に
処理を進め、設定角記憶部２９やＣＰＵ４１のレジス
タ、第１ＩＯポート４６、シリアルＩＯポート４７及び
第２ＩＯポート４８を初期値に設定する。

【００４５】この初期設定が終了すると、ステップＳ２
に処理を移行し、操作スイッチ２６ａ、リモコン２８
Ａ、又はパソコン２７Ａからのモード変更命令が入力さ
れたか否かを判定することで、ユーザにより何れかのモ
ードに切り換える操作がなされたか否かを判定する。モ
ード切替操作がなされたと判定したときには図７のステ
ップＳ１７に処理を進め、モード切替操作がなされてい
ないと判定したときにはステップＳ３に処理を進める。

【００４６】ステップＳ３においてＣＰＵ４１は、全方
位カメラシステムが起動直後である場合にはフラッシュ
ＲＯＭ４３に記憶された初期設定のモードを読み出し、
以前にモード変更がなされた場合にはＲＡＭ４２に記憶
されているモードを読み出して、ステップＳ４に処理を
移行する。

【００４７】ステップＳ４では、読み出したモードがリ
モートモードであるか否かをＣＰＵ４１により判定し、
リモートモードでない場合にはそのままステップＳ６に
処理を移行し、リモートモードである場合にはステップ
Ｓ５に処理を移行してリモコン２８Ａからの傾斜角度設
定命令に従って、設定角記憶部２９に記憶する目標傾斜
角度を目標第１傾斜角度及び目標第２傾斜角度に更新し
てステップＳ６に処理を進める。

【００４８】ステップＳ６では、ステップＳ３にて読み
出したモードが外部設定モードであるか否かをＣＰＵ４
１により判定し、外部設定モードである場合にステップ
Ｓ７に移行し、ステップＳ３にて読み出したモードがパ
ソコン設定モードであるか否かを判定する。パソコン設
定モードではないと判定した場合にはそのままステップ
Ｓ９に処理を進め、パソコン設定モードであると判定し
た場合にはステップＳ８に処理を移行してパソコン２７
Ａからの傾斜角度設定命令に従って、設定角記憶部２９
に記憶する目標傾斜角度を目標第１傾斜角度及び目標第
２傾斜角度に更新してステップＳ９に処理を進める。

【００４９】ステップＳ９では、ステップＳ３にて読み
出したモードがＧＰＳ設定モードであるか否かをＣＰＵ
４１により判定し、ＧＰＳ設定モードではないと判定し
た場合にはそのままステップＳ１１に処理を進め、ＧＰ
Ｓ設定モードであると判定した場合にはステップＳ１０
に処理を移行してＧＰＳからの位置情報に従って、位置
情報に対応した目標第１傾斜角度及び目標第２傾斜角度
をテーブルデータから取得して、設定角記憶部２９に記
憶してステップＳ１１に処理を進める。

【００５０】ステップＳ１１において、ステップＳ５、
ステップＳ８、ステップＳ１０にて更新した目標第１傾
斜角度の値を変数ｔｓ１にすると共に目標第２傾斜角度
の値を変数ｔｓ２にしてステップＳ１２に処理を移行
し、第１傾斜センサ１６及び第２傾斜角センサ１８又は
第１ロータリーエンコーダ１７及び第２ロータリーエン
コーダ１９からの信号から現在の第１傾斜角度を求めて
変数ｔｉ１にすると共に現在の第２傾斜角度を求めて変
数ｔｉ２にして、ステップＳ１３に処理を移行する。

【００５１】ステップＳ１３において、ステップＳ１１
及びステップＳ１２にて設定した変数ｔｓ１、ｔｓ２、
ｔｉ１、ｔｉ２を用いて、ＣＰＵ４１により下記式１及
び式２に示す演算をする。ｔｄ１＝ｋ１（ｔｓ１−ｔｉ１）（式１）ｔｄ２＝ｋ２（ｔｓ２−ｔｉ２）（式２）

【００５２】ここで、ｋ１，ｋ２は、第１モータ１１及
び第２モータ１５の特性や第１フレーム３及び第２フレ
ーム４の第１回転軸６及び第２回転軸７における質量摩
擦により、予め全方位カメラシステムの設計時において
決定されてフラッシュＲＯＭ４３に格納された定数であ
る。また、ｔｄ１は、ＤＡコンバータ４５から第１アン
プ５２に供給するためにＤＡコンバータ４５の第１アン
プ５２制御用ポートにセットする変数である。ｔｄ２
は、ＤＡコンバータ４５から第２アンプ５３に供給する
ためにＤＡコンバータ４５の第２アンプ５３制御用ポー
トにセットする変数である。

【００５３】このように式１，式２により変数ｔｄ１及
び変数ｔｄ２を求めるとステップＳ１４に処理を移行
し、ＤＡコンバータ４５の第１アンプ５２制御用ポート
に変数ｔｄ１をセットすると共に第２アンプ５３制御用
ポートに変数ｔｄ２をセットしする。これにより、第１
モータ１１及び第２モータ１５を駆動開始して、第１フ
レーム３及び第２フレーム４を目標第１傾斜角度及び目
標第２傾斜角度に駆動開始して、ステップＳ１５に処理
を移行する。

【００５４】ステップＳ１５では、第１フレーム３及び
第２フレーム４の駆動開始と同時的に、ＣＰＵ４１内の
図示しないタイマ回路の初期設定をすると共にタイマ回
路の起動をして、ステップＳ１６に処理を移行し、タイ
マ回路にて所定時間を計数してタイムアップとなったか
否かを判定し、タイムアップとなったらステップＳ２に
処理を戻す。すなわち、この所定時間内に、現在の第
１，第２傾斜角度を検出しながら、第１フレーム３及び
第２フレーム４を目標第１傾斜角度及び目標第２傾斜角
度とする。

【００５５】一方、ステップＳ２にてモード切替操作が
なされたと判定したときのステップＳ１７においては、
切り換えられたモードに移行してステップＳ１８に処理
を進めて、ユーザの手動作により第１フレーム３及び第
２フレーム４の傾斜角度を調整するマニュアル動作モー
ドであるか否かを判定し、マニュアル動作モードでない
場合にはステップＳ３に処理を戻し、マニュアル動作モ
ードである場合にはステップＳ１９に処理を移行する。

【００５６】ステップＳ１９において、例えば操作スイ
ッチ２６ａやリモコン２８Ａ、或いはパソコン２７Ａが
ユーザにより操作されて、傾斜角増加スイッチがオンさ
れた場合にはステップＳ２０に処理を進めて、ＣＰＵ４
１により設定角記憶部２９に記憶してある目標第１傾斜
角度及び目標第２傾斜角度を一定量だけ増加させるよう
に更新する。

【００５７】一方、傾斜角増加スイッチがオンされてい
ない場合にはステップＳ２１に処理を進めて、傾斜角減
少スイッチがオンされた場合にはステップＳ２２に処理
を進めて、ＣＰＵ４１により設定角記憶部２９に記憶し
てある目標第１傾斜角度及び目標第２傾斜角度を一定量
だけ減少させるように更新する。

【００５８】そして、ステップＳ２３において、マニュ
アル設定モードであるか否かを判定して、マニュアル設
定モードでない場合にはステップＳ３に処理を戻し、マ
ニュアル設定モードである場合にはステップＳ２４に移
行し、目標第１傾斜角度及び目標第２傾斜角度をマニュ
アル操作で更新して、ステップＳ３に戻す。

【００５９】[第１実施形態に係る全方位カメラシステ
ムの効果]以上詳細に説明したように、本発明を適用し
た全方位カメラシステムによれば、第３フレーム５を移
動体に搭載した場合であっても、第１フレーム３の第１
回転軸６と第２フレーム４の第２回転軸７とを直交させ
て第１傾斜角度及び第２傾斜角度を調整することによ
り、光学系１にて光入射する全方位の垂直方向角度を目
標とする傾斜角度に維持することができる。したがっ
て、この全方位カメラシステムによれば、第１回転軸６
及び第２回転軸７の高さを同一にして、全方位において
垂直方向における傾斜角度を調整することで、全方位の
垂直方向の視野角を得ることができる。

【００６０】また、全方位カメラシステムによれば、第
１傾斜角度及び第２傾斜角度を検出する構成として加速
度センサを用いたので、重力方向を基準とする全方位の
垂直方向の角度に光学系１を設定することができ、更に
は、ロータリーエンコーダを用いたので、光学系１及び
撮像カメラ２の取り付け位置を基準とする全方位の垂直
方向の角度に光学系１を設定することができる。

【００６１】［第２実施形態に係る全方位カメラシステ
ム］つぎに、本発明を適用した第２実施形態に係る全方
位カメラシステムについて説明する。なお、上述した第
１実施形態に係る全方位カメラシステムと同じ部分につ
いては同一符号を付することによりその詳細な説明を省
略する。

【００６２】上述した全方位カメラシステムでは、第１
フレーム３及び第２フレーム４の傾斜角度を加速度セン
サなどの第１傾斜センサ１６及び第２傾斜角センサ１８
や、第１ロータリーエンコーダ１７及び第２ロータリー
エンコーダ１９にて検出したが、第２実施形態に係る全
方位カメラシステムでは、これらに代えて、撮像カメラ
２により撮像した環状画像から動きベクトルを求めるこ
とにより第１傾斜角度及び第２傾斜角度を求めることを
特徴とする。

【００６３】第２実施形態では、図８中の歪み発生時の
仮想中心線Ａ、無歪み時の仮想中心線Ｂに示すように、
撮像カメラ２により撮像した環状画像１０１の特性によ
り、Ｘ方向（円周方向）における歪み量が第２回転軸７
の回転方向に一致する角度の画像部分にて最大となり、
Ｙ方向（半径方向）における歪み量が第１回転軸６の回
転方向に一致する角度の画像部分にて最大となり、且つ
１８０度対称に歪む。したがって、この環状画像の歪み
特性を利用して第１傾斜角度及び第２傾斜角度を求め
る。

【００６４】この全方位カメラシステムは、ＣＰＵ４１
により、フラッシュＲＯＭ４３に記憶されたプログラム
を実行することで、以下に説明するような処理をする。

【００６５】ＣＰＵ４１は、図８に示すような環状画像
１０１を撮像カメラ２から入力すると、一旦環状画像１
０１をＲＡＭ４２に記憶して、第１回転軸６における第
１傾斜角度を検出するためのブロックマッチングエリア
１０２，ブロックマッチングエリア１０３を一対設定す
ると共に、第２回転軸７における第２傾斜角度を検出す
るためのブロックマッチングエリア１０４，ブロックマ
ッチングエリア１０５を一対設定する。ここで、第１回
転軸６は図８中の傾斜角０度位置から対角線上の傾斜角
１８０度位置に設定され、第２回転軸７は図８中の傾斜
角９０度位置から対角線上の傾斜角２７０度位置に設定
され

【００６６】先ず、第１傾斜角度を検出する処理につい
て説明する。

【００６７】ＣＰＵ４１は、ブロックマッチングエリア
１０２，１０３を設定すると、時間的に前の前回の環状
画像１０１と、今回の環状画像１０１とでブロックマッ
チングをする。すなわち、前回の環状画像１０１のブロ
ックマッチングエリア１０２と今回の環状画像１０１の
ブロックマッチングエリア１０２とを用いたブロックマ
ッチングをしてブロックマッチングエリア１０２につい
ての動きベクトルＸＹａを求め、同様にブロックマッチ
ングエリア１０３についての動きベクトルＸＹｂを求め
る。

【００６８】次に、動きベクトルＸＹａ、ＸＹｂのＹ成
分と取り出して、Ｙａ、Ｙｂを求める。ここで、動きベ
クトルのＹ成分のみを取り出すのは第１傾斜角度を変化
させたときにブロックマッチングエリア１０２，１０３
の環状画像１０１の歪み量が最大となり、歪み量が１８
０度対称となって現れることによる。

【００６９】次に、光学系１のＹ方向におけるレンズ特
性から定まる係数Ｋｙを用いて、第１回転軸６の第１傾
斜角をブロックマッチングエリア１０２及びブロックマ
ッチングエリア１０３について下記式３及び式４に示す
ように、Ｙθａ＝Ｋｙ×Ｙａ（式３）Ｙθｂ＝Ｋｙ×Ｙｂ（式４）を用いてブロックマッチングエリア１０２から求めた第
１傾斜角度Ｙθａ、ブロックマッチングエリア１０３か
ら求めた第１傾斜角度Ｙθｂを演算し、下記式５に示す
ように、Ｙθ＝（Ｙθａ−Ｙθｂ）／２（式５）なる演算式により第１傾斜角度の平均値を算出すること
で、第１傾斜角Ｙθを求める。

【００７０】同様に、第２傾斜角度を検出する処理につ
いて説明する。

【００７１】ＣＰＵ４１は、ブロックマッチングエリア
１０４，１０５を設定すると、時間的に前の前回の環状
画像１０１と、今回の環状画像１０１とでブロックマッ
チングをする。すなわち、前回の環状画像１０１のブロ
ックマッチングエリア１０４と今回の環状画像１０１の
ブロックマッチングエリア１０４とを用いたブロックマ
ッチングをしてブロックマッチングエリア１０４につい
ての動きベクトルＸＹｃを求め、同様にブロックマッチ
ングエリア１０５についての動きベクトルＸＹｄを求め
る。

【００７２】次に、動きベクトルＸＹｃ、ＸＹｄのＸ成
分と取り出して、Ｘａ、Ｘｂを求める。ここで、動きベ
クトルのＸ成分のみを取り出すのは第２傾斜角度を変化
させたときにブロックマッチングエリア１０４，１０５
の環状画像１０１の歪み量が最大となり、歪み量が１８
０度対称となって現れることによる。

【００７３】次に、光学系１のＸ方向におけるレンズ特
性から定まる係数Ｋｘを用いて、第２回転軸７の第１傾
斜角度をブロックマッチングエリア１０４及びブロック
マッチングエリア１０５について下記式６及び式７に示
すように、Ｘθａ＝Ｋｘ×Ｙｃ（式６）Ｘθｂ＝Ｋｘ×Ｙｄ（式７）を用いてブロックマッチングエリア１０４から求めた第
２傾斜角度Ｘθｃ、ブロックマッチングエリア１０５か
ら求めた第２傾斜角度Ｘθｄを演算し、下記式８に示す
ように、Ｘθ＝（Ｘθｃ−Ｙθｄ）／２（式８）なる演算式により第２傾斜角度の平均値を算出すること
で、第２傾斜角Ｘθを求める。

【００７４】このように、第２実施形態に係る全方位カ
メラシステムによれば、環状画像１０１の歪みを利用し
て第１傾斜角Ｙθ及び第２傾斜角Ｘθを求めることがで
きるので、第１実施形態では必須の構成であった第１傾
斜センサ１６及び第２傾斜角センサ１８や、第１ロータ
リーエンコーダ１７及び第２ロータリーエンコーダ１９
を不要とすることができ、システムの簡略化やコストの
低減などを実現することができる。

【００７５】［第３実施形態に係る全方位カメラシステ
ム］つぎに、本発明を適用した第３実施形態に係る全方
位カメラシステムについて説明する。なお、上述した実
施形態に係る全方位カメラシステムと同じ部分について
は同一符号を付することによりその詳細な説明を省略す
る。

【００７６】第３実施形態に係る全方位カメラシステム
では、撮像カメラ２での環状画像１０１の撮像タイミン
グにおける第１傾斜角度及び第２傾斜角度を記憶してお
き、第１傾斜角度及び第２傾斜角度と環状画像１０１の
歪み量とが比例することを利用して、画像補正部３２に
て展開画像の歪みを補正することを特徴とする。

【００７７】画像展開部３１では、図８に示したような
環状画像１０１を、図９に示したような展開画像１１１
に展開する。この画像展開部３１における画像展開処理
としては、例えば特開２０００−１３７８００号公報に
開示されている処理を行う。

【００７８】すなわち、この画像展開処理において、環
状画像１０１を構成する各画素位置は、位置座標（ｘ、
ｙ）の経緯座標系を以て表現される。画像展開部３１
は、環状画像１０１の中心位置を軸とした円周方向の角
度θと、環状画像１０１の中心位置からの直線距離Ｒに
よる座標系を構成し、環状画像１０１を構成する各画素
の位置座標（ｘ、ｙ）をθとＲによる座標に置き換え
る。そして、各画素の位置座標（ｘ、ｙ）を、前記θと
Ｒの座標系に基づいて補正し、θを緯軸、Ｒを経軸とし
た長方形の展開画像１１１の位置座標として設定する。

【００７９】これにより、図８及び図９における無歪み
時における環状画像１０１の仮想中心線Ｂ上の画素ｂの
位置座標（Ｘｂ、Ｙｂ）を得る。そして、画像補正部３
２は、制御部３０から第１傾斜角度及び第２傾斜角度を
入力し、歪み発生時における環状画像１０１の仮想中心
線Ａ上の画素ａの位置座標（Ｘａ、Ｙａ）を得るため
に、の下記の式９及び式１０に示すように、Ｘａ＝Ｘｂ＋（Ｋ１２×θ２×ｃｏｓθ）（式９）Ｙａ＝Ｙｂ＋（Ｋ１１×θ１×ｓｉｎθ）（式１０）にて表現される演算をする。ここで、Ｋ１１は光学系１
のレンズ特性から定まる第１傾斜角度の係数であり、Ｋ
１２は光学系１のレンズ特性から定まる第２傾斜角度の
係数であり、θ１，θ２は制御部３０から入力される第
１傾斜角度，第２傾斜角度であり、θは位置座標（Ｘ
ａ、Ｙａ）の環状画像１０１における円周方向角度であ
る。

【００８０】画像補正部３２は、このように演算した位
置座標（Ｘａ、Ｙａ）に近接する４画素（２×２）の画
素データを取り出し、１画素に合成することで、傾斜角
度に応じた歪み量を補正した展開画像１１１のデータを
得る。このとき、画像補正部３２は、取り出した４画素
の近接度合いから、重み付けして合成して展開画像１１
１の１画素を得る。そして、画像補正部３２は、展開画
像１１１の全画素について同様の演算を行うことで、全
面に亘って補正した展開画像１１１を得ることができ
る。

【００８１】したがって、第３実施形態に係る全方位カ
メラシステムによれば、環状画像１０１の撮像時の第１
傾斜角度第２傾斜角度を用いて、環状画像１０１から展
開画像１１１に展開したときの歪みを補正する画像処理
をすることで、各撮像タイミングごとに展開画像１１１
の歪みを正確に補正して表示させることができる。

【００８２】なお、上述の実施の形態は本発明の一例で
ある。このため、本発明は、上述の実施形態に限定され
ることはなく、この実施の形態以外であっても、本発明
に係る技術的思想を逸脱しない範囲であれば、設計等に
応じて種々の変更が可能であることは勿論である。

【００８３】

【発明の効果】本発明に係る全方位撮像システムによれ
ば、全方位に亘って撮像した環状画像を展開画像にして
表示するときに、傾斜角度設定手段により目標第１傾斜
角度及び目標第２傾斜角度を設定して記憶し、傾斜角度
検出手段によりチルト手段の第１傾斜角度及び第２傾斜
角度を検出しながら、目標第１傾斜角度及び目標第２傾
斜角度に維持するようにチルト駆動手段を制御するの
で、移動しながら撮影を行っても光学系の傾斜角度を目
標とする傾斜角度に維持することができる。

【図面の簡単な説明】

【図１】本発明を適用した第１実施形態に係る全方位カ
メラシステムの外観構成を示す斜視図である。

【図２】本発明を適用した第１実施形態に係る全方位カ
メラシステムの外観構成を示す正面図である。

【図３】本発明を適用した第１実施形態に係る全方位カ
メラシステムの外観構成を示す側面図である。

【図４】本発明を適用した第１実施形態に係る全方位カ
メラシステムの機能的な構成を示すブロック図である。

【図５】制御部の機能的な構成を示すブロック図であ
る。

【図６】本発明を適用した第１実施形態に係る全方位カ
メラシステムにおける傾斜角度制御処理の処理手順を示
すフローチャートである。

【図７】本発明を適用した第１実施形態に係る全方位カ
メラシステムにおける傾斜角度制御処理の処理手順を示
すフローチャートである。

【図８】本発明を適用した第２実施形態に係る全方位カ
メラシステムにおいて、環状画像を用いて第１傾斜角度
及び第２傾斜角度を求める処理について説明するための
図である。

【図９】本発明を適用した第３実施形態に係る全方位カ
メラシステムにおいて、検出した第１傾斜角度及び第２
傾斜角度を用いて環状画像１０１から展開画像１１１を
作成したときの歪みを補正する処理について説明するた
めの図である。

【符号の説明】

１光学系２撮像カメラ３第１フレーム４第２フレーム５第３フレーム６第１回転軸７第２回転軸８第１プーリ９第１ベルト１０第２プーリ１１第１モータ１２第３プーリ１３第２ベルト１４第４プーリ１５第２モータ１６第１傾斜センサ１７第１ロータリーエンコーダ１８第２傾斜角センサ１９第２ロータリーエンコーダ２１チルト部２２第１チルト駆動部２３第２チルト駆動部２４第１傾斜角検出部２５第２傾斜角検出部２６内部傾斜角設定部２７第１外部傾斜角設定部２８第２外部傾斜角設定部２９設定角記憶部３０制御部３１画像展開部３２画像補正部３３表示部４１ＣＰＵ４２ＲＡＭ４３フラッシュＲＯＭ４４ＡＤコンバータ４５ＤＡコンバータ４６第１ＩＯポート４７シリアルＩＯポート４８第２ＩＯポート４９バス５０第１カウンタ５１第２カウンタ５２第１アンプ５３第２アンプ１０１環状画像１０２，１０３，１０４，１０５ブロックマッチング
エリア１１１展開画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０３Ｂ 17/56 Ｇ０３Ｂ 17/56 Ａ５Ｃ０５４ＢＺ 37/02 37/02 Ｇ０６Ｔ 3/00 ２００Ｇ０６Ｔ 3/00 ２００Ｈ０４Ｎ 5/222 Ｈ０４Ｎ 5/222 Ｂ 5/232 5/232 Ｚ 7/18 7/18 Ｖ (72)発明者岩木修富山県上新川郡大山町岡田586 (72)発明者高本直紀富山県射水郡小杉町太閤山７−93 (72)発明者光山和哉富山県中新川郡立山町柿の木沢3527−20 (72)発明者今村省人富山県富山市豊島町１−47 Ｆターム(参考） 2H059 BA06 2H102 AA00 AA41 AA71 AB00 BA00 BA21 BA27 BB01 2H105 AA02 AA03 AA06 AA11 AA12 AA17 EE16 EE31 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD12 CH08 5C022 AA00 AB45 AB62 AC01 AC27 AC69 AC74 AC77 CA00 5C054 CC05 CF01 CF06 EA01 EA05 EF06 FC13 FD02 FE12 FE17 HA00

Claims

【特許請求の範囲】

【請求項１】全方位に亘って撮像光を入射する光学系
と、上記光学系を介して入射した撮像光から、環状画像を生
成する撮像手段と、直交する２軸の回転機構を有し、上記光学系の第１傾斜
角度及び第２傾斜角度を調整して上記撮像手段の撮像方
向を調整するチルト手段と、上記チルト手段の２軸の回転機構を駆動制御して上記撮
像手段の撮像方向を制御するチルト駆動手段と、上記チルト手段の第１傾斜角度及び第２傾斜角度を検出
する傾斜角度検出手段と、上記チルト手段により目標とする目標第１傾斜角度及び
目標第２傾斜角度を設定する傾斜角度設定手段と、上記傾斜角度設定手段により設定された目標第１傾斜角
度及び目標第２傾斜角度を記憶し、上記傾斜角度検出手
段により検出される第１傾斜角度及び第２傾斜角度を目
標第１傾斜角度及び目標第２傾斜角度に維持するように
上記チルト駆動手段を制御する制御手段と、上記撮像手段により撮像された環状画像に画像処理をし
て展開画像を作成する画像処理手段と、上記画像処理手段により作成された展開画像を表示する
表示手段とを備えることを特徴とする全方位撮像システ
ム。
【請求項２】上位チルト手段の２軸の高さを同一とす
ることを特徴とする請求項１に記載の全方位撮像システ
ム。
【請求項３】上記傾斜角度検出手段は、上記回転機構
の回転加速度を検出する加速度センサからなることを特
徴とする請求項１に記載の全方位撮像システム。
【請求項４】上記傾斜角度検出手段は、上記光学系の
３次元角度を検出する３Ｄモーションセンサからなるこ
とを特徴とする請求項１に記載の全方位撮像システム。
【請求項５】上記傾斜角度検出手段は、上記チルト駆
動手段の動作を検出するロータリエンコーダを使用した
ことを特徴とする請求項１に記載の全方位撮像システ
ム。
【請求項６】上記傾斜角度検出手段は、上記回転機構
の回転加速度を検出する加速度センサと、上記チルト駆
動手段の動作を検出するロータリエンコーダとを併用し
て使用することを特徴とする請求項１に記載の全方位撮
像システム。
【請求項７】上記傾斜角度検出手段は、上記撮像手段
で撮像した環状画像の歪みが最大となる画像部分に上記
チルト手段の２軸に対応する２対のブロックマッチング
用エリアを設定し、各ブロックマッチング用エリア内の
上記光学系の傾斜による環状画像の歪みを動きベクトル
として検出し、この動きベクトルに基づいて上記チルト
手段の２軸の傾斜角度を求めることを特徴とする請求項
１に記載の全方位撮像システム。
【請求項８】上記画像処理手段は、上記撮像手段での
環状画像撮像タイミングにおける上記傾斜角度検出手段
で検出された第１傾斜角度及び第２傾斜角度を記憶し、
記憶した傾斜角度に比例した環状画像の歪み量を演算
し、演算した歪み量に基づいて環状画像を展開した展開
画像を作成することを特徴とする請求項１に記載の全方
位撮像システム。
【請求項９】上記傾斜角度設定手段は、予め設定され
た目標第１傾斜角度及び目標第２傾斜角度を記憶してお
き、外部からの傾斜角度設定命令に従って目標第１傾斜
角度及び目標第２傾斜角度を変更することを特徴とする
請求項１に記載の全方位撮像システム。
【請求項１０】上記傾斜角度設定手段は、上記光学系
の位置と目標第１傾斜角度及び目標第２傾斜角度との関
係を予め記憶しておき、外部からの上記光学系の位置を
示す位置情報に従って目標第１傾斜角度及び目標第２傾
斜角度を変更することを特徴とする請求項１に記載の全
方位撮像システム。