JP2000253391A

JP2000253391A - パノラマ映像生成システム

Info

Publication number: JP2000253391A
Application number: JP11049622A
Authority: JP
Inventors: Yukihiro Kawamata; 幸博川股; Hiroshi Shojima; 正嶋　　博
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-02-26
Filing date: 1999-02-26
Publication date: 2000-09-14

Abstract

(57)【要約】【課題】本発明の課題は、複数のカメラで撮影した動画
像をパノラマ合成する方法を提供することである。【解決手段】現場を撮影する複数のカメラとこれらのカ
メラ毎に撮影した映像を射影変換する射影変換部とを持
つ映像撮影部１０１〜１１５と、この映像撮影部１０１
〜１１５で射影変換された映像を１枚に合成する映像合
成部と、合成映像を表示するパノラマ映像表示部（１７
０）を有するパノラマ映像生成システムによって構成さ
れる。これにより複数の映像を１枚の動画像としてパノ
ラマ合成することができる。また、これにより、超広角
な映像を得ることができ、広域監視システムなどでは、
全体の概況を把握しやすくなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、河川監視，道路監
視，プラント監視などの監視システムに係り、特に広範
囲な地域を監視する広域監視システム、およびその利用
方法に関するものである。

【０００２】

【従来の技術】従来のパノラマ映像を生成するシステム
は、第４回画像センシングシンポジウム講演論文集（ｐ
２０３−ｐ２０８）に記載されているように、静止画を
合成することを前提としたシステムである。この従来技
術の特徴は、（１）パノラマ映像を生成するための射影変換が単一の
処理系で処理されていること。

【０００３】（２）映像と映像の重なり部分を推定する
のにオプティカルフロー推定などのような画面全体を探
索する手法を使っていること。

【０００４】さらに、従来の多数のカメラを使った監視
システムでは、監視地点を切り替えるのに（３）ユーザ自身が、直接カメラのＩＤを指定し、見た
い方向にカメラをパンさせたり、チルトさせているこ
と、である。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
従来技術では、（１）複数の映像を１つの処理系で合成しているので、
１つの処理系の負荷が増大してしまい、処理に時間がか
かり、そのため動画像をパノラマ合成すること難しい。

【０００６】（２）画面全体を探索する手法を使ってい
るので、多くの処理時間を必要とし、負荷の関係で動画
像をパノラマ合成することが難しい。

【０００７】さらに、（３）監視カメラが多数ある監視システムでは、ユーザ
が監視対象を見るために、どのカメラをどの方向に向け
てよいかがわからない。

【０００８】といった問題があった。

【０００９】この発明は、以上のような問題点について
鑑みてなされたもので、複数のカメラで撮影した動画像
をパノラマ化して見られるようにし、さらに、ユーザが
カメラ操作（カメラの切り替え，パン，チルト操作）を
意識せずに見たい地点を見られるようにすることを目的
とする。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に（１）カメラ映像の射影変換処理を分散処理するように
各ＴＶカメラ毎に射影変換手段を設けた。

【００１１】（２）そして、指定した大きさの重ね合わ
せ領域を持つようにカメラのパン角，チルト角を計算す
るカメラパラメータ計算部と、そのカメラパラメータに
基づきＴＶカメラを制御するカメラ制御部とを設けた。

【００１２】（３）さらに、ＧＩＳ情報に基づいて、ユ
ーザが指定した地点に最も近いカメラを選択しその方向
にカメラをパン，チルトさせるカメラパラメータ計算部
を設けた。

【００１３】

【発明の実施の形態】図１は、本発明の第一の実施例の
システム構成図を示している。

【００１４】この実施例は、河川監視をするため、ＴＶ
カメラを河川敷に直線的に適当な間隔ごとに設置し、そ
れらＴＶカメラの中から隣接する５台のＴＶカメラを選
択し、それら５台で撮影した映像をパノラマ映像として
合成することで広範囲を監視するシステムである。そこ
で、隣接する５台のカメラの映像がそれぞれ最適に重な
り合うようにカメラのパン角，チルト角といったカメラ
パラメータを制御する。さらに、複数のカメラ映像をリ
アルタイムでパノラマ映像として合成するために、パノ
ラマ映像合成時の映像の仮想平面への射影変換を各カメ
ラごとに分散し処理する。それから、ユーザが入力した
地名をＧＩＳ情報を用いて緯度・経度・高度の情報に変
換し、その地名の地点を監視できるようにカメラを制御
する。

【００１５】システムは、１５台の撮影部（第１撮影部
１０１〜第１５撮影部１１５）と、パノラマ映像表示部
１７０とが、ネットワーク１５０によって接続されてい
る。図２は、第ｊ撮影部２００のシステム構成である。
１５台の撮影部のシステム構成は全く同じである。

【００１６】第ｊ撮影部２００は、現場を撮影するＴＶ
カメラ２１０と、ＴＶカメラ２１０をパンさせたりチル
トさせたり、ズームさせたりするカメラ制御部２１５
と、ＴＶカメラ２１０で撮影した映像をキャプチャする
映像キャプチャ部２２０と映像キャプチャ部２２０でキ
ャプチャした映像を一時保存する映像メモリ２２５と、
映像キャプチャ部２２０で撮影した映像を仮想平面に射
影変換する射影変換部２３０と、パノラマ映像表示部１
７０にＴＶカメラ２１０で撮影した映像データを送信し
たり、パノラマ映像表示部１７０から射影変換行列やカ
メラ制御命令や映像送信開始命令や映像送信終了命令を
受信したりする撮影側通信部２４５と、カメラ制御部２
１５にカメラ撮影命令を出したり、射影変換部２３０に
射影変換命令を出したり、撮影側通信部２４５に映像送
信命令を出したりする撮影側制御部２３５とからなる。

【００１７】次に、図３にパノラマ映像表示部１７０の
システム構成を示す。

【００１８】パノラマ映像表示部１７０は、ユーザが地
名を入力するマイク３３５と、マイク３３５で入力され
た地名を認識する音声認識部３３０と、ユーザが地図上
で監視場所を指定したり、カメラの撮影方向を指定した
りするマウス３４０と、地名データに対応する緯度・経
度や緯度・経度に対する高度（ＤＥＭ情報）や地図を蓄
積し地名データや地図から緯度・経度・高度情報を検索
できる地図データベース３４５と、カメラデータベース
３５０と、１５台の撮影部全てのＴＶカメラの緯度・経
度・高度情報を蓄積し、パノラマ映像生成に関わる５台
の撮影部のＴＶカメラパラメータ（パン角，チルト角，
ズーム率）を記憶するテーブル（カメラテーブル）と、
監視対象の緯度・経度・高度情報を記憶するテーブル
（監視対象テーブル）と撮影部間の距離データを持つ地
図データベース３５０と、パノラマ映像生成に関わる５
台の撮影部のＴＶカメラの映像がオーバーラップするよ
うにパン角，チルト角を計算したり、映像の平均輝度か
らカメラの露光パラメータを設定したりするカメラパラ
メータ計算部３１０と、仮想平面に撮影部の映像を射影
変換する射影変換行列を生成する射影変換行列計算部３
０５と、５台の撮影部から伝送された射影変換後の映像
データを重ね合わせパノラマ合成映像を作成する映像合
成部３１５と、５台の撮影部から伝送された映像データ
を一時保存する映像メモリ３００と、パノラマ合成映像
を表示する表示部３５５と、カメラパラメータ計算部３
１０で計算したパン角，チルト角を撮影部に送信した
り、撮影部から伝送される映像データを受信したりする
パノラマ映像表示側通信部３２０と、射影変換行列計算
部３０５に行列計算命令を出したり、映像合成部３１５
に映像合成命令を出したり、パノラマ映像表示側通信部
３２０にカメラパラメータ送信命令を出したりするパノ
ラマ映像表示側制御部３２５とからなる。

【００１９】次に本システムの動作例について説明す
る。はじめにパノラマ映像表示部のフローチャートにつ
いて説明する。図４〜図８は本システムのパノラマ映像
表示部のフローチャートである。

【００２０】はじめにステップ４００では、地図データ
ベース３４５の中にあるカメラテーブルの初期値を設定
する。カメラテーブルはパノラマ合成する映像を撮影す
る５台の撮影部のＴＶカメラに関するカメラＩＤとパン
角とチルト角とズーム率である。図１６は撮影部６から
撮影部１０までのカメラの映像をパノラマ合成する場合
のカメラテーブルの例である。カメラテーブル中のカメ
ラａ〜カメラｅは、一番左から右に向かってカメラａ、
カメラｂ，カメラｃ，カメラｄ，カメラｅという順番で
並んでいるものとする。そこで、カメラａには第６撮影
部１１０のＴＶカメラのＩＤである“６”が登録され
る、そしてカメラｂには“７”、カメラｃには“８”、
カメラｄには“９”、カメラｅには“１０”が登録され
る。さらに、カメラテーブル中のカメラａからカメラｅ
にはそれぞれパン角，チルト角，ズーム率のパラメータ
が登録できる。ここでは初期値として、カメラａからカ
メラｅのズーム率を５５，カメラａからカメラｅまでの
パン角をそれぞれ０.５３２,０.３５１，０.１６５，−
０.１０５，−０.３６９，チルト角を−０.１８２，０.
１０２，０.０５８，−０.０２１，０.１０１と登録す
る。ここで、カメラのズーム率は、最もズームインした
状態を０，最もズームアウトした状態を１００とする。

【００２１】次にステップ４０５からステップ４２５ま
では、第１撮影部から第１５撮影部までのオーバーラッ
プ領域を推定するために必要なズーム率と画角の関係式
を求める。

【００２２】初めにステップ４０５では、ｊ＝１とす
る。ｊは撮影部のＩＤを表す。

【００２３】次にステップ４１０では第ｊ撮影部のズー
ム率と画角の関係式を求めるための学習セットであるパ
ン・チルトに対する撮影物の移動量を取得する。

【００２４】ここで、学習セットの取得方法について説
明する。図１０，図１１は、第１撮影部１００のＴＶカ
メラ２１０に関する学習セット取得のフローチャートで
ある。

【００２５】はじめにステップ１０００では、地図デー
タベース３４５のカメラテーブルのカメラａのカメラＩ
Ｄを“１”，ズーム率０，パン角０，チルト角０を登録
する。

【００２６】ステップ１００５では、パノラマ映像表示
側通信部３２０から、カメラａ（第１撮影部１００）に
対して、カメラテーブルの内容を送信する。

【００２７】ステップ１０５０では、撮影側通信部２４
５において、ステップ１００５において伝送されたカメ
ラテーブルを受信する。

【００２８】ステップ１０５５では、カメラ制御部２１
５において、ＴＶカメラ２１０のズーム率，パン角，チ
ルト角を撮影側通信部２４５で受信したカメラテーブル
のパラメータになるように制御する。

【００２９】ステップ１０６０では、ステップ１０５５
で制御されたＴＶカメラ２１０で撮影された映像を映像
キャプチャ部２２０においてキャプチャする。

【００３０】ステップ１０６５では、ステップ１０６０
においてキャプチャした映像を撮影側通信部２４５から
ネットワーク１５０を経由してパノラマ映像表示側通信
部３２０に送信する。

【００３１】ステップ１０１０では、パノラマ映像表示
側通信部３２０において、ステップ１０６５で送信され
た映像データをパノラマ映像表示受信する。

【００３２】次にステップ１０１５では、ステップ１０
６０においてキャプチャした映像を撮影側通信部２４５
からネットワーク１５０を経由してパノラマ映像表示側
通信部３２０に送信する。

【００３３】次にステップ１０２０では、表示部３３５
に表示されたカメラａの映像中の撮影対象が左上端に表
示されるようにパン角，チルト角を入力手段を用いて入
力する。

【００３４】図１２は、カメラａのパン角，チルト角を
入力するための画面１２００である。この画面１２００
は表示部３５５に表示される。画面１２００にはカメラ
ａのパン角を入力するためのパンスライダー１２１０と
カメラａのチルト角を入力するためのチルトスライダー
８２０とカメラａの映像を表示する表示ウィンドウ１２
３０とが表示されている。ユーザはマウス３４０を用い
て、撮影対象1240が表示ウィンドウ１２３０の左上端１
２４２に写るようにパンスライダー１２１０とチルトス
ライダー１２２０とを操作する。

【００３５】このパンスライダー１２１０で入力された
パン角とチルトスライダー１２２０によって入力された
チルト角をカメラテーブルに登録する。

【００３６】ステップ１２２５では、ステップ１２２０
において入力されたパン角，チルト角を登録したカメラ
テーブルをカメラａに送信する。

【００３７】ステップ１０７０では、撮影側通信部２４
５において、ステップ１２２５で送信されたカメラテー
ブルを受信する。

【００３８】ステップ１０７５では、ステップ６７０に
おいて受信したカメラテーブルのパン角，チルト角，ズ
ーム率になるように、カメラ制御部２１５がＴＶカメラ
210を制御する。

【００３９】ステップ１０８０では、ステップ１０７５
において制御されたＴＶカメラ210の映像を映像キャプ
チャ部２２０においてキャプチャする。

【００４０】ステップ１０８５では、ステップ１０８０
においてキャプチャした映像を撮影側通信部２４５から
ネットワーク１５０を経由してパノラマ映像表示側通信
部３２０に送信する。

【００４１】ステップ１０３０では、パノラマ映像表示
側通信部３２０において、ステップ１０８５で送信され
た映像データをパノラマ映像表示受信する。

【００４２】ステップ１０３５では、ステップ１０３０
において受信した映像データを表示部３５５に表示す
る。

【００４３】ステップ１０４０では、表示部３５５の映
像を見て対象物が左上端に映っているか否かを判別し、
左上端１２４２に映っている場合には画面１２００中の
左上記録ボタン１２５０を押しステップ１０４５に進
む。そして左上端１２４２に映っていない場合には、
（ステップ６２０に進み）画面１２００中のパンスライ
ダー１２１０とチルトスライダー１２２０とを操作す
る。

【００４４】ステップ１０４５に進み、カメラデータベ
ース３５０に、ＴＶカメラａに設定されたパン角，チル
ト角，ズーム率が保存される。

【００４５】次に、ステップ１１００では、画面ウィン
ドウ１２３０中の対象物１２４０が画面右下端１２４４
で映るように、パンスライダー１２１０とチルトスライ
ダー１２２０とを操作する。そして、その操作されたパ
ンスライダー１２１０の値をパン角とし、チルトスライ
ダー１２２０の値をチルト角として、カメラテーブルに
登録する。

【００４６】ステップ１１０５では、ステップ１１００
で登録されたカメラテーブルをパノラマ映像表示側通信
部３２０からカメラａ（第１撮影部）に送信する。

【００４７】ステップ１１５０では、ステップ１００５
において送信されたカメラテーブルを撮影側通信部２４
５において受信する。

【００４８】ステップ１１５５では、撮影側通信部２４
５において受信したカメラテーブルのズーム率，パン
角，チルト角になるように、カメラ制御部２１５におい
てＴＶカメラ２１０を制御する。

【００４９】ステップ１１６０では、ステップ１１５５
において制御されたＴＶカメラ210の映像を映像キャプ
チャ部２２０においてキャプチャする。

【００５０】ステップ１１６５では、映像キャプチャ部
２２０においてキャプチャした映像データを撮影側通信
部２４５からパノラマ映像表示側通信部３２０に送信す
る。ステップ１１１０では、ステップ１１６０において
送信された映像データをパノラマ映像表示側通信部３３
５において受信する。

【００５１】ステップ１１１５では、パノラマ映像表示
側通信部３２０において受信した映像データを表示部３
５５に表示する。

【００５２】ステップ１１２０では、ステップ１１１５
において表示された映像データを見て、対象物が右下端
１２４４に映っているか否かを判別し、右下端に映って
いる場合には右下記録ボタン１２６０を押しステップ１
１２５に進み、右下端1244に映っていない場合にはステ
ップ７００に進みパンスライダー８１０と、チルトスラ
イダー８２０とを操作する。

【００５３】ステップ１１２５では、地図データベース
３４５において、ＴＶカメラａに設定されたパン角，チ
ルト角，ズーム率が保存される。

【００５４】ステップ１１３０では、ステップ１０４５
とステップ１１２５において記録されたパン角の差分
（＝左上端１２４２のパン角−右下端１２４４のパン
角、すなわち横方向の画角）αとチルト角の差分（＝左
上端１２４２のチルト角−右下端１２４４のチルト角、
すなわち縦方向の画角）βをカメラデータベース３５０
に保存する。

【００５５】ステップ１１３５では、カメラａのズーム
率を１０だけインクリメントし、カメラテーブルに登録
する。

【００５６】ステップ１１４０では、ズーム率が１００
を超えていないかを判別し、１００を超えている場合に
はステップ１１４５に進み終了処理し、１００以下の場
合にはステップ１００５に戻る。

【００５７】第２撮影部から第１５撮影部についてもズ
ーム率と画角との学習セットの収集手順は同じである。

【００５８】次にステップ４１５では、第ｊ撮影部の画
角とズーム率の関係式をステップ４１０で収集された学
習セットを用いて学習する。画角とズーム率の関係式は
以下の通りである。

【００５９】

【数１】 α＝ｆ(ｚ) …（１）

【００６０】

【数２】 β＝ｇ(ｚ) …（２）ここで、αは横方向の画角、βは縦方向の画角、ｚはズ
ーム率(０〜１００)、ｆ₀は画角とズーム率との写像関
係である。

【００６１】ここでは、ｆ(ｚ)とｇ(ｚ)を以下のような
３次線形方程式とし、ｆ(ｚ)の係数ａ₁とａ₂とａ₃と
ａ₄と、ｇ(ｚ)の係数ｂ₁とｂ₂とｂ₃とｂ₄とを最小
二乗法を用いて求める

【００６２】

【数３】ｆ(ｚ)＝ａ₁ｚ³＋ａ₂ｚ²＋ａ₃ｚ＋ａ₄…（３）

【００６３】

【数４】ｇ(ｚ)＝ｂ₁ｚ³＋ｂ₂ｚ²＋ｂ₃ｚ＋ｂ₄…（４）式（１）から式（４）より画角とズーム率の関係式は次
式のように求められる。

【００６４】

【数５】 α＝ａ₁ｚ³＋ａ₂ｚ²＋ａ₃ｚ＋ａ₄…（５）

【００６５】

【数６】 β＝ｂ₁ｚ³＋ｂ₂ｚ²＋ｂ₃ｚ＋ｂ₄…（６）式(５）と式(６）の画角とズーム率の関係式は、カメラ
データベース部３５０に保存する。

【００６６】第２撮影部から第１５撮影部についても画
角とズーム率の関係式の学習手順は同じである。

【００６７】次に、ステップ４２０では、ｊの値を１イ
ンクリメントする。

【００６８】次にステップ４２５では、ｊの値が１５を
超えているかどうか、すなわち、１５台の撮影部の画角
とズーム率の関係式を全て獲得したかどうかを判別し、
獲得した場合にはステップ４３０に進み、獲得していな
い場合にはステップ４１０に戻る。

【００６９】次にステップ４３０では、カメラａ，カメ
ラｂ，カメラｄ，カメラｅのパラメータ計算要求フラグ
を１にセットする。

【００７０】ステップ４３５からステップ４５０まで
は、地図を用いたユーザの監視したい場所の指定に関す
る手続きである。

【００７１】ステップ４３５では、表示部３５５に表示
された地図中でユーザが監視したい場所をマウス３４０
を用いて指定する。そしてユーザからの入力があった場
合にはステップ４４０に進み、入力がなかった場合には
ステップ４４５に進む。

【００７２】ここで、地図を用いた監視したい場所の指
定について説明する。ユーザは表示部３５５に表示され
る地図を見ながら、マウス３４０を操作し、地図上で見
たい所をクリックする。図１４はユーザが地図上で見た
い部分を指定する例である。図１４の画面１４００上に
は、現場映像を合成した映像を表示する映像表示ウィン
ドウ１４１５と地図表示ウィンドウ１４１０と、カメラ
操作ウィンドウ1420とからなる。地図表示ウィンドウ１
４２０には地図１４５０が表示される。ユーザはカーソ
ル１４３０をマウス３４０で移動させ監視したい場所１
４６０の上でクリックする。

【００７３】ステップ４４０では、マウス３４０で指定
された場所１４６０の緯度・経度・高度情報を地図デー
タベース３４５のＧＩＳ情報から取得する。

【００７４】ステップ４４５では、ユーザが指定した撮
影したい場所の緯度・経度・高度を登録してある監視対
象テーブルの内容をステップ４４０で取得した内容に更
新する。図１５は監視対象テーブルである。監視対象テ
ーブルには、ユーザが指定した撮影場所の緯度である緯
度１５１０（目標緯度）と経度１５２０（目標経度）と
高度１５３０（目標高度）が登録されている。ここで、
緯度・経度の精度は０.０１秒、高度の精度は０.００１
ｍとする。

【００７５】次にステップ４５０では、カメラｃパラメ
ータ計算要求フラグを１にする。

【００７６】ステップ４５５からステップ４７５まで
は、音声を用いたユーザの監視したい場所の指定に関す
る手続きである。

【００７７】ステップ４５５では、マイク３３５を用い
て監視したい場所の地名を入力する。そしてユーザから
入力があった場合にはステップ４６０に進み地名認識
し、入力がなかった場合にはステップ５００に進む。

【００７８】ステップ４６０では、マイク３３５によっ
て入力された地名を音声認識部330において認識する。

【００７９】次にステップ４６５では、音声認識部３３
０において認識された地名を地図データベース３４５の
ＧＩＳ情報を用いて、緯度・経度・高度情報に変換す
る。

【００８０】そしてステップ４７０において、ステップ
４６５の緯度・経度・高度情報を地図データベース３４
５内の監視対象テーブルに登録する。

【００８１】それからステップ４７５において、カメラ
パラメータ計算要求フラグを１にする。

【００８２】ステップ５００からステップ５３０までは
カメラｃすなわちパノラマ映像を生成する際の中央のカ
メラのパン角およびチルト角の計算処理を行う。

【００８３】はじめにステップ５００では、カメラｃパ
ラメータ計算要求フラグが１であるか否かを判別する。
カメラｃパラメータ計算要求フラグが１である場合には
ステップ５０５に進み、そうでない場合にはステップ５
３５に進む。

【００８４】ステップ５０５では、監視対象テーブルの
緯度・経度・高度に最も近い撮影部を地図データベース
３４５に予め登録された撮影部の緯度・経度・高度情報
に基づき検索する。

【００８５】次にステップ５１０ではステップ５０５で
検索した監視対象に最も近いカメラのＩＤをカメラテー
ブルのカメラｃに登録する。

【００８６】次にステップ５１５では、カメラパラメー
タ計算部３１０において、カメラｃのパン角を計算す
る。カメラｃのパン角は、ユーザが指定した監視地点の
方を向くようにする。例えば、監視地点の座標が(北緯
４３度５０分１２.３０秒，東経１４０度２０分１１.８
０秒）であり、カメラｃの座標が（北緯４３度５０分
１１.３０秒，東経１４０度２０分１１.３０秒）であ
り、北を０としたときのカメラｃのパン角θ_panは

【００８７】

【数７】 θ_pan1＝η_pan1＋tan^-1(０.５０秒／１.００秒)［rad］ …（７）となる。

【００８８】次にステップ５２０では、カメラパラメー
タ計算部３１０において、カメラｃのチルト角を計算す
る。カメラｃのチルト角も、ユーザが指定した監視地点
の方を向くようにする。例えば、監視地点の座標が（北
緯４３度５０分１２.３０秒,東経１４０度２０分１１.
８０秒，高度１３５.２１ｍ）であり、カメラｃの座標
が（北緯４３度５０分１１.３０秒，東経１４０度２０
分１１.３０秒）、高度１３０.１１ｍ）である場合、緯
度・経度ともに１秒あたりの距離を３０.８６ｍとする
と、水平面を０としたときのカメラｃのチルト角η_tilt
は、

【００８９】

【数８】

【００９０】となる。

【００９１】次にステップ５２５では、カメラｃパラメ
ータ計算要求フラグを０に設定する。

【００９２】それからステップ５３０において、カメラ
ａ，カメラｂ，カメラｄ，カメラｅのパラメータ計算要
求フラグを１に設定する。

【００９３】ステップ５３５からステップ５４５までは
マウス３４０を用いたズーム率の入力処理である。

【００９４】はじめにステップ５３５では、マウス３４
０を用いてズーム率の入力を行う。そして、入力が行わ
れた場合にはステップ５４０に進みカメラテーブルの更
新処理を行い、入力がない場合にはステップ５５０に進
む。

【００９５】ここで、マウスによるカメラの制御につい
て説明する。図１７は撮影部のＴＶカメラの操作を行う
ための画面１４００である。ユーザは画面１４００中の
カメラ操作ウィンドウ１４２０を用いてカメラ操作す
る。このカメラ操作ウィンドウ１４２０には、カメラを
上方向に向ける上ボタン１７１０と、カメラを右方向に
向ける右ボタン１７１５と、カメラを左方向に向ける左
ボタン１７２０と、カメラを下方向に向ける下ボタン１
７２５と、カメラをズームインさせるズームインボタン
１７３０と、カメラをズームアウトさせるズームアウト
ボタン１７３５とが表示されている。ユーザはこれらの
ボタンをクリックすることでカメラ操作量を指定する。

【００９６】ユーザがズーム率を指定する場合には、ズ
ームインボタン１７３０とズームアウトボタン１７３５
をクリックする。

【００９７】次にステップ５４０では、カメラテーブル
のカメラａ，カメラｂ，カメラｃ，カメラｄ，カメラｅ
のズーム率に、ステップ５３５において入力されたズー
ム率を登録する。例えば、ズームインボタンをクリック
した場合は、現在のズーム率から１０足した値をズーム
率として登録し、ズームアウトタンをクリックした場合
は、現在のズーム率から１０引いた値をズーム率として
登録する。

【００９８】次にステップ５４５ではカメラａ，カメラ
ｂ，カメラｄ，カメラｅのパラメータ計算要求フラグを
１に設定する。

【００９９】ステップ５５０からステップ５６５まで
は、音声によるズーム率の入力処理である。

【０１００】はじめにステップ５５０では、マイク３３
５を用いてズーム率を入力する。マイク３３５からズー
ム率の入力があった場合にはステップ５５５に進みズー
ム率を音声認識し、入力がなかった場合にはステップ５
７０に進む。

【０１０１】音声によるズーム率の入力方法に以下の通
りである。例えば、ユーザが映像をズームして見たい場
合には、“ズームイン”という音声をマイク３３５に向
かって入力し、全景を見たい場合には、“ズームアウ
ト”という音声をマイク３３５に向かって入力する。そ
して、ズーム率を調整したい場合には、０（最もズーム
アウトした状態）から１００（最もズームインした状
態）の間の数字を指定し、例えば８０の値に指定したい
場合、マイク３３５に“ズーム８０”と入力する。次に
ステップ５５５において、マイク３４０から入力された
ズーム率を音声認識部３３０で認識する。

【０１０２】次にステップ５６０では、音声認識部３３
０によって認識されたズーム率をカメラテーブルに更新
する。例えば、認識されたズーム率が“ズームイン”で
あった場合は、現在のズーム率から１０足した値をカメ
ラテーブルに登録し、“ズームアウト”であった場合
は、現在のズーム率から１０引いた値をカメラテーブル
に登録する。さらに、“ズーム８０”のようにズーム率
を直接指定する場合には、そのズーム率をカメラテーブ
ルに登録する。

【０１０３】次にステップ５６５では、カメラａ，カメ
ラｂ，カメラｄ，カメラｅのパラメータ計算要求フラグ
を１に設定する。

【０１０４】ステップ５７０からステップ５８０まで
は、マウスによるカメラの撮影方向（パン方向，チルト
方向）の入力処理である。ユーザは、例えば、ユーザが
今見ている映像より少し上が見たい、また少し右の方が
見たいといった場合にこの入力処理を行う。

【０１０５】まずはじめにステップ５７０では、マウス
３４０を用いてカメラの撮影方向を指定する。そして、
入力が行われた場合にはステップ５７５に進みカメラテ
ーブルの更新処理を行い、入力がない場合にはステップ
６００に進む。

【０１０６】ここで、マウスによるカメラの撮影方向を
指定について説明する。ユーザは図１７中の画面１４０
０中のカメラ操作ウィンドウ１４２０を用いてカメラ操
作する。このカメラ操作ウィンドウ１４２０中のカメラ
を上方向に向ける上ボタン１７１０と、カメラを右方向
に向ける右ボタン１７１５と、カメラを左方向に向ける
左ボタン１７２０と、カメラを下方向に向ける下ボタン
１７２５とクリック操作することでユーザが見たい方向
を指定する。

【０１０７】次にステップ５７５では、カメラテーブル
のカメラｃのパン角，チルト角を更新する。例えば、右
ボタン１７１５をクリックした場合は、現在のパン角か
ら０.１７４５［rad］（＝１０度）足した値をパン角と
して登録し、左ボタン1720をクリックした場合は、現在
のパン角から０.１７４５［rad］（＝１０度）引いた値
をズーム率として登録する。そして、上ボタン１７１０
をクリックした場合は、現在のチルト角から０.１７４
５［rad］（＝１０度）足した値をパン角として登録
し、下ボタン１７２５をクリックした場合は、現在のチ
ルト角から0.1745［rad］（＝１０度）引いた値をズー
ム率として登録する。

【０１０８】次にステップ５８５ではカメラａ，カメラ
ｂ，カメラｄ，カメラｅのパラメータ計算要求フラグを
１に設定する。

【０１０９】ステップ６００からステップ６１５まで
は、音声によるカメラの撮影方向の入力処理である。ス
テップ５７０と同様にユーザが今見ている映像より少し
上が見たい場合、少し右の方が見たいといった場合にこ
の入力処理を行う。

【０１１０】はじめにステップ６００では、マイク３３
５を用いてカメラの撮影方向を入力する。マイク３３５
からカメラの撮影方向の入力があった場合にはステップ
605に進み撮影方向を音声認識し、入力がなかった場合
にはステップ６２０に進む。音声による撮影方向の入力
方法は以下の通りである。ユーザが右方向を見たい場合
には、“みぎ”という音声をマイク３３５に向かって入
力し、左方向を見たい場合には、“ひだり”という音声
をマイク３３５に向かって入力し、上方向を見たい場合
には、“うえ”という音声をマイク３３５に向かって入
力し、下方向を見たい場合には、“した”という音声を
マイク３３５に向かって入力する。

【０１１１】次にステップ６０５では、マイク３４０か
ら入力された撮影方向を音声認識部３３０で認識する。

【０１１２】次にステップ６１０では、音声認識部３３
０によって認識された撮影方向をカメラテーブルに更新
する。例えば、認識された撮影方向が“みぎ”であった
場合には、現在のパン角に０.１７４５［rad］（＝１０
度）足した値をパン角として登録し、“ひだり”であっ
た場合には、現在のパン角から０.１７４５［rad］（＝
１０度）引いた値をパン角として登録する。そして、認
識された撮影方向が“うえ”であった場合には、現在の
チルト角に０.１７４５［rad］(＝１０度)、足した値を
チルト角として登録し、“した”であった場合には、現
在のチルト角から０.１７４５［rad］（＝１０度）引い
た値をチルト角として登録する。

【０１１３】次にステップ６１５では、カメラａ，カメ
ラｂ，カメラｄ，カメラｅのパラメータ計算要求フラグ
を１に設定する。

【０１１４】ステップ６２０からステップ８８０まで
は、パノラマ映像を生成するためのオーバーラップ領域
の設定、射影変換行列の計算などの処理を行う。

【０１１５】ステップ６２０では、カメラａ，カメラ
ｂ，カメラｄ，カメラｅのパラメータ計算要求フラグが
１であるか否かを判別し、１である場合にはステップ６
２５に進み、そうでない場合にはステップ９００に進
む。

【０１１６】ステップ６２５からステップ６３０までは
パノラマ映像を生成する５台のカメラの映像が最適にオ
ーバーラップするようなカメラパラメータを計算する。
ここでは５つのカメラ映像が、横方向については水平画
角の２０％の画角の領域が重なりあうように、縦方向に
ついては５つの映像の中心位置が直線上に並ぶようにす
る。

【０１１７】ここで、カメラａ〜カメラｅの配置，各カ
メラの座標系，撮影対象（平面）との位置関係について
説明する。図１３は、カメラａ〜カメラｅの配置，各カ
メラの座標系，撮影対象（平面）との位置関係を表した
図である。

【０１１８】一番左のカメラａ(カメラ１３００)と、そ
の右隣のカメラｂ(カメラ１３０２)と中央のカメラｃ
(カメラ１３０４）と、その右隣のカメラｄ(カメラ１３
０８）と一番右のカメラｅ（カメラ１３０８）は地面
（水平面）１３５０の鉛直方向から見て直線上に並んで
いるものと仮定する。そして、ここでは、この５台のカ
メラを含んだ地面と垂直な面をカメラ面１３６０と呼
ぶ。それから、カメラの焦点中心を原点とし、原点から
地面１３５０の鉛直上方向に延びる軸をｘ軸，原点から
カメラ面１３５０と垂直で奥方向に延びる軸をｚ軸，原
点から地面１３５０と平行でカメラ面１３５０内を右方
向に延びる軸をｙ軸とする座標系をそれぞれのカメラに
設ける。そして、ｘ軸を中心とし時計周りを正とする回
転をパン，ｘ軸を中心とし時計周りを正とする回転をチ
ルトとする。さらに、北をｚ軸，東をｙ軸，地面(水平
面)１３５０と垂直上方向の軸をｘ軸とするワールド座
標系を設ける。それから、撮影対象平面上に原点を持
ち、原点を通り地面１３５０と垂直で図面の上方向に延
びる軸をｘ軸，原点を通り撮影対象平面１３７０に垂直
で図面の奥方向に延びる軸をｚ軸，原点を通り撮影対象
平面１３７０上で地面１３５０と平行で図面の右方向に
延びる軸をｙ軸とする撮影対象座標系を撮影対象平面に
設ける。

【０１１９】撮影対象はＴＶカメラから充分に遠いもの
として撮影対象を平面１３７０と仮定する。そして、そ
の撮影対象平面１３７０はカメラ平面１３６０と平行で
あるものとする。

【０１２０】ＴＶカメラ１３００（カメラａ）が撮影対
象平面を撮影するときの視野を視野スクリーン１３２０
とし、ＴＶカメラ１３０２（カメラｂ）が撮影対象平面
を撮影するときの視野を視野スクリーン１３２２とし、
ＴＶカメラ１３０４（カメラｃ）が撮影対象平面を撮影
するときの視野を視野スクリーン１３２４とし、ＴＶカ
メラ１３０６（カメラｄ）が撮影対象平面を撮影すると
きの視野を視野スクリーン１３２６とし、ＴＶカメラ１
３０８（カメラｅ）が撮影対象平面を撮影するときの視
野を視野スクリーン１３２８とする。そして、それぞれ
の視野スクリーンがｙ軸方向に２０％ずつ重なり合うよ
うに各ＴＶカメラのパン角を制御する。そして、視野ス
クリーン１３２０上に焦点中心を投影した点１３３０
と、視野スクリーン１１２２上に焦点中心を投影した点
１３３２と、視野スクリーン1324上に焦点中心を投影し
た点１１３４と、視野スクリーン１３２６上に焦点中心
を投影した点１３３６と、視野スクリーン１１２８上に
焦点中心を投影した点1338とが、地面１３５０と平行な
直線上に並ぶように各ＴＶカメラを制御する。

【０１２１】ステップ６２５では、カメラパラメータ計
算部３１０において、カメラａ，カメラｂ，カメラｄ，
カメラｅのパン角を計算する。まず初めに中央のカメラ
ｃの左右に位置するカメラｂとカメラｄのパン角を計算
し、それから、その外側に位置するカメラａとカメラｅ
のパン角を計算する。ここでは、隣接するＴＶカメラ
（カメラａとカメラｂ，カメラｂとカメラｃ，カメラｃ
とカメラｄ，カメラｄとカメラｅ）の映像が横方向に２
０％ずつ重なり合うようにパン角を計算する。

【０１２２】ここでカメラｄのパン角の計算方法につい
て説明する。

【０１２３】図１８は地面１３５０の真上から見たカメ
ラｃ（カメラ１３０４）とその右隣のカメラｄ（カメラ
１３０６）の配置図である。図１８を用いてカメラｄの
パン角の計算方法を説明する。

【０１２４】カメラｄのパン角は、カメラｃの視野スク
リーン１３２４とカメラｄの視野スクリーン１３２６と
が撮影対象座標系のｙ軸方向に２０％重なるようにす
る。

【０１２５】ここで、カメラ面１３６０と撮影対象平面
１３７０との距離をＬとし、カメラｃとカメラｄとの間
の距離をＭとし、カメラｃの画角をα₁とし、カメラｄ
の画角をα₂とし、カメラｃのパン角をθ_panとし、カ
メラｄのパン角をθ_pan2とする。そして、カメラｃの視
野スクリーン１３２４の左端Ａ₁，右端Ｂ₂とし、カメ
ラｃの焦点中心を視野スクリーン１３２４に投影した点
Ｐ₁とする。また、カメラｄの視野スクリーン１３２６
の左端Ａ₂とし、カメラｄの視野スクリーン１３２６の
右端Ｂ₂とし、カメラｄの焦点中心を視野スクリーン１
３２６に投影した点Ｐ₂とする。カメラｃの座標系のｚ
軸の延長線と撮影対象平面の交点Ｘ₁とし、カメラｄの
座標系のｚ軸の延長線と撮影対象平面１３７０との交点
Ｘ₂とする。視野スクリーン１３２４と視野スクリーン
１３２６とをオーバーラップさせた場合、視野スクリー
ン１３２６の左端Ａ₂からの画角の２０％の位置をＴ₁
とするとＴ₁とＢ₁は一致する。

【０１２６】撮影対象平面１３７０とカメラ面１３６０
の距離Ｌとカメラ間の距離Ｍと、２つのカメラの画角と
パン角に関する式を求める。ここでは、カメラｃの焦点
中心Ｏ₁からカメラｃの焦点中心を視野スクリーン１３
２４に投影した点Ｐ₁とを結ぶ線Ｏ₁Ｐ₁は画角α₁の半
分の位置を通るものとする。また、カメラｄの焦点中心
Ｏ₂からカメラｄの焦点中心を視野スクリーン１３２６
に投影した点Ｐ₂とを結ぶ線Ｏ₂Ｐ₂も、画角α₂の半分
の位置を通るものとする。

【０１２７】Ｘ₁Ｔ₂は次式のようになる。

【０１２８】

【数９】

【０１２９】そして、Ｘ₂Ｔ₂は次式のようになる。

【０１３０】

【数１０】

【０１３１】カメラ間の距離Ｍと、Ｘ₁Ｔ₂とＸ₂Ｔ₂との
間には次式のような関係がある。

【０１３２】

【数１１】Ｍ＝Ｘ₁Ｔ₁＋Ｘ₂Ｔ₁…（１１）以上の３式より、カメラ１１０２のパン角θ_pan2を次式
のように求めることができる。

【０１３３】

【数１２】

【０１３４】ここで、カメラｃの画角α₁とカメラｄの
画角α₂とは、式５に基づき、カメラテーブルのズーム
率を用いて計算する。そして、Ｍはカメラデータベース
３５０に予め記録された値を使用し、Ｌは、監視対象テ
ーブルの緯度・経度・高度情報と、カメラデータベース
３５０に予め記録された５台のカメラの緯度・経度・高
度情報とを用いて計算する。カメラｄのパン角を計算し
た後、同様な計算方法でカメラｂのパン角を計算する。
その後、カメラａ，カメラｅのパン角を同様な方法で計
算する。

【０１３５】ステップ６３０では、カメラパラメータ計
算部３１０において、カメラａ，カメラｂ，カメラｄ，
カメラｅのチルト角を計算する。

【０１３６】まず、カメラａ，カメラｂ，カメラｄ，カ
メラｅの撮影対象平面１３７０に投影された焦点中心
が、カメラｃの撮影対象平面１３７０に投影された焦点
中心の高さと同じになるようなチルト角を計算する。

【０１３７】ここでカメラｄのチルト角の計算方法につ
いて説明する。

【０１３８】図１９は中央に位置するカメラｃ（カメラ
１３０４）とその右隣のカメラｄ（カメラ１３０６）か
ら撮影対象平面１３７０をみている図である。カメラｃ
とカメラｄとの高さの差をＮとし、カメラｃのパン角θ
_pan，チルト角θ_tilt，カメラｄのパン角θ_pan2，チル
ト角θ_tilt2とし、撮影対象平面１３７０とカメラ面１
３６０間の距離をＬとする。

【０１３９】そして、カメラｃの焦点位置Ｏ₁を通る仮
想平面１３７０とカメラ面１３５０と垂直な面１９００
をパン角θ_tiltだけ傾けた面を面１９１０とし、カメラ
ｄの焦点位置Ｏ₂を通る仮想平面１３７０やカメラ面１
３６０と垂直な面１９０５をパン角θ_tilt2だけ傾けた
面を面１９１５とする。それから、カメラｃの焦点位置
Ｏ₁から面１６１０上で水平方向に延ばした直線１９２
０と撮影対象平面1370との交点Ｚ₁，カメラｄの焦点位
置Ｏ₂から面１９２０上で水平方向に延ばした直線１９
２５と撮影対象平面１３７０との交点Ｚ₂とする。さら
に、Ｚ₁方向を向いているカメラｃをθ_tiltチルトさせ
たときの焦点中心の仮想平面１３７０上での投影点
Ｘ₁，Ｚ₂方向を向いているカメラｄをθ_tilt2チルト
させたときの焦点中心の仮想平面１３７０上での投影点
Ｘ₂とする。

【０１４０】このとき直線Ｘ₁Ｚ₁と直線Ｘ₂Ｚ₂は、

【０１４１】

【数１３】

【０１４２】

【数１４】

【０１４３】カメラｃとカメラｄとの間の高度の差はＮ
と、直線Ｘ₁Ｚ₁と直線Ｚ₂Ｘ₂との関係は、

【０１４４】

【数１５】Ｚ₁Ｘ₁−Ｚ₂Ｘ₂＝Ｎ …（１５）よって、カメラｄのパン角θ_tilt2は、

【０１４５】

【数１６】

【０１４６】となる。ここで、Ｎはカメラデータベース
３５０に予め記録された値を使用し、Ｌは、監視対象テ
ーブルの緯度・経度・高度情報と、カメラデータベース
３５０に予め記録された５台のカメラの緯度・経度・高
度情報とを用いて計算する。カメラｄのチルト角を計算
した後、同様な計算方法でカメラｂのチルト角を計算す
る。その後、カメラａ，カメラｅのチルト角を同様な方
法で計算する。

【０１４７】ステップ６３５からステップ６４５まで
は、ステップ６２５までで設定したパン・チルト・ズー
ム率をカメラａからカメラｅに送信する処理である。

【０１４８】ステップ６３５では、カメラａ〜カメラｅ
に映像送信中止命令を送信する。

【０１４９】ここで、パノラマ映像表示部から撮影部に
伝送する命令文のフォーマットについて説明する。図２
０は命令文のフォーマットである。パノラマ映像表示部
から撮影部に伝送する命令文には、撮影部に映像送信を
中止させる映像送信中止伝文２０００と、映像送信を開
始させる映像送信開始伝文２０１０と、パノラマ映像表
示部で生成したカメラテーブルの内容を送信するテーブ
ル送信伝文２０２０と、パノラマ映像表示部で生成した
射影変換行列を送信する射影変換行列送信伝文２０３０
と、撮影部のカメラの露出を上げさせる露出アップ伝文
２０４０と、撮影部のカメラの露出を下げさせる露出ダ
ウン伝文２０５０とからなる。

【０１５０】映像送信中止伝文２０００の内容は“ＳＴ
ＡＲＴ”という文字であり、映像送信開始伝文２０１０
の内容は“ＳＴＯＰ”という文字であり、露出アップ伝
文２０４０は“UNEXPOSURE”という文字であり、露出ダ
ウン伝文２０５０は“EXPOSURE”という文字である。そ
して、テーブル送信伝文２０２０の内容は、“ＴＡＢＬ
Ｅ”という文字２０２２と３桁のズーム率２０２４，５
桁のパン角［rad］２０２６，５桁のチルト角［rad］２
０２８であり、射影変換行列送信伝文２０３０の内容
は、“MATRIX”という文字２０３２と３×３の射影変換
行列である。

【０１５１】ここでは、カメラａ〜カメラｅの５台のカ
メラに対して、映像送信中止伝文“ＳＴＯＰ”を送信す
る。カメラａ〜カメラｅでは、映像送信中止伝文を受信
すると、パノラマ映像表示部への映像の伝送を中止す
る。

【０１５２】次にステップ６４０では、カメラａ〜カメ
ラｅの５台のカメラに対して、テーブル送信伝文を送信
する。カメラａ〜カメラｅでは、テーブル送信伝文を受
信すると、そのテーブルのパン角，チルト角，ズーム率
になるようにカメラを制御する。

【０１５３】次にステップ６４５では、カメラｃに映像
送信開始伝文を送信する。カメラｃでは映像送信開始伝
文を受信するとＴＶカメラで撮影された映像をパノラマ
映像表示部１７０に送信する。

【０１５４】ステップ６５０からステップ８３０まで
は、カメラａ〜ｅ映像のオーバーラップ領域の平均輝度
を計算し、オーバーラップ領域の平均輝度が同じになる
ようにカメラの露出を計算する処理である。

【０１５５】はじめにステップ６５０では、パノラマ映
像表示側通信部３２０において、カメラｃから伝送され
る（ステップ６４０で伝送したカメラテーブルの内容を
反映した）映像を受信する。

【０１５６】次にステップ６５５では、露光推定部３１
５において、パノラマ映像表示側通信部３２０で受信し
たカメラｃ映像中のカメラｂ映像と重なり合うオーバー
ラップ領域（左オーバーラップ領域）の平均輝度と、カ
メラｃ映像中のカメラｄ映像と重なり合うオーバーラッ
プ領域（右オーバーラップ領域）の平均輝度を計算す
る。

【０１５７】次にステップ６６０ではカメラｃに映像送
信中止伝文を送信する。カメラｃでは映像送信中止伝文
を受信すると映像送信を中止する。

【０１５８】次にステップ６６５では、カメラｂに映像
送信開始伝文を送信する。カメラｂでは映像送信開始伝
文を受信するとＴＶカメラで撮影された映像をパノラマ
映像表示部１７０に送信する。

【０１５９】次にステップ６７０では、パノラマ映像表
示側通信部３２０において、カメラｂから伝送される
(ステップ６４０で伝送したカメラテーブルの内容を反
映した)映像を受信する。

【０１６０】次にステップ６７５では、露光推定部３１
５において、パノラマ映像表示側通信部３２０で受信し
たカメラｂ映像中のカメラａ映像と重なり合うオーバー
ラップ領域（左オーバーラップ領域）の平均輝度と、カ
メラｂ映像中のカメラｃ映像と重なり合うオーバーラッ
プ領域（右オーバーラップ領域）の平均輝度を計算す
る。

【０１６１】次にステップ７００では、カメラｃ映像中
の左オーバーラップ領域の平均輝度とカメラｂ映像中の
右オーバーラップ領域の平均輝度の差を計算し、その差
が２０以上の場合はステップ７０５に進みカメラｂに露
出アップ伝文を送信する。カメラｂは露出アップ伝文を
受信するとＴＶカメラの露出を現状から３ｄｂ上げる。
そうでない場合には、ステップ７１０に進む。

【０１６２】ステップ７１０では、カメラｃ映像中の左
オーバーラップ領域の平均輝度とカメラｂ映像中の右オ
ーバーラップ領域の平均輝度の差が−２０未満のかどう
かを判別し、−２０未満の場合にはステップ７１５に進
みカメラｂに露出ダウン伝文を送信する。カメラｂは露
出ダウン伝文を受信するとＴＶカメラの露出を現状から
３ｄｂ下げる。そうでない場合には、ステップ７２０に
進む。

【０１６３】ステップ７２０ではカメラｂに映像送信中
止伝文を送信する。カメラｂでは映像送信中止伝文を受
信すると映像送信を中止する。

【０１６４】次にステップ７２５では、カメラｄに映像
送信開始伝文を送信する。カメラｂでは映像送信開始伝
文を受信するとＴＶカメラで撮影された映像をパノラマ
映像表示部１７０に送信する。

【０１６５】次にステップ７３０では、パノラマ映像表
示側通信部３２０において、カメラｄから伝送される
(ステップ６４０で伝送したカメラテーブルの内容を反
映した)映像を受信する。

【０１６６】次にステップ７３５では、露光推定部３１
５において、パノラマ映像表示側通信部３２０で受信し
たカメラｄ映像中のカメラｃ映像と重なり合うオーバー
ラップ領域（左オーバーラップ領域）の平均輝度と、カ
メラｄ映像中のカメラｅ映像と重なり合うオーバーラッ
プ領域（右オーバーラップ領域）の平均輝度を計算す
る。

【０１６７】次にステップ７４０では、カメラｃ映像中
の右オーバーラップ領域の平均輝度とカメラｄ映像中の
左オーバーラップ領域の平均輝度の差を計算し、その差
が２０以上の場合はステップ７４５に進みカメラｄに露
出アップ伝文を送信する。カメラｄは露出アップ伝文を
受信するとＴＶカメラの露出を現状から３ｄｂ上げる。
そうでない場合には、ステップ７５０に進む。

【０１６８】ステップ７５０では、カメラｃ映像中の右
オーバーラップ領域の平均輝度とカメラｄ映像中の左オ
ーバーラップ領域の平均輝度の差が−２０未満のかどう
かを判別し、−２０未満の場合にはステップ７５５に進
みカメラｄに露出ダウン伝文を送信する。カメラｄは露
出ダウン伝文を受信するとＴＶカメラの露出を現状から
３ｄｂ下げる。そうでない場合には、ステップ７６０に
進む。

【０１６９】ステップ７６０ではカメラｄに映像送信中
止伝文を送信する。カメラｄでは映像送信中止伝文を受
信すると映像送信を中止する。

【０１７０】次にステップ７６５では、カメラａに映像
送信開始伝文を送信する。カメラａでは映像送信開始伝
文を受信するとＴＶカメラで撮影された映像をパノラマ
映像表示部１７０に送信する。

【０１７１】次にステップ７７０では、パノラマ映像表
示側通信部３２０において、カメラａから伝送される
(ステップ６４０で伝送したカメラテーブルの内容を反
映した)映像を受信する。

【０１７２】次にステップ７７５では、露光推定部３１
５において、パノラマ映像表示側通信部３２０で受信し
たカメラａ映像中のカメラｂ映像と重なり合うオーバー
ラップ領域（右オーバーラップ領域）の平均輝度を計算
する。

【０１７３】次にステップ７８０では、カメラｂ映像中
の左オーバーラップ領域の平均輝度とカメラａ映像中の
右オーバーラップ領域の平均輝度の差を計算し、その差
が２０以上の場合はステップ７８５に進みカメラａに露
出アップ伝文を送信する。カメラａは露出アップ伝文を
受信するとＴＶカメラの露出を現状から３ｄｂ上げる。
そうでない場合には、ステップ７９０に進む。

【０１７４】ステップ７９０では、カメラｂ映像中の左
オーバーラップ領域の平均輝度とカメラａ映像中の右オ
ーバーラップ領域の平均輝度の差が−２０未満のかどう
かを判別し、−２０未満の場合にはステップ７９３に進
みカメラａに露出ダウン伝文を送信する。カメラａは露
出ダウン伝文を受信するとＴＶカメラの露出を現状から
３ｄｂ下げる。そうでない場合には、ステップ７９６に
進む。

【０１７５】ステップ７９６ではカメラａに映像送信中
止伝文を送信する。カメラａでは映像送信中止伝文を受
信すると映像送信を中止する。

【０１７６】次にステップ７９９では、カメラｅに映像
送信開始伝文を送信する。カメラｅでは映像送信開始伝
文を受信するとＴＶカメラで撮影された映像をパノラマ
映像表示部１７０に送信する。

【０１７７】次にステップ８００では、パノラマ映像表
示側通信部３２０において、カメラｅから伝送される
(ステップ６４０で伝送したカメラテーブルの内容を反
映した)映像を受信する。

【０１７８】次にステップ８０５では、露光推定部３１
５において、パノラマ映像表示側通信部３２０で受信し
たカメラｅ映像中のカメラｄ映像と重なり合うオーバー
ラップ領域（左オーバーラップ領域）の平均輝度を計算
する。

【０１７９】次にステップ８１０では、カメラｄ映像中
の右オーバーラップ領域の平均輝度とカメラｅ映像中の
左オーバーラップ領域の平均輝度の差を計算し、その差
が２０以上の場合はステップ８１５に進みカメラｅに露
出アップ伝文を送信する。カメラｅは露出アップ伝文を
受信するとＴＶカメラの露出を現状から３ｄｂ上げる。
そうでない場合には、ステップ８２０に進む。

【０１８０】ステップ８２０では、カメラｄ映像中の右
オーバーラップ領域の平均輝度とカメラｅ映像中の左オ
ーバーラップ領域の平均輝度の差が−２０未満のかどう
かを判別し、−２０未満の場合にはステップ８２５に進
みカメラｅに露出ダウン伝文を送信する。カメラｅは露
出ダウン伝文を受信するとＴＶカメラの露出を現状から
３ｄｂ下げる。そうでない場合には、ステップ８３０に
進む。

【０１８１】ステップ８３０ではカメラｅに映像送信中
止伝文を送信する。カメラｅでは映像送信中止伝文を受
信すると映像送信を中止する。

【０１８２】ステップ８３５からステップ８５０まで
は、射影変換行列を求めるため、オーバーラップ領域を
１６画素×１６画素の正方ブロック（マクロブロック）
に分割し、隣合う２台のカメラにおけるオーバーラップ
領域映像内のマクロブロックの移動ベクトルを計算する
処理である。

【０１８３】はじめにステップ８３５では、射影変換行
列計算部３０５において、カメラｄ映像の左オーバーラ
ップ領域からカメラｃ映像の右オーバーラップ領域への
マクロブロックの移動ベクトルを計算する。

【０１８４】ここで、マクロブロックの移動ベクトルの
計算方法について説明する。図２２は、隣合う２台のＴ
Ｖカメラで撮影した映像である。映像２２００は中央に
位置するカメラｃでとった映像であり、映像２２０５は
カメラｃの右隣に位置するカメラｄで撮った映像であ
る。映像２２００と映像２２０５の解像度はそれぞれ横
３２０画素，縦２４０画素である。映像２２００には映
像２２０５とのオーバーラップ領域２２１０（カメラｃ
映像の右オーバーラップ領域），映像２２０５には映像
２２００とのオーバーラップ領域２２１５（カメラｄ映
像の左オーバーラップ領域）がある。映像２２００に
は、映像２２００の左上を原点とした右方向にｘ軸，下
方向にｙ軸を持つ映像２２００座標系があり、映像２２
０５には、映像２２０５の左上を原点とした右方向にｘ
軸，下方向にｙ軸を持つ映像２２０５座標系がある。

【０１８５】カメラｄの映像２２０５のオーバーラップ
領域２２１５を１６×１６画素のマクロブロックに分割
する。次に、分割された各マクロブロックと、映像２２
００中のオーバーラップ領域２２１０の中で最も相関の
高い１６画素×１６画素の矩形領域を探索する。ここ
で、マクロブロックの位置は映像２２０５座標系上での
マクロブロックの重心位置とし、マクロブロックと最も
相関の高い矩形領域の位置は映像２２１５座標系上での
矩形領域の重心とする。

【０１８６】オーバーラップ領域２２１５のマクロブロ
ックと最も相関の高い矩形領域を検索する場合、オーバ
ーラップ領域２２１５とオーバーラップ領域２２１０と
を重ね合わせたときに、マクロブロックと重なり合う位
置から検索を開始する。こうすることで検索時間を短縮
することができる。

【０１８７】移動ベクトルは、オーバーラップ領域２２
１５中のマクロブロックから、オーバーラップ領域２２
１０中の前記マクロブロックと最も相関の高い矩形領域
に張られるベクトルである。この移動ベクトルをオーバ
ーラップ領域２２１５内の全てのマクロブロックに対し
て計算する。そして、全移動ベクトルの始点（オーバー
ラップ領域２２１５内のマクロブロックの位置）と終点
（オーバーラップ領域２２１０内の前記マクロブロック
と最も相関の高い矩形領域の位置）とを射影変換行列計
算部３０５に記憶する。例えば、マクロブロック２２２
０の重心(５６,４０）と、ブロック２２２０に最も相関
の高い矩形領域２２２５の重心(２８０,４３）がある場
合、それら始点として（５６，４０）を、終点として
（２８０，４３）を記憶する。

【０１８８】次にステップ８４０では、射影変換行列計
算部３０５において、カメラｂ映像の右オーバーラップ
領域からカメラｃ映像の左オーバーラップ領域へのマク
ロブロックの移動ベクトルを計算する。

【０１８９】次にステップ８４５では、射影変換行列計
算部３０５において、カメラａ映像の右オーバーラップ
領域からカメラｂ映像の左オーバーラップ領域へのマク
ロブロックの移動ベクトルを計算する。

【０１９０】次にステップ８５０では、射影変換行列計
算部３０５において、カメラｅ映像の左オーバーラップ
領域からカメラｄ映像の右オーバーラップ領域へのマク
ロブロックの移動ベクトルを計算する。

【０１９１】ステップ８５５からステップ８７０まで
は、全てカメラ映像の視点を監視対象に最も近い中央の
カメラ（カメラｃ）の視点に合わせるために、ステップ
８３５からステップ８５０までで求めたオーバーラップ
領域のマクロブロックの移動ベクトルを用いて、カメラ
ｃの左右４台のカメラからカメラｃへの射影変換行列を
求める処理を行う。

【０１９２】はじめにステップ８５５では、射影変換行
列計算部３０５において、カメラｄで撮影した映像をカ
メラｃから見た映像に変換するために、カメラｄ座標系
からカメラｃ座標系への射影変換行列を求める。

【０１９３】ここで、射影変換行列の計算方法について
説明する。撮影対象が遠景であったり平面的である場合
には、２つの異なる視点から同一の対象物を撮影すると
き、それらの映像の座標間の変換が線形であることが知
られている。例えば、図２２において、カメラｃで撮影
された映像２２００の中の任意の点Ｐ_c

【０１９４】

【数１７】

【０１９５】点Ｐ_cと同じ地点をカメラｄから撮影した
映像２２０５中での位置Ｐ_ｄ

【０１９６】

【数１８】

【０１９７】とすると、Ｐ_ｃとＰ_dとの間には以下の
関係がある。

【０１９８】

【数１９】Ｐ _c〜Ｔ_dcＰ_d…（１９）〜はスケール因子Ｔ_dcはＰ_dからＰ_cへの射影変換行列で以下の通りであ
る。

【０１９９】

【数２０】

【０２００】（２１）式，（２２）式，（２３）式，
（２４）式から、点Ｐ_cと点Ｐ_dの関係は以下のように
なる。

【０２０１】

【数２１】

【０２０２】

【数２２】

【０２０３】（２１）式，（２２）式の８つの未知パラ
メータｔ₁〜ｔ₈をステップ８３５において求めた全マ
クロブロックの移動ベクトルを使い、最小２乗法を用い
て求める。こうすることで、カメラｄ映像をカメラｃか
ら見た映像に視点変換するための射影変換行列が求めら
れる。

【０２０４】次に、ステップ８６０では、射影変換行列
計算部３０５において、カメラｂで撮影した映像をカメ
ラｃから見た映像に変換するために、カメラｂ座標系か
らカメラｃ座標系への射影変換行列Ｔbcを求める。

【０２０５】次にステップ８６５では、射影変換行列計
算部３０５において、カメラａ座標系からカメラｂ座標
系への射影変換行列Ｔ_abを求め、このＴ_abとステップ８
６０で求めたＴ_bcから、カメラａで撮影した映像をカメ
ラｃから見た映像に変換するための射影変換行列Ｔ_acを
次式のように求める。

【０２０６】

【数２３】Ｔ_ac＝Ｔ_abＴ_bc…（２３）次にステップ８７０では、射影変換行列計算部３０５に
おいて、カメラｅ座標系からカメラｄ座標系への射影変
換行列Ｔ_edを求め、このＴ_ecとステップ８６０で求めた
Ｔ_dcから、カメラｅで撮影した映像をカメラｃから見た
映像に変換するための射影変換行列Ｔ_acを次式のように
求める。

【０２０７】

【数２４】Ｔ_ec＝Ｔ_edＴ_dc…（２４）次にステップ８７５では、ステップ８５５からステップ
８７０までで求めた射影変換行列をカメラａ，カメラ
ｂ，カメラｄ，カメラｅに送るため、パノラマ映像表示
側通信部３２０から前記４台のカメラに対して射影変換
行列送信伝文を送信する。カメラａ，カメラｂ，カメラ
ｄ，カメラｅでは、射影変換行列送信伝文を受信すると
射影変換部２３０に射影変換行列を登録する。

【０２０８】次にステップ８８０では、カメラａ，カメ
ラｂ，カメラｃ，カメラｄ，カメラｅに対して映像送信
開始伝文を送信する。カメラａ，カメラｂ，カメラｃ，
カメラｄ，カメラｅでは、映像送信開始伝文を受信する
と、パノラマ映像表示部170に対して映像データと前記
映像の四隅の座標とを記述した映像データ送信伝文を送
信する。ここで映像データ送信伝文について説明する。
図２１は映像データ送信伝文である。映像データ送信伝
文２１００は、撮影部の番号を示すカメラＩＤ２１１０
（第１撮影部ならばカメラＩＤは１）と映像の左上座標
２１２０と映像の左下座標２１３０と映像の右上座標２
１４０と右下座標２１５０と映像データ２１６０とから
なる。

【０２０９】次にステップ９００では、パノラマ映像表
示側通信部３２０において、カメラａ，カメラｂ，カメ
ラｃ，カメラｄ，カメラｅから送信される映像データ送
信伝文を受信し、ステップ９１０において、カメラａ，
カメラｂ，カメラｃ，カメラｄ，カメラｅの全てのカメ
ラの映像データ送信伝文を受信したかどうかを判別し、
全カメラの映像が揃っていない場合にはステップ９００
に戻り残りのカメラの映像データ送信伝文を受信し、揃
った場合にはステップ９１０に進み映像合成処理を行
う。

【０２１０】ステップ９１０では、５台のカメラから伝
送されてくる映像の四隅の座標データに基づき、５台分
の映像をパノラマ合成する。

【０２１１】ここで、映像データの合成方法について説
明する。

【０２１２】図２３は、カメラａ〜カメラｅから送られ
てきた射影変換後の映像５枚を合成した映像である。図
２３の映像は、射影変換後のカメラａ映像２３００と、
射影変換後のカメラｂ映像２３０５と、カメラｃ映像２
３１０と、射影変換後のカメラｄ映像２３１５と、射影
変換後のカメラｅ映像２３２０とを合成している。カメ
ラａ〜カメラｅからは、射影変換後の映像データだけで
なくその映像データの四隅の座標も伝送される。この四
隅の座標に基づき映像を重ね合わせる。カメラｃ映像２
３１０の座標系を基準座標系２３５０とする。カメラｃ
の映像２３１０の上に、カメラｂ映像２３０５とカメラ
ｄ映像２３１５を映像の四隅の座標に基づいて張り合わ
せる。さらに、カメラｂ映像２３０５の上にカメラａ映
像2300を映像の四隅の座標に基づき重ね合わせる。そし
て、カメラｄ映像２３２０の上にカメラｅ映像２３２５
を映像の四隅の座標に基づき重ね合わせる。このような
手順で映像を重ね合わせることにより、カメラｃを視点
とする１枚のパノラマ映像を生成することができる。

【０２１３】最後にステップ９１５において、パノラマ
合成された映像を表示部３５５に表示する。そして、ス
テップ４３５に戻る。

【０２１４】以上がパノラマ映像表示部のフローチャー
トである。次に撮影部のフローチャートについて説明す
る。図２４〜図２５は本システムの撮影部のフローチャ
ートである。

【０２１５】まずはじめにステップ２４００では映像送
信フラグを０に設定し、そして射影変換フラグを０に設
定する。

【０２１６】次にステップ２４０５では、パノラマ映像
表示部１７０から伝送された伝文があるかどうかを判別
し、伝文がある場合にはステップ２４１０に進み伝文受
信処理をし、伝文がない場合にはステップ２５００に進
む。

【０２１７】次にステップ２４１０では、撮影側通信部
２４５においてパノラマ映像表示部１７０から伝送され
た伝文を受信する。

【０２１８】次にステップ２４１５では、撮影側通信部
２４５において受信した伝文が映像送信中止伝文かどう
かを判別し、映像送信中止伝文であった場合にはステッ
プ２４２０に進み、そうでない場合にはステップ２４２
５に進む。

【０２１９】ステップ２４２０では、映像送信の開始／
中止を表す映像送信フラグを０に設定し、ステップ２５
００に進む。

【０２２０】ステップ２４２５では、撮影側通信部２４
５において受信した伝文が映像送信開始伝文かどうかを
判別し、映像送信開始伝文であった場合にはステップ24
30に進み、そうでない場合にはステップ２４３５に進
む。

【０２２１】ステップ２４３０では、映像送信の開始／
中止を表す映像送信フラグを１に設定し、ステップ２５
００に進む。

【０２２２】ステップ２４３５では、撮影側通信部２４
５において受信した伝文が露出アップ伝文かどうかを判
別し、露出アップ伝文であった場合にはステップ２４３
０に進み、そうでない場合にはステップ２４３５に進
む。

【０２２３】ステップ２４３０では、カメラ制御部２１
５においてＴＶカメラ２１０の露出を３［ｄｂ］上げ、
ステップ２５００に進む。

【０２２４】ステップ２４４５では、撮影側通信部２４
５において受信した伝文が露出ダウン伝文かどうかを判
別し、露出ダウン伝文であった場合にはステップ２４５
０に進み、そうでない場合にはステップ２４５５に進
む。

【０２２５】ステップ２４５０では、カメラ制御部２１
５においてＴＶカメラ２１０の露出を３［ｄｂ］下げ、
ステップ２５００に進む。

【０２２６】ステップ２４５５では、撮影側通信部２４
５において受信した伝文がテーブル送信伝文かどうかを
判別し、テーブル送信伝文であった場合にはステップ24
60に進み、そうでない場合にはステップ２４６５に進
む。

【０２２７】ステップ２４６０では、カメラ制御部２１
５において、テーブル送信伝文の内容（ズーム率，パン
角，チルト角）に基づきＴＶカメラ２１０のズーム率，
パン角，チルト角を制御する。そして、ステップ２５０
０に進む。

【０２２８】ステップ２４６５では、撮影側通信部２４
５において受信した伝文が射影変換行列送信伝文かどう
かを判別し、射影変換行列送信伝文であった場合にはス
テップ２４７０に進み、そうでない場合にはステップ２
４７５に進む。

【０２２９】ステップ２４７０では、射影変換部２３０
の射影変換行列を射影変換送信伝文の内容（射影変換行
列）に更新する。

【０２３０】次にステップ２４８０では射影変換処理を
行うかどうかを示す射影変換フラグを１に設定し、ステ
ップ２５００に進む。

【０２３１】ステップ２５００では、映像送信フラグが
１であるかどうかを判別し、１であった場合にはステッ
プ２５０５に進み、そうでなかった場合にはステップ24
05に戻る。

【０２３２】ステップ２５０５では、ＴＶカメラ２１０
で撮影した映像を映像キャプチャ部２２０においてキャ
プチャする。

【０２３３】次にステップ２５１０では、射影変換フラ
グが０であるかどうかを判別し、０であった場合にはス
テップ２５１５に進み、そうでない場合にはステップ25
20に進む。

【０２３４】ステップ２５１５では、撮影側通信部２４
５において、映像キャプチャ部220でキャプチャした映
像を射影変換せずに映像データ送信伝文にのせてパノラ
マ映像表示部１７０に伝送し、ステップ２４０５に戻
る。

【０２３５】ステップ２５２０では、映像キャプチャ部
２２０でキャプチャした映像を映像メモリ２２５に転送
し、映像メモリ２２５中の映像を射影変換部２３０にお
いて射影変換する。

【０２３６】次にステップ２５２５では、メモリ２２５
中の射影変換後の映像データと、その四隅の座標データ
を映像データ送信伝文にのせてパノラマ映像表示部１７
０に伝送し、ステップ２４０５に戻る。

【０２３７】本実施例は、道路の事故状況，渋滞状況，
天候状況などを映像で監視する道路監視システムや、プ
ラント内の装置の異常，侵入者の監視などを映像で監視
するプラント監視システムなどにも適用できる。

【０２３８】それから、本実施例の射影変換行列計算手
段は、パノラマ映像表示部側ではなく、撮影部側にそれ
ぞれあってもよい。

【０２３９】

【発明の効果】本発明によれば、複数の映像を１枚の動
画像としてパノラマ合成することができる。それによ
り、超広角な映像を得ることができ、広域監視システム
などでは、全体の概況を把握しやすくなる。

【０２４０】また、カメラ操作を意識せずに、ユーザが
地図や音声を使って簡単に見たい所を指示することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施例のパノラマ映像生成システムの
ブロック構成図である。

【図２】本発明の実施例の第ｊ撮影部のブロック構成図
である。

【図３】本発明の実施例のパノラマ映像表示部のブロッ
ク構成図である。

【図４】本発明の実施例のパノラマ映像表示部のフロー
チャートである。

【図５】本発明の実施例のパノラマ映像表示部のフロー
チャートである。

【図６】本発明の実施例のパノラマ映像取得部のフロー
チャートである。

【図７】本発明の実施例のパノラマ映像取得部のフロー
チャートである。

【図８】本発明の実施例のパノラマ映像取得部のフロー
チャートである。

【図９】本発明の実施例のパノラマ映像取得部のフロー
チャートである。

【図１０】本発明の実施例の画角とズーム率の関係式を
求めるためのフローチャートである。

【図１１】本発明の実施例の画角とズーム率の関係式を
求めるためのフローチャートである。

【図１２】本発明の実施例の画角とズーム率データの収
集モードの画面である。

【図１３】本発明の実施例のＴＶカメラの配置図であ
る。

【図１４】本発明の実施例の監視地点入力画面である。

【図１５】本発明の実施例の監視対象テーブルである。

【図１６】本発明の実施例のカメラテーブルである。

【図１７】本発明の実施例の撮影方向入力画面である。

【図１８】本発明の実施例のＴＶカメラのパン角の計算
に関する図である。

【図１９】本発明の実施例のＴＶカメラのチルト角の計
算に関する図である。

【図２０】本発明の実施例のパノラマ映像生成部から撮
影部に送信される伝文である。

【図２１】本発明の実施例の撮影部からパノラマ映像生
成部に送信される伝文である。

【図２２】本発明の実施例のマクロブロック移動ベクト
ルの計算に関する図である。

【図２３】本発明の実施例のパノラマ映像合成に関する
図である。

【図２４】本発明の実施例の撮影部のフローチャートで
ある。

【図２５】本発明の実施例の撮影部のフローチャートで
ある。

【符号の説明】

１００〜１１５…撮影部、１５０…ネットワーク、１７
０…パノラマ映像表示部、２１０…ＴＶカメラ、２１５
…カメラ制御部、２２０…映像キャプチャ部、２２５…
映像メモリ、２３０…射影変換部、２３５…撮影側制御
部、２４５…撮影側通信部、３００…映像メモリ、３０
５…射影変換行列計算部、３１０…カメラパラメータ計
算部、３１５…露光推定部、３２０…パノラマ映像表示
側通信部、３２５…パノラマ映像表示側制御部、３３０
…音声認識部、３３５…マイク、３４０…入力部、３４
５…地図ＤＢ、３５０…カメラＤＢ、３５５…表示部。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C022 AA01 AB61 AB65 AB66 AB68 AC27 AC31 AC72 AC75 5C023 AA02 AA11 AA27 AA28 AA31 AA37 AA38 BA03 BA07 BA13 CA01 DA08 EA01 EA03 5C054 CE12 CF06 CG02 CG03 CH08 DA08 ED03 EF06 FD02 HA02 HA18 HA26

Claims

【特許請求の範囲】

【請求項１】複数のＴＶカメラと、該複数のＴＶカメラ
毎に撮影した映像を射影変換する射影変換部を持つ映像
撮影部と、該映像撮影部で射影変換された映像を１つの
映像に合成する映像合成部と、合成した映像を表示する
映像表示部とを有するパノラマ映像生成システム。
【請求項２】請求項１のパノラマ映像生成システムにお
いて、前記射影変換部は、射影変換行列を計算する射影
変換行列計算部を持つパノラマ映像生成システム。
【請求項３】２台以上のカメラで撮影した映像を合成し
パノラマ映像を生成するシステムにおいて、パノラマ映
像を生成するために必要なカメラパラメータを計算する
カメラパラメータ計算部と、指定されたカメラパラメー
タに従ってカメラを制御するカメラ制御部とを有するパ
ノラマ映像生成システム。
【請求項４】請求項３のパノラマ映像生成システムにお
いて、前記カメラパラメータ計算部が計算するパラメー
タがズーム率，パン角，チルト角の少なくとも１つであ
るパノラマ映像生成システム。
【請求項５】請求項３のパノラマ映像生成システムにお
いて、前記カメラパラメータ計算部が映像と映像との重
なり部分が最適になるようなパラメータを計算するパノ
ラマ映像生成システム。
【請求項６】請求項３のパノラマ映像生成システムにお
いて、前記カメラパラメータ計算部が計算するパラメー
タがカメラの露光調整であるパノラマ映像生成システ
ム。
【請求項７】請求項３のパノラマ映像生成システムにお
いて、前記カメラパラメータ計算部が２台以上のカメラ
の映像間の輝度の差が最小となるカメラの露光のパラメ
ータを計算するパノラマ映像生成システム。
【請求項８】請求項３のパノラマ映像生成システムにお
いて、前記ＴＶカメラのパラメータに基づき映像と映像
の重なり部分を計算するオーバーラップ領域推定部を持
つパノラマ映像生成システム。
【請求項９】請求項３のパノラマ映像生成システムにお
いて、ユーザが撮影方向またはパノラマ映像のサイズを
指定する撮影指定部を持つパノラマ映像生成システム。
【請求項１０】請求項９のパノラマ映像生成システムに
おいて、前記撮影指定部が、地名あるいは撮影方向のう
ちの少なくとも１つを指定するパノラマ映像生成システ
ム。
【請求項１１】請求項１０のパノラマ映像生成システム
において、前記撮影指定部が、地名，撮影方向を認識す
る音声認識部であるパノラマ映像生成システム。
【請求項１２】請求項１０のパノラマ映像生成システム
において、前記撮影指定部が、地図上で撮影場所を指定
するパノラマ映像生成システム。
【請求項１３】請求項１０のパノラマ映像生成システム
において、前記撮影指定部によって指定された地名ある
いは地図上での位置から緯度と経度を検索する地図ＤＢ
と、前記カメラパラメータ計算部が前記地図ＤＢによっ
て得られた緯度と経度に基づきカメラパラメータを計算
するパノラマ映像生成システム。
【請求項１４】隣接するカメラ映像と自ら撮影した映像
に基づき射影変換行列を計算する射影変換行列計算部
と、前記射影変換行列計算部によって計算された射影変
換行列を使って、撮影した映像を射影変換する射影変換
部とを有するＴＶカメラ。