JP2000253310A

JP2000253310A - 画像処理装置及び方法及び記憶媒体及びシステム

Info

Publication number: JP2000253310A
Application number: JP11201643A
Authority: JP
Inventors: Hiroto Oka; 寛人岡; Tsuneyoshi Takagi; 常好高木; Yuichi Sakauchi; 祐一坂内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-07-21
Filing date: 1999-07-15
Publication date: 2000-09-14

Abstract

(57)【要約】【課題】背景画像の歪みの発生を抑制し、且つ、背景
画像と生映像とを合成表示する際に、それらの間に画素
ずれが発生しにくくさせることを可能にする。【解決手段】ビデオカメラ１０１のパン角、チルト角
を変更して撮影可能な範囲の複数の画像を撮影し、記憶
する。そして、カメラの撮影方位の変更があると、カメ
ラを中心位置とする多面体モデルを作成し、カメラの撮
影方位に基づいて、その多面体から背景画像となる領域
を切り出す。そして背景領域を表示し、その中心位置に
カメラからの生映像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及び方
法及び記憶媒体及びシステム、特に撮像手段で撮像され
た画像を処理する装置及び方法及び記憶媒体及びシステ
ムに関するものである。

【０００２】

【従来の技術】ネットワークを介して遠隔にあるカメラ
を、自端末（クライアント）から制御可能にする関連技
術を本願出願人は既にいくつか提案している。遠隔にあ
るカメラは、カメラサーバに接続されていて、クライア
ントは制御情報を含むコマンドをカメラサーバに対して
送出し、カメラサーバはこのコマンドを解釈し、カメラ
（及びカメラを搭載する雲台）を制御する。そして、カ
メラサーバは、撮影された生の映像データ（以下、ライ
ブ画像という）を適当なフォーマットにしてクライアン
トに順次送出する。クライアント側は、受信した映像デ
ータを動画として表示させることになる。所謂、監視シ
ステム等を構築することになる。

【０００３】ここでカメラサーバ及びクライアントの違
いは、ハードウェアとしてはカメラを有するか否かであ
り、ソフトウェア的にはクライアントとなるプログラム
を有しているかサーバとして機能するプログラムを有し
ているかである。従って、クライアントとなる装置に、
カメラを接続し、なおかつ、カメラサーバとして機能す
るプログラムを動作させ、カメラサーバにもクライアン
トとしてのソフトウェアを動作させれば双方向の映像発
信及び受信システムとして機能させることもできる。更
に、音声入力及び出力機能を搭載させ、音声データの伝
送を行なわせることで、所謂ＴＶ会議システムとして機
能させることが可能になる。勿論、ネットワーク上にい
くともこのような装置を接続することで、２者間以上に
よるＴＶ会議システムとしても機能させることができ
る。

【０００４】ところで、遠隔カメラの撮影方向（パン角
及びチルト角）を変更させて撮影した映像を合成して
（つなぎ合わせて）、撮影可能な全視野の画像（以下、
背景画像という）をクライアント側の表示画面に表示さ
せた上で、その背景画像中に現在遠隔カメラが撮影して
いるライブ画像を表示させる技術を本願出願人が提案を
した。この提案によれば、クライアント側のユーザにと
っては、遠隔カメラの撮影方向を変更する際に、どの位
置に変更すればどのような映像が撮影されるか事前に知
ることができるので、目的とする撮影方向のライブ画像
を、簡単にしかも素早く設定できるようになる。

【０００５】

【発明が解決しようとする課題】静止画背景画像を作成
するためには、カメラのパン角、チルト角を少しずつ換
えて画像を撮影し、それらを平面上に張り合わせて背景
画像を作成する手法、広角レンズを用いて背景画像を撮
影する手法が考えられる。

【０００６】しかしながら、平面上に張り合わせて１枚
の背景画像を作成する場合、カメラのパン角、チルト角
の変動可能な範囲が狭い場合には有効かもしれないが、
その範囲が大きくなると歪みが生じる。また、広角レン
ズの場合にも、縁、つまり、周辺部に歪みが発生するこ
とになる。

【０００７】更に、背景画像とライブ画像との撮影時間
差も問題となる。例えば、屋外を撮影している場合、昼
間撮影した画像から作成した背景に、夜間撮影している
ライブ画像を重畳して表示すると、両者の明るさが極端
に異なり、不自然な画像になってしまうからである。

【０００８】本発明はかかる点を課題として成されたも
のであり、一つには、背景画像の歪みの発生を抑制し、
且つ、背景画像と生映像とを合成表示する際に、それら
の間に画素ずれが発生しにくくさせる画像処理装置及び
方法及び記憶媒体及びシステムを提供しようとするもの
である。

【０００９】また、他の発明は、撮像手段で撮影された
生映像と撮影範囲を越えた周りの背景の画像を表示させ
る場合に、それらの間の明度又は色味の差を無くすよう
にして違和感のない操作環境を実現し得る画像処理装置
及び方法及び記憶媒体及びシステムを提供しようとする
ものである。

【００１０】

【課題を解決するための手段】この課題を解決するた
め、例えば本発明の画像処理装置は以下の構成を備え
る。すなわち、撮影方向を変更可能な撮像手段より得ら
れた画像を表示する画像処理装置であって、前記撮像手
段の異なる方向の複数の撮像画像を記憶手段に記憶させ
る記憶制御手段と、該記憶手段に記憶された複数の撮像
画像から、前記撮像手段の現在の撮影方位に基づいた背
景画像を作成する背景画像作成手段と、該背景画像作成
手段で作成された背景画像に、前記撮像手段で撮像中の
画像を合成表示させる表示制御手段とを備える。

【００１１】また、第２の課題を解決するため、例えば
本発明の画像処理装置は以下の構成を備える。すなわ
ち、撮像手段により得られた第１画像データを記憶する
記憶手段と、前記撮像手段から得られた第２画像データ
と前記記憶手段に記憶された第１画像データとを合成し
て出力する第１の出力手段と、前記第１画像データと前
記第２画像データの明度或いは色みを合わせるように、
少なくとも前記画像データのいずれかを調整する調整手
段と、該調整手段の動作に関連した情報を出力する第２
の出力手段とを有する。

【００１２】

【発明の実施の形態】以下、添付図面に従って本発明に
係る実施形態の一例を詳細に説明する。

【００１３】本実施形態では、「画像の認識・理解シン
ポジウム(MIRU'96)」１９９６年７月号の「Appearance
Sphere−パン・チルト・ズームカメラのための背景モデ
ル−」に記載されているAppearance Sphereを背景生成
モデルとして用いる動画表示装置について説明する。

【００１４】Appearance Sphereとは、同一視点から回
転撮影して得られる複数の画像および球体から作成され
る全方位の背景モデルである。その背景モデルを用いる
と、視点位置から任意のパン角度・チルト角度・ズーム
倍率で撮影したときと同じ背景画像を生成することがで
きる。また、Appearance Sphereを拡張したものとし
て、球体の代わりに多面体を用いたモデルが上記論文に
記載されている。

【００１５】図２は多面体を用いるよう拡張されたAppe
arance Sphereの概念図である。２０１は多面体であ
り、２０２はその中心であり、カメラが載置される場所
でもある。多面体２０１の各面には、カメラのパン角度
・チルト角度を面の法線ベクトル方向に一致させて撮影
した画像が対応している。この背景モデルを用いて、任
意の視線方向・視角で撮影したときと同じ背景を生成す
るには、法線ベクトルがカメラの視線方向に等しく、中
心２０２からの画角が視覚に等しいスクリーン２０３を
考え、多面体の各面に対応する画像を中心２０２からス
クリーン２０３に投影することによって得ることができ
る。

【００１６】図３は、拡張されたAppearance Sphereに
おける多面体を、その中心を含む平面で切断した図であ
る。３０１は多面体モデル、３０２は視点、３０３はス
クリーンであり、それぞれ図２における２０１，２０
２，２０３に相当する。スクリーン３０３の中心（３０
４）付近においては、Appearance Sphereによって生成
される背景画像３０５と実際に撮影したときの画像３０
７のなす角度が小さいので、Appearance Sphereを用い
ても実際の映像とほぼ同じ画像が得られる。

【００１７】一方、スクリーン中心３０４から遠いあた
りでは、Appearance Sphereによる背景画像３０７と実
際に撮影したときの画像３０８のなす角度は大きくなる
ため、実際の映像に比べてずれが増大する。しかし、実
施形態ではAppearance Sphereによって作成した背景の
中心部にライブ画像を重畳するので、動画と背景との画
素ずれを最小限にすることができる。

【００１８】図１は本実施形態における動画表示装置の
ブロック図である。なお、図示は、カメラサーバとなり
得る場合のハードウェアのブロック図を示しているが、
勿論クライアントとしても機能するものである。従っ
て、クライアントのみの構成についてはその構成の説明
は省略する。なお、ビデオカメラ、キャプチャ、カメラ
制御に伴うハードウェアを有するものの、そのベースは
パーソナルコンピュータやワークステーション等の汎用
情報処理装置で良い。また、以下では、説明を簡単なも
のとするため、自身に接続されたビデオカメラ１０１で
撮影された映像を、自身のビットマップディスプレイ１
０４で表示する例を説明する。つまり、単独の装置で、
カメラサーバ機能と、カメラクライアント機能が動作す
る例である。ネットワーク上にカメラサーバとカメラク
ライアントが別々に存在する場合にも同じであるので、
考え方は同じであるので、その説明は省略する。

【００１９】さて、図中、１０１はビデオカメラであ
り、背景を構成する各画像およびライブ画像を撮影す
る。１０２はビデオカメラ１０１で撮影され、転送され
てきた映像をキャプチャしデジタル画像データに変換す
るビデオキャプチャ装置であって、一般にはボード若し
くはカードの形態で情報処理装置が有するインタフェー
スバス（例えばＩＳＡやＰＣＩバス）に接続されるもの
である。なお、ビデオカメラ１０１とビデオキャプチャ
装置１０２を接続するインタフェースは如何なるもので
あってもよい。また、ビデオカメラ１０１がデジタルデ
ータとして転送するのであれば、ビデオキャプチャ装置
は必ずしも必要ではない。この場合のインタフェースと
しては、ＵＳＢインタフェース、或いはＩＥＥＥ１３９
４等が考えられよう。

【００２０】１０３はカメラ制御装置であり、これを用
いてビデオカメラ１００の各種パラメータ（パン角度、
チルト角度、ズーム倍率、フォーカス、絞り、ホワイト
バランス、ゲイン、シャッタースピードなど）を変更す
ることができる。実際には、ビデオカメラ１０１は、雲
台に搭載されていて、この雲台にはパン角、チルト角を
変更するモーターを内蔵している。また、ズーム倍率、
フォーカス、絞り、ホワイトバランス等についてはカメ
ラ自身の制御となるので、これらの駆動系のハードがビ
デオカメラ１０１に内蔵されている。カメラ制御装置１
０３はＣＰＵ１０６の制御下、これら制御対象に対して
各種駆動信号を出力することで、上記のパラメータに対
応する制御を行なっている。なお、カメラ制御装置１０
３は、現在のビデオカメラ１０１の状態（上記のパラメ
ータの状態）をビデオカメラ１００から読み出すことも
できる。

【００２１】なお、ビデオカメラ（雲台を含む）１０１
側にカメラ制御装置１０３の全部もしくは一部の機能を
搭載するのであれば、ビデオカメラ１０１に対して各種
コマンド情報を送出させれば良いことになる。つまり、
カメラ制御装置１０３に相当する構成がビデオカメラ１
０１側に設けられる場合には、カメラ制御装置１０３が
動画像表示装置１００に設ける必要はない。この場合、
ビデオカメラ１０１と動画表示装置１００との接続は、
動画像表示装置（先に説明した如く、パーソナルコンピ
ュータ等で構成できる）が有する汎用インタフェース
（ＲＳ２３２Ｃや、ＵＳＢ、場合によってはＩＥＥＥ１
３９４）を介して接続し、各種コマンドはＣＰＵ１０６
が処理プログラムに従って汎用インタフェースを介して
出力する処理を行なえばよい。

【００２２】１０４はビットマップディスプレイであ
り、１０５はマウスやキーボードなどの入力装置であ
る。ＣＰＵ１０６は、動画表示装置１００を統括制御す
るものである。１０７はＲＯＭであって、ブートプログ
ラムやＢＩＯＳ等が格納されている。１０８はＲＡＭで
あって、ここにＯＳ、及びそのＯＳ上で動作する動画表
示装置として機能するプログラムを実行させることにな
る。１０９は二次記憶装置（実施形態ではハードディス
ク装置）であって、ここにＯＳや動画表示装置として機
能するプログラムが格納されている。ただし、パーソナ
ルコンピュータ等の汎用装置ではなく、専用装置で構成
する場合には、ＲＯＭ１０７内にＯＳや動画表示装置と
して機能するプログラムを格納しても構わない。また、
二次記憶装置としては、ハードディスク装置以外として
は、フロッピーディスクドライブ、ＣＤ−ＲＯＭ、ＭＯ
などであっても良い。つまり、記憶媒体は如何なるもの
であっても構わない。１１０はネットワークインタフェ
ースであって、他の装置と接続するためのものである。

【００２３】図７は本実施形態の表示画面の例（クライ
アントプログラムにおけるユーザインタフェースの例）
である。本実施形態では、ライブ画像と背景の重畳の方
法として、ウィンドウシステムを用いて背景を表示する
ウィンドウの手前にライブ画像を表示するウィンドウを
配置する方法を用いるが、他にもビデオキャップチャカ
ードのOverlay機能を用いる方法、背景データの一部を
動画のデータに置き換えて表示する方法などが考えられ
る。

【００２４】図中、７０１はAppearance Aphere を用い
た、実施形態における背景画像表示用ウインドウであ
り、７０２はライブ画像を表示するウインドウである。
ライブ画像表示用ウインドウ７０２の中心位置は、背景
画像表示用ウインドウの中心位置に固定である。

【００２５】カメラのパン角、チルト角を変更すると、
その変更後のパン角、チルト角に対応する背景画像を生
成し、それをウインドウ７０１に表示する。また、変更
後に得られたライブ画像はウインドウ７０２内に表示さ
れる。

【００２６】また、カメラのズーム倍率を変更した場
合、本実施形態では背景画像を拡大・縮小し、背景画像
とライブ画像との間に画素ずれが生じないようにする。

【００２７】ただし、他の実施形態として、ライブ画像
表示ウインドウ７０２の中心位置を固定のまま、その大
きさがズーム倍率に応じて変化するようにしてもよい。
更に、ライブ画像表示用ウインドウを別個に設け、ウイ
ンドウ７０２を単純に撮影方向示す枠とする方法も考え
られる。７０３〜７０５はスクロールバーであり、これ
をマウス等のポインティングデバイスで操作することで
パン角、チルト角、そして露出を変化させることができ
る。

【００２８】次に、本実施形態のカメラサーバプログラ
ムの動作を図４〜図６のフローチャートを用いて説明す
る。なお、本実施形態におけるカメラパラメータの座標
系は以下のようなものとする。パン角度は、正面を向い
ている状態を０度、反対側を向いている状態を１８０度
とし、カメラに向かって右方向への回転をプラス、左方
向への回転をマイナスとする（つまり、カメラを上から
見て反時計回りをプラス、時計回りをマイナスとす
る）。チルト角度は、正面（水平）を向いている状態を
０度とし、上方向をプラス、下方向をマイナスとする。

【００２９】図４は、背景を構成する静止画像の撮影お
よび多面体モデルの作成の際の動作を表すフローチャー
トである。

【００３０】まず、ステップＳ４０１でカメラの画像中
心を決定する。画像中心を求める方法としては、画像に
おける放射状の幾何学的ゆがみの中心を画像中心として
定義する方法、３次元中の３組の平行線を画像上に透視
変換し、その消失点を画像中心とする方法、ズーム倍率
を変えて撮影した２枚以上の画像から共通する特徴点を
抽出し、その起動から画像中心を求める方法などがあ
る。

【００３１】次いで、ステップＳ４０２では、カメラ制
御装置１０３を用いてカメラのパン角度、チルト角度、
ズーム倍率などを変更する。そして、ステップＳ４０３
に進み、ビデオカメラ１０１を用いて静止画を撮影し、
ステップＳ４０４で、撮影した静止画をＲＡＭ１０８ま
たは二次記憶１０９に記憶する。ステップＳ４０５に処
理が進むと、背景を構成するために必要な全画像が揃っ
たかどうかを判断する。なお、カメラの撮影変更可能な
範囲に限界があれば、その撮影可能範囲をカバーするだ
けの画像があればよい。つまり、必ずしも、全方位の画
像を撮影する必要はない。

【００３２】ここで、必要な画像が揃っていないと判断
した場合には、ステップＳ４０２に戻り、上記処理を繰
り返す。

【００３３】また、揃っていればステップＳ４０６に進
み、背景モデルを作成する。具体的には、多面体モデル
を構成する各面と各頂点の隣接関係をグラフ化して保持
し、また各頂点の３次元座標、各面の単位法線ベクトル
・原点からの距離を計算する。そして、ステップＳ４０
７に進んで背景の各画素の輝度を求め、各面毎の輝度平
均を取って背景の明るさを計算する。ステップＳ４０８
に進んでそれをＲＡＭ１０８または二次記憶装置１０９
に記憶する。ただし、記憶する平均輝度は１つではな
く、ステップＳ４０３で撮影した画像数とする。尚、撮
影した時刻も記憶する。

【００３４】なお、上記処理は、ユーザが本動画表示装
置を使用する前に実行する必要がある。その実行タイミ
ングとしては、定期的に行う、ユーザの指示があったと
きに行う、ユーザが一定期間カメラ操作をしなかったと
きに行う、などが考えられる。定期的に行なう場合に
は、ある時刻（ユーザーが設定する時刻）になった場合
に、本処理を実行させるようにすればよい。また、ビデ
オカメラ１０１が撮影する対象が屋外のものである場
合、背景画像を得る処理は比較的明るい時刻であること
が望ましい。理由は、後述する背景画像の輝度補正処理
においては、明るい映像を暗くする処理では画質劣化が
めだちにくいので問題がないものの、その逆は目立つか
らである。従って、屋外の映像を撮影する際には、もっ
とも明るい状況下になった場合に実行するようにするこ
とが望ましい。

【００３５】さて、図４の動作が終了すると、本動画表
示装置は、ビデオカメラ１０１によってライブ画像を撮
影し、それをビデオキャップチャ装置１０２で取り込ん
で、クライアント側の処理に引渡しビットマップディス
プレイ１０４にリアルタイムに表示させる。このとき、
定期的にライブ画像の明るさをチェックし、その明るさ
にあった背景を生成し直すかどうかを決定する。この動
作は図６を用いて後述する。また、ライブ画像の撮影・
表示と同様に、入力装置１０５を監視し、入力があれば
それに対応した処理を行う。その動作は図５を用いて後
述する。

【００３６】図５は、クライアントプログラムから何ら
かの要求があった場合に動作するものである。換言すれ
ば、クライアントプログラムでは、入力装置１０５から
何らかの入力があった時にサーバプログラムにそれを通
知した場合に動作するものである。

【００３７】先ずステップＳ５０１において、ユーザが
入力装置１０５を用いてカメラパラメータ（パン角度、
チルト角度、露出など）の変更指示を行うと、ステップ
Ｓ５０２に進んで、カメラ制御装置１０３を用いてカメ
ラから現在のカメラパラメータ（パン角度、チルト角
度、ズーム倍率等）を読み出す。次にステップＳ５０３
に進み、先のステップＳ５０１において入力された変更
指示およびステップＳ５０２で読み出したカメラパラメ
ータより変更後のカメラパラメータの値を求める。例え
ば、現在のパン角度が６０度、ユーザからの変更指示が
“左方向に３０度回転”である場合、変更後のパン角度
は３０度となる。

【００３８】次に、ステップＳ５０４に進み、背景を作
成する。Appearance Sphereによって背景を作成する場
合、その時点でのカメラの視線方向（横（水平）方向φ
および縦（垂直）方向θ）および画角ｒが必要である
が、φおよびθにはそれぞれステップＳ５０３で求めた
パン角度およびチルト角度を与えればよく、また画角ｒ
はカメラのズーム倍率に対応する値を与えればよい（ズ
ーム倍率と画角の関係はカメラの種類毎に異なるが、あ
らかじめズームバン率と画角と対応テーブルを作成して
おき、必要時にそれを参照するものとした）。実施形態
では、背景を作成する処理は、上記のφ、θ、ｒを引数
とした関数として用意した。また、作成する背景画像の
サイズ（仮想的な画角）は、キャプチャーボードがキャ
プチャする画像サイズ以上になるように設定する。この
とき、実施形態では、ライブ画像を表示するウインドウ
７０２の大きさは、ズーム倍率によらず一定としたの
で、作成される背景画像はカメラの画角ｒ、すなわち、
ズーム倍率に依存して拡大縮小して作成されることにな
る。具体的には、ライブ画像を表示するウインドウ７０
２のサイズは、カメラのズーム倍率によらず、キャプチ
ャーボードのキャプチャするサイズになる。このサイズ
は適宜カスタマイズできるが、例えばＮＴＳＣのアナロ
グカメラを用いている場合には最大６４０×４８０画素
サイズとなる。従って、背景画像はこれ以上のサイズと
なる。

【００３９】そして、ステップＳ５０５に進んで、作成
した背景画像をクライアントプログラムに転送し、ライ
ブ画像と重畳表示させる。この時、ライブ画像における
画像中心の座標情報もクライアントプログラムに通知す
る。クライアントは、送られてきた背景画像の中心座標
とライブ画像の中心位置を、ディスプレイ上で等しくな
るようにし、重畳表示する。また、カメラの視線を変更
した場合、背景画像もそれに再構築し、クライアントプ
ログラムに転送することになるものの、ライブ画像は常
に背景画像の中心位置にする。

【００４０】そしてステップＳ５０６に進んで、カメラ
制御装置１０３を用いてカメラパラメータを変更する。
なお、上記説明では、背景画像の生成処理を、カメラパ
ラメータが変更がなされる毎に行なったが、従前に受信
した背景画像をキャッシュしておき、それを活用できる
のであれば、それをそのまま用いるようにしてもよい。
つまり、ステップＳ５０４の処理を無くして、処理を高
速にすることも可能である。クライアント側では、背景
画像がサーバプログラムから送られ来ない場合には従前
の背景画像を用いるようにすればよい。

【００４１】図６は、ビデオカメラ１０１でライブ画像
を撮影している間、定期的（例えば１分ごと）に呼び出
される動作を表すフローチャートである。定期的に実行
するには、情報処理装置が備えるタイマを用いればよい
し、ＯＳのサービスを利用するものでもよい。

【００４２】先ず、ステップＳ６０１で、ライブ画像か
ら１フレーム分の静止画像をキャップチャする。そし
て、ステップＳ６０２に進み、キャップチャした現画像
の各画素の輝度を求め、その平均値を計算して撮像画像
の輝度とする。そして、ステップＳ６０３に進み、算出
した平均輝度と、先の図４のステップＳ４０８で記憶し
た平均輝度の中で、現在の撮影方向に最も近い方向の画
像の平均輝度と比較する。なお、現在の撮影方向が、背
景画像を構成する連接する２つ（もしくは４つ）の部分
画像の中央にある場合には、記憶しておいた該当する２
つ（もしくは４つ）の平均輝度の平均を算出するように
してもよい。

【００４３】さて、この差が閾値より大きいと判断した
場合、ライブ画像と背景の色ずれが大きくなっている、
もしくは大きくなってきていると考えられるので、処理
はステップＳ６０４に進んでキャップチャした画像と同
じ明るさとなるよう背景を再生成する。ライブ画像と同
じ明るさの背景を作るには、ステップＳ４０８で記憶さ
せおいた背景の材料となる各部分画像の輝度の平均値
（計算結果をＲＡＭ１０８などに記憶しておくことによ
り何度も計算する手間が省ける）と、キャップチャした
画像の明るさとの差分だけ、背景を構成する各画素の輝
度を補正すればよい。例えば、ライブ画像の平均輝度
（ライブ画像の全画素（ＲＧＢ値）の平均輝度）が１５
０であって、背景画像の該当する領域の平均輝度が２０
０であった場合には、１５０／２００＝３／４であるの
で、背景画像全体の各画素ＲＧＢ値に３／４を乗じた値
にする。また、逆に明るくする場合には、同様の処理を
行なえば良いが、最大輝度２５５を越えないようにする
（ＲＧＢが各８ビットの場合）。そして、ステップＳ６
０５に進んで再生成した背景画像をクライアントプログ
ラムに通知する。このとき、輝度調整した背景画像と共
に、その背景画像の撮影日時情報も併せて通知する。こ
の結果、ライブ画像と背景画像との間には時間差がある
ことを知らせることができる。

【００４４】一方、クライアントプログラムの処理とし
ては、図８、図９に示すように動作すれば良いであろ
う。

【００４５】図８は図７のユーザーインタフェースが表
示された後に実行されるものである。先ず、ステップＳ
８１で、操作者によりカメラパラメータの変更が入力さ
れると、次のステップＳ８２でその変更されたパラメー
タをサーバプログラムに通知する。サーバプログラムで
は、これを受けて、先に説明した図５の処理を行なうこ
とになる。

【００４６】次いで、サーバプログラムから画像データ
を受信した場合の処理を図９のフローチャートに従って
説明する。

【００４７】先ず、ステップＳ９１でサーバプログラム
より画像データを受信する。次いで、受信した画像がラ
イブ画像か、背景画像かを判断する。ライブ画像である
と判断した場合には、ステップＳ９３に進んで、図７の
ウインドウ７０２にライブ画像を表示する。一方、背景
画像であると判断した場合には、ステップＳ９４に進
み、ウインドウ７０１に背景画像を表示する処理を行な
う。背景画像データには、その撮影日時情報が添付され
てくるので、その日時情報を表示する。例えば背景画像
の一部に、例えばこの背景画像は「xxxx年xx月xx日に撮
影された画像で、ライブ画像との間に時間差がありま
す」等のメッセージ形式で表示する。

【００４８】本実施形態ではAppearance Sphereを用い
る方法によって任意のパン角度、チルト角度に対応する
背景を作成したが、それ以外の方法を用いて背景を作成
する方法によっても本発明は実現できる。つまり、予め
異なるパン角、チルト角でもって撮影した映像を合成
（つなぎ合わせ）するものであればよい。

【００４９】本実施形態では、図６で示したようなライ
ブ画像の明るさに合わせて背景を作成する処理は、定期
的に実行するものとした。しかし、入力装置１０５にお
いて、ビデオカメラ１０１の露出を変更するような入力
がされた場合には、ライブ画像の明るさが変化し、背景
との間に色ずれを生じる可能性が高い。そこで、露出を
変更するような入力がされた場合、図５の処理を実行後
に図６の処理も併せて行い、背景更新をすばやく行うと
いう動作も考えられる。

【００５０】また、上記実施形態では、背景画像中のラ
イブ画像の撮影領域の輝度と、実際のライブ画像の輝度
に基づいて背景画像全体の輝度を調節した。しかしなが
ら、例えば背景画像が昼頃撮影し、現在の時刻が夕方等
である場合、ライブ画像は赤みを帯びて撮影され、背景
画像との色味に差が生じることになる。従って、単純に
背景画像の各色成分の輝度のみを一律な比率で調整する
のではなく、ライブ画像とそのライブ画像の撮影領域内
の背景画像との色味（色相及び／又は彩度）の差を最小
限にするべく、色相等を考慮に入れて調節してもよい。
もっとも単純な処理は、Ｒ、Ｇ、Ｂそれぞれ独立した調
整比で調整すれば良いであろう。又は、ライブ画像の色
相と、そのライブ画像に対応する背景画像領域の色相を
それぞれ算出し、その差を小さくするため、背景画像デ
ータに対する変換処理（フィルタ処理）を行なえばよ
い。更に、背景画像に対して上記の如くその撮影日時を
クライアントに通知して表示させるだけでなく、その変
換処理を行なったことも併せて通知するようにしても良
い。

【００５１】この場合には、背景画像の撮影日時＋色変
換の有無をクライアント側で表示させることになる。

【００５２】なお、実施形態では、単独の装置でビデオ
カメラを制御し、撮影映像を見る例を説明した。単独の
装置上で上記の動作を行なう場合には、必ずしもサーバ
プログラムとクライアントプログラムが分離している必
要性はない。

【００５３】以上説明したように実施形態によれば、Ap
perrance Shphereを用いて作成した背景画像の中央に、
ライブ画像を重畳することで、ライブ画像と背景との間
の画素ずれが最小限に抑えられ、これら２つの画像のつ
なぎ目に違和感が発生しにくくなる。また、背景画像と
ライブ画像間の明るさも略等しくさせることができるの
で、違和感のない操作環境を提供できるようになる。

【００５４】＜第１の実施形態の変形例＞上記実施形態
では、カメラサーバ（サーバプログラム）側で背景画像
の輝度や色味を調節し、それをクライアント（クライア
ントプログラム）に転送する例を説明した。

【００５５】１つの装置内でサーバプログラムやクライ
アントプログラムを動作させる場合、或いは、伝送速度
が比較的高速な場合（例えばイーサネット等）には問題
はないが、カメラサーバとクライアントが低速な回線で
接続されている場合（例えばインターネット上にカメラ
サーバを設置し、クライアントはモデム等を介して説明
する場合等）、背景画像データのデータ量が大きく、ラ
イブ画像の表示に支障を来たす。そこで、上記実施形態
の変形例として、クライアント側で背景画像の輝度や色
味を調節する例を説明する。また、説明を簡単にするた
め、第１の実施形態と同様、ライブ画像と背景画像の間
の輝度差に着目した例とする。

【００５６】図１０は、図６のカメラサーバの処理に替
わる処理手順を示すフローチャートである。なお、クラ
イアントがカメラサーバに接続したとき、カメラサーバ
は背景画像をクライアントに転送するものとして説明す
る。図１０はこの処理が完了した後の処理である。

【００５７】先ず、ステップＳ１００１で、ライブ画像
から１フレーム分の静止画像をキャップチャする。そし
て、ステップＳ１００２に進み、キャップチャした現画
像の各画素の輝度を求め、その平均値を計算して撮像画
像の輝度とする。そして、ステップＳ１００３に進み、
算出した平均輝度と、先の図４のステップＳ４０８で記
憶した平均輝度の中で、現在の撮影方向に最も近い方向
（アングル）の平均輝度と比較するものとする。

【００５８】この差が閾値より大きいと判断した場合、
ライブ画像と背景の色ずれが大きくなっている、もしく
は大きくなってきていると考えられるので、処理はステ
ップＳ１００４に進んでキャップチャした画像と同じ明
るさとなるよう背景画像に対する調整パラメータを算出
する。次いで、ステップＳ１００５に進んで、その調整
パラメータをクライアントに転送する。このようにする
と、カメラサーバからは最初の段階で背景画像を転送す
ることが必要になるものの、その後はデータ量が非常に
少ない調整パラメータを転送するだけで良くなるので、
比較的低速なネットワークを有効に利用することが可能
になる。

【００５９】一方、クライアント側での受信処理では、
図９に替わって、図１１に示すフローチャートに従って
処理すれば良い。

【００６０】先ず、ステップＳ１１０１でサーバよりデ
ータを受信する。次いで、受信した画像がライブ画像
か、背景画像か、或いは調整データであるかを判断す
る。

【００６１】ライブ画像であると判断した場合には、ス
テップＳ１１０３に進んで、図７のウインドウ７０２に
ライブ画像をその時の背景画像に重畳表示する。

【００６２】一方、背景画像であると判断した場合に
は、ステップＳ１１０４に進み、受信した背景画像をハ
ードディスク等に一旦格納する。なお、このステップＳ
１１０４の処理は、カメラサーバに接続した初期段階で
行われることになる。

【００６３】また、ステップＳ１１０１で受信したデー
タが、調整データパラメータであった場合には、ステッ
プＳ１１０５に進み、既に格納されている背景画像デー
タを読み込み、受信した調整パラメータに従って画像変
換し、表示させる。なお、このとき、背景画像の撮影日
時や画像変換された旨を表示するのも第１の実施形態と
同様である。また、記憶された背景画像データは、新た
にカメラサーバから送られて来ない限り更新（書き込
み）しない。

【００６４】以上の結果、最初の段階で背景画像データ
が転送されては来るものの、その後にライブ画像と背景
画像との輝度差が大きくなったとしても、カメラサーバ
はその差を小さくするためのパラメータを転送するだけ
で良いので、ライブ画像の転送に与える影響を最小限に
できる。

【００６５】また、更なる変形例としては、この調整パ
ラメータの算出をもクライアント側で行なうようにして
も構わない。

【００６６】＜第２の実施形態＞上記実施形態（第１の
実施形態及びその変形例）において、「ライブ画像の明
るさ（或いは／及び色味）と背景画像の明るさ（或いは
／及び色味）を求め、一定値以上異なっていれば背景を
再生成するという処理」（図６）は定期的（たとえば１
分おき）に行うものであった。本実施形態では、ＡＥ機
能を持つビデオカメラを使用し、ビデオカメラの露出関
係のパラメータ（絞り、ゲイン、シャッタースピード）
の変化をトリガにして図６の処理を行うものである。ビ
デオカメラのＡＥ機能は、撮影物の明るさの変化に対し
て自動的に絞り・ゲイン・シャッタースピードを変化さ
せて、撮影画像の明るさをある程度一定に保とうとする
ものである。そのため、絞り・ゲイン・シャッタースピ
ードのパラメータが変化すれば、ライブ動画の明るさが
変化した可能性があるとみなすことができる。

【００６７】まず、絞り・ゲイン・シャッタースピード
の値をカメラ制御装置によって監視する。この処理は、
定期的（例えば１秒ごと）にパラメータの値を読み出す
方式でもよいし、パラメータが変化するたびにそのこと
をカメラ制御装置に通知するようなビデオカメラを用い
てる方式でもよい。パラメータの値が変化したかどうか
を判断し、変化していた場合には、ライブ画像の明るさ
が変化した可能性があるとして、図６の処理を行う（パ
ラメータごとに一定の閾値を設け、パラメータの変化の
度合が閾値を上回っていれば図６の処理を行う方式にし
てもよい）。

【００６８】この方法によって、ライブ画像の各画素の
輝度を求め、それを平均して画像の明るさを求めるとい
う時間のかかる処理を定期的に行う必要がなくなるた
め、システムの負荷を軽減することができる。

【００６９】さらに、ＡＥ機能を持つカメラを用いるこ
とによって、ＡＥによって多少の明るさの変化を調整
し、それで吸収しきれない色ずれのみを背景再生成によ
って低減することが可能なため、背景更新の回数を減ら
し、さらにシステムの負荷を軽減できるというメリット
が生じる。

【００７０】＜第３の実施形態の説明＞上記第１、第２
の実施形態では、サーバプログラムとクライアントプロ
グラムとが分離させて説明した。このように、これらの
プログラムは互いに独立して動作するものであるので、
それぞれ別個の情報処理装置上で動作させるようにした
場合に、そのまま適用できる。つまり、ネットワーク上
にカメラサーバ、カメラクライアントを設置する場合に
は、ネットワーク層を介して、カメラサーバプログラ
ム、クライアントプログラムが通信するだけである。

【００７１】この場合、クライアント側では、図７のよ
うなユーザーインタフェースを表示した上で、図８、９
の処理に相当するプログラムを実行させることになる。

【００７２】なお、カメラサーバでは、クライアントが
ログインした時に、カメラサーバから背景画像となるデ
ータ及び各部分画像の平均輝度をクライアント側に転送
し、クライアント側ではそれを受信して記憶保存するよ
うにしてもよい。つまり、クライアント側で、ライブ画
像と背景画像の輝度補正を行なうようにしても良い。こ
のようにすることのメリットは、カメラサーバに多数の
クライアントがログインした場合等、カメラサーバ側の
負担を軽減することができる点である。

【００７３】本発明は、単独でカメラの遠隔操作する装
置（図１の構成）、ネットワークに接続されたカメラサ
ーバ及びクライアントに適用できるのは勿論、ビデオカ
メラというハードウェアが要求されるものの、上記の処
理のほとんどがプログラムによって実現できる。先に説
明したように、装置としてはパーソナルコンピュータ等
の汎用装置で良いわけであるから、本発明は、前述した
実施形態の機能を実現するソフトウェアのプログラムコ
ードを記録した記録媒体をシステムあるいは装置に供給
し、そのシステムあるいは装置のコンピュータが記憶媒
体に格納されたプログラムコードを読み出し実行するこ
とによっても達成できるのは勿論である。この場合、記
憶媒体から読み出されたプログラムコード自体が、前述
した実施形態の機能を実現することになり、そのプログ
ラムコードを記憶した記憶媒体は本発明を構成すること
になる。プログラムコードを供給するための記憶媒体と
しては、フロッピディスク，ハードディスク，光ディス
ク，光磁気ディスク，ＣＤ−ＲＯＭ，磁気テープ，不揮
発性のメモリカード，ＲＯＭなどを用いることができ
る。

【００７４】また、本発明は、前述したプログラムコー
ドを記録した記録媒体をコンピュータに供給し、そのコ
ンピュータ上で稼働しているＯＳなどが実際の処理の一
部または全部を行い、その処理によって前述した実施形
態の機能が実現されることによっても達成できる。さら
に、記憶媒体から読み出されたプログラムコードが、コ
ンピュータに挿入された機能拡張ボードや機能拡張ユニ
ットに備わるメモリに書き込まれた後、機能拡張ボード
や機能拡張ユニットに備わるＣＰＵなどがプログラムコ
ードの指示に基づいて実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる。本発明を上記記憶媒体に適用する場合、その記憶
媒体には前述のフローチャートに対応するプログラムコ
ードを格納することになる。

【００７５】以上説明したように本実施形態によれば、
Appearance Sphereを用いる等によって作成した背景の
中央にライブ画像を重畳するため、ライブ画像と背景の
間の画素ずれが最小限に抑えられ、違和感のないユーザ
インタフェースを提供することができる。同時に、画素
ずれを生じないようライブ画像を加工する必要がないた
め、加工の手間が不要となる分、処理工数を減らすこと
ができ、動画のフレームレートが低下することがないた
め滑らかなユーザインタフェースを提供することができ
る。

【００７６】また、カメラの幾何的なパラメータ（パン
角度・チルト角度など）に対応して背景を生成するた
め、任意の幾何的パラメータに対してライブ画像との画
素ずれが生じない背景を生成することができる。そのた
め、一層違和感のないユーザインタフェースを提供する
ことが可能となる。

【００７７】さらに、ライブ画像の明るさの変化に合わ
せて背景を更新するため、ライブ画像と背景の間の色ず
れのない、より自然なユーザインタフェースを提供する
ことが可能となる。

【００７８】また、本実施形態においては、撮像手段の
現在の撮影方向を中心として背景画像を作成し、その中
心位置に撮像手段の撮像中の画像を合成したが、本発明
においてはかかる中心位置からずれた位置に背景画像を
作成し、合成するようにしてもよい。要は、背景画像の
ひずみが目立たない範囲であれば、ずれた位置でも良
い。

【００７９】なお、上記実施形態では、背景画像の元に
なる複数の画像の撮像するカメラの位置と、ライブ画像
を撮像するカメラの位置は互いに同じ場合を説明した。
しかし、これらが異なってもよい。この場合には、背景
画像を生成する場合に、ライブ画像を撮像するカメラの
位置から見えるように生成すればよい。

【００８０】

【発明の効果】以上説明したように本発明によれば、背
景画像の歪みの発生を抑制し、且つ、背景画像と生映像
とを合成表示する際に、それらの間に画素ずれが発生し
にくくさせることが可能になる。

【００８１】また、撮像手段で撮影された生映像と撮影
範囲を越えた周りの背景の画像を表示させる場合に、そ
れらの間の明度又は色味の差を無くすようにして違和感
のない操作環境を提供できるようになる。

【図面の簡単な説明】

【図１】実施形態の画像表示装置のブロック構成図であ
る。

【図２】実施形態におけるAppearance Sphereの概念図
である。

【図３】実施形態におけるAppearance Sphereの概念の
一例を示す平面図である。

【図４】実施形態のサーバプログラムにおける背景画像
の構築処理の例を示すフローチャートである。

【図５】実施形態のサーバプログラムにおけるカメラパ
ラメータによる制御手順を示すフローチャートである。

【図６】実施形態のサーバプログラムにおける背景画像
の明度補正処理の手順を示すフローチャートである。

【図７】実施形態の画面の一例を示す図である。

【図８】実施形態のクライアントプログラムにおけるカ
メラパラメータの設定手順を示すフローチャートであ
る。

【図９】実施形態のクライアントプログラムにおける映
像受信処理手順を示すフローチャートである。

【図１０】図６の変形例を示すフローチャートである。

【図１１】図９の変形例を示すフローチャートである。

【符号の説明】

１００動作表示装置１０１ビデオカメラ１０２ビデオキャップチャ装置１０３カメラ制御装置１０４ビデオマップディスプレイ１０５入力装置１０６ＣＰＵ１０７ＲＯＭ１０８ＲＡＭ１０９二次記憶装置

Claims

【特許請求の範囲】

【請求項１】撮影方向を変更可能な撮像手段より得ら
れた画像を表示する画像処理装置であって、前記撮像手段の異なる方向の複数の撮像画像を記憶手段
に記憶させる記憶制御手段と、該記憶手段に記憶された複数の撮像画像から、前記撮像
手段の現在の撮影方位に基づいた背景画像を作成する背
景画像作成手段と、該背景画像作成手段で作成された背景画像に、前記撮像
手段で撮像中の画像を合成表示させる表示制御手段とを
備えることを特徴とする画像処理装置。
【請求項２】背景画像作成手段は、前記撮像手段の位
置を中心とし、前記記憶手段に記憶された画像に基づい
て多面体を構築し、前記撮像手段の撮影方位を中心とす
る矩形領域を切り取って背景画像を作成することを特徴
とする請求項第１項に記載の画像処理装置。
【請求項３】更に、前記記憶手段に記憶された複数の
撮像画像から多面体モデルを生成する多面体モデル手段
を備え、前記背景画像作成手段は、当該多面体モデル生
成手段で生成された多面体から、前記撮像手段の撮影方
位を中心とする矩形の背景画像を作成することを特徴と
する請求項第１項に記載の画像処理装置。
【請求項４】更に、前記撮像手段により得られた撮像
画像を、前記背景画像に合成表示するとき、これら２つ
の画像の明度或いは色みを合わせるように、少なくとも
一方を画像データを調整する調整手段を備えることを特
徴とする請求項第１項に記載の画像処理装置。
【請求項５】更に、前記調整手段の動作に関連した情
報を出力する出力手段を有することを特徴とする請求項
第４項に記載の画像処理装置。
【請求項６】前記関連した情報は、背景画像の元にな
った画像の撮影時刻を示す情報であることを特徴とする
請求項第５項に記載の画像処理装置。
【請求項７】撮影方向を変更可能な撮像手段より得ら
れた画像を表示する画像処理方法であって、前記撮像手段を制御することで、異なる方向の複数の撮
像画像を所定の記憶手段に格納する格納工程と、該記憶手段に記憶された複数の撮像画像から、前記撮像
手段の現在の撮影方位に基づいた背景画像を作成する背
景画像作成工程と、該背景画像作成工程で作成された背景画像に、前記撮像
手段で撮像中の画像を合成表示させる表示工程とを備え
ることを特徴とする画像処理方法。
【請求項８】コンピュータが読込み実行することで、
撮影方向を変更可能な撮像手段より得られた画像を表示
する画像処理装置として機能するプログラムコードを格
納する記憶媒体であって、前記撮像手段の異なる方向の複数の撮像画像を記憶手段
に記憶させる記憶制御手段と、該記憶手段に記憶された複数の撮像画像から、前記撮像
手段の現在の撮影方位に基づいた背景画像を作成する背
景画像作成手段と、該背景画像作成手段で作成された背景画像に、前記撮像
手段で撮像中の画像を合成表示させる表示制御手段とし
て機能するプログラムコードを格納した記憶媒体。
【請求項９】撮影方向を変更可能な撮像手段より得ら
れた画像を表示する画像処理装置であって、前記撮像手段の異なる方向の複数の撮像画像を記憶する
記憶手段と、前記撮像手段の現在の撮影方位を含む撮影パラメータを
指示する指示手段と、該指示された撮影パラメータに基づき、前記記憶手段に
記憶された複数の撮像画像から、前記撮像手段の現在の
撮影方位に基づいた背景画像を作成する背景画像作成手
段と、該背景画像作成手段で作成された背景画像の中心位置
に、前記撮像手段で撮像中の画像を合成表示させる表示
制御手段とを備えることを特徴とする画像処理装置。
【請求項１０】前記背景画像作成手段は、前記撮像手
段の位置を中心とし、前記記憶手段に記憶された画像に
基づいて多面体を構築し、前記撮像手段の撮影方位を中
心とする矩形領域を切り取って背景画像を作成すること
を特徴とする請求項第９項に記載の画像処理装置。
【請求項１１】更に、前記記憶手段に記憶された複数
の撮像画像から多面体モデルを生成する多面体モデル手
段を備え、前記背景画像作成手段は、当該多面体モデル
生成手段で生成された多面体から、前記撮像手段の撮影
方位を中心とする矩形の背景画像を作成することを特徴
とする請求項第９項に記載の画像処理装置。
【請求項１２】更に、前記撮像手段により得られた撮
像画像を、前記背景画像に合成表示するとき、これら２
つの画像の明度或いは色みを合わせるように、少なくと
も一方を画像データを調整する調整手段を備えることを
特徴とする請求項第９項に記載の画像処理装置。
【請求項１３】前記調整手段は、前記指示手段で指示された撮影パラメータに従って、前
記背景画像中の該当する範囲の画像情報を取得する手段
と、取得した背景画像の該当範囲の画素の平均明度或いは色
味と、前記撮影パラメータに従って撮像して得た映像の
平均明度或いは色味との差を算出する算出手段と、該算出手段で算出した差が所定の閾値以上の場合、背景
画像の明るさ或いは色味を撮影した画像とほぼ一致する
ように補正する補正手段とを備えることを特徴とする請
求項第１２項に記載の画像処理装置。
【請求項１４】撮影方向を変更可能な撮像手段より得
られた画像を表示する画像処理方法であって、前記撮像手段の異なる方向の複数の撮像画像を所定の記
憶手段に格納する格納工程と、前記撮像手段の現在の撮影方位を含む撮影パラメータを
指示する指示工程と、該指示された撮影パラメータに基づき、前記記憶手段に
記憶された複数の撮像画像から、前記撮像手段の現在の
撮影方位に基づいた背景画像を作成する背景画像作成工
程と、該背景画像作成工程で作成された背景画像に、前記撮像
手段で撮像中の画像を合成表示する表示工程とを備える
ことを特徴とする画像処理方法。
【請求項１５】コンピュータが読込み実行すること
で、撮影方向を変更可能な撮像手段より得られた画像を
表示する画像処理装置として機能するプログラムコード
を格納した記憶媒体であって、前記撮像手段の異なる方向の複数の撮像画像を記憶する
記憶手段と、前記撮像手段の現在の撮影方位を含む撮影パラメータを
指示する指示手段と、該指示された撮影パラメータに基づき、前記記憶手段に
記憶された複数の撮像画像から、前記撮像手段の現在の
撮影方位に基づいた背景画像を作成する背景画像作成手
段と、該背景画像作成工程で作成された背景画像の中心位置
に、前記撮像手段で撮像中の画像を合成表示させる表示
制御手段として機能するプログラムコードを格納する記
憶媒体。
【請求項１６】撮影方向が変更可能な撮像手段を有
し、ネットワークに接続されたクライアントに対して撮
影映像の転送サービスを行なう画像処理装置であって、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を記憶する記憶手段と、前記クライアントが要求してきた撮影方位を含む撮影パ
ラメータに基づいて前記撮像手段を制御する撮像制御手
段と、要求された撮影パラメータに基づき、前記記憶手段に記
憶された複数の撮像画像から、前記撮像手段の現在の撮
影方位に基づいた背景画像を作成する背景画像作成手段
と、作成した背景画像を前記クライアントの表示画面に表示
させるため、転送する第１の転送手段と、前記撮像制御手段で制御して撮像された映像を前記背景
画像の中心位置に表示させるため、前記クライアントに
転送する第２の転送手段とを備えることを特徴とする画
像処理装置。
【請求項１７】前記背景画像作成手段は、前記撮像手
段の位置を中心とし、前記記憶手段に記憶された画像に
基づいて多面体を構築し、前記撮像手段の撮影方位を中
心とする矩形領域を切り取って背景画像を作成すること
を特徴とする請求項第１６項に記載の画像処理装置。
【請求項１８】更に、前記撮像手段制御手段で制御し
て撮像された映像の明るさ或いは色味に、前記背景画像
中の該当する範囲の明るさ或いは色味が追従するよう
に、前記背景画像を調整する調整手段を備え、当該調整
手段で背景画像を調整した場合に、当該背景画像を前記
第１の転送手段で前記クライアントに転送することを特
徴とする請求項第１６項に記載の画像処理装置。
【請求項１９】前記第１の転送手段は、更に、前記背
景画像の撮像日時情報を転送することを特徴とする請求
項第１６項に記載の画像処理装置。
【請求項２０】請求項第１６項に記載の画像処理装置
に前記ネットワークを介して接続するクライアントであ
って、前記撮像手段の撮影パラメータを変更すると共に、変更
された撮影パラメータを前記サーバに通知する通知手段
と、前記第１の転送手段で転送されてきた背景画像を表示す
る背景画像表示手段と、前記第２の転送手段で転送されてきた撮像映像を、当該
背景画像に合成表示させる撮像画像表示手段とを備える
ことをクライアント。
【請求項２１】請求項第１９項に記載の画像処理装置
に前記ネットワークを介して接続するクライアントであ
って、前記撮像手段の撮影パラメータを変更すると共に、変更
された撮影パラメータを前記サーバに通知する通知手段
と、前記第１の転送手段で転送されてきた背景画像を表示す
ると共に、当該背景画像の撮影日時情報を表示する背景
画像表示手段と、前記第２の転送手段で転送されてきた撮像映像を、当該
背景画像中の該当する領域に表示させる撮像画像表示手
段とを備えることをクライアント。
【請求項２２】ネットワークと当該ネットワークに接
続されたクライアント、及び撮影方向が変更可能な撮像
手段を有し、前記ネットワークに接続されたクライアン
トに対して撮影映像の転送サービスを行なうサーバで構
成される画像処理システムであって、前記サーバは、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を記憶手段に記憶させる記憶制御手段と、前記クライアントが要求してきた撮影方位を含む撮影パ
ラメータに基づいて前記撮像手段を制御する撮像制御手
段と、要求された撮影パラメータに基づき、前記記憶手段に記
憶された複数の撮像画像から、前記撮像手段の現在の撮
影方位に基づいた背景画像を作成する背景画像作成手段
と、作成した背景画像を前記クライアントの表示画面に表示
させるため、転送する第１の転送手段と、前記撮像制御手段で制御して撮像された映像を前記背景
画像に合成表示させるため、前記クライアントに転送す
る第２の転送手段とを備え、前記クライアントは、前記撮像手段の撮影パラメータを変更すると共に、変更
された撮影パラメータを前記サーバに通知する通知手段
と、前記第１の転送手段で転送されてきた背景画像を表示す
る背景画像表示手段と、前記第２の転送手段で転送されてきた撮像映像を、当該
背景画像に合成表示する撮像画像表示手段とを備えるこ
とを特徴とする画像処理システム。
【請求項２３】撮像手段により得られた第１画像デー
タを記憶する記憶手段と、前記撮像手段から得られた第２画像データと前記記憶手
段に記憶された第１画像データとを合成して出力する第
１の出力手段と、前記第１画像データと前記第２画像データの明度或いは
色みを合わせるように、少なくとも前記画像データのい
ずれかを調整する調整手段と、該調整手段の動作に関連した情報を出力する第２の出力
手段とを有することを特徴とする画像処理装置。
【請求項２４】前記関連した情報は前記第１画像デー
タを得た時刻を示す情報であることを特徴とする請求項
第２３項に記載の画像処理装置。
【請求項２５】撮像手段により得られた第１画像デー
タを所定の記憶手段に格納する格納工程と、前記撮像手段から得られた第２画像データと前記記憶手
段に記憶された第１画像データとを合成して出力する第
１の出力工程と、前記第１画像データと前記第２画像データの明度或いは
色みを合わせるように、少なくとも前記画像データのい
ずれかを調整する調整工程と、該調整工程の動作に関連した情報を出力する第２の出力
工程とを有することを特徴とする画像処理方法。
【請求項２６】撮像手段により得られた第１画像デー
タを記憶する記憶手段と、前記撮像手段から得られた第２画像データと前記記憶手
段に記憶された第１画像データとを合成して出力する第
１の出力手段と、前記第１画像データと前記第２画像データの明度或いは
色みを合わせるように、少なくとも前記画像データのい
ずれかを調整する調整手段と、該調整手段の動作に関連した情報を出力する第２の出力
手段として機能するプログラムコードを格納した記憶媒
体。
【請求項２７】撮像方向が変更可能な撮像手段を有
し、撮影した映像を表示する画像処理装置であって、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を記憶する記憶手段と、該記憶手段で記憶された画像情報を背景画像として表示
する背景画像表示手段と、前記撮像手段の撮影パラメータを指示する指示手段と、該指示された撮影パラメータによる前記撮像手段の撮像
範囲を、前記背景画像表示手段で表示された背景画像中
の該当する位置に表示する撮像範囲表示手段と、前記指示手段で指示された撮影パラメータに従い撮影し
て得た映像の明るさ或いは色味に、前記背景画像中の該
当する範囲の明るさ或いは色味が追従するように、当該
背景画像を調整する調整手段とを備えることを特徴とす
る画像処理装置。
【請求項２８】前記撮像範囲表示手段で表示される撮
像範囲内に、前記撮像手段で撮影された映像を表示する
ことを特徴とする請求項第２７項に記載の画像処理装
置。
【請求項２９】前記調整手段は、前記指示手段で指示された撮影パラメータに従って、前
記背景画像中の該当する範囲の画像情報を取得する手段
と、取得した背景画像の該当範囲の画素の平均明度或いは色
味と、前記撮影パラメータに従って撮像して得た映像の
平均明度或いは色味との差を算出する算出手段と、該算出手段で算出した差が所定の閾値以上の場合、背景
画像の明るさ或いは色味を撮影した画像とほぼ一致する
ように補正する補正手段とを備えることを特徴とする請
求項第２７項に記載の画像処理装置。
【請求項３０】撮像方向が変更可能な撮像手段を有
し、撮影した映像を表示する画像処理装置の制御方法で
あって、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を所定の記憶手段に格納する格納工程と、該記憶手段に格納された画像情報を背景画像として表示
する背景画像表示工程と、前記撮像手段の撮影パラメータを指示する指示工程と、該指示された撮影パラメータによる前記撮像手段の撮像
範囲を、前記背景画像表示工程で表示された背景画像中
の該当する位置に表示する撮像範囲表示工程と、前記指示工程で指示された撮影パラメータに従い撮影し
て得た映像の明るさ或いは色味に、前記背景画像中の該
当する範囲の明るさ或いは色味が追従するように、当該
背景画像を調整する調整工程とを備えることを特徴とす
る画像処理装置の制御方法。
【請求項３１】コンピュータが読み込み実行すること
で、撮像方向が変更可能な撮像手段を有し、撮影した映
像を表示する画像処理装置として機能するプログラムコ
ードを格納した記憶媒体であって、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を記憶する記憶手段と、該記憶手段で記憶された画像情報を背景画像として表示
する背景画像表示手段と、前記撮像手段の撮影パラメータを指示する指示手段と、該指示された撮影パラメータによる前記撮像手段の撮像
範囲を、前記背景画像表示手段で表示された背景画像中
の該当する位置に表示する撮像範囲表示手段と、前記指示手段で指示された撮影パラメータに従い撮影し
て得た映像の明るさ或いは色味に、前記背景画像中の該
当する範囲の明るさ或いは色味が追従するように、当該
背景画像を調整する調整手段として機能するプログラム
コードを格納した記憶媒体。
【請求項３２】撮影方向が変更可能な撮像手段を有
し、ネットワークに接続されたクライアントに対して撮
影映像の転送サービスを行なう画像処理装置であって、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を記憶する記憶手段と、該記憶手段で記憶された画像情報を背景画像として前記
クライアントの表示画面に表示させるため、転送する第
１の転送手段と、前記クライアントが要求してきた撮影パラメータに基づ
いて前記撮像手段を制御する撮像制御手段と、該撮像制御手段で制御して撮像された映像を前記クライ
アントに転送する第２の転送手段と、前記撮像手段制御手段で制御して撮像された映像の明る
さ或いは色味に、前記背景画像中の該当する範囲の明る
さ或いは色味が追従するように、前記背景画像を調整す
る調整手段とを備え、当該調整手段で背景画像を調整し
た場合に、当該背景画像を前記第１の転送手段で前記ク
ライアントに転送することを特徴とする画像処理装置。
【請求項３３】前記第１の転送手段は、更に、前記背
景画像の撮像日時情報を転送することを特徴とする請求
項第３２項に記載の画像処理装置。
【請求項３４】請求項第３２項に記載の画像処理装置
に前記ネットワークを介して接続するクライアントであ
って、前記撮像手段の撮影パラメータを変更すると共に、変更
された撮影パラメータを前記サーバに通知する通知手段
と、前記第１の転送手段で転送されてきた背景画像を表示す
る背景画像表示手段と、前記第２の転送手段で転送されてきた撮像映像を、当該
背景画像中の該当する領域に表示ずる撮像画像表示手段
とを備えることをクライアント。
【請求項３５】請求項第３３項に記載の画像処理装置
に前記ネットワークを介して接続するクライアントであ
って、前記撮像手段の撮影パラメータを変更すると共に、変更
された撮影パラメータを前記サーバに通知する通知手段
と、前記第１の転送手段で転送されてきた背景画像を表示す
ると共に、当該背景画像の撮影日時情報を表示する背景
画像表示手段と、前記第２の転送手段で転送されてきた撮像映像を、当該
背景画像中の該当する領域に表示ずる撮像画像表示手段
とを備えることをクライアント。
【請求項３６】ネットワークと当該ネットワークに接
続されたクライアント、及び撮影方向が変更可能な撮像
手段を有し、前記ネットワークに接続されたクライアン
トに対して撮影映像の転送サービスを行なうサーバで構
成される画像処理システムであって、前記サーバは、異なる撮影方向でもって撮影して得られた各画像データ
から前記撮像手段によって撮影可能空間範囲の画像情報
に関する情報を記憶する記憶手段と、該記憶手段で記憶された画像情報を背景画像として前記
クライアントの表示画面に表示させるため、転送する第
１の転送手段と、前記クライアントが要求してきた撮影パラメータに基づ
いて前記撮像手段を制御する撮像制御手段と、該撮像制御手段で制御して撮像された映像を前記クライ
アントに転送する第２の転送手段と、前記撮像制御手段で制御して撮像された映像の明るさ或
いは色味に、前記背景画像中の該当する範囲の明るさ或
いは色味が追従するように、前記背景画像を調整する調
整手段とを備え、前記クライアントは、前記撮像手段の撮影パラメータを変更すると共に、変更
された撮影パラメータを前記サーバに通知する通知手段
と、前記第１の転送手段で転送されてきた背景画像を表示す
る背景画像表示手段と、前記第２の転送手段で転送されてきた撮像映像を、当該
背景画像中の該当する領域に表示ずる撮像画像表示手段
とを備えることを特徴とする画像処理システム。