JP2006310975A - ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置 - Google Patents

Abstract

【課題】 ビデオカメラから得られるカメラパラメータの変化に対応した連続的な映像データからパノラマ映像を作成することができるようにする。
【解決手段】 予め条件が設定されたパン、チルト、ズームのカメラパラメータに基づいてビデオカメラを制御し、キャリブレーション部が、この制御に使用したカメラパラメータに基づいて映像データから対応する各フレーム画像を抽出して球面モデルに展開し、球面モデルから推定したビデオカメラの位置に対応する予め保持したキャリブレーションデータに基づいて各フレーム画像の歪み補正を行い、ストリップ処理部が、歪み補正された各フレーム画像から、パノラマ画像を構成するストリップを生成し、モザイク合成部が、各ストリップをつなぎ合わせてパノラマ画像を合成したパノラマ映像データを生成する。
【選択図】 図１

Description

この発明は、ビデオ映像からパノラマ映像を作成するビデオモザイキング装置、この装置の機能を利用したパノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置に関するものである。

従来のビデオモザイキング装置では、連続的に入力された映像データから得られる複数の画像をつなぎあわせて１枚のパノラマ画像を作成する方法が用いられている。この方法において、複数のイメージをつなぎあわせる際に、隣接する２つのイメージの重複部分において高コストとなるオブジェクトを自動検出し、オブジェクトを分割しないようにカットエッジを決定する方式が提案されている（例えば特許文献１参照）。また、入力された映像データを構成する各フレーム中のストリップ（画像片）に対して歪み補正を行った後に、補正されたストリップを組み合わせてパノラマ画像を作成する方式が提案されている（例えば特許文献２、特許文献３参照）。

特開２００４−５４９２８号公報 特開２００１−５１０５８５号公報 特開２００３−９１４４号公報

従来のビデオモザイキング装置は、以上のように映像データを入力してパノラマ画像を作成するように構成されているが、その入力装置として、パン、チルト、ズームが可能なビデオカメラを想定した場合、この種のビデオカメラの出力である映像データからは単なるパノラマ画像しか作成することしかできないという問題があった。

この発明は、上記問題点を解決するためになされたもので、ビデオカメラから得られるカメラパラメータの変化に対応した連続的な映像データからパノラマ映像を作成することができるビデオモザイキング装置、この装置の機能を利用したパノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置を得ることを目的とする。

この発明に係るビデオモザイキング装置は、予め条件が設定されたパン、チルト、ズームのカメラパラメータに基づいてビデオカメラを制御するカメラ制御部と、ビデオカメラで撮像した映像データを連続して入力する映像入力部と、カメラ制御部から得られる、ビデオカメラの制御に使用した際のカメラパラメータのそれぞれに基づいて連続して入力された映像データから対応する各フレーム画像を抽出して球面モデルに展開し、この展開された球面モデルからビデオカメラの位置を推定し、この推定位置に対応する予め保持したキャリブレーションデータに基づいて各フレーム画像の歪み補正を行うキャリブレーション部と、ビデオカメラの推定位置から見た歪み補正された各フレーム画像から、パノラマ画像を構成する部分を切り出してそれぞれのストリップを生成するストリップ処理部と、生成された各ストリップをつなぎ合わせてパノラマ画像に合成したパノラマ映像データを生成するモザイク合成部と、生成されたパノラマ映像データにパノラマ映像表示装置で表示するための処理を行うパノラマ映像出力部を備えたものである。

この発明によれば、入力装置としてパン、チルト、ズーム操作が可能なビデオカメラを対象とした場合において、ズーム値を固定し、連続的にパン操作(チルト値固定)を行ったり、または連続的にチルト操作(パン値固定)を行って得られた連続的な映像データに対して、連続的にモザイキング処理することによってパノラマ映像を作成することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるビデオモザイキング装置の構成を示すブロック図である。
図において、ビデオカメラ１０は外部からパン、チルト、ズームなどの制御が可能であり、撮像した際の映像データの各フレームに対するカメラパラメータ（パン、チルト、ズーム値）が取得可能なタイプである。ビデオカメラ１０からは制御に応じた映像出力が得られるが、カメラの形式によって、映像出力はアナログの複合映像信号の場合とそれをデジタル化した映像データの場合がある。
ビデオモザイキング装置２０は、カメラ制御部２１、映像入力部２２、キャリブレーション部２３、ストリップ処理部２４、モザイク合成部２５およびパノラマ映像出力部２６を備えている。カメラ制御部２１は、予め条件が設定されたカメラパラメータに基づいてビデオカメラ１０を制御する手段である。カメラ制御部２１で保持するカメラパラメータの例を図２に示す。図２に示すように、この発明では、カメラパラメータは、基本的にズーム値を固定とし、パラメータＡに示すように、チルト値を固定としてパン値を可変とするパラメータと、パラメータＢに示すように、パン値を固定としてチルト値を可変とするパラメータを用いる。パラメータＡを用いた場合、ビデオカメラ１０は左右に制御され横長のパノラマ映像を作成することができる。また、パラメータＢを用いた場合、ビデオカメラ１０は上下に制御され縦長のパノラマ映像を作成することができる。

映像入力部２２には、ビデオカメラ１０からの映像出力が入力される。映像入力部２２は、入力された信号がアナログの複合映像信号の場合には、Ａ／Ｄ変換を行い映像データにする機能を持つが、説明の便宜上ビデオカメラ１０から映像出力を総括的に映像データとして扱うものとする。キャリブレーション部２３は、カメラ制御部２１から得られるビデオカメラ１０の制御に使用した際のカメラパラメータに基づいて、連続して入力された映像データから対応する各フレーム画像を抽出して球面モデルに展開し、展開された球面モデルからビデオカメラ１０の位置を推定し、この推定位置に対応する予め保持したキャリブレーションデータに基づいて各フレーム画像の歪み補正を行う手段である。そのため、キャリブレーション部２３は、ビデオカメラの撮像位置ごとのフレーム画像に対するキャリブレーションデータを予め保持している。

ストリップ処理部２４は、キャリブレーション部２３から入力される歪み補正された各フレーム画像から、ビデオカメラ１０の推定位置から見たパノラマ画像を構成に必要な部分を切り出してそれぞれのストリップを生成する手段である。モザイク合成部２５は、ストリップ処理部２４で切り出されたストリップをつなぎ合わせてパノラマ画像に合成したパノラマ映像データを生成する手段である。パノラマ映像出力部２６は、生成されたパノラマ映像データにパノラマ映像表示装置３０で表示するための処理を行い出力する手段である。

図４はビデオモザイキング装置２０においてビデオモザイキング処理を行うための準備処理を示すフローチャートである。
ビデオモザイキング処理の準備段階において、ビデオカメラ１０の歪み補正に必要なキャリブレーションデータの作成を行い、その結果をキャリブレーション部２３に保持する（ステップＳＴ１）。また、パノラマ映像はビデオカメラ１０のズーム値を固定にして作成するため、ユーザ操作等によりその値を決め、カメラ制御部２１で予め保持する（ステップＳＴ２）。次に、ユーザ操作等によりパノラマ映像の位置、大きさを決め、その情報に基づいてビデオカメラ１０のパン、チルト値の範囲を決め、その値をカメラ制御部２１で保持する（ステップＳＴ３）。最後に、ビデオカメラ１０の位置に対する各フレーム画像のストリップの位置、大きさを決め、その値をストリップ処理部２４で保持する（ステップＳＴ４）。

次に、ビデオモザイキング装置の動作について説明する。図５はビデオモザイキング処理の手順を示すフローチャートである。
先ず、カメラ制御部２１にて設定されたパン、チルト値の範囲内でビデオカメラ１０を連続操作して撮像する（ステップＳＴ１０１）。例えば、チルト値固定でパン操作のみを行う場合には、ビデオカメラ１０を左右に連続操作し、一方、パン値固定でチルト操作のみを行う場合には、ビデオカメラ１０を上下に連続操作することになる。このようなカメラパラメータに応じた連続操作によってビデオカメラ１０で撮像した連続した映像データ（すなわち、変化させたカメラパラメータごとに得られる各フレーム画像が繋がったデータ）が映像入力部２２に入力される（ステップＳＴ１０２）。映像入力部２２では、この入力された連続する映像データをキャリブレーション部２３に送る。

キャリブレーション部２３では、映像入力部２２から受け取った映像データを構成する各フレーム画像に対し、カメラ制御部２１からのカメラパラメータと、キャリブレーション部２３で予め保持しているキャリブレーションデータに基づいて歪み補正処理を行う（ステップＳＴ１０３）。この場合、まずビデオカメラ１０の連続操作の制御で使用した際の変化させた、カメラ制御部２１から得られた各カメラパラメータを用いて、連続して入力された映像データから対応するフレーム画像を順次抽出して球面モデルに展開する。次に、この展開された球面モデルからビデオカメラ１０の撮像位置を推定する。図３は球面モデルに展開されたフレーム画像に対するビデオカメラ１０の推定位置を表す模式図を示す。キャリブレーション部２３は、この推定した撮像位置から対応するキャリブレーションデータを選択し、そのキャリブレーションデータに基づいて各フレーム画像の歪み補正を行う。図３において、パラメータｒは球面モデルにおける球面の半径を示す。またパラメータａ、ｂにより、対応するフレーム画像の中心位置を指定することができる。

ストリップ処理部２４では、キャリブレーション部２３から入力された歪み補正後の各フレーム画像から、ビデオカメラ１０の推定位置に基づいてパノラマ画像を構成するために必要な部分のストリップ（切り出し）処理を行ってストリップを作成する（ステップＳＴ１０４）。次に、モザイク合成部２５では、ストリップ処理部２４で作成されたストリップをつなぎ合わせてパノラマ画像を作成し、それをパノラマ映像データとして出力する（ステップＳＴ１０５）。このパノラマ画像の作成処理は、連続的に実施され、ビデオカメラ１０のパン（またはチルト）の周期単位にパノラマ画像が１枚作成される。この処理を連続的に行うことにより、パノラマ映像データにすることができる。作成されたパノラマ映像データはパノラマ映像出力部２６において表示するために必要な処理がなされ後、パノラマ映像装置３０に出力されてパノラマ映像として表示される（ステップＳＴ１０６）。以上の処理を連続的に行うことによって、パノラマ映像を連続的に表示することができる。

以上のように、実施の形態１によれば、パン、チルト、ズームが可能なビデオカメラを制御して連続的に映像データを入力し、映像を構成する各フレーム画像を処理してストリップを生成し、これらストリップをつなぎ合わせることによりパノラマ映像を作成するようにしたので、パン、チルト、ズームに対応した各種パノラマ映像を得ることができる効果がある。

実施の形態２．
図６はこの発明の実施の形態２によるパノラマ映像送受信システムの構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。
この実施の形態２のパノラマ映像送受信システムは、実施の形態１で述べたビデオモザイキング装置を二つに分け、パノラマ映像作成送信装置２０Ｔと、当該パノラマ映像作成送信装置２０Ｔで作成したパノラマ映像データを、ネットワーク４０を介して受信して表示処理するパノラマ映像受信装置２０Ｒで構成している。そのため、パノラマ映像作成送信装置２０Ｔはカメラ制御部２１からモザイク合成部２５までの構成部分と新たにパノラマ映像送信部２５１を備え、パノラマ映像受信装置２０Ｒはパノラマ映像出力部２６と新たにパノラマ映像受信部２６２を備えている。

上記実施の形態１で説明したように、モザイク合成部２５で作成されたパノラマ映像は、パノラマ映像送信部２５１において、次のようにネットワーク４０を介して送信できる形式に変換されてから配信される。パノラマ映像を構成するパノラマ画像は、非圧縮の状態ではデータ量が大きく、ネットワークによる配信には適さないため、まずＪＰＥＧ、ＧＩＦ、ＴＩＦＦなどの圧縮形式を用いて圧縮処理される。パノラマ画像を圧縮した後、ネットワーク４０の種別にあわせてネットワーク配信できる形式に形式変換を行う。例えば、ＩＰネットワークを介してパノラマ映像をリアルタイムに配信する場合は、ＲＴＰ（Real-time Transport Protocol）を使用する。

以上のように変換処理が施されネットワーク４０を介して配信されたパノラマ映像データは、パノラマ映像受信装置２０Ｒのパノラマ映像受信部２６２で受信され、圧縮されたパノラマ画像は伸張処理される。パノラマ映像出力部２６は、伸張処理されたパノラマ映像データにパノラマ映像表示装置３０で表示するための処理を行う。

以上のように、実施の形態２によれば、実施の形態１で述べたビデオモザイキング装置を、パノラマ映像作成送信装置２０Ｔと、当該パノラマ映像作成送信装置２０Ｔで作成したパノラマ映像データをネットワーク４０を介して受信して表示処理するパノラマ映像受信装置２０Ｒの二つに分けてパノラマ映像送受信システムを構成しているので、広範囲を遠隔監視する監視システムとして利用でき、また、例えばインターネットの一般ユーザのパソコンにパノラマ映像受信装置２０Ｒを組み込むことで、配信されたパノラマ映像を楽しむことが可能となる。

実施の形態３．
図７はこの発明の実施の形態３によるパノラマ映像送受信システムの構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、原則としてその説明は省略する。
この実施の形態３パノラマ映像送受信システムは、ビデオモザイキング装置を実施の形態１で述べたビデオモザイキング装置を二つに分け、パノラマ映像用ストリップ作成送信装置２０１Ｔと、当該パノラマ映像用ストリップ作成送信装置２０１Ｔで作成したストリップデータを、ネットワーク４０を介して受信してパノラマ映像信号を生成するパノラマ映像用ストリップ受信装置２０１Ｒで構成されている。そのため、パノラマ映像用ストリップ作成送信装置２０１Ｔはカメラ制御部２１からストリップ処理部２４までの構成部分と新たにストリップ送信部２４１を備え、パノラマ映像用ストリップ受信装置２０１Ｒはモザイク合成部２５、パノラマ映像出力部２６と新たにストリップ受信部２５２を備えている。

上記実施の形態１で説明したように、ストリップ処理部２４で生成されたストリップは、ストリップ送信部２４１において、次のようにネットワーク４０を介して送信できる形式に変換されてから配信される。ストリップは、非圧縮の状態ではデータ量が大きく、ネットワークでの配信には適さないため、まずＪＰＥＧ、ＧＩＦ、ＴＩＦＦなどの圧縮形式を用いて圧縮処理される。ストリップを圧縮した後、ネットワーク４０の種別にあわせてネットワーク配信できる形式に形式変換を行う。例えば、ＩＰネットワークを介してストリップをリアルタイムに配信する場合は、ＲＴＰ（Real-time Transport Protocol）を使用する。

以上のように変換処理が施されネットワーク４０を介して配信されたストリップデータは、パノラマ映像用ストリップ受信装置２０１Ｒで受信され、圧縮されたストリップは伸張処理される。モザイク合成部２５では、伸張処理されたストリップをつなぎ合わせてパノラマ画像を作成し、連続させてパノラマ映像データにする。パノラマ映像出力部２６は、作成されたパノラマ映像データに対して表示するための処理を行う。

以上のように、実施の形態３によれば、実施の形態１で述べたビデオモザイキング装置を、パノラマ映像用ストリップ作成送信装置２０１Ｔと、当該パノラマ映像用ストリップ作成送信装置２０１Ｔで作成したストリップデータをネットワーク４０を介して受信してパノラマ映像信号を生成するパノラマ映像用ストリップ受信装置２０１Ｒの二つに分けてパノラマ映像送受信システムを構成しているので、広範囲を遠隔監視する監視システムとして利用でき、また、例えばインターネットの一般ユーザのパソコンにパノラマ映像用ストリップ受信装置２０１Ｒを組み込むことで、配信されたストリップデータからパノラマ映像を生成して楽しむことが可能となる。

この発明の実施の形態１によるビデオモザイキング装置の構成を示すブロック図である。 この発明の実施の形態１に係るカメラパラメータの例を示す説明図である。 この発明の実施の形態１に係る球面モデルに展開されたフレーム画像に対するカメラの推定位置を示す模式図である。 この発明の実施の形態１に係るビデオモザイキング処理を行うための準備処理について示すフローチャートである。 この発明の実施の形態１に係るビデオモザイキング処理の手順を示すフローチャートである。 この発明の実施の形態２によるパノラマ映像送受信システムの構成を示すブロック図である。 この発明の実施の形態３によるパノラマ映像送受信システムの構成を示すブロック図である。

符号の説明

１０ ビデオカメラ、２０ ビデオモザイキング装置、２０Ｔ パノラマ映像作成送信装置、２０Ｒ パノラマ映像受信装置、２１ カメラ制御部、２２ 映像入力部、２３ キャリブレーション部、２４ ストリップ処理部、２５ モザイク合成部、２６ パノラマ映像出力部、３０ パノラマ映像表示装置、４０ ネットワーク、２０１Ｔ パノラマ映像用ストリップ作成送信装置、２０１Ｒ パノラマ映像用ストリップ受信装置、２４１ ストリップ送信部、２５１ パノラマ映像送信部、２５２ ストリップ受信部、２６２ パノラマ映像受信部。

Claims (13)

1. 予め条件が設定されたパン、チルト、ズームのカメラパラメータに基づいてビデオカメラを制御するカメラ制御部と、
   前記ビデオカメラで撮像した映像データを連続して入力する映像入力部と、
   前記カメラ制御部から得られる前記ビデオカメラの制御に使用した際のカメラパラメータのそれぞれに基づいて前記連続して入力された映像データから対応する各フレーム画像を抽出して球面モデルに展開し、この展開された球面モデルから前記ビデオカメラの位置を推定し、この推定位置に対応する予め保持したキャリブレーションデータに基づいて各フレーム画像の歪み補正を行うキャリブレーション部と、
   前記ビデオカメラの推定位置から見た前記歪み補正された各フレーム画像から、パノラマ画像を構成する部分を切り出してそれぞれのストリップを生成するストリップ処理部と、
   前記生成された各ストリップをつなぎ合わせてパノラマ画像に合成したパノラマ映像データを生成するモザイク合成部と、
   前記生成されたパノラマ映像データにパノラマ映像表示装置で表示するための処理を行うパノラマ映像出力部を備えたことを特徴とするビデオモザイキング装置。
2. ビデオカメラを制御するためのカメラパラメータは、ズーム値を固定とし、チルト値を固定としてパン値を可変としたことを特徴とすることを特徴とする請求項１記載のビデオモザイキング装置。
3. ビデオカメラを制御するためのカメラパラメータは、ズーム値を固定とし、パン値を固定としてチルト値を可変としたことを特徴とすることを特徴とする請求項１記載のビデオモザイキング装置。
4. パノラマ映像作成送信装置と、当該パノラマ映像作成送信装置で作成したパノラマ映像データをネットワークを介して受信して表示処理するパノラマ映像受信装置とからなるパノラマ映像送受信システムであって、
   前記パノラマ映像作成送信装置は、
   予め条件が設定されたパン、チルト、ズームのカメラパラメータに基づいてビデオカメラを制御するカメラ制御部と、
   前記ビデオカメラで撮像した映像データを連続して入力する映像入力部と、
   前記カメラ制御部から得られる前記ビデオカメラの制御に使用した際のカメラパラメータのそれぞれに基づいて前記連続して入力された映像データから対応する各フレーム画像を抽出して球面モデルに展開し、この展開された球面モデルから前記ビデオカメラの位置を推定し、この推定位置に対応する予め保持したキャリブレーションデータに基づいて各フレーム画像の歪み補正を行うキャリブレーション部と、
   前記ビデオカメラの推定位置から見た前記歪み補正された各フレーム画像から、パノラマ画像を構成する部分を切り出してそれぞれのストリップを生成するストリップ処理部と、
   前記生成されたストリップをつなぎ合わせてパノラマ画像に合成したパノラマ映像データを生成するモザイク合成部と、
   前記生成されたパノラマ映像データを所定の圧縮形式を用いて圧縮処理した後、ネットワークを介して送信するパノラマ映像送信部を備え、
   前記パノラマ映像受信装置は、
   前記圧縮処理されたパノラマ映像データをネットワークを介して受信し伸長処理するパノラマ映像受信部と、
   前記伸長処理されたパノラマ映像データにパノラマ映像表示装置で表示するための処理を行うパノラマ映像出力部を備えたことを特徴とするパノラマ映像送受信システム。
5. ビデオカメラを制御するためのカメラパラメータは、ズーム値を固定とし、チルト値を固定としてパン値を可変としたことを特徴とすることを特徴とする請求項４記載のパノラマ映像送受信システム。
6. ビデオカメラを制御するためのカメラパラメータは、ズーム値を固定とし、パン値を固定としてチルト値を可変としたことを特徴とすることを特徴とする請求項４記載のパノラマ映像送受信システム。
7. 請求項４から請求項６のうちのいずれか１項記載のパノラマ映像送受信システムのパノラマ映像作成送信装置。
8. 請求項４から請求項６のうちのいずれか１項記載のパノラマ映像送受信システムのパノラマ映像受信装置。
9. パノラマ映像用ストリップ作成送信装置と、当該パノラマ映像用ストリップ作成送信装置で作成したストリップデータをネットワークを介して受信してパノラマ映像信号を生成するパノラマ映像用ストリップ受信装置とからなるパノラマ映像送受信システムであって、
   前記パノラマ映像用ストリップ作成送信装置は、
   予め条件が設定されたパン、チルト、ズームのカメラパラメータに基づいてビデオカメラを制御するカメラ制御部と、
   前記ビデオカメラで撮像した映像データを連続して入力する映像入力部と、
   前記カメラ制御部から得られる前記ビデオカメラの制御に使用した際のカメラパラメータのそれぞれに基づいて前記連続して入力された映像データから対応する各フレーム画像を抽出して球面モデルに展開し、この展開された球面モデルから前記ビデオカメラの位置を推定し、この推定位置に対応する予め保持したキャリブレーションデータに基づいて各フレーム画像の歪み補正を行うキャリブレーション部と、
   前記ビデオカメラの推定位置から見た前記歪み補正された各フレーム画像から、パノラマ画像を構成する部分を切り出してそれぞれのストリップを生成するストリップ処理部と、
   前記生成されたストリップのデータを所定の圧縮形式を用いて圧縮処理した後、ネットワークを介して送信するストリップ送信部を備え、
   前記パノラマ映像用ストリップ受信装置は、
   前記圧縮処理されたストリップのデータをネットワークを介して受信し伸長処理するストリップ受信部と、
   前記伸長処理されたデータの各ストリップをつなぎ合わせてパノラマ画像に合成したパノラマ映像データを生成するモザイク合成部と、
   前記生成されたパノラマ映像データにパノラマ映像表示装置で表示するための処理を行うパノラマ映像出力部を備えたことを特徴とするパノラマ映像送受信システム。
10. ビデオカメラを制御するためのカメラパラメータは、ズーム値を固定とし、チルト値を固定としてパン値を可変としたことを特徴とすることを特徴とする請求項９記載のパノラマ映像送受信システム。
11. ビデオカメラを制御するためのカメラパラメータは、ズーム値を固定とし、パン値を固定としてチルト値を可変としたことを特徴とすることを特徴とする請求項９記載のパノラマ映像送受信システム。
12. 請求項９から請求項１１のうちのいずれか１項に記載のパノラマ映像送受信システムのパノラマ映像用ストリップ作成送信装置。
13. 請求項９から請求項１１のうちのいずれか１項記載のパノラマ映像送受信システムのパノラマ映像用ストリップ受信装置。
    

Images