JP2004007283A - 映像配信システム、プログラム及び記録媒体 - Google Patents
映像配信システム、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004007283A JP2004007283A JP2002160646A JP2002160646A JP2004007283A JP 2004007283 A JP2004007283 A JP 2004007283A JP 2002160646 A JP2002160646 A JP 2002160646A JP 2002160646 A JP2002160646 A JP 2002160646A JP 2004007283 A JP2004007283 A JP 2004007283A
- Authority
- JP
- Japan
- Prior art keywords
- video
- wide
- unit
- angle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することを可能とする映像配信システムを提供する。
【解決手段】広角の映像を取得する第一の撮像手段と、複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有することを特徴とする映像配信システムにより構成する。
【選択図】 図４
【解決手段】広角の映像を取得する第一の撮像手段と、複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有することを特徴とする映像配信システムにより構成する。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は、広角の視野を有する撮像手段を用いて取得された広範囲のシーンの映像を配信するシステムに関するものである。具体的には監視システム、遠隔会議システム、遠隔教育システム等の用途に使用される。
【０００２】
【従来の技術】
電気通信技術の発展により、あるシーンを撮影した映像を遠隔地に転送し、表示するための遠隔監視システムやテレビ会議システムが、多くの場面で活用されるようになった。かかるシステムの利便性をより向上させるために、通常のカメラでは撮影不可能な広範囲のシーンを撮影できるカメラ装置及び必要なシーンのみを切り出した部分映像を表示するためのシステムが数多く提案されている。
【０００３】
例えば、特開平５−１２２６８９号公報において、マイクから入力される音声を検出して話者を判定し、該判定結果に基づいてカメラ制御部においてカメラを自動制御し、話者を捉えるというカメラ装置及びテレビ会議システムが提案されている。また、集約的視野を形成するよう複数のカメラを配列させたカメラ装置がある。
【０００４】
しかし、特開平５−１２２６８９号公報に開示された発明では、話者を捉えるためにカメラを制御するのに時間がかかる、またカメラを回動させる駆動ユニットが壊れやすいという問題点がある。また、上記２つの従来技術においては、シーン全体を記録した映像を取得できないという問題点がある。本出願人は被験者に対し、（１）シーンの注目部分を映した部分映像のみを表示する、（２）シーンの全体を映した映像のみを表示する、（３） （１）及び（２）の映像を同時に表示する、という３種類の映像表示形態を提示し、どれが最も好ましいかを評価する試験を行った。その結果、圧倒的に（３）の表示形態が望ましく、次いで（２）の表示形態が望ましいという評価結果を得た。このように、かかるシステムにおいては、シーン全体が含まれた映像を転送することの重要性が認識されているが、上記従来技術はこの問題点を解消するものではなかった。
【０００５】
一方、シーン全体を記録した１枚の映像を取得するために、様々な広角撮影装置が提案されている。例えば、特許番号第２９３９０８７号公報及び特許番号第３０５４１４６号公報において、双曲線ドーム型ミラーによる３６０度パノラマ撮影カメラに関する発明が公開されている。これらの公報によると、ドーム型のミラーに反射させた像を撮影することで、魚眼カメラに比較して側方の解像度が高い３６０度 （半球）分の情景が撮影できる。このカメラを机の上や天井などに設置すれば、室内の全体を観察することができるため監視用途などに適している。撮影された画像は、図７のように円形状に歪んだ形となるが、特許番号第３０５４１４６号公報にはこれを通常のカメラで撮影したように変形する手段が記載されている。これらの公報によると、シーン全体を記録した画像のみならず、切り出し処理を適用することにより部分映像をも生成することが可能である。しかし、これらの公報に記載された広角撮影装置の場合、全方位の映像を１枚の円形状の映像に取得することにより、図７の黒塗り部分のように何も映されない無駄な領域が生じ、その結果得られる部分映像の画質が不十分となる。
【０００６】
このほか、特開平２００１−９４８５７号公報において、カメラアレイにより同期的に捕捉された１組の映像を共通座標系にワープさせることにより、継ぎ目のない１つの広角画像を生成するという発明が公開されている。該公報によると、通常のカメラで捉えた映像を１枚に結合することで、画面上全体にわたって高い解像度を有する広角画像を取得できる。しかし、複数の映像信号を実時間でワープさせるのに膨大な処理コストが必要となる、カメラアレイが事前に校正されている必要があるなどの問題点がある。
【０００７】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、その第１の目的は、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することを可能とならしめる映像配信システム並びに該システムの各部の処理を実行させるためのプログラム及び記録媒体を提供しようとするものである。
【０００８】
また、本発明の第２の目的は、閲覧者に対し、高い解像度を持つ所望のシーンの映像を一層容易に選択可能とならしめる映像配信システムを提供しようとするものである。
【０００９】
また、本発明の第３の目的は、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・配信することを可能とならしめる映像配信システムを提供しようとするものである。
【００１０】
また、本発明の第４の目的は、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することを可能とならしめる映像配信システムを提供しようとするものである。
また、本発明の第５の目的は、更に所望のシーンの映像を高い解像度で漏れなく取得・表示することを可能とならしめる映像配信システムを提供しようとするものである。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、映像配信システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有する。
【００１２】
請求項１の発明により、広角の映像を取得する第１撮像部と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第２撮像部と、前記広角の映像及び前記第２撮像部により取得された映像の少なくとも一つを配信する配信部とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第１の目的が達成される。
【００１３】
請求項２に記載の発明は、映像配信システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記広角の映像と前記第二の撮像手段により取得された各々の映像との対応関係を特定する特定手段と、
前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有する。
【００１４】
請求項３に記載の発明は、映像配信システムであって、前記第二の撮像手段を構成する複数のカメラは各々識別子が付されており、
前記第一の撮像手段は、前記複数のカメラに付された識別子を撮影範囲に含み、
前記特定手段は、前記広角の映像において含まれる識別子の撮影位置に基づき、前記対応関係を特定するものであることを特徴とする。
【００１５】
請求項４に記載の発明は、映像配信システムであって、特定手段は、前記広角の映像と前記第二の撮像手段により取得された各々の映像との類似度に基づき、前記対応関係を特定するものである。
【００１６】
請求項２、３、４に記載の発明により、第１撮像部により取得された広角の映像と、第２撮像部により取得された各々の部分映像との対応関係を特定する特定部を備えることにより、閲覧者に対して、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能となる。すなわち、第２の目的が達成される。
【００１７】
請求項５に記載の発明は、映像配信システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記第二の撮像手段により取得された複数の映像より所定の映像を選択する映像選択手段と、
前記映像選択手段により選択された所定の映像及び前記広角の映像を配信する配信手段とを有する。
【００１８】
請求項６に記載の発明は、映像配信システムであって、更に、音声を入力する複数のマイクロフォンと
前記複数のマイクロフォンにより入力された音声に基づいて音源の位置又は方向を検出する音源検出手段とを有し、
前記映像選択手段は、前記音源検出手段により出力された音源の位置若しくは方向に基づいて、前記所定の映像を選択するものである。
【００１９】
請求項７に記載の発明は、映像配信システムであって、更に、前記広角の映像又は前記第二の撮像手段により取得された複数の映像における被写体の動きを検出する動き検出手段を有し、
前記映像選択手段は、前記動き検出手段により出力された被写体の動きに基づいて、前記所定の映像を選択するものである。
【００２０】
請求項５、６、７に記載の発明により、第２撮像部により取得される複数の映像より、所定の映像を選択する映像選択部を備えることにより、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第３の目的が達成される。
【００２１】
請求項８に記載の発明は、コンピュータに、映像配信システムの各手段に係る処理を実行させることを特徴とするプログラムである。
【００２２】
更に、広角の映像を変形する変形部を備えることにより、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することが可能となる。すなわち、第４の目的が達成される。
【００２３】
また、第２撮像部により取得される各々の映像が、少なくとも一の他の映像と一部の共通する領域を含むことにより、更に所望のシーンの映像を高い解像度で漏れなく取得・表示することが可能となる。すなわち、第５の目的が達成される。
【００２４】
請求項８と９に記載の発明により、広角の映像を取得する第１撮像部と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第２撮像部と、前記広角の映像及び前記第２撮像部により取得された映像の少なくとも一つを配信する配信部とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第１の目的が達成される。
【００２５】
【発明の実施の形態】
まず、映像配信システムがどのように使用されるかの使用例について簡単に概説し、次に、映像配信システムの実施の形態を具体的に説明する。各実施の形態においては、それを構成する要素及びその動作を説明し、最後に処理の流れについて説明する。
【００２６】
先ず最初に映像配信システムの使用例について説明する。
【００２７】
図１は、本発明を会議場面に設置した使用例を概説する説明図である。映像配信システムは、広角の映像を取得する広角カメラ２００と、通常の画角を持つ複数のカメラ４０１−１から４０１−４より構成されたカメラアレイ４００と、会議中の音声を取得するマイクロフォン５０１と、広角カメラ２００及びカメラアレイ４００で取得された映像データ並びにマイクロフォン５０１により取得された音声データを取り込み、配信するためのサーバ３００とを有する。
【００２８】
図１に示したように、広角カメラ２００は、テーブル１に設置され、会議の参加者（話者）２−１から２−４のいる方向、例えば水平面を見渡す全周囲の画像を一括して撮像する。また、カメラアレイ４００を構成する各々のカメラ４０１−１から４０１−４は、例えばそれぞれ会議の参加者の前面に置かれ、各参加者の姿を撮影する。これらのカメラ４０１−１から４０１−４により取得される映像を、以後「部分映像」と呼ぶ。また、サーバ３００はキャビネット３に格納され、広角カメラ２００及びカメラアレイ４００からの映像データ並びにマイクロフォン５０１により取得された音声データを取得する。このほかサーバ３００は、クライアントからの要求に応じて、電気通信回線を介して、クライアントが持つＰＣ （Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＰＤＡ （Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの端末に対し、取得された上記映像データを配信する（なお、図１では電気通信回線及びクライアントが持つ端末を省略している）。図２は、クライアントが持つＰＣの映像表示端末における表示画面を示した図である。図２に示すように、カメラアレイ４００により取得された少なくとも一の部分映像６０１及び広角カメラにより取得された映像６０２が、表示用ウィンドウ６００の上に表示される。ここで、映像選択ボタン６０３を操作すると、サーバ３００に対して配信要求する部分映像の選択情報が送信され、サーバ３００を介して送られるカメラアレイ４００からの映像６０１が切り替えられる。
【００２９】
一方、図３は、本発明を美術館などの会場の様子を映像として配信するシステムに適用した例を概説する説明図である。映像配信システム１００は、広角の映像を取得する広角カメラ２００と、通常の画角を持つ少なくとも１つのカメラ４０１−１、４０１−２より構成されたカメラアレイ４００と、広角カメラ２００及びカメラアレイ４００で取得された映像データを取り込むためのサーバ３００とを有する（なお、図３ではサーバ３００を省略している）。
【００３０】
図３示したように、広角カメラ２００は、天井に設置され、会場全体を見渡す全周囲の画像を一括して撮像する。また、カメラアレイ４００を構成する各々のカメラ４０１−１、４０１−２は、会場内の所々に設置され、例えば館内に展示された各々の絵画の前面を映すために、天井から吊るされた状態で固定される。また、サーバ３００は会場内の人目につかない場所に設置され、広角カメラ２００及びカメラアレイ４００からの映像データを取得する。このほかサーバ３００は、クライアントからの要求に応じて、電気通信回線を介して、クライアントが持つ端末に対し、取得された上記映像データを配信する（なお、図には電気通信回線及びクライアントが持つ端末を省略している）。
【００３１】
以下の各実施の形態では、本発明の映像配信システムを、会議の撮影及びその映像の配信に適用した場合について説明する。
【００３２】
１．実施の形態１
先ず最初に、本発明の実施の形態１について説明する。
【００３３】
１．１ 構成
図４は、本発明の実施の形態１に係る映像配信システムの構成を示す図である。サーバ３００には、ＵＳＢハブ３２０及びバス３１０を介して広角カメラ２００と、カメラアレイ４００とが接続され、広角の映像データ及びカメラアレイ４００により取得された複数の部分映像データが取得される。サーバ３００により取得された映像データは、インターネット３３０を介して配信され、該インターネットに接続されたクライアントＰＣにおいて表示される。
【００３４】
次に、上記各部の構成について説明する。
【００３５】
１．１．１ 広角カメラ
図５は、実施の形態１に係る、第一の撮像手段としての、広角カメラ２００の構成を示す図である。この第一の撮像手段としての広角カメラ２００は、所定形状の曲面を有するミラー２１１と、レンズ２１２と、絞り２１３と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子２１４と、上記撮像素子２１４のタイミング制御、並びに上記撮像素子２１４により得られた映像信号に対してアナログ−デジタル変換等のデジタル化処理を行う駆動部２１５と、前記駆動部２１５により得られたデジタル信号に対してエッジ強調やγ補正等の前処理を行う前処理回路２１６と、アイリスを制御するために絞り２１３を駆動するモータ駆動部２１７とを備えている。
【００３６】
ミラー２１１は、光学系に入射する光を反射させることにより広角の撮影を可能とするためのものであり、ここでは所定形状の曲面有するミラーとして、双曲面ミラーを使用する。図６は、本実施の形態の双曲面ミラー２１１を用いた場合の光路を説明する図である。また、図７は、本実施の形態の双曲面ミラー２１１により撮像素子２１４の表面に結像される広角画像の様子を示した図である。図７に示すように、双曲面ミラー２１１から反射されて撮像素子２１４に取り込まれる画像はドーナツ形状となっている（このドーナッツ形状の映像を以後「ドーナッツ映像」と呼ぶ）。該ドーナッツ映像は、前記撮像素子２１４において結像され、さらに前記駆動部２１５においてデジタル化され、前処理回路２１６を介して後述するサーバ３００に送出される。なお、図６の中の中心部は、撮像素子２１４の方向を映し出し、これは重要でない画像情報である。したがって、双曲面ミラー２１１の頭頂部２１８を黒く塗りつぶして、黒色情報としてもよい。なお、使用の態様によっては、頭頂部２１８に基準線を描画し、広角カメラ２００の立ち上げの際、モータ駆動部２１７を駆動することにより、ピント調整などの初期設定に利用してもよい。
【００３７】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
１．１．２ カメラアレイ
カメラアレイ４００は少なくとも１つのカメラより構成され、各々のカメラは、前記広角カメラ２００の撮影範囲の一部のシーンを、より高い解像度で撮影する。カメラアレイ４００を構成するカメラ４０１は、図１及び図３のようにバラバラに配置されても、図８のように各々のカメラ４０１−１から４０１−３を筐体４０２に固定して配置したものであっても構わない。カメラ４０１に使用される撮像素子は、ＣＣＤ、ＣＭＯＳ （Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型など様々な種類のものを使用することができる。該撮像素子において結像された映像信号は、カメラ内部でデジタル化された後、後述するサーバ３００に送出される。
【００３８】
上記の構成を有するカメラ４０１を少なくとも１つ用意することにより、安価かつ簡素な構成で部分映像を取得することができる。
【００３９】
１．１．３ サーバ
図９は、本実施の形態におけるサーバ３００の構成例を示した図である。すなわち、映像配信システム１００における各種の制御及び処理を行うＣＰＵ （Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） ３０１と、ＳＤＲＡＭ （Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） ３０２と、ＨＤＤ （Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ） ３０３と、マウス３１１等のポインティングデバイス、キーボード３１２等の各種入力インターフェース（以下Ｉ／Ｆと略す）３０４と、電源３０５と、ＣＲＴ （Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイとを接続するための表示Ｉ／Ｆ ３０６と、前記広角カメラ２００や前記カメラアレイ４００などの外部機器を接続するための外部Ｉ／Ｆ ３０７とを、バス３１３を介して接続することにより構成される。
【００４０】
次に、サーバ３００の各構成部について説明する。ＣＰＵ ３０１は、ＨＤＤ ３０３に格納された所定のプログラムにしたがって、広角カメラ２００及びカメラアレイ４００からの映像取得、取得された映像の配信などの各種処理及び制御を行う。ＳＤＲＡＭ ３０２は、ＣＰＵ ３０１の作業領域として利用されるとともに、ＨＤＤ ３０３に格納された各処理プログラムや、Ｗｉｎｄｏｗｓ （登録商標） ＮＴＳｅｒｖｅｒ （米国Ｍｉｃｒｏｓｏｆｔ社の登録商標）などのＯＳ （Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の記憶領域として利用される。
【００４１】
外部Ｉ／Ｆ３０７の一例として各種Ｉ／Ｆボード、ＵＳＢ （Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ １３９４、或いはＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ等の無線Ｉ／Ｆが挙げられる。前記広角の映像データ及び前記カメラアレイ４００により取得される複数の部分映像データは、前記広角カメラ２００及びカメラアレイ４００をＵＳＢ２．０のような高速シリアルインターフェース経由でサーバ３００に接続することにより、同期的に取得することが可能である。
【００４２】
１．２動作
図１０は、図４に示された本実施の形態に係る映像配信システムを、機能別のブロック図に書き直した図である。以下において、図１０に示された各部の動作を具体的に説明する。
【００４３】
１．２．１ 第１撮像部
第１撮像部３１は、上記の１．１．１に記載した広角カメラ２００により構成され、取得され且つデジタル化された広角の映像データを出力する動作を行う。
【００４４】
１．２．２ 第２撮像部
第２撮像部３２は、上記の１．１．２に記載されたカメラアレイ４００により構成され、取得され且つデジタル化された部分映像データを出力する動作を行う。
【００４５】
１．２．３ 変形部
図１１は、実施の形態１における変形部３３の動作を説明する図である。変形部３３は、第１撮像部３１により取得された広角の映像データを、図１１に示すように、通常のカメラで捉えた透視変換像に近い映像 （以下パノラマ映像と呼ぶ）に変形する。一般に、広角の範囲を撮影可能なカメラによって得られる映像は、上述したように、人間の眼で確認できる像の形状と異なり、大きな歪みが含まれるために、後に閲覧するときの便宜を図るために変形処理を施すと好適である。以下、文献 （Ａ．Ｍ．Ｂｒｕｃｋｓｔｅｉｎ ａｎｄ Ｔ．Ｊ．Ｒｉｃｈａｒｄｓｏｎ：“Ｏｍｎｉｖｉｅｗ Ｃａｍｅｒａｓ ｗｉｔｈ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅ Ｍｉｒｒｏｒｓ”， Ｐｒｏｃ． ｏｆ ｔｈｅ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｖｉｓｉｏｎ ２０００， ｐｐ．７９−８４）に記載された方法を参考に、広角の映像データ（図７に示したドーナッツ映像を）をパノラマ映像に変形する方法を説明する。
【００４６】
図１２は、双曲面ミラーを使用したカメラにおける映像の変形原理を説明するための図である。また図１２ （ａ）は、変形部３３の動作例を示し、ドーナッツ映像を、横軸を方位角とし且つ縦軸を仰角とする円柱面に映されたパノラマ映像に座標変換する。また図１２（ｂ）は、広角カメラ２００の幾何的構造を示す図であり、図１２（ｂ）の中のカメラの光学系は中心射影モデルである。ここで、図中の各変数の意味は、下記の通りである。
（ｕ， ｖ）：ドーナッツ映像における座標
（ｕ０， ｖ０）：ドーナッツ映像における双曲面ミラーの中心の座標
（θ，φ）：パノラマ映像における座標
ｒ： （ｕ０， ｖ０）から（ｕ， ｖ）への画素単位の距離
ｒｍａｘ：ドーナッツ映像における双曲面ミラーの画素単位の半径
θ：方位角
φ：仰角
ψ：カメラの光軸からの頂角
Ｆ：双曲面ミラーの焦点
Ｆ’：双曲面ミラーと対をなす双曲面の焦点、カメラの光学中心に一致する。
【００４７】
このとき、頂角ψと仰角φとの間に、以下の関係が成立する。
【００４８】
【数１】
ここで、
【００４９】
【数２】
である。また、φｍｉｎはドーナッツ映像上の半径ｒｍａｘの位置に対応する仰角φの値であり、これはカメラの仰角方向の撮影限界値を表す。ｒｍａｘとφｍｉｎの値は一般に容易に知ることができる。
以下、変形の手順を説明する。
（ｉ）点（ｕ， ｖ）に対応する極座標 （ｒ，θ）を、次式を解くことにより求める。
【００５０】
【数３】
（ｉｉ） （３）式により算出されたｒに対応する頂角ψを次式により求める。
【００５１】
【数４】
ここで、
【００５２】
【数５】
であり、ψｍａｘはドーナッツ映像上の半径ｒｍａｘの位置及び仰角φｍｉｎに対応する頂角ψの値である。ψｍａｘの値は、（１）式にφｍｉｎを代入することにより求めることができる。
【００５３】
（ｉｉｉ） （４）式により算出されたψに対応する仰角φを、（１）式により求める。
【００５４】
以上の手順により、双曲面ミラーにより撮影されたドーナッツ映像における任意の点（ｕ，ｖ）を、パノラマ映像における点（θ，φ）に座標変換することができる。すなわち、ドーナッツ映像がパノラマ映像に変形される。
【００５５】
図１３は、変形部３３で使用される座標変換テーブルを説明する図である。撮影からパノラマ映像の配信を一時に行う場合、上記の変形処理に要する計算時間が問題となるため、図１３のように、上記の手順に基づいた座標変換テーブルを予め作成しておくと好適である。図１３の座標変換テーブルにおいては、各点（θ，φ）に対応するドーナッツ映像の座標（ｕ， ｖ）を格納しておく。
【００５６】
以上の変形処理は、前記サーバ３００内の前記ＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該変形処理を施すための所定のプログラムを予め格納しておく。
【００５７】
１．２．４ エンコード部
図１０のエンコード部３４は、図１０の前記第２撮像部３２により取得された部分映像データの少なくとも一つと、前記変形部３３により出力されたパノラマ映像データを、映像配信に適した形式にエンコードする。ここで、映像配信に適した形式として、ＲｅａｌＮｅｔｗｏｒｋｓ社から提供されているＲｅａｌＶｉｄｅｏを使用した場合の動作を説明する。同社より提供されているＲｅａｌＰｒｏｄｕｃｅｒというエンコードプログラムにより、取得された映像データからＲｅａｌＶｉｄｅｏ形式へのエンコードを実行する。ＲｅａｌＰｒｏｄｕｃｅｒは、映像データの取得が継続している限り常に映像や音声をエンコードし続け、エンコードされたデータを連続して配信部３５に送信する。以上のエンコード処理は、前記サーバ３００内の前記ＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３にＲｅａｌＰｒｏｄｕｃｅｒを予めインストールしておく。
【００５８】
１．２．５ 配信部
配信部３５は、クライアントが持つ映像表示端末からの要求に応じて、前記エンコード部３４によりエンコードされた広角の映像データと、少なくとも一つの部分映像データを、インターネットを介して配信する。ここで、映像配信を実行するものとして、ＲｅａｌＮｅｔｗｏｒｋｓ社から提供されているＲｅａｌＳｅｒｖｅｒというプログラムを使用した場合の動作の一例を説明する。
【００５９】
クライアントはサーバ３００に対して、要求対象である部分映像データを、インターネット経由で指示する。ここで、要求対象である部分映像データの選択は、図２の映像選択ボタン６０３を操作することにより行われる。また、インターネットによる通信は、ＴＣＰ （Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）接続、また映像表示端末とサーバ３００との通信はＨＴＴＰ （ＨｙｐｅｒＴｅｘｔＴｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＲＴＳＰを通じて行われる。
【００６０】
クライアントからの要求を受け取ると、サーバ３００は該要求に従って、広角の映像データと所定の部分映像データを、インターネット経由で送信する。このとき、ＵＤＰ （Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）接続によりインターネットによる通信を行い、またＲＤＴ （Ｒｅａｌ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ）を通じて映像データの送信を実行する。
【００６１】
以上の動作により、映像表示端末に配信された映像データは、クライアントが持つ映像表示プログラム （例えばＲｅａｌＮｅｔｗｏｒｋｓ社から提供されているＲｅａｌＰｌａｙｅｒ）により表示される。
【００６２】
２．実施の形態２
また、一方向に曲率をもった曲面ミラーを、広角カメラ２００に使用することもできる。
【００６３】
２．１ 構成
実施の形態２の構成は、上述の実施の形態１と同様に、図４に示されている。
【００６４】
以下、本実施の形態における広角カメラ２００の構成について説明する。なお、サーバ３００及びカメラアレイ４００の構成も、実施の形態１で説明した通りであるので、説明を省略する。
【００６５】
２．１．１ 広角カメラ
図１４は、本実施の形態における広角カメラ２００の構成を示した図である。図１４に示すように、広角カメラ２００は、通常の画角を有するカメラ２１９と一方向に曲率をもったミラー２１１とにより構成されており、全方位を撮影することはできないが、広い範囲のシーンを撮影することができる。図１５は、該ミラー２１１を使用したときのカメラ２１９に映される広角画像の様子を示した図であり、カメラ２１９の背後のシーンを撮影することができる。図１５に示したように、取り込まれる画像は、入射光の水平方向の角度と、撮影される画像の位置の横方向の座標が比例した状態で、横方向に圧縮された形状となっている。また、カメラ２１９自身の画像への写り込みを低減するように改良することも可能である。
【００６６】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
【００６７】
２．２ 動作
本実施の形態における機能別のブロック図は、上述の実施の形態１と同様に、図１０に示されている。以下において、図１０に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、及び配信部３５の動作は、上述の実施の形態１と同様であるので、説明を省略する。
【００６８】
２．２．１ 変形部
本発明の実施の形態２においては、広角カメラ２００により取得された映像データを、横方向に一様に引き伸ばすだけでパノラマ映像を得ることが可能である。双曲面ミラーを使用した場合と同様に、図１３に示すような座標変換テーブルを作成し、パノラマ映像の各点に対応する変形前の映像の座標（ｕ， ｖ）を格納するようにすればよい。
【００６９】
また、この広角カメラ２００を使用した場合、映像配信システム１００に変形部３３を設けなくとも、映像を表示するクライアント側でパノラマ映像を表示することが可能である。今、横 （水平）方向の撮影範囲が１８０度、縦 （鉛直）方向の撮影範囲が６０度であり、サイズが３５２×２４０画素の映像が、該広角カメラ２００により取得されているとする。この場合、横方向の長さを３倍、すなわち１０５６画素に引き伸ばすことによりパノラマ映像を得ることができる。また、サーバ３００のマシン名を”ｖｉｄｓｅｒｖ”、映像配信システムから配信される広角の映像データ名を”ｍｏｖｉｅ．ｒｍ” （後述するＲｅａｌＶｉｄｅｏというデータ形式）、及び映像表示端末とサーバ３００との通信に使用されるプロトコルをＲＴＳＰ （Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）とする。このとき、該引き伸ばし処理を実行する処理は、図１６に示すように、Ｗ３Ｃ （Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）によって勧告されたＳＭＩＬ （Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｅｄ Ｌａｎｇｕａｇｅ）を用いて記述することができる。図１６に示すように、＜ｒｅｇｉｏｎ＞タグにおいて指定された表示領域の大きさと、関連付けられる映像データ”ｍｏｖｉｅ．ｒｍ”の画像サイズが異なる場合、ｆｉｔ属性を”ｆｉｌｌ”と指定することにより、表示領域のサイズに合わせて、映像データが拡大縮小表示される。すなわち、映像データに対して所望の拡大率を有する表示領域を指定し、かつ属性値を上記のように指定することにより、パノラマ映像を表示することができる。以上の変形処理は、クライアントが持つ映像表示端末において、映像の表示と同時に実行される。すなわち、サーバ３００が変形処理を実行する必要がないので、小さい処理コストで広角の映像データを配信することが可能となる。
【００７０】
２．２．２ エンコード部
エンコード部３４の動作は、上述の実施の形態１と同様であり、前記第２撮像部３２により取得された部分映像データの少なくとも一つ及び前記変形部３３により出力されたパノラマ映像データを、それぞれ映像配信に適した形式にエンコードする。
【００７１】
なお、変形部３３が存在しない場合、エンコード部３４は、前記変形部３３により変形された広角の映像データの代わりに、前記第１撮像部３１により取得された広角の映像データをエンコードする。
【００７２】
３．実施の形態３
本発明の実施の形態３は、前記広角カメラ２００により取得された広角の映像データと、前記カメラアレイ４００により取得された各々の部分映像データとの対応関係を特定する映像配信システムに関するものである。ここでいう「対応関係」の例として、以下のものが挙げられる。
・広角カメラ２００とカメラアレイ４００を構成する各々のカメラ４０１との位置関係
・広角の映像データと各々の部分映像データとの位置関係
上記の対応関係が不明である場合、クライアントにとっては、図２の映像選択ボタン６０３の操作により、部分映像の配信の切り替えを要求しても、所望の部分映像データがサーバ３００より配信される保証はない。この問題を解消するために、映像選択ボタン６０３の左向き矢印ボタンを順に押すと、配信される部分映像データが半時計回りに切り替わるように、カメラアレイ４００を設置するなどの対策が考えられる。しかし、部分映像の切り替え順序と、カメラの配置順序を対応させなくてはならないため、映像配信システム１００の設置作業が面倒になるという問題点がある。
【００７３】
図１７は、クライアントが持つ映像表示端末において、上記の対応関係を利用した表示画面の一例を示す図である。図において、広角の映像６０２の下側にバー６０４が設置され、現在表示されている部分映像６０１に対応する撮影範囲が、黒色のバー６０５で示されている。また、現在表示されている部分映像６０１以外の部分映像の撮影範囲が、それぞれ灰色のバー６０６で示されている。ここで、クライアントは、マウス （図示せず）を操作することによりカーソル６０７を動かし、所定の部分映像を示す灰色のバー６０６の上をクリックすると、サーバ３００に対して配信要求する部分映像の選択情報が送信され、サーバ３００を介して送られるカメラアレイ４００からの部分映像６０１が、該当する部分映像に切り替えられる。このように、上記の対応関係が特定されることにより、映像配信システム１００の設置作業が楽になる。また、クライアントは一層容易に所望の映像を選択することができると共に、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００７４】
本発明の実施の形態３は、このような動作を実現するための映像配信システムに関するものである。
【００７５】
３．１ 構成
前述の実施の形態１と同様に、本発明の実施の形態３の構成は、図４乃至図９に示されている。
【００７６】
３．２ 動作
図１８は、本発明の実施の形態３に係る映像配信システムを、機能別のブロックで示した図であり、図１０に示された前述の実施の形態１のブロック図に更に加えて、特定部３６を追加したものである。以下に、図１８に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、及びエンコード部３４の動作は、前述の実施の形態１と同様であるので、説明を省略する。
【００７７】
３．２．１ 特定部
特定部３６は、前記広角カメラ２００により取得された広角の映像データと、前記カメラアレイ４００により取得された各々の部分映像データとの対応関係を特定する動作を行う。この動作を、以下に説明する。
【００７８】
（１）カメラアレイ４００を構成する各カメラ４０１に付された識別子を利用する方法
図１９は、特定部３６の別の動作例を示す図である。図１９（ａ）に示すように、カメラアレイ４００を構成する各カメラ４０１に識別子４０３を付し、該カメラ４０１を前記広角カメラ２００で捕捉できる位置にそれぞれ配置する。この状態で、前記広角カメラ２００により取得される映像データは、図１９ （ｂ）のようになる。この映像データにおいて、前記識別子４０３が映されている画像座標を検出することにより、広角カメラ２００と各々のカメラ４０１との位置関係を特定することができる。ここで、前記識別子４０３には、
・算用数字を付したシール、
・バーコード、
・カラーコード、
・２次元バーコード、
などを使用することが可能であり、これらの識別子を映像データから読み取る動作は、パターン認識の分野で既に周知技術となっている。
（２）広角カメラ２００及びカメラアレイ４００により取得された映像データを利用する方法
図２０は、特定部３６の別の動作例を示す図である。本動作例においては、広角の映像データと各々の部分映像データとの類似度が高い部分を検出する。
【００７９】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を説明する。まず、図２０（ａ）のように、カメラアレイ４００により取得される各々の部分映像より、（ ２ＤＸ ＋ １ ）×（ ２ＤＹ ＋ １ ）の大きさのテンプレート６０８を生成する。次に、Ｚ２０（ｂ）のように、該テンプレート６０８を広角の映像６０２上で移動させ、テンプレート６０８と広角の映像６０２における点（ｍ，
ｎ）との正規化相互相関値Ｓを、次式に基づき計算する。
【００８０】
【数６】
ここで、（６）式における各記号の意味は以下の通りである。
・Ｉ１（ｘ， ｙ）：テンプレート上の点（ｘ， ｙ）における濃度
・Ｉ２（ｘ， ｙ）：広角の映像上の点（ｘ， ｙ）における濃度
以上の計算に基づき、正規化相互相関値Ｓが最大となる広角の映像６０２における点（ｍ， ｎ）を求め、該点の位置に対応するカメラ４０１を特定すればよい。以上の動作を、全ての部分映像に対して実行することにより、広角カメラ２００と各々のカメラ４０１との位置関係を特定することができる。
【００８１】
なお、濃度の相互相関に基づいて、映像の類似度を求めると述べたが、これはあくまでも一例である。映像の色空間や輪郭など、別の特徴に基づいて映像の類似度を求めても構わない。
【００８２】
（３）手動で特定する方法
図２１は、本実施の形態３におけるサーバ３００の表示画面を示す図である。この表示画面は、映像配信システム１００を起動し、映像の配信を開始する直前に出現する。その後ユーザは、まず映像選択ボタン６０３を操作することにより、表示される部分映像６０１を切り替える。すると、現在表示されている部分映像６０１と広角の映像６０２との位置関係を手動入力するよう促すメッセージ６０９が、該表示画面において提示される。この時ユーザは、マウス （図示せず）を操作してカーソル６０７を動かし、広角の映像６０２の上の所定の点をクリックすることにより、該位置関係を手動入力する。手動入力が完了すると、広角の映像６０２において、その部分映像６０１に対応する位置に十字形状のポインタ６１０が付される。以上の動作を、全ての部分映像に対して実行することにより、広角の映像６０２と各々の部分映像３０１との位置関係を特定することができる。
【００８３】
この方法は、映像配信の開始から終了に至るまで、広角カメラ２００及びカメラアレイ４００の配置位置が不変である場合に、特に大きな効果を奏する。これに対して、上記（１）乃至（２）の方法は、途中でカメラ４０１の配置位置を変更しても有効である。
【００８４】
以上の処理は、前記サーバ３００内の前記ＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該特定処理を施すための所定のプログラムを予め格納しておく。
【００８５】
３．２．３ 配信部
配信部３５は、クライアントが持つ映像表示端末からの要求に応じて、前記エンコード部３４によりエンコードされた広角の映像データ及び少なくとも一つの部分映像データを、インターネットを介して配信する。このとき、映像データのみならず、前記特定部３６が特定した対応関係を併せて、クライアントに配信すると、映像表示端末において、図１７に示されている表示画面を提示することが可能となるので好適である。映像配信の動作については、前述の実施の形態１と同様である。
【００８６】
４．実施の形態４
本発明の実施の形態４は、前記カメラアレイ４００により取得された各々の部分映像データを自動的に選択する映像配信システムに関するものである。
【００８７】
実施の形態１乃至実施の形態３は、クライアントが配信を要求する部分映像を選択するものであった。しかし、部分映像を毎回手動で選択するのは面倒である。
【００８８】
図２２は、クライアントが持つ映像表示端末において、表示される部分映像６０１が自動的に選択される表示画面を示す図である。図のように、「ＡＵＴＯ」と書かれたチェックボックス６１１をチェックすると、部分映像６０１を自動的に選択して配信するモードに切り替えられる。これに対し、サーバ３００は、発言者などの重要なシーンが映された部分映像を自動的に選択して、広角の映像と共にクライアントに配信する。これにより、クライアントは面倒な操作無しに、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００８９】
本実施の形態４は、このような動作を実現するための映像配信システムに関するものである。
【００９０】
４．１ 構成
図２３に本発明の実施の形態４に係る映像配信システムの構成を示す。サーバ３００には広角カメラ２００と、カメラアレイ４００と、マイクアレイ５００とが接続され、広角の映像データ及び複数の部分映像データ及び複数の音声データが取得される。サーバ３００により取得された映像データは、インターネットを介して配信され、該インターネットに接続されたクライアントＰＣにおいて表示される。また、サーバ３００により取得された音声データは、後述する映像選択のために使用されるほか、必要に応じてインターネットを介して配信され、該インターネットに接続されたクライアントＰＣにおいて再生される。
【００９１】
次に、上記各部の構成について説明する。なお、広角カメラ２００、カメラアレイ４００、及びサーバ３００の構成は、実施の形態１と同様であるので、説明を省略する。
【００９２】
４．１．１ マイクアレイ
マイクアレイ５００は、少なくとも２つのマイクロフォン５０１−１、５０１−２より構成される。使用されるマイクロフォン５０１−１、５０１−２は、圧電型、容量型 （いわゆるコンデンサマイクロフォン）など様々な種類のものを使用することができる。各々のマイクロフォン５０１−１、５０１−２は、カメラ４０１と同様に、別々に離れて配置されたものであっても、各々のマイクロフォン５０１−１、５０１−２を共通の筐体に固定して配置したものであっても構わない。図２４は、実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図であり、このように、広角カメラ２００とマイクアレイ５００とを１つの筐体に一体化してもよい。図２４に示したように、広角カメラ２００を構成するカメラ部２０１の撮像素子２１４と、マイクアレイ５００を構成するマイクロフォン５０１−１、５０１−２とは、台座２０２に配置されている。
【００９３】
該マイクロフォン５０１−１、５０１−２において取得された音声信号は、マイクロフォン内部でデジタル化された後、サーバ３００に送出される。カメラアレイ４００と同様に、マイクアレイ５００をサーバ３００の外部Ｉ／Ｆ ３０７、具体的にはＵＳＢ２．０のような高速シリアルインターフェースを経由して接続することにより、部分映像と音声とを同期的に取得することが可能である。
【００９４】
４．２ 動作
図２５は、本実施の形態４に係る映像配信システムの、機能別のブロックを示す図である。図１８に示された実施の形態３のブロック図に加えて、音声取得部３７、音源検出部３８、及び映像選択部３９を追加したものである。以下において、図２５に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、及び特定部３６の動作は、前述の実施の形態と同様であるので、説明を省略する。
【００９５】
４．２．１ 音声取得部
音声取得部３７の構成・動作は、前述の４．１．１に記載されたカメラアレイ４００により取得され、デジタル化された音声データを出力するものである。
【００９６】
４．２．２ 音源検出部
音源検出部３８は、前記音声取得部３７により取得された音声データに基づき、発言者のいる位置又は方向を検出するものである。その動作例を、以下において説明する。
【００９７】
（１）マイクアレイ５００に入力される音声の到達時間差による方法
本方法は、複数のマイクロフォン５０１が、ある筐体の既知の位置に固定された場合に有効である。図２６は、本発明の実施の形態４の音源検出部３８の動作原理を説明するための図である。図２６に示すように、２つのマイクロフォン５０１−１、５０１−２（それぞれマイク１、マイク２と便宜的に称することとする）が間隔ｌだけ離れて並んでおり、音声がθ方向から入射する場合、マイク１が出力する音声データｓ１（ｔ）と、マイク１が出力する音声データｓ１（ｔ）との関係は、
【００９８】
【数７】
ｖ：音速
となり、マイク１の音声データがマイク２の音声データに対して
【００９９】
【外１】
だけ時間が進んでいることとなる。この原理を利用して、話者の音声の方向を特定する手順を説明する。
【０１００】
まず、マイク１とマイク２の音声データの到達時間差を検出する。この到達時間差は、例えばマイク１の音声データｓ１（ｔ）とマイク２の音声データｓ２（ｔ＋ｄｔ）との相互相関値により計算される。ここで、相互相関値Ｃ （ｔ， ｄｔ）は、次式により算出される。
【０１０１】
【数８】
ここで、Ｎは相関窓の大きさを示す正の整数であり、（８）式は時刻ｔ以前のＮ個のサンプルを用いて積和演算が行われることを示す。このとき、Ｃ （ｔ， ｄｔ）を最大化するｄｔが到達時間差となる。
【０１０２】
次に、マイクの間隔ｌ、到達時間差ｄｔ及び音速ｖを用いて、音声とマイクロフォンの基線とがなす角θを計算する。
【０１０３】
【数９】
ここで、θの値域は０°以上１８０°以下とする。
【０１０４】
なお、以上の手順のみでは、マイクロフォン５０１−１、５０１−２の前側の１８０°の範囲しか方向が検出されず、音源方向が特定されない。すなわち、音源検出部３８が出力する角度θは、実際には音声の到達方向と２つのマイク間の基線とがなす角度であり、実際の音声の方向は図２７に示すように、２つのマイクの中点を頂点とする頂角θの円錐の側面上のいずれかに存在している。
【０１０５】
この問題を解消するために、マイク１とマイク２より構成される組と平行でない別のマイクロフォンの組を用いて補正を行う。図２８は、４つのマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４を２組に分けて音源方向を検出する場合の組分けの様子を示した説明図である。図２８示したように、組分けは、あるマイクロフォン５０１−１と５０１−３（例えばマイク１（マイク３））と、そのマイクロフォンと最も距離の離れたマイクロフォン５０１−２と５０１−４（マイク２（マイク４））とを組み合わせる。
【０１０６】
最も距離の離れた２つのマイクの組を用いることで、音声の到達時間差が最大となり、方向検知の精度が向上する。なお、ここでは、マイクアレイ５００には４つのマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４が備わっているが、３つのマイクロフォンによっても、音源方向を精度良く検出できる。図２９は、３つのマイクロフォン５０１−１、５０１−２、５０１−３によってマイクアレイ５００が構成される場合のマイクロフォンの組の採り方を説明する説明図である。図示したように、マイクロフォンを正三角形に配置することにより、どのマイクの組を採用しても、精度良く音源方向を検出することができるようになる。なお、図２９に示した例では、第１の組と第２の組を採用して全方向の音源を検出できるが、補完的に第３の組を使用してもよい。
【０１０７】
（２）指向性マイクアレイによる方法
また、限られた範囲の音声のみを入力可能な指向性マイクロフォンを利用することにより、発言者の方向を検出することも可能である。図３０は、本実施の形態４におけるマイクアレイ５００と音源方向との関係を説明する説明図である。このマイクアレイ５００は、指向性を有するマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４を４つ有し、その音声の強度に基づいて音源方向を決定する。便宜的に４つのマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４をマイク１〜４とする。
【０１０８】
今、音声強度が、マイク１で２０、マイク２で３０、マイク３で２０，マイク４で５という数値であったとする。この場合はマイク２の方向に音源があると判断する。マイク１とマイク３の強度を比較するといずれも同じ値２０であるので、最終的に音源方向はマイク２の方向（図でθ＝４５°と示した方向）と決定する
図３１は、実施の形態４における音源検出部３８の動作の別の例を説明する図である。音声強度がマイク１で１５、マイク２で３０、マイク３で２５、マイク４で５であったとする。この場合はマイク２の方向に音源があると初期判断する。マイク１とマイク３の強度を比較すると、マイク３の強度がマイク１より大きいので、音源方向をマイク２方向からマイク３方向に若干量移動させた方向（図でθ＝３０°と示した方向）と決定する。この方向の移動量は指向性マイクの特性にしたがって予め決定しておけばよい。
【０１０９】
以上で説明した音源検出部３８の機能は、サーバ３００におけるＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムが予め格納されている。
【０１１０】
４．２．３ 映像選択部
映像選択部３９は、前記特定部３６により特定された対応関係と、前記音源検出部３８により検出された発言者の位置又は方向とを用いて、クライアントに配信する部分映像を自動的に選択するものである。
【０１１１】
図３２は、実施の形態４における映像選択部３９の動作の一例を示す図であり、Ａ〜Ｆの６人の参加者２がテーブル１を囲んで会議を開いている様子を上から眺めたものである。テーブル１の上には、広角カメラ２００及びマイクアレイ５００が設置されており、また参加者毎にカメラ４０１（図示せず）が１台設置されている。今、音源検出部３８が検出した音源の方向が、図における矢印３８１のようであったとする。このとき、映像選択部３９は、該音源の方向と、前記特定部３６により特定された広角カメラ２００と各カメラ４０１との対応関係に基づき、該音源の方向に対し最も近くに配置されたカメラ４０１を選択する。すなわち、図においては、参加者Ｅを撮影しているカメラ４０１を選択する。
【０１１２】
以上で説明した映像選択部３９の機能は、サーバ３００におけるＣＰＵ ３０１により実現させることができる。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１１３】
４．２．４ エンコード部
エンコード部３４の動作は、前記映像選択部３９により選択された部分映像データ及び前記変形部３３により出力されたパノラマ映像データを、それぞれ映像配信に適した形式にエンコードする。エンコード動作については、前述の実施の形態１と同様である。
【０１１４】
なお、変形部３３が存在しない場合には、エンコード部３４は、前記変形部３３により変形された広角の映像データの代わりに、前記第１撮像部３１により取得された広角の映像データをエンコードする。
【０１１５】
４．２．５ 配信部
配信部３５は、前記エンコード部３４によりエンコードされた広角の映像データ及び部分映像データを、インターネットを介して配信する。このとき、映像データのみならず、前記特定部３６が特定した対応関係及び前記映像選択部３９が選択した部分映像の撮影範囲を併せて、クライアントに配信すると、映像表示端末において、図２２に示された表示画面を提示することが可能となるので好適である。映像配信の動作については、前述の実施の形態１と同様である。
【０１１６】
５． 実施の形態５
本発明の実施の形態５は、前述の実施の形態４と同様に、前記カメラアレイ４００により取得された各々の部分映像データを自動的に選択する映像配信システムに関するものであり、カメラアレイ４００を構成する各々のカメラ４０１と、マイクアレイ５００を構成する各々のマイクロフォン５０１とを、１対１の対応関係となるよう構成したものである。ここでは「１対１の対応関係」を、「個々のカメラ４０１に対し、略一致する位置又は方角に配置されたマイクロフォン５０１が１つあること」と定義する。
【０１１７】
５．１ 構成
本実施の形態における映像配信システム１００の構成は、前述の実施の形態４と同様に、図２３に示されている。
【０１１８】
次に、上図の各部の構成について説明する。なお、広角カメラ２００及びサーバ３００の構成は、前述の実施の形態１と同様であるので、説明を省略する。
【０１１９】
５．１．１ カメラアレイ及びマイクアレイ
図３３は、本発明の実施の形態５におけるカメラ４０１及びマイクロフォン５０１の外観を示す図である。図示したように、カメラ４０１とマイクロフォン５０１とは、共通の筐体５０２に一体化した構造となっている。また、マイクロフォン５０１は指向性を有し、限られた範囲の音声のみを入力可能である。この一体化されたカメラ４０１及びマイクロフォン５０１を、参加者につき１台設置する。
【０１２０】
５．２ 動作
図３４は、本発明の実施の形態５に係る映像配信システムを、機能別のブロック図に書き直した図であり、図２５に示された実施の形態４のブロック図から音源検出部３８を削除し、また特定部３６から映像選択部３９への接続を削除したものである。第１撮像部３１、第２撮像部３２、変形部３３、エンコード部３４、配信部３５、特定部３６、及び音声取得部３７の動作は、前述の実施の形態４と同様である。
【０１２１】
５．２．１ 映像選択部
前述の一体化されたカメラ４０１及びマイクロフォン５０１を使用することにより、各々のカメラ４０１とマイクロフォン５０１との対応関係が既知である。したがって、映像選択部３９は、最も大きな信号振幅が得られたマイクロフォン５０１に対応するカメラ４０１により取得された部分映像を選択すると良い。
【０１２２】
６． 実施の形態６
本実施の形態は、前述の実施の形態４或は５と同様に、前記カメラアレイ４００により取得された各々の部分映像データを自動的に選択する映像配信システムに関するものである。
【０１２３】
６．１ 構成
前述の実施の形態１乃至３と同様に、図４乃至図９に示される。
【０１２４】
６．２ 動作
図３５は、本発明の実施の形態６に係る映像配信システムを、機能別のブロック図に書き直した図であり、図「１８に示された実施の形態３のブロック図に更に加えて、映像選択部３９及び動き検出部４０を追加したものである。以下において、図３５に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、エンコード部３４、配信部３５、及び特定部３６の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１２５】
６．２．１ 動き検出部
動き検出部４０は、広角の映像データにおける被写体の動きを検出し、映像中の各部位における動きの特徴量を出力するものである。ここで、「動きの特徴量」とは、被写体の動きの大小を指すものとする。
【０１２６】
動画における動きの検出は、前の時刻と現在の時刻のフレーム間の差分をとる方法、オプティカルフローによる方法などの周知技術により実現可能である。これらの技術により、広角の映像データにおいて、被写体が動いた位置及びその動きの大小を検出することができる。この動作によれば、本発明を遠隔監視システムとして使用する場合、動いている被写体を捉えたカメラからの部分映像が配信されるため、好適である。
【０１２７】
また、本実施の形態６に係る映像配信システムが、遠隔会議システムとして使用される場合、参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。唇の動きの検出は、例えば文献 （Ｍ．Ｋａｓｓ， Ａ．Ｗｉｔｋｉｎ ａｎｄ Ｄ．Ｔｅｒｚｏｐｏｕｌｏｓ：“ＳＮＡＫＥＳ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ”， ＩＣＣＶ， ｐｐ．２５９−２６８ （１９８７） ）等の周知技術により実現できる。また、実施の形態４乃至５のように、マイクロフォン５０１が使用できる場合には、音声データに基づく発話区間の抽出結果と併せて唇の動きを検出することにより、発言者の検出精度を向上させることもできる。例えば、当出願人により出願された特開平６−４３８９７公報には、音声データから抽出された音声特徴と、映像データより抽出された顔面の動的視覚特徴とを用いて、会話を認識するシステムが開示されている。この動作により、音声データ中に発話以外の雑音が多く占められる場合でも、一層安定的に発言者の位置又は方向を検出することが可能となる。
【０１２８】
以上で説明した動き検出部４０の機能は、広角カメラ２００の内部に実装してもよいし、またサーバ３００におけるＣＰＵ ３０１により実現させても構わない。後者の場合、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１２９】
６．２．２ 映像選択部
本実施の形態６における映像選択部３９は、前記特定部３６により特定された対応関係と、前記動き検出部４０により検出された被写体の動きの特徴量とを用いて、クライアントに配信する部分映像を自動的に選択するものである。映像選択部３９は、まず該被写体の動きの特徴量に基づき、広角の映像データにおいて最も大きな動きが検出された画像位置を特定する。次に、特定された画像位置と、前記特定部３６により特定された広角カメラ２００と各カメラ４０１との対応関係とに基づき、前述の実施の形態４において説明したのと同様の手順により、該位置に対し最も近くに配置されたカメラ４０１を選択する。これにより、最も大きな動きが検出された被写体を撮影した部分映像を自動的に選択することができる。
【０１３０】
以上で説明した映像選択部３９の機能は、サーバ３００におけるＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３１】
７． 実施の形態７
また、上述の実施の形態６においては、広角の映像において被写体の動きを検出したが、前記カメラアレイ４００により取得された各々の部分映像データにおいて、被写体の動きを検出してもよい。
【０１３２】
７．１ 構成
本発明の実施の形態７の構成は、前述の実施の形態１乃至３と同様に、図４乃至図９に示される。
【０１３３】
７．２ 動作
図３６は、本発明の実施の形態７に係る映像配信システムの、機能別のブロックを示す図である。以下において、図３６に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、エンコード部３４、及び配信部３５の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１３４】
７．２．１ 動き検出部
本実施の形態７における動き検出部４０は、各々の部分映像データにおける被写体の動きを検出し、各部分映像データにおける動きの特徴量を出力するものである。ここで、「動きの特徴量」は、実施の形態６と同様に、被写体の動きの大小を指すものとする。また、各々の部分映像データにおける被写体の動きも、上述の実施の形態６で説明した周知技術により検出する。
【０１３５】
また、本実施の形態に係る映像配信システムが、遠隔会議システムとして使用される場合、部分映像における参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。この動作も、上述の実施の形態６で説明した周知技術により実現可能である。また、本実施の形態では、カメラ４０１により各参加者の顔が大きく撮影されるので、上述の実施の形態６に比較して、より安定的に参加者の唇の動きを検出することができる。
【０１３６】
以上で説明した動き検出部４０の機能は、カメラ４０１の内部に実装してもよいし、またサーバ３００におけるＣＰＵ ３０１により実現させても構わない。後者の場合、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３７】
７．２．２ 映像選択部
本実施の形態における前記映像選択部３９は、前記動き検出部４０により検出された、部分映像における被写体の動きに基づき、クライアントに配信する部分映像を自動的に選択するものである。具体的には、各々の部分映像における被写体の動きの特徴量から、最も大きな動きが検出された部分映像を特定し、これをクライアントに配信する部分映像として自動的に選択する。ここで、本実施の形態は、特定部３６を必ずしも必要としないので、上述の実施の形態６に比較して、より簡単な構成・処理で適切な部分映像を選択することができる。
【０１３８】
以上で説明した映像選択部３９の機能は、サーバ３００におけるＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３９】
７．３ その他
なお、上述の実施の形態６又は本実施の形態においては、カメラアレイ４００を構成する各々のカメラ４０１が、他のカメラと一部共通する撮影領域を含むと好適である。図３７（ａ）は、各々のカメラが互いに共通する撮影領域を含まない場合における映像表示端末の画面を示す図である。図３７に示すように、参加者Ａが席を立って移動している時、前記映像選択部３９は、該参加者Ａに最も近い撮影領域を含む部分映像（図中、黒色のバー６０５で示されたもの）を自動的に選択する。しかし、該参加者Ａがいずれのカメラ４０１においても撮影されない場所に移動した場合には、重要な被写体が何も写されていない部分映像が選択されてしまう。このように、移動中の被写体を連続的に追跡して映した部分映像を配信できないという問題が生ずる。
【０１４０】
そこで、図３７（ｂ）に示すように、各々のカメラが互いに共通する撮影領域を含むよう配置すれば、この問題を解決することができる。図中、斜線で示されたバーは、２つ以上のカメラ４０１で重複して撮影されている範囲を示す。図８のように、カメラアレイ４００を、各々のカメラ４０１を筐体４０２に固定して構成する場合には、互いの撮影範囲が一部重複するように各々のカメラ４０１を固定するとよい。
【０１４１】
８． 実施の形態８
なお、本発明に係る映像配信システム１００は、ＰＣによりその機能を実現させることができる。この場合は上記各部を実現するソフトウェアをハードディスクに格納し、適宜処理プログラムを実行させることによりその機能を実現させることができる。
【０１４２】
９． 実施の形態９
また、上記プログラムを、ＣＤ−ＲＯＭのような記録媒体に格納することができる。図３８に示されるように、該プログラムを格納したＣＤ−ＲＯＭ ３０８をＰＣに装着し、適宜該プログラムを実行させることによりその機能を実現させることができる。なお、該プログラムを格納する記録媒体としては、上記ＣＤ−ＲＯＭ ３０８に限られず、例えばＤＶＤ−ＲＯＭ等の別の媒体であってもよいことはいうまでもない。
【０１４３】
以上の各実施の形態は、本発明のほんの一例を説明したにすぎず、本発明の権利範囲を上記実施の形態の通りに限定・縮小すべきではない。例えば、各実施の形態において、インターネットを通じて映像データを配信すると説明したが、衛星通信や地上波通信などの別の通信回線を使用しても構わない。
【０１４４】
また、広角カメラ２００、カメラアレイ４００、及びマイクアレイ５００が、ＵＳＢハブに接続されるという構成例を用いて説明したが、これらの接続形態は上記説明に限定されるものではない。例えば、ＰＣＩバス、ＩＥＥＥ １３９４、Ｂｌｕｅｔｏｏｔｈなどの別のインターフェースを使用しても構わない。
【０１４５】
また、広角カメラ２００に使用されるミラー２１１として、双曲面ミラー及び一方向に曲率をもった曲面ミラーを実施の形態に挙げたが、放物面ミラーや円錐ミラーなど、上記以外の形態であっても構わない。
【０１４６】
また、第１撮像部３１の説明において、広角カメラ２００においてデジタル化された映像データを出力すると説明したが、広角カメラ２００がアナログの映像信号を出力するものであっても構わない。この場合、該広角カメラ２００と、アナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の映像データを出力することができる。すなわち、上記実施の形態で説明した第１撮像部３１と同様の動作を実現することができる。
【０１４７】
また、第２撮像部３２の説明において、カメラアレイ４００を構成する各々のカメラ４０１においてデジタル化された部分映像データを出力すると説明したが、これらのカメラ４０１がそれぞれアナログの映像信号を出力するものであっても構わない。この場合、これらのカメラ４０１と、多チャンネルのアナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の部分映像データを出力することができる。すなわち、上記実施の形態で説明した第２撮像部３２と同様の動作を実現することができる。
【０１４８】
また、音声取得部３７の説明において、マイクアレイ５００を構成する各々のマイクロフォン５０１においてデジタル化された音声データを出力すると説明したが、これらのマイクロフォン５０１がそれぞれアナログの音声信号を出力するものであっても構わない。この場合、これらのマイクロフォン５０１と、多チャンネルのアナログ音声信号に対してデジタル化処理を施すオーディオキャプチャボードとを組み合わせることにより、デジタル形式の音声データを出力することができる。すなわち、上記実施の形態で説明した音声取得部３７と同様の動作を実現することができる。
【０１４９】
また、エンコード部３４及び配信部３５が同一のサーバ３００に実装されると説明したが、サーバ３００とは別個にエンコード用ＰＣを設置しても構わない。この場合、エンコードされたデータは、電気通信回線を経由して、該エンコード用ＰＣからサーバ３００に転送される。
【０１５０】
また、エンコード部３４においては、ＲｅａｌＮｅｔｗｏｒｋｓ社により提供されているＲｅａｌＰｒｏｄｕｃｅｒを用いて、映像データをＲｅａｌＶｉｄｅｏ形式に変換すると説明したが、エンコード部の構成はこれに限定されない。例えば、Ｍｉｃｒｏｓｏｆｔ社により提供されているＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａエンコーダというプログラムを用いて、映像データをＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｖｉｄｅｏ形式に変換しても構わない。配信部３５に関しても同様であり、ＲｅａｌＳｅｒｖｅｒの代わりにＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｓｅｒｖｉｃｅなどの別のプログラムを使用しても構わない。
【０１５１】
また、配信部３５の映像配信対象として、クライアントＰＣを例に挙げて説明したが、ＰＤＡ （Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や携帯電話などの端末であっても構わない。このとき、Ｍｉｃｒｏｓｏｆｔ社より提供されているＰＤＡ用のＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｐｌａｙｅｒを使用すれば、該ＰＤＡにおいて、前述のＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｖｉｄｅｏ形式の映像データを再生することができる。
【０１５２】
また、動き検出部４０の動作の説明において、「動きの特徴量」は被写体の動きの大小を指すと述べたが、例えば被写体の移動軌跡の形状など、別のものであっても構わない。
【０１５３】
【発明の効果】
本発明によれば、広角の映像を取得する第１撮像部３１と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第２撮像部３２と、前記広角の映像及び前記第２撮像部３２により取得された映像の少なくとも一つを配信する配信部３５とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第１の目的が達成される。
【０１５４】
更に本発明によれば、第１撮像部３１により取得された広角の映像と、第２撮像部３２により取得された各々の部分映像との対応関係を特定する特定部３６を備えることにより、閲覧者に対して、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能となる。すなわち、第２の目的が達成される。
【０１５５】
更に本発明によれば、第２撮像部３２により取得される複数の映像より、所定の映像を選択する映像選択部３９を備えることにより、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第３の目的が達成される。
【０１５６】
更に、広角の映像を変形する変形部３３を備えることにより、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することが可能となる。すなわち、第４の目的が達成される。
【０１５７】
更に、第２撮像部３２により取得される各々の映像が、少なくとも一の他の映像と一部の共通する領域を含むことにより、更に所望のシーンの映像を高い解像度で漏れなく取得・表示することが可能となる。すなわち、第５の目的が達成される。
【図面の簡単な説明】
【図１】本発明に係る映像配信システムの使用例を示す図である。
【図２】本発明に係る映像表示端末の表示画面の一例を示す図である。
【図３】本発明に係る映像配信システムの別の使用例を示す図である。
【図４】実施の形態１に係る映像配信システムの構成を示す図である。
【図５】実施の形態１に係る広角カメラ２００の構成を示す図である。
【図６】実施の形態１に係る広角カメラ２００の構造を示す図である。
【図７】図６に示された広角カメラ２００により撮影される映像を示す図である。
【図８】実施の形態１に係るカメラアレイ４００の一例を示す図である。
【図９】実施の形態１に係るサーバ３００の構成を示す図である。
【図１０】実施の形態１に係る動作を示すブロック図である。
【図１１】実施の形態１における変形部３３の動作を説明する図である。
【図１２】変形部３３における原理を説明する図である。
【図１３】変形部３３で使用される座標変換テーブルを説明する図である。
【図１４】実施の形態２に係る広角カメラ２００の構成を示す図である。
【図１５】図１４に示された広角カメラ２００により撮影される映像を示す図である。
【図１６】実施の形態２における変形部３３の動作を映像表示と同時に実現する例を示す図である。
【図１７】実施の形態３に係る映像配信システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図１８】実施の形態３に係る動作を示すブロック図である。
【図１９】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図２０】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図２１】実施の形態３に係るサーバ３００の表示画面の一例を示す図である。
【図２２】実施の形態４に係る映像配信システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図２３】実施の形態４に係る映像配信システムの構成を示す図である。
【図２４】実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図である。
【図２５】実施の形態４に係る動作を示すブロック図である。
【図２６】実施の形態４における音源検出部３８の動作原理を説明する図である。
【図２７】実施の形態４における音源検出部３８の問題を説明する図である。
【図２８】実施の形態４におけるマイクロフォン５０１の配置例を説明する図である。
【図２９】実施の形態４におけるマイクロフォン５０１の別の配置例を説明する図である。
【図３０】実施の形態４における音源検出部３８の動作を説明する図である。
【図３１】実施の形態４における音源検出部３８の動作を説明する図である。
【図３２】実施の形態４における映像選択部３９の動作を説明する図である。
【図３３】実施の形態５におけるカメラ４０１の構成を示す図である。
【図３４】実施の形態５に係る動作を示すブロック図である。
【図３５】実施の形態６に係る動作を示すブロック図である。
【図３６】実施の形態７に係る動作を示すブロック図である。
【図３７】実施の形態６及び７に係る映像配信システムを使用した場合の問題を示す図である。
【図３８】実施の形態９に係る構成例を示す図である。
【符号の説明】
１ テーブル
２ 参加者
３ キャビネット
３１ 第１撮像部
３２ 第２撮像部
３３ 変形部
３４ エンコード部
３５ 配信部
３６ 特定部
３７ 音声取得部
３８ 音源検出部
３９ 映像選択部
４０ 動き検出部
２００ 広角カメラ
２１１ ミラー
２１２ レンズ
２１３ 絞り
２１４ 撮像素子
２１５ 駆動部
２１６ 前処理回路
２１７ モータ駆動部
３００ サーバ
３１０ バス
３２０ ＵＳＢハブ
３３０ インターネット
３５０ クライアントＰＣ
４００ カメラアレイ
４０１−１から４０１−４ カメラ
５００ マイクアレイ
５０１ マイクロフォン
６００ 表示用ウィンドウ
【発明の属する技術分野】
本発明は、広角の視野を有する撮像手段を用いて取得された広範囲のシーンの映像を配信するシステムに関するものである。具体的には監視システム、遠隔会議システム、遠隔教育システム等の用途に使用される。
【０００２】
【従来の技術】
電気通信技術の発展により、あるシーンを撮影した映像を遠隔地に転送し、表示するための遠隔監視システムやテレビ会議システムが、多くの場面で活用されるようになった。かかるシステムの利便性をより向上させるために、通常のカメラでは撮影不可能な広範囲のシーンを撮影できるカメラ装置及び必要なシーンのみを切り出した部分映像を表示するためのシステムが数多く提案されている。
【０００３】
例えば、特開平５−１２２６８９号公報において、マイクから入力される音声を検出して話者を判定し、該判定結果に基づいてカメラ制御部においてカメラを自動制御し、話者を捉えるというカメラ装置及びテレビ会議システムが提案されている。また、集約的視野を形成するよう複数のカメラを配列させたカメラ装置がある。
【０００４】
しかし、特開平５−１２２６８９号公報に開示された発明では、話者を捉えるためにカメラを制御するのに時間がかかる、またカメラを回動させる駆動ユニットが壊れやすいという問題点がある。また、上記２つの従来技術においては、シーン全体を記録した映像を取得できないという問題点がある。本出願人は被験者に対し、（１）シーンの注目部分を映した部分映像のみを表示する、（２）シーンの全体を映した映像のみを表示する、（３） （１）及び（２）の映像を同時に表示する、という３種類の映像表示形態を提示し、どれが最も好ましいかを評価する試験を行った。その結果、圧倒的に（３）の表示形態が望ましく、次いで（２）の表示形態が望ましいという評価結果を得た。このように、かかるシステムにおいては、シーン全体が含まれた映像を転送することの重要性が認識されているが、上記従来技術はこの問題点を解消するものではなかった。
【０００５】
一方、シーン全体を記録した１枚の映像を取得するために、様々な広角撮影装置が提案されている。例えば、特許番号第２９３９０８７号公報及び特許番号第３０５４１４６号公報において、双曲線ドーム型ミラーによる３６０度パノラマ撮影カメラに関する発明が公開されている。これらの公報によると、ドーム型のミラーに反射させた像を撮影することで、魚眼カメラに比較して側方の解像度が高い３６０度 （半球）分の情景が撮影できる。このカメラを机の上や天井などに設置すれば、室内の全体を観察することができるため監視用途などに適している。撮影された画像は、図７のように円形状に歪んだ形となるが、特許番号第３０５４１４６号公報にはこれを通常のカメラで撮影したように変形する手段が記載されている。これらの公報によると、シーン全体を記録した画像のみならず、切り出し処理を適用することにより部分映像をも生成することが可能である。しかし、これらの公報に記載された広角撮影装置の場合、全方位の映像を１枚の円形状の映像に取得することにより、図７の黒塗り部分のように何も映されない無駄な領域が生じ、その結果得られる部分映像の画質が不十分となる。
【０００６】
このほか、特開平２００１−９４８５７号公報において、カメラアレイにより同期的に捕捉された１組の映像を共通座標系にワープさせることにより、継ぎ目のない１つの広角画像を生成するという発明が公開されている。該公報によると、通常のカメラで捉えた映像を１枚に結合することで、画面上全体にわたって高い解像度を有する広角画像を取得できる。しかし、複数の映像信号を実時間でワープさせるのに膨大な処理コストが必要となる、カメラアレイが事前に校正されている必要があるなどの問題点がある。
【０００７】
【発明が解決しようとする課題】
本発明は、上述の問題点に鑑みてなされたものであり、その第１の目的は、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することを可能とならしめる映像配信システム並びに該システムの各部の処理を実行させるためのプログラム及び記録媒体を提供しようとするものである。
【０００８】
また、本発明の第２の目的は、閲覧者に対し、高い解像度を持つ所望のシーンの映像を一層容易に選択可能とならしめる映像配信システムを提供しようとするものである。
【０００９】
また、本発明の第３の目的は、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・配信することを可能とならしめる映像配信システムを提供しようとするものである。
【００１０】
また、本発明の第４の目的は、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することを可能とならしめる映像配信システムを提供しようとするものである。
また、本発明の第５の目的は、更に所望のシーンの映像を高い解像度で漏れなく取得・表示することを可能とならしめる映像配信システムを提供しようとするものである。
【００１１】
【課題を解決するための手段】
請求項１に記載の発明は、映像配信システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有する。
【００１２】
請求項１の発明により、広角の映像を取得する第１撮像部と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第２撮像部と、前記広角の映像及び前記第２撮像部により取得された映像の少なくとも一つを配信する配信部とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第１の目的が達成される。
【００１３】
請求項２に記載の発明は、映像配信システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記広角の映像と前記第二の撮像手段により取得された各々の映像との対応関係を特定する特定手段と、
前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有する。
【００１４】
請求項３に記載の発明は、映像配信システムであって、前記第二の撮像手段を構成する複数のカメラは各々識別子が付されており、
前記第一の撮像手段は、前記複数のカメラに付された識別子を撮影範囲に含み、
前記特定手段は、前記広角の映像において含まれる識別子の撮影位置に基づき、前記対応関係を特定するものであることを特徴とする。
【００１５】
請求項４に記載の発明は、映像配信システムであって、特定手段は、前記広角の映像と前記第二の撮像手段により取得された各々の映像との類似度に基づき、前記対応関係を特定するものである。
【００１６】
請求項２、３、４に記載の発明により、第１撮像部により取得された広角の映像と、第２撮像部により取得された各々の部分映像との対応関係を特定する特定部を備えることにより、閲覧者に対して、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能となる。すなわち、第２の目的が達成される。
【００１７】
請求項５に記載の発明は、映像配信システムであって、広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記第二の撮像手段により取得された複数の映像より所定の映像を選択する映像選択手段と、
前記映像選択手段により選択された所定の映像及び前記広角の映像を配信する配信手段とを有する。
【００１８】
請求項６に記載の発明は、映像配信システムであって、更に、音声を入力する複数のマイクロフォンと
前記複数のマイクロフォンにより入力された音声に基づいて音源の位置又は方向を検出する音源検出手段とを有し、
前記映像選択手段は、前記音源検出手段により出力された音源の位置若しくは方向に基づいて、前記所定の映像を選択するものである。
【００１９】
請求項７に記載の発明は、映像配信システムであって、更に、前記広角の映像又は前記第二の撮像手段により取得された複数の映像における被写体の動きを検出する動き検出手段を有し、
前記映像選択手段は、前記動き検出手段により出力された被写体の動きに基づいて、前記所定の映像を選択するものである。
【００２０】
請求項５、６、７に記載の発明により、第２撮像部により取得される複数の映像より、所定の映像を選択する映像選択部を備えることにより、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第３の目的が達成される。
【００２１】
請求項８に記載の発明は、コンピュータに、映像配信システムの各手段に係る処理を実行させることを特徴とするプログラムである。
【００２２】
更に、広角の映像を変形する変形部を備えることにより、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することが可能となる。すなわち、第４の目的が達成される。
【００２３】
また、第２撮像部により取得される各々の映像が、少なくとも一の他の映像と一部の共通する領域を含むことにより、更に所望のシーンの映像を高い解像度で漏れなく取得・表示することが可能となる。すなわち、第５の目的が達成される。
【００２４】
請求項８と９に記載の発明により、広角の映像を取得する第１撮像部と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第２撮像部と、前記広角の映像及び前記第２撮像部により取得された映像の少なくとも一つを配信する配信部とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第１の目的が達成される。
【００２５】
【発明の実施の形態】
まず、映像配信システムがどのように使用されるかの使用例について簡単に概説し、次に、映像配信システムの実施の形態を具体的に説明する。各実施の形態においては、それを構成する要素及びその動作を説明し、最後に処理の流れについて説明する。
【００２６】
先ず最初に映像配信システムの使用例について説明する。
【００２７】
図１は、本発明を会議場面に設置した使用例を概説する説明図である。映像配信システムは、広角の映像を取得する広角カメラ２００と、通常の画角を持つ複数のカメラ４０１−１から４０１−４より構成されたカメラアレイ４００と、会議中の音声を取得するマイクロフォン５０１と、広角カメラ２００及びカメラアレイ４００で取得された映像データ並びにマイクロフォン５０１により取得された音声データを取り込み、配信するためのサーバ３００とを有する。
【００２８】
図１に示したように、広角カメラ２００は、テーブル１に設置され、会議の参加者（話者）２−１から２−４のいる方向、例えば水平面を見渡す全周囲の画像を一括して撮像する。また、カメラアレイ４００を構成する各々のカメラ４０１−１から４０１−４は、例えばそれぞれ会議の参加者の前面に置かれ、各参加者の姿を撮影する。これらのカメラ４０１−１から４０１−４により取得される映像を、以後「部分映像」と呼ぶ。また、サーバ３００はキャビネット３に格納され、広角カメラ２００及びカメラアレイ４００からの映像データ並びにマイクロフォン５０１により取得された音声データを取得する。このほかサーバ３００は、クライアントからの要求に応じて、電気通信回線を介して、クライアントが持つＰＣ （Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やＰＤＡ （Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などの端末に対し、取得された上記映像データを配信する（なお、図１では電気通信回線及びクライアントが持つ端末を省略している）。図２は、クライアントが持つＰＣの映像表示端末における表示画面を示した図である。図２に示すように、カメラアレイ４００により取得された少なくとも一の部分映像６０１及び広角カメラにより取得された映像６０２が、表示用ウィンドウ６００の上に表示される。ここで、映像選択ボタン６０３を操作すると、サーバ３００に対して配信要求する部分映像の選択情報が送信され、サーバ３００を介して送られるカメラアレイ４００からの映像６０１が切り替えられる。
【００２９】
一方、図３は、本発明を美術館などの会場の様子を映像として配信するシステムに適用した例を概説する説明図である。映像配信システム１００は、広角の映像を取得する広角カメラ２００と、通常の画角を持つ少なくとも１つのカメラ４０１−１、４０１−２より構成されたカメラアレイ４００と、広角カメラ２００及びカメラアレイ４００で取得された映像データを取り込むためのサーバ３００とを有する（なお、図３ではサーバ３００を省略している）。
【００３０】
図３示したように、広角カメラ２００は、天井に設置され、会場全体を見渡す全周囲の画像を一括して撮像する。また、カメラアレイ４００を構成する各々のカメラ４０１−１、４０１−２は、会場内の所々に設置され、例えば館内に展示された各々の絵画の前面を映すために、天井から吊るされた状態で固定される。また、サーバ３００は会場内の人目につかない場所に設置され、広角カメラ２００及びカメラアレイ４００からの映像データを取得する。このほかサーバ３００は、クライアントからの要求に応じて、電気通信回線を介して、クライアントが持つ端末に対し、取得された上記映像データを配信する（なお、図には電気通信回線及びクライアントが持つ端末を省略している）。
【００３１】
以下の各実施の形態では、本発明の映像配信システムを、会議の撮影及びその映像の配信に適用した場合について説明する。
【００３２】
１．実施の形態１
先ず最初に、本発明の実施の形態１について説明する。
【００３３】
１．１ 構成
図４は、本発明の実施の形態１に係る映像配信システムの構成を示す図である。サーバ３００には、ＵＳＢハブ３２０及びバス３１０を介して広角カメラ２００と、カメラアレイ４００とが接続され、広角の映像データ及びカメラアレイ４００により取得された複数の部分映像データが取得される。サーバ３００により取得された映像データは、インターネット３３０を介して配信され、該インターネットに接続されたクライアントＰＣにおいて表示される。
【００３４】
次に、上記各部の構成について説明する。
【００３５】
１．１．１ 広角カメラ
図５は、実施の形態１に係る、第一の撮像手段としての、広角カメラ２００の構成を示す図である。この第一の撮像手段としての広角カメラ２００は、所定形状の曲面を有するミラー２１１と、レンズ２１２と、絞り２１３と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子２１４と、上記撮像素子２１４のタイミング制御、並びに上記撮像素子２１４により得られた映像信号に対してアナログ−デジタル変換等のデジタル化処理を行う駆動部２１５と、前記駆動部２１５により得られたデジタル信号に対してエッジ強調やγ補正等の前処理を行う前処理回路２１６と、アイリスを制御するために絞り２１３を駆動するモータ駆動部２１７とを備えている。
【００３６】
ミラー２１１は、光学系に入射する光を反射させることにより広角の撮影を可能とするためのものであり、ここでは所定形状の曲面有するミラーとして、双曲面ミラーを使用する。図６は、本実施の形態の双曲面ミラー２１１を用いた場合の光路を説明する図である。また、図７は、本実施の形態の双曲面ミラー２１１により撮像素子２１４の表面に結像される広角画像の様子を示した図である。図７に示すように、双曲面ミラー２１１から反射されて撮像素子２１４に取り込まれる画像はドーナツ形状となっている（このドーナッツ形状の映像を以後「ドーナッツ映像」と呼ぶ）。該ドーナッツ映像は、前記撮像素子２１４において結像され、さらに前記駆動部２１５においてデジタル化され、前処理回路２１６を介して後述するサーバ３００に送出される。なお、図６の中の中心部は、撮像素子２１４の方向を映し出し、これは重要でない画像情報である。したがって、双曲面ミラー２１１の頭頂部２１８を黒く塗りつぶして、黒色情報としてもよい。なお、使用の態様によっては、頭頂部２１８に基準線を描画し、広角カメラ２００の立ち上げの際、モータ駆動部２１７を駆動することにより、ピント調整などの初期設定に利用してもよい。
【００３７】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
１．１．２ カメラアレイ
カメラアレイ４００は少なくとも１つのカメラより構成され、各々のカメラは、前記広角カメラ２００の撮影範囲の一部のシーンを、より高い解像度で撮影する。カメラアレイ４００を構成するカメラ４０１は、図１及び図３のようにバラバラに配置されても、図８のように各々のカメラ４０１−１から４０１−３を筐体４０２に固定して配置したものであっても構わない。カメラ４０１に使用される撮像素子は、ＣＣＤ、ＣＭＯＳ （Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型など様々な種類のものを使用することができる。該撮像素子において結像された映像信号は、カメラ内部でデジタル化された後、後述するサーバ３００に送出される。
【００３８】
上記の構成を有するカメラ４０１を少なくとも１つ用意することにより、安価かつ簡素な構成で部分映像を取得することができる。
【００３９】
１．１．３ サーバ
図９は、本実施の形態におけるサーバ３００の構成例を示した図である。すなわち、映像配信システム１００における各種の制御及び処理を行うＣＰＵ （Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ） ３０１と、ＳＤＲＡＭ （Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ） ３０２と、ＨＤＤ （Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ） ３０３と、マウス３１１等のポインティングデバイス、キーボード３１２等の各種入力インターフェース（以下Ｉ／Ｆと略す）３０４と、電源３０５と、ＣＲＴ （Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイとを接続するための表示Ｉ／Ｆ ３０６と、前記広角カメラ２００や前記カメラアレイ４００などの外部機器を接続するための外部Ｉ／Ｆ ３０７とを、バス３１３を介して接続することにより構成される。
【００４０】
次に、サーバ３００の各構成部について説明する。ＣＰＵ ３０１は、ＨＤＤ ３０３に格納された所定のプログラムにしたがって、広角カメラ２００及びカメラアレイ４００からの映像取得、取得された映像の配信などの各種処理及び制御を行う。ＳＤＲＡＭ ３０２は、ＣＰＵ ３０１の作業領域として利用されるとともに、ＨＤＤ ３０３に格納された各処理プログラムや、Ｗｉｎｄｏｗｓ （登録商標） ＮＴＳｅｒｖｅｒ （米国Ｍｉｃｒｏｓｏｆｔ社の登録商標）などのＯＳ （Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の記憶領域として利用される。
【００４１】
外部Ｉ／Ｆ３０７の一例として各種Ｉ／Ｆボード、ＵＳＢ （Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ １３９４、或いはＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ等の無線Ｉ／Ｆが挙げられる。前記広角の映像データ及び前記カメラアレイ４００により取得される複数の部分映像データは、前記広角カメラ２００及びカメラアレイ４００をＵＳＢ２．０のような高速シリアルインターフェース経由でサーバ３００に接続することにより、同期的に取得することが可能である。
【００４２】
１．２動作
図１０は、図４に示された本実施の形態に係る映像配信システムを、機能別のブロック図に書き直した図である。以下において、図１０に示された各部の動作を具体的に説明する。
【００４３】
１．２．１ 第１撮像部
第１撮像部３１は、上記の１．１．１に記載した広角カメラ２００により構成され、取得され且つデジタル化された広角の映像データを出力する動作を行う。
【００４４】
１．２．２ 第２撮像部
第２撮像部３２は、上記の１．１．２に記載されたカメラアレイ４００により構成され、取得され且つデジタル化された部分映像データを出力する動作を行う。
【００４５】
１．２．３ 変形部
図１１は、実施の形態１における変形部３３の動作を説明する図である。変形部３３は、第１撮像部３１により取得された広角の映像データを、図１１に示すように、通常のカメラで捉えた透視変換像に近い映像 （以下パノラマ映像と呼ぶ）に変形する。一般に、広角の範囲を撮影可能なカメラによって得られる映像は、上述したように、人間の眼で確認できる像の形状と異なり、大きな歪みが含まれるために、後に閲覧するときの便宜を図るために変形処理を施すと好適である。以下、文献 （Ａ．Ｍ．Ｂｒｕｃｋｓｔｅｉｎ ａｎｄ Ｔ．Ｊ．Ｒｉｃｈａｒｄｓｏｎ：“Ｏｍｎｉｖｉｅｗ Ｃａｍｅｒａｓ ｗｉｔｈ Ｃｕｒｖｅｄ Ｓｕｒｆａｃｅ Ｍｉｒｒｏｒｓ”， Ｐｒｏｃ． ｏｆ ｔｈｅ ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｖｉｓｉｏｎ ２０００， ｐｐ．７９−８４）に記載された方法を参考に、広角の映像データ（図７に示したドーナッツ映像を）をパノラマ映像に変形する方法を説明する。
【００４６】
図１２は、双曲面ミラーを使用したカメラにおける映像の変形原理を説明するための図である。また図１２ （ａ）は、変形部３３の動作例を示し、ドーナッツ映像を、横軸を方位角とし且つ縦軸を仰角とする円柱面に映されたパノラマ映像に座標変換する。また図１２（ｂ）は、広角カメラ２００の幾何的構造を示す図であり、図１２（ｂ）の中のカメラの光学系は中心射影モデルである。ここで、図中の各変数の意味は、下記の通りである。
（ｕ， ｖ）：ドーナッツ映像における座標
（ｕ０， ｖ０）：ドーナッツ映像における双曲面ミラーの中心の座標
（θ，φ）：パノラマ映像における座標
ｒ： （ｕ０， ｖ０）から（ｕ， ｖ）への画素単位の距離
ｒｍａｘ：ドーナッツ映像における双曲面ミラーの画素単位の半径
θ：方位角
φ：仰角
ψ：カメラの光軸からの頂角
Ｆ：双曲面ミラーの焦点
Ｆ’：双曲面ミラーと対をなす双曲面の焦点、カメラの光学中心に一致する。
【００４７】
このとき、頂角ψと仰角φとの間に、以下の関係が成立する。
【００４８】
【数１】
【００４９】
【数２】
以下、変形の手順を説明する。
（ｉ）点（ｕ， ｖ）に対応する極座標 （ｒ，θ）を、次式を解くことにより求める。
【００５０】
【数３】
【００５１】
【数４】
【００５２】
【数５】
【００５３】
（ｉｉｉ） （４）式により算出されたψに対応する仰角φを、（１）式により求める。
【００５４】
以上の手順により、双曲面ミラーにより撮影されたドーナッツ映像における任意の点（ｕ，ｖ）を、パノラマ映像における点（θ，φ）に座標変換することができる。すなわち、ドーナッツ映像がパノラマ映像に変形される。
【００５５】
図１３は、変形部３３で使用される座標変換テーブルを説明する図である。撮影からパノラマ映像の配信を一時に行う場合、上記の変形処理に要する計算時間が問題となるため、図１３のように、上記の手順に基づいた座標変換テーブルを予め作成しておくと好適である。図１３の座標変換テーブルにおいては、各点（θ，φ）に対応するドーナッツ映像の座標（ｕ， ｖ）を格納しておく。
【００５６】
以上の変形処理は、前記サーバ３００内の前記ＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該変形処理を施すための所定のプログラムを予め格納しておく。
【００５７】
１．２．４ エンコード部
図１０のエンコード部３４は、図１０の前記第２撮像部３２により取得された部分映像データの少なくとも一つと、前記変形部３３により出力されたパノラマ映像データを、映像配信に適した形式にエンコードする。ここで、映像配信に適した形式として、ＲｅａｌＮｅｔｗｏｒｋｓ社から提供されているＲｅａｌＶｉｄｅｏを使用した場合の動作を説明する。同社より提供されているＲｅａｌＰｒｏｄｕｃｅｒというエンコードプログラムにより、取得された映像データからＲｅａｌＶｉｄｅｏ形式へのエンコードを実行する。ＲｅａｌＰｒｏｄｕｃｅｒは、映像データの取得が継続している限り常に映像や音声をエンコードし続け、エンコードされたデータを連続して配信部３５に送信する。以上のエンコード処理は、前記サーバ３００内の前記ＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３にＲｅａｌＰｒｏｄｕｃｅｒを予めインストールしておく。
【００５８】
１．２．５ 配信部
配信部３５は、クライアントが持つ映像表示端末からの要求に応じて、前記エンコード部３４によりエンコードされた広角の映像データと、少なくとも一つの部分映像データを、インターネットを介して配信する。ここで、映像配信を実行するものとして、ＲｅａｌＮｅｔｗｏｒｋｓ社から提供されているＲｅａｌＳｅｒｖｅｒというプログラムを使用した場合の動作の一例を説明する。
【００５９】
クライアントはサーバ３００に対して、要求対象である部分映像データを、インターネット経由で指示する。ここで、要求対象である部分映像データの選択は、図２の映像選択ボタン６０３を操作することにより行われる。また、インターネットによる通信は、ＴＣＰ （Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）接続、また映像表示端末とサーバ３００との通信はＨＴＴＰ （ＨｙｐｅｒＴｅｘｔＴｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＲＴＳＰを通じて行われる。
【００６０】
クライアントからの要求を受け取ると、サーバ３００は該要求に従って、広角の映像データと所定の部分映像データを、インターネット経由で送信する。このとき、ＵＤＰ （Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）接続によりインターネットによる通信を行い、またＲＤＴ （Ｒｅａｌ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ）を通じて映像データの送信を実行する。
【００６１】
以上の動作により、映像表示端末に配信された映像データは、クライアントが持つ映像表示プログラム （例えばＲｅａｌＮｅｔｗｏｒｋｓ社から提供されているＲｅａｌＰｌａｙｅｒ）により表示される。
【００６２】
２．実施の形態２
また、一方向に曲率をもった曲面ミラーを、広角カメラ２００に使用することもできる。
【００６３】
２．１ 構成
実施の形態２の構成は、上述の実施の形態１と同様に、図４に示されている。
【００６４】
以下、本実施の形態における広角カメラ２００の構成について説明する。なお、サーバ３００及びカメラアレイ４００の構成も、実施の形態１で説明した通りであるので、説明を省略する。
【００６５】
２．１．１ 広角カメラ
図１４は、本実施の形態における広角カメラ２００の構成を示した図である。図１４に示すように、広角カメラ２００は、通常の画角を有するカメラ２１９と一方向に曲率をもったミラー２１１とにより構成されており、全方位を撮影することはできないが、広い範囲のシーンを撮影することができる。図１５は、該ミラー２１１を使用したときのカメラ２１９に映される広角画像の様子を示した図であり、カメラ２１９の背後のシーンを撮影することができる。図１５に示したように、取り込まれる画像は、入射光の水平方向の角度と、撮影される画像の位置の横方向の座標が比例した状態で、横方向に圧縮された形状となっている。また、カメラ２１９自身の画像への写り込みを低減するように改良することも可能である。
【００６６】
上記のように、通常のカメラとミラーの組み合わせにより、安価かつ簡素な構成で広角の映像を撮影することができる。
【００６７】
２．２ 動作
本実施の形態における機能別のブロック図は、上述の実施の形態１と同様に、図１０に示されている。以下において、図１０に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、及び配信部３５の動作は、上述の実施の形態１と同様であるので、説明を省略する。
【００６８】
２．２．１ 変形部
本発明の実施の形態２においては、広角カメラ２００により取得された映像データを、横方向に一様に引き伸ばすだけでパノラマ映像を得ることが可能である。双曲面ミラーを使用した場合と同様に、図１３に示すような座標変換テーブルを作成し、パノラマ映像の各点に対応する変形前の映像の座標（ｕ， ｖ）を格納するようにすればよい。
【００６９】
また、この広角カメラ２００を使用した場合、映像配信システム１００に変形部３３を設けなくとも、映像を表示するクライアント側でパノラマ映像を表示することが可能である。今、横 （水平）方向の撮影範囲が１８０度、縦 （鉛直）方向の撮影範囲が６０度であり、サイズが３５２×２４０画素の映像が、該広角カメラ２００により取得されているとする。この場合、横方向の長さを３倍、すなわち１０５６画素に引き伸ばすことによりパノラマ映像を得ることができる。また、サーバ３００のマシン名を”ｖｉｄｓｅｒｖ”、映像配信システムから配信される広角の映像データ名を”ｍｏｖｉｅ．ｒｍ” （後述するＲｅａｌＶｉｄｅｏというデータ形式）、及び映像表示端末とサーバ３００との通信に使用されるプロトコルをＲＴＳＰ （Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）とする。このとき、該引き伸ばし処理を実行する処理は、図１６に示すように、Ｗ３Ｃ （Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）によって勧告されたＳＭＩＬ （Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｅｄ Ｌａｎｇｕａｇｅ）を用いて記述することができる。図１６に示すように、＜ｒｅｇｉｏｎ＞タグにおいて指定された表示領域の大きさと、関連付けられる映像データ”ｍｏｖｉｅ．ｒｍ”の画像サイズが異なる場合、ｆｉｔ属性を”ｆｉｌｌ”と指定することにより、表示領域のサイズに合わせて、映像データが拡大縮小表示される。すなわち、映像データに対して所望の拡大率を有する表示領域を指定し、かつ属性値を上記のように指定することにより、パノラマ映像を表示することができる。以上の変形処理は、クライアントが持つ映像表示端末において、映像の表示と同時に実行される。すなわち、サーバ３００が変形処理を実行する必要がないので、小さい処理コストで広角の映像データを配信することが可能となる。
【００７０】
２．２．２ エンコード部
エンコード部３４の動作は、上述の実施の形態１と同様であり、前記第２撮像部３２により取得された部分映像データの少なくとも一つ及び前記変形部３３により出力されたパノラマ映像データを、それぞれ映像配信に適した形式にエンコードする。
【００７１】
なお、変形部３３が存在しない場合、エンコード部３４は、前記変形部３３により変形された広角の映像データの代わりに、前記第１撮像部３１により取得された広角の映像データをエンコードする。
【００７２】
３．実施の形態３
本発明の実施の形態３は、前記広角カメラ２００により取得された広角の映像データと、前記カメラアレイ４００により取得された各々の部分映像データとの対応関係を特定する映像配信システムに関するものである。ここでいう「対応関係」の例として、以下のものが挙げられる。
・広角カメラ２００とカメラアレイ４００を構成する各々のカメラ４０１との位置関係
・広角の映像データと各々の部分映像データとの位置関係
上記の対応関係が不明である場合、クライアントにとっては、図２の映像選択ボタン６０３の操作により、部分映像の配信の切り替えを要求しても、所望の部分映像データがサーバ３００より配信される保証はない。この問題を解消するために、映像選択ボタン６０３の左向き矢印ボタンを順に押すと、配信される部分映像データが半時計回りに切り替わるように、カメラアレイ４００を設置するなどの対策が考えられる。しかし、部分映像の切り替え順序と、カメラの配置順序を対応させなくてはならないため、映像配信システム１００の設置作業が面倒になるという問題点がある。
【００７３】
図１７は、クライアントが持つ映像表示端末において、上記の対応関係を利用した表示画面の一例を示す図である。図において、広角の映像６０２の下側にバー６０４が設置され、現在表示されている部分映像６０１に対応する撮影範囲が、黒色のバー６０５で示されている。また、現在表示されている部分映像６０１以外の部分映像の撮影範囲が、それぞれ灰色のバー６０６で示されている。ここで、クライアントは、マウス （図示せず）を操作することによりカーソル６０７を動かし、所定の部分映像を示す灰色のバー６０６の上をクリックすると、サーバ３００に対して配信要求する部分映像の選択情報が送信され、サーバ３００を介して送られるカメラアレイ４００からの部分映像６０１が、該当する部分映像に切り替えられる。このように、上記の対応関係が特定されることにより、映像配信システム１００の設置作業が楽になる。また、クライアントは一層容易に所望の映像を選択することができると共に、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００７４】
本発明の実施の形態３は、このような動作を実現するための映像配信システムに関するものである。
【００７５】
３．１ 構成
前述の実施の形態１と同様に、本発明の実施の形態３の構成は、図４乃至図９に示されている。
【００７６】
３．２ 動作
図１８は、本発明の実施の形態３に係る映像配信システムを、機能別のブロックで示した図であり、図１０に示された前述の実施の形態１のブロック図に更に加えて、特定部３６を追加したものである。以下に、図１８に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、及びエンコード部３４の動作は、前述の実施の形態１と同様であるので、説明を省略する。
【００７７】
３．２．１ 特定部
特定部３６は、前記広角カメラ２００により取得された広角の映像データと、前記カメラアレイ４００により取得された各々の部分映像データとの対応関係を特定する動作を行う。この動作を、以下に説明する。
【００７８】
（１）カメラアレイ４００を構成する各カメラ４０１に付された識別子を利用する方法
図１９は、特定部３６の別の動作例を示す図である。図１９（ａ）に示すように、カメラアレイ４００を構成する各カメラ４０１に識別子４０３を付し、該カメラ４０１を前記広角カメラ２００で捕捉できる位置にそれぞれ配置する。この状態で、前記広角カメラ２００により取得される映像データは、図１９ （ｂ）のようになる。この映像データにおいて、前記識別子４０３が映されている画像座標を検出することにより、広角カメラ２００と各々のカメラ４０１との位置関係を特定することができる。ここで、前記識別子４０３には、
・算用数字を付したシール、
・バーコード、
・カラーコード、
・２次元バーコード、
などを使用することが可能であり、これらの識別子を映像データから読み取る動作は、パターン認識の分野で既に周知技術となっている。
（２）広角カメラ２００及びカメラアレイ４００により取得された映像データを利用する方法
図２０は、特定部３６の別の動作例を示す図である。本動作例においては、広角の映像データと各々の部分映像データとの類似度が高い部分を検出する。
【００７９】
ここで、前記類似度の高い部分を検出する手段として、テンプレートマッチングを利用した場合の動作を説明する。まず、図２０（ａ）のように、カメラアレイ４００により取得される各々の部分映像より、（ ２ＤＸ ＋ １ ）×（ ２ＤＹ ＋ １ ）の大きさのテンプレート６０８を生成する。次に、Ｚ２０（ｂ）のように、該テンプレート６０８を広角の映像６０２上で移動させ、テンプレート６０８と広角の映像６０２における点（ｍ，
ｎ）との正規化相互相関値Ｓを、次式に基づき計算する。
【００８０】
【数６】
・Ｉ１（ｘ， ｙ）：テンプレート上の点（ｘ， ｙ）における濃度
・Ｉ２（ｘ， ｙ）：広角の映像上の点（ｘ， ｙ）における濃度
以上の計算に基づき、正規化相互相関値Ｓが最大となる広角の映像６０２における点（ｍ， ｎ）を求め、該点の位置に対応するカメラ４０１を特定すればよい。以上の動作を、全ての部分映像に対して実行することにより、広角カメラ２００と各々のカメラ４０１との位置関係を特定することができる。
【００８１】
なお、濃度の相互相関に基づいて、映像の類似度を求めると述べたが、これはあくまでも一例である。映像の色空間や輪郭など、別の特徴に基づいて映像の類似度を求めても構わない。
【００８２】
（３）手動で特定する方法
図２１は、本実施の形態３におけるサーバ３００の表示画面を示す図である。この表示画面は、映像配信システム１００を起動し、映像の配信を開始する直前に出現する。その後ユーザは、まず映像選択ボタン６０３を操作することにより、表示される部分映像６０１を切り替える。すると、現在表示されている部分映像６０１と広角の映像６０２との位置関係を手動入力するよう促すメッセージ６０９が、該表示画面において提示される。この時ユーザは、マウス （図示せず）を操作してカーソル６０７を動かし、広角の映像６０２の上の所定の点をクリックすることにより、該位置関係を手動入力する。手動入力が完了すると、広角の映像６０２において、その部分映像６０１に対応する位置に十字形状のポインタ６１０が付される。以上の動作を、全ての部分映像に対して実行することにより、広角の映像６０２と各々の部分映像３０１との位置関係を特定することができる。
【００８３】
この方法は、映像配信の開始から終了に至るまで、広角カメラ２００及びカメラアレイ４００の配置位置が不変である場合に、特に大きな効果を奏する。これに対して、上記（１）乃至（２）の方法は、途中でカメラ４０１の配置位置を変更しても有効である。
【００８４】
以上の処理は、前記サーバ３００内の前記ＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該特定処理を施すための所定のプログラムを予め格納しておく。
【００８５】
３．２．３ 配信部
配信部３５は、クライアントが持つ映像表示端末からの要求に応じて、前記エンコード部３４によりエンコードされた広角の映像データ及び少なくとも一つの部分映像データを、インターネットを介して配信する。このとき、映像データのみならず、前記特定部３６が特定した対応関係を併せて、クライアントに配信すると、映像表示端末において、図１７に示されている表示画面を提示することが可能となるので好適である。映像配信の動作については、前述の実施の形態１と同様である。
【００８６】
４．実施の形態４
本発明の実施の形態４は、前記カメラアレイ４００により取得された各々の部分映像データを自動的に選択する映像配信システムに関するものである。
【００８７】
実施の形態１乃至実施の形態３は、クライアントが配信を要求する部分映像を選択するものであった。しかし、部分映像を毎回手動で選択するのは面倒である。
【００８８】
図２２は、クライアントが持つ映像表示端末において、表示される部分映像６０１が自動的に選択される表示画面を示す図である。図のように、「ＡＵＴＯ」と書かれたチェックボックス６１１をチェックすると、部分映像６０１を自動的に選択して配信するモードに切り替えられる。これに対し、サーバ３００は、発言者などの重要なシーンが映された部分映像を自動的に選択して、広角の映像と共にクライアントに配信する。これにより、クライアントは面倒な操作無しに、配信された映像から、撮影対象となるシーンをより深く理解することができる。
【００８９】
本実施の形態４は、このような動作を実現するための映像配信システムに関するものである。
【００９０】
４．１ 構成
図２３に本発明の実施の形態４に係る映像配信システムの構成を示す。サーバ３００には広角カメラ２００と、カメラアレイ４００と、マイクアレイ５００とが接続され、広角の映像データ及び複数の部分映像データ及び複数の音声データが取得される。サーバ３００により取得された映像データは、インターネットを介して配信され、該インターネットに接続されたクライアントＰＣにおいて表示される。また、サーバ３００により取得された音声データは、後述する映像選択のために使用されるほか、必要に応じてインターネットを介して配信され、該インターネットに接続されたクライアントＰＣにおいて再生される。
【００９１】
次に、上記各部の構成について説明する。なお、広角カメラ２００、カメラアレイ４００、及びサーバ３００の構成は、実施の形態１と同様であるので、説明を省略する。
【００９２】
４．１．１ マイクアレイ
マイクアレイ５００は、少なくとも２つのマイクロフォン５０１−１、５０１−２より構成される。使用されるマイクロフォン５０１−１、５０１−２は、圧電型、容量型 （いわゆるコンデンサマイクロフォン）など様々な種類のものを使用することができる。各々のマイクロフォン５０１−１、５０１−２は、カメラ４０１と同様に、別々に離れて配置されたものであっても、各々のマイクロフォン５０１−１、５０１−２を共通の筐体に固定して配置したものであっても構わない。図２４は、実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図であり、このように、広角カメラ２００とマイクアレイ５００とを１つの筐体に一体化してもよい。図２４に示したように、広角カメラ２００を構成するカメラ部２０１の撮像素子２１４と、マイクアレイ５００を構成するマイクロフォン５０１−１、５０１−２とは、台座２０２に配置されている。
【００９３】
該マイクロフォン５０１−１、５０１−２において取得された音声信号は、マイクロフォン内部でデジタル化された後、サーバ３００に送出される。カメラアレイ４００と同様に、マイクアレイ５００をサーバ３００の外部Ｉ／Ｆ ３０７、具体的にはＵＳＢ２．０のような高速シリアルインターフェースを経由して接続することにより、部分映像と音声とを同期的に取得することが可能である。
【００９４】
４．２ 動作
図２５は、本実施の形態４に係る映像配信システムの、機能別のブロックを示す図である。図１８に示された実施の形態３のブロック図に加えて、音声取得部３７、音源検出部３８、及び映像選択部３９を追加したものである。以下において、図２５に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、及び特定部３６の動作は、前述の実施の形態と同様であるので、説明を省略する。
【００９５】
４．２．１ 音声取得部
音声取得部３７の構成・動作は、前述の４．１．１に記載されたカメラアレイ４００により取得され、デジタル化された音声データを出力するものである。
【００９６】
４．２．２ 音源検出部
音源検出部３８は、前記音声取得部３７により取得された音声データに基づき、発言者のいる位置又は方向を検出するものである。その動作例を、以下において説明する。
【００９７】
（１）マイクアレイ５００に入力される音声の到達時間差による方法
本方法は、複数のマイクロフォン５０１が、ある筐体の既知の位置に固定された場合に有効である。図２６は、本発明の実施の形態４の音源検出部３８の動作原理を説明するための図である。図２６に示すように、２つのマイクロフォン５０１−１、５０１−２（それぞれマイク１、マイク２と便宜的に称することとする）が間隔ｌだけ離れて並んでおり、音声がθ方向から入射する場合、マイク１が出力する音声データｓ１（ｔ）と、マイク１が出力する音声データｓ１（ｔ）との関係は、
【００９８】
【数７】
となり、マイク１の音声データがマイク２の音声データに対して
【００９９】
【外１】
【０１００】
まず、マイク１とマイク２の音声データの到達時間差を検出する。この到達時間差は、例えばマイク１の音声データｓ１（ｔ）とマイク２の音声データｓ２（ｔ＋ｄｔ）との相互相関値により計算される。ここで、相互相関値Ｃ （ｔ， ｄｔ）は、次式により算出される。
【０１０１】
【数８】
【０１０２】
次に、マイクの間隔ｌ、到達時間差ｄｔ及び音速ｖを用いて、音声とマイクロフォンの基線とがなす角θを計算する。
【０１０３】
【数９】
【０１０４】
なお、以上の手順のみでは、マイクロフォン５０１−１、５０１−２の前側の１８０°の範囲しか方向が検出されず、音源方向が特定されない。すなわち、音源検出部３８が出力する角度θは、実際には音声の到達方向と２つのマイク間の基線とがなす角度であり、実際の音声の方向は図２７に示すように、２つのマイクの中点を頂点とする頂角θの円錐の側面上のいずれかに存在している。
【０１０５】
この問題を解消するために、マイク１とマイク２より構成される組と平行でない別のマイクロフォンの組を用いて補正を行う。図２８は、４つのマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４を２組に分けて音源方向を検出する場合の組分けの様子を示した説明図である。図２８示したように、組分けは、あるマイクロフォン５０１−１と５０１−３（例えばマイク１（マイク３））と、そのマイクロフォンと最も距離の離れたマイクロフォン５０１−２と５０１−４（マイク２（マイク４））とを組み合わせる。
【０１０６】
最も距離の離れた２つのマイクの組を用いることで、音声の到達時間差が最大となり、方向検知の精度が向上する。なお、ここでは、マイクアレイ５００には４つのマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４が備わっているが、３つのマイクロフォンによっても、音源方向を精度良く検出できる。図２９は、３つのマイクロフォン５０１−１、５０１−２、５０１−３によってマイクアレイ５００が構成される場合のマイクロフォンの組の採り方を説明する説明図である。図示したように、マイクロフォンを正三角形に配置することにより、どのマイクの組を採用しても、精度良く音源方向を検出することができるようになる。なお、図２９に示した例では、第１の組と第２の組を採用して全方向の音源を検出できるが、補完的に第３の組を使用してもよい。
【０１０７】
（２）指向性マイクアレイによる方法
また、限られた範囲の音声のみを入力可能な指向性マイクロフォンを利用することにより、発言者の方向を検出することも可能である。図３０は、本実施の形態４におけるマイクアレイ５００と音源方向との関係を説明する説明図である。このマイクアレイ５００は、指向性を有するマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４を４つ有し、その音声の強度に基づいて音源方向を決定する。便宜的に４つのマイクロフォン５０１−１、５０１−２、５０１−３、５０１−４をマイク１〜４とする。
【０１０８】
今、音声強度が、マイク１で２０、マイク２で３０、マイク３で２０，マイク４で５という数値であったとする。この場合はマイク２の方向に音源があると判断する。マイク１とマイク３の強度を比較するといずれも同じ値２０であるので、最終的に音源方向はマイク２の方向（図でθ＝４５°と示した方向）と決定する
図３１は、実施の形態４における音源検出部３８の動作の別の例を説明する図である。音声強度がマイク１で１５、マイク２で３０、マイク３で２５、マイク４で５であったとする。この場合はマイク２の方向に音源があると初期判断する。マイク１とマイク３の強度を比較すると、マイク３の強度がマイク１より大きいので、音源方向をマイク２方向からマイク３方向に若干量移動させた方向（図でθ＝３０°と示した方向）と決定する。この方向の移動量は指向性マイクの特性にしたがって予め決定しておけばよい。
【０１０９】
以上で説明した音源検出部３８の機能は、サーバ３００におけるＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムが予め格納されている。
【０１１０】
４．２．３ 映像選択部
映像選択部３９は、前記特定部３６により特定された対応関係と、前記音源検出部３８により検出された発言者の位置又は方向とを用いて、クライアントに配信する部分映像を自動的に選択するものである。
【０１１１】
図３２は、実施の形態４における映像選択部３９の動作の一例を示す図であり、Ａ〜Ｆの６人の参加者２がテーブル１を囲んで会議を開いている様子を上から眺めたものである。テーブル１の上には、広角カメラ２００及びマイクアレイ５００が設置されており、また参加者毎にカメラ４０１（図示せず）が１台設置されている。今、音源検出部３８が検出した音源の方向が、図における矢印３８１のようであったとする。このとき、映像選択部３９は、該音源の方向と、前記特定部３６により特定された広角カメラ２００と各カメラ４０１との対応関係に基づき、該音源の方向に対し最も近くに配置されたカメラ４０１を選択する。すなわち、図においては、参加者Ｅを撮影しているカメラ４０１を選択する。
【０１１２】
以上で説明した映像選択部３９の機能は、サーバ３００におけるＣＰＵ ３０１により実現させることができる。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１１３】
４．２．４ エンコード部
エンコード部３４の動作は、前記映像選択部３９により選択された部分映像データ及び前記変形部３３により出力されたパノラマ映像データを、それぞれ映像配信に適した形式にエンコードする。エンコード動作については、前述の実施の形態１と同様である。
【０１１４】
なお、変形部３３が存在しない場合には、エンコード部３４は、前記変形部３３により変形された広角の映像データの代わりに、前記第１撮像部３１により取得された広角の映像データをエンコードする。
【０１１５】
４．２．５ 配信部
配信部３５は、前記エンコード部３４によりエンコードされた広角の映像データ及び部分映像データを、インターネットを介して配信する。このとき、映像データのみならず、前記特定部３６が特定した対応関係及び前記映像選択部３９が選択した部分映像の撮影範囲を併せて、クライアントに配信すると、映像表示端末において、図２２に示された表示画面を提示することが可能となるので好適である。映像配信の動作については、前述の実施の形態１と同様である。
【０１１６】
５． 実施の形態５
本発明の実施の形態５は、前述の実施の形態４と同様に、前記カメラアレイ４００により取得された各々の部分映像データを自動的に選択する映像配信システムに関するものであり、カメラアレイ４００を構成する各々のカメラ４０１と、マイクアレイ５００を構成する各々のマイクロフォン５０１とを、１対１の対応関係となるよう構成したものである。ここでは「１対１の対応関係」を、「個々のカメラ４０１に対し、略一致する位置又は方角に配置されたマイクロフォン５０１が１つあること」と定義する。
【０１１７】
５．１ 構成
本実施の形態における映像配信システム１００の構成は、前述の実施の形態４と同様に、図２３に示されている。
【０１１８】
次に、上図の各部の構成について説明する。なお、広角カメラ２００及びサーバ３００の構成は、前述の実施の形態１と同様であるので、説明を省略する。
【０１１９】
５．１．１ カメラアレイ及びマイクアレイ
図３３は、本発明の実施の形態５におけるカメラ４０１及びマイクロフォン５０１の外観を示す図である。図示したように、カメラ４０１とマイクロフォン５０１とは、共通の筐体５０２に一体化した構造となっている。また、マイクロフォン５０１は指向性を有し、限られた範囲の音声のみを入力可能である。この一体化されたカメラ４０１及びマイクロフォン５０１を、参加者につき１台設置する。
【０１２０】
５．２ 動作
図３４は、本発明の実施の形態５に係る映像配信システムを、機能別のブロック図に書き直した図であり、図２５に示された実施の形態４のブロック図から音源検出部３８を削除し、また特定部３６から映像選択部３９への接続を削除したものである。第１撮像部３１、第２撮像部３２、変形部３３、エンコード部３４、配信部３５、特定部３６、及び音声取得部３７の動作は、前述の実施の形態４と同様である。
【０１２１】
５．２．１ 映像選択部
前述の一体化されたカメラ４０１及びマイクロフォン５０１を使用することにより、各々のカメラ４０１とマイクロフォン５０１との対応関係が既知である。したがって、映像選択部３９は、最も大きな信号振幅が得られたマイクロフォン５０１に対応するカメラ４０１により取得された部分映像を選択すると良い。
【０１２２】
６． 実施の形態６
本実施の形態は、前述の実施の形態４或は５と同様に、前記カメラアレイ４００により取得された各々の部分映像データを自動的に選択する映像配信システムに関するものである。
【０１２３】
６．１ 構成
前述の実施の形態１乃至３と同様に、図４乃至図９に示される。
【０１２４】
６．２ 動作
図３５は、本発明の実施の形態６に係る映像配信システムを、機能別のブロック図に書き直した図であり、図「１８に示された実施の形態３のブロック図に更に加えて、映像選択部３９及び動き検出部４０を追加したものである。以下において、図３５に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、エンコード部３４、配信部３５、及び特定部３６の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１２５】
６．２．１ 動き検出部
動き検出部４０は、広角の映像データにおける被写体の動きを検出し、映像中の各部位における動きの特徴量を出力するものである。ここで、「動きの特徴量」とは、被写体の動きの大小を指すものとする。
【０１２６】
動画における動きの検出は、前の時刻と現在の時刻のフレーム間の差分をとる方法、オプティカルフローによる方法などの周知技術により実現可能である。これらの技術により、広角の映像データにおいて、被写体が動いた位置及びその動きの大小を検出することができる。この動作によれば、本発明を遠隔監視システムとして使用する場合、動いている被写体を捉えたカメラからの部分映像が配信されるため、好適である。
【０１２７】
また、本実施の形態６に係る映像配信システムが、遠隔会議システムとして使用される場合、参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。唇の動きの検出は、例えば文献 （Ｍ．Ｋａｓｓ， Ａ．Ｗｉｔｋｉｎ ａｎｄ Ｄ．Ｔｅｒｚｏｐｏｕｌｏｓ：“ＳＮＡＫＥＳ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ”， ＩＣＣＶ， ｐｐ．２５９−２６８ （１９８７） ）等の周知技術により実現できる。また、実施の形態４乃至５のように、マイクロフォン５０１が使用できる場合には、音声データに基づく発話区間の抽出結果と併せて唇の動きを検出することにより、発言者の検出精度を向上させることもできる。例えば、当出願人により出願された特開平６−４３８９７公報には、音声データから抽出された音声特徴と、映像データより抽出された顔面の動的視覚特徴とを用いて、会話を認識するシステムが開示されている。この動作により、音声データ中に発話以外の雑音が多く占められる場合でも、一層安定的に発言者の位置又は方向を検出することが可能となる。
【０１２８】
以上で説明した動き検出部４０の機能は、広角カメラ２００の内部に実装してもよいし、またサーバ３００におけるＣＰＵ ３０１により実現させても構わない。後者の場合、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１２９】
６．２．２ 映像選択部
本実施の形態６における映像選択部３９は、前記特定部３６により特定された対応関係と、前記動き検出部４０により検出された被写体の動きの特徴量とを用いて、クライアントに配信する部分映像を自動的に選択するものである。映像選択部３９は、まず該被写体の動きの特徴量に基づき、広角の映像データにおいて最も大きな動きが検出された画像位置を特定する。次に、特定された画像位置と、前記特定部３６により特定された広角カメラ２００と各カメラ４０１との対応関係とに基づき、前述の実施の形態４において説明したのと同様の手順により、該位置に対し最も近くに配置されたカメラ４０１を選択する。これにより、最も大きな動きが検出された被写体を撮影した部分映像を自動的に選択することができる。
【０１３０】
以上で説明した映像選択部３９の機能は、サーバ３００におけるＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３１】
７． 実施の形態７
また、上述の実施の形態６においては、広角の映像において被写体の動きを検出したが、前記カメラアレイ４００により取得された各々の部分映像データにおいて、被写体の動きを検出してもよい。
【０１３２】
７．１ 構成
本発明の実施の形態７の構成は、前述の実施の形態１乃至３と同様に、図４乃至図９に示される。
【０１３３】
７．２ 動作
図３６は、本発明の実施の形態７に係る映像配信システムの、機能別のブロックを示す図である。以下において、図３６に示された各部の動作を具体的に説明する。なお、第１撮像部３１、第２撮像部３２、変形部３３、エンコード部３４、及び配信部３５の動作は、前述の実施の形態と同様であるので、説明を省略する。
【０１３４】
７．２．１ 動き検出部
本実施の形態７における動き検出部４０は、各々の部分映像データにおける被写体の動きを検出し、各部分映像データにおける動きの特徴量を出力するものである。ここで、「動きの特徴量」は、実施の形態６と同様に、被写体の動きの大小を指すものとする。また、各々の部分映像データにおける被写体の動きも、上述の実施の形態６で説明した周知技術により検出する。
【０１３５】
また、本実施の形態に係る映像配信システムが、遠隔会議システムとして使用される場合、部分映像における参加者の唇の動きを検出することにより、発言者の位置又は方向を自動的に検出すると好適である。この動作も、上述の実施の形態６で説明した周知技術により実現可能である。また、本実施の形態では、カメラ４０１により各参加者の顔が大きく撮影されるので、上述の実施の形態６に比較して、より安定的に参加者の唇の動きを検出することができる。
【０１３６】
以上で説明した動き検出部４０の機能は、カメラ４０１の内部に実装してもよいし、またサーバ３００におけるＣＰＵ ３０１により実現させても構わない。後者の場合、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３７】
７．２．２ 映像選択部
本実施の形態における前記映像選択部３９は、前記動き検出部４０により検出された、部分映像における被写体の動きに基づき、クライアントに配信する部分映像を自動的に選択するものである。具体的には、各々の部分映像における被写体の動きの特徴量から、最も大きな動きが検出された部分映像を特定し、これをクライアントに配信する部分映像として自動的に選択する。ここで、本実施の形態は、特定部３６を必ずしも必要としないので、上述の実施の形態６に比較して、より簡単な構成・処理で適切な部分映像を選択することができる。
【０１３８】
以上で説明した映像選択部３９の機能は、サーバ３００におけるＣＰＵ ３０１により実行される。このとき、前記ＨＤＤ ３０３には該機能を実現するための所定のプログラムを予め格納しておく。
【０１３９】
７．３ その他
なお、上述の実施の形態６又は本実施の形態においては、カメラアレイ４００を構成する各々のカメラ４０１が、他のカメラと一部共通する撮影領域を含むと好適である。図３７（ａ）は、各々のカメラが互いに共通する撮影領域を含まない場合における映像表示端末の画面を示す図である。図３７に示すように、参加者Ａが席を立って移動している時、前記映像選択部３９は、該参加者Ａに最も近い撮影領域を含む部分映像（図中、黒色のバー６０５で示されたもの）を自動的に選択する。しかし、該参加者Ａがいずれのカメラ４０１においても撮影されない場所に移動した場合には、重要な被写体が何も写されていない部分映像が選択されてしまう。このように、移動中の被写体を連続的に追跡して映した部分映像を配信できないという問題が生ずる。
【０１４０】
そこで、図３７（ｂ）に示すように、各々のカメラが互いに共通する撮影領域を含むよう配置すれば、この問題を解決することができる。図中、斜線で示されたバーは、２つ以上のカメラ４０１で重複して撮影されている範囲を示す。図８のように、カメラアレイ４００を、各々のカメラ４０１を筐体４０２に固定して構成する場合には、互いの撮影範囲が一部重複するように各々のカメラ４０１を固定するとよい。
【０１４１】
８． 実施の形態８
なお、本発明に係る映像配信システム１００は、ＰＣによりその機能を実現させることができる。この場合は上記各部を実現するソフトウェアをハードディスクに格納し、適宜処理プログラムを実行させることによりその機能を実現させることができる。
【０１４２】
９． 実施の形態９
また、上記プログラムを、ＣＤ−ＲＯＭのような記録媒体に格納することができる。図３８に示されるように、該プログラムを格納したＣＤ−ＲＯＭ ３０８をＰＣに装着し、適宜該プログラムを実行させることによりその機能を実現させることができる。なお、該プログラムを格納する記録媒体としては、上記ＣＤ−ＲＯＭ ３０８に限られず、例えばＤＶＤ−ＲＯＭ等の別の媒体であってもよいことはいうまでもない。
【０１４３】
以上の各実施の形態は、本発明のほんの一例を説明したにすぎず、本発明の権利範囲を上記実施の形態の通りに限定・縮小すべきではない。例えば、各実施の形態において、インターネットを通じて映像データを配信すると説明したが、衛星通信や地上波通信などの別の通信回線を使用しても構わない。
【０１４４】
また、広角カメラ２００、カメラアレイ４００、及びマイクアレイ５００が、ＵＳＢハブに接続されるという構成例を用いて説明したが、これらの接続形態は上記説明に限定されるものではない。例えば、ＰＣＩバス、ＩＥＥＥ １３９４、Ｂｌｕｅｔｏｏｔｈなどの別のインターフェースを使用しても構わない。
【０１４５】
また、広角カメラ２００に使用されるミラー２１１として、双曲面ミラー及び一方向に曲率をもった曲面ミラーを実施の形態に挙げたが、放物面ミラーや円錐ミラーなど、上記以外の形態であっても構わない。
【０１４６】
また、第１撮像部３１の説明において、広角カメラ２００においてデジタル化された映像データを出力すると説明したが、広角カメラ２００がアナログの映像信号を出力するものであっても構わない。この場合、該広角カメラ２００と、アナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の映像データを出力することができる。すなわち、上記実施の形態で説明した第１撮像部３１と同様の動作を実現することができる。
【０１４７】
また、第２撮像部３２の説明において、カメラアレイ４００を構成する各々のカメラ４０１においてデジタル化された部分映像データを出力すると説明したが、これらのカメラ４０１がそれぞれアナログの映像信号を出力するものであっても構わない。この場合、これらのカメラ４０１と、多チャンネルのアナログ映像信号に対してデジタル化処理を施すビデオキャプチャボードとを組み合わせることにより、デジタル形式の部分映像データを出力することができる。すなわち、上記実施の形態で説明した第２撮像部３２と同様の動作を実現することができる。
【０１４８】
また、音声取得部３７の説明において、マイクアレイ５００を構成する各々のマイクロフォン５０１においてデジタル化された音声データを出力すると説明したが、これらのマイクロフォン５０１がそれぞれアナログの音声信号を出力するものであっても構わない。この場合、これらのマイクロフォン５０１と、多チャンネルのアナログ音声信号に対してデジタル化処理を施すオーディオキャプチャボードとを組み合わせることにより、デジタル形式の音声データを出力することができる。すなわち、上記実施の形態で説明した音声取得部３７と同様の動作を実現することができる。
【０１４９】
また、エンコード部３４及び配信部３５が同一のサーバ３００に実装されると説明したが、サーバ３００とは別個にエンコード用ＰＣを設置しても構わない。この場合、エンコードされたデータは、電気通信回線を経由して、該エンコード用ＰＣからサーバ３００に転送される。
【０１５０】
また、エンコード部３４においては、ＲｅａｌＮｅｔｗｏｒｋｓ社により提供されているＲｅａｌＰｒｏｄｕｃｅｒを用いて、映像データをＲｅａｌＶｉｄｅｏ形式に変換すると説明したが、エンコード部の構成はこれに限定されない。例えば、Ｍｉｃｒｏｓｏｆｔ社により提供されているＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａエンコーダというプログラムを用いて、映像データをＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｖｉｄｅｏ形式に変換しても構わない。配信部３５に関しても同様であり、ＲｅａｌＳｅｒｖｅｒの代わりにＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｓｅｒｖｉｃｅなどの別のプログラムを使用しても構わない。
【０１５１】
また、配信部３５の映像配信対象として、クライアントＰＣを例に挙げて説明したが、ＰＤＡ （Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や携帯電話などの端末であっても構わない。このとき、Ｍｉｃｒｏｓｏｆｔ社より提供されているＰＤＡ用のＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｐｌａｙｅｒを使用すれば、該ＰＤＡにおいて、前述のＷｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｖｉｄｅｏ形式の映像データを再生することができる。
【０１５２】
また、動き検出部４０の動作の説明において、「動きの特徴量」は被写体の動きの大小を指すと述べたが、例えば被写体の移動軌跡の形状など、別のものであっても構わない。
【０１５３】
【発明の効果】
本発明によれば、広角の映像を取得する第１撮像部３１と、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第２撮像部３２と、前記広角の映像及び前記第２撮像部３２により取得された映像の少なくとも一つを配信する配信部３５とを備えることにより、簡素な構成・処理で、広範囲の映像を取得・配信すると同時に、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第１の目的が達成される。
【０１５４】
更に本発明によれば、第１撮像部３１により取得された広角の映像と、第２撮像部３２により取得された各々の部分映像との対応関係を特定する特定部３６を備えることにより、閲覧者に対して、高い解像度を持つ所望のシーンの映像を一層容易に選択することが可能となる。すなわち、第２の目的が達成される。
【０１５５】
更に本発明によれば、第２撮像部３２により取得される複数の映像より、所定の映像を選択する映像選択部３９を備えることにより、ユーザに面倒な操作を強いることなく、所望のシーンの映像を高い解像度で取得・配信することが可能となる。すなわち、第３の目的が達成される。
【０１５６】
更に、広角の映像を変形する変形部３３を備えることにより、取得された広範囲の映像を、更に閲覧者に観察しやすい形で表示することが可能となる。すなわち、第４の目的が達成される。
【０１５７】
更に、第２撮像部３２により取得される各々の映像が、少なくとも一の他の映像と一部の共通する領域を含むことにより、更に所望のシーンの映像を高い解像度で漏れなく取得・表示することが可能となる。すなわち、第５の目的が達成される。
【図面の簡単な説明】
【図１】本発明に係る映像配信システムの使用例を示す図である。
【図２】本発明に係る映像表示端末の表示画面の一例を示す図である。
【図３】本発明に係る映像配信システムの別の使用例を示す図である。
【図４】実施の形態１に係る映像配信システムの構成を示す図である。
【図５】実施の形態１に係る広角カメラ２００の構成を示す図である。
【図６】実施の形態１に係る広角カメラ２００の構造を示す図である。
【図７】図６に示された広角カメラ２００により撮影される映像を示す図である。
【図８】実施の形態１に係るカメラアレイ４００の一例を示す図である。
【図９】実施の形態１に係るサーバ３００の構成を示す図である。
【図１０】実施の形態１に係る動作を示すブロック図である。
【図１１】実施の形態１における変形部３３の動作を説明する図である。
【図１２】変形部３３における原理を説明する図である。
【図１３】変形部３３で使用される座標変換テーブルを説明する図である。
【図１４】実施の形態２に係る広角カメラ２００の構成を示す図である。
【図１５】図１４に示された広角カメラ２００により撮影される映像を示す図である。
【図１６】実施の形態２における変形部３３の動作を映像表示と同時に実現する例を示す図である。
【図１７】実施の形態３に係る映像配信システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図１８】実施の形態３に係る動作を示すブロック図である。
【図１９】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図２０】実施の形態３に係る特定部３６の動作の一例を示す図である。
【図２１】実施の形態３に係るサーバ３００の表示画面の一例を示す図である。
【図２２】実施の形態４に係る映像配信システムを使用した場合の映像表示端末の表示画面の一例を示す図である。
【図２３】実施の形態４に係る映像配信システムの構成を示す図である。
【図２４】実施の形態４における広角カメラ２００及びマイクアレイ５００の構成を説明する図である。
【図２５】実施の形態４に係る動作を示すブロック図である。
【図２６】実施の形態４における音源検出部３８の動作原理を説明する図である。
【図２７】実施の形態４における音源検出部３８の問題を説明する図である。
【図２８】実施の形態４におけるマイクロフォン５０１の配置例を説明する図である。
【図２９】実施の形態４におけるマイクロフォン５０１の別の配置例を説明する図である。
【図３０】実施の形態４における音源検出部３８の動作を説明する図である。
【図３１】実施の形態４における音源検出部３８の動作を説明する図である。
【図３２】実施の形態４における映像選択部３９の動作を説明する図である。
【図３３】実施の形態５におけるカメラ４０１の構成を示す図である。
【図３４】実施の形態５に係る動作を示すブロック図である。
【図３５】実施の形態６に係る動作を示すブロック図である。
【図３６】実施の形態７に係る動作を示すブロック図である。
【図３７】実施の形態６及び７に係る映像配信システムを使用した場合の問題を示す図である。
【図３８】実施の形態９に係る構成例を示す図である。
【符号の説明】
１ テーブル
２ 参加者
３ キャビネット
３１ 第１撮像部
３２ 第２撮像部
３３ 変形部
３４ エンコード部
３５ 配信部
３６ 特定部
３７ 音声取得部
３８ 音源検出部
３９ 映像選択部
４０ 動き検出部
２００ 広角カメラ
２１１ ミラー
２１２ レンズ
２１３ 絞り
２１４ 撮像素子
２１５ 駆動部
２１６ 前処理回路
２１７ モータ駆動部
３００ サーバ
３１０ バス
３２０ ＵＳＢハブ
３３０ インターネット
３５０ クライアントＰＣ
４００ カメラアレイ
４０１−１から４０１−４ カメラ
５００ マイクアレイ
５０１ マイクロフォン
６００ 表示用ウィンドウ
Claims (9)
- 広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有することを特徴とする映像配信システム。 - 広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記広角の映像と前記第二の撮像手段により取得された各々の映像との対応関係を特定する特定手段と、
前記第二の撮像手段により取得された映像の少なくとも一つ及び前記広角の映像を配信する配信手段とを有することを特徴とする映像配信システム。 - 前記第二の撮像手段を構成する複数のカメラは各々識別子が付されており、
前記第一の撮像手段は、前記複数のカメラに付された識別子を撮影範囲に含み、
前記特定手段は、前記広角の映像において含まれる識別子の撮影位置に基づき、前記対応関係を特定するものであることを特徴とする請求項２に記載の映像配信システム。 - 前記特定手段は、前記広角の映像と前記第二の撮像手段により取得された各々の映像との類似度に基づき、前記対応関係を特定するものであることを特徴とする請求項２に記載の映像配信システム。
- 広角の映像を取得する第一の撮像手段と、
複数のカメラにより構成され、互いに異なる所定の領域が撮影された複数の映像を同期的に取得する第二の撮像手段と、
前記第二の撮像手段により取得された複数の映像より所定の映像を選択する映像選択手段と、
前記映像選択手段により選択された所定の映像及び前記広角の映像を配信する配信手段とを有することを特徴とする映像配信システム。 - 更に、音声を入力する複数のマイクロフォンと
前記複数のマイクロフォンにより入力された音声に基づいて音源の位置又は方向を検出する音源検出手段とを有し、
前記映像選択手段は、前記音源検出手段により出力された音源の位置若しくは方向に基づいて、前記所定の映像を選択するものであることを特徴とする請求項５に記載の映像配信システム。 - 更に、前記広角の映像又は前記第二の撮像手段により取得された複数の映像における被写体の動きを検出する動き検出手段を有し、
前記映像選択手段は、前記動き検出手段により出力された被写体の動きに基づいて、前記所定の映像を選択するものであることを特徴とする請求項５或は６に記載の映像配信システム。 - コンピュータに、請求項１乃至７の何れか一に記載の映像配信システムの各手段に係る処理を実行させることを特徴とするプログラム。
- 請求項１乃至７の何れか一に記載の映像配信システムの各手段に係る処理を実行するための、コンピュータ読み取り可能なプログラムソフトウェアを記録することを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160646A JP4373645B2 (ja) | 2002-05-31 | 2002-05-31 | 映像配信システム、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002160646A JP4373645B2 (ja) | 2002-05-31 | 2002-05-31 | 映像配信システム、プログラム及び記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004007283A true JP2004007283A (ja) | 2004-01-08 |
| JP2004007283A5 JP2004007283A5 (ja) | 2006-03-16 |
| JP4373645B2 JP4373645B2 (ja) | 2009-11-25 |
Family
ID=30429987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002160646A Expired - Fee Related JP4373645B2 (ja) | 2002-05-31 | 2002-05-31 | 映像配信システム、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4373645B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006148787A (ja) * | 2004-11-24 | 2006-06-08 | Opt Kk | 全方位撮影装置 |
| JP2010034812A (ja) * | 2008-07-29 | 2010-02-12 | National Institute Of Advanced Industrial & Technology | 全周映像のための表示技術 |
| JP2010192971A (ja) * | 2009-02-16 | 2010-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体 |
| JP2014106888A (ja) * | 2012-11-29 | 2014-06-09 | Brother Ind Ltd | 作業補助システムおよびプログラム |
| US10255704B2 (en) | 2015-07-27 | 2019-04-09 | Ricoh Company, Ltd. | Video delivery terminal, non-transitory computer-readable medium, and video delivery method |
| US10264302B2 (en) | 2016-09-30 | 2019-04-16 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information |
| US10721116B2 (en) | 2016-09-30 | 2020-07-21 | Ricoh Company, Ltd. | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium |
| US10778865B2 (en) | 2017-02-09 | 2020-09-15 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, and image processing method |
| US11558431B2 (en) | 2017-01-05 | 2023-01-17 | Ricoh Company, Ltd. | Communication terminal, communication system, communication method, and display method |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0560047U (ja) * | 1992-01-24 | 1993-08-06 | 株式会社ダイワ | デュアル型ビデオカメラ監視装置 |
| JPH0624424A (ja) * | 1992-07-02 | 1994-02-01 | Kuwabara Yasunaga | 容器向き位置合わせ方法 |
| JPH0918849A (ja) * | 1995-07-04 | 1997-01-17 | Matsushita Electric Ind Co Ltd | 撮影装置 |
| JPH0998406A (ja) * | 1995-10-02 | 1997-04-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理システム |
| JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
| JPH10136246A (ja) * | 1996-10-25 | 1998-05-22 | Canon Inc | カメラ制御システム、及び該システムにおけるカメラ管理装置及び方法、及びカメラ操作装置及び方法、及び記憶媒体 |
| JPH10145763A (ja) * | 1996-11-15 | 1998-05-29 | Mitsubishi Electric Corp | 会議システム |
| JPH11261884A (ja) * | 1998-03-10 | 1999-09-24 | Hitachi Ltd | パノラマ映像放送方法および放送受信装置 |
| JPH11331827A (ja) * | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
| JP2000032319A (ja) * | 1998-07-08 | 2000-01-28 | Canon Inc | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 |
| JP2001128057A (ja) * | 1999-09-07 | 2001-05-11 | Fuji Xerox Co Ltd | カメラ制御用ユーザインタフェースシステム |
| JP2001145096A (ja) * | 1999-11-15 | 2001-05-25 | Sony Corp | 映像表示形態の制御装置及び映像表示形態の制御方法 |
| JP2001251608A (ja) * | 2000-03-07 | 2001-09-14 | Nec Eng Ltd | 遠隔監視用カメラシステム |
-
2002
- 2002-05-31 JP JP2002160646A patent/JP4373645B2/ja not_active Expired - Fee Related
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0560047U (ja) * | 1992-01-24 | 1993-08-06 | 株式会社ダイワ | デュアル型ビデオカメラ監視装置 |
| JPH0624424A (ja) * | 1992-07-02 | 1994-02-01 | Kuwabara Yasunaga | 容器向き位置合わせ方法 |
| JPH0918849A (ja) * | 1995-07-04 | 1997-01-17 | Matsushita Electric Ind Co Ltd | 撮影装置 |
| JPH0998406A (ja) * | 1995-10-02 | 1997-04-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理システム |
| JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
| JPH10136246A (ja) * | 1996-10-25 | 1998-05-22 | Canon Inc | カメラ制御システム、及び該システムにおけるカメラ管理装置及び方法、及びカメラ操作装置及び方法、及び記憶媒体 |
| JPH10145763A (ja) * | 1996-11-15 | 1998-05-29 | Mitsubishi Electric Corp | 会議システム |
| JPH11261884A (ja) * | 1998-03-10 | 1999-09-24 | Hitachi Ltd | パノラマ映像放送方法および放送受信装置 |
| JPH11331827A (ja) * | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
| JP2000032319A (ja) * | 1998-07-08 | 2000-01-28 | Canon Inc | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 |
| JP2001128057A (ja) * | 1999-09-07 | 2001-05-11 | Fuji Xerox Co Ltd | カメラ制御用ユーザインタフェースシステム |
| JP2001145096A (ja) * | 1999-11-15 | 2001-05-25 | Sony Corp | 映像表示形態の制御装置及び映像表示形態の制御方法 |
| JP2001251608A (ja) * | 2000-03-07 | 2001-09-14 | Nec Eng Ltd | 遠隔監視用カメラシステム |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006148787A (ja) * | 2004-11-24 | 2006-06-08 | Opt Kk | 全方位撮影装置 |
| JP2010034812A (ja) * | 2008-07-29 | 2010-02-12 | National Institute Of Advanced Industrial & Technology | 全周映像のための表示技術 |
| JP2010192971A (ja) * | 2009-02-16 | 2010-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 選択領域符号化映像データ配信方法、符号化映像データ復号方法、配信サーバ、再生端末、プログラムおよび記録媒体 |
| JP2014106888A (ja) * | 2012-11-29 | 2014-06-09 | Brother Ind Ltd | 作業補助システムおよびプログラム |
| US10255704B2 (en) | 2015-07-27 | 2019-04-09 | Ricoh Company, Ltd. | Video delivery terminal, non-transitory computer-readable medium, and video delivery method |
| US10264302B2 (en) | 2016-09-30 | 2019-04-16 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information |
| US10721116B2 (en) | 2016-09-30 | 2020-07-21 | Ricoh Company, Ltd. | Communication terminal, method for controlling display of image, and non-transitory computer-readable storage medium |
| US10979751B2 (en) | 2016-09-30 | 2021-04-13 | Ricoh Company, Ltd. | Communication management apparatus, method and computer-readable storage medium for generating image data identification information communication |
| US11558431B2 (en) | 2017-01-05 | 2023-01-17 | Ricoh Company, Ltd. | Communication terminal, communication system, communication method, and display method |
| US10778865B2 (en) | 2017-02-09 | 2020-09-15 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4373645B2 (ja) | 2009-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
| US11736801B2 (en) | Merging webcam signals from multiple cameras | |
| US20100118112A1 (en) | Group table top videoconferencing device | |
| US10079996B2 (en) | Communication system, communication device, and communication method | |
| US20040008423A1 (en) | Visual teleconferencing apparatus | |
| JP4451892B2 (ja) | 映像再生装置、映像再生方法、及び映像再生プログラム | |
| JP2003018561A (ja) | 広角画像録画再生システム、会議録画再生システム、広角画像送出装置、会議画像送出装置、広角画像再生装置、会議画像再生装置、広角画像録画再生方法、会議録画再生方法、広角画像送出方法、会議画像送出方法、広角画像再生方法、会議画像再生方法およびプログラム | |
| JP2007531333A (ja) | ひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システム | |
| US11076127B1 (en) | System and method for automatically framing conversations in a meeting or a video conference | |
| TW201734948A (zh) | 用於在廣角圖像系統中生成相關的音頻和視覺信號的方法、系統及設備 | |
| WO2008010345A1 (fr) | Système de photographie d'image panoramique et procédé de photographie d'image panoramique | |
| US9007531B2 (en) | Methods and apparatus for expanding a field of view in a video communication session | |
| JP4373645B2 (ja) | 映像配信システム、プログラム及び記録媒体 | |
| JP2007288354A (ja) | カメラ装置、画像処理装置および画像処理方法 | |
| JP2003111041A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP3954439B2 (ja) | 映像記録システム、プログラム及び記録媒体 | |
| JP2009182980A (ja) | 会議画像再生装置および会議画像再生方法 | |
| JP4649640B2 (ja) | 画像処理方法、画像処理装置、及びコンテンツ作成システム | |
| US11825191B2 (en) | Method for assisting the acquisition of media content at a scene | |
| JP2009182979A (ja) | 会議画像再生装置および会議画像再生方法 | |
| US11076224B2 (en) | Processing of data of a video sequence in order to zoom to a speaker detected in the sequence | |
| US11805231B2 (en) | Target tracking method applied to video transmission | |
| JP2002262138A (ja) | 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器 | |
| JP2002152719A (ja) | 曲面像を利用したモニタ方法及びモニタ装置 | |
| JP2017092950A (ja) | 情報処理装置、会議システム、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090817 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090901 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |