JP2000032319A - カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 - Google Patents
カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体Info
- Publication number
- JP2000032319A JP2000032319A JP10192682A JP19268298A JP2000032319A JP 2000032319 A JP2000032319 A JP 2000032319A JP 10192682 A JP10192682 A JP 10192682A JP 19268298 A JP19268298 A JP 19268298A JP 2000032319 A JP2000032319 A JP 2000032319A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- wide
- angle
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 ＴＶ会議や遠隔監視などの際に、利用者の希
望するカメラ姿勢等を簡単かつ瞬時に指示できるように
する。 【解決手段】 雲台付きカメラ１１０で撮影した映像
と、雲台付きカメラ１１０で撮影できる全範囲を広角カ
メラ１０１により撮影した映像とをＰＣ１０９に伝送
し、それぞれを表示するようにすることにより、ＰＣ１
０９の利用者が、自分がいま所望する詳細な映像だけで
なく、その周辺の映像もほぼリアルタイムに近い形で見
ることができるようにして、これらの表示を見ながら雲
台付きカメラ１１０の撮影姿勢を遠隔制御することで、
詳細画像の表示をその周辺の状況変化等に応じて瞬時に
変えることができるようにする。
望するカメラ姿勢等を簡単かつ瞬時に指示できるように
する。 【解決手段】 雲台付きカメラ１１０で撮影した映像
と、雲台付きカメラ１１０で撮影できる全範囲を広角カ
メラ１０１により撮影した映像とをＰＣ１０９に伝送
し、それぞれを表示するようにすることにより、ＰＣ１
０９の利用者が、自分がいま所望する詳細な映像だけで
なく、その周辺の映像もほぼリアルタイムに近い形で見
ることができるようにして、これらの表示を見ながら雲
台付きカメラ１１０の撮影姿勢を遠隔制御することで、
詳細画像の表示をその周辺の状況変化等に応じて瞬時に
変えることができるようにする。
Description
【０００１】
【発明の属する技術分野】本発明はカメラ制御システ
ム、カメラ制御方法、カメラ制御装置、及びこれらに用
いる画像処理装置、記録媒体に関し、特に、カメラから
入力されデジタル処理装置で処理された動画像データを
遠隔で利用する映像データの通信処理システム、例えば
ＴＶ会議システムや映像監視システムに用いて好適なも
のである。
ム、カメラ制御方法、カメラ制御装置、及びこれらに用
いる画像処理装置、記録媒体に関し、特に、カメラから
入力されデジタル処理装置で処理された動画像データを
遠隔で利用する映像データの通信処理システム、例えば
ＴＶ会議システムや映像監視システムに用いて好適なも
のである。
【０００２】
【従来の技術】従来、ＴＶ会議や監視カメラなどの分野
においては、カメラと、そのパラメータ等を遠隔からネ
ットワークを介して制御可能なユーザ端末とによりシス
テムが構成され、ユーザが遠隔のカメラを遠隔から制御
し、撮影された映像を受信して表示できるように構成さ
れていた。そして、カメラとしては、撮影姿勢を可変と
するために雲台付きカメラが用いられていた。
においては、カメラと、そのパラメータ等を遠隔からネ
ットワークを介して制御可能なユーザ端末とによりシス
テムが構成され、ユーザが遠隔のカメラを遠隔から制御
し、撮影された映像を受信して表示できるように構成さ
れていた。そして、カメラとしては、撮影姿勢を可変と
するために雲台付きカメラが用いられていた。
【０００３】この雲台付きカメラは、専用のコントロー
ラを用いて、左右のパン、上下のチルトをボタンやジョ
イスティックで制御する方式をとっていた。また近年で
は、コンピュータのディスプレイ上に専用のコントロー
ラをＧＵＩ等によって擬似的に表示し、それをマウス等
で制御することも行われていた。
ラを用いて、左右のパン、上下のチルトをボタンやジョ
イスティックで制御する方式をとっていた。また近年で
は、コンピュータのディスプレイ上に専用のコントロー
ラをＧＵＩ等によって擬似的に表示し、それをマウス等
で制御することも行われていた。
【０００４】また、監視カメラの多くは、雲台が付けら
れていても、あらかじめ決められた動きで雲台が制御さ
れ、あらかじめ決められた何箇所かの映像を監視するよ
うに構成されていた。
れていても、あらかじめ決められた動きで雲台が制御さ
れ、あらかじめ決められた何箇所かの映像を監視するよ
うに構成されていた。
【０００５】
【発明が解決しようとする課題】しかしながら、これら
従来のシステムでは、伝送されてくる映像は、ある時点
で雲台付きカメラにより実際に撮影された映像だけであ
ったので、その周りの状態は見ることができず、雲台を
動かした後の映像を事前に直感することができなかっ
た。そのため、所望の位置を撮影するためには、送られ
てきた映像を見て何度も雲台の位置を修正する必要があ
った。
従来のシステムでは、伝送されてくる映像は、ある時点
で雲台付きカメラにより実際に撮影された映像だけであ
ったので、その周りの状態は見ることができず、雲台を
動かした後の映像を事前に直感することができなかっ
た。そのため、所望の位置を撮影するためには、送られ
てきた映像を見て何度も雲台の位置を修正する必要があ
った。
【０００６】ところで、カメラマンがカメラを持って撮
影現場で撮影をする場合は、片方の眼でカメラのファイ
ンダを覗いているが、もう片方では周辺を観察してお
り、次に撮影したいアングルにカメラを瞬時に向けるこ
とができる。このようなことができるのは、カメラマン
が、実際に撮影しているファインダ内の映像だけでな
く、他に撮影する可能性のある周辺も同時に見ているか
らである。
影現場で撮影をする場合は、片方の眼でカメラのファイ
ンダを覗いているが、もう片方では周辺を観察してお
り、次に撮影したいアングルにカメラを瞬時に向けるこ
とができる。このようなことができるのは、カメラマン
が、実際に撮影しているファインダ内の映像だけでな
く、他に撮影する可能性のある周辺も同時に見ているか
らである。
【０００７】このように、ＴＶ会議や遠隔監視などにお
いて、映像を見ながら遠隔の雲台付きカメラの姿勢制御
を対話的に行いたいとき、カメラが運動して撮影できる
すべての領域の映像を見ながら雲台を制御すれば、利用
者は、あたかも上述のカメラマンのようにカメラを持っ
てその場所に居ながら撮影範囲を制御しているかのよう
に感じられ、容易に操作することができる。
いて、映像を見ながら遠隔の雲台付きカメラの姿勢制御
を対話的に行いたいとき、カメラが運動して撮影できる
すべての領域の映像を見ながら雲台を制御すれば、利用
者は、あたかも上述のカメラマンのようにカメラを持っ
てその場所に居ながら撮影範囲を制御しているかのよう
に感じられ、容易に操作することができる。
【０００８】そのために従来とられてきた方法は、まず
カメラを動かして撮影可能な領域をすべて撮影し、それ
らの画像を画像処理によって１枚の画像にする。そし
て、利用者がこれにより得られる静止画を見ながらカメ
ラの撮影姿勢やズームを制御するものであった。
カメラを動かして撮影可能な領域をすべて撮影し、それ
らの画像を画像処理によって１枚の画像にする。そし
て、利用者がこれにより得られる静止画を見ながらカメ
ラの撮影姿勢やズームを制御するものであった。
【０００９】しかしながら、このような画像処理で生成
できる全体領域の画像は静止画像であり、リアルタイム
な映像ではない。そのため、例えばＴＶ会議において発
言を求めている参加者にカメラを向けたり、遠隔監視に
おいて急な侵入者にカメラを向けるなどといったよう
に、撮影したいアングルにカメラを瞬時に向けることが
最も必要とされる場合が十分に支援されないという問題
があった。
できる全体領域の画像は静止画像であり、リアルタイム
な映像ではない。そのため、例えばＴＶ会議において発
言を求めている参加者にカメラを向けたり、遠隔監視に
おいて急な侵入者にカメラを向けるなどといったよう
に、撮影したいアングルにカメラを瞬時に向けることが
最も必要とされる場合が十分に支援されないという問題
があった。
【００１０】本発明は、このような問題を解決するため
に成されたものであり、ＴＶ会議や遠隔監視などの際
に、利用者の希望するカメラ姿勢等を簡単かつ瞬時に指
示できるようにすることを目的とする。
に成されたものであり、ＴＶ会議や遠隔監視などの際
に、利用者の希望するカメラ姿勢等を簡単かつ瞬時に指
示できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】本発明のカメラ制御シス
テムは、撮影状態を制御可能な可制御カメラを備えてい
る第１の装置に、上記可制御カメラで撮影できる全範囲
を一度に撮影できる広角カメラを備え、両カメラで撮影
された画像を第１の装置から第２の装置に伝送して表示
するようにする。また、この広角カメラの画像は、超広
角レンズによる画像である場合、画像処理によって歪み
を除去する。また、広角カメラの画像データを第２の装
置に送るとき、画像のフレーム中に画像の形式もしくは
データの形式でその時刻の撮影状態情報を重畳する。ま
た、第１の装置が２つ以上の広角レンズを持つ場合、画
像処理によってそれらの画像を合成して伝送する。上記
のように構成した本発明によれば、第２の装置で広角カ
メラによる撮影画像を表示しながら可制御カメラを遠隔
操作でき、可制御カメラがどの方向を向いているか等を
直感的に知ることができる。
テムは、撮影状態を制御可能な可制御カメラを備えてい
る第１の装置に、上記可制御カメラで撮影できる全範囲
を一度に撮影できる広角カメラを備え、両カメラで撮影
された画像を第１の装置から第２の装置に伝送して表示
するようにする。また、この広角カメラの画像は、超広
角レンズによる画像である場合、画像処理によって歪み
を除去する。また、広角カメラの画像データを第２の装
置に送るとき、画像のフレーム中に画像の形式もしくは
データの形式でその時刻の撮影状態情報を重畳する。ま
た、第１の装置が２つ以上の広角レンズを持つ場合、画
像処理によってそれらの画像を合成して伝送する。上記
のように構成した本発明によれば、第２の装置で広角カ
メラによる撮影画像を表示しながら可制御カメラを遠隔
操作でき、可制御カメラがどの方向を向いているか等を
直感的に知ることができる。
【００１２】
【発明の実施の形態】（第一の実施形態）図１は、本発
明の一実施形態に係るカメラ制御システムの概略構成を
示すブロック図である。図１において、１０１は広い画
角を撮影可能な広角カメラ、１０２は広角カメラ１０１
で撮影した映像をデジタル化する画像デジタル化回路、
１０３はデジタル化された映像を処理する画像処理回
路、１０４は映像を符号化する画像符号化回路である。
明の一実施形態に係るカメラ制御システムの概略構成を
示すブロック図である。図１において、１０１は広い画
角を撮影可能な広角カメラ、１０２は広角カメラ１０１
で撮影した映像をデジタル化する画像デジタル化回路、
１０３はデジタル化された映像を処理する画像処理回
路、１０４は映像を符号化する画像符号化回路である。
【００１３】また、１０５はＣＰＵ、メモリ、ネットワ
ークアダプタ等から成る通信制御回路、１０６は雲台付
きカメラ１１０が備えるズームカメラ、１０７は雲台付
きカメラ１１０が備える雲台、１０８は雲台付きカメラ
１１０で撮影された映像をデジタル化する画像デジタル
化回路、１０９はネットワークを介して遠隔に置かれた
第２の装置である。なお、この第２の装置１０９に対し
て上記１０１〜１０８で構成されるのが第１の装置であ
る。
ークアダプタ等から成る通信制御回路、１０６は雲台付
きカメラ１１０が備えるズームカメラ、１０７は雲台付
きカメラ１１０が備える雲台、１０８は雲台付きカメラ
１１０で撮影された映像をデジタル化する画像デジタル
化回路、１０９はネットワークを介して遠隔に置かれた
第２の装置である。なお、この第２の装置１０９に対し
て上記１０１〜１０８で構成されるのが第１の装置であ
る。
【００１４】この第２の装置１０９について詳しくは述
べないが、ネットワークに接続し、ハイパーテキストデ
ータを表示するなどの機能を持つ既存のパーソナルコン
ピュータ（ＰＣ）やネットワークＰＣ、あるいはワーク
ステーションなどで構成される。本実施形態において
は、第２の装置１０９として、ＪＰＥＧ画像などの表示
ソフトを使ってデジタル画像を表示できるＰＣを使って
説明する。
べないが、ネットワークに接続し、ハイパーテキストデ
ータを表示するなどの機能を持つ既存のパーソナルコン
ピュータ（ＰＣ）やネットワークＰＣ、あるいはワーク
ステーションなどで構成される。本実施形態において
は、第２の装置１０９として、ＪＰＥＧ画像などの表示
ソフトを使ってデジタル画像を表示できるＰＣを使って
説明する。
【００１５】図２は、本実施形態によるＰＣ１０９への
映像の表示例を示す図である。ここに示すように、映像
はマルチウィンドウシステムの上に表示されている。図
２において、２０１はディスプレイ、２０２は雲台付き
カメラ１１０によって撮像された映像を表示する詳細映
像表示ウィンドウ、２０３は広角カメラ１０１によって
撮像された映像を表示するパノラマ映像表示ウィンドウ
である。
映像の表示例を示す図である。ここに示すように、映像
はマルチウィンドウシステムの上に表示されている。図
２において、２０１はディスプレイ、２０２は雲台付き
カメラ１１０によって撮像された映像を表示する詳細映
像表示ウィンドウ、２０３は広角カメラ１０１によって
撮像された映像を表示するパノラマ映像表示ウィンドウ
である。
【００１６】また、２０４は詳細映像が全体映像（パノ
ラマ映像）の中のどこに対応するかを示すための指示枠
であり、パノラマ映像表示ウィンドウ２０３上に重畳し
て表示される。２０５はズームカメラ１０６のズーム制
御を行うためのＧＵＩによるスライダバー、２０６は雲
台付きカメラ１１０の制御権を取得するためのＧＵＩボ
タンである。
ラマ映像）の中のどこに対応するかを示すための指示枠
であり、パノラマ映像表示ウィンドウ２０３上に重畳し
て表示される。２０５はズームカメラ１０６のズーム制
御を行うためのＧＵＩによるスライダバー、２０６は雲
台付きカメラ１１０の制御権を取得するためのＧＵＩボ
タンである。
【００１７】図３は、本実施形態によるデータの流れを
模式的にタイムチャートに表したものである。図３（図
１も同様）において、１１２は広角カメラ１０１により
撮影された映像信号、１１４は画像符号化回路１０４に
より圧縮符号化された映像信号、１１６は雲台付きカメ
ラ１１０により撮影された映像信号、１１８はズームカ
メラ１０６および雲台１０７を制御するための制御信号
である。
模式的にタイムチャートに表したものである。図３（図
１も同様）において、１１２は広角カメラ１０１により
撮影された映像信号、１１４は画像符号化回路１０４に
より圧縮符号化された映像信号、１１６は雲台付きカメ
ラ１１０により撮影された映像信号、１１８はズームカ
メラ１０６および雲台１０７を制御するための制御信号
である。
【００１８】また、１１５はネットワーク上を流れるネ
ットワーク信号であり、これは、雲台カメラ映像要求信
号１１５(a) 、雲台カメラ符号化映像信号１１５(b) 、
広角カメラ映像要求信号１１５(c) 、雲台・ズーム制御
信号１１５(d) 、広角カメラ符号化映像信号１１５(e)
の５つに分かれる。なお、図３において横軸は時間を表
している。
ットワーク信号であり、これは、雲台カメラ映像要求信
号１１５(a) 、雲台カメラ符号化映像信号１１５(b) 、
広角カメラ映像要求信号１１５(c) 、雲台・ズーム制御
信号１１５(d) 、広角カメラ符号化映像信号１１５(e)
の５つに分かれる。なお、図３において横軸は時間を表
している。
【００１９】図４は、広角カメラ１０１で撮影される映
像を模式的に示したものである。本実施形態では、広角
カメラ１０１として、正射影方式の魚眼レンズを持つカ
メラを用いた場合について説明する。
像を模式的に示したものである。本実施形態では、広角
カメラ１０１として、正射影方式の魚眼レンズを持つカ
メラを用いた場合について説明する。
【００２０】図４（ａ）は、魚眼レンズに入る光を模式
的に３次元で示したものであり、Ａ〜Ｆは光軸を通る平
面に対して垂直に立てられた柱である。柱Ａは光軸に対
して０°、柱Ｂは光軸に対して１０°の角度を成して立
てられており、以下Ｃ，Ｄ，Ｅ，Ｆの各柱は各々光軸に
対して３０°、４５°、６０°、９０°の角度を成して
立てられている。各柱Ａ〜Ｆの魚眼レンズまでの距離は
全て同じである。
的に３次元で示したものであり、Ａ〜Ｆは光軸を通る平
面に対して垂直に立てられた柱である。柱Ａは光軸に対
して０°、柱Ｂは光軸に対して１０°の角度を成して立
てられており、以下Ｃ，Ｄ，Ｅ，Ｆの各柱は各々光軸に
対して３０°、４５°、６０°、９０°の角度を成して
立てられている。各柱Ａ〜Ｆの魚眼レンズまでの距離は
全て同じである。
【００２１】図４（ｂ）は、図４（ａ）に示した各柱Ａ
〜Ｆを魚眼レンズで撮影して得られる画像を示してい
る。図４（ｂ）中のＡ′〜Ｆ′は、それぞれ図４（ａ）
の各柱Ａ〜Ｆの像である。図４（ｃ）は、図４（ａ）に
示した各柱Ａ〜Ｆを各々の像の光軸に対する角度が一定
となるように表現したパノラマ映像を示している。図４
（ｃ）中のＡ″〜Ｆ″は、それぞれ図４（ａ）に示した
各柱Ａ〜Ｆの像である。
〜Ｆを魚眼レンズで撮影して得られる画像を示してい
る。図４（ｂ）中のＡ′〜Ｆ′は、それぞれ図４（ａ）
の各柱Ａ〜Ｆの像である。図４（ｃ）は、図４（ａ）に
示した各柱Ａ〜Ｆを各々の像の光軸に対する角度が一定
となるように表現したパノラマ映像を示している。図４
（ｃ）中のＡ″〜Ｆ″は、それぞれ図４（ａ）に示した
各柱Ａ〜Ｆの像である。
【００２２】図５は、広角カメラ１０１により撮影され
た映像に対応するパノラマ映像を示した図である。図５
において、５１は魚眼レンズによって撮影された半天の
映像、５２は半天映像５１のうち実世界で横方向に±９
０°、縦方向に±３０°の範囲を示したものである。５
４は実際に表示に用いられるパノラマ映像、矢印５３，
５５は画像処理の方向を示したものである。また、括弧
()で括られた数値は、各映像上の座標位置を示したもの
である。
た映像に対応するパノラマ映像を示した図である。図５
において、５１は魚眼レンズによって撮影された半天の
映像、５２は半天映像５１のうち実世界で横方向に±９
０°、縦方向に±３０°の範囲を示したものである。５
４は実際に表示に用いられるパノラマ映像、矢印５３，
５５は画像処理の方向を示したものである。また、括弧
()で括られた数値は、各映像上の座標位置を示したもの
である。
【００２３】以下、本実施形態の動作を図１〜図５に従
って説明する。まず、図１において映像データの流れを
説明する。魚眼レンズを有する広角カメラ１０１によっ
て集光され電気信号に変換された映像信号１１１は、画
像デジタル化回路１０２によってデジタルの映像信号１
１２に変換され、さらに画像処理回路１０３によって後
述する画像処理が施されることにより、パノラマ映像信
号１１３となる。こうして生成されたパノラマ映像信号
１１３は、画像符号化回路１０４によって例えばＪＰＥ
Ｇなどの符号化方式で圧縮符号化される。
って説明する。まず、図１において映像データの流れを
説明する。魚眼レンズを有する広角カメラ１０１によっ
て集光され電気信号に変換された映像信号１１１は、画
像デジタル化回路１０２によってデジタルの映像信号１
１２に変換され、さらに画像処理回路１０３によって後
述する画像処理が施されることにより、パノラマ映像信
号１１３となる。こうして生成されたパノラマ映像信号
１１３は、画像符号化回路１０４によって例えばＪＰＥ
Ｇなどの符号化方式で圧縮符号化される。
【００２４】一方、雲台付きカメラ１１０のズームカメ
ラ１０６によって集光され電気信号に変換された映像信
号１１６は、画像デジタル化回路１０８によってデジタ
ルの映像信号１１７に変換され、さらに画像符号化回路
１０４によって圧縮符号化される。画像符号化回路１０
４は、画像処理回路１０３より出力されるパノラマ映像
信号１１３と、画像デジタル化回路１０８より出力され
るデジタル映像信号１１７との何れかを選択して符号化
する。
ラ１０６によって集光され電気信号に変換された映像信
号１１６は、画像デジタル化回路１０８によってデジタ
ルの映像信号１１７に変換され、さらに画像符号化回路
１０４によって圧縮符号化される。画像符号化回路１０
４は、画像処理回路１０３より出力されるパノラマ映像
信号１１３と、画像デジタル化回路１０８より出力され
るデジタル映像信号１１７との何れかを選択して符号化
する。
【００２５】上記画像符号化回路１０４によって符号化
された映像信号１１４は、通信制御回路１０５に送られ
てネットワークヘ送出され、ＰＣ１０９に送られる。そ
して、このＰＣ１０９において復号化の処理などが施さ
れ、ディスプレイ上に表示される。ここで、ネットワー
クとは、例えばＴＣＰ／ＩＰを用いたインターネット準
拠のコンピュータネットワークである。
された映像信号１１４は、通信制御回路１０５に送られ
てネットワークヘ送出され、ＰＣ１０９に送られる。そ
して、このＰＣ１０９において復号化の処理などが施さ
れ、ディスプレイ上に表示される。ここで、ネットワー
クとは、例えばＴＣＰ／ＩＰを用いたインターネット準
拠のコンピュータネットワークである。
【００２６】次に、図３に従って映像とカメラ制御の流
れを説明する。ＰＣ１０９に搭載されたコントロールプ
ログラムは、まず、雲台カメラ映像要求信号１１５(a)
（雲台カメラ映像要求Ａ１０）を送出する。このＰＣ１
０９からの雲台カメラ映像要求Ａ１０は、通信制御回路
１０５で受け取られる。通信制御回路１０５は、画像符
号化回路１０４に対して、画像デジタル化回路１０８か
らのデジタル映像信号１１７を選択する指示を行う。
れを説明する。ＰＣ１０９に搭載されたコントロールプ
ログラムは、まず、雲台カメラ映像要求信号１１５(a)
（雲台カメラ映像要求Ａ１０）を送出する。このＰＣ１
０９からの雲台カメラ映像要求Ａ１０は、通信制御回路
１０５で受け取られる。通信制御回路１０５は、画像符
号化回路１０４に対して、画像デジタル化回路１０８か
らのデジタル映像信号１１７を選択する指示を行う。
【００２７】このとき画像デジタル化回路１０８に取り
込まれる映像の１フレームが雲台付きカメラ映像信号１
１６のフレームＡ１１であり、これが画像符号化回路１
０４によって符号化されて符号化映像信号１１４のフレ
ームＡ１２となる。さらに、通信制御回路１０５によっ
て、雲台カメラ符号化映像信号１１５(b) のフレームＡ
１３となってネットワークに伝送され、ＰＣ１０９によ
って図２の詳細映像表示ウィンドウ２０２にフレームＡ
１４として表示される。この一連の動作は、ユーザによ
って終了が指示されるまで操り返される（雲台カメラ映
像要求信号１１５(a) がＡ１０に続いてＡ２０，Ａ３
０，……と一定間隔で出力される）。
込まれる映像の１フレームが雲台付きカメラ映像信号１
１６のフレームＡ１１であり、これが画像符号化回路１
０４によって符号化されて符号化映像信号１１４のフレ
ームＡ１２となる。さらに、通信制御回路１０５によっ
て、雲台カメラ符号化映像信号１１５(b) のフレームＡ
１３となってネットワークに伝送され、ＰＣ１０９によ
って図２の詳細映像表示ウィンドウ２０２にフレームＡ
１４として表示される。この一連の動作は、ユーザによ
って終了が指示されるまで操り返される（雲台カメラ映
像要求信号１１５(a) がＡ１０に続いてＡ２０，Ａ３
０，……と一定間隔で出力される）。
【００２８】一方、ＰＣ１０９に搭載されたコントロー
ルプログラムは、広角カメラ映像要求信号１１５(c)
（パノラマ映像要求Ｂ１０）を送出する。このＰＣ１０
９からのパノラマ映像要求Ｂ１０は、通信制御回路１０
５で受け取られる。通信制御回路１０５は、画像符号化
回路１０４に対して、画像処理回路１０３からのパノラ
マ映像信号１１３を選択する指示を行う。
ルプログラムは、広角カメラ映像要求信号１１５(c)
（パノラマ映像要求Ｂ１０）を送出する。このＰＣ１０
９からのパノラマ映像要求Ｂ１０は、通信制御回路１０
５で受け取られる。通信制御回路１０５は、画像符号化
回路１０４に対して、画像処理回路１０３からのパノラ
マ映像信号１１３を選択する指示を行う。
【００２９】このとき画像処理回路１０３に取り込まれ
る映像の１フレームが広角カメラ映像信号１１２のフレ
ームＢ１１であり、これが画像処理回路１０３によりパ
ノラマ映像信号に変換された後、画像符号化回路１０４
によって符号化されて符号化映像信号１１４のフレーム
Ｂ１２となる。さらに、通信制御回路１０５によって、
その時点での雲台１０７とズームカメラ１０６のパラメ
ータが重畳され、広角カメラ符号化映像信号１１５(e)
のフレームＢ１３となってネットワークに伝送される。
る映像の１フレームが広角カメラ映像信号１１２のフレ
ームＢ１１であり、これが画像処理回路１０３によりパ
ノラマ映像信号に変換された後、画像符号化回路１０４
によって符号化されて符号化映像信号１１４のフレーム
Ｂ１２となる。さらに、通信制御回路１０５によって、
その時点での雲台１０７とズームカメラ１０６のパラメ
ータが重畳され、広角カメラ符号化映像信号１１５(e)
のフレームＢ１３となってネットワークに伝送される。
【００３０】そして、ＰＣ１０９によって図２のパノラ
マ映像表示ウィンドウ２０３にフレームＢ１４として表
示される。このとき、ＰＣ１０９のコントロールプログ
ラムは、フレームＢ１３に重畳されている雲台１０７と
ズームカメラ１０６のパラメータをもとに、パノラマ映
像表示ウィンドウ２０３に表示されているフレームＢ１
４のパノラマ映像上に矩形の指示枠２０４を重畳して表
示する。
マ映像表示ウィンドウ２０３にフレームＢ１４として表
示される。このとき、ＰＣ１０９のコントロールプログ
ラムは、フレームＢ１３に重畳されている雲台１０７と
ズームカメラ１０６のパラメータをもとに、パノラマ映
像表示ウィンドウ２０３に表示されているフレームＢ１
４のパノラマ映像上に矩形の指示枠２０４を重畳して表
示する。
【００３１】利用者はこの時点でのディスプレイ２０１
を観察し、雲台付きカメラ１１０がどこを向いている
か、また、これからどこに雲台付きカメラ１１０を向け
るかなどの意思決定を容易に行うことができる。これに
より利用者は、ＰＣ１０９に搭載されたコントロールプ
ログラムを用いて、雲台１０７の位置とズームカメラ１
０６のズームとの制御指令を作成する。
を観察し、雲台付きカメラ１１０がどこを向いている
か、また、これからどこに雲台付きカメラ１１０を向け
るかなどの意思決定を容易に行うことができる。これに
より利用者は、ＰＣ１０９に搭載されたコントロールプ
ログラムを用いて、雲台１０７の位置とズームカメラ１
０６のズームとの制御指令を作成する。
【００３２】雲台１０７の位置は、例えばパノラマ映像
表示ウィンドウ２０３上の所望の位置もしくは領域をマ
ウスで指定することによって指示する。また、ズームカ
メラ１０６のズームは、図２に示したスライダバー２０
５を用いて指示する。この指示に基づく制御指令は、雲
台・ズーム制御信号１１５(d) の制御指令Ｃ１０として
ＰＣ１０９よりネットワークに伝送される。そして、こ
れが通信制御回路１０５によって受け取られ、雲台付き
カメラ１１０にズーム・雲台制御信号１１８のズーム・
雲台動作指令Ｃ１３として伝達される。
表示ウィンドウ２０３上の所望の位置もしくは領域をマ
ウスで指定することによって指示する。また、ズームカ
メラ１０６のズームは、図２に示したスライダバー２０
５を用いて指示する。この指示に基づく制御指令は、雲
台・ズーム制御信号１１５(d) の制御指令Ｃ１０として
ＰＣ１０９よりネットワークに伝送される。そして、こ
れが通信制御回路１０５によって受け取られ、雲台付き
カメラ１１０にズーム・雲台制御信号１１８のズーム・
雲台動作指令Ｃ１３として伝達される。
【００３３】通信制御回路１０５は、雲台１０７、ズー
ムカメラ１０６を監視制御し、上記制御指令Ｃ１０に基
づく動作が完了したとき、画像符号化回路１０４に対し
て画像処理回路１０３からのパノラマ映像信号１１３を
選択する指示を出す。これにより、画像符号化回路１０
４により、広角カメラ映像信号１１２から生成されたパ
ノラマ映像Ｂ２１を符号化して符号化映像信号１１４の
フレームＢ２２を生成する。
ムカメラ１０６を監視制御し、上記制御指令Ｃ１０に基
づく動作が完了したとき、画像符号化回路１０４に対し
て画像処理回路１０３からのパノラマ映像信号１１３を
選択する指示を出す。これにより、画像符号化回路１０
４により、広角カメラ映像信号１１２から生成されたパ
ノラマ映像Ｂ２１を符号化して符号化映像信号１１４の
フレームＢ２２を生成する。
【００３４】さらに、上記フレームＢ２２は、通信制御
回路１０５により、その時点での雲台１０７とズームカ
メラ１０６のパラメータが重畳されて広角カメラ符号化
映像信号１１５(e) のフレームＢ２３となり、それがＰ
Ｃ１０９に伝送される。この映像は、ＰＣ１０９のパノ
ラマ映像表示ウィンドウ２０３にフレームＢ２４として
表示される。このときも、ＰＣ１０９のコントロールプ
ログラムは、フレームＢ２３に重畳されている雲台１０
７とズームカメラ１０６のパラメータをもとに、パノラ
マ映像表示ウィンドウ２０３のフレームＢ２４の映像上
に矩形の指示枠２０４を重畳して表示する。
回路１０５により、その時点での雲台１０７とズームカ
メラ１０６のパラメータが重畳されて広角カメラ符号化
映像信号１１５(e) のフレームＢ２３となり、それがＰ
Ｃ１０９に伝送される。この映像は、ＰＣ１０９のパノ
ラマ映像表示ウィンドウ２０３にフレームＢ２４として
表示される。このときも、ＰＣ１０９のコントロールプ
ログラムは、フレームＢ２３に重畳されている雲台１０
７とズームカメラ１０６のパラメータをもとに、パノラ
マ映像表示ウィンドウ２０３のフレームＢ２４の映像上
に矩形の指示枠２０４を重畳して表示する。
【００３５】図３に示したディスプレイ２０１の表示フ
レームにおいて、Ａの符号が付されたフレームは雲台付
きカメラ１１０で撮影された詳細映像であり、Ｂの符号
が付されたフレームは広角カメラ１０１で撮影されたパ
ノラマ映像である。これから分かるように、詳細映像と
パノラマ映像は適時ＰＣ１０９に伝送されてディスプレ
イ２０１に表示されており、詳細映像の他に、雲台付き
カメラ１１０で撮影可能な範囲の全てがパノラマ映像と
して同時に提供されるようになっている。
レームにおいて、Ａの符号が付されたフレームは雲台付
きカメラ１１０で撮影された詳細映像であり、Ｂの符号
が付されたフレームは広角カメラ１０１で撮影されたパ
ノラマ映像である。これから分かるように、詳細映像と
パノラマ映像は適時ＰＣ１０９に伝送されてディスプレ
イ２０１に表示されており、詳細映像の他に、雲台付き
カメラ１１０で撮影可能な範囲の全てがパノラマ映像と
して同時に提供されるようになっている。
【００３６】したがって、広角カメラ映像要求信号１１
５(c) も適当な間隔で出力することにより、詳細映像だ
けでなく、その周辺の映像もほぼリアルタイムに近い形
で見ることができ、周辺の状況変化を的確に把握するこ
とができる。これにより、ディスプレイ２０１を見なが
ら雲台付きカメラ１１０のパラメータを遠隔制御するこ
とにより、例えばＴＶ会議において発言を求めている参
加者にカメラを向けたり、遠隔監視において急な侵入者
にカメラを向けるなどといったように、撮影したいアン
グルにカメラを瞬時に向けることができるようになる。
５(c) も適当な間隔で出力することにより、詳細映像だ
けでなく、その周辺の映像もほぼリアルタイムに近い形
で見ることができ、周辺の状況変化を的確に把握するこ
とができる。これにより、ディスプレイ２０１を見なが
ら雲台付きカメラ１１０のパラメータを遠隔制御するこ
とにより、例えばＴＶ会議において発言を求めている参
加者にカメラを向けたり、遠隔監視において急な侵入者
にカメラを向けるなどといったように、撮影したいアン
グルにカメラを瞬時に向けることができるようになる。
【００３７】なお、ＰＣ１０９の利用者にとって詳細映
像はパノラマ映像に比べて重要度が高いので、本実施形
態においては、詳細映像のフレームを伝送する割合をパ
ノラマ映像のフレームを伝送する割合よりも多くし、映
像の変化がより滑らかになるようにしている。
像はパノラマ映像に比べて重要度が高いので、本実施形
態においては、詳細映像のフレームを伝送する割合をパ
ノラマ映像のフレームを伝送する割合よりも多くし、映
像の変化がより滑らかになるようにしている。
【００３８】次に、本実施形態におけるパノラマ映像の
生成方式について、図４および図５を用いて詳細に説明
する。本実施形態で用いるパノラマ映像は、詳細映像を
取得するために用いる雲台付きカメラ１１０でパン・チ
ルト・ズーム値を変化させて撮像できる最大範囲を１枚
に含む映像である。
生成方式について、図４および図５を用いて詳細に説明
する。本実施形態で用いるパノラマ映像は、詳細映像を
取得するために用いる雲台付きカメラ１１０でパン・チ
ルト・ズーム値を変化させて撮像できる最大範囲を１枚
に含む映像である。
【００３９】なお、雲台付きカメラ１１０は、例えば、
パンが±５０°、チルトが±２０°であり、ズーム倍率
は８倍で最も望遠側では視野角が６．１４°とし、最も
広角側では視野角が４５．８４°とする。以上のパン・
チルトの値は光軸に対するものであり、撮像される範囲
を示すとパンは±８０．５°、チルトは±４２．９°で
ある。
パンが±５０°、チルトが±２０°であり、ズーム倍率
は８倍で最も望遠側では視野角が６．１４°とし、最も
広角側では視野角が４５．８４°とする。以上のパン・
チルトの値は光軸に対するものであり、撮像される範囲
を示すとパンは±８０．５°、チルトは±４２．９°で
ある。
【００４０】本実施形態では、パノラマ映像として、視
野角が一定となる映像を用いる。例えば、視野角の１°
を１ピクセルに対応させると、上述のカメラの場合、パ
ノラマ映像は１６１×８６ピクセルの画像となる。な
お、以下では、説明を簡単にするためにパンの視野が±
９０°、チルトが±３０°のカメラを想定して説明す
る。
野角が一定となる映像を用いる。例えば、視野角の１°
を１ピクセルに対応させると、上述のカメラの場合、パ
ノラマ映像は１６１×８６ピクセルの画像となる。な
お、以下では、説明を簡単にするためにパンの視野が±
９０°、チルトが±３０°のカメラを想定して説明す
る。
【００４１】広角カメラ１０１で撮影されデジタル化さ
れたデジタル映像信号１１２は、魚眼レンズによって広
範囲の映像が撮像されているが、本実施形態で用いた正
射影投影方式の魚眼レンズなどでは先に述べたパノラマ
映像とは異なり、周辺での法線方向の角度は小さく、中
心部での法線方向の角度は大きく射影されている。これ
を説明したのが図４（ｂ）である。すなわち、本来Ａ′
とＣ′間の角度とＥ′とＦ′間の角度は共に３０°であ
るが、中心部におけるＡ′とＣ′との間隔よりも周辺部
におけるＥ′とＦ′との間隔の方が短くなっている。
れたデジタル映像信号１１２は、魚眼レンズによって広
範囲の映像が撮像されているが、本実施形態で用いた正
射影投影方式の魚眼レンズなどでは先に述べたパノラマ
映像とは異なり、周辺での法線方向の角度は小さく、中
心部での法線方向の角度は大きく射影されている。これ
を説明したのが図４（ｂ）である。すなわち、本来Ａ′
とＣ′間の角度とＥ′とＦ′間の角度は共に３０°であ
るが、中心部におけるＡ′とＣ′との間隔よりも周辺部
におけるＥ′とＦ′との間隔の方が短くなっている。
【００４２】以下に、実世界と魚眼カメラによる映像と
パノラマ映像との関係について説明する。図４（ａ）に
示した各柱Ａ〜Ｆの像は、魚眼レンズによって撮像素子
上に投射される。各柱Ａ〜Ｆの像が撮像素子上にどのよ
うに投射されるかを模式的に示したのが図４（ｂ）であ
る。
パノラマ映像との関係について説明する。図４（ａ）に
示した各柱Ａ〜Ｆの像は、魚眼レンズによって撮像素子
上に投射される。各柱Ａ〜Ｆの像が撮像素子上にどのよ
うに投射されるかを模式的に示したのが図４（ｂ）であ
る。
【００４３】すなわち、正射影投影方式の魚眼レンズで
は、像の光軸中心からの変位ｙと焦点距離ξ、入射角度
φとの間に ｙ＝ξ・sin(φ) の関係がある。そのため、図４（ａ）の６本の柱Ａ〜Ｆ
は、撮像素子上に図４（ｂ）のＡ′〜Ｆ′のように結像
する。
は、像の光軸中心からの変位ｙと焦点距離ξ、入射角度
φとの間に ｙ＝ξ・sin(φ) の関係がある。そのため、図４（ａ）の６本の柱Ａ〜Ｆ
は、撮像素子上に図４（ｂ）のＡ′〜Ｆ′のように結像
する。
【００４４】柱Ａと柱Ｃの間の角度（＝３０°）と柱Ｅ
と柱Ｆの間の角度（＝３０°）は、撮像素子上では、 ｛sin(30°) −sin( 0°) ｝：｛sin(90°) −sin(60
°) ｝＝１：0.27 の違いが出てくる。これを画像処理で補正したパノラマ
映像が、図４（ｃ）である。つまり、柱Ａと柱Ｃの間の
３０°と柱Ｅと柱Ｆの間の３０°が、修正画像上で１：
１にマッピングされるように（Ａ″，Ｃ″間とＥ″，
Ｆ″間の距離が同じとなるように）画像処理する。
と柱Ｆの間の角度（＝３０°）は、撮像素子上では、 ｛sin(30°) −sin( 0°) ｝：｛sin(90°) −sin(60
°) ｝＝１：0.27 の違いが出てくる。これを画像処理で補正したパノラマ
映像が、図４（ｃ）である。つまり、柱Ａと柱Ｃの間の
３０°と柱Ｅと柱Ｆの間の３０°が、修正画像上で１：
１にマッピングされるように（Ａ″，Ｃ″間とＥ″，
Ｆ″間の距離が同じとなるように）画像処理する。
【００４５】本実施形態では、広角カメラ１０１は、雲
台付きカメラ１１０で撮像できる範囲全てを同時に撮像
することで表示するパノラマ映像を提供するが、表示の
方法としては、レンズに対する像の角度が映像面で同じ
大きさに射影されるような投影方式を用いる。したがっ
て、Ｘ座標はパン角を表し、Ｙ座標はチルト角を表すこ
ととなる。
台付きカメラ１１０で撮像できる範囲全てを同時に撮像
することで表示するパノラマ映像を提供するが、表示の
方法としては、レンズに対する像の角度が映像面で同じ
大きさに射影されるような投影方式を用いる。したがっ
て、Ｘ座標はパン角を表し、Ｙ座標はチルト角を表すこ
ととなる。
【００４６】魚眼レンズで撮影した映像をパノラマ映像
に変換するために、パノラマ映像上の位置を（θ，
φ）、これに対応した魚眼レンズによる撮影映像上の位
置を（η，ζ）とし、 η＝ξ・cos(φ) sin(θ) ……(1) ζ＝ａ・ξ・φ／π ……(2) の関係で補正する。ここで、ａは定数、ξは魚眼レンズ
による撮影映像上の映像部分の円の半径であり、図５で
はξ＝１００を使っている。
に変換するために、パノラマ映像上の位置を（θ，
φ）、これに対応した魚眼レンズによる撮影映像上の位
置を（η，ζ）とし、 η＝ξ・cos(φ) sin(θ) ……(1) ζ＝ａ・ξ・φ／π ……(2) の関係で補正する。ここで、ａは定数、ξは魚眼レンズ
による撮影映像上の映像部分の円の半径であり、図５で
はξ＝１００を使っている。
【００４７】本実施形態でパノラマ映像として用いるの
は、 −90≦θ≦＋90、−30≦φ≦＋30 の範囲内である。画像処理回路１０３は、この範囲内の
全てのパノラマ映像の画素について、魚眼レンズによる
撮影映像の対応する画素を求める。図５（ｂ）に５４で
示した矩形がパノラマ映像の範囲であり、矢印５５に従
って各画素の値をラスタスキャンして求めていく。図５
（ａ）の映像５１は、画角１８０°の正射影投影方式の
魚眼レンズが生成する半天映像であり、この中の範囲５
２の映像が、図５（ｂ）のパノラマ映像５４に対応す
る。
は、 −90≦θ≦＋90、−30≦φ≦＋30 の範囲内である。画像処理回路１０３は、この範囲内の
全てのパノラマ映像の画素について、魚眼レンズによる
撮影映像の対応する画素を求める。図５（ｂ）に５４で
示した矩形がパノラマ映像の範囲であり、矢印５５に従
って各画素の値をラスタスキャンして求めていく。図５
（ａ）の映像５１は、画角１８０°の正射影投影方式の
魚眼レンズが生成する半天映像であり、この中の範囲５
２の映像が、図５（ｂ）のパノラマ映像５４に対応す
る。
【００４８】画像処理回路１０３には、図示しない画像
記憶手段が備えられており、ここに記憶されるパノラマ
映像の全ての１８１×６１画素の各々について、上記し
た式(1),(2) を用いて対応する魚眼レンズ映像の画素位
置を算出する。このとき、一般には画素位置は整数にな
らないので、切り捨てを行う最近傍画素方式や近傍４点
による重み付け平均方式などを使って画素の値を決定す
る。
記憶手段が備えられており、ここに記憶されるパノラマ
映像の全ての１８１×６１画素の各々について、上記し
た式(1),(2) を用いて対応する魚眼レンズ映像の画素位
置を算出する。このとき、一般には画素位置は整数にな
らないので、切り捨てを行う最近傍画素方式や近傍４点
による重み付け平均方式などを使って画素の値を決定す
る。
【００４９】次に、指示枠２０４の重畳方法について説
明する。パノラマ映像表示ウィンドウ２０３に重畳する
矩形の指示枠２０４の位置は、雲台付きカメラ１１０の
パン・チルト・ズーム値から計算される。すなわち、パ
ン値をθ（水平角度、単位は度）、チルト値をφ（垂直
角度、単位は度）、ズーム値をＺ（画像対角の成す角
度、単位は度）とし、ズーム値Ｚがあまり大きくないと
仮定する。ＮＴＳＣ方式の画像は４：３の横と縦の比を
持っているので、横方向の画角は（４Ｚ／５）、縦方向
の画角は（３Ｚ／５）である。
明する。パノラマ映像表示ウィンドウ２０３に重畳する
矩形の指示枠２０４の位置は、雲台付きカメラ１１０の
パン・チルト・ズーム値から計算される。すなわち、パ
ン値をθ（水平角度、単位は度）、チルト値をφ（垂直
角度、単位は度）、ズーム値をＺ（画像対角の成す角
度、単位は度）とし、ズーム値Ｚがあまり大きくないと
仮定する。ＮＴＳＣ方式の画像は４：３の横と縦の比を
持っているので、横方向の画角は（４Ｚ／５）、縦方向
の画角は（３Ｚ／５）である。
【００５０】したがって、指示枠２０４は、点（θ−
（４Ｚ／５），φ−（３Ｚ／５））、点（θ−（４Ｚ／
５），φ＋（３Ｚ／５））、点（θ＋（４Ｚ／５），φ
＋（３Ｚ／５））、点（θ＋（４Ｚ／５），φ−（３Ｚ
／５））を結んだ矩形となる。なお、以上の説明では、
矩形の指示枠２０４をＰＣ１０９で重畳していたが、画
像符号化に先立ってパノラマ映像に重畳しても良い。
（４Ｚ／５），φ−（３Ｚ／５））、点（θ−（４Ｚ／
５），φ＋（３Ｚ／５））、点（θ＋（４Ｚ／５），φ
＋（３Ｚ／５））、点（θ＋（４Ｚ／５），φ−（３Ｚ
／５））を結んだ矩形となる。なお、以上の説明では、
矩形の指示枠２０４をＰＣ１０９で重畳していたが、画
像符号化に先立ってパノラマ映像に重畳しても良い。
【００５１】以上詳しく説明したように、本実施形態で
は、雲台付きカメラ１１０で撮影した詳細映像と、雲台
付きカメラ１１０で撮影できる全範囲を広角カメラ１０
１により撮影したパノラマ映像とをＰＣ１０９に伝送
し、それぞれを異なるウィンドウ上に表示するようにし
たので、ＰＣ１０９の利用者は、自分がいま所望する詳
細映像だけでなく、その周辺の映像もほぼリアルタイム
に近い形で見ることができる。これにより、これらのウ
ィンドウを見ながら雲台付きカメラ１１０のパラメータ
を遠隔制御することにより、詳細映像の表示をその周辺
の状況変化等に応じて瞬時に変えるようにすることがで
きる。
は、雲台付きカメラ１１０で撮影した詳細映像と、雲台
付きカメラ１１０で撮影できる全範囲を広角カメラ１０
１により撮影したパノラマ映像とをＰＣ１０９に伝送
し、それぞれを異なるウィンドウ上に表示するようにし
たので、ＰＣ１０９の利用者は、自分がいま所望する詳
細映像だけでなく、その周辺の映像もほぼリアルタイム
に近い形で見ることができる。これにより、これらのウ
ィンドウを見ながら雲台付きカメラ１１０のパラメータ
を遠隔制御することにより、詳細映像の表示をその周辺
の状況変化等に応じて瞬時に変えるようにすることがで
きる。
【００５２】また、広角カメラ１０１によって撮像され
たパノラマ映像上に、雲台付きカメラ１１０によって撮
像されている詳細映像の視野に相当する指示枠２０４を
重畳して表示するようにしたので、雲台付きカメラ１１
０の現在の撮影姿勢等とそのときの周囲の映像とを容易
に確認することができ、姿勢制御等の動作錯誤を防止す
ることができる。
たパノラマ映像上に、雲台付きカメラ１１０によって撮
像されている詳細映像の視野に相当する指示枠２０４を
重畳して表示するようにしたので、雲台付きカメラ１１
０の現在の撮影姿勢等とそのときの周囲の映像とを容易
に確認することができ、姿勢制御等の動作錯誤を防止す
ることができる。
【００５３】（第２の実施形態）図６は、本発明による
第２の実施形態を示すブロック図である。図１に示した
第１の実施形態では広角カメラ１０１を１台のみ使用し
ていたが、第２の実施形態では複数台使用し、これらに
よって撮影された映像を画像処理によって合成して送出
する。なお、図６において、図１に示した要素と同じ要
素には同一の符号を付している。
第２の実施形態を示すブロック図である。図１に示した
第１の実施形態では広角カメラ１０１を１台のみ使用し
ていたが、第２の実施形態では複数台使用し、これらに
よって撮影された映像を画像処理によって合成して送出
する。なお、図６において、図１に示した要素と同じ要
素には同一の符号を付している。
【００５４】第２の実施形態では、２台の広角カメラ１
０１，６０１を、それぞれに１８０°の角度を付けて図
７のように固定する。図７において、７１と７２は広角
カメラであり、７３は雲台付きズームカメラである。こ
の雲台付きズームカメラ７３は、本体から分離可能な構
成としても良い。
０１，６０１を、それぞれに１８０°の角度を付けて図
７のように固定する。図７において、７１と７２は広角
カメラであり、７３は雲台付きズームカメラである。こ
の雲台付きズームカメラ７３は、本体から分離可能な構
成としても良い。
【００５５】図６において、広角カメラ６０１で撮影さ
れた映像信号６１１は、画像デジタル化回路６０２によ
ってデジタル映像信号６１２とされ、画像処理回路６０
３に与えられる。画像処理回路６０３は、画像デジタル
化回路１０２からのデジタル映像信号１１２と、画像デ
ジタル化回路６０２からのデジタル映像信号６１２とを
それぞれ歪みのないパノラマ映像に画像処理し、更にそ
れらを合成して出力する。これとは逆に、先に合成して
から歪みのないパノラマ映像に画像処理するようにして
も良い。
れた映像信号６１１は、画像デジタル化回路６０２によ
ってデジタル映像信号６１２とされ、画像処理回路６０
３に与えられる。画像処理回路６０３は、画像デジタル
化回路１０２からのデジタル映像信号１１２と、画像デ
ジタル化回路６０２からのデジタル映像信号６１２とを
それぞれ歪みのないパノラマ映像に画像処理し、更にそ
れらを合成して出力する。これとは逆に、先に合成して
から歪みのないパノラマ映像に画像処理するようにして
も良い。
【００５６】以上のように、第２の実施形態によれば、
第１の実施形態で説明したように、２つの広角カメラ１
０１，６０１（図７では７１，７２）によってそれぞれ
パン方向１８０°のパノラマ映像を得ることができる。
第２の実施形態では、これらのパノラマ映像をつなげて
３６０°の映像を作成し、それを雲台付きカメラ１１０
の制御に用いる。よって、より広い範囲を見ながら詳細
映像の表示をその周辺の状況変化等に応じて瞬時に変え
るようにすることができる。
第１の実施形態で説明したように、２つの広角カメラ１
０１，６０１（図７では７１，７２）によってそれぞれ
パン方向１８０°のパノラマ映像を得ることができる。
第２の実施形態では、これらのパノラマ映像をつなげて
３６０°の映像を作成し、それを雲台付きカメラ１１０
の制御に用いる。よって、より広い範囲を見ながら詳細
映像の表示をその周辺の状況変化等に応じて瞬時に変え
るようにすることができる。
【００５７】（第３の実施形態）図８は、本発明による
第３の実施形態に係るカメラ制御システムの構成を示す
ブロック図である。図８において、８０１は広角レン
ズ、８０２は広角レンズ８０１で結像した映像のための
光センサとＡ／Ｄ変換器（以下、単にＡ／Ｄ変換器と記
す）、８０３は画像符号化器、８０４はＣＰＵ、メモ
リ、ネットワークアダプタなどからなる通信制御装置、
８０５は雲台付きカメラのズームレンズ、８０６は雲台
付きカメラの光センサとＡ／Ｄ変換器（以下、単にＡ／
Ｄ変換器と記す）、８０７は雲台である。
第３の実施形態に係るカメラ制御システムの構成を示す
ブロック図である。図８において、８０１は広角レン
ズ、８０２は広角レンズ８０１で結像した映像のための
光センサとＡ／Ｄ変換器（以下、単にＡ／Ｄ変換器と記
す）、８０３は画像符号化器、８０４はＣＰＵ、メモ
リ、ネットワークアダプタなどからなる通信制御装置、
８０５は雲台付きカメラのズームレンズ、８０６は雲台
付きカメラの光センサとＡ／Ｄ変換器（以下、単にＡ／
Ｄ変換器と記す）、８０７は雲台である。
【００５８】図９は、本実施形態によるＰＣ１０９への
表示例を示す図であり、本実施形態においてもマルチウ
ィンドウシステムで構成されている。図９において、９
０１はディスプレイ、９０２はズームレンズ８０５とＡ
／Ｄ変換器８０６とによって撮像された雲台付きカメラ
の映像表示ウィンドウ、９０３は広角レンズ８０１とＡ
／Ｄ変換器８０２とによって撮像された広角カメラの映
像表示ウィンドウ、９０４は広角映像表示ウィンドウ９
０３上に重畳表示された指示枠である。
表示例を示す図であり、本実施形態においてもマルチウ
ィンドウシステムで構成されている。図９において、９
０１はディスプレイ、９０２はズームレンズ８０５とＡ
／Ｄ変換器８０６とによって撮像された雲台付きカメラ
の映像表示ウィンドウ、９０３は広角レンズ８０１とＡ
／Ｄ変換器８０２とによって撮像された広角カメラの映
像表示ウィンドウ、９０４は広角映像表示ウィンドウ９
０３上に重畳表示された指示枠である。
【００５９】図１０は、本実施形態によるデータの流れ
を模式的にタイムチャートに表したものである。図１０
（図８も同様）において、８１１は広角カメラ映像信
号、８１２は符号化映像信号、８１３は雲台付きカメラ
映像信号、８１４は雲台制御信号、８１５はズーム制御
信号である。
を模式的にタイムチャートに表したものである。図１０
（図８も同様）において、８１１は広角カメラ映像信
号、８１２は符号化映像信号、８１３は雲台付きカメラ
映像信号、８１４は雲台制御信号、８１５はズーム制御
信号である。
【００６０】また、８１６はネットワーク上を流れるネ
ットワーク信号であり、これは、雲台カメラ映像要求信
号８１６(a) 、雲台カメラ符号化映像信号８１６(b) 、
広角カメラ映像要求信号８１６(c) 、雲台・ズーム制御
信号８１６(d) 、広角カメラ符号化映像信号８１６(e)
の５つに分かれる。なお、図１０において横軸は時間を
表している。図１１は、本実施形態によるカメラの実現
例を示す外観図である。
ットワーク信号であり、これは、雲台カメラ映像要求信
号８１６(a) 、雲台カメラ符号化映像信号８１６(b) 、
広角カメラ映像要求信号８１６(c) 、雲台・ズーム制御
信号８１６(d) 、広角カメラ符号化映像信号８１６(e)
の５つに分かれる。なお、図１０において横軸は時間を
表している。図１１は、本実施形態によるカメラの実現
例を示す外観図である。
【００６１】以下、本実施形態の動作を図８〜図１０に
従って説明する。まず、図８において映像データの流れ
を説明する。広角レンズ８０１によって集光され、Ａ／
Ｄ変換器８０２によって電気信号に変換された映像信号
８１１は、画像符号化器８０３によって例えばＪＰＥＧ
などの符号化方式で圧縮符号化される。
従って説明する。まず、図８において映像データの流れ
を説明する。広角レンズ８０１によって集光され、Ａ／
Ｄ変換器８０２によって電気信号に変換された映像信号
８１１は、画像符号化器８０３によって例えばＪＰＥＧ
などの符号化方式で圧縮符号化される。
【００６２】一方、ズームレンズ８０５によって集光さ
れ、Ａ／Ｄ変換器８０６によって電気信号に変換された
映像信号８１３も同様に、画像符号化器８０３によって
圧縮符号化される。画像符号化器８０３は、Ａ／Ｄ変換
器８０２より出力される広角カメラ映像信号８１１と、
Ａ／Ｄ変換器８０６より出力される雲台付きカメラ映像
信号８１３との何れかを選択して符号化する。
れ、Ａ／Ｄ変換器８０６によって電気信号に変換された
映像信号８１３も同様に、画像符号化器８０３によって
圧縮符号化される。画像符号化器８０３は、Ａ／Ｄ変換
器８０２より出力される広角カメラ映像信号８１１と、
Ａ／Ｄ変換器８０６より出力される雲台付きカメラ映像
信号８１３との何れかを選択して符号化する。
【００６３】上記画像符号化器８０３によって符号化さ
れた映像信号８１２は、通信制御装置８０４に送られて
ネットワークヘ送出され、ＰＣ１０９に送られる。そし
て、このＰＣ１０９において復号化の処理などが施さ
れ、ディスプレイ上に表示される。ここで、ネットワー
クとは、例えばＴＣＰ／ＩＰを用いたインターネット準
拠のコンピュータネットワークである。
れた映像信号８１２は、通信制御装置８０４に送られて
ネットワークヘ送出され、ＰＣ１０９に送られる。そし
て、このＰＣ１０９において復号化の処理などが施さ
れ、ディスプレイ上に表示される。ここで、ネットワー
クとは、例えばＴＣＰ／ＩＰを用いたインターネット準
拠のコンピュータネットワークである。
【００６４】次に、図１０に従って映像とカメラ制御の
流れを説明する。ＰＣ１０９に搭載されたコントロール
プログラムは、まず、雲台カメラ映像要求信号８１６
(a) （雲台カメラ映像要求Ａ１０）を送出する。このＰ
Ｃ１０９からの雲台カメラ映像要求Ａ１０は、通信制御
装置８０４で受け取られる。通信制御装置８０４は、画
像符号化器８０３に対して、Ａ／Ｄ変換器８０６からの
雲台付きカメラ映像信号８１３を選択する指示を行う。
流れを説明する。ＰＣ１０９に搭載されたコントロール
プログラムは、まず、雲台カメラ映像要求信号８１６
(a) （雲台カメラ映像要求Ａ１０）を送出する。このＰ
Ｃ１０９からの雲台カメラ映像要求Ａ１０は、通信制御
装置８０４で受け取られる。通信制御装置８０４は、画
像符号化器８０３に対して、Ａ／Ｄ変換器８０６からの
雲台付きカメラ映像信号８１３を選択する指示を行う。
【００６５】このとき画像符号化器８０３に取り込まれ
る映像の１フレームが雲台付きカメラ映像信号８１３の
フレームＡ１１であり、これが画像符号化器８０３によ
って符号化されて符号化映像信号８１２のフレームＡ１
２となる。さらに、通信制御装置８０４によって、雲台
カメラ符号化映像信号８１６(b) のフレームＡ１３とな
ってネットワークに伝送され、ＰＣ１０９によって図９
の雲台カメラ映像表示ウィンドウ９０２にフレームＡ１
４として表示される。この一連の動作は、ユーザによっ
て終了が指示されるまで操り返される。
る映像の１フレームが雲台付きカメラ映像信号８１３の
フレームＡ１１であり、これが画像符号化器８０３によ
って符号化されて符号化映像信号８１２のフレームＡ１
２となる。さらに、通信制御装置８０４によって、雲台
カメラ符号化映像信号８１６(b) のフレームＡ１３とな
ってネットワークに伝送され、ＰＣ１０９によって図９
の雲台カメラ映像表示ウィンドウ９０２にフレームＡ１
４として表示される。この一連の動作は、ユーザによっ
て終了が指示されるまで操り返される。
【００６６】一方、ＰＣ１０９に搭載されたコントロー
ルプログラムは、広角カメラ映像要求信号８１６(c)
（広角カメラ映像要求Ｂ１０）を送出する。このＰＣ１
０９からの広角カメラ映像要求Ｂ１０は、通信制御装置
８０４で受け取られる。通信制御装置８０４は、画像符
号化器８０３に対して、Ａ／Ｄ変換器８０２からの広角
カメラ映像信号８１１を選択する指示を行う。
ルプログラムは、広角カメラ映像要求信号８１６(c)
（広角カメラ映像要求Ｂ１０）を送出する。このＰＣ１
０９からの広角カメラ映像要求Ｂ１０は、通信制御装置
８０４で受け取られる。通信制御装置８０４は、画像符
号化器８０３に対して、Ａ／Ｄ変換器８０２からの広角
カメラ映像信号８１１を選択する指示を行う。
【００６７】このとき画像符号化器８０３に取り込まれ
る映像の１フレームが広角カメラ映像信号８１１のフレ
ームＢ１１であり、これが画像符号化器８０３によって
符号化されて符号化映像信号８１２のフレームＢ１２と
なる。さらに、通信制御装置８０４によって、その時点
での雲台８０７とズームレンズ８０５のパラメータが重
畳され、広角カメラ符号化映像信号８１６(e) のフレー
ムＢ１３となってネットワークに伝送される。
る映像の１フレームが広角カメラ映像信号８１１のフレ
ームＢ１１であり、これが画像符号化器８０３によって
符号化されて符号化映像信号８１２のフレームＢ１２と
なる。さらに、通信制御装置８０４によって、その時点
での雲台８０７とズームレンズ８０５のパラメータが重
畳され、広角カメラ符号化映像信号８１６(e) のフレー
ムＢ１３となってネットワークに伝送される。
【００６８】そして、ＰＣ１０９によって図９の広角映
像表示ウィンドウ９０３にフレームＢ１４として表示さ
れる。このとき、ＰＣ１０９のコントロールプログラム
は、フレームＢ１３に重畳されている雲台８０７とズー
ムレンズ８０５のパラメータをもとに、広角映像表示ウ
ィンドウ９０３に表示されるフレームＢ１４の映像上に
矩形の指示枠９０４を重畳して表示する。
像表示ウィンドウ９０３にフレームＢ１４として表示さ
れる。このとき、ＰＣ１０９のコントロールプログラム
は、フレームＢ１３に重畳されている雲台８０７とズー
ムレンズ８０５のパラメータをもとに、広角映像表示ウ
ィンドウ９０３に表示されるフレームＢ１４の映像上に
矩形の指示枠９０４を重畳して表示する。
【００６９】利用者はこの時点でのディスプレイ９０１
を観察し、雲台付きカメラがどこを向いているか、ま
た、これからどこに雲台付きカメラを向けるかなどの意
思決定を容易に行うことができる。これにより利用者
は、ＰＣ１０９に搭載されたコントロールプログラムを
用いて、雲台８０７の位置とズームレンズ８０５のズー
ムとの制御指令を作成する。
を観察し、雲台付きカメラがどこを向いているか、ま
た、これからどこに雲台付きカメラを向けるかなどの意
思決定を容易に行うことができる。これにより利用者
は、ＰＣ１０９に搭載されたコントロールプログラムを
用いて、雲台８０７の位置とズームレンズ８０５のズー
ムとの制御指令を作成する。
【００７０】これは、雲台・ズーム制御信号８１６(d)
の制御指令Ｃ１０としてＰＣ１０９よりネットワークに
伝送される。そして、これが通信制御装置８０４によっ
て受け取られ、雲台８０７に雲台制御信号８１４の雲台
動作指令Ｃ１３として伝達される。また、ズーム制御信
号８１５のズーム動作指令Ｃ１２も同様に、ズームレン
ズ８０５に伝達される。
の制御指令Ｃ１０としてＰＣ１０９よりネットワークに
伝送される。そして、これが通信制御装置８０４によっ
て受け取られ、雲台８０７に雲台制御信号８１４の雲台
動作指令Ｃ１３として伝達される。また、ズーム制御信
号８１５のズーム動作指令Ｃ１２も同様に、ズームレン
ズ８０５に伝達される。
【００７１】通信制御装置８０４は、雲台８０７、ズー
ムレンズ８０５を監視制御し、上記制御指令Ｃ１０に基
づく動作が完了したとき、画像符号化器８０３に対して
Ａ／Ｄ変換器８０２からの広角カメラ映像信号８１１を
選択する指示を出す。これにより、画像符号化器８０３
により、広角カメラ映像信号８１１のフレームＢ２１を
符号化して符号化映像信号８１２のフレームＢ２２を生
成する。
ムレンズ８０５を監視制御し、上記制御指令Ｃ１０に基
づく動作が完了したとき、画像符号化器８０３に対して
Ａ／Ｄ変換器８０２からの広角カメラ映像信号８１１を
選択する指示を出す。これにより、画像符号化器８０３
により、広角カメラ映像信号８１１のフレームＢ２１を
符号化して符号化映像信号８１２のフレームＢ２２を生
成する。
【００７２】さらに、上記フレームＢ２２は、通信制御
装置８０４により、その時点での雲台８０７とズームレ
ンズ８０５のパラメータが重畳されて広角カメラ符号化
映像信号８１６(e) のフレームＢ２３となり、それがＰ
Ｃ１０９に伝送される。この映像は、ＰＣ１０９の広角
映像表示ウィンドウ９０３にフレームＢ２４として表示
される。このときも、ＰＣ１０９のコントロールプログ
ラムは、フレームＢ２３に重畳されている雲台８０７と
ズームレンズ８０５のパラメータをもとに、広角映像表
示ウィンドウ９０３のフレームＢ２４の映像上に矩形の
指示枠９０４を重畳して表示する。
装置８０４により、その時点での雲台８０７とズームレ
ンズ８０５のパラメータが重畳されて広角カメラ符号化
映像信号８１６(e) のフレームＢ２３となり、それがＰ
Ｃ１０９に伝送される。この映像は、ＰＣ１０９の広角
映像表示ウィンドウ９０３にフレームＢ２４として表示
される。このときも、ＰＣ１０９のコントロールプログ
ラムは、フレームＢ２３に重畳されている雲台８０７と
ズームレンズ８０５のパラメータをもとに、広角映像表
示ウィンドウ９０３のフレームＢ２４の映像上に矩形の
指示枠９０４を重畳して表示する。
【００７３】以上詳しく説明したように、第３の実施形
態によれば、第１の実施形態と同様に詳細映像の表示を
その周辺の状況変化等に応じて瞬時に変えるようにする
ことができる。第３の実施形態では、広角レンズ８０１
は魚眼レンズではなく、歪んだ映像を修正する画像処理
手段も設けていないので、装置全体のコストを低く抑え
ることができるとともに、処理を高速化することができ
る。
態によれば、第１の実施形態と同様に詳細映像の表示を
その周辺の状況変化等に応じて瞬時に変えるようにする
ことができる。第３の実施形態では、広角レンズ８０１
は魚眼レンズではなく、歪んだ映像を修正する画像処理
手段も設けていないので、装置全体のコストを低く抑え
ることができるとともに、処理を高速化することができ
る。
【００７４】（第４の実施形態）図１２は、本発明によ
る第４の実施形態に係るカメラ制御システムの構成を示
すブロック図である。第３の実施形態では、広角映像表
示ウィンドウ９０３の映像に矩形の指示枠９０４を重畳
する処理をＰＣ１０９において行っていたが、以下に述
べる第４の実施形態では、広角カメラ映像信号８１１に
対して画像の形式で指示枠９０４を重畳して送出する。
る第４の実施形態に係るカメラ制御システムの構成を示
すブロック図である。第３の実施形態では、広角映像表
示ウィンドウ９０３の映像に矩形の指示枠９０４を重畳
する処理をＰＣ１０９において行っていたが、以下に述
べる第４の実施形態では、広角カメラ映像信号８１１に
対して画像の形式で指示枠９０４を重畳して送出する。
【００７５】図１２において、図８に示した要素と同じ
要素には同一の符号を付し、重複する説明は省略する。
第４の実施形態においては、図１０に示したＰＣ１０９
からの広角カメラ映像要求Ｂ１０は、通信制御装置８０
４で受け取られ、画像符号化器８０３に対してＡ／Ｄ変
換器８０２からの広角カメラ映像信号８１１を選択する
指示が成される。
要素には同一の符号を付し、重複する説明は省略する。
第４の実施形態においては、図１０に示したＰＣ１０９
からの広角カメラ映像要求Ｂ１０は、通信制御装置８０
４で受け取られ、画像符号化器８０３に対してＡ／Ｄ変
換器８０２からの広角カメラ映像信号８１１を選択する
指示が成される。
【００７６】このときＡ／Ｄ変換器８０２より出力され
る映像の１フレームが広角カメラ映像信号８１１のフレ
ームＢ１１であり、これが画像記憶装置１２０１によっ
て一時的に記憶される。そして、通信制御装置８０４に
よって、この記憶されたフレームＢ１１に対して、メモ
リアドレスデータ信号１２１２（その時点での雲台８０
７とズームレンズ８０５のパラメータから求められる）
を通じて矩形の指示枠９０４が描画され、その結果が画
像符号化器８０３に与えられる。
る映像の１フレームが広角カメラ映像信号８１１のフレ
ームＢ１１であり、これが画像記憶装置１２０１によっ
て一時的に記憶される。そして、通信制御装置８０４に
よって、この記憶されたフレームＢ１１に対して、メモ
リアドレスデータ信号１２１２（その時点での雲台８０
７とズームレンズ８０５のパラメータから求められる）
を通じて矩形の指示枠９０４が描画され、その結果が画
像符号化器８０３に与えられる。
【００７７】指示枠９０４が描画された広角カメラ映像
信号１２１１のフレームＢ１１は、画像符号化器８０３
で符号化されて符号化映像信号８１２のフレームＢ１２
となる。さらに、通信制御装置８０４によって広角カメ
ラ符号化映像信号８１６(e)のフレームＢ１３とされて
ネットワークに伝送され、ＰＣ１０９によって図９の広
角映像表示ウィンドウ９０３にフレームＢ１４として表
示される。
信号１２１１のフレームＢ１１は、画像符号化器８０３
で符号化されて符号化映像信号８１２のフレームＢ１２
となる。さらに、通信制御装置８０４によって広角カメ
ラ符号化映像信号８１６(e)のフレームＢ１３とされて
ネットワークに伝送され、ＰＣ１０９によって図９の広
角映像表示ウィンドウ９０３にフレームＢ１４として表
示される。
【００７８】その他の動作は、第３の実施形態と同様な
ので、重複する説明は省略する。なお、この第４の実施
形態では、画像記憶装置１２０１を用いてフレーム画像
を一旦保存したが、これをラインバッファなどで置き換
えてもよいことは明らかである。
ので、重複する説明は省略する。なお、この第４の実施
形態では、画像記憶装置１２０１を用いてフレーム画像
を一旦保存したが、これをラインバッファなどで置き換
えてもよいことは明らかである。
【００７９】（第５の実施形態）図１３は、本発明によ
る第５の実施形態に係るカメラ制御システムの構成を示
すブロック図である。この第５の実施形態では、上述し
た第２の実施形態と同様に、広角カメラを複数台使用
し、それらで撮影される広角映像を画像処理によって合
成して送出するものである。
る第５の実施形態に係るカメラ制御システムの構成を示
すブロック図である。この第５の実施形態では、上述し
た第２の実施形態と同様に、広角カメラを複数台使用
し、それらで撮影される広角映像を画像処理によって合
成して送出するものである。
【００８０】つまり、図１３において、広角カメラ８０
１，１３０１で撮影された映像信号は、Ａ／Ｄ変換器８
０２，１３０２によってそれぞれデジタル化され、画像
合成器１３０３に与えられる。画像合成器１３０３は、
入力された２つのデジタル映像信号を合成して出力す
る。その他の構成および動作は、図８で述べたとの同様
なので、ここでは詳しい説明を省略する。
１，１３０１で撮影された映像信号は、Ａ／Ｄ変換器８
０２，１３０２によってそれぞれデジタル化され、画像
合成器１３０３に与えられる。画像合成器１３０３は、
入力された２つのデジタル映像信号を合成して出力す
る。その他の構成および動作は、図８で述べたとの同様
なので、ここでは詳しい説明を省略する。
【００８１】（本発明の他の実施形態）上述した実施形
態の機能を実現するべく各種のデバイスを動作させるよ
うに、該各種デバイスと接続された装置あるいはシステ
ム内のコンピュータに対し、上記実施形態の機能を実現
するためのソフトウェアのプログラムコードを供給し、
そのシステムあるいは装置のコンピュータ（ＣＰＵある
いはＭＰＵ）に格納されたプログラムに従って上記各種
デバイスを動作させることによって実施したものも、本
発明の範疇に含まれる。
態の機能を実現するべく各種のデバイスを動作させるよ
うに、該各種デバイスと接続された装置あるいはシステ
ム内のコンピュータに対し、上記実施形態の機能を実現
するためのソフトウェアのプログラムコードを供給し、
そのシステムあるいは装置のコンピュータ（ＣＰＵある
いはＭＰＵ）に格納されたプログラムに従って上記各種
デバイスを動作させることによって実施したものも、本
発明の範疇に含まれる。
【００８２】また、この場合、上記ソフトウェアのプロ
グラムコード自体が上述した実施形態の機能を実現する
ことになり、そのプログラムコード自体、およびそのプ
ログラムコードをコンピュータに供給するための手段、
例えばかかるプログラムコードを格納した記録媒体は本
発明を構成する。かかるプログラムコードを記憶する記
録媒体としては、例えばフロッピーディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用い
ることができる。
グラムコード自体が上述した実施形態の機能を実現する
ことになり、そのプログラムコード自体、およびそのプ
ログラムコードをコンピュータに供給するための手段、
例えばかかるプログラムコードを格納した記録媒体は本
発明を構成する。かかるプログラムコードを記憶する記
録媒体としては、例えばフロッピーディスク、ハードデ
ィスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、
磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用い
ることができる。
【００８３】また、コンピュータが供給されたプログラ
ムコードを実行することにより、上述の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）あるいは他のアプリケーションソフト等の共
同して上述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。
ムコードを実行することにより、上述の実施形態の機能
が実現されるだけでなく、そのプログラムコードがコン
ピュータにおいて稼働しているＯＳ（オペレーティング
システム）あるいは他のアプリケーションソフト等の共
同して上述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。
【００８４】さらに、供給されたプログラムコードがコ
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の
一部または全部を行い、その処理によって上述した実施
形態の機能が実現される場合にも本発明に含まれること
は言うまでもない。
ンピュータの機能拡張ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに格納された後、そ
のプログラムコードの指示に基づいてその機能拡張ボー
ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の
一部または全部を行い、その処理によって上述した実施
形態の機能が実現される場合にも本発明に含まれること
は言うまでもない。
【００８５】
【発明の効果】本発明は上述したように、可制御カメラ
で撮影した画像と、可制御カメラで撮影できる全範囲を
広角カメラにより撮影した画像とを第１の装置から第２
の装置に伝送し、それぞれを表示するようにしたので、
第２の装置の利用者は、自分がいま所望する詳細な画像
だけでなく、その周辺の画像もほぼリアルタイムに近い
形で見ることができる。これにより、これらの表示を見
ながら可制御カメラの撮影状態を遠隔制御することで、
詳細画像の表示をその周辺の状況変化等に応じて瞬時に
変えるようにすることができる。したがって、例えば、
ＴＶ会議や遠隔監視など映像を見ながら、遠隔の可制御
カメラの撮影状態の制御を対話的に行いたいとき、可制
御カメラが運動して撮影できるすべての領域の映像を見
ながら撮影状態を制御することができ、容易に操作する
ことができる。
で撮影した画像と、可制御カメラで撮影できる全範囲を
広角カメラにより撮影した画像とを第１の装置から第２
の装置に伝送し、それぞれを表示するようにしたので、
第２の装置の利用者は、自分がいま所望する詳細な画像
だけでなく、その周辺の画像もほぼリアルタイムに近い
形で見ることができる。これにより、これらの表示を見
ながら可制御カメラの撮影状態を遠隔制御することで、
詳細画像の表示をその周辺の状況変化等に応じて瞬時に
変えるようにすることができる。したがって、例えば、
ＴＶ会議や遠隔監視など映像を見ながら、遠隔の可制御
カメラの撮影状態の制御を対話的に行いたいとき、可制
御カメラが運動して撮影できるすべての領域の映像を見
ながら撮影状態を制御することができ、容易に操作する
ことができる。
【図１】本発明の第１の実施形態に係るカメラ制御シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
【図２】本発明の第１の実施形態の画像表示例を示す図
である。
である。
【図３】本発明の第１の実施形態の動作を説明するため
のデータフロー図である。
のデータフロー図である。
【図４】第１の実施形態で使用した魚眼カメラによる撮
影映像とパノラマ映像との関係を示す図である。
影映像とパノラマ映像との関係を示す図である。
【図５】本発明の第１の実施形態に係る画像処理を説明
するための図である。
するための図である。
【図６】本発明の第２の実施形態に係るカメラ制御シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
【図７】本発明の第２の実施形態に係るレンズ位置を説
明するための第１の装置の外観構成図である。
明するための第１の装置の外観構成図である。
【図８】本発明の第３の実施形態に係るカメラ制御シス
テムの構成を示すブロック図である。
テムの構成を示すブロック図である。
【図９】本発明の第３の実施形態の画像表示例を示す図
である。
である。
【図１０】本発明の第３の実施形態の動作を説明するた
めのデータフロー図である。
めのデータフロー図である。
【図１１】本発明の第３の実施形態に係る第１の装置の
実現例を示す外観構成図である。
実現例を示す外観構成図である。
【図１２】本発明の第４の実施形態に係るカメラ制御シ
ステムの構成を示すブロック図である。
ステムの構成を示すブロック図である。
【図１３】本発明の第５の実施形態に係るカメラ制御シ
ステムの構成を示すブロック図である。
ステムの構成を示すブロック図である。
１０１ 広角カメラ １０３ 画像処理回路 １０５ 通信制御回路 １０６ ズームカメラ １０７ 雲台 １０９ ＰＣ（第２の装置） １１０ 雲台付きカメラ ２０２ 詳細映像表示ウィンドウ ２０３ パノラマ映像表示ウィンドウ ２０４ 指示枠 ６０１ 広角カメラ ６０３ 画像処理回路
Claims (27)
- 【請求項１】 広い画角で画像を撮像する広角カメラ、
および撮影状態を制御可能な可制御カメラを備えた第１
の装置と、上記第１の装置とネットワーク接続され、上
記可制御カメラの撮影状態を遠隔制御可能な第２の装置
とにより構成し、 上記広角カメラによって撮像された画像および、上記可
制御カメラによって撮像された画像を上記第１の装置か
ら上記第２の装置に伝送し、上記第２の装置に両画像を
表示するようにしたことを特徴とするカメラ制御システ
ム。 - 【請求項２】 上記広角カメラによって撮像される画像
はパノラマ画像であり、このパノラマ画像の縦横比は、
上記可制御カメラが撮像できる全領域の縦横比と同じで
あることを特徴とする請求項１に記載のカメラ制御シス
テム。 - 【請求項３】 上記広角カメラは、撮像される画像に歪
みが生じる超広角レンズを備え、 上記超広角レンズにより撮像された画像を画像処理して
上記歪みをなくすことでパノラマ画像を生成する画像処
理手段を更に備えたことを特徴とする請求項１または２
に記載のカメラ制御システム。 - 【請求項４】 上記広角カメラによって撮像された画像
に、上記可制御カメラによって撮像されている画像の視
野に相当する枠の情報を重畳して表示するようにしたこ
とを特徴とする請求項１〜３の何れか１項に記載のカメ
ラ制御システム。 - 【請求項５】 上記枠の情報を重畳する手段は、上記第
１の装置内に備えられ、上記可制御カメラの撮影状態を
制御しているパラメータに基づいて上記枠の情報を求め
ることを特徴とする請求項４に記載のカメラ制御システ
ム。 - 【請求項６】 上記枠の情報を重畳する手段は、上記第
２の装置内に備えられ、上記第１の装置より伝送されて
くる上記可制御カメラの撮影状態を制御しているパラメ
ータに基づいて上記枠の情報を求めることを特徴とする
請求項４に記載のカメラ制御システム。 - 【請求項７】 上記第２の装置は、上記広角カメラによ
り撮像された画像上の位置もしくは領域を指定して上記
可制御カメラの撮影状態の制御を行う手段を備えること
を特徴とする請求項１〜６の何れか１項に記載のカメラ
制御システム。 - 【請求項８】 上記第１の装置は、複数の広角カメラ
と、 上記複数の広角カメラにより撮像された複数の画像を伝
送に先立って画像処理して１つの画像に合成する第２の
画像処理手段とを備えることを特徴とする請求項１〜７
の何れか１項に記載のカメラ制御システム。 - 【請求項９】 広角カメラにより撮像された画像およ
び、撮影状態を制御可能な可制御カメラにより撮像され
た画像を第１の装置から第２の装置に伝送して上記第２
の装置に両画像を表示するようにし、 上記可制御カメラの撮影状態を上記第２の装置から遠隔
制御するようにしたことを特徴とするカメラ制御方法。 - 【請求項１０】 撮像される画像に歪みが生じる超広角
レンズを備えた上記広角カメラによって撮像された画像
に対し、画像処理を施して歪みをなくすことで、上記可
制御カメラが撮像できる全領域の縦横比と同じ比率のパ
ノラマ画像を生成し、生成したパノラマ画像を上記第１
の装置から第２の装置に伝送するようにしたことを特徴
とする請求項９に記載のカメラ制御方法。 - 【請求項１１】 上記広角カメラによって撮像された画
像に、上記可制御カメラによって撮像されている画像の
視野に相当する枠の情報を重畳して表示するようにした
ことを特徴とする請求項９または１０に記載のカメラ制
御方法。 - 【請求項１２】 上記第２の装置において、上記広角カ
メラにより撮像された画像上の位置もしくは領域を指定
して上記可制御カメラの撮影状態の制御を行うことを特
徴とする請求項９〜１１の何れか１項に記載のカメラ制
御方法。 - 【請求項１３】 複数の広角カメラにより撮像された複
数の画像を伝送に先立って画像処理して１つの画像に合
成することを特徴とする請求項９〜１２の何れか１項に
記載のカメラ制御方法。 - 【請求項１４】 広い画角で画像を撮像する広角カメラ
と、 撮影状態を制御可能な可制御カメラと、 上記広角カメラおよび可制御カメラにより撮影された両
画像を伝送する伝送手段とを備えたことを特徴とするカ
メラ制御装置。 - 【請求項１５】 撮像される画像に歪みが生じる超広角
レンズを備えた広角カメラと、 上記超広角レンズにより撮像された画像を画像処理して
上記歪みをなくす画像処理手段とを備えたことを特徴と
するカメラ制御装置。 - 【請求項１６】 広い画角で画像を撮像する広角カメラ
と、 撮影状態を制御可能な可制御カメラと、 上記広角カメラによって撮像された画像に、上記可制御
カメラによって撮像されている画像の視野に相当する枠
の情報を重畳させる処理手段とを備えたことを特徴とす
るカメラ制御装置。 - 【請求項１７】 上記処理手段は、上記可制御カメラの
撮影状態を制御しているパン、チルト、ズームのパラメ
ータに基づいて上記枠の情報を求めることを特徴とする
請求項１６に記載のカメラ制御装置。 - 【請求項１８】 広い画角で画像を撮像する複数の広角
カメラと、 上記複数の広角カメラにより撮像された複数の画像を伝
送に先立って画像処理して１つの画像に合成する画像処
理手段とを備えるカメラ制御装置。 - 【請求項１９】 画像を伝送するカメラ制御装置であっ
て、 本体に固定された広角カメラによって撮像された広い画
角の画像と、上記本体に対して相対的に動き撮影状態を
制御可能な可制御カメラによって撮像された画像との２
種類の画像を伝送することを特徴とするカメラ制御装
置。 - 【請求項２０】 上記可制御カメラは、パン、チルト、
ズームを制御可能であることを特徴とする請求項１９に
記載のカメラ制御装置。 - 【請求項２１】 上記可制御カメラの撮影状態は、外部
から与えられる指令に従って制御されることを特徴とす
る請求項１９または２０に記載のカメラ制御装置。 - 【請求項２２】 上記可制御カメラによって撮像される
画像は、上記広角カメラによって撮像される画像の一部
であることを特徴とする請求項１９〜２１の何れか１項
に記載のカメラ制御装置。 - 【請求項２３】 上記広角カメラによって撮像された画
像の一部に、上記可制御カメラによって撮像された画像
の視野に相当する枠の情報を描画することを特徴とする
請求項１９〜２２の何れか１項に記載のカメラ制御装
置。 - 【請求項２４】 上記可制御カメラは上記本体から分離
されたカメラであることを特徴とする請求項１９〜２３
の何れか１項に記載のカメラ制御装置。 - 【請求項２５】 撮像される画像に歪みが生じる超広角
レンズを備えた広角カメラによって撮像された画像に対
し、画像処理を施して歪みをなくすことでパノラマ画像
を生成する処理手段を備えたことを特徴とする画像処理
装置。 - 【請求項２６】 上記歪みを持つ画像は、画像の周辺で
の視野角が小さく、画像の中心部での視野角が大きく射
影された画像であり、 上記処理手段は、上記パノラマ画像の各々の画素につい
て上記歪みを持つ画像の対応する画素を求め、上記視野
角が一定となるように画素位置を修正することを特徴と
する請求項２３に記載の画像処理装置。 - 【請求項２７】 請求項９〜１３の何れか１項に記載の
カメラ制御方法の処理手順をコンピュータに実行させる
ためのプログラムを記録したことを特徴とするコンピュ
ータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19268298A JP3792901B2 (ja) | 1998-07-08 | 1998-07-08 | カメラ制御システム及びその制御方法 |
| US09/346,256 US6977676B1 (en) | 1998-07-08 | 1999-07-01 | Camera control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19268298A JP3792901B2 (ja) | 1998-07-08 | 1998-07-08 | カメラ制御システム及びその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000032319A true JP2000032319A (ja) | 2000-01-28 |
| JP3792901B2 JP3792901B2 (ja) | 2006-07-05 |
Family
ID=16295301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19268298A Expired - Fee Related JP3792901B2 (ja) | 1998-07-08 | 1998-07-08 | カメラ制御システム及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792901B2 (ja) |
Cited By (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002082369A (ja) * | 2000-09-07 | 2002-03-22 | Akira Nakano | 二元操作型視認支援装置 |
| JP2002218288A (ja) * | 2001-01-15 | 2002-08-02 | Nippon Hoso Kyokai <Nhk> | カメラ表示システム |
| JP2003009136A (ja) * | 2001-06-21 | 2003-01-10 | Toshiba Corp | カメラ監視システム及び映像配信サーバ |
| JP2003014421A (ja) * | 2001-07-04 | 2003-01-15 | Minolta Co Ltd | 測定装置及び測定方法 |
| JP2004007284A (ja) * | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | 映像記録システム、プログラム及び記録媒体 |
| JP2004007283A (ja) * | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | 映像配信システム、プログラム及び記録媒体 |
| US6677979B1 (en) * | 2001-06-12 | 2004-01-13 | Cisco Technology, Inc. | Method and apparatus for dual image video teleconferencing |
| JP2004064784A (ja) * | 2002-07-26 | 2004-02-26 | Fuji Xerox Co Ltd | 複数のユーザへマルチリゾリューションビデオを提供する方法、コンピュータプログラムプロダクト、及び装置 |
| JP2004135209A (ja) * | 2002-10-15 | 2004-04-30 | Hitachi Ltd | 広視野高解像度映像の生成装置及び方法 |
| JP2005045779A (ja) * | 2003-07-02 | 2005-02-17 | Fuji Xerox Co Ltd | オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品 |
| JP2005136669A (ja) * | 2003-10-30 | 2005-05-26 | Victor Co Of Japan Ltd | 撮像装置 |
| JP2006020111A (ja) * | 2004-07-02 | 2006-01-19 | Pentax Corp | カメラ |
| WO2006044847A3 (en) * | 2004-10-15 | 2006-06-29 | Intouch Health Inc | Tele-robotic videoconferencing in a corporte environment |
| US7158861B2 (en) | 2002-07-25 | 2007-01-02 | Intouch Technologies, Inc. | Tele-robotic system used to provide remote consultation services |
| JP2007235969A (ja) * | 2007-03-19 | 2007-09-13 | Ricoh Co Ltd | 映像記録システム、プログラム及び記録媒体 |
| US7292264B2 (en) | 2002-06-14 | 2007-11-06 | Canon Kabushiki Kaisha | Multiple image processing and synthesis using background image extraction |
| JP2009147816A (ja) * | 2007-12-17 | 2009-07-02 | Sony Corp | 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体 |
| WO2009142332A1 (en) * | 2008-05-23 | 2009-11-26 | Advas Co., Ltd. | Hybrid video camera syste |
| JP2009301175A (ja) * | 2008-06-11 | 2009-12-24 | Ihi Aerospace Co Ltd | 監視方法 |
| US7761185B2 (en) | 2006-10-03 | 2010-07-20 | Intouch Technologies, Inc. | Remote presence display through remotely controlled robot |
| US7769492B2 (en) | 2006-02-22 | 2010-08-03 | Intouch Technologies, Inc. | Graphical interface for a remote presence system |
| US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| JP2011114500A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | カメラシステム |
| US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
| US8116910B2 (en) | 2007-08-23 | 2012-02-14 | Intouch Technologies, Inc. | Telepresence robot with a printer |
| US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
| US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
| US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| JP2013055541A (ja) * | 2011-09-05 | 2013-03-21 | Ricoh Co Ltd | 撮像装置 |
| JP2013519254A (ja) * | 2010-02-01 | 2013-05-23 | ヨンコック エレクトロニクス、カンパニーリミテッド | 追跡監視用カメラ装置及びこれを採用する遠隔監視システム |
| US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US8515577B2 (en) | 2002-07-25 | 2013-08-20 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
| US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| JP2014085438A (ja) * | 2012-10-22 | 2014-05-12 | Nikon Corp | 補助撮像装置および主撮像装置 |
| JP2014143545A (ja) * | 2013-01-23 | 2014-08-07 | Olympus Imaging Corp | 撮影機器 |
| US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
| US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
| US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
| US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US9174342B2 (en) | 2012-05-22 | 2015-11-03 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US9469030B2 (en) | 2011-01-28 | 2016-10-18 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| US9602765B2 (en) | 2009-08-26 | 2017-03-21 | Intouch Technologies, Inc. | Portable remote presence robot |
| US9610685B2 (en) | 2004-02-26 | 2017-04-04 | Intouch Technologies, Inc. | Graphical interface for a remote presence system |
| US9715337B2 (en) | 2011-11-08 | 2017-07-25 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| EP3232658A1 (en) | 2016-04-15 | 2017-10-18 | Canon Kabushiki Kaisha | Imaging system, image processing apparatus, imaging system control method, image processing apparatus control method, and program |
| US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
| JP2018011310A (ja) * | 2017-08-09 | 2018-01-18 | オリンパス株式会社 | 撮影機器、連携撮影方法及び連携撮影プログラム |
| US9902069B2 (en) | 2010-05-20 | 2018-02-27 | Irobot Corporation | Mobile robot system |
| US9974612B2 (en) | 2011-05-19 | 2018-05-22 | Intouch Technologies, Inc. | Enhanced diagnostics for a telepresence robot |
| US10218748B2 (en) | 2010-12-03 | 2019-02-26 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
| JP2019087974A (ja) * | 2017-11-10 | 2019-06-06 | キヤノン株式会社 | 撮像装置、撮像方法、表示装置および表示方法 |
| US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| CN110661979A (zh) * | 2019-09-12 | 2020-01-07 | 北京字节跳动网络技术有限公司 | 摄像方法、装置、终端及存储介质 |
| US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
| US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| JP6844055B1 (ja) * | 2020-05-29 | 2021-03-17 | 丸善インテック株式会社 | 監視カメラ |
| US10969766B2 (en) | 2009-04-17 | 2021-04-06 | Teladoc Health, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
| US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
| US11205510B2 (en) | 2012-04-11 | 2021-12-21 | Teladoc Health, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| KR20220020105A (ko) * | 2020-08-11 | 2022-02-18 | 모피어스 주식회사 | 가상 원격 촬영 시스템 및 방법 |
| US11389064B2 (en) | 2018-04-27 | 2022-07-19 | Teladoc Health, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
| US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
| US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
| US11742094B2 (en) | 2017-07-25 | 2023-08-29 | Teladoc Health, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
-
1998
- 1998-07-08 JP JP19268298A patent/JP3792901B2/ja not_active Expired - Fee Related
Cited By (130)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002082369A (ja) * | 2000-09-07 | 2002-03-22 | Akira Nakano | 二元操作型視認支援装置 |
| JP4547694B2 (ja) * | 2000-09-07 | 2010-09-22 | 旭 中野 | 二元操作型視認支援装置 |
| JP2002218288A (ja) * | 2001-01-15 | 2002-08-02 | Nippon Hoso Kyokai <Nhk> | カメラ表示システム |
| US6677979B1 (en) * | 2001-06-12 | 2004-01-13 | Cisco Technology, Inc. | Method and apparatus for dual image video teleconferencing |
| JP2003009136A (ja) * | 2001-06-21 | 2003-01-10 | Toshiba Corp | カメラ監視システム及び映像配信サーバ |
| JP2003014421A (ja) * | 2001-07-04 | 2003-01-15 | Minolta Co Ltd | 測定装置及び測定方法 |
| JP2004007284A (ja) * | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | 映像記録システム、プログラム及び記録媒体 |
| JP2004007283A (ja) * | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | 映像配信システム、プログラム及び記録媒体 |
| US8125521B2 (en) | 2002-06-14 | 2012-02-28 | Canon Kabushiki Kaisha | Multiple image processing and synthesis using background image extraction |
| US7292264B2 (en) | 2002-06-14 | 2007-11-06 | Canon Kabushiki Kaisha | Multiple image processing and synthesis using background image extraction |
| US8515577B2 (en) | 2002-07-25 | 2013-08-20 | Yulun Wang | Medical tele-robotic system with a master remote station with an arbitrator |
| US9849593B2 (en) | 2002-07-25 | 2017-12-26 | Intouch Technologies, Inc. | Medical tele-robotic system with a master remote station with an arbitrator |
| US8209051B2 (en) | 2002-07-25 | 2012-06-26 | Intouch Technologies, Inc. | Medical tele-robotic system |
| US10315312B2 (en) | 2002-07-25 | 2019-06-11 | Intouch Technologies, Inc. | Medical tele-robotic system with a master remote station with an arbitrator |
| US7158861B2 (en) | 2002-07-25 | 2007-01-02 | Intouch Technologies, Inc. | Tele-robotic system used to provide remote consultation services |
| USRE45870E1 (en) | 2002-07-25 | 2016-01-26 | Intouch Technologies, Inc. | Apparatus and method for patient rounding with a remote controlled robot |
| JP4539048B2 (ja) * | 2002-07-26 | 2010-09-08 | 富士ゼロックス株式会社 | 動画像表示システム及びプログラム |
| JP2004064784A (ja) * | 2002-07-26 | 2004-02-26 | Fuji Xerox Co Ltd | 複数のユーザへマルチリゾリューションビデオを提供する方法、コンピュータプログラムプロダクト、及び装置 |
| JP2004135209A (ja) * | 2002-10-15 | 2004-04-30 | Hitachi Ltd | 広視野高解像度映像の生成装置及び方法 |
| JP4501556B2 (ja) * | 2003-07-02 | 2010-07-14 | 富士ゼロックス株式会社 | オーディオ装置を管理する方法、装置及びプログラム |
| JP2005045779A (ja) * | 2003-07-02 | 2005-02-17 | Fuji Xerox Co Ltd | オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品 |
| JP2005136669A (ja) * | 2003-10-30 | 2005-05-26 | Victor Co Of Japan Ltd | 撮像装置 |
| US7813836B2 (en) | 2003-12-09 | 2010-10-12 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US9375843B2 (en) | 2003-12-09 | 2016-06-28 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US9956690B2 (en) | 2003-12-09 | 2018-05-01 | Intouch Technologies, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US10882190B2 (en) | 2003-12-09 | 2021-01-05 | Teladoc Health, Inc. | Protocol for a remotely controlled videoconferencing robot |
| US9610685B2 (en) | 2004-02-26 | 2017-04-04 | Intouch Technologies, Inc. | Graphical interface for a remote presence system |
| JP4565909B2 (ja) * | 2004-07-02 | 2010-10-20 | Ｈｏｙａ株式会社 | カメラ |
| JP2006020111A (ja) * | 2004-07-02 | 2006-01-19 | Pentax Corp | カメラ |
| US8401275B2 (en) | 2004-07-13 | 2013-03-19 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US8983174B2 (en) | 2004-07-13 | 2015-03-17 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US10241507B2 (en) | 2004-07-13 | 2019-03-26 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| US8077963B2 (en) | 2004-07-13 | 2011-12-13 | Yulun Wang | Mobile robot with a head-based movement mapping scheme |
| US9766624B2 (en) | 2004-07-13 | 2017-09-19 | Intouch Technologies, Inc. | Mobile robot with a head-based movement mapping scheme |
| WO2006044847A3 (en) * | 2004-10-15 | 2006-06-29 | Intouch Health Inc | Tele-robotic videoconferencing in a corporte environment |
| US10259119B2 (en) | 2005-09-30 | 2019-04-16 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| US9198728B2 (en) | 2005-09-30 | 2015-12-01 | Intouch Technologies, Inc. | Multi-camera mobile teleconferencing platform |
| US7769492B2 (en) | 2006-02-22 | 2010-08-03 | Intouch Technologies, Inc. | Graphical interface for a remote presence system |
| US8849679B2 (en) | 2006-06-15 | 2014-09-30 | Intouch Technologies, Inc. | Remote controlled robot system that provides medical images |
| US7761185B2 (en) | 2006-10-03 | 2010-07-20 | Intouch Technologies, Inc. | Remote presence display through remotely controlled robot |
| JP2007235969A (ja) * | 2007-03-19 | 2007-09-13 | Ricoh Co Ltd | 映像記録システム、プログラム及び記録媒体 |
| US9160783B2 (en) | 2007-05-09 | 2015-10-13 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US10682763B2 (en) | 2007-05-09 | 2020-06-16 | Intouch Technologies, Inc. | Robot system that operates through a network firewall |
| US8116910B2 (en) | 2007-08-23 | 2012-02-14 | Intouch Technologies, Inc. | Telepresence robot with a printer |
| JP2009147816A (ja) * | 2007-12-17 | 2009-07-02 | Sony Corp | 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体 |
| US10875182B2 (en) | 2008-03-20 | 2020-12-29 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| US11787060B2 (en) | 2008-03-20 | 2023-10-17 | Teladoc Health, Inc. | Remote presence system mounted to operating room hardware |
| US11472021B2 (en) | 2008-04-14 | 2022-10-18 | Teladoc Health, Inc. | Robotic based health care system |
| US10471588B2 (en) | 2008-04-14 | 2019-11-12 | Intouch Technologies, Inc. | Robotic based health care system |
| US8179418B2 (en) | 2008-04-14 | 2012-05-15 | Intouch Technologies, Inc. | Robotic based health care system |
| US8170241B2 (en) | 2008-04-17 | 2012-05-01 | Intouch Technologies, Inc. | Mobile tele-presence system with a microphone system |
| WO2009142332A1 (en) * | 2008-05-23 | 2009-11-26 | Advas Co., Ltd. | Hybrid video camera syste |
| JP2009301175A (ja) * | 2008-06-11 | 2009-12-24 | Ihi Aerospace Co Ltd | 監視方法 |
| US9193065B2 (en) | 2008-07-10 | 2015-11-24 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US10493631B2 (en) | 2008-07-10 | 2019-12-03 | Intouch Technologies, Inc. | Docking system for a tele-presence robot |
| US10878960B2 (en) | 2008-07-11 | 2020-12-29 | Teladoc Health, Inc. | Tele-presence robot system with multi-cast features |
| US9842192B2 (en) | 2008-07-11 | 2017-12-12 | Intouch Technologies, Inc. | Tele-presence robot system with multi-cast features |
| US8340819B2 (en) | 2008-09-18 | 2012-12-25 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| US9429934B2 (en) | 2008-09-18 | 2016-08-30 | Intouch Technologies, Inc. | Mobile videoconferencing robot system with network adaptive driving |
| US8996165B2 (en) | 2008-10-21 | 2015-03-31 | Intouch Technologies, Inc. | Telepresence robot with a camera boom |
| US10875183B2 (en) | 2008-11-25 | 2020-12-29 | Teladoc Health, Inc. | Server connectivity control for tele-presence robot |
| US10059000B2 (en) | 2008-11-25 | 2018-08-28 | Intouch Technologies, Inc. | Server connectivity control for a tele-presence robot |
| US8463435B2 (en) | 2008-11-25 | 2013-06-11 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US9138891B2 (en) | 2008-11-25 | 2015-09-22 | Intouch Technologies, Inc. | Server connectivity control for tele-presence robot |
| US8849680B2 (en) | 2009-01-29 | 2014-09-30 | Intouch Technologies, Inc. | Documentation through a remote presence robot |
| US10969766B2 (en) | 2009-04-17 | 2021-04-06 | Teladoc Health, Inc. | Tele-presence robot system with software modularity, projector and laser pointer |
| US11399153B2 (en) | 2009-08-26 | 2022-07-26 | Teladoc Health, Inc. | Portable telepresence apparatus |
| US9602765B2 (en) | 2009-08-26 | 2017-03-21 | Intouch Technologies, Inc. | Portable remote presence robot |
| US10911715B2 (en) | 2009-08-26 | 2021-02-02 | Teladoc Health, Inc. | Portable remote presence robot |
| US10404939B2 (en) | 2009-08-26 | 2019-09-03 | Intouch Technologies, Inc. | Portable remote presence robot |
| JP2011114500A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Imaging Corp | カメラシステム |
| JP2013519254A (ja) * | 2010-02-01 | 2013-05-23 | ヨンコック エレクトロニクス、カンパニーリミテッド | 追跡監視用カメラ装置及びこれを採用する遠隔監視システム |
| US11154981B2 (en) | 2010-02-04 | 2021-10-26 | Teladoc Health, Inc. | Robot user interface for telepresence robot system |
| US11798683B2 (en) | 2010-03-04 | 2023-10-24 | Teladoc Health, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US10887545B2 (en) | 2010-03-04 | 2021-01-05 | Teladoc Health, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US8670017B2 (en) | 2010-03-04 | 2014-03-11 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US9089972B2 (en) | 2010-03-04 | 2015-07-28 | Intouch Technologies, Inc. | Remote presence system including a cart that supports a robot face and an overhead camera |
| US9902069B2 (en) | 2010-05-20 | 2018-02-27 | Irobot Corporation | Mobile robot system |
| US10343283B2 (en) | 2010-05-24 | 2019-07-09 | Intouch Technologies, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US11389962B2 (en) | 2010-05-24 | 2022-07-19 | Teladoc Health, Inc. | Telepresence robot system that can be accessed by a cellular phone |
| US10218748B2 (en) | 2010-12-03 | 2019-02-26 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
| US9785149B2 (en) | 2011-01-28 | 2017-10-10 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US11468983B2 (en) | 2011-01-28 | 2022-10-11 | Teladoc Health, Inc. | Time-dependent navigation of telepresence robots |
| US10399223B2 (en) | 2011-01-28 | 2019-09-03 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
| US11289192B2 (en) | 2011-01-28 | 2022-03-29 | Intouch Technologies, Inc. | Interfacing with a mobile telepresence robot |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US10591921B2 (en) | 2011-01-28 | 2020-03-17 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| US9469030B2 (en) | 2011-01-28 | 2016-10-18 | Intouch Technologies | Interfacing with a mobile telepresence robot |
| US10769739B2 (en) | 2011-04-25 | 2020-09-08 | Intouch Technologies, Inc. | Systems and methods for management of information among medical providers and facilities |
| US9974612B2 (en) | 2011-05-19 | 2018-05-22 | Intouch Technologies, Inc. | Enhanced diagnostics for a telepresence robot |
| JP2013055541A (ja) * | 2011-09-05 | 2013-03-21 | Ricoh Co Ltd | 撮像装置 |
| US10331323B2 (en) | 2011-11-08 | 2019-06-25 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US9715337B2 (en) | 2011-11-08 | 2017-07-25 | Intouch Technologies, Inc. | Tele-presence system with a user interface that displays different communication links |
| US8902278B2 (en) | 2012-04-11 | 2014-12-02 | Intouch Technologies, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US10762170B2 (en) | 2012-04-11 | 2020-09-01 | Intouch Technologies, Inc. | Systems and methods for visualizing patient and telepresence device statistics in a healthcare network |
| US11205510B2 (en) | 2012-04-11 | 2021-12-21 | Teladoc Health, Inc. | Systems and methods for visualizing and managing telepresence devices in healthcare networks |
| US11515049B2 (en) | 2012-05-22 | 2022-11-29 | Teladoc Health, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US11453126B2 (en) | 2012-05-22 | 2022-09-27 | Teladoc Health, Inc. | Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices |
| US10061896B2 (en) | 2012-05-22 | 2018-08-28 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US11628571B2 (en) | 2012-05-22 | 2023-04-18 | Teladoc Health, Inc. | Social behavior rules for a medical telepresence robot |
| US10328576B2 (en) | 2012-05-22 | 2019-06-25 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US9776327B2 (en) | 2012-05-22 | 2017-10-03 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US10658083B2 (en) | 2012-05-22 | 2020-05-19 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US10603792B2 (en) | 2012-05-22 | 2020-03-31 | Intouch Technologies, Inc. | Clinical workflows utilizing autonomous and semiautonomous telemedicine devices |
| US10892052B2 (en) | 2012-05-22 | 2021-01-12 | Intouch Technologies, Inc. | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US9361021B2 (en) | 2012-05-22 | 2016-06-07 | Irobot Corporation | Graphical user interfaces including touchpad driving interfaces for telemedicine devices |
| US9174342B2 (en) | 2012-05-22 | 2015-11-03 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| US10780582B2 (en) | 2012-05-22 | 2020-09-22 | Intouch Technologies, Inc. | Social behavior rules for a medical telepresence robot |
| JP2014085438A (ja) * | 2012-10-22 | 2014-05-12 | Nikon Corp | 補助撮像装置および主撮像装置 |
| US10924708B2 (en) | 2012-11-26 | 2021-02-16 | Teladoc Health, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US10334205B2 (en) | 2012-11-26 | 2019-06-25 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US11910128B2 (en) | 2012-11-26 | 2024-02-20 | Teladoc Health, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| US9098611B2 (en) | 2012-11-26 | 2015-08-04 | Intouch Technologies, Inc. | Enhanced video interaction for a user interface of a telepresence network |
| JP2014143545A (ja) * | 2013-01-23 | 2014-08-07 | Olympus Imaging Corp | 撮影機器 |
| EP3232658A1 (en) | 2016-04-15 | 2017-10-18 | Canon Kabushiki Kaisha | Imaging system, image processing apparatus, imaging system control method, image processing apparatus control method, and program |
| KR102166664B1 (ko) | 2016-04-15 | 2020-10-16 | 캐논 가부시끼가이샤 | 촬상 시스템, 화상 처리장치, 촬상 시스템의 제어방법, 화상 처리장치의 제어방법, 및 프로그램 |
| US10848685B2 (en) | 2016-04-15 | 2020-11-24 | Canon Kabushiki Kaisha | Imaging system, image processing apparatus, imaging system control method, image processing apparatus control method, and program |
| KR20170118603A (ko) * | 2016-04-15 | 2017-10-25 | 캐논 가부시끼가이샤 | 촬상 시스템, 화상 처리장치, 촬상 시스템의 제어방법, 화상 처리장치의 제어방법, 및 프로그램 |
| US11742094B2 (en) | 2017-07-25 | 2023-08-29 | Teladoc Health, Inc. | Modular telehealth cart with thermal imaging and touch screen user interface |
| JP2018011310A (ja) * | 2017-08-09 | 2018-01-18 | オリンパス株式会社 | 撮影機器、連携撮影方法及び連携撮影プログラム |
| US11636944B2 (en) | 2017-08-25 | 2023-04-25 | Teladoc Health, Inc. | Connectivity infrastructure for a telehealth platform |
| JP2019087974A (ja) * | 2017-11-10 | 2019-06-06 | キヤノン株式会社 | 撮像装置、撮像方法、表示装置および表示方法 |
| JP7013210B2 (ja) | 2017-11-10 | 2022-01-31 | キヤノン株式会社 | 撮像装置、撮像方法、表示装置および表示方法 |
| US11389064B2 (en) | 2018-04-27 | 2022-07-19 | Teladoc Health, Inc. | Telehealth cart that supports a removable tablet with seamless audio/video switching |
| CN110661979A (zh) * | 2019-09-12 | 2020-01-07 | 北京字节跳动网络技术有限公司 | 摄像方法、装置、终端及存储介质 |
| JP2021190864A (ja) * | 2020-05-29 | 2021-12-13 | 丸善インテック株式会社 | 監視カメラ |
| JP6844055B1 (ja) * | 2020-05-29 | 2021-03-17 | 丸善インテック株式会社 | 監視カメラ |
| TWI772029B (zh) * | 2020-05-29 | 2022-07-21 | 日商丸善伊到可股份有限公司 | 監視攝影機 |
| KR102501749B1 (ko) * | 2020-08-11 | 2023-03-02 | 모피어스 주식회사 | 가상 원격 촬영 시스템 및 방법 |
| KR20220020105A (ko) * | 2020-08-11 | 2022-02-18 | 모피어스 주식회사 | 가상 원격 촬영 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3792901B2 (ja) | 2006-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3792901B2 (ja) | カメラ制御システム及びその制御方法 | |
| US6977676B1 (en) | Camera control system | |
| JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7450165B2 (en) | Multiple-view processing in wide-angle video camera | |
| US9313400B2 (en) | Linking-up photographing system and control method for linked-up cameras thereof | |
| JP4332231B2 (ja) | 撮像装置コントローラおよび撮像システム | |
| JP4914171B2 (ja) | 撮像装置の制御方法及びカメラシステム | |
| JP2004282162A (ja) | カメラ、監視システム | |
| KR20120108747A (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
| JP3744147B2 (ja) | パノラマ画像生成装置および方法 | |
| JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
| KR101630290B1 (ko) | 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치 | |
| JP2000341574A (ja) | カメラ装置及びカメラ制御システム | |
| KR102009988B1 (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 | |
| TW201410015A (zh) | 多攝影機的整合處理系統及其方法 | |
| JP2002101408A (ja) | 監視カメラシステム | |
| JP4448001B2 (ja) | 撮像装置 | |
| JP2006025340A (ja) | 広角撮像装置、撮像システムおよびその制御方法 | |
| JP2012099887A (ja) | 撮像装置 | |
| KR101193129B1 (ko) | 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템 | |
| JP4332580B2 (ja) | 制御装置および制御方法、並びに監視システム | |
| KR102707798B1 (ko) | 팬틸트줌 동작이 가능한 카메라 장치와 이를 이용한 영상 감시 시스템 및 방법 | |
| JP3812069B2 (ja) | 撮像装置コントローラおよび撮像装置 | |
| JP4127080B2 (ja) | 撮像装置及び方法 | |
| JP4211377B2 (ja) | 画像信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050803 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060406 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |