JP2004128997A

JP2004128997A - 映像遠隔制御装置，映像遠隔制御方法，映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体

Info

Publication number: JP2004128997A
Application number: JP2002291739A
Authority: JP
Inventors: Tomoki Watabe; 渡部　智樹; Hiroki Anzai; 安西　浩樹; Katsumi Kishida; 岸田　克己; Shunsuke Konagai; 小長井　俊介
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-10-04
Filing date: 2002-10-04
Publication date: 2004-04-22
Anticipated expiration: 2022-10-04
Also published as: JP3934521B2

Abstract

【課題】遠隔カメラの操作を，映像を見ている携帯端末等の映像入出力手段のユーザによる直感的な操作により実現する。
【解決手段】映像遠隔制御装置（サーバ）１は，携帯端末３からの要求により，遠隔カメラ２が撮影した映像を携帯端末３へ送信し，携帯端末３はその映像を表示する。携帯端末３を所持するユーザは，遠隔カメラ２を操作したいとき，携帯端末３のカメラで撮った映像を映像遠隔制御装置１へ送り，携帯端末３を移動または回転させることにより，映像の撮影方向を，遠隔カメラ２を操作したい方向へ変化させる。映像遠隔制御装置１は，携帯端末３から受信した映像の時間的変化に基づいて，遠隔カメラ２に対するパン，チルト，ズームなどの制御信号を決定し，その制御信号を遠隔カメラ２へ送信して，遠隔カメラ２の動作制御を行う。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は，遠隔カメラの制御装置にかかわり，特に当該カメラの映像を見ている携帯端末等を移動させることにより，パン，チルト，ズームのカメラ制御を行うことが可能な装置および方法に関する。
【０００２】
【従来の技術】
従来，遠隔にあるカメラを制御する方法として，遠隔からパソコンや携帯端末などを用いて，遠隔カメラに対し，パン，チルト，ズーム等のカメラ制御信号をユーザがボタン押下などの操作により送出することによって動作制御を行う方法が用いられている。
【０００３】
例えば，雲台に設置されたカメラをコントローラからの遠隔操作により，雲台の駆動モータを回転させることによって遠隔制御する方法があった（特許文献１参照。）。
【０００４】
【特許文献１】
特開平１１−２０５７７５号公報
【０００５】
【発明が解決しようとする課題】
しかし，上記特許文献１に記載された従来技術は，設置されたカメラの方向あるいは状態をコントローラを用いて変更させるものであるため，ボタン操作等の煩わしい操作が必要であり，ユーザの直感的な操作によりカメラの動作制御をすることが困難であった。
【０００６】
本発明は，上記従来技術の問題点を解決し，パン，チルト，ズーム等の遠隔に設置したカメラ制御のためのボタン押下等の煩わしい操作を不要とし，単にカメラの映像を見ている携帯端末の見たい方向への物理的な移動というユーザの直感的な操作により，遠隔制御を実現する装置または方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，本発明は，例えばユーザの所有する携帯端末にカメラを装着し，その携帯端末を移動させた角度・距離などの移動量をユーザのカメラで撮影された映像の変化分により測定し，遠隔に設置されたカメラを同等の移動量となるように動作制御する。すなわち，コンピュータからの信号により，パン，チルト，ズームの各動作制御が可能なカメラに対し，ユーザがカメラの映像を見ている携帯端末等の映像入出力手段を物理的に上下，左右，前後に移動させると，その移動情報をコンピュータに送信し，移動した移動量を計測させ，実際に携帯端末等を移動した角度・距離と同じようにカメラの撮影の向きやズームを動作させる。
【０００８】
【発明の実施の形態】
以下，本発明の実施の形態の説明では，映像入出力手段としてカメラ付き携帯端末を用いる例を説明するが，本発明は，カメラ付き携帯端末以外の映像入出力手段を用いる場合にも同様に適用することができる。
【０００９】
本発明の具体的な実施の形態を説明するに先立ち，図１および図２に従って，本発明の原理を説明する。図１および図２は，本発明の原理を説明するための図であり，例として位置ａから位置ｂに携帯端末の向きを移動させた場合を示している。図１において，１は遠隔カメラの動作を制御し映像を送受信するサーバ装置である映像遠隔制御装置，２は被写体を撮影する遠隔カメラ，３は遠隔カメラで撮影された映像を映像遠隔制御装置から受信して表示するとともに，装着されたカメラにより撮影したユーザ周辺の映像を映像遠隔制御装置にリアルタイムに送信する携帯端末である。
【００１０】
図１のような状況で，ユーザは携帯端末３の位置ａで遠隔カメラ２（位置Ａ）の映像を見ている。右の方向を見るために，位置ａから位置ｂに携帯端末３を右４５度に向けると，図２（Ａ）のように，携帯端末３で撮影されている映像の被写体は，全体的に左に流れる。映像が左に流れたということは，撮影したカメラは右にパンしたことになる。また，図２（Ｂ）の扉の右端が図２（Ｃ）の位置に移動しており，この差分を映像が移動した距離（携帯映像移動距離）として算出できる。
【００１１】
ここで，位置ａ，ｂでのカメラの焦点距離を取得すれば，逆三角関数を適用することで，移動角度の右４５度を算出できる。この移動角度４５度をもとに，遠隔カメラ２を動作させるために必要な制御信号を遠隔カメラ２に対して与えることで，遠隔カメラ２の向きを位置Ａから右４５度の位置Ｂへ移動させ，その映像を携帯端末３で見ることが可能となる。詳細については後述する。
【００１２】
また，本発明は，遠隔カメラ２と映像遠隔制御装置１，あるいは映像遠隔制御装置１と携帯端末３との間を双方向で通信可能なネットワークにより接続することで，移動量の測定と制御信号の生成にかかわる部分についての負荷の分散が可能となる。また，本発明は，制御の開始と終了を指示する手段を適用することにより，携帯端末３で映像を見ながら歩行する場合などの期待しない制御を防ぐことが可能となる。
【００１３】
図３は，映像遠隔制御装置１，遠隔カメラ２，携帯端末３の構成例を示す図である。図３において，４は遠隔カメラ２が撮影した被写体の映像を映像遠隔制御装置１へ伝送するとともに，映像遠隔制御装置１から遠隔カメラ２に送信される制御信号を伝送する遠隔伝送手段，５は映像遠隔制御装置１が中継する遠隔カメラ２が撮影した映像を携帯端末３へ送信するとともに，携帯端末３が撮影した映像を映像遠隔制御装置１へ伝送する携帯伝送手段である。
【００１４】
映像遠隔制御装置１において，１１は携帯端末３が撮影したユーザ周辺の映像を受信する携帯映像受信手段，１２は携帯映像受信手段１１が受信した映像の変化を検出して携帯端末３が移動した方向，距離を測定する携帯移動量測定手段，１３は測定された携帯端末３の移動した方向，距離と同等に遠隔カメラ２が動作するために必要な制御信号を生成する制御信号算出手段，１４は生成した制御信号を遠隔カメラ２に送信する制御信号伝送手段，１５は遠隔カメラ２が撮影した映像を携帯端末３に中継する映像中継手段である。
【００１５】
また，遠隔カメラ２において，２１は被写体を撮影する遠隔地撮影手段，２２は撮影した映像を映像遠隔制御装置１の映像中継手段１５に送信する遠隔地映像伝送手段，２３は映像遠隔制御装置１から送信された制御信号を受信する制御信号受信手段，２４は受信した制御信号に基づいて遠隔カメラ２のパン，チルト，ズーム等の動作を実行するためのカメラ動作手段である。
【００１６】
また，携帯端末３において，３１は遠隔カメラ２の遠隔地撮影手段２１が撮影した映像を映像遠隔制御装置１の映像中継手段１５を介して受信する映像受信手段，３２は映像受信手段３１が受信した映像を表示する映像表示手段，３３はユーザ周辺の映像を撮影する携帯撮影手段，３４は携帯撮影手段３３が撮影したユーザ周辺の映像を映像遠隔制御装置１の携帯映像受信手段１１に送信する映像送信手段である。
【００１７】
遠隔カメラ２と映像遠隔制御装置１，映像遠隔制御装置１と携帯端末３とは，双方向に通信可能なネットワークあるいは直接接続によりそれぞれ遠隔伝送手段４，携帯伝送手段５を介して信号のやりとりを行う。遠隔カメラ２は，遠隔地撮影手段２１により撮影された映像を，遠隔地映像伝送手段２２から遠隔伝送手段４を介して映像遠隔制御装置１の映像中継手段１５へ送信する。
【００１８】
映像中継手段１５は，受信した映像をそのまま，あるいは携帯端末３で表示できるような形式に変換を行い，携帯伝送手段５を介して携帯端末３の映像受信手段３１に送信する。なお，遠隔カメラ２が撮影する映像はビデオカメラなどの連続的な映像のことを指し，遠隔カメラ２から携帯端末３までリアルタイムに映像が送信されているものとする。
【００１９】
携帯端末３の映像表示手段３２は，映像受信手段３１が受信した映像をユーザが見えるように表示する。携帯端末３では，少なくとも遠隔カメラ２の映像を受信しているときでユーザからの指示があっときには，携帯端末３に固定に装着された携帯撮影手段３３によりユーザ周辺の映像を撮影し，映像送信手段３４から携帯伝送手段５を介して映像遠隔制御装置１の携帯映像受信手段１１に送信する。携帯端末３で撮影した映像も，遠隔カメラ２で撮影した映像と同様に，リアルタイムで映像遠隔制御装置１に送られるものとする。携帯端末３で撮影した映像を送信する際の映像の空間解像度，時間解像度は粗くてもよい。
【００２０】
ここでユーザは，表示された遠隔カメラ２の映像を見て，カメラを右にパンして右の方向を見たいと思い，映像を表示しているその携帯端末３を見たい右の方向に向けたとする。携帯端末３の向きを変えたことにより，携帯端末３に固定で装着された携帯撮影手段３３の撮影する映像も動かした分だけ移動しており，移動の開始から終了までの映像は携帯映像受信手段１１に送られている。
【００２１】
携帯移動量測定手段１２は，携帯映像受信手段１１が受信している映像に，上下・左右の変化，また被写体の大小の変化がないかを常に監視する。変化があった場合には，撮影された対象物の移動方向あるいは大きさの変化により携帯端末３が実際に移動した方向，距離を測定する。具体的な測定方法については後述する。
【００２２】
制御信号算出手段１３は，測定された実際の携帯端末３の方向，距離と同等に遠隔カメラ２が動作するために必要な制御信号を生成する。制御信号伝送手段１４，遠隔伝送手段４を介して，制御信号を遠隔カメラ２の制御信号受信手段２３に送信する。
【００２３】
遠隔カメラ２では，制御信号受信手段２３で受信した制御信号に基づき，カメラ動作手段２４により，実際にカメラのパン，チルト，ズームの動作を実行する。カメラ動作手段２４は，遠隔カメラ２を設置した雲台を動作させる手段であっても良いし，全方向撮影できるカメラであれは直接カメラに撮影方向あるいはズームなどの制御信号を与えて動作させる手段でも良い。
【００２４】
以上に説明したように，遠隔カメラ２の映像を見ている携帯端末３を左右・上下・前後に，あたかも遠隔カメラ２をその通りに操作しているかのように直感的に移動させるだけで，遠隔操作により遠隔カメラ２を見たい方向に移動させることが可能となる。
【００２５】
以下，携帯移動量測定手段１２における具体的な測定方法について，図４に従って一例を示す。図２の原理説明図で示したように，被写体の全部あるいは一部が画面内で移動した方向と，携帯映像移動距離（Ｍ）を測定する。被写体が左に移動していたら携帯端末３は右方向に，下に移動していたら携帯端末３は上に移動したことになる。
【００２６】
図４のように，携帯端末（ユーザ）の位置から被写体までの距離は，カメラの焦点距離（Ｄ）により取得できる。ここでは説明を簡単にするために，移動の前後でカメラの焦点距離は変わらないものとする。
【００２７】
以上により，携帯端末３をユーザが移動させた移動角度θは，次の式により求めることができる。
【００２８】
ｓｉｎ（θ／２）＝（Ｍ／２）／Ｄ＝Ｍ／２Ｄ
θ／２　＝　ｓｉｎ^−１（Ｍ／２Ｄ）
∴　　　θ　＝２　ｓｉｎ^−１（Ｍ／２Ｄ）
また，図５のように，被写体の大小の変化が検出された場合には，ズームによる拡大あるいは縮小と判断し，これと同様にカメラのズームを制御する。この場合，ズーム量は特に規定しない。
【００２９】
なお，特に正確な角度を算出しなくても，携帯端末３が動いた方向を測定するだけでも本発明の効果は発揮でき，より簡易な構成により実施できるというメリットが生じる。
【００３０】
図６は，本発明の実施の形態における遠隔カメラ２の動作制御のシーケンス図である。まず，携帯端末３から遠隔カメラ２へのアクセスを実行すると（Ａ），遠隔カメラ２が，撮影した映像を映像遠隔制御装置１へ送信し（Ｂ），映像遠隔制御装置１において，携帯端末３で表示可能なように映像を変換して携帯端末３へと送信する（Ｃ）。
【００３１】
携帯端末３では，受信した遠隔カメラ映像を表示する（Ｄ）。また，携帯端末３に固定に装着されたカメラ（携帯撮影手段３３）でユーザ周辺を撮影し（Ｅ），撮影した映像を映像遠隔制御装置１へ連続的にリアルタイムに送信する（Ｆ）。また，ユーザは，必要であれば，随時携帯端末３を見たい方向に移動させる（Ｇ）。
【００３２】
映像遠隔制御装置１では，携帯端末３からの映像を受信すると，リアルタイムに映像の変化を検出し（Ｈ），変化があるとその変化量を測定する（Ｉ）。映像の変化量としては少なくとも移動角度，または平行移動量もしくは回転移動量を含む。そして，変化量と同等の遠隔カメラ２の動作をさせるための制御量を算出し（Ｊ），制御信号を遠隔カメラ２に送信する（Ｋ）。制御信号を受信した遠隔カメラ２は，この制御信号に基づきパン・チルト・ズーム等の動作を実行する（Ｌ）。
【００３３】
なお，カメラ操作は，よく知られているように，パン（左右回転移動），チルト（上下回転移動），ローテーション（撮影公報への回転），トラック（左右平行移動），ドリー（前後平行移動），ブーム（上下平行移動），ズーム（撮影視野の大きさの変更）の７つある。本実施の形態で用いる遠隔カメラ２は固定式で，パン，チルト，ズームが扱えることを前提としているが，撮影された映像からパンとトラック（左右移動関係），チルトとブーム（上下移動関係），ズームとドリー（撮影された大きさの変更関係）は，一般には区別がつかない。よって，本実施の形態において，遠隔カメラ２への制御信号としては，パン，チルト，ズームを扱う。例えば，実際に携帯端末３でトラックが行われたとしても，撮影された映像からはパンとトラックの区別がつかないため，パンとして扱うこととする。
【００３４】
図７は，携帯端末３のフローチャートである。携帯端末３は，遠隔カメラ２にアクセスし（ステップＳ１），映像遠隔制御装置１経由で送られてきた遠隔カメラ２からの映像を受信したならば，それを表示する（ステップＳ２）。また，携帯撮影手段３３で撮影したユーザ周辺の映像を，映像遠隔制御装置１へ送信する（ステップＳ３）。遠隔カメラ２で撮影された映像をユーザが見たい方向に移動させたい場合，その見たい方向に携帯撮影手段３３を移動させる（ステップＳ４）。以上のステップＳ２〜Ｓ４を，終了の指示があるまで繰り返す（ステップＳ５）。
【００３５】
図８は，映像遠隔制御装置１の映像送信フローチャートである。携帯端末３からの遠隔カメラ２へのアクセスがあるのを待ち，アクセスがあればステップＳ１１へ進む（ステップＳ１０）。映像を遠隔カメラ２から受信する（ステップＳ１１）。次に，受信した映像を携帯端末３で表示可能なように変換して，携帯端末３へ送信する（ステップＳ１２）。ここで，変換とはサイズの変換，解像度の変換，圧縮符号化などであり，携帯端末３の属性等により必要に応じて行われる。以上のステップＳ１１〜Ｓ１２を，携帯端末３からの終了の指示があるまで繰り返す（ステップＳ１３）。
【００３６】
また，図９は，映像遠隔制御装置１による遠隔カメラ２の動作制御フローチャートである。映像遠隔制御装置１は，携帯端末３の携帯撮影手段３３で撮影された映像を受信し（ステップＳ２０），受信した携帯端末３の映像に変化があるかどうかを調べる（ステップＳ２１）。受信した携帯端末３の映像に変化があった場合，携帯端末３からの映像の変化量を測定する（ステップＳ２２）。変化量を測定する時間間隔は，あらかじめ任意に定めることができる。次に，測定した変化量に見合う遠隔カメラ２の制御量を算出し（ステップＳ２３），算出した制御量からパン・チルト・ズーム等の制御信号を生成して遠隔カメラ２に送信する（ステップＳ２４）。制御信号を受信した遠隔カメラ２は，この制御信号に基づきパン・チルト・ズーム等の動作を実行することになる。以上のステップＳ２０〜Ｓ２４を，終了の指示があるまで繰り返す（ステップＳ２５）。
【００３７】
以上のようにして，遠隔カメラ２の映像を見ている携帯端末３を左右・上下・前後に，あたかも遠隔カメラ２をその通りに操作しているかのように直感的に移動させるだけで，遠隔カメラ２を見たい方向に移動させることが可能となる。
【００３８】
以上の映像遠隔制御装置１が行う処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。
【００３９】
【発明の効果】
本発明によれば，遠隔カメラの操作を，映像を見ている携帯端末等の映像入出力手段の直感的な操作により実現できる。例えば，カメラ映像のもっと右を見たいときには，映像入出力手段を右に動かすと遠隔カメラが右にパンし，右の映像を映像入出力手段で見ることができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明の原理説明図である。
【図３】映像遠隔制御装置，遠隔カメラ，携帯端末の構成図である。
【図４】携帯端末が移動した方向，距離の測定を説明する図である。
【図５】ズームによる被写体の拡大を示す図である。
【図６】遠隔カメラの動作制御のシーケンス図の一例である。
【図７】携帯端末のフローチャートである。
【図８】映像遠隔制御装置の映像送信フローチャートである。
【図９】映像遠隔制御装置による遠隔カメラの動作制御フローチャートである。
【符号の説明】
１　映像遠隔制御装置
２　遠隔カメラ
３　携帯端末
４　遠隔伝送手段
５　携帯伝送手段
１１　携帯映像受信手段
１２　携帯移動量測定手段
１３　制御信号算出手段
１４　制御信号伝送手段
１５　映像中継手段
２１　遠隔地撮影手段
２２　遠隔地映像伝送手段
２３　制御信号受信手段
２４　カメラ動作手段
３１　映像受信手段
３２　映像表示手段
３３　携帯撮影手段
３４　映像送信手段

Claims

遠隔カメラの撮影動作を制御する映像遠隔制御装置であって，
前記遠隔カメラとは異なる位置にある映像入力手段が撮影した映像の時間的変化を検出し，前記映像入力手段の移動または角度変化の少なくともいずれかの変化情報を測定する手段と，
前記測定した変化情報に基づいて，前記遠隔カメラの撮影動作を操作可能な制御信号を決定する手段と，
前記決定した制御信号により前記遠隔カメラの撮影動作を制御する手段とを備える
ことを特徴とする映像遠隔制御装置。
請求項１記載の映像遠隔制御装置において，
前記制御信号を決定する手段は，前記遠隔カメラのパン，チルトまたはズームの少なくともいずれかを含む撮影動作を操作可能な制御信号を算出する
ことを特徴とする映像遠隔制御装置。
遠隔カメラの撮影動作を操作する映像遠隔制御方法であって，
前記遠隔カメラとは異なる位置にある映像入力手段が撮影した映像の時間的変化を検出し，前記映像入力手段の移動または角度変化の少なくともいずれかの変化情報を測定するステップと，
前記測定した変化情報に基づいて，前記遠隔カメラの撮影動作を操作可能な制御信号を決定するステップと，
前記決定した制御信号により前記遠隔カメラの撮影動作を制御するステップとを有する
ことを特徴とする映像遠隔制御方法。
請求項３記載の映像遠隔制御方法において，
前記制御信号を決定するステップでは，前記遠隔カメラのパン，チルトまたはズームの少なくともいずれかを含む撮影動作を操作可能な制御信号を算出する
ことを特徴とする映像遠隔制御方法。
請求項３または請求項４記載の映像遠隔制御方法を，コンピュータに実行させるための映像遠隔制御プログラム。
請求項３または請求項４記載の映像遠隔制御方法を，コンピュータに実行させるための映像遠隔制御プログラムを記録した記録媒体。