JP2015142360A - 撮像装置及び雲台装置 - Google Patents

Abstract

【課題】被写体の移動速度の変化した場合においても、被写体を予め設定された範囲内に被写体を捉えることができるようにする。【解決手段】撮像装置で撮影した画像データを端末機器で表示した際に、画像データの予め定めた範囲内に被写体が配置されない場合、被写体を所定の範囲に配置できるように、端末機器から受信した操作情報を撮像装置において変更し、当該操作情報を雲台に通知することにより、ユーザ所望の位置に、被写体を捉えることができるようにする。【選択図】図２

Description

本発明は撮像装置及び雲台装置に関し、特に、撮影した画像データの所定の範囲内に被写体を捉えるために用いて好適な技術に関する。

インターネットを介して、サーバー機器からライブストリーミング配信されたコンテンツを、スマートフォンやタブレット端末などの端末機器で閲覧するユースケースが普及してきている。さらに、昨今ではデジタルビデオカメラ等も前述したサーバー機器としての機能を有している。すなわち、Wi-Fi(Wireless Fidelity)による無線通信によって、前述した端末機器との間でライブストリーミング機能を提供できるようにしている。

その際に使用される通信方式は、ＨＴＴＰ(Hyper Text Transfer Protocol)やRTP(Real-time Transport Protocol)などが一般的である。ＨＴＴＰは、TCP(Transmission Control Protocol)タイプのプロトコルであり、通信において確認応答、順序制御、再送制御などが可能である。その方法の一つとして、ストリーミングデータを一定時間に分割したセグメントデータとその情報を記述したプレイリストを利用したストリーミング方法がある。

一方で、ライブストリーミングを行いながら、端末機器からビデオカメラを遠隔操作する方法がある。例えば、端末機器から送信されるパン、チルト、ズームなどの操作情報を、ビデオカメラで受信し、受信した操作情報を、ビデオカメラに接続された電動雲台に通知することで、電動雲台を制御する方法である。しかし、このような制御方法では、ビデオカメラで操作情報を受信した後、ビデオカメラで操作情報が処理されるまでにかかる時間が長く、操作性が悪いという課題があった。

このような課題を解決するために、特許文献１では、端末装置で生成されて送信された、パンニングを示す操作情報が、ビデオカメラで受信されると、ビデオカメラは電子的にパンニングを行った画像を生成し、端末装置に送信する。ビデオカメラから送信された画像は、端末側で受信されて表示される。

さらに、ビデオカメラが受信した、当該パンニングを示す操作情報を、ビデオカメラで解釈する。そして、解釈した当該操作情報に基づいて移動することで、端末機器側の理想の移動量でビデオカメラが移動できるようになると、ビデオカメラで撮影した画像を端末側に送信し、端末側で表示を行う。

また、特許文献２では、ビデオカメラで受信した操作情報を、ビデオカメラ側で実行中は、ビデオカメラの移動した分だけ、端末機器で表示している画像の画素数をずらして、端末機器で表示を行う方法が提案されている。この場合、ビデオカメラの動作が停止した時点で、ビデオカメラで撮影した画像を端末機器に送信し、端末側で受信して表示する。

特開２００９−８９１７１号公報 特開２００２−１８５９５６号公報

しかしながら、前述した従来例では、移動速度が変わる被写体を、電動雲台と共に動作するビデオカメラで撮影する場合、以下のような問題点があった。すなわち、撮影した画像を、ビデオカメラから端末機器に送信後、端末機器側で表示すると、ユーザ所望の位置に、被写体が捉えられていない、という課題があった。

特に、電動雲台の移動速度が被写体の移動速度に追従できない場合に、前述した課題が顕著に発生していた。
本発明は前述の問題点に鑑み、被写体の移動速度の変化した場合においても、被写体を予め設定された範囲内に被写体を捉えることができるようにすることを目的とする。

本発明の撮像装置は、画像データを表示可能な無線端末機器と、特定の駆動方向に動作する雲台装置とともにネットワークカメラシステムを構成する撮像装置において、前記無線端末機器と通信する第１の通信手段と、前記雲台装置と通信する第２の通信手段と、前記無線端末機器からデータを受信する受信手段と、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段が撮像する被写体が画像データの予め定めた範囲内に位置するかどうかを判別する判別手段と、前記無線端末機器からの操作情報を検知する検知手段、前記検知手段が検知した操作情報を変更する変更手段、前記変更手段が変更した操作情報を前記雲台装置に通知する通知手段、装置の各部を制御する制御手段と、を有し、前記制御手段は、前記撮像手段にて撮像した画像データに対し、前記判別手段にて、被写体が画像データの予め定めた範囲内に位置するかどうかを判別し、範囲内に位置しないと判別した場合は、前記無線端末機器と前記第１の通信手段にて通信を開始した後、前記受信手段にて前記無線端末機器から受信したデータから、前記検知手段にて前記操作情報を検知し、検知した前記操作情報を、前記変更手段にて変更し、前記第２の通信手段にて前記雲台装置と通信を開始した後、前記変更手段にて変更した前記操作情報を、前記通知手段にて、前記雲台装置に通知するよう制御することを特徴とする。

本発明によれば、被写体の移動速度の変化を検知すると、端末機器から受信した操作情報を撮像装置において変更し、撮像装置から雲台装置に通知することで、雲台装置の速度を変更する。その結果、ユーザは、撮像装置から送信され、端末機器で受信され表示される画像データから、予め設定された範囲内に被写体を捉えることができる。

本発明の実施形態におけるシステム構成を示す図である。 本発明の実施形態におけるビデオカメラの構成例を説明するブロック図である。 本発明の実施形態における雲台の構成例を説明するブロック図である。 本発明の実施形態における端末機器の構成例を説明するブロック図である。 本発明の実施形態のビデオカメラとスマートフォンとで行われるライブストリーミングの仕組みを説明した図である。 本発明の実施形態におけるビデオカメラとスマートフォンとのライブストリーミングにおける、（ａ）課題、（ｂ）効果を説明する図である。 本発明の実施形態における処理手順を示すフローチャートである。 本発明の実施形態における転送情報の具体例を説明する図である。 本発明の実施形態における映像データの各フレーム内における被写体の位置を説明する図である。 本発明の実施形態における被写体の顔枠の表示位置が含まれないフレームの例を示す図である。

＜第１の実施形態＞
以下、図１〜９を参照しながら本発明の実施形態の説明を行う。ただし、以下の実施形態はあくまでも一例であって、本発明は以下の実施形態に限定されるものではない。
図１は、本発明の第１の実施形態に係る、サーバー機器として動作するビデオカメラ１００、雲台１０４、画像データを表示可能な表示装置を備えた無線端末機器であるスマートフォン１０３からなるネットワークカメラシステム１０の構成例を示す図である。

ビデオカメラ１００によって撮影された被写体１０１の画像データを、無線通信によるライブストリーミング１０２によって、スマートフォン１０３に送信し、スマートフォン１０３の表示画面に表示する。また、ビデオカメラ１００は、雲台１０４と、ＵＳＢケーブル１０５にて通信を行い、スマートフォン１０３から受信した操作情報を、雲台１０４に通知することで、雲台１０４を動作させる。

雲台１０４が動作する特定の駆動方向は、本実施形態では、符号１０６で示すパンニング方向を想定しているが、チルティング方向の動作を想定してもよい。ビデオカメラ１００と雲台１０４は、ＵＳＢケーブル１０５を介して通信を行う例を説明したが、ビデオカメラ１００と雲台１０４の通信は、ＵＳＢケーブル１０５以外の有線通信でもよいし、無線通信でもよい。

図２は、本実施形態におけるビデオカメラ１００の構成例を示すブロック図である。本実施形態のビデオカメラ１００において、データバス２１９を介して接続された各部は、ＣＰＵ(Central Processing Unit)２１５により制御されて動作する。
本実施形態のビデオカメラ１００は、撮像部としてレンズ２０１、ＣＭＯＳ２０２、カメラ信号処理部２０３、記録媒体２０４、電源２０５、操作部２０６、入力I/F２０７、ＲＯＭ(Read Only Memory)２０８を備えている。また、第１のＲＡＭ２０９、第２のＲＡＭ(Random Access Memory)２１０を備えている。さらに、第１のＣＯＤＥＣ２１１、第２のＣＯＤＥＣ２１２、出力I/F２１３、ＬＣＤパネル２１４、ＣＰＵ２１５、通信制御部２１６、無線モジュール２１７、アンテナ２１８を備え、データバス２１９を介してデータの入出力を行う。

レンズ２０１は、フォーカス（合焦）、絞り機構などを含む撮影レンズであり、被写体１０１の光学像を形成する。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)２０２は、撮像素子であり、Ａ／Ｄ変換機を含み、光学像をアナログ電気信号に変換した後、デジタル信号に変換する。なお、ＣＭＯＳ２０２に限定されるわけではなく、ＣＣＤ(Charge Coupled Device Image Sensor)などの撮像素子であってもよい。

変換されたデジタル信号は、ＣＰＵ２１５により動作制御されるカメラ信号処理部２０３において、所定の画素補間・縮小といったリサイズ処理や色変換、各種補正処理等が行なわれる。さらに、後述する第１のＣＯＤＥＣ２１１によって所定のビットレート、フォーマット形式で圧縮符号化、または映像圧縮符号化データの復号が行なわれる。

なお、音声については特に図示していないが、レンズ２０１とＣＭＯＳ２０２をマイク、後述するＬＣＤパネル２１４をスピーカとすることで、ほぼ同様の処理により音声信号も扱うことが可能である。映像記録時には映像と共に音声も同時に収録され、第１のＣＯＤＥＣ２１１で映像と音声を多重化することで、音声付映像データを生成することが可能である。

記録媒体２０４は、撮影した映像データ及び音声データ、ＣＰＵ２１５の制御に必要な情報を記録する。電源２０５は、ＡＣ電源やバッテリーであり、ビデオカメラ１００の各部に必要な電源の供給を行う。操作部２０６は、ビデオカメラ１００がライブストリーミングを行う際に、スマートフォン１０３からの映像データ及び音声データの要求を受けて、映像データ及び音声データを送信するライブストリーミングモードに、ビデオカメラ１００を遷移させる。

また、ユーザからの操作を受け付け、受け付けた当該操作情報は、入力I/F２０７を介して、後述するデータバス２１９に入力される。ＲＯＭ２０８は、ビデオカメラ１００を起動するプログラムが格納されており、操作部２０６によって電源２０５から電気信号が供給されると、前述したプログラムがＣＰＵ２１５によって、第１のＲＡＭ２０９に読み出される。

第１のＲＡＭ２０９は、ＣＰＵ２１５のワークエリアとして機能する。また、後述する通信制御部２１６で受信したスマートフォン１０３のステータス情報も格納される。なお、ＣＰＵ２１５のワークエリアは、第１のＲＡＭ２０９に限られるものではなく、図示しないハードディスク装置等の外部記録装置等であってもよい。第２のＲＡＭ２１０には、通信制御部２１６から送信する映像データ及び音声データが格納される。

第１のＣＯＤＥＣ２１１は、第１のＲＡＭ２０９や記録媒体２０４に記録されている映像データ及び音声データを再生する。第１のＣＯＤＥＣ２１１で再生された映像データは、後述するＬＣＤパネル２１４に表示される。また、再生された音声データは、図示しないスピーカ部に供給され出力される。

第２のＣＯＤＥＣ２１２は、記録媒体２０４に記録されている映像データ及び音声データを復号し、通信制御部２１６から送信する際のデータ単位に、圧縮符号化する。出力I/F２１３は、ＣＰＵ２１５がプログラムに従い生成したＧＵＩ(Graphical User Interface)などの表示データに基づき、ＬＣＤパネル２１４に対して表示させるための表示信号を出力する。ＬＣＤパネル２１４は、第１のＣＯＤＥＣ２１１で再生された映像データを、出力I/F２１３を介して表示する。

ＣＰＵ２１５は、ＲＯＭ２０８から第１のＲＡＭ２０９にロードされたプログラムを実行する。通信制御部２１６は、無線モジュール２１７を介して、スマートフォン１０３からステータス情報の受信、及びスマートフォン１０３への映像データ及び音声データの送信を行う。また、受信した際のレスポンス信号の送信を行う。

アンテナ２１８は、無線信号を送受信する。アンテナ２１８で受信された映像データ及び音声データは、無線モジュール２１７を介して通信制御部２１６に送られ、通信制御部２１６で復調後、パケットデータから変換され、第２のＣＯＤＥＣ２１２にて復号される。

第２のＣＯＤＥＣ２１２にて復号された映像データ及び音声データは、第２のＲＡＭ２１０のバッファ領域に保存される。また、受信を完了した際に、スマートフォン１０３に送信するレスポンス信号は、通信制御部２１６でパケットデータに変換され、搬送波の周波数帯の変調信号として生成されて、アンテナ２１８から無線信号としてスマートフォン１０３に送信される。

ＵＳＢ I/F２２０は、ＵＳＢ(Universal Serial Bus)規格にて、ＵＳＢケーブル１０５を介して、データ通信を行う部分であり、雲台１０４に対して、雲台の移動方向／速度情報を通知し、その応答を受信する。

図３は、本実施形態の雲台１０４の構成例を示すブロック図である。
ＲＡＭ３００は、ＵＳＢ I/F３０１と、ＵＳＢケーブル１０５を介して受信した、雲台１０４の移動方向／速度情報を保持する。ＵＳＢ I/F３０１は、ＵＳＢケーブル１０５を介して受信した、雲台１０４の移動方向／速度情報を受信する。出力I/F３０２は、ＣＰＵ３０３により読み出された、ＲＡＭ３００に保持されている移動方向／速度情報を、後述する駆動装置としてのステッピングモータ３０６に、パルス信号として送信する。

ステッピングモータ３０６は、出力I/F３０２から受信したパルス信号に応じて動作し、雲台１０４を回転させる。ＲＯＭ３０４には、雲台１０４を起動するプログラムが格納されており、電源３０５から電気信号が供給されると、前述した雲台起動プログラムがＣＰＵ３０３によって、ＲＡＭ３００に読み出される。

ＣＰＵ３０３は、ＲＯＭ３０４からＲＡＭ３００にロードされた雲台起動プログラムを実行する。電源３０５は、ＡＣ電源やバッテリーであり、雲台１０４の各部に必要な電源の供給を行う。

図４は、本実施形態のスマートフォン１０３の構成例を示すブロック図である。
スマートフォン１０３は、電源４０１、操作部４０２、入力I/F４０３、ＲＯＭ４０４、ＲＡＭ４０５、記録媒体４０６、ＣＯＤＥＣ４０７を備えている。また、出力I/F４０８、ＬＣＤパネル４０９、通信制御部４１０、無線モジュール４１１、アンテナ４１２、ＣＰＵ４１３を備え、データバス４１４を介してデータの入出力を行う。

電源４０１は、ＡＣ電源やバッテリーであり、スマートフォン１０３の各部に必要な電源の供給を行う。操作部４０２は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

特に、スマートフォン１０３上で動作するアプリケーションの起動に使用する。また、スマートフォン１０３に電源４０１からの電源供給の開始と停止を制御するスイッチも含まれる。操作部４０２で入力されたユーザからの操作は、入力I/F４０３を介して、データバス４１４に入力される。

ＲＯＭ４０４は、スマートフォン１０３を起動するプログラムが格納されており、操作部４０２によって電源４０１から電気信号が供給されると、前述のプログラムがＣＰＵ４１３によって、ＲＡＭ４０５に読み出される。ＲＡＭ４０５は、ＣＰＵ４１３のワークエリアとして機能する。

また、後述する通信制御部４１０にて、ビデオカメラ１００から受信した映像データ及び音声データも格納される。なお、ＣＰＵ４１３のワークエリアは、ＲＡＭ４０５に限られるものではなく、図示しないハードディスク装置等の外部記録装置等であってもよい。記録媒体４０６は、ＣＰＵ４１３を制御する情報を保持する。

ＣＯＤＥＣ４０７は、ＲＡＭ４０５や記録媒体４０６に記録されている映像データ及び音声データを再生し、再生された映像データは後述するＬＣＤパネル４０９に表示される。また、再生された音声データは図示しないスピーカ部に供給され出力される。ＣＯＤＥＣ４０７は、所定のビットレート、フォーマット形式で圧縮符号化、または映像圧縮符号化データの復号を行う。

出力I/F４０８は、ＣＰＵ４１３がプログラムに従い生成したＧＵＩなどの表示データに基づき、ＬＣＤパネル４０９に対して表示させるための表示信号を出力する。また、ＬＣＤパネル４０９は、ＣＯＤＥＣ４０７にて再生した映像データを出力I/F４０８を介して表示する。

通信制御部４１０は、アンテナ４１２、無線モジュール４１１を介して、ビデオカメラ１００から映像データ及び音声データの受信と、受信した際のレスポンス信号を送信する。アンテナ４１２で受信された映像データ及び音声データは、無線モジュール４１１を介して通信制御部４１０に供給される。通信制御部４１０は、供給された映像データ及び音声データを復調後、パケットデータに変換し、復号する。

受信された映像データ及び音声データは、ＲＡＭ４０５のバッファ領域に保存される。また、スマートフォン１０３において受信を完了した際に、ビデオカメラ１００に送信するレスポンス信号は、通信制御部４１０でパケットデータに変換される。また、搬送波の周波数帯の変調信号として生成されて、アンテナ４１２から無線信号としてビデオカメラ１００に送信される。ＣＰＵ４１３は、ＲＯＭ４０４からＲＡＭ４０５にロードされたプログラムを実行し、スマートフォン１０３の各部の動作を制御する。

図５は、本実施形態のビデオカメラ１００とスマートフォン１０３とのライブストリーミング１０２の仕組みを説明した図である。
図５において、５００〜５０７では、ビデオカメラ１００とスマートフォン１０３間のプレイリスト及びセグメントデータの送受信の内容について説明する。

ユーザがビデオカメラ１００において、操作部２０６からライブストリーミングモードを実行すると、ビデオカメラ１００は、ＣＰＵ２１５の制御により、通信制御部２１６を通信可能状態とする。
さらに、ユーザはスマートフォン１０３において、操作部４０２を操作して通信接続処理およびライブストリーミングに必要なアプリケーション(以下、ライブストリーミングアプリ)の起動を行う。これにより、スマートフォン１０３のＣＰＵ４１３は、ＲＯＭ４０４または記録媒体４０６に格納された当該プログラムに従い、通信制御部４１０を制御し、ビデオカメラ１００との無線通信を開始する。
また、本実施形態においては、ビデオカメラ１００とスマートフォン１０３との間の通信はWi-Fi(Wireless Fidelity)により行っている。

ここで、ビデオカメラ１００とスマートフォン１０３は、通信プロトコルとしてＨＴＴＰ（Hyper Text Transfer Protocol）を使用するものとする。また、通信接続においてＵＰｎＰ(Universal Plug and Play)に対応しているものとする。ＵＰｎＰ対応の端末機器は、機器をネットワークに接続すると、ＤＨＣＰ(Dynamic Host Configuration Protocol)または、Auto IPによるＩＰ(Internet Protocol)アドレスの設定を行う。

ＩＰアドレスを取得した機器は、ネットワーク上の他の機器を相互に認識するために、「デバイスディスカバリーとコントロール」によって、デバイス検索と応答デバイスの種別、サービス機能などの情報取得(５００)を行う。
ビデオカメラ１００は、スマートフォン１０３のデバイス検索要求に対して、機器情報と機器固有情報のプレイリストの取得先情報(５０１)などを応答する。

ビデオカメラ１００とスマートフォン１０３の接続処理が完了すると、ビデオカメラ１００はライブストリーミングを開始する。ライブストリーミングにおいて、ビデオカメラ１００のＣＰＵ２１５は、ＣＭＯＳ２０２からの信号出力を開始し、その出力をカメラ信号処理部２０３により適切な映像データに処理し、第１のＣＯＤＥＣ２１１へデータを出力する。

第１のＣＯＤＥＣ２１１では、受け取った映像データを所定のビットレート、フォーマット形式で圧縮符号化する。圧縮符号化された映像データは、さらに、ＣＰＵ２１５を介して第２のＣＯＤＥＣ２１２にて所定の時間長Ts（秒）で分割され、セグメントデータ５０２として、第２のＲＡＭ２１０または記録媒体２０４に保存される。

ＣＰＵ２１５は、前述のセグメントデータ５０２の保存先と関連させたパス情報を生成する。パス情報は、スマートフォン１０３がセグメントデータ５０２を取得する際の取得先情報として使用するもので、ＣＰＵ２１５は、プレイリスト（５０３）を作成し、前述のパス情報と併せてセグメント情報（画像データの分類を表す情報）を記録する。

スマートフォン１０３は、ライブストリーミングを開始後、約Ts（秒）後に、ステッピングモータ３０６で取得したプレイリスト取得先へプレイリスト取得要求(ＨＴＴＰ GETメソッド)を行う（５０４）。ビデオカメラ１００は、応答プレイリスト（５０５）として、セグメントデータ５０２が一つ記述されたプレイリスト（５０３）を送信する。
スマートフォン１０３は、ビデオカメラ１００から受信したプレイリスト（５０３）を解析し、セグメント情報の取得先に対して、セグメント取得要求(５０６（HTTP GETメソッド）)を行う。

ビデオカメラ１００は、応答セグメント（５０７）として、要求されたセグメントデータ５０２を送信する。
スマートフォン１０３は、ビデオカメラ１００から受信したセグメントデータ５０２をＣＯＤＥＣ４０７に供給し、ＣＯＤＥＣ４０７において復号化した後、ＣＰＵ４１３の制御にて、出力I/F４０８を介してＬＣＤパネル４０９で再生表示を行う。

ビデオカメラ１００は、ライブストリーミングを行っている期間中は、約Ts（秒）毎にセグメント生成、プレイリスト更新を行う。また、取得されたセグメント情報は削除する。
スマートフォン１０３は、約Ts（秒）毎にプレイリスト取得要求（５０４）を行い、プレイリスト（５０３）に記載されたセグメント情報に基づき、当該セグメントデータ５０２を取得要求する。

次に、ビデオカメラ１００とスマートフォン１０３のステータス情報の送受信について、５０８〜５１３を用いながら説明する。本実施形態では、ビデオカメラのステータス取得については、ＨＴＴＰ GETメソッドのＵＲＩで行い、レスポンスはＪＳＯＮ(JavaScript(登録商標) Object Notation)データフォーマットとする。

ＪＳＯＮデータフォーマットの具体例は、図８に示すデータフォーマットである。“seq”タグ８００は、現在の当該ステータス取得が何番目であるかを示すタグである。スマートフォン１０３からのステータス取得が２番目(８０１)であることを示す。“direction”タグ８０２は、雲台１０４の回転方向を示すタグである。“value”タグ８０４は雲台１０４の角速度を示し、“９０”タグ８０５は９０°/secの角速度を示す。少なくとも“seq”タグ８００、“direction”タグ８０２、“value”タグ８０４等のタグ情報から構成される。

本実施形態では、雲台１０４の移動方向として、パン方向を前提としているため、“direction”タグ８０２には右回転を示す“right”タグ８０３が設定されている。図８に示すＪＳＯＮデータは、スマートフォン１０３の操作部４０２にて、ユーザが、右回転を指示する操作を行ったことを示す状態であることを示している。

ビデオカメラ１００は、ユーザによって操作部２０６を介した操作が行なわれることにより、ライブストリーミングモードになると、スマートフォン１０３のステータス情報の取得要求（５０８（初回））を開始する。
スマートフォン１０３は、ビデオカメラ１００からのステータス情報の取得要求（５０８（初回））の応答として、ＣＰＵ４１３を介してＪＳＯＮフォーマットのデータをＲＡＭ４０５に生成する。そして、通信制御部４１０によって、無線モジュール４１１、アンテナ４１２を介してビデオカメラ１００に送信する。

スマートフォン１０３では、ＲＡＭ４０５に受信した当該ステータス情報の取得要求が初回のものであるかどうか、ＣＰＵ４１３において判別する。当該取得要求が初回の取得要求であるとＣＰＵ４１３が判断した場合は、当該ステータス情報の取得要求を受信した時点での、スマートフォン１０３のＲＡＭ４０５及び記録媒体４０６に保持されたステータス情報を、全て用いてＪＳＯＮデータ５０９を生成する。ＪＳＯＮデータ５０９を生成した後、ＪＳＯＮデータの“seq”タグに記載された番号に一致する順番のステータス取得要求に対し、そのレスポンスとしてＪＳＯＮデータ(５１０（全て）)を、ビデオカメラ１００に送信する。

また、ステータス情報取得が初回でないと判断された場合のステータス情報の取得要求(５１１)においては、スマートフォン１０３は、差分のＪＳＯＮデータを生成する。具体的には、ＲＡＭ４０５及び記録媒体４０６に保持しているスマートフォン１０３のステータス情報で、前回ビデオカメラ１００に送信した時点から、更新された情報のみを用いてＪＳＯＮデータ５１２をＲＡＭ４０５に生成する。そして、生成したＪＳＯＮデータ（５１３（差分））をビデオカメラ１００に送信する。なお、ＪＳＯＮデータの“seq”タグの値は、ビデオカメラ１００からのステータス情報取得要求毎に更新してもよいし、スマートフォン１０３の状態が更新されたときに更新してもよい。

図６（ａ）、図６（ｂ）は、本実施形態のビデオカメラ１００とスマートフォン１０３とのライブストリーミングにおける、課題と効果をそれぞれ説明した図である。図６（ａ）、図６（ｂ）において、ＬＣＤパネル４０９に表示されているアイコンは、パンニング方向を示し、６０３は左方向、６０４は右方向を示している。

図６（ａ）に示すように、ビデオカメラ１００とスマートフォン１０３にてライブストリーミング１０２が開始された後、ユーザ操作により右方向アイコン６０４がユーザの指６０５でタッチされる。すると、スマートフォン１０３はビデオカメラ１００に対して、パンニング方向を示す操作情報を送信する。

スマートフォン１０３から送信された操作情報は、ビデオカメラ１００の通信制御部２１６で受信し、ＵＳＢケーブル１０５を介して、図示しない、雲台が実行できるコマンドとして、雲台１０４に通知する。
雲台１０４は、通知された操作情報をＲＡＭ３００に保存し、ＣＰＵ３０３、出力I/F３０２を介してステッピングモータ３０６に通知する。ビデオカメラ１００から操作情報が通知されると、ステッピングモータ３０６は、所定のパンニング方向１０６に移動する。

ビデオカメラ１００は、ライブストリーミング１０２において、被写体１０１を撮影し、被写体１０１の映像データ及び音声データをスマートフォン１０３に送信する。ビデオカメラ１００から送信された被写体１０１の映像データは、スマートフォン１０３のＬＣＤパネル４０９上に表示される。そのため、ライブストリーミング１０２中に、ビデオカメラ１００が撮影している被写体１０１が、一定の速度で(６００から６０１まで)のように移動している場合は、スマートフォン１０３から操作情報を受信し、雲台１０４に通知する。これにより、雲台１０４は、スマートフォン１０３からの操作情報に基づくパンニング方向１０６に、操作情報に基づく駆動量だけ一定の角速度(６０６、６０７)で移動し、被写体６００、６０１を撮影する。

被写体６００、６０１の撮影結果は、スマートフォン１０３のＬＣＤパネル４０９上にそれぞれ、６１２、６１３として表示される。被写体６００、６０１の速度が一定でなくなると、一定の角速度では６０２の位置の被写体を撮影するが、スマートフォン１０３のＬＣＤパネル４０９に表示される表示結果６１２、６１３のように被写体を正しく撮影できなくなる。その結果、スマートフォン１０３のＬＣＤパネル４０９には、表示結果６１２、６１３とは異なる表示結果６１４のように、表示されてしまう。

この課題に対し、図６（ｂ）に示すように、スマートフォン１０３から受信した操作情報を雲台１０４に通知する際、被写体６００、６０１の移動速度が変化したことを検知すると、一定だった角速度（６０６)を、被写体６１１の速度にあわせて６１５とする。これにより、被写体６１１も正しく撮影することを可能としている。その結果、正しく撮影した、映像音声符号化データをスマートフォン１０３に送信することが可能となる。これにより、スマートフォン１０３のＬＣＤパネル４０９上には、移動速度が変化した被写体６１１を撮影した表示結果６１４として、一定の角速度で移動する被写体を撮影した表示結果６１２、６１３と同様に表示することが可能となる。

図７は、本実施形態の処理の流れを示すフローチャートである。なお、本フローチャートは、ユーザが、ビデオカメラ１００の電源２０５、及びスマートフォン１０３の電源４０１を入り状態にし、スマートフォン１０３からビデオカメラ１００への無線通信を開始した後の、処理の流れを示している。

処理が開始されると、Ｓ７００では、ビデオカメラ１００は、被写体１０１を撮影し、第１のＣＯＤＥＣ２１１にて、被写体１０１の映像データ及び音声データを生成し、第１のＲＡＭ２０９に保存する。また、第１のＲＡＭ２０９に保存した映像データ及び音声データを、第２のＣＯＤＥＣ２１２を介して、第２のＲＡＭ２１０に保存する。

その後、ビデオカメラ１００は、図５で示したライブストリーミングの仕組みに基いて、通信制御部２１６、無線モジュール２１７、アンテナ２１８を介し、第２のＲＡＭ２１０に保存された映像データ及び音声データを、スマートフォン１０３へ送信する。

また、ビデオカメラ１００は、スマートフォン１０３から、アンテナ２１８、無線モジュール２１７、通信制御部２１６を介して、ステータス情報(図８)を受信する。受信したステータス情報(図８)は、ＣＰＵ２１５を介して、第１のＲＡＭ２０９に保存する。ビデオカメラ１００とスマートフォン１０３を無線接続した際に、最初に受信したステータス情報(図８)の“value”の値を、以下、規定の角速度と記載する。

Ｓ７０１では、ビデオカメラ１００は、被写体１０１が撮影領域（以下、フレームとする）の範囲内に存在するかどうかを判別する。判別する方法は、後述する図９、及び後述するＳ７０２で実行される顔検出処理を用い、撮影したフレーム内に顔が検出された場合、被写体１０１が存在すると判別する。被写体１０１が存在しない場合は、顔が検出されるまで待機し、被写体１０１が存在する場合はＳ７０２に進む。

Ｓ７０２では、ビデオカメラ１００は、被写体１０１の動きを検知する。本実施形態では、検知方法としては、ビデオカメラ１００が撮影した各フレームから顔情報を検出し、検出した顔情報に対して表示する、顔検出枠(以下、顔枠)の表示位置が、一定でなくなったことを検知する検出方法を用いることとする。しかし、被写体１０１の動きを検知する検出方法は、顔情報の検出及び顔枠の表示に限定されるわけではない。

具体的には、図９の内容を用いて説明する。
図９において、９００、９０４、９０５は、ビデオカメラ１００によって撮影され、ＣＰＵ２１５を介し、第１のＲＡＭ２０９に保持された映像データの、各フレームである。

９０１は、ＣＰＵ２１５により被写体１０１の顔情報を検出し、検出結果に基いて表示された顔枠である。なお、顔検出の具体的な方法は、エッジ検出または形状パターン検出による顔検出方法、顔、目、瞳、鼻、口等の特徴点をベクトル化する。そして、特徴点ベクトルを近似検出することによる、特徴点ベクトル近似法、色相検出または肌色検出による顔検出方法等の公知の方法を利用することができる。

これらの方法を用い、ＣＰＵ２１５によって、被写体１０１の顔の表示領域を示す顔枠９０１の表示位置Ａ(９０２)、Ｂ(９０３)を、第１のＲＡＭ２０９に保存する。被写体１０１が動いていない場合、表示位置Ａ(９０２)と表示位置Ｂ(９０３)が示す位置は変わらない。しかし、被写体１０１が動いている場合、フレーム９０４、９０５に示すように、顔枠９０１の表示位置Ａも(９０６、９０８)と表示位置Ｂ(９０７、９０９)のように変化する。

顔枠９０１の表示位置が変化したかどうかを判別するには、ＣＰＵ２１５を介して比較する処理により行う。具体的には、各フレーム(９００、９０４、９０５)と共に、第１のＲＡＭ２０９に保存されている、各フレームで検出された顔枠９０１の位置Ａ(９０２、９０６、９０８)と、Ｂ(９０３、９０７、９０９)をＣＰＵ２１５が比較する。その後、Ｓ７０３に進む。

Ｓ７０３では、ビデオカメラ１００は、第１のＲＡＭ２０９に保持された顔枠９０１の表示位置Ａ(９０２)、Ｂ(９０３)が、現在取得した第１のＲＡＭ２０９の保存したフレームの、顔枠の表示位置と異なっているかどうかを比較する。比較した結果、顔枠９０１の表示位置Ａ(９０２、９０６、９０８)、Ｂ(９０３、９０７、９０９)が異なっていた場合（被写体が動いていた場合）は、Ｓ７０４に進む。顔枠９０１の表示位置が同一の場合は、被写体１０１の動きを検出する処理(Ｓ７０２)を続行する。

Ｓ７０４では、ビデオカメラ１００は、被写体１０１の移動速度を算出する移動速度算出処理を行う。移動速度の算出方法は、Ｓ７０２で検出した、顔枠の表示位置Ａ(９０２)と現在取得したフレームの顔枠表示位置Ａ(９０６または９０８)、及び顔枠表示位置Ｂ(９０３)と現在取得したフレームの顔枠表示位置Ｂ(９０７または９０９)の比較を行う。そして、そのフレーム上の表示位置の差の絶対値を、ＣＰＵ２１５にて算出する。さらに、ビデオカメラ１００は、ＣＰＵ２１５にて、算出された表示位置の絶対値を、フレームを取得する時間間隔で割り、被写体１０１の移動速度として算出し、算出した値を第１のＲＡＭ２０９に保存する。その後、Ｓ７０５に進む。

Ｓ７０５では、ビデオカメラ１００は、Ｓ７０４で算出した被写体１０１の速度と、Ｓ７０２で、ビデオカメラ１００の第１のＲＡＭ２０９に設定した、雲台１０４に通知する角速度との比較を行う。被写体１０１の速度が、雲台１０４に通知する速度と異なる場合（速い、または、遅い場合）は、Ｓ７０６に進む。同一の場合は、Ｓ７０９に進む。

Ｓ７０６においては、ビデオカメラ１００は、スマートフォン１０３から、雲台１０４の動作方向である、パンニング方向１０６を示す操作情報（アイコン６０３、６０４を操作した情報）を受信した場合、Ｓ７０７に進む。操作情報を受信しなかった場合は、Ｓ７１２に進む。

Ｓ７０７では、ビデオカメラ１００は、ＣＰＵ２１５を介して第１のＲＡＭ２０９に保存された、被写体１０１の速度に一致するように、ＣＰＵ２１５を介して第１のＲＡＭ２０９に被写体１０１の速度情報を保存する。なお、被写体１０１の速度情報は、Ｓ７００で設定した規定の角速度が保存されている、第１のＲＡＭ２０９の領域とは異なる領域に保存する。その後、Ｓ７０８に進む。

Ｓ７０８では、ビデオカメラ１００は、Ｓ７０７で保存した被写体１０１の速度情報を、ＣＰＵ２１５を介して第１のＲＡＭ２０９から読み出し、ＵＳＢ I/F２２０と、ＵＳＢケーブル１０５を介して、雲台１０４に通知する。雲台１０４は、ＵＳＢ I/F３０１を介して被写体１０１の速度情報を受信し、ＣＰＵ３０３を介してＲＡＭ３００に保存する。

その後、雲台１０４は、ＲＡＭ３００からＣＰＵ３０３を介して、角速度情報を読み出し、出力I/F３０２を介してステッピングモータ３０６に通知する。その結果、雲台１０４、及びビデオカメラ１００がパンニング方向１０６に動作する。その後、Ｓ７１２に進む。

一方、Ｓ７０９では、ビデオカメラ１００は、雲台１０４に通知する角速度が、Ｓ７００で設定した規定の角速度であるかどうかを判別する。第１のＲＡＭ２０９に保存されている、雲台の角速度が、規定の角速度であるとＣＰＵ２１５が判断した場合は、Ｓ７１０に進む。規定の角速度から変更されていた場合は、Ｓ７０８に進む。

Ｓ７１０では、雲台の動作方向である、パンニング方向を示す操作情報を、スマートフォン１０３から受信したかどうかを判別する。受信した場合は、Ｓ７１１に進む。また、操作情報を受信しなかった場合は、Ｓ７０４に進む。

Ｓ７１１では、ビデオカメラ１００は、雲台１０４にＳ７００で設定した、規定の角速度を、ＣＰＵ２１５を介して第１のＲＡＭ２０９から読み出し、ＵＳＢ I/F２２０と、ＵＳＢケーブル１０５を介して、雲台１０４に通知する。

雲台１０４においては、ＵＳＢ I/F３０１を介して規定の角速度を受信し、受信した規定の角速度をＣＰＵ３０３がＲＡＭ３００に保存する。
その後、雲台１０４は、ＲＡＭ３００からＣＰＵ３０３を介して、角速度情報を読み出し、ＵＳＢ I/F３０１を介してステッピングモータ３０６に通知する。その結果、雲台１０４、及びビデオカメラ１００がパンニング方向１０６に動作する。その後、Ｓ７０４に進む。

Ｓ７１２では、ビデオカメラ１００は、雲台１０４に変更した角速度を通知後、被写体１０１がフレーム内に存在するかどうかを、Ｓ７０１と同様に判別する。図１０のフレーム１０００が、第１のＲＡＭ２０９に保持されている、現在取得した最新のフレームである。
図１０のフレーム１０００に示すように、被写体１０１がフレーム内から存在しなくなった場合、すなわち、被写体１０１の顔枠の表示位置Ａ、Ｂが含まれないフレームの場合、ＣＰＵ２１５にて被写体１０１の検出ができないため、Ｓ７１３に進む。被写体１０１の検出ができた場合には、Ｓ７０４に進む。

Ｓ７１３では、ビデオカメラ１００は、雲台１０４へ通知している角速度を０として通知する。また、図示しない雲台１０４の駆動動作を停止するコマンドを通知してもよい。
次に、Ｓ７１４に進み、処理を終了する操作が行なわれたかどうかを判断する。終了する操作が行われた場合には、処理を終了する。また、終了する操作が行われていない場合には、Ｓ７０１に進み、再びフレーム内に被写体１０１が表示されるまで、待ち状態に入る。

なお、前述した実施形態では、ビデオカメラ１００と雲台１０４とにより、本発明を実施している構成を実施形態として説明した。しかし、雲台１０４がビデオカメラと同様の構成(２０１〜２２０)を備えて、ビデオカメラ１００と同様に動作するように構成して、雲台１０４だけでサーバー機器を構成するようにしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ ビデオカメラ
１０１ 被写体
１０３ スマートフォン
１０４ 雲台
１０５ ＵＳＢケーブル

Claims (13)

1. 画像データを表示可能な無線端末機器と、特定の駆動方向に動作する雲台装置とともにネットワークカメラシステムを構成する撮像装置において、
   前記無線端末機器と通信する第１の通信手段と、
   前記雲台装置と通信する第２の通信手段と、
   前記無線端末機器からデータを受信する受信手段と、
   被写体を撮像して画像データを生成する撮像手段と、
   前記撮像手段が撮像する被写体が画像データの予め定めた範囲内に位置するかどうかを判別する判別手段と、
   前記無線端末機器からの操作情報を検知する検知手段と、
   前記検知手段が検知した操作情報を変更する変更手段と、
   前記変更手段が変更した操作情報を前記雲台装置に通知する通知手段と、
   装置の各部を制御する制御手段と、
   を有し、
   前記制御手段は、
   前記撮像手段にて撮像した画像データに対し、前記判別手段にて、被写体が画像データの予め定めた範囲内に位置するかどうかを判別し、範囲内に位置しないと判別した場合は、前記無線端末機器と前記第１の通信手段にて通信を開始した後、前記受信手段にて前記無線端末機器から受信したデータから、前記検知手段にて前記操作情報を検知し、検知した前記操作情報を、前記変更手段にて変更し、前記第２の通信手段にて前記雲台装置と通信を開始した後、前記変更手段にて変更した前記操作情報を、前記通知手段にて、前記雲台装置に通知するよう制御することを特徴とする撮像装置。
2. 前記判別手段は、前記被写体に合焦していることを示す情報が、前記画像データの予め定めた範囲内に位置するかどうかを判別することを特徴とする請求項１に記載の撮像装置。
3. 前記操作情報は、前記雲台装置の駆動方向、及び駆動量を示すことを特徴とする請求項１に記載の撮像装置。
4. 前記第１の通信手段は、Wi-Fi(Wireless Fidelity)による無線通信手段であることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記駆動方向は、パンニング方向及びチルティング方向であることを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 被写体を撮像する撮像装置とともにネットワークカメラシステムを構成し、特定の駆動方向に動作する雲台装置において、
   前記撮像装置と通信する通信手段と、
   前記通信手段を介して前記撮像装置から受信した操作情報を保存する保存手段と、
   前記通信手段を介して前記撮像装置から受信した操作情報に応じて動作させる駆動装置と、
   前記駆動装置に操作情報を通知する通知手段と、
   装置の各部を制御する制御手段と、
   を有し、
   前記制御手段は、
   前記撮像装置より通信手段にて操作情報を受信した場合は、前記操作情報に基づいて、前記駆動装置を制御することを特徴とする雲台装置。
7. 前記操作情報は、前記雲台装置の駆動方向、及び駆動量を示すことを特徴とする請求項６に記載の雲台装置。
8. 前記駆動方向は、パンニング方向及びチルティング方向であることを特徴とする請求項６に記載の雲台装置。
9. 画像データを表示可能な無線端末機器と、特定の駆動方向に動作する雲台装置とともにネットワークカメラシステムを構成する撮像装置の制御方法において、
   前記無線端末機器と通信する第１の通信工程と、
   前記雲台装置と通信する第２の通信工程と、
   前記無線端末機器からデータを受信する受信工程と、
   被写体を撮像して画像データを生成する撮像工程と、
   前記撮像工程において撮像する被写体が画像データの予め定めた範囲内に位置するかどうかを判別する判別工程と、
   前記無線端末機器からの操作情報を検知する検知工程と、
   前記検知工程において検知した操作情報を変更する変更工程と、
   前記変更工程において変更した操作情報を前記雲台装置に通知する通知工程と、
   装置の各部を制御する制御工程と、
   を有し、
   前記制御工程は、
   前記撮像工程にて撮像した画像データに対し、前記判別工程にて、被写体が画像データの予め定めた範囲内に位置するかどうかを判別し、範囲内に位置しないと判別した場合は、前記無線端末機器と前記第１の通信工程にて通信を開始した後、前記受信工程にて前記無線端末機器から受信したデータから、前記検知工程にて前記操作情報を検知し、検知した前記操作情報を、前記変更工程にて変更し、前記第２の通信工程にて前記雲台装置と通信を開始した後、前記変更工程にて変更した前記操作情報を、前記通知工程にて、前記雲台装置に通知するよう制御することを特徴とする撮像装置の制御方法。
10. 被写体を撮像する撮像装置とともにネットワークカメラシステムを構成し、特定の駆動方向に動作する雲台装置の制御方法において、
    前記撮像装置と通信する通信工程と、
    前記通信工程において前記撮像装置から受信した操作情報を保存する保存工程と、
    前記通信工程において前記撮像装置から受信した操作情報に応じて駆動装置を動作させる駆動工程と、
    前記駆動装置に操作情報を通知する通知工程と、
    装置の各部を制御する制御工程と、
    を有し、
    前記制御工程は、
    前記撮像装置より通信工程にて操作情報を受信した場合は、前記操作情報に基づいて、前記駆動装置を制御することを特徴とする雲台装置の制御方法。
11. 画像データを表示可能な無線端末機器と、特定の駆動方向に動作する雲台装置とともにネットワークカメラシステムを構成する撮像装置の制御方法をコンピュータに実行させるプログラムにおいて、
    前記無線端末機器と通信する第１の通信工程と、
    前記雲台装置と通信する第２の通信工程と、
    前記無線端末機器からデータを受信する受信工程と、
    被写体を撮像して画像データを生成する撮像工程と、
    前記撮像工程において撮像する被写体が画像データの予め定めた範囲内に位置するかどうかを判別する判別工程と、
    前記無線端末機器からの操作情報を検知する検知工程と、
    前記検知工程において検知した操作情報を変更する変更工程と、
    前記変更工程において変更した操作情報を前記雲台装置に通知する通知工程と、
    装置の各部を制御する制御工程と、
    をコンピュータに実行させ、
    前記制御工程は、
    前記撮像工程にて撮像した画像データに対し、前記判別工程にて、被写体が画像データの予め定めた範囲内に位置するかどうかを判別し、範囲内に位置しないと判別した場合は、前記無線端末機器と前記第１の通信工程にて通信を開始した後、前記受信工程にて前記無線端末機器から受信したデータから、前記検知工程にて前記操作情報を検知し、検知した前記操作情報を、前記変更工程にて変更し、前記第２の通信工程にて前記雲台装置と通信を開始した後、前記変更工程にて変更した前記操作情報を、前記通知工程にて、前記雲台装置に通知するよう制御することを特徴とするプログラム。
12. 被写体を撮像する撮像装置とともにネットワークカメラシステムを構成し、特定の駆動方向に動作する雲台装置の制御方法をコンピュータに実行させるプログラムにおいて、
    前記撮像装置と通信する通信工程と、
    前記通信工程において前記撮像装置から受信した操作情報を保存する保存工程と、
    前記通信工程において前記撮像装置から受信した操作情報に応じて駆動装置を動作させる駆動工程と、
    前記駆動装置に操作情報を通知する通知工程と、
    装置の各部を制御する制御工程と、
    をコンピュータに実行させ、
    前記制御工程は、
    前記撮像装置より通信工程にて操作情報を受信した場合は、前記操作情報に基づいて、前記駆動装置を制御することを特徴とするプログラム。
13. 請求項１１または１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images