JP2008228039A - ネットワークカメラ装置及びその制御方法 - Google Patents

Abstract

【課題】現在カメラに写っている被写体が手元にモニターがない状態でも教育や公演に集中しながら、容易に、かつ応答性よくパン、チルト、ズーム等のカメラ制御を行うことができるネットワークカメラ装置を提供する。
【解決手段】ネットワークカメラ装置１０１は、画像入力部１１４から入力した撮影画像を、被写体コマンド解釈部１１５で所定の処理をすることにより、被写体が要求したカメラ制御のコマンドを検出する。被写体からのカメラ制御に切り替えるコマンドを検出すると、制御切り替え部１１２においてクライアントのカメラ制御と被写体のカメラ制御の切り替えを行う。被写体からのカメラ制御モードにおいて、被写体コマンド解釈部１１５でカメラパラメータの設定を要求するコマンドを検出すると、前記パラメータ値を使ってカメラ制御を行う。
【選択図】図１

Description

本発明は、ネットワークを介して遠隔から外部装置により制御されるネットワークカメラ装置及びその制御方法に関する。

インターネット等の汎用ネットワークを介して、カメラを容易に遠隔から制御（例えばパン、チルト、ズーム等）操作することが可能であり、更にカメラで撮影した映像をネットワーク経由でモニターが可能なネットワークカメラシステムが知られている。

このようなネットワークカメラシステムが広く普及し、近年では教育や公演の場で使用されるようになってきた。

教育や公演の場で使用されるようになると、写されている被写体において、黒板の文字をズームして見せたい、手元をズームして見せたい等、教育や公演を効果的に進めるために自らの意思でカメラを制御したい要求が出てくる。

被写体がカメラ制御を行うことは公知技術であり、従来はリモコンで制御する、あるいは音声認識で制御する装置がある。

特許文献１には、被写体から発せられる音声により、被写体に対するカメラの撮影方向または被写体を撮影したカメラからの映像をパン、チルト調整するカメラ監視装置が開示されている。
特開平０９−２８９６０９号公報

しかし、従来のリモコンで制御する装置では、リモコンの赤外線が指向性を有しているためセンサが受信可能な方向に向かってパン、チルト、ズーム等のカメラ制御操作を順次しなければならず、手間がかかる。

更に、センサに正しく受信され、所望の操作が実行されたことをモニターで確認しながら制御する必要があり、操作が難しく応答性が悪い。また、音声認識を行う制御装置では、制御は公演内容と関係のない音声を発する必要があり、教育や公演の妨げとなり得る。

本発明の目的は、現在カメラに写っている被写体が手元にモニターがない状態でも教育や公演に集中しながら、容易に、かつ応答性よくパン、チルト、ズーム等のカメラ制御を行うことができるネットワークカメラ装置を提供することにある。

また、本発明の他の目的は、通常クライアントがネットワークを介して遠隔から制御操作しているカメラ制御を、写されている被写体が自らの意思でカメラを制御したいと要求した時に、容易に、かつ応答性よくそれを可能とすることにある。

上記目的を達成するために、請求項１記載のネットワークカメラ装置は、特定のネットワークに接続され、撮影の条件を制御することが可能なネットワークカメラ装置において、撮影の条件に従ってカメラ制御するカメラ制御部と、撮影した画像をキャプチャする画像入力部と、前記画像入力部から入力した撮影画像から撮影の条件を検出する被写体コマンド解釈部と、前記ネットワークを介して外部装置から撮影の条件を受信する通信インターフェースと、前記通信インターフェースで受信した撮影の条件と、前記被写体コマンド解釈部で検出した撮影の条件とを切り替えて、前記カメラ制御部に撮影の条件を渡す制御切り替え部とを備えることを特徴とする。

請求項４記載のネットワークカメラ装置の制御方法は、特定のネットワークに接続され、撮影の条件を制御することが可能なネットワークカメラ装置の制御方法において、撮影の条件に従ってカメラ制御するカメラ制御ステップと、撮影した画像をキャプチャする画像入力ステップと、前記画像入力ステップから入力した撮影画像から撮影の条件を検出する被写体コマンド解釈ステップと、前記ネットワークを介して外部装置から撮影の条件を受信する通信インターフェースステップと、前記通信インターフェースステップで受信した撮影の条件と、前記被写体コマンド解釈ステップで検出した撮影の条件とを切り替えて、前記カメラ制御ステップに撮影の条件を渡す制御切り替えステップとを備えることを特徴とする。

本発明のネットワークカメラ装置により、現在カメラに写っている被写体が手元にモニターがない状態でも容易に、かつ応答性よくパン、チルト、ズーム等のカメラ制御を行うことが可能になる。また、通常クライアントがネットワークを介して遠隔から制御操作しているカメラ制御を、被写体が要求したときに、容易に、かつ応答性よく被写体からのカメラ制御に切り替えることができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係るネットワークカメラ装置と外部装置がネットワークで接続されるネットワークカメラシステムの構成図である。

図１において、ネットワークカメラ装置（以下、カメラ）１０１は、外部装置１０２と、ネットワーク１０３により接続される。ネットワークカメラ装置１０１は、ズーム、パン、チルト、露出等のカメラ制御、カメラ制御に従った撮像、映像処理、通信処理等を行う。

ネットワークカメラ装置１０１が備える構成を以下に説明する。

通信インターフェース１１１は、ネットワークアダプタ等で本装置と他の装置（外部装置１０２）とが情報交換を行う。

制御切り替え部１１２は、クライアントが発行するカメラを制御するコマンド（撮影の条件）と被写体が発行するカメラを制御するコマンド（撮影の条件）を切り替える。具体的には、クライアントコマンド解釈部１１６で解釈（検出）したパン、チルト、ズーム等、カメラを制御するためのパラメータ（カメラパラメータ）と、被写体コマンド解釈部１１５で検出されたカメラパラメータを選択してカメラ制御部１１３に渡す。

制御切り替え部１１２は、通常動作ではクライアントコマンド解釈部１１６で検出されたカメラパラメータを選択する。被写体コマンド解釈部１１５で被写体がカメラ制御を行うコマンドが検出されると、被写体コマンド解釈部１１５で検出されたカメラパラメータを選択する。

カメラ制御部１１３は、カメラの各種制御信号に従ってカメラ制御するものであり、カメラのパン方向あるいはチルト方向に姿勢を制御する。また、カメラ制御部１１３は、ズーム、焦点、絞り、シャッタースピード等も制御する。

画像入力部１１４は、カメラの撮影画像を画像キャプチャ装置等で入力する。被写体コマンド解釈部１１５は、被写体が発行するカメラを制御するコマンドを、画像入力部１１４から一定周期で取り込んだ画像情報を用いて検出する。

被写体コマンド解釈部１１５は、画像入力部１１４から入力した撮影画像の内に特定の周期の明滅信号を検出し、明滅信号の位置が画像の中心になるパン、チルト角を算出し、カメラ制御部１１３は、その算出の結果に基づきカメラ制御する。

クライアントコマンド解釈部１１６は、通信インターフェース１１１を介して受信したクライアントが発行するカメラを制御するコマンドや、映像取得要求のコマンドを解釈（検出）する。画像記憶部１１７は撮影画像を記憶（保存）する。

本実施の形態における被写体コマンド解釈部１１５は、具体的には、画像処理により、特定周期のＬＥＤの明滅信号をカメラ制御のコマンドとして検出する。コマンドは明滅の周期で区別され、制御切り替えコマンド、ズームアウトコマンド、ズームインコマンドの３つの明滅周期が既定されている。

被写体コマンド解釈部１１５は、制御切り替えコマンド検出時は、被写体からの制御に切り替える要求信号を生成する。ズームアウトコマンド検出時は、カメラを最大広角に制御するカメラパラメータを生成する。ズームインコマンド検出時はそのＬＥＤの明滅位置を画像の中心にズームイン制御するカメラパラメータを生成する。

コマンドとして使用する周期は、画像入力部１１４から画像をキャプチャする周期を考慮して、十分検出し得る周期に既定されている。

図２は、図１における被写体コマンド解釈部の構成図である。

図２において、被写体コマンド解釈部１１５は、以下の構成要素を備える。

輝度抽出処理部２０１は、画像入力部１１４から一定周期でキャプチャした画像の輝度の情報を抽出する。画像変化比較部２０２は、画素毎に直前にキャプチャした画像の輝度と比較し、所定値以上の差分があれば、変化した時刻を輝度変化履歴記憶部２０３に記憶する。

上記輝度比較に使用する所定値はＬＥＤの明滅信号と判断するための値であり、使用するＬＥＤの明滅時の輝度を考慮して、ＬＥＤの明滅を十分検出し得る値に既定されている。受け取った輝度の情報は次の比較対象として保存する。

コマンド判断部２０４は、画素毎に輝度変化履歴を監視し、周期を算出する。輝度変化が一定の周期で起こっていれば、明滅信号が発生したと認識し、コマンド登録部２０６に登録した周期と一致するか判定する。

ＰＴ値計算部２０５は、ズームインコマンドの周期に一致した明滅信号を検出したとき、輝度変化が起こっている画素と、画像撮影時のパン、チルト、ズーム値から、明滅信号の発生している位置を特定し、その位置が中心になるパン、チルト角を算出する。

コマンド登録部２０６は、明滅周期とカメラ制御のコマンドを対応付けた情報を予め登録しておく。本実施の形態では、制御切り替えコマンドの明滅周期、ズームアウトコマンドの明滅周期、ズームインコマンドの明滅周期を登録しておく。

Ｚ値登録部２０７は、パン、チルト角の値に応じた最適なズーム倍率の値を予め登録しておき、ＰＴ値計算部２０５で算出したパン、チルト角の値に応じて最適なズーム倍率の値を読み出す。

図１に戻り、外部装置１０２は、例えば、ＷＷＷサーバやＷＷＷブラウザであり、これらの間は、ＨＴＴＰプロトコルで通信を行う。即ち、ＷＷＷブラウザからは文書データやイメージデータの格納先であるＷＷＷサーバに対して、対象とするデータの格納先が示されたＵＲＬに従ってその情報を提示する。

ＷＷＷサーバは、これに応えて、対応する文書データやイメージデータをＷＷＷブラウザに転送する。本実施の形態では、通信インターフェース１１１は、ＷＷＷサーバの通信方法を用いて実現している。

次に、クライアントがカメラ制御を行い、映像を取得する動作と、被写体がカメラ制御を行う動作について説明する。

クライアントが外部装置１０２からＷＷＷサーバの通信方法を用いて画像を取り込む時には以下の記述を用いる。
<img src = “http://www.foo.co.jp/image００１.gif”> …（１）
上記式は、image００１.gifというファイルに格納されたイメージデータの転送を要求することを示す。尚com.foo.co.jpは本ネットワークカメラ装置１０１のネットワークアドレスである。

更に、カメラパラメータを設定し、画像を貼り込む時には以下の記述を用いる。
<img src = “http://www.foo.co.jp/P２０T５Z２.gif”> …（２）
カメラアングルを指定するパン、チルト、ズーム等は、それぞれ英字の「Ｐ」「Ｔ」「Ｚ」で表し、その後にそれぞれの制御量を数字で表す。

上記の記述ではパン角度２０度、チルト角度５度、ズーム量２倍で撮影し、gif形式の画像データとして得る要求を示す。外部装置１０２はネットワークカメラ装置１０１に対して前記ＨＴＭＬ記述の文字列を出力し、画像データの要求を行う。通信インターフェース１１１を介して、ネットワークカメラ装置１０１にこの要求が入ると、クライアントコマンド解釈部１１６が起動され、要求の解釈とそれに対応する応答の処理が開始される。

図３は、図１のネットワークカメラ装置によって実行されるクライアントからのカメラ制御処理（外部装置からの画像データ要求に対する対応処理）の手順を示すフローチャートである。

図３において、ステップＳ３０１では、クライアントコマンド解釈部１１６がファイル名として記述されたコマンドを解釈する。即ち。要求の先頭が記述例（２）のように「Ｐ」であればカメラパラメータ設定コマンドと認識し、ステップＳ３０２の処理を行う。記述例（１）のように「Ｐ」以外であれば映像取得コマンドと認識する。

ステップＳ３０２では、クライアントコマンド解釈部１１６が、クライアントからのカメラ制御と、被写体からのカメラ制御を切り替える制御切り替え部１１２がクライアントからのカメラ制御を選択しているか判断する。クライアントからのカメラ制御が選択されていればステップＳ３０３の処理を行う。

ステップＳ３０３では、クライアントマンド解釈部１１６が、記述例（２）で指定されたカメラパラメータを抽出して制御切り替え部１１２に渡し、制御切り替え部１１２はカメラパラメータをカメラ制御部１１３に渡す。

カメラ制御部１１３は、カメラパラメータ（パン、チルト、ズームの各値）に従ってカメラを操作し、撮影する。撮影した画像は画像入力部１１４よりキャプチャされ、指定したファイルフォーマットに変換し、画像記憶部１１７に保存される。

ステップＳ３０４では、クライアントコマンド解釈部１１６が、指定したファイル名の画像を画像記憶部１１７から読み出し、通信インターフェース１１１を介して要求元の外部装置１０２に返答する。

このとき、通信インターフェース１１１では、ＨＴＴＰプロトコルを用いるため、画像フォーマットに応じた内容種別情報やステータス情報等が先頭に付加される。そして本処理を終了する。

ステップＳ３０２において、クライアントからのカメラ制御と、被写体からのカメラ制御を切り替える制御切り替え部１１２が被写体のカメラ制御を選択している場合は以下の処理となる。

即ち、クライアントコマンド解釈部１１６は、通信インターフェース１１１を介して要求元の外部装置１０２に制御できない旨のエラーメッセージを通知し（ステップＳ３０５）、本処理を終了する。

ステップＳ３０１において、クライアントコマンド解釈部１１６がカメラパラメータ設定コマンドではないと判断すると、カメラパラメータ設定を行わない映像取得コマンドと認識し、ステップＳ３０４の処理を行い、本処理を終了する。

図４は、図１のネットワークカメラ装置によって実行される被写体からのカメラ制御処理（被写体がカメラパラメータを設定するときのカメラ制御処理）の手順を示すフローチャートである。

画像入力部１１４にて画像をキャプチャすると被写体コマンド解釈部１１５が起動され、コマンドの解釈とそれに対応する応答の処理が開始される。

図５に教育や公演を行う被写体の操作例を示す。システムの初期状態ではカメラは最大広角を撮影するものとする。

（ａ）では、被写体が教育や公演の最初に被写体からのカメラ制御に切り替えるため、カメラ制御切り替えコマンドに対応する周期の明滅信号を発生させる。（ｂ）では、被写体が教壇に立ち自分をズームインするため、自分の前でズームインコマンドに対応する周期の明滅信号を発生させる。

（ｃ）では、被写体が移動するとき、次のコマンドを確実に捉えられるようにするため、ズームアウトコマンドに対応する周期の明滅信号を発生させる。（ｄ）では、被写体が黒板まで移動し見せたい資料をズームインするため、資料の前でズームインコマンドに対応する周期の明滅信号を発生させる。

被写体が以上の（ａ）、（ｂ）、（ｃ）、（ｄ）の操作を行う場合に沿って、図４のフローチャートを説明する。最初に図５（ａ）に示す操作を実行すると図４のフローチャートでは以下の処理が行われ、映像はカメラの最大広角で撮影される。

ステップＳ４０１では、輝度抽出処理部２０１が、画像入力部１１４からキャプチャした画像の輝度を抽出し、各画素と対応付けた情報として画像変化比較部２０２に渡す。

ステップＳ４０２では、画像変化比較部２０２が、キャプチャした画像の輝度と直前画像の輝度の差分を画素毎に取る。

ステップＳ４０３では、画像変化比較部２０２が、輝度の差分が所定値以上であるか判断する。所定値未満であれば明滅変化はないと認識し、処理は終了する。所定値以上であればステップＳ４０４の処理を行う。

ステップＳ４０４では、画像変化比較部２０２が、画素毎に、変化した時刻及び輝度を輝度変化履歴記憶部２０３に書き込む。

ステップＳ４０５では、コマンド判断部２０４が、輝度変化履歴記憶部２０３の更新があった画素について輝度変化の周期を算出する。

ステップＳ４０６では、コマンド判断部２０４が、ステップＳ４０５において算出した周期がコマンド登録部２０６に登録している制御切り替えコマンドの周期と一致するか判断する。一致すれば被写体からの制御に切り替えるコマンドが発行されたと認識し、ステップＳ４０７の処理を行う。

ステップＳ４０７では、コマンド判断部２０４が、制御切り替え部１１２へカメラ制御に際し被写体からの操作を選択する信号を出す。

ステップＳ４０８では、コマンド判断部２０４が、制御切り替え部１１２へカメラを最大広角にするカメラパラメータを渡す。カメラを最大広角にすることで次の被写体からの制御コマンドの明滅信号を確実に捉える。

ステップＳ４０９では、制御切り替え部１１２が被写体コマンド解釈部１１５からのカメラパラメータをカメラ制御部１１３に渡し、カメラ制御部１１３は指定されたパン、チルト、ズームの各値でカメラを操作し、画像撮影を行い、処理を終了する。

続いて図５（ｂ）に示される操作を行うと、図４のフローチャートでは以下の処理が行われ、映像は被写体を中心にズームで撮影される。

ステップＳ４０１乃至Ｓ４０６の処理が行われ、ステップＳ４０６において制御切り替えコマンドではないので、ステップＳ４１０に進み、ズームインコマンドの周期と一致するか判断する。一致すればステップＳ４１１の処理を行う。

ステップＳ４１１では、ＰＴ値計算部２０５が、ステップＳ４１０において一致と判定された画素の位置情報と、カメラ制御部１１３の画像をキャプチャしたときのカメラパラメータの値から、全可視領域におけるＬＥＤの明滅位置を特定する。

そして、明滅位置が中心になるパン、チルト角のパラメータ値を算出する。算出したパン、チルト角のパラメータ値は制御切り替え部１１２へ渡す。

ステップＳ４１２では、Ｚ値登録部２０７が、ＰＴ値計算部２０５より算出されたパン、チルト角のパラメータ値に応じて登録されているズーム量のパラメータ値を読み出し、制御切り替え部１１２へ渡す。続いてステップＳ４０９の処理を実行し、処理を終了する。

続いて図５（ｃ）に示される操作を行うと図４のフローチャートでは以下の処理が行われ、映像はカメラの最大広角で撮影される。

ステップＳ４０１乃至Ｓ４０６の処理が行われ、ステップＳ４０６において制御切り替えコマンドではなく、ステップＳ４１０においてズームインコマンドではないのでステップＳ４１３に進み、ズームアウトコマンド周期と一致するか判断する。一致すればステップＳ４１４の処理を行う。

ステップＳ４１４では、コマンド判断部２０４が、制御切り替え部１１２へカメラを最大広角にするカメラパラメータを渡す。最大広角のパラメータを設定することで被写体が移動して画角外へ出るのを防止し、次の被写体からの制御コマンドの明滅信号を確実に捉える。続いてステップＳ４０９の処理を実行し、処理を終了する。

続いて図５（ｄ）に示される操作を行うと図４のフローチャートでは以下の処理が行われ、映像は資料を中心にズームで撮影される。

ステップＳ４０１乃至Ｓ４０６、ステップＳ４１０乃至Ｓ４１２、ステップＳ４０９の処理が行われ、カメラはＬＥＤの明滅位置を中心にズームインした映像を写す。

以上説明したように、本発明のネットワークカメラ装置によれば、現在カメラに写っている被写体が手元にモニターがない状態でも容易に、かつ応答性よくパン、チルト、ズーム等のカメラ制御を行うことが可能になる。

また、通常、クライアントがネットワークを介して遠隔から制御操作しているカメラ制御を、被写体が要求したときに、容易に、かつ応答性よく被写体からのカメラ制御に切り替えることができる。

本発明の実施の形態に係るネットワークカメラ装置と外部装置がネットワークで接続されるネットワークカメラシステムの構成図である。 図１における被写体コマンド解釈部の構成図である。 図１のネットワークカメラ装置によって実行されるクライアントからのカメラ制御処理の手順を示すフローチャートである。 図１のネットワークカメラ装置によって実行される被写体からのカメラ制御処理の手順を示すフローチャートである。 被写体のカメラ制御のための操作を示す図である。

符号の説明

１０１ ネットワークカメラ装置
１０２ 外部装置
１０３ ネットワーク
１１１ 通信インターフェース
１１２ 制御切り替え部
１１３ カメラ制御部
１１４ 画像入力部
１１５ 被写体コマンド解釈部
１１６ クライアントコマンド解釈部
１１７ 画像記憶部
２０１ 輝度抽出処理部
２０２ 画像変化比較部
２０３ 輝度変化履歴記憶部
２０４ コマンド判断部
２０５ ＰＴ値計算部
２０６ コマンド登録部
２０７ Ｚ値登録部

Claims (6)

1. 特定のネットワークに接続され、撮影の条件を制御することが可能なネットワークカメラ装置において、
   撮影の条件に従ってカメラ制御するカメラ制御部と、
   撮影した画像をキャプチャする画像入力部と、
   前記画像入力部から入力した撮影画像から撮影の条件を検出する被写体コマンド解釈部と、
   前記ネットワークを介して外部装置から撮影の条件を受信する通信インターフェースと、
   前記通信インターフェースで受信した撮影の条件と、前記被写体コマンド解釈部で検出した撮影の条件とを切り替えて、前記カメラ制御部に撮影の条件を渡す制御切り替え部と、
   を備えることを特徴とするネットワークカメラ装置。
2. 前記制御切り替え部は、前記画像入力部から入力した撮影画像の内に特定の周期の明滅信号を検出し、クライアントからのカメラ制御と、被写体からのカメラ制御を切り替えることを特徴とする請求項１記載のネットワークカメラ装置。
3. 前記被写体コマンド解釈部は、前記画像入力部から入力した撮影画像の内に特定の周期の明滅信号を検出し、前記明滅信号の位置が画像の中心になるパン、チルト角を算出し、前記カメラ制御部は、その算出の結果に基づきカメラ制御することを特徴とする請求項１記載のネットワークカメラ装置。
4. 特定のネットワークに接続され、撮影の条件を制御することが可能なネットワークカメラ装置の制御方法において、
   撮影の条件に従ってカメラ制御するカメラ制御ステップと、
   撮影した画像をキャプチャする画像入力ステップと、
   前記画像入力ステップから入力した撮影画像から撮影の条件を検出する被写体コマンド解釈ステップと、
   前記ネットワークを介して外部装置から撮影の条件を受信する通信インターフェースステップと、
   前記通信インターフェースステップで受信した撮影の条件と、前記被写体コマンド解釈ステップで検出した撮影の条件とを切り替えて、前記カメラ制御ステップに撮影の条件を渡す制御切り替えステップと、
   を備えることを特徴とするネットワークカメラ装置の制御方法。
5. 前記制御切り替えステップは、前記画像入力ステップから入力した撮影画像の内に特定の周期の明滅信号を検出し、クライアントからのカメラ制御と、被写体からのカメラ制御を切り替えることを特徴とする請求項４記載のネットワークカメラ装置の制御方法。
6. 前記被写体コマンド解釈ステップは、前記画像入力ステップから入力した撮影画像の内に特定の周期の明滅信号を検出し、前記明滅信号の位置が画像の中心になるパン、チルト角を算出し、前記カメラ制御ステップは、その算出の結果に基づきカメラ制御することを特徴とする請求項４記載のネットワークカメラ装置の制御方法。

Images