JP2020188326A

JP2020188326A - 撮像管理システム

Info

Publication number: JP2020188326A
Application number: JP2019090311A
Authority: JP
Inventors: 真我中島; Shinga Nakajima
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-05-13
Filing date: 2019-05-13
Publication date: 2020-11-19

Abstract

【課題】撮像方向を変更するパンチルト動作が可能な撮像装置において、移動中等カメラを固定していない使用方法において、自動的に撮影し続ける時に複数の人物の中から特定の撮影対象者指示し撮影し続けることが可能な撮像管理システムを提供する。【解決手段】撮像方向を変更するパンチルト動作が可能な撮像装置１の制御方法において、ビーコン端末による得られる位置情報によりビーコン端末と撮像装置の相対位置関係と、地磁気センサにより得られる絶対方向の情報により、撮像装置の撮像方向を撮影対象人物に向けて撮影する。【選択図】図２

Description

本発明は、位置情報を用い撮像方向を変更し、追尾目標を画角内に捉える撮像装置とその制御方法に関する。

団体で移動を行う際に、例えば遠足や修学旅行、ツアー等のように団体を率いる引率者と引率者に率いられて行動を行う被引率者という構成で行動をする場合がある。一般的にこのような団体行動を行う時には、引率者は初めに点呼を行い、被引率者が全員揃っているかを把握し、移動時には常時管理し続けて集団から離れたりしないように管理しなければならない。また、移動中各個人撮影をして記録に残し、後にデータや写真を配布することや引率者が日誌の作成等で活用する場合が有る。

しかしながら、引率者の人数に対して被引率者の人数の方が多いことがほとんどであるため、引率者は移動しながら被引率者全員を逐次管理して、状況を把握したり団体から離れたりしないように見ていることが困難である。

そこで、特許文献１のように引率者が所有する無線携帯端末に被引率者の個人情報及び個人情報に対応付けられた信号を記憶しておき、被引率者が所有する無線ＩＣタグから発信された所定の信号から個人を特定することで被引率者の存在を判定する技術が公開されている。これにより、被引率者が全員揃っているかどうかを簡単に確認することが可能となる。

近年ではメッシュネットワークを利用し、近距離通信が可能な技術、例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ）を活用し、機器同士の距離に応じてさまざまなサービスを提供可能な仕組みが開発されている。ＢＬＥはビーコン情報を発信し、受信機で受信することで距離情報やその他様々な情報の送受信が可能である。これにより、ＢＬＥを搭載した端末（以下、ビーコン端末）を接続することで、相互に通信を行い、ビーコン端末から送信される電波強度により人や物の存在を検知し位置測位を行うことが可能となってきている。

また、記録を残すためには、管理だけでなく撮影もしなければいけないため、引率者の増員が必要となってしまう。広角カメラや全方向カメラを引率者が持ち、常に団体全員を撮影しておく方法があるが、人数が多くなると広い画角が必要になり、その上被写体が小さくなってしまうという問題が有る。

団体等複数の人がいる中で特定の人物を撮影する場合は、特許文献２のように光学式距離計で監視エリアを検知し、検知された人物をカメラで自動追尾するという提案がされている。これは監視エリアに最も新しく検知された人物を光学式距離計の反射光を受信して得た距離と走査角度に基づいて位置情報をカメラに送信し、カメラの撮影方向を対象人物に向け、その後自動的に追尾していく。

特開２００６−５４７８７号公報特開２０１４−１７５８４４号公報

しかしながら、無線ＩＣタグから人物特定をしたり位置情報を検知するビーコン端末だけでは、被引率者に装着しても、移動時の行動や状況の詳細を把握することが出来ない。また、無線ＩＣタグやビーコン端末はコイン電池等の小容量な電池で駆動しているものが多く、また、引率者がその残量を把握することが困難なため、常時位置情報の送信を行っていると、電池の消耗が激しいため団体行動時に電池切れを起こしてしまう可能性がある。さらに、複数の人を記録する方法としては、光学式距離計で位置情報を把握しカメラで自動追尾する技術は、光学式距離計やカメラが固定であることが前提となるため、移動しながら被写体となる対象人物を追尾し続けることは困難である。

このような課題を鑑みて本発明は、撮像方向を変更するパンチルト動作が可能な撮像装置を用いた制御方法において、ビーコン端末を用いて位置情報を利用し、移動中等カメラを固定していない使用方法でも複数の人物の中から特定の撮影対象者を指示し自動的に撮影し続けることを目的とする。さらには、複数の人物を撮像装置とビーコン端末を利用して一人一人自動で確実に認証登録して管理対象とし、管理対象人物のビーコン端末を最適な条件で制御することを目的とする。

上記の目的を達成するために、本発明に係る撮像管理システムは、
撮像手段の撮像方向を変更可能な携帯撮像装置と位置情報と端末情報を発信する複数の携帯端末と移動端末から構成される携帯撮像装置制御システムであり、前記携帯撮像装置と前記移動端末には、方角を検知する方位検知手段と位置検出手段を備え、前記携帯撮像装置には、前記位置情報検出手段による位置情報と前記方位検知手段による方角により前記携帯撮像装置と前記移動端末と前記携帯端末の位置を算出する演算手段を備え、前記携帯撮像装置は前記演算手段による算出結果により、前記撮像手段の移動量を決定し、前記撮像手段の撮像方向を前記携帯端末に向ける制御を行うことを特徴とする。

本発明に係る撮像管理システムによれば、撮像方向を変更するパンチルト動作が可能な携帯撮像装置の制御方法において、ビーコン端末により得られる位置情報によりビーコン端末と撮像装置の相対位置関係と、地磁気センサにより得られる絶対方向の情報により、撮像装置の撮像方向を撮影対象人物に向けて撮影することが可能となる。

本実施形態のシステムにおける構成概念図可動カメラブロック図移動端末ブロック図システム制御フローチャート可動カメラ撮像方向模式図（初期状態模式図）可動カメラ撮像方向模式図（撮像方向移動模式図）実施例２のシステムにおける構成概略図実施例２における移動端末ブロック図人物認証工程フローチャート管理テーブルの一例を示す図

以下、本発明を実施するための形態について、図面を参照しながら説明する。

図１に、本実施形態のシステムにおける構成概念図を示す。図１は団体が移動する時に想定される配置の一例で、移動を誘導する引率者と引率者に連れられて移動する被引率者がいる。本実施例では図１のような配置と人数としているが、この限りでない。

図１に示すように団体の一方側に引率者Ａが配置され、他方側には引率者Ｂが配置され、その間に被引率者が複数配置されている。引率者Ａは被引率者がいる側に可動カメラ１を所持し、団体後方の引率者Ｂは移動端末５を所持し、被引率者はそれぞれビーコン端末６を所持している。ビーコン端末６を所持している被引率者は可動カメラ１を所持している引率者に付いて引率されるものとし、被引率者は可動カメラ１に顔を向けているものとする。本実施例では可動カメラ可動カメラ１と移動端末５とビーコン端末６はｉＢｅａｃｏｎなどのビーコンを発信する装置（不図示）が搭載されており、不図示のＢｌｕｅｔｏｏｔｈＬｏｗＥｎｅｒｇｙ（以下ＢＬＥ）を用いた無線通信技術により構成されている。

ビーコン信号が発信された位置情報により、可動カメラ１を所持している引率者Ａと移動端末５を所持している引率者Ｂ、そしてすべてのビーコン端末５を所持している被引率者の相対位置を、ＢＬＥを用いた近距離通信により送受信されることで位置を把握し、管理することが可能となる。また、ＢＬＥを用いた送受信を行う近距離通信には、各機器のＩＤ情報等機器情報も同時に送受信を行う。

次に本実施例で引率者Ａが所持している可動カメラ１の構成を図２の可動カメラブロック図を用いて説明する。

図２は本発明の実施形態であるパンチルト駆動に対応している可動カメラの構成を示す可動カメラブロック図である。なお、可動カメラ１は撮像方向をパン方向とチルト方向に駆動する機構を備えた携帯型可動カメラの一例である。

図２に示すように、可動カメラ１は撮像部を備えてパン方向とチルト方向に可動可能な可動部１１と、台座部分である固定部１２に分かれた構成となっている。

可動カメラ１はシステム制御演算部２００による統括制御の下で、可動カメラ１に搭載されているシステムを制御している。

可動カメラ１において、可動部１１を構成しているシステムを以下に示す。

撮像手段２０は、画像や動画を撮影するための各種構成となる、レンズ、自動ズーム、絞りやシャッター速度、撮像センサの感度を最適に設定する自動露出（ＡＥ）、自動焦点調節（ＡＦ）、自動ホワイトバランス（ＡＷＢ）、撮像素子（ＣＣＤやＣＭＯＳイメージセンサ等）、画像処理回路、画像記録回路、画像記録メモリ等の一連の撮影機能を備えている。レンズで取り込んだ光学像を撮像素子で光電変換して画像や動画のデータを生成する。画像処理部２１０は撮像手段２０の撮像素子で生成された画像や動画のデータをデジタル情報に変換する処理回路である。画像解析部２１１は撮影手段２０により撮影された記録データを解析処理し、撮影された顔、人物情報や行動情報を入手し、システム制御演算部２００に送ることが可能である。

システム制御演算部２００は可動カメラ１において、システムを統括し制御や演算を行う制御回路であり、演算手段であるＣＰＵやプログラムを格納するメモリ、プログラムの展開領域とデータの記憶領域とを有するメモリ等を備える。システム制御部２００は、プログラムを実行して可動カメラ１を構成する各部の動作制御を行うことにより、可動カメラ１の全体的な動作を統括制御する。さらには、後述する外部ビーコン端末の位置情報や可動カメラ１に内蔵する地磁気センサの検知情報により位置情報の演算を行い、可動部１１の可動領域内に於いて動作の制御を行う。動作制御手段２２０はシステム制御演算部２００による指示によって可動部１１の後述するレンズ駆動部２２１やパン動作駆動部２２３、チルト動作駆動部２２５の制御を統括して、変換処理してそれぞれに指示を出す制御回路である。レンズ駆動部２２１は、撮像手段２０に含まれるフォーカスレンズやズームレンズを駆動するための機械駆動系とその駆動源であるモータ等により構成されている。

レンズ制御部２２２は、動作制御手段２２０からの指示に基づいて、レンズ駆動部２２１の動作制御を行う。パン動作駆動部２２３は、撮像手段２０のパン動作を行う機械駆動系とその駆動源であるモータ等によって構成されており、撮像方向をパン方向において３６０度の無限旋回が可能に構成されている。パン動作制御部２２４は、動作制御手段２２０からの指示に基づいて、パン動作駆動部２２３の動作制御を行う。なお、本実施形態では、パン方向は水平方向に設定されるものとする。チルト動作駆動部２２５は、撮像手段２０のチルト動作を行う機械駆動系とその駆動源であるモータ等によって構成されており、撮像方向をチルト方向に水平方向０度から＋１８０度まで回転することができる。

チルト動作制御部２２６は、動作制御部２２０からの指示に基づいて、チルト動作駆動部２２５の駆動制御を行う。なお、チルト方向は、本実施形態では、鉛直方向（鉛直面内）に設定されるものとする。撮像方向検知手段２４は可動カメラ１に対して撮像手段２０の撮像方向がどの向きにあるかを検知する手段である。例えばパン方向とチルト方向のそれぞれに光学式エンコーダを用いて可動部の移動量を測定し、可動カメラ１のデフォルト位置（正位置）からの回転角度を測定することで、撮像手段２０がどの方向に向いているかを検知するものである。

可動カメラ１において、固定部１２を構成しているシステムを以下に示す。ＢＬＥ２１は図１に示す移動端末５やビーコン端末６と通信を行い、各端末の情報やビーコン信号を送受信して位置情報や端末情報のやり取りを行う。ＢＬＥ２１で送受信された情報はシステム制御演算部２００によって制御され管理される。位置情報はビーコン端末６から送信されるビーコン信号と移動端末５から送信されるビーコン信号を受信することで、各ビーコン端末６と移動端末５そして、可動カメラ１の相対的位置をシステム制御演算部２００が演算して把握している。すなわち、引率者Ａと引率者Ｂ、そして各被引率者の相対的位置を把握して管理することが可能となる。

通信手段２２はシステム制御演算部２００による統括制御の下で、ビーコン信号による位置情報を取得しているＢＬＥ２１の通信とは異なる通信により外部機器との通信を行う。通信手段２２はＷｉ−ＦｉやＷｉＧｉｇ、ＬＴＥ等の単数或いは複数の各種通信方式による通信機能を有し、他の通信装置と通信接続する通信手段である。通信手段２２を用いて可動カメラ１の操作制御を行うことも可能であり、例えば外部スマートフォンやＰＣを可動カメラ１に通信接続を行うことで、可動カメラ１の動作制御や管理を行うことが可能である。本実施形態では、不図示のスマートフォンと接続し、可動カメラ１の操作や管理を行っている。

方位検出手段２３は例えば地磁気センサが用いられ、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の方向の地磁気の向きと大きさ（地磁気ベクトル）を検出する電子コンパスであり、センサ出力値は可動カメラ１が向いている絶対方向（方角）を算出するために用いられる。

記録部２３０は撮像手段２０で撮影されて画像処理部２１０により変換されて生成された画像データや動画データを記録する内蔵メモリや外部ＳＤカード等記録装置である。

管理テーブル３００はＢＬＥ２１によって送受信されたビーコン端末６と移動端末５の各々の端末情報や位置情報もしくは、撮像手段２０で撮影されて画像解析部２１１で解析された情報を更新し、管理しているテーブルである。

次に本実施例で引率者Ｂが所持している移動端末５の構成を図３の移動端末ブロック図を用いて説明する。

ＢＬＥ５１は図１に示す可動カメラ１やビーコン端末６と通信を行い、各端末の情報やビーコン信号を送受信して位置情報のやり取りを行う。

通信手段５２は制御システム５００による統括制御の下で、ビーコン信号による位置情報を送受信しているＢＬＥ５１の通信とは異なる通信により外部機器との通信を行う。通信手段５２はＷｉ−ＦｉやＷｉＧｉｇ、ＬＴＥ等の単数或いは複数の各種通信方式による通信機能を有し、他の通信装置と通信接続することを可能とする通信手段である。方位検出手段５３は例えば地磁気センサが用いられ、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の方向の地磁気の向きと大きさ（地磁気ベクトル）を検出する電子コンパスであり、センサ出力値は移動端末５が向いている絶対方向を算出するために用いられる。

制御システム５００は移動端末５において、システムを統括し制御や演算を行う制御回路であり、演算手段であるＣＰＵやプログラムを格納するメモリ、プログラムの展開領域とデータの記憶領域とを有するメモリ等を備える。ＢＬＥ５１から得られる位置情報を基に可動カメラ１とビーコン端末６と移動端末５の相対位置の演算や、通信手段５２による通信の制御、方位検出手段５３から得られる方位情報を演算する。

可動カメラ１のカメラ制御と移動端末５、そして各ビーコン端末６の制御方法を、図４のシステム制御フローチャートと図５の可動カメラ撮像方向模式図、そして図２、図３を用いて説明する。

本処理フローは可動カメラ１が特定のビーコン端末６ａを装着している人物を位置検知してから、撮像手段２０により捕捉し、追跡するまでの追跡モードのフローである。本実施形態においてビーコン端末を特定する工程等可動カメラ１を制御する手段としては、前述した可動カメラ１に搭載している通信手段２２により、可動カメラ１を外部端末の例えばスマートフォン（不図示）と接続し、スマートフォンのアプリケーションを利用してビーコン端末６の情報を基にビーコン端末６のＩＤを指示するものとする。ビーコン端末情報には、所持する人物の情報があり、その人物の顔情報がスマートフォンにより得ることが可能となる。

追跡モードが開始されると、可動カメラ１のシステム制御演算部２００はＢＬＥ２１により移動端末５とビーコン端末６のすべての位置情報を取得して、可動カメラ１と移動端末５とすべてのビーコン端末６の相対位置を取得する（Ｓ１０１）。

Ｓ１０１により、各端末の相対位置を取得した後、可動カメラ１に搭載されている方位検出手段２３により、システム制御演算部２００は可動カメラ１の向いている絶対方向（方角）を取得する（Ｓ１０２）。

同時に移動端末５において制御システム５００は移動端末５に搭載されている方位検出手段５３により、移動端末５が向いている絶対方向を取得する。Ｓ１０１で取得した可動カメラ１と移動端末５とビーコン端末６における相対位置とＳ１０２で取得した可動カメラ１と移動端末５における絶対方向により、可動カメラ１と移動端末５とすべてのビーコン端末６が可動カメラ１、もしくは移動端末５を基準にどの方向のどの位置に位置するかの座標系をシステム制御演算部２００により演算し算出する。

可動カメラ１で検知している絶対方向（方角）と移動端末５で検知している絶対方向（方角）を一致するように演算し、ビーコン信号による位置情報をさらに演算することで、それぞれの可動カメラ１に対する絶対座標が算出出来る。Ｓ１０２にて可動カメラ１本体の向いている絶対方向を取得した後、撮像方向検知手段２４により、可動カメラ１における撮像手段２０の撮像方向を検知する。ここでは、可動カメラ１の撮像手段２０の撮像方向が可動カメラ１の正位置（デフォルト位置）に対しの移動量、回転量を光学式エンコーダにて検知している。また、この時は図５（ａ）の初期状態模式図で示すＸ方向に可動カメラ１における撮像手段２０の撮像方向が向かれているものとする。

通信手段２２に接続している外部端末のスマートフォンにより、被引率者が装着しているビーコン端末６から追跡するビーコン端末６ａの特定が可能となる（Ｓ１０４）。引率者が追跡したい人物が装着しているビーコン端末６ａの特定を行うまではＳ１０１に戻り、Ｓ１０１とＳ１０２、Ｓ１０３を繰り返し実行し、ビーコン端末６（被引率者）から追跡するビーコン端末６ａの特定を行うと、Ｓ１０５へ進む。Ｓ１０４により追跡するビーコン端末６ａを特定すると、Ｓ１０１でＢＬＥ２１により取得した位置情報とＳ１０２で実行した絶対方向の取得により、システム制御演算部２００は可動カメラ１と追跡するビーコン端末６ａとの位置関係を算出する（Ｓ１０５）。

可動カメラ１と追跡するビーコン端末６ａの位置関係を算出すると（Ｓ１０５）、システム制御演算部２００は、Ｓ１０２で検知した可動カメラ１の向いている絶対方向とＳ１０３で検知した可動カメラ１における撮像手段２０の撮像方向が可動カメラ１に対して向いている方向の情報によって、可動カメラ１に搭載されている撮像手段２０における撮像方向の絶対方向（方角）を算出すると、システム制御演算部２００は追跡するビーコン端末６ａへ撮像手段２０の撮像方向を向けるための可動部１１の移動量を算出して動作制御手段２２０に指示し、可動カメラ１の可動部１１は移動する（Ｓ１０６）。ここでは、算出された可動カメラ１との位置関係によって、可動部１１における撮像手段２０の撮像方向が追跡するビーコン端末６ａに向く角度における回転方向（パン方向）による移動量と可動カメラ１と追跡するビーコン端末６ａとの距離における上下方向（チルト方向）による移動量を算出する。さらにシステム制御演算部２００は、算出された位置関係により、顔認証にするためにビーコン端末６ａを装着している人物が最適な画角となるようにズーム調整を行い、さらには露出やフォーカスも調整し、最適値に設定を行う。

Ｓ１０６により算出された移動量を、システム制御演算部２００は動作制御手段２２０に指示を出し、動作制御手段２２０はレンズ制御部２２２にズームやフォーカス等の動作指示を、パン動作制御部２２４にはパン方向の動作指示、チルト制御部２２６にはチルト方向の動作指示を行い、可動カメラ１の可動部１１がそれぞれの指示のもと、動作すると、図５（ｂ）の撮像方向移動模式図で示すＹ方向のように追跡するビーコン端末６ａに可動カメラ１における撮像手段２０の撮像方向が向けられる。Ｓ１０６で可動カメラ１の撮像手段２０が追跡するビーコン端末６ａに向けられると、撮像手段２０に撮影された人物を画像解析部２１１により解析し、システム制御演算部２００はＢＬＥ２１により追跡するビーコン端末６ａの端末情報に含まれる顔情報と照合し、画像解析部２１１により解析された人物と端末情報による顔情報が一致するか判断する（Ｓ１０７）。

撮像手段２０により撮影されて画像解析部２１１により解析された人物と取得した追跡するビーコン端末６ａの顔情報が一致しなければＳ１０５に戻り、可動カメラ１の可動部１１を移動させて追跡するビーコン端末６ａへ撮像手段２０の撮像方向を向けるようにシステム制御演算部２００が指示を出して移動し続ける。撮像手段２０により撮影されて画像解析部２１１により解析された人物と取得した追跡するビーコン端末６ａの顔情報が一致すると、ビーコン端末の情報と顔情報が一致したと認識し、一致した人物を追尾する人物認識による自動追尾に切り替わる（Ｓ１０８）。人物認証による自動追尾では顔が認証されていなくても、頭部の動きを補足し続けたり、移動を予測することで人物を追尾することが可能である。

本実施例において、引率者が特定の被引率者が確実に団体の中にいるということを認識するために、他の被引率者が所持しているビーコン端末６の中から特定した追跡するビーコン端末６ａを位置情報により追跡して、ビーコン端末の顔情報との一致を行うことで、所持しているビーコン端末と顔認識の両方において判断することが可能となる。Ｓ１０８で人物認識に切り替えることにより位置情報による可動カメラ１とビーコン端末６との通信が不要となるため、ビーコン端末６の電力の消費を低減することが可能となる。ビーコン端末の情報と顔情報が一致したと認識し、顔検知による自動追尾に切り替わると、追跡モードは終了となる。

Ｓ１０７にて位置情報に基づき可動カメラ１における撮像手段２０の撮像方向を向けた後、撮像手段２０により撮影されて画像解析部２１１により解析された人物がビーコン端末情報における顔情報の人物と一致しない状態が一定以上経過すると、追跡するビーコン端末６ａを所持している人物が端末情報の人物と異なることや、誰も所持していない等、引率者が予期しない状態で有ると判断し、可動カメラ１に備えられている通信手段２２によって接続して可動カメラ１を制御しているスマートフォン（不図示）にエラー通知をするようにしても良い。

本実施形態では外部端末のスマートフォンにてビーコン端末を特定する等の可動カメラ１の制御を行っているが、この限りでは無く、移動端末５に操作手段や制御手段を設けてスマートフォンと同等の機能を設けて通信手段５２により無線通信を行い可動カメラ１と接続することで可動カメラ１を制御しても良く、さらには、外部ＰＣ等によりＬＴＥ等の遠隔無線通信機能により制御しても良い。

また、移動端末５は１つとしているが、この限りでなく、複数備えてそれぞれにビーコンを送受信するＢＬＥの機能を供えたり、方位検出手段を備えることで位置情報の精度を高めても良い。

次に実施例１の可動カメラ制御方法を用いた団体管理システムについて説明する。

本実施形態における団体管理システムは、カメラとビーコン端末を利用して被引率者を管理するもので、引率者の業務負担の軽減や管理の徹底を目的としている。

なお、基本的な構成は実施例１の場合と同様であるため、既に使用した符号を用いることにより各構成要素の説明を省略し、以下の構成では主に実施例１との相違点を説明する。

実施例２のシステム構成では、実施例１に対して、移動端末５のみが異なり、移動端末５には撮像装置５５を有するものである。

図６は、実施例１同様に団体が移動する時に想定される配置の一例で、移動端末５に備えている撮像装置５５によって被引率者を撮影している状況を表す、実施例２のシステムにおける構成概略図である。

図６に示すように、引率者Ｂが所持している移動端末５には撮像装置５５が備えられており、被引率者全体を撮影出来るように被引率者側に向けられている。このため、撮像装置５５は広角に特化したカメラであることが好ましい。

図７は実施例２で引率者Ｂが所持している移動端末５の構成を示す実施例２における移動端末ブロック図である。

ＢＬＥ５１は図６に示す可動カメラ１やビーコン端末６と通信を行い、各端末の情報やビーコン信号を送受信して位置情報のやり取りを行う。ＢＬＥ５１で送受信された情報は後述する制御システム５００によって制御され管理される。位置情報はビーコン端末６から送信されるビーコン信号と可動カメラ１から送信されるビーコン信号を受信することで、各ビーコン端末６と可動カメラ１そして、移動端末５の相対的位置をシステム制御演算部２００が演算して把握している。すなわち、引率者Ａと引率者Ｂ、そして各被引率者の相対的位置を把握して管理することが可能となる。

制御システム５００は移動端末５において、システムを統括し制御や演算を行う制御回路であり、演算手段であるＣＰＵやプログラムを格納するメモリ、プログラムの展開領域とデータの記憶領域とを有するメモリ等を備える。

撮像装置５５は撮像手段５５ａと画像処理部５５ｂ、画像解析部５５ｃを備え、画像や動画を撮影し、データ生成を行い制御システム５００に送るカメラ機能を備えた装置となる。撮像手段５５ａはレンズ、自動ズーム、絞りやシャッター速度、撮像センサの感度を最適に設定する自動露出（ＡＥ）、自動焦点調節（ＡＦ）、自動ホワイトバランス（ＡＷＢ）、撮像素子（ＣＣＤやＣＭＯＳイメージセンサ等）、画像処理回路、画像記録回路、画像記録メモリ等の一連の撮影機能を備えている。レンズで取り込んだ光学像を撮像素子で光電変換して画像や動画のデータを生成する。画像処理部５５ｂは撮像手段５５ａの撮像素子で生成された画像や動画データをデジタル情報に変換する処理回路である。画像解析部５５ｃは撮像手段５５ａにより撮影された記録データを解析処理し、撮影された顔、人物情報を入手し、制御システム５００に送ることが可能である。また、設定した人物を捕捉した状態で追尾することが可能である。

実施例２における、可動カメラ１のカメラ制御と移動端末５、そして各ビーコン端末６の制御方法を、図８の人物認証工程フローチャートと図９の管理テーブルの一例を示す図、そして、図２と図６、図７を用いて説明する。

本処理フローは、団体の被引率者を順番に認証し、可動カメラ１によりすべての人物を認証し、さらに被引率者が所持しているビーコン端末６を制御する認証モードのフローである。本実施形態のシステムにおいて認証モードにする設定する手段としては、前述した可動カメラ１に搭載している通信手段２２により、可動カメラ１を外部端末の例えばスマートフォン（不図示）と接続し、スマートフォンのアプリケーションを利用して設定するものとする。本実施形態の認証モードは団体の中にいるすべての被引率者を可動カメラ１により顔認証し、ビーコン端末６のＩＤ情報による顔情報と一致することで、被引率者全員が団体内に存在することを確認するモードである。また、被引率者の顔認証を実施後、認証した人物が所持しているビーコン端末６の電力消費を低減するため、位置情報発信機能をＯＦＦにする等、ビーコン端末６の制御を行うことが可能である。

認証モードが開始されると、可動カメラ１は撮像手段２０で撮影を開始し、可動カメラ１のシステム制御演算部２００がＢＬＥ２１により移動端末５とビーコン端末６のすべての位置情報と各ビーコン端末６のＩＤタグ情報を取得する（Ｓ２０１）。ビーコン端末６にはＩＤタグ情報として装着している人物の人物名、顔情報等個人情報があらかじめ登録されており、可動カメラ１のシステム制御演算部２００がＢＬＥ２１によってビーコン端末６のＩＤタグ情報と位置情報を取得することで、どの人物が所有しているビーコン端末がどの位置にあるか把握することが可能となる。ビーコン端末６のＩＤタグ情報と位置情報を取得すると、可動カメラ１の管理テーブル３００に情報が記載され図９に記す管理テーブル３００の情報が更新される。管理テーブル３００では、ビーコン端末６のＩＤタグ情報として、団体の管理対象でビーコン端末６を所持する人物の指名、顔情報、ビーコン端末識別情報、ビーコン信号の受信状況、ビーコン端末位置情報、認証フラグの情報が記録されており、随時更新される。

Ｓ２０１でビーコン端末６の位置情報とＩＤタグ情報を入手すると、可動カメラ１は撮像手段２０で撮影している顔情報を取得する（Ｓ２０２）。顔情報を取得する際は可動カメラ１の撮像手段２０が顔優先の撮影モードとなり、人物の顔を撮影するためにフォーカス動作や最適な露出を行い、撮影することで顔情報を取得する。取得された情報は可動カメラ１の管理テーブル３００に保管され、ビーコン端末６により取得した個人ＩＤタグ情報と認証情報の管理に利用される。可動カメラ１の撮像手段２０により、撮影されている人物の顔を画像解析部２１１で解析処理し、解析データをシステム制御演算部２００に送信する。そしてシステム制御演算部２００は送信された解析データを管理テーブル２００に保管されている人物の顔情報と照合して、その人物の認証フラグを確認し、既に認証済みか否かを判断する（Ｓ２０３）。解析データと管理テーブル２００を照合し、既に認証済みであればＳ２０９へと進み、解析データがまだ認証済みでなければＳ２０４へ進む。

Ｓ２０３において可動カメラ１で撮影された人物の顔情報が管理テーブル上まだ認証済みではないと判断されると、システム制御演算部２００は撮影されている人物の位置と、ビーコン端末の位置に整合性があるかを確認する（Ｓ２０４）。Ｓ２０１で取得したデータのビーコン端末６位置情報と、可動カメラ１の位置情報から推測される可動カメラ１で撮影された人物の位置を照合し、撮影された人物とビーコン端末６を所持している人物が同一人物であり、整合性があるか確認する。整合性を確認することにより、被引率者が所持しているビーコン端末６がＩＤ情報と同一人物が所持していることを認識する。

システム制御演算部２００は、Ｓ２０４によって可動カメラ１で撮影された人物の顔情報により、顔情報に基づくビーコン端末６の位置情報と、可動カメラ１の位置情報による撮影された人物の位置情報を照合し、整合性があるか否かを判断する（Ｓ２０５）。ビーコン端末６の位置情報と可動カメラ１の撮影による位置情報の整合性があると判断されればＳ２０６へ進む。ビーコン端末６の位置情報と可動カメラ１の撮影による位置情報の整合性がないと判断されればＳ２０１へ戻り再度ビーコン端末６のＩＤタグ情報と位置情報の入手を行う。

Ｓ２０５で、図９で記す３００ａの状態のように、ビーコン端末６の位置情報と可動カメラ１の撮影による位置情報の整合性があると判断されると、システム制御演算部２００は管理テーブル３００の可動カメラ１で撮影された人物の認証フラグをＯＮにして、認証済みと判断する（Ｓ２０６）。Ｓ２０６で可動カメラ１によって撮影された人物認証フラグがＯＮとなると、システム制御演算部２００は可動カメラ１のＢＬＥ２１と移動端末５のＢＬＥ５１による通信を用いて、移動端末５に備えられている制御システム５００に、移動端末５が撮影している人物認証フラグをＯＮにした人物を追尾対象にするように指示をする（Ｓ２０７）。移動端末５の制御システム５００は可動カメラ１のシステム制御演算部２００から通信により該当人物を追尾対象開始の指示を受けて、撮像装置５５の撮像手段５５ａで撮影されて画像解析部５５ｃにより解析して該当人物と判断された人物に対して人物追尾を開始する。移動端末５に備えられている撮像装置５は被引率者や引率者を常時撮影している広角カメラであり、団体全体を撮影範囲としている。

可動カメラ１に備えるシステム制御演算部２００はＳ２０６により人物認証フラグＯＮにした人物の位置情報と、可動カメラ１や移動端末５の位置情報により、移動端末５の撮像装置５５で撮影して、解析された位置情報から人物を特定して追尾対象とする。人物追尾は顔情報だけでなく、位置情報をもとに該当人物を特定し、一度特定した人物はその人物の特徴を記録して撮影中に反映することで常時追尾していく。可動カメラ１の撮像手段２０は常時可動して撮影対象が変わることが想定されているため、可動カメラ１による撮影の人物追尾を常時行うことが困難であるが、移動端末５の撮像装置は固定で団体全体を常時撮影対象としているため、画像解析による人物追尾を常時行うことが可能である。

Ｓ２０７で移動端末５の撮像装置５５により、該当人物の追尾が開始すると、システム制御演算部２００の指示により、可動カメラ１のＢＬＥ２１とビーコン端末６のＢＬＥ５１で通信を行い、Ｓ２０６で管理テーブル３００の認証フラグがＯＮとなった人物が所持しているビーコン端末６の通信強度や通信頻度を低下させて、省電力モードにする（Ｓ２０８）。本実施形態におけるシステムではビーコン端末６が常時位置情報の発信や可動カメラ１や移動端末５等他の通信機器から通信を受信可能にするため通電を行い、ビーコン端末６による管理を行っている。これは、引率者が団体内の被引率者を常時管理できるように可動カメラ１や移動端末５とビーコン端末６を用いて位置を特定したり、ビーコン端末６に指示を出して制御することを可能としている。Ｓ２０７によって、Ｓ２０６の可動カメラ１の撮影による顔情報の管理と、Ｓ２０７の移動端末５に備えられている撮像装置５５による人物追尾により、被引率者が撮影による管理を実施可能となる。このため、ビーコン端末６による管理の重要度が低くなり、ビーコン端末６の通信頻度や通信強度を低下させて、電力の消費量を下げることで、ビーコン端末６の使用時間が増加することになり、ビーコン端末６の不意な電池切れを少なくすることが出来る。Ｓ２０８によりビーコン端末６を省電モードにすると、Ｓ２０１に戻り、再度ビーコン端末６のＩＤタグ情報を取得する。

Ｓ２０３によりシステム制御演算部２００が送信された解析データを管理テーブル２００と照合して、既に認証済みと判断されると、可動カメラ１のシステム制御演算部２００は管理テーブル３００の情報により、管理しているビーコン端末６の中で、他に認証されていないビーコン端末６があるか否かを判断する（Ｓ２０９）。他に認証されている端末があると判断されればＳ２１０に進み、他に認証されていない端末が無いと判断されればＳ２１２へ進む。システム制御演算部２００が管理テーブル３００の情報により、認証されていないビーコン端末６があると判断すると、管理テーブル３００上でビーコン端末６の認証フラグがＯＮになっていないビーコン端末の一つである図９で記す未認証端末３００ｂを選択し、可動カメラ１のＢＬＥ２１によって未認証端末３００ｂのビーコン端末と可動カメラ１と移動端末５の位置情報を取得する（Ｓ２１０）。Ｓ２１０により可動カメラ１と移動端末５とビーコン端末６の未認証端末３００ｂの相対位置が取得出来る。

Ｓ２１０でシステム制御演算部２００が管理テーブル３００において認証フラグがＯＮになっていないビーコン端末の位置情報を取得すると、可動カメラ１のシステム制御演算部２００は可動カメラ１の撮像手段２０の撮像方向を未認証端末３００ｂがある方向へ向けるように制御する。ここでは、システム制御演算部２００が方位検出手段２３を利用して可動カメラ１が向いている絶対方向を取得する。同時に、移動端末５に備えられている制御システム５００は移動端末５に搭載されている方位検出手段５３により、移動端末５が向いている絶対方向を取得し、可動カメラ１と移動端末５と未認証端末３００ｂにおける相対位置情報を用いて演算することで、各々の座標系を算出する。その後、システム制御演算部２００は可動カメラ１の撮像方向検知手段２４により撮像手段２０の撮像方向を検知し、撮像手段２０の撮像方向を未認証端末３００ｂに向けるための可動カメラ１における可動部１１の移動量を算出された座標系を基に演算して可動部１１を制御する（Ｓ２１１）。

システム制御演算部２００が演算結果を基に可動部１１を制御することで、可動カメラ１の可動部１１が稼働し、撮像手段２０の撮像方向が未認証端末３００ｂのある方向へ向けられる。これにより、可動カメラ１の撮像手段２０は未認証端末３００ｂを所持している被引率者を撮影することが可能となる。この時、システム制御演算部２００は可動カメラ１と未認証端末３００ｂの距離も算出しているため、未認証端末３００ｂを所持している人物の顔を撮影する最適な画角となるように可動カメラ１の撮像手段２０のズーム制御や、適正露出となるような制御も行う。

可動カメラ１の撮像手段２０の撮像方向を未認証端末３００ｂへ向けると、Ｓ２０１に戻り再びビーコン端末のＩＤタグ情報取得を実行する。

Ｓ２０９で可動カメラ１のシステム制御演算部２００が管理テーブル３００で管理しているビーコン端末６の中で、認証フラグがＯＮとなっていないビーコン端末６は無いと判断されると、システム制御演算部２００は管理テーブル３００にあるビーコン端末６すべての端末の位置情報により、可動カメラ１の近傍に位置するビーコン端末６情報を取得する（Ｓ２１２）。すなわち、団体の中でも可動カメラ１の引率者に近い団体前方側の被引率者の情報を取得することになる。Ｓ２１２で可動カメラ１の近傍に位置するビーコン端末６の情報を取得すると、システム制御演算部２００は情報を取得したビーコン端末６の通信強度や通信頻度をさらに低下させる。

システム制御演算部２００は撮像手段２０で人物を認識してＳ２０６で管理テーブル３００の認証フラグをＯＮにした人物のビーコン端末６をＳ２０８で省電モードにしている。その後、認証フラグをＯＮにしたビーコン端末６を所持している人物を可動カメラ１で認識しやすい状態である、すなわち可動カメラ１０近傍にあることが確認出来れば位置情報による管理や通信が必要度がさらに下がり、ビーコン端末６を通信することの重要度がさらに低くなるため、より消費電力を低下させることで、ビーコン端末６の駆動時間をより長くすることが可能である。

図８の一連のフローによって、被引率者が所持しているすべてのビーコン端末６を管理テーブル３００上の認証フラグをＯＮにし、省電モードとすることで、本実施形態の処理は終了する。

引率者が所持している可動カメラ１のシステム制御演算部２００が、管理テーブル３００の被引率者が所持しているビーコン端末６すべての認証フラグをＯＮに更新することで、引率者は被引率者全員が管理対象下にいることが確認出来る。且つ、移動端末５の撮像装置５５による常時管理や可動カメラ１による管理が可能な状況であると判断してビーコン端末６の消費電力を制御することでビーコン端末６の駆動時間を長くすることが可能である。

１可動カメラ、５移動端末、６ビーコン端末、１１可動部、
１２固定部、２０撮像手段、２１ＢＬＥ、２２通信手段、
２３方位検出手段、２４撮像方向検知手段、５１ＢＬＥ、
５２通信手段、５３方位検出手段、５５撮像装置、
２００システム制御演算部、２１０画像処理部、
２１１画像解析部、２２０動作制御手段、２２１レンズ駆動部、
２２２レンズ制御部、２２３パン動作駆動部、
２２４パン動作制御部、２２５チルト動作駆動部、
２２６チルト動作制御部、２３０記録部、３００管理テーブル、
５００制御システム

Claims

撮像手段の撮像方向を変更可能な携帯撮像装置と、
位置情報と端末情報を発信する複数の携帯端末と、
移動端末から構成される携帯撮像装置制御システムであり、
前記携帯撮像装置と前記移動端末には、方角を検知する方位検知手段と位置検出手段を備え、
前記携帯撮像装置には、前記位置情報検出手段による位置情報と前記方位検知手段による方角により前記携帯撮像装置と前記移動端末と前記携帯端末の位置を算出する演算手段を備え、
前記携帯撮像装置は前記演算手段による算出結果により、前記撮像手段の移動量を決定し、前記撮像手段の撮像方向を前記携帯端末に向けることを特徴とする撮像管理システム。
前記位置情報検出手段はＢｌｕｅｔｏｏｔｈ規格に基づく通信であり、位置情報の送受信はＢｌｕｅｔｏｏｔｈ規格を用いて行われ、さらに、位置情報はビーコンを用いることを特徴とする請求項１に記載の撮像管理システム。
前記方位検出手段は、地磁気の向きを検出する地磁気センサであることを特徴とする請求項１に記載の撮像管理システム。
前記携帯撮像装置は撮像方向検知手段を備え、前記演算手段は前記撮像方向検知手段による前記撮像装置に対する位置の検知結果に基づき、前記撮像手段の移動量を決定することを特徴とする請求項１に記載の撮像管理システム。
前記撮像手段の撮像方向を前記携帯端末に向けられた後、撮影された人物が前記携帯端末の端末情報における顔情報と一致すると前記演算手段は位置情報による演算を停止し、顔認証による追跡制御に切り替えることを特徴とする請求項１に記載の撮像管理システム。
前記携帯端末は顔認証による追跡制御に切り替えられた後、前記携帯端末の位置情報の発信を停止することを特徴とする請求項１又は請求項５に記載の撮像管理システム。
撮像手段の撮像方向を変更可能な携帯撮像装置と、
位置情報と端末情報を発信する複数の携帯端末と、
移動端末から構成される携帯撮像装置制御システムであり、
前記携帯撮像装置と前記移動端末には、
前記携帯端末の位置情報検出手段と方位検出手段検知手段を備え、
前記携帯撮像装置は、前記携帯端末の端末情報と、
前記携帯端末の位置情報を記録する管理テーブルと前記管理テーブルのデータと前記撮像手段で撮影された顔情報を照合する演算手段を備え、
前記演算手段は前記管理テーブルを参照し、前記撮像手段の撮像方向を変更する制御を行うことを特徴とする撮像管理システム。
前記演算手段は前記管理テーブルのデータと前記撮像手段で撮影された顔情報を照合して合致すると、合致した人物の前記携帯端末の前記管理テーブルのデータを更新し、前記管理テーブルのデータにより、前記携帯端末の電力制御を行うことを特徴とする請求項７に記載の撮像管理システム。
前記演算手段は、前記管理テーブルの情報と前記撮像手段で撮影された顔情報を照合し、すべての携帯端末の顔情報が合致したと判断すると、前記位置情報検出手段により取得した位置情報により、前記携帯撮像装置から各々の前記携帯端末までの距離を判断し、前記携帯撮像装置からの所定距離内の携帯端末の通信機能を制御して消費電力を低下するよう制御することを特徴とする請求項７又は請求項８に記載の撮像管理システム。
前記移動端末は撮像装置を備え、前記演算手段は前記管理テーブルのデータより、顔情報と位置情報を取得し、前記撮像手段で撮影された顔情報を照合して合致すると前記撮像装置に人物認識により追尾するように制御することを特徴とする請求項７乃至請求項９の何れか一項に記載の撮像管理システム。