JP2016127571A - カメラシステム、表示制御装置、表示制御方法、及びプログラム - Google Patents

カメラシステム、表示制御装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
JP2016127571A
JP2016127571A JP2015002525A JP2015002525A JP2016127571A JP 2016127571 A JP2016127571 A JP 2016127571A JP 2015002525 A JP2015002525 A JP 2015002525A JP 2015002525 A JP2015002525 A JP 2015002525A JP 2016127571 A JP2016127571 A JP 2016127571A
Authority
JP
Japan
Prior art keywords
imaging
unit
image
monitoring target
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015002525A
Other languages
English (en)
Inventor
八代 哲
Satoru Yashiro
哲 八代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015002525A priority Critical patent/JP2016127571A/ja
Publication of JP2016127571A publication Critical patent/JP2016127571A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 複数のカメラを用いたカメラシステムにおけるユーザによるモニタリングの負荷を低減する方法を提供する。
【解決手段】 カメラシステム101の監視装置103の操作部110は、撮像画像から監視対象を特定し、画像配置部113は、複数の撮像装置のうち、撮像画像を表示させるべき撮像装置を、当該複数の撮像装置の当該監視対象に対する撮像方向に基づいて決定する。そして、表示部117は、画像配置部113により決定された撮像装置102の撮像画像を表示させる。
【選択図】 図1

Description

本発明は、複数の撮像装置による撮像画像の表示制御方法に関する。
近年、監視カメラは、低価格化、小型化によって普及が進んでおり、店舗においては単位面積当たりの設置台数が増えている。設置台数を増やすことで、死角が削減でき、1つの監視対象を複数の方向から多角的に撮影できるようになる。一方で監視カメラの撮像画像をモニタリングするための監視者の増員はコストがかさんでしまう。そこで、監視者あたりの監視カメラ台数の増加に対応するためのモニタリング方法に関する技術が存在する。
特許文献1は、多数のカメラから選択された所望のカメラの撮像画像を表示させる方法を開示している。ここで示されている方法は、監視者が監視対象を指定すると、指定した対象を撮影するカメラを複数抽出して、選択可能なカメラの位置を示す位置画像と、そのカメラの撮像画像を関連付けて表示するものである。監視者は、表示内容から所望のカメラを選択することができる。
特許4547040号公報
しかしながら、複数のカメラを用いたカメラシステムにおけるユーザによるモニタリングの負荷が高くなる場合が考えられる。
例えば、特許文献1に示されているような方法を用いて選択された撮像装置による撮像画像を表示したとしても、監視したい被写体が表示されるのは、1方向からの撮像画像のみである。ある監視対象に対してある方向から撮像された撮像画像と、別の方向から撮像された撮像画像とを切り替えると、当該切り替えに応じて、ユーザ(監視者)は、撮影空間を頭の中で把握する必要があるため、ユーザの監視負荷が高くなるという課題がある。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、複数のカメラを用いたカメラシステムにおけるユーザによるモニタリングの負荷を低減する方法を提供することである。
本発明の目的を達成するために、本発明の表示制御装置は、以下の構成を備える。すなわち、撮像装置による撮像画像から監視対象を特定する特定手段と、複数の撮像装置のうち、撮像画像を表示させるべき撮像装置を、前記複数の撮像装置の前記監視対象に対する撮像方向に基づいて決定する決定手段と、前記決定された撮像装置の撮像画像を表示させる表示制御手段とを備える。
本発明によれば、監視者による監視対象に対する監視負荷を低減できるようになる。
実施形態に係るカメラシステム101の構成を示すブロック図である。 実施形態に係る撮像装置102のハードウェア構成である。 実施形態に係る監視装置103のハードウェア構成である。 実施形態に係る撮像装置102と監視装置103の接続方法を説明した図である。 実施形態に係る撮像装置102の処理フローを示す図である。 実施形態に係る表示部117の表示画面である。 実施形態に係る制御命令を示す図である。 実施形態に係る監視装置103の「マルチビュー」イベントの処理フローを示す図である。 実施形態に係る撮像部選択部114の処理フローを示す図である。 実施形態に係る表示部117の表示画面である。 実施形態に係る表示部117の表示画面である。 実施形態に係る表示部117の表示画面である。 実施形態に係る操作イベントのデータ例である。 実施形態に係るカメラシステム101の構成を示すブロック図である。 実施形態に係る監視領域の鳥瞰図である。
以下に、実施形態について詳細に説明する。
<第1の実施形態>
図1は、本実施形態に係るカメラシステムの構成を示すブロック図である。図1に示すように、カメラシステム101は、複数の撮像装置102と、1つの監視装置103がネットワーク118により接続されている。ただし、監視装置103が複数存在しても構わない。
撮像装置102のハードウェア構成について、図2を用いて説明する。図2に示されるように、撮像装置102は、CPU201、ROM202、RAM203、2次記憶装置204、画像センサ205、雲台装置206、ネットワークI/F207、バス208から構成される。
CPU201は、ROM202やRAM203に格納されたプログラムに従って命令を実行し、本実施形態に係る各部の処理や制御を行なう。RAM203は、揮発性メモリであり、画像などの一時的なデータを記憶する。ROM202は、不揮発性メモリであり、本実施形態に係るプログラムやその他の制御に必要なプログラムやデータを格納する。
2次記憶装置204は、フラッシュメモリなどの不揮発性の書き換え可能な記憶装置であり、撮像画像や画像処理プログラムや、各種設定内容などを記憶する。これらの情報は、RAM203に転送され、CPU201が当該プログラムの実行等に用いる。
画像センサ205は、レンズユニット等の光学系とCCDイメージセンサなどの撮像素子から構成され、可視光や赤外線の撮像画像をデジタル信号として出力する。雲台装置206は、撮像装置102の位置や光軸の方向を制御する駆動装置である。雲台装置206により、撮像装置102のパン、チルト制御が可能である。なお、撮像装置102は、ズーム制御も可能である。ネットワークI/F207は、デジタルデータの送受信のためのインターフェースであり、インターネットやイントラネットなどのネットワーク118と接続を行うモデムなどである。バス208は、上記で示した各部を接続して相互にデータの入出力を行う。なお、本実施形態の画像には、特に断りがない限り、静止画と動画の両方の概念を適用可能である。
次に、撮像装置102のモジュール構成について図1を用いて説明する。撮像装置102は、撮像部104、被写体検出部105、画像加工部106、姿勢制御部107、および、送受信部108−1から構成される。
撮像部104は、画像センサ205で撮像を実行し、撮像画像を取得する。本実施形態の撮像部104は、毎秒30フレームのRGB画像を撮像画像として取得するものとする。
被写体検出部105は、撮像部104で取得した撮像画像から被写体を検出して当該被写体の位置情報を画像加工部106へ出力する。
画像加工部106は、撮像部104から撮像画像と、被写体検出部105から被写体の検出結果(被写体の位置情報)を取得する。また、画像加工部106は、送受信部108−1が監視装置103から受信した制御命令に基づいて、監視対象の領域の画像をトリミング(切り出し)し、切り出し画像を出力する。
姿勢制御部107は、送受信部108−1が監視装置103から受信した姿勢制御命令に基づいて雲台装置206を駆動し、撮像部104の撮像方向を制御する。なお、姿勢制御部107は、撮像部104のズーム倍率を変更することも可能である。
送受信部108−1は、ネットワークI/F207を介して撮像画像や撮像装置102の状態を監視装置103へ送信すると共に、監視装置103から各種制御命令を受信する。ただし、送受信部108−1は、上記の送受信に限らず、必要に応じて、監視装置103や他の撮像装置102との間で各種情報の送受信を行うことが可能である。本実施形態の送受信部108−1は、撮像部104により得られた撮像画像をH264等の符号化方法で符号化し、符号化データとして監視装置103へ出力する。
監視装置103のハードウェア構成について、図3を用いて説明する。監視装置103のハードウェア構成は、撮像装置102のハードウェア構成に対して画像センサ205と雲台装置206がなく、代わりに入力部301、表示部302がある点が異なる。その他の構成は撮像装置102と同じであり、同じ符号を付けている。ただし、監視装置103が画像センサ205や雲台装置206を備えていてもよく、また、撮像装置102が入力部301や表示部302を備えていてもよい。
入力部301は、監視者(ユーザ)によるキーボードやマウス、タッチパネル等に対する入力を受け付ける。また、表示部302は、画像や設定内容を表示する1つ、または、複数の液晶ディスプレイやプロジェクタ等である。なお、本実施形態の表示部302は、CPU201からの制御により、各種設定内容や画像を表示する。すなわち、本実施形態のCPU201は、表示部302による表示制御を実現する表示制御部として動作する。また、表示部302は、必ずしも監視装置103と一体の装置である必要はなく、監視装置103と表示部302は別々の装置であってもよい。
次に、監視装置103のモジュール構成について図1を用いて説明する。監視装置103は、撮像位置記憶部109、操作部110、画像認識部111、画質補正部112、画像配置部113、表示部117、および、送受信部108−2から構成される。
撮像位置記憶部109は、撮像装置102の設置位置や光軸方向および焦点距離を撮像位置情報として記憶する。設置位置は、緯度、経度、および高度で示される。設置位置は任意の基準点からの相対値でもよい。光軸方向は、所定の基準方向からの角度差(α、β、γ)で示される。すなわち、撮像位置情報には、撮像装置102の撮像方向を示す情報が含まれる。これらのパラメータが変更された場合、変更後のパラメータがリアルタイムで撮像装置102から監視装置103に送信され、撮像位置記憶部109の内容が更新される。なお、撮像位置記憶部109の内容は、ユーザが手動で更新することも可能である。
さらに、監視装置103は、撮像装置102から、現在のパン角度、チルト角度、ズーム倍率に関する情報、及び、撮像装置102のパンの可動範囲、チルトの可動範囲、ズーム倍率の変更可能範囲を取得することが可能である。監視装置103は、これらの情報に基づいて、撮像装置102の現在の撮像範囲のみならず、パン、チルト、ズーム制御をした場合における撮像装置102の撮像可能範囲を特定することも可能である。
操作部110は、監視者(ユーザ)による監視装置103の操作を受け付け、当該操作の内容に応じて、操作信号を画像配置部113と送受信部108−2とのうち少なくともいずれかに出力する。操作部110は、撮像装置102のパン、チルト、ズーム制御のための操作、撮像画像から監視対象の領域を指定するための操作、通常表示モードからマルチビューモードに切り替えるための操作、及び、表示画像の切り替えのための操作を受け付け可能である。
操作部110は、撮像装置102のパン、チルト、ズームのための操作を受け付けると、姿勢制御命令を生成して、送受信部108−2を介して撮像装置102に対して送信する。また、操作部110は、撮像画像から監視対象の領域を指定するための操作を受け付けた場合、画像配置部113に監視対象の領域情報を通知する。
また、操作部110は、監視対象を通常表示モードからマルチビューモードに切り替えるための操作を受け付けた場合、画像配置部113に対してマルチビューモードに切り替える旨を通知する。本実施形態の監視装置103は、通常表示モードとマルチビューモードを切り替え可能である。マルチビューモードとは、特定の監視対象をそれぞれ異なる方向から撮像する複数の撮像装置102の撮像画像を、表示部117に表示させるモードである。
より具体的には、図6に示すように、通常表示モードで撮像装置102の撮像画像を表示しているときにおいて、ユーザが監視対象の領域602を指定し、マルチビューモードを選択すると、例えば、図10のような画像が表示される。図10は、図6で示した撮像画像内に、当該監視対象を別の方向から撮像する撮像装置102の撮像画像の一部が合成されていることを示している。
また、操作部110は、上述のマルチビューモードにおいて表示画像の切り替えのための操作を受け付けた場合、画像配置部113に対して、表示画像の切り替えイベントの発生を通知すると共に、ユーザにより指定された撮像装置102の識別情報を通知する。これらの通知を受けると、画像配置部113は、ユーザによって指定された撮像装置102の撮像画像を中心とした画像を表示部117に表示させる。表示画像の切り替えに関する処理の詳細は後述する。
画像認識部111は、撮像装置102からの撮像画像から、人体などのオブジェクトを検出し、各々のオブジェクトについて評価してオブジェクトの種類や個体を識別し、当該特定された種類や個体、位置、移動速度などの属性を画像配置部113へ出力する。画像認識部111は、複数の画像フレームのそれぞれから検出されたオブジェクトの位置やオブジェクトの特徴量に基づいて、複数のオブジェクトを同一の個体として特定し、対応づけることが可能である。画質補正部112は、撮像装置102から受信した撮像画像に対して明るさ、コントラスト、色相等の画質補正を行い、処理後の画像を画像合成部116へ出力する。
画像配置部113は、表示部117に表示させる画像の配置を決定し、決定した配置に応じて複数の撮像画像を合成して合成画像を生成する。画像配置部113は、撮像部選択部114、表示位置決定部115、画像合成部116、および座標変換部119から構成される。なお、本実施形態では、切り出し画像を表示するための領域を窓という言葉で説明するが、窓に限らない。また、本実施形態の画像配置部113は、監視者(ユーザ)によってマルチビューが選択された場合に、動作する。すなわち、画像配置部113は、前述のマルチビューが選択されている場合において、表示部117に表示される複数の画像の配置を決定する。すなわち、撮像部選択部114は、複数の撮像装置のうち、撮像画像を表示させるべき撮像装置を、当該複数の撮像装置の監視対象に対する撮像方向に基づいて決定する。
撮像部選択部114は、マルチビューモードへの切り替えによって新たに表示される画像を撮像する撮像装置102を選択し、選択された撮像装置102の識別情報を表示位置決定部115に通知する。また、撮像部選択部114は、選択した撮像装置102に対して、撮像画像の一部の切り出しを行わせるためのトリミング命令を送信する。撮像部選択部114による撮像装置102の選択方法の詳細は後述する。
表示位置決定部115は、画像認識部111の出力、および、撮像位置記憶部109からの撮像位置情報に基づいて、表示部117に配置する窓の位置や大きさを決定する。そして、表示位置決定部115は、決定した窓の位置や大きさを示す情報を画像合成部116に通知する。
画像合成部116は、画質補正部112から取得した補正処理済み切り出し画像を、表示位置決定部115から通知された窓の位置やサイズを示す情報に基づいて合成する。さらに、画像合成部116は、合成済み画像に対してマウスカーソルや機能選択等のユーザインタフェースにかかる表示を必要に応じて合成して表示部117に出力する。
座標変換部119は、画像上の座標系から実空間上の座標系への座標変換を行う。座標変換部119は、撮像部選択部114による撮像装置102の選択等のために、各撮像装置102の撮像画像内における人物の位置やサイズ等を、実空間における位置やサイズ等に変換する。座標変換部119の動作の詳細は、後述する。
表示部117は、画像合成部116によって出力された画像を表示する。なお、表示部117による表示は、図3のCPU201による所定のプログラムの実行によって行われる。すなわち、CPU201は、実施形態における表示制御部として動作する。また、表示部117は、必ずしも監視装置103と一体の装置である必要はなく、監視装置103と表示部117は別々の装置であってもよい。
送受信部108−2は、ネットワークI/F207を介して複数の撮像装置102と各種データのやり取りを行う。また、送受信部108−2は、撮像装置102から符号化データを受信した場合、符号化方法に対応する復号化を行って、画像認識部111と画質補正部112へ出力する。
次に、本実施形態に係る撮像装置102の設置例について説明する。図15は、本実施形態のカメラシステムの鳥瞰図の例を示した図である。図15において、1501は、カメラシステムによる監視対象となる全体領域である。また、また、1502−1〜1502−2は、キャビネットなどの遮蔽物である。また、1503−1〜1503−2は、人物である。本実施形態では監視対象となり得るオブジェクトが人物である場合の例を中心として説明する。ただし、監視対象は人物に限らず、例えば、動物や、車など、様々なオブジェクトが想定される。また、1504−1〜1504−15は、天井に設置されたカメラである。
(送受信フロー)
次に、撮像装置102と監視装置103が、ネットワーク118において接続する手順について図4を用いて説明する。図4は、撮像装置102と監視装置103が接続を確立して画像や制御命令を通信するまでの情報通信手順の一例を示す図である。これらの処理は、後述する他のフローチャートで示される手順とは、非同期で実行される。
図4において、撮像装置102は、ステップS401で初期化処理を実行後、接続要求を待つ。一方で監視装置103は、ステップS402で初期化処理を実行後、撮像装置102に対してステップS403で接続要求を行う。接続要求には、ユーザ名やパスワードが含まれる。撮像装置102は、接続要求を受信するとステップS404で接続要求に含まれるユーザ名やパスワードに基づき認証処理を行い、ステップS405で接続許可を行う。その結果、監視装置103側では、ステップS406にて接続の確立が確認される。
ステップS406で接続が確立すると、撮像装置102および監視装置103双方でループに入る(ステップS407)。ループ内で監視装置103がステップS408にて情報送信を行うと、撮像装置102がステップS409にてその情報を受信する。撮像装置102が受信した情報は、RAM203内の受信データバッファに蓄積される。撮像装置102が受信データを処理したらステップS410にて応答送信を行い、監視装置103がステップS411にてその応答を受信する。
ステップS408で監視装置103が撮像装置102に対して送信する情報は、例えば、撮像画像の取得要求や、各種制御命令(監視対象指定命令、姿勢制御命令、トリミング命令等)である。撮像装置102は、ステップS409で撮像画像の取得要求を受信した場合は、ステップS410で監視装置103に対して撮像画像を送信する。また、撮像装置102は、ステップS409で姿勢制御命令を受信した場合は、ステップS410でパン、チルト、ズームの制御が成功したか否かを示す応答を監視装置103に対して送信する。
さらに、撮像装置102は、ステップS409で監視装置103からトリミング命令を受信した場合、トリミング命令で指定された領域を撮像画像から切り出し、ステップS410で切り出し画像を監視装置103に対して送信する。送受信すべきデータが所定時間以上、ない場合には、いったん接続を切り、ステップS403から再度接続が行われる。本実施形態では、通信プロトコルとしてHTTPを用いるが、任意の通信プロトコルを使用してもよい。
次に、撮像装置102の送受信部108−1が制御命令を受信した場合における、撮像装置102の動作について図5のフローチャートを用いて説明する。図5の動作は、撮像装置102のCPU201が、図5の処理に係るプログラムを読み出して実行することにより、実現される。
ステップS501にて撮像装置102の送受信部108−1は、監視装置103から受信した制御命令を読み出す。制御命令は、XMLデータで示され、図7にその一例を示す。
図7において、<device_id>タグ内には、制御命令を発令した装置の識別情報が記述される。当該識別情報は、システム内で一意の値である。
<device_type>タグ内には、制御命令を発令した装置の種別を示しており、制御命令の送信元が撮像装置102か監視装置103かを識別するための値である。
<command>タグ内には、具体的な制御命令とそのパラメータが記述される。<command_type>タグ内には、制御命令の種類を示す情報が記述される。
<command_type>タグ内にMarkTargetと記述されている場合は、当該制御命令が、監視対象指定命令である。本実施形態において監視対象指定命令は、ユーザにより指定された監視対象の領域を撮像装置102に通知し、当該領域内のオブジェクトの移動に応じてパン、チルトを行うことで当該オブジェクトを追尾させるための命令である。
<time_stamp>タグ内には、制御命令が送信された時刻が記述される。
<target>タグ内には、指定された監視対象のパラメータが記述される。<target>タグを複数並べることで、複数の監視対象を指定することができる。
<target_type>タグ内は、監視対象の種類を示す。図7の例は、人物が監視対象として設定されたことを示している。
<target_location>タグ内には、制御命令を送信した時刻における監視対象の実空間上の位置が記述される。図7の例では、緯度、経度、高度により監視対象の位置を示しているが、システム内で共通の決定方法が用いられればどのような方法であってもよい。
<target_size>タグ内には、監視対象の実空間上でのおおよその大きさを示す情報が記述される。図7の例では、<target_size>タグ内に、監視対象の人物の身長が記述される例を示しているが、縦方向の長さのみならず、例えば、幅の情報も格納するようにしても良い。
<target_movement>タグ内には、監視対象が移動している場合に、直近の実空間での移動速度がx、y、z方向で記述される。監視装置103は、移動速度の情報を用いることで、<time_stamp>タグで示された制御命令を発令した時刻と現在時刻の差がある場合に監視対象の現在位置を求めることができる。また、監視装置103は、姿勢制御によって撮像装置102の画角を変更する際、画像の中央に監視対象を置くのではなく、移動方向側をより広く空けた構図になるように姿勢制御させることができる。
<target_id>タグ内には、監視対象を識別するためのシステム内で一意の識別情報が記述される。
ステップS501において制御命令が読みだされると、ステップS502に進み、送受信部108−1は、制御命令が監視対象指定命令であるか否か、すなわち、<command_type>タグ内が、“MarkTarget”であるか否かを判定する。“MarkTarget”の場合は、ステップS503に進み、そうでない場合は、ステップS505に進む。
送受信部108−1は、ステップS505において、制御命令が姿勢制御命令であるか否か、すなわち、<command_type>タグ内が“To”であるか否かを判定する。“To”の場合は、ステップS506に進み、そうでない場合は、ステップS508に進む。
送受信部108−1は、ステップS508において、制御命令が加工命令(トリミング命令)であるか否か、すなわち、<command_type>タグ内が“Trimming”であるか否かを判定する。“Trimming”の場合は、ステップS509に進み、そうでない場合は、S510に進み、その他の制御命令処理を実行して図5の処理を終了する。
制御命令が監視対象指定命令であると判定された場合、被写体検出部105は、ステップS503において、監視対象となる被写体の指定処理を行う。より具体的には、被写体検出部105は、制御命令に記述されている監視対象の実空間上の位置と大きさの情報を取得する。そして、被写体検出部105は、撮像部104による撮像範囲のうち、取得された位置と大きさに対応する領域を特定し、特定された領域の外接矩形の頂点の座標情報(x1,y1,x2,y2)を記憶する。被写体検出部105は、監視対象の実空間上の位置と大きさの情報と、撮像部104の位置と姿勢および、焦点距離の情報から、幾何学的計算を実行することにより求めることができる。
なお、撮像装置102が固定カメラの場合は、撮像部104の設置位置は、撮像位置記憶部109に予め記憶されている位置情報を取得すればよい。また、姿勢は、設置時に撮像位置記憶部109に記憶した基準の光軸方向から、現在のパン、チルトの状態による光軸方向の差から求めることができる。
一方、撮像装置102が移動カメラの場合は、GPS(Grobal Positioning System)によって自身の設置位置を認識することが可能である。屋内の場合には、複数のマーカを配置し、撮像部104による撮像画像から3か所以上のマーカの方向を求めることで幾何学的計算により撮像装置102の設置位置と姿勢を求めることが可能である。
被写体検出部105は、ひとたび画像中の監視対象の位置を特定したら、以降、撮像部104が取得した撮像画像に基づいて監視対象の位置情報を更新する。また、被写体検出部105は、監視対象が撮像部104の画角内に収まるように、姿勢制御部107にパン、チルト、ズームの制御をさせることも可能である。
送受信部108−1は、ステップS504にて、監視対象指定処理結果を監視装置103に対して送信する。撮像部104による撮像画像内に監視対象を含めることができた場合は、正常終了したことを示す処理結果を、制御命令の送信元(監視装置103)に対して送信する。制御命令の送信元は、制御命令に含まれる<device_id>タグ内に記述された識別情報から判別可能である。
一方、送受信部108−1は、撮像部104による撮像画像内に監視対象を含めることができない場合や、近距離過ぎて監視対象の全部を含めることができない場合は、監視装置103に対してエラーを示す処理結果を送信する。
ステップS506では、姿勢制御処理を行う。姿勢制御部107は、<command>タグ内のパラメータから、目標となる光軸の方向(α、γ、β)および焦点距離(f)を取得する。そして姿勢制御部107は、雲台装置206を駆動しパン、チルト制御を行って現在の撮像部104の光軸の方向を目標値に近づけるように制御する。また、姿勢制御部107は、撮像部104のレンズを制御して焦点距離を目標値に近づけるように制御する。なお姿勢制御部107は、監視装置103からの制御命令や監視対象の追尾のために、撮像部104のズーム倍率を制御することも可能である。
送受信部108−1は、ステップS507にて、姿勢制御処理結果を監視装置103に対して送信する。より具体的には、送受信部108−1は、姿勢制御後の光軸の方向および焦点距離を制御命令に送信元に対して送信する。制御命令の送信元は、制御命令に含まれる<device_id>タグ内に記述された識別情報から判別可能である。制御命令の送信元である監視装置103は、制御命令に含まれる光軸の方向の目標値と、撮像装置102から受信した姿勢制御処理結果に含まれる光軸の方向の値とを比較することで、姿勢制御に成功したのか、失敗したのかを判定できる。
画像加工部106は、ステップS509において、画像の加工処理を行う。より具体的には、画像加工部106は、<command>タグ内のパラメータから矩形領域の対頂点(x1,y1,x2,y2)を取得する。そして、画像加工部106は、矩形領域の対頂点を取得したあとに撮像部104によって撮像された撮像画像から、当該矩形領域を切り出し(トリミングを行い)、切り出し画像を送受信部108−1に出力する。画像加工部106によって切り出された切り出し画像は、送受信部108−1によって制御命令の送信元(監視装置103)に対して送信される。矩形領域のトリミング(切り出し)は、監視装置103で行うことも可能であるが、本実施形態のよう撮像装置102がトリミングを行う。このようにすることでネットワークの通信帯域の負荷を減らすことができる。ただし、複数の監視装置103を接続して異なる領域の画像を監視する場合や、撮像画像を監視装置103側で記録し、切り出し画像以外の領域の画像をチェックする可能性がある場合など、監視装置103がトリミングをしたほうが良い場合も考えられる。これらの場合は、トリミングされていない状態の撮像画像を監視装置103が撮像装置102から取得して、監視装置103がトリミングすることが可能である。この場合、画像加工部106が、監視装置103の送受信部108−2から画質補正部112の間に設置させるようにすればよい。
次に、ユーザ操作に応じた処理の詳細を、通常表示モードからマルチビューモードに切り替えられる場合の例を中心として、説明する。マルチビューモードとは、特定の監視対象をそれぞれ異なる方向から撮像する複数の撮像装置102の撮像画像を、表示部117に表示させるためのモードである。
図6は、通常の表示モードにおいて表示部117に表示されている画像を示している。なお、図6の例では、1つの撮像装置102による撮像画像のみが表示されている例を示しているが、複数の撮像装置102による複数の撮像画像を並べて表示されるようにしても良い。
図6において、601は、監視対象を含む撮像画像であり、主画像である。本実施形態において、主画像は、ユーザが監視対象の領域を指定するために用いた撮像画像に対応する画像である。ただし、主画像が別途指定されるようにしてもよい。
602は、ユーザが指定する監視対象の領域である。監視者が入力部301(例えばマウス)でドラッグ操作を行って対頂点を指定することで、水平、垂直な辺を持つ対象範囲の矩形が監視対象の領域602として選択される。
603は、機能メニューであり、主画像601に重畳して表示される。本実施形態では、ユーザが監視対象の領域を選択すると、その付近に機能メニュー603が表示され、監視対象の領域に対する処理を選択できる。ユーザが操作部110で機能メニュー603中の機能を選択すると操作イベントが発生する。
604は、マルチビュー選択領域である。ユーザが操作部110に対する操作によってマルチビュー選択領域604を選択すると、通常表示モードからマルチビューモードへの切り替えが行われる。
605は、ズーム選択領域である。ユーザが操作部110に対する操作によってズーム選択領域605を選択すると、送受信部108−2は、選択領域を拡大するように撮像装置102に対して姿勢制御命令を送信する。マルチビュー選択領域604が選択されるか、他の監視対象の領域が選択されると、機能メニュー603は表示部117から消える。
図13は、ユーザがマルチビューを選択した場合に操作部110から画像配置部113へ出力される操作イベントの記述例を示している。操作イベントはXMLで示される。
図13において、<event_name>タグ内には、操作イベントの名前が記述される。マルチビューモードへの切り替えの場合は、図13に示すように、MultiViewと記述される。
<time_stamp>タグ内には、イベントが発生した日時が記述される。
<target>タグ内には、ユーザ操作の内容が記述される。マルチビューモードへの切り替えの場合は、図13に示すように、ユーザ操作が行われた撮像画像を撮像した撮像装置102の識別情報、ユーザ操作が行われた撮像画像の撮像時刻、及び、ユーザ操作によって指定された監視対象の領域の情報が記述される。
<device_id>タグ内には、ユーザ操作が行われた撮像画像を撮像した撮像装置102の識別情報が記述される。
<media_time>タグ内には、ユーザ操作が行われた撮像画像の撮像時刻が記述される。画像の送受信の際には遅延が生じるため、イベントが発生した時刻(ユーザ操作が入力された時刻)に対して、表示している撮像画像の撮像時刻は、早い時刻となる。
<region>タグ内には、ユーザ操作によって指定された監視対象の領域の情報が記述される。本実施形態では、<region>タグ内には、撮像装置102から受信した撮像画像の左上を原点とする監視対象の領域の左上の座標x、y、及び、幅と高さの数値が記述される。ただし、監視対象の領域の座標x、yは、例えば監視対象の領域の中心位置等を示す座標であっても良い。
次に、操作部110に対するユーザ操作に応じてマルチビューモードに切り替えられたときの画像配置部113が行う処理について図8のフローチャートを用いて説明する。図8の処理は、監視装置103のCPU201が、図8の処理に係るプログラムを読み出して実行することにより、実現される。また、図8の処理は、操作部110を利用したユーザ操作によって、撮像画像から監視対象が指定された状態で、通常表示モードからマルチビューモードに切り替えられるときに実行される。すなわち、操作部110は、撮像画像から監視対象を特定する。なお、本実施形態では、監視対象の領域がユーザによって指定される場合の例を中心に説明しているが、これに限らない。例えば、予め設定された特徴量を持つ人物(領域)を監視対象とすることも可能であるし、予め設定された動作をする人物(領域)を監視対象とすることも可能である。
ステップS801にて撮像部選択部114は、監視対象から撮像装置102への距離に基づいて撮像装置102の絞り込みを行う(第1の絞り込み)。本実施形態において監視対象とは、ユーザによってマルチビューモードが選択されたときに当該ユーザによって指定されている領域である。
ステップS801の処理について詳細に説明する。まず、座標変換部119は、<region>タグ内に記述された監視対象の位置情報(画像内の座標と幅と高さで示される)から、監視対象の実空間上での中心位置と大きさを算出する。当該算出は、監視対象の選択の際に表示されていた撮像画像を撮像した撮像装置102、及び、他の撮像装置102のそれぞれの設置位置と光軸方向、及び焦点距離に関する情報を用いてエピポーラ幾何の演算を実行することによって実現できる。なお、各撮像装置102のそれぞれの設置位置と光軸方向、及び焦点距離に関する情報は、撮像位置記憶部109に記憶されている。
次に、撮像部選択部114は、撮像位置記憶部109から各撮像装置102の設置位置の情報を読みだす。そして、撮像部選択部114は、監視対象に距離が近い方から所定の台数、または、監視対象から所定の距離の範囲内に設置された撮像装置102を選択する。ただし、屋内においては、階数が異なると死角となるので監視対象とは異なる階に存在する撮像装置102は選択しないようにする。なお、監視対象が存在する階と撮像装置102が存在する階が一致するか否かの判定は、高度に関する情報を用いることも可能であるし、各撮像装置102の設置位置の情報として、設置階の情報を設定し、当該情報を用いるようにしてもよい。
また、所定の距離は、個々の撮像装置102の光学性能や解像度に基づいて設定することができる。例えば、最もズームした状態で撮像した際、人物の平均的な高さに相当する長さが20画素未満になる時の人物と撮像装置102の距離を、所定の距離として設定することが可能である。
ステップS802において、撮像部選択部114は、ステップS801で選択された複数の撮像装置102のそれぞれに対して送信するための監視対象指定命令を生成する。撮像部選択部114は、ステップS801で選択された各撮像装置102の撮像画像における監視対象の領域を、主画像601上で選択された監視対象の領域と、画像認識部111による各撮像装置102の撮像画像内のオブジェクト検出結果に基づいて特定する。そして、撮像部選択部114は、特定した監視対象の位置や、移動速度、タイプ、属性、識別番号をそれぞれ<target>タグ内の各タグに記述することで監視対象指定命令を生成する。なお、ステップS802で生成される監視対象指定命令は、図7と同様にXML形式で記述される。ただし命令の記述形式はXMLに限らない。
ステップS802にて監視対象指定命令の生成が完了するとステップS803に進み、撮像部選択部114は、監視対象指定命令を、ステップS801で選択された複数の撮像装置102に対して送受信部108を介して送信する。
監視対象指定命令の送信が完了すると、ステップS804に進み、撮像部選択部114は、各撮像装置102からの処理結果(監視対象指定処理結果)を待つ。例えば、図15の例では、ステップS801で、撮像装置1504−1〜1504−15が選択された場合、各撮像装置1504−1〜1504−15に対して監視対象指定命令が送信される。そして、ステップS804において、撮像部選択部114は、撮像装置1504−3、1504−5、1504−13、1504−15、1504−8、1504−10からは、監視対象が撮像範囲に含まれないことを示す監視対象指定処理結果を受信したものとする。また、撮像部選択部114は、他の撮像装置102からは、監視対象が撮像範囲に含まれることを示す監視対象指定処理結果を受信したものとする。
ステップS802からステップS804の処理によって、撮像部選択部114は、操作部110により指定された監視対象を撮像範囲に含む複数の撮像装置102を特定することができる。ステップS803で監視対象指定命令が送信されたすべての撮像装置102から処理結果を受信するか、ステップS803で監視対象指定命令を送信してから所定時間が経過すると、ステップS805に進む。
ステップS805では、監視対象を撮像範囲に含むことを示す監視対象指定処理結果を出力した撮像装置102から、撮像部選択部114が、さらなる撮像装置102の絞り込みを行う(第2の絞り込み)。すなわち、撮像部選択部114は、監視対象を撮像範囲に含む複数の撮像装置102から、撮像画像を表示すべき複数の撮像装置102を選択する。第2の絞り込みの詳細は、図9を用いて後述する。
第2の絞り込みが完了するとステップS806に進み、表示位置決定部115は、窓位置と窓の大きさを決定する。表示位置決定部115は、監視対象と第1の絞り込みで絞り込まれた撮像装置102の位置関係に基づいて窓位置を決定する。より具体的には、窓は、ユーザにより指定された監視対象を撮像する撮像装置102の撮像方向に応じた位置に配置される。例えば、図10の例では、監視対象の領域1002の左側に、監視対象の領域1002を左側から撮像する撮像装置102の撮像画像の窓領域1003−1が配置される。また、監視対象の領域1002の右側に、監視対象の領域1002を右側から撮像する撮像装置102の撮像画像の窓領域1003−4が配置される。すなわち、ステップS806において、表示位置決定部115は、第2の絞り込みで絞り込まれた複数の撮像装置102の撮像画像の表示の位置関係を、当該複数の撮像装置102と監視対象との位置関係に基づいて決定する。
また、表示位置決定部115は、複数の窓が重ならず、且つ、各窓領域が監視対象の領域と重ならないように各窓領域を配置する。特に、表示位置決定部115は、監視対象を上部から撮像した切り出し画像と、監視対象を背後から撮像した切り出し画像とが重ならないように窓領域を配置する。また、表示位置決定部115は、監視対象の領域1002と窓との表示画面上での距離が、所定距離以下になるように、窓の位置と大きさを決定する。このような構成によれば、監視者による監視負荷をより低減できる。
なお、窓の大きさは、主画像601における監視対象のサイズに基づいて決定される。図10に示されているように、監視対象の領域1002における監視対象の人物1006の大きさと、窓内に表示されている監視対象の人物のサイズは略同一である。このように、本実施形態の表示位置決定部115は、監視対象の人物1006の大きさに基づいて、窓のサイズを決定する。このような構成によれば、監視者による監視負担を低減できる。また、本実施形態の表示位置決定部115は、監視対象の周囲に一定の幅の背景を含めることで、監視対象の大きさや姿勢などが急激に変化しても窓の大きさが頻繁に変化しないようにすることが可能である。
窓の配置とサイズが決定されると、ステップS807に進み、画像合成部116は、画像を合成する。画像合成部116は、主画像に対してステップS806で決定した窓位置に、他の撮像装置102による撮像画像の一部が切り出された切り出し画像を合成することで合成画像を生成する。なお、本実施形態において、主画像は、ユーザが監視対象の指定に用いた画像を撮像する撮像装置102による撮像画像である。また、各々の窓に表示する被写体(監視対象)の明るさ、コントラスト、色相等のばらつきを抑制するため、画質補正部112は、切り出し画像に対して主画像に合わせる補正処理を実行する。ただし、主画像と切り出し画像の明るさ、コントラスト、色相についての平均値を求め、平均値を補正の目標値として主画像と切り出し画像の双方の画質補正が行なわれるようにしても良い。
画像合成部116による合成処理が完了するとステップS808に進み、表示部117がステップS807で合成された画像を表示する。すなわち、表示部117は、第2の絞り込みによって絞り込まれた複数の撮像装置102と監視対象との位置関係に応じて決定されたレイアウトの合成画像を表示する。なお、表示部117は、図10に示すように、監視対象の特定に用いられた撮像画像を撮像する撮像装置102の撮像画像(主画像601)内に、他の撮像装置102の撮像画像から監視対象の領域が切り出された切り出し画像が合成された合成画像を表示させる。
その後も、画像合成部116は、撮像装置102から継続的に受信する撮像画像を同様の方法で合成し、表示部117で表示させる。なお、マルチビューモード中に監視対象が移動する場合、画像認識部111は、監視対象をトラッキングする。そして、撮像部選択部114、及び、表示位置決定部115は、当該トラッキングの結果に基づいて、定期的または、監視対象の移動量に応じてステップS801からステップS806の処理を再実行する。トラッキングは、例えば、監視対象の位置が既知な画像と、新たに撮像された画像の間で、監視対象の画像領域の相関演算を行い、最も高い相関となる位置を新たな監視対象の位置とすればよい。
監視対象の人数が多い場合は、ユーザが監視対象の人物を指定したときに、機能メニュー603を表示せずに当該人物のマルチビュー表示に切り替えると、操作性が向上し、監視者にとって負荷が少ない。
図10は、マルチビューモードにおいて表示部117に表示される画像の例を示している。図10において、1002は、監視対象の領域である。また、1003−1〜1003−4は、窓領域である。1003−1〜1003−4は、それぞれ、撮像装置1504−4、1504−14、1504−7、1504−9の撮像装置102によって撮像された画像が表示される。窓領域に所定の枠を設けることで、主画像ではなく、合成された領域であることが示される。窓領域1003−3は、監視対象が、主画像を撮像する撮像装置102の反対側から撮像された撮像画像である。本実施形態の画像合成部116は、主画像に対応する撮像装置102とは反対の方向から監視対象を撮像した撮像装置102の撮像画像(窓領域1003−3に対応する撮像画像)を左右に反転して主画像に合成する。このような構成により、主画像における監視対象の後ろに鏡を設置したような画像になり、監視者が監視をしやすくなる。1004−1〜1004−4は、関連線である。関連線1004は、窓と監視対象の関係を示すものである。監視対象が複数ある場合に混乱しない効果がある。
1005−1〜1005−4は、カメラアイコンである。本実施形態では、図10のような画像表示が行われているときにユーザによりカメラアイコンが指定されると、当該指定されたカメラアイコンに対応する撮像装置102による撮像画像を主画像とする制御が実行される。カメラアイコンに対する操作時の処理の詳細は、後述する。
次にステップS805における撮像部選択部114の処理の詳細について図9のフローチャートを用いて説明する。図9の処理は、監視装置103のCPU201が、図9の処理に係るプログラムを読み出して実行することにより実現される。
ステップS901において撮像部選択部114は、グループを設定する。本実施形態では、監視対象に対する撮像方向に基づいてグループを設定する。より具体的には、撮像部選択部114は、複数の撮像装置102のそれぞれの撮像位置情報を撮像位置記憶部109から取得し、当該取得された情報と、監視対象の位置とに基づいて複数の撮像装置102をグループに分類する。上述の通り、撮像位置情報には、撮像装置102のそれぞれの撮像方向を示す情報が含まれる。
なお、監視対象に対する撮像方向は、監視対象をどの方向から撮像しているかを示している。監視対象を正面から撮像した画像(図6の601)を基準として考えると、監視対象の右側面±45度、左側面±45度、背面±45度、上部仰角60度から90度の範囲の計4方向の範囲をそれぞれ1つのグループとする。この例では、4つのグループが形成される。ただし、グループの分類方法は、上記の方法に限らない。撮像部選択部114は、第1の絞り込みで絞り込まれた複数の撮像装置102を上記の4つのグループの何れかに分類する。すなわち、撮像部選択部114は、監視対象を撮像範囲に含む複数の撮像装置102を、監視対象に対する撮像方向に基づいて複数のグループに分類する。撮像装置102の分類が完了すると、ステップS902に進み、撮像部選択部114は、各グループに対して、ステップS903からステップS910までの処理を行う。
ステップS903において、撮像部選択部114は、グループ内に撮像装置102が複数存在するか否かを判定する。グループ内に複数の撮像装置102が存在すると判定された場合、撮像装置102を1つに絞り込むため、ステップS905に進む。すなわち、本実施形態の撮像部選択部114は、1グループに複数の撮像装置102が所属している場合、当該複数の撮像装置102のうち1つを選択する。ただし、1グループから選択する撮像装置102の数は、1つに限らず、所定数(例えば2つ)まで選択できるようにしても良い。
グループ内に撮像装置102が1つのみ存在する場合は、その撮像装置102をグループの代表として選択し、次のグループの処理をステップS903から開始する。また、グループ内に撮像装置102が1つも存在しない場合、撮像装置102が無いと判定して、次のグループの処理をステップS903から開始する。すべてのグループについてのステップS903〜S908の処理が完了した場合、ステップS909に進む。
本実施形態では、上述のように、監視対象の正面に対して右側面±45度、左側面±45度、背面±45度、上部仰角60度から90度の範囲の4つのグループが設定される。また、本実施形態では、説明のために、上記の4つのグループをそれぞれ第1のグループ〜第4のグループとして説明する。
ステップS905において、撮像部選択部114は、第1のグループに属する撮像装置102による監視対象に対する撮像方向が、他のグループの撮像装置102の監視対象に対する撮像方向と異なる度合いに関する評価値を決定する(方向評価)。評価値は0から1の間の値となり、評価値が1に近い(他のグループの撮像装置102の監視対象に対する撮像方向と大きく異なっている)ほど、高い評価とする。
本実施形態の撮像部選択部114は、第1のグループに属する撮像装置102の設置位置が、第1のグループの範囲(監視対象の右側面±45度)の中心に位置する場合、当該撮像装置102の評価値を「1」に決定する。また、第1のグループに属する撮像装置102の設置位置が、隣接する他のグループ(例えば第3のグループ)の範囲(監視対象の背面±45度)との境界に位置する場合、当該撮像装置102の評価値を「0」に決定する。すなわち、撮像部選択部114は、撮像装置102の設置位置と、当該撮像装置102が属するグループに対応する監視対象に対する撮像方向とに応じて、当該撮像装置102の評価値を決定する。
なお、評価値の決定方法は上記の方法に限らない。例えば、撮像部選択部114は、各グループに属する撮像装置102の監視対象に対する撮像方向の情報を取得し、他の撮像装置102とは監視対象に対する撮像方向が異なっている撮像装置102の評価値を「1」に設定することが可能である。この場合、「1」に設定された撮像装置102の撮像方向とは異なった撮像方向である撮像装置102ほど、高い評価値になるように、他のグループの撮像装置102の評価値が決定される。
また、隣接するグループに属する撮像装置102が存在しない場合、撮像部選択部114は、当該隣接するグループの範囲との境界部分から監視対象を撮像する撮像装置102の評価値が高くなるように評価値を決定する。撮像部選択部114は、ステップS905において、1つのグループに属する複数の撮像装置102のそれぞれの評価値を決定する。1グループ分の撮像装置102の評価値が決定されると、ステップS906に進む。
次に、撮像部選択部114は、ステップS906において、監視対象の前に遮蔽物が存在して監視対象が死角になっている度合いの評価値を決定する(死角評価)。本実施形態では、監視対象は動体であり、遮蔽物は非動体であると仮定して、監視対象の領域に対する動体領域の面積比に基づいて評価値が決定される。撮像部選択部114は、監視対象の領域を所定サイズで分割し、各分割領域の画素値がフレーム間で変化している場合に、当該分割領域が動体であると判定する。すなわち、撮像部選択部114は、1グループに複数の撮像装置102が属する場合、当該複数の撮像装置102のそれぞれの撮像画像内に含まれる監視対象の領域が他の物体によって遮蔽されている度合いに基づいて、撮像装置102を選択する。
ただし、動体領域の判定方法は上記の方法に限らず、例えば、予め通常時の画像を記録しておき、現在の画像の画素値と通常時の画像の画素値を比較して、差分が一定値以上の場合に、その画素を動体領域と判定するようにしてもよい。また、画像認識部111が各動体の移動方向を認識し、監視対象とは別の動体が監視対象の前を横切る場合は、死角になっていると判定されるようにしてもよい。
評価値は、0から1の間の値となり、評価値が1に近い(監視対象の領域が遮蔽物により遮蔽されていない)ほど、高い評価であるとする。例えば、撮像装置1504−1、1504−2、1504−11、1504−12は、監視対象の手前に遮蔽物1502−1及び1502−2が存在するため監視対象が死角になり、評価値は0となる。
次に、撮像部選択部114は、ステップS907において、監視領域の画質の評価値を決定する(画質評価)。評価値は、0から1の間の値となり、評価値が1に近い(画質が高く評価されている)ほど、高い評価であるとする。本実施形態の撮像部選択部114は、監視対象の解像度に従って画質の評価値を決定する。撮像部選択部114は、監視対象の領域の解像度が高いほど高い評価値を与える。ただし、表示部117による表示画面の解像度より撮像画像の解像度が高くても監視者にとっては無意味なので、表示部117の解像度と同じ場合に評価値1が与えられ、それより高くても同じ評価値が与えられるようにする。すなわち、本実施形態の撮像部選択部114は、1グループに複数の撮像装置102が属する場合、当該グループ内の複数の撮像装置102のそれぞれの監視対象の領域の解像度に基づいて、撮像装置102を選択する。
なお、画質の評価値の決定方法は解像度による方法に限らない。撮像部選択部114は、例えば、解像度の評価値のほかに合焦度や階調性などに基づいて評価値を決定し、それぞれの評価値に対して所定の重み係数を設定して重みづけ和によって画質の評価値を決定することも可能である。
合焦度による評価値は、撮像装置102が監視対象に合焦している度合いを評価するための評価値である。たとえば、ソベルフィルタで画像に畳みこみ演算を行ってエッジを検出し、監視領域のエッジの絶対値の最大値が大きいほど高い評価値を与えるようにすることが可能である。
階調性による評価値は、撮像画像の色のバリエーションの度合いを評価するための評価値である。簡単には監視領域の撮像画像の画素値の最大値と最小値の差が大きいほど高い評価値を与えるようにすることが可能である。また、監視対象の領域の各画素について、画素値毎の出現頻度を求め、頻度が0以外の画素値の数が大きいほど、高い評価値を与えるようにすることも可能である。
撮像部選択部114は、ステップS909において、グループの代表として1つの撮像装置102を選択する。グループ内に撮像装置102が複数ある場合は、方向評価、遮蔽評価および画質評価で得られた各評価値を、所定の重みづけをした上で統合し、得られた評価値が高い撮像装置102を1つ選択する。撮像部選択部114は、選択した撮像装置102に対するトリミング命令を生成して、当該選択された撮像装置102に対して送信する。すなわち、撮像部選択部114は、特定した監視対象の領域を撮像範囲に含む複数の撮像装置102(第1の絞り込みで絞り込まれた撮像装置)のうち少なくとも1つに対して、監視対象の領域を撮像画像から切り出すためのトリミング命令を送信する。そして、表示部117は、トリミング命令に応じて撮像装置102で切り出された監視対象の領域の画像(切り出し画像)を表示させる。
なお、撮像装置102の選択方法は上記の方法に限らず、例えば、遮蔽評価で最下位の撮像装置102を候補から除外し、残った撮像装置102に対して画質評価を行うなど、設置状況に応じたルールで撮像装置102の選択が行われるようにすると良い。また、ステップS905における撮像方向による評価は、隣のグループの代表によって評価値が変わりうるので、グループ全体で評価値が高くなるように、ステップS901からステップS910を繰り返し行うようにすることも可能である。
以上説明したように、本実施形態の撮像部選択部114は、監視対象の領域から所定距離内に存在する複数の撮像装置102のうち、監視対象を撮像範囲に含めることができる撮像装置102を特定する。また、撮像部選択部114は、監視対象に対する撮像方向(監視対象をどの方向から撮像しているか)に応じて、特定した撮像装置102を複数のグループに分類する。そして、撮像部選択部114は、特定した複数の撮像装置102のそれぞれの方向評価、遮蔽評価、画質評価を実行し、その結果に基づいて各グループの代表となる撮像装置102を決定し、代表となる撮像装置102に対してトリミング命令を出力する。トリミング命令を受信した撮像装置102は、撮像画像から、監視対象の領域を切り出し、切り出し画像を監視装置103に対して送信する。監視装置103は、図10に示すように、主画像(ユーザが監視対象の指定に用いた画像を撮像する撮像装置102による撮像画像)に、切り出し画像を合成して表示する。上記のような構成により、ユーザ(監視者)は、監視対象を1画面で様々な方向から見ることができるので、監視のための負荷を低減することができるようになる。
次に「画像の切り替え」イベントについて説明する。このイベントは、図10の表示例において、監視者が入力部301からカメラアイコン1005を選択することで発生する。カメラアイコン1005は、その画像を撮像した撮像装置102の識別情報と対応付けられており、ユーザが指示したカメラアイコンに対応する撮像装置102の識別情報が画像配置部113に出力される。すなわち、表示部117は、監視対象の特定に用いられた撮像画像を撮像した撮像装置102による撮像画像(主画像)に、他の撮像装置102による撮像画像の切り出し画像を合成して表示する場合において、切り出し画像に対応するアイコンをさらに表示する。
画像配置部113は、画像の切り替えイベントが発生すると、ユーザによって指定された撮像装置102の撮像画像が主画像となるように、表示画像の配置を変更する。例えば、図10においてカメラアイコン1005−4がユーザによって指示された場合、窓領域1003−4を撮像する撮像装置102の撮像画像が主画像として表示される。主画像の切り替え後の表示部117の表示例を図11に示す。ユーザによって指示された撮像装置102が撮像する監視対象の領域(1003−4)が、主画像として表示される。
すなわち、画像配置部113は、ユーザに指定されたアイコンに対応する撮像装置102による撮像画像に、他の撮像装置102による撮像画像の切り出し画像を合成して表示する。画像配置部113の表示位置決定部115は、画像の切り替えイベントによって窓の大きさと監視対象の位置が変化する場合、一定の時間をかけて段階的に変化させるように窓領域の位置やサイズを決定する。こうすることで、監視者は、監視対象を見失うことなく画像の切り替えをすることができるので、監視者の負荷を減らすことができる。
なお、本実施形態は、種々の変形をすることが可能である。例えば、窓領域は、必ずしも主画像601の内側に配置する必要はない。たとえば表示位置決定部115は、マルチ画面上に窓を配置し、画像合成部116は、関連線1004の代わりにマーカによって同一の監視対象であることを関連付けることも可能である。この場合の表示部117に表示される画面の例を図12に示す。図12において、1201−1〜1201−6は、監視対象を示すマーカである。
監視対象が複数ある場合には、マーカの形状や色、番号、氏名などの識別文字が異なるマーカを定義して監視対象を識別できるようにすることが可能である。例えば、複数の監視対象のうち第1の監視対象に対しては、赤色のマーカを各窓に付し、第2の監視対象に対しては青色のマーカを各窓に付すことが可能である。マーカの形状や番号、指名などについても同様である。
また、ステップS901では、監視対象に対する撮像方向のみでグループを設定する例を説明したが、例えば、監視対象の人物の全身と、頭部のズームアップ画像をそれぞれ別の窓に表示するように、撮像方向と解像度の組み合わせによってグループを設定してもよい。その場合、表示位置決定部115は、ステップS806において、解像度のグループ別に異なる基準で窓の大きさを決定することができる。
また、ステップS903において、グループに属する撮像装置102がない場合、撮像部選択部114は、撮像装置102の撮像範囲に監視対象を含めるように姿勢制御命令を送信することが可能である。すなわち、撮像部選択部114は、監視対象を所定の方向から撮像する撮像装置102が存在しない場合、撮像装置102の撮像方向を変更するための制御を行なう。撮像装置102は、他の監視装置103と接続されていない場合など、他の優先する命令がない場合は、監視装置103からの姿勢制御命令に応じた姿勢制御を行う。撮像装置102は、姿勢制御命令に応じた姿勢制御をした後、姿勢制御の送信元である監視装置103に対して、姿勢制御の成功を通知する。一方、撮像装置102は、他に優先する命令がある場合(姿勢制御が不可能である場合)は、姿勢制御命令の送信元である監視装置103に対して、姿勢制御の失敗を通知する。監視装置103は、姿勢制御命令に応じて姿勢制御可能な撮像装置102の画像のみでマルチビュー表示をすればよい。ただし、姿勢制御に関する処理は必須ではない。
また、ステップS503において、被写体検出部105は、撮像画像から人物がいるか否かを検出することも可能である。例えば、被写体検出部105は、所定の大きさの検出ウィンドウを撮像画像上で走査させ、検出ウィンドウ内の画像を切り出した切り出し画像に対してパターン画像のマッチングを図ることにより、切り出し画像内に人物が存在するか否かを判定できる。
被写体検出部105が撮像画像から人物を検出し、操作部110で人物を監視対象として指定すれば、監視対象の領域を指定するよりも、特定の人物を監視対象に設定することが容易になる。
また、姿勢制御部107は、パン、チルト、ズームの他に、移動手段や、潜水手段、浮遊手段を有して撮像部104を所望の位置へ移動する様に構成してもよい。また、姿勢制御部107は、ステップS905からステップS907において、評価値を最大化する撮像部の位置を求め、目標に向かって移動する様に制御してもよい。
<第2の実施形態>
次に、第2の実施形態について説明する。第1の実施形態では、監視装置103からのトリミング命令に応じて、撮像装置102が、監視対象の領域の画像を撮像画像から切り出す例について説明したが、本実施形態では、監視装置103が切り出しを行う例を説明する。本実施形態は、撮像装置102による撮像画像が録画済みの状況で、当該録画済み画像の表示を通常表示モードからマルチビューモードに切り替える場合に、特に好適な構成である。
図14は、本実施形態に係るカメラシステムの構成を示すブロック図である。第1の実施形態との差は、第1の実施形態の撮像装置102に画像記憶部120が追加されている。また、画像加工部106は、監視装置203側に含まれている。すなわち、第2の実施形態では、監視対象の領域を撮像範囲に含む複数の撮像装置202のうち少なくとも一部の撮像装置202から撮像画像を取得した監視装置203が、撮像画像から監視対象の領域を切り出して表示部117に表示させる。このような構成により、例えば、複数の監視装置203が存在し、それぞれが異なる監視対象の領域を設定した場合において、撮像装置202は、複数の監視装置203に撮像画像を送信すればよいので負荷を低減できる。その他の構成は、第1の実施形態と同じであり、同じ符号を付与している。
撮像装置202の画像記憶部120は、不揮発性メモリ等の媒体にH.264等の符号化方法で符号化された符号化データを記憶する。また、画像記憶部120は、撮像部104の位置情報や姿勢情報、焦点距離情報をメタ情報として画像と合わせて符号化、復号化を行う。監視装置203は、各撮像装置202に対して撮像時刻を指定して画像の再生命令を送信する。各撮像装置202は、再生命令を受信すると画像記憶部120から画像を読み出して監視装置203へ送信する。監視装置203の送受信部108−2は、この画像を受信し、画質補正部112を介して画像加工部106に入力する。画像加工部106は、第1の実施形態と同様の方法にて撮像部選択部114により選択された撮像装置202の撮像画像に対してトリミングを行い、切り出し画像を得る。そして、画像合成部116は、主画像に対して切り出し画像を合成して、合成画像を生成し、生成された合成画像を表示部117に出力する。このような構成により、記録画像の再生でもリアルタイム画像と同様にマルチビュー表示が可能である。
本実施形態では、画像記憶部120が撮像装置202に備わる例を中心に説明したが、監視装置203が画像記憶部120を有するようにしても、ネットワーク118を介して独立した記憶装置が画像記憶部120を有するようにしてもよい。監視装置203や記憶装置が画像記憶部120を有するようにした場合は、監視装置203及び記憶装置の送受信部108において受信された符号化データは、復号化せずに画像記憶部120に記憶させ、再生時に適宜復号化すればよい。
以上、人物を監視する場合の例について説明したが、本実施形態の構成は、スポーツビジョンシステム等のほかのカメラシステムに適用することも可能である。スポーツの分野に本実施形態のマルチビューモードを適用すれば、各種のスポーツ競技においてプレイヤを複数の方向から同時に確認できる。これにより、たとえば、サッカーにおけるファウルの判断など、即座にルール違反を確認することができる。また、医療やコンサート等におけるカメラシステムにも本実施形態の構成は適用可能である。このように上述の実施形態の構成は、さまざまな画像処理システムに広く適用可能である。
また、上記の実施形態では、複数の撮像装置102による複数の撮像画像を同時に表示させる場合の例を中心に説明したが、例えば、1つの撮像画像を切り替えて表示することも可能である。この場合、主画像の表示中に、監視対象が特定されたあと、ユーザ操作によって「右」が指示された場合、主画像を撮像する撮像装置102から監視対象の方向を基準として、監視対象を右側から撮像する撮像装置102による撮像画像に表示を切り替えるようにすることが可能である。また、例えば、ユーザ操作によって「後ろ」が指示された場合、主画像を撮像する撮像装置102から監視対象の方向を基準として、監視対象を後ろから撮像する撮像装置102による撮像画像に表示を切り替えるようにすることが可能である。
すなわち、監視装置103は、複数の撮像装置102のうち、撮像画像を表示させるべき撮像装置102を、前記複数の撮像装置の前記監視対象に対する撮像方向と、ユーザ操作の内容に応じて選択する。このような構成であっても、ユーザ(監視者)の直感的な操作によって監視対象を複数の方向から監視できるので、監視者による監視対象の監視負荷を低減できる。 また、上記の実施形態では、複数の撮像装置102のそれぞれの撮像位置情報と、監視対象の位置とに基づいて、撮像画像を表示させるべき撮像装置を決定する例を中心に説明したが、この方法に限らない。例えば、指定された監視対象の位置に対して、予め紐づけられた1又は複数の撮像装置102が、撮像画像を表示させるべき撮像装置として決定されるような構成も可能である。この構成を実現する場合、監視装置103の撮像位置記憶部109は、監視対象として指定可能な範囲内の各位置と、撮像装置102の識別情報とを対応づけた対応情報を記憶する。なお、対応情報は、予めユーザが設定することも可能であるし、監視装置103の撮像位置記憶部109に記憶される撮像位置情報に基づいて算出することも可能である。
そして、監視装置103の撮像部選択部114は、当該対応情報と、監視対象の位置情報を取得し、これら2つの情報に基づいて、撮像画像を表示すべき撮像装置102を決定する。このような構成によれば、監視装置103は、監視対象を指定してから撮像画像を表示させるべき撮像装置102を決定するまでの処理負荷および処理時間を低減できる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 カメラシステム
102 撮像装置
103 監視装置
104 撮像部
105 被写体検出部
106 画像加工部
107 姿勢制御部
108−1、108−2 送受信部
109 撮像位置記憶部
110 操作部
111 画像認識部
112 画質補正部
113 画像配置部
114 撮像部選択部
115 表示位置決定部
116 画像合成部
117 表示部
118 ネットワーク
119 座標変換部

Claims (16)

  1. 複数の撮像装置のうち少なくとも1つによる撮像画像から監視対象を特定する特定手段と、
    前記複数の撮像装置のうち、撮像画像を表示させるべき撮像装置を、前記複数の撮像装置の前記監視対象に対する撮像方向に基づいて決定する決定手段と、
    前記決定された撮像装置の撮像画像を表示手段に表示させる表示制御手段とを備えることを特徴とする表示制御装置。
  2. 前記表示制御手段は、前記監視対象の特定に用いられた前記撮像画像を撮像する撮像装置による撮像画像内に、前記複数の撮像装置のうち他の撮像装置による撮像画像から前記監視対象の領域が切り出された切り出し画像を合成して前記表示手段に表示させることを特徴とする請求項1に記載の表示制御装置。
  3. 前記特定手段により特定された前記監視対象を撮像範囲に含む前記複数の撮像装置のうち少なくとも一部に対して、前記監視対象の領域を撮像画像から切り出すためのトリミング命令を送信する送信手段を有し、
    前記表示制御手段は、前記トリミング命令に応じて撮像装置において切り出された切り出し画像を前記撮像画像として前記表示手段に表示させることを特徴とする請求項1又は2に記載の表示制御装置。
  4. 前記特定手段により特定された前記監視対象を撮像範囲に含む前記複数の撮像装置のうち少なくとも一部から取得した撮像画像から、前記監視対象の領域を切り出す切り出し手段を有し、
    前記表示制御手段は、前記切り出し手段により切り出された切り出し画像を前記撮像画像として前記表示手段に表示させることを特徴とする請求項1又は2に記載の表示制御装置。
  5. 前記決定手段は、
    前記監視対象を撮像範囲に含む前記複数の撮像装置を、前記監視対象に対する撮像方向に基づいて複数のグループに分類する分類手段を有し、
    前記複数のグループのそれぞれから所定数の撮像装置を決定することを特徴とする請求項1乃至4のうち、何れか1項に記載の表示制御装置。
  6. 前記決定手段は、1グループに複数の撮像装置が属する場合、当該グループ内の複数の撮像装置のそれぞれの撮像画像内に含まれる監視対象の領域が他の物体によって遮蔽されている度合いに基づいて、撮像装置を決定することを特徴とする請求項5に記載の表示制御装置。
  7. 前記決定手段は、1グループに複数の撮像装置が属する場合、当該グループ内の複数の撮像装置のそれぞれの監視対象の領域における解像度に基づいて、撮像装置を決定することを特徴とする請求項5に記載の表示制御装置。
  8. 前記監視対象を所定の方向から撮像する撮像装置が存在しない場合、撮像装置の撮像方向を変更するための制御を行なう制御手段をさらに備えることを特徴とする請求項1乃至7のうち、何れか1項に記載の表示制御装置。
  9. 前記表示制御手段は、前記監視対象の特定に用いられた前記撮像画像を撮像する撮像装置による撮像画像に、前記複数の撮像装置のうち他の撮像装置による撮像画像から前記監視対象の領域が切り出された切り出し画像を合成して前記表示手段に表示させる場合において、前記切り出し画像に対応するアイコンをさらに表示させ、
    前記アイコンに対する所定のユーザ操作に応じて、前記所定のユーザ操作がなされたアイコンに対応する切り出し画像を撮像する撮像装置の撮像画像に、前記複数の撮像装置のうち他の撮像装置による撮像画像から前記監視対象の領域が切り出された切り出し画像が合成して表示されるように、表示制御を実行することを特徴とする請求項1乃至8のうち、何れか1項に記載の表示制御装置。
  10. 前記複数の撮像装置のそれぞれの撮像方向を示す情報を取得する取得手段を有し、
    前記決定手段は、前記取得手段により取得された前記複数の撮像装置のそれぞれの撮像方向と、前記特定手段により特定された前記監視対象の位置とに基づいて、前記複数の撮像装置のうち、撮像画像を表示させる撮像装置を決定することを特徴とする請求項1乃至9のうち、何れか1項に記載の表示制御装置。
  11. 前記監視対象として指定可能な範囲内の位置と、撮像装置の識別情報とを対応付けた対応情報を取得する取得手段を有し、
    前記決定手段は、前記取得手段により取得された前記対応情報と、前記特定手段により特定された前記監視対象の位置とに基づいて、前記複数の撮像装置のうち、撮像画像を表示させる撮像装置を決定することを特徴とする請求項1乃至9のうち、何れか1項に記載の表示制御装置。
  12. 複数の撮像装置のうち少なくとも1つによる撮像画像から監視対象を特定する特定工程と、
    前記複数の撮像装置のうち、撮像画像を表示させるべき撮像装置を、前記複数の撮像装置の前記監視対象に対する撮像方向に基づいて決定する決定工程と、
    前記決定された撮像装置の撮像画像を表示手段に表示させる表示制御工程とを備えることを特徴とする表示制御方法。
  13. 前記表示制御工程は、前記監視対象の特定に用いられた前記撮像画像を撮像する撮像装置による撮像画像内に、前記複数の撮像装置のうち他の撮像装置による撮像画像から前記監視対象の領域が切り出された切り出し画像を合成して前記表示手段に表示させることを特徴とする請求項12に記載の表示制御方法。
  14. 前記決定工程は、
    前記監視対象を撮像範囲に含む前記複数の撮像装置を、前記監視対象に対する撮像方向に基づいて複数のグループに分類する分類工程を有し、
    前記複数のグループのそれぞれから所定数の撮像装置を決定することを特徴とする請求項12又は13に記載の表示制御方法。
  15. コンピュータに請求項1乃至11のうち、何れか1項に記載の表示制御装置として動作させるためのプログラム。
  16. 複数の撮像装置と表示制御装置とが接続されたカメラシステムであって、
    前記表示制御装置は、
    前記複数の撮像装置のうち少なくとも1つによる撮像画像から監視対象を特定する特定手段と、
    前記複数の撮像装置のうち、撮像画像を表示させるべき撮像装置を、前記複数の撮像装置の前記監視対象に対する撮像方向に基づいて決定する決定手段と、
    前記決定された撮像装置の撮像画像を表示手段に表示させる表示制御手段とを備えることを特徴とするカメラシステム。
JP2015002525A 2015-01-08 2015-01-08 カメラシステム、表示制御装置、表示制御方法、及びプログラム Pending JP2016127571A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015002525A JP2016127571A (ja) 2015-01-08 2015-01-08 カメラシステム、表示制御装置、表示制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015002525A JP2016127571A (ja) 2015-01-08 2015-01-08 カメラシステム、表示制御装置、表示制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016127571A true JP2016127571A (ja) 2016-07-11

Family

ID=56359875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015002525A Pending JP2016127571A (ja) 2015-01-08 2015-01-08 カメラシステム、表示制御装置、表示制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2016127571A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062262A (ja) * 2017-09-25 2019-04-18 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、およびそれらの制御方法、プログラム
US10893207B2 (en) 2017-12-19 2021-01-12 Fujitsu Limited Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program
JP2021507637A (ja) * 2017-12-20 2021-02-22 日本テキサス・インスツルメンツ合同会社 マルチカメラ画像処理
JP2022509582A (ja) * 2018-11-27 2022-01-21 アンドゥリル・インダストリーズ・インコーポレーテッド 連携仮想インターフェース
JP7058806B1 (ja) * 2021-02-22 2022-04-22 三菱電機株式会社 映像監視装置、映像監視システム、映像監視方法、及び映像監視プログラム
US11328404B2 (en) 2018-07-31 2022-05-10 Nec Corporation Evaluation apparatus, evaluation method, and non-transitory storage medium
JP7303147B2 (ja) 2020-03-31 2023-07-04 セコム株式会社 カメラ配置評価装置、カメラ配置評価方法、及びカメラ配置評価プログラム
WO2023153117A1 (ja) * 2022-02-08 2023-08-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
KR102617213B1 (ko) * 2022-06-29 2023-12-27 주식회사 쓰리아이 소프트웨어 기반의 객체 트래킹 제공 방법 및 그를 위한 컴퓨팅 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062262A (ja) * 2017-09-25 2019-04-18 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、およびそれらの制御方法、プログラム
US10893207B2 (en) 2017-12-19 2021-01-12 Fujitsu Limited Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program
JP2021507637A (ja) * 2017-12-20 2021-02-22 日本テキサス・インスツルメンツ合同会社 マルチカメラ画像処理
JP7318953B2 (ja) 2017-12-20 2023-08-01 テキサス インスツルメンツ インコーポレイテッド マルチカメラ画像処理
US11328404B2 (en) 2018-07-31 2022-05-10 Nec Corporation Evaluation apparatus, evaluation method, and non-transitory storage medium
JP2022509582A (ja) * 2018-11-27 2022-01-21 アンドゥリル・インダストリーズ・インコーポレーテッド 連携仮想インターフェース
JP7432595B2 (ja) 2018-11-27 2024-02-16 アンドゥリル・インダストリーズ・インコーポレーテッド 連携仮想インターフェース
JP7303147B2 (ja) 2020-03-31 2023-07-04 セコム株式会社 カメラ配置評価装置、カメラ配置評価方法、及びカメラ配置評価プログラム
JP7058806B1 (ja) * 2021-02-22 2022-04-22 三菱電機株式会社 映像監視装置、映像監視システム、映像監視方法、及び映像監視プログラム
WO2022176189A1 (ja) * 2021-02-22 2022-08-25 三菱電機株式会社 映像監視装置、映像監視システム、映像監視方法、及び映像監視プログラム
WO2023153117A1 (ja) * 2022-02-08 2023-08-17 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
KR102617213B1 (ko) * 2022-06-29 2023-12-27 주식회사 쓰리아이 소프트웨어 기반의 객체 트래킹 제공 방법 및 그를 위한 컴퓨팅 장치

Similar Documents

Publication Publication Date Title
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP6587113B2 (ja) 画像処理装置及び画像処理方法
CN109104561B (zh) 用于追踪场景中的移动对象的系统及方法
JP6924079B2 (ja) 情報処理装置及び方法及びプログラム
JP4790613B2 (ja) カメラ制御装置およびこの装置におけるズーム倍率制御方法
US9786144B2 (en) Image processing device and method, image processing system, and image processing program
US8711218B2 (en) Continuous geospatial tracking system and method
JP2006523043A (ja) 監視を行なう方法及びシステム
JP6622650B2 (ja) 情報処理装置及びその制御方法、撮影システム
WO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
JP2006033380A (ja) 監視システム
JP2005135014A (ja) 物体検出装置
TW201722145A (zh) 具攝影機自動調派功能之3d影像監控系統及其監控方法
JP4572190B2 (ja) 物体検出装置
KR101619956B1 (ko) 감시카메라용 자동 다중 추적 영상처리장치
US20230129908A1 (en) Method and system for transmitting a video stream
US20180095347A1 (en) Information processing device, method of information processing, program, and image display system
KR101619953B1 (ko) 감시카메라용 자동 다중 추적 영상처리방법
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
KR20170055455A (ko) 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템 및 그가 적용된 tvi 장치
KR20110079953A (ko) 감시 영역 설정을 통한 객체 감시 방법 및 장치
WO2017094241A1 (en) Display processing apparatus, display processing method, and computer-readable medium for executing display processing method