JP2021064871A - 情報処理装置および情報処理方法 - Google Patents

Abstract

【課題】要約映像を効率良く生成することができる情報処理装置を提供すること。【解決手段】映像の中で検知された対象物の出現順序を変更することにより、要約映像を生成する情報処理装置であって、複数の撮像アングルで撮像部が撮像した映像を取得する第１の取得手段と、前記第１の取得手段が取得した映像のうち、背景画像が類似する撮像区間の映像を複数抽出する抽出手段と、前記抽出手段が抽出した複数の撮像区間の映像を用いて１つの要約映像を生成する生成手段と、を備える。【選択図】図５

Description

本発明は、情報処理装置および情報処理方法に関する。

近年、街頭、店舗、ビル、工場内などの監視を目的として、ネットワークカメラが利用されている。ネットワークカメラの例として、レンズおよび鏡筒部がカメラ本体と一体化され、レンズおよび鏡筒部がパン、チルトおよびズーム動作可能な機構を有するものがある。

監視カメラが撮像した映像に要約処理を実施し、数時間に及ぶ映像を数分から数十分に凝縮する技術が特許文献１に記載されている。特許文献１の要約処理では、まず、対象となる映像から背景画像を認識する。次に、背景画像に対して、映像内を動く物体をオブジェクトとして認識する。要約映像では、背景画像に対してオブジェクトを敷き詰めて再生する。要約処理された映像を確認することで、利用者は短時間でネットワークカメラが撮像した映像を目視で確認することができる。特許文献１の監視カメラは撮像範囲（撮像アングル）を固定している状態で撮像した映像を要約するものである。

特許第４９７２０９５号

しかしながら、特許文献１では撮像範囲（撮像アングル）を固定している状態で撮像した映像を要約するので、撮像範囲が変化したならば、当該変化後の撮像範囲で撮像を行って、映像を要約することになる。そして、撮像範囲が元の撮像範囲に戻ってきた場合には、新たな要約映像を生成することになる。従って、同じ撮像範囲の映像について、複数の要約映像を生成することになる。

本発明は、上記した問題点に鑑みてなされたものであり、要約映像を効率良く生成することができる情報処理装置を提供することを目的とする。

上記目的を達成するための本発明の１つの態様に係る情報処理装置は、映像の中で検知された対象物の出現順序を変更することにより、要約映像を生成する情報処理装置であって、複数の撮像アングルで撮像部が撮像した映像を取得する第１の取得手段と、前記第１の取得手段が取得した映像のうち、背景画像が類似する撮像区間の映像を複数抽出する抽出手段と、前記抽出手段が抽出した複数の撮像区間の映像を用いて１つの要約映像を生成する生成手段と、を備える。

本発明によれば、要約映像を効率良く生成することができる。

本発明の実施形態に係る撮像システム構成の一例を示す図。 図１の撮像装置とクライアント装置の構成を示す図。 本発明の実施形態に係る要約処理の処理構成の一例を示す図。 本発明の実施形態に係る要約処理の処理手順の一例を示すフローチャート。 本発明の実施形態に係る要約処理の処理概要の一例を示す図。

以下、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。

図１は、本発明の実施形態に係る撮像システム１０の構成の一例を示す図である。図１に示すように、撮像システム１０は、撮像装置２０、サーバ３０、クライアント装置４０および表示装置５０を有している。撮像装置２０はサーバ３０にネットワーク６０ａを介して接続されている。サーバ３０はクライアント装置４０にネットワーク６０ｂを介して接続されている。クライアント装置４０は表示装置５０にネットワーク６０ｃを介して接続されている。各ネットワーク６０ａ、６０ｂ、６０ｃは、有線でも無線でもよい。

撮像装置２０は、例えば、パン動作、チルト動作およびズーム動作ができるネットワークカメラである。パン動作、チルト動作およびズーム動作は、まとめて「パン・チルト・ズーム」と称する場合がある。クライアント装置４０は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンである。表示装置５０は、例えば、液晶ディスプレイである。
なお、図１の撮像システム１０において、１台の撮像装置２０がサーバ３０に接続されているが、複数の撮像装置がサーバ３０に接続されてもよい。

図２（ａ）は撮像装置２０の構成の一例を示し、図２（ｂ）はクライアント装置４０の構成の一例を示している。
図２（ａ）に示すように、撮像装置２０は、被写体（オブジェクト）を撮像する撮像部２１と、撮像部２１に対する合焦制御、ズーム制御、露出制御、パン制御およびチルト制御が可能な撮像系制御部２２とを有する。また、撮像装置２０は、撮像部２１が生成した映像（動画）に対して所定の画像処理を行い、その後、例えばＪＰＥＧやＨ．２６４、Ｈ．２６５といった映像ファイルを生成する画像処理部２３を有する。更に、撮像装置２０は、ネットワーク６０ａおよび６０ｂを介して、クライアント装置４０との通信を司る通信部２４を有する。クライアント装置４０のユーザは、クライアント装置４０を操作することにより、撮像装置２０にデータ、信号（制御信号を含む）等を送ることができる。撮像装置２０は、クライアント装置４０から撮像装置２０に送信される制御信号に基づいて操作される。

また、撮像装置２０は、制御部２５、メタデータ生成部２６および記憶部２７を有する。制御部２５は、例えば、１つまたは複数のプロセッサ（例えば、ＣＰＵやＭＰＵ）により構成される。制御部２５は、撮像装置２０全体の動作を制御する。また、制御部２５は、所定の解析処理を行うことや、通知情報を生成することもできる。メタデータ生成部２６は、撮像部２１が生成した映像のメタデータを生成する。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｒｃｏｐｒｏｓｅｓｓｏｒ Ｕｎｉｔの略である。

記憶部２７は、撮像部２１が撮像した映像を記憶する。記憶部２７は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリまたは着脱可能なＳＤカードなどの記憶媒体により構成される。記憶部２７は、制御部２５が実行するプログラムの格納領域、プログラム実行中のワーク領域等として使用され得る。記憶部２７は、撮像装置２０の撮像方向を制御するための制御パラメータ等を記憶することもできる。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

撮像装置２０は、撮像装置２０の撮像方向に関する情報、撮像装置２０の設定情報、撮像装置２０が行った解析結果（解析情報）、撮像装置２０が生成した通知情報を、映像ファイルと共に生成し、通信部を介してメタデータとして送信してもよい。
サーバ３０は、撮像装置２０と、ネットワーク６０ａを介して接続され、撮像装置２０が出力する映像および付随するメタデータを受信して保存する。また、サーバ３０は、ネットワーク６０ａおよび６０ｂを介して、クライアント装置４０からの制御信号を撮像装置２０に送信する。

図２（ｂ）に示すように、クライアント装置４０は、制御部４１と通信部４２と記憶部４３と操作部４４と出力部４５を有する。クライアント装置４０の通信部４２は、サーバ３０とネットワーク６０ｂを介して接続され、制御部４１の制御の下、サーバ３０内の映像と、必要に応じて付随するメタデータとを読み出す。クライアント装置４０は、撮像装置２０から取得した映像（情報）を処理する装置であるので、情報処理装置と称してもよい。
制御部４１は、例えば、１つまたは複数のプロセッサ（例えば、ＣＰＵやＭＰＵ）により構成される。制御部４１は、サーバ３０から読み出した映像を表示装置５０に表示させることができる。また、制御部４１は、サーバ３０から読み出した映像の記憶部４３に記憶する。制御部４１は、記憶部４３から映像を適宜読み出して、要約処理を行い、その結果（要約映像）を表示装置５０に表示させることもできる。制御部４１は、記憶部４３に記憶されているプログラムに基づいて、要約処理等の処理を行う。

記憶部４３は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリまたは着脱可能なＳＤカードなどの記憶媒体により構成される。記憶部４３は、各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくために使用される。例えば、撮像装置２０から送信されてくる映像を記憶することが可能である。また、記憶部４３は、各種パラメータや、制御部４１が実行するプログラムの格納領域等として使用され得る。

操作部４４は、キーボードやマウスなどにより構成されている。クライアント装置４０のユーザは、操作部４４を操作することにより、データ、信号等を入力し、通信部４２を介して撮像装置２０に向けて送信する。また、クライアント装置４０のユーザは、操作部４４を操作することにより、クライアント装置４０が要約処理する対象となる映像を指定することができる。操作部４４は入力部と称してもよい。出力部４５は、例えば、音声等を出力する。

図３は、クライアント装置４０が実行する要約処理を説明するための図であり、クライアント装置４０の機能構成の一例を示している。
クライアント装置４０は、映像取得部２００、アングル情報取得部２０１，映像情報保持部２０２，背景画像抽出部２０３、背景画像保持部２０４、背景画像認識部２０５、映像結合部２０６および要約映像生成部２０７を有している。

映像取得部２００は、ユーザが指定した要約対象となる映像をサーバ３０から読み出すことにより、要約対象となる映像を取得する。また、映像取得部２００は、要約対象となる映像をサーバ３０から読み出す際に、付随するメタデータが存在する場合は、当該メタデータも読み出す。
アングル情報取得部２０１は、映像取得部２００が取得した映像に付随するメタデータから、映像内で撮像アングルの切り替えが発生しているか否かを判定する。例えば、アングル情報取得部２０１は、要約対象となる映像に付随するメタデータから撮像アングルに係るパン、チルトおよびズームの情報を取得し、当該情報に基づいて撮像アングルの切り替えが発生しているかを判定する。

映像情報保持部２０２は、アングル情報取得部２０１が取得したメタデータに、撮像アングルに係るパン、チルトおよびズームの情報が含まれていた場合に、要約対象となる映像に対して同一撮像アングルとなる期間（撮像区間）の情報を保持する。

背景画像抽出部２０３は、映像情報保持部２０２が同一撮像アングル期間の情報を保持している場合は、同一撮像アングル期間内に対して背景画像を抽出する。映像情報保持部２０２に同一撮像アングル期間の情報がない撮像区間については、背景画像抽出部２０３は、要約対象となる映像から同一撮像アングル期間を抽出し、背景画像を抽出する。背景画像や同一撮像アングル期間の抽出は、背景差分やフレーム間差分などの既存の手法を用いて行う。

背景画像保持部２０４は、背景画像抽出部２０３が抽出した背景画像と、背景画像が固定されている期間とを保持する。
背景画像認識部２０５は、背景画像保持部２０４が保持する各背景画像の比較を行い、背景画像間の類似性（ここで「類似」は同一の場合を含む）を判断する。背景画像間の比較方法に関しては、テンプレートマッチング、特徴点のマッチング、色ヒストグラムなどの既存のマッチング手法を用いる。
映像結合部２０６は、背景画像認識部２０５により背景画像の類似性が認められた撮像区間の映像を、要約処理の為に結合する。

要約映像生成部２０７は、映像結合部２０６により結合された（集結された）要約用の映像に要約処理を実施する（要約映像を生成する）。映像結合部２０６により結合された要約用の映像が複数ある場合は、要約用の映像毎に要約処理を実施する。要約処理は既存の要約処理手法を用いる。また、要約映像生成部２０７は、オブジェクト同士の外観特徴や動作特徴の類似性（「類似」は同一の場合を含む）を判定する機能も備えている。要約映像生成部２０７は、例えば、人物再同定（Ｐｅｒｓｏｎ Ｒｅ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）や個人認証といった手法により、オブジェクト同士の類似性を判定する。要約映像生成部２０７は、要約映像を生成する際に、要約対象の映像から、背景画像を抽出し、前景をオブジェクトとして抽出し、背景画像に対してオブジェクトを背景画像に敷き詰める。その際、オブジェクトが重ならないようにする。また、同一時刻に複数個所に同一のオブジェクトを表示しないようにする。
要約映像生成部２０７は、すべての動作軌跡の間で最も衝突が少なく、再生時間が短くなるように、要約映像における各動作軌跡の開始時刻を求める。

ここで、対象物の動作軌跡間の衝突について説明する。要約映像生成部２０７は、以下の式（１）を用いて、対象物ｉ，ｊ間の衝突コストＣｏｌ_ｉｊ（ｋ）を算出する。ただし、ｋは対象物ｉ，ｊの開始時刻（要約映像中に出現する時刻）の時間差であり、ｘ_ｔ ^ｉ，ｙ_ｔ ^ｉはそれぞれ時刻ｔにおける対象物ｉの中心のｘ座標及びｙ座標であり、ｒ_ｔ ^ｉは時刻ｔにおける対象物ｉの半径である。また、Ｔ_ｉｊ（ｋ）は、開始時刻の時間差がｋであるとしたときに、対象物ｉ，ｊの両方の動作軌跡が映像中に現れる期間を表している。さらに、式（１）の右辺の絶対値記号内側の数式は、対象物ｉ，ｊの中心間の距離が半径の合計よりも小さいときに衝突ありを示す相対的に大きな値となり、それ以外のときに衝突なしを示す相対的に小さな値となる数式を表している。したがって、衝突コストＣｏｌ_ｉｊ（ｋ）は、値が大きいほど、対象物ｉ，ｊが衝突するフレームの数が多いことを表す。

要約映像生成部２０７は、対象物の全ての組み合わせにおいて衝突コストＣｏｌ_ｉｊ（ｋ）が最小になる開始時刻を求めるために、シミュレーテッドアニーリング法を用いる。シミュレーテッドアニーリング法によれば、範囲制約のある非線形問題を効率的に計算することができる。
したがって、要約映像生成部２０７は、シミュレーテッドアニーリング法を用いて各対象物の開始時刻を求めることにより、要約映像における最適な各対象物の開始時刻を求めることができる。要約映像生成部２０７は、このようにして元映像に対して対象物の空間的な位置を維持しつつ、出現開始順序を変更することで要約映像を生成する。具体的には、背景画像の上に元映像から画素マスクを用いて切り出した対象物の画像を、算出した開始時刻に基づいて張り付けていくことによって、要約映像が生成される。本実施形態では、以下に説明するように、各アングルについてこの要約映像がそれぞれ生成されることになる。

図４は、本実施形態に係る要約処理の処理手順の一例を示すフローチャートである。図４のフローチャートの説明においては、図１、図３および図５を適宜参照する。ＳはＳｔｅｐの略である。
本実施形態では、撮像装置２０は所定時間（所定期間）毎に撮像アングルを変えるようにプリセット巡回設定されているとする。プリセット巡回とは、予め決められた撮像アングルで予め決められた時間だけ撮像することを、予め決められた順番で巡回する（周期的に変化する）ように行うことを意味する。例えば、撮像装置２０は、撮像アングルＡで固定されて第１の所定時間だけ撮像し、その後、撮像アングルを変えて撮像アングルＢで固定されて第２の所定時間だけ撮像し、その後、撮像アングルを変えて撮像アングルＣで固定されて第３の所定時間だけ撮像する。撮像アングルＣでの撮像時間（第３の所定時間）が終わると、撮像アングルＡに戻る。撮像アングルＡに戻ったら、再び、撮像アングルＡ→Ｂ→Ｃの順で、撮像アングルを順次変えて行く。以下の説明において、撮像アングルＡ、Ｂ、Ｃは、撮像アングルの種類と称する場合がある。なお、撮像装置２０は、プリセット巡回設定が設定されていても、途中で（例えば、ユーザからの指示により）、別の撮像アングルで撮像することもできるとする。

Ｓ３００において、映像取得部２００は、サーバ３０に格納されている映像および付随するメタデータを読み出す（取得する）。図５（Ａ）は、取得した映像を表している。図５（Ａ）に示すように、Ｓ３００の時点では、取得した映像が、どのような撮像アングルで撮像された映像なのかは分からない。
Ｓ３０１において、アングル情報取得部２０１は、Ｓ３００で読み出したメタデータから、プリセット巡回設定に関する情報があるかを判定する。Ｓ３０１の判定結果がＹｅｓの場合、Ｓ３０２に進む。

Ｓ３０２において、アングル情報取得部２０１は、メタデータ内のプリセット巡回設定に関する情報に基づいて、撮像アングルの種類と、当該撮像アングルが固定される期間を取得する。本実施形態では、図５（Ｂ）に示すように、アングル情報取得部２０１は、メタデータを取得することにより、３種類の撮像アングルＡ、ＢおよびＣを取得する。アングル情報取得部２０１は、取得した撮像アングルの種類と撮像アングルが固定される期間に関する情報を映像情報保持部２０２に格納する。本実施形態では、図５（Ｂ）に示すように、撮像アングルＡで第１所定時間Ｔ１だけ固定されて撮像を行い、撮像アングルＢで第２所定時間Ｔ２だけ固定されて撮像を行い、撮像アングルＣで第３所定時間Ｔ３だけ固定されて撮像を行う。Ｔ１とＴ２の間のＱ１は、撮像アングルＡから撮像アングルＢに移行するための時間である。Ｔ２とＴ３の間のＱ２は、撮像アングルＢから撮像アングルＣに移行するための時間である。Ｔ３とＴ１の間のＱ３は、撮像アングルＣから撮像アングルＡに移行するための時間である。

背景画像抽出部２０３は、映像情報保持部２０２に格納された撮像アングルの種類と、撮像アングルが固定されている期間に関する情報に基づいて、背景画像を抽出する。背景画像抽出部２０３は抽出した背景画像を、撮像アングルの種類毎に背景画像保持部２０４に格納する。この格納の際、背景画像抽出部２０３は、背景画像を、当該背景画像が固定されている期間に紐づけて格納する。図５（Ｂ）から分かるように、背景画像抽出部２０３は、撮像アングルＡ、Ｂ、Ｃについて、背景画像が類似する撮像区間の映像を複数抽出している。また、背景画像抽出部２０３は、撮像アングルＡと時間Ｔ１を紐づけて格納し、撮像アングルＢと時間Ｔ２を紐づけて格納し、撮像アングルＣと時間Ｔ３を紐づけて格納する。

一方、Ｓ３０１の判定結果がＮｏの場合、つまり、メタデータがない場合、または、メタデータ内にプリセット巡回設定に関する情報がない場合は、Ｓ３０３に進む。
Ｓ３０３において、アングル情報取得部２０１は、Ｓ３００で取得したメタデータに基づいて、プリセット巡回設定で設定された撮像アングルＡ〜Ｃ以外で撮像装置２０がパン、チルト、ズームを行ったかを判定する。本実施形態では、図５（Ｃ）に示すように、アングル情報取得部２０１は、メタデータに基づいて、新たな撮像アングルＡ’とＤで撮像が行われていたと判定したとする。つまり、クライアント装置のユーザ４０が、２回目の撮像アングルＢの後に撮像アングルＡ’での撮像を指示し、２回目の撮像アングルＣの後に撮像アングルＤでの撮像を指示したとする。撮像アングルＡ’での撮像を指示は、２回目の撮像アングルＢとＣの間に撮像アングルＡ’での撮像を割り込ませる指示であると考えてもよい。撮像アングルＡ’は撮像アングルＡとほぼ同一の撮像アングルであるとする。Ｓ３０３の判定結果がＹｅｓの場合、Ｓ３０４に進む。Ｓ３０３の判定結果がＮｏの場合、Ｓ３０５に進む。

Ｓ３０４において、アングル情報取得部２０１は、メタデータ内のパン、チルト、ズームに関する情報に基づいて、撮像アングルの種類（撮像アングルＡ’、Ｄ）と、撮像アングルＡ’、Ｄが固定される期間Ｔ４、Ｔ５を取得する。アングル情報取得部２０１は、取得した撮像アングルＡ’、Ｄと当該撮像アングルが固定される期間Ｔ４、Ｔ５に関する情報を映像情報保持部２０２に格納する。Ｔ２とＴ４の間のＱ４は、撮像アングルＢから撮像アングルＡ’に移行するための時間である。Ｔ４とＴ３の間のＱ５は、撮像アングルＡ’から撮像アングルＣに移行するための時間である。Ｔ３とＴ５の間のＱ６は、撮像アングルＣが撮像アングルＤに移行するための時間である。

背景画像抽出部２０３は、映像情報保持部２０２に格納された撮像アングルの種類（撮像アングルＡ’、Ｄ）と、撮像アングルが固定されている期間（Ｔ４、Ｔ５）に関する情報をもとに、背景画像を抽出する。背景画像抽出部２０３は抽出した背景画像を、撮像アングルの種類ごとに背景画像保持部２０４に格納する。この格納の際、背景画像と、当該背景画像が固定されている期間（Ｔ４、Ｔ５）と紐づけて格納する。

Ｓ３０５において、背景画像抽出部２０３は、要約対象となる映像内でＳ３０２、Ｓ３０４で処理がされていない撮像区間において、パン、チルト、ズームしている映像以外の、撮像アングルが固定されている撮像区間（期間）がないかを確認する。これは、例えば、ユーザが、図５（Ｃ）の１回目のＣの後に、撮像アングルＡで撮像するように撮像装置２０に指示を出した場合である。この場合、背景画像抽出部２０３は、撮像アングルが固定されている撮像区間の背景画像を抽出し、背景画像保持部２０４に当該背景画像が固定されている期間と紐づけて格納する。

Ｓ３０６において、背景画像認識部２０５は、背景画像保持部２０４に格納されている背景画像が二つ以上あるかを判定する。Ｓ３０６の判定結果がＹｅｓの場合、Ｓ３０７に進む。Ｓ３０６の判定結果がＮｏの場合、つまり、背景画像保持部２０４に格納されている背景画像が一つの場合、Ｓ３０８に進む。

Ｓ３０７において、背景画像認識部２０５は、背景画像保持部２０４に格納されている複数の背景画像を比較する。具体的には、背景画像認識部２０５は、まず、Ｓ３０２、Ｓ３０４で背景画像保持部２０４に格納された背景画像のアングル情報を比較し、類似撮像アングルがあるかを確認する。背景画像認識部２０５は、類似撮像アングル（同一撮像アングルを含む）があるかを確認することで、プリセット巡回の撮像アングルとパン、チルト、ズームを任意に操作した撮像アングルと間で類似した撮像アングルがないかを調べる（判断する）。
類似撮像アングルがあると判断した場合、背景画像認識部２０５は、類似撮像アングルごとに撮像アングルが固定されている期間に関する情報をまとめる。本実施形態の背景画像認識部２０５は、パンやチルトの位置再現性を考慮して、例えば各撮像アングルのパン、チルトの位置の差が一度以内であれば同一撮像アングル（類似撮像アングル）であると認識する。つまり、所定の角度範囲内ならば、撮像アングルからずれていても、同一の撮像アングルとして取り扱い、これを「類似撮像アングル」としている。

図５（Ｄ）に示すように、背景画像認識部２０５は、背景画像のアングル情報を比較した結果、４つの類似撮像アングルのグループを作る。第１のグループは、撮像アングルＡを２区間含み、且つ、撮像アングルＡ’を１区間含む。第２のグループは、撮像アングルＢを２区間含む。第３のグループは、撮像アングルＣを２区間含む。第４のグループは、撮像アングルＤを１区間含む。各グループは、類似撮像アングルのグループである。

背景画像認識部２０５は、次に、アングル情報がない背景画像を含めて、類似した背景画像があるかを判断する。背景画像認識部２０５は、類似した背景画像があると判断した場合、類似した背景画像ごとに撮像アングルが固定されている期間に関する情報をまとめる。

Ｓ３０７において、映像結合部２０６は、背景画像認識部２０５がまとめた類似した背景の撮像アングルの固定期間をもとに要約処理ができるよう、要約対象の映像から類似アングル毎の映像期間をまとめる。つまり、図５（Ｄ）に示すように、映像結合部２０６は、要約処理の為に撮像アングルＡ、Ａ’の映像期間を１つにまとめ（Ｔ_Ａ）、撮像アングルＢの映像期間を１つにまとめ（Ｔ_Ｂ）、撮像アングルＣの映像期間を１つにまとめる（Ｔ_Ｃ）。撮像アングルＤの映像期間は１つしかないので、そのままである（Ｔ_Ｄ）。

Ｓ３０８において、要約映像生成部２０７は、映像結合部２０６がまとめた映像期間（Ｔ_Ａ、Ｔ_Ｂ、Ｔ_Ｃ、Ｔ_Ｄ）ごとに要約映像を生成する。具体的には、図５（Ｅ）に示すように、要約映像生成部２０７は、映像結合部２０６がまとめた４つの映像期間Ｔ_Ａ、Ｔ_Ｂ、Ｔ_Ｃ、Ｔ_Ｄについて、それぞれ要約処理を実施し、要約映像（要約Ａ、Ｂ、Ｃ、Ｄ）を生成する。
なお、映像結合部２０６に要約対象の映像から類似撮像アングル毎の映像期間をまとめた情報がない場合、すなわち、要約対象の映像内で撮像アングルが変わらない場合、通常の要約処理を実施する。

Ｓ３０８において要約映像生成部２０７が要約映像を生成する際に、同一撮像アングル内で、かつ、異なる映像期間内に同一のオブジェクトが存在する場合がある。この場合、要約映像生成部２０７は、要約映像を生成する処理として、前景をオブジェクトとして認識する。要約映像生成部２０７は、撮像アングルが切り替わる直前に撮像されているオブジェクトと、同一の撮像アングルに戻った直後のオブジェクトとの類似性（同一性）を判定する。要約映像生成部２０７は、同一の撮像アングルの前後で同一のオブジェクトがあると判定した場合、要約映像内に当該オブジェクトを同時には表示させない（同一時刻に同一のオブジェクトが現れないようにする）。例えば、同一のオブジェクトは、要約映像内において時系列で表示させる。

なお、オブジェクトを時系列で表示させると、撮像アングルの切り替わりのタイミングで、要約映像内においてオブジェクトが瞬時に移動する（例えば、位置Ｐ１から位置Ｐ２へ瞬時に移動する）ことが考えられる。オブジェクトが瞬時に移動することを回避するために、要約映像生成部２０７は、要約処理時に撮像アングルが切り替わる直前のオブジェクトの画像を、所定時間（例えば、１秒）かけて、撮像アングルが切り替わった直後の位置までスライドさせて表示させる。つまり、オブジェクトの画像は位置Ｐ１から位置Ｐ２まで、所定時間でスライド（移動）するように表示する。このように、本実施形態では、要約映像において撮像アングルの切り替わりのタイミングでオブジェクトの移動が所定速度以上にならないように要約映像を生成する。要約映像においてオブジェクトの移動が所定速度以上にならないようにするために、例えば、要約映像においてオブジェクトが所定速度未満で移動する映像を追加する。オブジェクトをスライドさせて表示させることで、同一オブジェクトではあるが、撮像された時刻が異なる旨を映像内で明示することができる。

Ｓ３０９において、要約映像生成部２０７は、生成した要約映像が複数あるかを判定する。Ｓ３０９の判定結果がＹｅｓの場合、Ｓ３１０に進む。
Ｓ３１０おいて、要約映像生成部２０７は、複数の要約映像を一つの要約映像ファイルとなるよう、複数の要約映像を結合する。具体的には、図５（Ｆ）に示すように、４つの要約映像（要約Ａ、Ｂ、Ｃ、Ｄ）を結合して、一つの要約映像ファイルを生成する。
Ｓ３０９の判定結果がＮｏの場合、つまり、要約映像生成部２０７が生成した要約映像が一つしかない場合（例えば、要約Ａのみの場合）、処理を終了する。

本実施形態によれば、複数の撮像アングルで撮像装置２０が撮像した映像を要約する撮像システム１０において、撮像アングル毎に（背景画像毎に）要約処理を実施する。つまり、本実施形態では、要約映像を生成する際に、背景画像の類似性を判定し、背景画像が類似した映像をまとめて要約画像を生成する。よって、視認性の良い要約映像を生成することができる。撮像装置２０がパン、チルト、ズーム動作が可能なネットワークカメラである場合においても、要約映像では背景画像毎にオブジェクトを表示させることができる。
本実施形態では、背景画像が一致する映像をまとめて一つの要約映像としている。従って、撮像アングルが変わる度に要約映像を作成する場合（例えば、図５（Ｂ）の２つのＡについて２つの要約映像を生成する場合）と比較して、圧縮率の高い要約映像を作成することができる。

なお、図２（ａ）に示した撮像装置２０の構成は一例であり、機能モジュール（例えば、２２、２３、２６）の一部はハードウェアによって実現されてもよい。また、図３に示したクライアント装置４０の機能構成も一例であり、機能モジュール（２００〜２０７）の一部はハードウェアによって実現されてもよい。ハードウェアにより実現される場合、例えば、所定のコンパイラを用いることで、各機能モジュールの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。また、図２（ａ）および図３に示した機能モジュールの構成は一例であり、複数の機能モジュールが１つの機能モジュールを構成するようにしてもよいし、いずれかの機能モジュールが複数の機能を行うモジュールに分かれてもよい。

撮像装置２０およびクライアント装置４０は、図２および図３に示した以外の要素を含んでもよい。例えば、撮像装置２０は表示部や操作部を有してもよい。
撮像装置２０はネットワークカメラに限定されない。撮像装置２０は、撮像を行う機能と、撮像により取得した映像を送信する機能を有する装置であればよい。
上記した実施形態では、表示装置５０がクライアント装置４０と別々に示されているが、表示装置５０をクライアント装置４０に組み込んでもよい。表示装置５０がクライアント装置に一体化される場合は、表示装置５０は、例えば、出力部４５に組み込まれ、出力部４５が表示機能付きの出力部になる。
撮像装置２０はサーバ３０を介してクライアント装置４０に接続されているが、サーバ３０を介さずにクライアント装置４０に接続されてもよい。
また、クライアント装置４０の一部もしくは全部を撮像装置２０に組み込んでもよい。例えば、撮像装置２０の中に、クライアント装置４０の要約映像生成機能等を組み込み、撮像装置２０が図５（Ｆ）のような要約映像を生成するようにしてもよい。この場合、撮像装置２０が生成した要約映像を、例えば、表示装置５０に送信して表示させる。

撮像装置２０がプリセット巡回設定でのみ動作する場合には、図３のＳ３０１、Ｓ３０３、Ｓ３０４およびＳ３０５は省略してよい。
上記した実施形態では、撮像アングルＡ、Ｂ、ＣおよびＤの映像の全てについて要約映像を生成したが、特定の撮像アングル（例えば、撮像アングルＡ）のみについて要約映像を生成するようにしてもよい。あるいは、撮像アングルＡ〜Ｄのうち、特定のオブジェクトが映っている撮像アングルの映像だけについて要約映像を生成してもよい。

２０：撮像装置、３０：サーバ、４０：クライアント装置、４１：制御部、５０：表示装置、２００：映像取得部、２０１：アングル情報取得部、２０３：背景画像抽出部、２０５：背景画像認識部、２０６：映像結合部、２０７：要約映像生成部

Claims (12)

1. 映像の中で検知された対象物の出現順序を変更することにより、要約映像を生成する情報処理装置において、
   複数の撮像アングルで撮像部が撮像した映像を取得する第１の取得手段と、
   前記第１の取得手段が取得した映像のうち、背景画像が類似する撮像区間の映像を複数抽出する抽出手段と、
   前記抽出手段が抽出した複数の撮像区間の映像を用いて１つの要約映像を生成する生成手段と、
   を備える情報処理装置。
2. 前記複数の撮像アングルに関する情報を取得する第２の取得手段をさらに備え、
   前記抽出手段は、前記第２の取得手段が取得した情報を用いて、前記背景画像が類似する撮像区間の映像を複数抽出することを特徴とする請求項１に記載の情報処理装置。
3. 前記複数の撮像アングルは、周期的に変化する複数の撮像アングルであり、
   前記第２の取得手段は、前記周期的に変化する複数の撮像アングルに関する情報を取得することを特徴とする請求項２に記載の情報処理装置。
4. 前記映像に所定のオブジェクトが映っているかを判定する判定手段をさらに備え、
   前記生成手段は、前記要約映像において同一のオブジェクトが同一時刻に複数現れないように前記要約映像を生成することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記判定手段が、前記映像に前記所定のオブジェクトが映っていると判定した場合、前記生成手段は、前記所定のオブジェクトが映っている映像についてのみ、前記要約映像を生成することを特徴とする請求項４に記載の情報処理装置。
6. 前記生成手段は、前記要約映像において前記撮像アングルの切り替わりのタイミングで前記所定のオブジェクトの移動が所定速度以上にならないように前記要約映像を生成することを特徴とする請求項５に記載の情報処理装置。
7. 前記生成手段は、前記要約映像において前記所定のオブジェクトの移動が所定速度以上にならないようにするために、前記要約映像において前記所定のオブジェクトが所定速度未満で移動する映像を追加することを特徴とする請求項６に記載の情報処理装置。
8. 前記生成手段は、前記複数の撮像アングルのうちの所定の撮像アングルについてのみ前記要約映像を生成することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記生成手段が各撮像アングルについて１つの要約映像を生成した場合、当該要約映像を結合する結合手段をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
10. 請求項１から８のいずれか１項に記載の情報処理装置と、
    複数の撮像アングルで映像を撮像する撮像部と、
    を備える装置。
11. 映像の中で検知された対象物の出現順序を変更することにより、要約映像を生成する情報処理方法において、
    複数の撮像アングルで撮像部が撮像した映像を取得するステップと、
    前記取得するステップで取得した映像のうち、背景画像が類似する撮像区間の映像を複数抽出するステップと、
    前記抽出するステップで抽出した複数の撮像区間の映像を用いて１つの要約映像を生成するステップと、
    を有する情報処理方法。
12. コンピュータを、請求項１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images