JP2020113109A - 撮像システム - Google Patents

Abstract

【課題】撮像画像から対象人物の抽出を高精度に行うこと。【解決手段】本発明に係る撮像システム１は、複数のカメラ１０を含んで構成される撮像システムであって、撮像画像を取得する取得部１２と、撮像画像から、対象人物の顔情報、及び、該対象人物に関連する関連情報を検出し、検出結果に基づき対象人物が写っているシーンを抽出する検出部１３と、検出部１３による検出結果について、複数のカメラ１０間で共有されるように出力する出力部１５と、対象人物の顔情報及び関連情報を対応付けて記憶する記憶部１１と、を備え、検出部１３は、記憶部１１において対応付けて記憶された情報に基づき、撮像画像から対象人物に関連する関連情報を検出し、該関連情報が写っているシーンを、該関連情報に係る対象人物が写っているシーンとして抽出する。【選択図】図２

Description

本発明は、撮像システムに関する。

例えばテーマパーク等において敷地内に定点カメラを複数設置し、各定点カメラにおいて撮像されたシーンをつなぎ合わせて、動画を生成するサービスが知られている。このようなサービスにおいては、例えば入場者毎にその人物が写っているシーンをつなぎ合わせた動画を生成することが考えられる。入場者毎の動画を生成する場合には、例えば特許文献１に記載されたような顔認証技術によって人物の識別が行われる。

特開２００７−２７２８９６号公報

ここで、例えば顔写真のみを人物特定のための情報として用いる場合等においては、人物を特定するための事前情報が少なく、人物抽出を高精度に行うことができない。すなわち、例えば、顔写真のみを用いて人物抽出を行おうとした場合には、人物の後姿のみを撮像した定点カメラの画像からは人物抽出を行うことができず、人物抽出を高精度に行うことができない。

本発明は上記実情に鑑みてなされたものであり、複数の撮像装置を含んで構成される撮像システムにおいて、撮像画像から対象人物の抽出を高精度に行うことを目的とする。

本発明の一態様に係る撮像システムは、複数の撮像装置を含んで構成される撮像システムであって、撮像画像を取得する撮像画像取得部と、撮像画像から、対象人物の顔情報、及び、該対象人物の顔以外の情報であって該対象人物に関連する関連情報の少なくともいずれか一方を検出し、検出結果に基づき対象人物が写っているシーンを抽出する検出部と、検出部による検出結果について、複数の撮像装置間で共有されるように出力する出力部と、複数の撮像装置間で共有される、対象人物の顔情報及び関連情報を対応付けて記憶する記憶部と、を備え、検出部は、記憶部において対応付けて記憶された情報に基づき、撮像画像から対象人物に関連する関連情報を検出し、該関連情報が写っているシーンを、該関連情報に係る前記対象人物が写っているシーンとして抽出する。

本発明の一態様に係る撮像システムでは、対象人物の顔情報及び関連情報の検出結果が各撮像装置間で共有され、記憶部において、対象人物の顔情報及び関連情報が対応付けて記憶されている。このため、撮像システムにおいては、撮像画像から関連情報を検出することができれば、該関連情報に係る対象人物が写っているシーンを適切に抽出することができる。すなわち、対象人物の顔情報及び関連情報が対応付けられていることによって、例えば対象人物の顔情報を検出することができない場合であっても、関連情報さえ検出できれば、該関連情報が写っているシーンを対象人物が写っているシーンとして適切に抽出することができる。このように、顔情報を検出することができない撮像画像からも対象人物のシーンを抽出することによって、対象人物の抽出をより高精度に行うことができる。

上述した撮像システムでは、検出部は、対象人物の顔情報の検出に成功した場合において、対象人物が携行している情報を関連情報として検出してもよい。対象人物が携行している情報は、対象人物との関連度が高く、対象人物と共に撮像される可能性が高いと考えられる。このような情報が、対象人物の顔情報の検出に成功した撮像装置によって関連情報として検出されることにより、該関連情報に基づいてより高精度に対象人物の抽出を行うことができる。

上述した撮像システムでは、検出部は、対象人物の顔情報の検出に成功した場合において、対象人物の周囲にいる周囲人物を関連情報として検出してもよい。対象人物の周囲人物は、対象人物との関連度が高く、対象人物と共に撮像される可能性が高いと考えられる。このような情報が、対象人物の顔情報の検出に成功した撮像装置によって関連情報として検出されることにより、該関連情報に基づいてより高精度に対象人物の抽出を行うことができる。

上述した撮像システムでは、周囲人物は、他の撮像装置においても対象人物の周囲人物として検出されていた場合に、関連情報とされてもよい。これにより、互い異なるロケーションの撮像装置のいずれにおいても周囲人物として検出されていた場合にのみ、該周囲人物が関連情報とされるため、例えば偶然（一時的に）、対象人物の周囲にいたような人物が関連人物（関連情報）とされることを抑制し、より高精度に対象人物の抽出を行うことができる。

上述した撮像システムでは、記憶部は、複数の撮像装置それぞれの位置情報と、対象人物の顔情報及び関連情報の少なくともいずれか一方を検出した撮像装置を示す情報と、該撮像装置が検出した時刻とを更に記憶しており、検出部は、記憶部に記憶されている、複数の撮像装置それぞれの位置情報、検出した撮像装置を示す情報、及び、該撮像装置が検出した時刻を考慮して、撮像画像から対象人物の顔情報及び関連情報の少なくともいずれか一方を検出してもよい。対象人物を検出するに際し、上記の内容が考慮されることにより、対象人物が撮像範囲に入りうるフレームや、対象人物が撮像範囲に流入してくる方向が推定できる（すなわち、検出範囲の絞り込みができる）ため、対象人物の検出精度及び検出速度を向上させることができる。

上述した撮像システムでは、検出部は、検出した関連情報について、種別に応じた変化のしやすさを特定し、該変化のしやすさを考慮して、該関連情報が写っているシーンを抽出するか否かを決定してもよい。関連情報については、比較的短期間で情報が変化しやすいもの（例えば服装や持ち運んでいる食べ物等）と、変化しにくいもの（例えば指輪等）とがある。このような変化のしやすさを考慮して、例えば変化しやすい関連情報についてはその情報だけでは関連情報が写っているシーンを抽出せず他の関連情報を検出した場合にのみ関連情報が写っているシーンを抽出する等を行うことによって、より高精度に対象人物の抽出を行うことができる。

記憶部は、初期状態において対象人物の顔情報を記憶しており、撮像画像から対象人物の顔情報及び関連情報の双方の検出に成功した撮像装置からの情報に基づき、対象人物の顔情報に関連情報を対応付けて記憶してもよい。このように、実際に検出された情報に基づき関連情報を対象人物に対応付けることにより、関連情報を用いた対象人物の抽出をより高精度に行うことができる。

本発明によれば、複数の撮像装置を含んで構成される撮像システムにおいて、撮像画像から対象人物の抽出を高精度に行うことができる。

本実施形態に係る撮像システムの基本動作を説明する図である。 本実施形態に係る撮像システムに含まれるカメラの機能構成を示すブロック図である。 本実施形態に係る撮像システムに含まれるカメラが行う処理を示すフローチャートである。 比較例にかかわる撮像システムの動作イメージを説明する図である。 撮像システムに含まれるカメラのハードウェア構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

図１は、本実施形態に係る撮像システム１の基本動作を説明する図である。図１に示される撮像システム１は、複数のカメラ１０（撮像装置）と、サーバ５０とを含んで構成されている。複数のカメラ１０は、特定の敷地内において、互いに異なる地点に固定的に設置された定点カメラである。カメラ１０は、撮影した動画について、ネットワーク（インターネット）を介してサーバ５０にアップロード可能に構成されている。撮像システム１は、複数のカメラ１０の入力を用いて、予め指定されている対象人物が写っているシーンを抽出するシステムである。例えば、図１に示されるように、人物Ａが対象人物である場合においては、撮像システム１の複数のカメラ１０は、撮像した動画において人物Ａを検出（識別）することができた場合には動画をサーバ５０にアップロードし、撮像した動画において人物Ａを検出することができなかった場合には動画をサーバ５０にアップロードしない。そして、サーバ５０は、各カメラ１０から取得した動画（人物Ａが写ったシーンからなる動画）をつなぎ合わせることにより、複数のカメラ１０が設置された敷地内における人物Ａの動画を生成する。撮像システム１は、例えば、テーマパーク、スキー場等の敷地内における入園者毎の動画を自動生成し提供するサービスに利用される。

撮像システム１においては、複数のカメラ１０間において、対象人物の検出結果が共有される。対象人物の検出結果とは、対象人物の顔情報だけでなく、対象人物に関連する関連情報（詳細は後述）を含むものである。このような検出結果が各カメラ１０間で共有されることにより、例えば、対象人物を正面から撮像することができず対象人物の顔情報を検出できないカメラ１０においても、対象人物の顔情報及び関連情報が予め共有されていることによって、関連情報を検出し、該関連情報に係る対象人物のシーンを抽出することが可能になる。このように、撮像システム１は、複数のカメラ１０間で対象人物の検出結果を共有することによって、対象人物が写ったシーンをより高精度且つ漏れなく抽出するものである。

なお、敷地内に複数設置されたカメラ１０について、その設置角度は特に限定されないが、例えば、オープンスペースにおける曲がり角において角の２等分線上に設置されていてもよい。この場合には、人物が角を曲がる前後の映像から、人物の表側（腹側４５度）及び裏側（背側４５度）の映像を取得することができるため、例えば人物の顔、服装の表側（関連情報の一例）、及び服装の裏側（関連情報の一例）のデータを適切に紐づけることができる。

図２は、本実施形態に係る撮像システム１に含まれるカメラ１０の機能構成を示すブロック図である。図２に示されるように、複数のカメラ１０のそれぞれは、記憶部１１と、取得部１２（撮像画像取得部）と、検出部１３と、データ生成部１４と、出力部１５と、を備えている。

記憶部１１は、複数のカメラ１０間で共有される、対象人物の顔情報及び関連情報を対応付けて記憶している。関連情報とは、対象人物の顔以外の情報であって該対象人物に関連する情報である（詳細は後述）。具体的には、記憶部１１は、人物レコードと、カメラレコードと、カメラ関係レコードとを記憶するデータベースである。なお、記憶部１１において記憶されている各情報（少なくとも人物レコード、カメラレコード、及びカメラ関係レコードを含む情報）については、サーバ５０においても記憶されている。すなわち、複数のカメラ１０及びサーバ５０間において、共通の情報が記憶されている。

人物レコードは、撮像対象である対象人物毎に設定される情報であり、人物ＩＤと、顔画像（顔情報）と、服装画像のリスト（関連情報）と、周辺人物ＩＤのリストと、関連人物ＩＤのリスト（関連情報）と、最終検出カメラＩＤと、最終検出時刻と、最終検出移動方向とが対応付けられた情報である。人物ＩＤとは人物を一意に特定する識別情報である。顔画像とは、当該人物の顔画像（詳細には、顔画像に係る特徴データ）である。服装画像のリストとは、当該人物の服装（例えば上着）について腹側及び背側等の複数のアングルから取得された画像のリストである。周辺人物ＩＤのリストとは、当該人物の周囲にいる人物を一意に特定する識別情報のリストである。関連人物ＩＤのリストとは、周辺人物ＩＤで示される人物のうち対象人物に関連する人物であると推定される人物（詳細は後述）を一意に特定する識別情報のリストである。なお、周辺人物ＩＤのリスト及び関連人物ＩＤのリストに含まれる各人物の識別情報は、対応する各人物の顔画像に係る特徴データと対応付けられている。最終検出カメラＩＤとは、対象人物の顔情報及び関連情報の少なくともいずれか一方を直近で検出したカメラ１０を一意に特定する識別情報である。最終検出時刻とは、最終検出カメラＩＤで示されるカメラ１０が対象人物の顔情報等を検出した時刻である。最終検出移動方向とは、最終検出カメラＩＤで示されるカメラ１０が対象人物の顔情報等を検出した際における該対象人物の移動方向である。人物レコードの各情報のうち、顔画像は「対象人物の顔情報」であり、服装画像のリスト及び関連人物ＩＤのリストは「対象人物に関連する関連情報」である。詳細には、服装画像のリストは、対象人物が携行している情報の一例であり、関連人物ＩＤのリストは対象人物の周囲にいる周囲人物の一例である。なお、人物レコードにおいて、対象人物に関連する関連情報（詳細には対象人物が携行している情報）として、バッグ、食べ物、サングラス、マスク、帽子、指輪、及び髪型等の画像が記憶されていてもよい。

人物レコードは、時系列の進行に伴って情報が書き換わっていく（情報が増減する）。人物レコードの各情報のうち、人物ＩＤ及び顔画像については、例えばサーバ５０において予め設定（記憶）されて各カメラ１０に共有されるものであり、カメラ１０による対象人物の検出を待たずに初期状態から記憶されている情報である。人物レコードの各情報のうち、服装画像のリスト、周辺人物ＩＤのリスト、及び関連人物ＩＤのリストについては、対象人物の顔情報及び関連情報の双方の検出に成功した少なくとも１つ以上のカメラ１０からの情報に基づき、人物ＩＤ及び顔画像に対応付けて記憶される情報である。ただし、服装画像のリストのうち背側のアングルから取得される画像については、対象人物の関連情報（服装）のみの検出に成功したカメラ１０からの情報に基づき記憶されるものであってもよい。最終検出カメラＩＤ、最終検出時刻、及び最終検出移動方向については、対象人物の顔情報及び関連情報の少なくともいずれか一方の検出に成功したカメラ１０からの情報に基づき、人物ＩＤ及び顔画像に対応付けて記憶される情報である。

カメラレコードは、複数のカメラ１０毎に設定される情報であり、カメラＩＤと、カメラ設置位置と、カメラ設置方向とが対応付けられた情報である。カメラＩＤとはカメラ１０を一意に特定する識別情報である。カメラ設置位置とはカメラ１０が設置された位置（場所）を示す情報である。カメラ設置方向とはカメラ１０の撮像方向を示す情報である。カメラ関係レコードは、各カメラ１０について、他の１つのカメラ１０との関係を示す情報である。カメラ関係レコードでは、２つのカメラ（例えば第１カメラ及び第２カメラ）について、第１カメラ及び第２カメラの撮像エリア間の距離と、第１カメラから第２カメラへ移動する場合の移動方向と、第２カメラから第１カメラへ移動する場合の移動方向とが対応付けられている。カメラレコード及びカメラ関係レコードは、カメラ１０の設置場所等を変更しない限りは不変の情報である。

取得部１２は、撮像素子において撮像された撮像画像を取得する。取得部１２は、撮像素子から、フレーム毎に撮像画像を読み込む。取得部１２は、読み込んだフレーム毎の撮像画像を検出部１３に出力する。

検出部１３は、撮像画像から、対象人物の顔情報、及び、対象人物の顔以外の情報であって対象人物に関連する関連情報の少なくともいずれか一方を検出し、検出結果に基づき対象人物が写っているシーンを抽出する。検出部１３は、記憶部１１の人物レコードを参照し、各人物ＩＤに対応付けられた顔画像（対象人物の顔情報）を撮像画像から検出可能か否かを判定する。顔画像の検出は、例えば従来から周知の顔認証技術を用いることにより行われる。検出部１３は、対象人物の顔画像（顔情報）の検出に成功した場合、該対象人物が写っているシーンを抽出する。

検出部１３は、対象人物の顔画像（顔情報）の検出に成功した場合において、関連情報の検出を行う。具体的には、検出部１３は、検出した対象人物が携行している情報を関連情報として検出する。本実施形態では、携行している情報として服装（上着）の画像を検出する例を説明するが、検出部１３は、携行している情報として、バッグ、食べ物、サングラス、マスク、帽子、及び指輪等の画像を検出してもよい。

また、検出部１３は、検出した対象人物の周囲にいる周囲人物を関連人物（関連情報）として検出してもよい。検出部１３は、例えば、対象人物との離間距離が、団体（２人以上）で行動する際に想定され得る範囲内である人物を周囲人物として検出する。なお、周囲人物は、他のカメラ１０においても対象人物の周囲人物として検出されていた場合に、関連人物（関連情報）とされてもよい。また、検出部１３は、周囲人物と対象人物が一定の距離を保って横に並んで同じ速度で歩いていることを検出した場合に周囲人物を関連人物としてもよいし、周囲人物と対象人物が向き合って会話をしている（口の動きで会話をしていると判断できる）場合に周囲人物を関連人物としてもよいし、周囲人物と対象人物が手をつないでいる場合に周囲人物を関連人物としてもよい。このような方法によれば、単一のカメラ１０の情報から物体検出ＡＩ等を用いて関連人物を検出できるため、複数のカメラ１０の情報を用いずに関連人物を検出することができる。周囲人物が関連人物であるか否かの判定は、例えば、検出部１３が記憶部１１の人物レコードを参照することにより行われる。この場合、検出部１３は、人物レコードの周辺人物ＩＤのリストに対応付けられた顔画像（他のカメラ１０において検出された周囲人物の顔画像）が、検出した周囲人物の顔画像と同様である場合に、該周囲人物が関連人物（関連情報）であると判定する。また、周囲人物が関連人物であるか否かの判定は、カメラ１０と同様の情報を記憶するサーバ５０において行われてもよい。

また、検出部１３は、上述した情報以外の様々な情報を関連情報として検出してもよい。例えば検出部１３は、人物を正面以外から撮像した画像（横からの姿、後姿）を関連情報としてもよいし、髪型、髪色、耳の形など携行物ではない人物自身の情報を関連情報としてもよい。例えばカメラ１０を曲がり角に設置することによって、角を曲がる前後で人物の撮像角度を異ならし、上述した正面以外から撮像した画像を取得することができる。また、例えばカメラ１０をチケット券売機を撮像できる位置に設置することによって、購入前（券売機を向いた人物の後姿）、購入後（券売機に背を向けた人物の正面の姿）の画像を取得することができる。すなわち、購入後のフレームにおいて顔写真から人物の検出に成功した場合において、さかのぼって、購入前のフレームから後姿の関連情報を取得することができる。

検出部１３は、例えば対象人物の顔画像（顔情報）を検出できなかった場合においても、記憶部１１において対応付けて記憶された情報に基づき、撮像画像から対象人物に関連する関連情報を検出し、関連情報が写っているシーンを、該関連情報に係る対象人物が写っているシーンとして抽出する。例えば、検出部１３は、記憶部１１の人物レコードを参照し、服装画像のリストに示された服装画像を撮像画像から検出可能か否かを判定する。検出部１３は、服装画像のリストに示された服装画像が写っているシーンを、対象人物が写っているシーンとして抽出する。或いは、検出部１３は、記憶部１１の人物レコードを参照し、関連人物ＩＤのリストに対応付けられた顔画像（関連人物の顔画像）を撮像画像から検出可能か否かを判定する。検出部１３は、関連人物ＩＤのリストに対応付けられた顔画像が写っているシーンを、対象人物が写っているシーンとして抽出する。

検出部１３は、検出した関連情報について、種別に応じた変化のしやすさを特定し、該変化のしやすさを考慮して、該関連情報が写っているシーンを対象人物が写っているシーンとして抽出するか否かを決定してもよい。変化のしやすさとは、例えば変化にかかる推定時間である。関連情報のうち、例えば服装（上着）や持ち運んでいる食べ物等については、比較的変化しやすい（短期間で変化する）と考えられる。一方で、関連情報のうち、例えば関連人物や指輪等については、比較的変化しにくい（短期間で変化しない）と考えられる。このような関連情報の変化のしやすさを考慮することにより、例えば変化しやすい関連情報については、その情報だけでは該関連情報が写っているシーンを対象人物が写っているシーンとして抽出せずに、他の関連情報についても写っていることを条件として対象人物が写っているシーンとする等の判断が可能となる。

検出部１３は、記憶部１１に記憶されている情報を更に利用して、撮像画像から対象人物の顔情報及び関連情報の少なくともいずれか一方を検出してもよい。例えば、検出部１３は、記憶部１１のカメラレコードを参照して得られる複数のカメラ１０の位置情報、人物レコードを参照して得られる最終検出カメラＩＤ（検出したカメラ１０を示す情報）、及び、人物レコードを参照して得られる最終検出時刻（カメラ１０が検出した時刻）を考慮して、対象人物の顔情報及び関連情報の少なくともいずれか一方を検出してもよい。上記の情報を考慮することによって、検出部１３は、対象人物が撮像範囲に入りうるフレームや、対象人物が撮像範囲に流入してくる方向が推定できる（すなわち、検出範囲の絞り込みができる）ため、対象人物の検出精度及び検出速度を向上させることができる。また、検出部１３は、例えば、遠く（例えば数百ｍ等）離れたカメラ１０において所定時間内（例えば数分等）に顔情報又は関連情報が検出された対象人物については、検出され得ない対象人物として検出対象から除外し、その他の対象人物の検出のみを試みる等の処理が可能になる。また、検出部１３は、例えば記憶部１１のカメラ関係レコードを更に参照して、対象人物を検出したカメラ１０の撮像対象エリアから自らのカメラ１０の撮像対象エリアまでの距離（例えば５０ｍ）を特定すると共に、対象人物を検出したカメラ１０の撮像エリアから自らのカメラ１０の撮像エリアに向かって人物が歩いてくる場合の移動方向を特定し、これらの特定した情報と、人物の通常想定され得る移動速度とを考慮して、自らのカメラ１０において対象人物が撮像され得る撮像フレームを絞り込んで、対象人物の検出を行ってもよい。

検出部１３は、抽出したシーンをデータ生成部１４に出力する。データ生成部１４は、検出部１３によって抽出された各フレームのシーンについてエンコード処理を行って動画データを生成し、抽出されたシーンに係る動画データをサーバ５０に送信する。サーバ５０は、動画データを受信してデコード処理を行う。更に、サーバ５０は、例えば動画の時間幅を所定長以下に収めるための動画ハイライトシーン抽出をフレーム毎に繰り返し行い、対象人物を含むハイライト動画を生成する。

また、検出部１３は、検出結果に基づき、検出した対象人物の顔画像の特徴データ、関連情報（服装画像、関連人物の顔画像の特徴データ等）、及び周囲人物の顔画像の特徴データを生成し、出力部１５に出力する。出力部１５は、検出部１３による検出結果について、複数のカメラ１０間で共有されるように出力する。出力部１５は、例えば、検出部１３による検出結果をサーバ５０に送信する。サーバ５０は、カメラ１０における検出結果を記憶すると共に、各カメラ１０に検出結果を送信する。これにより、複数のカメラ１０及びサーバ５０間で、各カメラ１０における検出結果が共有される。なお、上述したように、サーバ５０において、周囲人物が関連人物であるか否かの判定が行われてもよい。

次に、図３を参照して、撮像システム１に含まれるカメラ１０が行う処理を説明する。図３は、本実施形態に係る撮像システム１に含まれるカメラ１０が行う処理を示すフローチャートである。なお、ステップＳ４及びＳ５の処理は、ステップＳ６及びステップＳ７の処理と同時に行われてもよいし、ステップＳ６及びステップＳ７の処理よりも後に行われてもよい。

図３に示されるように、カメラ１０は、まず、撮像素子からフレーム毎に撮像画像を読み込む（ステップＳ１）。つづいて、カメラ１０は、撮像画像から、人物検出を行う（ステップＳ２）。具体的には、カメラ１０は、人物レコードを参照し、各人物ＩＤに対応付けられた顔画像（対象人物の顔情報）を撮像画像から検出可能か否かを判定する。また、カメラ１０は、対象人物の関連情報の検出を行う。具体的には、カメラ１０は、人物レコードを参照し、服装画像のリストに示された服装画像を撮像画像から検出可能か否かを判定する。或いは、カメラ１０は、人物レコードを参照し、関連人物ＩＤのリストに対応付けられた顔画像を撮像画像から検出可能か否かを判定する。

カメラ１０は、撮像画像から、対象人物の顔情報、及び、対象人物に関連する関連情報の少なくともいずれか一方を検出すると、検出結果に基づき対象人物が写っているシーンを抽出する（ステップＳ３）。そして、カメラ１０は、抽出された各フレームのシーンについてエンコード処理を行い動画データを生成し（ステップＳ４）、該動画データをサーバ５０に送信する（ステップＳ５）。また、カメラ１０は、検出結果に基づき、検出した対象人物の顔画像の特徴データ、関連人物の顔画像の特徴データ等を生成し（ステップＳ６）、該特徴データをサーバ５０に送信する（ステップＳ７）。なお、サーバ５０に送信された特徴データは、各カメラ１０に共有される。

次に、本実施形態に係る撮像システム１の作用効果について説明する。

例えばテーマパーク等において敷地内に定点カメラを複数設置し、各定点カメラにおいて撮像されたシーンをつなぎ合わせて、動画を生成するサービスが知られている。このようなサービスにおいては、例えば入場者毎にその人物が写っているシーンのみをつなぎ合わせた動画を生成することが考えられる。このようなサービスを実現する撮像システムについて、例えば図４に示されるような動作イメージが考えられる。図４に示される比較例に係る撮像システムでは、各カメラにおいて、撮像素子からフレーム毎の撮像画像が読み込まれ、動画データが生成されて、全ての動画データ（全シーン）がネットワークを介してサーバに送信されている。そして、サーバにおいて、動画データ（全シーン）が受信され、動画データがデコードされて、フレーム毎に対象人物の人物検出が行われて、対象人物を含むハイライト動画が生成されている。このような撮像システムでは、カメラからサーバに対して撮像した全ての動画データが送信されているため、データ量が大きくなりコストが高くなることが問題となる。

この点、本実施形態に係る撮像システム１では、カメラ１０において対象人物が写っているシーンが抽出されるため、カメラ１０からサーバ５０に送信するデータ量を必要最小限に抑えることができ、上述した比較例に係る撮像システムの課題（データ量が大きくなりコストが高くなる）を解決することができる。なお、例えば図４に示される構成以外の比較例として、カメラで人物検出を行うものの、人物検出をバッチ処理（例えば過去１時間分の映像を全部集めてきて処理する等）で行う構成が考えられる。このような構成の場合、一定時間分の映像を一時的に保存するための記憶装置が各カメラに必要になるか、或いは、別の装置で記憶する場合にはカメラ及び装置間で膨大な通信が生じるため、コスト及びスケーラビリティの点が問題となる。この点、本実施形態に係る撮像システム１では、バッチ処理ではなく同時処理（カメラ１０が撮像すると同時に検出処理及び情報共有処理）を行うため、不要なデータについてはその都度削除することとなり、各カメラ１０に上述したような記憶装置が不要になる。また、同時処理であることによって、例えば施設内の迷子を捜したい場合等、即時に人物抽出結果を得たい場合に、タイムラグなく、人物検出を行うことができる。

より詳細には、本実施形態に係る撮像システム１は、複数のカメラ１０を含んで構成される撮像システムであって、複数のカメラ１０それぞれは、撮像画像を取得する取得部１２と、撮像画像から、対象人物の顔情報、及び、該対象人物の顔以外の情報であって該対象人物に関連する関連情報の少なくともいずれか一方を検出し、検出結果に基づき対象人物が写っているシーンを抽出する検出部１３と、検出部１３による検出結果について、複数のカメラ１０間で共有されるように出力する出力部１５と、複数のカメラ１０間で共有される、対象人物の顔情報及び関連情報を対応付けて記憶する記憶部１１と、を備え、検出部１３は、記憶部１１において対応付けて記憶された情報に基づき、撮像画像から対象人物に関連する関連情報を検出し、該関連情報が写っているシーンを、該関連情報に係る対象人物が写っているシーンとして抽出する。

このような撮像システム１では、対象人物の顔情報及び関連情報の検出結果が各カメラ１０間で共有され、記憶部１１において、対象人物の顔情報及び関連情報が対応付けて記憶されている。このため、撮像システム１においては、撮像画像から関連情報を検出することができれば、該関連情報に係る対象人物が写っているシーンを適切に抽出することができる。すなわち、対象人物の顔情報及び関連情報が対応付けられていることによって、例えば対象人物の顔情報を検出することができない場合であっても、関連情報さえ検出できれば、該関連情報が写っているシーンを対象人物が写っているシーンとして適切に抽出することができる。このように、顔情報を検出することができない撮像画像からも対象人物のシーンを抽出することによって、対象人物の抽出をより高精度に行うことができる。なお、関連情報は、顔情報と比べて形状やパターンが変化しにくい場合が多く、認識しやすいというメリットもある。これにより、対象人物の抽出をより高精度に行うことができる。

撮像システム１では、検出部１３は、対象人物の顔情報の検出に成功した場合において、対象人物が携行している情報を関連情報として検出する。対象人物が携行している情報は、対象人物との関連度が高く、対象人物と共に撮像される可能性が高いと考えられる。このような情報が、対象人物の顔情報の検出に成功したカメラ１０によって関連情報として検出されることにより、該関連情報に基づいてより高精度に対象人物の抽出を行うことができる。

撮像システム１では、検出部１３は、対象人物の顔情報の検出に成功した場合において、対象人物の周囲にいる周囲人物を関連人物（関連情報）として検出する。対象人物の周囲人物は、対象人物との関連度が高く、対象人物と共に撮像される可能性が高いと考えられる。このような情報が、対象人物の顔情報の検出に成功したカメラ１０によって関連情報として検出されることにより、該関連情報に基づいてより高精度に対象人物の抽出を行うことができる。すなわち、対象人物が例えば関連人物等により遮蔽されており検出が困難な状況でも、対象人物が存在すると想定されるシーンの抽出を適切に行うことができる。なお、関連人物を含めた複数の人物からなるグループを考えた場合には、例えばグループに含まれる各人物に正解情報を用意することなく、代表者１人の正解情報のみがあればグループ全体のシーンを抽出することができる。

撮像システム１において、周囲人物は、他のカメラ１０においても対象人物の周囲人物として検出されていた場合に、関連情報とされる。これにより、互い異なるロケーションのカメラ１０のいずれにおいても周囲人物として検出されていた場合にのみ、該周囲人物が関連情報とされるため、例えば偶然、対象人物の周囲にいたような人物が関連人物（関連情報）とされることを抑制し、より高精度に対象人物の抽出を行うことができる。

撮像システム１において、記憶部１１は、複数のカメラ１０それぞれの位置情報と、対象人物の顔情報及び関連情報の少なくともいずれか一方を検出したカメラ１０を示す情報と、該カメラ１０が検出した時刻とを更に記憶しており、検出部１３は、記憶部１１に記憶されている、複数のカメラ１０それぞれの位置情報、検出したカメラ１０を示す情報、及び、該カメラ１０が検出した時刻を考慮して、撮像画像から対象人物の顔情報及び関連情報の少なくともいずれか一方を検出する。対象人物を検出するに際し、上記の内容が考慮されることにより、対象人物が撮像範囲に入りうるフレームや、対象人物が撮像範囲に流入してくる方向が推定できる（検出範囲の絞り込みができる）ため、対象人物の検出精度及び検出速度を向上させることができる。

撮像システム１において、検出部１３は、検出した関連情報について、種別に応じた変化のしやすさを特定し、該変化のしやすさを考慮して、該関連情報が写っているシーンを抽出するか否かを決定する。関連情報については、比較的短期間で情報が変化しやすいもの（例えば服装や持ち運んでいる食べ物等）と、変化しにくいもの（例えば指輪等）とがある。このような変化のしやすさを考慮して、例えば変化しやすい関連情報についてはその情報だけでは関連情報が写っているシーンを抽出せず他の関連情報を検出した場合にのみ関連情報が写っているシーンを抽出する等を行うことによって、より高精度に対象人物の抽出を行うことができる。

撮像システム１において、記憶部１１は、初期状態において対象人物の顔情報を記憶しており、撮像画像から対象人物の顔情報及び関連情報の双方の検出に成功したカメラ１０からの情報に基づき、対象人物の顔情報に関連情報を対応付けて記憶する。このように、実際に検出された情報に基づき関連情報を対象人物に対応付けることにより、関連情報を用いた対象人物の抽出をより高精度に行うことができる。

最後に、撮像システム１に含まれたカメラ１０のハードウェア構成について、図５を参照して説明する。上述のカメラ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。カメラ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

カメラ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、カメラ１０の取得部１２等の制御機能はプロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、カメラ１０の取得部１２等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、カメラ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。例えば、撮像システム１にはサーバ５０が含まれているとして説明したがこれに限定されず、撮像システムはサーバを有さずに複数のカメラ（撮像装置）で構成されていてもよい。この場合においても、複数のカメラ（撮像装置）が互いに通信を行い、検出結果を共有することによって、上述した撮像システム１と同様の効果を奏することができる。また、上述した実施形態では、撮像システム１に含まれる複数のカメラ１０それぞれが、取得部１２、検出部１３、出力部１５、及び記憶部１１を備えているとして説明したがこれに限定されず、例えば、記憶部等の一部の構成はカメラ以外の撮像システムに含まれる構成（サーバ等）が備えていてもよいし、一部のカメラは上記の各構成を備えると共に他の一部のカメラは上記の各構成の一部のみを備えていてもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…撮像システム、１０…カメラ、１１…記憶部、１２…取得部（撮像画像取得部）、１３…検出部、１５…出力部。

Claims (7)

1. 複数の撮像装置を含んで構成される撮像システムであって、
   撮像画像を取得する撮像画像取得部と、
   前記撮像画像から、対象人物の顔情報、及び、該対象人物の顔以外の情報であって該対象人物に関連する関連情報の少なくともいずれか一方を検出し、検出結果に基づき前記対象人物が写っているシーンを抽出する検出部と、
   前記検出部による前記検出結果について、前記複数の撮像装置間で共有されるように出力する出力部と、
   前記複数の撮像装置間で共有される、前記対象人物の顔情報及び関連情報を対応付けて記憶する記憶部と、を備え、
   前記検出部は、
   前記記憶部において対応付けて記憶された情報に基づき、前記撮像画像から前記対象人物に関連する関連情報を検出し、該関連情報が写っているシーンを、該関連情報に係る前記対象人物が写っているシーンとして抽出する、撮像システム。
2. 前記検出部は、前記対象人物の顔情報の検出に成功した場合において、前記対象人物が携行している情報を前記関連情報として検出する、請求項１記載の撮像システム。
3. 前記検出部は、前記対象人物の顔情報の検出に成功した場合において、前記対象人物の周囲にいる周囲人物を前記関連情報として検出する、請求項１又は２記載の撮像システム。
4. 前記周囲人物は、他の撮像装置においても前記対象人物の周囲人物として検出されていた場合に、前記関連情報とされる、請求項３記載の撮像システム。
5. 前記記憶部は、前記複数の撮像装置それぞれの位置情報と、前記対象人物の顔情報及び関連情報の少なくともいずれか一方を検出した撮像装置を示す情報と、該撮像装置が検出した時刻とを更に記憶しており、
   前記検出部は、前記記憶部に記憶されている、前記複数の撮像装置それぞれの位置情報、検出した撮像装置を示す情報、及び、該撮像装置が検出した時刻を考慮して、前記撮像画像から前記対象人物の顔情報及び前記関連情報の少なくともいずれか一方を検出する、請求項１〜４のいずれか一項記載の撮像システム。
6. 前記検出部は、検出した関連情報について、種別に応じた変化のしやすさを特定し、該変化のしやすさを考慮して、該関連情報が写っているシーンを抽出するか否かを決定する、請求項１〜５のいずれか一項記載の撮像システム。
7. 前記記憶部は、初期状態において前記対象人物の顔情報を記憶しており、前記撮像画像から前記対象人物の顔情報及び関連情報の双方の検出に成功した撮像装置からの情報に基づき、前記対象人物の顔情報に関連情報を対応付けて記憶する、請求項１〜６のいずれか一項記載の撮像システム。

Images