JP2022047997A - 監視カメラ、パーツ紐付け方法およびプログラム - Google Patents

Abstract

【課題】画角内の映像データに映る１つ以上の対象物の検索精度の向上を支援する。【解決手段】監視カメラは、画角内の少なくとも１つの対象物を撮像する撮像部と、人工知能を搭載し、撮像部から入力される撮像画像に映る対象物の特徴的な複数のパーツを人工知能に基づいて検知するプロセッサと、を備える。プロセッサは、検知された複数のパーツのそれぞれを特定する情報を、複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする。【選択図】図２

Description

本開示は、監視カメラ、パーツ紐付け方法およびプログラムに関する。

特許文献１には、記録媒体から認証対象者の識別情報および顔画像を読み取る認証端末と、認証を行う認証装置と、認証装置の照合結果に基づいて扉の開閉を制御する扉制御装置とを有する入退室管理システムが開示されている。認証装置は、認証端末が識別情報を読み取った時点を含む所定期間において、監視カメラにより撮像された映像データから人物の顔を検出して顔周辺の画像を切り出し、認証対象者の顔画像と切り出された顔画像との合致度を算出する。また、認証装置は、識別情報が許可情報と一致し、かつ、合致度が所定の閾値以上の場合に、扉制御装置を駆動させて扉を開く制御を行う。

特開２０１７－２５６２１号公報

特許文献１は扉の開閉の許否を判別することが想定されているので、この判別のために使用される画像は、監視カメラにより撮像された映像データに映る人物の顔画像だけである。一方で、街中等の屋外あるいは施設内等の屋内に数多く設置される監視カメラにより撮像される映像データに映る対象物（例えば人物）を高精度に検索したいニーズがある。このような検索に対応するために、監視カメラにより撮像された映像データに映る対象物（例えば人物）とその顔画像とを紐付け保存しておくことが考えられる。しかし、特許文献１のように対象物（例えば人物）の検索に備えて顔画像だけを準備するだけでは高精度な検索を実現する上では不十分であった。

本開示は、上述した従来の事情に鑑みて案出され、画角内の映像データに映る１つ以上の対象物の検索精度の向上を支援する監視カメラ、パーツ紐付け方法およびプログラムを提供することを目的とする。

本開示は、画角内の少なくとも１つの対象物を撮像する撮像部と、人工知能を搭載し、前記撮像部から入力される撮像画像に映る前記対象物の特徴的な複数のパーツを前記人工知能に基づいて検知するプロセッサと、を備え、前記プロセッサは、検知された前記複数のパーツのそれぞれを特定する情報を、前記複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする、監視カメラを提供する。

また、本開示は、人工知能を搭載する監視カメラにより実行されるパーツ紐付け方法であって、画角内の少なくとも１つの対象物を撮像し、入力される撮像画像に映る前記対象物の特徴的な複数のパーツを前記人工知能に基づいて検知し、検知された前記複数のパーツのそれぞれを特定する情報を、前記複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする、パーツ紐付け方法を提供する。

また、本開示は、コンピュータである、人工知能を搭載する監視カメラに、画角内の少なくとも１つの対象物を撮像する処理と、入力される撮像画像に映る前記対象物の特徴的な複数のパーツを前記人工知能に基づいて検知する処理と、検知された前記複数のパーツのそれぞれを特定する情報を、前記複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする処理と、を実行させるための、プログラムを提供する。

本開示によれば、画角内の映像データに映る１つ以上の対象物の検索精度の向上を支援できる。

実施の形態１に係る監視カメラシステムのシステム構成例を示す図 撮像画像のデータに映る対象物としての人物について同一の対象物ＩＤで紐付けされる画像の種別例を示す図 画像の種別と監視カメラにより識別される属性との関係例を示す属性情報テーブル 実施の形態１に係る監視カメラによる紐付け処理の動作手順例を示すフローチャート 撮像画像のデータに映る対象物としての人物および自転車の紐付け例の説明図 実施の形態１に係る監視カメラによる部位ごとの識別処理の動作手順例を示すフローチャート 追尾枠の生成例の説明図 図６のステップＳｔ１１の詳細な動作手順例を示すフローチャート

（本開示に至る経緯）
特開２０１７－２５６２１号公報は扉の開閉の許否を判別することが想定されているので、この判別のために使用される画像は、監視カメラにより撮像された映像データに映る人物の顔画像だけである。一方で、街中等の屋外あるいは施設内等の屋内に数多く設置される監視カメラにより撮像される映像データに映る対象物（例えば人物）を高精度に検索したいニーズがある。このような検索に対応するために、監視カメラにより撮像された映像データに映る対象物（例えば人物）とその顔画像とを紐付け保存しておくことが考えられる。しかし、特開２０１７－２５６２１号公報のように対象物（例えば人物）の検索に備えて顔画像だけを準備するだけでは高精度な検索を実現する上では不十分であった。

そこで、以下の実施の形態１では、画角内の映像データに映る１つ以上の対象物の検索精度の向上を支援する監視カメラ、パーツ紐付け方法およびプログラムの例を説明する。

一方で、特開２０１７－２５６２１号公報は扉の開閉の許否を判別することが想定されているので、この判別のために使用される画像は、監視カメラにより撮像された映像データに映る人物の顔画像だけである。一方で、街中等の屋外あるいは施設内等の屋内に数多く設置される監視カメラにより撮像される映像データに映る対象物（例えば監視対象の人物）の行方（いわゆる動線）を高精度に追尾したいニーズがある。このような追尾に対応するためには、監視カメラにより撮像された映像データに映る対象物（例えば人物）とその顔画像とを紐付け保存しておくことが考えられる。しかし、特開２０１７－２５６２１号公報のように対象物（例えば監視対象の人物）の追尾に顔画像だけを用いるだけでは高精度な追尾を実現する上では不十分であった。

そこで、以下の実施の形態１では、画角内の映像データに映る対象物の追尾精度の向上を支援する監視カメラ、追尾枠生成方法およびプログラムを提供することを目的とする。

以下、適宜図面を参照しながら、本開示に係る監視カメラ、パーツ紐付け方法およびプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態１に係る監視カメラシステム１００のシステム構成例を示す図である。監視カメラシステム１００は、少なくとも１台の監視カメラ１０と、クライアントサーバ２０とを少なくとも含む。クライアントサーバ２０とそれぞれの監視カメラ１０とは、ネットワークＮＷ１を介して通信可能に接続される。ネットワークＮＷ１は、有線ネットワーク（例えば有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））でもよいし、無線ネットワーク（例えばＷｉ－ｆｉ（登録商標）等の無線ＬＡＮ、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ ＮｅｔＷｏｒｋ）、４Ｇ（第４世代移動通信システム）、５Ｇ（第５世代移動通信システム））でもよい。なお、監視カメラシステム１００を構成する監視カメラの構成は監視カメラ１０と同一の構成でもよいし、監視カメラ１０以外に監視カメラ１０の構成と異なる構成を有する監視カメラが含まれてもよい。

監視カメラ１０は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｔｓ：人工知能）を搭載したコンピュータであり、監視カメラシステム１００の運営者により指定されたモニタリングエリア（例えば屋内あるいは屋外）を撮像する。監視カメラ１０は、モニタリングエリアの撮像により撮像画像のデータを取得し、撮像画像のデータに映る対象物（例えば人物）の特徴的なパーツ（部位）をＡＩに基づいて検知する。なお、以下の説明において、対象物として人物を主に例示するが、人物に限定されるものではなく、例えば車両あるいは自転車等の乗り物であってもよいし、人物および乗り物であってもよい（図５参照）。

監視カメラ１０は、撮像部１１と、メモリ１２と、プロセッサ１３と、受信部１４と、送信部１５とを含む。撮像部１１、メモリ１２、受信部１４および送信部１５のそれぞれは、プロセッサ１３との間で内部バス（図示略）を介してデータの入力あるいは出力が可能となるように接続される。

撮像部１１は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。レンズは、モニタリングエリア内の対象物（被写体の一例）により反射された光を入射してイメージセンサの受光面（言い換えると、撮像面）に被写体の光学像を結像する。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子である。イメージセンサは、所定時間（例えば１／３０（秒））ごとに、レンズを介して撮像面に結像した光学像を電気信号に変換してプロセッサ１３に送る。例えば所定時間が１／３０（秒）である場合、監視カメラ１０のフレームレートは３０ｆｐｓとなる。また、撮像部１１は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで撮像画像のデータを生成してもよい。なお、この撮像画像のデータを生成する処理はプロセッサ１３により実行されてもよい。撮像部１１は、撮像画像のデータをプロセッサ１３に出力する。

メモリ１２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを用いて構成され、監視カメラ１０の動作の実行に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、監視カメラ１０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、監視カメラ１０を制御するための本開示に係るプログラムを予め記憶して保持する。言い換えると、プロセッサ１３は、ＲＯＭに記憶されているプログラムを実行することで、コンピュータである監視カメラ１０に、本開示に係るパーツ紐付け方法に関する各種の処理（ステップ）を実行可能である。例えば、メモリ１２は、撮像部１１によって撮像された撮像画像のデータ、クライアントサーバ２０に送信するためのデータ（後述参照）を一時的に記憶する。また、メモリ１２は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、撮像画像のデータあるいはクライアントサーバ２０に送信するための送信用データ（後述参照）を記憶してよい。また、メモリ１２は、ＡＩ処理部１３１（後述参照）が用いるＡＩ処理用の学習モデルのデータ（後述参照）を記憶する。

プロセッサ１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。プロセッサ１３は、監視カメラ１０の全体的な動作を司るコントローラとして機能し、監視カメラ１０の各部の動作を統括するための制御処理、監視カメラ１０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１３は、メモリ１２に記憶されたプログラムに従って動作する。プロセッサ１３は、動作時にメモリ１２を使用し、プロセッサ１３が生成または取得したデータをメモリ１２に一時的に保存する。プロセッサ１３は、ＡＩ処理部１３１および検知エリア・閾値設定部１３２を有する。

ＡＩ処理部１３１は、ＡＩ処理部１３１が実行可能にメモリ１２から読み出したＡＩ処理用の学習モデルのデータを用いて（言い換えると、ＡＩに基づいて）、検知エリア・閾値設定部１３２により設定されたパラメータ（後述参照）の下で、撮像部１１から入力された（言い換えると、入力されてくる）撮像画像のデータに各種の処理を実行する。ここで、ＡＩ処理用の学習モデルのデータは、例えばＡＩ処理部１３１が実行する各種の処理の内容を規定するプログラム、各種の処理に必要なパラメータおよび教師データを含む。ＡＩ処理部１３１は、具体的には、部位検知紐付け部１３１１と、追尾部１３１２と、ベストショット判定部１３１３と、部位識別部１３１４とを有する。

ここで、ＡＩ処理用の学習モデルのデータを生成するための学習処理は、１つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器（Ｌｉｎｅａｒ Ｃｌａｓｓｉｆｉｅｒｓ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）、二次分類器（Ｑｕａｄｒａｔｉｃ Ｃｌａｓｓｉｆｉｅｒｓ）、カーネル密度推定（Ｋｅｒｎｅｌ Ｅｓｔｉｍａｔｉｏｎ）、決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅｓ）、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、ベイジアン技術および／またはネットワーク（Ｂａｙｅｓｉａｎ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ/ｏｒ Ｎｅｔｗｏｒｋｓ）、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ）、バイナリ分類子（Ｂｉｎａｒｙ Ｃｌａｓｓｉｆｉｅｒｓ）、マルチクラス分類器（Ｍｕｌｔｉ－Ｃｌａｓｓ Ｃｌａｓｓｉｆｉｅｒｓ）、クラスタリング（Ｃｌｕｓｔｅｒｉｎｇ Ｔｅｃｈｎｉｑｕｅ）、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ Ｔｅｃｈｎｉｑｕｅ）、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ Ｔｅｃｈｎｉｑｕｅ）、線形回帰（Ｌｉｎｅａｒ Ｒｅｇｒｅｓｓｉｏｎ Ｔｅｃｈｎｉｑｕｅ）、勾配ブースティング（Ｇｒａｄｉｅｎｔ Ｂｏｏｓｔｉｎｇ Ｔｅｃｈｎｉｑｕｅ）などが挙げられる。但し、使用される統計的分類技術はこれらに限定されない。また、学習モデルのデータの生成は、監視カメラ１０内のＡＩ処理部１３１で行われても良いし、例えばクライアントサーバ２０で行われてもよい。

部位検知紐付け部１３１１は、撮像部１１から入力された撮像画像のデータに映る、対象物の特徴的な複数のパーツ（部位）をＡＩに基づいて検知する。部位検知紐付け部１３１１は、検知された同一の対象物に対応する複数のパーツを、その対象物の識別情報となる対象物ＩＤ（ＩＤ：ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）で紐付け（関連付け）する（図２参照）。

図２は、撮像画像ＩＭＧ１のデータに映る対象物としての人物ＰＳ１について同一の対象物ＩＤで紐付けされる画像の種別例を示す図である。図２に示す撮像画像ＩＭＧ１は、横断歩道を複数の人物が渡っている様子を示す。部位検知紐付け部１３１１は、撮像画像ＩＭＧ１に映っている対象物（例えば人物）の一人一人を検知するとともに、それぞれの人物（例えば人物ＰＳ１）の特徴的なパーツを検知して同一の人物の識別情報で紐付けする。

ここで、検知されるべき対象物の特徴的なパーツは、クライアントサーバ２０による人物ＰＳ１の検索精度を向上させるために、人物の身体的な特徴を示す部位であり、例えば人物ＰＳ１の全身、人物ＰＳ１の肩甲骨上部、人物ＰＳ１の顔である。すなわち、部位検知紐付け部１３１１は、人物ＰＳ１の検知に伴い、撮像画像ＩＭＧ１のデータから全身枠部分ＷＫ１、肩甲骨上枠部分ＷＫ２、顔枠部分ＷＫ３を特定する情報（例えば撮像画像中の位置を示す座標、もしくは各部分の切り出し画像）を生成する。さらに、部位検知紐付け部１３１１は、検知された人物ＰＳ１の識別情報である対象物ＩＤ（例えばＡ００１）を用いて、全身枠部分ＷＫ１、肩甲骨上枠部分ＷＫ２、顔枠部分ＷＫ３をそれぞれ特定する情報（上述参照）に同一の対象物ＩＤ（例えばＡ００１）を付与して紐付けする。これにより、部位検知紐付け部１３１１は、撮像画像ＩＭＧ１のデータに映る同一の人物（例えば人物ＰＳ１）を検索するための特徴的なパーツとして、全身枠部分ＷＫ１、肩甲骨上枠部分ＷＫ２、顔枠部分ＷＫ３の異なる３つのパーツを同一の人物ＰＳ１に紐づけることができるので、クライアントサーバ２０による人物ＰＳ１の検索精度を向上させることができる。

追尾部１３１２は、部位検知紐付け部１３１１による検知結果ならびに紐付け処理結果を用いて、後述する追尾処理用の追尾枠を生成する（図７参照）。追尾枠の生成方法については、図７を参照して後述する。また、追尾部１３１２は、部位検知紐付け部１３１１による検知結果ならびに紐付け処理結果（例えば、撮像画像のデータに映る対象物の対象物ＩＤで紐付けされた複数のパーツのそれぞれの座標情報）を用いて、撮像部１１から入力される撮像画像のデータに映る対象物の行方（いわゆる動線）を追尾するための追尾処理を実行する。

ベストショット判定部１３１３は、部位検知紐付け部１３１１による検知結果ならびに紐付け処理結果と追尾部１３１２による対象物の追尾処理の結果とを入力する。ベストショット判定部１３１３は、部位検知紐付け部１３１１による検知結果ならびに紐付け結果と追尾部１３１２による対象物の追尾処理の結果とに基づいて、部位検知紐付け部１３１１により検知されたパーツが属性情報の識別処理に適する程度の画像品質を有するベストショットであるか否かを判定する。

ここで、部位検知紐付け部１３１１により検知されたパーツがベストショットであるか否かは、次のように判別可能である。例えば、ベストショット判定部１３１３は、フレーム中に人物ＰＳ１の全身、人物ＰＳ１の肩甲骨上部、人物ＰＳ１の顔の全てのうち少なくとも１つが部位検知紐付け部１３１１により検知された場合、その検知されたパーツはベストショットであると判定する。一方、ベストショット判定部１３１３は、フレーム中に人物ＰＳ１の全身、人物ＰＳ１の肩甲骨上部、人物ＰＳ１の顔のうちいずれか一つも部位検知紐付け部１３１１により検知されなかった場合、ベストショットのパーツはないと判定する。また、ベストショット判定部１３１３は、フレーム中に人物ＰＳ１の全身、人物ＰＳ１の肩甲骨上部、人物ＰＳ１の顔の全てを検知しかつその検知位置（つまり撮像画像中の座標）が中央付近である（言い換えると撮像画像のエッジ付近ではない）場合、それぞれのパーツをベストショットと判定してもよい。

部位識別部１３１４は、部位検知紐付け部１３１１により検知されたパーツがベストショットであるとのベストショット判定部１３１３からの判定結果を受けた場合、対象物ＩＤに基づいて撮像部１１から入力されたフレームからベストショットと判定された対象物の特徴的なパーツの画像（図２参照）を切り出し、切り出されたパーツの画像ごとに属性情報（図３参照）をＡＩ（例えばディープラーニング）に基づいて識別する。つまり、部位識別部１３１４は、部位検知紐付け部１３１１により切り出された対象物の特徴的なパーツの切り出し画像（図２参照）の属性情報（図３参照）をＡＩ（例えばディープラーニング）に基づいて識別（例えば、その属性情報が具体的にどのような内容を有するかを解析）する。

ここで、属性情報について、図３を参照して説明する。図３は、画像の種別と監視カメラ１０により識別される属性との関係例を示す属性情報テーブルである。図３では、対象物が人物であり、部位識別部１３１４による識別処理の対象となるパーツの切り出し画像（図２参照）として、全身枠画像および肩甲骨上枠画像が例示されている。

部位識別部１３１４は、対象物の全身枠画像中に映る特徴的要素（例えば、服の色、服の種別、かばんの有無、マフラーの有無）を属性情報として識別して抽出する。なお、服の種別は、対象物（例えば人物）が着ている服の袖の長さを示す。これらの特徴的要素である属性情報は、クライアントサーバ２０による人物の検索時に検索条件（つまり、人物の全身を映す画像から得られる人物の特徴的な要素）として使用可能となる検索用の項目である。これにより、このような属性情報が検索条件として入力されることでクライアントサーバ２０の検索処理の負荷軽減が可能となる点において検索の効率性が増すことになる。

また、部位識別部１３１４は、対象物の肩甲骨上枠画像中に映る特徴的要素（例えば、髪型、髪色、髭、マスクの有無、めがねの有無、年齢、性別）を属性情報として識別して抽出する。これらの特徴的要素である属性情報は、クライアントサーバ２０による人物の検索時に検索条件（つまり、人物の肩甲骨上部を映す画像から得られる人物の特徴的な要素）として使用可能となる検索用の項目である。これにより、このような属性情報が検索条件として入力されることでクライアントサーバ２０の検索処理の負荷軽減が可能となる点において検索の効率性が増すことになる。

検知エリア・閾値設定部１３２は、クライアントサーバ２０から送信されるマスキングエリア（つまり、対象物の検知の対象除外となるエリア）の設定データを、受信部１４を介して取得してＡＩ処理部１３１に設定する。この設定データは、ＡＩ処理部１３１によるＡＩの処理時に使用されるパラメータである。例えばマスキングエリアの設定データがＡＩ処理部１３１に設定されると、部位検知紐付け部１３１１は、監視カメラ１０の画角内のモニタリングエリアからマスキングエリアを除いたエリアを、対象物を検知するためのエリアとして対象物を検知する。

また、検知エリア・閾値設定部１３２は、クライアントサーバ２０から送信される検知用の閾値の設定データを、受信部１４を介して取得してＡＩ処理部１３１に設定する。この設定データは、ＡＩ処理部１３１によるＡＩの処理時に使用されるパラメータである。例えば閾値の設定データがＡＩ処理部１３１に設定されると、部位検知紐付け部１３１１は、ＡＩの処理結果として得られるスコア（言い換えると、検知の精度を示す確率）が閾値の設定データを超えた場合に検知結果を出力する。

受信部１４は、ネットワークＮＷ１からデータの受信を行うための通信回路を用いて構成され、例えばクライアントサーバ２０から送信されたデータを、ネットワークＮＷ１を介して受信する。例えば、受信部１４は、クライアントサーバ２０から送信された検知エリアもしくはＡＩを用いた対象物のパーツの検知用の閾値のデータを受信してプロセッサ１３に出力する。

送信部１５は、ネットワークＮＷ１にデータの送信を行うための通信回路を用いて構成され、例えばプロセッサ１３により生成されたデータを、ネットワークＮＷ１を介して送信する。例えば、送信部１５は、プロセッサ１３により生成された送信用データ（例えば、対象物のパーツごとの属性情報の識別結果と識別処理に用いたベストショットに関する情報）を、ネットワークＮＷ１を介してクライアントサーバ２０に送信する。

クライアントサーバ２０は、運営者の下で運営される監視カメラシステム１００の利用者であるユーザによって使用されるコンピュータであり、ネットワークＮＷ１を介して、監視カメラ１０との間でデータの送受信を実行する。クライアントサーバ２０は、監視カメラ１０のパラメータの一例としての設定データ（上述参照）を、ネットワークＮＷ１を介して監視カメラ１０に送信して設定させることができる。設定データは、例えば、マスキングエリアの設定データ、あるいは、監視カメラ１０のＡＩによる対象物の検知用の閾値の設定データである。また、クライアントサーバ２０は、ユーザの操作により入力された検索条件（例えば図３に示される属性情報）に基づいて、記憶部２６を参照して検索条件を満たす画像データあるいは画像データのサムネイルを抽出あるいは生成して表示部２７に表示することができる。

クライアントサーバ２０は、入力部２１と、メモリ２２と、プロセッサ２３と、受信部２４と、送信部２５と、記憶部２６と、表示部２７とを含む。入力部２１、メモリ２２、受信部２４、送信部２５、記憶部２６および表示部２７のそれぞれは、プロセッサ２３との間で内部バス（図示略）を介してデータの入力あるいは出力が可能となるように接続される。なお、入力部２１と、メモリ２２と、プロセッサ２３と、受信部２４と、送信部２５と、記憶部２６と、表示部２７とを含むコンピュータの構成を備えるのであれば、クライアントサーバ２０の代わりに、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、あるいはタブレットにより構成されてもよい。

入力部２１は、ユーザの入力操作を検知するユーザインターフェースであり、例えばマウス、キーボードまたはタッチパネルなどを用いて構成される。入力部２１は、ユーザの入力操作により指定された各種の入力事項（例えば対象物の検索条件）のデータを受け付けてプロセッサ２３に送る。

メモリ２２は、例えばＲＡＭとＲＯＭとを用いて構成され、クライアントサーバ２０の動作の実行に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、クライアントサーバ２０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、クライアントサーバ２０を制御するためのプログラムを予め記憶して保持する。言い換えると、プロセッサ２３は、ＲＯＭに記憶されているプログラムを実行することで、コンピュータであるクライアントサーバ２０に各種の処理（ステップ）を実行可能である。例えば、メモリ１２は、入力部２１により入力された検索条件を満たす対象物の画像データあるいはサムネイルの検索処理を行うためのプログラムを格納している。

プロセッサ２３は、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡを用いて構成される。プロセッサ２３は、クライアントサーバ２０の全体的な動作を司るコントローラとして機能し、クライアントサーバ２０の各部の動作を統括するための制御処理、クライアントサーバ２０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ２３は、メモリ２２に記憶されたプログラムに従って動作する。プロセッサ２３は、動作時にメモリ２２を使用し、プロセッサ２３が生成または取得したデータをメモリ２２に一時的に保存する。プロセッサ２３は、人物検索部２３１および検索出力部２３２を有する。

人物検索部２３１は、ユーザの操作によって入力部２１により入力された検索条件を満たす対象物の画像データあるいはサムネイルの検索処理を行い、検索処理の結果を検索出力部２３２に送る。

検索出力部２３２は、人物検索部２３１からの検索処理の結果を表示部２７に出力して表示させる。

受信部２４は、ネットワークＮＷ１からデータの受信を行うための通信回路を用いて構成され、例えば監視カメラ１０から送信された送信用データ（例えば、対象物のパーツごとの属性情報の識別結果と識別処理に用いたベストショットに関する情報）を、ネットワークＮＷ１を介して受信する。例えば、受信部２４は、監視カメラ１０から送信された送信用データを受信してプロセッサ２３に出力する。

送信部２５は、ネットワークＮＷ１にデータの送信を行うための通信回路を用いて構成され、例えばプロセッサ２３により生成されたデータを、ネットワークＮＷ１を介して送信する。例えば、送信部２５は、プロセッサ２３により生成された検知エリアもしくはＡＩを用いた対象物のパーツの検知用の閾値のデータを、ネットワークＮＷ１を介して監視カメラ１０に送信する。

記憶部２６は、例えばフラッシュメモリ、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を用いて構成される。記憶部２６は、１台以上の監視カメラ１０からそれぞれ送信された送信用データを送信元の監視カメラ１０の識別情報と対応付けて格納（保存）する。

表示部２７は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイを用いて構成される。表示部２７は、ユーザの操作に基づいてプロセッサ２３により生成された検索結果のデータを表示する。

次に、実施の形態１に係る監視カメラ１０の紐付け処理の動作手順例について、図４を参照して説明する。図４は、実施の形態１に係る監視カメラ１０による紐付け処理の動作手順例を示すフローチャートである。図４に示す動作手順は、主に監視カメラ１０のプロセッサ１３のＡＩ処理部１３１の部位検知紐付け部１３１１によって、撮像部１１から撮像画像のデータがプロセッサ１３に入力される度に実行される。

図４において、ＡＩ処理部１３１は、撮像部１１から入力された撮像画像のデータに映る、対象物（例えば人物）の特徴的な複数のパーツ（部位）をＡＩ（例えば部位検知紐付け部１３１１）に基づいて検知する（Ｓｔ１）。ステップＳｔ１では、ＡＩに基づく検知結果として、例えば図２に示したように、全身枠部分ＷＫ１、肩甲骨上枠部分ＷＫ２、顔枠部分ＷＫ３を特定する情報（例えば撮像画像中の位置を示す座標、もしくは各部分の切り出し画像）が生成される。

ＡＩ処理部１３１は、ステップＳｔ１で検知された対象物の主要部位（例えば肩甲骨上部）を特定する情報（例えば主要部位の撮像画像中の位置を示す座標、もしくは主要部位の切り出し画像）に新規の対象物ＩＤ（例えば図２に示した「Ａ００１」）を付与する（Ｓｔ２）。ここで、対象物が人物である場合の主要部位（主要パーツ）が肩甲骨上部としているのは、撮像画像のデータに映る人物のパーツとして比較的安定して検知され易く、かつ肩甲骨上部に対応する肩甲骨上枠画像の識別処理により得られる属性情報の数が最も多いので（図３参照）、対象物である人物の特徴的なパーツとしての有用性が高いためである。

ステップＳｔ２に続くステップＳｔ３では、ＡＩ処理部１３１は、ステップＳｔ２で対象物ＩＤが付与された主要部位と他の特徴的なパーツとを紐付け処理する（Ｓｔ３～Ｓｔ５）。このステップＳｔ３～Ｓｔ５は、撮像部１１から入力された撮像画像のデータに映る対象物の主要部位ごとに実行される。なお、撮像部１１から入力された撮像画像のデータにおいて、同一の対象物からステップＳｔ１で複数のパーツが検知できず単一であった場合にはその対象物に対応する紐付け処理ができないため、その対象物を対象としたステップＳｔ３～Ｓｔ５の処理は省略される。

ＡＩ処理部１３１は、ステップＳｔ１において検知された対象物の主要部位とステップＳｔ１において検知された対象物の他のパーツとが同一の対象物から検知されたものとして紐付け処理が可能か否かを判定する（Ｓｔ４）。例えば、ＡＩ処理部１３１は、ステップＳｔ１において検知された主要部位（例えば肩甲骨上枠部分）を有する同一の対象物（例えば人物）から検知された他のパーツ（例えば全身枠部分、顔枠部分）が存在するか否かを判定する（Ｓｔ４）。主要部位を有する同一の対象物から検知された他のパーツが無い場合には（Ｓｔ４、ＮＯ）、その対象物に関する紐付け処理ができないのでＡＩ処理部１３１は現在処理中の撮像画像のデータに映る他の対象物に関する紐付け処理を実行する。つまり、ＡＩ処理部１３１は、ステップＳｔ１で検知された対象物ごとに、主要部位と他のパーツとの紐付け処理ができるか否かを判定して紐付け処理ができると判定した場合に紐付け処理を実行する。

一方、ＡＩ処理部１３１は、主要部位を有する同一の対象物から検知された他のパーツがある場合には（Ｓｔ４、ＹＥＳ）、主要部位を有する同一の対象物から検知された他のパーツを特定する情報（例えば他のパーツの撮像画像中の位置を示す座標、もしくは他のパーツの切り出し画像）に、主要部位を特定する情報に付与された対象物ＩＤと同一の対象物ＩＤを付与することで紐付け処理する（Ｓｔ５）。

なお、ステップＳｔ１において単一のパーツ（例えば、全身枠、肩甲骨上部、あるいは顔）しか検知できなかった場合、ＡＩ処理部１３１は、その対象物に関してその単一のパーツを特定する情報（例えばそのパーツの撮像画像中の位置を示す座標、もしくはその他のパーツの切り出し画像）に新規の対象物ＩＤを付与する（Ｓｔ６）。

また実施の形態１では、ＡＩ処理部１３１の部位検知紐付け部１３１１は、撮像画像のデータに映る複数の対象物の主要部位同士を紐付け処理してもよい（図５参照）。図５は、撮像画像ＩＭＧ２のデータに映る対象物としての人物および自転車の紐付け例の説明図である。つまり、図５の例では、１人の人物および１台の自転車のペアが複数の対象物となり、３組のペアが示されている。

具体的には、図５に示すように、撮像画像ＩＭＧ２のデータには３人の人物および３台の自転車が映っている。３人の人物のそれぞれの間近に各人物が使用している自転車が位置している。このような撮像画像ＩＭＧ２のデータが入力されると、ＡＩ処理部１３１は、撮像画像ＩＭＧ２のデータに映る複数の対象物のそれぞれをＡＩに基づいて検知し、検知された対象物ごとにパーツを特定する。例えば、ＡＩ処理部１３１は、人物の全身枠部分ＷＫ１１，ＷＫ１２，ＷＫ１３および自転車の全体枠部分ＷＫ１４，ＷＫ１５，ＷＫ１６を特定する。

ＡＩ処理部１３１は、例えば人物の全身枠部分ＷＫ１１と自転車の全体枠部分ＷＫ１４との距離、人物の全身枠部分ＷＫ１２と自転車の全体枠部分ＷＫ１５との距離、人物の全身枠部分ＷＫ１３と自転車の全体枠部分ＷＫ１６との距離がそれぞれ近いことに基づいて、人物の全身枠部分ＷＫ１１および自転車の全体枠部分ＷＫ１４、人物の全身枠部分ＷＫ１２および自転車の全体枠部分ＷＫ１５、人物の全身枠部分ＷＫ１３および自転車の全体枠部分ＷＫ１６のそれぞれを紐付け処理する。例えば、ＡＩ処理部１３１は、人物の全身枠部分ＷＫ１１および自転車の全体枠部分ＷＫ１４に対象物ＩＤ「Ｂ００１」を付与し、人物の全身枠部分ＷＫ１２および自転車の全体枠部分ＷＫ１５に対象物ＩＤ「Ｂ００２」を付与し、人物の全身枠部分ＷＫ１３および自転車の全体枠部分ＷＫ１６に対象物ＩＤ「Ｂ００３」を付与する。これにより、監視カメラ１０は、撮像画像ＩＭＧ２のデータに映る、異なる種別（例えば人物、自転車）を有する複数の対象物のペアを同一の対象物ＩＤで紐付け処理できる。

次に、実施の形態１に係る監視カメラ１０の対象物の主要部位あるいは他のパーツの識別処理の動作手順例について、図６を参照して説明する。図６は、実施の形態１に係る監視カメラ１０による部位ごとの識別処理の動作手順例を示すフローチャートである。図６に示す動作手順は、図４に示す動作手順の後に、主に監視カメラ１０のプロセッサ１３のＡＩ処理部１３１の追尾部１３１２、ベストショット判定部１３１３および部位識別部１３１４のそれぞれによって、撮像部１１から撮像画像のデータがプロセッサ１３に入力される度に実行される。したがって、図６の動作手順が開始される前に、図４を参照して説明した対象物に関する紐付け処理結果が得られている。

図６において、ＡＩ処理部１３１は、撮像部１１から入力された撮像画像のデータに映る１つ以上の対象物（例えば人物）に関する紐付け処理結果（図４参照）を用いて、その対象物の行方（いわゆる動線）を追跡するための追尾処理（トラッキング）を追尾部１３１２において行う（Ｓｔ１１）。このステップＳｔ１１の動作の詳細については、図７および図８を参照して詳述する。

ＡＩ処理部１３１は、部位検知紐付け部１３１１により検知された主要部位あるいは他のパーツが識別処理に適するベストショットであるか否かをベストショット判定部１３１３において判定する（Ｓｔ１２）。なお、主要部位あるいは他のパーツがベストショットであるか否かの判定方法は上述した通りであるため、ここでの説明は割愛する。主要部位あるいは他のパーツがベストショットではないと判定された場合には（Ｓｔ１３、ＮＯ）、その撮像画像のデータ（フレーム）は対象物の主要部位あるいは他のパーツの識別処理に適さないので、その撮像画像のデータ（フレーム）に関する図６の動作手順は終了する。

ＡＩ処理部１３１は、主要部位あるいは他のパーツがベストショットであると判定した場合（Ｓｔ１３、ＹＥＳ）、主要部位あるいは他のパーツごとに識別処理を実行する（Ｓｔ１４～Ｓｔ１６）。具体的には、ＡＩ処理部１３１は、ベストショットと判定された主要部位あるいは他のパーツ（言い換えると、パーツ）のそれぞれごとに、撮像画像のデータから該当する部位の画像を切り出す（Ｓｔ１５）。つまり、ＡＩ処理部１３１は、主要部位あるいは他のパーツの切り出し画像を生成する（Ｓｔ１５）。

ＡＩ処理部１３１は、ステップＳｔ１５において生成された主要部位あるいは他のパーツの切り出し画像と属性情報テーブル（例えば、切り出し画像の種別とその種別に応じた属性情報との関係を規定したテーブル、図３参照）とを用いて、その切り出し画像の識別処理をＡＩ（例えばディープラーニング）に基づいて実行する（Ｓｔ１６）。例えば、切り出し画像の種別が肩甲骨上枠画像である場合、ＡＩ処理部１３１は、肩甲骨上枠画像に応じた属性情報（例えば、髪型、髪色、髭、マスクの有無、めがねの有無、年齢、性別）の各内容を抽出する。また、例えば切り出し画像の種別が全身枠画像である場合、ＡＩ処理部１３１は、全身枠画像に応じた属性情報（例えば、服の色、服の種別、かばんの有無、マフラーの有無）の各内容を抽出する。

プロセッサ１３は、ＡＩ処理部１３１により実行されたステップＳｔ１４～Ｓｔ１６の識別結果データを取得するとともに、この識別結果データと識別処理に用いたベストショットの情報を示すベストショット情報とを含めた送信用データを生成する。ベストショット情報は、例えばベストショットであると判定されたパーツが映る撮像画像が撮像された日時情報、ベストショットのＩＤ、ベストショットであると判定されたパーツの撮像画像中の位置を示す座標等の位置情報を少なくとも含む。識別結果データは、例えばＡＩ処理部１３１による識別処理の結果（例えば各属性情報の内容を示すデータ、ＡＩの識別処理精度を示すスコア）を少なくとも含む。プロセッサ１３は、この生成された送信用データを、送信部１５およびネットワークＮＷ１を介してクライアントサーバ２０に送信する（Ｓｔ１７）。

次に、監視カメラ１０による対象物の行方（いわゆる動線）を追跡するための追尾処理（トラッキング）の動作手順例について、図７および図８を参照して説明する。図７は、追尾枠の生成例の説明図である。図８は、図６のステップＳｔ１１の詳細な動作手順例を示すフローチャートである。図８に示す動作手順は、図４に示す動作手順の後に、主に監視カメラ１０のプロセッサ１３のＡＩ処理部１３１の追尾部１３１２によって、撮像部１１から撮像画像のデータがプロセッサ１３に入力される度に実行される。したがって、図８の動作手順が開始される前に、図４を参照して説明した対象物に関する紐付け処理結果が得られている。

図８において、ＡＩ処理部１３１は、部位検知紐付け部１３１１による検知結果ならびに紐付け処理結果を用いて、対象物ごとに追尾処理用の追尾枠Ｃ１～Ｃ４（図７参照）を生成する（Ｓｔ２１～Ｓｔ２５）。

ここで、図７を参照して追尾部１３１２による追尾枠の生成方法例について説明する。追尾枠の生成方法は、（１）対象物（例えば人物）の肩甲骨上部が検知された場合、（２）対象物（例えば人物）の顔のみが検知された場合、（３）対象物（例えば人物）の全身のみが検知された場合、（４）対象物（例えば人物）の全身および顔のみが検知された場合、の４通りで異なる。図７の説明において、対象物（例えば人物）の主要部位は図４の説明と同様に肩甲骨上部である。

（方法１）対象物（例えば人物）の肩甲骨上部が検知された場合
追尾部１３１２は、肩甲骨上部を示す肩甲骨上枠Ｂ１が部位検知紐付け部１３１１により検知された場合、例えばその肩甲骨上枠Ｂ１と同一の領域を追尾枠Ｃ１として採用して追尾枠Ｃ１のデータ（追尾枠情報の一例）を生成する。この追尾枠Ｃ１のデータが後述するステップＳｔ２６の追尾処理に用いられる。

（方法２）対象物（例えば人物）の顔のみが検知された場合
追尾部１３１２は、顔を示す顔枠Ｂ２のみが部位検知紐付け部１３１１により検知された場合、例えばその顔枠Ｂ２を２倍に拡大した領域を追尾枠Ｃ２として採用して追尾枠Ｃ２のデータ（追尾枠情報の一例）を生成する。この追尾枠Ｃ２のデータが後述するステップＳｔ２６の追尾処理に用いられる。

（方法３）対象物（例えば人物）の全身のみが検知された場合
追尾部１３１２は、全身を示す全身枠Ｂ３のみが部位検知紐付け部１３１１により検知された場合、例えば幅に関して全身枠Ｂ３の幅を０．６倍に縮小し、高さに関して全身枠Ｂ３の幅を１．０７倍に拡大し、水平方向を示すＸ方向（図７参照）の中心位置を全身枠Ｂ３のＸ方向の座標と一致させ、かつ、鉛直方向を示すＹ方向（図７参照）の中心位置を全身枠Ｂ３の上端の位置から全身枠Ｂ３の高さ（Ｙ方向）の０．２倍した分だけＹ方向に移動した座標と一致させることで得られた領域を追尾枠Ｃ３として採用して追尾枠Ｃ３のデータ（追尾枠情報の一例）を生成する。この追尾枠Ｃ３のデータが後述するステップＳｔ２６の追尾処理に用いられる。

（方法４）対象物（例えば人物）の全身および顔のみが検知された場合
追尾部１３１２は、全身枠Ｂ３および顔枠Ｂ２のみが部位検知紐付け部１３１１により検知された場合、顔のみの検知に基づく追尾枠Ｃ２の領域と全身のみの検知に基づく追尾枠Ｃ３の領域とを平均化した領域を追尾枠Ｃ４として採用して追尾枠Ｃ４のデータ（追尾枠情報の一例）を生成する。この追尾枠Ｃ４のデータが後述するステップＳｔ２６の追尾処理に用いられる。

ＡＩ処理部１３１は、図４を参照して説明した対象物に関する紐付け処理結果に基づいて、対象物において比較的安定的に検知され易い主要部位（例えば対象物が人物である場合の肩甲骨上部）が検知されたか否かを判定する（Ｓｔ２２）。ＡＩ処理部１３１は、対象物の主要部位が検知されたと判定した場合（Ｓｔ２２、ＹＥＳ）、上述した（方法１）を参照して、撮像部１１から入力された撮像画像のデータにおける主要部位の座標（言い換えると、位置）から追尾枠（例えば追尾枠Ｃ１）を生成する（Ｓｔ２３）。

一方、ＡＩ処理部１３１は、対象物の主要部位が検知されなかったと判定した場合（Ｓｔ２２、ＮＯ）、上述した（方法２）～（方法４）のうちいずれかを参照して、その対象物の主要部位以外の他の部位（例えば全身、顔）から主要部位（例えば肩甲骨上部）の位置（座標）を推定する（Ｓｔ２４）。さらに、ＡＩ処理部１３１は、上述した（方法２）～（方法４）のうちいずれかを参照して、ステップＳｔ２４において推定された主要部位の位置（座標）から追尾枠を生成する（Ｓｔ２５）。

ＡＩ処理部１３１は、ステップＳｔ２２～Ｓｔ２５において生成された追尾枠を用いて、撮像画像のデータ中に映る対象物の行方（いわゆる動線）を追跡するための追尾処理（トラッキング）を追尾部１３１２において実行する（Ｓｔ２６）。つまり、追尾枠は追尾処理において追尾対象となる対象物の行方（いわゆる動線）を安定して検知するために生成されるので、ＡＩ処理部１３１の追尾部１３１２は、撮像画像のデータ中に映る対象物ごとの追尾枠の位置の変化を画像解析によって捉えることで、対象物の追尾処理を安定して行うことができる。

以上により、実施の形態１に係る監視カメラ１０は、画角内の少なくとも１つの対象物（例えば人物）を撮像する撮像部１１と、人工知能（ＡＩ）を搭載し、撮像部１１から入力される撮像画像のデータに映る対象物の特徴的な複数のパーツ（例えば全身、肩甲骨上部、顔）を人工知能に基づいて検知するプロセッサ１３と、を備える。プロセッサ１３は、検知された複数のパーツのそれぞれを特定する情報（例えばパーツの撮像画像中の位置を示す座標、もしくはパーツの切り出し画像）を、複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする。

これにより、監視カメラ１０は、モニタリングエリア内で設定された画角内の撮像画像のデータ（映像データ）に映る対象物に関する複数の特徴的なパーツを的確に紐付けできるので、画角内の映像データに映る１つ以上の対象物の検索精度の向上を支援できる。

また、プロセッサ１３は、同一の対象物ＩＤで紐付けされた複数のパーツのそれぞれの紐付け処理結果（例えば全身枠部分、肩甲骨上枠部分、顔枠部分等の位置を特定する情報）を用いて、対象物ＩＤに対応する対象物の追尾処理を実行する。これにより、監視カメラ１０は、次々に撮像部１１から入力されてくる撮像画像のデータに映る対象物の行方（いわゆる動線）を的確に捕捉できる。

また、プロセッサ１３は、対象物ＩＤが付与されたパーツが対象物の属性情報の識別処理に適するベストショットであるか否かを判定する。プロセッサ１３は、対象物ＩＤが付与されたパーツがベストショットであると判定した場合に、紐付けに用いた対象物ＩＤに基づいて撮像画像のデータからベストショットと判定されたパーツを切り出し、切り出されたパーツに属性情報の識別処理を実行する。これにより、監視カメラ１０は、識別処理に適する高品質なベストショットのパーツを撮像画像のデータから切り出した切り出し画像データを得ることができ、それぞれの切り出し画像データの識別処理によって同一の対象物から数多くの属性情報の内容を的確に抽出できる。

また、監視カメラ１０は、対象物の特徴的なパーツごとの属性情報の識別結果（識別処理結果）とベストショットに関する情報（ベストショット情報）とを、監視カメラ１０と通信可能に接続されたサーバ（例えばクライアントサーバ２０）に送信する送信部１５、をさらに備える。これにより、クライアントサーバ２０は、監視カメラ１０によって得られた対象物（例えば人物）ごとの属性情報の識別結果とその識別処理に用いたベストショットに関する情報とを対応付けて保存できるので、その対象物に関する検索処理の精度を向上できる。

また、対象物は、少なくとも１人の人物である。複数のパーツは、人物の肩甲骨上部と、人物の全身あるいは人物の顔とを有する。これにより、監視カメラ１０は、モニタリングエリアに現れる１人以上の人物について、各人物の特徴的なパーツの画像から人物の特徴的な情報である様々な属性情報を網羅的に抽出できる。

また、プロセッサ１３は、肩甲骨上部を示す肩甲骨上枠の切り出し画像に基づいて人物の性別、年齢、髪型、髪色、髭、マスクおよび眼鏡の有無のうち少なくとも１つを識別する。プロセッサ１３は、全身を示す全身枠の切り出し画像に基づいて人物の服の種別、服色、かばんおよびマフラーのうち少なくとも１つを識別する。これにより、監視カメラ１０は、人物の肩甲骨上部を示す肩甲骨上枠の切り出し画像に基づいて、人物の性別、年齢、髪型、髪色、髭、マスクおよび眼鏡の有無のうち少なくとも１つの内容を高精度に抽出できる。また、監視カメラ１０は、人物の全身を示す全身枠の切り出し画像に基づいて、人物の服の種別、服色、かばんおよびマフラーのうち少なくとも１つの内容を高精度に抽出できる。

また、対象物は、複数の人物および乗り物である。複数のパーツは、人物の全身と、乗り物全体とを有する。これにより、監視カメラ１０は、撮像画像のデータに映る、異なる種別（例えば人物、自転車）を有する複数の対象物のペアを同一の対象物ＩＤで紐付け処理できる。

また、実施の形態１に係る監視カメラ１０は、画角内の少なくとも１つの対象物（例えば人物）を撮像する撮像部１１と、人工知能（ＡＩ）を搭載し、撮像部１１から入力される撮像画像のデータに映る対象物の特徴的なパーツ（例えば全身、肩甲骨上部、顔）を人工知能に基づいて検知するプロセッサ１３と、を備える。プロセッサ１３は、人工知能に基づいて検知されたパーツである検知パーツ（例えば全身、肩甲骨上部、顔）が対象物の追尾処理に適する優先パーツ（例えば肩甲骨上部）であるか否かを判定する。プロセッサ１３は、検知パーツが優先パーツであると判定した場合に（上述した（方法１）参照）、優先パーツを追尾枠として用いて対象物の追尾処理を実行する。

これにより、監視カメラ１０は、モニタリングエリア内で設定された画角内の撮像画像のデータ（映像データ）に映る対象物（例えば人物）の追尾に適する優先パーツ（例えば肩甲骨上部）を追尾枠として利用できるので、画角内の映像データに映る対象物の追尾精度の向上を支援できる。したがって、例えば監視カメラ１０から人物を見た場合に、その人物の手前に遮蔽物（例えば机、複合機、壁）の一部あるいは全部が人物を遮蔽する場合であっても、優先パーツ（例えば肩甲骨上部）を追尾枠として利用することで、クライアントサーバ２０が効率的な検索処理を実行できる。

また、プロセッサ１３は、検知パーツが優先パーツでないと判定した場合に（上述した（方法２）～（方法４）参照）、検知パーツに基づいて追尾枠を生成して対象物の追尾処理を実行する。これにより、監視カメラ１０は、対象物の動きあるいは姿勢等によって優先パーツの検知が困難な状況であっても、優先パーツではない検知パーツ（例えば全身、顔）を特定する情報（例えば検知パーツの撮像画像中の位置を示す座標）から優先パーツ（例えば肩甲骨上部）の位置を推定して追尾枠を生成できるので、汎用的かつ的確に対象物の追尾処理を実行できる。

また、対象物は、少なくとも１人の人物である。優先パーツは、人物の肩甲骨上部である。これにより、監視カメラ１０は、モニタリングエリアに現れる１人以上の人物について、各人物の肩甲骨上部を示す肩甲骨上枠部分を特定する情報（例えば肩甲骨上部の撮像画像中の位置を示す座標）を用いて、高精度に追尾処理を行える。

また、プロセッサ１３は、検知パーツが人物の顔のみであると判定した場合に、人物の顔枠情報（つまり、顔枠部分を特定する、撮像画像中の座標等の情報）に基づいて追尾枠を生成する。これにより、監視カメラ１０は、人物の動きあるいは姿勢等によってＡＩに基づいて顔しか検知できなかった場合でも、顔枠情報（上述参照）を用いて優先パーツ（例えば肩甲骨上部）の位置を高精度に推定できるので、人物を対象とした追尾処理の精度劣化を抑制できる。

また、プロセッサ１３は、検知パーツが人物の全身のみであると判定した場合に、人物の全身枠情報（つまり、全身枠部分を特定する、撮像画像中の座標等の情報）に基づいて追尾枠を生成する。これにより、監視カメラ１０は、人物の動きあるいは姿勢等によってＡＩに基づいて全身しか検知できなかった場合でも、全身枠情報（上述参照）のデータを用いて優先パーツ（例えば肩甲骨上部）の位置を高精度に推定できるので、人物を対象とした追尾処理の精度劣化を抑制できる。

また、プロセッサ１３は、検知パーツが人物の顔および全身のみであると判定した場合に、人物の顔枠情報（上述参照）および全身枠情報（上述参照）に基づいて追尾枠を生成する。これにより、監視カメラ１０は、人物の動きあるいは姿勢等によってＡＩに基づいて全身および顔しか検知できなかった場合でも、全身枠情報（上述参照）および顔枠情報（上述参照）の各データを用いて優先パーツ（例えば肩甲骨上部）の位置を高精度に推定できるので、人物を対象とした追尾処理の精度劣化を抑制できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、画角内の映像データに映る１つ以上の対象物の検索精度の向上を支援する監視カメラ、パーツ紐付け方法およびプログラムとして有用である。

１０ 監視カメラ
１１ 撮像部
１２、２２ メモリ
１３、２３ プロセッサ
１４、２４ 受信部
１５、２５ 送信部
２０ クライアントサーバ
２１ 入力部
２６ 記憶部
２７ 表示部
１３１ ＡＩ処理部
１３２ 検知エリア・閾値設定部
１３１１ 部位検知紐付け部
１３１２ 追尾部
１３１３ ベストショット判定部
１３１４ 部位識別部
１００ 監視カメラシステム
ＮＷ１ ネットワーク

本開示は、画角内の少なくとも１人の人物を撮像する撮像部と、人工知能を搭載し、前記撮像部から入力される同一の撮像画像に映る前記人物の特徴的な属性情報の識別に適する複数のパーツを前記人工知能に基づいて検知するプロセッサと、を備え、前記プロセッサは、検知された前記複数のパーツを、同一の識別情報を用いて紐付けし、検知された前記複数のパーツのそれぞれに応じて、異なる属性情報を識別する、監視カメラを提供する。

また、本開示は、人工知能を搭載する監視カメラにより実行されるパーツ紐付け方法であって、画角内の少なくとも１人の人物を撮像し、入力される同一の撮像画像に映る前記人物の特徴的な属性情報の識別に適する複数のパーツを前記人工知能に基づいて検知し、検知された前記複数のパーツを、同一の識別情報を用いて紐付けし、検知された前記複数のパーツのそれぞれに応じて、異なる属性情報を識別する、パーツ紐付け方法を提供する。

また、本開示は、コンピュータである、人工知能を搭載する監視カメラに、画角内の少なくとも１人の人物を撮像する処理と、入力される同一の撮像画像に映る前記人物の特徴的な属性情報の識別に適する複数のパーツを前記人工知能に基づいて検知する処理と、検知された前記複数のパーツを、同一の識別情報を用いて紐付けする処理と、検知された前記複数のパーツのそれぞれに応じて、異なる属性情報を識別する処理と、を実行させるための、プログラムを提供する。

本開示は、画角内の少なくとも１人の人物を撮像する撮像部と、人工知能を搭載し、前記撮像部から入力される同一の撮像画像に映る前記人物の特徴的な属性情報の識別に適する複数のパーツを前記人工知能に基づいて検知するプロセッサと、を備え、前記プロセッサは、前記人工知能に基づいて検知された前記複数のパーツを、同一の識別情報を用いて紐付けし、前記人物の特徴的な属性情報の識別に適する複数のパーツのそれぞれとそのパーツごとに識別される属性情報との関係を定義する属性情報テーブルを用いて、前記人工知能に基づいて検知されて前記同一の識別情報を用いて紐付けされた前記複数のパーツのそれぞれに応じて、前記パーツごとに異なる属性情報を識別する、監視カメラを提供する。

また、本開示は、人工知能を搭載する監視カメラにより実行されるパーツ紐付け方法であって、画角内の少なくとも１人の人物を撮像し、入力される同一の撮像画像に映る前記人物の特徴的な属性情報の識別に適する複数のパーツを前記人工知能に基づいて検知し、前記人工知能に基づいて検知された前記複数のパーツを、同一の識別情報を用いて紐付けし、前記人物の特徴的な属性情報の識別に適する複数のパーツのそれぞれとそのパーツごとに識別される属性情報との関係を定義する属性情報テーブルを用いて、前記人工知能に基づいて検知されて前記同一の識別情報を用いて紐付けされた前記複数のパーツのそれぞれに応じて、前記パーツごとに異なる属性情報を識別する、パーツ紐付け方法を提供する。

また、本開示は、コンピュータである、人工知能を搭載する監視カメラに、画角内の少なくとも１人の人物を撮像する処理と、入力される同一の撮像画像に映る前記人物の特徴的な属性情報の識別に適する複数のパーツを前記人工知能に基づいて検知する処理と、前記人工知能に基づいて検知された前記複数のパーツを、同一の識別情報を用いて紐付けする処理と、前記人物の特徴的な属性情報の識別に適する複数のパーツのそれぞれとそのパーツごとに識別される属性情報との関係を定義する属性情報テーブルを用いて、前記人工知能に基づいて検知されて前記同一の識別情報を用いて紐付けされた前記複数のパーツのそれぞれに応じて、前記パーツごとに異なる属性情報を識別する処理と、を実行させるための、プログラムを提供する。

Claims (9)

1. 画角内の少なくとも１つの対象物を撮像する撮像部と、
   人工知能を搭載し、前記撮像部から入力される撮像画像に映る前記対象物の特徴的な複数のパーツを前記人工知能に基づいて検知するプロセッサと、を備え、
   前記プロセッサは、
   検知された前記複数のパーツのそれぞれを特定する情報を、前記複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする、
   監視カメラ。
2. 前記プロセッサは、
   前記同一の対象物ＩＤで紐付けされた前記複数のパーツのそれぞれの紐付け処理結果を用いて、前記対象物ＩＤに対応する前記対象物の追尾処理を実行する、
   請求項１に記載の監視カメラ。
3. 前記プロセッサは、
   前記対象物ＩＤが付与された前記パーツが前記対象物の属性情報の識別処理に適するベストショットであるか否かを判定し、
   前記対象物ＩＤが付与された前記パーツが前記ベストショットであると判定した場合に、前記対象物ＩＤに基づいて前記撮像画像から前記ベストショットと判定されたパーツを切り出し、切り出された前記パーツに前記属性情報の識別処理を実行する、
   請求項１に記載の監視カメラ。
4. 前記パーツごとの前記属性情報の識別結果と前記ベストショットに関する情報とを、前記監視カメラと通信可能に接続されたサーバに送信する送信部、をさらに備える、
   請求項３に記載の監視カメラ。
5. 前記対象物は、少なくとも１人の人物であり、
   前記複数のパーツは、前記人物の肩甲骨上部と、前記人物の全身あるいは前記人物の顔とを有する、
   請求項３に記載の監視カメラ。
6. 前記プロセッサは、
   前記肩甲骨上部を示す肩甲骨上枠画像に基づいて前記人物の性別、年齢、髪型、髪色、髭、マスクおよび眼鏡の有無のうち少なくとも１つを識別し、
   前記全身を示す全身枠画像に基づいて前記人物の服の種別、服色、かばんおよびマフラーのうち少なくとも１つを識別する、
   請求項５に記載の監視カメラ。
7. 前記対象物は、複数の人物および乗り物であり、
   前記複数のパーツは、前記人物の全身と、前記乗り物全体とを有する、
   請求項１に記載の監視カメラ。
8. 人工知能を搭載する監視カメラにより実行されるパーツ紐付け方法であって、
   画角内の少なくとも１つの対象物を撮像し、
   入力される撮像画像に映る前記対象物の特徴的な複数のパーツを前記人工知能に基づいて検知し、
   検知された前記複数のパーツのそれぞれを特定する情報を、前記複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする、
   パーツ紐付け方法。
9. コンピュータである、人工知能を搭載する監視カメラに、
   画角内の少なくとも１つの対象物を撮像する処理と、
   入力される撮像画像に映る前記対象物の特徴的な複数のパーツを前記人工知能に基づいて検知する処理と、
   検知された前記複数のパーツのそれぞれを特定する情報を、前記複数のパーツに対応する同一の対象物ＩＤを用いて紐付けする処理と、を実行させるための、
   プログラム。

Images