JP2021039592A - センサシステム、画像センサ、およびセンシング方法 - Google Patents

Abstract

【課題】 センサシステムの性能を継続的に高めること。【解決手段】 実施形態によれば、センサシステムは、建物に配設される複数の画像センサと、解析部と、状態判定部とを具備する。解析部は、画像センサにより撮像された画像データを解析して、対象動体の動体情報を取得する。状態判定部は、教師データを用いた機械学習により生成される判定モデルに基づいて、動体情報から対象動体の状態を判定する。【選択図】 図２

Description

本発明の実施形態は、センサシステム、画像センサ、およびセンシング方法に関する。

ＩｏＴ（Internet of Things）機器としての画像センサに注目が集まっている。近年の画像センサはメモリおよびプロセッサ（ＣＰＵ（Central Processing Unit）あるいはＭＰＵ（Micro Processing Unit）等）を備え、いわばレンズ付きの組込みコンピュータといえる。ＡＩ（Artificial Intelligence）技術との親和性も高く、撮影した画像データを分析して、人間の在・不在、あるいは人数などを計算することができる。例えば、chamfer distanceを用いた障害物検知について解説する文献がある。画像センサを用いて検知した動体が人であることを辞書と照合して確認し、照明制御を行う方法なども提案されている。

画像センサにより検知した動体が人であることを辞書に照合して確認し、照明制御を行う技術が知られている。対象人物を２方向から撮像し、少なくとも３方向からの撮像により事前に得られた画像の特徴と比較して人物同定をする方法も知られている。

対象動体に対する識別能の高い特徴量情報を抽出可能な方法として、ＨＯＧ（Histgrams of Oriented Gradients）を用いた方法がある。輝度勾配方向ヒストグラムと呼ばれるこの手法は、候補領域を複数のブロックに分割して、各ブロックの輝度勾配方向をヒストグラム化する方法である。勾配の有無だけを用いることにより、明るさの変化による影響を受けにくく、形状の変化に対しても頑健であるといわれる。さらに形状識別能を高めたＣｏＨＯＧ（Co-occurrence HOG）という手法も開発されている。

特開２０１０−９８４７号公報 特開２０１６−１４４７号公報 特開２０１７−１６９７６８号公報 特表２０１５−５０４６１６号公報

Lakshitha Dantanarayana*, Gamini Dissanayake, Ravindra Ranasinge, C-LOG: A Chamfer distance based algorithm for localisation in occupancy grid-maps, CＡI Transactions on Intelligence Technology 1 (2016) 272e284, http://www.journals.elsevier.com/cａi-transactions-on-intelligence-technology/ Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection, INRIA Rh.one-Alps, 655 avenue de l'Europe, Montbonnot 38334, France

画像センサを用いた画像認識や、機械学習（Machine-Learning）に関する課題の１つは、教師データ（トレーニングデータ）を用いた継続的な学習である。つまり、画像センサを現場に据え付けた後では、教師データを作成することはもはや困難である。教師データを作成することには、人手による大量の作業を要するからである。このため、画像センサに搭載される認識／判定のためのデータ（以下、判定モデルと称する）の学習を積み重ね、性能を向上させてゆくことが難しいという課題があった。

そこで、目的は、継続的に性能を高めることの可能なセンサシステム、画像センサ、およびセンシング方法を提供することにある。

実施形態によれば、センサシステムは、建物に配設される複数の画像センサと、解析部と、状態判定部とを具備する。解析部は、画像センサにより撮像された画像データを解析して、対象動体の動体情報を取得する。状態判定部は、教師データを用いた機械学習により生成される判定モデルに基づいて、動体情報から対象動体の状態を判定する。

図１は、実施形態に係わるセンサシステム１の一例を示す図である。 図２は、中央サーバ３０の一例を示す機能ブロック図である。 図３は、実施形態に係わるシステムの処理手順の一例を示すフローチャートである。 図４は、実施形態に係わるシステムの処理手順の一例を示すフローチャートである。 図５は、実施形態に係わるシステムの処理手順の一例を示すフローチャートである。 図６は、ステップＳ１０２における処理の一例を示すフローチャートである。 図７は、ステップＳ１１４における処理の一例を示すフローチャートである。 図８は、ステップＳ１０９における処理の一例を示すフローチャートである。 図９は、ステップＳ１０９における処理の一例を示すフローチャートである。 図１０は、判定モデルの評価に利用可能な真偽表の一例を示す図である。 図１１は、判定モデルに関して図１０の分類を当てはめた場合に得られる結果の一例を示すグラフである。 図１２は、ＰＲ曲線の例を示す図である。 図１３は、ＰＲ曲線の例を示す図である。 図１４は、真偽表を現実の系に当てはめた場合の一例を示す図である。 図１５は、画像センサで撮像される動体の一例を示す図である。 図１６は、画像センサで撮像される動体の一例を示す図である。 図１７は、画像センサで撮像される動体の一例を示す図である。 図１８は、画像センサで撮像される動体の一例を示す図である。 図１９は、動線の一例を示す図である。 図２０は、動線の一例を示す図である。 図２１は、動線の一例を示す図である。 図２２は、動線の一例を示す図である。 図２３は、画像センサ１０ａ〜１０ｆの一例を示す機能ブロック図である。

次に、発明の実施の形態について図面を参照しながら説明する。
画像センサを用いたソリューションへのニーズが年々高まってきている。例えば、撮影された画像から、老健施設からの徘徊老人の不測の外出や、体調不良で急に歩行困難になった人、酩酊した人、公共の場所での迷子、あるいは挙動不審者を早期に検知するなど、通常と異なる行動をする動体（人）を発見したいという要望がある。また、同じ動体でも、倉庫で稼働するフォークリフトなどの車両の動線を把握したいという要望もある。このように画像認識技術にはさまざまなニーズがあり、画像センサ、および画像センサを用いたセンサシステムへの期待は大きい。

対象動体（人や車両等）が携帯電話やスマートフォン等の発信機を所持していれば、ＧＰＳ（Global Positioning System）などによる検知が可能である。しかし、発信機を持たない場合や、そもそも屋内ではこの方法を適用することができない。この場合、例えば建物内に設置された画像センサにより、判定モデルを用いた計算処理によって動線を把握することになる。

判定モデルを改善するための学習は、教師無し学習と、教師あり学習とに大別される。教師無し学習は、将棋や囲碁のように、ルールや目標とする状態が明確である場合に有効である。例えば勝ち状態とは、相手玉を取ること、または自陣の囲う面積（領土）が広いこと、などのように明確である。目標がはっきりしていれば、判定モデルが改善されたか否かを判断することが可能になる。この手法は強化学習とも称され、環境への働きかけの結果からトライ＆エラーを重ねて学習する手法である。因みに、データを用いた機械学習により得られるモデルは、学習済みモデルと称される。実施形態に係わる判定モデルも学習済みモデルの一例である。

クラスタリングも教師無し学習の一つである。クラスタリングとは、与えられたデータから規則性を発見し、学習する手法であり、データの背後にある本質的な構造、タイプを抽出することができる。トライ＆エラーによるアプローチであることから、大量のデータの蓄積を経て初めて判定モデルとして改善できる状態になる。データに依存する傾向が強く、どちらかというと恣意的な結果となることから、必ずしも期待する結果に直ちに結びつかない扱いにくさを伴う場合がある。

実施形態で想定される、対象動体を継続的にモニタするようなケースでは、教師あり学習で想定通りの判定モデル出力を再現させるアプローチが効率的であり、また、効果的である。

判定モデルの改善に教師データが必要になるのは、判定モデルが改善したのか否かが、誰かに教えられなければ分からない場合である。教師データとは、何が正解なのかが予め分かっているデータである。教師データを用いれば、或るデータを用いた判定モデルによる推定結果が実際とマッチするか否かを判別できることになる。このような教師データは、トレーニングデータとして使うこともできるし、過去に学習したことのないサンプルであれば、テストデータとして、判定モデルの現在の精度を知る手段としても用いることができる。

実施形態で説明するアプリケーションでは、施設・ビル等での人の動き、動線トレース、あるいは、部屋にいる人の人数等のデータを画像センサで収集する。ある部屋における未来の人数は、隣接する部屋までの動線を把握することで効果的に予測できる。これらの収集データは、目標値があるわけでもなく、判定モデルに従って人の流れを制御するといった、環境への働きかけを積極的に行うわけでもない。従って、このような場合の判定モデルの改善に最も有効なのは、教師あり学習である。すなわち、どのクラスに識別すればよいか予め正解が分かっているデータ（教師データ）により学習し、判定モデルの判定精度を改善させる方法である。

このようなトレーニングデータとして使えるデータを現場で収集できれば、撮像される画像にローカルフィットした判定モデルを作成し、最適化していくことができる。実施形態では、画像センサを現場に据え付けた後でも、疑似的な教師データにより、自動／半自動で判定モデルの改善を継続可能とする技術について説明する。

例えば、設置された画像センサ群により対象動体の動線把握をする際に、対象とする個人または個人の属する社会的、組織上のグループを同定できれば、教師データとして利用できる場合がある。例えば、その建物に入ってきた人が毎日通勤してくる従業員であれば、その人の動線情報は、普通の人のそれと判断して差し支えない。対象動体の、個人または個人の属するグループを同定するには、その人が携帯するカード情報からの収集情報や、例えば、深層学習による顔認証判定モデルを利用して、登録された情報との照合、判定を行う。ちなみに現在では、オープンソース化された多くの顔認証判定モデルが公開されている。

このようにして個人または個人の属するグループを同定した情報と、現場に据え付けられた画像センサ群による動線情報とを対応付けることができれば、教師ありの動線情報（すなわち、普通の人かそうでないかが予め分かっているデータ）を現場で得ることができる。すなわち、画像センサの現場への据え付け後であっても効果的な教師データの収集を継続し、動線から普通の人か否かの判断をする判定モデルの改善を継続することができる。

なお、グループとは、個人の属する社会的集団を意味する。例えば、所属する組織や分類として主に携帯電子情報から収集されるものと、対象動体の生体情報から得られる年齢層、性別、服装といった情報から推定される所属グループ等がある。

さらに、対象動体の一連の動作が、教師データとして利用可能か判断する判定モデルに、真偽率を加えてもよい。真偽率とは、既に収集した画像データに基づき予測されたクラスと実際のクラスとの間の真偽を、比率で表す量である。対象とする一連の動作が、誤認識をする確率が高いと真偽率から判断されれば、その部分は教師データとしては採用しないという判断を加えることができる。

［実施形態］
実施形態では、対象動体の一つの特徴を表す動体情報に着目する。動体情報は、画像センサで取得された画像データを解析して得られる情報の一例である。動体情報としては、対象情報の位置をトレースして得られる動線情報が代表的である。また、対象動体の動きの大きさおよび方向を表す情報（動きベクトル）や、移動方向およびその速さを示す情報（速度ベクトル）等も、動体情報の一例である。また、対象動体の動きの大きさを示す量や、対象の動きの方向を示す量等のスカラー値も、動体情報として理解されることが可能である。また、画像センサシステムにより収集された生体／機器情報（人の情報やフォークリフトの情報）等も動体情報の一例である。
さらに、停止している対象動体の形状を表す形状情報も、動体情報の一例である。形状情報としては、ＨＯＧ（Histogram of Oriented Gradients）や、ＣｏＨＯＧ（Co-occurrence Histogram of Oriented Gradients）が知られている。

（構成）
図１は、実施形態に係わるセンサシステム１の一例を示す模式図である。センサシステム１は、対象空間４の監視をセンサを用いて実現するためのシステムである。対象空間４は、例えばビルなどの建物や、店舗、オフィス等の有人の空間であってもよいし、機器の搬入／搬出を伴う工場や、サーバルーム等の無人の空間であってもよい。対象空間４の立体形状は直方体に限らず、センサが設置された任意の形状の空間であってよい。また、センサシステム１が設置された建物全体を含む、多層階の略中空建築物であってもよい。

対象空間４は、例えばａからｆまでのエリアに分割される。エリアａ〜ｆのセンサによる監視は、それぞれに対応する画像センサ１０ａ〜１０ｆ及び通信部２０ａ〜２０ｆにより実現される。例えば、各通信部２０から送られた情報を中央サーバ３０が収集し、処理することで、対象空間４全体での空調制御が実現される。エリアａ〜ｆには、それぞれに共通する文字（ａからｆ）で区別される画像センサ１０及び通信部２０が対応する。以下、エリアａ〜ｆを区別しない場合は単に「エリア」と記載する。

センサシステム１は、画像センサ１０ａ〜１０ｆ、通信部２０ａ〜２０ｆ及び中央サーバ３０を備える。通信部２０ａ〜２０ｆは、それぞれ画像センサ１０ａ〜１０ｆのうち共通する文字（ａからｆ）で区別される画像センサを制御する。以下、画像センサ１０ａ〜１０ｆを区別しない場合は画像センサ１０と記載し、通信部２０ａ〜２０ｆを区別しない場合は通信部２０と記載する。

各通信部２０及び中央サーバ３０はネットワーク５で接続され、互いに通信可能に構成される。ネットワーク５は、建物全体に配置された画像センサ、および他の情報収集手段、既設システム等からのデータを転送／収集するとともに、各センサを制御するため通信路である。ネットワーク５は、例えば、代表的な有線ＬＡＮであるイーサネット（登録商標）でも良いし、ＰＬＣ（Power Line Communication）でもよい。各通信部２０及び中央サーバ３０の通信は無線通信によって実現されてもよい。中央サーバ３０は、各通信部２０から取得される計測データに基づいて、各通信部２０を全体制御する。

対象空間４に隣接するエリア６に、顔認証センサ７ａと、入退出ゲート８aとが設置される。顔認証センサ７ａは生体情報センサの一例であり、入退出ゲート８aは、電子情報読み取り手段の一例である。いずれも、既設システムの一例である。顔認証センサ７ａにより、対象動体の生体情報、すなわち顔の情報が収集される。入退出ゲート８ａは、対象動体個人、または、対象動体の属する（社会的）グループの固有の電子情報を収集する。例えば、従業員カードや入退出カードが、固有の電子情報を提供する。これらの情報は、ネットワークを構成する通信路９ａおよび９ｂを介して、中央サーバ３０、または、近くの（例えば画像センサ１０ｃ）に伝達される。

管理者入力情報入手部１１ａは、管理者／ユーザが、収集した画像情報が、教師データとして利用可能か否かを入力した場合の情報を収集する。収集された情報は、通信部２１ａから中央サーバ３０に送信される。この情報は、撮像した画像情報から得られた特徴量／動線情報が教師データとして利用可能か否か、を判断するための一つの材料として利用可能である。なおこの場合、中央サーバ３０は、既設システムの一部であるとともに、センサシステム１の情報を収集／制御する機能も有する。

顔認識センサ、顔認証センサ等の、個人特定に用いられるセンサの情報量は、天井部に据え付けられた画像センサによる動体トレース用のデータ量に較べて格段に（数倍以上）大きいのが普通である。従って、顔認証センサのような大量のデータ処理を必要とする画像センサを施設・建築物内全体に配置する場合（ケース１）と、エリア６等の特定の場所だけに顔認証センサを配置し、その他は動体の動線把握や、部屋の中の人の混雑度を把握するための画像センサを配置する場合（ケース２）とで、必要なリソースの総量（ハードウェアリソース、ソフトウェアリソース、ネットワークトラフィック等）は大きく異なる。実施形態はケース２に相当し、より少ない通信／計算リソースで構成可能である。

生体情報、携帯する電子媒体の情報の収集手段としては、種々考えられる。例えば、
（Ａ）入場者が制限されるドア２３を通過できるグループに、対象動体が属している。
（Ｂ）画像センサ１０ｆに対応するメッシュ状の分割エリア２４の特定の場所２５に、対象動体がいるか否か。これは、自席に着席したなどのアクションにより発生する情報である。
（Ｃ）この特定の場所の照明のＯＮ／ＯＦＦ操作をしたか否か。
（Ｄ）モバイルＰＣなどの情報端末２６に対象動体がアクセスしたか否か。など。
個人、または個人の属するグループを特定するための種々の方法がある。そして、その多くは、施設の中の特定の場所であり、施設のマップ情報を介して、対象動体の特徴量情報を教師データとして利用できるか否かの判断を助ける情報となる。

図２は、中央サーバ３０の一例を示す機能ブロック図である。センサシステムに備わる画像センサ１０ａ〜１０ｆは、例えば室温や照度などの環境情報（センサデータ）を収集する。センサデータは、各画像センサ１０ａ〜１０ｆに接続された通信部２０ａ〜２０ｆから中央サーバ３０に向け伝送され、通信部３１により受信される。

管理者／ユーザによって管理者入力情報入手部１１ａに入力された情報は、通信部２１ａを介して中央サーバ３０に伝達される。顔認証センサ７a、および／または入退出ゲート８aは、電子情報読み取り手段の一例である。いずれも、既設システムの一例である。顔認証センサ７ａにより、対象動体の生体情報、すなわち顔の情報が収集される。入退出ゲート８ａにより収集された対象動体の情報は、識別情報入手部１２aを経由して、通信部２２aから中央サーバ３０に伝達される。

管理者入力情報入手部１１ａ、顔認証センサ７ａ、入退出ゲート８ａは、既設システムの一例であり、それぞれで収集した収集データを中央サーバ３０に伝送する。既設システムは、データ収集システムの一例である。

実施形態では、対象動体の日常または通常の行動である、セキュリティ・ゲートの通過、所定の場所への移動、施設の機器の利用といった本来の目的を有する行為によって収集可能となった情報を、既設システムからの収集データとして含む。

センサシステムで取得されたセンサデータと、既設システムで収集された収集データは、中央サーバ３０に集められる。中央サーバ３０は通信部３１を介して、これらのデータを受信する。このうちセンサシステムから収集したセンサデータは、制御部４６の特徴量抽出部３２により、センサデータから判定モデルの作成に必要な情報を抽出する。

抽出後、判定部３３により画像データの判定が行われる。判定部３３は、所定条件を満足した画像データであるか、教師データ判断部４０に送ってよいデータであるかなどの判定を行う。判定の際は、記憶部３４に記憶される画像データ３４ａ、特徴量３４ｂ、および記憶部３５の辞書データ３５ａを用いてもよい。

特徴量を抽出後、特徴量および画像データは、画像データ３４ａ、特徴量３４ｂとして記憶部３４に保存されてもよい。これらの制御および処理はＣＰＵ３６により実行される。こうして得られた画像センサからの情報は、教師データ判断部４０に送られる。

一方、既設システムにより収集された収集データは、中央サーバ３０に送られ、中央サーバ３０内の通信部３１を介して制御部４６に送られる。収集データが顔認証センサ７ａからのデータであれば、特徴量抽出部３２に送られ、特徴量が抽出される。判定部３３は、所定条件を満たすデータであるか、教師データ判断部４０に送ってよいデータかなどの判定を行う。判定の際は、画像データ３４ａ、特徴量３４ｂおよび辞書データ３５ａを用いてもよい。また、抽出された特徴量および画像データは、画像データ３４ａ、特徴量３４ｂとして記憶部３４に保存されてもよい。これらの制御および処理はＣＰＵ３６により行われる。

収集データが入退出ゲート８ａからのデータであれば、生体情報と異なり、特徴量を抽出する必要がない。よってこの種のデータに対しては、判定部３３にて利用可能な情報か判断される。この制御および処理はＣＰＵ３６により実施される。この情報は、教師データ判断部４０に送られる。

教師データ判断部４０は、センサシステムからのセンサデータ（画像データ等）と、既設システムからの収集データとを、情報連携部４１により関連付ける。関連付けの基準としては、データのタイムスタンプなどの時刻情報、および／または、センサの置かれている場所、撮像範囲等の場所に係る情報、さらには、カードの読み取り動作、撮像される動作などの対象動体の動作情報を参照することができる。

関連付けられたデータは、採否判定部４２により、教師データとして採用することが可能か否かが判定される。判定に際しては、教師データデータベース（ＤＢ）４４に既に記憶されている教師データとの対比をしてもよい。判定の結果、「教師データ」と判定された場合は、教師データＤＢ４４に保存される。

これらの一連の制御は、中央サーバ３０を統括的に制御するＣＰＵ４３により行われる。図２においては、採否判定部４２を制御するＣＰＵ４３が、図２に示した各ブロック図の機能を含めた、連携システム全体を制御も実施するとして示す。

さらに図２の中央サーバは、既設システムＤＢ３７、個人情報ＤＢ３８、３９、通知／宛先ＤＢ４５を備える。

図３〜図５は、実施形態に係わるシステムの処理手順の一例を示すフローチャートである。図３において、教師データ判断部４０は、ステップＳ１０１で対象動体を選定する。対象動体が無ければ、以下の手順は開始されない。次に教師データ判断部４０は、ステップＳ１０２で別の識別情報の有無を判定する。

ステップＳ１０２は、対象動体の動体情報と別の識別情報とが同一の個体から発出したものかを確認するプロセスを含む。すなわち、時間による判定、例えば動体情報の撮像時刻と同時刻のデータ収集か否かが判定される。次に、場所による判定、例えば、同じまたは近接した場所でのデータ収集となっているか否かを確認する。さらに、動体の動作情報から、例えば入退出ゲートの通過画像からの、通過時刻と、カードからの電子情報収集時刻が、一致するか否かなどにより判定される。

ステップＳ１０２で、（Ｙｅｓ）すなわち、同一の動体に対する別の識別情報が得られた場合、次のステップＳ１０３で教師データ判断部４０は、別の識別情報により、対象動体は、教師データとして利用できるか否かを判断する。別の識別情報を利用して教師データとして利用できる場合には、（Ｙｅｓ）となり、教師データ判断部４０は、ステップＳ１０４で、センサシステムからの情報（データ）と、既設システムからの情報（データ）を関連付ける。次に、教師データ判断部４０は、ステップＳ１０５で、関連付け処理したデータを一時的に保存する。なお、ステップＳ１０２で（Ｎｏ）、またはステップＳ１０３で（Ｎｏ）の場合には、図５のフローチャートに至る。

次のステップＳ１０６およびステップＳ１０７、ならびにステップＳ１１２およびステップＳ１１３は、対象動体の正常／異常診断通知に関するものである。これらの手順は、異常診断されるデータ数が少ないなど、実運用の際にデータに偏りがある場合に教師データを得るための有効な手段となる。

例えば、正常診断と異常診断の実運用時の割合が例えば１００００対１である場合を考える。貴重な教師データとなる可能性のある異常値を示す動体情報が得られた時点で直ちに通知対象者／宛先への通知をすることにより、注意を喚起することができる。以降の動体の追跡監視を、人手を介して行うこと、あるいはセンサ系およびデータ処理系のリソースを、異常値を示した対象動体に重点配分する自動処理により、時間、空間分解能の高いリアルタイム追跡などの処置をすることが可能となり、より有効な教師データの収集が可能となる。また、不審者らしき行動パターン、自動運転機器の故障、あるいは人のふらつき／昏倒など、直ちに対処をする必要がある動体の動きが検知された場合の迅速な通知は、施設管理／運用上必要な措置でもある。

ステップＳ１０６では、教師データ判断部４０は、対象動体の正常／異常診断の通知要否判断を行う。ここでいう「正常」は、普通の人が通常の行動をした場合を意味する。「異常」は、対象動体の移動軌跡が正常な動線の範囲を辿っていない場合で、自動運転機器、徘徊者、迷子、不審者、歩いていて具合の悪くなった人、酩酊者などであり、普通の人とは異なる特徴をもつ場合を指している。これらの多くは、対象動体の形状情報および速度ベクトル情報から得られた、経時情報である動線情報により診断可能である。

診断結果により、所定の管理者あるいは、宛先への通知を必要とする場合、ステップＳ１０６で（Ｙｅｓ）となり、教師データ判断部４０は、ステップＳ１０７で「通知対象者／宛先への通知」を行う。通知の必要のない（Ｎｏ）の場合は、ステップＳ１０７の処理を行わず次のステップＳ１０８（図４）の処理を行う。なお、ステップＳ１０３において教師データとして利用できることが判明した後も、実施形態では対象動体の追跡を行う。そして、例えば複数の画像センサからの画像データより合成した対象動体の動線情報を加味した上で、ステップＳ１０８での「動線にエラーがなく、教師データとして使える範囲にある」か否かを判定する。

図４のステップＳ１０８で（Ｙｅｓ）であれば、教師データ判断部４０は、次のステップＳ１０９で、教師データとして登録／学習を行う。なお、新たに収集できた教師データにより、判定モデルが、所定の指標値で比較した場合に改善するか否かを調べた上で、教師データとして登録する方法をとってもよい。このように判定モデル改善への効果度を含む教師データとすることで、教師データの効果度の順番付けをすることが可能となる。

ステップＳ１０８で、教師データ判断部４０は、教師データとして所定の閾値を満足するデータかを確認する。ここでは、収集した対象動体の特徴量から得た動線が、一筆書きができること、所定の時間と距離を経ていること等が確認される。教師データとして耐え得るデータであれば、（Ｙｅｓ）となる。

教師データ判断部４０は、ステップＳ１０９で、教師データとして登録／学習の処理を行う。登録される情報は、現画像認識のための判定モデルによる正常／異常診断結果を含む。情報の保存先は、過去の教師データ／テストデータが保存されている記録媒体である（ステップＳ１１０）。ステップＳ１０８で、教師データとして今回の動線情報が使えない場合には（Ｎｏ）、本対象動体に対する処理を終了する（ＥＮＤ）。

図３のステップＳ１０２で（Ｎｏ）であれば、データ収集が完了する前に対象動体に対する別の識別情報が無いことになるので、教師データ判断部４０は、ステップＳ１１１でデータの一時保存を行う。次に教師データ判断部４０は、図５のステップＳ１１２で対象動体の正常／異常判断、通知要否判定を行う。この判断に用いる判定モデルは、実サイトにおける教師データの蓄積とともに、より高い精度での判定が可能となっていくことが期待される。これは、ステップＳ１０６の「対象動体の正常/異常判断、通知要否判定」でも同様である。

図５のステップＳ１１２の結果、通知要となれば（Ｙｅｓ）となり、教師データ判断部４０は、ステップＳ１１３で通知対象者／宛先への通知を行う。ステップＳ１１２の結果、通知不要となれば（Ｎｏ）となり、処理手順はステップＳ１１４に移る。教師データ判断部４０は、ステップＳ１１４で（データ収集後の正常／異常判定入力あり？）の判断を行う。

これは、データ収集中またはデータ収集後に、新たな情報が加味される場合である。対象動体の正常／異常判定は、人がデータあるいは画像を目視した上での判定の結果でもよいし、別途計算機、例えばハードウェア／ソフトウェアのリソースがよりリッチな計算機に搭載された判定モデルにより判定した結果を入力してもよい。この判定した結果の入力があれば（Ｙｅｓ）となり、教師データとして利用できるか否かの判断を行うため、処理手順はステップＳ１０３に戻る。こうした別の識別情報の入力がなければ、ステップＳ１１４で（Ｎｏ）となり、対象動体に対する一連の処理は終了（ＥＮＤ）する。

図６は、ステップＳ１０２における処理の一例を示すフローチャートである。ステップＳ１０２の処理が開始（ＳＴＡＲＴ）されると、教師データ判断部４０は、ステップＳ１０２ｂで「別の識別情報が対象動体のものと確認できたか？」の判断を実施する。確認の基準としては、（１）タイムスタンプ、（２）場所、（３）画像データによる動作／動線確認、などがある。

（１）タイムスタンプによる場合、画像センサと、識別情報入手部１２ａとのそれぞれが動体の情報の収集／入手を開始した時刻を比較することにより、両者が同一動体からの情報であることが確定する。

（２）場所による場合、識別情報入手部１２ａの配置された位置と、それにもっとも近い画像センサとの位置関係より、対象動体が同定される。図１であれば、顔認証センサ７ａまたは入退出ゲート８ａの置かれた場所と、それに最も近い、動体トレース用の画像センサ１０ｃとが場所が最も近接しており、利用される。

（３）画像データによる動作／動線確認では、図１における顔認証センサ７ａに近接する動線が確認できたか、または入退出ゲート８ａを通過する動作または動線が確認できたかにより、画像センサ１０ｃで撮像した動体と、別の認識情報入手手段により得られた動体情報とが、同一の個人かを確認することができる。対象動体であることをより確かなものとするには、（１）、（２）、および（３）を組み合わせて対象動体であるかを同定してもよいことはもちろんである。

ステップＳ１０２ｂで別の識別情報が対象動体のものであると確認された場合、すなわち（Ｙｅｓ）の場合は、教師データ判断部４０は、ステップＳ１０２ｃで（対象動体の生体情報からの情報か？）を判断する。生体情報は、顔認証、音声認識、指紋、光彩、静脈パターンなど、多くの手段により得られる。生体情報である場合は、ステップＳ１０２ｃで（Ｙｅｓ）となり、教師データ判断部４０は、収集した生体情報またはそれを加工した情報をステップＳ１０２ｅでＤＢと照合する。照合先は、別途蓄積登録されている、個人の固有情報ＤＢ（生体情報）となる（ステップＳ１０２ｇ）。

照合後、教師データ判断部４０は、ステップＳ１０２ｆで「ＤＢとの一致度判定ＯＫ＞閾値」の判断を行う。閾値を超えていれば（Ｙｅｓ）となり、別の識別情報が、対象動体のそれであると判断される。すなわち、ステップＳ１０２（図３）で「別の識別情報あり」を意味するＹｅｓ判定がなされ（ステップＳ１０２ｉ）、処理手順は図３のステップＳ１０３にジャンプする。
一方、ステップＳ１０２ｆで（Ｎｏ）であれば、両者の情報は一致しないことになる。つまり、ステップＳ１０２（図３）で「別の識別情報なし」を意味するＮｏ判定がなされ（ステップＳ１０２ｋ）、処理手順は図３を経由して図５のステップＳ１１１にジャンプする。

なお、ステップＳ１０２ｃで、別の識別情報が生体情報でない場合は（Ｎｏ）となり、教師データ判断部４０は、次のステップＳ１０２ｄ「対象動体または対象動体の属するグループの固有の電子情報か？」の判定を行う。ステップＳ１０２ｃと同様にして、別の識別情報が電子情報の場合は（Ｙｅｓ）となり、「ＤＢとの照合」にて個人の固有情報ＤＢ（電子媒体情報）に予め登録された情報との照合を行う（ステップＳ１０２ｈ）。照合後、ステップＳ１０２ｊの「ＤＢとの一致度判定＞閾値」にて、整合がとれていれば（Ｙｅｓ）となる。ステップＳ１０２ｊでＹｅｓであれば、Ｙｅｓ判定がなされ（ステップＳ１０２ｉ）、処理手順は図３のステップＳ１０３にジャンプする。ステップＳ１０２ｊで閾値に満たない場合は、電子情報では、同定できなかったとして（Ｎｏ）となり、Ｎｏ判定となって（ステップＳ１０２ｋ）、処理手順は図３を経由して図５のステップＳ１１１にジャンプする。

また、ステップＳ１０２ｄで、照合できる電子情報でない場合には（Ｎｏ）となり、これもＮｏ判定となって（ステップＳ１０２ｋ）、処理手順は図３のステップＳ１１１にジャンプする。これは、別の識別情報として得られた生体情報または電子情報のいずれも、対象とする動体の個人または個人の属するグループを同定することができなかったことを意味する。なお、対象動体（個人）の属するグループとは、社会的なグループを意味し、対象とする施設に係る団体や会社に所属すること、ビジターとして施設にはいってきていること等を意味し、所属するグループにより動線情報が、統計的にあるいは蓄積データ上、正常か異常か、予め推定ができるグループをいう。

図７は、ステップＳ１１４における処理の一例を示すフローチャートである。ステップＳ１１４ｂにおいて、教師データ判断部４０は、管理者／ユーザが、設定値を入力していた場合には、その設定をロードする。管理者／ユーザは、最初の１回目の処理において設定値を決定し、その後、自動処理を設定していれば以降操作をしなくても、教師データの抽出が継続して実施される。一旦自動処理を選択しても、その後、変更をしたければ、設定値ロード中に、例えばキー操作をすれば、自動処理が中断し、フローに従った手入力画面に戻ることができる。説明を簡単にするために、以下では、初期設定時、または自動設定をキー入力により解除した状態での操作について説明する。

ステップＳ１１４ｂにて設定値がロードされると、教師データ判断部４０は、ステップＳ１１４ｃにおいて、管理者、および／または、所定の宛先へ通知をしたか？を判定する。ここでは、観測期間においてＷａｒｎｉｎｇ対象となる動体が観測され、その旨が通知されたか否かが判定される。

通知が無ければ、Ｗａｒｎｉｎｇ対象動体がないことになり、処理手順はステップＳ１１４ｄの「入力期間について判定ステータスが異常値に近い順に表示するか？」に移る。ステップＳ１１４ｃで通知があった場合は、（Ｙｅｓ）となり、教師データ判断部４０は、ステップＳ１１４ｈの「通知したリストを表示するか？」にて、表示の有無を決める。ここで（Ｙｅｓ）であれば、ステップＳ１１４ｉ「通知リストを表示」する処理を行い、次のステップＳ１１４ｅの処理に移る。

ステップＳ１１４ｈで（Ｎｏ）であれば、教師データ判断部４０は、ステップＳ１１４ｄの処理を行う。ステップＳ１１４ｃで通知をしていない場合は、（Ｎｏ）となり、ステップＳ１１４ｄの処理をする。ステップＳ１１４ｄで（Ｙｅｓ）であれば、ステップＳ１１４ｊ「所定期間の一覧表示」を実施した後、ステップＳ１１４ｅに移る。

ステップＳ１１４ｄで（Ｎｏ）の場合も、教師データ判断部４０は、ステップＳ１１４ｅ「教師データ候補として選択するデータはあるか？」の判断を実施する。ここで（Ｙｅｓ）であれば、教師データ判断部４０は、ステップＳ１１４ｋ「所定期間の一覧で、教師データ候補を入力」にて、管理者／ユーザが表示されている候補にチェックをつけるなどして候補となるデータを選択する。

次に教師データ判断部４０は、ステップＳ１１４ｆで「自動選出時に設定する閾値はあるか？」を判断し、ステップＳ１１４ｌ「閾値を入力」を実施するか否かを決定する。次に教師データ判断部４０は、ステップＳ１１４ｇの「所定の入力期間について、同様なフローで自動処理するか？」にて、閾値を満たすデータであれば同様の処理をするか否かを決定する。ここでＮｏであればそのままＹｅｓ判定に至り（ステップＳ１１４ｎ）、図３の「別の識別情報あり」が成立して処理手順はステップＳ１０３（図３）にジャンプする。ステップＳ１１４ｇでここでＹｅｓであれば、所定の設定値が入力されたのち（ステップＳ１１４ｍ）、同様にＹｅｓ判定からステップＳ１０３にジャンプする。
なお、ステップＳ１１４ｅで（Ｎｏ）であれば、教師データが無いので、Ｎｏ判定となる（ステップＳ１１４ｏ）。ステップＳ１１４でのＮｏ判定により、処理手順は終了する（図５のＥＮＤ）。

図８、および図９は、ステップＳ１０９における処理の一例を示すフローチャートである。ここでは、ステップＳ１０９における保存／登録の処理を、管理者／ユーザがインタラクティブにＤＢへの登録データを決めていく手順、および、自動処理するプロセスについて説明する。

図８において、手順が開始されると、教師データ判断部４０は、ステップＳ１０９ｂ「設定値ロード」により、デフォルト値、あるいは、管理者／ユーザが設定した設定値をロードする。次に、教師データ判断部４０は、ステップＳ１０９ｃ「今回の対象となる教師データのリストを表示」にて、今回の期間の間で収集することができた、教師データのリストを表示する。

次に、教師データ判断部４０は、ステップＳ１０９ｄ「教師データ追加分による判定モデルのローカルフィットを実施するか？」にて、収集した教師データを判定モデル改善用のトレーニングデータとして利用するか否かを判断する。利用する場合は（Ｙｅｓ）となり、ステップＳ１０９ｅに処理手順は移行する。トレーニングデータとして利用しない場合は、（Ｎｏ）となり、教師データ判断部４０は、ステップＳ１０９ｋでの「教師データとして判定モデルの性能評価をするか？」の判断を行う。

すなわち、得られた教師データは、トレーニングデータとして利用することもできるし、現行判定モデルの評価に用いるテストデータとして用いることもできる。テストデータとして用いたデータであっても、その後トレーニングデータとして再利用することはもちろん可能である。

なお、ステップＳ１０９ｄにおいて、収集した教師データによりローカルフィット（学習）を行うのであれば（Ｙｅｓ）となり、処理手順はステップＳ１０９ｅ「判定モデル改善に適用した教師データを選択したか？」に移る。ここでは、教師データ判断部４０は、収集した教師データのうち、使用するものを選択する。１つでもデータが選択されていれば（Ｙｅｓ）となり、ステップＳ１０９ｆの処理に移る。教師データ判断部４０は、ステップＳ１０９ｆ「ローカルフィット前後の判定モデル性能評価値と改善量を表示（改善量＞０で改善）」にて、現行の判定モデルによる評価値と、収集した教師データを追加し、学習をさせた上での変更後判定モデルの評価値とを比較する。

この比較には、別途用意した、学習用としては使用していない教師データを用いてもよい。改善量が正の値（改善量＞０）の場合は判定モデル追加による改善の効果があったことを示す。教師データ判断部４０は、ステップＳ１０９ｇにて、「改善量＞０であり、ローカルフィット結果を反映し、判定モデルのバージョンアップを実施するか？」の判断を行う。改善量＜０の場合は、デフォルトで（Ｎｏ）となり、ステップＳ１０９ｍの処理に移る。

改善量＞０であり、判定モデルの改善を行うのであれば、（Ｙｅｓ）となる。正の値の閾値を設けて、改善量＞閾値の場合にのみ、判定モデルの改善（バージョンアップ）を自動的に行う設定値としてもよい。

判定モデルのバージョンアップを行う場合は、（Ｙｅｓ）となり、教師データ判断部４０は、ステップＳ１０９ｈ「教師データ／テストデータＤＢをアップデート」にて、収集した教師データをＤＢに追加する。次に、教師データ判断部４０は、ステップＳ１０９ｉ「ローカルフィットした判定モデル実装処理」にて、バージョンアップした判定モデルの実装を行う。

教師データ判断部４０は、図９のステップＳ１０９ｏ「今回の処理フローを踏襲するため、設定として保存し、次回から自動処理をするか？」の判断を行う。自動処理とする場合には、（Ｙｅｓ）となり、ステップＳ１０９ｐ「今回の処理フローを設定値として保存」にて、今回のフローチャートと同じ流れの場合には、次回より自動処理を行えるよう、設定値として保存する。

収集したデータがないなど、フローが異なる場合は、入力後、設定値として保存することにより、起こりうるパターンをそれぞれ設定値として保存することができる。これにより、管理者／ユーザが操作しなくても、自動処理されていくことになる。自動処理を解除する際には、図８のステップＳ１０９ｂ「設定値ロード」またはステップＳ１０９ｃ「今回の対象となる教師データのリストを表示」中に、管理者／ユーザからの特定のキー入力により、自動処理を解除することができるようにしてもよい。

一方、図８のステップＳ１０９ｄにて（Ｎｏ）の場合、すなわちローカルフィットを実施しない場合は、教師データ判断部４０は、図９のステップＳ１０９ｋ「教師ありテストデータとして判定モデルの性能評価をするか？／終了するか？」の処理を行う。ここでは、教師データ判断部４０は、今回収集した教師データにより現行判定モデルのテストを行うか否かを判断する。

性能評価を実施する場合は（Ｙｅｓ）となり、教師データ判断部４０は、ステップＳ１０９ｉ「現行判定モデルの性能評価値を表示」にて、収集した教師データをテストデータとして用いて、現行判定モデルの評価を行う。

ステップＳ１０９ｅにて（Ｎｏ）すなわち、判定モデル改善用のトレーニングデータを１つも選択しなかった場合は、教師データ判断部４０は、図９のステップＳ１０９ｍの「トレーニングデータ／テストデータＤＢへのデータ追加をするか？」の判断を行う。ここで（Ｙｅｓ）であれば、教師データ判断部４０は、ステップＳ１０９ｎの「教師データ／テストデータＤＢのアップデート」により、収集した教師データをＤＢに追加する。追加が完了すると、処理手順はステップＳ１０９ｏに移る。

図８のステップＳ１０９ｇにて（Ｎｏ）すなわち、判定モデルのバージョンを行わない場合には、図９のステップＳ１０９ｍに移る。ステップＳ１０９ｍでＤＢへのデータ追加をしない場合は（Ｎｏ）となり、ステップＳ１０９ｏの処理に移る。このようにして、デフォルトの設定のまま自動化することもできるし、いったん辿った手順を再び実行するときは、手動の設定、選択を反映して自動化処理を行うこともできる。

対象動体に係わる情報は、顔認証センサ７aおよび／または入退出ゲート８ａにより収集され、識別情報入手部１２aを経由して、通信部２２aから中央サーバ３０に伝達される。実施形態では、対象動体の日常または通常の行動である、セキュリティ・ゲートの通過、所定の場所への移動、施設の機器の利用といった本来の目的を有する行為によって収集可能となった情報を、既設システムからの情報として含む。また、管理者／ユーザにより、管理者入力情報入手部１１ａに情報が入力され、通信部２１ａを介して中央サーバ３０に情報が伝達される。少なくとも自動処理／半自動処理の設定をするまでは、センサシステムおよび既設システムとは独立の人手などにより、対象動体の情報が入力される。

図１０〜図１２を参照して、判定モデルがどの程度良いものであるかを判断する評価指標について、説明する。例えば、図１０に示される真偽表に基づき、エラーとして検知されやすい動作である場合には教師データとして採用しないといった判定を行える。また、この評価指標を用いて、判定モデルの改善の程度を評価することができる。

図１０において、判定モデルにより予測されたクラスを、陽（Positive）と陰（Negative）との２つに分類する例を示す。そして、実際のクラスがどうであったかにより、「真」の場合と「偽」の場合とに分ける。「真」は、予測が正しかった場合であり、「偽」は、予測が間違っていた場合である。このように成績を分類しておくことによって、モデルの推定精度を知るための一つの手がかりが得られる。分類は、TP、FN、FP、TNの４つである。

（TP）予想されたクラス（陽性：P）に対して実際のクラスが正しく推定できており、真（True）である。この場合を、TPと表記する。
（FP）予想されたクラス（陽性：P）に対して実際のクラスが間違って推定されており、偽（False）である。この場合を、FPと表記する。
（TN）予想されたクラス（陰性：N）に対して実際のクラスが正しく推定できており、真（True）である。この場合を、TNと表記する。
（FN）予想されたクラス（陰性：N）に対して実際のクラスが間違って推定されており、偽（False）である。この場合を、FNと表記する。

対象動体のアクション（動作）が、この４つの分類のいずれかに属する場合、別途与えた閾値以下の場合には、推定の信頼性が低いとして、この判定モデルの適用をしないなどの操作が可能となる。
対象動体のアクション（TP, FP, TN, FN のいずれか） ＞ 閾値（TP/FP/TN/FN）
の場合： モデルを適用する。
対象動体のアクション（TP, FP, TN, FN のいずれか） ＜ 閾値（TP/FP/TN/FN）
の場合： モデルを適用しない。

図１１は、判定モデルに関して図１０の分類を当てはめた場合に得られる結果の一例を示すグラフである。図１０に示される分類に従って判定モデルの性能を評価することができる。例えば、調査母数１００のサンプルについて、真偽の値が図１１のようになったとする。このとき、判定の手段としては種々の方法がある。最も基本的な方法は以下の２つである。

適合率：本当に陽性であるケースのうち、何％を陽性と判定することができたかを示す。
適合率（精度、precision）= TP/(FP + TP)
再現率：実際の陽性のデータのうち、陽性と予測できたものの割合を表す。
再現率（recall )= TP/(FN + TP)
これらの値は、陰陽の判定の境目となる値、すなわち設定する閾値によって、変化する。変化の仕方は、主に以下の２通りである。
（１）適合率が高く、再現率が低い状態。この状態は、無駄は少ないが、取りこぼしの多い判定になっている状態である。
（２）適合率が低く、再現率が高い状態。この状態は、取りこぼしは少ないが、無駄の多い判定となっている状態である。
このように適合率と再現率はトレードオフの関係にある。どちらが適しているかは用途によって変わる。間違ってもいいから、指摘しておいたほうがよいのか、指摘漏れがあってもよいができる限り正確なほうがいいかという選択肢になる。

なお、母集団に偏りがある場合には、適合率、再現率ともに、そのままでは必ずしも使いやすいとは言えない。図１１に示されるように適合率、再現率とも使いにくい場合が多い。そこで、実際には、Ｆ値を利用する方法が考えられる。
Ｆ値＝２x（適合率x再現率）/（適合率＋再現率）
Ｆ値は、上記の式で表される。

例えば、図１３に示すように、ＰＲ曲線によるブレークイーブンポイント（ＢＥＰ）に基づくモデル評価が考えられる。また、ＰＲ曲線からＢＥＰ値を求めることで、モデルの良否を判断する方法がある。

他の方法は、適合率と再現率がトレードオフの関係であることから、ＰＲ（Precision-Recall）曲線を描き、そこからＢＥＰ（Break Even Point）を算出する。ＰＲ曲線を描くには、判定モデルの設定閾値を変更しながら、再現率、適合率が変わっていく様子をプロットすればよい。プロットの過程で、再現率が最大となる閾値、適合率が最大となる閾値、および、再現率と適合率が一致する点、すなわちＢＥＰ値が求められる。このＢＥＰ値により、モデルの良否を判定する方法である。

ＢＥＰ値の閾値を設けることにより、良好なモデルであることを確認した上で、モデルによる判断を採用するという手法がとれることになる。これらの評価基準を用いることにより、判定モデルの改善の有無を定量的に把握することができる。機械学習の性能を判定するための指標としては、ＰＲ曲線のほかに、ＲｏＣ（Receiver Operator Characteristic）がある。陽性例と陰性例で、数に偏りがある、すなわち歪みが大きいデータの分析では、陰性例が多い場合、PR曲線が適している。この他に種々の評価指標があり、判定モデルの改善度の判定に用いられている。

実施形態における適用では、対象動体の動線から、迷子、不審者、体調不調など、通常行動でない動線を示した場合を、Positive（陽）、正常行動（普通の人が、目的のある通常の行動をした場合）をNegative（陰）とする。大多数がNegative(陰)として、PR曲線から判定モデルの良否を判断する手法が適用可能である。

図１２、図１３はＰＲ曲線の例を示す図である。図１２は、計算された再現率、適合率を表形式で示す。１０点のデータについて判定モデルにより予測した値を大きい順に並べ、再現率、適合率を式に従い計算した例を示す。予測した値１．００を表に追記し、式より計算している。同一の判定モデルに対して、予測した値を閾値としたときの再現率、適合率を算出している。この計算には、実際の真偽値が必要となる。すなわち教師データを使用する必要がある。

図１３は、ＰＲ曲線の一例を示す図である。図１２の表をグラフとしてプロットすると図１３の曲線を得る。ＢＥＰ値のほかに、判定モデルの性能を図る１つの指標として、原点を含むａ〜ｋで囲まれる面積を用いてもよい。

図１４は、真偽表を現実の系に当てはめた場合の一例を示す図である。例えば、離席、着席の真偽表について考える。着席を陽、離席を陰とした場合、１００回の試行のうち、着席した（陽）にもかかわらず、着席していないと判断するケース偽陽性（ＦＰ）が４０回発生したとする。一方、着席した（陽）ときに正しく着席したと判断した場合が２０回あったとする。この場合の例えば適合率を計算すると、
着席適合率（精度、precision）= TP/(FP + TP) ＝ 20/(20 + 40) = 0.33
となる。

逆に、離席したにも関わらず、離席していないと判断する場合（ＦＮ）は１０回発生したとする。離席し正しく判断した（ＴＮ）は、３０回発生した。従い、離席についての適合率は、
離席適合率 = TN/(FN + TN) = 30/(10 + 30) = 0.75
となる。

同様に、再現率およびＦ値を計算すると、
着席再現率＝ TP/(FN + TP) ＝20/(10 + 20) = 0.66
離席再現率＝ TN/(FP＋TN) ＝30/(40 + 30) = 0.43
着席Ｆ値 ＝ 2 x (適合率ｘ再現率） / （適合率＋再現率）
＝ 2 x (0.33 x 0.66) / (0.33 + 0.66) = 0.44
離席Ｆ値 ＝ 2x (0.75x 0.43) / (0.75+0.43) = 0.54
となる。

例えば、Ｆ値の閾値を０．５０とした場合、着席Ｆ値は０．４４で誤認識が大きく、教師データとして採用できない。離席Ｆ値は閾値を超えており、教師データとして採用条件を満たしていることになる。

図１５〜図１８は、画像センサで撮像される動体の一例を示す図である。図１５は、建物の天井部に配置した画像センサにより撮像された動体の一例を示す。例えば図１における画像センサ１０ｃで撮像した例と考えてもよい。図１６は、図１の顔認証センサ７ａを用いて撮像された画像の例を示す。両者を比較すると、撮像方向の違いから、得られる情報量も大きく異なることがわかる。

図１７は、単数または複数の画像センサにより動線をトレースした場合に、動体が正常と判断される場合の例である。実際には図１５と同様の画像が得られる。例えば、図１７の挙動を示す動体は建物内の職員であることが分かっていれば、正常行動をする人の動線として、教師データとして収集した動線情報を判定モデル改善に使用する。

図１８は、異常と判断される場合の例を示す。把握した動線情報から、徘徊老人、迷子である可能性をリストアップする。建物内に当日そのような訪問者がいたかを施設管理者が確認し、端末よりその情報を入力する。該当者がおり、動線情報も取得できていれば、異常行動をする人の動線として、教師データとして、収集した動線情報を判定モデル改善に使用する。

図１９〜図２２は、動線の一例を示す図である。
図１９の動線は、図１の画像センサ１０ａ、１０ｂ、および１０ｃの撮像空間を対象動体が辿った動線を並べて描かれる。対象動体は略直線状に移動しており、この範囲では正常動作をしている動体と判断できる。

図２０の動線は、図１における画像センサ１０ａ〜１０ｆの撮像空間を対象動体が辿った動線である。やはり直線状に移動しているので、正常動作の範囲内と判断される。

図２１は、１０ａ〜１０ｆの撮像空間を辿った例であるが、直線状の動きではなく、異常と判断される可能性の高い動線である。しかし、この対象動体は、図の「〇」印の場所を一度ずつ辿っている。そこで、この対象動体は「〇」印の位置に興味があったであろうことが推測される。対象動体を同定する手段により、例えば従業員証の情報が付与されている場合には、例えば「〇」印の位置に置いてある消火器の有効期限の定期点検をしていたであろうことが推測できる。

図２２は、１０ａ〜１０ｆの撮像空間を辿った例を示す。ここで、この動体を同定するための情報が、ビジターカードの情報しかなく、個人の詳細までは不明であるとする。また、過去にこの施設に入ったことはないことが、ビジターカードの情報からわかるとする。動線は１０ｂのエリアで前後に戻っている。１０ｄや１０ｆでは、円弧を描くなど、明確な意図が感じられない動きである。移動にかかる時間も平均より長く、結果的に１０ａに戻るなど、明確な目的場所があったとは思えない動きである。この場合は、動体同定のための付加情報の有無にかかわらず、異常な動線と判断できるケースである。

以上のように、既設システムからの情報と動線情報との組み合わせにより、種々の応用が考えられる。例えばテーマパークにおいて、迷子を画像センサにより検出することを考える。入退室ゲートでの、パスカードから得られる情報から、対象動体の年齢層がわかる。迷子となる確率の高い、幼児や小学生、または年配者が含まれていた場合、優先的にモニタする対象動体を絞ることができる。加えて、入退出ゲートを通過する際は、複数人であったが、途中でその優先的にモニタする対象動体が所定の時間以上、一人でいる場合、迷子になっている可能性が高いと判断する。これにより、施設の監視員への通知を行うことができる。他には、お店の動線設計をするための情報収集が可能となる。

解決策として、画像センサ稼働中に収集するデータのなかから、教師データとして使えると想定される、個人、または個人に属するグループを別情報（例えば入退出時に使用するカード情報、毎日出勤している施設の従業員であれば、迷子行動をするとは考えにくいため）から入手し、センサにより収集した動体情報と紐づけるという方法が考えられる。別情報は、例えば、１日の終わりに、今日は、迷子はいませんでしたという情報を施設管理人が入力する形でもよい。別な方法として、別情報等により信頼度を高め、教師データとして使えそうな候補データを用いて、認識／判断のための判定モデルに入力することにより、真偽表に基づく判定モデルの評価値の改善の有無をもって判断することも可能である。このようにして、集められた教師データにより、判定モデルの継続的改善を自動/半自動で行うことができるようになる。

１つの画像センサの視野では、トレースする範囲が狭く、より正確な判断をするには、複数の画像センサからの画像情報を収集する必要がある。この場合、各画像センサで収集した画像を中央サーバに送り、そこで複数の画像センサに映っている同一人物の動線を時系列的に辿る。これにより十分長いトレース距離において、正常、異常を判断する動線の辞書と比較して、対象動体が例えば迷子であることを知ることができる。

顔の検知を常にして画像収集し、別途登録した辞書情報と比較して対象動体を特定することや、表情の細かな違いから緊張状態や、快、不快などの感情を推定する方法がある。通常１つの画像センサでデータ収集が可能である。

施設内のカメラすべてが、顔認証が可能な分解能で撮影する方法も考えられるが、個人情報保護上、常時顔識別を実施することには、撮影される側は、視野の中にカメラが見えて、不快感をもつこともある。対象動体の進行方向に常に画像センサを置いて、顔を撮影しつづけることには、空間配置上無理がある。敢えてするには、顔認識を含めた動体の形状認識の精度を上げるには、辞書情報への大量の学習や、撮影する動体の向きなどを考慮した多数の画像センサを設置する必要などが生じる。

通常と異なる行動をする動体（人）を撮影画像から見いだしたいという要望を満たすには、広い範囲で、対象動体の動線を把握する方法が考えられる。この場合の撮像した画像データから、動線から判定する精度を高めるには、ローカルフィット、すなわち、据え付けた現場での撮像した画像データに対する前処理を含めた、判定モデルの調整が必要という課題がある。しかし、現場でこのような調整を行うことは、人手や、大量のデータを必要とするなど、実現できていない。

対象動体の動線の把握が精度よくできるようになると、人の流れがつかめることにより、執務室などの部屋の室温の設定の際、部屋にいる現在の人数把握だけでなく、周辺の位置からの移動中の情報も加味することにより、このあとの部屋にくると想定される人数も把握できるようになる。

これらのことから実施形態によれば、現場への据え付け後も学習を継続させることができる。従って、実施形態によれば、継続的に性能を高めることの可能なセンサシステム、画像センサ、およびセンシング方法を提供することが可能となる。

なお、この発明は上記の形態に限定されるものではない。例えば画像センサに備わるプロセッサ（ＣＰＵやＭＰＵ）の能力に応じて、特徴量抽出部などの機能ブロックを備えていてもよい。

図２３は、画像センサ１０ａ〜１０ｆ（まとめて符号１０を付す）の一例を示す機能ブロック図である。画像センサ１０は、撮像部としてのカメラ部３１０と、メモリ３２０、プロセッサ３３０、および通信部２０を備える。これらは内部バス３５０を介して互いに接続される。メモリ３２０とプロセッサ３３０を備えることで、画像センサ１０はコンピュータとして機能する。

カメラ部３１０は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３００を備える。魚眼レンズ３１ａは、エリアを天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。

レジスタ３００は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１０に関する情報、あるいは画像センサ３それ自体に関する情報である。
例えば、上記フレームレート、イメージセンサ３１ｃのゲインの値、露光時間など、センシングの感度や精度に影響を及ぼすパラメータは、プロセッサ３３０により制御される。

メモリ３２０は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、またはＮＡＮＤフラッシュメモリやＥＰＲＯＭ（Erasable Programmable ROM）などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ３３０に実行させるためのプログラム３２ａと、カメラ部３１０により取得された画像データ３２ｂを記憶する。さらにメモリ３２０は、辞書データ３２ｃ、および判定モデル３２ｄを記憶する。

辞書データ３２ｃは、センシング項目と特徴量とを対応づけたテーブル形式のデータであり、例えば機械学習等の手法により生成することが可能である。辞書データ３２ｃを用いた例えばパターンマッチング処理により、エリアにおける検出対象（人など）を識別することが可能である。

判定モデル３２ｄは、中央サーバ３０における機械学習により生成された、学習済みモデルである。判定モデル３２ｄは、中央サーバ３０から送信され、メモリ３２０に記憶される。

このほか、メモリ３２０には、マスク設定データなどが記憶されてもよい。マスク設定データは、カメラ部３１０に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられる。

プロセッサ３３０は、メモリ３２０に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３０は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ３３０を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

通信部２０は、ネットワーク５に接続可能で、通信相手先（中央サーバ３０、または他の画像センサ等）とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。

特に、通信部２０は、画像センサ１０によるセンシングデータや、プロセッサ３３０の処理結果、処理データ、パラメータ、画像データ、動きベクトルデータ、蓄積された過去の動きベクトルデータ、加工された動きベクトルデータ、統計解析データ、出力データ、パラメータ、辞書データ、ファームウェアなどを、通信ネットワークとしてのネットワーク５経由で送受信する。

ところで、プロセッサ３３０は、実施形態に係る処理機能として、特徴量抽出部３３ａ、動体判定部３３ｂ、および動線情報算出部３３ｃを備える。特徴量抽出部３３ａ、動体判定部３３ｂ、および動線情報算出部３３ｃは、メモリ３２０に記憶されたプログラム３２ａがプロセッサ３３０のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３０が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム３２０ａは、特徴量抽出プログラム、動体判定プログラム、および動線情報算出プログラムを含む。

特徴量抽出部３３ａは、画像データ３２ｂを画像処理して、対象エリアにおける対象動体の特徴量情報を算出する。得られた特徴量情報は、中央サーバ３０に送信されるのに加え、メモリ３２０に記憶されてもよい。動体判定部３３ｂは、特徴量情報に基づいて、対象動体が何（例えば人、フォークリフトや自動搬送車等の移動体）であるかを判定する。動線情報算出部３３ｃは、対象動体の動線情報を算出する。

なお、特徴量抽出部３３ａは、在不在、人数、活動量、照度、歩行滞留、および動きベクトル等をセンシングすることもできる。エリアごとに、これらの複数のセンシング項目を設定することもできる。特徴量抽出部３３ａは、エリアをさらに複数に分割したブロックごとに各センシング項目をセンシングし、ブロックごとのセンシング結果を統合して、エリアごとのセンシング結果を得ることも可能である。

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に付記的事項を記載する。
［１］
実施形態のシステムは、
動体の動体情報を収集するセンサを備えるセンサシステムと、
センサシステムのセンシング範囲において、動体に関する電子情報を収集する情報収集システムと、
判断のための判定モデルを実行する計算部と、
動体情報と電子情報とを連携させ、動体情報を判定モデルに対する正解付きの教師データとするか否かを判断する情報連携部とを具備する、システムである。
［１］のシステムによれば、センサシステムで収集した動体情報（人の情報やフォークリフトの情報）と、情報収集システムとから得られる情報とを連携させることで、動体または動体の属するグループについての付加情報を得られる。付加情報を用いて、正解付きの教師データとみなせるか否かを判断することが可能となる。
［２］
実施形態のシステムは、［１］のシステムにおいて、判定モデルにより、教師データを計算した結果と、正解との比較に基づき、判定モデルの修正の実施の有無を決定する手段をさらに具備する、システムである。
［２］のシステムによれば、正解付きの教師データを得られた場合に、判定モデルの修正の実施の有無を決定することができる。また、判定モデルを修正した場合には、判定モデルの改善ができる。
［３］
実施形態のシステムは、［２］のシステムにおいて、正解付き教師データとするか否かの判断、または、判定モデルの修正の実施の有無を決定する方法として、教師データを用いて判定モデルの修正を実施した場合、判定モデルがより所望の状態に近づいているかを、教師データの一部をテストデータとして用い、結果として得られる真偽率をもとに算出した指標値により決定する、システムである。
［３］のシステムによれば、教師データをテストデータとして用いることで、判定モデルの真偽率が得られ、これに基づいた指標値として適合率、再現率、Ｆ値などが得られる、さらに、判定モデルの閾値を変えていくことで得られた真偽率に基づく指標値としてのＢＥＰ値が得られる。これらの指標を用いて判定モデルが改善しているかを判断することができる。これにより、教師データとして採用してよいか、さらに判定モデルの修正を実施したほうがよいかの判断が可能となる。
［４］
実施形態のシステムは、［１］乃至［３］のいずれかのシステムにおいて、動体情報は、動体の形状情報と、当該動体の移動方向およびその速さを示す速度ベクトル情報とを含む、システムである。
［４］のシステムによれば、動体の移動方向から、動体の向きが判断される。これにより、動体の向きにより動体の形状情報が大きく変化することに、対応できる。また、２つの動体が重なって撮影されたとき、速度ベクトル情報あるいは動線情報（速度ベクトル情報を時系列的に累積加算したもの）から、単一の個体か、または複数の個体かを区別できることも多い。よって、動体の形状情報と速度ベクトル情報とをセットにして使うことで、動体の識別／同定がより容易になる。これにより、いわば素性のはっきりした動体の動体情報となり、より信頼性の高い教師データを選別することができるという効果がある。
［５］
実施形態のシステムは、［１］乃至［３］のいずれかのシステムのセンサが、動体を撮像する画像センサであるシステムである。
［５］のシステムによれば、画像センサにより、動体の動体情報が収集される。
［６］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、電子情報は、施設への入退室用の携帯用機器の記録媒体に記憶される。
［６］のシステムによれば、例えば従業員証、ビジターカード、スマートフォン、埋め込みＲＦＩＤなど、日々の入退室管理情報を電子情報として利用することができる。
［７］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、電子情報は、個人用、または個人の属するグループに割り当てられた情報機器の記録媒体に記憶される。
［７］のシステムによれば、個人用、または個人の属するグループ用に用意されたＰＣ、タブレット、スマートフォン、あるいは施設に据え付けられた操作盤などから取得される情報を、電子情報として利用することができる。すなわち、アクセス制限のかけられた機器から取得した情報を、電子情報とすることができる。
［８］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、特定の場所に設置された器具の操作履歴情報に基づいて、電子情報が、個人または個人の属するグループからの情報として認識するシステムである。
［８］のシステムによれば、例えば特定の場所や部屋の照明の点灯／消灯、ドアの開閉、施設内の特定の場所にある器具や装置の操作履歴情報に基づいて、個人または個人の属するグループを特定することができる。
［９］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、情報収集システムの特定の場所に動体が到着したことを、動体の個人または個人の属するグループの情報が得られたこととする、システムである。
［９］のシステムによれば、例えば、割り当てられた座席（特定の場所）に着席したとみなせる場所に動体が到着、停止したことをもって、個人または個人の属するグループを特定することができる。
［１０］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、情報連携部は、センサシステムと情報収集システムのとの間の時刻差を検知し、動体情報のタイムスタンプと、電子情報のタイムスタンプとの時刻差を補正する機能をさらに具備するシステムである。
［１０］のシステムによれば、センサシステムと、情報収集システムとの間の時刻差が補正されるので、対象動体の特定が容易になる。
［１１］
実施形態のシステムは、［４］のシステムにおいて、速度ベクトル情報が閾値以上の速さであれば、対象動体の移動方向が正面方向であると判定する。
［１１］のシステムによれば、速度ベクトル情報から対象動体の移動方向がわかり、それが閾値以上の速さであれば、移動方向が対象動体の正面方向であると判定される。従って、教師データとして用いることができるか否かを判断するための情報が得られる。
［１２］
実施形態のシステムは、［１１］のシステムにおいて、正面方向と判断した場合の、形状情報および速度ベクトル情報のタイムスタンプ以降の時刻における対象動体の向きについて、形状情報が閾値となる形状情報変化率を超えない場合に、対象動体が正面方向を維持していると判断する。
［１２］のシステムによれば、形状情報の変化率が閾値を超えない場合に、姿勢を維持しているとみなされる。対象動体の向きが維持されている判断することで、教師データとして用いることができるか否かを判断するための情報が得られる。
［１３］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、センサが計算部を内蔵する。
［１３］のシステムによれば、中央サーバにデータをアップロードすることなしに、センサ内で決められた判定モデルの処理をタイムリーに実施することができる。これにより、教師データとするか否かの判断を迅速に行える。
［１４］
実施形態のシステムは、［４］のシステムにおいて、動体の速度ベクトル情報の累積により動線を形成し、特定のパターンの動線への一致の有無に基づいて判定モデルの修正の実施の有無を決定する。
［１４］のシステムによれば、１つまたは複数のセンサの速度ベクトル情報から、動線を形成することにより、特徴的な、管理者への通知を必要とする動きか否かを判断することができる。また、異常値の場合の、教師データを抽出する上の参考情報となる利点もある。
［１５］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、判定モデルが、さらに、過去データをもとに予測されたクラスと実際のクラスとの間の真偽率に基づいて、教師データとしての利用の可否を判断する。
［１５］のシステムによれば、過去収集したデータにおける、真偽率に基づく判定モデルの判定精度が低い場合には、教師データとして利用しないようにする。これによって判定モデルの改善に役立てることができる。例えば、椅子に座るという動作の場合、実際には人が着席していないにもかかわらず着席したというように判定してしまう、誤判定率が高いとした場合、この動作については、教師データとしての採用をしない。逆に、離席する動作の場合、離席したにもかかわらず、在席のままであると判定してしまう誤判定率は低いとして、教師データ、テストデータとしての候補にする。このようにして、精度の高い教師データを選択、収集することができるという効果がある。
［１６］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、センサは、画像センサであり、画像センサの各々は、
画像データを取得する撮像部と、
画像データから動体情報を抽出する抽出部と、
画像識別用の判定モデルによる処理部と、
動体情報に基づいて対象動体を判定する判定部と、
を備える。
［１７］
実施形態のシステムは、［４］のシステムにおいて、形状情報が、ＨＯＧ（Histogram of Oriented Gradients）または、ＣｏＨＯＧ（Co-occurrence Histogram of Oriented Gradients）により計算される。
［１７］のシステムによれば、ＨＯＧ／ＣｏＨＯＧ系の画像処理情報を、形状情報として利用できる効果がある。
［１８］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、判定モデルが、ＣＮＮ（Convolutional Neural Network）またはＤＮＮ（Deep Neural Network）による深層学習に基づいて作成される。
［１８］のシステムによれば、画像処理のための判定モデルが、ＣＮＮまたはＤＮＮにより作成される。これにより、より高い精度で教師データとして利用可能か否かを判定することができる。
［１９］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、電子情報が一定期間にわたり既定の閾値を超える異常値を発生していないこと、または特定の日時場所で異常値が発生したことを確認入力するという情報により、教師データとして確定される。
［１９］のシステムによれば、動体を同定する手段として、例えば管理者／ユーザが異常値の発生の有無を、動体情報の収集中または収集後に確認する。これにより、管理者またはユーザの意思により、動体情報を教師データまたはテストデータとして確定させることができる。
［２０］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、教師データとして判断されたデータを、判定モデル用のトレーニングデータ、またはテストデータとして利用する。
［２０］のシステムによれば、得られた教師データを、判定モデルの学習用のトレーニングデータとしてまたは、判定モデルの性能評価のためのテストデータとして利用することができる。これにより、学習の自動化／半自動化を実現できる。
［２１］
実施形態のシステムは、［１］乃至［３］のいずれかのシステムにおいて、
教師データとして判断された１つまたは複数のデータを、判定モデルの学習に用いる。さらに、真偽率に基づく学習後の判定モデルの評価値と合わせて教師データとして保存するか否かを判定する。
［２１］のシステムによれば、判定モデルが、指標値を用いて比較した場合に改善するか否かを調べた上で、教師データとして登録する方法により、判定モデル改善への効果度を含む教師データとして保存するか否かを決めることができる。このようにして保存された教師データは、その効果度の順番付けをすることが可能となる。
［２２］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、判定モデルで処理する前の所定の処理（前処理）を変更するか否かを、動体情報および電子情報に基づいて判断する。
［２２］のシステムによれば、実運用環境における教師データを用いて、前処理の諸パラメータを変更して判定精度が改良するか否かを確認し、ローカルフィットした前処理にすることができる。判定モデルの精度の多くの部分は、収集した画像の前処理の良否に依存するからである。よって、以降の教師データの品質が向上し、収集／判断が容易になる効果がある。
なお、前処理とは、判定モデルに入力する前の画像処理プロセスであり、例えば、（１）カラー（ＲＧＢ）かモノクロ（白黒）か、（２）画像データのフォーマット（保存形式）、（３）透過データの処理、（４）トリミング、リサイズ、（５）回転／反転処理、（６）色調変換／色反転処理、（７）ガンマ係数調整／輝度調整、（８）閾値処理（２値化）、（９）マスキング、（１０）ノイズ除去、などの処理のことである。
［２３］
実施形態のシステムは、［１］乃至［４］のいずれかのシステムにおいて、センサシステムにおけるセンサが画像センサであり、画像センサにより複数のセルに分割された撮像領域が一意に決定され、複数あるセルの少なくとも１つのセルに対象動体が映っている場合に、
１つのセルで撮像された、形状情報と速度ベクトル情報から、１つのセルからの対動体の移動量を速度ベクトル情報から計算し、
移動前後の形状情報の変化率を計算する一方、撮像領域内の１つのセルの相対位置情報および移動量から予め求めておいた形状情報の許容変化率と比較し、
形状情報の変化率が形状情報の許容率を超えた場合に、対象動体の向き、姿勢、服装、装着物を含む形状情報が有意に変わったと判断する判定モデルを、教師データとして利用可能か否かを判断する判定モデルの一部として含む。
［２３］のシステムによれば、画像センサでは、カバーエリアが相対的に広いために、周辺と中央で、同一の動体を撮影してもその形状情報は異なる。例えば、天井部に配置された魚眼レンズ型の撮像カメラの場合、周辺のセルでは、顔側あるいは背中側が映り、カメラの直下では頭頂部が映ることになる。これら３つの形状情報は異なっている。よって画像センサにより分割された複数のセルのうちのどのセルで撮像し、どちら向きにどれだけ移動したかにより、同一動体であっても、その形状情報の変化量は異なる。同一動体における形状変化率を、セルの相対位置情報および移動量の関数として求め、形状情報の許容変化率として予め求めておく。これにより、対象動体の形状情報が有意に変わったかを判断可能となる。例えば対象動体の向きの変化から、転倒、昏倒などの変化を判断可能な、教師データとしての利用可能か否かを確認することができる。

１…センサシステム、２…ケース、３…画像センサ、４…対象空間、５…ネットワーク、６…エリア、７…生体情報センサ、７ａ…顔認証センサ、８ａ…入退出ゲート、９ａ…通信路、１０ａ〜１０ｆ（１０）…画像センサ、１１ａ…管理者入力情報入手部、１２ａ…識別情報入手部、１６…ＣＰＵ、２０…通信部、２０ａ〜２０ｆ（２０）…通信部、２１ａ…通信部、２２…通信部、２３…ドア、２４…分割エリア、２５…場所、２６…情報端末、３０…中央サーバ、３０ａ…カメラ情報、３１…通信部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…特徴量抽出部、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…辞書データ、３２ｄ…判定モデル、３３…判定部、３３ａ…特徴量抽出部、３３ｂ…動体判定部、３３ｃ…動線情報算出部、３４…記憶部、３４ａ…画像データ、３４ｂ…特徴量、３５…記憶部、３５ａ…辞書データ、３６…ＣＰＵ、４０…教師データ判断部、４１…情報連携部、４２…採否判定部、４３…ＣＰＵ、４４…教師データデータベース、４６…制御部、３００…レジスタ、３１０…カメラ部、３２０…メモリ、３２０ａ…プログラム、３３０…プロセッサ、３５０…内部バス、３７…既設システムＤＢ、３８…個人情報ＤＢ、４４…教師データＤＢ、４５…通知／宛先ＤＢ、ａ〜ｆ…エリア。

Claims (7)

1. 建物に配設される複数の画像センサと、
   前記画像センサにより撮像された画像データを解析して、対象動体の動体情報を取得する解析部と、
   教師データを用いた機械学習により生成される判定モデルに基づいて、前記動体情報から前記対象動体の状態を判定する状態判定部と
   を具備する、センサシステム。
2. 前記画像センサの各々は、
   前記画像データを取得する撮像部と、
   前記画像データから前記対象動体の特徴量情報を抽出する特徴量抽出部と、
   前記特徴量情報に基づいて前記対象動体を判定する動体判定部と、
   前記対象動体の動線情報を算出する動線情報算出部と、
   前記動線情報を前記状態判定部に送信する送信部と
   を具備する、請求項１に記載のセンサシステム。
3. 前記画像センサの各々は、
   前記判定モデルを記憶する記憶部をさらに具備し、
   前記動体判定部は、前記判定モデルに基づいて、前記動線情報から前記対象動体の状態を判定する、請求項２に記載のセンサシステム。
4. 前記建物のデータ収集システムと連携し、当該データ収集システムにより収集された収集データと前記画像データとを関連付ける情報連携部と、
   前記動体情報を、前記機械学習のための正解付き教師データとして採用することの可否を前記収集データに基づいて判定する採否判定部と
   をさらに具備する、請求項１に記載のセンサシステム。
5. 前記採否判定部は、前記判定モデルの性能評価指標値を算出し、前記動体情報を前記機械学習のための教師データとして採用することの可否を前記当該性能評価指標値に基づいて判定する、請求項４に記載のセンサシステム。
6. 複数の画像センサを具備するセンサシステムに適用される前記画像センサにおいて、
   画像データを取得する撮像部と、
   前記画像データから対象動体の特徴量情報を抽出する特徴量抽出部と、
   前記特徴量情報に基づいて前記対象動体を判定する動体判定部と、
   前記対象動体の動線情報を算出する動線情報算出部と、
   前記動線情報を送信する送信部と
   を具備する、画像センサ。
7. 複数の画像センサを具備するセンサシステムに適用されるセンシング方法であって、
   各画像センサにより撮像された画像データを解析して対象動体の動体情報を取得する過程と、
   教師データを用いた機械学習により生成される判定モデルに基づいて、前記動体情報から前記対象動体の状態を判定する過程と
   を含む、センシング方法。