JP2018033050A - 状態監視システム - Google Patents

Abstract

【課題】高い性能を発揮することができ、かつ、容易かつ安価に構築することができるとともに、様々な環境への導入に柔軟に対応可能な状態監視システムを提供する。
【解決手段】監視対象の状態を検出する監視センサ３０と、監視対象の状態について人の知覚で認識可能な知覚データを取得する知覚データ取得手段２０と、監視センサ３０の出力データの状態が特定の状態に該当するかを判断するパターン認識手段５１と、そこで出力される尤度を用いて定まる認識結果の信頼度が閾値以下・未満の場合に、知覚データを検証用端末１００へ送信する問合せ処理を行い、人手による判断結果を得る検証手段６１と、問合せ処理を行った場合には人手による判断結果を出力し、行わなかった場合にはパターン認識結果を出力する出力手段８１とにより、状態監視システム１０を構成した。
【選択図】図１

Description

本発明は、監視対象についての監視目的に対応する特定の状態を検出する状態監視システムに係り、例えば、野生鳥獣による農作物被害や環境破壊等を防止するために、保護したい農場や牧場、森林への野生鳥獣の侵入を自動検知する場合、家畜の餌場や寝床への野生動物の侵入を自動検知する場合、家畜や害獣の行動を学習し、自動検出する場合、自宅や病院等の施設内での要介護高齢者や患者の状態を監視する場合、防犯のために、建物周囲の状態を監視する場合、人が集まる場所での各種の危険を予知する場合、地震や集中豪雨による土砂崩れ、雪崩、堤防決壊による河川の氾濫、落雷、火災等の各種の災害の予知や早期検知を行う場合などに利用できる。

近年、画像認識技術に代表されるパターン認識技術の発展に伴い、カメラ映像から自動的に特定の状態を検出する機能を備えた状態監視システムの研究・開発が進んでいる。

一般に、検出漏れが少なく（すなわち、高再現率であり）、誤検出も少ない（すなわち、高精度である）という高性能のパターン認識技術を自動監視システムに導入するためには、監視対象を監視センサでセンシングして得られた膨大なデータと、その状態を示す適切なタグとがセットで与えられなければならない。

従って、実際に監視センサを利用して状態監視を行う場である実環境下で大量のタグ付きデータを得ることができれば、高性能のパターン認識装置の構築が可能となり、実環境での運用を通してさらにデータを収集し、性能を高めて運用を続けることが可能となる。

しかし、実運用を開始する前に、実環境でのデータを大量に得ることは困難であるため、状態監視サービスを開始する前に、実環境とは異なるテスト環境下でテストデータセットを収集し、そのデータを用いて作成された初期モデルを用いたパターン認識装置を構築し、サービスの運用を開始することが多い。

なお、本発明の状態監視技術に関連する技術としては、例えば、次のような技術がある。先ず、複数種類のセンサを利用するという点で関連する技術としては、画像センサと放射線量検出センサとを組み合わせることで自動通報を可能にしたインテリジェント監視システムが知られている（特許文献１参照）。このシステムでは、視覚センサと環境センサとを組み合わせることで状態の自動検出を可能にしている。

また、クラウドソーシングを行うという点で関連する技術としては、クラウド演算プラットフォームの形態をとり、センサー駆動型アプリケーションの迅速かつ容易な開発、配備および管理を可能とするサービスおよび分析用リアルタイム統合プラットフォームが知られている（特許文献２参照）。このサービスおよびプラットフォームでは、クラウドソーシングアプリケーション開発を容易とするために、センサーベースのアプリケーションのリアルタイム開発、テストおよび配備を可能とする仕組みが提供され、クラウドソーシングによるユーザー入力データをソフトウェアセンサーからのデータとして処理することを可能としている。

特開２０１３−１６４７７４号公報 特表２０１４−５３４４８７号公報

しかしながら、前述したように、実環境とは異なるテスト環境下で収集されたデータで作成された初期モデルを用いてパターン認識装置を構築し、実際のサービスを展開した場合には、テスト環境と実環境とのデータの差異や、データ不足を起因とした誤認識を生じる結果、必ずしも利用者（状態監視システムによるサービスの提供を受ける者であり、状態監視システムから出力される情報を受け取る者）が期待する程度の品質を担保することができない。

その一方で、サービス開始直後から高性能のパターン認識装置の運用を可能にするためには、多種多様の実環境でのデータ収集や、モデル構築、認識結果の評価等を行う必要があり、高品質な初期モデルの構築のために膨大な投資を要することになる。

また、特定用途のセンサを別途併用し、利用者が求める性能を担保する方法も考えられるが、このようなセンサは一般的に高価なものであり、状態監視サービスの事業を展開するうえで、コスト面での問題が発生する。

そもそも、高い再現率が要求される自動監視システムにおいて、高精度のパターン認識システムを構築するのは容易ではない。パターン認識システムにおいては、一般的に、再現率を優先して高くすると、精度が犠牲になって低くなるというトレードオフの関係があるため、双方を同時に追求することはできないという問題があるからである。

このような問題に対しては、性能の異なる複数のパターン認識システムの認識結果を統合するなどの手法が用いられることがあるが、どのような組合せで問題を解決することができるのかについての一般的な手法は存在しない。このため、高再現率を維持しながら高精度を達成するためには、従来は、様々な手法とそれらの統合方法をシステム開発者が試行錯誤で選択決定する必要があった。

さらに、高性能のパターン認識システムの開発に成功し、運用を開始した場合にも様々な課題が残る。例えば、開発したパターン認識システムを様々な環境に導入するにつれ、また、導入後、時間が経過して導入先の環境が変化するにつれ、そのパターン認識システムの導入先の実環境と、そのパターン認識システムの使用モデルを作成するために用いたデータを収集した環境との差異が大きくなるケースが発生してくる。そのようなケースでは、利用者が求める品質を担保することができない。なぜなら、従来の手法で手間や時間や費用をかけて高性能のパターン認識システムを開発したとしても、そのパターン認識システムがどのような環境でも高い性能を発揮し続けることはできないからであり、異なる環境への導入や、導入先の環境の微妙な変化に柔軟に追従できるようになっているわけではないからである。

従って、このようなケースでは、導入先において、モデルやアルゴリズムの更新が必須となるが、そもそも、いずれの導入先で、そのようなケースが発生しているのかを見つけるための一般的な手法や仕組みは存在しない。また、モデルやアルゴリズムを更新した結果、悪い方向に性能が変わってしまった場合には、利用者に悪影響を及ぼしてしまうという問題が残っていた。

本発明の目的は、高い性能を発揮することができ、かつ、容易かつ安価に構築することができるとともに、様々な環境への導入に柔軟に対応可能な状態監視システムを提供するところにある。

本発明は、監視対象についての監視目的に対応する特定の状態を検出する状態監視システムであって、
監視対象の状態を検出する監視センサと、
監視対象の状態について人の知覚で認識可能な知覚データを取得するために設けられた、監視センサとは別の、または監視センサと兼用の知覚データ取得手段と、
監視センサの出力データを用いて監視対象の状態が特定の状態に該当するか否か、または複数の特定の状態のうちのいずれに該当するかを判断するパターン認識処理を実行するパターン認識手段と、
このパターン認識手段から出力される尤度を用いて定まる認識結果の信頼度が、予め定められた閾値以下または未満の場合には、知覚データ取得手段により取得した知覚データまたはこれを加工したデータを、パターン認識手段による判断の正誤を検証するための検証用データとして、ネットワークを介して検証用端末へ送信するとともに、検証用データを用いて検証用端末の操作者により判断された監視対象の状態が特定の状態に該当するか否か、または複数の特定の状態のうちのいずれに該当するかの人手による判断結果のデータを、検証用端末からネットワークを介して受信し、受信した人手による判断結果のデータを用いてパターン認識手段による判断の正誤を検証する検証処理を実行する検証手段と、
この検証手段による検証処理を行った場合には、人手による判断結果を採用し、検証処理を行わなかった場合には、パターン認識手段による判断結果を採用し、採用した判断結果のデータを、ネットワークを介して連携システムへ送信するか、表示装置に画面表示するか、印刷装置で印刷するか、音声出力するか、または採用した判断結果に応じた報知音若しくは報知光を出力する処理を実行する出力手段と
を備えたことを特徴とするものである。

このような本発明の状態監視システムにおいては、パターン認識手段から出力される尤度を用いて定まる認識結果の信頼度が閾値以下または未満の場合には、検証手段により、知覚データまたはこれを加工したデータを検証用データとして検証用端末へ送信する問合せ処理を行い、人手による判断結果を得る。そして、この検証処理（問合せ処理）を行った場合には、パターン認識による判断結果に代えて、人手による判断結果をシステム出力とする。

このため、ある環境に状態監視システムを導入した初期の段階では、テスト環境で収集したデータを用いて作成された初期モデルによるパターン認識手段がその導入先の環境に適合する度合いが明らかではなく、パターン認識手段による認識結果の信頼度の値は小さくなるが、その場合には、検証用端末への問合せ処理が行われ、人手による判断結果により、判断結果が正しい結果に修正されるので、最終的に出力手段により出力される情報（監視対象の状態についての判断結果）の品質を高めることが可能となる。従って、再現率を優先しても、精度が犠牲になることはなく、トレードオフの問題は解消され、常に、システムの利用者により要求される品質を満たすことができる高性能の状態監視システムを実現することが可能となる。

また、導入後、時間が経過し、パターン認識処理の累積回数が増え、検証手段により、パターン認識による判断の正誤の検証処理が繰り返され、その検証結果が蓄積されてくると、初期モデルを用いたパターン認識手段についての実環境への適合の度合いが明らかになってくるので、認識結果の信頼度が上がってくるようになり、この結果、検証用端末への問合せ処理を行う頻度が低くなってくる。従って、時間の経過とともに、検証用端末から受信する人手による判断結果に頼らずに、出力手段によるシステム出力を行うケースが増えてくるので、イベント発生から出力までに要する時間を短くしていくことが可能となる。このため、どのような環境に導入しても、導入先の環境に柔軟に対応可能であり、最終的に正確な判断結果を短時間で出力することができるようになる状態監視システムを実現することが可能となる。

さらに、検証手段を備えていることから、導入当初のパターン認識手段による認識結果の信頼度は低くてもよいので、導入当初から高い性能を発揮することができる高価な監視センサおよびパターン認識手段を用意する必要はなく、また、初期モデルの作成にあたり、必ずしも実環境またはそれに極めて近い環境でのデータ収集を時間をかけて行う必要はないので、初期モデルへの投資を抑え、状態監視サービスの運用開始時期を早めることが可能となる。このため、容易かつ安価にシステム構築を行うことが可能となり、これらにより前記目的が達成される。

なお、前述した特許文献１に記載されたインテリジェント監視システムでは、画像センサと放射線量検出センサとを組み合わせているが、本発明の検証手段に相当するものを備えているわけではないので、イベント検出時の誤認識の問題を解決することはできない。

また、前述した特許文献２に記載されたサービスおよび分析用リアルタイム統合プラットフォームでは、クラウドソーシングを行っているものの、本発明のようなパターン認識手段の認識結果をクラウドソーシングによって検証する仕組みを備えているわけではない。

＜モデルの更新を行う構成＞

また、前述した状態監視システムにおいて、
パターン認識手段で用いるモデルを記憶するモデル記憶手段と、
監視センサの出力データを、出力手段により採用された判断結果のデータと関連付けて記憶する学習データ記憶手段と、
この学習データ記憶手段に記憶された監視センサの出力データを用いて、モデルを繰り返し作成し、モデル記憶手段に記憶されたモデルを更新する処理を実行する学習手段とを備え、
パターン認識手段は、
モデル記憶手段に記憶された最新のモデルを用いて、パターン認識処理を実行する構成とされていることが望ましい。

このように学習データ記憶手段に記憶された監視センサの出力データを用いて、モデルを更新する構成とした場合には、パターン認識手段の性能を向上させていくことが可能となる。なぜなら、学習データ記憶手段に記憶された監視センサの出力データは、システムを運用しながら実環境で収集したデータであり、さらには、これらの監視センサの出力データは、タグ情報とともに記憶され、このタグ情報は、出力手段により採用された判断結果のデータであり、検証手段による検証結果が活かされているので、正確性を保障されたタグ情報であることから、学習手段により、正確性を保障された学習データを用いた適正な学習処理が自動的に実行されるためである。このため、パターン認識手段による認識結果の信頼度を、より一層高めていき、その結果、検証用端末への問合せ処理を行う頻度を、より一層低くし、イベント発生から出力までに要する時間を、より一層短くしていくことが可能となる。

また、このように検証手段による検証結果を活かしたモデル更新が行われると、認識結果の信頼度が上がっていくことになるが、これについては、次の２通りの場合がある。先ず、検証結果を活かしたモデル更新を行って初めて認識結果の信頼度の値の上昇が見込まれる場合がある。次に、モデル更新を行わなくても検証結果の蓄積により認識結果の信頼度の値の上昇が見込まれるが、検証結果を活かしたモデル更新を行うことにより、更にその効果が顕著になる場合がある。

なお、前述した特許文献１に記載されたインテリジェント監視システムでは、データ収集や学習を自動的に行う仕組みは備えていない。

＜複数の監視センサを備えた構成＞

さらに、前述した状態監視システムにおいて、
複数の監視センサを備え、
パターン認識手段は、
複数の監視センサに対応する複数のパターン認識器を含む構成とされ、
モデル記憶手段は、
複数のパターン認識器に対応する複数のモデルを記憶する構成とされ、
学習データ記憶手段は、
複数の監視センサの出力データの各々を、出力手段により採用された判断結果のデータと関連付けて記憶する構成とされ、
学習手段は、
学習データ記憶手段に記憶された複数の監視センサの出力データの各々を用いて、複数のモデルの各々を繰り返し作成し、モデル記憶手段に記憶された複数のモデルを更新する処理を実行する構成とされ、
検証手段は、
複数のパターン認識器の各々から出力される尤度を用いて定まる認識結果の信頼度のうち最も値の大きい信頼度が、閾値以下または未満の場合に、検証用端末へ検証用データを送信するとともに、検証用端末から人手による判断結果のデータを受信する検証処理を実行する構成とされ、
出力手段は、
検証手段による検証処理を行った場合には、人手による判断結果を採用し、検証処理を行わなかった場合には、複数のパターン認識器のうち最も信頼度の値が大きいパターン認識器による判断結果を採用する処理を実行する構成とされていることが望ましい。

ここで、「複数の監視センサ」には、複数種類の監視センサである場合、異なる場所に設置され、または異なる状態で設置された同一種類の監視センサが複数個ある場合、それらの組み合わせの場合が含まれる。

なお、複数の監視センサからの出力を１つのパターン認識器に入力し、１つの認識結果が得られる場合には、それらの複数の監視センサは、本発明では１つの監視センサとみなす。また、複数の監視センサからの出力を複数のパターン認識器に入力し、それらの複数のパターン認識器からの出力を統合することにより、１つの認識結果が得られる場合には、それらの複数の監視センサおよび複数のパターン認識器は、本発明では１つの監視センサおよび１つのパターン認識器とみなす。要するに、最終的に出力手段から出力される情報（監視対象の状態についての判断結果）を生成している最小単位を、１つの監視センサおよび１つのパターン認識器の組とみなすことにより、監視センサについては、それが着脱の単位となり、パターン認識器については、それが使用・不使用の選択の単位となる。

このように複数の監視センサを備えた構成とした場合には、複数のパターン認識器の各々から出力される尤度を用いて定まる認識結果の信頼度のうち最も値の大きい信頼度が、閾値以下または未満のときに、検証用端末への問合せを行うので、最も値の大きい信頼度が、閾値を超えるか、または閾値以上であれば、検証用端末への問合せを行わないことになり、実質的に複数のパターン認識器のうち最も性能の高いパターン認識器の出力の内容次第で、検証用端末への問合せを行うか否かが決まることになる。

一般に、パターン認識器（より正確には、監視センサとパターン認識器との組み合わせになるが、ここではパターン認識器で代表させて説明する。）には、最初から高い性能を発揮するが、その後、学習を重ねてもあまり性能が上がらないという特性を有するパターン認識器や、最初の性能の立ち上がりは遅いが、その後、学習を重ねていくと性能が急に上がってくるという特性を有するパターン認識器等、様々な特性を有するパターン認識器がある（後述する図７参照）。このため、パターン認識器の特性の組合せ次第で、時間の経過とともに、最も高い性能を発揮するパターン認識器が入れ替わることがあるので、検証用端末への問合せ処理を行うか否かを左右するパターン認識器が入れ替わることになる。

従って、特性の異なるパターン認識器を組み合わせることにより、高い性能を発揮し続けることが可能となり、検証用端末への問合せの頻度を低くし、イベント発生から出力までに要する時間を短くすることが可能となる。

また、上述したように、最も高い性能を発揮するパターン認識器が入れ替わることがあるので、入れ替わった後は、性能の低い方の監視センサは取り外すとともに、その監視センサの出力データを処理していたパターン認識器の使用を中止することも可能となる。従って、例えば、システムの運用開始直後は、高価な監視センサを機能させて品質を担保し、その後、安価な監視センサによるパターン認識器の性能が上がってきたところで、高価な監視センサを取り外し、別の導入先に供給すること等が可能となる。さらに、特性の異なるパターン認識器および監視センサを後から追加して運用するといったことも可能な構成となっている。

＜監視センサの取り外しの判断支援を行う構成＞

そして、上述したように、複数の監視センサを備えた構成とした場合において、
検証手段による複数のパターン認識器の検証結果を、パターン認識器毎に蓄積記憶する検証結果記憶手段と、
この検証結果記憶手段にパターン認識器毎に蓄積記憶された検証結果を用いて、複数のパターン認識器の各々について性能を算出する処理を実行する性能算出手段と、
この性能算出手段により算出された複数のパターン認識器の性能、若しくはこれらの性能に加え、出力ログ記憶手段に記憶されている出力手段によりいずれの判断結果が採用されたかを示す出力ログを、システム管理者端末に画面表示する性能表示処理を実行するか、またはこの性能表示処理に加え、複数のパターン認識器の各々の使用・不使用の選択を受け付ける認識器要否受付処理を実行するシステム管理手段と
を備えた構成とすることが望ましい。

このように複数の監視センサを設置した際にシステム管理手段を備えた構成とした場合には、システム管理者が、システム管理者端末で、複数のパターン認識器の性能や出力ログを参照することができるようになるので、現在の状況（各時点での最新の状況）を確認しながら、性能が相対的に低くなり、不要になった監視センサを取り外すか否かの判断や、その監視センサの出力データを処理していたパターン認識器の使用を中止するか否かの判断を行うことが可能となる。

＜知覚データ取得手段の取り外しの判断支援を行う構成＞

また、前述した状態監視システムにおいて、
検証手段による検証結果を蓄積記憶する検証結果記憶手段と、
この検証結果記憶手段に蓄積記憶された検証結果を用いて、パターン認識手段の性能を算出する処理を実行する性能算出手段と、
この性能算出手段により算出されたパターン認識手段の性能、若しくはこの性能に加え、出力ログ記憶手段に記憶されている出力手段によりいずれの判断結果が採用されたかを示す出力ログを、システム管理者端末に画面表示する性能表示処理を実行するか、またはこの性能表示処理に加え、検証手段による検証処理の要否の選択を受け付ける検証要否受付処理を実行するシステム管理手段と
を備えた構成とすることが望ましい。

このようにシステム管理手段を備えた構成とした場合には、システム管理者が、システム管理者端末で、パターン認識手段の性能や出力ログを参照することができるようになるので、現在の状況（各時点での最新の状況）を確認しながら、知覚データ取得手段を取り外してもよいか否か、すなわち検証手段による検証用端末への問合せ処理（検証処理）を行わなくてもよいか否かの判断を行うことが可能となる。なお、ここでの検証手段による検証用端末への問合せ処理の要否判断は、以降、最後まで検証用端末への問合せ処理を行わなくてもよいか否かの判断であり、従って、パターン認識手段から出力される尤度を用いて定まる認識結果の信頼度とその閾値との大小比較による毎回の問合せ処理の要否判断のことではない。

以上に述べたように本発明によれば、パターン認識手段から出力される尤度を用いて定まる認識結果の信頼度が閾値以下または未満の場合には、検証手段により、知覚データまたはこれを加工したデータを検証用データとして検証用端末へ送信し、人手による判断結果を得て、これをパターン認識による判断結果に代えてシステム出力とするので、導入当初から高い性能を発揮することができる状態監視システムを、容易かつ安価に構築することができるとともに、様々な環境への導入に柔軟に対応可能な状態監視システムを実現することができるという効果がある。

本発明の一実施形態の状態監視システムの全体構成図。 前記実施形態の状態監視システムのデータベース構成の一例を示す図。 前記実施形態の状態監視システムによる状態監視処理の流れを示すフローチャートの図。 前記実施形態の検証用端末に画面表示される検証用画面の一例を示す図。 前記実施形態の検証用端末に画面表示される検証用画面の別の例を示す図。 前記実施形態のシステム管理者端末に画面表示される管理画面の一例を示す図。 前記実施形態の状態監視システムの各パターン認識器の性能の変化を示す説明図。

以下に本発明の一実施形態について図面を参照して説明する。図１には、本実施形態の状態監視システム１０の全体構成が示されている。図２には、検証結果や学習データ等を記憶するデータベース７２の構成が示されている。図３には、状態監視システム１０による状態監視処理の流れがフローチャートで示されている。また、図４および図５には、検証用端末１００に画面表示される検証用画面２００，３００の一例が示され、図６には、システム管理者端末１２０に画面表示される管理画面４００の一例が示されている。さらに、図７は、パターン認識手段５１に含まれる各パターン認識器Ａ，Ｂの性能が、時間の経過とともに変化していくことを示す説明図である。

＜状態監視システム１０の全体構成＞

図１において、状態監視システム１０は、監視対象の状態について人の知覚で認識可能な知覚データを取得するために設けられた知覚データ取得手段２０と、監視対象の状態を検出する監視センサ３０（本実施形態では、一例として、複数の監視センサ３０Ａ，３０Ｂ，３０Ｃとする。）と、これらの知覚データ取得手段２０や監視センサ３０の出力を処理する１台または複数台のコンピュータ（サーバ）とを備えて構成されている。

本実施形態では、一例として、知覚データ取得手段２０や監視センサ３０の出力を処理する部分は、それぞれ別々のコンピュータからなる接続装置４０と、パターン認識装置５０と、検証装置６０と、データ収集装置７０と、出力装置８０と、更新装置９０とをネットワーク１で接続することにより構成されている。但し、状態監視システム１０は、必ずしもこのように複数台のコンピュータにより構成されている必要はなく、各装置４０〜９０で実現される機能を１台のコンピュータにまとめた構成としてもよく、あるいは各機能を任意の台数のコンピュータに分散してもよい。例えば、パターン認識装置５０および検証装置６０を、１台のコンピュータにより構成してもよく、データ収集装置７０および更新装置９０を、１台のコンピュータにより構成してもよく、あるいは、出力装置８０で実現される機能を、２台（複数台）のコンピュータに分散してもよく、更新装置９０で実現される機能を、２台（複数台）のコンピュータに分散してもよい。

ここで、ネットワーク１は、主としてインターネットのような外部ネットワークであるが、これとイントラネットやＬＡＮ等の内部ネットワークとの組合せ等でもよく、有線であるか、無線であるか、有線・無線の混在型であるかは問わない。

また、ネットワーク１には、群衆が操作する複数（多数）の検証用端末１００と、状態監視システム１０による出力（監視対象の状態についての判断結果）を利用する連携者が管理する１つまたは複数の連携システム１１０と、状態監視システム１０を管理するシステム管理者が操作する１つまたは複数のシステム管理者端末１２０とが接続されている。なお、図１では、これらの検証用端末１００、連携システム１１０、システム管理者端末１２０は、状態監視システム１０の外部に置かれる状態で説明されているが、汎用のブラウザや汎用のソフトウェアを使用するのではなく、これらに専用のソフトウェアを搭載して使用する場合には、これらを状態監視システム１０の構成の一部に含めてもよい。

＜監視対象、監視目的、および監視目的に対応する「特定の状態」＞

状態監視システム１０による監視対象、監視目的、および監視目的に対応する「特定の状態」としては、例えば、次のようなものを挙げることができる。先ず、野生鳥獣による農作物被害は、数百億円に達し、その被害は減少していないため、解決が必要である。また、林業でも同様の被害があり、シカやクマ等の野生鳥獣による森林被害面積は全国で約９千ヘクタールに達し、このうち、シカによる枝葉の食害や剥皮被害が全体の約８割を占めていて、深刻な状況となっている。これらの被害は、経済的被害に留まらず、営農・林業経営意欲の減退や耕作放棄地の増加を招く、あるいは森林の生物多様性の損失や土壌流出等の一因になるといった問題も生じる。従って、この場合の監視対象は、保護したい領域内に侵入するシカ、イノシシ、サル等の野生鳥獣であり、監視目的は、これらの野生鳥獣による被害の防止や抑制またはそのための野生鳥獣の行動把握等であり、監視目的に対応する「特定の状態」は、例えば、野生鳥獣が保護領域を仕切る柵に対して体当たり攻撃を仕掛けている状態や、柵を飛び越える状態等である。

次に、食害（家畜に与える飼料等についての被害）がある。例えば、タヌキ、アライグマ、ハクビシン、アナグマなどによる畜舎内における配合飼料の盗食がある。また、タヌキ、アライグマ、ハクビシン、アナグマ、さらに大型のクマやイノシシ、シカ、サルによるデントコーンなどの飼料作物の摂食・倒伏被害がある。さらに、放牧地や採草地の被害としては、北海道のエゾシカによる被害等があり、本州においてもニホンジカによる放牧地や採草地の被害が増加している。また、牧草の収穫後の牧草ラップをシカやキツネ、アライグマなどが食い破り、草の品質を低下させている。また、イノシシによる牧草の摂食に気が付かず、地力低下による牧草の生育不良と勘違いしてしまうという問題も生じる。さらには、衛生面での問題もある。畜舎内への野生動物の侵入・盗食・排泄による外部からの病原菌の撒き散らしは、家畜の健康にまで影響を及ぼすことになる。また、冬場は野生動物が過ごしやすい環境を求めて堆肥舎に侵入するので、同様に外部からの病原菌の撒き散らしが起きる。そして、このような野生動物の侵入や盗食を放置すると、農作物・配合飼料・飼料作物（とくに寒地型牧草）等は冬場の餌のない時期に命をつなぐ重要な栄養源となるので、野生動物の死亡率を低下させ、その結果、野生動物の個体数を増加させることに繋がるため、より一層、被害が増えていくという悪循環を生む。従って、この場合の監視対象は、畜舎内への侵入・盗食・排泄等を行うタヌキ、アライグマ、ハクビシン、アナグマ、クマ、イノシシ、シカ、サル等の野生動物、および／または本来的に畜舎内にいる家畜、あるいはこれらの野生動物や家畜が出現する畜舎内の餌場や寝床等の場所であり、監視目的は、野生動物による畜舎内への侵入・盗食・排泄等の防止や抑制またはそのための野生動物や家畜の行動把握等であり、監視目的に対応する「特定の状態」は、例えば、野生動物が盗食している状態、家畜が正しく食事をしている状態、侵入した野生動物が睡眠をとっている状態、家畜が正しく睡眠をとっている状態等である。

また、要介護高齢者、子供や赤ん坊、あるいは不審者等の人間についての状態監視もある。要介護高齢者が正常に入浴しているか、子供が危険な物を食べたり、危険な遊びをしていないか、赤ん坊がうつ伏せに寝ていないか、建物周囲に不審者がうろついていないか等を監視する必要がある。この場合の監視対象は、要介護高齢者、子供や赤ん坊、不審者等の人間であり、監視目的は、危険や犯罪の予知や防止、早期発見等であり、監視目的に対応する「特定の状態」は、例えば、風呂場で要介護高齢者が倒れている状態、子供が食べられないものに手を伸ばした状態、赤ん坊がうつ伏せに寝た状態、不審者が建物周囲をうろついている状態等である。

以上の他に、例えば、地震や集中豪雨による土砂崩れ、雪崩、堤防決壊による河川の氾濫、落雷、火災等の各種の災害の予知や早期検知を監視目的としてもよい。この場合の監視対象は、土砂崩れ、雪崩、河川の氾濫、落雷、火災等の災害発生の前兆を捉えることができる場所や物や空間であり、監視目的に対応する「特定の状態」は、複数の小石が下方に流れる状態、雷雲が発生している状態、煙が出ている状態等である。従って、状態が変化し、その変化が何らかの影響をもたらすものであれば、本発明による状態監視の対象となり得る。

＜センシングとその出力の送信＞

知覚データ取得手段２０は、検証用端末１００において群衆（人間）が監視対象の状態を判断するために必要な検証用データを作成するための知覚データを取得するものである。知覚データは、人間の五感（視覚、聴覚、嗅覚、味覚、触覚）で捉えることができるセンシングデータである。これは、検証用端末１００での群衆（人間）の判断作業の用に供されるデータであるため、現在普及している検証用端末１００の状況では、視覚で捉えることができるカメラの映像データ（動画でも、静止画でもよい。）や、聴覚で捉えることができるマイクロフォンの音データ、またはこれらの組合せが主流となるが、嗅覚、味覚、触覚を再現することが可能な検証用端末１００が普及してきた場合には、嗅覚、味覚、触覚のデータとしてもよい。

また、知覚データ取得手段２０は、監視センサ３０と物理的に別の機器でもよく、兼用の機器でもよい。知覚データ取得手段２０が監視センサ３０と兼用の場合とは、監視センサ３０の出力データを、パターン認識装置５０に送信してパターン認識手段５１に入力するとともに、同じ出力データを、知覚データ取得手段２０により取得した知覚データとして、検証装置６０にも送信して検証手段６１に渡す場合である。つまり、監視センサ３０の出力データが、パターン認識用データとして使用され、かつ、検証用データとしても使用されることになる。

監視センサ３０は、例えば、映像（動画でも、静止画でもよい。）を捉えるカメラ、音を拾うマイクロフォン、設置場所（物体）の加速度を計測する加速度センサ、レーザを照射してその反射光で物体を捉える測域センサ、ＩｏＴタグ、ＧＰＳ等の測位センサ、傾きを検出するジャイロセンサ、磁気センサ、モーションキャプチャを構成する物体装着用のマーカおよびこの動きを検出するトラッカ、温度センサ、湿度センサ、煙センサ、臭いセンサなどである。

本実施形態では、一例として、３つの監視センサ３０Ａ，３０Ｂ，３０Ｃを設置した場合が示されているが、監視センサ３０の設置個数は任意であり、１つでもよい。但し、システム全体として、パターン認識手段５１の性能を上げていくには、複数の監視センサ３０、特に特性の異なる複数種類の監視センサ３０を設置することが好ましい。また、３つの監視センサ３０Ａ，３０Ｂ，３０Ｃは、導入当初から３つ全部が設置されている場合に限らず、例えば、後から３つ目の監視センサ３０Ｃを追加設置した場合等も含む例示となっている。さらには、３つ目の監視センサ３０Ｃを追加設置する際には、既に１つ目の監視センサ３０Ａが取り外されているような場合をも含む例示となっている。

また、複数の監視センサの出力データが１つのパターン認識器に入力されて１つの認識結果が得られる場合には、それらの複数の監視センサは、本発明では、１つの監視センサ３０とみなされ、また、複数のパターン認識器の出力を統合して１つの認識結果が得られる場合にも、それらの複数のパターン認識器にデータを送り込む一群の監視センサは、１つの監視センサ３０とみなされるので、監視センサ３０Ａ，３０Ｂ，３０Ｃは、それぞれ複数の監視センサで構成されていてもよい。

接続装置４０は、監視センサ３０Ａ，３０Ｂ，３０Ｃの各出力データを受信し、受信した各出力データを、監視センサ３０Ａ，３０Ｂ，３０Ｃのうちのいずれであるかを識別する監視センサ識別情報、各監視センサ３０Ａ，３０Ｂ，３０Ｃによりどのような状態（特定の状態）を検出するのかを示すタグ情報、および発生したイベントを識別するために自動付与したイベント識別情報とともに、ネットワーク１を介してパターン認識装置５０のパターン認識手段５１に送信する処理を実行するものである。

また、接続装置４０は、知覚データ取得手段２０から出力される知覚データを受信し、受信した知覚データを、各監視センサ３０Ａ，３０Ｂ，３０Ｃによりどのような状態（特定の状態）を検出するのか（従って、取得した知覚データで何を検証するのか）を示すタグ情報、およびイベント識別情報とともに、ネットワーク１を介して検証装置６０の検証手段６１に送信するか、またはパターン認識装置５０のパターン認識手段５１に送信する処理も実行する。後者のように、パターン認識装置５０のパターン認識手段５１に送信した場合には、知覚データ、タグ情報、およびイベント識別情報は、パターン認識手段５１を経由して検証手段６１に送信される。

さらに、接続装置４０は、監視センサ３０Ａ，３０Ｂ，３０Ｃの各出力データや、知覚データ取得手段２０から出力される知覚データを、ネットワーク１に送出するためのデータ形式の変換や、通信方式を変換するゲートウェイの役割も果たしている。

なお、各監視センサ３０Ａ，３０Ｂ，３０Ｃで検出する特定の状態が１状態しかない場合には、接続装置４０からパターン認識手段５１や検証手段６１へのタグ情報の送信は省略してもよい。

また、各監視センサ３０Ａ，３０Ｂ，３０Ｃや知覚データ取得手段２０から接続装置４０へのデータ送信は、有線による送信でも、無線による送信でもよい。

さらに、接続装置４０からパターン認識手段５１や検証手段６１へのデータ送信（監視センサ３０Ａ，３０Ｂ，３０Ｃの各出力データや、知覚データ取得手段２０から出力される知覚データの送信）は、イベント発生時、すなわち各監視センサ３０Ａ，３０Ｂ，３０Ｃの出力に基づき、データ送信のトリガがかかったとき（状態の変化を捉えたとき）に行われる。但し、イベント発生を捉える処理は、各監視センサ３０Ａ，３０Ｂ，３０Ｃで行ってもよく、あるいは、監視センサ３０Ａ，３０Ｂ，３０Ｃの各出力データを連続して受信する接続装置４０で行ってもよい。

＜パターン認識処理＞

パターン認識装置５０は、パターン認識処理のアルゴリズムを実行するパターン認識手段５１と、このパターン認識手段５１で用いるモデル（パラメータ）を記憶するモデル記憶手段５２とを備えて構成されている。

パターン認識手段５１は、本実施形態では、一例として、複数（３つ）のパターン認識器Ａ，Ｂ，Ｃを含んで構成されている。これらのパターン認識器Ａ，Ｂ，Ｃは、それぞれ異なるアルゴリズムでパターン認識処理を実行するものであるが、例えば、各監視センサ３０Ａ，３０Ｂ，３０Ｃの種類が異なっている場合等には、パターン認識器Ａ，Ｂ，Ｃの中に、同じアルゴリズムのものがあってもよい。これらのパターン認識器Ａ，Ｂ，Ｃによる各判断結果等は、パターン認識手段５１により、ネットワーク１を介してデータ収集装置７０に送信されてデータベース７２（図２参照）に記憶されるか、または検証装置６０に送信されて検証手段６１により、各検証結果等とともにデータベース７２に記憶される。

ここで、監視センサ３０Ａ，３０Ｂ，３０Ｃとパターン認識器Ａ，Ｂ，Ｃとの組合せは、監視対象や監視目的に応じ、様々な組合せを採用することができる。例えば、監視センサ３０からの音データを入力する場合は、パターン認識器として、ＨＭＭ（隠れマルコフモデル）や線形識別器などを採用することができ、監視センサ３０からの画像データを入力する場合は、線形識別器やＤＮＮ（ディープ・ニューラル・ネットワーク）などを採用することができ、加速度センサの出力データを入力する場合は、ＨＭＭなどを採用することができ、測域センサの出力データを入力する場合は、線形識別器などを採用することができ、監視センサ３０からの画像データおよび音データを入力する場合は、ＤＮＮなどを採用することができる。

採用にあたっては、例えば、図７に示すように、最初は、比較的高価であるが、導入当初からの性能の立ち上がりが早い監視センサ３０Ａおよびパターン認識器Ａの組合せを有効に機能させ（すなわち、主としてパターン認識器Ａの認識結果の信頼度に基づき、検証用端末１００への問合せの要否が判断されるようにし）、その後、導入当初は性能が低いが、時間の経過とともに性能が上がってくる比較的安価な監視センサ３０Ｂおよびパターン認識器Ｂの組合せに切り替え、さらに、必要に応じて、これらとは異なる特性を有する監視センサ３０Ｃおよびパターン認識器Ｃの組合せを設置する（知覚データ取得手段２０と兼用にする場合は、導入当初からの設置であるが、そうでない場合には、後からの追加設置でもよい。）といった具合に、監視センサ３０を安価なものに切り替えていく等の計画や目標を立てて採用することが好ましい。

より具体的には、例えば、監視センサ３０Ａを測域センサとし、パターン認識器Ａを線形識別器とし、監視センサ３０Ｂを加速度センサとし、パターン認識器ＢをＨＭＭとし、監視センサ３０Ｃを画像データ取得用のカメラ（知覚データ取得手段２０と兼用でもよい。）とし、パターン認識器ＣをＤＮＮとする等である。

さらに、監視対象や監視目的の具体例としては、保護したい農場や牧場、森林への野生鳥獣の侵入を自動検知する場合には、監視センサ３０Ａ，３０Ｂとして、保護したい領域を仕切っている柵を飛び越えたか否かを検出可能な測域センサを設置するとともに、柵への体当たり攻撃等を検出可能なように柵に加速度センサを設置する。同時に、知覚データ取得手段２０として、あるいは知覚データ取得手段２０と兼用の監視センサ３０Ｃとして、カメラやマイクロフォン等を設置する。そして、柵に設置した加速度センサの出力データにより、保護領域内に侵入する野生鳥獣の種類や攻撃方法を自動学習するとともに、風や自然の振動も学習する。これにより、野生鳥獣による柵への攻撃や攻撃準備を自動検出することができるようになる。また、将来的に、廉価なカメラと加速度センサのみで高度な検出が可能になり、あるいは、検証用端末１００への問合せによる検証処理が不要になる程に、加速度センサの出力データによるパターン認識の性能が上がれば、加速度センサのみで高度な検出を行うことも可能となる。

また、監視対象や監視目的の別の具体例としては、家畜の餌場や寝床の監視を行う場合には、監視センサ３０Ａ，３０Ｂとして、家畜や野生動物の移動を捉える測域センサを設置するとともに、家畜にＩｏＴタグ（加速度センサ付き）を装着する。同時に、知覚データ取得手段２０として、あるいは知覚データ取得手段２０と兼用の監視センサ３０Ｃとして、カメラを設置する。これにより、餌場や寝床への野生動物の侵入を自動検知することができる。また、家畜の行動を学習し、自動検出することができる。すなわち、家畜が正しく食事をしていることを学習し、あるいは家畜が正しく睡眠をとっていることを学習することで、家畜の異常状態を自動検出することができる。さらに、家畜が食事をとっている状態と、野生害獣が食事をとっている状態とを識別することもできる。そして、野生害獣にＩｏＴタグ（マイクロフォン若しくはカメラ、ＧＰＳ、および加速度センサ付き)を装着することにより、野生害獣の行動を学習し、自動検出することができるので、野生害獣による保護領域への攻撃を事前に予測可能になる。

なお、物理的に同じ監視センサ３０の出力データを、異なるアルゴリズムのパターン認識器に入力してもよい。例えば、物理的に同じ監視センサ３０から出力される画像データを、線形識別器およびＤＮＮの双方に入力してもよい。これにより、物理的に同じ監視センサ３０からの出力データを用いた場合でも、パターン認識器のアルゴリズムの特性が異なれば、双方のパターン認識器の性能は異なったものとなるので、双方の認識結果の信頼度は異なる値となり、実質的に、線形識別器からＤＮＮへの切替、またはＤＮＮから線形識別器への切替が可能になる。すなわち、検証用端末１００への問合せによる検証処理の要否を決定する認識結果の信頼度について、大きい方の値を出すパターン認識器が、時間の経過とともに、線形識別器とＤＮＮとの間で入れ替わる可能性がある。このような場合は、物理的に同じ監視センサ３０ではあるものの、本発明では、画像データを出力する監視センサ３０と線形識別器との組合せ、および画像データを出力する別の監視センサ３０とＤＮＮとの組合せが存在するものとみなす。但し、物理的に同じ監視センサ３０であるため、この監視センサ３０は、さらに別の種類の監視センサとパターン認識器との組合せが存在しない限り、取り外すことはできない。

また、モデル記憶手段５２は、本実施形態では、一例として、複数（３つ）のパターン認識器Ａ，Ｂ，Ｃに対応させて、これらで用いられる複数（３つ）のモデルα，β，γを記憶している。なお、パターン認識器Ａ，Ｂ，Ｃのアルゴリズムは変わらないが、モデルα，β，γが更新されていくので、パターン認識器Ａ，Ｂ，Ｃの各性能は、時間の経過とともに上がっていく。

＜パターン認識による判断の正誤の検証処理＞

検証装置６０は、パターン認識手段５１の各パターン認識器Ａ，Ｂ，Ｃによる判断の正誤を検証する処理を実行する検証手段６１と、検証用データおよびこれと対比するための比較用データを記憶する検証用データ記憶手段６２とを備えて構成されている。この検証装置６０は、本実施形態では、群衆の操作する検証用端末１００をクライアントとしたときに、サーバとして機能するものである。

ここで、検証用データ記憶手段６２に記憶される検証用データは、知覚データ取得手段２０により取得した知覚データまたはこれを加工して得られたデータであり、比較用データは、監視対象の状態が本当に特定の状態になっている場合を示すデータであり、これらの検証用データおよび比較用データの双方とも、人の知覚で認識可能なデータであり、マイクロタスク自動生成用素材である。前者の検証用データは、検証用端末１００の操作者（群衆）が、自己の端末にダウンロードできるように一時的に保存されるデータであり、イベント識別情報およびタグ情報と関連付けられて記憶されている。後者の比較用データは、システム管理者により予め用意されたデータ（連携システム１１０を管理する連携者により提供されたデータでもよい。）であり、タグ情報と関連付けられて記憶され、複数の特定の状態がある場合には、複数の比較用データが用意される。なお、後者の比較用データは、合成画像データや絵の描画データ等の疑似データであってもよい。

検証手段６１は、各パターン認識器Ａ，Ｂ，Ｃから出力される尤度を用いて定まる認識結果の信頼度のうち最も値の大きい信頼度が、予め定められた閾値以下または未満の場合には、検証用データ記憶手段６２に記憶された検証用データ（知覚データ取得手段２０により取得した知覚データまたはこれを加工したデータ）および比較用データを、ネットワーク１を介して検証用端末１００へ送信するとともに、検証用データおよび比較用データを対比して検証用端末１００の操作者（群衆）により判断された監視対象の状態が特定の状態に該当するか否か、または複数の特定の状態のうちのいずれに該当するかの人手による判断結果のデータを、検証用端末１００からネットワーク１を介して受信し、受信した人手による判断結果のデータを用いて、各パターン認識器Ａ，Ｂ，Ｃによる判断の正誤を検証し、その検証結果等をデータ収集装置７０のデータベース７２（図２参照）に記憶させる処理を実行するものである。

ここで、認識結果の信頼度についての閾値は、検証手段６１を構成するプログラム内に記述してもよく、あるいは検証装置６０若しくはその他の装置に設置された閾値記憶手段（不図示）に記憶しておいてもよい。後者の場合は、システム管理者端末１２０に画面表示された管理画面４００（図６参照）でシステム管理者が閾値の値を入力設定し、システム管理手段８２がそれを閾値記憶手段に記憶させる構成とすることができる。

より具体的には、先ず、検証手段６１は、各パターン認識器Ａ，Ｂ，Ｃから出力された尤度を、ネットワーク１を介してパターン認識手段５１から受信し、受信した各尤度に対し、データ収集装置７０の検証結果記憶手段７３（図２参照）に記憶された各パターン認識器Ａ，Ｂ，Ｃの検証結果（各パターン認識器Ａ，Ｂ，Ｃによる認識結果についての正誤の情報）を直接若しくは間接的に用いた補正処理を行うことにより、各パターン認識器Ａ，Ｂ，Ｃによる認識結果の信頼度を算定する処理を実行する。

この際、「尤度」から「認識結果の信頼度」を算定する補正処理は、例えば、認識結果の信頼度＝ｆ（尤度、検証結果）という関数（但し、検証結果は間接的な入力要素である場合もある。）により実行される。この補正処理は、各パターン認識器Ａ，Ｂ，Ｃ毎に行われるので、各パターン認識器Ａ，Ｂ，Ｃについての認識結果の信頼度がそれぞれ算定される。また、１つの監視センサおよびそれに対応する１つのパターン認識器により判断される特定の状態が複数ある場合（状態Ｘ、状態Ｙ、状態Ｚ、…）には、１つのパターン認識器から複数の尤度が出力されるので、上記の関数ｆは、認識結果の信頼度＝ｆ（状態Ｘについての尤度、状態Ｙについての尤度、状態Ｚについての尤度、…、検証結果）となる。

上記の関数ｆは、例えば、［１］複数クラスの尤度から計算されるクラス事後確率のうち最も高い値を出力する関数（この値が高ければ信頼度は高いとみなす）、［２］複数クラスの尤度から認識結果のエントロピーの逆数もしくは負値を算出する関数（この値が高ければ信頼度は高いとみなす）、［３］複数クラスの尤度パターンを用いて認識結果が信頼できるか否かを判別するパターン認識装置（信頼できる確率が信頼度となる。検証に用いたデータに対する複数クラスの尤度パターンと検証結果を用いて学習される）、［４］複数クラスの尤度パターンを用いて認識結果が信頼できる状態からどの程度離れているかを判定する連想記憶装置（連想記憶装置から得られる信頼できる状態からの誤差の逆数もしくは負値が信頼度となる。検証に用いたデータのうち正解であったデータに対する複数クラスの尤度パターンを用いて連想記憶装置を構築する）とすることができる。

このうち、［１］、［２］の関数を採用した場合は、検証手段６１による検証結果を活用したモデルα，β，γの更新を行うことにより、認識結果の信頼度の値が上がっていくことが見込まれる。また、［３］、［４］の関数を採用した場合は、モデルα，β，γの更新を行わなくても、検証結果が活かされて認識結果の信頼度の値が上がっていくことが見込まれるうえ、検証結果を活用したモデルα，β，γの更新を行うことにより、更にその効果が顕著になることが期待される。

次に、検証手段６１は、各パターン認識器Ａ，Ｂ，Ｃの認識結果の信頼度と、閾値との比較処理を行うが、この際には、複数の認識結果の信頼度のうち最も値の大きい信頼度と、閾値とを比較する。そして、検証手段６１は、各パターン認識器Ａ，Ｂ，Ｃの認識結果の信頼度のうち最も値の大きい信頼度が、閾値以下または未満の場合に、検証用端末１００に検証用データおよび比較用データを送信する検証処理（群衆に判断を求める問合せ処理）を実行する。従って、複数の認識結果の信頼度のうち最も値の大きい信頼度が、閾値を超えるか、または閾値以上の場合には、検証処理（問合せ処理）は実行されない。また、各パターン認識器Ａ，Ｂ，Ｃの認識結果の信頼度のうち最も値の大きい信頼度以外の信頼度が、閾値以下または未満であるか否かは、検証処理（問合せ処理）を行うか否かの決定に影響を与えない。但し、複数の認識結果の信頼度が同じ値で最も値の大きい信頼度となり、かつ、ともに閾値を超えるか、またはともに閾値以上の場合において、それらの認識結果が異なっているときは、いずれの認識結果を採用するか（正しいとするか）を決定することができないので、検証用端末１００に検証用データおよび比較用データを送信する検証処理（問合せ処理）を実行し、いずれの認識結果が正しいのかを検証する。

また、検証手段６１は、検証用端末１００に検証用データおよび比較用データを送信する検証処理（問合せ処理）を実行するという判断を行った場合には、ネットワーク１を介して接続装置４０から直接に送信されてくるか、またはパターン認識装置５０のパターン認識手段５１を経由して送信されてきた知覚データ（知覚データ取得手段２０による取得データ）を加工することにより、マイクロタスク自動生成用素材である検証用データを作成するマイクロタスク化の処理（詳細には、その準備工程）を行った後、作成した検証用データを、知覚データとともに受信したタグ情報およびイベント識別情報と関連付けて検証用データ記憶手段６２に記憶させる処理を実行する。なお、知覚データを加工せずに、そのまま検証用データとしてもよく、この場合には、知覚データをそのままマイクロタスク化の処理に使用するマイクロタスク自動生成用素材として検証用データ記憶手段６２に記憶させる。

このマイクロタスク化の処理（ここでは、その準備工程であるマイクロタスク自動生成用素材の準備処理）は、知覚データを加工することにより、予め用意された比較用データとの対比が容易になるような検証用データを作成する処理であり、例えば、知覚データが動画データである場合に、静止画データを作成する処理等である。これにより、検証用端末１００において、群衆（人間）が、検証用データと比較用データとの対比により、検証用データで示される状態が、比較用データで示される真の特定の状態と一致しているか否かを容易に判断できるようになる。従って、群衆（例えば、主婦や学生等）は、検証用端末１００で対比される検証用データおよび比較用データが、どのようなデータなのか（例えば、データの持つ意味、目的、性質、状況、価値等）を特に意識することなく、知識やスキルがなくても判断作業を行うことができる。

検証装置６０から検証用端末１００への検証用データおよび比較用データのダウンロードは、検証手段６１により、例えば、次のような方法で実行される。第１の方法としては、ＬＩＮＥ等のコミュニケーションツールである汎用のアプリケーションや電子メールなどの通信手段を用いて、検証用端末１００の操作者（群衆）に対し、依頼する仕事（いわゆるクラウドソーシングマイクロタスク）があることを伝達する。この伝達を受けた操作者は、予め定められているウェブサイト、またはコミュニケーションツールや電子メールなどによる伝達文（テキストまたは音声）の中で指定されたウェブサイトにアクセスする。このウェブサイトは、本実施形態では、検証装置６０により構成されている。検証用端末１００の操作者（群衆）が、ウェブサイトに設けられた電子掲示板を汎用のブラウザで閲覧し、その電子掲示板において、自分の担当するイベントを選択すると（全く自由に任意のイベントを選択してもよく、システムで指定されたイベントを選択してもよい。）、検証手段６１は、選択されたイベントについてのイベント識別情報に関連付けられて検証用データ記憶手段６２に記憶されている検証用データ、およびこの検証用データに関連付けられたタグ情報と同じタグ情報に関連付けられて検証用データ記憶手段６２に記憶されている比較用データ、並びに予め用意されて検証用データ記憶手段６２に記憶されている表示用フォームを用いて、検証用画面２００，３００（図４、図５参照）の表示用データを作成し、この表示用データ（イベント識別情報、検証用データ、比較用データ、マイクロタスク作業結果である人手による判断結果の返信先情報を含む。）を、ネットワーク１を介して検証用端末１００へ送信する処理を実行する。なお、本実施形態では、本システム内部で運用するクラウドソーシングを用いる場合の例を挙げているが、外部で運営されるクラウドソーシングを利用してもよく、この外部サービスを利用する場合については、後述する変形の形態で詳述する。

第２の方法としては、検証用端末１００に搭載された専用のアプリケーションにより、検証用端末１００の画面上に電子掲示板を表示し、検証用端末１００の操作者が、その電子掲示板において、自分の担当するイベントを選択するようにしてもよく、その他は、上記の第１の方法の場合と同様である。

第１の方法および第２の方法のいずれにおいても、１つのイベントについての判断を複数人（例えば３人、５人等の奇数の人数）で行うようにしてもよく、１人で行うようにしてもよい。複数人で行う場合には、群衆の中からのアクセスが予定の人数に達した時点で、また、１人で行う場合には、群衆の中からのアクセスが１つあった時点で、電子掲示板における当該イベントの表示は消えるか、無効となる。そして、複数人で行う場合には、複数人の判断が分かれることがあり得るが、そのときには、人数が多い方の判断（例えば、３人のうち２人以上が一致した判断、５人のうち３人以上が一致した判断）が正しい判断であるものとする。

そして、検証手段６１は、監視対象の状態が特定の状態に該当するか否か、または複数の特定の状態のうちのいずれに該当するかの人手による判断結果のデータを、イベント識別情報とともに検証用端末１００からネットワーク１を介して受信し、複数人による判断結果のデータがある場合には、人数が多い方の判断結果を決定し、受信した人手による判断結果と、各パターン認識器Ａ，Ｂ，Ｃのパターン認識による判断結果とが一致している場合には、各パターン認識器Ａ，Ｂ，Ｃの認識結果が正しいと判断し、一致していない場合には、各パターン認識器Ａ，Ｂ，Ｃの認識結果が誤っていると判断し、その検証結果（正誤の情報）を、イベント識別情報と関連付けて、パターン認識器Ａ，Ｂ，Ｃ毎にデータ収集装置７０の検証結果記憶手段７３（図２参照）に記憶させる。また、検証用端末１００に検証用データおよび比較用データを送信する検証処理（問合せ処理）を行わない場合には、検証手段６１は、各パターン認識器Ａ，Ｂ，Ｃのうち最も値の大きい信頼度を出しているパターン認識器の認識結果を正しいものとし、これと他のパターン認識器の認識結果との一致・不一致により、各パターン認識器Ａ，Ｂ，Ｃによる判断の正誤を決め、その正誤の情報を検証結果として、イベント識別情報と関連付けて、パターン認識器Ａ，Ｂ，Ｃ毎にデータ収集装置７０の検証結果記憶手段７３（図２参照）に記憶させる。

＜データの収集および管理処理＞

データ収集装置７０は、データ収集処理および収集したデータの管理処理（データベースマネジメントシステム（ＤＢＭＳ）の通常の処理を含む。）を実行するデータ収集手段７１と、収集したデータを記憶するデータベース７２（図２参照）とを備えて構成されている。

図２に示すように、データベース７２の各テーブル７２Ａ，７２Ｂ，７２Ｃ，７２Ｄ，７２Ｅは、検証結果記憶手段７３と、学習データ記憶手段７４と、出力ログ記憶手段７５と、性能記憶手段７６とを構成している。

テーブル７２Ａは、監視センサ３０Ａおよびパターン認識器Ａの組合せに関するデータを記憶するテーブルであり、イベント識別情報と、監視センサ３０Ａの出力データ（出力データの格納場所を示すパスでもよい。）と、パターン認識器Ａによる判断結果（認識結果）と、パターン認識器Ａから出力された尤度と、パターン認識器Ａの認識結果の信頼度と、パターン認識器Ａによる判断の正誤の情報である検証結果とを対応させて記憶するものである。

テーブル７２Ｂは、監視センサ３０Ｂおよびパターン認識器Ｂの組合せに関するデータを記憶するテーブルであり、イベント識別情報と、監視センサ３０Ｂの出力データ（出力データの格納場所を示すパスでもよい。）と、パターン認識器Ｂによる判断結果（認識結果）と、パターン認識器Ｂから出力された尤度と、パターン認識器Ｂの認識結果の信頼度と、パターン認識器Ｂによる判断の正誤の情報である検証結果とを対応させて記憶するものである。

なお、監視センサ３０Ｃおよびパターン認識器Ｃの組合せに関するデータを記憶するテーブルもあるが、記載を省略している。あるいは、監視センサ３０Ｃを未だ設置していないので、テーブルが生成されていないか、またはテーブルにレコードが生成されていないと考えてもよい。

また、テーブル７２Ａ，７２Ｂにおいて、１つの監視センサ３０により検出される特定の状態が複数ある場合（状態Ｘ、状態Ｙ、状態Ｚ、…）には、それらの状態に対応して１つのパターン認識器から複数の尤度が出力されるので、尤度のカラムには、複数の尤度が記憶される。そして、この場合におけるパターン認識器Ａ，Ｂによる判断結果のカラムには、例えば、「状態Ｘ（である）」、「状態Ｙ（である）」、「状態Ｚ（である）」、「状態Ｘ，Ｙ，Ｚ，…のいずれでもない」等が記憶される。なお、テーブル７２Ｃの人手による判断結果のカラムや、テーブル７２Ｄの採用された判断結果のカラムも同様である。

テーブル７２Ｃは、検証用端末１００への問合せ処理（いわゆるクラウドソーシングマイクロタスク）で得られたデータを記憶するテーブルであり、イベント識別情報と、人手による判断結果とを対応させて記憶するものである。なお、検証手段６１が検証用端末１００から複数人による判断結果のデータを受信した場合には、人数が多い方の判断結果が記憶される。また、人手による判断結果が、ＮＵＬＬ（または空欄）になっているレコードは、検証用端末１００への問合せ処理を行わなかったイベントのレコードである。

テーブル７２Ｄは、出力手段８１による出力ログを記憶するテーブルであり、イベント識別情報と、採用された情報源と、採用された判断結果とを対応させて記憶するものである。ここで、「採用された情報源」とは、出力手段８１が、最終的なシステム出力として、検証用端末１００への問合せ処理で得られた人手による判断結果（クラウド）を採用したのか、パターン認識器Ａによる判断結果（認識結果）を採用したのか、パターン認識器Ｂによる判断結果（認識結果）を採用したのか、パターン認識器Ｃによる判断結果（認識結果）を採用したのかの別を示す情報である。また、「採用された判断結果」は、最終的なシステム出力である。

テーブル７２Ｅは、各パターン認識器Ａ，Ｂ，Ｃの性能を記憶するテーブルであり、パターン認識器の識別情報と、パターン認識器の性能とを対応させて記憶するものである。なお、各パターン認識器Ａ，Ｂ，Ｃの性能は更新されていくが、上書きせずに、更新前の性能を保存しておくようにしてもよい。

そして、検証結果記憶手段７３は、テーブル７２Ａ，７２Ｂのイベント識別情報のカラムと、パターン認識器Ａ，Ｂの検証結果（正誤の情報）のカラムとを含んで構成されている。

また、学習データ記憶手段７４は、テーブル７２Ａ，７２Ｂのイベント識別情報のカラム、監視センサ３０Ａ，３０Ｂの出力データのカラムと、テーブル７２Ｄのイベント識別情報のカラム、採用された判断結果（最終的にシステム出力として採用された正しい判断結果）のカラムとを含んで構成されている。

さらに、出力ログ記憶手段７５は、テーブル７２Ｄにより構成され、性能記憶手段７６は、テーブル７２Ｅにより構成されている。

＜システム出力処理＞

出力装置８０は、システムの最終的な判断結果を出力する処理を実行する出力手段８１と、システム運用のために必要な各種の設定を含むシステムの管理処理を実行するシステム管理手段８２とを備えて構成されている。

出力手段８１は、検証手段６１による検証処理（問合せ処理）が行われた場合には、検証装置６０の検証手段６１からネットワーク１を介して送信されてくる人手による判断結果のデータを受信し、その人手による判断結果を採用し、一方、検証処理（問合せ処理）が行われなかった場合には、パターン認識装置５０のパターン認識手段５１から直接に送信されてくるか、または検証装置６０の検証手段６１を経由して送信されてくるパターン認識手段５１による判断結果（各パターン認識器Ａ，Ｂ，Ｃの認識結果のうち最も信頼度の値が大きい認識結果）を採用し、採用した判断結果のデータを、ネットワーク１を介して連携システム１１０へ送信するか、表示装置（不図示）に画面表示するか、印刷装置（不図示）で印刷するか、スピーカ（不図示）で音声出力するか、または採用した判断結果に応じた報知音若しくは報知光をブザーやランプ等の報知用機器（不図示）で出力するとともに、採用した判断結果のデータを、データベース７２（図２参照）の出力ログ記憶手段７５を構成するテーブル７２Ｄに記憶させる処理を実行するものである。

システム管理手段８２は、システム管理者端末１２０からのシステム管理者の要求に応じ、管理画面４００（図６参照）の表示用データを、ネットワーク１を介してシステム管理者端末１２０へ送信するとともに、管理画面４００を用いてシステム管理者により入力されてシステム管理者端末１２０からネットワーク１を介して送信されてくる各種の設定情報を受信し、パターン認識装置５０や検証装置６０等に設けられた各種の設定情報記憶手段（不図示）に記憶させる処理を実行するものである。

より具体的には、システム管理手段８２は、システム管理者端末１２０に管理画面４００（図６参照）を表示し、この管理画面４００において、パターン認識手段５１（各パターン認識器Ａ，Ｂ，Ｃ）による認識結果の信頼度に対する閾値の設定入力を受け付け、受け付けた閾値を、検証装置６０若しくはその他の装置に設置された閾値記憶手段（不図示）に記憶させる処理を実行する。なお、閾値は、検証手段６１を構成するプログラム内に記述しておいてもよい。

また、システム管理手段８２は、管理画面４００（図６参照）において、性能算出手段９２により算出された各パターン認識器Ａ，Ｂ，Ｃの性能、および、データベース７２（図２参照）の出力ログ記憶手段７５を構成するテーブル７２Ｄに記憶された出力ログ（出力手段８１によりいずれの判断結果が採用されたかを示す情報）を表示する性能表示処理を実行するとともに、各パターン認識器Ａ，Ｂ，Ｃの使用・不使用の選択を受け付け、受け付けた選択情報を、パターン認識装置５０等に設けられた設定情報記憶手段（不図示）に記憶させる認識器要否受付処理、および検証手段６１による検証処理（問合せ処理）の要否の選択（ここでの選択は、以降、最後まで問合せ処理を行わないか否かの選択）を受け付け、受け付けた選択情報を、検証装置６０等に設けられた設定情報記憶手段（不図示）に記憶させる検証要否受付処理を実行する。そして、パターン認識手段５１の各パターン認識器Ａ，Ｂ，Ｃや、検証手段６１は、これらの設定情報記憶手段（不図示）に記憶された選択情報を参照し、パターン認識処理を行うか否かや、検証用端末１００へ検証用データおよび比較用データを送信する検証処理（問合せ処理）を行うか否かを判断する。

＜更新処理＞

更新装置９０は、学習手段９１と性能算出手段９２とを備えて構成されている。

学習手段９１は、データベース７２（図２参照）の学習データ記憶手段７４に記憶された各イベントについての監視センサ３０Ａ，３０Ｂ，３０Ｃの出力データ（テーブル７２Ａ，７２Ｂ等に記憶されたデータ）および監視対象の状態についての正しい判断結果を示すタグ情報（テーブル７２Ｄに記憶されている出力手段８１により採用された判断結果）を用いて、モデルα，β，γを繰り返し作成し、作成したモデルα，β，γをネットワーク１を介してパターン認識装置５０へ送信することにより、モデル記憶手段５２に記憶されたモデルα，β，γを更新する処理を実行するものである。

この学習手段９１によるモデルα，β，γの更新のタイミングは、任意であり、イベント発生毎でもよく、イベント発生の通算回数が所定の回数（例えば、１００回）だけ増加する都度でもよく、所定の周期（毎月、毎週等）でもよい。

また、学習手段９１で使用する学習データとして、監視センサ３０Ａ，３０Ｂ，３０Ｃの出力データおよびタグ情報（それらの出力データが示す状態についての正しい判断結果）の全てを、データベース７２（図２参照）の学習データ記憶手段７４に蓄積記憶してもよいが、リソースの効率的運用等を図るため、モデルα，β，γの更新処理に用いた一部のデータを削除してもよい。例えば、特定の状態が１つの場合に、その特定の状態に該当するか、該当しないかの境界部分に属するデータ（尤度の値が小さいデータ）は、次回以降の学習に有効であるため、削除せずに取っておき、その他のデータ（尤度の値が大きいデータ）は、削除する等である。また、特定の状態が複数ある場合（例えば、状態Ｘ、状態Ｙ）に、それらの特定の状態の境界部分に属するデータ（例えば、状態Ｘについての尤度と、状態Ｙについての尤度とに、値の差が殆どないデータ）は、次回以降の学習に有効であるため、削除せずに取っておき、その他のデータ（各尤度の値に、かなりの差があるデータ）は、削除する等である。さらに、データを削除する場合には、削除したデータについての平均、分散、データ総数を保存しておけば、それを次回以降の学習で活用することができる。

性能算出手段９２は、データベース７２（図２参照）の検証結果記憶手段７３（テーブル７２Ａ，７２Ｂ等）にパターン認識器Ａ，Ｂ，Ｃ毎に蓄積記憶された検証結果（正誤の情報）を用いて、複数のパターン認識器Ａ，Ｂ，Ｃの各々について性能を算出し、算出した各パターン認識器Ａ，Ｂ，Ｃの性能を、ネットワーク１を介してデータ収集装置７０へ送信することにより、データベース７２（図２参照）の性能記憶手段７６（テーブル７２Ｅ）に記憶された各パターン認識器Ａ，Ｂ，Ｃの性能を更新する処理を実行するものである。例えば、性能は、認識結果が正しかった回数を、イベント総数（認識結果が正しかった回数と誤っていた回数との和）で除することにより得られる。

この性能算出手段９２による性能の更新のタイミングは、任意であり、イベント発生毎でもよく、イベント発生の通算回数が所定の回数（例えば、１００回）だけ増加する都度でもよく、所定の周期（毎月、毎週等）でもよく、モデルα，β，γの更新のタイミングと同期させてもよい。

この際、検証結果記憶手段７３（テーブル７２Ａ，７２Ｂ等）に蓄積記憶される検証結果については、学習手段９１によるモデルα，β，γの更新周期が短いと、同じモデルを用いたパターン認識器についての多くの検証結果が蓄積されず、特にイベント発生毎にモデルα，β，γを更新する場合には、同じモデルを用いたパターン認識器についての検証結果が全く蓄積されないことになる。例えば、モデルαがモデルα１，α２，α３，α４，…と短い周期で更新されていくと、同じモデルαを用いたパターン認識器Ａについての検証結果が殆ど蓄積されないか、全く蓄積されない。従って、このような場合に、最新のモデルを用いたパターン認識器の性能を算出するには、データベース７２（図２参照）の検証結果記憶手段７３（テーブル７２Ａ，７２Ｂ等）に記憶された更新前のモデルを用いた場合の検証結果を用いることは適切ではないため、データベース７２（図２参照）の学習データ記憶手段７４（テーブル７２Ａ，７２Ｂ等）に記憶された監視センサ３０Ａ，３０Ｂ，３０Ｃの出力データを用いて、更新後のモデルを用いた各パターン認識器Ａ，Ｂ，Ｃによりパターン認識処理をやり直し、やり直しで得られた各判断結果（各認識結果）を、学習データ記憶手段７４（テーブル７２Ｄ）に記憶された正しい判断結果（出力手段８１により採用された判断結果）で評価することにより、新たな正誤の情報を得て、その新たな正誤の情報を用いて、各パターン認識器Ａ，Ｂ，Ｃの性能を算出すればよい。なお、モデルα，β，γの更新周期が比較的長い場合には、同じモデルを用いた場合の検証結果が、ある程度の数、蓄積されているので、それを用いて各パターン認識器Ａ，Ｂ，Ｃの性能を算出してもよい。

以上において、パターン認識手段５１、検証手段６１、データ収集手段７１、出力手段８１、システム管理手段８２、学習手段９１、および性能算出手段９２は、各装置５０〜８０を構成する各コンピュータ本体の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。

また、モデル記憶手段５２、検証用データ記憶手段６２、およびデータベース７２は、例えば、ハードディスク、ソリッドステートドライブ（ＳＳＤ）等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、デジタル・バーサタイル・ディスク（ＤＶＤ）等の他の記録媒体により構成してもよい。

＜状態監視システム１０の外部の構成＞

検証用端末１００は、群衆（人間）が操作するクライアント端末であり、コンピュータにより構成され、操作者が、検証手段６１により与えられるクラウドソーシングマイクロタスクを処理できるように、検証用データおよび比較用データを出力するための表示装置やスピーカ等の出力機器と、マウスやキーボード等の入力手段とを備えている。また、検証用端末１００は、携帯電話機やタブレット端末等の携帯機器でもよい。検証用端末１００を操作する群衆（人間）は、クラウドソーシングされたマイクロタスクを処理することにより、金銭やポイント等の報酬がもらえるようになっているが、無報酬としてもよい。また、これらの群衆（人間）は、状態監視システム１０に予め登録されている者（会員等）でもよく、登録を要しない仕組みとしてもよい。

連携システム１１０は、１台または複数台のコンピュータにより構成され、出力装置８０からネットワーク１を介して送信されてくる監視対象の状態に関する情報（出力手段８１により採用された判断結果）を受信し、受信した情報の利活用を図るためのシステムであり、連携者（例えば、農場や牧場の経営者、森林の管理者等）により管理されている。

システム管理者端末１２０は、システム管理者が操作する端末装置であり、コンピュータにより構成され、マウスやキーボード等の入力手段と、液晶ディスプレイ等の表示装置とを備えている。また、システム管理者端末１２０は、携帯電話機やタブレット端末等の携帯機器でもよい。

＜状態監視処理の流れ＞

このような本実施形態においては、以下のようにして状態監視システム１０により、監視対象についての監視目的に対応する特定の状態を検出する状態監視処理が行われる。

図３において、先ず、監視センサ３０Ａ，３０Ｂ，３０Ｃのいずれかの出力データにより状態の変化が検出され、トリガがかかると、イベントが発生する。このとき、接続装置４０により、監視センサ３０Ａ，３０Ｂ，３０Ｃから受信したこれらの各出力データを、監視センサ識別情報、検出した特定の状態を示すタグ情報、および自動付与したイベント識別情報とともに、ネットワーク１を介してパターン認識装置５０のパターン認識手段５１に送信する（ステップＳ１）。

また、これと並行して、接続装置４０により、知覚データ取得手段２０から受信した知覚データを、タグ情報およびイベント識別情報とともに、ネットワーク１を介して検証装置６０の検証手段６１に送信するか、またはパターン認識装置５０のパターン認識手段５１に送信する（ステップＳ１）。

続いて、パターン認識装置５０では、パターン認識手段５１により、監視センサ３０Ａ，３０Ｂ，３０Ｃの各出力データを受信し、受信した各出力データを、対応する各パターン認識器Ａ，Ｂ，Ｃに入力し、モデル記憶手段５２に記憶された最新のモデルα，β、γを用いた各パターン認識器Ａ，Ｂ，Ｃによるパターン認識処理を実行する（ステップＳ２）。この際、各パターン認識器Ａ，Ｂ，Ｃからは、認識結果（例えば、特定の状態Ｘに該当する等）と、その尤度が出力される。なお、複数の特定の状態Ｘ，Ｙ，Ｚ，…がある場合には、各状態Ｘ，Ｙ，Ｚ，…に対応する尤度が出力され、最も高い尤度となっている状態が、パターン認識による判断結果（認識結果）となる。そして、パターン認識手段５１により、各パターン認識器Ａ，Ｂ，Ｃの認識結果および尤度が、ネットワーク１を介して検証装置６０へ送信されるとともに、データベース７２（図２参照）に記憶される。

それから、検証装置６０では、検証手段６１により、パターン認識装置５０からネットワーク１を介して送信されてくる各パターン認識器Ａ，Ｂ，Ｃの認識結果および尤度を受信し、認識結果の信頼度＝ｆ（尤度、検証結果）という関数により、各パターン認識器Ａ，Ｂ，Ｃの認識結果の信頼度を算定し、算定した認識結果の信頼度のうち最も値の大きい信頼度が、予め定められた閾値以下または未満であるか否かを判断する（ステップＳ３）。

ここで、算定した認識結果の信頼度のうち最も値の大きい信頼度が、予め定められた閾値以下または未満であると判断した場合には、検証手段６１により、接続装置４０またはパターン認識装置５０からネットワーク１を介して受信した知覚データ（知覚データ取得手段２０により取得した知覚データ）を用いて、マイクロタスク化の処理の準備工程として、マイクロタスク自動生成用素材である検証用データを作成する（ステップＳ４）。なお、知覚データを加工せずに、そのままマイクロタスク化の処理に使用してもよい。

そして、検証手段６１により、マイクロタスク化の処理を実行する。すなわち、作成した検証用データを、検証用データ記憶手段６２に記憶させた後、検証装置６０により構成されるウェブサイトに設けられた電子掲示板に、作成した検証用データおよびこれに対応する比較用データを用いて実行されるクラウドソーシングマイクロタスクを掲載しておく。なお、図４、図５に示すような検証用画面２００，３００の表示用フォームも、予め用意して検証用データ記憶手段６２に記憶させておく。

また、検証手段６１により、検証用端末１００を操作する群衆（人間）に対し、ＬＩＮＥ等のコミュニケーションツールや電子メールなどにより、依頼する仕事（いわゆるクラウドソーシングマイクロタスク）があることを伝達する。この伝達を受けた操作者は、ウェブサイトにアクセスし、電子掲示板で、自分の担当するイベントに係るマイクロタスクを選択する。

続いて、検証手段６１により、検証用端末１００の操作者の要求に応じ、検証用データ記憶手段６２に記憶された検証用データ（知覚データ取得手段２０により取得した知覚データまたはこれを加工したデータ）および比較用データを含む検証用画面２００，３００（図４、図５参照）の表示用データを、ネットワーク１を介して検証用端末１００へ送信する（ステップＳ５）。すると、検証用端末１００の画面上には、図４、図５に示すような検証用画面２００，３００が表示される。

図４の検証用画面２００は、特定の状態が１つの場合（状態Ｘだけの場合）であり、この検証用画面２００には、比較用データを用いて、予め用意された真に特定の状態Ｘを示す画像が表示されるとともに、検証用データを用いて、状態を判断して欲しい画像が表示されている。従って、検証用端末１００の操作者が実行するマイクロタスクは、これらの画像を見比べて、状態を判断して欲しい画像が、特定の状態Ｘに見えるか否かを判断し、その判断結果に従って選択部２０１，２０２にチェックを入れ、「送信」ボタン２１０を押し下げるだけの作業である。

図５の検証用画面３００は、特定の状態が複数（２つ）の場合（状態Ｘ、状態Ｙの場合）であり、この検証用画面３００には、比較用データを用いて、予め用意された真に特定の状態Ｘを示す画像および真に特定の状態Ｙを示す画像が表示されるとともに、検証用データを用いて、状態を判断して欲しい画像が表示されている。従って、検証用端末１００の操作者が実行するマイクロタスクは、これらの画像を見比べて、状態を判断して欲しい画像が、特定の状態Ｘに見えるか、特定の状態Ｙに見えるか、どちらの状態にも見えないかを判断し、その判断結果に従って選択部３０１，３０２，３０３にチェックを入れ、「送信」ボタン３１０を押し下げるだけの作業である。

また、特定の状態が複数（２つ）の場合（状態Ｘ、状態Ｙの場合）には、図５の検証用画面３００のような３択の判断作業を求めるマイクロタスクではなく、先ず、比較用データを用いて、予め用意された真に特定の状態Ｘを示す画像を表示するとともに、検証用データを用いて、状態を判断して欲しい画像を表示し、これらの画像を見比べてもらい、状態を判断して欲しい画像が、特定の状態Ｘに見えるか否かを判断させ、次に、比較用データを用いて、予め用意された真に特定の状態Ｙを示す画像を表示するとともに、検証用データを用いて、状態を判断して欲しい画像を表示し、これらの画像を見比べてもらい、状態を判断して欲しい画像が、特定の状態Ｙに見えるか否かを判断させるという具合に、単純な２択の判断作業を段階的に行わせるマイクロタスクとしてもよい。

そして、図４、図５に示すような検証用画面２００，３００において、検証用端末１００の操作者が、選択部２０１，２０２，３０１〜３０３にチェックを入れて「送信」ボタン２１０，３１０を押し下げると、監視対象の状態が特定の状態Ｘに該当するか否か、または複数の特定の状態Ｘ，Ｙのうちのいずれに該当するかの人手による判断結果のデータが、検証用端末１００からネットワーク１を介して検証装置６０へ送信される。検証装置６０では、検証手段６１により、人手による判断結果のデータを受信すると、受信した人手による判断結果のデータを用いて、各パターン認識器Ａ，Ｂ，Ｃによる判断の正誤を検証し、その検証結果等をネットワーク１を介してデータ収集装置７０に送信してデータベース７２（図２参照）に記憶させる（ステップＳ６）。また、検証手段６１により、人手による判断結果のデータ、および各パターン認識器Ａ，Ｂ，Ｃの認識結果のデータを、ネットワーク１を介して出力装置８０へ送信する。

また、前述したステップＳ３で、算定した認識結果の信頼度のうち最も値の大きい信頼度が、予め定められた閾値を超えるか、または閾値以上であると判断した場合には、検証用端末１００に検証用データおよび比較用データを送信するクラウドへの問合せ処理（ステップＳ４〜Ｓ６）は行わない。

それから、出力装置８０では、出力手段８１により、人手による判断結果のデータや、各パターン認識器Ａ，Ｂ，Ｃの認識結果のデータを受信し、採用する判断結果を決定する（ステップＳ７）。この際、出力手段８１は、人手による判断結果のデータを受信した場合には、検証用端末１００への問合せ処理が行われた場合であるから、人手による判断結果を採用し、一方、人手による判断結果のデータを受信しなかった場合には、検証用端末１００への問合せ処理が行われなかった場合であるから、各パターン認識器Ａ，Ｂ，Ｃによる判断結果（認識結果）のうち最も信頼度の値が大きい認識結果を採用する。そして、出力手段８１により、採用した判断結果のデータを、ネットワーク１を介して連携システム１１０へ送信する等の出力処理を実行する（ステップＳ７）。

その後、学習タイミングが到来した場合には、学習手段９１により、データベース７２（図２参照）の学習データ記憶手段７４に記憶された各イベントについての監視センサ３０Ａ，３０Ｂ，３０Ｃの出力データ（テーブル７２Ａ，７２Ｂ等に記憶されたデータ）および監視対象の状態についての正しい判断結果を示すタグ情報（テーブル７２Ｄに記憶されている出力手段８１により採用された判断結果）を用いて、モデルα，β，γを作成し、作成したモデルα，β，γをネットワーク１を介してパターン認識装置５０へ送信することにより、モデル記憶手段５２に記憶されたモデルα，β，γを更新する（ステップＳ８）。

また、性能算出タイミングが到来した場合には、性能算出手段９２により、データベース７２（図２参照）の検証結果記憶手段７３（テーブル７２Ａ，７２Ｂ等）にパターン認識器Ａ，Ｂ，Ｃ毎に蓄積記憶された検証結果（正誤の情報）を用いて、各パターン認識器Ａ，Ｂ，Ｃの性能を算出し、算出した各パターン認識器Ａ，Ｂ，Ｃの性能を、ネットワーク１を介してデータ収集装置７０へ送信することにより、データベース７２（図２参照）の性能記憶手段７６（テーブル７２Ｅ）に記憶された各パターン認識器Ａ，Ｂ，Ｃの性能を更新する（ステップＳ９）。

そして、監視対象の状態監視処理を続行する場合（ステップＳ１０）には、ステップＳ１の処理に戻り、一方、続行しない場合には、状態監視システム１０による状態監視処理を終了する。

＜状態監視システム１０の効果＞

このような本実施形態によれば、次のような効果がある。すなわち、状態監視システム１０は、検証手段６１を備えているので、パターン認識手段５１から出力される尤度を用いて定まる認識結果の信頼度が閾値以下または未満の場合には、知覚データ取得手段２０により取得した知覚データまたはこれを加工したデータを検証用データとして検証用端末１００へ送信する問合せ処理を行い、人手による判断結果を得ることができる。そして、この検証処理（問合せ処理）を行った場合には、出力手段８１により、パターン認識による判断結果に代えて、人手による判断結果をシステム出力とすることができる。

このため、ある環境に状態監視システム１０を導入した初期の段階では、テスト環境で収集したデータを用いて作成された初期モデルによるパターン認識手段５１がその導入先の環境に適合する度合いが明らかではなく、パターン認識手段５１による認識結果の信頼度の値は小さくなるが、その場合には、検証用端末１００への問合せ処理が行われ、人手による判断結果により、判断結果が正しい結果に修正されるので、最終的に出力手段８１により出力される情報（監視対象の状態についての判断結果）の品質を高めることができる。従って、再現率を優先しても、精度が犠牲になることはなく、トレードオフの問題を解消することができ、常に、システムの利用者により要求される品質を満たすことができる高性能の状態監視システム１０を実現することができる。

また、導入後、時間が経過し、パターン認識処理の累積回数が増え、検証手段６１により、パターン認識による判断の正誤の検証処理が繰り返され、その検証結果が蓄積されてくると、初期モデルを用いたパターン認識手段５１についての実環境への適合の度合いが明らかなにってくるので、認識結果の信頼度が上がってくるようになり、この結果、検証用端末１００への問合せ処理を行う頻度が低くなってくる。従って、時間の経過とともに、検証用端末１００から受信する人手による判断結果に頼らずに、出力手段８１によるシステム出力を行うケースが増えてくるので、イベント発生から出力までに要する時間を短くしていくことができる。このため、どのような環境に導入しても、導入先の環境に柔軟に対応可能であり、最終的に正確な判断結果を短時間で出力することができるようになる状態監視システム１０を実現することができる。

さらに、検証手段６１を備えていることから、導入当初のパターン認識手段５１による認識結果の信頼度は低くてもよいので、導入当初から高い性能を発揮することができる高価な監視センサ３０およびパターン認識手段５１を用意する必要はなく、また、初期モデルの作成にあたり、必ずしも実環境またはそれに極めて近い環境でのデータ収集を時間をかけて行う必要はないので、初期モデルへの投資を抑え、状態監視サービスの運用開始時期を早めることができる。このため、容易かつ安価にシステム構築を行うことができる。

また、状態監視システム１０は、学習データ記憶手段７４および学習手段９１を備えているので、モデル記憶手段５２に記憶されたモデルα，β，γを更新することができるため、最新のモデルα，β，γを用いたパターン認識器Ａ，Ｂ，Ｃにより、パターン認識処理を実行することができる。このため、パターン認識手段５１の性能を向上させていくことができる。なぜなら、学習データ記憶手段７４に記憶された監視センサ３０の出力データは、システム１０を運用しながら実環境で収集したデータであり、さらには、これらの監視センサ３０の出力データは、タグ情報とともに記憶され、このタグ情報は、出力手段８１により採用された判断結果のデータであり、検証手段６１による検証結果が活かされているので、正確性を保障されたタグ情報であることから、学習手段９１により、正確性を保障された学習データを用いた適正な機械学習を行うことができるためである。このため、パターン認識手段５１による認識結果の信頼度を、より一層高めていき、その結果、検証用端末１００への問合せ処理を行う頻度を、より一層低くし、イベント発生から出力までに要する時間を、より一層短くしていくことができる。

さらに、状態監視システム１０は、複数の監視センサ３０Ａ，３０Ｂ，３０Ｃを備えるとともに、これらに対応する複数のパターン認識器Ａ，Ｂ，Ｃを備えているので、図７に示すように、システム運用開始後に、各パターン認識器Ａ，Ｂ，Ｃの性能の高低が入れ替わることがある。このため、特性の異なるパターン認識器を組み合わせて運用することにより、高い性能を発揮し続けることができるので、検証用端末１００への問合せ処理の頻度を低くし、イベント発生から出力までに要する時間を短くすることができる。

また、図７の点線で示すように、最も高い性能を発揮するパターン認識器が入れ替わることがあるので、入れ替わった後は、性能の低い方の監視センサ３０は取り外すとともに、その監視センサ３０の出力データを処理していたパターン認識器の使用を中止することもできる。従って、例えば、システムの運用開始直後は、高価な監視センサ３０Ａを機能させて品質を担保し、その後、安価な監視センサ３０Ｂによるパターン認識器の性能が上がってきたところで、高価な監視センサ３０Ａを取り外し、別の導入先に供給すること等ができる。さらに、特性の異なるパターン認識器および監視センサ３０を後から追加して運用するといったこともできる。

そして、状態監視システム１０は、システム管理手段８２、検証結果記憶手段７３、性能算出手段９２、および出力ログ記憶手段７５を備えているので、システム管理者端末１２０に表示される管理画面４００（図６参照）において、各パターン認識器Ａ，Ｂ，Ｃの性能や出力ログを画面表示する性能表示処理と、各パターン認識器Ａ，Ｂ，Ｃの使用・不使用の選択を受け付ける認識器要否受付処理と、検証手段６１による検証処理（問合せ処理）の要否の選択（以降、最後まで問合せ処理を中止してよいか否かの選択）を受け付ける検証要否受付処理を実行することができる。

従って、システム管理者は、システム管理者端末１２０で、各パターン認識器Ａ，Ｂ，Ｃの性能や出力ログを参照することができるので、現在の状況（各時点での最新の状況）を確認しながら、性能が相対的に低くなり、不要になった監視センサ３０を取り外すか否かの判断や、その監視センサ３０の出力データを処理していたパターン認識器の使用を中止するか否かの判断、あるいは、検証手段６１による検証用端末１００への問合せ処理（検証処理）を中止してもよいか否かの判断を行うことができる。

＜変形の形態＞

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。

例えば、前記実施形態では、状態監視システム１０は、複数の監視センサ３０Ａ，３０Ｂ，３０Ｃを備えるとともに、これらに対応する複数のパターン認識器Ａ，Ｂ，Ｃを備えた構成とされていたが、本発明の状態監視システムは、監視センサ３０およびパターン認識器を１組だけ備えた構成としてもよい。但し、特性の異なる複数のパターン認識器を組み合わせて運用することが好ましく、そうすることで、パターン認識手段５１が高い性能を発揮し続けることができるので、検証用端末１００への問合せ処理の頻度を低くし、イベント発生から出力までに要する時間を短くすることができるうえ、不要になった監視センサ３０の取り外し等を行うことができる。

また、前記実施形態では、知覚データ取得手段２０により取得した知覚データを加工することによりマイクロタスク自動生成用素材である検証用データを作成するマイクロタスク化の処理（詳細には、その準備工程）は、検証装置６０の検証手段６１により行われていたが、接続装置４０で行ってもよく、あるいは、接続装置４０で加工したデータをさらに検証装置６０の検証手段６１により加工してもよい。

さらに、前記実施形態では、マイクロタスクを群衆に提供するサーバは、検証装置６０により構成されていたが、状態監視システム１０とは別のシステム（例えば、マイクロタスクを群衆に提供するサービスを行う業者が管理するシステム等）により構成されていてもよい。この場合には、検証装置６０の検証手段６１により、マイクロタスク自動生成用素材である検証用データおよびこれに対応する比較用データ、並びに検証用画面２００，３００（図４、図５参照）等の表示用フォームを、イベント識別情報とともにネットワーク１を介して別のシステムに送信し、少なくとも群衆によるマイクロタスクの作業が終了するまで、その別のシステムに保存しておく。なお、このうち比較用データや検証用画面の表示用フォームは、イベント毎に毎回変化するものではないため、別のシステムに予め送信して登録しておいてもよく、その場合には、検証装置６０の検証手段６１により、検証用データとともにタグ情報をイベント毎に別のシステムへ毎回送信することで、別のシステムは、いずれの比較用データを使用して、あるいは、いずれの検証用画面の表示用フォームを使用してマイクロタスク化の処理を完了させるのかを判断することができる。また、状態監視システム１０側（検証装置６０の検証手段６１側）で、検証用画面２００，３００（図４、図５参照）等の表示用データ（イベント識別情報、検証用データ、比較用データ、マイクロタスク作業結果である人手による判断結果の返信先情報を含む。）の作成を完了させ、完成した状態の検証用画面の表示用データを、ネットワーク１を介して別のシステムに送信し、保存しておいてもよく、あるいは、別のシステム側で返信先情報だけ付加する処理を行ってもよい。要するに、マイクロタスク化の処理は、状態監視システム１０と別のシステムとで分担して行ってもよく、あるいは状態監視システム１０側（検証装置６０の検証手段６１側）だけで行ってもよい。さらに、マイクロタスクがあることを群衆（人間）に伝達する処理は、別のシステムが行ってもよく、検証装置６０の検証手段６１が行ってもよい。そして、検証用端末１００を操作する群衆（人間）は、この別のシステムにアクセスし、この別のシステムから検証用端末１００に送信された検証用画面２００，３００（図４、図５）でマイクロタスクの判断作業を行う。検証用端末１００から返信されてくる人手による判断結果のデータは、別のシステムを経由して、検証装置６０の検証手段６１により受信してもよく、直接に検証装置６０の検証手段６１により受信してもよい。従って、本発明（請求項に係る発明）における検証手段と検証用端末との間で行われる送受信処理は、このように、別のシステムを経由して行われる場合を含んでいる。

そして、このように外部で運営されるクラウドソーシングを利用する場合は、本発明のシステムの内部で生成されたマイクロタスク（本発明のシステムからマイクロタスク自動生成用素材の提供を受けて最終的に外部で完成したマイクロタスクを含む。）が、他のシステムで生成された別系統のマイクロタスクと並んで群衆（クラウドワーカー）に提示される。クラウドワーカーは、様々なタスクの中から自由にタスクを選択するが、たまたま本発明のシステムで生成されたマイクロタスクを選択した場合、そのクラウドワーカーが検証用端末１００の操作者（群衆）となる。この場合の検証用端末１００は、通常は、スマートフォンのウェブブラウザ等、一般的なソフトウェアが搭載された端末である。但し、別のシステムから、あるいは別のシステムを運営する業者から依頼されたアプリ配信業者のシステム（各種のアプリケーションの配信システム）から、別のシステムとの通信でマイクロタスクの判断作業を行うための専用のアプリケーションが配布されている場合等には、その専用のアプリケーションが搭載された検証用端末１００でもよい。

以上のように、本発明の状態監視システムは、例えば、野生鳥獣による農作物被害や環境破壊等を防止するために、保護したい農場や牧場、森林への野生鳥獣の侵入を自動検知する場合、家畜の餌場や寝床への野生動物の侵入を自動検知する場合、家畜や害獣の行動を学習し、自動検出する場合、自宅や病院等の施設内での要介護高齢者や患者の状態を監視する場合、防犯のために、建物周囲の状態を監視する場合、人が集まる場所での各種の危険を予知する場合、地震や集中豪雨による土砂崩れ、雪崩、堤防決壊による河川の氾濫、落雷、火災等の各種の災害の予知や早期検知を行う場合などに用いるのに適している。

１ ネットワーク
１０ 状態監視システム
２０ 知覚データ取得手段
３０，３０Ａ，３０Ｂ，３０Ｃ 監視センサ
５１ パターン認識手段
５２ モデル記憶手段
６１ 検証手段
７３ 検証結果記憶手段
７４ 学習データ記憶手段
７５ 出力ログ記憶手段
８１ 出力手段
８２ システム管理手段
９１ 学習手段
９２ 性能算出手段
１００ 検証用端末
１１０ 連携システム
１２０ システム管理者端末
Ａ，Ｂ，Ｃ パターン認識器
α，β，γ モデル

Claims (5)

1. 監視対象についての監視目的に対応する特定の状態を検出する状態監視システムであって、
   前記監視対象の状態を検出する監視センサと、
   前記監視対象の状態について人の知覚で認識可能な知覚データを取得するために設けられた、前記監視センサとは別の、または前記監視センサと兼用の知覚データ取得手段と、
   前記監視センサの出力データを用いて前記監視対象の状態が前記特定の状態に該当するか否か、または複数の前記特定の状態のうちのいずれに該当するかを判断するパターン認識処理を実行するパターン認識手段と、
   このパターン認識手段から出力される尤度を用いて定まる認識結果の信頼度が、予め定められた閾値以下または未満の場合には、前記知覚データ取得手段により取得した知覚データまたはこれを加工したデータを、前記パターン認識手段による判断の正誤を検証するための検証用データとして、ネットワークを介して検証用端末へ送信するとともに、前記検証用データを用いて前記検証用端末の操作者により判断された前記監視対象の状態が前記特定の状態に該当するか否か、または複数の前記特定の状態のうちのいずれに該当するかの人手による判断結果のデータを、前記検証用端末からネットワークを介して受信し、受信した前記人手による判断結果のデータを用いて前記パターン認識手段による判断の正誤を検証する検証処理を実行する検証手段と、
   この検証手段による検証処理を行った場合には、前記人手による判断結果を採用し、前記検証処理を行わなかった場合には、前記パターン認識手段による判断結果を採用し、採用した判断結果のデータを、ネットワークを介して連携システムへ送信するか、表示装置に画面表示するか、印刷装置で印刷するか、音声出力するか、または採用した判断結果に応じた報知音若しくは報知光を出力する処理を実行する出力手段と
   を備えたことを特徴とする状態監視システム。
2. 前記パターン認識手段で用いるモデルを記憶するモデル記憶手段と、
   前記監視センサの出力データを、前記出力手段により採用された判断結果のデータと関連付けて記憶する学習データ記憶手段と、
   この学習データ記憶手段に記憶された前記監視センサの出力データを用いて、前記モデルを繰り返し作成し、前記モデル記憶手段に記憶されたモデルを更新する処理を実行する学習手段とを備え、
   前記パターン認識手段は、
   前記モデル記憶手段に記憶された最新のモデルを用いて、前記パターン認識処理を実行する構成とされている
   ことを特徴とする請求項１に記載の状態監視システム。
3. 複数の前記監視センサを備え、
   前記パターン認識手段は、
   複数の前記監視センサに対応する複数のパターン認識器を含む構成とされ、
   前記モデル記憶手段は、
   複数の前記パターン認識器に対応する複数のモデルを記憶する構成とされ、
   前記学習データ記憶手段は、
   複数の前記監視センサの出力データの各々を、前記出力手段により採用された判断結果のデータと関連付けて記憶する構成とされ、
   前記学習手段は、
   前記学習データ記憶手段に記憶された複数の前記監視センサの出力データの各々を用いて、複数の前記モデルの各々を繰り返し作成し、前記モデル記憶手段に記憶された複数の前記モデルを更新する処理を実行する構成とされ、
   前記検証手段は、
   複数の前記パターン認識器の各々から出力される尤度を用いて定まる認識結果の信頼度のうち最も値の大きい信頼度が、前記閾値以下または未満の場合に、前記検証用端末へ検証用データを送信するとともに、前記検証用端末から前記人手による判断結果のデータを受信する検証処理を実行する構成とされ、
   前記出力手段は、
   前記検証手段による検証処理を行った場合には、前記人手による判断結果を採用し、前記検証処理を行わなかった場合には、複数の前記パターン認識器のうち最も信頼度の値が大きい前記パターン認識器による判断結果を採用する処理を実行する構成とされている
   ことを特徴とする請求項２に記載の状態監視システム。
4. 前記検証手段による複数の前記パターン認識器の検証結果を、前記パターン認識器毎に蓄積記憶する検証結果記憶手段と、
   この検証結果記憶手段に前記パターン認識器毎に蓄積記憶された検証結果を用いて、複数の前記パターン認識器の各々について性能を算出する処理を実行する性能算出手段と、
   この性能算出手段により算出された複数の前記パターン認識器の性能、若しくはこれらの性能に加え、出力ログ記憶手段に記憶されている前記出力手段によりいずれの判断結果が採用されたかを示す出力ログを、システム管理者端末に画面表示する性能表示処理を実行するか、またはこの性能表示処理に加え、複数の前記パターン認識器の各々の使用・不使用の選択を受け付ける認識器要否受付処理を実行するシステム管理手段と
   を備えたことを特徴とする請求項３に記載の状態監視システム。
5. 前記検証手段による検証結果を蓄積記憶する検証結果記憶手段と、
   この検証結果記憶手段に蓄積記憶された検証結果を用いて、前記パターン認識手段の性能を算出する処理を実行する性能算出手段と、
   この性能算出手段により算出された前記パターン認識手段の性能、若しくはこの性能に加え、出力ログ記憶手段に記憶されている前記出力手段によりいずれの判断結果が採用されたかを示す出力ログを、システム管理者端末に画面表示する性能表示処理を実行するか、またはこの性能表示処理に加え、前記検証手段による検証処理の要否の選択を受け付ける検証要否受付処理を実行するシステム管理手段と
   を備えたことを特徴とする請求項１〜３のいずれかに記載の状態監視システム。

Images