JP2023168733A - 侵入者検知システム及びプログラム - Google Patents

Abstract

【課題】背景画像が変化する場合であっても侵入者が映り込んでいるか否か等の異常を検出する。【解決手段】侵入者検知システムは、撮像された監視動画を取得する動画取得部と、基準画像と前記監視動画に含まれる検出対象画像との差分に基づいて、画像差分を検出する差分検出部と、前記画像差分の検出結果に基づいて、前記基準画像と異なる異常状態が前記監視動画に撮像されているか否かを、前記監視動画を区分した小領域ごとに判定する判定部と、を含む前段判定部と、前記前段判定部が異常であると判定した前記小領域について、当該小領域の部分の画像と、前記小領域ごとに学習された学習済みモデルの学習結果とに基づいて、前記小領域に異常状態が撮像されているかを判定する後段判定部とを備える。【選択図】図１

Description

本発明は、侵入者検知システム及びプログラムに関する。

従来、監視カメラ等の固定された撮像装置を用いて撮像された画像を画像処理することにより、侵入者が映り込んでいるか否か等の異常状態の発生の有無を検出する技術があった。このような画像処理技術の一例として、検出対象となる画像と背景画像とを比較することにより差分を検出し、検出された差分に基づいて異常状態の発生の有無を検出する技術が知られている（例えば、特許文献１を参照）。

特開２００７―１８８２９４号公報

上述したような背景差分による検出技術を用いた場合、背景画像が変化した場合に異常が発生したと誤検出をしてしまう場合があった。特に背景差分による検出技術を屋外で撮像された画像に用いる場合、急激な雨等の天候変化や風による木の葉の揺れ等により背景画像に変化がある場合が多く、誤検出をしてしまう場合があった。すなわち従来技術による異常検出技術によれば、比較対象となる背景画像が変化する場合における検出精度に課題があった。

そこで、本発明は、背景画像が変化する場合であっても侵入者が映り込んでいるか否か等の異常状態の発生の有無を検出することが可能な侵入者検知システム及びプログラムを提供することを目的とする。

（１）本発明の一態様は、撮像された監視動画を取得する動画取得部と、基準画像と前記監視動画に含まれる検出対象画像との差分に基づいて、画像差分を検出する差分検出部と、前記画像差分の検出結果に基づいて、前記基準画像と異なる異常状態が前記監視動画に撮像されているか否かを、前記監視動画を区分した小領域ごとに判定する判定部と、を含む前段判定部と、前記前段判定部が異常であると判定した前記小領域について、当該小領域の部分の画像と、前記小領域ごとに学習された学習済みモデルの学習結果とに基づいて、前記小領域に異常状態が撮像されているかを判定する後段判定部とを備える侵入者検知システムである。

（２）本発明の一態様は、上記（１）に記載の侵入者検知システムにおいて、前記基準画像は、前記監視動画に含まれる画像であって、前記検出対象画像が撮像された時点より前の時点において撮像された画像である。

（３）本発明の一態様は、上記（１）又は（２）に記載の侵入者検知システムにおいて、前記学習済みモデルは、時間軸で互いに異なるタイミングについてそれぞれ学習された複数の学習済みモデルから構成され、撮像されたタイミングを取得するタイミング取得部を更に備え、前記後段判定部は、取得された前記タイミングに応じた前記学習済みモデルに基づいて判定する。

（４）本発明の一態様は、上記（３）に記載の侵入者検知システムにおいて、前記学習済みモデルは、季節又は時間帯に応じて異なる複数の学習済みモデルから構成される。

（５）本発明の一態様は、上記（１）から（４）のいずれかに記載の侵入者検知システムにおいて、前記後段判定部による判定結果を提示する提示部と、前記提示部が前記判定結果を提示したことに応じて、前記判定結果が正しいか否かの判断結果を受け付ける判断結果受付部と、前記提示部が提示した前記判定結果の画像と、前記判断結果受付部が受け付けた前記判断結果との組み合わせを教師情報として、前記学習済みモデルを再学習させる学習部とを更に備える。

（６）本発明の一態様は、上記（５）に記載の侵入者検知システムにおいて、前記提示部は、前記小領域それぞれについて前記後段判定部による前記判定結果を提示し、前記判断結果受付部は、前記小領域それぞれについて前記判定結果が正しいか否かの判断結果を受け付ける。

（７）本発明の一態様は、コンピュータに、撮像された監視動画を取得する動画取得ステップと、基準画像と前記監視動画に含まれる検出対象画像との差分に基づいて、画像差分を検出する差分検出ステップと、前記画像差分の検出結果に基づいて、前記基準画像と異なる異常状態が前記監視動画に撮像されているか否かを、前記監視動画を区分した小領域ごとに判定する判定ステップと、を有する前段判定ステップと、前記前段判定ステップにより異常であると判定された前記小領域について、当該小領域の部分の画像と、前記小領域ごとに学習された学習済みモデルの学習結果とに基づいて、前記小領域に異常状態が撮像されているかを判定する後段判定ステップとを実行させるプログラムである。

本発明によれば、背景画像が変化する場合であっても侵入者が映り込んでいるか否か等の異常状態の発生の有無を検出することができる。

第１の実施形態に係る侵入者検知システムの機能構成の一例を示す機能構成図である。 第１の実施形態に係る前段判定部の機能構成の一例を示す機能構成図である。 第１の実施形態に係る基準画像の一例を示す図である。 第１の実施形態に係る検出対象画像の一例を示す図である。 第１の実施形態に係る後段判定部の機能構成の一例を示す機能構成図である。 第１の実施形態に係る前段判定部により小領域ごとに判定された画像の一例を示す図である。 第１の実施形態に係る侵入者検知システムの動作の一例を示すフローチャートである。 第１の実施形態に係る機械学習モデルを学習させる学習段階について説明するための図である。 第１の実施形態に係る侵入者検知システムの機能構成の変形例を示す機能構成図である。 第２の実施形態に係る侵入者検知システムの機能構成の一例を示す機能構成図である。 第２の実施形態に係る後段判定部の機能構成の一例を示す機能構成図である。 第３の実施形態に係る侵入者検知システムの概要について説明するための図である。 第３の実施形態に係る侵入者検知システムの機能構成の一例を示す機能構成図である。 第３の実施形態に係る情報処理端末装置が表示する表示画面の画面構成の一例を示す図である。 第３の実施形態に係る情報処理端末装置が表示する表示画面の画面構成の変形例を示す図である。

以下、本発明の態様に係る侵入者検知システム及びプログラムについて、好適な実施の形態を掲げ、添付の図面を参照しながら詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。

まず、本実施形態の前提となる事項について説明する。本実施形態に係る侵入者検知システムは、監視カメラ等の撮像装置により撮像された動画を解析し、侵入者が撮像されている等の異常状態の発生の有無を検知する。本実施形態における撮像装置は、壁や柱等の土地に固定された建造物に設置されることが好適であるが、この一例に限定されない。本実施形態における撮像装置は、例えば、車両や船舶、ドローン等の移動体に設置されていてもよい。また、本実施形態における侵入者とは、撮像装置が撮像する範囲に通常存在し得ない物体等である。本実施形態において侵入者とは、人物に限定されず、熊や猪等の動物、車両やドローン等の移動体等を広く含む。

［第１の実施形態］
まず、図１から図９を参照しながら、第１の実施形態について説明する。
図１は、第１の実施形態に係る侵入者検知システムの機能構成の一例を示す機能構成図である。同図を参照しながら、侵入者検知システム１の機能構成の一例について説明する。侵入者検知システム１は、侵入者検知装置１０と、撮像装置２０とを含む。侵入者検知システム１において、侵入者検知装置１０及び撮像装置２０は、１対１で対応して備えられる。換言すれば、一の侵入者検知装置１０は、一の撮像装置２０に対応する。侵入者検知装置１０と撮像装置２０とは、所定の通信方法により接続される。

侵入者検知装置１０及び撮像装置２０は、共通の筐体に備えられていてもよいし、シリアル通信等の通信方式により有線接続がされていてもよいし、所定の通信ネットワークを介して１対１で通信可能なように接続されていてもよい。所定の通信ネットワークとは、接続ブルートゥース（登録商標）(Bluetooth)等の規格による近距離無線通信であってもよい。本実施形態における近距離無線通信は、ブルートゥース（登録商標）の一例に限定されず、種々の通信方式を採用可能である。例えば、近距離無線通信とは、Ｗｉ－Ｆｉ（登録商標）、ＩｒＤＡ(Infrared Data Association）、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）、ＺｉｇＢｅｅ（登録商標）等であってもよい。また、所定の通信ネットワークとは、有線イーサネット等の有線ネットワーク、又はＷｉ－ＦｉやＬＴＥ等の無線ネットワークであってもよい。

撮像装置２０は、監視動画を撮像する。撮像装置２０は、例えば所定箇所に固定された固定カメラである。撮像装置２０は、画角及び撮像角度が固定されていてもよいし、画角及び撮像角度が変更可能なように構成されていてもよい。以下の説明においては、撮像装置２０が同一の画角及び同一の撮像角度で監視動画を撮像する場合の一例について説明する。

撮像装置２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサを用いたＣＣＤカメラであってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたＣＭＯＳカメラであってもよい。また、撮像装置２０により撮像される監視動画は、カラー動画であってもよいし、モノクロ動画であってもよい。

また、撮像装置２０は近赤外線を含む光を用いた赤外線カメラであってもよい。すなわち撮像装置２０により撮像される監視動画は、赤外線動画であってもよい。
なお、撮像装置２０により撮像される動画の種類は、時間帯により異なっていてもよい。例えば、撮像装置２０は、光量が豊富な昼間はカラー動画又はモノクロ動画を撮像し、光量が減少する夜間は赤外線動画を撮像してもよい。

撮像装置２０は、撮像した監視動画を含む情報を監視動画情報ＭＩとして侵入者検知装置１０に出力する。撮像装置２０は、例えば時間帯により異なる動画（例えばカラー動画又は赤外線動画）を撮像する場合、時間帯に応じて撮像された監視動画を含む情報を監視動画情報ＭＩとして侵入者検知装置１０に出力する。

侵入者検知装置１０は、前段判定部１１０と、後段判定部１２０とを備える。侵入者検知装置１０は、バスで接続された不図示のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read only memory）又はＲＡＭ（Random access memory）等の記憶装置等を備え、侵入者検知プログラムを実行することによって前段判定部１１０と、後段判定部１２０とを備える装置として機能する。
なお、侵入者検知装置１０の各機能の全てまたは一部は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアを用いて実現されてもよい。侵入者検知プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。侵入者検知装置プログラムは、電気通信回線を介して送信されてもよい。

侵入者検知装置１０は、前段判定部１１０を備えることで背景差分による異常検出を行い、後段判定部１２０を備えることで背景差分により異常と検出された場合に機械学習アルゴリズムによる詳細な異常検出を行う。ここで、侵入者検知装置１０は、監視動画に含まれる検出対象画像を複数の小領域に分割し、分割された小領域ごとに異常が存在するか否かを判定する。小領域とは、例えば検出対象画像をｎ等分（ｎは２以上の自然数）した領域であってもよい。一例として、検出対象画像を１０等分する場合であって、検出対象画像の画素数が１２８０［ｐｘ（ピクセル）］×９６０［ｐｘ］である場合、小領域のサイズは、２５６［ｐｘ］×４８０［ｐｘ］であってもよい。

具体的には、前段判定部１１０は、分割された小領域ごとに背景差分による異常検知を行う。前段判定部１１０は、背景差分による異常検知が発生した小領域についての情報を、小領域情報ＳＡＩとして後段判定部１２０に出力する。後段判定部１２０は、小領域の正常状態について予め学習された機械学習モデルを備える。後段判定部１２０は前段判定部１１０から取得した小領域情報ＳＡＩに含まれる異常を有すると判定された小領域に関する情報を機械学習モデルに入力し、機械学習アルゴリズムにより、異常が存在するか否かを推論する。

前段判定部１１０は、背景差分による異常検知を行うため、急激な雨等の天候変化や風による木の葉の揺れ等により背景画像に変化が生じた場合であっても異常と判定し、変化があった小領域に関する情報を後段判定部１２０に出力する。後段判定部１２０は、機械学習により小領域ごとの正常時の変化（例えば、急激な雨等の天候変化や風による樹木の揺れ等の変化）について予め学習されているため、当該変化が正常時における範囲内のものであれば、異常でないと推論する。すなわち、侵入者検知装置１０は、前段判定部１１０及び後段判定部１２０を備え、２段階で異常検知を行うことにより、精度よく異常検知を行うことができる。また、後段判定部１２０は全ての小領域について機械学習アルゴリズムを適用せず、前段判定部１１０により異常と判定された小領域について機械学習アルゴリズムを適用する。したがって、侵入者検知装置１０の処理量は、全ての小領域について機械学習アルゴリズムを適用する場合と比較して少ない。

図２は、第１の実施形態に係る前段判定部の機能構成の一例を示す機能構成図である。同図を参照しながら前段判定部１１０の機能構成の一例について説明する。前段判定部１１０は、動画取得部１１１と、基準画像記憶部１１２と、差分検出部１１３と、判定部１１４とを備える。

動画取得部１１１は、撮像装置２０により撮像された監視動画を含む情報を監視動画情報ＭＩとして取得する。動画取得部１１１は、取得した監視動画情報ＭＩに含まれる監視動画のうち、検出対象とする画像を検出対象画像ＴＩとして抽出する。検出対象画像ＴＩは、監視動画を構成する複数のフレームのうち、いずれかのフレームであってよい。例えば、動画取得部１１１は、所定の時間間隔で検出対象画像ＴＩを抽出する。所定の時間間隔とは、異常検知を行うタイミングであってもよい。所定の時間間隔が短いと、動画に短期間映り込むような異常を検知することができるが、頻繁に処理を行うことになるため処理負荷が増大してしまう。所定の時間間隔が長いと、処理を行う頻度が低くなることにより処理負荷が減少する一方、動画に短期間映り込むような異常を検知することができない。したがって、動画取得部１１１は、検出精度と処理負荷とのトレードオフを考慮した時間間隔により、監視動画から検出対象画像ＴＩを抽出する。動画取得部１１１は、抽出した検出対象画像ＴＩを差分検出部１１３に出力する。

基準画像記憶部１１２は、基準画像ＲＩを記憶する。基準画像ＲＩとは、背景差分を行う際に検出対象画像ＴＩと比較の対象となる画像である。基準画像ＲＩとは、正常時における背景画像ということもできる。基準画像ＲＩは、好適には、検出対象画像ＴＩを撮像した撮像装置２０により撮像された画像であることが好適である。また、基準画像ＲＩは、動画取得部１１１により取得された監視動画に含まれる画像であって、検出対象画像ＴＩが撮像された時点より前の時点において撮像された画像であることが好適である。特に、基準画像ＲＩとは、動画取得部１１１により取得された監視動画に含まれる画像であって、異常が検知されなかったときの画像（正常時の画像）であることが好適である。異常が検知されなかったときの画像であるか否かは、侵入者検知装置１０の判定に基づいてもよいし、人為的に選定されてもよい。また、検出対象画像ＴＩが撮像された時点より前の時点とは、例えば１年前であってもよいし、１秒前であってもよい。また、検出対象画像ＴＩが撮像された時点より前の時点により撮像された画像とは、数フレーム前の画像であってもよい。また、基準画像ＲＩは、複数枚で構成されてもよい。

図３は、第１の実施形態に係る基準画像の一例を示す図である。同図を参照しながら、基準画像ＲＩの一例について説明する。同図に示すように基準画像ＲＩには、背景が撮像されている。同図を平行方向に見て中央より左側付近には監視対象となる敷地の内側が撮像され、右側付近には監視対象となる敷地の外側が撮像されている。また、同図の左上付近には建物が、中央上側から下側及び中央下側から左下付近には道が撮像されている。同図に示した状態において、画像内に侵入者は確認できないため、同図に異常は存在せず、正常時の画像であるということができる。

なお、図３に示した一例においては、いかなる人物や動物又は移動体等も映り込んでいないが、監視対象となる範囲によっては、基準画像ＲＩに人物や動物又は移動体等が映り込んでいる場合も想定される。例えば、監視対象となる範囲が広く、人通りが激しいような場所の場合、基準画像ＲＩに人物が映り込んでいてもよい。基準画像ＲＩに人物や動物又は移動体等が映り込んでいる場合、侵入者検知装置１０は、正常時に映り込む人物や動物又は移動体等が有する特徴とは異なる特徴を有する人物や動物又は移動体等を侵入者として検知する。なお、正常時に映り込む人物や動物又は移動体等が有する特徴とは、静止画から判定可能な（外見的な）特徴であってもよいし、時間情報を含む動画から判定可能な（行動的な）特徴であってもよい。

図３に戻り、差分検出部１１３は、動画取得部１１１から検出対象画像ＴＩを取得し、基準画像記憶部１１２から基準画像ＲＩを取得する。差分検出部１１３は、取得した検出対象画像ＴＩと基準画像ＲＩとを比較して、差分を検出する。すなわち、差分検出部１１３は、基準画像ＲＩと監視動画に含まれる検出対象画像ＴＩとの差分に基づいて、画像差分を検出する。差分検出部１１３は、検出した画像差分を差分情報ＤＩとして判定部１１４に出力する。
なお、基準画像ＲＩが、複数枚で構成されている場合は、画素ごとの値の出現頻度等から、統計的に検出対象画像ＴＩとの差分を検出してもよい。

判定部１１４は、差分検出部１１３から差分情報ＤＩを取得する。判定部１１４は、取得した差分情報ＤＩに含まれる画像差分の検出結果に基づいて、検出対象画像ＴＩに基準画像ＲＩと異なる異常状態が監視動画に撮像されているか否かを判定する。異常状態であるか否かは、差分検出部１１３により検出された画像差分が、予め定められた所定の閾値以上であるか否かに基づいて判定されてもよい。具体的には、異常状態であるか否かは、所定の閾値以上の差分が発生した検出画素について、隣接する検出画素同士をクラスタ化し、クラスタを構成する画素数が一定以上か否かに基づいて判定されてもよい。クラスタを構成する画素数が一定以上であるとは、移動物体の大きさが一定以上であることを示す。また、異常状態であるか否かは、フレーム間のクラスタ中心の位置変化の連続数に基づいて判定されてもよい。フレーム間のクラスタ中心の位置が変化している場合、移動物体が存在していることを示す。
ここで、判定部１１４は、検出対象画像ＴＩに基準画像ＲＩと異なる異常状態が監視動画に撮像されているか否かを、監視動画を区分した小領域ごとに判定する。

図４は、第１の実施形態に係る検出対象画像の一例を示す図である。同図を参照しながら、判定部１１４による判定の一例について説明する。同図には、検出対象画像ＴＩを１０の小領域に区分した場合の一例について説明する。具体的には、検出対象画像ＴＩを水平方向に５区分、垂直方向に２区分、合計１０区分に区分した場合の一例を示す。左上の小領域から順に小領域ＳＡ１、…小領域ＳＡ１０とした場合、小領域ＳＡ１から小領域ＳＡ３、小領域ＳＡ５、及び小領域ＳＡ７から小領域ＳＡ１０は正常である。小領域ＳＡ４には歩行者が撮像されているため、基準画像ＲＩとの差分が存在し、異常である（画像差分が閾値以上である）と判定される。また、小領域ＳＡ６には作業員が撮像されているため、基準画像ＲＩとの差分が存在し、異常である（画像差分が閾値以上である）と判定される。

判定部１１４は、異常である（画像差分が閾値以上である）と判定した小領域に関する情報を小領域情報ＳＡＩとして後段判定部１２０に出力する。小領域情報ＳＡＩには、小領域の位置を特定する識別情報、小領域の座標情報、小領域における検出対象画像ＴＩ及び基準画像ＲＩの画像情報、小領域における検出対象画像ＴＩ及び基準画像ＲＩの差分情報等が含まれていてもよい。

ここで、例えば小領域ＳＡ５には木の葉が撮像されているため、風の強さによっては、当該小領域内に侵入者が撮像されていない場合であっても、基準画像ＲＩとの差分が閾値以上であると判定される場合がある。このように侵入者が撮像されていないにもかかわらず差分が生じた場合であっても、判定部１１４は、差分が存在すると判定し、当該小領域に関する情報を小領域情報ＳＡＩとして後段判定部１２０に出力する。後段判定部１２０は、小領域情報ＳＡＩに基づき、より詳細な異常か否かの判定を行う。すなわち、前段判定部１１０は、後段判定部１２０により詳細な判定が行われる前の、前処理（ふるい分けｍ又はスクリーニング）を行う構成であるともいうことができる。

図５は、第１の実施形態に係る後段判定部の機能構成の一例を示す機能構成図である。同図を参照しながら、後段判定部１２０の機能構成の一例について説明する。後段判定部１２０は、小領域情報取得部１２１と、学習済みモデル選択部１２２と、学習済みモデル１２３と、推論結果出力部１２４とを備える。

後段判定部１２０は、小領域情報取得部１２１と、学習済みモデル選択部１２２と、学習済みモデル１２３と、推論結果出力部１２４とを備えることにより、より詳細な判定を行う。具体的には、後段判定部１２０は、前段判定部１１０から小領域情報ＳＡＩを取得する。後段判定部１２０は、取得した小領域情報ＳＡＩにより示される小領域、すなわち前段判定部１１０により異常であると判定された小領域について、異常状態が撮像されているかを判定する。後段判定部１２０は、小領域ごとに学習された学習済みモデルの学習結果に基づいて以上の有無を判定する。換言すれば、後段判定部１２０は、前段判定部１１０が異常であると判定した小領域について、小領域の部分の画像と、小領域ごとに学習された学習済みモデルの学習結果とに基づいて、小領域に異常状態が撮像されているかを判定する。

小領域情報取得部１２１は、前段判定部１１０から小領域情報ＳＡＩを取得する。小領域情報取得部１２１は、取得した小領域情報ＳＡＩに基づき、推論すべき小領域に関する情報を学習済みモデル選択部１２２に出力する。なお、小領域情報取得部１２１は、取得した小領域情報ＳＡＩを加工せずに学習済みモデル選択部１２２に出力してもよいし、小領域情報ＳＡＩに基づいた情報を学習済みモデル選択部１２２に出力してもよい。

学習済みモデル選択部１２２は、小領域情報取得部１２１から、推論すべき小領域に関する情報（例えば、小領域情報ＳＡＩ）を取得する。学習済みモデル選択部１２２は、取得した小領域に関する情報に基づき、推論に用いるべき学習済みモデルを選択する。例えば、学習済みモデル選択部１２２は、小領域を識別する小領域識別情報と、学習済みモデルを識別する学習済みモデル識別情報とを突合することにより、推論に用いるべき学習済みモデルを選択してもよい。学習済みモデル選択部１２２は、選択した学習モデルを識別する学習済みモデル識別情報を含む情報を、学習モデル選択情報ＭＳＩとして学習済みモデル１２３に出力する。なお、学習モデル選択情報ＭＳＩには、小領域情報ＳＡＩに含まれる小領域に関する情報であって、少なくとも検出対象画像ＴＩのうち、推論すべき小領域に関する画像情報が含まれる。

学習済みモデル１２３は、複数の学習済みモデルを含む。学習済みモデル１２３に含まれる複数の学習済みモデルは、それぞれいずれかの小領域に対応する。図５に示す一例では、学習済みモデル１２３は、第１学習済みモデル１２３１と、第２学習済みモデル１２３２と、…、第ｎ学習済みモデル１２３ｎ（ｎは１以上の自然数）とを含む。図４に示した一例のように、１０の小領域に分割される場合のｎは１０であり、すなわち学習済みモデル１２３は、第１学習済みモデル１２３１から第１０学習済みモデル１２３１０で識別される１０の学習済みモデルを含む。

それぞれの学習済みモデルは、前段判定部１１０により区分して判定されたそれぞれの小領域に対応する。それぞれの学習済みモデルは、対応する小領域に異常が存在するか否かを推論するよう予め学習されている。すなわち、それぞれの学習済みモデルは、前段判定部１１０により基準画像ＲＩとの差分が存在すると判定された小領域について、当該差分が想定される範囲のものであるか侵入者によるものであるかを、機械学習アルゴリズムにより推論する。
なお、それぞれの学習済みモデルは、対応する小領域に異常が存在するか否かに加えて、又は代えて、異常である程度、正常である程度、又は異常である程度及び正常である程度の両方を推論してもよい。

ここで、それぞれの学習済みモデルに用いられる機械学習アルゴリズムの一例としては、ＡｕｔｏＥｎｃｏｄｅｒ、ＳＳＩＭ ＡｕｔｏＥｎｃｏｄｅｒ、ＶＡＥ－Ｍ又はＡＥ－Ｇｒａｄ等の自己符号化器（オートエンコーダ）系のアルゴリズムであってもよい。また、機械学習アルゴリズムのその他の一例としては、ＡｎｏＧＡＮ、Ｅｆｆｉｃｉｅｎｔ－ＧＡＮ、ＧＡＮｏｍａｌｙ又はＳｋｉｐＧＡＮｏｍａｌｙ等の敵対的生成ネットワーク（ＧＡＮ）系のアルゴリズムであってもよい。また、機械学習アルゴリズムのその他の一例としては、ＴｒｉｐｌｅｔＬｏｓｓ、Ｌ２－Ｓｏｆｔｍａｘ－Ｌｏｓｓ又はＡｒｃＦａｃｅ等のｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ（距離学習）系のアルゴリズムであってもよい。また、機械学習アルゴリズムのその他の一例としては、ＡＥ＋ＧＭＭ、ＤＡＧＭＭ、ＤｅｅｐＳＶＤＤ又はＤｅｅｐＳＡＤ等の、深層学習による特徴量抽出と従来の識別機の組み合わせ（ハイブリットモデル）であってもよい。

学習済みモデル１２３は、推論した結果を、推論結果情報ＩＲＩとして推論結果出力部１２４に出力する。
推論結果出力部１２４は、学習済みモデル１２３から推論結果情報ＩＲＩを取得し、取得した結果を、所定の通信方式により出力する。

図６は、第１の実施形態に係る前段判定部により小領域ごとに判定された画像の一例を示す図である。同図を参照しながら、学習済みモデル１２３により推論された結果の一例について説明する。同図を参照しながら、図４において説明した一例と同様の一例について説明する。図６に示す一例では、図４に示す一例と同様に、検出対象画像ＴＩを水平方向に５区分、垂直方向に２区分、合計１０区分に区分した場合の一例を示す。小領域ＳＡ１から小領域ＳＡ１０のそれぞれには、対応する小領域に異常が存在するか否か、及び当該小領域が異常又は正常である程度が示されている。

図６に示す一例では、小領域ＳＡ１の“正常”である程度は、“９２％”であり、小領域ＳＡ２の“正常”である程度は、“９８％”であり、小領域ＳＡ３の“正常”である程度は、“９４％”であり、小領域ＳＡ４の“正常”である程度は、“７０％”であり、小領域ＳＡ５の“正常”である程度は、“７４％”であり、小領域ＳＡ６の“異常”である程度は、“８８％”であり、小領域ＳＡ７の“正常”である程度は、“９８％”であり、小領域ＳＡ８の“正常”である程度は、“９８％”であり、小領域ＳＡ９の“正常”である程度は、“９８％”であり、小領域ＳＡ１０の“正常”である程度は、“９８％”である。

図４及び図６を比較すると、小領域ＳＡ４は、図４において前段判定部１１０により異常と判定された後、図６において後段判定部１２０により正常であると判定されている。この結果は、小領域ＳＡ４に映り込んでいる対象が歩行者であることに起因する。すなわち、小領域ＳＡ４に対応する学習済みモデルは、歩行者が通行することも含めて正常状態であることを学習しているため、たとえ基準画像ＲＩと検出対象画像ＴＩとの差分があったとしても、後段判定部１２０によれば、正常であると推論される。なお、小領域ＳＡ４の“正常”である程度は、“７０％”と、他の正常な小領域と比較すると度合いが低くなっている。

また、図４及び図６を比較すると、小領域ＳＡ６は、図４において前段判定部１１０により異常と判定された後、図６においても同様に後段判定部１２０により異常であると判定されている。この結果は、小領域ＳＡ４に映り込む作業員の存在が、小領域ＳＡ６に対応する学習済みモデルにおいても正常状態とは学習されていなかったことに起因する。小領域ＳＡ６の“異常”である程度は、“８８％”である。
なお、本実施形態においては、正常であるか異常であるかをまず示し、そのうえで、正常である場合、正常である度合いを０％から１００％までの百分率で示し、異常である場合、異常である度合いを０％から１００％までの百分率で示す。

また、図６において正常又は異常である程度をみてみると、小領域ＳＡ５における正常である程度が“７４％”と低い。これは、小領域ＳＡ５には木の葉が映り込んでいることに起因する。木の葉は風により揺らぐため、基準画像ＲＩと検出対象画像ＴＩとの差分が生じる。また、木の葉の揺らぎ方はそのときに応じて異なり、学習時における揺らぎ方と推論時における揺らぎ方は完全に同一ではない。したがって、小領域ＳＡ５に対応する学習済みモデルが木の葉の揺らぎを正常の範囲と学習している場合であっても、正常である程度としては、他の正常である小領域と比較して低くなる。

図７は、第１の実施形態に係る侵入者検知システムの動作の一例を示すフローチャートである。同図を参照しながら、侵入者検知システム１の一連の動作の一例について説明する。
（ステップＳ１１０）まず、撮像装置２０により監視対象となる範囲が撮像された監視動画を取得する。
（ステップＳ１２０）次に、差分検出部１１３により、監視動画に含まれる検出対象画像ＴＩと基準画像ＲＩとの差分を検出する。判定部１１４は、差分検出部１１３により検出された差分に基づき、異常状態が撮像されているか否かを判定する。判定部１１４は、異常状態が撮像されているか否かを、小領域ごとに判定する。

（ステップＳ１３０）次に、前段判定部１１０は、異常状態を含む小領域が存在する場合（すなわちステップＳ１３０；ＹＥＳ）、当該小領域に関する情報を、小領域情報ＳＡＩとして後段判定部１２０に出力し、処理をステップＳ１４０に進める。前段判定部１１０は、ステップＳ１１０により取得された動画に含まれる検出対象画像ＴＩのいずれについても異常状態を含む小領域が存在しない場合（すなわちステップＳ１３０；ＮＯ）、再度動画を取得する。すなわち、処理をステップＳ１１０に戻す。

（ステップＳ１４０）次に、後段判定部１２０は、前段判定部１１０により異常状態を含むと判定された小領域について、異常が存在するか否かを機械学習アルゴリズムにより判定する。後段判定部１２０は、小領域ごとに対応する学習済みモデルを選択し、選択された学習済みモデルを用いて推論を行う。
（ステップＳ１５０）最後に、後段判定部１２０は、推論した判定結果を出力する。

なお、上述したステップＳ１１０からステップＳ１３０を含む工程をステップＳ１０と記載する。ステップＳ１０は、前段判定部１１０により行われる工程である。また、ステップＳ１４０及びステップＳ１５０を含む工程を、ステップＳ２０と記載する。ステップＳ２０は、後段判定部１２０により行われる工程である。

図８は、第１の実施形態に係る機械学習モデルを学習させる学習段階について説明するための図である。同図を参照しながら、学習済みモデル１２３に含まれる複数の機械学習モデルの学習段階における一例について説明する。同図に示す一例において、学習済みモデル１２３は、第１学習済みモデル１２３１と、第２学習済みモデル１２３２と、…、第ｎ学習済みモデル１２３ｎとを含む。学習済みモデル１２３に含まれるそれぞれの学習モデルを区別しない場合、第ｎ学習済みモデル１２３ｎと記載する場合がある。

学習済みモデル１２３は、教師データＴＤを用いた教師有り学習により学習される。教師データＴＤには、対応する小領域ごとの正常画像が用いられる。なお、学習済みモデル１２３は、動画に基づいて学習されてもよいが、以下に示す一例では静止画に基づいて学習される場合について説明する。
教師データＴＤは、第ｎ学習済みモデル１２３ｎごとに用意される。具体的には、第１学習済みモデル１２３１は、第１小領域正常画像を第１教師データＴＤ１として学習される。第２学習済みモデル１２３２は、第２小領域正常画像を第２教師データＴＤ２として学習される。第ｎ学習済みモデル１２３ｎは、第ｎ小領域正常画像を第ｎ教師データＴＤｎとして学習される。

ここで、学習済みモデル１２３は、撮像装置２０に応じて用意される。すなわち、学習済みモデル１２３は、撮像装置２０が所定の位置（例えば壁や柱等）に設置された後、当該設置された位置から撮像された画像を教師データＴＤとして学習される。学習に用いられる教師データＴＤは、侵入者検知システム１により自動的に選定されてもよいし、管理者により異常状態が存在しないことが明らかにされた画像を用いてもよい。学習済みモデル１２３は、撮像装置２０により撮像された動画に基づいて、所定のタイミングで追加学習を行ってもよい。

図９は、第１の実施形態に係る侵入者検知システムの機能構成の変形例を示す機能構成図である。同図を参照しながら、侵入者検知システム１の変形例である侵入者検知システム１Ａについて説明する。侵入者検知システム１Ａは、侵入者検知装置１０に代えて侵入者検知装置１０Ａを備える点において侵入者検知システム１とは異なる。侵入者検知装置１０Ａは、後段判定部１２０を有しない点において侵入者検知装置１０とは異なる。侵入者検知システム１Ａの説明において、侵入者検知システム１と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

侵入者検知装置１０Ａは、筐体内に後段判定部１２０を備えない代わりに、所定の通信ネットワークＮＷを介して後段判定部１２０Ａと接続される。後段判定部１２０Ａは、後段判定部１２０と同等の機能を有する。所定の通信ネットワークＮＷとは、有線イーサネット等の有線ネットワーク、又はＷｉ－ＦｉやＬＴＥ等の無線ネットワークであってもよい。
ここで、後段判定部１２０Ａは機械学習による処理を行うため、前段判定部１１０と比較して処理量が多い。したがって、侵入者検知システム１Ａによれば、後段判定部１２０Ａを侵入者検知装置１０Ａの筐体外に備えることにより、侵入者検知装置１０Ａの大きさを小さくすることができる。また、侵入者検知システム１Ａによれば、後段判定部１２０Ａを侵入者検知装置１０Ａの筐体外に備えることにより、侵入者検知装置１０Ａの処理量を減らすことができる。侵入者検知装置１０Ａは、処理量を減らすことができるため、消費電力を減らすことができる。

なお、侵入者検知システム１Ａは、複数の侵入者検知装置１０Ａを備えていてもよい。侵入者検知システム１Ａが複数の侵入者検知装置１０Ａを備える場合、それぞれの侵入者検知装置１０Ａは、所定の通信ネットワークＮＷを介してそれぞれ対応する後段判定部１２０Ａに接続される。それぞれ対応する後段判定部１２０Ａは、例えば管理センターが備えるサーバ装置や、クラウド上に備えられていてもよい。

［第１の実施形態のまとめ］
以上説明したように、本実施形態に係る侵入者検知システム１は、前段判定部１１０を備えることにより小領域に区分して背景差分により異常状態が撮像されているか否かを判定し、後段判定部１２０を備えることにより異常状態が撮像されていると判定された小領域ごとに機械学習により、より詳細な異常検知を行う。具体的には、前段判定部１１０は、動画取得部１１１を備えることにより撮像された監視動画を取得し、差分検出部１１３を備えることにより基準画像ＲＩと監視動画に含まれる検出対象画像ＴＩとの差分に基づいて、画像差分を検出し、判定部１１４を備えることにより画像差分の検出結果に基づいて、基準画像ＲＩと異なる異常状態が監視動画に撮像されているか否かを小領域ごとに判定する。また、後段判定部１２０は、前段判定部１１０が異常であると判定した小領域について、当該小領域の部分の画像と、小領域ごとに学習された学習済みモデル１２３の学習結果とに基づいて、小領域に異常状態が撮像されているかを判定する。したがって、本実施形態によれば、背景差分により異常状態が検知された場合であっても、機械学習により詳細な異常検知が行われるため、背景画像が変化する場合であっても侵入者が映り込んでいるか否か等の異常を検出することができる。また、侵入者検知システム１によれば、小領域ごとに区分して処理を行うため、前段判定部１１０により異常状態が検出されなかった小領域については機械学習による推論を行わない。したがって、侵入者検知システム１によれば、システム全体の処理速度を向上させることができる。よって、侵入者検知システム１によれば、システム全体の処理速度を向上させることができるため、監視カメラ等のリアルタイム性が求められるアプリケーションにおいても、リアルタイム処理を行うことができる。

また、上述した実施形態に係る侵入者検知システム１によれば、基準画像ＲＩは、撮像装置２０により撮像された監視動画に含まれる画像であって、検出対象画像ＴＩが撮像された時点より前の時点において撮像された画像である。すなわち、学習済みモデル１２３は、検出対象画像ＴＩを撮像した撮像装置２０により撮像された基準画像ＲＩに基づいて学習される。したがって、侵入者検知システム１によれば、精度よく侵入者検知を行うことができる。また、撮像装置２０は容易に教師データＴＤを撮像することができるため、容易に学習済みモデル１２３を学習させることができる。

［第２の実施形態］
次に、図１０及び図１１を参照しながら、第２の実施形態について説明する。まず、第２の実施形態が解決しようとする課題について説明する。本実施形態の前提として、侵入者検知システムの監視対象となる範囲における正常画像は、常に一定ではなく時間に応じて変化する場合がある。例えば昼間と夜間とでは明るさが異なる場合があり、正常状態において映り込む対象物が異なる場合もある。また、監視対象となる範囲に映り込む樹木等の自然物は、季節に応じて色彩や形状等が変化する場合がある。第１の実施形態においては、正常時における木の葉の揺れや通行人の往来等の時間的変化に対応した。第２の実施形態においては、１日のうちの時間的変化や、季節に応じた時間的変化等、背景画像の長時間にわたる時間的変化に対応するものである。

図１０は、第２の実施形態に係る侵入者検知システムの機能構成の一例を示す機能構成図である。同図を参照しながら、侵入者検知システム１Ｂの機能構成について説明する。侵入者検知システム１Ｂは、侵入者検知装置１０に代えて侵入者検知装置１０Ｂを備える点において侵入者検知システム１とは異なる。侵入者検知装置１０Ｂは、後段判定部１２０に代えて後段判定部１２０Ｂを備え、更にタイミング取得部１３０を備える点において侵入者検知装置１０とは異なる。侵入者検知システム１Ｂの説明において、侵入者検知システム１と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

タイミング取得部１３０は、検出対象画像ＴＩが撮像されたタイミングを取得する。タイミング取得部１３０は、例えば監視動画が撮像されたタイミングを撮像装置２０から取得してもよいし、監視動画に含まれる検出対象画像ＴＩが抽出されたタイミングを前段判定部１１０から取得してもよい。また、タイミング取得部１３０は、現在の日時に関する情報を取得する。タイミング取得部１３０は、例えば不図示のＲＴＣ（リアルタイムクロック）又は現在時刻を計時する時計から、現在の日時に関する情報を取得してもよい。
タイミング取得部１３０は、取得したタイミングに関する情報をタイミング情報ＴＭＩとして後段判定部１２０Ｂに出力する。

後段判定部１２０Ｂは、前段判定部１１０から小領域情報ＳＡＩを取得し、タイミング取得部１３０からタイミング情報ＴＭＩを取得する。後段判定部１２０Ｂは、取得したタイミング情報ＴＭＩに基づき、小領域情報ＳＡＩにより特定される小領域に異常状態が撮像されているか否かを判定する。後段判定部１２０Ｂは、複数の異なるタイミングに応じて学習された複数の学習済みモデルを備え、タイミング取得部１３０により取得されたタイミングに応じた学習済みモデルを選択し、推論を行う。すなわち、第２の実施形態に係る後段判定部１２０Ｂは、タイミング取得部１３０により取得されたタイミングに応じた学習済みモデルに基づいた判定を行う。

図１１は、第２の実施形態に係る後段判定部の機能構成の一例を示す機能構成図である。同図を参照しながら、後段判定部１２０Ｂの機能構成の一例について説明する。後段判定部１２０Ｂは、学習済みモデル選択部１２２に代えて学習済みモデル選択部１２２Ｂを備え、学習済みモデル１２３に代えて学習済みモデル１２３Ｂを備える点において、後段判定部１２０とは異なる。後段判定部１２０Ｂの説明において後段判定部１２０と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

学習済みモデル１２３Ｂは、複数の学習済みモデルを含む。学習済みモデル１２３に含まれる複数の学習済みモデルは、それぞれ小領域に対応する。図１１に示す一例では、学習済みモデル１２３は、第１学習済みモデル１２３１と、第２学習済みモデル１２３２と、…、第ｎ学習済みモデル１２３ｎ（ｎは１以上の自然数）とを含む。また、第１学習済みモデル１２３１から第ｎ学習済みモデル１２３ｎは、それぞれ時間軸で互いに異なるタイミングについてそれぞれ学習された複数の学習済みモデルを含む。図１１に示す一例では、第１学習済みモデル１２３１は、第１タイミング学習済みモデル１２３１－１と、第２タイミング学習済みモデル１２３１－２と、…、第ｍタイミング学習済みモデル１２３１－ｍ（ｍは１以上の自然数）とを含む。また、第２学習済みモデル１２３２は、第１タイミング学習済みモデル１２３２－１と、第２タイミング学習済みモデル１２３２－２と、…、第ｍタイミング学習済みモデル１２３２－ｍとを含む。また、第ｎ学習済みモデル１２３ｎは、第１タイミング学習済みモデル１２３ｎ－１と、第２タイミング学習済みモデル１２３ｎ－２と、…、第ｍタイミング学習済みモデル１２３ｎ－ｍとを含む。

第１学習済みモデル１２３１から第ｎ学習済みモデル１２３ｎにそれぞれ含まれる学習済みモデルは、時間軸で互いに異なるタイミングについてそれぞれ学習される。すなわち学習済みモデル１２３Ｂは、時間軸で互いに異なるタイミングについてそれぞれ学習された複数の学習済みモデルから構成される。
時間軸で互いに異なるタイミングの一例としては、季節又は時間帯に応じて異なるタイミングであってもよい。すなわち学習済みモデル１２３Ｂは、季節又は時間帯に応じて異なる複数の学習済みモデルから構成されるともいうことができる。
なお、図１１に示す一例では、複数の学習済みモデルが階層構造を有する場合の一例について説明したが、複数の学習済みモデルは、階層構造を有する場合の一例に限定されず、それぞれ別個独立に存在していてもよい。

学習済みモデル選択部１２２Ｂは、小領域情報取得部１２１から、推論すべき小領域に関する情報（例えば、小領域情報ＳＡＩ）を取得する。また、学習済みモデル選択部１２２Ｂは、推論すべき小領域が含まれる検出対象画像ＴＩが撮像されたタイミングを示す情報が含まれるタイミング情報ＴＭＩを、タイミング取得部１３０から取得する。学習済みモデル選択部１２２Ｂは、取得した小領域に関する情報と、推論すべき小領域が含まれる検出対象画像ＴＩが撮像されたタイミングを示す情報とに基づき、推論に用いるべき学習済みモデルを選択する。例えば、学習済みモデル選択部１２２Ｂは、小領域を識別する小領域識別情報と、検出対象画像ＴＩが撮像されたタイミングに応じた時間帯を識別する時間帯識別情報と、学習済みモデルを識別する学習済みモデル識別情報とを突合することにより、推論に用いるべき学習済みモデルを選択してもよい。学習済みモデル選択部１２２Ｂは、選択した学習モデルを識別する情報を含む情報を、学習モデル選択情報ＭＳＩとして学習済みモデル１２３Ｂに出力する。学習モデル選択情報ＭＳＩには、小領域情報ＳＡＩに含まれる小領域に関する情報であって、少なくとも検出対象画像ＴＩのうち、推論すべき小領域に関する画像情報が含まれていてもよい。

［第２の実施形態のまとめ］
以上説明したように、本実施形態に係る侵入者検知システム１Ｂにおいて、学習済みモデル１２３Ｂは、時間軸で互いに異なるタイミングについてそれぞれ学習された複数の学習済みモデルから構成され、タイミング取得部１３０を備えることにより検出対象画像ＴＩが撮像されたタイミングを取得し、後段判定部１２０Ｂは、取得されたタイミングに応じた学習済みモデルに基づいて判定を行う。したがって、本実施形態によれば、侵入者検知システム１Ｂは、時間的変化があった場合であっても、侵入者等の異常状態以外は、正常状態であると判定することができる。すなわち本実施形態によれば、侵入者検知システム１Ｂは、誤検知することなく、精度よく侵入者検知を行うことができる。

また、上述した実施形態に係る侵入者検知システム１Ｂによれば、学習済みモデル１２３Ｂは、季節又は時間帯に応じて異なる複数の学習済みモデルから構成される。したがって、本実施形態によれば、侵入者検知システム１Ｂは、１日のうちの時間的変化や、季節の時間的変化等、背景画像の長時間にわたる時間的変化があった場合であっても、侵入者等の異常状態とは異なる正常状態における変化は、正常状態の範囲内であると判定することができる。すなわち本実施形態によれば、侵入者検知システム１Ｂは、誤検知することなく、精度よく侵入者検知を行うことができる。

［第３の実施形態］
次に、図１２から図１５を参照しながら、第３の実施形態について説明する。まず、第３の実施形態の概要について説明する。第３の実施形態においては、侵入者検知装置１０Ｃによる判定結果をユーザＵが確認し、ユーザＵにより確認された結果を入力として学習済みモデルを再学習させることにより、より精度よく学習及び推論を行おうとするものである。

図１２は、第３の実施形態に係る侵入者検知システムの概要について説明するための図である。同図を参照しながら、侵入者検知システム１Ｃについて説明する。侵入者検知システム１Ｃは、侵入者検知装置１０に代えて侵入者検知装置１０Ｃを備え、更に情報処理端末装置３０を備える点において侵入者検知システム１とは異なる。侵入者検知システム１Ｃの説明において、侵入者検知システム１と同様の構成については同様の符号を付すことにより説明を省略する場合がある。

情報処理端末装置３０は、ユーザＵにより操作される端末である。情報処理端末装置３０は、例えば、スマートフォン、タブレット端末又はノートパソコン等であってもよい。ユーザＵとは、例えば侵入者検知システム１Ｃを提供する提供者、又は侵入者検知システム１Ｃを管理する管理者等であってもよい。情報処理端末装置３０は、不図示のキーボード、タッチパネル又はマイク等の入力装置を備え、ユーザＵからの操作を受け付ける。また、情報処理端末装置３０は、不図示の液晶ディスプレイ等の表示部を備え、ユーザＵに所定の情報を表示する。ユーザＵは、表示部に表示された情報に基づき、入力装置に対して所定の操作を行うことにより、情報処理端末装置３０に情報を入力する。

侵入者検知装置１０Ｃは、侵入者検知をした結果を推論結果情報ＩＲＩとして情報処理端末装置３０に出力する。情報処理端末装置３０は、推論結果情報ＩＲＩを取得する。情報処理端末装置３０は、取得した推論結果情報ＩＲＩに基づき、侵入者検知がされた結果をユーザＵに提示する。ユーザＵは提示された結果を視覚的に確認し、提示された結果が正しいか否かを情報処理端末装置３０に対して入力する。情報処理端末装置３０は、ユーザＵから入力された情報に基づいた再学習を行う。

図１３は、第３の実施形態に係る侵入者検知システムの機能構成の一例を示す機能構成図である。同図を参照しながら、侵入者検知システム１Ｃの機能構成の一例について説明する。まず、情報処理端末装置３０の機能構成について説明する。情報処理端末装置３０は、表示部３１と、操作受付部３２と、制御部３３とを備える。

表示部３１は、制御部３３の制御に応じて各種情報を表示する。表示部３１は、制御部３３から表示情報ＤＰＩを取得し、取得した表示情報ＤＰＩに応じた情報を表示する。表示部３１は、例えば液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってもよい。
操作受付部３２は、ユーザＵからの入力操作を受け付ける。操作受付部３２は、例えば不図示のキーボード、タッチパネル又はマイク等の入力装置をユーザＵが操作することに応じて、ユーザＵからの入力操作を受け付ける。操作受付部３２は、ユーザＵから取得した操作に関する情報を、操作情報ＯＩとして制御部３３に出力する。
制御部３３は、不図示のＣＰＵ、ＲＯＭ又はＲＡＭ等の記憶装置等を含み、情報処理端末装置プログラムを実行することにより制御部３３として機能する。制御部３３は、侵入者検知装置１０Ｃから表示情報ＤＰＩを取得し、取得した表示情報ＤＰＩに基づき、表示部３１に情報を表示させる。また、制御部３３は、操作受付部３２から操作情報ＯＩを取得し、取得した操作情報ＯＩを侵入者検知装置１０Ｃに出力する。

次に、侵入者検知装置１０Ｃが備える各構成について説明する。侵入者検知装置１０Ｃは、提示部１５０と、判断結果受付部１６０と、学習部１７０とを更に備える。
提示部１５０は、後段判定部１２０から推論結果情報ＩＲＩを取得し、取得した推論結果情報ＩＲＩに基づいて、表示情報ＤＰＩを生成する。提示部１５０は、生成した表示情報ＤＰＩを情報処理端末装置３０に出力することにより、後段判定部１２０による判定結果を提示する。
表示情報ＤＰＩとは、情報処理端末装置３０が備える表示部３１に表示させるための情報である。表示部３１に表示させる表示画面の画面構成の一例については後述する。

判断結果受付部１６０は、情報処理端末装置３０から操作情報ＯＩを取得する。判断結果受付部１６０は、取得した操作情報ＯＩに基づいて、学習情報ＬＩを生成する。学習情報ＬＩとは、学習済みモデル１２３を再学習させるための情報である。判断結果受付部１６０は、学習情報ＬＩを生成するため、後段判定部１２０から推論結果情報ＩＲＩを、又は提示部１５０から表示情報ＤＰＩを取得してもよい。学習情報ＬＩとは、すなわちユーザＵにより確認された正しい正解データを含む教師データＴＤであるともいうことができる。また、判断結果受付部１６０は、提示部１５０が判定結果を提示したことに応じて、判定結果が正しいか否かの判断結果を受け付けるともいうことができる。

学習部１７０は、判断結果受付部１６０から学習情報ＬＩを取得する。学習部１７０は、取得した学習情報ＬＩに基づき再学習をする。ここで、再学習のために用いられる教師データＴＤは、提示部１５０が提示した判定結果の画像と、判断結果受付部１６０が受け付けた判断結果との組み合わせであるともいうことができる。すなわち学習部１７０は、提示部１５０が提示した判定結果の画像と、判断結果受付部１６０が受け付けた判断結果との組み合わせを教師情報ＴＤとして、学習済みモデル１２３を再学習させる。

次に図１４及び図１５を参照しながら表示部３１が表示する表示画面の画面構成の一例について説明する。ユーザＵにより行われる正しいか否かの判定方法としては、複数の小領域についてユーザＵが検出対象画像ＴＩを１つの単位として判定する場合と、複数の小領域それぞれについてユーザＵが判定する場合とが考えられる。
図１４は、第３の実施形態に係る情報処理端末装置が表示する表示画面の画面構成の一例を示す図である。同図を参照しながら、情報処理端末装置３０が表示する表示画面の一例であって、複数の小領域についてユーザＵが検出対象画像ＴＩを１つの単位として判定する場合の一例について説明する。

表示画面４１は、画面構成として符号４１１と符号４１２とを有する。符号４１１には、侵入者検知装置１０Ｃにより判定された結果が表示される。符号４１１を見て明らかなように、符号４１１には、検出対象画像ＴＩが小領域に分割され、分割された小領域ごとに正常又は異常であるかの判定結果が示されている。ユーザＵは、当該出対象画像ＴＩを１つの単位として、侵入者検知装置１０Ｃによる判定結果が正しいか否かを判断する。符号４１１は、表示部３１の一例であるともいうことができる。

符号４１２は、画面構成として符号４１２１と、符号４１２２とを備える。符号４１２１及び符号４１２２は、いずれもボタンである。当該ボタンは、ユーザＵがマウスやキーボード等の入力装置を操作することにより、選択されることができる。また、当該ボタンは、ユーザＵがタッチパネルをタップする操作により、選択されることができる。符号４１２１及び符号４１２２は、いずれか一方が排他的に選択される。
ユーザＵは、侵入者検知装置１０Ｃの判定が正しいと判断した場合、符号４１２１を選択する。また、ユーザＵは、侵入者検知装置１０Ｃの判定が誤りと判断した場合、符号４１２２を選択する。符号４１２は、操作受付部３２の一例であるともいうことができる。

図１５は、第３の実施形態に係る情報処理端末装置が表示する表示画面の画面構成の変形例を示す図である。同図を参照しながら、情報処理端末装置３０が表示する表示画面の一例であって、複数の小領域それぞれについてユーザＵが判定する場合の一例について説明する。複数の小領域それぞれについてユーザＵが判定する場合の一例においては、操作受付部３２が表示部３１内の領域に存在するともいうことができる。

表示画面４２は、画面構成として符号４２１を有する。符号４２１には、侵入者検知装置１０Ｃにより判定された結果が表示される。符号４２１を見て明らかなように、符号４２１には、検出対象画像ＴＩが小領域に分割され、分割された小領域ごとに正常又は異常であるかの判定結果が示されている。
表示画面４２は、分割された小領域ごとに画面構成として符号４２２を有する。ユーザＵは、複数の小領域それぞれについて、侵入者検知装置１０Ｃによる判定結果が正しいか否かを判断する。

具体的には、符号４２１は、小領域ＳＡ１に対応する符号４２２－１と、…、小領域ＳＡ１０に対応する符号４２２－１０とを備える。符号４２２－１はボタンとして符号４２２１－１と、符号４２２２－１とを備え、…、符号４２２－１０はボタンとして符号４２２１－１０と、符号４２２２－１０とを備える。
ユーザＵは、小領域ＳＡ１について、侵入者検知装置１０Ｃの判定が正しいと判断した場合、符号４２２１－１を選択する。また、ユーザＵは、小領域ＳＡ１について侵入者検知装置１０Ｃの判定が誤りと判断した場合、符号４２２２－１を選択する。…また、ユーザＵは、小領域ＳＡ１０について、侵入者検知装置１０Ｃの判定が正しいと判断した場合、符号４２２１－１０を選択する。また、ユーザＵは、小領域ＳＡ１０について侵入者検知装置１０Ｃの判定が誤りと判断した場合、符号４２２２－１０を選択する。

図１５に示した一例において、符号４２１は、表示部３１の一例であるともいうことができる。表示部３１は、提示部１５０から取得した表示情報ＤＰＩに基づいて、小領域それぞれについて後段判定部１２０Ｃによる判定結果を表示する。また、符号４２２は、操作受付部３２の一例であるともいうことができる。操作受付部３２は、取得した操作情報ＯＩを、制御部３３を介して判断結果受付部１６０に出力する。換言すれば、提示部１５０は、小領域それぞれについて後段判定部１２０Ｃによる判定結果を提示し、判断結果受付部１６０は、小領域それぞれについて判定結果が正しいか否かの判断結果を受け付ける。

［第３の実施形態のまとめ］
以上説明したように、本実施形態に係る侵入者検知システム１Ｃによれば、提示部１５０を備えることにより後段判定部１２０による判定結果を提示し、判断結果受付部１６０を備えることにより提示部１５０が判定結果を提示したことに応じて判定結果が正しいか否かの判断結果を受け付け、学習部１７０を備えることにより提示部１５０が提示した判定結果の画像と判断結果受付部１６０が受け付けた判断結果との組み合わせを教師情報ＴＤとして、学習済みモデル１２３を再学習させる。したがって、本実施形態によれば、侵入者検知システム１Ｃは、侵入者検知装置１０Ｃによる判定結果をユーザＵが確認し、ユーザＵにより確認された結果を入力として学習済みモデル１２３を再学習させることにより、より精度よく学習を行うことができる。よって、本実施形態によれば、精度よく推論を行うことができ、精度よく侵入者検知を行うことができる。

また、上述した実施形態に係る侵入者検知システム１Ｃによれば、提示部１５０は、小領域それぞれについて後段判定部１２０による判定結果を提示し、判断結果受付部１６０は、小領域それぞれについて判定結果が正しいか否かの判断結果を受け付ける。すなわち、本実施形態に係る侵入者検知システム１Ｃによれば、ユーザＵは、小領域ごとに後段判定部１２０による判定結果が正しいか否かの判断を行う。したがって、本実施形態によれば、侵入者検知システム１Ｃは、侵入者検知装置１０Ｃによる判定結果をユーザＵが小領域ごとに確認し、ユーザＵにより確認された結果を入力として学習済みモデル１２３を小領域ごとに再学習させることにより、より精度よく学習を行うことができる。よって、本実施形態によれば、精度よく推論を行うことができ、精度よく侵入者検知を行うことができる。

なお、上述した実施形態における侵入者検知システム１及び侵入者検知装置１０が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

１…侵入者検知システム、１０…侵入者検知装置、１１０…前段判定部、１１１…動画取得部、１１２…基準画像記憶部、１１３…差分検出部、１１４…判定部、１２０…後段判定部、１２１…小領域情報取得部、１２２…学習済みモデル選択部、１２３…学習済みモデル、１２４…推論結果出力部、１３０…タイミング取得部、１５０…提示部、１６０…判断結果受付部、１７０…学習部、２０…撮像装置、３０…情報処理端末装置、３１…表示部、３２…操作受付部、３３…制御部、ＴＤ…教師データ、ＮＷ…通信ネットワーク、Ｕ…ユーザ、ＭＩ…監視動画情報、ＳＡＩ…小領域情報、ＴＩ…検出対象画像、ＲＩ…基準画像、ＤＩ…差分情報、ＭＳＩ…学習モデル選択情報、ＩＲＩ…推論結果情報、ＴＭＩ…タイミング情報、ＤＰＩ…表示情報、ＯＩ…操作情報、ＬＩ…学習情報

Claims (7)

1. 撮像された監視動画を取得する動画取得部と、
   基準画像と前記監視動画に含まれる検出対象画像との差分に基づいて、画像差分を検出する差分検出部と、
   前記画像差分の検出結果に基づいて、前記基準画像と異なる異常状態が前記監視動画に撮像されているか否かを、前記監視動画を区分した小領域ごとに判定する判定部と、
   を含む前段判定部と、
   前記前段判定部が異常であると判定した前記小領域について、当該小領域の部分の画像と、前記小領域ごとに学習された学習済みモデルの学習結果とに基づいて、前記小領域に異常状態が撮像されているかを判定する後段判定部と
   を備える侵入者検知システム。
2. 前記基準画像は、前記監視動画に含まれる画像であって、前記検出対象画像が撮像された時点より前の時点において撮像された画像である
   請求項１に記載の侵入者検知システム。
3. 前記学習済みモデルは、時間軸で互いに異なるタイミングについてそれぞれ学習された複数の学習済みモデルから構成され、
   撮像されたタイミングを取得するタイミング取得部を更に備え、
   前記後段判定部は、取得された前記タイミングに応じた前記学習済みモデルに基づいて判定する
   請求項１又は請求項２に記載の侵入者検知システム。
4. 前記学習済みモデルは、季節又は時間帯に応じて異なる複数の学習済みモデルから構成される
   請求項３に記載の侵入者検知システム。
5. 前記後段判定部による判定結果を提示する提示部と、
   前記提示部が前記判定結果を提示したことに応じて、前記判定結果が正しいか否かの判断結果を受け付ける判断結果受付部と、
   前記提示部が提示した前記判定結果の画像と、前記判断結果受付部が受け付けた前記判断結果との組み合わせを教師情報として、前記学習済みモデルを再学習させる学習部と
   を更に備える請求項１又は請求項２に記載の侵入者検知システム。
6. 前記提示部は、前記小領域それぞれについて前記後段判定部による前記判定結果を提示し、
   前記判断結果受付部は、前記小領域それぞれについて前記判定結果が正しいか否かの判断結果を受け付ける
   請求項５に記載の侵入者検知システム。
7. コンピュータに、
   撮像された監視動画を取得する動画取得ステップと、
   基準画像と前記監視動画に含まれる検出対象画像との差分に基づいて、画像差分を検出する差分検出ステップと、
   前記画像差分の検出結果に基づいて、前記基準画像と異なる異常状態が前記監視動画に撮像されているか否かを、前記監視動画を区分した小領域ごとに判定する判定ステップと、
   を有する前段判定ステップと、
   前記前段判定ステップにより異常であると判定された前記小領域について、当該小領域の部分の画像と、前記小領域ごとに学習された学習済みモデルの学習結果とに基づいて、前記小領域に異常状態が撮像されているかを判定する後段判定ステップと
   を実行させるプログラム。

Images