JP2020014194A - コンピュータシステム、リソース割り当て方法およびその画像識別方法 - Google Patents

Abstract

【課題】コンピュータシステム、リソース割り当て方法およびその画像識別方法を提供する。【解決手段】複数台の画像取込装置が取り込んだ画像を取得する。複数の識別作業によって、これらの画像取込装置の画像中に警告物品が発見されたか否かをそれぞれ識別し、各識別作業が当該コンピュータシステムの一部システム負荷を占める。一つの画像中に警告物品が発見された場合、これらの識別作業に用いられるシステム負荷を調整し、かつ画像中の警告物品に関連する人物を判断する。本発明はコンピュータシステムの負荷をダイナミックに調整し、かつより実用的な識別方式を提供し、コンピュータシステムが識別作業を即時に処理できるようにする。【選択図】図２

Description

本発明は安全防犯システムおよび技術に関し、特にコンピュータシステム、そのリソース割り当て方法、およびその画像識別方法に関する。

安全防犯の目的から、一部の店舗や住宅では閉回路テレビ（Ｃｌｏｓｅｄ−Ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ、ＣＣＴＶ）による監視システムを構築し、特定エリアを監視し易くしている。しかし、ユーザは監視画面を随時確認できるものの、人工的監視はコストが高く、かつ、人為的ミスを防止するのが難しい。

科学技術の進歩により、画像識別技術もますます成熟に向っており、監視システムにも次第に画像識別技術が導入されつつある。例えば、図１は従来技術の画像識別を説明する概略図である。

図１が示すように、画像Ｉ中の人および商品はそれぞれ画像識別技術によって識別される。画像識別技術はコンピュータに対し比較的に大きい計算リソースを求めるため、一般的なローカルサイド（Ｌｏｃａｌ ｓｉｄｅ）、例えば家庭用コンピュータまたはノートパソコン（ＰＣ／ＮＢ）では、通常あまり多くの監視画面または多すぎる監視目標を即時に識別することができない。従って、従来の監視システムでは監視画面をリモートサイド（ｒｅｍｏｔｅ ｓｉｄｅ）、例えばクラウドサーバーに転送し、クラウドサーバーのより高い計算力を用いて監視画面の識別を行う。しかし、回線の接続、応答速度などの問題に制限され、クラウドサーバーの識別結果を即時にユーザへフィードバップし、それに応じた応答を出せない場合もある。これにより、従来の監視用識別技術には依然として改善の余地がある。

「背景技術」部分は、本発明の内容に対する理解を促すためにあり、「背景技術」部分で開示された内容には、当業者が既知の従来技術を構成しないものも含まれている可能性がある。「背景技術」部分で開示された内容は、これらの内容または本発明の一つ若しくは複数の実施例が解決しようとする課題が本発明の出願前に既に当業者に把握、または認識されていたことを示すものではない。

本発明はコンピュータシステム、そのリソース割り当て方法およびその画像識別方法を提供し、コンピュータシステムの負荷をダイナミックに調整し、かつより実用的な識別方式を提供して、コンピュータシステムが識別作業を即時に処理できるようにする。

本発明のその他の目的および利点について、本発明が開示する技術特徴からより一層理解を深めることができる。

上記一つ、一部若しくはすべての目的、またはその他の目的を達成するために、本発明の一実施例はコンピュータシステムに用いられるリソース割り当て方法を提供し、かつ、この方法は以下のステップを含む。複数台の画像取込装置が取り込んだ画像を取得する。複数の識別作業によって、これらの画像取込装置のこれらの画像中に警告物品が発見されたか否かをそれぞれ識別し、各識別作業が当該コンピュータシステムの一部システム負荷を占める。これらの画像のうち少なくとも一つに当該警告物品が発見された場合、これらの識別作業に用いられるシステム負荷を調整する。

上記一つ、一部若しくは全部の目的、またはその他の目的を達成するために、本発明の一実施例は入力装置、メモリー、画像プロセッサおよびメインプロセッサを含むコンピュータシステムを提供する。入力装置は複数台の画像取込装置が取り込んだ複数の画像を取得する。メモリーはこれらの画像取込装置のこれらの画像、および複数のモジュールを記憶する。画像プロセッサは推論機構（ｉｎｆｅｒｅｎｃｅ ｅｎｇｉｎｅ）を動作させる。メインプロセッサは入力装置、メモリーおよび画像プロセッサに接続され、かつメモリーに記憶されたこれらのモジュールにアクセスまたロードする。これらのモジュールは複数の基本識別モジュールおよび負荷分散モジュールを含む。これらの基本識別モジュールは、推論機構で複数の識別作業を実行することにより、これらの画像取込装置のこれらの画像中に警告物品が発見されたか否かをそれぞれ識別し、各識別作業がコンピュータシステムの一部システム負荷を占める。これらの画像から当該警告物品が発見された場合、負荷分散モジュールはこれらの識別作業に用いられるシステム負荷を調整する。

上記一つ、一部若しくは全部の目的、またはその他の目的を達成するために、本発明の一実施例が提供する画像識別方法は以下のステップを含む。連続して撮影された複数枚の画像を取得する。これらの画像中に警告物品が発見されたか否かを識別する。これらの画像中に警告物品が発見された場合、これらの画像中の警告物品に関連する人物を判断する。これらの画像の時系列関係に基づいて、これらの画像における当該人物と当該警告物品の相互行為を判断し、これらの画像に対応する場面（ｓｃｅｎｅ）を決定する。

上記一つ、一部若しくは全部の目的、またはその他の目的を達成するために、本発明の一実施例は入力装置、メモリー、画像プロセッサ及メインプロセッサを含む画像識別用のコンピュータシステムを提供する。入力装置は連続して撮影された複数枚の画像を取得する。メモリーはこれらの画像および複数のモジュールを記憶する。画像プロセッサは推論機構を動作させる。メインプロセッサは入力装置、メモリーおよび画像プロセッサに接続され、かつメモリーに記憶されたこれらのモジュールにアクセスまたロードする。これらのモジュールは基本識別モジュールおよび高度な（ａｄｖａｎｃｅｄ）識別モジュールを含む。基本識別モジュールは推論機構によってこれらの画像中に警告物品が発見されたか否かを識別する。これらの画像中に警告物品が発見された場合、高度な識別モジュールは推論機構によってこれらの画像中の警告物品に関連する人物を判断し、かつ、これらの画像の時系列関係に基づいて、これらの画像における当該人物と当該警告物品の相互行為を判断し、これらの画像に対応する場面を決定する。

以上により、本発明の実施例は一般状態において、すべての識別作業に用いられるシステム負荷を均等に割り当てるものである。画像中から警告物品が検出された後、コンピュータシステムは緊急状態に切り替え、かつシステム負荷を高度な識別作業に割り当てることで、警告物品に対する一般識別作業および詳細状況に対する高度な識別作業のいずれでも即時に識別結果が得られることを確保し、かつ識別の精度に影響ない。その他、詳細状況に対する識別は、本発明の実施例が人と警告物品が異なる時系列の画像において形成する相互行為を考量し、状況識別の信頼性を高めている。

本発明の上記特徴と利点をより明確に示すべく、以下に挙げる実施例において、図面を参照しながら詳しく説明する。

従来技術における画像識別を説明する概略図。 本発明の一実施例に基づく安全防犯システムの素子ブロック図。 本発明の一実施例に基づくリソース割り当て方法のフローチャート。 本発明の一実施例に基づく一般状態を説明するシステム負荷の配置。 本発明の一実施例に基づく画像識別方法のフローチャート。 本発明の一実施例に基づく緊急状態を説明するシステム負荷の配置。

本発明の前記およびその他の技術内容、特徴および効果は、以下の図面を参照しながら行う好ましい実施例の詳細な説明において明確に示されている。以下の実施例において言及される方向用語、例えば、上、下、左、右、前または後などは図面を参照する方向のみである。従って、これらの方向用語は説明を目的とし、本発明を制限するものではない。また、実施例において言及される「接続」とは、任意の直接または間接な接続手段を意味する。たま、「信号」とは、少なくとも一つの電流、電圧、電荷、温度、データ、電磁波または任意のその他の一つまたは複数の信号を意味する。

図２は本発明の一実施例に基づく安全防犯システム１の素子ブロック図である。図２が示すように、安全防犯システム１は複数台の画像取込装置１０、コンピュータシステム３０、およびモニタリングプラットフォーム５０を含む。

各画像取込装置１０は、例えばカメラ、ビデオカメラなど、画像を取り込むことができる装置であり、かつ、各画像取込装置１０がレンズ、画像センサなどの素子を含む。各画像取込装置１０がある環境における特定のエリアに対し画像取り込み作業を行うことができる。

コンピュータシステム３０は、例えばデスクトップ型コンピュータ、ノート型コンピュータ、ワークステーションまたは各種のサーバーである。コンピュータシステム３０は、少なくとも処理システム３１、入力装置３２、メモリー３３および警告装置３５を含むが、これらに限定されない。処理システム３１は画像プロセッサ３６、メインプロセッサ３７および人工知能の推論（Ｉｎｆｅｒｅｎｃｅ）機構３１１を含む。

画像プロセッサ３６は、グラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、人工知能（ＡＩ）チップ（例えば、テンソルプロセッシングユニット（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＴＰＵ）、ニューラルプロセッシングユニット（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＮＰＵ）、ビジョンプロセッサ（Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＶＰＵ）など）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）などのプロセッサであってもよい。画像プロセッサ３６はニューラルエンジンとして設計され、計算能力／容量を提供し、かつ人工知能の推論機構３１１を動作させるものであり、推論機構３１１をファームウェア（Ｆｉｒｍｗａｒｅ）とする。本実施例において、この推論機構３１１は機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）のトレーニングに基づくニューラルネットモデルまたは分類器を利用して、入力データの決定結果を判断する。例えば、識別作業を実行して、入力画像中に人物または物品が存在するか否かを判断する。なお、画像プロセッサ３６の計算能力によって、推論機構３１１が入力データの決定結果を判断できるようになる。別の実施例において、画像プロセッサ３６がその他の画像識別計算法技術で計算することも可能であり、本発明はこれについて限定しない。

入力装置３２は任意の種類の有線伝送インターフェース（例えば、イーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ）、光ファイバー、同軸ケーブルなど）または無線伝送インターフェース（例えば、Ｗｉ−Ｆｉ、第４世代（４Ｇ）またはより新しい世代の移動通信網など）であってもよい。なお、画像取込装置１０も入力装置３２と同じまたは互換性のある伝送インターフェースを有し、入力装置３２が画像取込装置１０の取り込んだ一枚または複数枚の連続した画像を取得することができる。

メモリー３３は任意の形態の固定または移動可能なランダムアクセスメモリー（Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリー（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュメモリー（ｆｌａｓｈ ｍｅｍｏｒｙ）、従来のハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ、ＨＤＤ）、ソリッドステートドライブ（Ｓｏｌｉｄ−Ｓｔａｔｅ Ｄｒｉｖｅ、ＳＳＤ）または類似した素子であってもよい。メモリー３３はプログラムコード、ソフトウェア（Ｓｏｆｔｗａｒｅ）モジュール（例えば、画像受信モジュール３３１、データ調整モジュール３３２、負荷分散モジュール３３３、ロードモジュール３３４、複数の基本識別モジュール３３５、複数の高度な識別モジュール３３６、およびイベントフィードバップモジュール３３７など）を記憶するものであり、また、メモリー３３は画像取込装置１０の画像およびその他のデータ若しくはファイルを記憶するが、その詳細について以下の実施例で説明する。

警告装置３５はディスプレイ（例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、発光ダイオード（Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）等）、拡声器（即ち、スピーカー）、通信送受信機（例えば、モバイルネットワーク、イーサネット（登録商標）等）、またはその組み合わせであってもよい。

処理システム３１は、入力装置３２およびメモリー３３に接続され、かつメモリー３３に記憶されたソフトウェアモジュールにアクセスまたロードする。処理システム３１のメインプロセッサ３７は画像プロセッサ３６、入力装置３２、メモリー３３および警告装置３５に接続され、メインプロセッサ３７は中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、マイクロコントローラ、プログラマブルコントローラ、特定用途向け集積回路またはその他の種類の素子、または上記素子の組み合わせであってもよい。本実施例において、メインプロセッサ３７はメモリー３３に記憶されたこれらのソフトウェアモジュール（例えば、画像受信モジュール３３１、データ調整モジュール３３２、負荷分散モジュール３３３、ロードモジュール３３４、複数の基本識別モジュール３３５、複数の高度な識別モジュール３３６、およびイベントフィードバップモジュール３３７など）にアクセスまたロードすることができる。

モニタリングプラットフォーム５０は例えばデスクトップ型コンピュータ、ノート型コンピュータ、ワークステーション、また各種のサーバーであって、このモニタリングプラットフォーム５０は区域内の警備室、警備会社、警察署またはその他の警備関連機関に設置されてもよい。警告装置３５が通信送受信機である場合、警告装置３５から送信された情報を受信できるよう、モニタリングプラットフォーム５０も同じまたは互換性のある通信技術の受信器を備える。

本発明の実施例の操作プロセスを理解やすいように、以下は複数の実施例を挙げて、本発明の実施例における計算リソースの割り当ておよび画像識別のプロセスを詳しく説明する。以下は、行為の安全防犯システムにおける各装置、素子およびモジュールを組み合わせて、本発明の実施例の前記方法を説明する。本方法の各プロセスは、実際の状況に応じて調整することが可能であり、かつこれらに限定されない。

図３は本発明の一実施例に基づくリソース割り当て方法のフローチャートである。図３が示すように、画像受信モジュール３３１は入力装置３２によってこれら画像取込装置１０が取り込んだ画像（アナログまたはデジタル動画情報であってもよい）（ステップＳ３１０）を取得する。詳しく言うと、処理システム３１は画像受信モジュール３３１をロードし、画像受信モジュール３３１が入力装置３２を用いてこれらの画像取込装置１０が取り込んだ画像を取得する。続いて、画像取込装置１０の数に基づいて、処理システム３１のメインプロセッサ３７が同じ数の基本識別モジュール３３５を動作させる。これらの基本識別モジュール３３５は推論機構３１１で識別作業を実行し、画像取込装置１０が提供した取込画像中に警告物品発見されたか否かをそれぞれ識別する（ステップＳ３３０）。この警告物品は銃器、刃物などの危険物または商品、お金などであってもよく、利用者の実際のニーズに基づいてその種類と数量を調整することができる。推論機構３１１は、この警告物品向けの分類器またはニューラルネットモデルを利用して画像中のすべての物品を判断し、警告物品が発見されたまたは発見されなかったとの識別結果を得る。

なお、各識別作業はコンピュータシステム３０の一部システム負荷（例えば、メインプロセッサ３７、メモリー３３および／または画像プロセッサ３６の計算リソースなど）を占める。リソースは計算データのリソースと定義される。イベントフィードバップモジュール３３７は、推論機構３１１の識別結果に基づいて、負荷分散モジュール３３３を用いてコンピュータシステム３０を一般状態と緊急状態のいずれかに切り替える。これらの基本識別モジュール３３５がこれらの画像取込装置１０の取込画像のいずれにおいても警告物品を発見できなかったという識別結果を得た場合、イベントフィードバップモジュール３３７は一般状態を維持しまたは一般状態に切り替え、負荷分散モジュール３３３によりコンピュータシステム３０のシステム負荷（計算能力）をこれらの識別作業に均等に割り当てる。この均等に割り当てるとは、各識別作業が占めるシステム負荷が略同じであることを意味する。なお、負荷分散モジュール３３３は、各識別作業に必要な計算リソースに基づいてシステム負荷を均等に割り当てるが、特定の状況において（例えば、画像中の物品が比較的に多い、環境が暗いなど）、一部の識別作業に割り当てられるシステム負荷が異なる場合もある。

例を挙げると、図４は本発明の一実施例に基づいて一般状態のシステム負荷の配置を説明する図である。図４が示すように、三台の画像取込装置１０あるとして、図面の右側はコンピュータシステム３０が受信した、各画像取込装置１０で撮影された画像Ｉ１〜Ｉ３である。処理システム３１の推論機構３１１は、三組の画像Ｉ１〜Ｉ３の中に警告物品が発見されたか否かをそれぞれ識別する。画像Ｉ１〜Ｉ３のいずれにも警告物品が発見されなかった場合、各識別作業が占めるシステム負荷をすべて略３３％とする。

一方、任意一つの基本識別モジュール３３５がいずれか一つの画像の中から当該警告物品を発見した場合、負荷分散モジュール３３３はこれらの識別作業に用いられるシステム負荷（ステップＳ３５０）を調整する。具体的に言うと、警告物品の識別結果のみでは、不要な通報が多く発生する結果を招く可能性がある（例えば、警告物品が銃器であり、画像中に巡回中の警備員が銃を携帯している状況、警告物品が商品（例えば、刃物）であり、画像中に店員が商品を運搬している状況、事実上これらの状況をユーザに通報する必要がない）。従って、本発明の実施例において、通報が必要な正確な識別結果を得るよう、さらに警告物品に対応する場面（人、出来事、時間、場所、物などを含む）を分析する。しかし、基本識別モジュール３３５は警告物品に対する識別しか行えないため、本発明の実施例はさらに高度な識別モジュール３３６を含み、高度な識別モジュール３３６によって場面に対する高度な識別作業を実行する（即ち、高度な識別モジュール３３６を用いて、画像に現れた状況（ストーリ）内容をさらに分析する）。

この高度な識別作業では人、出来事、場所および時間など場面要素に対し分析を行う必要があるため、高度な識別作業を担う高度な識別モジュール３３６は基本識別モジュール３３５よりも多くの分類器またはニューラルネットモデルを利用し、かつより多くのシステムリソースを消費する。高度な識別作業を正常に実行するために（例えば、識別結果を即時に提供する）、イベントフィードバップモジュール３３７が推論機構３１１の識別結果に基づいてコンピュータシステム３０を緊急状態に切り替えた後、緊急状態において、負荷分散モジュール３３３は警告物品が発見されなかった画像を一般画像とし、かつ一般画像に対応する識別作業に用いられるシステム負荷を下げる。

システム負荷を下げる方法は様々であるが、一実施例において、負荷分散モジュール３３３はデータ調整モジュール３３２を制御し、データ調整モジュール３３２が一般画像に対応する識別作業の画像処理速度を下げる。例えば、一台の画像取込装置１０に対し、一般状態における識別作業の画像処理速度では、一秒間に三十フレーム（ｆｒａｍｅ）の画像を処理する。例を挙げると、緊急状態において、画像取込装置１０が撮影した画像Ｉ１中に警告物品が発見されなかった場合、画像受信モジュール３３１が一秒間に三十フレームを受信し、データ調整モジュール３３２が一秒間にこれら三十フレームのうちの十フレームを取得し、基本識別モジュール３３５が一秒間に上記選択された十フレームのみに対し識別を行う。一秒間に識別する必要のある画像数が少なくなったため、この識別作業に用いられるシステムリソースも下がる。

別の実施例では、データ調整モジュール３３２が一般画像の対応する識別作業処理における画像解像度を下げる。例えば、一台の画像取込装置１０に対し、一般状態における識別作業では解像度１９２０×１０８０の一般画像を識別する。緊急状態において、一台の画像取込装置１０が撮影した画像Ｉ１の中に警告物品が発見されなかった場合、データ調整モジュール３３２は一般画像の解像度を７２０×４８０に下げて、基本識別モジュール３３５が解像度７２０×４８０の一般画像のみを識別するようにする。一枚に識別する必要のある画素数が少なくなったため、この識別作業に用いられるシステムリソースも下がる。

また、緊急状態において、負荷分散モジュール３３３は警告物品が発見された画像を注目画像とし、かつ前記下げられた分のシステム負荷（例えば、画像処理速度または解像度を下げることで余ったシステムリソース）を高度な識別作業に提供する。高度な識別モジュール３３６はこれで十分なシステムリソースを持って、高度な識別作業で注目画像における警告物品と人、場所または時間の関係を判断できる。

なお、二台以上の画像取込装置１０が取り込んだ画像において警告物品が発見された場合、メインプロセッサ３７は同じ数の高度な識別モジュール３３６を動作させて、高度な識別作業をそれぞれ行い、識別結果を即時に提供する。一般画像の識別作業で減少されるシステムリソース量について、負荷分散モジュール３３３は高度な識別作業が識別結果を即時に提供するのに必要なリソース量を根拠とする。また、コンピュータシステム３０の起動過程において、ロードモジュール３３４はこれらの基本識別モジュール３３５および高度な識別モジュール３３６を先にロードしてもよい。推論機構３１１で識別を行わない時、これらの基本識別モジュール３３５および高度な識別モジュール３３６はコンピュータシステム３０全体の計算リソースをほとんど消費しない。これらのソフトウェアモジュール３３５、３３６が先にロードされているため、識別作業または高度な識別作業を実行する必要があった時、即時に実行することができて、応答速度を高めることができる。

図５は本発明の一実施例に基づく画像識別方法のフローチャートであり、以下は画像識別を詳しく説明する。図５が示すように、ステップＳ５１０とＳ５３０の詳細説明について図３のステップＳ３１０とＳ３３０の実施例を参照できるため、ここで省略する。また、説明の便宜上、以下はある画像取込装置１０が連続して撮影した複数枚の画像に対し分析を行うとし、その他のより多くの画像取込装置１０が撮影した画像の実施例については類推することができる。

画像中に警告物品が発見された場合、基本識別モジュール３３５は引き続き警告物品の識別を行うが、高度な識別モジュール３３６は画像（即ち、注目画像）中の警告物品に関連する人物を判断する（ステップＳ５５０）。本実施例において、高度な識別モジュール３３６は推論機構３１１によって画像中に人物が発見されたか否かを判断し、さらに特定分類器またはニューラルネットモデルを利用して、この人物が信頼人物に該当するか否かを判断する。この信頼人物とは、例えば店員、警察、警備員などの人物であり、必要に応じて調整することができる。この人物が信頼人物に該当しない場合、高度な識別モジュールがこの人物を警告人物とする。

続いて、高度な識別モジュール３３６はこれらの画像の時系列関係に基づいて、これらの画像におけるこの人物とこの警告物品の相互行為を判断し、これらの画像に対応する場面を决定する（ステップＳ５７０）。具体的に言うと、この相互行為とは、例えば、人物が警告物品を持って移動し、人物が商品棚から警告物品を取得するなど様々な動作または行為である。しかし、人物と警告物品が画像に同時に現れた一部状況では、ユーザに通報する必要のない場合もある（例えば、警告物品が銃器であり、画像中に消費者が商品棚から玩具の小銃を取った状況；警告物品が商品であり、画像中に消費者が商品を手に持って売り場内を移動する状況）。従って、発明の実施例の高度な識別モジュール３３６は、これらの画像の時系列関係に基づいて、警告物品が人物とともにした移動路線を判断する。高度な識別モジュール３３６は、時系列関係（順番）に基づいて、異なる画像中の人物の位置を判断し、かつこれらの位置を繋げて移動路線とする。高度な識別モジュール３３６は、さらに、この状況におけるこの移動路線が通報行為に該当するか否かを判断する（例えば、人物が警告物品を持って店の出入り口から直接にカウンタに移動した場合、人物が商品をカートに乗せて商品棚から直接店の出入り口まで移動した場合など、必要に応じて調整することができる）。つまり、高度な識別モジュール３３６は、人物と警告物品が時間と共に変化して形成されたイベントをさらに分析する。

移動路線がこの通報行為に該当する場合、高度な識別モジュール３３６は警告装置３５を通してこの状況を通報する（即ち、高度な識別作業の識別結果）。状況を通報する方法は様々である。例を挙げると、警告装置３５が警告音を発すること、画面中に警告表示を示すこと、または外部のモニタリングプラットフォーム５０（警備、警察機関などに設置してもよい）へ警告情報を発することがある。

例を挙げると、図６は本発明の一実施例に基づいて緊急状態のシステム負荷の配置を説明する図である。図６が示すように、三台の画像取込装置１０があるとし、図面の右側はコンピュータシステム３０が受信した、各画像取込装置１０で撮影された画像Ｉ１〜Ｉ３である。推論機構３１１は画像Ｉ２から警告物品ＡＯを発見した後、図４の実施例と比較すると、緊急状態で警告物品ＡＯを発見しなかった時の識別作業（即ち、画像Ｉ１、Ｉ３に対し）の占めるシステム負荷が１５％まで下げられた一方、画像Ｉ２の識別作業および高度な識別作業に対しシステム負荷の７０％が割り当てられている（画像Ｉ２の識別作業を維持するが、メインプロセッサ３７は画像Ｉ２に対し枠体の高度な識別作業を実行する（図面の一番右側に示す画像画面））。高度な識別モジュール３３６にシステムリソースが当てられ、関連人物ＡＰが存在するか否か、および人物ＡＰと警告物品ＡＯの相互行為を判断する。もし高度な識別モジュール３３６が現在の場面で画像Ｉ２中の人物ＡＰ（警告人物）が警告物品ＡＯ（銃）を手に持って店の出入り口からカウンタへ移動したと判断した場合、高度な識別モジュール３３６は警告装置３５を通してこの状況を通報することができる。

その他、全ての識別作業が継続して実行されるため、緊急状態において、識別作業（または推論機構３１１）の識別結果から警告物品が全く発見されなかったとう結論に至った場合、イベントフィードバップモジュール３３７はコンピュータシステム３０を一般状態に切り替え、かつ高度な識別作業の実行を停止し、負荷分散モジュール３３３がすべてのシステム負荷を基本識別モジュール３３５の識別作業に均等に割り当てる。また、緊急状態において、その他の画像でも警告物品が発見された場合、イベントフィードバップモジュール３３７は緊急状態を維持し、負荷分散モジュール３３３は一般画像に対応する識別作業のシステム負荷を下げて、または既に動作した高度な識別作業に先に提供されたシステム負荷を下げて、もう一つの高度な識別モジュール３３６にシステムリソースが当てられて、識別結果を即時に提供してもよい。

以上をまとめると、コンピュータシステム３０の計算能力不足の場合を考慮し、本発明の実施例は、識別作業の識別結果に基づいて各識別作業および高度な識別作業が占めるシステム負荷をダイナミックに調整することができる。一般状態において、識別作業では特定の警告物品に対し比較的に少ない分類器またはニューラルネットモデルが利用されるが、基本な識別要素を維持しつつ、識別の精度を影響することない。画像中に警告物品が発見され、コンピュータシステムが緊急状態に変換された場合、警告物品に対する一般識別作業が占めるシステムリソースが下げられ、高度な識別作業に十分なシステムリソースを当てて、識別結果を即時に提供するようにする。また、本発明の実施例はさらに人、出来事、場所および時間などの場面要素に対し分析を行うことで、比較的に緊急状態である状況を通報し、通報の効率を高める。

以上に記載したのは本発明の好ましい実施例であり、本発明の実施範囲がこれに限定されるべきではない。即ち、本発明の請求の範囲および発明の詳細な説明を基に行った簡単で等価な変更および修正も本発明の請求範囲内に属する。また、本発明の実施例または請求項のいずれかが必ずしも本発明の開示した目的または利点または特徴を全て満たすとは限らない。その他、要約書と発明の名称は特許文献の検索に用いられるものであり、本発明の権利範囲を制限するものではない。また、明細書または請求の範囲に言及された「第一」、「第二」などの用語は、素子（ｅｌｅｍｅｎｔ）を命名するめの名称または異なる実施例若しくは範囲を区別するめのものであり、素子の数量の上限または下限を制限するものではない。

１ 安全防犯システム
１０ 画像取込装置
３０ コンピュータシステム
３１ 処理システム
３１１ 推論機構
３２ 入力装置
３３ メモリー
３３１ 画像受信モジュール
３３２ データ調整モジュール
３３３ 負荷分散モジュール
３３４ ロードモジュール
３３５ 基本識別モジュール
３３６ 高度な識別モジュール
３３７ イベントフィードバップモジュール
３５ 警告装置
３６ 画像プロセッサ
３７ メインプロセッサ
５０ モニタリングプラットフォーム
Ｓ３１０〜Ｓ３５０、Ｓ５１０〜Ｓ５７０ ステップ
Ｉ、Ｉ１〜Ｉ３ 画像
ＡＯ 警告物品
ＡＰ 人物。

Claims (26)

1. コンピュータシステムに用いられるリソース割り当て方法であって、
   複数の画像取込装置が取り込んだ複数の画像を取得するステップと、
   前記コンピュータシステムの一部システム負荷をそれぞれ占める複数の識別作業によって、前記複数の画像取込装置の前記複数の画像中に警告物品が発見されたか否かをそれぞれ識別するステップと、
   前記複数の画像のうちの少なくとも一つから前記警告物品が発見された場合、前記複数の識別作業に用いられるシステム負荷を調整するステップとを含むことを特徴とする、リソース割り当て方法。
2. 前記複数の識別作業に用いられるシステム負荷を調整するステップは、
   前記警告物品が発見されなかった前記複数の画像を一般画像とするステップと、
   前記一般画像に対応する識別作業に用いらえるシステム負荷を下げるステップとを含むことを特徴とする、請求項１に記載のリソース割り当て方法。
3. 前記一般画像に対応する識別作業に用いられるシステム負荷を下げるステップは、
   前記一般画像に対応する識別作業の画像処理速度を下げるステップを含むことを特徴とする、請求項２に記載のリソース割り当て方法。
4. 前記一般画像に対応する識別作業に用いられるシステム負荷を下げるステップは、
   前記一般画像の対応する識別作業の処理における画像解像度を下げるステップを含むことを特徴とする、請求項２に記載のリソース割り当て方法。
5. 前記複数の識別作業に用いられるシステム負荷を調整するステップは、
   前記警告物品が発見された画像を注目画像とするステップと、
   下げられた前記システム負荷を高度な識別作業に提供するステップと、
   前記高度な識別作業によって、前記注目画像において前記警告物品と関連人物との相互行為を判断するステップとを含むことを特徴とする、請求項２に記載のリソース割り当て方法。
6. 前記複数の識別作業によって、前記複数の画像取込装置の前記複数の画像中に前記警告物品が発見されたか否かをそれぞれ識別するステップの後、さらに、
   前記複数の画像取込装置の前記複数の画像のいずれにも前記警告物品が発見されなかった場合、前記コンピュータシステムのシステム負荷を前記複数の識別作業に均等に割り当てるステップを含むことを特徴とする、請求項１に記載のリソース割り当て方法。
7. 前記複数の識別作業によって、前記複数の画像取込装置の前記複数の画像中に前記警告物品が発見されたか否かをそれぞれ識別するステップの後、さらに、
   前記複数の識別作業の識別結果に基づいて、一般状態および緊急状態の中のいずれかに切り替えるステップと、
   前記一般状態において、前記複数の識別作業に用いられるシステム負荷を均等にするステップと、
   前記緊急状態において、前記警告物品が発見されなかった識別作業に用いられるシステム負荷を下げるステップとを含むことを特徴とする、請求項１に記載のリソース割り当て方法。
8. 前記複数の識別作業によって、前記複数の画像取込装置の前記複数の画像中に前記警告物品が発見されたか否かをそれぞれ識別するステップは、
   人工知能の推論機構によって前記複数の識別作業および前記高度な識別作業を実行するステップを含むことを特徴とする、請求項５に記載のリソース割り当て方法。
9. 前記高度な識別作業によって、前記注目画像において前記警告物品と関連人物との相互行為を判断するステップの後、さらに、
   前記高度な識別作業の識別結果を通報するステップを含むことを特徴とする、請求項５に記載のリソース割り当て方法。
10. コンピュータシステムであって、
    前記コンピュータシステムは入力装置、メモリー、画像プロセッサおよびメインプロセッサを含み、
    前記入力装置は複数の画像取込装置が取り込んだ複数の画像を取得し、
    前記メモリーは前記複数の画像取込装置の前記複数の画像、および複数のモジュールを記憶し、
    前記画像プロセッサは推論機構を動作させ、
    前記メインプロセッサは前記入力装置、前記メモリーおよび前記画像プロセッサに接続され、かつ前記メモリーに記憶された前記複数のモジュールにアクセスまたロードし、
    前記複数のモジュールは負荷分散モジュールおよび複数の基本識別モジュールを含み、
    前記複数の基本識別モジュールは、前記推論機構が複数の識別作業を実行することにより、前記複数の画像取込装置の前記複数の画像中に警告物品が発見されたか否かをそれぞれ識別し、前記識別作業がそれぞれ前記コンピュータシステムの一部システム負荷を占め、
    前記複数の画像のうちの少なくとも一つから前記警告物品が発見された場合、前記負荷分散モジュールは前記複数の識別作業に用いられるシステム負荷を調整することを特徴とするコンピュータシステム。
11. 前記負荷分散モジュールは、前記警告物品が発見されなかった画像を一般画像とし、かつ前記一般画像に対応する識別作業に用いられるシステム負荷を下げることを特徴とする、請求項１０に記載のコンピュータシステム。
12. 前記複数のモジュールは、さらに、
    前記一般画像に対応する識別作業の画像処理速度を下げるデータ調整モジュールを含むことを特徴とする、請求項１１に記載のコンピュータシステム。
13. 前記複数のモジュールは、さらに、
    前記一般画像の対応する識別作業の処理における画像解像度を下げるデータ調整モジュールを含むことを特徴とする、請求項１１に記載のコンピュータシステム。
14. 前記負荷分散モジュールは、前記警告物品が発見された画像を注目画像とし、かつ下げられた分の前記システム負荷を高度な識別作業に提供し、
    前記複数のモジュールはさらに高度な識別モジュールを含み、前記推論機構が前記高度な識別作業を実行することにより、前記注目画像における前記警告物品と関連人物の相互行為を判断することを特徴とする、請求項１１に記載のコンピュータシステム。
15. 前記複数の画像取込装置の前記複数の画像のいずれにも前記警告物品が発見されなかった場合、前記負荷分散モジュールは前記コンピュータシステムのシステム負荷を前記複数の識別作業に均等に割り当てることを特徴とする、請求項１０に記載のコンピュータシステム。
16. 前記複数のモジュールは、さらに、
    前記推論機構の識別結果に基づいて、一般状態および緊急状態のいずれかに切り替えるイベントフィードバップモジュールを含み、
    前記一般状態において、前記負荷分散モジュールは前記複数の識別作業に用いられるシステム負荷を均等にし、
    前記緊急状態において、前記負荷分散モジュールは前記警告物品が発見されなかった識別作業に用いられるシステム負荷を下げることを特徴とする、請求項１０に記載のコンピュータシステム。
17. 前記複数のモジュールは、さらに、
    前記コンピュータシステムの起動過程において、前記複数の基本識別モジュールおよび前記高度な識別モジュールをロードするロードモジュールを含むことを特徴とする、請求項１４に記載のコンピュータシステム。
18. 前記高度な識別作業の識別結果を通報する警告装置をさらに含むことを特徴とする、請求項１４に記載のコンピュータシステム。
19. 画像識別方法であって、
    連続して撮影された複数の画像を取得するステップと、
    前記複数の画像中に警告物品が発見されたか否かを識別するステップと、
    前記複数の画像中に前記警告物品が発見された場合、前記複数の画像中の前記警告物品に関連する人物を判断するステップと、
    前記複数の画像の時系列関係に基づいて、前記複数の画像における前記人物と前記警告物品の相互行為を判断して、前記複数の画像に対応する場面を決定するステップとを含むことを特徴とする、画像識別方法。
20. 前記複数の画像の時系列関係に基づいて、前記複数の画像における前記人物と前記警告物品の相互行為を判断するステップは、
    前記複数の画像の時系列関係に基づいて、前記警告物品が前記人物に従った移動路線を判断するステップを含むことを特徴とする、請求項１９に記載の画像識別方法。
21. 前記複数の画像の時系列関係に基づいて、前記複数の画像における前記人物と前記警告物品の相互行為を判断するステップは、
    前記場面における前記移動路線が通報行為に該当するか否かを判断するステップと、
    前記移動路線が前記通報行為に該当する場合、前記場面を通報するステップとを含むことを特徴とする、請求項２０に記載の画像識別方法。
22. 前記複数の画像の時系列関係に基づいて、前記複数の画像における前記人物と前記警告物品の相互行為を判断するステップは、
    前記人物が信頼人物に該当するか否かを判断するステップと、
    前記人物が前記信頼人物に該当しない場合、前記人物を警告人物とするステップと、
    前記警告人物と前記警告物品の相互行為を判断するステップと、
    前記信頼人物と前記警告物品の相互行為を無視するステップとを含むことを特徴とする、請求項１９に記載の画像識別方法。
23. 画像識別用のコンピュータシステムであって、
    前記画像識別用のコンピュータシステムは入力装置、メモリー、画像プロセッサおよびメインプロセッサを含み、
    前記入力装置は連続して撮影された複数の画像を取得し、
    前記メモリーは前記複数の画像、および複数のモジュールを記憶し、
    前記画像プロセッサは推論機構を動作させ、
    前記メインプロセッサは前記入力装置、前記メモリーおよび前記画像プロセッサに接続され、かつ前記メモリーに記憶された前記複数のモジュールにアクセスまたロードし、
    前記複数のモジュールは基本識別モジュールおよび高度な識別モジュールを含み、
    前記基本識別モジュールは、前記推論機構によって前記複数の画像中に警告物品が発見されたか否かを識別し、
    前記複数の画像中に前記警告物品が発見された場合、前記高度な識別モジュールは前記推論機構によって前記複数の画像中の前記警告物品に関連する人物を判断し、かつ前記複数の画像の時系列関係に基づいて、前記複数の画像における前記人物と前記警告物品の相互行為を判断し、前記複数の画像に対応する場面を决定することを特徴とする、画像識別用のコンピュータシステム。
24. 前記高度な識別モジュールは、前記複数の画像の時系列関係に基づいて、前記警告物品が前記人物に従った移動路線を判断することを特徴とする、請求項２３に記載の画像識別用のコンピュータシステム。
25. 前記高度な識別モジュールは、前記場面における前記移動路線が通報行為に該当するか否かを判断し、前記移動路線が前記通報行為に該当する場合、前記場面を通報することを特徴とする、請求項２４に記載の画像識別用のコンピュータシステム。
26. 前記高度な識別モジュールは、前記人物が信頼人物に該当するか否かを判断し、前記人物が前記信頼人物に該当しない場合、前記高度な識別モジュールは前記人物を警告人物とし、かつ前記警告人物と前記警告物品の相互行為を判断し、前記信頼人物と前記警告物品の相互行為を無視することを特徴とする、請求項２３に記載の画像識別用のコンピュータシステム。

Images