JP2021064364A - 情報認識システムおよびその方法 - Google Patents

Abstract

【課題】モノのインターネット、ビッグデータ技術に基づく多次元情報危険行為認識システムおよびその方法を提供する。【解決手段】情報認識システム１は、複数の情報収集デバイスを含んでオブジェクトについての多次元情報を収集する情報収集モジュール１００と、情報収集モジュール１００によって収集された多次元情報に基づいて、オブジェクトについての異常情報が存在するか否かを検出する情報処理モジュール１０１と、多次元情報および情報処理モジュール１０１による検出によって生成された様々なデータを記憶する記憶モジュール１０２と、異常情報を表示し、警報を発する表示・リマインダモジュール１０３を含む。【選択図】図１

Description

本分野は、認識分野に関し、より具体的には、モノのインターネット、ビッグデータ技術に基づく多次元情報危険行為認識システムおよびその方法に関する。

公共安全は、国、社会の安定に関連し、人々の生命財産安全に直接影響する。個人および公共安全を保護するために、全面的なセキュリティ検査は徐々に避けられない傾向になっている。ただし、伝統的なセキュリティ検査方法は、効率が低く、危険情報を検出する能力が限られ、検査対象の体験感が悪いといった原因により、従来のセキュリティ検査システムは、全面的なセキュリティ検査のニーズを満たすことができず、特にピーク時に、深刻な混雑を引き起こし、交通効率に影響してしまう。例えば、伝統的なセキュリティゲートは、所持している金属物品のみを検知でき、爆発性試薬、身体内で持ち込まれている禁制品などの非金属危険物を検出できず、かつ、手触り、目視検査などの方法はさらに非効率的であり、検査対象の反感も喚起する。

現在、セキュリティ検査分野における主な危険行為は、検査対象の身体内で禁制品が持ち込まれている行為と、携帯物品で禁制品が持ち込まれている行為と、被検者が毒物、爆発性化学試薬に汚染されている行為と、セキュリティ検査されていない物品がフェンスまたはセキュリティ検査機を越えて搬送される行為（フェンス越え物品搬送と略称する）と、（指定された）パブリックエリアで、物体遺失、けんか殴り合い、不法滞留、逆走などが行われる行為と、を含む。

本願発明は、上記の従来問題を解決することを目的とする。

本願発明の第１の態様では、複数の情報収集デバイスを含んでオブジェクトについての多次元情報を収集するように構成される情報収集モジュールと、情報収集モジュールによって収集された多次元情報に基づいて、オブジェクトについての異常情報が存在するか否かを検出するように構成される情報処理モジュールと、多次元情報、および、情報処理モジュールの検出によって生成された様々なデータを記憶するように構成される記憶モジュールと、異常情報を表示し、警報を発するように構成される表示・リマインダモジュールと、を含んでもよい情報認識システムを提供する。

第１の態様によれば、情報処理モジュールは、さらに、複数の異常情報が同時に検出された場合に、複数の異常情報の優先度を確定して、優先度に応じて異常情報を表示・リマインダモジュールに送信するように構成されてもよい。

第１の態様によれば、情報処理モジュールは、さらに、情報収集モジュールによって収集されたビデオストリームからオブジェクトについての境界ボックスおよび特徴情報を抽出し、少なくとも境界ボックスおよび特徴情報のうちの１つに基づいて、オブジェクトに対してリアルタイム追跡または検索を行うこと、オブジェクトにフェンス越え物品搬送アクションが存在するか否か、関心エリア内に物品の遺留（遺留物品）または人の滞留があるか否かを検出することの少なくとも一つを実行するように構成されてもよい。

第１の態様によれば、情報処理モジュールは、さらに、ビデオストリームにおける第１のフレームから複数の第１の境界ボックスを抽出し、ビデオストリームにおける第２のフレームから複数の第２の境界ボックスを抽出することと、複数の境界ボックスの各々を複数の第２の境界ボックスの各々とそれぞれペアリングして、複数のペアリングアイテムを含むペアリング行列を形成することと、ペアリング行列における複数のペアリングアイテムの各々の値を算出し、最適値を有するアイテムをターゲットアイテムとすることとを実行して、リアルタイム追跡または検索を行うように構成されてもよく、前記ターゲットアイテムは、同一のオブジェクトの矩形境界ボックスについてペアリングされて形成されるアイテムを指す。

第１の態様によれば、情報処理モジュールは、さらに、複数のペアリングアイテムの各々におけるペアリングされた境界ボックス間の重なり率を算出し、ペアリングアイテムの各々におけるペアリングされた境界ボックスにおける特徴情報間の類似度を算出し、境界ボックス間の重なり率が最大であり且つ境界ボックスにおける特徴情報間の類似度が最大であるペアリングアイテムを前記ターゲットアイテムとして選択するように構成されてもよい。

第１の態様によれば、情報処理モジュールは、さらに、境界ボックスに基づいて関心位置両側の関心エリア内にオブジェクトが共に存在するか否かを検出することと、オブジェクトが関心エリア内に完全に入った場合に、オブジェクトのキーポイントを検出し、手首におけるキーポイント間の距離を確定することと、腕部キーポイント間の距離が第１の閾値以下の場合に、オブジェクト間にフェンス越え物品搬送アクションが存在すると確定することとを実行して、フェンス越え物品搬送アクションが存在するか否かを検出するように構成されてもよい。

第１の態様によれば、情報処理モジュールは、さらに、関心位置両側の関心エリア内でのオブジェクトの境界ボックスを抽出し、且つ境界ボックスと関心エリアとの間の面積比を算出し、面積比が第２の閾値以上の場合に、オブジェクトが関心エリア内に完全に入ったと確定するように構成されてもよい。

第１の態様によれば、情報処理モジュールは、さらに、関心エリア内に物品の遺留または人の滞留があるか否かを検出することと、関心エリア内に静止オブジェクトが存在するか否かを検出することと、関心エリア内での静止オブジェクトの滞留時間を検出することと、前記特徴情報に基づいて、静止オブジェクトが人であるか、物品であるかを検出することと、静止オブジェクトが人であり且つ滞留時間が閾値以上である場合に、関心エリア内に人の滞留があり、または静止オブジェクトが物品の場合に、物品から閾値距離だけ離れる範囲内に人が存在するか否かを検出し、物品から閾値距離だけ離れる範囲内に人が存在せず、且つ滞留時間が閾値以上の場合に、関心エリア内に物品の遺留があることとを実行して、関心エリア内に物品の遺留または人の滞留があるか否かを検出するように構成されてもよい。

本願発明の第２の態様では、複数の情報収集デバイスを用いてオブジェクトについての多次元情報を収集することと、多次元情報に基づいて、オブジェクトについての異常情報が存在するか否かを検出することと、多次元情報と、前記検出時に生成された様々なデータとを記憶することと、異常情報を表示し、警報を発することとを含んでもよい情報認識方法を提供する。

第２の態様によれば、前記方法は、さらに、複数の異常情報が同時に検出された場合に、前記複数の異常情報の優先度を確定し、優先度に応じて異常情報を表示することを含んでもよい。

第２の態様によれば、前記多次元情報に基づいて前記オブジェクトについての異常情報が存在するか否かを検出することは、複数の情報収集デバイスによって収集されたビデオストリームからオブジェクトについての境界ボックスおよび特徴情報を抽出し、且つ、少なくとも境界ボックスおよび特徴情報のうちの１つに基づいて、オブジェクトに対してリアルタイムの追跡または検索を行うことと、オブジェクトにフェンス越え物品搬送アクションが存在するか否かを検出することと、関心エリア内に物品の遺留または人の滞留があるか否かを検出することの少なくとも一つを実行することを含んでもよい。

第２の態様によれば、前記オブジェクトに対してリアルタイム追跡または検索を行なうことは、ビデオストリームにおける第１のフレームから複数の第１の境界ボックスを抽出し、ビデオストリームにおける第２のフレームから複数の第２の境界ボックスを抽出することと、複数の第１の境界ボックスの各々を複数の第２の境界ボックスの各々とそれぞれペアリングし、複数のペアリングアイテムを含むペアリング行列を形成することと、ペアリング行列における複数のペアリングアイテムの各々の値を算出し、最適値を有するアイテムをターゲットアイテムとすることを含んでもよく、前記ターゲットアイテムは、同一のオブジェクトの矩形境界ボックスについてペアリングされて形成されるアイテムを指す。

第２の態様によれば、前記ペアリング行列における複数のペアリングアイテムの各々アイテムの値を算出し、最適値を有するアイテムをターゲットアイテムとすることは、複数のペアリングアイテムの各々におけるペアリングされた境界ボックス間の重なり率を算出することと、ペアリングアイテムの各々におけるペアリングされた境界ボックスにおける特徴情報間の類似度を算出することと、境界ボックス間の重なり率が最大であり且つ境界ボックスにおける特徴情報間の類似度が最大であるペアリングアイテムを前記ターゲットアイテムとして選択することとを含んでもよい。

第２の態様によれば、前記オブジェクトにフェンス越え物品搬送アクションが存在するか否かを検出することは、境界ボックスに基づいて関心位置両側の関心エリア内にオブジェクトが共に存在するか否かを検出することと、オブジェクトが関心エリア内に完全に入った場合に、オブジェクトのキーポイントを検出して、キーポイント間の距離を確定することと、キーポイント間の距離が第１の閾値以下の場合に、オブジェクト間にフェンス越え物品搬送アクションが存在すると確定することとを含んでもよい。

第２の態様によれば、前記境界ボックスに基づいて前記関心位置両側の関心エリア内にオブジェクトが共に存在するか否かを検出することは、関心位置両側の関心エリア内でのオブジェクトの境界ボックスを抽出し、且つ境界ボックスと前記関心エリアとの間の面積比を算出することと、面積比が第２の閾値以上の場合に、オブジェクトが関心エリア内に完全に入ったと確定することとを含んでもよい。

第２の態様によれば、前記関心エリア内に物品の遺留または人の滞留があるか否かを検出することは、関心エリア内に静止オブジェクトが存在するか否かを検出することと、前記関心エリア内に前記静止オブジェクトの滞留時間を検出することと、前記特徴情報に基づいて、静止オブジェクトが人であるか、物品であるかを検出することと、静止オブジェクトが人であり且つ滞留時間が閾値以上の場合に、関心エリア内にオブジェクト滞留があると確定すること、または静止オブジェクトが物品の場合に、物品から閾値距離だけ離れる範囲内に人が存在するか否かをさらに検出し、物品から閾値距離だけ離れる範囲内に人が存在せず、且つ滞留時間が閾値以上の場合に、関心エリア内に物品の遺留があると確定することとを含んでもよい。

第３の態様によれば、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するメモリと、を備え、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサに上記方法を実行させる、電子機器が提供されている。

第４の態様によれば、記録された、第２の態様に係る方法を実現可能なプログラムコードコマンドを含む非一時的コンピュータ読み取り可能な媒体を提供する。

本願発明の上記の各態様に係る情報認識システム、情報認識方法および非一時的コンピュータ読み取り可能な媒体によれば、公共交通機関、主要なイベント活動、重点エリア、人員密集などのセキュリティ検査が必要なエリアにおいて、多次元情報に基づいて、危険行為認識を全方位的、効率的、正確かつ無感覚に行うことができる。

例示的な実施例による情報認識システムのブロック図 例示的な実施例による情報収集モジュールの例示的なブロック図 例示的な実施例による情報処理モジュールのブロック図 例示的な実施例による歩行者追跡の処理のフローチャート 例示的な実施例によるフェンス越え物品搬送検出の処理のフローチャート 例示的な実施例による人員の不法な滞留／物品の遺留の処理のフローチャート 例示的な実施例による電子機器のブロック図

以下、本発明の具体的な実施例について詳細に説明するが、ここに記載される実施例は単に例示に過ぎず、本発明を限定するためのものではないことに注意されたい。以下の説明では、本発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、これらの特定の詳細を採用して本発明を実施する必要がないことは、当業者には明らかである。他の例では、本発明を混淆するのを回避するために、周知の回路、材料または方法は具体的に説明されない。

明細書全体では、「一実施例」、「実施例」、「一例示」または「例示」が言及されることは、当該実施例または例示に関連して説明される特定の特徴、構造または特性が本発明の少なくとも一つの実施例に含まれることを意味する。したがって、明細書全体の各箇所に出現する「一実施例において」、「実施例において」、「一例示」または「例示」というフレーズは、必ずしも同一の実施例または例示を指すとは限らない。また、任意の適切な組み合わせおよび／またはサブ組み合わせで特定の特徴、構造または特性を１つまたは複数の実施例または例示に組み合わせてもよい。

素子が別の素子に「結合」または「接続」されると言及されるとき、それは、別の素子に直接結合または接続されてもよく、あるいは、中間素子が存在してもよいことを理解されるべきである。逆に、素子が別の素子に「直接結合」または「直接接続」されると言及されるとき、中間素子が存在しないことを意味する。

また、ここで使用される「および／または」という用語は、関連的に列挙される１つまたは複数のアイテムの任意および全ての組み合わせを含む。

用語に対応する単数形の名詞は、関連する文脈が別途明確に示さない限り、１つまたは複数の事柄を含んでもよいことを理解されるべきである。例えば、ここで使用される「ＡまたはＢ」、「ＡとＢのうちの少なくとも１つ」、「ＡまたはＢのうちの少なくとも１つ」、「Ａ、ＢまたはＣ」、「ＡとＢとＣのうちの少なくとも１つ」および「Ａ、ＢまたはＣのうちの少なくとも１つ」などのフレーズの各々は、前記複数のフレーズにおける対応する１つのフレーズと共に列挙されるアイテムの全ての可能な組み合わせを含んでもよい。例えば、ここで使用される「第１」と「第２」、または、「第一」と「第二」という用語は、対応する部材と別の部材とを単に区別するために使用されてもよく、且つ、他の点（例えば、重要性または順序）で前記部材を限定するものではない。

例えば、ここで使用される「モジュール」という用語は、ハードウェア、ソフトウェアまたはファームウェアで実現されるユニットを含んでもよく、他の用語（例えば、「論理」、「論理ブロック」、「部分」または「回路」）と交換可能に使用されてもよい。モジュールは、１つまたは複数の機能を実行するように適合された単一の集積部材または当該単一の集積部材の最小ユニットまたは部分であってもよい。例えば、実施例によれば、専用集積回路（ＡＳＩＣ）の形態でモジュールを実現してもよい。

本開示の様々な実施例およびそれらに使用される用語は、ここに記載される技術特徴を具体的な実施例に限定することを意図するものではなく、対応する実施例に対する様々な変更、等同形態または代替形態を含むことを理解されるべきである。本明細書に別途明確で定義されない限り、全ての用語は、明細書で暗示する意味および当業者によって理解される意味および／または辞書、論文などで定義される意味を含めて、最も広い可能な解釈を与える。

また、当業者は、ここで提供される図面が説明の目的のためであり、且つ、図面が必ずしも縮尺通りに描かれているとは限らないことを理解されるべきである。図面の説明について、類似する参照符号は、類似または関連する素子を指すために使用されてもよい。以下、図面を参照しながら、本開示を例示的に説明する。

全面的なセキュリティ検査、異常情報の精確な認識のニーズを満たすために、本願は、異常情報を効率的に、正確かつ無感覚に認識することができる情報認識システムおよびその方法を提供する。

図１は、例示的な実施例による情報認識システム１のブロック図を示す。同図に示すように、情報認識システム１は、情報収集モジュール１００と、情報処理モジュール１０１と、記憶モジュール１０２と、表示・リマインダモジュール１０３とを含んでもよい。

情報収集モジュール１００は、被検オブジェクトおよび／または注目オブジェクトの情報を収集するように構成されてもよい。例示的な実施例において、情報収集モジュール１００は、多次元情報収集デバイスを含んでもよい。情報収集モジュール１００は、カメラ、テラヘルツ／ミリ波セキュリティ検査機、物品機、赤外線カメラ、電子鼻、ディープカメラなどのうちの１つまたは複数であってもよいが、これらに限定されない。

例示的な実施例において、情報収集モジュール１００は、被検オブジェクトおよび／または注目オブジェクトのビデオ情報、画像情報、アクション情報、顔情報、歩行情報、骨格情報、虹膜情報、キーポイント情報（例えば、手首、肘など）などのうちの１つまたは複数項を収集してもよいが、これらに限定されない。

情報収集モジュール１００の構成および機能については、以下の説明において詳細に記載する。

情報処理モジュール１０１は、収集された被検オブジェクトおよび／または注目オブジェクトに関する情報を情報収集モジュール１００から受信し、且つ受信した情報に基づいて該被検オブジェクトおよび／または注目オブジェクトについての異常情報が存在するか否かを認識するように構成されてもよい。

異常情報は、例えば、被検オブジェクトが禁制物品を所持していること、被検オブジェクトが毒物または爆発燃料に汚染されていること、オブジェクトがフェンスを越えて物品を搬送すること、人員の不法な滞留、物品の遺留（遺留物品）、オブジェクトが異常アクションを有することなどであってもよいが、これらに限定されない。

情報処理モジュール１０１は、異常情報の総合的な処理判断により、複数のセキュリティ検査デバイスを連携させるように構成されていてもよい。

情報処理モジュール１０１は、複数の機能モジュールを含んでもよい。情報処理モジュール１０１の構成および機能に関する説明は、以下の説明において詳細に記載する。

記憶モジュール１０２は、情報認識システム１が情報認識処理を実行するときに生成される任意の情報およびデータを記憶するように構成されてもよい。例えば、記憶モジュール１０２は、情報収集モジュール１００によって取得された被検オブジェクトおよび／または注目オブジェクトに関する任意の情報、情報処理モジュール１０１が異常情報認識を行うときに生成される様々なデータなどを記憶してもよいが、これらに限定されない。

表示・リマインダモジュール１０３は、情報処理モジュール１０１によって認識された異常情報を表示し、且つ警報を発するように構成されていてもよい。

一例示では、表示・リマインダモジュール１０３は、異常情報を引き起こすオブジェクトなどを表示するように構成されてもよい。

一例示では、表示・リマインダモジュール１０３は、異常情報の発生時間、場所などを表示するように構成されてもよい。

例示的な実施例において、表示・リマインダモジュール１０３は、表示デバイスと警報デバイスを含んでもよい。表示デバイスは、例えば、コンピュータ、タブレット、携帯情報端末、任意のウェアラブルデバイス（例えば、電子腕時計、電子眼鏡など）などの表示機能を提供可能な任意のデバイスであってもよいが、これらに限定されない。

警報デバイスは、警報情報を提供可能な任意のデバイスであってもよい。警報デバイスは、例えば、音響警報デバイス（例えば、ベルなど）、光学警報デバイス（例えば、フラッシュなど）、触覚警報デバイス（例えば、振動デバイス）などであってもよいが、これらに限定されない。

表示・リマインダモジュール１０３の構成および機能に関する説明は、以下の説明において記載する。

図２は、例示的な実施例による情報収集モジュール１００の例示的なブロック図を示す。図２に示す情報収集モジュール１００の構成は、単に説明の便宜のために例示的に示したものであり、当業者は、情報収集モジュール１００の構成がこれに限定されないことを理解されるべきである。

同図に示すように、情報収集モジュール１００は、例えば、セキュリティ検査エリアでのセキュリティ検査のためのテラヘルツ／ミリ波デバイス１０００、電子鼻１００１、物品機１００２、およびオブジェクト集まりエリア（例えば、待合室、空港待合室など）並びにセキュリティ検査エリアでのビデオ収集のためのデバイス（例えば、カメラ）１００３を含んでもよい。

例示的な実施例において、テラヘルツ／ミリ波デバイス１０００は、被検オブジェクトに禁制品が隠されているか否かを検査するために、被検オブジェクトを透視撮影するように構成されてもよい。

例示的な実施例において、電子鼻１００１は、被検オブジェクトが毒物、爆発物などに接触したか否かを分析するために、被検オブジェクトの匂いを取得するように構成されてもよい。

例示的な実施例において、物品機１００２は、荷物に禁制品などが隠されているか否かを検出するために、荷物中の物品に関する情報を取得するように構成されてもよい。

例示的な実施例において、ビデオ収集デバイス１００３は、集まりエリアにおけるオブジェクトに関するビデオを収集するように構成されてもよい。

情報収集モジュール１００に含まれる様々なデバイスの数は、１つまたは複数であってもよい。また、実際の必要に応じて、情報収集モジュール１００は、上記モジュールに加えて、他のモジュールをさらに含んでもよい。

図３は、例示的な実施例による情報処理モジュール１０１のブロック図を示す。図３に示す情報処理モジュール１０１の構成は、単に説明の便宜のために例示的に示したものであり、当業者は、情報処理モジュール１０１の構成がこれに限定されないことを理解されるべきである。

同図に示すように、情報処理モジュール１０１は、ビデオ／画像分析モジュール１０１０、および総合分析モジュール１０１１を含んでもよい。

ビデオ／画像分析モジュール１０１０は、ビデオ収集デバイス、テラヘルツ／ミリ波デバイスおよび／または物品機から取得されたビデオ／画像に基づいて、オブジェクト追跡、オブジェクト検索、フェンス越え物品搬送認識および歩行者の不法な滞留並びに物品の遺留の検出などの機能を実現するように構成されてもよい。

説明の便宜上、以下の実施例を例としてビデオ／画像分析モジュール１０１０で実現されるオブジェクト追跡、あるオブジェクトの検索、フェンス越え物品搬送認識、および歩行者の不法な滞留並びに物品の遺留検出などの機能を説明する。

＜オブジェクト追跡＞

オブジェクトリアルタイム追跡の概要的な原理としては、まず、ビデオストリームの異なる画像フレームにおいてオブジェクトの矩形境界ボックスを取得し、且つ矩形境界ボックスにおけるオブジェクト特徴を抽出する。それから、矩形境界ボックスの重なり率を算出することにより、矩形境界ボックスの一部を除外し、その後、特徴対比により、特徴が最も類似するオブジェクトを同じオブジェクトとして確定する。

図４は、例示的な実施例による歩行者追跡の処理のフローチャートを示す。以下、図４を参照して説明する。

具体的には、オブジェクトリアルタイム追跡を行うとき、ステップ４１で、ビデオ／画像分析モジュール１０１０は、ビデオ収集デバイス１００によって収集されたオブジェクトに関するビデオに基づいて、ビデオストリームＦ＝｛ｆ_ｉ｝，ｉ＝１：Ｔを取得し、ここで、Ｔが時間を表し、ｆ_ｉが各フレーム画像を表す。

その後、ビデオ／画像分析モジュール１０１０は、歩行者を追踪するために、ビデオストリームを分析する。具体的には、ステップ４２で、各フレーム画像ｆ_ｉについて、ディープ畳み込みネットワークに基づく検出アルゴリズムを用いて、ビデオフレームをネットワーク入力とし、当該フレーム画像における歩行者の矩形境界ボックスを出力取得し、ｐｂｏｘ＝［ｘ，ｙ，ｗ，ｈ］と記し、ここで、（ｘ，ｙ）がマークした矩形ボックスの左上角頂点を表し、（ｗ，ｈ）がマークした矩形ボックスの幅および高さを表す。

ステップ４３で、現在フレームを検出することによって得られる一連の歩行者矩形ボックスと、前のフレームを検出することによって得られる矩形ボックスとをペアリングする。当該ペアリングでは、歩行者の再認識の結果（ｒｅｉｄ＿ｃｏｓｔ）と歩行者矩形ボックスの重なり率（ｂｏｘ＿ｏｖｅｒｌａｐ＿ｃｏｓｔ）を重み付けして、ペアリング行列Ｃ_{ｐｒｅ＊ｃｕｒ}を取得し、ここで、ｐｒｅ＊ｃｕｒが行列次元を表し、ｐｒｅが前のフレームを検出することによって得られるｐｂｏｘの数を表し、ｃｕｒが現在フレームを検出することによって得られるｐｂｏｘの数を表す。

矩形ペアリング行列は、例えば、以下数１であってもよい。

ここで、ｃ_１＊１は、前のフレームにおける１番目の矩形境界ボックスと現在フレームにおける１番目の矩形境界ボックスとがペアリングされることを表し、ｃ_{１＊ｃｕｒ}は、前のフレームにおける１番目の矩形境界ボックスと現在フレームにおけるｃｕｒ番目の矩形境界ボックスとがペアリングされることを表し、ｃ_{ｐｒｅ＊１}は、前のフレームにおけるｐｒｅ番目の矩形境界ボックスと現在フレームにおける１番目の矩形境界ボックスとがペアリングされることを表し、ｃ_{ｐｒｅ＊ｃｕｒ}は、前のフレームにおけるｐｒｅ番目の矩形境界ボックスと現在フレームにおけるｃｕｒ番目の矩形境界ボックスとがペアリングされることを表し、順次に類推を行う。これにより、ｐｒｅ＊ｃｕｒ個の矩形境界ボックスペアリングを形成することができる。

ステップ４４で、ペアリング行列における各アイテムの値を算出し、且つ値が最も小さいアイテムをターゲットアイテムとして選択する。

ペアリング行列Ｃ_{ｐｒｅ＊ｃｕｒ}における各アイテム（ｃ_１＊１，…，ｃ_{１＊ｃｕｒ}，…，ｃ_{ｐｒｅ＊１}，…ｃ_{ｐｒｅ＊ｃｕｒ}）における各アイテムの値の算出式は、以下の数２のように表してもよい。

ここで、Ｗ_１，Ｗ_２が重み係数である。

ここで、（ｂｏｘ＿ｏｖｅｒｌａｐ＿ｃｏｓｔ）が歩行者矩形ボックス間の重なり度合いを表し、且つ以下の数３、数４、数中の（ｒｅｉｄ＿ｃｏｓｔ）が歩行者矩形ボックス内の歩行者特徴間の類似度を表す。

（ｒｅｉｄ＿ｃｏｓｔ）を確定するために、ディープ畳み込みネットワークの歩行者再認識モデルに基づいてｐｂｏｘにおける歩行者特徴φ_ｐ，ｐ＝１：Ｎ（ここで、φ_ｐがｐ番目の矩形境界ボックスから抽出されたオブジェクトの特徴を示し、Ｎが境界ボックスの数を示す）を抽出する。それから、抽出された特徴に基づいて、前後の２つのフレームにおけるｐｂｏｘにおける対応する特徴間のユークリッド距離をｒｅｉｄ＿ｃｏｓｔとして算出する。すなわち、以下の数５に基づいて算出する。

上記説明に基づいて分かるように、（ｂｏｘ＿ｏｖｅｒｌａｐ＿ｃｏｓｔ）が最大且つ（ｒｅｉｄ＿ｃｏｓｔ）が最小であるとき、重なり率が最大の矩形境界ボックスにおける、特徴類似度が最大のオブジェクトを同一の人として確定することができる。

確定の便宜のため、以下の数６を数７に補正することで、最も小さいＣ’値を有するアイテムをターゲットアイテムとして確定し、ターゲットアイテムに含まれるオブジェクトは、同一のオブジェクトである。

これにより、リアルタイム的に歩行者追踪を実現し、且つ返し結果をｔｒａｃｋｅｒ＝［ｉｄ，ｘ，ｙ，ｗ，ｈ］としてマークし、ここで、ｉｄが歩行者のユニックな標識を表し、当該標識により当該オブジェクトを位置決めることができる。

以上の説明は、連続フレーム間のオブジェクトのリアルタイム追跡に関するものであり、一部の場合に、当該原理を用いて非連続フレーム（例えば、ある時間を空けるフレームなど）間の人員検索を実現してもよい。

一例示において、例えば、人員集まり箇所でけんかイベントが発生し、かつ、けんかイベントが既に終了した場合に、けんかイベント参加人員を探すために、オブジェクト追跡機能を用いてけんかイベント参加人員を探すことができる。その原理は下記の通りである。

ビデオ／画像収集デバイスによって収集されたけんかビデオに基づいて、ディープ畳み込みネットワークに基づく検出アルゴリズムを用いて、けんか参加人員の矩形境界ボックスｐｂｏｘ＝［ｘ，ｙ，ｗ，ｈ］を取得し、ここで、（ｘ，ｙ）がマークした矩形ボックスの左上角頂点を表し、（ｗ，ｈ）がマークした矩形ボックスの幅および高さを表す。

ビデオ／画像収集デバイスを用いて、人員集まりエリアにおける各箇所のビデオを継続的に収集する。各フレーム画像について、同様にディープ畳み込みネットワークに基づく検出アルゴリズムを用いて、画像におけるオブジェクトの矩形境界ボックスを取得する。その後、当該フレームにおける各矩形境界ボックスと、けんかビデオ画像フレームにおけるけんか参加人員の矩形境界ボックスとをペアリングして、ペアリング行列Ｃ’’を取得する。以上の説明に基づいて分かるように、ペアリング行列Ｃ’’における各アイテムの値の算出式は、次のように変換されてもよい。

ここで、Ｗ_１，Ｗ_２が重み係数である。

ここで、（ｂｏｘ＿ｏｖｅｒｌａｐ＿ｃｏｓｔ）が歩行者矩形ボックス間の重なり度合いを表し、且つ数９の通りである。ここで、ｉｏｕは以下の数１０の通りであり、（ｒｅｉｄ＿ｃｏｓｔ）が歩行者矩形ボックス内の歩行者間の類似度を表す。

ディープ畳み込みネットワークの歩行者再認識モデルに基づいて、各矩形境界ボックスｐｂｏｘにおけるオブジェクトの特徴（例えば、顔特徴、歩行特徴、人体特徴、虹膜特徴など）を抽出する。抽出された特徴に基づいて、以下の数１１の通りで、矩形境界ボックスｐｂｏｘにおける対応する特徴間のユークリッド距離を算出する。

また、現在フレームにおける各矩形境界ボックスと、けんかビデオ画像フレームにおけるけんか参加人員の矩形境界ボックスとの間の重なり率をさらに算出する。

これに基づいて、Ｃ’’値が最小であるとき、ペアリング行列における、当該最小値を有するアイテムがターゲットアイテムである。つまり、当該ターゲットアイテムに対して２つの矩形境界ボックスにおけるオブジェクトが同一の人であることを示すことができる。

これにより、けんか参加歩行者を追跡することができる。

＜フェンス越え物品搬送検出＞

フェンス越え物品搬送検出の大まかな原理としては、関心エリア（Ｒ）（例えば、フェンス両側のエリア）、関心位置（例えば、フェンスＬ）、および歩行者矩形境界ボックスｐｂｏｘ（ｉ）から、関心位置両側の歩行者が関心エリアに入る面積比を算出する。

ａｒｅａ＿ｒａｔｉｏが閾値より大きければ、関心位置両側において歩行者が共に関心エリアに入ったことを示す。このとき、歩行者のキーポイント間の距離を検出し、且つ、人体の手首箇所のキーポイント間の距離に基づいて歩行者間にフェンス越え物品搬送行為があるか否かを判断する。

図５は、例示的な実施例によるフェンス越え物品搬送検出の処理のフローチャートを示す。ステップ５１で、まず、関心エリアＲ（例えば、フェンスから０．５の距離範囲など）を選択する。

ステップ５２で、歩行者が関心エリア内に出現しているか否かを検出する。具体的には、各フレームについて、関心位置両側の関心中の各側の関心エリアに関して、歩行者が共に関心エリア内に出現しているか否かを判断する。

ステップ５３で、ａｒｅａ＿ｒａｔｉｏが第１の閾値以上であると確定されれば（ステップ５３における「ＹＥＳ」）、歩行者が共に関心位置両側の関心エリアに入ったと確定される。ａｒｅａ＿ｒａｔｉｏが第１の閾値より小さければ（ステップ５３における「ＮＯ」）、歩行者が関心位置両側の関心エリアに入っていない場合、または、一側のみに入ったと確定される。

歩行者が関心位置両側の関心エリアに入っていない場合、または、一側のみに入った場合に（ステップ５３における「ＹＥＳ」）、処理が再びステップ５２に戻る。

歩行者が共に関心位置両側の関心エリアに入った場合に（ステップ５３における「ＹＥＳ」）、処理がステップ５４に進み、関心位置両側のエリア内に入った歩行者に対して姿勢推定を行う。

ステップ５５で、関心位置両側の歩行者の手首箇所のキーポイント間の距離が第２の閾値より大きければ（ステップ５５の「ＮＯ」）、関心位置両側の関心エリアに入った歩行者間にフェンス越え物品搬送行為が存在していないと確定され、このとき、処理が再びステップ５２に戻る。関心位置両側の歩行者のキーポイント間の距離が第２の閾値以下であれば（ステップ５５の「ＹＥＳ」）、処理がステップ５６に進み、関心位置両側の関心エリアに入った歩行者間にフェンス越え物品搬送行為が存在していると確定される。

あるいは、歩行者および／または物体が関心位置両側の関心エリアに入ったか否かを認識するとき、さらに、歩行者および／または物体の特徴に基づいて、当該特徴が人の特徴か物体の特徴かを分析してもよい。

＜歩行者の不法な滞留および物品の遺留の検出＞

歩行者の不法な滞留および物品の遺留を検出する大まかな原理としては、まず、静的オブジェクトが人か物品かを判断し、それから、人または物品が滞留時間を満たすか否かを確定することで、人または物が不法な滞留／物品の遺留であるか否かを確定する。

図６は、例示的な実施例による人員の不法な滞留／物品の遺留の処理のフローチャートを示す。

ステップ６１で、関心のエリアＲを選択する。例えば、空港待合室におけるある隅を選択してもよい。

ステップ６２で、関心エリアにおけるあるオブジェクトが静的オブジェクトであるか否かを検出する。例えば、ガウス混合モデルを用いて背景をモデリングし、取得した背景情報と初期背景に基づいて、フレーム差分法を用いて静的オブジェクトを検出する。

ステップ６３で、静的オブジェクトのタイプを検出し、すなわち、静的オブジェクトが人か物品かを検出する。例えば、以上の説明に基づいて、まず、静的オブジェクトの矩形境界ボックスｐｂｏｘを取得し、それから、矩形境界ボックスｐｂｏｘから静的オブジェクトの特徴を抽出し、静的オブジェクトのある（または一部の）特徴（例えば、顔特徴、歩行特徴、人体特徴、虹膜特徴など）を抽出できれば、静的オブジェクトが人であると確定でき、逆に、静的オブジェクトが物品であると確定できる。

静的オブジェクトが人であると確定される場合に（ステップ６４の「ＹＥＳ」）、処理がステップ６５に進み、静的人員が同一の人であるか否かを確定する。例えば、各フレーム画像において静的人員の矩形境界ボックスｐｂｏｘを抽出し、それから、矩形境界ボックスｐｂｏｘにおいて静的人員の特徴（例えば、顔特徴、歩行特徴、人体特徴、虹膜特徴など）を抽出してもよい。抽出された各特徴を比較することにより、静的人員が同一の人員であるか否かを確定する。

静的人員が同一の人でない場合に（ステップ６５の「ＮＯ」）、処理が再びステップ６２に戻り、静的オブジェクトを検出する。

静的人員が同一の人である場合に（ステップ６５の「ＹＥＳ」）、処理がステップ６６に進み、静的人員の関心エリア内の滞留時間が閾値以上であるか否かを確定する。静的人員の滞留時間が閾値より大きい場合に、処理がステップ６７に進み、静的人員が不法な滞留人員であると確定される。

静的オブジェクトが物品である場合に（ステップ６４の「ＮＯ」）、処理がステップ６８に進み、静止物品が同一の物であるか否か、且つ当該物品の周りに人がいないことを確定する。例えば、静止物品の特徴を抽出且つ比較することにより、同一の物品であるか否かを確定してもよい。例えば、当該物品の周りで人の特徴を抽出できるか否かを判断することにより、当該物品の周りに人がいるか否かを確定してもよい。

静止物品が同じ物品ではなく、および／または物品の周りに人がいる場合に（ステップ６８における「ＮＯ」）、処理が再びステップ６２に戻り、静的オブジェクトを新たに検出する。

静止物品が同一の物品であり、かつ、物品の周りに人がいない場合に（ステップ６８における「ＹＥＳ」）、処理がステップ６９に進み、物品の滞留時間が閾値以上であるか否かを確定する。

物品の滞留時間が閾値より小さい場合に（ステップ６９の「ＮＯ」）、処理が再びステップ６２に戻る。

物品の滞留時間が閾値以上である場合に（ステップ６９の「ＹＥＳ」）、処理がステップ６１０に進み、当該物品が遺留物品であると確定される。

以上の説明では、滞留時間判断（ステップ６６およびステップ６９）は、静的オブジェクトが同一の人であるか否か、または、静止物品が同一の物であるか否か、且つその周りに人がいないことを判断した（ステップ６５およびステップ６８）後で説明されたが、当業者は、滞留時間判断（ステップ６６およびステップ６９）が、静的オブジェクトが同一の人であるか否か、または静止物品が同一の物であるか否か、且つその周りに人がいないことを判断する（ステップ６５およびステップ６８）前であってもよい。

以上は、ビデオ／画像分析モジュール１０１０が情報収集モジュール１００によって提供されるビデオ／画像に基づいて実現される人員リアルタイム追跡、ある人員の検索、フェンス越え物品搬送検出、人員の不法な滞留および／または物品の遺留などの機能に関する説明である。当業者は、以上で説明した様々な操作が限定的でないことを理解されるべきである。本発明の思想に合う任意の操作は、何れも本発明の範囲内に含まれる。

再び図３を参照すると、ビデオ／画像分析モジュール１０１０は、さらに、ビデオ収集デバイス、テラヘルツ／ミリ波デバイスおよび／または物品機から取得されたビデオ／画像、電子鼻から取得された匂い情報に基づいて、被検オブジェクトが禁制品を所持／汚染しているか否かを検出し、且つ禁制品の種類を検出するように構成されてもよい。

如何に被検オブジェクトが禁制品を所持／汚染しているか否かを検出するか、および如何に禁制品の種類を検出するかに関する説明は、ここでは再び詳細に説明しない。

再び図３を参照すると、総合分析モジュール１０１１は、ビデオ／画像分析モジュール１０１０によって取得された分析結果、および総合分析モジュール１０１１に予め記憶されたモデルに基づいて総合分析を行うように構成されてもよい。

例示的な実施例において、総合分析は、例えば、異常情報（例えば、爆発物所持、フェンス越え物品搬送、不法な滞留など）を引き起こした人または物品がそれ以前に他の危険行為をしたか否かを分析すること、複数の異常情報が存在する場合に、各異常情報の優先度を確定すること、異常情報がそれ前に出現したか否かを分析すること、異常情報を引き起こした人がそれ以前に他の異常情報を引き起こしたか否かを分析することなどのうちの１または複数を指してもよいが、これらに限定されるものではない。

一例示において、ビデオ／画像分析モジュール１０１０は、情報收集モジュール１００によって送信されたビデオおよび／または画像に基づいて、セキュリティ検査箇所でオブジェクトＡが禁制品を所持している危険情報、空港待合室で人けんかがある危険情報を同時に取得するとき、総合分析モジュール１０１１は、その中に予め記憶されたモデルに基づいて、オブジェクトＡが禁制品を所持している安全レベルが、空港待合室で人けんかがある危険情報の安全レベルよりも高いことを分析することができる。これにより、総合分析モジュール１０１１は、オブジェクトＡが禁制品を所持していることに関する情報を優先的に表示・リマインダモジュール１０３に送信し、その後、空港待合室で人けんかがあることに関する情報を表示・リマインダモジュール１０３に送信してもよい。

あるいは、表示・リマインダモジュール１０３が複数箇所に配置されている場合に、ビデオ／画像分析モジュール１０１０は、情報收集モジュール１００によって送信されたビデオおよび／または画像に基づいて、空港待合室で人けんかがある危険情報、空港待合室でナイフによる攻撃がある危険情報を同時に取得するとき、総合分析モジュール１０１１は、それぞれ各情報をイベント発生場所または近くの表示・リマインダモジュール１０３に送信してもよい。

一例示において、総合分析モジュール１０１１は、ビデオ／画像分析モジュール１０１０によって分析されたあるオブジェクトがやる危険情報と、記憶モジュール１０２に記憶された当該オブジェクトのその前の危険情報とを比較することにより、当該危険情報とその前の危険情報とが同じ情報であるか否かを判断してもよい。危険情報が同じ場合に、総合分析モジュール１０１１は、他の情報に不要な干渉を回避するために、表示・リマインダモジュール１０３に警報情報を繰り返し送信しなくてもよい。

図７は、本開示の実施例に係る上記に記載の方法を適用可能な電子機器のブロック図を概略的に示す。なお、図７に示す電子機器はあくまで一例であり、本開示の実施例の機能や利用範囲には何ら制限はない。

図７に示すように、本開示の実施例に係る電子機器７００は、読み込み専用のメモリ（ＲＯＭ）７０２に記憶されたプログラム、または記憶部７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムに基づいて、各種の適切な動作および処理を実行できるプロセッサ７０１を備える。プロセッサ７０１は、例えば、汎用マイクロプロセッサ（例えば、ＣＰＵ）、命令セットプロセッサ及び／又は関連チップセット及び／又は専用のマイクロプロセッサ（例えば、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）等を含み得る。プロセッサ７０１はキャッシュ用途のためのオンボードメモリをさらに含んでもよい。プロセッサ７０１は、本開示の実施例に係る方法フローに基づく異なる動作を実行するための単一の処理部または複数の処理部を含んでもよい。

ＲＡＭ７０３には、システム７００の動作に必要な各種プログラムやデータが記憶されている。プロセッサ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。プロセッサ７０１は、ＲＯＭ７０２及び／又はＲＡＭ７０３に格納されたプログラムを実行することにより、本開示の実施例に係る方法フローの各種の動作を実行する。なお、前記プログラムは、ＲＯＭ７０２及びＲＡＭ７０３を除く１つまたは複数のメモリに記憶されていてもよい。プロセッサ７０１は、前記１つまたは複数のメモリに格納されたプログラムを実行することにより、本開示の実施例に係る方法フローの各種の動作を実行してもよい。

本開示の実施例によれば、システム７００は、入出力（Ｉ／Ｏ）インタフェース７０５をさらに備えてもよく、バス７０４には、入出力（Ｉ／Ｏ）インタフェース７０５も接続されている。システム７００は、Ｉ／Ｏインタフェース７０５に接続された、キーボード、マウス等の入力部７０６、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）およびスピーカ等を含む出力部７０７、ハードディスク等を含む記憶部７０８、及びＬＡＮカード、モデム等のネットワークインタフェースカードを含む通信部７０９の１つまたは複数をさらに含んでもよい。通信部７０９は、インターネットなどのネットワークを介して通信処理を行う。ドライバ７１０は、必要に応じてＩ／Ｏインタフェース７０５にも接続されている。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブルメディア７１１は、それから読み取るコンピュータプログラムが必要に応じて記憶部７０８にインストールされるように、必要に応じてドライブ７１０にインストールされる。

本開示の実施例によれば、本開示の実施例に係る方法フローは、コンピュータソフトウェアとして実現されてもよい。例えば、本開示の実施例はコンピュータプログラム製品を含み、コンピュータプログラム製品がコンピュータ読み取り可能な記憶媒体に担持されて、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例において、このコンピュータプログラムは、通信部７０９を介してネットワーク上からダウンロードされてインストールされ、および／またはリムーバブルメディア７１１からインストールされてもよい。このコンピュータプログラムがプロセッサ７０１によって実行されると、本開示の実施例に係るシステムに規定された上記機能が実行される。本開示の実施例によれば、上記で説明したシステム、デバイス、装置、モジュール、ユニット等は、コンピュータプログラムモジュールによって実現されてもよい。

本開示は、コンピュータ読み取り可能な記憶媒体をさらに提供している。このコンピュータ読み取り可能な記憶媒体は、上記実施例で説明したデバイス・装置・システムに含まれるものであってもよいし、別体であって、デバイス・装置・システムに組み込まれていないものであってもよい。上記コンピュータ読み取り可能な記憶媒体には、１つまたは複数のプログラムが担持されており、上記１つまたは複数のプログラムが実行されると、本開示の実施例に係る方法が実現される。

本開示の実施例によれば、コンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。例えば、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクト磁気ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気メモリデバイス、又はこれらの任意の適切な組み合わせを含んでもよいが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体は、プログラムを含むか記憶する如何なる有形の媒体であってもよく、そのプログラムは、コマンド実行システム、装置、又はデバイスに用いられてもよいし、組み合わせて用いられてもよい。

例えば、本開示の実施例によれば、コンピュータ読み取り可能な記憶媒体は、上述したＲＯＭ７０２及び／又はＲＡＭ７０３及び／又はＲＯＭ７０２及びＲＡＭ７０３以外の１つまたは複数のメモリを含んでいてもよい。

以上では、図に示す順序に従って各ステップを説明したが、当業者は、前記各ステップが異なる順序に従って本発明の実施例が実行されてもよく、または、上記ステップのうちの１つまたは複数のステップを有しない場合に実現されてもよいことを理解されるべきである。

前記内容から理解できるように、１つまたは複数のシステムまたはデバイスの電子部品は、少なくとも１つの処理ユニット、メモリ、およびメモリを含めて各部品を処理ユニットに結合する通信バスまたは通信装置を含んでもよいが、これらに限定されない。システムまたはデバイスは、様々なデバイス読み取り可能な媒体を含んでもよく、またはそれらにアクセスしてもよい。システムメモリは、揮発性および／または不揮発性メモリ形態のデバイス読み取り可能な記憶媒体（例えば、読み取り専用メモリ（ＲＯＭ）および／またはランダムアクセスメモリ（ＲＡＭ））を含んでもよい。限定する形態ではなく、例示的な形態により、システムメモリは、オペレーティングシステム、プリケーションプログラム、他のプログラムモジュールおよびプログラムデータをさらに含んでもよい。

実施例は、システム、方法またはプログラム製品として実現されてもよい。したがって、実施例は、全ハードウェアの実施例またはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）を含む実施例の形態を採用してもよいが、それらは本明細書において「回路」、「モジュール」または「システム」と総称されてもよい。また、実施例は、その上にデバイス読み取り可能なプログラムコードが具体化された少なくとも１つデバイス読み取り可能な媒体に具体化されたプログラム製品の形態をとり得る。

デバイス読み取り可能な記憶媒体の組み合わせを使用してもよい。本明細書の文脈において、デバイス読み取り可能な記憶媒体（「記憶媒体」）は、コマンド実行システム、装置またはデバイスによって使用されまたはそれらと組み合わせて使用されるように構成されるプログラムコードからなるプログラムを包含または記憶してもよい、任意の有形の非信号媒体であってもよい。本開示の目的のため、記憶媒体またはデバイスは、非一時的である、すなわち、信号媒体または伝搬媒体を含まないと解釈されるべきである。

本開示は、例示および説明の目的で提示されているが、網羅的または限定的であることを意図していない。多くの修正および変更は、当業者に明らかであろう。実施例は、原理および実際の適用を例示し、当業者が、予期される特定の用途に適した様々な補正を有する本開示の様々な実施例を理解することを可能にするために、選択され、説明される。

Claims (15)

1. 複数の情報収集デバイスを含んでオブジェクトについての多次元情報を収集するように構成される情報収集モジュールと、
   前記情報収集モジュールによって収集された多次元情報に基づいて、前記オブジェクトについての異常情報が存在するか否かを検出するように構成される情報処理モジュールと、
   前記多次元情報、および、前記情報処理モジュールの検出によって生成された様々なデータを記憶するように構成される記憶モジュールと、
   異常情報を表示し、警報を発するように構成される表示・リマインダモジュールとを含む情報認識システム。
2. 前記情報処理モジュールは、さらに、前記情報収集モジュールによって収集されたビデオストリームから前記オブジェクトについての境界ボックスおよび特徴情報を抽出し、且つ、少なくとも前記境界ボックスおよび前記特徴情報のうちの１つに基づいて、オブジェクトに対してリアルタイムの追跡または検索を行うことと、オブジェクトにフェンス越え物品搬送アクションが存在するか否かを検出することと、関心エリア内に物品の遺留または人の滞留があるか否かを検出することとの少なくとも一つを実行するように構成される、請求項1に記載の情報認識システム。
3. 前記情報処理モジュールは、さらに、
   前記ビデオストリームにおける第１のフレームから複数の第１の境界ボックスを抽出し、前記ビデオストリームにおける第２のフレームから複数の第２の境界ボックスを抽出することと、
   複数の第１の境界ボックスの各々を複数の第２の境界ボックスの各々とそれぞれペアリングして、複数のペアリングアイテムを含むペアリング行列を形成することと、
   前記ペアリング行列における複数のペアリングアイテムの各々の値を算出し、最適値を有するアイテムをターゲットアイテムとすることとを実行して、
   リアルタイム追跡または検索を行うように構成され、
   前記ターゲットアイテムは、同一のオブジェクトの矩形境界ボックスについてペアリングされて形成されるアイテムを指す、請求項１または２に記載の情報認識システム。
4. 前記情報処理モジュールは、さらに、
   前記境界ボックスに基づいて関心位置両側の関心エリア内にオブジェクトが共に存在するか否かを検出することと、
   前記オブジェクトが前記関心エリア内に完全に入った場合に、前記オブジェクトのキーポイントを検出し、キーポイント間の距離を確定することと、
   前記キーポイント間の距離が第１の閾値以下の場合に、前記オブジェクト間にフェンス越え物品搬送アクションが存在すると確定することとを実行して、
   フェンス越え物品搬送アクションが存在するか否かを検出するように構成される、請求項１または２に記載の情報認識システム。
5. 前記情報処理モジュールは、さらに、
   関心エリア内に静止オブジェクトが存在するか否かを検出することと、
   前記関心エリア内に前記静止オブジェクトの滞留時間を検出することと、
   前記特徴情報に基づいて、前記静止オブジェクトが人であるか、物品であるかを検出することと、
   前記静止オブジェクトが人であり且つ前記滞留時間が閾値以上である場合に、前記関心エリア内に人の滞留があると確定すること、または、前記静止オブジェクトが物品の場合に、前記物品から閾値距離だけ離れる範囲内に人が存在するか否かをさらに検出し、前記物品から前記閾値距離だけ離れる範囲内に人が存在せず、且つ前記滞留時間が閾値以上の場合に、前記関心エリア内に物品の遺留があると確定することとを実行して、
   関心エリア内に物品の遺留または人の滞留があるか否かを検出するように構成される、請求項１または２に記載の情報認識システム。
6. 複数の情報収集デバイスを用いてオブジェクトについての多次元情報を収集することと、
   前記多次元情報に基づいて、前記オブジェクトについての異常情報が存在するか否かを検出することと、
   前記多次元情報と、前記検出時に生成された様々なデータとを記憶することと、
   異常情報を表示し、警報を発することとを含む、情報認識方法。
7. 複数の異常情報が同時に検出された場合に、前記複数の異常情報の優先度を確定し、優先度に応じて異常情報を表示することをさらに含む、請求項６に記載の情報認識方法。
8. 前記多次元情報に基づいて前記オブジェクトについての異常情報が存在するか否かを検出することは、
   前記複数の情報収集デバイスによって収集されたビデオストリームから前記オブジェクトについての境界ボックスおよび特徴情報を抽出し、且つ、少なくとも前記境界ボックスおよび前記特徴情報のうちの１つに基づいて、オブジェクトに対してリアルタイムの追跡または検索を行うことと、
   オブジェクトにフェンス越え物品搬送アクションが存在するか否かを検出することと、
   関心エリア内に物品の遺留または人の滞留があるか否かを検出することとの少なくとも一つを実行することを含む、請求項６に記載の情報認識方法。
9. 前記オブジェクトに対してリアルタイム追跡または検索を行なうことは、
   前記ビデオストリームにおける第１のフレームから複数の第１の境界ボックスを抽出し、前記ビデオストリームにおける第２のフレームから複数の第２の境界ボックスを抽出することと、
   複数の第１の境界ボックスの各々を複数の第２の境界ボックスの各々とそれぞれペアリングし、複数のペアリングアイテムを含むペアリング行列を形成することと、
   前記ペアリング行列における複数のペアリングアイテムの各々の値を算出し、最適値を有するアイテムをターゲットアイテムとすることとを含み、
   前記ターゲットアイテムは、同一のオブジェクトの矩形境界ボックスについてペアリングされて形成されるアイテムを指す、請求項６〜８のいずれかに記載の情報認識方法。
10. 前記ペアリング行列における複数のペアリングアイテムの各々アイテムの値を算出し、最適値を有するアイテムをターゲットアイテムとすることは、
    前記複数のペアリングアイテムの各々におけるペアリングされた境界ボックス間の重なり率を算出することと、
    ペアリングアイテムの各々におけるペアリングされた境界ボックスにおける特徴情報間の類似度を算出することと、
    境界ボックス間の重なり率が最大であり且つ境界ボックスにおける特徴情報間の類似度が最大であるペアリングアイテムを前記ターゲットアイテムとして選択することとを含む、請求項６〜９のいずれかに記載の情報認識方法。
11. 前記オブジェクトにフェンス越え物品搬送アクションが存在するか否かを検出することは、
    前記境界ボックスに基づいて関心位置両側の関心エリア内にオブジェクトが共に存在するか否かを検出することと、
    前記オブジェクトが前記関心エリア内に完全に入った場合に、前記オブジェクトのキーポイントを検出して、キーポイント間の距離を確定することと、
    前記キーポイント間の距離が第１の閾値以下の場合に、前記オブジェクト間にフェンス越え物品搬送アクションが存在すると確定することとを含む、請求項６〜８のいずれかに記載の情報認識方法。
12. 前記境界ボックスに基づいて前記関心位置両側の関心エリア内にオブジェクトが共に存在するか否かを検出することは、
    前記関心位置両側の関心エリア内でのオブジェクトの境界ボックスを抽出し、且つ前記境界ボックスと前記関心エリアとの間の面積比を算出することと、
    前記面積比が前記第２の閾値以上の場合に、前記オブジェクトが前記関心エリア内に完全に入ったと確定することとを含む、請求項６〜１１のいずれかに記載の情報認識方法。
13. 前記関心エリア内に物品の遺留または人の滞留があるか否かを検出することは、
    関心エリア内に静止オブジェクトが存在するか否かを検出することと、
    前記関心エリア内に前記静止オブジェクトの滞留時間を検出することと、
    前記特徴情報に基づいて、前記静止オブジェクトが人であるか、物品であるかを検出することと、
    前記静止オブジェクトが人であり且つ前記滞留時間が閾値以上の場合に、前記関心エリア内に人の滞留があると確定すること、または、前記静止オブジェクトが物品の場合に、前記物品から閾値距離だけ離れる範囲内に人が存在するか否かをさらに検出し、前記物品から前記閾値距離だけ離れる範囲内に人が存在せず、且つ前記滞留時間が閾値以上の場合に、前記関心エリア内に物品の遺留があると確定することとを含む、請求項６〜８のいずれかに記載の情報認識方法。
14. 記録された、請求項６〜１３の何れかに記載の方法を実現可能なプログラムコードコマンドを含む非一時的コンピュータ読み取り可能な媒体。
15. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを記憶するメモリと、
    を備え、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサに請求項６〜１３のいずれかに記載の方法を実行させる、電子機器。

Images