JP2015210819A - 車両の列ならびに歩行者の列におけるドライブでの立ち去りおよび歩行での立ち去りについてビデオベースで検出するためのシステムおよび方法 - Google Patents

Abstract

【課題】車両の列並びに歩行者の列における、ドライブでの立ち去り及び歩行での立ち去りについて、ビデオベースで検出するためのシステムおよび方法を提供する。【解決手段】対象となる列からビデオを捕捉するビデオ捕捉モジュール１２、捕捉したビデオおよびビデオ処理を使用する顧客追跡モジュール１４、列構成を決定する列構成決定モジュール１６、列の終点に到達する前に列から離れた、顧客に対応するイベントの発生を検出する列モニタリングモジュール１８、顧客がいつ小売店の敷地を退出したかを決定する顧客退出決定モジュール２０、及び、ドライブでの立ち去り／歩行での立ち去りが検出されたときにアラートを発行する、ドライブでの立ち去り／歩行での立ち去り決定モジュール２２、を備える。【選択図】図１

Description

過去数十年にわたる監視技術の進歩および増加した利用可能性により、会社の保護のために、ならびに、雇用者および顧客のセキュリティおよび保護を図るために、小売設定のビデオ記録を取り込んで記憶することがますます一般的になってきている。また、このデータは、リアルタイムでの意思決定および履歴分析の両方を支援するための、データマイニングならびに顧客行動およびエクスペリエンスの推定に対する潜在的可能性のため、小売市場から関心がもたれている。いくつかの大企業にとって、効率性または顧客のエクスペリエンスの僅かな改良が、財政上大きな影響を与えることがある。

いくつかの努力は、周知のセキュリティおよび安全性の適用を越えた、監視ビデオ用の小売設定の適用を開発する際になされている。例えば、１つのこのような適用は、検出された人々をカウントし、その人々の移動の方向に応じてカウントを記録する。他の適用では、視覚装置は、列、および／または、列内の人々のグループをモニタリングするために使用される。さらに他の適用は、受信設定内の様々な行動をモニタリングしようとする。

特に高データ駆動型の１つの産業は、ファーストフード・レストランである。したがって、ファーストフード企業および／または他のレストランビジネスは、多数の顧客に強い関心を持っており、および／または、食事エリアの清潔さ、テーブル使用量、列の長さ、店内およびドライブスルーでのエクスペリエンス時間、特有のオーダーのタイミング、オーダーの精度、ならびに顧客の反応のような、顧客エクスペリエンスに影響を及ぼす品質およびメトリックを記憶する傾向がある。

特に関心がもたれているのは、特に記憶装置の容量を超える顧客のボリュームに関係した異常なイベントの検出および診断である。このようなイベントは、次に顧客の不満につながるかもしれない、ある所望のしきい値を上回る列の長さと待ち時間、（車両の列における）顧客のドライブでの立ち去りおよび（歩行者の列における）顧客の歩行での立ち去りを含む。

特定の顧客に対する販売を失うことに加えて、任意の理由での列からのドライブでの立ち去りまたは歩行での立ち去りは、オーダーの処理を複雑化させ、ミスやパフォーマンスの低下だけでなく、リピートビジネスにおける潜在的損失につながる。オペレーション解析のための現在の解決法は、契約者によって行われることが多い手動での注釈を含むことから、現在、これらのイベントの検出に対する自動化された適切な解決法はない；さらに、他の対象となるイベントは現在は全く検出されない可能性がある。

以下の参考文献は、本明細書に記載されている。

２０１３年８月１２日にＳｈｒｅｖｅらにより出願され、「Ｈｅｕｒｉｓｔｉｃ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｐａｙｍｅｎｔ Ｇｅｓｔｕｒｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｄｅｔｅｃｔｉｏｎ」と題する、米国特許出願第１３／９６４，６５２号。

２０１３年７月２日にＭｏｎｇｅｏｎらにより出願された、「Ｑｕｅｕｅ Ｇｒｏｕｐ Ｌｅａｄｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ」と題する、米国特許出願第１３／９３３，１９４号。

２０１３年８月２２日にＢｅｒｎａｌらにより出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ａｎｄ Ｔｉｍｉｎｇ Ａｃｒｏｓｓ Ｍｕｌｔｉｐｌｅ Ｃａｍｅｒａ Ｖｉｅｗｓ」と題する、米国特許出願第１３／９７３，３３０号。

２０１４年４月２４日にＢｅｒｎａｌらにより出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｖｉｄｅｏ−Ｂａｓｅｄ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｑｕｅｕｅ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐａｒａｍｅｔｅｒｓ」と題する、米国特許出願第１４／２６１，０１３号。

２０１４年３月３日にＬｉらにより出願された、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｉｍａｇｅ ｏｆ Ｓｃｅｎｅ ｏｆ Ｉｎｔｅｒｅｓｔ」と題する、米国特許出願第１４／１９５，０３６号。

２０１３年１１月２６日にＢｅｒｎａｌらにより出願された、「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ−Ｂａｓｅｄ Ｖｅｈｉｃｌｅ Ｔｒａｃｋｉｎｇ Ａｄａｐｔａｂｌｅ ｔｏ Ｔｒａｆｆｉｃ Ｃｏｎｄｉｔｉｏｎｓ」と題する、米国特許出願第１４／０８９，８８７号。

２０１３年１１月１３日にＢｅｒｎａｌらにより出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｕｓｉｎｇ Ａｐｐａｒｅｎｔ Ｓｉｚｅ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ ｏｆ ａｎ Ｏｂｊｅｃｔ ｔｏ ｉｍｐｒｏｖｅ Ｖｉｄｅｏ−Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ ｉｎ Ｒｅｇｕｌａｒｉｚｅｄ Ｅｎｖｉｒｏｎｍｅｎｔｓ」と題する、米国特許出願第１４／０７８，７６５号。

２０１３年１０月３１日にＢｕｌａｎらにより出願された、「Ｂｕｓ Ｌａｎｅ Ｉｎｆｒａｃｔｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ」と題する、米国特許出願第１４／０６８，５０３号。

２０１３年１０月９日にＢｅｒｎａｌらにより出願された、「Ｖｉｄｅｏ Ｂａｓｅｄ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｕｔｏｍａｔｅｄ Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ Ｔｒａｆｆｉｃ Ｌｏａｄ Ｂａｌａｎｃｉｎｇ」と題する、米国特許出願第１４／０５０，０４１号。

２０１３年９月４日にＢｅｒｎａｌらにより出願された、「Ｒｏｂｕｓｔ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌｌｙ Ｅｆｆｉｃｉｅｎｔ Ｖｉｄｅｏ−Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ｉｎ Ｒｅｇｕｌａｒｉｚｅｄ Ｍｏｔｉｏｎ Ｅｎｖｉｒｏｎｍｅｎｔｓ」と題する、米国特許出願第１４／０１７，３６０号。

２０１４年３月６日にＢｅｒｎａｌらにより出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ａｎｄ Ｔｉｍｉｎｇ Ａｃｒｏｓｓ Ｍｕｌｔｉｐｌｅ Ｃａｍｅｒａ Ｖｉｅｗｓ」と題する、米国特許出願第２０１４／００６３２６３号。

２０１３年５月２日にＬｏｃｅらにより出願された、「Ｖｅｈｉｃｌｅ Ｒｅｖｅｒｓｅ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｖｉａ Ｖｉｄｅｏ Ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ」と題する、米国特許出願第２０１３／０１０６５９５号。

２０１３年３月２８日にＸｕらにより出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｏｂｊｅｃｔ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ」と題する、米国特許出願第２０１３／００７６９１３号。

２０１３年３月７日にＷｕらにより出願された、「Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｐａｒａｍｅｔｅｒ Ｓｅｔｔｉｎｇｓ ｆｏｒ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ Ａｌｇｏｒｉｔｈｍｓ」と題する、米国特許出願第２０１３／００５８５２３号。

２００９年１月１日にＹａｎｇらにより出願された、「Ｅｆｆｉｃｉｅｎｔ Ｔｒａｃｋｉｎｇ Ｍｕｌｔｉｐｌｅ Ｏｂｊｅｃｔｓ Ｔｈｒｏｕｇｈ Ｏｃｃｌｕｓｉｏｎ」と題する、米国特許出願第２００９／０００２４８９号。

Ａｚａｒｉ，Ｍ．；Ｓｅｙｆｉ，Ａ．；Ｒｅｚａｉｅ，Ａ．Ｈ．、「Ｒｅａｌ Ｔｉｍｅ Ｍｕｌｔｉｐｌｅ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ ａｎｄ Ｏｃｃｌｕｓｉｏｎ Ｒｅａｓｏｎｉｎｇ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ Ｋａｌｍａｎ Ｆｉｌｔｅｒｓ」、Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＭＶＩＰ），２０１１，７ｔｈ Ｉｒａｎｉａｎ，ｐａｇｅｓ１−５，Ｎｏｖ．１６−１７，２０１１。

１つの態様に従うと、列のメンバーの列からのドライブでの立ち去り／歩行での立ち去りを検出するための方法は、列領域の少なくとも一部の画像を捕捉することと、画像内の列構成を決定することと、画像を解析して、列のメンバーの列へのエントリを検出することと、列において検出された列のメンバーが列内で進んだときに追跡することと、画像を解析して、列のメンバーが列を離れたかどうかを検出することと、列のメンバーが列の終点に到達する前に列から離れる場合に、ドライブでの立ち去り／歩行での立ち去りの通知を生成することとを含む。

列は小売施設内にあり得る。方法は、列の終点に到達する前に列から離れた後の列のメンバーを追跡し、列のメンバーが小売施設を退出するときにのみ、ドライブでの立ち去り／歩行での立ち去りの通知を生成することを含み得る。小売施設の画像は、小売施設のドライブスルーの列の画像を含み得る。方法は、検出された顧客が、顧客の列を離れる前に顧客の列にいた合計時間を算出することを含み得る。列のメンバーは車両を含み、解析および追跡は、小売施設の敷地内にある車両を解析および追跡することを含み得る。列のメンバーは歩行者を含み、解析および追跡は、小売施設の敷地内にいる歩行者を解析および追跡することを含み得る。列構成を決定することは、画像内の列の領域を手動で識別することを含み得る。列構成を決定することは、画像内の列領域を自動的に決定することを含み得る。ドライブでの立ち去り／歩行での立ち去りの通知を生成することは、決定された列領域の境界内に以前にいた、追跡されている列のメンバーが境界から離れるように移動しているイベントを検出することをさらに含み得る。方法はまた、少なくとも１つの列のエントリポイントをモニタリングすることを含むことがあり、列のエントリポイントは、直近で以前に入ってきた列のメンバーの現在の位置に隣接する領域を含む、動的な位置である。ステップはリアルタイムで実行することができる。ステップは、少なくとも１つのコンピュータビジョン技法を使用して実行することができる。

別の態様に従って、顧客の、顧客の列からのドライブでの立ち去り／歩行での立ち去りを検出するためのシステムは、プロセッサと通信するメモリを含む、顧客をモニタリングするためのデバイスを備え、プロセッサは、列領域の少なくとも一部の画像を捕捉するようにと、画像内の列構成を決定するようにと、画像を解析して、列のメンバーの列へのエントリを検出するようにと、列において検出された列のメンバーが列内で進んだときに追跡するようにと、画像を解析して、列のメンバーが列を離れたかどうかを検出するようにと、列のメンバーが列の終点に到達する前に列から離れる場合に、ドライブでの立ち去り／歩行での立ち去りの通知を生成するように構成されている。

列は、小売施設内またはその土地にあり得る。システムは、列の終点に到達する前に列から離れた後の列のメンバーを追跡し、列のメンバーが小売施設またはその土地を退出するときにのみ、ドライブでの立ち去り／歩行での立ち去りの通知を生成するように構成できる。小売施設の画像は、小売施設のドライブスルーの列の画像を含み得る。システムは検出された顧客が、顧客の列を離れる前に顧客の列にいた合計時間を算出するように構成できる。列のメンバーは車両を含むことができ、システムは、小売施設の敷地内にある車両を解析および追跡するように構成できる。列のメンバーは歩行者を含むことができ、システムは、小売施設の敷地内にいる歩行者を解析および追跡するように構成できる。システムは、手動で列構成を決定するように構成でき、プロセッは、列構成を示すユーザ入力を受信するように構成されている。システムは、列構成を自動的に決定するように構成できる。システムは、決定された列領域の境界内に以前にいた、追跡されている列のメンバーが境界から離れるように移動しているイベントを検出し、それに対応して、ドライブでの立ち去り／歩行での立ち去りの通知を生成するように構成できる。システムは、少なくとも１つの列のエントリポイントをモニタリングすることを含むことができ、列のエントリポイントは、直近で以前に入ってきた列のメンバーの現在の位置に隣接する領域を含む、動的な位置である。

図１は、本開示の例示的な実施形態に従った、追跡およびドライブでの立ち去り／歩行での立ち去りの決定を行うシステムのブロック図である。 図２は、マルチカメラネットワークの２台のカメラによってモニタリングされている多レーンの列の例示的なシナリオを示し、例示的なシナリオは、車両は、「分岐点」の前で単一のファイルを形成し、その後、２つの別々の列に分けられることになり、１つの列が各オーダーポイントに対する。 図３は、ドライブスルー設定での２つの例示的な列シナリオを示し、１つは、予想されたように列が形成された場合、１つは、顧客ボリュームに起因して、確立されるより早く別々の列が形成された場合である。 図４は、自動化されたドライブでの立ち去りの検出の３つの例示的なケースを示し、左／右の縦列のフレームはドライブでの立ち去りイベントの前／後の列の画像である。

本開示は、画像またはビデオシーケンスで実行される車両ならびに歩行者の列におけるドライブでの立ち去りおよび歩行での立ち去りのビデオベースの検出のためのシステムおよび方法に関するものである。本明細書で、「ドライブでの立ち去り」および「歩行での立ち去り」という用語は、それぞれ、車両および歩行者のメンバーが、オーダーポイント、支払いポイント、キオスク等のような、列の終点に到達する前に列から離れることを指す。さらに、「到来フレーム」および／または「現在のフレーム」という用語は、前景／動きの検出、追跡、オブジェクト認識ならびに他のビデオ解析およびコンピュータ視覚処理のために現在処理されているビデオフレームのことを指す。この処理はフレーム内の関心領域（“ＲＯＩ”）に焦点を合わせることができる。本明細書で提示した例は、ドライブスルーおよび歩行者の小売列を参照するが、教示される本方法およびシステムは、一般的に、他のタイプの列および列のメンバーに適用可能である。

図１を参照すると、本開示は、顧客の列におけるドライブでの立ち去りおよび歩行での立ち去りの自動化されたビデオベースでの検出のためのシステム２について記述する。システム２および方法は、ドライブスルーならびに店内での顧客追跡およびタイミングシステムと統合することができるか、または独立型のシステムとして提供することができる。システムは、システム２、外部装置と通信するためのネットワークインターフェースのような、Ｉ／Ｏインターフェース６が受信したビデオデータの解析を制御するように適合されているＣＰＵ４を備えている。インターフェース６は、例えばモデム、ルータ、ケーブル、および／またはイーサネット（登録商標）ポート等を含んでもよい。システム２は、ＣＰＵ４によって実施することができる様々なコンピュータ実行可能命令を記憶するためのメモリ８を備えている。メモリ８は、ランダムアクセスメモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、磁気ディスクまたはテープ、光ディスク、フラッシュメモリまたはホログラフィックメモリのような、任意のタイプの有形のコンピュータ読取可能媒体を表すことができる。１つの実施形態では、メモリ８は、ランダムアクセスメモリおよびリード・オンリ・メモリの組み合わせを含む。ＣＰＵ４は、シングルコアプロセッサ、デュアルコアプロセッサ（またはより一般的にはマルチプルコアプロセッサ）、デジタルプロセッサおよび協働数値演算コプロセッサ、デジタルコントローラまたはこれらに類するもの等により、種々の実施形態を採ることができる。ＣＰＵは、システム２の動作を制御することに加えて、図１に示すシステムおよび方法の一部を実行するためのメモリ８に記憶された命令を実行する。いくつかの実施形態において、ＣＰＵ４とメモリ８をシングルチップに組み合わせることができる。多種多様のハードウェアは、本開示の様々な態様を実現するために利用することができ、このようなハードウェアは、当業者には良く知られている。

加えて、システム２は、１つまたは複数のコンピュータ実行可能命令からなる以下のモジュールを含んでいる。
対象となる列（単数または複数）からビデオを捕捉するビデオ捕捉モジュール１２；
列のエリアおよびその付近において顧客の位置を追跡するために、捕捉したビデオおよびビデオ処理を使用する顧客追跡モジュール１４；
捕捉したビデオを処理することにより、または、オプション的に、列構成の仕様の手動での入力から、列構成を決定する列構成決定モジュール１６；
顧客追跡モジュールと列構成決定モジュールからの入力を使用して、列の終点に到達する前に列から離れた、以前に列にいた顧客に対応するイベントの発生を検出する列モニタリングモジュール１８；
顧客追跡モジュールからの入力を使用して、顧客がいつ小売店の敷地を退出したかを決定する顧客退出決定モジュール２０、および、
列モニタリングモジュールおよび／または顧客退出検出モジュールの出力に基づいて、ドライブでの立ち去り／歩行での立ち去りが検出されたときにアラートを発行する、ドライブでの立ち去り／歩行での立ち去り決定モジュール２２。

１つの実施形態では、アラートは、列の終点に到達する前に列から離れた顧客に対応するイベントが検出されるとすぐに発行され、代替的な実施形態では、アラートの発行は、顧客退出検出モジュールの出力に従って小売店の敷地から離れた顧客を検出した際に行われる。

各モジュールのさらなる詳細は、本明細書に記述されている。

ビデオ捕捉モジュール１２
ビデオ捕捉モジュール１２は、モニタリングしている列およびその周囲を含む、関心領域のビデオを捕捉する、少なくとも１つであるが、可能であれば複数のビデオカメラを含む。カメラのタイプは、例えば「夜景モード」も有していてもよく、３０フレーム／秒で動作するコモンＲＧＢカメラのような、関心領域をビューし、対象となる列のイベントをビューするのに十分なフレームレートで動作するのに適した様々な監視カメラのうちの任意のものとすることができる。カメラは近赤外スペクトル（７００ｎｍ−１０００ｎｍ）の低端部にある近赤外（ＮＩＲ）能力を含むことができる。空間的または時間的な解像度に関する具体的な要件は必要とされない。

１つの実施形態では、画像ソースは、毎秒三十（３０）超フレームのフレームレートを有し、およそ幅１２８０画素および高さ７２０画素のビデオグラフィックアレイサイズを有する監視カメラを含むことができる。１つの実施形態では、ビデオ捕捉モジュール１２は、カメラによってキャプチャされたビデオを顧客追跡モジュール１４に中継するおよび／または送信するのに適合された装置とすることができる。ビデオ捕捉モジュールは、可視光に感度を有するか、または、特定のスペクトル感度を有するカメラ、このようなカメラのネットワーク、ライン走査カメラ、コンピュータ、ハードドライブ、または他の画像感知および記憶装置を含むことができる。別の実施形態では、ビデオ捕捉モジュール１２は、ワークステーション、データベース、ディスク等のメモリ記憶装置またはこれらに類するもののような、任意の適切なソースからの入力を捕捉してもよい。ビデオ捕捉モジュール１２は、ＣＰＵ４およびメモリ８と通信する。

図２は、ファーストフード・レストランでの車両の多レーンの列を含み、本開示で使用される、２台のカメラによりキャプチャされたビデオの２つのサンプルフレームを示す。列のエリアおよびその周囲の両方がモニタリングされていることに留意されたい。ドライブでの立ち去りが発生したときに、車両は通常列のエリアから隣接するエリアに移動することから、周囲のエリアがモニタリングされる。

顧客追跡モジュール１４
入力情報として捕捉されたビデオを使用して、列のエリアおよびその周辺にいる顧客を追跡するためにビデオ処理が使用される。顧客は、例えば、人、または人がその上で移動している車両とすることができる。顧客追跡モジュールは、顧客がモニタリングされている領域に入るとすぐに顧客を検出し、カメラの視界（ｓ）にわたって、動いている顧客の位置を追跡する。顧客の検出は、モニタリングされている敷地に対象が入る初期インスタンスを検出することにより実行される。１つの実施形態では、前景検出の実行を可能にする背景推定方法が使用される。このアプローチによれば、履歴画素行動の画素単位の統計モデルは、例えば、画素単位のガウス混合モデル（ＧＭＭ）の形で、対象がカメラの視野に入ることが予想される予め定められた検出エリアに対して構築される。移動平均値および中央値、ノンパラメトリックモデル、ならびに異なる分布を有するパラメトリックモデルを含む、他の統計モデルを使用することができる。

ＧＭＭは、強調表示されたエリア内の画素の履歴行動を統計的に記述する；各新しい到来フレームに対して、エリア内の画素値は、それらのそれぞれのＧＭＭと比較され、それらの値が観察された履歴に対応するかどうかを決定される。履歴に対応しておらず、生じた場合、例えば、車が検出エリアを横切るときに、前景検出信号がトリガされる。前景検出信号が十分に多数の画素に対してトリガされるときに、車両検出信号がトリガされる。ノイズをフィルタ除去するために、および、検出における穴を埋めるために、モルフォロジー演算は、通常、画素単位の決定を伴う。

顧客検出の代替的な実現は、検出エリア内の有意な動きを検出する動き検出アルゴリズムを含んでいる。動き検出は、通常、時間のフレーム差分および形態学的フィルタリングを介して行われる。前景検出とは対照的に、これは、静止している前景オブジェクトも検出し、動き検出は、ビデオのフレームレートおよびビデオの捕捉ジオメトリにより決定された速度で動いているオブジェクトを検出するだけである。他の実施形態では、オブジェクト認識および位置確認用コンピュータ視覚技術は、静止フレーム上で使用することができる。これらの技術は、典型的には、所定の特徴空間（例えば、Ｈａｒｒｉｓのコーナー、ＳＩＦＴ、ＨＯＧ、ＬＢＰ等）で複数のラベル付けされたサンプルオブジェクトの外観は、ラベル付けされたサンプルの利用可能な特徴表現にトレーニングされる分類器（例えば、サポートベクトルマシン−ＳＶＭ、ニューラルネットワーク、決定木、期待値最大化−ＥＭ、ｋ個の最近傍点−ｋ−ＮＮ、他のクラスタリングアルゴリズム等）に供給されるトレーニング段階を伴う。その後、トレーニングされた分類器は、対象となるフレームから小売企業敷地内へのエントランスポイントに隣接する画像エリアから抽出された特徴に適用され、マッチング候補を囲むバウンディングボックス（例えば、位置、幅および高さ）のパラメータを出力する。１つの実施形態では、分類器は、車両または歩行者（正のサンプル）とともに、アスファルト、草、窓、床等の特徴（負の特徴）上でトレーニングすることができる。トレーニングされた分類器が操作されると、正のサンプルに対するテストエリアのマッチングスコアを示す、対象となる画像テストエリア上の分類スコアが発行される。高いマッチングスコアは、車両または歩行者が検出されたことを示している。

ポイントでのならびに全体的な特徴ベースのシルエット／輪郭および粒子フィルタトラッカを含む追跡アルゴリズムを使用することができる。１つの実施形態では、車両あたりの対象ポイントの組を追跡する、クラウドポイントベースのトラッカが使用される。顧客追跡モジュール１４は、カメラ（単数または複数）の視野内に存在するフレームの範囲にわたる顧客の位置を記述する時空間情報を出力する。具体的には、追跡されている各オブジェクトに対して、ローカル追跡モジュールは、オブジェクトがカメラ（単数または複数）の視野内にあるためのフレームの範囲にわたって、画素座標および対応するフレーム番号におけるその位置を出力する。１台より多くのカメラを列エリアをカバーするために必要とされるケースでは、顧客追跡モジュールが複数のカメラにわたって顧客を追跡することができる。捕捉されたビデオフレーム（単数または複数）は、２次元平面上での３次元空間の投影であるので、対象が画素ドメイン（すなわち、画素座標）において表されるときに、あいまいさが生じる可能性がある。これらのあいまいさは、透視投影によって導入され、カメラで捕捉したビデオデータに固有のものである。ビデオデータが１台より多くのカメラ（それぞれがそれ自体の座標系に関連付けられている）から捕捉される実施形態において、対象が異なる座標系間を移動するときに、動きのパターンに明らかな不連続性が存在することがある。これらの不連続性により、データを解釈することがより困難となる。

１つの実施形態では、これらのあいまいさは、画素座標を現実世界の座標にマッピングする幾何変換を実行することにより解決することができる。特に複数のカメラが列エリア全体をカバーするケースでは、それぞれの個々のカメラの座標系は、単一の共通した座標系にマッピングされてもよい。例えば、第１のカメラからの追跡用データに対応する空間座標を第２カメラの座標系にマッピングすることができる。別の実施形態では、複数のカメラからの追跡用データに対応する空間座標を任意の共通の座標系にマッピングすることができる。

既存のカメラ較正プロセスは、推定される幾何変換を実行するために使用することができる。１つのアプローチは、２０１３年４月１３日にＷｅｎｃｈｅｎｇ Ｗｕらにより出願された、「Ｔｒａｆｆｉｃ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｕｐｄａｔｅ Ｕｔｉｌｉｚｉｎｇ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ」と題する、同時係属中の、本発明の譲受人に譲渡された米国出願第１３／８６８，２６７号の開示に記述されている。

カメラの較正は、カメラの固有パラメータの知識を必要とすることがあるが、本明細書に記述された較正は、追跡情報におけるあいまいさを排除するために網羅的である必要はない。例えば、倍率パラメータを推定する必要はないかもしれない。

さらに、複数のカメラビューにわたる追跡の詳細は、２０１３年８月２２日に出願された、ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＢＪＥＣＴ ＴＲＡＣＫＩＮＧ ＡＮＤ ＴＩＭＩＮＧ ＡＣＲＯＳＳ ＭＵＬＴＩＰＬＥ ＣＡＭＥＲＡ ＶＩＥＷＳ、と題する、本発明の譲受人に譲渡された米国特許出願１３／９７３，３３０号において述べられている。

列構成決定モジュール１６
入力された情報として捕捉されたビデオを使用して、列構成を決定するためにビデオ処理が使用される。列構成決定モジュールは、列にいる顧客のビデオフレーム内の位置をリアルタイムで決定する。このモジュールは、列の位置をシフトさせることを考慮する。すなわち、列エリアは、通常、レストランおよび他のドライブスルーの小売設定において画定されているが、顧客は、知らされたガイドラインに忠実であってもよく、または、忠実でなくてもよい。図２に示された車両の列において、車両は、「分岐点」の前で単一のファイルを形成し、その後、２つの別々の列に分けられることになり、その１つが、列の終点を構築する各オーダーポイントに対する。２つのシナリオを示す図３に示すようにこれらのガイドラインは必ずしも尊重されず、１つは、予想されたように列が形成された場合（Ｉ）、１つは、顧客ボリュームに起因して、確立されるより早く別々の列が形成された場合（ＩＩ）である。歩行（ｗａｌｋ ｕｐ）の列は、歩行者の移動性および他の社会的要因により、ドライブスルーの列よりも不規則な行動を示すことがある。他の状況においては、例えばスーパーマーケットまたは入国審査の列において、顧客ボリュームの変動に対処するために列構成は、列の管理者により、動作中に変更することができる。図３内の画像は、手動で局所化された列の輪郭（陰影を付けられた（ｃｒｏｓｓ−ｈａｔｃｈｅｄ）領域）を示している。すなわち、列エリアは、例えば、システムのインストールおよびセットアップの間に、手動で線引きされる。列構成の推定のための自動化された方法は、２０１４年４月２４日にＥｄｇａｒ Ａ Ｂｅｒｎａｌらにより出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｖｉｄｅｏ−Ｂａｓｅｄ Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ Ｑｕｅｕｅ Ｃｏｎｆｉｇｕｒａｔｉｏｎ」と題する、添付の同時係属中の、本発明の譲受人に譲渡された米国特許出願シリアル番号第１４／２６１，０１３号において提案されている。

列構成決定モジュール１６は、列に関連するパラメータを抽出する。一般に、列に関連するパラメータは、アプリケーション間で変化することがある。列構成決定モジュール１６が抽出するパラメータは、それらと目前のタスクとの関連性に基づくことがある。列に関連するパラメータの例には、これらに限定されるものではないが、分岐点の位置、列の長さ、列の幅、オーダーポイントの列が並行して存在するために生じる何らかの不均衡、列の輪郭／境界および列の時間／待機期間の統計値等が含まれる。

１つの企図される実施形態では、例えば、列構成決定モジュール１６は、列構成の境界を抽出することができる。推定される列の境界に基づいて、所定の対象が、列の一部を形成するか、または、列の終了地点に到達する前に列から離脱したかどうかの決定を行うことができる。

列のダイナミクスを自動的に検出する１つの態様は、データが、リアルタイムでまたは将来、顧客スループットレートを向上させることを目的とした情報に基づいた決定を行う際に企業を支援することができることである。同様に、列に関連するパラメータの履歴および異常なイベント（ドライブスルーでの列エリアにおける、車両のドライブでの立ち去り、ドライブ中（ｄｒｉｖｅ−ｂｙ）、ドライブで走り回ること（ｄｒｉｖｅ−ａｒｏｕｎｄ）、歩行者の列における歩行での立ち去り等）と列に関連するパラメータの履歴との相関関係ならびにその他の例外的な出来事は、企業が、これらの望ましくないイベントの再発を防ぐために講じることができる対策に光を当てることができる。

本明細書では、列エリアにおいてモニタリングされている企業または対象のタイプ（顧客および／または車両等）に制限はない。本明細書で企図される実施形態は、対象が商品／サービスポイントに到達するまで列で待機し得る任意の適用に従う。例示の目的にすぎないが、非限定的な例には、バンク（屋内およびドライブスルーでのテラーレーン）、食料品店および小売店（チェックアウトレーン）、空港（セキュリティチェックポイント、発券キオスク、ボーディングエリアおよびプラットフォーム）、道路でのルート（すなわち、工事、迂回等）、レストラン（ファーストフードのカウンターおよびドライブスルー等）、劇場ならびにこれらに類するものが含まれる。本開示によって計算された列構成および列に関連するパラメータ情報は、これらの適用を支援することができる。

列構成が知られているかまたは列構成に比較的空間的制約があると仮定される小売の位置において、列構成を定義する際にいくつかのオプションがある。例えば、輪郭は、システムの使用者が入力したように指定されてもよい。列構成は、展開または始動の初期段階に決定されて、一定に保たれ、経時的に更新されてもよい。

列モニタリングモジュール１８
列モニタリングモジュール１８は、顧客追跡モジュール１４からの入力を取り、列構成決定モジュール１６は、以前に列にいた顧客が、列の終点に到達する前に列から離れたときに通知を発行する。この決定は、例えば、列構成の境界内に以前にいた、追跡されている顧客が、列の終点に到達する前に輪郭から離れてそれたイベントを検出することにより実行される。顧客がいったん列の終点に到達すると、顧客は、ドライブでの立ち去り／歩行での立ち去りの候補として取り除かれる。純粋に空間的な情報に加えて、他のタイプのデータは、決定プロセスをより強固にするために使用することができる。例えば、以前に列にいた顧客の動きの速度および方向が、まだ列内にいる顧客とはかなり異なる場合に、通知を発行することができる。

顧客退出決定モジュール２０
顧客退出決定モジュール２０は、顧客追跡モジュールからの入力を使用して、顧客がいつ小売店の敷地を退出したかを決定する。顧客退出決定モジュール２０は、追跡情報に基づく決定を行う：退出領域に入るまたは退出領域を横切る軌道が検出されたときに、追跡されている顧客に関係付けられた退出イベントの通知が発行される。

ドライブでの立ち去り／歩行での立ち去り決定モジュール２２は、顧客追跡モジュール１４、列モニタリングモジュール１８および顧客退出決定モジュール２０と協働して、ドライブでの立ち去りまたは歩行での立ち去りが検出されたときに、アラートを発行する。１つの実施形態では、アラートは、列の終点に到達する前に列から離れた顧客に対応するイベントが検出されるとすぐに発行される；代替的な実施形態では、アラートの発行は、顧客退出検出モジュールの出力に従って、列の終点に到達する前に列から離れた後に、小売店の敷地から離れた顧客を検出した際に行われてもよい。

さらに別の実施形態では、ドライブでの立ち去り／歩行での立ち去り決定モジュールは、顧客、さらに一般的には、「列のメンバー」の追跡を通じて、列内での例外的な行動を検出できる。この一般的な文脈では、システム２は、列への遅いエントリとともに、列からの初期の退出およびレーン変更を検出することができる。遅いエントリを検出することは、列を囲むエリアにおける人または車両を追跡し、エントリポイント以外の位置で列に入る（エントリする）ことによって検出することができる。エントリポイントは、対象となる光景内の固定された空間的位置、列の最後のメンバーより前に入るためのスペースを含むことができる。列のメンバーのこの遅いエントリは、時には、口語的に「列への割り込み」として知られる。遅いエントリは、顧客の満足度を著しく低下させることがあり、支払い、オーダー／商品配送、または提供されるサービスの中断を作ることがある。遅いエントリの検出および従業員、マネージャまたは職員の後続するアラートは、列のメンバーに対してサービス提供する順番の訂正を可能にすることができ、あるいは、遅い列のメンバーを適切な位置に入れるように警告または指示することにつながり得る。

さらに、エントリポイントは、列が形成されているさらに広い領域により定義される位置を含むことがある。例えば、トラフィックレーンは、設計によって、あるいは、工事または事故のような、一時的な要因により減少することがある。車両の大多数は、標識または信号によりレーンの減少を通知されると、残りのレーンに移動することになる。レーンが減少したために、列を作るプロセスにおいて車両が非常に遅く入ろうとしたときに、事故、トラフィックのスローダウンおよびロードレージが生じることがある。このような設定では、実際の減少より前であるが、通知を優位にパスした領域をエントリポイントとして定義することができる。このエントリポイントは、通知とレーンの減少との間の位置の途中または固定の距離のような、静的なものとすることができる。オプション的に、これは動的とすることができ、列のメンバーの平均的な速度がかなりの割合（例えば、２５％）減少した位置のような、あるいは、残ることになるレーンの列のメンバーの密度が、削除されたレーンにおける列のメンバーの密度よりもかなり大きい（例えば、９／１の密度差）位置のような、要因により決定され得る。レーンの減少をより良く理解し、設計するために、平均的な列エントリの行動を長期間解析する際に、この設定における遅いエントリの検出を使用することができる。あるいは、例えば、無謀な運転を例として挙げるか、または、事故の失敗を決定するために、個別のイベントにおいて、遅いエントリの検出を使用できる。

例示的な実施形態では、カメラのネットワークは、レストランのような、建物周辺のドライブスルーのシナリオにおいて車両をビューする。いくつかの実現では、列をモニタリングするのに単一のカメラで十分であり得る。同様に、ドライブでの立ち去り／歩行での立ち去りを受けやすい列の特定の領域をモニタリングするのに、単一のカメラで十分であるかもしれない。カメラ（単数または複数）の構成は、特定の実現に依存してカスタマイズすることができる。

本明細書で述べた例示的なシステムは、ビデオ処理を行う。主な適用は、原因と結果をリアルタイムで軽減できるように、列のドライブでの立ち去り／歩行での立ち去りが起こったときに、列のドライブでの立ち去り／歩行での立ち去りを通知することである。このため、１つの実施形態では、リアルタイム処理は、イベントの数秒以内にアラートを与えることができるように、使用される。代替実施形態は、アナリストまたは店舗のマネージャが、店舗のパフォーマンスを理解するためにその後の時間において例外に関する情報をレビューする、動作後のレビューのための本開示の態様を利用する。このような実施形態では、リアルタイム処理は必要とされない。

処理または処理の大部分がカメラ内で実行されるいくつかの適用では、スマートカメラを使用することができる。他の適用では、実質的な処理は、１つまたは複数のカメラからの情報を受信することが可能なコンピュータによって実行されてもよい。

顧客のドライブでの立ち去りおよび歩行での立ち去りが固有の例外であることを理解すべきである。図４は、説明の目的のために本開示により検出可能な３つの異なるタイプのドライブでの立ち去りを示している。車に関係付けられているトラッカが、列の終点に到達する前に検出された列エリアから離れると、ドライブでの立ち去りの通知が発行される。より信頼性の高いドライブでの立ち去りの通知のために、速度および動きの特性に基づく追加のドライブでの立ち去りの合図を使用してもよい。言及したように、代替実施形態では、列の終点に到達する前に列エリアから離れた、検出された車両が、店舗の敷地を退出したことが検出されたときに、ドライブでの立ち去り／歩行での立ち去りの通知を発行できる。

方法が示され、一連の行為またはイベントの形で先に説明されたが、本開示の様々な方法またはプロセスは、そのような行為またはイベントの示された順序により限定されるものではないことが理解されよう。この点で、以下に明記されている場合を除いて、いくつかの行為またはイベントは、異なる順序で、ならびに／あるいは、開示に従って本明細書で示され、説明された以外の他の行為またはイベントと同時に生じてもよい。さらに、本開示に従ったプロセスまたは方法を実現するために、示されたステップの全てが必要とされないことがあり、１つまたは複数のそのような行為を組み合わせてもよい。開示の示された方法および他の方法は、本明細書で説明した制御機能を提供するために、ハードウェアで、ソフトウェアで、またはそれらの組み合わせで実現されてもよく、先に示されたシステムを含むがそれらに限定されない任意のシステムで用いられてもよく、本開示は、本明細書で示され説明された特有の適用および実施形態に限定されるものではない。

Claims (9)

1. 顧客の、顧客の列からのドライブでの立ち去り／歩行での立ち去りを検出するためのシステムであって、前記システムは、プロセッサと通信するメモリを含む、顧客をモニタリングするためのデバイスを備え、
   前記プロセッサは、
   列領域の少なくとも一部の画像を捕捉するようにと、
   前記画像内の列構成を決定するようにと、
   前記画像を解析して、列のメンバーの列へのエントリを検出するようにと、
   前記列において検出された前記列のメンバーが前記列内で進んだときに追跡するようにと、
   前記画像を解析して、前記列のメンバーが前記列を離れたかどうかを検出するようにと、
   列のメンバーが列の終点に到達する前に前記列から離れる場合に、ドライブでの立ち去り／歩行での立ち去りの通知を生成するように構成されているシステム。
2. 前記列は、小売施設内にある請求項１に記載のシステム。
3. 前記列の終点に到達する前に前記列から離れた後の前記列のメンバーを追跡し、前記列のメンバーが前記小売施設を退出するときにのみ、前記ドライブでの立ち去り／歩行での立ち去りの通知を生成するようにさらに構成されている請求項２に記載のシステム。
4. 前記小売施設の画像は、前記小売施設のドライブスルーの列の画像を含む請求項１に記載のシステム。
5. 前記検出された顧客が、前記顧客の列を離れる前に前記顧客の列にいた合計時間を算出するようにさらに構成されている請求項１に記載のシステム。
6. 前記列のメンバーは車両を含み、前記システムは、前記小売施設の敷地内にある車両を解析および追跡するように構成されている請求項２に記載のシステム。
7. 前記列のメンバーは歩行者を含み、前記システムは、前記小売施設の敷地内にいる歩行者を解析および追跡するように構成されている請求項２に記載のシステム。
8. 手動で前記列構成を決定するようにさらに構成され、前記プロセッサは、前記列構成を示すユーザ入力を受信するように構成されている請求項１に記載のシステム。
9. 自動的に列構成を決定するようにさらに構成されている請求項１に記載のシステム。

Images