JP2020187518A - 情報出力装置、方法、及びプログラム - Google Patents

Abstract

【課題】特定の対象者への情報の出力であることが容易に認識できるように情報を出力する。【解決手段】撮像画像から検出される人物の各々について、外観特徴及び状態特徴を抽出し、外観特徴及び状態特徴を用いて情報を出力する対象者を特定し、対象者と対象者の周辺人物とで外観特徴を比較し、対象者は有し、周辺人物は有さない外観特徴又は外観特徴の組合せを、対象者に対して出力する情報に含める。【選択図】図４

Description

開示の技術は、情報出力装置、情報出力方法、及び情報出力プログラムに関する。

小売店舗では、万引きによる損失が大きな問題となっており、例えば保安員などの専門家に依頼して万引き防止を図っている。また、専門家による目視作業の負担軽減や見逃し防止などのために、画像認識技術を利用して自動的に不審者を検出する取り組みが始められている。

例えば、撮像手段により撮像された映像に含まれる人物に関する情報を抽出し、画面に表示する人物検索装置が提案されている。この装置では、映像に含まれる時系列の各画像に対して人物特徴情報を蓄積する蓄積手段に対して予め設定される条件に基づいて該当する人物を検索し、検索結果に対応する情報を蓄積手段により抽出する。そして、抽出した人物に対応して予め設定された人物特徴或いは行動、又は撮像手段を設けた警備ロボットの巡回位置情報を表示するための画面を生成して表示すると共に、画面に表示される情報を外部機器に出力する。

また、カメラが撮像した人物の画像と予め記憶している注意対象者の画像とを照合する顔認証照合処理を行う顔認証照合装置と、顔認証照合装置とネットワークを介して接続されているサーバ装置とを備える防犯システムが提案されている。このシステムでは、顔認証照合装置は、顔認証照合処理により、カメラが撮像した人物の画像が記憶している注意対象者の画像と一致した場合、サーバ装置に、一致した人物の撮像画像を送信する。また、サーバ装置は、顔認証照合装置が送信した画像を受信すると、予め登録されたスマートフォンに対して、ネットワークを介して、注意対象者が検知された旨をプッシュ通知する。さらに、顔認証照合装置から送信された人物の撮像画像を含む注意対象者に関する情報を提供する。

また、ランニングコストの高騰を招くことなく、万引きの検知精度を高め万引きを効果的に防止でき、プライバシー侵害の問題のおそれが無い万引き予防システムが提供されている。このシステムでは、入店した人物を撮影し、入店した人物の歩容及び着衣の特徴に基づいて人物を把握し、把握した人物のうちから、撮影手段によって撮影したデータに基づいて、不審な行動を行った人物であるか否かを判定し、不審人物を特定する。そして、特定した人物を追跡し、追跡した人物が退店する前に、追跡した人物に対して支払意志を確認する。

また、不特定多数の人が来場する場所において、ロボットによるサービスを行う対象となる人を認識し、状況に応じて来場者への情報提供、支援、更には警備、火災などに対する避難誘導などのサービスを行えるようにしたシステムが提案されている。このシステムは、撮像装置、発話装置、音声認識手段等を備えたヒューマノイド型ロボットと、撮像装置、床センサ、音声認識手段などからなる不特定多数の人間の行動を認識する行動認識センサと、データ処理装置とで構成される。このシステムでは、不特定多数の人間から行動認識センサで選択したサービス対象候補者に対し、ロボットをサービス対象候補者の能動的行為を判別できる位置に移動させる。そして、ロボットセンサによって能動的行為の判別用データを取得して、予め用意したサービス対象者の行動パターンデータと比較し、サービス対象候補者がサービス対象者か否かを判別してサービスを行う。

特開２０１０−２５７４５１号公報 特開２０１５−１３０１５５号公報 特開２０１６−５７９０８号公報 特開２００８−１４２８７６号公報

万引き防止などのために、画像から自動検出した不審者に対して自動的な声掛けやディスプレイでのメッセージの表示を行う場合、他のお客様に不快感を与えずに声掛けや表示を行う必要がある。

しかしながら、従来技術では、声掛けや表示などの情報を出力する対象者の周辺に他の人物が存在する場合、誰に対して情報を出力しているかが適切に伝わらない場合がある。例えば、対象者の位置に向けた声掛けの音声メッセージの出力は、対象者付近に他の人がいる場合に、どの人に対して行われたものかを容易に判断することができない。そのため、声掛けをすべき対象者本人が、自分に声を掛けられたと判断できない場合には、声掛けの効果が得られない。また、対象者以外の人にとっては、その人に関係のない声掛けが行われることになるため、意図が不明な音声を聞くことになり、不快な気持ちを与えてしまう。

上記のサービス対象候補者がサービス対象者か否かを判別する従来技術では、サービスの対象者と近い位置に人が存在する場合に、システムがどちらの人物に対してサービスを行っているかが明確にならない場合がある。また、店舗などでは通路が狭く、ロボットがサービスの対象者の前に確実に回り込むことが困難な場合もあり、上記のように、サービスの対象者が明確にならない場合が生じ易い。

一つの側面として、開示の技術は、特定の対象者への情報の出力であることが容易に認識できるように情報を出力することを目的とする。

一つの態様として、開示の技術は、撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出する抽出部を有する。また、開示の技術は、前記抽出部により抽出された前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定する特定部を有する。更に、開示の技術は、前記抽出部により抽出された前記外観特徴のうち、前記特定部で特定された前記第１の人物は有し、かつ第２の人物は有さない外観特徴を含む情報を出力する出力部を有する。第２の人物は、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の人物である。

一つの側面として、特定の対象者への情報の出力であることが容易に認識できるように情報を出力することができる、という効果を有する。

本実施形態に係る情報出力システムの概略構成を示す図である。 情報処理装置の機能ブロック図である。 人物ＤＢ（Database）の一例を示す図である。 対象者のみが有する外観特徴を含む音声メッセージの出力を説明するための図である。 出力情報ＤＢの一例を示す図である。 本実施形態に係る情報出力装置として機能するコンピュータの概略構成を示すブロック図である。 特徴抽出処理の一例を示すフローチャートである。 対象者特定処理の一例を示すフローチャートである。 声掛け処理の一例を示すフローチャートである。 撮像装置間での人物情報の引き継ぎを説明するための図である。

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。本実施形態では、店舗内での不審者への自動的な声掛けに開示の技術に係る情報出力装置を適用する例について説明する。

図１に示すように、本実施形態に係る情報出力システム１００は、情報出力装置１０と、撮像装置３２と、出力装置３４とを含む。撮像装置３２及び出力装置３４の各々は、店舗内に複数設置され、情報出力装置１０とネットワークを介して接続される。撮像装置３２は、撮像範囲（図１中の破線で示す範囲）を撮像した映像を出力する。出力装置３４は、例えば指向性を有するスピーカであり、出力される音声の到達範囲（以下、「出力範囲」という、図１中の１点鎖線で示す範囲）が特定の範囲に限定されるように音声を出力する。図１に示すように、撮像装置３２及び出力装置３４の各々は、撮像装置３２の撮像範囲内に、出力装置３４の出力範囲が含まれるように配置する。

情報出力装置１０は、機能的には、図２に示すように、抽出部１２と、特定部１４と、出力部１６とを含む。また、情報出力装置１０の所定の記憶領域には、人物ＤＢ（Database）２２と、出力情報ＤＢ２４とが記憶される。

抽出部１２は、撮像装置３２から出力された映像が入力されると、映像をフレーム単位の撮像画像に分解し、各撮像画像から人物を検出する。人物の検出には、例えばＤＰＭ（Deformable Part Models）など一般的な手法を用いることができる。抽出部１２は、現在の時刻以前に入力された撮像画像及び人物の追跡結果を利用して、過去の撮像画像から検出された人物と現在の撮像画像から検出された人物との対応付けを行うことで、人物の追跡を行う。人物の追跡には、例えばＫＣＦ（Kernelized Correlation Filters）などを利用することができる。

抽出部１２は、過去の撮像画像から検出された人物と対応付けができた人物、すなわち追跡できた人物に対しては、その過去の人物に付与されている人物ＩＤと同一の人物ＩＤを付与する。また、抽出部１２は、過去の撮像画像から検出された人物と対応付けができなかった人物、すなわち追跡ができなかった人物に対しては、新規の人物ＩＤを付与する。

また、抽出部１２は、撮像画像から検出した人物の各々について、外観特徴及び状態特徴を抽出する。なお、以下では、外観特徴と状態特徴とを区別なく説明する場合、単に「特徴量」という。

外観特徴とは、人物の性別、服装の種類、服装の色、帽子の有無、眼鏡の有無、ひげの有無など、人物の外観に関する特徴として、周囲から認識可能な特徴である。抽出部１２は、外観特徴を、例えば、ディープラーニングなどの手法で人物の持ち物などをクラス分類することにより抽出する。

状態特徴は、移動速度、移動方向、顔向き等の人物の動きや、人物の位置など、人物の状態を示す特徴である。抽出部１２は、例えば、人物の所定点（例えば、足元の点）の撮像画像上での座標位置と、予めキャリブレーションしておいた撮像装置３２の位置及び姿勢とに基づいて算出した３次元の世界座標系のｘ，ｙ座標を、人物の位置として抽出する。また、抽出部１２は、複数時刻の撮像画像における人物の位置の変化から、移動速度及び移動方向を抽出する。また、抽出部１２は、検出した人物の撮像画像上の領域内から、Viola-Jonesの手法などで人物の顔を抽出する。そして、抽出部１２は、様々な角度の顔画像を予め学習させておき、撮像画像から抽出した顔画像と学習した結果とを比較して最も近い角度を顔向きとして抽出する。

なお、外観特徴は、後述する声掛けの対象者を周辺人物と区別するために用いる特徴であり、外観特徴及び状態特徴は、対象者を特定するために用いる特徴である。本実施形態では、一例として、万引きや強盗などの不正行為を行いそうな不審者を対象者とする。不審者の場合、全身の服装の色や形、所持品とその位置、顔の向きなどに特徴が現れる傾向があるため、これらの特徴を特定可能な特徴量を外観特徴として抽出すればよい。なお、外観特徴及び状態特徴は本実施形態の例に限定されず、他の特徴を採用してもよい。

抽出部１２は、撮像画像から検出した人物毎に抽出した特徴量を人物ＤＢ２２に記憶する。図３に、人物ＤＢ２２の一例を示す。図３の例では、人物ＤＢ２２には、人物毎に付与された、人物の識別情報である「人物ＩＤ」に対応付けて、「対象特定結果」、「外観特徴」、及び「状態特徴」が人物情報として記憶されている。「状態特徴」は、時刻毎に「データ０」、「データ１」、・・・として複数記憶される。「対象特定結果」は、後述する特定部１４による対象者か否かの特定結果である。

今回の撮像画像から検出された人物は、追跡により前時刻の撮像画像から検出された人物と対応付けが行われている。そのため、抽出部１２は、人物ＤＢ２２に既に同じ人物ＩＤが記憶されている場合は、今回抽出した特徴量を、同一の人物ＩＤについて記憶済みの特徴量の最大のデータ番号を１つ進めたデータ番号に対応付けて記憶する。また、抽出部１２は、新規の人物ＩＤを付与した場合には、新規の人物ＩＤに対応する新たな行を設け、データ０に対応付けて、抽出した特徴量を記憶する。

特定部１４は、抽出部１２により抽出された外観特徴及び状態特徴の少なくとも一方に基づいて、撮像画像から検出された人物のうち、情報を出力する対象者を特定する。具体的には、特定部１４は、撮像画像から検出される人物の位置、顔向き、移動速度、及び外観特徴の少なくとも１つが、対象者の特徴として予め定めた条件を満たす人物を対象者として特定する。

対象者として不審者を特定する場合の具体例としては、例えば、特定部１４は、人物ＤＢ２２に記憶された人物情報毎に、外観特徴が、例えば、黒い服、サングラス、マスク、帽子等を着用しているなどの予め定めた条件に一致を示しているか否かにより特定する。また、例えば、特定部１４は、状態特徴に含まれる複数時刻分の人物の位置の変化が、同一範囲内を往復していることや、状態特徴に含まれる顔向きの変化が、所定時間内に所定回数以上左右に振れていることを示しているかなどにより特定することもできる。また、特定部１４は、顔向きの時間変化と移動方向とに基づいて、移動方向以外の方向を注目している（顔が向いている）人物を不審者として特定してもよい。

上記のように、状態特徴の時間変化に基づいて対象者を特定する場合など、所定時間分の特徴量を総合して対象者を特定するため、特定部１４は、人物ＤＢ２２に人物情報が記憶されてから所定時間経過した人物から順に、対象者か否かを特定するようにしてもよい。さらに、対象者の特定は、時間の経過により人物ＤＢ２２に蓄積される人物情報が増加することで精度が向上するため、一定時間毎に実施する。そのため、特定部１４は、人物ＤＢ２２に記憶された人物情報が示す人物のうち、初期検出時刻（「データ０」の「時刻」）から一定時間経過している人物、又は、前回の特定処理から一定時間経過した人物を抽出して、特定処理を実施してもよい。前回の特定処理から一定時間経過したか否かは、人物ＩＤ毎に特定処理の時刻を記録しておき、その時刻からの経過時間で判断すればよい。

特定部１４は、対象者か否かの特定結果を、人物ＤＢ２２の各人物ＩＤに対応付けて「対象特定結果」欄に書き込む。例えば、特定部１４は、その人物ＩＤが示す人物が対象者として特定された場合には、対象特定結果として“１”を書き込み、対象者として特定されなかった場合には“０”を書き込む。

出力部１６は、特定部１４により対象者であると特定された人物が、出力範囲に侵入した場合に、声掛けの音声メッセージが出力装置３４から出力されるように制御する。この際、出力部１６は、抽出部１２により抽出された外観特徴のうち、特定部１４で特定された対象者は有し、対象者の周辺に存在する周辺人物は有さない外観特徴を声掛けの音声メッセージに含める。単独の外観特徴で対象者のみが有する特徴がない場合には、対象者のみが有する外観特徴の組合せを声掛けの音声メッセージに含めてもよい。また、出力部１６は、対象者が侵入した出力範囲に存在する対象者以外の人物を周辺人物として特定する。

具体的には、出力部１６は、人物ＤＢ２２に記憶されている人物情報のうち、特徴量の最新データの時刻が現在時刻から一定時間内の人物情報を、現在店舗内にいる人物の人物情報として抽出する。出力部１６は、抽出した人物情報のうち、「対象特定結果」が“１”の人物情報、すなわち、対象者として特定された人物の人物情報の状態特徴に含まれる「位置」を抽出する。出力部１６は、抽出した位置と、出力装置３４の設置位置及び出力強度等から予め定まる出力範囲とを比較し、対象者が出力範囲に侵入したか否かを判定する。

また、出力部１６は、人物ＤＢ２２に記憶された人物情報から、最新の状態特徴に含まれる「位置」が出力範囲に含まれる人物情報が示す人物を、対象者の周辺人物として特定する。なお、出力部１６は、現在店舗内にいる人物の人物情報として抽出された人物情報に含まれる「位置」と対象者の「位置」とから、対象者と各人物との間の距離を算出し、その距離が所定値以内の人物を周辺人物として特定してもよい。

また、出力部１６は、声掛けの音声メッセージの出力開始から終了までの間に、出力範囲の外に出ることが予測される人物を周辺人物から除外してもよい。また、出力部１６は、声掛けの音声メッセージの出力開始から終了までの間に、出力範囲に侵入することが予測される人物を周辺人物に追加してもよい。

例えば、出力部１６は、人物情報に含まれる「位置」の時間変化から求められる移動速度や、「移動方向」などを利用して、現在から声掛けが終了する数秒後の各人物の位置を予測する。そして、出力部１６は、予測した各人物の位置を出力範囲と比較したり、対象者の位置との距離を算出したりすることにより、周辺人物として特定するか否かを判定してもよい。

出力部１６は、図４に示すように、対象者及び周辺人物（図４の例では、人物Ａ、Ｂ、Ｃ）の各々の人物情報に含まれる「外観特徴」を比較し、対象者のみの外観特徴を特定する。図４の例では、外観特徴として、「上着（の色）」、「ズボン（の色）」、及び「性別」が用いられている。このうち、「ズボン：黒」及び「性別：男」は、対象者のみが有する外観特徴ではないが、「上着：赤」については、対象者のみが有する外観特徴である。

また、出力部１６は、１つの外観特徴の種類のみで、対象者のみが有する外観特徴を特定できない場合には、複数の種類の外観特徴の組合せで、対象者のみが有するものを特定する。例えば、図４の例で、人物Ａも「上着：赤」の外観特徴を有しているとする。この場合、外観特徴「上着：赤」のみでは、対象者と人物Ａとを区別することができないが、外観特徴「上着：赤」かつ「性別：男」であれば、対象者のみが有する外観特徴の組合せとなる。

出力部１６は、特定した対象者のみが有する外観特徴又は外観特徴の組合せと、出力情報ＤＢ２４に記憶された情報とに基づいて、声掛けの音声メッセージを生成する。

図５に、出力情報ＤＢ２４の一例を示す。図５の例では、出力情報ＤＢ２４は、テンプレートテーブル２４Ａと、挿入内容テーブル２４Ｂとを含む。テンプレートテーブル２４Ａは、声掛けの目的に応じた音声メッセージのテンプレートが記憶されたテーブルである。図５の例では、テンプレートテーブル２４Ａには、テンプレートの識別情報である「ＩＤ」に対応付けて、複数の「テンプレート」が記憶されている。テンプレートテーブル２４Ａに記憶された各テンプレートのＸＸＸＸＸＸＸ部分には、対象者の外観特徴に応じた内容が挿入される。挿入内容テーブル２４Ｂには、「外観特徴」と、その外観特徴に応じてテンプレートのＸＸＸＸＸＸＸ部分に挿入するための「挿入内容」とが対応付けて記憶されている。

出力部１６は、挿入内容テーブル２４Ｂから、特定した対象者のみが有する外観特徴に対応する挿入内容を取得し、テンプレートテーブル２４Ａから選択したテンプレートに、取得した挿入内容を挿入して、声掛けの音声メッセージを生成する。テンプレートテーブル２４Ａからのテンプレートの選択は、ランダムに選択してもよいし、対象者の位置（例えば売り場）に応じたテンプレートを選択するなど、所定のルールで選択してもよい。

例えば、上記の図４の例で、対象者のみが有する外観特徴として「上着：赤」が特定された場合、「赤い上着のお客さま、棚の商品は割れ易いのでお気を付けください。」のようなメッセージが生成される。また、対象者のみが有する外観特徴の組合せとして「上着：赤」かつ「性別：男性」が特定された場合、「赤い上着の男性のお客さま、探している商品がありましたら店員までご連絡ください。」のようなメッセージが生成される。

出力部１６は、対象者が存在する出力範囲に対応する出力装置３４を指定して、生成した声掛けの音声メッセージを出力する。これにより、指定された出力装置３４から声掛けの音声メッセージが出力される。図４に示すように、出力される音声メッセージには、対象者のみが有する外観特徴が含まれているため、音声メッセージを聞いた対象者は、出力された音声メッセージが自分に対するメッセージであることを認識することができる。また、周辺人物は、音声メッセージに含まれる外観特徴が自分に当てはまらないため、自分へのメッセージではないことを認識することができる。

情報出力装置１０は、例えば図６に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、情報出力装置１０として機能させるための情報出力プログラム５０が記憶される。情報出力プログラム５０は、抽出プロセス５２と、特定プロセス５４と、出力プロセス５６とを有する。また、記憶部４３は、人物ＤＢ２２及び出力情報ＤＢ２４の各々を構成する情報が記憶される情報記憶領域６０を有する。

ＣＰＵ４１は、情報出力プログラム５０を記憶部４３から読み出してメモリ４２に展開し、情報出力プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、抽出プロセス５２を実行することで、図２に示す抽出部１２として動作する。また、ＣＰＵ４１は、特定プロセス５４を実行することで、図２に示す特定部１４として動作する。また、ＣＰＵ４１は、出力プロセス５６を実行することで、図２に示す出力部１６として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、人物ＤＢ２２及び出力情報ＤＢ２４の各々をメモリ４２に展開する。これにより、情報出力プログラム５０を実行したコンピュータ４０が、情報出力装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

なお、情報出力プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、本実施形態に係る情報出力システム１００の作用について説明する。情報出力システム１００の稼動中において、撮像装置３２により撮像された映像が情報出力装置１０に入力される。そして、情報出力装置１０において、図７に示す特徴抽出処理、図８に示す対象者特定処理、及び図９に示す声掛け処理が並行して実行される。なお、特徴抽出処理、対象者特定処理、及び声掛け処理は、開示の技術の情報出力方法の一例である。以下、特徴抽出処理、対象者特定処理、及び声掛け処理の各々について詳述する。

まず、図７に示す特徴抽出処理について説明する。

ステップＳ１２で、抽出部１２が、撮像画像を取得したか否かを判定する。撮像装置３２から映像が入力されている場合、抽出部１２が、入力された映像をフレーム単位の撮像画像に分解し、１フレーム分の撮像画像を取得し、ステップＳ１４へ移行する。映像が入力されていない場合には、本ステップの判定を繰り返す。

ステップＳ１４では、抽出部１２が、取得した撮像画像から、例えばＤＰＭなどの手法を用い人物を検出する。

次に、ステップＳ１６で、抽出部１２が、現在の時刻以前に入力された撮像画像及び人物の追跡結果を利用して、過去の撮像画像から検出された人物と現在の撮像画像から検出された人物との対応付けを行うことで、人物の追跡を行う。抽出部１２は、過去の撮像画像から検出された人物と対応付けができた人物に対して、その過去の人物に付与されている人物ＩＤと同一の人物ＩＤを付与する。また、抽出部１２は、過去の撮像画像から検出された人物と対応付けができなかった人物に対しては、新規の人物ＩＤを付与する。

次に、ステップＳ１８で、抽出部１２が、撮像画像から検出した人物の各々について、人物の性別、服装の種類、服装の色、帽子の有無、眼鏡の有無、ひげの有無などの外観特徴を抽出する。

次に、ステップＳ２０で、抽出部１２が、撮像画像から検出した人物の各々について、人物の移動速度、移動方向、顔向き等の人物の動きや、人物の位置などの状態特徴を抽出する。

次に、ステップＳ２２で、抽出部１２が、人物ＤＢ２２を更新する。具体的には、抽出部１２が、追跡できた人物については、上記ステップＳ１４で付与された人物ＩＤと同一の人物ＩＤについて記憶済みの特徴量の最大のデータ番号を１つ進めたデータ番号に対応付けて、上記ステップＳ１８及びＳ２０で抽出した特徴量を記憶する。また、抽出部１２は、新規の人物については、上記ステップＳ１４で付与された人物ＩＤに対応する新たな行を設け、データ０に対応付けて、上記ステップＳ１８及びＳ２０で抽出した特徴量を記憶する。そして、処理はステップＳ１２に戻る。

次に、図８に示す対象者特定処理について説明する。

ステップＳ３２で、特定部１４が、人物ＤＢ２２に記憶されている人物情報を、先頭から順に１つ選択する。

次に、ステップＳ３４で、特定部１４が、選択した人物情報について、前回の特定処理から所定時間を経過しているか否かを判定する。所定時間を経過している場合には、ステップＳ３６へ移行し、所定時間を経過していない場合には、ステップＳ３２に戻る。

ステップＳ３６では、特定部１４が、選択した人物情報に含まれる特徴量が、対象者の特徴として予め定めた条件を満たすか否かにより、選択した人物情報が示す人物が対象者か否かを特定する。

次に、ステップＳ３８で、特定部１４が、上記ステップＳ３６において、上記ステップＳ３２で選択した人物情報が示す人物が対象者であると特定した場合には、人物ＤＢ２２の該当の人物ＩＤに対応付けて「対象特定結果」欄に“１”を書き込む。また、特定部１４は、上記ステップＳ３２で選択した人物情報が示す人物が対象者ではないと特定した場合には、人物ＤＢ２２の該当の人物ＩＤに対応付けて「対象特定結果」欄に“０”を書き込む。そして、処理はステップＳ３２に戻る。

次に、図９に示す声掛け処理について説明する。

ステップＳ４２で、出力部１６が、人物ＤＢ２２に記憶されている人物情報のうち、特徴量の最新データの時刻が現在時刻から一定時間内の人物情報を、現在店舗内にいる人物の人物情報、すなわち処理対象の人物情報として抽出する。

次に、ステップＳ４４で、出力部１６が、上記ステップＳ４２で抽出した人物情報から１つの人物情報を選択する。

次に、ステップＳ４６で、出力部１６が、上記ステップＳ４４で選択した人物情報の「対象特定結果」が“１”か否かを判定することにより、選択した人物情報が示す人物が対象者（ここでは、不審者）か否かを判定する。対象者の場合には、ステップＳ４８へ移行し、対象者ではない場合には、ステップＳ５６へ移行する。

ステップＳ４８では、出力部１６が、上記ステップＳ４４で選択した人物情報の状態特徴に含まれる「位置」と、出力装置３４の設置位置及び出力強度等から予め定まる出力範囲とを比較し、対象者が出力範囲に侵入したか否かを判定する。対象者が出力範囲に侵入した場合には、ステップＳ５０へ移行し、侵入していない場合には、ステップＳ５６へ移行する。

ステップＳ５０では、出力部１６が、上記ステップＳ４２で抽出した人物情報から、最新の状態特徴における「位置」が出力範囲に含まれる人物情報が示す人物を、対象者の周辺人物として特定する。また、出力部１６が、声掛けの音声メッセージの出力開始から終了までの間に、出力範囲の外に出ることが予測される人物を周辺人物から除外し、出力範囲に侵入することが予測される人物を周辺人物に追加する。

次に、ステップＳ５２で、出力部１６が、対象者及び周辺人物の各々の人物情報に含まれる「外観特徴」を比較し、対象者のみが有する外観特徴又は外観特徴の組合せを特定する。

次に、ステップＳ５４で、出力部１６が、出力情報ＤＢ２４の挿入内容テーブル２４Ｂから、上記ステップＳ５２で特定した対象者のみが有する外観特徴に対応する挿入内容を取得する。また、出力部１６は、テンプレートテーブル２４Ａから選択したテンプレートに、取得した挿入内容を挿入して、声掛けの音声メッセージを生成する。そして、出力部１６は、対象者が存在する出力範囲に対応する出力装置３４を指定して、生成した声掛けの音声メッセージを出力する。これにより、指定された出力装置３４から声掛けの音声メッセージが出力される。

次に、ステップＳ５６で、出力部１６が、上記ステップＳ４２で抽出した人物情報を全て選択済みか否かを判定する。未選択の人物情報が存在する場合にはステップＳ４４に戻り、全て選択済みの場合には、ステップＳ４２に戻る。

以上説明したように、本実施形態に係る情報出力システムによれば、情報出力装置が、声掛けの対象者を特定し、その対象者のみが有し、対象者の周辺人物は有さない外観特徴を声掛けの音声メッセージに含めて出力する。これにより、音声メッセージを聞いた対象者は、出力された音声メッセージが自分に対するメッセージであることを、周辺人物は、自分へのメッセージではないことを容易に認識することができる。

なお、上記実施形態では、不審者に対して音声メッセージによる声掛けを行う例について説明したが、これに限定されない。例えば、対象者に対する情報の出力は、ディスプレイへのメッセージの表示等で行ってもよい。この場合、ディスプレイを視認可能な範囲を出力範囲として、対象者の出力範囲への侵入の判定や、対象者の周辺人物の特定等を行えばよい。

また、上記実施形態では、不審者を対象者とする場合について説明したが、これに限定されない。本実施形態は、不特定多数の人が存在する場所において、特定の人物に情報を出力したい場合に有効である。例えば、店舗で商品の検討したり、駅などの施設で行き先等を探したりしている人物を、動きや視線の情報等を用いて対象者として特定し、販売促進のためのメッセージや、案内などのメッセージを出力することもできる。

また、上記実施形態では、図１において、１つの撮像装置の撮像範囲から特定された対象者に、その撮像範囲に対応する出力範囲内において声掛けの音声メッセージを出力する場合について示しているが、これに限定されない。例えば、図１０に示すように、ある撮像装置の撮像画像から検出された人物を、その人物の移動方向、移動速度、撮像装置の配置などに基づいて、他の撮像装置の撮像画像において追跡し、人物ＤＢに記憶された人物情報も引き継ぐようにしてもよい。この場合、対象者が検出された撮像範囲に対応する出力範囲以外の出力範囲で声掛けの音声メッセージを出力することができる。これにより、例えば、周辺人物の少ない出力範囲に対象者が侵入した際に声掛けの音声メッセージを出力するなど、対象者に対する情報の出力として、より効果的な方法を採用することができる。

また、人物と撮像装置との位置関係によっては、人物の下半身が棚の後ろに隠れるなど、人物の一部の外観特徴が抽出できない場合がある。その場合は、対象者及び周辺人物の各々から抽出することができた外観特徴のみを利用して、対象者のみが有する外観特徴を特定するようにしてもよい。

また、出力範囲が設定されている場所の特性により、利用する外観特徴を変更してもよい。具体的には、出力範囲に存在する人物の多くが有する外観特徴が予め想定される場合には、その外観特徴以外の外観特徴を利用するようにしてもよい。例えば、女性客が多いと想定される化粧品売り場に設定されている出力範囲においては、外観特徴として性別以外を利用するなどとすることができる。また、時間帯に応じて利用する外観特徴を変更してもよい。

また、上記実施形態では、情報出力プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出する抽出部と、
前記抽出部により抽出された前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定する特定部と、
前記抽出部により抽出された前記外観特徴のうち、前記特定部で特定された前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する出力部と、
を含む情報出力装置。

（付記２）
前記出力部は、前記第１の人物は有し、前記第２の人物は有さない外観特徴の組合せを含む情報を出力する付記１に記載の情報出力装置。

（付記３）
前記出力部は、出力する情報の到達範囲に前記第１の人物が侵入した場合に、前記情報を出力する付記１又は付記２に記載の情報出力装置。

（付記４）
前記出力部は、出力する情報の到達範囲に存在する人物を前記第２の人物として特定する付記１〜付記３のいずれか１項に記載の情報出力装置。

（付記５）
前記特徴情報が前記複数の人物の各々の位置及び動きを示す状態特徴を含む場合、前記出力部は、前記状態特徴に基づいて、前記情報の出力開始から終了までの間に、前記到達範囲の外に出ることが予測される人物を前記第２の人物から除外し、前記情報の出力開始から終了までの間に、前記到達範囲に侵入することが予測される人物を前記第２の人物に追加する付記４に記載の情報出力装置。

（付記６）
前記特徴情報が前記複数の人物の各々の位置及び動きを示す状態特徴を含む場合、前記出力部は、複数種類の前記外観特徴のうち、前記状態特徴に含まれる前記第１の人物の位置に応じて、利用する外観特徴を変更する付記１〜付記５のいずれか１項に記載の情報出力装置。

（付記７）
前記外観特徴は、前記第１の人物及び前記第２の人物の性別、服装の種類、服装の色、帽子の有無、眼鏡の有無、ひげの有無の少なくとも１つを含む付記１〜付記６のいずれか１項に記載の情報出力装置。

（付記８）
前記特定部は、前記撮像画像から検出される人物の位置、顔向き、移動速度、及び外観特徴の少なくとも１つが、前記第１の人物の特徴として予め定めた条件を満たす人物を前記第１の人物として特定する付記１〜付記７のいずれか１項に記載の情報出力装置。

（付記９）
撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定し、
抽出した前記外観特徴のうち、特定した前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する
ことを含む処理をコンピュータが実行する情報出力方法。

（付記１０）
前記第１の人物は有し、前記第２の人物は有さない外観特徴の組合せを含む情報を出力する付記９に記載の情報出力方法。

（付記１１）
出力する情報の到達範囲に前記第１の人物が侵入した場合に、前記情報を出力する付記９又は付記１０に記載の情報出力方法。

（付記１２）
出力する情報の到達範囲に存在する人物を前記第２の人物として特定する付記９〜付記１１のいずれか１項に記載の情報出力方法。

（付記１３）
前記特徴情報が前記複数の人物の各々の位置及び動きを示す状態特徴を含む場合、前記状態特徴に基づいて、前記情報の出力開始から終了までの間に、前記到達範囲の外に出ることが予測される人物を前記第２の人物から除外し、前記情報の出力開始から終了までの間に、前記到達範囲に侵入することが予測される人物を前記第２の人物に追加する付記１２に記載の情報出力方法。

（付記１４）
前記特徴情報が前記複数の人物の各々の位置及び動きを示す状態特徴を含む場合、複数種類の前記外観特徴のうち、前記状態特徴に含まれる前記第１の人物の位置に応じて、利用する外観特徴を変更する付記９〜付記１３のいずれか１項に記載の情報出力方法。

（付記１５）
前記外観特徴は、前記第１の人物及び前記第２の人物の性別、服装の種類、服装の色、帽子の有無、眼鏡の有無、ひげの有無の少なくとも１つを含む付記９〜付記１４のいずれか１項に記載の情報出力方法。

（付記１６）
前記撮像画像から検出される人物の位置、顔向き、移動速度、及び外観特徴の少なくとも１つが、前記第１の人物の特徴として予め定めた条件を満たす人物を前記第１の人物として特定する付記９〜付記１５のいずれか１項に記載の情報出力方法。

（付記１７）
撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定し、
抽出した前記外観特徴のうち、特定した前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する
ことを含む処理をコンピュータに実行させるための情報出力プログラム。

（付記１８）
前記第１の人物は有し、前記第２の人物は有さない外観特徴の組合せを含む情報を出力する付記１７に記載の情報出力プログラム。

（付記１９）
出力する情報の到達範囲に前記第１の人物が侵入した場合に、前記情報を出力する付記１７又は付記１８に記載の情報出力プログラム。

（付記２０）
撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出し、
抽出した前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定し、
抽出した前記外観特徴のうち、特定した前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する
ことを含む処理をコンピュータに実行させるための情報出力プログラムを記憶した記憶媒体。

１０ 情報出力装置
１２ 抽出部
１４ 特定部
１６ 出力部
２２ 人物ＤＢ
２４ 出力情報ＤＢ
２４Ａ テンプレートテーブル
２４Ｂ 挿入内容テーブル
３２ 撮像装置
３４ 出力装置
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０ 情報出力プログラム
１００ 情報出力システム

Claims (10)

1. 撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出する抽出部と、
   前記抽出部により抽出された前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定する特定部と、
   前記抽出部により抽出された前記外観特徴のうち、前記特定部で特定された前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する出力部と、
   を含む情報出力装置。
2. 前記出力部は、前記第１の人物は有し、前記第２の人物は有さない外観特徴の組合せを含む情報を出力する請求項１に記載の情報出力装置。
3. 前記出力部は、出力する情報の到達範囲に前記第１の人物が侵入した場合に、前記情報を出力する請求項１又は請求項２に記載の情報出力装置。
4. 前記出力部は、出力する情報の到達範囲に存在する人物を前記第２の人物として特定する請求項１〜請求項３のいずれか１項に記載の情報出力装置。
5. 前記特徴情報が前記複数の人物の各々の位置及び動きを示す状態特徴を含む場合、前記出力部は、前記状態特徴に基づいて、前記情報の出力開始から終了までの間に、前記到達範囲の外に出ることが予測される人物を前記第２の人物から除外し、前記情報の出力開始から終了までの間に、前記到達範囲に侵入することが予測される人物を前記第２の人物に追加する請求項４に記載の情報出力装置。
6. 前記特徴情報が前記複数の人物の各々の位置及び動きを示す状態特徴を含む場合、前記出力部は、複数種類の前記外観特徴のうち、前記状態特徴に含まれる前記第１の人物の位置に応じて、利用する外観特徴を変更する請求項１〜請求項５のいずれか１項に記載の情報出力装置。
7. 前記外観特徴は、前記第１の人物及び前記第２の人物の性別、服装の種類、服装の色、帽子の有無、眼鏡の有無、ひげの有無の少なくとも１つを含む請求項１〜請求項６のいずれか１項に記載の情報出力装置。
8. 前記特定部は、前記撮像画像から検出される人物の位置、顔向き、移動速度、及び外観特徴の少なくとも１つが、前記第１の人物の特徴として予め定めた条件を満たす人物を前記第１の人物として特定する請求項１〜請求項７のいずれか１項に記載の情報出力装置。
9. 撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出し、
   抽出した前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定し、
   抽出した前記外観特徴のうち、特定した前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する
   ことを含む処理をコンピュータが実行する情報出力方法。
10. 撮像画像から検出された複数の人物の外観特徴を含む特徴情報を抽出し、
    抽出した前記特徴情報に基づいて、前記撮像画像から検出された前記複数の人物のうち、情報を出力する対象である第１の人物を特定し、
    抽出した前記外観特徴のうち、特定した前記第１の人物は有し、かつ、前記撮像画像から検出された前記複数の人物のうち、前記第１の人物以外の第２の人物は有さない外観特徴を含む情報を出力する
    ことを含む処理をコンピュータに実行させるための情報出力プログラム。