JP2019133437A

JP2019133437A - 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム

Info

Publication number: JP2019133437A
Application number: JP2018015503A
Authority: JP
Inventors: 律子大竹; Ritsuko Otake
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2019-08-08
Also published as: US20190236377A1; US10984249B2

Abstract

【課題】画像内で検出された人物について、行動を解析する対象とすべき人物と対象から除外可能な人物とを区別して、不必要な処理を削減し、処理効率を向上させる技術を提供する。【解決手段】情報処理装置であって、入力された画像を解析し、前記画像に含まれる人物を検出する検出手段と、前記検出された人物が予め登録された人物であるか否かを判定する人物判定手段と、前記人物判定手段が前記予め登録された人物でないと判定した人物が、支援を求める第１の動作を行ったか否かを判定する動作判定手段と、前記動作判定手段が前記第１の動作を行ったと判定した第１の人物に関する通知を外部装置に出力する出力手段とを備え、前記検出手段は、前記動作判定手段が前記第１の動作を行ったと判定した前記第１の人物に関連する更なる画像解析を実行する。【選択図】図１Ａ

Description

本発明は、情報処理装置、システム、情報処理装置の制御方法、及び、プログラムに関する。

監視カメラで撮像された画像を解析し画像に写る人物に注目してその行動を監視する技術が知られている。特許文献１は、所定のエリア内に存在する人物に注目し、注目状態にある人物が所定の行動を取ると通報、人物が所定のエリアから離れると注目状態を終了する技術を開示する。

特開２０１２−３２９１０号公報

特許文献１が開示する画像内の人物の行動を解析する処理は、注目している人物が画像内で検出されている間（所定のエリア外または撮像範囲外に退出するまで）は継続される。しかし、人物が画像内で検出される場合であっても、注目不要の人物や注目する必要が無くなった人物に対しても一律に解析処理を継続することは、処理パフォーマンス低下の原因となる。

そこで、本発明は、画像内で検出された人物について、行動を解析する対象とすべき人物と対象から除外可能な人物とを区別して、不必要な処理を削減し、処理効率を向上させる技術を提供することを目的とする。

上記課題を解決するための本発明は、情報処理装置であって、
入力された画像を解析し、前記画像に含まれる人物を検出する検出手段と、
前記検出された人物が予め登録された人物であるか否かを判定する人物判定手段と、
前記人物判定手段が前記予め登録された人物でないと判定した人物が、支援を求める第１の動作を行ったか否かを判定する動作判定手段と、
前記動作判定手段が前記第１の動作を行ったと判定した第１の人物に関する通知を外部装置に出力する出力手段と
を備え、
前記検出手段は、前記動作判定手段が前記第１の動作を行ったと判定した前記第１の人物に関連する更なる画像解析を実行する。

本発明によれば、所定のエリア内に存在する人物について、行動を解析する対象とすべき人物と対象から除外可能な人物とを区別して、不必要な処理を削減し、処理効率を向上させることができる。

発明の実施形態に対応するシステム１０の構成例を示す図。発明の実施形態が適用可能な施設の一例を示す図。発明の実施形態に対応する情報処理装置２００のハードウェア構成例を示す図。発明の実施形態に対応する、システム１０における情報処理装置２００が実行する処理の一例を示すフローチャート。発明の実施形態に対応する行動解析処理の具体例を説明するための図。発明の実施形態に対応する、周辺人物解析処理の一例を示すフローチャート。発明の実施形態１に対応する情報表示装置４００に表示される画面の一例を示す図。発明の実施形態２に対応する、人物のグループ化を説明するための図、及び、情報表示装置４００に表示される画面の一例を示す図。

以下、添付の図面を参照して、発明の実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［実施形態１］
図１Ａは、発明の実施形態に対応するシステム１０の構成例を示す図である。当該システム１０は、ネットワークカメラ１００、情報処理装置２００、データベース装置３００、情報表示装置４００、入力端末５００がネットワーク回線であるＬＡＮ６００によって相互接続されて構成されている。図１Ａに示したシステム１０の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。

まず、ネットワークカメラ１００は、撮像センサ部１０１、現像処理部１０２、符号化部１０３、LANインタフェース（I/F）部１０４を含むように構成することができる。撮像センサ部１０１は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するA/D変換器を含んで構成される。現像処理部１０２は、撮像センサ部１０１から出力されたデジタル画像信号に対して、所定の現像処理を実行する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。

符号化部１０３は、現像処理部１０２が出力したデジタル画像信号を圧縮・符号化して、情報処理装置２００に提供する画像データを生成する。生成される画像データには、ネットワークカメラ１００の識別情報（カメラＩＤ）、設置場所の情報（位置情報）、撮影時刻情報等が含まれる。符号化部１０３は画像データ生成時にフレームレートの設定も行う。ここで、配信用の画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。

LAN I/F部１０４は、符号化部１０３から出力された画像データを、LAN６００を介して情報処理装置２００に送信するための通信インタフェースである。LAN I/F部１０４は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。

次に、情報処理装置２００の構成について説明する。情報処理装置２００は、LANインタフェース（I/F）部２０１、復号部２０２、検出処理部２０３、データベース管理部２０４、人物照合部２０５、動作判定部２０６、通知部（出力部）２０７を含み、相互にシステムバス２０８で接続されるように構成することができる。

LAN I/F部２０１は、LAN６００を介してネットワークカメラ１００、情報表示装置４００、入力端末５００、さらには外部のインターネット等と通信する。復号部２０２はネットワークカメラ１００からLAN６００を介して取得した画像データを、伸張し復号してデジタル画像信号を復元する。復号されたデジタル画像信号は本実施形態に対応する画像解析処理を行う検出処理部２０３に出力される。

検出処理部２０３は、画像データを解析し、画像に含まれる個々の人物を検出する人物検出処理を行う。データベース管理部２０４は、データベース装置３００のデータベース３１０から３３０のそれぞれの登録情報を管理する。例えば、各データベースの登録情報を更新し、各データベースから登録情報を抽出し、必要に応じて各処理部に提供するといった処理を行う。人物照合部２０５は、検出処理部２０３で検出された人物が、登録人物情報データベース３１０に登録された特定の人物であるか否かの人物判定（照合）に基づく人物照合処理を行う。

動作判定部２０６は、人物照合部２０５における照合により、特定の人物でないと判定された人物が、支援を求める所定の動作を行ったかどうかを判定する。また、特定の人物と判定された人物が特定の動作を行ったかどうかを判定する。動作判定処理の詳細は後述する。通知部２０７は、動作判定部２０６における処理結果に基づき、情報表示装置４００に対して情報の通知（出力）を行う。通知情報の詳細は、図６を参照して後述する。

データベース装置３００は、情報処理装置２００が本実施形態に対応する処理を実行するに際して参照する情報が登録されたデータベースであって、登録人物情報データベース３１０、判定情報データベース３２０、登録外人物情報データベース３３０等を含むことができる。データベース装置３００は情報処理装置２００に接続される構成となっているが、ネットワークインターフェースを備え、LAN６００上に接続されていてもよい。その場合、情報処理装置２００とデータベース装置３００との通信は、LAN I/F部２０１を介して行われる。

登録人物情報データベース３１０は、本システム１０が適用される施設の従業員（スタッフ）等が予め登録され、識別されるべき人物に関する情報を登録するデータベースである。本システム１０は、例えば飲食店等の施設に適用することができるが、その場合には飲食店で働く店舗スタッフ（ホールスタッフ）を登録人物として当該人物に関する情報が登録されている。当該情報は、画像データを解析した際に、画像に写っている人物が登録人物たる店舗スタッフであるかどうかを判定可能とする情報である。例えば、顔画像や、制服画像等を含むことができる。登録される情報は、画像そのものではなく、顔画像等から抽出された特徴量の情報であってもよい。

判定情報データベース３２０は、動作判定部２０６において人物の動作を解析する際に利用可能な情報、例えばテンプレート画像等が予め登録されている。登録外人物情報データベース３３０は、動作判定部２０６による動作解析の結果、注目人物と判定された人物に関する情報を保持しておくためのデータベースである。

情報表示装置４００は、情報処理装置２００から送信された通知情報を表示する装置であって、例えばパーソナルコンピュータ（PC）やタブレット端末、スマートフォン端末等により実現することができる。情報表示装置４００は、LAN６００との接続を有線、無線のうち、いずれにおいて行ってもよい。無線は、例えばIEEE802.11の無線LANの規格に従うことができる。以下に説明する本実施形態では、情報表示装置４００を、本システム１０が適用された飲食店のバックヤードに設置されたパーソナルコンピュータと想定して説明を行う。店舗スタッフは、バックヤードにおいて情報処理装置２００からの通知を情報表示装置４００により確認し、来店した顧客に対して所望のサービスを迅速に提供することができる。

入力端末５００は、店舗スタッフが、顧客から受付けた注文を入力するための入力装置であって、例えば、専用の入力端末、或いは、汎用のタブレット端末、スマートフォン端末等により実現することができる。入力端末５００は、LAN６００と無線で接続することができ、その場合にIEEE802.11の無線LANの規格に従うことができる。入力端末５００は、店舗スタッフが顧客から受け付けた注文の入力を行ったことを情報処理装置２００に通知することができる。

図１Ａに示すシステム１０構成において、ネットワークカメラ１００の台数は１台以上の任意の数とすることができ、台数に限定はない。情報処理装置２００、データベース装置３００及び情報表示装置４００は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。また、図１Ａでは、検出処理部２０３が情報処理装置２００側に設けられる場合を記載したが、ネットワークカメラ１００側に設けられてもよい。その場合、検出処理部２０３により算出された各人物の情報がネットワークカメラ１００から情報処理装置２００側に送信される。

本実施形態のシステム１０は、図１Ｂに示すような飲食店に対して適用することができる。飲食店は、監視対象エリア１とバックヤード２とに大きく区画されている。監視対象エリア１は、飲食店に来店した顧客が滞在するエリアであり、当該エリアに滞在している顧客について後述の人物検出処理が行われる。バックヤード２は、店舗スタッフ３が待機するエリアである。バックヤード２には情報表示装置４００が設置され、情報表示装置４００による通知に従って、支援が必要な顧客を特定して必要な支援を行うことができる。

監視対象エリア１にはネットワークカメラ１００が配置されており、監視対象エリア１の状態を撮影している。監視対象エリア１に配置されるネットワークカメラ１００は、監視対象エリア１に滞在している顧客を撮影可能に配置されている限り、台数や配置場所は特に限定されない。図１Ｂでは、複数台のネットワークカメラ１００で撮影する場合を示している。ネットワークカメラ１００の配置や台数は店舗のレイアウトに応じて任意に変更することができる。また、ネットワークカメラ１００は監視対象エリア１を動画撮影してもよいし、所定時間間隔において静止画撮影してもよい。

また、図１Ｂには、監視対象エリア１とバックヤード２とが物理的に明確に区分けされている場合を示したが、２つの領域は物理的に区分けされていなくてもよい。その場合、例えば、顧客が滞在している領域を監視対象エリアとし、それ以外の領域をバックヤード２とすることができる。

次に、本実施形態に対応するシステム１０を構成する情報処理装置２００の概略構成を説明する。図２は、情報処理装置２００のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのデータベース装置３００、情報表示装置４００、入力端末５００も、同様或いは同等のハードウェア構成として構成しても良い。

図２において、ＣＰＵ２１０は、ハードディスク装置（以下、ＨＤと呼ぶ）２１５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２１２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、ネットワークカメラ１００から提供され、ＲＡＭ２１２に記憶された画像データ、及び、データベース装置３００から取得した情報に基づき本実施形態に対応する処理を実行する。さらには、インタフェース（Ｉ／Ｆ）２１８を介した外部の情報表示装置４００とのデータ送受信を制御する。なお、後述する図３及び図５における処理もＣＰＵ２１０が対応する処理プログラムを実行することにより装置全体を制御して実現される。

ＲＯＭ２１１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２１２は各種データを一時記憶し、ＣＰＵ２１０の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１００やデータベース装置３００から受信した情報を一時的に記憶する。

外部記憶ドライブ２１３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）２１４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア２１４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。

外部記憶装置２１５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ２１５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。

指示入力装置２１６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置２１７は、指示入力装置２１６から入力されたコマンドや、それに対する情報処理装置２００の応答出力等を出力する。出力装置２１７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス２１９は、情報処理装置２００内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）２１８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

次に図３を参照して、発明の実施形態に対応する処理の詳細を説明する。当該処理は、ＣＰＵ２１０が所定のプログラムを実行することにより検出処理部２０３、人物照合部２０５、動作判定部２０６、通知部２０７等として機能することにより実現される。図３は、発明の実施形態に対応する情報処理装置２００が実行する処理の一例を示すフローチャートである。まず、図３（ａ）は、ネットワークカメラ１００から受信した画像データを解析し、監視対象エリア１内の人物に対して支援処理を実行するかどうかを判定する処理の流れを示すフローチャートである。

まず、Ｓ３０１でＣＰＵ２１０は、処理停止指示の有無を判定する。本実施形態における処理は、ネットワークカメラ１００からの入力画像データに対して継続的に実行されることが前提である。しかし、情報処理装置２００のユーザからの指示またはシステム上のトラブル等によりその処理を停止することもあり得るため、ここで停止指示があればただちに一連の処理を終了する。この場合、ＣＰＵ２１０が検出処理部２０３、人物照合部２０５、動作判定部２０６、通知部２０７等として実行していた処理は直ちに終了する。停止指示がなければ次のＳ３０２に処理は進む。

Ｓ３０２では、検出処理部２０３が画像データを解析して、監視対象エリア１内で人物検出処理を実行する。ここで、人物検出処理を実行する範囲を、画像データに含まれる領域全体としてもよいし、画像データ内の一部の領域内に限定しても構わない。本実施形態で想定する飲食店の場合、店内全体、出入り口、或いは、客席領域等に限定して人物検出処理を実行してもよい。人物検出処理は、監視対象エリア１を撮像した画像データに写っている人物を検出する処理であり、例えばパターンマッチング技術を使った既知の手法を適用することができる。

続くＳ３０３では、検出処理部２０３による人物検出処理の結果により処理を分岐する。検出処理部２０３が人物を検出しない場合（Ｓ３０３で「ＮＯ」）、処理はＳ３０１に戻り、人物を検出した場合（Ｓ３０３で「ＹＥＳ」）には処理はＳ３０４に移る。

Ｓ３０４では、人物照合部２０５が、検出処理部２０３で検出された人物（以下、「検出人物」という）が、後述の注目状態にある人物（以下、「注目人物」という）であるか否かを判断する。注目人物であるかどうかの判定は、登録外人物情報データベース３３０に登録された情報を参照して行う。ここで検出人物が注目人物として登録済みであれば（Ｓ３０４で「ＹＥＳ」）、その人物に対しては以降の処理を実施しているため、処理はＳ３０１に戻り、検出処理部２０３が画像データについて他の人物の検出を行う。検出人物が注目状態でなければ（Ｓ３０４で「ＮＯ」）、処理はＳ３０５に進む。

Ｓ３０５では、人物照合部２０５が人物照合処理を実行する。人物照合処理とは、検出人物と、登録人物情報データベース３１０に予め登録されている人物情報との照合を行う処理である。本実施形態では、登録人物情報データベース３１０には飲食店のホールスタッフ等の情報が予め登録されている。人物照合部２０５は、検出人物が登録人物情報データベース３１０に登録されているいずれかの登録人物に該当するか否かを判定する。もし、検出人物が登録人物であると判定されれば（Ｓ３０６で「ＹＥＳ」）、当該人物は支援を受ける対象とはなり得ないので、処理はＳ３０１に戻る。一方、登録人物でないと判定されれば（Ｓ３０６で「ＮＯ」）、処理はＳ３０７に進む。

Ｓ３０５における人物照合処理では、例えば、登録人物情報データベース３１０に店舗スタッフの各人につき顔写真を登録し、そこから算出した特徴量と、映像から得られた検出人物の顔領域から算出した特徴量との類似度を利用する方法がある。個人を特定する必要が無い場合には、例えば店の従業員の共通特徴（制服など）を情報として登録、照合することも可能である。また、登録人物（＝支援可能人物）が所定の信号（例えば、ビーコン信号）を発生する信号発生器を身につけておき、エリア内に対応した信号受信器を設置し、その信号授受結果を利用して検出人物が登録人物であるか否かを判断することもできる。当該信号発生器は入力端末５００を利用してもよい。その他各種方法いずれの方法を適用してもよい。

続くＳ３０７では、支援処理を実行する。支援処理の詳細は、図３（ｂ）を参照して説明する。この時点で検出人物は登録人物ではないことが確定しており、支援が必要な人物であるか否かの判定の対象となるため、これ以降「判定対象人物」と称することとする。判定対象人物についてはＳ３０７の処理に進むが、支援処理の継続中にＳ３０１の処理に戻って、検出処理部２０３が次の人物探索を開始する。

図３（ｂ）はＳ３０７の支援処理の流れを説明するフローチャートである。Ｓ３１１で、動作判定部２０６は、判定対象人物がエリア内に存在（滞在）しているかを判断する。もし、判定対象人物がエリア内に存在していない場合（Ｓ３１１で「ＮＯ」）、本支援処理を終了し、存在している場合（Ｓ３１１で「ＹＥＳ」）、処理はＳ３１２に進む。

本実施形態で想定する飲食店の場合、判定対象人物とは飲食店に来店した顧客であり、Ｓ３１１の判定処理では、判定対象人物に該当する顧客が監視対象エリア１内に留まっていれば処理を継続する。一方、監視対象エリア１から退出した場合には処理を終了する。当該監視対象エリア１は、Ｓ３０２で人物検出処理を行った範囲としてもよく、飲食店の場合、店内全体、客席のある領域、入口等に限定した範囲とすることができる。また、判定対象人物が監視対象エリア１内に存在しない場合、この時点で判定対象人物が注目人物として登録済みであれば、後述するＳ３１８での注目状態終了処理を経て支援処理を終了する。

Ｓ３１２では、動作判定部２０６が判定対象人物の行動解析処理を行い、判定対象人物が支援を必要としているか否かを判断する。この行動解析処理では、判定対象人物の行動を解析して、当該判定対象人物が支援を求める所定の行動や動作を行っているかどうかを判定する。所定の行動、動作には、例えば人を呼ぶ仕草や何かを探す仕草など、支援を必要としていると推測可能な行動や動作が含まれる。ここでの行動解析処理には、判定対象人物が監視対象エリア１内に存在するか否かを判断する処理も含まれており、もし当該エリア内に存在しなくなった場合には支援不要と判断する。

Ｓ３１３では、Ｓ３１２での解析結果に基づいた判定対象人物に対する支援の必要有無に従って処理を分岐する。動作判定部２０６により支援を必要としていないと判定された場合（Ｓ３１３で「ＮＯ」）、本支援処理を終了する。その際、判定対象人物が既に注目状態であれば、後述するＳ３１８での注目状態終了処理を経て支援処理を終了する。一方、支援を必要としていると判定された場合（Ｓ３１３で「ＹＥＳ」）、処理はＳ３１４に進む。

Ｓ３１３で要支援と判定された場合、Ｓ３１４において通知部２０７が情報表示装置４００に表示するための要支援者を示す通知情報を生成し、ＬＡＮＩ／Ｆ部２０１を介して情報表示装置４００に送信する。バックヤード２において店舗スタッフは情報表示装置４００にて通知情報を確認し、要支援と示された人物のところへ支援をしに向かうことができる。表示内容は、例えば店舗スタッフの注意を引くためのアラート画面とし、ネットワークカメラ１００で撮影した映像に要支援者を示す画像を重畳することができる。また、店内の配置図で要支援者の現在場所を示すなどしてもよい。その他、新しい要支援者が発見されたことを音声出力によってスタッフに報知してもよい。情報表示装置４００における表示例は図６を参照して後述する。その後、処理はＳ３１５に進む。

Ｓ３１５では、判定対象人物が未だ注目状態となっていない場合には、注目人物として登録する。例えば、当該人物を特定するための情報（判定対象人物の顔画像から算出した特徴量等）を登録外人物情報データベース３３０に登録する。判定対象人物が注目人物として登録されると、例えばこの人物が店舗内を移動した場合にも、画像データ内で当該人物の行動を追跡し、支援処理を終了するまで当該人物を見失わないようにする。具体的には、ネットワークカメラ１００から受信した画像データについて実行されるＳ３０２からＳ３０４の処理において、注目人物と判定された人物について、以下で説明するＳ３１６における周辺人物解析を継続的に実行する。

Ｓ３１６では、周辺人物解析処理を実行する。この周辺人物解析処理では、注目人物の周辺に現われる別の人物の行動を解析する。周辺人物解析処理の詳細は後述するが、この解析結果から注目人物への支援が完了したか否かを判断する。本実施形態で想定する飲食店の場合、店舗スタッフによる支援を求めている顧客（注目人物）のもとへ店舗スタッフ（周辺人物）が支援をするために駆けつけ、実際に支援が行われたかどうかを判定することができる。

Ｓ３１７では、注目人物に対する支援が完了したか否かによって処理を分岐し、支援完了したと判定された場合（Ｓ３１７で「ＹＥＳ」）処理はＳ３１８へ進み、支援未完了と判定された場合（Ｓ３１７で「ＮＯ」）、処理はＳ３１１に戻って上述の処理を繰り返す。Ｓ３１８では、データベース管理部２０４が、注目人物として登録されていた情報を登録外人物情報データベース３３０から削除することにより注目状態を解除して、本支援処理を終了する。このとき、通知部２０７は、Ｓ３１４で生成し送信していた通知情報から支援完了と判定された人物に関する情報を消去して通知情報を更新し、更新後の通知情報を情報表示装置４００に送信する。これにより、情報表示装置４００おける表示が更新される。

次に、図３（ｂ）Ｓ３１２における行動解析処理の具体例を、図４を参照して説明する。図４は、人を呼ぶ仕草と考えられる挙手の検知方法と、何かを探す仕草と考えられる顔の向きの頻繁な変化の検知方法を説明するための図である。

まず、人を呼ぶ仕草である挙手の検知方法例を説明する。図４（ａ）は顔と手の位置関係を説明する図である。人物の顔は、人物検出時に得られる情報から、おおよその横サイズ（ｗ）と縦サイズ（ｈ）および映像上の顔の中心座標が取得される。取得されたｗ、ｈから係数α、β１、β２を使用して得られる図４（ａ）の斜線範囲内に人の手を検出すると、判定対象人物が挙手していると判断する。

ここでα、β１、β２はこのシステムの仕様環境や用途によって可変な係数であり、基準とする顔の人物が挙手したときの手の位置として考えられる範囲を指定するものである。人の手の検出方法は、公知の機械学習を利用した方法（特開２０１７−５９９４５号公報）、体の輪郭と肌色の部分を利用して検出する方法（特開２００９−２５９１１１号公報）等の高精度の手法を適用することが可能である。また、顔領域の中心部の平均色を算出し、平均色から既定色差内かつ、顔のサイズ（ｗ、ｈ）の既定割合のサイズ領域を人の手として検出する簡易的な方法を適用してもよい。

次に、人を探す仕草の検知方法例を説明する。人が何かを探している仕草の一つとして周囲をキョロキョロと見回す仕草があり、この仕草においては顔の向きが頻繁に変化する。そこで、図４（ｂ）、（ｃ）を参照して、顔の向きの頻繁な変化の検知方法を説明する。

図４（ｂ）は、顔向きのパターンを簡易的に表した図である。判定対象人物の顔をこれらのパターンと照合して類似度が最も高いパターンに相当する向きがそのときの判定対象人物の顔の向きと判断する。この判定対象人物の顔の向きの変化量が多いときに、何かを探している仕草をしているとして検知する。

図４（ｃ）は顔向き変化量に基づくスコア変動を表したグラフである。既定時間間隔内での変化量を積算して得られるスコア（グラフの縦軸）が、既定の閾値を超えると、何かを探している仕草（周囲を見回している動作）を行っていると判定する。スコアの算出は、例えば図４（ｂ）のパターン間の距離を数値に置き換え、既定時間間隔内のパターン間移動量を積算したものを基準とする。説明を簡略化するために図４（ｂ）のＡ、Ｂ、Ｃのパターンを例に挙げる。例えば顔の向きがパターンＡからパターンＢに変化すると移動量１、パターンＡからパターンＣに変化すると移動量２である。既定時間間隔内にパターンＡからパターンＢ（移動量１）、パターンＢからパターンＣ（移動量１）、パターンＣからパターンＡ（移動量２）の変化が見られた場合には積算値は４となる。積算値に応じてスコアが加算されていく。ここで、積算値が０すなわち既定時間間隔内で顔の向きに変化が無い場合にはスコアは減算される。

図４（ｃ）はこのようにして得られたスコアの時間変化を表している。スコアの加算値の元となる積算値は、パターン間の移動量に加えて、移動の方向を考慮した計算方法で算出してもよい。例えばＡ→Ｂ→Ｃと変化した時とＡ→Ｂ→Ａと変化した時では、移動量はどちらも２であるが、移動方向が反転するＡ→Ｂ→Ａで、より積算する値を大きくする（例えば１．５倍）。これにより判定対象人物がキョロキョロしている動作を更に捉えやすいスコア加算とすることができる。

次に、図５を参照して、Ｓ３１６の周辺人物解析処理の詳細を説明する。図５は、周辺人物解析処理の一例を示すフローチャートである。周辺人物解析処理では、注目人物を基準にした所定の周辺領域内に存在する人物の行動を解析することにより、注目人物への支援が完了したか否かを判定することができる。

Ｓ５０１で、検出処理部２０３が注目人物の周辺領域内に注目人物以外の人物が存在するかどうかを監視する。ここで周辺領域とは、画像データにおける注目人物の周辺の領域であって、店舗スタッフが注目人物を支援しようとする場合に、その存在を検出可能な大きさを有していればよい。ここでの処理は、当該周辺領域にＳ３０２と同様の手法を適用することにより実施できる。あるいは、画像データに含まれる人物を検出し、人物が周辺領域の境界線を超えて、周辺領域内に入ったことを検知した場合に、当該人物が周辺領域内に存在すると判定してもよい。検出処理部２０３が、周辺領域において人物を検出した場合（Ｓ５０２で「ＹＥＳ」）、処理はＳ５０３に進む。一方、周辺領域において人物を検出しない場合（Ｓ５０２で「ＮＯ」）、処理はＳ５０１に戻り、監視を継続する。

Ｓ５０３では、周辺領域内において存在が検出された人物が登録人物であるか否かを人物照合部２０５が判定する。ここでの人物照合処理は、Ｓ３０５における処理と同様に実施することができる。続くＳ５０４では、Ｓ５０３の結果に基づいて処理を分岐する。検出された人物が登録人物である場合（Ｓ５０４で「ＹＥＳ」）、処理はＳ５０６へ進み、登録人物でない場合（Ｓ５０４で「ＮＯ」）にはＳ５０５へ進む。

Ｓ５０５では、Ｓ５０２で検出された人物が登録人物ではないと判定された場合に、データベース管理部２０４が登録外人物情報データベース３３０に当該人物を非登録人物として人物情報を登録する。当該処理は、注目人物の近くにいるものの登録人物ではない、すなわち支援できる人物ではない人物について、これ以降の処理対象から除外するために実行する。非登録人物として登録されると、検出処理部２０３はその後のＳ５０２における人物検出処理において、当該非登録人物と同一人物は検出された人物に含めないようにする。これにより、当該非登録人物についてＳ５０３以降の処理が繰り返し実行されることを防止できる。

Ｓ５０６では、動作判定部２０６が、時間をカウントアップする。動作判定部２０６は、周辺領域における存在が検出された人物が登録人物であると判明すると、周辺領域における当該登録人物の滞在時間を計測するために計時を開始する。続くＳ５０７では、動作判定部２０６が、周辺領域における登録人物の滞在時間が所定時間以上になったかどうかを判定する。具体的に、計時によるカウント値が所定時間に対応する閾値以上であるか否かを判定する。カウント値が閾値以上の場合（Ｓ５０７でＹＥＳ）、処理はＳ５１０に進む。一方、閾値未満の場合（Ｓ５０７で「ＮＯ」）、処理はＳ５０８に進む。

Ｓ５０８では、動作判定部２０６が、周辺領域内に存在する登録人物が所定の支援動作を行ったか否かを判定する。当該所定の支援動作とは、例えば、登録人物である店舗スタッフが顧客の注文を受付ける動作（注文受付動作）や、所定のジェスチャー動作などがある。注文受付動作には、例えば、所定の入力端末５００を操作して顧客から受付けた注文を入力する場合には、当該入力端末５００に対する操作を行う動作が含まれる。また、入力端末５００を使わずに注文票に注文を書き取る場合には、注文を書き取る動作を含むこともできる。これらの動作は通常、両腕を腕を折り曲げて当該端末や注文票を把持する手を体の中央に位置させて行われる。そこで、店舗スタッフの腕の折れ曲がり角度を検出することにより、動作の検出を行うことができる。或いは、店舗スタッフの体の前方に当該端末や注文票、或いは筆記具が位置することになるので、店舗スタッフの体と重畳して位置する端末等の形状を認識することにより動作を検出してもよい。これらの所定の支援動作が行われたかどうかを判定するための情報は、判定情報データベース３２０に登録される。動作判定部２０６は、判定情報データベース３２０から得られた判定用情報を参照して、動作を検出することができる。

また、ジェスチャー動作は、所定の身振り、手振りやポーズなどを含むことができる。店舗スタッフが支援を行った場合に実行すべきジェスチャーが予め決められている場合に、当該ジェスチャーの検出に基づいて支援動作の実行を判定することが可能となる。ジェスチャーが行われたかどうかを判定するための情報は、判定情報データベース３２０に登録される。動作判定部２０６は、判定情報データベース３２０から得られた判定用情報を参照して、店舗スタッフが当該ジェスチャーを実行したかどうかを判定することができる。

また、店舗スタッフが入力端末５００を操作した場合に、当該入力端末５００から、操作が行われたことを示す信号がＬＡＮ６００を介して情報処理装置２００に送信されてもよい。この場合、動作判定部２０６は画像解析処理によらず端末からの信号受信に応じて、所定の支援動作が実行されたと判定することができる。

所定の支援動作が実行されたと判定された場合（Ｓ５０８で「ＹＥＳ」）、処理はＳ５１０に進む。一方、所定の支援動作が実行されたと判定されなかった場合（Ｓ５０８で「ＮＯ」）、処理はＳ５０９に進む。Ｓ５０９では、カウント値が閾値未満であり、かつ、所定の支援動作が実行されていない場合に、上記登録人物がまだ周辺領域内に留まっているか否かを動作判定部２０６が判定する。登録人物が周辺領域内に留まっている場合には処理はＳ５０６に戻り時間をカウントアップする。人物が周辺領域内に留まっていない場合には、上記入場した登録人物に関しては注目人物に対する支援に至らずにその場を離れたと判断できるためステップＳ５１１に進む。

Ｓ５１０では、注目人物に対する支援が完了したと判定し、周辺人物解析処理を終了する。本実施形態で想定する飲食店の場合、店舗スタッフに支援を頼んでいた顧客（注目人物）のもとへ店舗スタッフ（登録人物）が支援をするために到着し、一定時間以上滞在したことが確認でき支援を行ったと解釈できる場合に本処理が実行される。また、店舗スタッフによる所定の支援動作の実行が確認できた場合にも、支援を行ったと解釈できるので本処理が実行される。この後、処理はＳ３１７に進み、支援完了と判定されて支援処理が完了する。

一方、Ｓ５１１では、注目人物に対する支援は未完了であると判定して周辺人物解析処理を終了する。この後、処理はＳ３１７に進み、支援未完了と判定されて、処理はＳ３１１に戻って支援処理が繰り返される。

なお、この一連の処理は、注目人物がステップＳ３０２等で基準とされている監視対象エリア１内に留まっていることを常に監視しながら実行され、注目人物がエリア外に出た場合にはその時点で処理が終了する。また、Ｓ５１１では支援未完了判定を行うこととしたが、Ｓ５０１に戻って、周辺領域の監視を継続してもよい。更に、上記においてＳ５０８とＳ５０９の判定は実行順序を逆にしても、或いは、並列に実行してもよい。また、Ｓ５０８における判定処理を省略して、Ｓ５０９における周辺領域内に留まっているか否かだけを判定してもよい。また、Ｓ５０８及びＳ５０９の処理をＳ５０６及びＳ５０７の処理よりも先に行うようにしてもよい。

次に、図６を参照して情報表示装置４００における通知表示の一例を説明する。図６（ａ）は、ネットワークカメラ１００により撮影された画像を利用した表示の一例を示す。画面６０には、テーブル６０１から６０４までが写っており、それぞれのテーブルの周辺には顧客が着席している。図６（ａ）の例では、テーブル６０１から６０４の順でそれぞれ１番テーブルから４番テーブルと呼ぶこととし、４番テーブル６０４の人物と、１番テーブル６０１の人物とに要支援マーク６０５が示されている。また、メッセージ表示領域６１０には、要支援人物の位置を示す情報が表示される。図６（ａ）の例では、枠６１１及び枠６１２内に要支援と判定された順に４番テーブル６０４と、１番テーブル６１２とに要支援人物が存在することが示されている。画面６０を見た店舗スタッフは、メッセージ表示領域６１０に表示されている順で、より上側に示されている人物を優先して支援に向かうことができる。

図６（ａ）において、枠６１１及び枠６１２の色と、各人物の画像上に重畳された要支援マーク６０５の色とについて、それぞれ対応する色が割り当てられてもよい。例えば、４番テーブル６０４の人物に表示される要支援マーク６０５が赤であれば、枠６１１の枠の色も赤とすることができる。同様に、１番テーブル６０１の人物に表示される要支援マーク６０５が緑であれば、枠６１２の色も緑とすることができる。このようなマークの色と枠の色との対応関係により、どの人物に対してより優先的に支援を行うべきかが直ちに判断可能となる。

また、要支援マーク６０５の表示形態は、表示開始から一定時間が経過した後は点滅表示に切り替えてもよい。更に、経過時間が長くなるほど点滅速度を早くするようにしてもよい。また、要支援マーク６０５が新たに画面６０内に表示された場合、情報表示装置４００は所定の音声を出力して新たな要支援マーク６０５が表示されたことを周囲に報知することができる。

次に、図６（ｂ）は、図６（ａ）の表示を見た店舗スタッフ６０７が４番テーブル６０４の人物に支援を行ったと判定された後の表示の一例を示す。図６（ｂ）では、４番テーブル６０４の人物の周辺領域に店舗スタッフ６０７の存在が確認され支援が実行されたと判定されたので、４番テーブル６０４の人物からは要支援マーク６０５の表示が消えている。それに伴い、メッセージ表示領域６１０からも、枠６１１で示されていた４番テーブルの表示が消え、枠６１３で１番テーブルのみが表示されるだけとなっている。

以上によれば、ネットワークカメラ１００で撮影された画像内の人物に対して画像解析に基づき支援が必要であるかを判定し、必要と判定された人物についてはそれを外部に報知して、支援を要請することができる。また、支援が必要と判定された人物については、当該人物との関連で更に画像解析を継続して支援が実行されたかどうかを継続的に判定する一方で、支援が不要な人物については当該更なる画像解析を行わない。更に、支援の実施が検知されると更なる画像解析を終了する。これにより、支援が必要な人物についてのみ追加的に画像解析を実行する一方、支援が不要な人物については追加的な画像解析を省略することができるので、処理の効率化を図ることができる。

［実施形態２］
上記実施形態１では、画像データに含まれた人物一人ずつについて、支援が必要であるか否かを判定した。しかし、例えば、飲食店のような場合、１つのテーブルを囲んでいる複数の人物は１つのグループを形成するものとみなすことができる。この場合、グループに含まれる人物を個々に支援が必要であるか否かを判定するよりもグループに含まれる人物をひとまとめとして支援が必要であるか否かを判定し、支援が実行されたかどうかを判定した方が効率のよい場合がある。そこで、本実施形態では、複数人をまとめて１つのグループとして処理を実行する場合について説明する。

図７（ａ）は、飲食店内の様子を撮像した画像を例示した図である。画像７０は、ネットワークカメラ１００で撮像した店内の様子を示す画像の一例である。当該画像は図６に示したものと同じである。画像７０内には飲食店内に設置された４つのテーブルと、各テーブルを使用する人物が写っている。各テーブルの周囲には領域７０１から７０４が設定されており、各領域を点線で示している。

例えば領域７０１には、テーブル７１１の周りに４人が着席しているが、そのうち人物７１２が手を挙げて店舗スタッフ（店員）７０５を呼んでいる。このとき、当該人物７１２はテーブル７１１の周りに着席している４人を代表して店舗スタッフ７０５を呼んで支援を求めていると考えられる。また、この支援要請に応じて店舗スタッフ７０５がテーブル７１１に向かう場合、人物７１２だけでなくテーブル７１１の人物全員の注文に対応することが当然に予定される。

このような場合、支援が必要であるかをテーブル７１１付近の複数の人物の全員について判定する必要が無く、いずれかの人物について支援が必要と判定できれば、残りの人物については支援要否の判定を省略してもよい。また、支援が完了したか否かについても個々の人物単位に判定する必要はなく、テーブル単位で行えばよい。例えば、手を挙げて店舗スタッフ７０５を呼んだのは人物７１２であるかもしれないが、店舗スタッフ７０５がテーブル７１１に注文を取りに来たときには人物７１３に最も近く位置するかもしれない。その場合であっても、テーブル単位、即ち、テーブル周辺に着席しているいずれかの人物との関連で支援が完了したかどうかを判定すればよい。これにより、テーブル単位（複数の人物からなるグループ単位）で支援の必要性を判定し、テーブル単位（グループ単位）で支援が完了したか否かを判定することができる。

そこで本実施形態では、図７（ａ）の画像７０に示すように、画像を複数の所定領域７０１から７０４に予め区分けしておき、それぞれの領域において存在が検出された複数の人物からなるグループついて、グループに含まれる人物のいずれかが要支援であるか否かを判定する。そして、グループに含まれる人物のいずれかが要支援と判定された場合には、他の人物については判定を省略する。その一方で、要支援と判定された人物を含む領域内に存在する全ての人物を注目人物として、周辺人物解析処理を実行する。そして、グループに含まれる人物のいずれかについて支援の実行が確認できた場合には、当該人物を含めてグループに含まれる全人物について注目状態を終了する。

具体的に、図３（ａ）の処理では、領域７０１から７０４のそれぞれについて、人物検出を行う。その場合、椅子に着席している人物は登録人物である可能性は低いので、Ｓ３０５における人物照合を省略して、直ちにＳ３０７の支援処理を実行してもよい。また、Ｓ３０４における注目状態であるか否かの判定では、グループ単位に判定を行う。例えば、あるテーブルに着席している４人の人物については、全員が注目人物であるか、或いは、全員が注目人物でないか、のいずれかの判定結果となる。

また、図３（ｂ）の処理では、領域７０１から７０４のそれぞれについて、各領域内で検出された人物の全てについて行動解析を行い、要支援と判定された人物が検出された各領域内にいる他の全ての人物を注目状態とする。その上で、Ｓ３１６の周辺人物解析処理を行って、いずれかの人物との関連で支援完了と判定されれば、当該領域内の全人物の注目状態を終了する。Ｓ３１６の周辺人物解析処理については、領域内のいずれかの人物との関連で支援完了か未完了かが判定される。

また、図７（ａ）では、飲食店の場合についてテーブル単位で画像を複数の所定領域に区画する場合を示したが、発明の実施形態はこれに限定されるものではない。例えば、人物間の距離に基づいて、複数の人物をグループ化してもよい。行動を共にしている人物同士は、そうでない人物に比べてその距離が近くなることが一般的であるので、本システムが提供される施設の種類に応じた所定距離を設定し、人物間距離が所定距離よりも短い人物同士をグループ化することができる。このグループ化手法は、図７（ａ）で示すようなテーブルが配置されておらず、人物のみが監視対象エリア１内に存在している場合に有効である。

次に、図７（ｂ）を参照して、本実施形態における情報表示装置４００による通知表示の一例を説明する。図７（ｂ）は、図６（ａ）を本実施形態に対応させて変形した図であり、ネットワークカメラ１００により撮影された画像を利用した表示の一例を示す。図７（ｂ）では、変更のない部分については図６（ａ）で使用した参照番号をそのまま用いている。図６（ａ）では、４番テーブル６０４の人物と、１番テーブル６０１の人物とに要支援マーク６０５が示されていた。これに対し、本実施形態に対応する図７（ｂ）では、人物単位ではなくテーブル単位（複数の人物からなるグループ単位）に要支援マーク７２１が示される。これにより画面６０を見た店舗スタッフは、どのテーブル（グループ）に対して支援に向かえばよいのかを直ちに把握することが可能となる。

図７（ｂ）のような表示形態においても、枠６１１及び枠６１２の色と、要支援マーク７２１の色とを１対１で対応させてもよい。また、点滅表示や音声出力についても実施形態１と同様に適用することができる。

本実施形態における複数の人物をグループ化して行う処理は、実施形態１の個々の人物について行う処理と組み合わせて実行することができる。例えば、監視対象エリア１は、テーブルがある領域と、テーブルがない領域が存在する場合もあり、そのような場合にはテーブルのある領域については本実施形態の処理を行い、テーブルのない領域については実施形態１の処理を行ってもよい。また、人物間距離に基づいてグループ化を行なう場合に、グループ化できなかった個々の人物については実施形態１の処理を行い、グループ化できた人物については本実施形態の処理を行うことができる。

以上によれば、画像内の所定領域内に存在する複数の人物を１つのグループとしてグループ化して扱うことができ、処理を省略しつつ、支援が必要であるか否かを判定する必要のない人物に対してその処理を継続することを回避することが可能となる。

その他の実施例

本発明は、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：ネットワークカメラ、２００：情報処理装置、３００：データベース装置、４００：情報表示装置、５００：入力端末、６００：ＬＡＮ

Claims

入力された画像を解析し、前記画像に含まれる人物を検出する検出手段と、
前記検出された人物が予め登録された人物であるか否かを判定する人物判定手段と、
前記人物判定手段が前記予め登録された人物でないと判定した人物が、支援を求める第１の動作を行ったか否かを判定する動作判定手段と、
前記動作判定手段が前記第１の動作を行ったと判定した第１の人物に関する通知を外部装置に出力する出力手段と
を備え、
前記検出手段は、前記動作判定手段が前記第１の動作を行ったと判定した前記第１の人物に関連する更なる画像解析を実行する
ことを特徴とする情報処理装置。
前記第１の動作は、周囲を見回す動作と、手を挙げる動作とのうち少なくともいずれかを含むことを特徴とする、請求項１に記載の情報処理装置。
前記検出手段は、前記第１の人物に関連する更なる画像解析により、前記第１の人物の周辺領域における第２の人物の存在を検出することを特徴とする請求項１または２に記載の情報処理装置。
前記検出手段は、前記第２の人物が前記周辺領域に滞在している時間が所定時間以上であるか否かを更に検出することを特徴とする請求項３に記載の情報処理装置。
前記検出手段が前記第２の人物が前記周辺領域に滞在している時間が前記所定時間以上であることを検出した場合に、前記出力手段は前記外部装置への前記第１の人物に関する通知の出力を終了することを特徴とする請求項４に記載の情報処理装置。
前記検出手段は、前記第２の人物が前記周辺領域において支援のための第２の動作を実行したか否かを更に検出することを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
前記検出手段は、前記第２の人物の有する端末から当該端末が操作されたことを示す情報を受信した場合に、前記第２の動作が実行されたことを検出することを特徴とする請求項６に記載の情報処理装置。
前記検出手段が前記第２の人物が前記第２の動作を実行したことを検出した場合に、前記出力手段は前記外部装置への前記第１の人物に関する通知の出力を終了することを特徴とする請求項６または７に記載の情報処理装置。
前記第２の人物は、前記予め登録された人物であることを特徴とする請求項３から８のいずれか１項に記載の情報処理装置。
前記動作判定手段は、前記人物判定手段が前記予め登録された人物でないと判定した複数の人物からなるグループに含まれるいずれかの人物が前記第１の動作を行ったか否かを更に判定し、
前記動作判定手段が前記グループに含まれるいずれかの人物が前記第１の動作を行ったと判定した場合に、前記出力手段は、前記外部装置に前記グループに関する通知を出力し、
前記検出手段は、前記グループに含まれる前記複数の人物のそれぞれを前記第１の人物として、該第１の人物に関連する更なる画像解析を実行する
ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
前記グループは、前記検出手段が検出した複数の人物のうち、人物間の距離が所定の距離よりも短い人物同士をグループ化することにより形成されることを特徴とする請求項１０に記載の情報処理装置。
前記グループは、前記入力された画像における所定の領域で前記検出手段が検出した複数の人物をグループ化することにより形成されることを特徴とする請求項１０に記載の情報処理装置。
前記動作判定手段は、前記グループに含まれるいずれかの人物について前記第１の動作を検出した場合、前記グループに含まれる他の人物については前記第１の動作の検出を行わないことを特徴とする請求項１０から１２のいずれか１項に記載の情報処理装置。
請求項１から１３のいずれか１項に記載の情報処理装置と、
監視対象のエリアを撮像して画像を生成し、前記情報処理装置に入力する撮像装置と、
前記情報処理装置の出力手段が出力した情報を受信して表示する表示装置と
を備えるシステム。
情報処理装置の制御方法であって、
検出手段が、入力された画像を解析し、前記画像に含まれる人物を検出する検出工程と、
人物判定手段が、前記検出された人物が予め登録された人物であるか否かを判定する人物判定工程と、
動作判定手段が、前記人物判定工程において前記予め登録された人物でないと判定された人物が、支援を求める第１の動作を行ったか否かを判定する動作判定工程と、
出力手段が、前記動作判定工程において前記第１の動作を行ったと判定した第１の人物に関する通知を外部装置に出力する出力工程と、
前記検出手段が、前記動作判定工程において前記第１の動作を行ったと判定された前記第１の人物に関連する更なる画像解析を実行する工程と
を含むことを特徴とする情報処理装置の制御方法。
コンピュータを請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。