JP2019082450A - 情報処理装置、通知システム、方法及びプログラム - Google Patents

情報処理装置、通知システム、方法及びプログラム Download PDF

Info

Publication number
JP2019082450A
JP2019082450A JP2017211208A JP2017211208A JP2019082450A JP 2019082450 A JP2019082450 A JP 2019082450A JP 2017211208 A JP2017211208 A JP 2017211208A JP 2017211208 A JP2017211208 A JP 2017211208A JP 2019082450 A JP2019082450 A JP 2019082450A
Authority
JP
Japan
Prior art keywords
person
information
image
processing apparatus
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017211208A
Other languages
English (en)
Inventor
伊藤 幹
Miki Ito
幹 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017211208A priority Critical patent/JP2019082450A/ja
Publication of JP2019082450A publication Critical patent/JP2019082450A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】客が目的地に到達するまでの経路の状況を把握し、客を効率よく当該目的地へ誘導することを支援することができる技術を提供する。【解決手段】情報処理装置であって、処理対象画像において人物を特定し、当該人物の登録情報を取得する人物特定手段と、前記処理対象画像の撮像位置に基づく前記人物の現在位置から、前記登録情報から得られる前記人物が到達しようとしている目的地までの経路を特定する経路特定手段と、特定された前記経路を辿って前記目的地に到達するのに要する所要時間と、前記登録情報から得られる前記人物が前記目的地に到達すべき時間的期限とに基づき、前記人物についての時間的な余裕度を判定する判定手段と、前記判定手段が判定した余裕度に応じた通知を送信する通信手段とを備える。【選択図】 図1

Description

本発明は、 情報処理装置、通知システム、方法及びプログラムに関する。
イベント運営、列車やバスの運行、航空機や船舶の運航などにおいては、客を適切に所定の場所まで誘導し、定時にイベントを開始する、或いは、列車や航空機等を定時に出発・出航させていく必要がある。
例えば、航空機の運航については、空港における航空機の定時運行率が重要となっており、航空会社は定時運行率を上げるために様々な施策を行っている。具体的には航空会社は搭乗客を探し出すために場内放送による呼び出しとともに地上職員(空港スタッフ)により搭乗エリア内を捜索するなどの対応を行っている。
これらの取り組みと関連して、特許文献1では、搭乗客を保安ゲートにて撮影を行い、追跡管理して搭乗客の位置を把握するシステムが提案されている。また、特許文献2では、さらに、搭乗客を登録しているデータベースの容量を削減しつつ、搭乗客を効率よく探し出すシステムが提案されている。
特許第4528262号公報 特許第5568153号公報
しかし、搭乗客が搭乗口に到着し、搭乗できるようになるためには、国際線で言えば、チェックイン、保安検査場、出国審査、など様々な手続きを経る必要がある。その際、搭乗客の到着した場所、空港内の混雑の状況、搭乗するべきフライト便の状況の変化など、その時の状況によって、搭乗客が取るべき対応、さらに航空会社が取るべき対応が異なってくる。
同様に、所定の施設などでイベント運営を行う場合も、客が到着した場所、施設内の混雑の状況、イベントの運営状況の変化など、その時の状況によって、客が取るべき対応、さらに運営会社が取るべき対応が異なってくる。
そこで本発明は、客が目的地に到達するまでの経路の状況を把握し、客を効率よく当該目的地へ誘導することを支援することができる技術を提供することを目的とする。
上記課題を解決するための発明は、情報処理装置であって、
処理対象画像において人物を特定し、当該人物の登録情報を取得する人物特定手段と、
前記処理対象画像の撮像位置に基づく前記人物の現在位置から、前記登録情報から得られる前記人物が到達しようとしている目的地までの経路を特定する経路特定手段と、
特定された前記経路を辿って前記目的地に到達するのに要する所要時間と、前記登録情報から得られる前記人物が前記目的地に到達すべき時間的期限とに基づき、前記人物についての時間的な余裕度を判定する判定手段と、
前記判定手段が判定した余裕度に応じた通知を送信する通信手段と
を備える。
本発明によれば、客が目的地に到達するまでの経路の状況を把握し、客を効率よく当該目的地へ誘導することを支援することができる技術を提供することができる。
発明の実施形態に対応する通知システム10の構成例を示す図。 発明の実施形態に対応する情報処理装置200のハードウェア構成例を示す図。 発明の実施形態に対応するデータベース装置300における、ユーザ情報データベース310、フライト情報データベース320、及び搭乗者情報データベース330のそれぞれにおけるデータ構成の一例を示す図。 発明の実施形態に対応する、通知システム10におけるネットワークカメラ100が実行する処理の一例を示すフローチャート、及び、検出人物情報のデータ構造の一例を示す図。 発明の実施形態に対応する、通知システム10における情報処理装置200が実行する処理の一例を示すフローチャート。 発明の実施形態が適用される施設内の様子及びネットワークカメラの配置例を示す図。 発明の実施形態に対応する経路設定処理を説明するための図。 発明の実施形態に対応する情報表示装置500Aに表示される画面の一例を示す図。 発明の実施形態に対応する情報表示装置500Bに表示される画面の一例を示す図。 発明の実施形態に対応する情報表示装置500B及び500Cに表示される画面の一例を示す図。 発明の実施形態に対応する、通知システム10における情報処理装置200が実行する処理の他の一例を示すフローチャート。
以下、添付の図面を参照して、発明の実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図1は、発明の実施形態に対応する通知システム10の構成例を示す図である。当該通知システム10は、ネットワークカメラ100、情報処理装置200、データベース装置300、サーバ装置400、情報表示装置500がネットワーク回線であるLAN600によって相互接続されて構成されている。図1に示した通知システム10の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
まず、ネットワークカメラ100は、撮像センサ部101、現像処理部102、符号化部103、人物検出処理部104、LANインタフェース(I/F)部105を含むように構成することができる。撮像センサ部101は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するA/D変換器を含んで構成される。現像処理部102は、撮像センサ部101から出力されたデジタル画像信号に対して、所定の現像処理を実行する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。
符号化部103は、現像処理部102が出力したデジタル画像信号を圧縮・符号化して、サーバ装置400に提供する配信用の画像データを生成する。生成される画像データには、ネットワークカメラ100の識別情報(カメラID)、設置場所の情報(位置情報)、撮影時刻情報等が含まれる。符号化部103は画像データ生成時にフレームレートの設定も行う。ここで、配信用の画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。
人物検出処理部104は、現像処理部102から出力されたデジタル画像を解析して、デジタル画像に含まれる人物に関する情報を検出する。検出対象となる人物情報は、例えば、顔、上半身、下半身、全身、後姿等の画像データが含まれる。当該画像データは、撮像画像から人物の含まれる領域を抽出した画像データであってもよい。また人物情報は、画像データそのものではなく、当該画像から所定の演算に基づいて得られた特徴量であってもよいし、画像データと特徴量との両方を含んでいてもよい。人物情報が画像データを含む場合、当該画像データは、符号化部103で行うのと同様に圧縮符号化処理が施され、例えば静止画の場合にはJPEG画像データが含まれる。検出された人物情報は、当該人物を撮影したネットワークカメラ100のカメラID、位置情報及び撮影時刻情報等と共に、情報処理装置200に提供される。ここで生成される情報を「人物検出情報」という。
ここで、人物検出処理部104は、ネットワークカメラ100が備えている構成以外に、外部装置、例えばサーバ装置400が備えていても良い。その場合、人物検出処理部104が実行する機能の一部をネットワークカメラ100が実行し、残りの機能をサーバ装置400で実行してもよい。
LAN I/F部105は、符号化部103から出力された画像データや、人物検出処理部104が生成した人物検出情報を、LAN600を介して情報処理装置200やサーバ装置400に送信するための通信インタフェースである。LAN I/F部105は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。
次に、情報処理装置200の構成について説明する。情報処理装置200は、LAN インタフェース(I/F)部201、復号化部202、認証部203、情報抽出部204、経路情報取得部205、フライト情報取得部206、通知部207を含むように構成することができる。
LAN I/F部201は、LAN600を介してネットワークカメラ100、サーバ装置400と通信する。復号部202はネットワークカメラ100、またはサーバ装置400からLAN600を介して取得した人物検出情報に含まれる画像データを、伸張し復号してデジタル画像信号を復元する。復号されたデジタル画像信号は認証部203に出力される。
認証部203は、人物検出処理部104が生成した人物検出情報と、ユーザ情報データベース310に登録されている後述の人物特定用情報とに基づき、撮像された人物を特定するための人物特定のための認証処理を行う。この認証処理の詳細は後述する。情報抽出部204は、データベース装置300の各データベースから登録情報を抽出し、必要に応じて各処理部に提供する。
経路情報取得部205は、空港構内の混雑状況、保安検査場や出国審査の列の長さ(待ち時間)など、搭乗客がフライト便の搭乗口に至るまでの経路についての情報(これらをまとめて以下では「混雑情報」と呼ぶ。)を混雑検知や行列検知など機能を備えた外部システムから取得する。当該外部システムは、例えば、サーバ装置400であってもよい。この経路についての情報は、それぞれの混雑している場所、行列を通過するための推定時間を含む。
フライト情報抽出部206は、データベース装置300のフライト情報データベース320から、各航空会社からの各フライト便の出発や搭乗口などのフライトに関わる情報を定期的に抽出し保持する。例えば出発時刻の変更等によりフライト情報データベース320の内容が変更される場合、フライト情報抽出部206が保持している情報も更新される。
通知部207は、認証部203、経路情報取得部205、フライト情報取得部206から提供される情報に基づき、認証部203で認証され検出された搭乗予定者に関連して通知を行うか否かを判定する。また、判定結果に従って、通知情報を生成し、LANI/F201を介して各送信先に送信する。通知情報の詳細は、図8から図10を参照して後述する。
データベース装置300は、情報処理装置200が本実施形態に対応する処理を実行するに際して参照する情報が登録されたデータベースであって、ユーザ情報データベース310、フライト情報データベース320、搭乗者情報データベース330等を含むことができる。データベース装置300は情報処理装置200に接続される構成となっているが、ネットワークインターフェースを備え、LAN600上に接続されていてもよい。その場合、情報処理装置200とデータベース装置300との通信は、LAN I/F部201を介して行われる。
ユーザ情報データベース310は、本通知システム10のユーザの情報を登録しているデータベースである。フライト情報データベース320は、フライトに関する情報を登録しているデータベースである。搭乗者情報データベース330は、各フライトの搭乗予定者に関する情報を登録しているデータベースである。これらのデータベースにおけるデータ構造の詳細は図3を参照して後述する。
サーバ装置400は、ネットワークカメラ100で生成した画像データを保持し、管理する。また、ネットワークカメラ100の設置場所に関する情報(位置情報)を管理する。また、ネットワークカメラ100から提供された画像を解析し、空港構内の混雑状況、保安検査場や出国審査の列の長さ(待ち時間)などを判定し、リアルタイムの情報として保持する。
情報表示装置500Aから500Cは、それぞれ情報処理装置200から送信された情報を表示する装置であって、例えばパーソナルコンピュータ(PC)やタブレット端末、スマートフォン端末等により実現することができる。情報表示装置500は、LAN600との接続を有線、無線のうち、いずれにおいて行ってもよい。無線は、例えばIEEE802.11の無線LANの規格に従うことができる。以下に説明する本実施形態では、情報表示装置500Aを搭乗予定者が携帯する携帯端末とし、情報表示装置500Bを空港スタッフが携帯する携帯端末とし、情報表示装置500Cを空港スタッフが見ることのできる一覧表示装置としてのパーソナルコンピュータとする。
図1に示す通知システム10構成において、ネットワークカメラ100の台数は1台以上の任意の数とすることができ、台数に限定はない。情報処理装置200、データベース装置300、サーバ装置400、及び情報表示装置500は、単一の装置により実現される場合だけでなく、それぞれ複数の装置が協働して各機能を実現してもよい。また、図1では、情報処理装置200とサーバ装置400とを独立の構成として示したが、情報処理装置200がサーバ装置400の機能もあわせて実現しても良い。
次に、本実施形態に対応する通知システム10を構成する情報処理装置200の概略構成を説明する。図2は、情報処理装置200のハードウェア構成の一例を示すブロック図である。上述した情報処理装置としてのデータベース装置300、サーバ装置400及び情報表示装置500も、同様或いは同等のハードウェア構成として構成しても良い。
図2において、CPU210は、ハードディスク装置(以下、HDと呼ぶ)215に格納されているアプリケーションプログラム、オペレーティングシステム(OS)や制御プログラム等を実行し、RAM212にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、ネットワークカメラ100又はサーバ装置400から提供され、RAM212に記憶された検出人物情報、及び、データベース装置300から取得した情報に基づき本実施形態に対応する処理を実行する。さらには、インタフェース(I/F)218を介した外部の情報表示装置500とのデータ送受信を制御する。なお、後述する図4、図5及び図11における処理もCPU210が対応する処理プログラムを実行することにより装置全体を制御して実現される。
ROM211は、内部に基本I/Oプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。RAM212は各種データを一時記憶し、CPU210の主メモリ、ワークエリア等として機能する。また、データベース装置300やサーバ装置400から受信した情報を一時的に記憶する。
外部記憶ドライブ213は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア(記録媒体)214に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア214は、例えば、フロッピー(登録商標)ディスク(FD)、CD−ROM、CD−R、CD−RW、PCカード、DVD、Blu−ray(登録商標)、ICメモリカード、MO、メモリスティック等を利用することができる。
外部記憶装置215は、本実施形態では大容量メモリとして機能するHD(ハードディスク)を用いている。HD215には、アプリケーションプログラム、OS、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ(登録商標)メモリ等の不揮発性記憶装置を用いても良い。
指示入力装置216は、キーボードやポインティングデバイス(マウス等)、タッチパネル等がこれに相当する。出力装置217は、指示入力装置216から入力されたコマンドや、それに対する情報処理装置200の応答出力等を出力する。出力装置217にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス219は、情報処理装置内のデータの流れを司る。
インタフェース(以下、I/Fという)218は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、I/F218は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、RF送受信器、1つ以上の増幅器、同調器、1つ以上の発振器、デジタル信号プロセッサ、CODECチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは1つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、USBやIEEE1394等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているHD215からRAM212にロードするようにしてもよい。また、本実施形態に係るプログラムをROM211に記録しておき、これをメモリマップの一部をなすように構成し、直接CPU210で実行することも可能である。さらに、メディア214から対応プログラム及び関連データを直接RAM212にロードして実行させることもできる。
次に、図3を参照して、データベース装置300における各データベースのデータ構造について説明する。まず、図3(A)は、ユーザ情報データベース310のデータ構造の一例を示すテーブルである。ユーザ情報データベース310は、本通知システム10のユーザに関する情報として、ID311、氏名312、パスポート番号313、人物特定用情報314、自動化ゲート登録315が登録されている。これらの登録情報には、本実施形態に対応する通知システム10のサービスを受けようとするユーザがサービス登録を行う際に事前に入力した情報と、本通知システム10の実施に当たって新たに生成、取得された情報とが含まれる。
ID311には、データベース内で個々の登録ユーザを一意に特定可能とする識別情報が登録される。ID311には、識別情報と対となっているパスワードを含めることができる。氏名312は、各登録ユーザの氏名が登録される。パスポート番号313は、各登録ユーザのパスポート番号の情報が登録される。
人物特定用情報314は例えば、登録ユーザの画像データを含むことができる。当該画像データは、例えばパスポート写真やユーザがサービス登録時等に提供した画像データの他、チェックインカウンタで撮影された画像や、本通知システム10において過去に撮影され、人物特定に使用した顔画像の画像データを含んでいてもよい。本実施形態では、顔だけでなく、全身から得られる特徴を利用してもよい。そこで、人物特定用情報314には、顔画像の他、全身画像、上半身、下半身等の画像を含めることができる。
また、人物特定用情報314は、画像データの形式だけではなく、画像から算出される特徴量の形式であってもよい。例えば、顔画像の代わりに、顔画像から抽出される特徴量を算出しておき、これを人物特定用情報としてもよい。また、全身について特徴量を計算しておき、監視カメラ画像で得られた画像から算出される特徴量と比較することができる。さらに、画像データ以外の利用者の個人情報(生年月日、住所、年齢、性別、職業等)を登録することもできる。
自動化ゲート登録315には、利用者が自動化ゲート登録を行っているか否かを示す情報が登録される。自動化ゲート登録を行っている場合には「済」を表す値が登録され、登録を行なっていない場合は「未登録」を表す値が登録される。自動化ゲート登録の有無は、経路判定の際に参照される。
図3(A)に示した情報はあくまで一例であって、ここに示す以外の情報をユーザ情報として登録することができる。例えば、ユーザの電話番号、メールアドレス等の他、さらに他の情報を含めることもできる。
次に、図3(B)は、フライト情報データベース320のデータ構造の一例を示すテーブルである。フライト情報データベース320は、各航空会社からの各フライト便の出発や搭乗口などのフライトに関わる情報を取得し、登録するデータベースである。フライト情報データベース320の登録内容は、フライトに関連する状況の変化に応じてリアルタイムに更新され、常に最新の情報が登録される。
フライト情報データベース320は、フライトに関する情報として、フライトID321、便名322、航空会社323、出発時刻324、搭乗開始時刻325、搭乗ゲート326、搭乗者リスト327を登録する。フライトID321には、各フライトを一意に特定可能とする識別情報が登録される。便名322には、フライトIDと関連づけられる便名が登録される。航空会社323には、対応する航空便を運航している航空会社名が登録される。出発時刻324には、対応する便の出発時刻の情報が登録される。出発時刻に遅延が生じた場合には、遅延後の情報により随時更新される。搭乗開始時刻325には、対応する便の搭乗開始時刻の情報が登録される。搭乗ゲート326には、搭乗客が飛行機に搭乗を行うゲートを特定するための情報(一般にはゲート番号)が登録される。搭乗ゲートの変更があった場合は、随時変更後の搭乗ゲートの情報により更新される。
搭乗者リスト327には、対応する便に搭乗予定の搭乗客のリストを特定するためのリストIDが登録される。当該リストIDに基づいて、搭乗者情報データベース330において、対応する便に搭乗予定の搭乗客を特定することができる。また、図3(B)に示した情報はあくまで一例であって、ここに示す以外の情報をフライト情報として登録することができる。
次に、図3(C)は、搭乗者情報データベース330のデータ構造の一例を示すテーブルである。搭乗者情報データベース330は、各便の搭乗予定者に関する情報として、リストID331、搭乗者ID332、クラス333、座席番号334、チェックイン状況335が登録されている。リストID331には、同一の便に搭乗する予定の搭乗者に対して共通に付与される識別情報であって、フライト情報データベース320の搭乗者リスト327に登録されているリストIDに対応する情報が登録される。搭乗者IDには、リストID331とフライト情報データベース320で関連づけられている便に搭乗する予定の搭乗者を一意に識別するための識別情報が登録される。ここで、搭乗者IDを、例えば図3(A)のユーザ情報データベース310に登録されたID311やパスポート番号313と同一の情報としてもよい。これにより便に搭乗する搭乗者とユーザ情報とを紐付けることができる。
クラス333には、対応する搭乗者の座席のクラスの情報が登録される。例えばビジネスクラスであればB、エコノミークラスであればEが登録される。座席番号334には、搭乗者が座る予定の座席番号が登録される。チェックイン状況335には、当該搭乗者が既にチェックイン手続を完了させているかどうかを示すフラグが登録される。当該フラグ値は、搭乗予定者がチェックイン手続を完了するとリアルタイムに更新される。
次に、本実施形態の通知システム10における動作の詳細を説明する。図4(A)は、発明の実施形態に対応する通知システム10におけるネットワークカメラ100が実行する処理の一例を示すフローチャートである。
まず、S401において、ネットワークカメラ100は、その設置位置において撮像対象となる所定の空間或いは領域の画像を撮像センサ部101が撮像し、現像処理部102にデジタル画像信号を出力する。現像処理部102は所定の現像処理を行った後、処理結果のデジタル画像信号を符号化部103及び人物検出処理部104に出力する。符号化部103は、入力されたデジタル画像信号を圧縮・符号化して画像データを生成し、LAN I/F部105を介してサーバ装置400に送信する。
続くS402では、人物検出処理部104が処理対象のデジタル画像信号(以下、単に処理対象画像という。)に基づき人物検出を行う。ここでは人物検出処理部104が人物の顔を検出することにより人物検出を行う場合を説明する。顔の検出方法は公知の手法を用いることができる。また、人物の顔を検出することができた場合、処理はS403に進む。一方、人物の顔を検出することができなかった場合、処理はS401に戻る。
S403では、人物検出処理部104は、検出した人物についての情報(検出人物情報)を、LAN I/F部105を介してサーバ装置400に送信する。このときの検出人物情報のデータ構造の一例を図4(B)に示す。
検出人物情報410は、当該情報を識別するための識別情報であるID411、画像を検出したネットワークカメラ100を識別するためのカメラID412、ネットワークカメラ100の位置情報413、画像の撮像時刻を示す時刻情報414を含む。また、検出した顔画像、或いは、顔画像から抽出した所定の特徴量を示す人物情報415を含む。人物情報415が画像データを含む場合、静止画像としてJPEG等の形式で圧縮符号化しても良い。また、顔画像の代わりに処理対象のデジタル画像信号において人物の顔が位置する座標の情報を検出人物情報410に含めてもよい。
その後、S401に戻って処理を繰り返す。以上の処理によりネットワークカメラ100では、撮像対象の領域の画像データをサーバ装置400に蓄積すると同時に、人物検出処理を行って、人物が検出された場合には当該人物に関する検出人物情報410をサーバ装置400に送信して蓄積することができる。
発明の実施形態において、ネットワークカメラ100は、検出人物情報410をサーバ装置400だけでなく、情報処理装置200にも並行して送信しても良い。その場合、情報処理装置200は、ネットワークカメラ100から検出人物情報410を受信する度に、人物を特定するための処理を実行できる。但し、以下に説明する実施形態では、サーバ装置400に検出人物情報410を一旦蓄積し、情報処理装置200がサーバ装置400から取得する場合を説明する。
次に、図5を参照してサーバ装置400に蓄積された検出人物情報410に基づき情報処理装置200が実行する処理について説明する。図5は、発明の実施形態に対応する通知システム10における情報処理装置200が実行する処理の一例を示すフローチャートである。本フローチャートに対応する処理は、新規の検出人物情報がサーバ装置400に登録される度に実行されてもよいし、或いは、一定周期において未処理の検出人物情報410を処理するために実行されてもよい。
まず、S501において、情報処理装置200は、サーバ装置400から新規(未処理)の検出人物情報410を取得する。続くS502では、認証部203が、取得した検出人物情報410に基づき、データベース装置300を検索し、検出された人物に相当するユーザを特定する。検出人物情報410には、検出された人物の人物情報415が含まれるので、ユーザ情報データベース310に登録されている人物特定用情報314の中から、人物情報415と最も特徴が一致する人物特定用情報314を有するユーザを特定する。例えば、人物情報415に顔画像が含まれている場合には、当該顔画像と最も類似する顔画像を含む人物特定用情報314を有するユーザを特定する。また、人物情報415に、人物の全身画像、上半身の画像等が含まれている場合も、同様にしてそれらの画像と最も類似する画像を含む人物特定用情報314を有するユーザを特定する。また、画像から得られる特徴には、人物が着用している衣服やバッグ、装飾品等の情報を含むことができるので、これらの情報を補助的に利用することもできる。ここで、ユーザを特定するための画像の比較処理の方法自体は本発明の特徴ではなく、公知の任意の手法を採用することができるので、これ以上の詳細な説明については省略する。
また、ユーザ情報データベース310を検索する際に、フライト情報データベース320、搭乗者情報データベース330を参照し、処理時点以降に搭乗が予定されている搭乗者リストに登録されているユーザに絞り込んで検索を行っても良い。これにより探索範囲を絞り込むことができるので画像検索速度を向上させることができる。また、飛行機に搭乗する予定のないユーザ、例えば見送りや出迎えで空港に来ているユーザを処理対象から除外することができる。
S502における検索の結果、ユーザが特定できた場合(S503で「YES」)、処理はS504に進む。一方、ユーザが特定できなかった場合(S503で「NO」)はS501に戻る。例えば、見送りや出迎えのために空港に来ている人もいるため、これらの人物については人物が特定できなかったとしても問題ない。
続くS504では、S502における結果に従って、ユーザ情報データベース310を更新する。ここでは、S501においてサーバ装置400から取得した検出人物情報410に含まれる人物情報415を、S502で特定された人物の人物特定用情報314に追加する。これにより、人物の最新の画像や特徴量等を人物特定用情報314に追加することができる。
続くS505では、フライト情報取得部206が、S502で特定されたユーザが搭乗するフライトを特定する。S502においてユーザが特定されると、フライト情報取得部206は、当該ユーザに対してユーザ情報データベース310において付与されているID311の情報を取得し、搭乗者情報データベース330において、取得したID311と同じ値を有する搭乗者ID332を特定する。そして、特定した搭乗者ID332と関連づけられているリストID331を取得し、取得したリストID331と同一の値が搭乗者リスト327として登録されているフライトの情報をフライト情報データベース320から取得する。
例えば、S502において検出された人物が「田中一郎」氏であった場合、フライト情報取得部206は、当該人物のID「0001」に基づいて搭乗者情報データベース330においてリストIDとして「List_FL01」を特定し、更にフライト情報データベース320においてフライトID321が「FL01」のフライトを特定することができる。
次に、S506において通知部207は、フライト情報取得部206が取得したフライト情報、及び、検出人物情報410の位置情報413に基づき、ユーザの現在位置から搭乗する便のゲートまでの経路を特定する。本実施形態では、人物を撮像したネットワークカメラ100の撮像位置を、被写体である人物の現在位置とする。
続くS507では、通知部207は、S506で特定した経路と、経路情報取得部205から提供された混雑情報とに基づき、ユーザが現在位置から目的地である搭乗ゲートまでに辿り着くのに要する所要時間と、到達するための時間的期限である最終搭乗時刻とに基づき、時間的な余裕度の有無を判定する。最終搭乗時刻は、例えば、フライト情報の出発時刻324とするか、或いは、出発時刻324の所定時間前(例:5分前)とすることができる。
続くS508において、判定された余裕度の有無に応じて、通知部207が通知を送信する送信対象と、送信する通知内容とを決定する。続くS509では、通知部207がLAN I/F部201を介して決定した通信対象に対して対応する通知内容を送信する。
上記の処理について、図6から図10を参照して以下でより詳細に説明する。まず、図6を参照して、本実施形態のS506における経路特定処理、及び、S507におけるユーザの現在地から搭乗ゲートへ到達するのに要する所要時間の算出処理について詳細に説明する。図6は、発明の実施形態が適用される施設内の様子を簡略的に示すとともに、ネットワークカメラの配置例を示す図である。
図6では、空港施設へは、ターミナル入口601A及び601Bの2つを示している。それぞれの入口にはネットワークカメラ100A及び100Bが設置されている。これらのネットワークカメラ100A及び100Bは、入口から空港内に入場してくる人物の画像を撮像しサーバ装置400に送信すると共に、検出人物情報410を生成してサーバ装置400に送信する。
入口601Aを通過すると、次にチェックインカウンタ602Aから602Eがある。搭乗予定者はチェックインや荷物を預けるために各チェックインカウンタで手続を行うことになる。各チェックインカウンタには、それぞれネットワークカメラ100を設置することができる。例えば、チェックインカウンタ602Aに設置されたネットワークカメラ100Cでは、チェックイン手続を行う搭乗者の画像を撮像することができる。チェックイン手続では搭乗者をパスポートにより特定可能であるので、チェックイン手続を行った時刻とパスポート番号の情報を関連づけて記憶しておけば、撮影時刻に基づき人物を特定することもできる。
また、チェックインカウンタに設置されたネットワークカメラ100は、それぞれのチェックインカウンタにおける混雑度を判定し混雑情報を生成するための画像を撮影する。例えば、チェックインカウンタに並んでいる搭乗予定者の列を撮像して、撮像した画像データをサーバ装置400に送信することができる。サーバ装置400は、当該画像データを解析して、チェックインカウンタにおいてチェックイン手続を完了するために要する時間を算出することができる。チェックインカウンタ602に設置するカメラの台数は、チェックインカウンタの広さや受付窓口の数等に応じて決定することができる。
チェックイン手続が終わると、次に保安検査場を通過することになる。図6では、保安検査場603Aと603Bとの2つを示している。各保安検査場603には、それぞれネットワークカメラ100を設置することができる。例えば、保安検査場603Aに設置されたネットワークカメラ100Dは、保安検査を受ける搭乗者の画像を撮像することができる。設置するカメラの台数は保安検査場の広さや検査ゲートの数等に応じて決定することができる。また、保安検査場に設置されたネットワークカメラ100は、それぞれの保安検査場における混雑度を判定し混雑情報を生成するための画像を撮像する。例えば、保安検査場に並んでいる搭乗予定者の列を撮像して、撮像した画像データをサーバ装置400に送信することができる。サーバ装置400は、当該画像データを解析して、保安検査場を通過するために要する時間を算出することができる。
保安検査場603を通過すると、次に出国審査場604において審査官による出国審査を受ける。出国審査場604にもネットワークカメラ100Eが設置されており、出国審査を受ける搭乗者の画像を撮影することができる。設置するカメラの台数は出国審査場の広さや窓口の数等に応じて決定することができる。また、出国審査場604に設置されたネットワークカメラ100Eは、出国審査場604における混雑度を判定し混雑情報を生成するための画像を撮像する。例えば、出国審査場604に並んでいる搭乗予定者の列を撮像して、撮像した画像データをサーバ装置400に送信することができる。サーバ装置400は、当該画像データを解析して、出国審査場604を通過するために要する時間を算出することができる。
出国審査は審査官による審査によらず、自動化ゲート605でも行うこともできる。自動化ゲートとはパスポートと指紋の照合により、自動的に出入国審査を行うことができるシステムである。自動化ゲート605にもネットワークカメラ100Fが設置されており、自動化ゲート605を利用する搭乗予定者の画像を撮像することができる。設置するカメラの台数は自動化ゲートの広さや端末の数等に応じて決定することができる。また、自動化ゲート605に設置されたネットワークカメラ100Fは、自動化ゲート605における混雑度を判定し混雑情報を生成するための画像を撮像する。例えば、自動化ゲート605に並んでいる搭乗予定者の列を撮像して、撮像画像データをサーバ装置400に送信することができる。サーバ装置400は、当該画像データを解析して、自動化ゲート605を通過するために要する時間を算出することができる。
乗務員専用口606は、主に空港乗務員専用の通用口であり、ネットワークカメラ100Gが設置され、乗務員以外が通行していないかどうかを監視することができる。
出国審査を通過すると、その後は各搭乗ゲートへの通路607が設置されている。参照番号608は搭乗ゲートを示す参照番号であるが、図の簡単のため1つだけ付している。また、飛行機609は、搭乗ゲート608に到着している飛行機を示している。通路607には複数のネットワークカメラ100Hから100Oまでが設置されており、通路の混雑状況を監視している。
次に、図6を参照して、S506における経路特定処理について説明する。ここでは、ターミナル入口601Aにおいて検出された人物(以下、人物Aという)について経路を特定する場合を説明する。人物Aがユーザ情報データベース310に登録されているどのユーザであるかが特定されると、経路情報取得部205は、当該人物Aが搭乗する便のフライト情報の搭乗ゲート326の情報から搭乗ゲート(出発ゲート)を特定する。図6では、ゲート608Gが搭乗ゲートであるとする。
次に、選択されたフライト情報における航空会社323及び、選択された搭乗者情報におけるクラス333及びチェックイン状況335の情報から、チェックインカウンタ602の場所を特定する。例えば、人物Aが田中一郎氏である場合、当該人物は、航空会社AAAのビジネスクラスに搭乗することになっており、チェックイン状況が「未」であるため、該当するチェックインカウンタを選択する。
次に、保安検査場604を選択する。保安検査場604は複数ある場合には、そのうち、チェックインカウンタに最も近いところを選ぶか、或いは、それぞれを選んでもよい。その場合には経路が保安検査場604ごとに分岐して複数設定されることになる。
次に、出国審査につき、出国審査場604か自動化ゲート605を選択する。このとき、人物Aのユーザ情報データベース310の登録情報のうち自動化ゲート登録315を参照して、自動化ゲートを利用可能であるかを判定する。もし、自動化ゲート登録が済みであり、利用可能である場合には、自動化ゲート605を通る経路を選択する。一方、自動化ゲート登録が済んでいない場合には、出国審査場604を通る経路を選択する。出国審査を通過した後は、出国審査場604または、自動化ゲート605から、目的の搭乗ゲート608までの経路を設定する。
経路設定のために考慮する条件として上記では自動化ゲート登録の有無を挙げたが、これ以外にも例えば、トランジット搭乗客であるか否か、国内居住者と外国人とのいずれであるか、乗務員ゲート利用者の場合などを更に追加的に考慮することもできる。
上述の経路設定処理により、図7に示すような2通りの経路701及び702が設定される。経路701は、保安検査場603Aを通過する経路であって、経路702は保安検査場603Bを通過する経路である。
次に、このように設定された経路において人物Aがターミナル入口601Aから目的とするゲート608Gまで到達するのに要する所要時間の計算方法について説明する。まず、経路701については、所定の時間要素の合計値Ttotal1を計算する。各時間要素については、丸印において図7の経路上に示している。
Ttotal1=T1+T2+T3+T5+T7+T9+T10・・・(式1)
T1:ターミナル入口601Aからチェックインカウンタ602Aまで移動するのに要する時間
T2:チェックインに要する時間
T3:チェックインカウンタ602Aから保安検査場603Aまで移動するのに要する時間
T5:保安検査場603Aを通過するのに要する時間
T7:保安検査場603Aから自動化ゲート605まで移動するのに要する時間
T9:自動化ゲート605を通過するのに要する時間
T10:自動化ゲート605から搭乗ゲート608Gまで移動するのに要する時間
次に、経路702については、所定の時間要素の合計値Ttotal2を計算する。ここでも各時間要素については、丸印において図7の経路上に示している。
Ttotal2=T1+T2+T4+T6+T8+T9+T10・・・(式2)
T1:ターミナル入口601Aからチェックインカウンタ602Aまで移動するのに要する時間
T2:チェックインに要する時間
T4:チェックインカウンタ602Aから保安検査場603Bまで移動するのに要する時間
T6:保安検査場603Bを通過するのに要する時間
T8:保安検査場603Bから自動化ゲート605まで移動するのに要する時間
T9:自動化ゲート605を通過するのに要する時間
T10:自動化ゲート605から搭乗ゲート608Gまで移動するのに要する時間
ここで現在時刻をTcurrentとして、予想到着時刻Te1とTe2を以下の式により計算する。
Te1=Tcurrent+Ttotal1・・・(式3)
Te2=Tcurrent+Ttotal2・・・(式4)
そして、最終搭乗時刻をTlasとして、TlasとTe1、Te2を比較することにより、余裕度を判定することができる。このとき以下の4通りの条件が考えられる。
条件1:Tlas>Te1, Tlas>Te2
条件2:Tlas≦Te1, Tlas>Te2
条件3:Tlas>Te1, Tlas≦Te2
条件4:Tlas≦Te1, Tlas≦Te2
上記4つのうち、条件1は、経路701、702のいずれを通過した場合でも、最終搭乗時刻に遅れることなく搭乗ゲートに到着することができる。条件2は、経路701を選択すると最終搭乗時刻に遅れることになるので、経路702を選択すべきである。条件3は、条件2とは逆に、経路702を選択すると最終搭乗時刻に遅れることになるので、経路701を選択すべきである。条件4は、いずれの経路を選択しても最終搭乗時刻には間に合わない。
そこで、条件1の場合には、図5のS507において余裕度が十分にあると判定し、S508ではユーザの携帯端末500Aや、空港スタッフの携帯端末500Bを送信対象とはしない。また、通知情報の生成も行わなくて良い。また、条件2、条件3の場合には、S507において一方の経路を選択した場合に余裕度があると判定し、S508では送信対象を携帯端末500Aとし、通知内容には最終搭乗時刻に間に合う経路情報を含める。このとき時間的にあまり余裕がない旨のメッセージも含める。条件4の場合、S507において余裕度なしと判定し、送信対象にはユーザの携帯端末500Aと共に、空港スタッフが保持する携帯端末500Bを含める。通知内容には、空港スタッフ(フライト運航会社のスタッフ)による誘導に導くための情報を含め、空港スタッフによる誘導により搭乗手続を進める。以上の場合において、情報表示装置500Cにおける表示は常に更新される。
上記では、TlasとTe1、Te2を直接に比較して大小関係を判定していたが、例えば、一定の時間的猶予を持たせることもできる。猶予を時間閾値Th(例えば5分)として表すとする場合、条件1から条件4は以下のように変形することができる。
条件1':Tlas−Te1>Th, Tlas−Te2>Th
条件2':Tlas−Te1≦Th, Tlas−Te2>Th
条件3':Tlas−Te1>Th, Tlas−Te2≦Th
条件4':Tlas−Te1≦Th, Tlas−Te2≦Th
このとき条件1'の場合には、図5のS507において時間的な余裕度が閾値より大きいと判定し、S508ではユーザの携帯端末500Aは送信対象とはしない。また、通知情報の生成も行わなくて良い。また、条件2'、条件3'の場合には、S507において一方の経路を選択した場合に時間的な余裕度が閾値より大きいと判定し、S508では送信対象を携帯端末500Aとし、通知内容には最終搭乗時刻に間に合う経路情報を含める。条件4'の場合、S507において時間的な余裕度が閾値以下と判定し、送信対象にはユーザの携帯端末500Aと共に、空港スタッフが保持する携帯端末500Bを含める。なお、閾値Th=0とすれば条件1から条件4と同じである。
図7では、人物Aという特定の人物について決定した経路を示したが、他の人物(例えば、人物B)については、検出された場所に応じて現在位置が異なるし、また、自動化ゲート登録315、搭乗ゲート326、クラス333の内容に応じて当然に異なる経路が設定される。しかし、その場合にも、チェックインカウンタ602、保安検査場603、出国審査場604、自動化ゲート605の各地点を通過するために要する時間と、各通過地点の間を移動するための移動時間とを合計してターミナル入口から搭乗ゲートまで到達するのに要する所要時間Ttotalを同様に算出することができる。そして、算出された所要時間Ttotalから式3、式4に基づき予想到着時刻Teを算出して、最終搭乗時刻Tlasと比較して上記と同様に通知をどのような形態で行うかを決定することができる。
次に、S509で送信され、各装置において表示される表示画面の例を説明する。情報表示装置500には、本実施形態では、人物が特定された搭乗予定者の使用する携帯端末500Aと、当該人物を誘導する誘導者である空港スタッフが利用する携帯端末500Bと、空港スタッフが利用する一覧表示装置500Cとがある。
携帯端末500Aは、例えば、スマートフォンやタブレット装置、携帯電話などのユーザが利用する端末装置である。例えば、ユーザは所定のアプリケーションソフトウェア(以下、「アプリ」という)を端末装置にインストールしておくことができる。これにより携帯端末500Aは当該アプリを通じてプッシュ通知を受け取ることができ、ユーザはアプリを起動してその内容を確認することができる。また、本通知システム10へのユーザ登録は当該アプリを介して行うことができる。
図8は、情報処理装置200からのプッシュ通知に応じて携帯端末500Aに表示される画面の一例を示した図である。図8(A)は、飛行機の搭乗予定者である携帯端末500Aのユーザに対して、目的地までの経路を示すマップを提供する場合の画面の一例を示す。当該画面は、上記条件2または条件3に該当する場合に生成された通知内容に基づき携帯端末500Aに表示される画面の例である。
画面800において、メッセージ領域801には、ユーザの注意を喚起するために最終搭乗時刻まで時間がないことを示すと共に、目的地までのルートについてマップが提供されている旨を通知するメッセージが表示されている。領域802には、最終搭乗時刻、搭乗予定の便名、搭乗ゲート番号が表示される。マップ803には空港内の地図が示され、現在地804と、ユーザが辿るべき経路805とが示される。マップ803は全体の経路のうちの一部しか表示していないが、現在地の移動に応じて表示する領域を変更していくことができる。また、ユーザが画面上でスワイプするなどの所定のジェスチャー入力を行った場合には、スワイプの方向に合わせてマップ803をスクロールして、他の領域を表示することもできる。
次に、図8(B)は、携帯端末500Aのユーザに対して、空港内のスタッフが誘導する旨を通知する場合の画面の一例を示す。当該画面は、上記条件4に該当する場合に生成された通知内容に基づき携帯端末500Aに表示される画面の例である。画面810において、メッセージ領域811には、最終搭乗時刻まで余裕がないことを示すと共に、空港スタッフが目的地まで誘導する旨を通知するメッセージが表示されている。領域812には、最終搭乗時刻、搭乗予定の便名、搭乗ゲート番号が表示される。領域813には空港スタッフの情報が表示される。予め誘導を行うスタッフの情報をユーザに提示することにより、ユーザに安心感を与えることができる。
空港スタッフの情報として、例えばスタッフの写真814、所属する航空会社名及び名前815が表示される。また、発信ボタン816は、当該スタッフが保持する携帯端末を呼び出すための発信ボタンである。ユーザは発信ボタン816をタップすると発信を行うことができる。通話はユーザの携帯端末500Aと、空港スタッフの携帯端末500Bとの間でアプリ間において、電話回線を使用せずにインターネット経由(モバイル通信、又は、WiFi通信)で実行してもよい。このようなアプリ間通話を利用することで、ユーザは空港スタッフと連絡を取りながらより迅速に効率的に行動することができるようになる。
次に、図9を参照して、空港スタッフが利用する携帯端末500Bにおける画面表示について説明する。携帯端末500Bは、例えば、スマートフォンやタブレット装置、携帯電話などの端末装置であって、携帯端末500Aと共通のアプリがインストールされている。携帯端末500Bは当該アプリを通じてプッシュ通知を受け取り、アプリを起動してその内容を確認することができる。
図9は、情報処理装置200からのプッシュ通知に応じて携帯端末500Bに表示される画面の一例を示した図である。図9に示す各画面は、上記条件4に該当する場合に生成された通知内容に基づき携帯端末500Bに表示される画面の例である。
まず、図9(A)は、携帯端末500Bのユーザである空港スタッフが誘導すべき搭乗予定者の情報を表示する画面の一例を示す。画面900において、領域901には、最終搭乗時刻、搭乗予定の便名、搭乗ゲート番号が表示される。領域902には、誘導が必要な搭乗予定者に関する情報が表示される。写真903は例えばパスポート写真、又は、ネットワークカメラ100で直近に撮影された人物画像が表示される。ここで表示される画像は複数枚であってもよい。また、顔画像だけでなく、上半身画像や全身画像を示しても良い。上半身や全身の画像の場合、直近にネットワークカメラ100が撮像した画像を用いるのがよい。少なくとも、人物を最初に特定するために撮像した処理対象画像の撮像時以降に撮像された画像がよい。上半身や全身画像の場合、顔だけでなく現在の服装等が写っており、搭乗予定者を探す際に大きな手がかりになるからである。また、搭乗予定者の情報として氏名及びパスポート番号904が表示され、その下には搭乗予定者の現在地を表示するためのボタン905が表示されている。空港スタッフがボタン905をタップすると、図9(B)に示すような画面910に表示が切り替る。
図9(B)は、搭乗予定者の現在地を表示するマップを含む携帯端末500Bにおける画面表示の一例を示す。画面910には、写真911と氏名及びパスポート番号912が表示されている。これらは画面900において表示されていたものと同じ内容である。マップ913には、搭乗予定者の現在地914を示す空港内の地図が示され、搭乗予定者の現在位置が地図上に示される。なお、図9(B)には、図8(A)で示した経路805のような経路情報を表示していないが、空港スタッフの携帯端末500Bの画面にも経路情報を表示してもよい。空港スタッフはこのような搭乗予定者の情報と地図上の現在地の情報とに基づき、搭乗予定者を探すことができる。
ここで、図8(B)との関連で搭乗予定者から空港スタッフへの呼び出しを行なう場合について説明したが、搭乗予定者が発信ボタン816をタップした場合、受け手である端末装置500Bには、図9(C)に示すような画面920が表示され、呼び出しを受付ける。画面920では、図9(B)に示した画面910上にポップアップ921が重畳表示されている。ポップアップ921には、呼出元の搭乗予定者の写真と氏名が表示されるとともに、応答ボタン922が表示される。空港スタッフが応答ボタン922をタップすると、搭乗予定者からの呼出に応答して音声通話を開始することができる。
図9(D)は、空港スタッフが搭乗予定者の誘導を開始したか否かを確認するための画面の一例を示す。空港スタッフは搭乗予定者を発見し、誘導を開始すると、その旨を情報処理装置200に通知する。その際に、例えば図9(D)に示すような画面においてOKボタン931をタップすることにより、携帯端末500Bから情報処理装置200に誘導開始通知が送信される。これにより、情報処理装置200側では、搭乗予定者「田中一郎」氏が空港スタッフにより誘導されていることを確認することができる。なお、誘導開始通知は、空港スタッフによる携帯端末500Bの操作によらなくても良い。例えば、ネットワークカメラ100の撮像した画像に基づき、空港スタッフが搭乗予定者を同伴しているかどうかを判定し、同伴していると判定できた場合に誘導が行われていると決定することができる。或いは、情報処理装置200が携帯端末500A及び500Bからアプリを介して位置情報を取得し、当該位置情報に基づいて空港スタッフが搭乗予定者を同伴しているかどうかを判定することもできる。
上記では、図9に示した画面を、アプリからのプッシュ通知に応じて端末500Bに表示される画面として説明した。この場合、空港スタッフは受動的にプッシュ通知が届くのを待っていることになるが、より能動的に誘導すべき搭乗予定者を自ら探しても良い。例えば、図10(A)に示す画面では、その時点において誘導が必要な搭乗予定者のリスト1001が表示されている。このとき、リスト1001に表示される搭乗予定者の順序は、搭乗最終時刻が現在時刻に最も近い順とすることができる。また、搭乗最終時刻が同一の複数の搭乗予定者については、上記の式3、式4で計算した予想到着時刻Te1とTe2が最も遅い順とすることができる。或いは、空港スタッフが使用する携帯端末500Bの現在位置からの距離が近い順としてもよい。この場合、自分の一番近くにいるであろう搭乗予定者を直ちに誘導することが可能となる。図10(A)の表示画面において、いずれかの搭乗予定者の欄をタップすると、例えば図9(A)又は(B)のような画面を表示してもよい。その後の操作及び処理については図9と関連して記載したとおりである。
図10(B)及び(C)は、例えば搭乗ゲートにおける受付窓口に設置され、搭乗手続を管理している空港スタッフにより操作される情報表示装置500Cに表示される画面の一例を示す。ここで、画面1010には搭乗便名、ゲート番号、最終搭乗時刻の情報1011が表示されると共に、搭乗予定者の一覧表1012が表示される。当該一覧表1012には、搭乗便名に対応する搭乗予定者(人物特定を行うべき対象者でもある)の全員がリストされる。
一覧表1012には、搭乗予定者名毎に、ステータスの情報が表示される。当該ステータスには、まず、本通知システム10において画像による人物特定が完了しているかどうかを示す情報が登録される。この人物特定が完了していない搭乗予定者は未だ空港に到着していないことが予想される。図10(B)の場合、先頭の「齋藤吾郎」という搭乗予定者が未だ特定されていないので空港に到着していないと推測できる。一覧表1012では、人物特定が完了していない者が先頭に来るように表示される。
次に、チェックインが完了しているかどうか、保安検査が完了しているかどうか、出国審査が完了しているかどうかがそれぞれ示される。また、通知が行われているかどうか、又、通知が必要であるかどうかも示される。更に、通知が行なわれた場合に誘導が行われているかどうかも示される。人物が特定されているものチェックインが完了していないような「田中一郎」のような人物は、通知を行って誘導を開始すべき対象であることが直ちに分かる。そこで、通知を行う旨を表示する「要」が表示されている。そして、当該人物に対して通知が行われ誘導が開始された場合には、図10(C)の画面1020の一覧表1021に示すように、通知が行われたことを示す「完了」が表示され「田中一郎」氏の誘導が行われていることを示す「誘導中」が表示されるので、搭乗ゲート側でも搭乗予定者の状況をリアルタイムに把握することができる。
また、図10(B)、(C)には示していないが、通知を行なった場合であっても、通知の対象となった搭乗予定者が通知に気づいていない場合、例えば携帯端末500Aのアプリケーションにおいて当該通知が表示された旨の応答が、当該携帯端末500Aから情報処理装置200に返ってこない場合には、通知が未読である旨を表示してもよい。また、図10(B)、(C)に示す一覧表において、任意の人物の欄を選択すると、当該人物に関する詳細情報を表示してもよい。例えば、図8(A)のマップ803に示したような、当該人物の現在位置を示す情報を表示してもよい。
また、最終搭乗時刻から一定時間(例えば、15分)を切った場合には、出国審査までを通過していない搭乗予定者をハイライト表示することができる。その際に、通過している地点に応じてハイライト表示の形態を変更することができる。例えば、「特定」が未完了の搭乗予定者については赤色でハイライトし、「チェックイン」が未完了の搭乗予定者は黄色でハイライトし、「保安検査」、「出国審査」についても未完了の搭乗予定者をそれぞれ異なる色でハイライトすることができる。その際、誘導中の搭乗予定者については、同一のハイライト色でも色を薄くするなどして、誘導されていない他の搭乗予定者とは識別可能とすることができる。
次に、図11を参照して、空港スタッフによる誘導を行う場合に、S508において通知の送信対象となる空港スタッフ(端末装置500B)を決定するための処理を説明する。図11は、発明の実施形態に対応する通知システム10における情報処理装置200が実行する処理の一例を示すフローチャートである。
まず、S1101において、通知部207は、S502で特定された人物の位置情報を取得する。ここでは、人物検出情報410に含まれる位置情報413を利用することができる。本実施形態では、人物を撮像したネットワークカメラ100の撮像位置を、被写体である人物の現在位置とする。続くS1102では、取得した位置情報413により特定される位置に対して、現在位置が最も近い空港スタッフを決定する。空港スタッフの位置は、当該空港スタッフが使用する携帯端末500Bからの周期的に送信される位置情報に基づいて判定することができる。換言すると、特定された人物を誘導する誘導者の候補となり得る空港スタッフが使用する端末装置500Bのうち、取得した位置情報413により特定される位置に最も近い端末装置500Bを決定する。
特定された搭乗予定者に最も近い位置にいる空港スタッフ及びその携帯端末500Bが特定されると、S1103において、当該空港スタッフの携帯端末500Bに対してプッシュ通知を送信する。このときのプッシュ通知により表示される画面の一例が図9に示したものである。次に、S1104において通知部207は、特定された搭乗予定者の誘導が開始されたか否かを判定する。当該判定は、例えば携帯端末500Bから図9(D)のOKボタン931の操作に従って送信された誘導開始の通知に基づくことができる。誘導が開始されたと判定した場合、処理はS1105に進む。S1105では、通知部207は、図10(B)、(C)に示した情報表示装置500Cの一覧表の内容を更新する。この場合、一覧表1012に示すような、田中一郎氏について誘導が「未」の状態から一覧表1021に示すような「誘導中」に更新される。
以上の実施形態によれば、空港において、フライト便毎に搭乗予定者の現在位置から搭乗ゲートまでの経路を特定すると共に経路の状況を把握して、搭乗予定者を効率よく制限時間内に搭乗ゲートへ誘導することが可能となる。その際に、搭乗予定者毎に空港スタッフによる誘導を効率よく実施するための仕組みを提供することができる。
以上では、主に飛行機に搭乗する搭乗予定者が飛行場に到着してから搭乗ゲートに到達するまでの間の搭乗予定者の誘導との関連において発明の実施形態を説明した。しかし、発明の実施形態は飛行場における客の誘導に限定されるものではない。例えば、何らかのイベントが開催されている会場において、客がイベント会場の入場口に到達してからイベントが開催される場所に到達するまでの間の客の誘導との関連において本発明を適用しても良い。その場合、例えば図6の空港施設内の概略図はイベント会場の概略図に置き換わり、チェックインカウンタ602、保安検査場603、出国審査場604等はそれぞれイベント会場において通過すべき所定の地点に置換される。当該地点は、保安検査場や出国審査場のように審査が行われる場所でなくても良く、例えば混雑が想定される場所や、通過するのに時間を要する場所であっても良い。また、データベース装置300が登録する各種情報を、当該イベントに対応した情報としておくことで、当該情報を参照してどの地点を通過すべきかの経路特定処理を、上述の実施形態と同様に実施することができる。よって、イベント会場に本発明を適用した場合においても、イベント毎に客の現在位置から目的地までの経路を特定すると共に経路の状況を把握して、客を効率よく制限時間内に目的地へ誘導することが可能となる。その際に、客毎に現場スタッフによる誘導を効率よく実施するための仕組みを提供することができる。
<その他の実施形態>
以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10:通知システム、100:ネットワークカメラ、200:情報処理装置、300:データベース装置、400:サーバ装置、500:情報表示装置、600:LAN

Claims (22)

  1. 処理対象画像において人物を特定し、当該人物の登録情報を取得する人物特定手段と、
    前記処理対象画像の撮像位置に基づく前記人物の現在位置から、前記登録情報から得られる前記人物が到達しようとしている目的地までの経路を特定する経路特定手段と、
    特定された前記経路を辿って前記目的地に到達するのに要する所要時間と、前記登録情報から得られる前記人物が前記目的地に到達すべき時間的期限とに基づき、前記人物についての時間的な余裕度を判定する判定手段と、
    前記判定手段が判定した余裕度に応じた通知を送信する通信手段と
    を備える情報処理装置。
  2. 前記判定手段が判定した余裕度に応じて、通知を送信する送信対象と送信する通知内容とを決定する決定手段を更に備え、
    前記通信手段は、決定された前記送信対象に対し、決定された前記通知内容の前記通知を送信する、請求項1に記載の情報処理装置。
  3. 前記経路特定手段は、前記現在位置から前記目的地に到達するまでに経由すべき地点を前記登録情報に基づいて選択して、前記経路を特定する、請求項2に記載の情報処理装置。
  4. 前記判定手段は、前記経路に含まれる複数の地点における混雑度に基づき、前記所要時間を算出する、請求項2または3に記載の情報処理装置。
  5. 前記経路特定手段は、通過すべき地点に応じて1以上の経路を特定し、
    前記判定手段は、特定した前記経路のそれぞれについて前記所要時間を算出し、算出したそれぞれの所要時間について前記余裕度を判定する、請求項2から4のいずれか1項に記載の情報処理装置。
  6. 前記決定手段は、前記特定した経路のうち、前記判定手段が判定した余裕度が所定の閾値より高い経路に前記人物を誘導するように前記通知内容を決定し、
    前記人物が使用する第1の端末を前記送信対象に含める、請求項5に記載の情報処理装置。
  7. 前記判定手段が、前記特定した経路のいずれの経路についても余裕度が所定の閾値以下と判定した場合に、前記決定手段は、前記人物が使用する第1の端末と、前記人物を前記目的地まで誘導する誘導者が使用する第2の端末とを前記送信対象に含める、請求項5または6に記載の情報処理装置。
  8. 前記決定手段は、
    前記第1の端末に対する第1の通知内容に前記誘導者に関する情報を含め、
    前記第2の端末に対する第2の通知内容に前記人物に関する情報を含める、
    請求項7に記載の情報処理装置。
  9. 前記決定手段は、前記第1の通知内容に前記第2の端末と通信するための情報を含める、請求項8に記載の情報処理装置。
  10. 前記第2の通知内容に含まれる前記人物に関する情報には、前記人物の現在位置の情報、及び、前記人物の画像が含まれる、請求項8または9に記載の情報処理装置。
  11. 前記人物の画像は、顔画像、上半身画像、及び、全身画像の少なくともいずれかを含み、
    前記上半身画像、及び、前記全身画像は、前記処理対象画像の撮像時以降に撮像された画像である、請求項10に記載の情報処理装置。
  12. 前記決定手段は、前記人物を前記目的地まで誘導する誘導者の候補となり得る者が使用する端末のうち、前記第1の端末と最も距離の近い端末を前記第2の端末とする、請求項8から11のいずれか1項に記載の情報処理装置。
  13. 前記通信手段は、前記第2の通知内容の前記第2の端末に対する送信の後、前記第2の端末から前記誘導者による前記人物の誘導を開始した旨の開始通知を受信する、請求項8から12のいずれか1項に記載の情報処理装置。
  14. 前記人物特定手段は、
    人物画像を登録したデータベースを検索して、前記処理対象画像に含まれる人物と同一の人物の人物画像を検索し、
    前記検索された人物画像と関連づけられて前記データベースに登録されたユーザ情報により、前記人物を特定し、
    前記処理対象画像は、特定された前記人物と対応する前記ユーザ情報と関連づけられて前記データベースに登録される、請求項1から13のいずれか1項に記載の情報処理装置。
  15. 前記処理対象画像は、人物の顔画像、上半身画像、及び、全身画像のうち少なくともいずれかを含む、請求項1から14のいずれか1項に記載の情報処理装置。
  16. 前記人物特定手段が人物を特定すべき対象者のリストを生成する生成手段を更に備え、
    前記生成手段は、前記人物特定手段による特定が行われたか否か、前記経路に含まれるべき所定の地点を通過したか否か、及び、前記通知を行ったか否かの情報を含めるように前記リストを生成する、請求項1から15のいずれか1項に記載の情報処理装置。
  17. 前記処理対象画像は、前記経路が設定される所定の場所に設置された撮像装置が撮像した画像を含む、請求項1から16のいずれか1項に記載の情報処理装置。
  18. 前記人物は、所定の時刻に出発する飛行機に搭乗する搭乗予定者であって、
    前記目的地は、前記飛行機に搭乗する搭乗ゲートであり、
    前記時間的期限は、前記飛行機の最終搭乗時刻に基づき、
    前記経路は、搭乗予定者が前記飛行機に搭乗するために通過すべき地点を含む
    請求項1から16のいずれか1項に記載の情報処理装置。
  19. 所定の空間を撮像して画像を生成し、前記画像に含まれる人物の領域を抽出して処理対象画像を生成する撮像装置と、
    請求項1から18のいずれか1項に記載の情報処理装置と
    を備える通知システム。
  20. 前記撮像装置が撮像した画像を保持するサーバ装置を更に備え、
    前記サーバ装置は、前記画像に基づき前記所定の空間における混雑度を判定し、
    前記情報処理装置の前記判定手段が、前記混雑度に基づき前記所要時間を算出する、請求項19に記載の通知システム。
  21. 情報処理装置の制御方法であって、
    人物特定手段が、人物が撮像された処理対象画像において人物を特定し、当該人物の登録情報を取得する人物特定工程と、
    取得手段が、前記登録情報から、前記人物の目的地と、目的地に到達するための時間的期限とを取得する取得工程と、
    経路特定手段が、前記人物が撮影された現在位置から前記目的地までの経路を特定する経路特定工程と、
    判定手段が、特定された経路を通過して前記目的地に到達するのに要する所要時間と前記時間的期限から、前記時間的期限に対する余裕度を判定する判定工程と、
    通信手段が、前記判定工程において判定された余裕度に応じた通知を送信する通信工程と
    を含む、情報処理装置の制御方法。
  22. コンピュータを請求項1から18のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2017211208A 2017-10-31 2017-10-31 情報処理装置、通知システム、方法及びプログラム Pending JP2019082450A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017211208A JP2019082450A (ja) 2017-10-31 2017-10-31 情報処理装置、通知システム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017211208A JP2019082450A (ja) 2017-10-31 2017-10-31 情報処理装置、通知システム、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019082450A true JP2019082450A (ja) 2019-05-30

Family

ID=66669592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017211208A Pending JP2019082450A (ja) 2017-10-31 2017-10-31 情報処理装置、通知システム、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2019082450A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012112A (ja) * 2019-07-08 2021-02-04 三菱電機株式会社 経路特定装置、経路特定方法及び経路特定プログラム
WO2021149199A1 (ja) 2020-01-22 2021-07-29 日本電気株式会社 所要時間予測装置、制御方法、及びプログラム
WO2021181637A1 (ja) * 2020-03-12 2021-09-16 日本電気株式会社 情報処理装置、情報処理方法、及び、コンピュータ読み取り可能な記録媒体
JP2023054187A (ja) * 2019-08-14 2023-04-13 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012112A (ja) * 2019-07-08 2021-02-04 三菱電機株式会社 経路特定装置、経路特定方法及び経路特定プログラム
JP2023054187A (ja) * 2019-08-14 2023-04-13 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7540521B2 (ja) 2019-08-14 2024-08-27 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
WO2021149199A1 (ja) 2020-01-22 2021-07-29 日本電気株式会社 所要時間予測装置、制御方法、及びプログラム
US11847592B2 (en) 2020-01-22 2023-12-19 Nec Corporation Required time prediction apparatus, control method, and non-transitory storage medium
WO2021181637A1 (ja) * 2020-03-12 2021-09-16 日本電気株式会社 情報処理装置、情報処理方法、及び、コンピュータ読み取り可能な記録媒体
JPWO2021181637A1 (ja) * 2020-03-12 2021-09-16
US11853925B2 (en) 2020-03-12 2023-12-26 Nec Corporation Information processing apparatus, information processing method, and computer readable recording medium to display information for a passenger at an airport
JP7444236B2 (ja) 2020-03-12 2024-03-06 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Similar Documents

Publication Publication Date Title
US9980111B2 (en) Mobile terminal device, call-to-action system, call-to-action method, call-to-action program, and safety verification system
US11315206B2 (en) Apparatus, system, and method supporting compliance with customs/border requirements
JP2019082450A (ja) 情報処理装置、通知システム、方法及びプログラム
US20190197354A1 (en) Method, device, and system for adaptive training of machine learning models via detected in-field contextual sensor events and associated located and retrieved digital audio and/or video imaging
JP7143912B2 (ja) 人物検出システム
WO2014148395A1 (ja) 映像監視システム、映像監視方法、および映像監視装置
US11113912B2 (en) Information processing apparatus, information processing method, and storage medium
JP6611067B2 (ja) 情報表示装置および情報表示システム
US11538276B2 (en) Communication system, distributed processing system, distributed processing method, and recording medium
JP5568153B1 (ja) 乗客探知システム
JP6859364B2 (ja) 未搭乗者捜索装置、未搭乗者捜索方法、及びプログラム
JP2019091395A (ja) 情報処理装置、監視システム、方法及びプログラム
US20190147251A1 (en) Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
JP5959120B2 (ja) エレベータ表示システム、およびこれに利用するコンテンツ管理サーバ
WO2022018722A1 (en) Airport security eco-system and methods and computer program products useful in conjunction therewith
US11915334B2 (en) Information processing device and information processing method for predicting presence or absence of user at visit destination from sensed data
JP6969654B1 (ja) 案内システムおよびエレベーターシステム
US20230084625A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
CN115223085A (zh) 一种风险人员的流调方法、装置、电子设备及存储介质
US10964188B2 (en) Missing child prevention support system
US20230037797A1 (en) Server device, entry/exit management method and program recording medium
US20230056993A1 (en) Authentication terminal, entrance/exit management system, entrance/exit management method, and program
WO2021260803A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
WO2022162713A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP7446806B2 (ja) 情報処理装置、方法及びプログラム