JP2023165835A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2023165835A
JP2023165835A JP2023162232A JP2023162232A JP2023165835A JP 2023165835 A JP2023165835 A JP 2023165835A JP 2023162232 A JP2023162232 A JP 2023162232A JP 2023162232 A JP2023162232 A JP 2023162232A JP 2023165835 A JP2023165835 A JP 2023165835A
Authority
JP
Japan
Prior art keywords
baggage
information
inspection
person
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023162232A
Other languages
English (en)
Inventor
伸明 川瀬
Nobuaki Kawase
邦生 筆本
Kunio Fudemoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2023162232A priority Critical patent/JP2023165835A/ja
Publication of JP2023165835A publication Critical patent/JP2023165835A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • G06Q50/265Personal security, identity or safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/12Avionics applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】手荷物と所有者との関係を簡単に登録して管理できる情報処理装置を提供する。【解決手段】本発明における情報処理装置は、人物の生体情報を取得する第1取得部と、前記人物が所持する手荷物の識別情報を取得する第2取得部と、前記生体情報と前記識別情報とを関連付けるリンク情報を作成する作成部と、制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査の結果と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査の結果とを、取得する制御部と、を備え、前記制御部は、前記手荷物検査の検査結果に基づいて前記手荷物の搬送先を決定するとともに、前記搬送先への前記手荷物の搬送を制御し、前記表示端末において取得された前記人物の第2生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記手荷物の前記搬送先の情報を表示端末に表示させる。【選択図】図19

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
特許文献1には、航空機に搭乗予定の利用者が、搭乗予約情報及び荷物情報を記録させたRFIDタグを手荷物に対して貼り付けた後に、その手荷物を搬送用ロボットに預託する荷物管理システムが記載されている。
特開2013-23363号公報
特許文献1に例示されている荷物管理システムでは、手荷物の預託手続及び搬送の際において記録媒体に対してデータの書込及び読取処理を行う必要がある。このため、RFIDタグ等の記録媒体を介さずに、手荷物とその所有者との関係を簡単に登録し、管理できる方法が求められていた。
そこで、本発明は、上記従来技術の問題に鑑み、手荷物とその所有者との関係を簡単に登録して管理できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
本発明の一観点によれば、人物の生体情報を取得する第1取得部と、前記人物が所持する手荷物の識別情報を取得する第2取得部と、前記生体情報と前記識別情報とを関連付けるリンク情報を作成する作成部と、制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査とを、前記リンク情報に基づいて並列に実行させる制御部と、を備え、前記制御部は、前記手荷物検査及び前記身体検査の一方の検査における検査結果に基づいて他方の検査における前記対象物品の検出条件を変更する、情報処理装置が提供される。
本発明の他の観点によれば、コンピュータが、人物の生体情報を取得するステップと、前記人物が所持する手荷物の識別情報を取得するステップと、前記コンピュータが、前記生体情報と前記識別情報とを関連付けるリンク情報を作成するステップと、前記コンピュータが、制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査とを、前記リンク情報に基づいて並列に実行させるステップと、を備え、前記実行させるステップでは、前記コンピュータが、前記手荷物検査及び前記身体検査の一方の検査における検査結果に基づいて他方の検査における前記対象物品の検出条件を変更する、情報処理方法が提供される。
本発明のさらに他の観点によれば、コンピュータに、人物の生体情報を取得するステップと、前記人物が所持する手荷物の識別情報を取得するステップと、前記生体情報と前記識別情報とを関連付けるリンク情報を作成するステップと、制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査とを、前記リンク情報に基づいて並列に実行させるステップと、を実行させ、前記実行させるステップでは、前記手荷物検査及び前記身体検査の一方の検査における検査結果に基づいて他方の検査における前記対象物品の検出条件を変更する、プログラムが提供される。
本発明によれば、手荷物とその所有者との関係を簡単に登録して管理できる情報処理装置、情報処理方法及びプログラムを提供することができる。
第1実施形態における情報処理システムの全体構成の一例を示すブロック図である。 第1実施形態におけるトークンID情報データベースが記憶する情報の一例を示す図である。 第1実施形態における通過履歴情報データベースが記憶する情報の一例を示す図である。 第1実施形態における業務情報データベースが記憶する情報の一例を示す図である。 第1実施形態における保安検査システムの全体構成の一例を示すブロック図である。 第1実施形態における保安検査場内の装置配置の一例を示す模式図である。 第1実施形態における保安検査情報データベースが記憶する情報の一例を示す図である。 第1実施形態におけるエッジサーバのハードウェア構成の一例を示すブロック図である。 第1実施形態におけるエッジサーバの処理の一例を示すフローチャートである。 第1実施形態における保安検査の開始時に撮影された撮影画像の一例を示す図である。 第1実施形態におけるエッジサーバの手荷物検査時の処理の一例を示すフローチャートである。 第1実施形態における手荷物検査エリア側の業務端末に表示される画面の一例を示す図である。 第1実施形態における身体検査エリア側の業務端末に表示される画面の一例を示す図である。 第1実施形態におけるエッジサーバの処理の一例を示すフローチャートである。 第1実施形態におけるエッジサーバの身体検査時の処理の一例を示すフローチャートである。 第1実施形態における身体検査エリア側の業務端末に表示される画面の一例を示す図である。 第1実施形態における手荷物検査エリア側の業務端末に表示される画面の一例を示す図である。 第1実施形態におけるエッジサーバの処理の一例を示すフローチャートである。 第1実施形態におけるエッジサーバとサイネージ端末との間の処理の一例を示すシーケンス図である。 第1実施形態におけるサイネージ端末に表示される画面の一例を示す図である。 第1実施形態におけるサイネージ端末に表示される画面の一例を示す図である。 第1実施形態におけるエッジサーバと保管ボックスとの間の処理の一例を示すシーケンス図である。 第1実施形態における保管ボックスの構成の一例を示す正面図である。 第2実施形態における情報処理装置の全体構成の一例を示すブロック図である。
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
[第1実施形態]
図1は、本実施形態における情報処理システム1の全体構成の一例を示すブロック図である。情報処理システム1は、空港Aを利用する利用者(渡航客)Uに対して行われる一連の審査手続に関する業務を支援するコンピュータシステムである。情報処理システム1は、例えば、入出国の管理局等の公的機関又はその機関から業務の委託を受けた受託者により運用される。
本実施形態の情報処理システム1は、管理サーバ10と、チェックイン端末20と、自動手荷物預け機30と、保安検査システム40と、自動化ゲート装置50と、搭乗ゲート装置60とを備える。管理サーバ10と他の装置とは、ネットワークNWを介してそれぞれ接続される。ネットワークNWは、空港Aの構内通信網を含むLAN(Local Area Network)、WAN(Wide Area Network)、移動体通信網等により構成されている。接続方式は、有線方式に限らず、無線方式でもよい。
なお、図1では、説明の便宜上、空港Aからの出国時の手続に使用される端末装置(業務端末)のみを図示している。空港Aにおける出国時の審査手続は、顔認証技術を利用して5箇所のタッチポイントP1~P5において順次実施される。各装置及びタッチポイントP1~P5の詳細については後述する。
管理サーバ10は、利用者Uの入出国時における審査手続に関する業務を管理するサーバコンピュータである。管理サーバ10は、例えば、空港Aを運営する空港会社、航空会社等の施設内に設置されている。なお、管理サーバ10は、実際に業務が行われる施設内に設置されるサーバではなく、クラウドサーバとしてもよい。管理サーバ10は、単一のサーバである必要はなく、複数のサーバを含むサーバ群として構成されてもよい。
図1に示すように、管理サーバ10は、トークンID情報DB11と、通過履歴情報DB12と、業務情報DB13とを備える。ただし、管理サーバ10が有するデータベースは、これらのデータベースに限られない。また、各データベースが記憶するデータ項目は、以下に例示するものに限られない。
図2は、トークンID情報DB11が記憶する情報の一例を示す図である。トークンID情報DB11は、トークンID、グループID、登録顔画像、特徴量、トークン発行時刻、トークン発行デバイス名、無効フラグ及び無効化時刻をデータ項目としている。トークンIDは、ID情報を一意に識別する識別子である。
本実施形態におけるトークンIDは、タッチポイントP1において旅券を所持する利用者Uを撮影した顔画像と旅券から読み取られた旅券顔画像との照合結果が一致することを条件として一時的に発行される。そして、利用者Uが最後のタッチポイント(搭乗ゲート)での手続を終えたときに、トークンIDは無効化される。すなわち、トークンIDは、永続的に使用される識別子ではなく、有効期間(ライフサイクル)を有するワンタイムIDである。
グループIDは、ID情報をグループ分けするための識別子である。登録顔画像は、利用者Uについて登録された顔画像である。特徴量は、生体情報(登録顔画像)から抽出される値である。なお、本実施形態における生体情報の語句は、顔画像及び顔画像から抽出される特徴量を意味するものとするが、生体情報は顔画像及び顔特徴量に限られない。すなわち、利用者Uの生体情報として、虹彩画像、指紋画像、掌紋画像及び耳介画像等を用いて生体認証を行ってもよい。
トークン発行時刻は、管理サーバ10がトークンIDを発行した時刻である。トークン発行デバイス名は、トークンIDの発行の契機となった登録顔画像の取得元のデバイス名である。無効フラグは、トークンIDが現時点で有効であるか否かを示すフラグ情報である。本実施形態における無効フラグは、トークンIDが発行されると、トークンIDが有効な状態を示す値になる。また、無効フラグは、所定の条件を満たすと、トークンIDが無効な状態を示す値に更新される。無効化時刻は、無効フラグが無効化されたときのタイムスタンプである。
図3は、通過履歴情報DB12が記憶する情報の一例を示す図である。通過履歴情報DB12は、通過履歴ID、トークンID、通過時間、デバイス名、業務システム種別及び通過タッチポイントをデータ項目としている。通過履歴IDは、通過履歴情報を一意に識別する識別子である。通過時間は、タッチポイントを通過したときのタイムスタンプである。デバイス名は、タッチポイントにおける手続に使用した端末装置の機体名称である。業務システム種別は、当該端末装置が属する業務システムの種別である。通過タッチポイントは、利用者Uが通過したタッチポイントである。なお、管理サーバ10は、通過履歴情報をトークンIDごとに抽出することにより、利用者Uがどのタッチポイントまでの手続を完了しているのかを把握できる。
図4は、業務情報DB13が記憶する情報の一例を示す図である。業務情報DB13は、トークンID、搭乗者名、予約番号、出発地、目的地、エアラインコード、便番号、運行年月日、シート番号、国籍、旅券番号、姓、名、生年月日、性別、会員区分、同伴者の有無、渡航履歴及び保安検査履歴をデータ項目としている。
予約番号は、搭乗予約情報を一意に識別する識別子である。エアラインコードは、航空会社を一意に識別する識別子である。業務情報に含まれている搭乗予約情報としては、搭乗者名、予約番号、出発地、目的地、エアラインコード、便番号、運行年月日、シート番号、国籍、旅券番号、姓、名、生年月日及び性別等が挙げられる。搭乗予約情報は、旅券及び搭乗券等の記録媒体から取得できる。搭乗予約情報は、旅券番号又は予約番号等をキーとして航空会社の予約システムからも取得できる。記録媒体又は予約システムから取得された搭乗予約情報は、業務情報DB13において業務情報として記憶される。
会員区分は、航空会社の会員の区分である。同伴者の有無は、利用者Uによる支援の下で航空機に搭乗する人物、例えば、乳児や幼児等の人物(被支援者)の有無である。同伴者の有無が記録される人物は、父母等の保護者や介助者等の支援する側の人物(以下、「支援者」という。)である。渡航履歴は、利用者Uの過去の渡航先(目的地)、渡航経由地、渡航日時及び所定期間内における渡航回数等を含む履歴情報である。保安検査履歴は、利用者Uが過去の渡航時に受けた保安検査の検査結果及び日時等を含む履歴情報である。
チェックイン端末20は、空港A内のチェックインロビー(以下、「タッチポイントP1」という。)に設置されている。チェックイン端末20は、利用者Uが自身で操作することによって、チェックイン手続(搭乗手続)を行うためのセルフ端末である。利用者Uは、タッチポイントP1におけるチェックイン手続を完了すると、手荷物の預け場所あるいは保安検査場へ移動する。
自動手荷物預け機30は、空港A内の手荷物カウンタ(有人カウンタ)の隣接領域あるいはチェックイン端末20の近傍領域(以下、「タッチポイントP2」という。)に設置されている。自動手荷物預け機30は、利用者Uが自身で操作することにより、航空機内に持ち込まない荷物を預け入れる手続を行うためのセルフ端末である。利用者Uは、手荷物預け入れ手続を完了すると、保安検査場へ移動する。預ける手荷物がない利用者Uの場合には、タッチポイントP2での手続は省略される。なお、以下の説明では、「手荷物」の用語は、タッチポイントP2において利用者Uが預けた荷物を除いた、利用者Uが航空機内への持ち込みを希望する荷物を意味するものとする。
保安検査システム40は、空港A内の保安検査場(以下、「タッチポイントP3」という。)に設置されたコンピュータシステムであり、複数の機器から構成されている。図5は、保安検査システム40の全体構成の一例を示すブロック図である。また、図6は、保安検査場内の装置配置の一例を示す模式図である。
図5に示すように、本実施形態における保安検査システム40は、エッジサーバ401と、通行制御装置402と、手荷物搬送装置403と、カメラ404と、手荷物検査装置405と、身体検査装置406と、業務端末408と、サイネージ端末409と、保管ボックス410とを備える。エッジサーバ401は、ネットワークNW1を介して他の機器と接続されている。
エッジサーバ401は、保安検査の実行を管理するサーバコンピュータであり、ネットワークNWを介して管理サーバ10に接続される(図1参照)。エッジサーバ401は、空港施設内に設置されるサーバではなく、クラウドサーバとしてもよい。また、エッジサーバ401は、単一のサーバである必要はなく、複数のサーバを含むサーバ群として構成されてもよい。エッジサーバ401は、保安検査場の一区画に設置されてもよい。
また、図5に示すように、エッジサーバ401は、保安検査情報DB401aと、リンク情報作成部401bと、制御部401cと、属性情報取得部401dと、手荷物検査部401eと、身体検査部401fと、照合部401gとを備える。
図7は、保安検査情報DB401aが記憶する情報の一例を示す図である。保安検査情報DB401aは、対象人物ID、撮影顔画像、トークンID、トレイID、撮影時刻、手荷物検査ステータス(未実行/実行中/完了)、手荷物検査結果(正常/エラー)、身体検査ステータス(未実行/実行中/完了)、身体検査結果(正常/エラー)、手荷物保管場所、引渡ステータス(保管前/保管中/引渡完了)、旅券番号及び人物属性情報をデータ項目としている。ただし、エッジサーバ401が有するデータベースは、保安検査情報DB401aのみに限られない。また、保安検査情報DB401aが記憶するデータ項目は、上述のものに限られない。
利用者Uの人物属性情報の具体例としては、過去の渡航の際に実施済みの保安検査履歴(検査結果/検査日時等)、渡航履歴(渡航先/渡航経由地/渡航日時/渡航回数等)、利用者Uの性別、年齢、国籍、同伴者の有無、航空会社の会員区分等が挙げられる。人物属性情報は、例えば管理サーバ10の業務情報DB13に含まれる業務情報(搭乗予約情報)の中から取得され得る。
リンク情報作成部401bは、出国エリア(制限区域)への入場を要求した利用者Uの生体情報と利用者Uが所持する手荷物の識別情報とを関連付けるリンク情報を作成する。本実施形態では、対象人物ごとに保安検査情報DB401aに登録される保安検査情報がリンク情報に相当する。
制御部401cは、制限区域への持ち込みが制限あるいは禁止されている物品(以下、「対象物品」という。)が手荷物の中に含まれるか否かを判定する手荷物検査と、利用者Uが対象物品を所持しているか否かを判定する身体検査とを、リンク情報に基づいて並列に実行させる。すなわち、本実施形態において、手荷物検査と身体検査は、相互に関連しつつも、それぞれ個別に実行される。
属性情報取得部401dは、トークンID情報DB11において利用者Uの属性情報に予め関連付けられた登録生体情報(登録顔画像)と、保安検査場内のカメラ404により撮影された撮影画像から得られた利用者Uの生体情報(顔画像)との照合処理を管理サーバ10に要求することで、管理サーバ10(業務情報DB13)から利用者Uの属性情報を取得する。
手荷物検査部401eは、後述する手荷物検査装置405を用いて手荷物を撮影した画像(例えばX線撮影画像)と対象物品に関する特徴情報との関係を予め学習した学習モデルに基づいて手荷物検査を実行する。
身体検査部401fは、後述する身体検査装置406を用いて利用者Uの身体を撮影した画像(あるいは測定した測定値)と対象物品に関する特徴情報との関係を予め学習した学習モデルに基づいて身体検査を実行する。
照合部401gは、保管ボックス410やサイネージ端末409等から新たに取得した利用者Uの生体情報と保安検査情報DB401a内に登録されている生体情報との照合処理を実行し、その照合結果を制御部401cへ出力する。
通行制御装置402は、保安検査場の入口及び出口に設置されており、利用者Uの通行可否を判定する装置である。通行制御装置402は、生体情報取得装置402aと、媒体読取装置402bと、ゲート402cとを備える。生体情報取得装置402aは、例えば、通行制御装置402の前を撮影するデジタルカメラである。生体情報取得装置402aは、常時又は定期的に撮影する画像中に通行制御装置402の前に立つ利用者Uの顔を検出すると、その利用者Uの顔を撮影してその顔画像を取得する。
次に、通行制御装置402は、エッジサーバ401を介して管理サーバ10に撮影顔画像を送信し、利用者UがトークンIDの登録者であるか否かについての認証処理を要求する。そして、通行制御装置402は、管理サーバ10において利用者Uが“トークンIDの登録者”として認証された場合には、ゲート402cを開放して利用者Uが保安検査場へ入場することを許可する。
また、通行制御装置402は、チェックイン手続等においてトークンIDが発行されていない利用者Uの場合には、媒体読取装置402bにより記録媒体の記録情報を読取り、利用者Uの通行可否を判定する。
媒体読取装置402bとしては、例えば、コードリーダ、イメージスキャナ、非接触IC(Integrated Circuit)リーダ、OCR(Optical Character Reader)装置等が挙げられる。また、記録媒体としては、例えば、紙の航空券、eチケットの控えを表示する携帯端末等が挙げられる。
ゲート402cは、通行制御装置402における利用者Uの本人確認に成功した場合に、利用者Uの通行を遮る待機時の閉鎖状態から、利用者Uの通行を許可する開放状態に移行する。ゲート402cの方式は、特に限定されるものではなく、例えば、通路の片側又は両側から設けられたフラッパーが開閉するフラッパーゲート、3本バーが回転するターンスタイルゲート等である。
手荷物搬送装置403は、所定方向に流れるベルトコンベア上の手荷物を手荷物検査装置405及び保管先へ自動的に搬送する搬送装置である。エッジサーバ401は、手荷物搬送装置403の駆動制御を行い、手荷物の搬送先(保管先)を切り換える。
カメラ404は、例えばCCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを備えたデジタルカメラ等である。カメラ404は、撮影した撮影画像をエッジサーバ401に逐次送信する。
手荷物検査装置405は、利用者Uから預かった手荷物の中に対象物品(危険物等)が含まれるか否かを非接触で検査する装置である。手荷物検査装置405の例としては、X線を用いて機内持ち込みの手荷物を撮影し、その撮影画像をエッジサーバ401へ出力するX線スキャナ、CTスキャナ等が挙げられる。手荷物検査装置405としては、検出精度を向上させるために、3次元のX線撮影画像を撮影できるCTスキャナを用いると好適である。エッジサーバ401は、手荷物検査装置405から撮影画像を受信すると、所定の学習モデルに基づいて手荷物の中に機内への持ち込みが制限されている対象物品が含まれるか否かを判定する。
身体検査装置406は、利用者Uが対象物品を所持しているか否かを非接触で検査する装置である。身体検査装置406の一例としては、金属探知機、ミリ波スキャナ、テラヘルツ波スキャナ等が挙げられる。金属探知機は、利用者Uが危険物となりうる金属類を身につけているか否かを確認する装置である。空港施設では、金属探知機としてゲートタイプのものが広く用いられている。
ミリ波スキャナは、例えばミリ波を利用者Uの身体に対して照射し、利用者Uの身体からの反射波のエネルギーを測定して利用者Uの身体を映像化する装置である。ミリ波は、例えば波長が1ミリメートル以上10ミリメートル以下、周波数帯域が30GHz~300GHz程度の電磁波である。
同様に、テラヘルツ波スキャナは、テラヘルツ波を用いて利用者Uの身体を映像化する装置である。テラヘルツ波は、例えば波長が100マイクロメートル以上1ミリメートル以下、周波数帯域が300GHz~3THz程度の電磁波である。ミリ波スキャナ及びテラヘルツ波スキャナには、対象物から自然放射される電磁波を測定するパッシブ型と、対象物に電磁波を照射したときの反射波を測定するアクティブ型の2種類がある。
以下では、エッジサーバ401(身体検査部401f)とアクティブ型のミリ波スキャナ(身体検査装置406)との間の処理について説明する。
エッジサーバ401は、ミリ波スキャナから利用者Uの身体を測定した測定値(信号)を受信すると、所定の学習モデルに基づいて利用者Uの身体の中に対象物品が含まれるか否かを判定する。そして、エッジサーバ401は、利用者Uの身体の中に対象物品が含まれる場合には、例えば人体の模式図に対象物品の場所を示す情報を重畳した画面を業務端末408等に表示させる。ミリ波スキャナにより測定されたデータは、所定時間経過後に消去されると好適である。
また、エッジサーバ401は、ミリ波スキャナにより受信された反射波の信号に基づき透過画像を作成してもよい。そして、エッジサーバ401は、透過画像に現れた形状に基づき、予め指定された対象物品を所持しているか否かを判定してもよい。
透過画像に現れた形状に基づく判定手法の一例としては、上述のように機械学習の利用が考えられる。例えば、予め指定された対象物品の透過画像(教師データ)を用意し、当該教師データに基づく機械学習により、透過画像に現れている対象物品を推定する学習モデルが作成されてもよい。そして、エッジサーバ401は、作成した透過画像と、当該学習モデルとに基づき、予め指定された対象物品が透過画像に現れているか否かを判定してもよい。
その他の例として、エッジサーバ401は、予め指定された対象物品の形状を示すテンプレートを用いたテンプレートマッチングにより、透過画像内で予め指定された対象物品を検索してもよい。
また、エッジサーバ401は、ミリ波スキャナから受信した反射波の信号に現れた特徴量(透過特徴量)に基づき、利用者Uが予め指定された対象物品を所持しているか否かを判定してもよい。すなわち、エッジサーバ401は、透過画像を作成せずに、反射波の信号をそのまま利用して上記の判定処理を行ってもよい。
この場合も、上述した機械学習に基づく学習モデルを利用する例や、テンプレートマッチングを利用する例が考えられる。なお、エッジサーバ401は、X線撮影画像に対する手荷物検査に用いる学習モデルも同様の手法にて学習できる。
業務端末408は、係員Sが業務に使用する端末装置である。業務端末408の一例としては、パーソナルコンピュータ、タブレット端末、スマートフォン等が挙げられるが、これらに限られない。図6では、係員S1~S5が使用する業務端末408としては、携帯型及び据え置き型の2種類が示されている。業務端末408は、エッジサーバ401から受信した情報を画面に表示する。
サイネージ端末409は、エッジサーバ401から受信した各種の案内情報を利用者Uに提示するための表示端末である。本実施形態では、サイネージ端末409は、顔認証に基づいて、利用者Uに対して手荷物の保管場所(保管ボックス410)や手荷物検査のステータスを提示する。
保管ボックス410は、手荷物搬送装置403によって搬送された利用者Uの手荷物を内部に保管する装置である。本実施形態では、エッジサーバ401は、利用者Uが手荷物の所有者であると認証すると、保管ボックス410の電子錠を解錠し、利用者Uに手荷物の引き渡しを行う。
図6では、複数の利用者U1~U11と、複数の係員S1~S5とが保安検査場に存在している。図中の左側エリアは、手荷物検査エリア及び手荷物の保管エリアである。5人の利用者U1~U5は、手荷物を所定の搬送トレイTに収納した状態で、手荷物搬送装置403のベルトコンベアの上に置く。これにより、搬送トレイTは矢印D方向に移動していく。手荷物を収納した搬送トレイTは、手荷物検査装置405の中に挿入される。そして、搬送トレイT内の手荷物に対して、手荷物検査装置405及び図示しないエッジサーバ401の協働による手荷物検査が実行される。
図中の手荷物搬送装置403の右側には、係員S1及びS2が配置されている。係員S1は、手荷物を収納した搬送トレイTの状態を判断し、必要に応じて手荷物を複数のトレイに分けて手荷物検査装置405の中に流す作業を行う。このとき、係員S1は、専用トレイを用いると好適である。
具体的には、専用トレイの表面には、例えば1つ前の搬送トレイTの中から分離した手荷物を収納していることを示す他のコードを印字しておくとよい。これにより、利用者Uと手荷物とが離れた後でも、手荷物と利用者Uとの関連付けを容易に行える。
また、手荷物搬送装置403の搬送方向の下流側には、NGレーンL1と、OKレーンL2~L6と、不明レーンL7の合計7レーンが分岐して設けられている。NGレーンL1は、対象物品が検出された手荷物が搬送される再検査レーンであり、係員S2が配置されている。OKレーンL2~L6は、対象物品が検出されなかった手荷物が搬送されるレーンであり、OKレーンL2~L6の先には保管ボックス410がそれぞれ設けられている。手荷物は、保管ボックス410の裏側から自動的に格納される。不明レーンL7は、所有者不明の搬送トレイTが搬送されるレーンである。
一方、図中の右側のエリアは身体検査エリアであり、2つの検査レーンが例示されている。各検査レーンには、身体検査装置406と、業務端末408とが設けられている。身体検査は、例えば金属探知機による検査と、ミリ波スキャナによる検査の2種類から構成される。図6では、利用者U7と利用者U9が身体検査装置406による身体検査を受けている様子が示されている。
利用者U10は、身体検査を完了した人物であり、サイネージ端末409の前に立っている。サイネージ端末409は、利用者U10の顔画像を撮影すると、その撮影顔画像をエッジサーバ401へ送信する。サイネージ端末409には、エッジサーバ401における認証結果に応じて、手荷物の保管場所あるいは手荷物検査のステータスの情報が表示される。
また、サイネージ端末409は、手荷物検査が正常に完了した手荷物の画像(あるいは手荷物の所有者の顔画像)と、保管先の保管ボックス410の番号とを一覧形式で表示すると好適である。
保管ボックス410は、各利用者Uの顔画像を撮影すると、その撮影顔画像をエッジサーバ401へ送信する。保管ボックス410は、エッジサーバ401における認証が成功すると、電子錠を解除する。例えば、利用者U11は、認証に成功し、保管ボックス410の中から自身の手荷物を取り出し可能であることを示している。このように、利用者U1~U11は、タッチポイントP3において保安検査システム40による保安検査手続を完了すると、出国審査場へ移動する。
自動化ゲート装置50は、空港A内の出国審査場(以下、「タッチポイントP4」という。)に設置されている。自動化ゲート装置50は、利用者Uの出国審査手続を自動的に行う装置である。利用者Uは、タッチポイントP4における出国審査手続を完了すると、免税店や搭乗ゲートが設けられている出国エリアへ移動する。
搭乗ゲート装置60は、出国エリアの搭乗ゲート(以下、「タッチポイントP5」という。)ごとに設置されたゲート装置である。搭乗ゲート装置60は、利用者Uが搭乗ゲートから搭乗可能な航空機の搭乗者であることを確認する。利用者Uは、タッチポイントP5における手続を完了すると、航空機に搭乗し、第2国へ向けて出国する。
図8は、本実施形態におけるエッジサーバ401のハードウェア構成の一例を示すブロック図である。図8に示すように、エッジサーバ401は、演算、制御及び記憶を行うコンピュータとして、CPU(Central Processing Unit)411と、RAM(Random Access Memory)412、ROM(Read Only Memory)413と、ストレージ414と、通信I/F(Interface)415とを備える。各装置は、バス、配線、駆動装置等を介して相互に接続される。
CPU411は、ROM413又はストレージ414に記憶されたプログラムに従って所定の動作を行うとともに、エッジサーバ401の各部を制御する機能を有するプロセッサである。RAM412は、揮発性記憶媒体から構成され、CPU411の動作に必要な一時的なメモリ領域を提供する。
CPU411は、ROM413等に記憶されたプログラムをRAM412にロードして実行することによって、上述したリンク情報作成部401b、制御部401c、属性情報取得部401d、手荷物検査部401e、身体検査部401f及び照合部401g等の各部の機能を実現する。
ROM413は、不揮発性記憶媒体から構成され、エッジサーバ401の動作に用いられるプログラム等の必要な情報を記憶する。ストレージ414は、不揮発性記憶媒体から構成され、エッジサーバ401の動作用プログラムやデータを記憶する。ストレージ414は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)により構成される。
通信I/F415は、イーサネット(登録商標)、Wi-Fi(登録商標)、4G等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。
なお、図8に示されているハードウェア構成は一例であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。また、本実施形態の一部の機能がネットワークNW、NW1を介して他の装置(例えば管理サーバ10等)により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されてもよい。このように、図8に示されているハードウェア構成は適宜変更可能である。
続いて、図9乃至図23を参照しながら、本実施形態における保安検査システム40の動作について説明する。
<利用者と手荷物の関連付け>
図9は、エッジサーバ401の処理の一例を示すフローチャートである。この処理は、利用者Uが保安検査場において手荷物検査を受ける際に、手荷物の所有者である利用者Uと手荷物とを関連付けるために実行される。
先ず、エッジサーバ401は、カメラ404において撮影された撮影画像を取得する(ステップS101)。次に、エッジサーバ401は、取得された撮影画像の中に保安検査の対象人物である利用者Uを検出したと判定すると(ステップS102、YES)、処理はステップS103へ移行する。
これに対し、エッジサーバ401は、取得された撮影画像の中に利用者Uを検出していないと判定すると(ステップS102、NO)、処理はステップS101へ戻る。
次に、エッジサーバ401は、撮影画像の中から搬送トレイの表面に付されている所定のバーコードを検出したと判定すると(ステップS103、YES)、処理はステップS104へ移行する。
これに対し、エッジサーバ401は、撮影画像の中から搬送トレイの表面に付されている所定のバーコードを検出しないと判定すると(ステップS103、NO)、処理はステップS101へ戻る。すなわち、ステップS101~ステップS103の処理は、対象人物及び搬送トレイのバーコードが一緒に映っている撮影画像が取得されるまで繰り返される。
図10は、保安検査の開始時に撮影された撮影画像の一例を示す図である。ここでは、利用者Uが搬送トレイTの中に手荷物Bを収納したときに撮影された撮影画像IMG01が示されている。また、搬送トレイTの表面には、トレイIDを示すバーコードCが印字されている。このように、一つの撮影画像IMG01の中から利用者Uの顔画像(生体情報)と搬送トレイTの識別情報が同時に取得され、リンク情報が作成される。なお、利用者Uが複数の搬送トレイTに手荷物Bを分けて収納する場合には、複数のリンク情報が作成されるものとする。
次に、エッジサーバ401は、撮影画像の中から利用者Uの顔画像を取得する(ステップS104)。なお、同一撮影画像の中に複数の人物が含まれる場合には、目間距離等に基づいて人物間の位置関係を判定し、前方に位置する人物の顔画像を取得すると好適である。
次に、エッジサーバ401は、利用者Uに固有の対象人物IDを発行する(ステップS105)。対象人物IDは、上述したトークンIDとは別に設定される。対象人物IDとしては、例えば人物間で重複しないシーケンス番号である。
次に、エッジサーバ401は、ステップS103において検出されたバーコードをデコードして搬送トレイを識別するトレイIDを取得する(ステップS106)。次に、エッジサーバ401は、ステップS104において取得された顔画像に基づいて管理サーバ10に対して認証要求を行う(ステップS107)。管理サーバ10は、エッジサーバ401から認証要求を受信すると、認証要求に含まれる利用者Uの顔画像をトークンID情報DB11に記憶されている複数の登録顔画像とそれぞれ照合する。
次に、エッジサーバ401は、管理サーバ10における認証結果に基づいて、利用者UがトークンIDの登録者であると判定すると(ステップS108、YES)、トークンIDをキーとして管理サーバ10から利用者Uの登録情報(人物属性情報)を所得する(ステップS109)。
そして、エッジサーバ401は、対象人物ID、トレイID及び登録情報(人物属性情報)を関連付けた保安検査情報を保安検査情報DB401aに登録し(ステップS110)、処理を終了する。
これに対し、エッジサーバ401は、管理サーバ10における認証結果に基づいて、利用者UがトークンIDの登録者ではないと判定すると(ステップS108、NO)、対象人物ID及びトレイIDを関連付けた保安検査情報を保安検査情報DB401aに登録し(ステップS111)、処理を終了する。
<手荷物検査>
図11は、エッジサーバ401の手荷物検査時の処理の一例を示すフローチャートである。この処理は、例えば搬送トレイに収納された手荷物が手荷物搬送装置403の駆動によって手荷物検査装置405の位置(すなわち、手荷物検査の実行場所)まで搬送された際に実行される。
先ず、エッジサーバ401は、手荷物検査装置405の近傍に設置されているカメラ404からの撮影画像の中から、手荷物検査装置405の中へ移動する搬送トレイを検出したと判定すると(ステップS201、YES)、処理はステップS202へ移行する。これに対し、エッジサーバ401は、搬送トレイを検出していないと判定すると(ステップS201、NO)、待機状態が維持される。
次に、エッジサーバ401は、撮影画像の画像解析により搬送トレイのトレイIDを取得するとともに、トレイIDをキーとして保安検査情報DB401aを参照して対象人物IDを特定する(ステップS202)。
次に、エッジサーバ401は、対象人物IDに関連付けされている各種の情報に基づいて手荷物検査における対象物品の検出条件である閾値を設定する(ステップS203)。この処理の詳細については後述する。閾値は、例えば対象物品との類似スコアの判定閾値である。
次に、エッジサーバ401は、手荷物検査装置405と協働して手荷物検査を実行する(ステップS204)。具体的には、エッジサーバ401は、手荷物検査装置405において撮影された撮影画像の画像解析処理を行う。
次に、エッジサーバ401は、画像解析処理により手荷物の中に対象物品が検出されたと判定すると(ステップS205、YES)、対象物品の検出情報を所定の業務端末408に出力する(ステップS206)。次に、エッジサーバ401は、対象物品が検出された手荷物の搬送先をNGレーンに決定する(ステップS207)。その後、処理はステップS208へ移行する。
これに対し、エッジサーバ401は、画像解析処理により手荷物の中に対象物品が検出されないと判定すると(ステップS205、NO)、処理はステップS211へ移行する。
次に、エッジサーバ401は、対象人物IDをキーとして保安検査情報DB401aを参照し、手荷物の所有者の身体検査が完了しているか否かを判定する(ステップS208)。
ここで、エッジサーバ401は、手荷物の所有者の身体検査が完了していると判定した場合(ステップS208、YES)、処理はステップS209へ移行する。これに対し、所有者の身体検査が完了していないと判定した場合(ステップS208、NO)、処理はステップS210へ移行する。
ステップS209において、エッジサーバ401は、対象人物IDをキーとして保安検査情報DB401aを参照し、利用者Uが身体検査で対象物品が検出された人物であるか否かを判定する。
ここで、エッジサーバ401は、利用者Uが身体検査で対象物品が検出された人物であると判定すると(ステップS209、YES)、処理はステップS213へ移行する。
これに対し、エッジサーバ401は、利用者Uが身体検査で対象物品が検出された人物ではないと判定すると(ステップS209、NO)、処理はステップS210へ移行する。
ステップS210において、エッジサーバ401は、所定の業務端末408に対して業務指示を出力する。例えば、手荷物検査で対象物品が検出された利用者Uは、身体検査で対象物品が検出されなかったならば、身体検査エリアを出たところで手荷物検査が完了するまで待機していると想定される。同様に、手荷物検査で対象物品が検出された利用者Uは、身体検査が完了していないならば、身体検査エリアの手前に並んでいる、あるいは、身体検査中であることが想定される。これらの場合には、エッジサーバ401は、係員Sに対して利用客Uの現在位置を案内するとともに、利用者Uを別室等に誘導するような業務指示を行うとよい。
ステップS211において、エッジサーバ401は、対象物品の非検出情報を所定の業務端末408に出力する。そして、エッジサーバ401は、手荷物の保管先となる保管ボックス410を決定する(ステップS212)。その後、処理はステップS213へ移行する。なお、同一人物について複数の手荷物が存在する場合には、保管先はそれぞれ隣接レーンあるいは同一レーンに設定すると好適である。
ステップS213において、エッジサーバ401は、手荷物搬送装置403に対して駆動制御情報を出力し、ステップS207又はステップS212において決定された搬送先(保管先)に手荷物を搬送させる。
そして、エッジサーバ401は、利用者Uの対象人物ID及び手荷物検査の検査結果に基づいて保安検査情報DB401aの保安検査情報を更新し(ステップS214)、処理を終了する。
図12は、手荷物検査エリア側の業務端末408に表示される画面の一例を示す図である。画面の上部領域には、係員Sに対して手荷物の詳細な検査を促すエラーメッセージ(「利用者の手荷物の中から対象物品を検出しました。搬送トレイを再検査レーンに移動しましたので、手荷物を確認してください。」)が表示されている。また、画面の下部領域には、利用者Uの氏名や性別等の利用者情報と、手荷物検査結果と、X線撮影画像IMG02とが表示されている。X線撮影画像IMG02では、手荷物Bの中に対象物品Iである拳銃が検出された状態が示されている。
一方、図13は、身体検査エリア側の業務端末408に表示される画面の一例を示す図である。ここでは、画面の上部領域には、身体検査エリア側の係員Sに対して利用者Uの誘導指示を行うエラーメッセージ(「利用者の手荷物の中から対象物品を検出しました。至急、利用者を別室まで誘導してください。」)が表示されている。また、画面の下部領域には、手荷物検査結果と、利用者Uの現在位置を示す情報と、利用者Uの利用者情報と、撮影顔画像IMG03と、X線撮影画像IMG02とが表示されている。これにより、係員Sは、業務指示画面の情報に基づいて利用者Uを探索し、速やかに誘導することが可能になる。
続いて、手荷物検査時における対象物品の検出条件の設定方法について説明する。図14は、エッジサーバ401の処理の一例を示すフローチャートである。この処理は、上述した図11のステップS203の処理に相当する。
ステップS301において、エッジサーバ401は、利用者Uが身体検査で対象物品が検出された人物であるか否かを判定する。ここで、エッジサーバ401は、利用者Uが身体検査で対象物品が検出された人物であると判定した場合(ステップS301、YES)、手荷物検査の閾値を平常時よりも高い値に設定し(ステップS302)、処理はステップS204へ移行する。すなわち、対象物品の検出条件を現在設定されている条件よりも厳しくする。
これに対し、エッジサーバ401は、利用者Uが身体検査で対象物品が検出された人物ではないと判定した場合(ステップS301、NO)、手荷物検査の閾値を平常時の値に設定し(ステップS303)、処理はステップS204へ移行する。
<身体検査>
図15は、エッジサーバ401の身体検査時の処理の一例を示すフローチャートである。この処理は、例えば手荷物検査エリアにおいて手荷物を預けた後の利用者Uに対して実行される。
先ず、エッジサーバ401は、身体検査エリアに設置されているカメラ404から受信した撮影画像を解析し、利用者Uの顔が検出されたか否かを判定する(ステップS401)。ここで、エッジサーバ401は、利用者Uの顔が検出されるまで待機する(ステップS401、NO)。
次に、エッジサーバ401は、利用者Uの顔が検出されたと判定すると(ステップS401、YES)、撮影画像の中から利用者Uの顔画像を取得する(ステップS402)。次に、エッジサーバ401は、取得した顔画像を保安検査情報DB401aに記憶されている複数の撮影顔画像と1対Nで照合する(ステップS403)。
次に、エッジサーバ401は、保安検査情報DB401aにおいて顔画像と照合一致である撮影顔画像に関連付けられた対象人物IDを特定する(ステップS404)。
次に、エッジサーバ401は、対象人物IDに関連付けされている各種の情報に基づいて身体検査における対象物品の検出条件である閾値を設定する(ステップS405)。この処理の詳細については後述する。
次に、エッジサーバ401は、身体検査装置406と協働して身体検査を実行する(ステップS406)。具体的には、エッジサーバ401は、身体検査装置406において測定された測定信号の解析処理を行う。
エッジサーバ401は、解析処理により利用者Uの身体の中に対象物品が検出されたと判定すると(ステップS407、YES)、対象物品の検出情報を所定の業務端末408に出力する(ステップS408)。その後、処理はステップS409へ移行する。
これに対し、エッジサーバ401は、利用者Uの身体の中に対象物品は検出されないと判定すると(ステップS407、NO)、対象物品の非検出情報を所定の業務端末408に出力する(ステップS412)。その後、処理はステップS413へ移行する。
次に、エッジサーバ401は、対象人物IDをキーとして保安検査情報DB401aを参照し、手荷物検査が完了していると判定した場合(ステップS409、YES)、処理はステップS410へ移行する。これに対し、手荷物検査が完了していないと判定した場合(ステップS409、NO)、処理はステップS413へ移行する。
ステップS410において、エッジサーバ401は、対象人物IDをキーとして保安検査情報DB401aを参照し、利用者Uが手荷物検査で対象物品が検出された人物であるか否かを判定する。
ここで、エッジサーバ401は、利用者Uが手荷物検査で対象物品が検出された人物であると判定すると(ステップS410、YES)、処理はステップS413へ移行する。
これに対し、エッジサーバ401は、利用者Uが手荷物検査で対象物品が検出された人物ではないと判定すると(ステップS410、NO)、手荷物検査エリア側の業務端末408に対して手荷物の再検査指示を行う画面を表示させる(ステップS411)。
そして、エッジサーバ401は、利用者Uの対象人物ID及び手荷物検査の検査結果に基づいて保安検査情報DB401aの保安検査情報を更新し(ステップS413)、処理を終了する。
図16は、身体検査エリア側の業務端末408に表示される画面の一例を示す図である。画面の上部領域には、利用者Uの身体の中から対象物品を検出したエラーメッセージ(「対象物品を検出しました。検出箇所を確認してください。」)が表示されている。また、画面の下部領域には、利用者Uの利用者情報と、身体検査結果とが表示されている。身体検査結果としては、人体の正面側の模式図の画像IMG04と、背面側の模式図の画像IMG05とが含まれている。ここでは、画像IMG05において、利用者Uの右太腿の位置に対象物品Iであるナイフが表示されている。
一方、図17は、手荷物検査エリア側の業務端末408に表示される画面の一例を示す図である。画面の上部領域には、手荷物検査エリア側の係員Sに対して手荷物の再検査を指示するエラーメッセージ(「身体検査で対象物品が検出されました。2番ボックスに保管されている手荷物を再検査してください。」)が表示されている。図17の画面は、利用者Uに関して実施済みの手荷物検査で対象物品が検出されていなかった場合に、身体検査の結果に応じて手荷物検査を再度実施させるために表示されるとよい。
続いて、身体検査時における対象物品の検出条件の設定方法について説明する。図18は、エッジサーバ401の処理の一例を示すフローチャートである。この処理は、上述した図15のステップS405の処理に相当する。
ステップS501において、エッジサーバ401は、利用者Uが手荷物検査で対象物品が検出された人物であるか否かを判定する。ここで、エッジサーバ401は、利用者Uが手荷物検査で対象物品が検出された人物であると判定した場合(ステップS501、YES)、身体検査の閾値を平常時よりも高い値に設定し(ステップS502)、処理はステップS406へ移行する。すなわち、身体検査時における対象物品の検出条件を現在設定されている条件よりも厳しくする。
これに対し、エッジサーバ401は、利用者Uが手荷物検査で対象物品が検出された人物ではないと判定した場合(ステップS501、NO)、身体検査の閾値を平常時の値に設定し(ステップS503)、処理はステップS406へ移行する。
<保管先の案内>
図19は、エッジサーバ401とサイネージ端末409との間の処理の一例を示すシーケンス図である。この処理は、身体検査を終了した利用者Uを対象として実行される。
サイネージ端末409は、自端末の前方を常時又は定期的に撮影し、撮影した画像中にサイネージ端末409の前に立つ利用者Uの顔が検出されたか否かを判定する(ステップS601)。サイネージ端末409は、画像中に利用者Uの顔が検出されないと判定すると(ステップS601、NO)、画像中に利用者Uの顔が検出されるまで待機する。
サイネージ端末409は、利用者Uの顔が検出されたと判定すると(ステップS601、YES)、撮影画像の中から利用者Uの顔画像を対象顔画像として取得する(ステップS602)。
次に、サイネージ端末409は、利用者Uの顔画像(対象顔画像)を照合要求とともにエッジサーバ401へ送信する(ステップS603)。これにより、サイネージ端末409は、利用者Uの対象顔画像と、保安検査情報DB401aに登録された複数の登録顔画像とを1対Nで照合することをエッジサーバ401に対して要求する。
エッジサーバ401は、サイネージ端末409から対象顔画像及び照合要求を受信すると、利用者Uの顔画像の照合を行う(ステップS604)。すなわち、エッジサーバ401は、サイネージ端末409から受信した対象顔画像と、保安検査情報DB401aに登録された複数の登録顔画像とを1対Nで照合する。
ここで、エッジサーバ401が、照合結果は照合不一致であると判定すると(ステップS605、NO)、エッジサーバ401は照合不一致の照合結果をサイネージ端末409へ送信し(ステップS608)、処理はステップS609に移行する。これに対し、エッジサーバ401が、照合結果は照合一致であると判定すると(ステップS605、YES)、処理はステップS606に移行する。
ステップS606において、エッジサーバ401は、保安検査情報DB401aにおいて照合一致の登録顔画像に対して関連付けられた手荷物検査の検査結果と手荷物の保管場所の情報を取得する。そして、エッジサーバ401は、照合結果、手荷物検査の検査結果及び手荷物の保管場所の情報をサイネージ端末409へ送信する(ステップS607)。その後、処理はステップS609へ移行する。
次に、サイネージ端末409は、エッジサーバ401から受信した情報に基づいて、利用者Uの手荷物が保管ボックス410に保管されていると判定した場合(ステップS609、YES)、処理はステップS610へ移行する。
これに対し、サイネージ端末409は、利用者Uの手荷物が保管ボックス410に保管されていないと判定した場合(ステップS609、NO)、利用者Uに対してエラーメッセージを通知する(ステップS611)。例えば、“お客様の手荷物は、保管されていません。”等のエラーメッセージを含む通知画面を表示する。
ステップ610において、サイネージ端末409は、利用者Uの手荷物の保管場所の情報を含む画面を表示し、処理を終了する。
図20及び図21は、サイネージ端末409に表示される画面の一例を示す図である。図20では、サイネージ端末409には、生体情報取得装置としてカメラ409aが設けられている。カメラ409aにおいて撮影された利用者Uの顔画像と、保安検査情報DB401aに記憶されている撮影顔画像との照合結果が照合一致の場合には、図20に示すように利用者Uの顔画像と、手荷物の保管先を示す案内メッセージ(「お客様の手荷物は、1番ボックスに保管されています。」)とが画面に表示される。
一方、図21では、利用者Uの顔画像と、保安検査情報DB401aに記憶されている撮影顔画像との照合結果は照合一致であるが、利用者Uの手荷物検査ステータスが“未実行”又は“実行中”であることを示す案内メッセージ(「お客様の手荷物の検査は、未だ完了していません。検査が完了するまで暫くお待ちください。」)が表示されている。なお、利用者Uの手荷物検査において対象物品が検出された場合にも、図21のような利用者Uに待機を促す案内画面を表示してもよい。
<手荷物の引き渡し>
図22は、エッジサーバ401と保管ボックス410との間の処理の一例を示すシーケンス図である。この処理は、身体検査及び手荷物検査の両方を終了した利用者Uを対象として実行される。
保管ボックス410は、自装置の前を常時又は定期的に撮影し、撮影した画像中に保管ボックス410の前に立つ利用者Uの顔が検出されたか否かを判定する(ステップS701)。保管ボックス410は、画像中に利用者Uの顔が検出されるまで待機する(ステップS701、NO)。
保管ボックス410は、利用者Uの顔が検出されたと判定すると(ステップS701、YES)、その利用者Uの顔を撮影して、利用者Uの顔画像を対象顔画像として取得する(ステップS702)。
次に、保管ボックス410は、利用者Uの対象顔画像を照合要求とともにエッジサーバ401へ送信する(ステップS703)。これにより、保管ボックス410は、利用者Uの対象顔画像と、保安検査情報DB401aに登録された複数の登録顔画像とを1対Nで照合することをエッジサーバ401に対して要求する。
エッジサーバ401は、保管ボックス410から対象顔画像及び照合要求を受信すると、利用者Uの顔画像の照合を行う(ステップS704)。すなわち、エッジサーバ401は、保管ボックス410から受信した対象顔画像と、保安検査情報DB401aに登録された複数の登録顔画像とを1対Nで照合する。
ここで、エッジサーバ401が、照合結果は照合不一致であると判定すると(ステップS705、NO)、エッジサーバ401は照合不一致の照合結果を保管ボックス410へ送信し(ステップS708)、処理はステップS709に移行する。これに対し、エッジサーバ401が、照合結果は照合一致であると判定すると(ステップS705、YES)、処理はステップS706に移行する。
ステップS706において、エッジサーバ401は、保安検査情報DB401aにおいて照合一致の登録顔画像に関連付けられた手荷物検査の検査結果と手荷物の保管場所の情報を取得する。そして、エッジサーバ401は、照合結果、手荷物検査の検査結果、手荷物の保管場所の情報及び解錠制御情報等を保管ボックス410へ送信する(ステップS707)。その後、処理はステップS709へ移行する。
次に、保管ボックス410は、受信した情報に基づいて、利用者Uの手荷物が内部に保管されていると判定した場合(ステップS709、YES)、解錠制御情報に基づいて扉を解錠状態にし(ステップS710)、処理はステップS712へ移行する。
これに対し、保管ボックス410は、利用者Uの手荷物が内部に保管されていないと判定した場合(ステップS709、NO)、利用者Uに対してエラーを通知する(ステップS711)。例えば、“お客様の手荷物は、こちらのボックスには保管されていません。”、“お客様の手荷物は、3番のボックスに保管されています。”等のエラーメッセージを含む通知画面を表示する。
次に、保管ボックス410は、保管していた手荷物の引き渡しが完了したと判定した場合(ステップS712、YES)、処理はステップS713へ移行する。
これに対し、保管ボックス410は、手荷物の引き渡しが完了していないと判定した場合(ステップS712、NO)、手荷物の引き渡しが完了するまで待機する。
ステップS713において、保管ボックス410は、手荷物の引渡しが完了したこと示すステータス情報をエッジサーバ401へ送信する。そして、エッジサーバ401は、ステータス情報を受信すると、保安検査情報DB401aにおける利用者Uの引渡しステータスを“引渡し完了”に更新し(ステップS714)、処理を終了する。
図23は、保管ボックス410の構成の一例を示す正面図である。ここでは、保管ボックス410は、手荷物B及び搬送トレイTを収納可能な空間410aと、開閉可能な扉410bと、生体情報取得装置としてのカメラ410cとを備えている。カメラ410cにおいて撮影された利用者Uの顔画像と、保安検査情報DB401aに記憶されている撮影顔画像との照合結果が照合一致の場合には、エッジサーバ401は、電子錠(不図示)を解錠する制御情報を保管ボックス410へ出力する。これにより、利用者Uは、手荷物検査及び身体検査を受けている間に預けていた手荷物を引き取ることができる。
本実施形態によれば、利用者Uに対して手荷物検査の実施する際において、利用者Uの生体情報と手荷物の識別情報とが関連付けられる。これにより、利用者U側では、任意のタイミングで自身の手荷物を手荷物検査のために預けられるとともに、自身は身体検査エリアに移動して身体検査を受けることができる。すなわち、利用者Uと手荷物とを関連付けることにより、身体検査及び手荷物検査を並列かつ利用者U(所有者)の順不同に実行できる。この結果、保安検査におけるスループットを向上できる。
また、本実施形態によれば、利用者Uの生体情報と手荷物の識別情報は、利用者Uが手荷物を預ける瞬間を撮影した同一の撮影画像から自動的に取得される。生体情報と手荷物の識別情報との関連付けを行う際に、利用者Uは旅券や搭乗券等の記録媒体を提示する必要がないため、利用者Uの利便性が向上する。
また、本実施形態によれば、手荷物検査及び身体検査の一方の検査において対象物品が検出された場合には、他方の検査における対象物品の検出条件を変更する。2種の検査の結果が共有され、対象物品の検出精度をさらに高めることができる。
また、本実施形態によれば、エッジサーバ401は、手荷物検査の検査結果に基づいて手荷物の保管先である保管ボックス410を決定するとともに、手荷物搬送装置403による保管先への手荷物の搬送を制御する。手荷物は指定された保管ボックス410に自動的に保管されるため、係員Sの作業負担を大幅に低減できる。
また、本実施形態によれば、エッジサーバ401は、手荷物検査及び身体検査において対象物品が検出されなかった場合に、手荷物の保管先の情報をサイネージ端末409に表示させる。このため、例えば身体検査を終えた利用者Uの進行方向にサイネージ端末409が配置されていれば、利用者Uは自身の手荷物が何処に保管されているのかを直ちに知ることができる。
また、本実施形態によれば、エッジサーバ401は、サイネージ端末409において取得された利用者Uの生体情報とリンク情報(保安検査情報)に含まれる生体情報との照合結果に基づいて、保管先の情報をサイネージ端末409に表示させる。これにより、利用者Uは、自身の手荷物が何処に保管されているのかを所望のタイミングで知ることができる。
また、本実施形態によれば、エッジサーバ401は、保管ボックス410において取得された利用者Uの生体情報とリンク情報(保安検査情報)に含まれる生体情報との照合結果に基づいて、保管ボックス410からの手荷物の取り出しを制御する。これにより、手荷物の所有者に対してのみ手荷物を引き渡すため、手荷物の取り違えを確実に防止できる。
さらに、本実施形態によれば、エッジサーバ401は、手荷物検査及び身体検査において、機械学習により得られた学習モデルをそれぞれ用いている。このため、既に知られている対象物品(危険物、不審物)だけでなく、様々な種類の対象物品に対して柔軟かつ高速に対応できる。この結果、対象物品の検出精度を向上させることができる。
[第2実施形態]
図24は、本実施形態における情報処理装置100の全体構成の一例を示すブロック図である。情報処理装置100は、第1取得部100Aと、第2取得部100Bと、作成部100Cとを備える。第1取得部100Aは、人物の生体情報を取得する。第2取得部100Bは、人物が所持する手荷物の識別情報を取得する。作成部100Cは、生体情報と手荷物の識別情報とを関連付けるリンク情報を作成する。本実施形態によれば、手荷物とその所有者との関係を簡単に登録して管理できる。
[変形実施形態]
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。
上述した実施形態では、生体情報として顔画像を用いる場合について説明したが、本発明に適用できる生体情報は顔画像のみに限られない。例えば、管理サーバ10及びエッジサーバ401は、顔画像の代わりに指紋画像、虹彩画像、耳介画像等の他の生体情報を用いて照合処理を行ってもよい。また、管理サーバ10及びエッジサーバ401は、異なる種類の生体情報の組み合わせに基づいて照合処理を行ってもよい。
上述した実施形態においては、手荷物検査と身体検査の一方の検査結果に応じて他方の検査における対象物品の検出条件を変更する場合について説明したが、他の情報に基づいて対象物品の検出条件を変更してもよい。例えば、利用者Uの人物属性情報を用いてもよい。人物属性情報としては、性別、年齢、国籍、保安検査の履歴情報、渡航先の履歴情報等の少なくとも1つを利用し得る。
具体的には、過去の渡航時に実施された保安検査において対象物品が検出されていた人物については、検出閾値を通常レベルよりも高く設定するとよい。同様に、利用者Uの過去の渡航の目的地や経由地が予め指定されている要注意の国や地域である場合にも、同様に検出閾値を高くしてもよい。
また、エッジサーバ401は、属性情報として渡航履歴情報(渡航の目的地/経由地/日時/所定期間内における回数等)や保安検査履歴情報(検査結果/検査日時)を用いる場合に、学習済みのモデルに履歴情報を入力し、各人物に対する信用度やリスクを算出してもよい。この場合、エッジサーバ401(制御部)は、信用度が低い(リスクが高い)と判定した人物に対しては対象物品の検出閾値を通常時よりも上げるとよい。これにより、例えば、利用者Uの渡航履歴における不自然な点を自動的に検出できるため、保安検査の精度をさらに向上できる。
逆に、過去の渡航履歴に一切問題がない優良渡航客については、保安検査における検出閾値を通常レベルよりも低く設定することも可能である。特に、利用者Uの生体情報に基づいて人物属性情報を容易に取得できるシステム構成の場合には、利用者Uごとに最適な保安検査を行える利点がある。なお、利用者Uがブラックリストに登録されている人物である場合には、検査を実行せずにエラー判定を行い、他の場所で詳細な検査を実行させるようにしてもよい。
また、上述した実施形態においては、撮影画像や測定信号に対する判定閾値を変更する場合について説明したが、画像の撮影条件や信号の測定条件自体を変更してもよい。例えば、手荷物検査装置405が3次元CTスキャナである場合、撮影の角度や撮影位置の間隔等を変更することで、通常よりも詳細な検査を行うように構成してもよい。
また、上述した実施形態においては、手荷物検査装置405が一台配置されている場合を例示したが、手荷物検査装置405の台数は任意である。例えば、手荷物検査装置405を並べることで、複数の手荷物を同時に検査するように構成してもよい。これは、身体検査装置406(例えば金属探知機やミリ波スキャナ)についても同様である。
また、上述した実施形態においては、利用者Uの手荷物は、個人単位で保管ボックス410に保管される場合について説明したが、保管方法はこれに限られない。例えば、レーンごとに複数の利用者Uの手荷物を保管するように構成してもよい。この場合、手荷物の取り違えを防止する他の監視手段を設けると好適である。また、レーンごとに複数の利用者Uの手荷物を保管する場合には、どのレーンに手荷物を保管しているのかをサイネージ端末409等に表示すると好適である。これにより、保安検査場の限られたスペースを有効に活用することができるため、保管検査場におけるスループットを向上できる利点がある。
また、上述した実施形態においては、利用者Uの手荷物が保安検査場内に保管される場合について説明したが、保管場所は必ずしも保安検査場でなくてもよい。例えば、出国エリアに設けられた専用ロッカーに保管するように構成してもよい。
また、上述した実施形態においては、手荷物の識別情報として撮像画像のうち、手荷物を収納している搬送トレイの画像領域から取得されたバーコードを用いる場合について説明したが、手荷物の識別情報の取得方法はバーコードの読取のみに限られない。例えば、搬送トレイの表面に印字あるいは造形されている文字や図形を読取り、手荷物の識別情報として用いてもよい。また、手荷物自体の特徴量を算出し、当該特徴量を手荷物の識別情報として用いてもよい。さらに、搬送トレイに内蔵されている記録媒体から読み取ってもよい。同様に、利用者Uの識別情報として、旅券、搭乗券、各種の身分証明書等の記録媒体から読み取った情報を利用者Uの生体情報の代わりに用いることもできる。
また、上述した実施形態においては、空港施設の保安検査場を例として説明したが、本発明を適用できる施設はこれに限られない。例えば、コンサート会場、テーマパーク、高速鉄道、船舶等における入場前の保安検査手続にも同様に適用可能である。
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
該記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード等を用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
人物の生体情報を取得する第1取得部と、
前記人物が所持する手荷物の識別情報を取得する第2取得部と、
前記生体情報と前記識別情報とを関連付けるリンク情報を作成する作成部と、
を備える情報処理装置。
(付記2)
制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査とを、前記リンク情報に基づいて並列に実行させる制御部、
をさらに備える付記1に記載の情報処理装置。
(付記3)
前記制御部は、前記手荷物検査及び前記身体検査の一方の検査における検査結果に基づいて他方の検査における前記対象物品の検出条件を変更する、
付記2に記載の情報処理装置。
(付記4)
前記制御部は、前記手荷物検査及び前記身体検査の一方の検査において前記対象物品が検出された場合に、他方の検査における前記対象物品の前記検出条件を現在設定されている条件よりも厳しくする、
付記3に記載の情報処理装置。
(付記5)
前記人物の属性情報に予め関連付けられた登録生体情報と前記生体情報との照合処理によって前記属性情報を取得する取得部をさらに備え、
前記制御部は、前記属性情報に基づいて前記手荷物検査及び前記身体検査の各々における前記対象物品の検出条件を変更する、
付記2乃至4のいずれかに記載の情報処理装置。
(付記6)
前記属性情報は、前記人物の性別、年齢、国籍の少なくとも1つを含む、
付記5に記載の情報処理装置。
(付記7)
前記属性情報は、実施済みの前記身体検査及び前記手荷物検査の検査履歴情報を含む、
付記5又は6に記載の情報処理装置。
(付記8)
前記制御部は、過去に前記対象物品が検出されたことを示す前記検査履歴情報が取得された場合に、前記対象物品の前記検出条件を現在設定されている条件よりも厳しくする、
付記7に記載の情報処理装置。
(付記9)
前記属性情報は、前記人物の渡航履歴情報を含む、
付記5乃至8のいずれかに記載の情報処理装置。
(付記10)
前記制御部は、前記手荷物検査の検査結果に基づいて前記手荷物の保管先を決定するとともに、前記保管先への前記手荷物の搬送を制御する、
付記2乃至9のいずれかに記載の情報処理装置。
(付記11)
前記制御部は、前記手荷物検査及び前記身体検査において前記対象物品が検出されなかった場合に、前記手荷物の前記保管先の情報を表示端末に表示させる、
付記10に記載の情報処理装置。
(付記12)
前記制御部は、前記表示端末において取得された前記人物の第2生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記保管先の情報を前記表示端末に表示させる、
付記11に記載の情報処理装置。
(付記13)
前記制御部は、前記保管先である保管装置において取得された前記人物の第3生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記保管装置からの前記手荷物の取り出しを制御する、
付記10乃至12のいずれかに記載の情報処理装置。
(付記14)
前記制御部は、前記身体検査又は前記手荷物検査において前記対象物品が検出された場合に、所定の業務端末に対して前記対象物品の検出情報を出力する、
付記2乃至13のいずれかに記載の情報処理装置。
(付記15)
前記手荷物を撮影した画像と前記対象物品に関する特徴情報との関係を予め学習した学習モデルに基づいて前記手荷物検査を実行する手荷物検査部、
をさらに備える付記2乃至14のいずれかに記載の情報処理装置。
(付記16)
前記人物の身体を撮影した画像と前記対象物品に関する特徴情報との関係を予め学習した学習モデルに基づいて前記身体検査を実行する身体検査部、
をさらに備える付記2乃至14のいずれかに記載の情報処理装置。
(付記17)
前記生体情報及び前記識別情報は、前記人物及び前記手荷物が含まれる同一の撮影画像から取得される、
付記1乃至16のいずれかに記載の情報処理装置。
(付記18)
前記識別情報は、前記撮影画像のうち、前記手荷物を収納している容器の画像領域から取得された文字、図形及びバーコードのいずれかである、
付記17に記載の情報処理装置。
(付記19)
前記識別情報は、前記撮影画像のうち、前記手荷物の画像領域から取得された特徴量である、
付記17に記載の情報処理装置。
(付記20)
人物の生体情報を取得するステップと、
前記人物が所持する手荷物の識別情報を取得するステップと、
前記生体情報と前記識別情報とを関連付けるリンク情報を作成するステップと、
を備える情報処理方法。
(付記21)
コンピュータに、
人物の生体情報を取得するステップと、
前記人物が所持する手荷物の識別情報を取得するステップと、
前記生体情報と前記識別情報とを関連付けるリンク情報を作成するステップと、
を実行させるためのプログラムが記録された記録媒体。
NW、NW1・・・ネットワーク
U、U1~U11・・・利用者
S、S1~S5・・・係員
1・・・情報処理システム
10・・・管理サーバ
11・・・トークンID情報DB
12・・・通過履歴情報DB
13・・・業務情報DB
20・・・チェックイン端末
30・・・自動手荷物預け機
40・・・保安検査システム
50・・・自動化ゲート装置
60・・・搭乗ゲート装置
100・・・情報処理装置
100A・・・第1取得部
100B・・・第2取得部
100C・・・作成部
401・・・エッジサーバ
401a・・・保安検査情報DB
401b・・・リンク情報作成部
401c・・・制御部
401d・・・属性情報取得部
401e・・・手荷物検査部
401f・・・身体検査部
401g・・・照合部
402・・・通行制御装置
402a・・・生体情報取得装置
402b・・・媒体読取装置
402c・・・ゲート
403・・・手荷物搬送装置
404・・・カメラ
405・・・手荷物検査装置
406・・・身体検査装置
408・・・業務端末
409・・・サイネージ端末
410・・・保管ボックス
411・・・CPU
412・・・RAM
413・・・ROM
414・・・ストレージ
415・・・通信I/F

Claims (7)

  1. 人物の生体情報を取得する第1取得部と、
    前記人物が所持する手荷物の識別情報を取得する第2取得部と、
    前記生体情報と前記識別情報とを関連付けるリンク情報を作成する作成部と、
    制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査の結果と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査の結果とを、取得する制御部と、
    を備え、
    前記制御部は、前記手荷物検査の検査結果に基づいて前記手荷物の搬送先を決定するとともに、前記搬送先への前記手荷物の搬送を制御し、前記表示端末において取得された前記人物の第2生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記手荷物の前記搬送先の情報を表示端末に表示させる、
    情報処理装置。
  2. 前記第1取得部及び前記第2取得部は、前記人物と前記人物が所持する前記手荷物とを撮影した画像からそれぞれ前記人物の生体情報及び前記識別情報を取得する、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記手荷物検査及び前記身体検査の一方の検査における検査結果に基づいて他方の検査における前記対象物品の検出条件を変更する、
    請求項1又は2に記載の情報処理装置。
  4. 前記人物の属性情報に予め関連付けられた登録生体情報と前記生体情報との照合処理によって前記属性情報を取得する取得部をさらに備え、
    前記制御部は、前記属性情報に基づいて前記手荷物検査及び前記身体検査の各々における前記対象物品の前記検出条件を変更する、
    請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記制御部は、前記搬送先である保管装置において取得された前記人物の第3生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記保管装置からの前記手荷物の取り出しを制御する、
    請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. コンピュータが、人物の生体情報を取得するステップと、
    前記コンピュータが、前記人物が所持する手荷物の識別情報を取得するステップと、
    前記コンピュータが、前記生体情報と前記識別情報とを関連付けるリンク情報を作成するステップと、
    前記コンピュータが、制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査の結果と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査の結果とを、取得するステップと、
    を備え、
    前記手荷物検査の結果及び身体検査の結果を取得するステップでは、前記コンピュータが、前記手荷物検査の検査結果に基づいて前記手荷物の搬送先を決定するとともに、前記搬送先への前記手荷物の搬送を制御し、前記表示端末において取得された前記人物の第2生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記手荷物の前記搬送先の情報を表示端末に表示させる、
    情報処理方法。
  7. コンピュータに、
    人物の生体情報を取得するステップと、
    前記人物が所持する手荷物の識別情報を取得するステップと、
    前記生体情報と前記識別情報とを関連付けるリンク情報を作成するステップと、
    制限区域への持ち込みが制限されている対象物品が前記手荷物の中に含まれるか否かを判定する手荷物検査の結果と、前記人物が前記対象物品を携帯しているか否かを判定する身体検査の結果とを、取得するステップと、
    を実行させ、
    前記手荷物検査の結果及び身体検査の結果を取得するステップでは、前記手荷物検査の検査結果に基づいて前記手荷物の搬送先を決定するとともに、前記搬送先への前記手荷物の搬送を制御し、前記表示端末において取得された前記人物の第2生体情報と前記リンク情報に含まれる前記生体情報との照合結果に基づいて、前記手荷物の前記搬送先の情報を表示端末に表示させる、
    プログラム。
JP2023162232A 2020-02-28 2023-09-26 情報処理装置、情報処理方法及びプログラム Pending JP2023165835A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023162232A JP2023165835A (ja) 2020-02-28 2023-09-26 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022503060A JP7360606B2 (ja) 2020-02-28 2020-02-28 情報処理装置、情報処理方法及びプログラム
PCT/JP2020/008537 WO2021171622A1 (ja) 2020-02-28 2020-02-28 情報処理装置、情報処理方法及び記録媒体
JP2023162232A JP2023165835A (ja) 2020-02-28 2023-09-26 情報処理装置、情報処理方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022503060A Division JP7360606B2 (ja) 2020-02-28 2020-02-28 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023165835A true JP2023165835A (ja) 2023-11-17

Family

ID=77489881

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022503060A Active JP7360606B2 (ja) 2020-02-28 2020-02-28 情報処理装置、情報処理方法及びプログラム
JP2023162232A Pending JP2023165835A (ja) 2020-02-28 2023-09-26 情報処理装置、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022503060A Active JP7360606B2 (ja) 2020-02-28 2020-02-28 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (2) US11854268B2 (ja)
EP (1) EP4113427A4 (ja)
JP (2) JP7360606B2 (ja)
WO (1) WO2021171622A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7433926B2 (ja) * 2020-01-21 2024-02-20 株式会社東芝 情報処理装置、プログラム、及び情報処理システム
CN114727062A (zh) * 2022-03-28 2022-07-08 慧之安信息技术股份有限公司 基于普通安防视频监控的穿透检测方法和装置
US20240177582A1 (en) * 2022-11-29 2024-05-30 Arinc Incorporated Systems and methods for passenger bags tampering and theft identification

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006518849A (ja) * 2003-02-24 2006-08-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータ・トモグラフィを使用することによる自動物質識別
WO2005055151A1 (ja) 2003-12-03 2005-06-16 Hitachi, Ltd. 搭乗セキュリティチェックシステムおよび方法ならびにコンピュータプログラム
US20170301004A1 (en) * 2015-07-14 2017-10-19 Munroe Chirnomas Automated store for selling articles
US20100277312A1 (en) * 2007-02-22 2010-11-04 Peter Michael Edic In-line high-throughput contraband detection system
DE102007048968A1 (de) * 2007-10-12 2009-04-23 Grenzebach Maschinenbau Gmbh Vorrichtung und Verfahren zum Detektieren und Neutralisieren von gefährlichen Gütern
JP5886554B2 (ja) 2011-07-25 2016-03-16 日本信号株式会社 荷物管理システム
KR20170109533A (ko) 2014-11-25 2017-09-29 라피스캔 시스템스, 인코포레이티드 지능형 보안관리시스템
CN104502368B (zh) 2014-12-29 2018-11-23 同方威视技术股份有限公司 一体化安全检查系统
CN106548263A (zh) 2015-09-21 2017-03-29 同方威视技术股份有限公司 一种智能安全检查系统和方法
CN106934326B (zh) * 2015-12-29 2020-07-07 同方威视技术股份有限公司 用于安全检查的方法、系统和设备
US20170236232A1 (en) * 2016-01-19 2017-08-17 Rapiscan Systems, Inc. Integrated Security Inspection System
JP6674342B2 (ja) 2016-06-30 2020-04-01 株式会社日立製作所 検査システムおよび入場管理設備
CN107958435A (zh) 2016-10-17 2018-04-24 同方威视技术股份有限公司 安检系统及配置安检设备的方法
CA3043831A1 (en) 2016-11-24 2018-05-31 Sedect Sa System and method for scanning a person before entry to a restricted access area
JP6800820B2 (ja) * 2017-07-14 2020-12-16 パナソニック株式会社 人流分析方法、人流分析装置、及び人流分析システム
JP6581260B1 (ja) 2018-07-30 2019-09-25 東芝エレベータ株式会社 エレベータの注意喚起システム
US11069017B1 (en) * 2018-10-15 2021-07-20 Alclear, Llc Biometric bag check system
US11164007B2 (en) * 2019-07-23 2021-11-02 Conduent Business Services, Llc Method and system for detecting the owner of an abandoned object from a surveillance video

Also Published As

Publication number Publication date
US11854268B2 (en) 2023-12-26
US20240087325A1 (en) 2024-03-14
JP7360606B2 (ja) 2023-10-13
WO2021171622A1 (ja) 2021-09-02
US20220406068A1 (en) 2022-12-22
EP4113427A1 (en) 2023-01-04
EP4113427A4 (en) 2023-04-12
JPWO2021171622A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
JP7360606B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020026367A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JPWO2020026368A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7235123B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2021059526A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JPWO2020138348A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7393726B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2024023992A (ja) 情報処理装置、情報処理方法及びプログラム
JP7279784B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230377398A1 (en) Information processing apparatus, information processing method, and storage medium
JP7513084B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022075775A (ja) サーバ装置、システム、サーバ装置の制御方法、端末及びコンピュータプログラム
US20230334927A1 (en) Information processing apparatus, information processing method, and storage medium
JP2022067100A (ja) プログラム、情報処理装置及び情報処理方法
WO2022102076A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US20220172286A1 (en) Information processing apparatus, terminal device, information processing method, and storage medium
US20230368927A1 (en) Information processing apparatus, information processing method, and storage medium
US20230360805A1 (en) Information processing apparatus, information processing method, and storage medium
JP7040690B1 (ja) サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム
JP7548376B2 (ja) サーバ装置、サーバ装置の制御方法及びコンピュータプログラム
WO2022102079A1 (ja) 情報処理装置、情報処理方法及び記録媒体
WO2021199337A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JPWO2020138349A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240903