JP2022123176A - 手荷物捜索方法および手荷物情報管理システム - Google Patents

手荷物捜索方法および手荷物情報管理システム Download PDF

Info

Publication number
JP2022123176A
JP2022123176A JP2021020317A JP2021020317A JP2022123176A JP 2022123176 A JP2022123176 A JP 2022123176A JP 2021020317 A JP2021020317 A JP 2021020317A JP 2021020317 A JP2021020317 A JP 2021020317A JP 2022123176 A JP2022123176 A JP 2022123176A
Authority
JP
Japan
Prior art keywords
baggage
image
searched
search
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021020317A
Other languages
English (en)
Inventor
淳 渡辺
Jun Watanabe
享慶 神谷
Yukiyoshi Kamiya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2021020317A priority Critical patent/JP2022123176A/ja
Priority to EP22752504.5A priority patent/EP4292963A1/en
Priority to PCT/JP2022/000576 priority patent/WO2022172671A1/ja
Publication of JP2022123176A publication Critical patent/JP2022123176A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/36Other airport installations
    • B64F1/368Arrangements or installations for routing, distributing or loading baggage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/32Ground or aircraft-carrier-deck installations for handling freight
    • B64F1/324Luggage loaders specially adapted for loading individual luggage items into or out of the aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Mechanical Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】手荷物の捜索時間を短縮できる手荷物捜索方法を提供する。【解決手段】捜索対象手荷物の画像と、捜索対象手荷物に取り付けられた無線タグに記憶されたIDとを含む捜索対象情報を取得する情報取得工程(S11)と、捜索対象手荷物が含まれている手荷物群の少なくとも一部を含む領域であり、作業者が選択した撮影領域をカメラが撮影し、処理部が、撮影画像と捜索対象情報に含まれている画像とを照合する画像照合工程(S14)と、表示部に捜索対象手荷物の画像部分が強調表示された後、作業者が作業者端末に対してID照合操作して、タグ通信部に、強調表示された画像部分にある手荷物に取り付けられている無線タグのIDを読み取らせ、処理部が、タグ通信部が読み取ったIDと、捜索対象情報に含まれているIDとが一致するかを判断するID照合工程(S17)とを含む。【選択図】図5

Description

航空手荷物などの手荷物を捜索する手荷物捜索方法および手荷物情報管理システムに関する。
空港において、搭乗旅客が出発ゲートに現れないことをNO SHOWと呼ぶ。もしNO SHOWが発生した場合、セキュリティ上の問題から、一旦航空機に搭載した手荷物を取り降ろす必要がある。作業者がおこなう手荷物の取り降ろし作業は、搭乗ゲートの空港スタッフから作業者の持つ端末に、該当する手荷物番号の連絡があった場合に開始する。作業者は、この手荷物番号を基に手荷物を捜索することになる。
特許文献1には、手荷物の取り降ろし作業に要する時間を短縮する技術が開示されている。特許文献1に開示されている技術では、チェックインカウンタで発行したRFタグ付きの手荷物タグ(以下、RF手荷物タグ)を利用する。
詳しくは、特許文献1に開示されている技術では、航空機への手荷物搭載時にRF手荷物タグを読取り、積載順を把握して航空機内における手荷物の積載位置が含まれるエリアを把握する。手荷物の積載位置が含まれるエリアが把握できるので、手荷物番号だけでの捜索に比べて捜索時間を短縮できる。また、チェックインカウンタにおいて、手荷物の写真を撮影して手荷物画像を取得し、この画像を捜索に活用する。
特開2020-55691号公報
特許文献1の技術では、手荷物の積載位置を含んでいるエリアが把握できた後は、作業者は、手荷物画像をもとに、該当する手荷物を目視で捜索する。そのため、捜索時間が十分に短いとは言えない。よって、さらなる捜索時間の短縮が望まれる。また、手荷物画像との目視比較により、該当する手荷物かどうかを判断すると、間違いが生じる恐れもある。
本開示は、この事情に基づいて成されたものであり、その目的とするところは、手荷物の捜索時間を短縮しつつ、間違いも抑制できる手荷物捜索方法、および、手荷物情報管理システムを提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的態様との対応関係を示すものであって、開示した技術的範囲を限定するものではない。
上記目的を達成するための手荷物捜索方法に係る1つの開示は、無線タグが取り付けられた手荷物を、捜索情報取得部(61)、タグ通信部(62)、カメラ(63)、表示部(64)、処理部(66)を一体または別体で備えた作業者端末(60)を用いて作業者が捜索する手荷物捜索方法であって、
捜索情報取得部が、捜索対象となる手荷物である捜索対象手荷物の予め撮影された画像と、捜索対象手荷物に取り付けられた無線タグに記憶されたIDとを含む捜索対象情報を取得する情報取得工程(S11)と、
作業者が作業者端末を操作して、カメラが、捜索対象手荷物が含まれている手荷物群の少なくとも一部を含む領域であり、作業者が選択した撮影領域を撮影し、処理部が、撮影領域を撮影した画像である撮影画像と、捜索対象情報に含まれている画像とを照合する画像照合工程(S14)と、
処理部は、捜索対象手荷物の画像が撮影画像に含まれていると判断した場合、撮影画像において捜索対象手荷物の画像部分を強調した画像を表示部に表示する表示工程(S16、S20)と、
表示部に捜索対象手荷物の画像部分が強調表示された後、作業者が作業者端末に対してID照合操作して、タグ通信部に、強調表示された画像部分にある手荷物に取り付けられている無線タグのIDを読み取らせ、処理部が、タグ通信部が読み取ったIDと、捜索対象情報に含まれているIDとが一致するかを判断するID照合工程(S17)と、とを含む手荷物捜索方法である。
この手荷物捜索方法では、画像照合により捜索対象手荷物を捜索するので、目視で捜索する場合に比較して、捜索対象手荷物である可能性が高い手荷物を迅速に見つけることができる。加えて、無線タグのIDも照合するので、間違いも抑制できる。
上記手荷物捜索方法において、
作業者端末は、タグ通信部が受信した無線タグからの応答電波信号に基づき、作業者端末に対する無線タグの方位を推定する方位推定部(65)を備えており、
表示工程では、処理部は、捜索対象手荷物の画像が、撮影画像に含まれていないと判断した場合、そのことを表示部に表示し、
表示工程で、捜索対象手荷物の画像が撮影画像に含まれていないと判断したことが表示された後、方位推定部は無線タグが存在する方位を推定し、処理部は、方位推定部が推定した方位を表示部に表示する方位推定工程(S21)を備えていてもよい。
無線タグが存在する方位を推定することで、目視のみで捜索対象手荷物を捜索するよりも、捜索対象手荷物の捜索時間を短縮できる。
また、方位推定工程の後、画像照合工程を再実行してもよい。
無線タグが存在する方位を推定できた場合には、ある程度、捜索対象手荷物が存在している位置が推定できていることになる、そこで、方位の推定結果をもとに撮影範囲を変更して、画像照合工程を再実行する。このようにすることで、方位推定の後は目視で捜索対象手荷物を探すよりも、手荷物捜索時間を短縮できる。
また、ID照合工程を第1ID照合工程とし、
方位推定工程の後、作業者が作業者端末に対してID照合操作して、タグ通信部に、無線タグのIDを取得させ、処理部が、タグ通信部が取得したIDと、捜索対象情報に含まれているIDとが一致するかを判断する第2ID照合工程(S22)を含んでいてもよい。
方位推定により、捜索対象手荷物である可能性がある手荷物を見つけた場合にも、IDを照合して捜索対象手荷物であるかどうかを確認することで、間違いを抑制できる。
また、情報取得工程を実行した後、最初に画像照合工程を実行する前に、方位推定部により無線タグの方位を推定する事前方位推定工程(S13A)を含んでいてもよい。
最初に画像照合する前に、無線タグが存在する方位を推定することで、方位の推定結果をもとに、最初の撮影範囲を決定できる。方位の推定結果をもとに最初の撮影範囲を決定することで、最初の撮影範囲を、捜索対象手荷物が含まれている範囲に決定しやすい。よって、画像照合できるまでの時間を短縮でき、その結果、手荷物捜索時間を短縮できる。
画像照合工程では、色の3原色を使って、捜索対象手荷物の画像のR値、G値、B値と、撮影画像のR値、G値、B値の比較に基づいて、照合をすることができる。
画像をR値、G値、B値で比較することで、捜索対象手荷物ではない手荷物を、捜索対象手荷物であると判定してしまうことを抑制できる。
捜索対象情報には、捜索対象手荷物の少なくとも一部である測色部位の色相、明度、彩度も含まれており、
画像照合工程では、撮影画像と捜索対象情報に含まれている画像との照合に加えて、測色計により、捜索対象手荷物である可能性がある手荷物の測色部位の色相、明度、彩度を測定し、測定した色相、明度、彩度と、捜索対象手荷物の測色部位の色相、明度、彩度とを照合してもよい。
色相、明度、彩度の照合を行うと、捜索対象情報に含まれている捜索対象手荷物の画像が撮影されたときと捜索時の明るさが異なっていても、高い精度で照合を行うことができる。
上記目的を達成するための手荷物情報管理システムに係る1つの開示は、
捜索対象となる手荷物の画像と、手荷物に取り付けられている無線タグに記憶されているIDとを対応付けて管理する手荷物情報管理システムであって、
搬送ラインにより搬送されている手荷物を撮影するカメラ(30)と、
搬送ラインにより搬送されている手荷物に取り付けられている無線タグと通信可能な位置に設置され、無線タグに記憶されているIDを取得するタグ読み取り装置(40)と、
手荷物の画像と、手荷物に取り付けられた無線タグに記憶されたIDとを含む手荷物情報を記憶する記憶部(22)と、
カメラにより撮影した手荷物の画像と、カメラにより手荷物を撮影したタイミングでタグ読み取り装置が読み取ったIDとを対応付けて手荷物情報として記憶部に記憶する制御部(21)と、
記憶部に記憶されている手荷物情報を、捜索対象情報として、捜索対象となる手荷物を捜索する作業者が使用する作業者端末へ無線送信する無線通信部(23)とを備える。
カメラとタグ読み取り装置を、上記構成とすれば、手荷物を取り扱うカウンタごとにカメラとタグ読み取り装置とを備える場合に比較して、カメラとタグ読み取り装置の数を少なくすることができる。
手荷物捜索システム100の構成を示す図。 手荷物情報を記憶部22に記憶する処理を示す図。 作業者端末60の構成を示す図。 捜索対象手荷物画面の一例を示す図。 第1実施形態の手荷物捜索方法の手順を示す図。 S16で表示する画像の一例を示す図。 第2実施形態の手荷物捜索方法の手順を示す図。
以下、実施形態を図面に基づいて説明する。図1は、手荷物捜索システム100の構成を示す図である。手荷物捜索システム100は、手荷物1を捜索するシステムである。本実施形態の手荷物1は、飛行機に搭乗する者の手荷物1である。
手荷物捜索システム100は、チェックインカウンタ端末10、管理装置20、カメラ30、タグ読み取り装置40、搭乗ゲート端末50、作業者端末60を備える。これらのうち、作業者端末60を除いた構成は、手荷物情報管理システム3である。
チェックインカウンタ端末10は、空港のチェックインカウンタに設置される。チェックインカウンタは複数あり、チェックインカウンタ端末10はチェックインカウンタごとに設置される。チェックインカウンタ端末10は、手荷物タグ70を発行する。手荷物タグ70は無線タグであり、手荷物番号が電子的に記憶される。手荷物タグ70は、パッシブタグであるが、アクティブタグであってもよい。
手荷物番号は、手荷物1を特定する識別情報すなわちIDに相当する。手荷物番号は、LPN(License Plate Number)と言われることもある。なお、手荷物1のIDは、手荷物1を特定できればよく、番号でなくてもよい。
チェックインカウンタ端末10は、管理装置20と有線または無線により信号の送受信が可能である。チェックインカウンタ端末10は、飛行機に乗る搭乗者の名前と手荷物番号とを対応付けて管理装置20に送る。チェックインカウンタにて手荷物タグ70が取り付けられた手荷物1は、搬送ライン2に載せられて搬送される。
管理装置20は、制御部21と、記憶部22と、無線通信部23とを備えている。管理装置20の一例は、旅客情報管理システム(DCS: Departure Control System)である。制御部21は、記憶部22および無線通信部23を制御する。制御部21は、チェックインカウンタ端末10から提供された搭乗者の名前および手荷物番号と、カメラ30が撮影した手荷物1の画像とを1組の手荷物情報として記憶部22に記憶する。また、制御部21は、記憶部22に記憶されている手荷物情報から選択した捜索対象情報を、無線通信部23を介して搭乗ゲート端末50に送る。
制御部21は、カメラ30およびタグ読み取り装置40も制御する。なお、カメラ30およびタグ読み取り装置40は、管理装置20とは異なる装置が制御するようになっていてもよい。
カメラ30は、搬送ライン2上を移動する手荷物1を撮影可能な位置に設置されている。カメラ30は、カラー画像を撮影する。カメラ30が撮影する画像は、後に画像照合(S14)で撮影画像との照合に用いる。撮影画像は屋外で撮影されることも多い。この撮影画像と照合するので、カメラ30の撮影範囲を照射する光源を備え、その光源が発光する光を自然光に近い色にすることが好ましい。
タグ読み取り装置40は、カメラ30が撮影できる位置に手荷物1が位置しているとき、その手荷物1に取り付けられている手荷物タグ70に記憶された情報を読み取り可能な位置に設置されている。カメラ30およびタグ読み取り装置40も、管理装置20と有線または無線により信号の送受信が可能である。
図2には、手荷物情報を記憶部22に記憶する処理を示している。S1では、チェックインカウンタ端末10が、航空会社の地上スタッフに操作されて、手荷物タグ70を発行する。この手荷物タグ70には、手荷物番号が電子的に記憶される。
S2では、航空会社の地上スタッフが、S1で発行された手荷物タグ70を手荷物1に取り付ける。
S3では、航空会社の地上スタッフが、手荷物タグ70が取り付けられた手荷物1を搬送ライン2に乗せる。S4では、カメラ30が、搬送ライン2の上を移動している手荷物1を撮影する。撮影タイミングは、たとえば、搬送ライン2上を移動する手荷物1が、カメラ30の撮像範囲に差し掛かったことを、センサにより検出して決定することができる。
S5では、タグ読み取り装置40が手荷物タグ70と通信して、手荷物タグ70に記憶されている手荷物番号を読み取る。カメラ30は撮影した画像を管理装置20に送信する。タグ読み取り装置40は、読み取った手荷物番号を管理装置20に送信する。
S6では、制御部21が手荷物情報を生成し、その手荷物情報を記憶部22に記憶する。前述したように、手荷物情報は、搭乗者の名前、手荷物番号、手荷物1の画像を含んでいる。手荷物1の画像はカラー画像であり、各画素の色がR値、G値、B値により示されている。
搭乗者の名前と手荷物番号は、チェックインカウンタ端末10から管理装置20に送信される。手荷物1の画像はカメラ30から管理装置20に送信される。また、この画像と同時期にタグ読み取り装置40から管理装置20に手荷物番号が送信される。制御部21は、タグ読み取り装置40から送信された手荷物番号と、チェックインカウンタ端末10から送信された手荷物番号とをもとに、カメラ30から送信された画像を、手荷物番号および搭乗者の名前と対応づけることで手荷物情報を生成する。
搭乗ゲート端末50は、管理装置20と無線通信可能である。搭乗ゲート端末50は、NO SHOWが発生した場合に、管理装置20へ、搭乗ゲートに現れなかった搭乗者の名前を送信する。管理装置20は、その搭乗者の名前を含んでいる手荷物情報を記憶部22から抽出する。そして、抽出した手荷物情報を搭乗ゲート端末50へ送信する。搭乗ゲート端末50へ送信される手荷物情報は、捜索対象となる手荷物1(以下、捜索対象手荷物)についての情報である。以下、管理装置20から搭乗ゲート端末50へ送られる手荷物情報を捜索対象情報とする。捜索対象情報に含まれている手荷物1の画像は、捜索対象手荷物の予め撮影された画像である。
捜索対象情報には、日付、フライト番号、搭載ULD番号が含まれていてもよい。搭載ULD番号は、捜索対象手荷物が搭載されているULD((Unit Load Device))コンテナの番号である。
搭乗ゲート端末50は、作業者端末60と無線通信可能であり、管理装置20から取得した捜索対象情報を作業者端末60に送信する。なお、搭乗ゲート端末50を介さずに管理装置20から作業者端末60へ捜索対象情報を送信してもよい。
作業者端末60は、捜索対象手荷物を捜索する作業者が携帯する。図3に作業者端末60の構成を示す。作業者端末60は、捜索情報取得部61、タグ通信部62、カメラ63、表示部64、方位推定部65、処理部66を備える。本実施形態の作業者端末60は、これらを一体で備える。ただし、一部の構成要素を別体としてもよい。たとえば、カメラ63とタグ通信部62を互いに別体としてもよい。
捜索情報取得部61は、搭乗ゲート端末50と無線通信して、捜索対象情報を取得する。捜索情報取得部61は無線部を備えており、この無線部と搭乗ゲート端末50との通信は、たとえば、公衆通信回線網を利用した広域通信である。また、この無線部と搭乗ゲート端末50との通信は、無線LAN等の近距離無線通信であってもよい。
タグ通信部62は、手荷物タグ70と通信し、手荷物タグ70に記憶された情報を読み取る。タグ通信部62は、手荷物タグ70から電波の強度を測定する機能を備える。カメラ63は、カラー画像を撮影する。表示部64は、カメラ63が撮影した画像、捜索対象手荷物画面などを表示する。捜索対象手荷物画面は、捜索対象情報に基づき描画される画面である。図4に、捜索対象手荷物画面の一例を示す。
図4に示す捜索対象手荷物画面には、日付、フライト番号、搭乗者名、搭載ULD番号、手荷物番号、捜索対象手荷物の画像が表示されている。
方位推定部65は、タグ通信部62が受信した、手荷物タグ70からの応答電波信号強度に基づき、作業者端末60に対する手荷物タグ70の方位を推定する。方位を推定する手法の一例は、指向性が可変できるタグ通信部62を備え、タグ通信部62の指向性を種々の方向に変更しつつ、各指向性において、手荷物タグ70からの応答電波信号強度を測定する手法がある。指向性が可変できるタグ通信部62とするために、タグ通信部62を、アダプティブアレーアンテナを備えた構成とすることができる。応答電波信号強度を測定することに代えて、あるいは、応答電波信号強度を測定することに加えて、応答電波位相を測定し、位相を用いて方位を推定してもよい。
処理部66は、捜索情報取得部61、タグ通信部62、カメラ63、表示部64を制御し、かつ、方位推定部65が得た方位推定結果を取得する。なお、処理部66が方位推定部65の機能を備えていてもよい。処理部66は、少なくとも1つのプロセッサを備えた構成により実現してもよい。
〔手荷物捜索方法〕
作業者は、作業者端末60を使った手荷物捜索方法を実行して捜索対象手荷物を捜索する。図5に手荷物捜索方法の手順を示す。次に、この手荷物捜索方法を説明する。
S11は情報取得工程であり、捜索情報取得部61が捜索対象情報を取得する。S12では、処理部66が、捜索対象情報に基づき、捜索対象手荷物画面を表示部64に表示させる。S13では、作業者が、その捜索対象手荷物画面を見てULD番号を確認し、該当するULDコンテナを航空機から取り下ろす。
S14では、作業者は、取り下ろしたULDコンテナを空けた後、作業者端末60を操作して、カメラ63により、作業者が選択した撮影領域を撮影する。作業者は、撮影領域を、捜索対象手荷物が含まれている手荷物群の少なくとも一部を含む領域として撮影する。このS14は画像照合工程であり、上記撮影後、さらに、撮影領域を撮影した画像(以下、撮影画像)と、捜索対象情報に含まれている捜索対象手荷物画像とを照合する。照合は、撮影後、自動的に実行されてもよいし、作業者による照合指示操作が行われた場合に実行されてもよい。
画像照合は、捜索対象手荷物の画像から決定できる捜索対象手荷物の形状を有する手荷物1が、撮影画像に存在しているかどうかを判断する。つまり、画像照合では、形状の照合を行う。形状の照合は、画像から切り取ることができる手荷物1の形状そのままを使うだけではなく、手荷物1を任意に回転移動させた場合に形状が一致するかも判断する。
形状の照合に加えて、画像照合では、色の照合も行う。色の照合は、撮影画像において、捜索対象手荷物の形状を有する画像領域と、捜索対象手荷物の画像において、撮影画像に含まれていると判断した領域を、照合対象領域とする。この照合対象領域において、撮影画像と捜索対象手荷物の画像の互いに対応する画素のR値、G値、B値を比較する。この比較により、形状が対応する領域の色が、同じ手荷物1の色を表しているかどうかを判断する。
S15では、S14での照合の結果、撮影画像に捜索対象手荷物の少なくとも一部と一致する領域があるか否かを判断する。S15の判断結果がYESであればS16に進む。S16では、捜索対象手荷物の画像部分を強調した撮影画像を表示部64に表示する。図6には、S16で表示する画像を例示している。図6の例では、捜索対象手荷物の画像部分を四角枠で囲うことで、捜索対象手荷物の画像部分を強調している。
S17はID照合工程および第1ID照合工程である。このS17では、作業者が、強調表示された手荷物1に取り付けられている手荷物タグ70の手荷物番号を照合する。照合は、次の手順を含む。作業者は、表示部64に表示された画像を見て、強調表示された手荷物1に近づく。近づく理由は、強調表示された手荷物1までの距離が遠いと、強調表示された手荷物1とは別の手荷物1に取り付けられた手荷物タグ70と通信してしまう恐れがあるからである。
作業者は、他の手荷物1に取り付けられた手荷物タグ70ではなく、強調表示された手荷物1に取り付けられた手荷物タグ70と通信できる位置まで近づいた後、作業者は、作業者端末60に対してID照合操作をする。
作業者端末60に対してID照合操作がされると、タグ通信部62は、その手荷物1に取り付けられた手荷物タグ70から手荷物番号を電子的に読み取る。そして、処理部66は、タグ通信部62が読み取った手荷物番号と、捜索対象情報に含まれている手荷物番号とが一致するかを判断する。
S18では、S17での照合の結果、タグ通信部62が読み取った手荷物番号が、捜索対象手荷物の手荷物番号であったか否かを判断する。この判断結果は、表示部64に表示される。タグ通信部62が読み取った手荷物番号が捜索対象手荷物の手荷物番号であるという結果であればS18の判断結果はYESになる。
作業者は、S18の判断結果がYESであれば、タグ通信部62が手荷物番号を読み取った手荷物タグ70が取り付けられている手荷物1を取り下ろす(S19)。その後、作業者は、作業者端末60を操作して、管理装置20へ捜索完了通知を送信する。
作業者は、表示部64に表示された判断結果が、タグ通信部62が読み取った手荷物番号が捜索対象手荷物の手荷物番号ではないという結果であれば(S18:NO)、S14を再実行する。再実行する場合、前回までの撮影領域とは異なる撮影領域を撮影する。なおS18の判断結果がNOである場合にS21へ進んでもよい。
次にS15の判断結果がNOである場合を説明する。S15の判断結果がNOであれば、S20に進む。S20では、処理部66は、撮影画像には、捜索対象手荷物の画像と一致する領域はないことを表示部64に表示する。つまり、処理部66は、撮影画像には、捜索対象手荷物の画像は含まれていないことを表示部64に表示する。このS20と前述したS16が表示工程である。
S21は方位推定工程である。S21では、作業者は、方位推定部65を作動させる。方位推定部65は、手荷物タグ70からの応答電波信号をもとに、作業者端末60に対する手荷物タグ70の方位を推定する。なお、S20の後、自動的にS21が実行されるようになっていてもよい。
方位推定部65は、推定結果を処理部66部に通知する。処理部66は、その推定結果を表示部64に表示する。画像照合であれば、1つの手荷物1を候補として確定できる。方位推定部65が方位推定をしても、画像照合ほどには、候補を絞り込むことはできない。たとえば、方位推定では、方位を45度範囲程度に絞り込むことができる程度である。
そこで、作業者は、表示部64に表示された推定結果と、捜索対象手荷物画面に含まれている捜索対象手荷物の画像を手がかりに、捜索対象手荷物を捜索する。
作業者は、捜索対象手荷物であると思われる手荷物1を見つけた場合、誤って他の手荷物1に取り付けられている手荷物タグ70と通信することがない距離まで、捜索対象手荷物であると思われる手荷物1に近づく。その後、作業者は、作業者端末60に対してID照合操作をする(S22)。S22は第2ID照合工程である。ID照合操作がされると、照合結果が表示部64に表示される。作業者は、その後、前述したS18以降に示した手順を実行する。
〔第1実施形態のまとめ〕
第1実施形態で説明した手荷物捜索方法では、画像照合により捜索対象手荷物を捜索する(S14)。目視で捜索する場合に比較して、捜索対象手荷物である可能性が高い手荷物1を迅速に見つけることができる。したがって、捜索対象手荷物の捜索時間を短縮できる。
加えて、手荷物タグ70から通信により読み取った手荷物番号を、管理装置20が送信した捜索対象情報に含まれている手荷物番号と照合して、捜索対象手荷物であるかどうかを確認する(S17、S18、S22)。したがって、間違った手荷物1を取り下ろしてしまうことも抑制できる。
作業者端末60は、方位推定部65を備えており、処理部66が、捜索対象手荷物の画像が含まれていないと判断した場合には(S15:NO)、そのことが表示部64に表示される(S20)。表示部64の表示内容を見ることで画像照合ができなかったことを知った作業者は、方位推定部65を作動させて、手荷物タグ70が存在する方位を推定する。手荷物タグ70が存在する方位を推定することで、作業者端末60に表示された捜索対象画像を手がかりに目視のみで捜索対象手荷物を捜索するよりも、捜索対象手荷物の捜索時間を短縮できる。
画像照合では、捜索対象手荷物の画像のR値、G値、B値と、撮影画像のR値、G値、B値を比較する。これにより、捜索対象手荷物ではない手荷物1を、捜索対象手荷物であると判定してしまうことを抑制できる。
カメラ30は、手荷物1が搬送ライン2により手荷物1が搬送されているときにその手荷物1を撮影する。タグ読み取り装置40も、搬送ライン2により手荷物1が搬送されているときに、その手荷物1に取り付けられている手荷物タグ70から情報を読み取る。搬送ライン2の本数は、チェックインカウンタの数よりも少ない。したがって、チェックインカウンタごとにカメラ30とタグ読み取り装置40とを備える場合に比較して、カメラ30とタグ読み取り装置40の数を少なくすることができる。
<第2実施形態>
次に、第2実施形態を説明する。この第2実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。
図7に、手荷物捜索方法の第2実施形態を示す。図7に示す手荷物捜索方法では、S13の後、S14の前に、事前方位推定工程であるS13Aを実行する。S13Aの内容はS21と同じである。
つまり、第2実施形態では、捜索対象情報を取得した後、最初に画像照合をする前に、手荷物タグ70が存在する方位を推定する。これにより、方位の推定結果をもとに、最初の撮影範囲を決定できる。よって、最初の撮影範囲を、捜索対象手荷物が含まれている範囲に決定しやすくなるので、画像照合ができるまでの時間を短縮でき、その結果、手荷物捜索時間を短縮できる。
また、第2実施形態の手荷物捜索方法は、S22を実行しない。S21を実行した後、再び画像照合(S14)を実行する。
手荷物タグ70が存在する方位を推定できた場合には、ある程度、捜索対象手荷物が存在している位置が推定できていることになる。そこで、方位の推定結果をもとに撮影範囲を変更して、画像照合工程(S14)を再実行するのである。このようにすることで、方位推定の後は、目視でのみ捜索対象手荷物を探すよりも、手荷物捜索時間を短縮できる。
以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。
<変形例1>
捜索対象情報に、捜索対象手荷物の少なくとも一部の部位である測色部位の色相、明度、彩度も含ませてもよい。色相、明度、彩度は、測色計を用いて測定し、数値として捜索対象情報に含ませる。色相、明度、彩度の測定は、チェックインカウンタで行うことができる。ただし、色相、明度、彩度の測定は、カメラ30が画像を撮影したタイミングと同時期など、手荷物1が搬送ライン2を流れているときに行ってもよい。測色部位は、どの部位を測定したかも捜索対象情報に含まれていれば、任意の部位でよい。
捜索対象情報に、測色部位の色相、明度、彩度も含まれている場合、画像照合工程では、撮影画像と捜索対象情報に含まれている画像との照合に加えて、色相、明度、彩度も照合する。具体的には、測色計により、捜索対象手荷物である可能性がある手荷物1に対して測色部位の色相、明度、彩度を測定する。そして、測定した色相、明度、彩度と、捜索対象手荷物の測色部位の色相、明度、彩度とを照合する。
色相、明度、彩度の照合は、R値、G値、B値の比較に代えて行うことができる。色相、明度、彩度の照合を行うと、搬送ライン2の付近に設置されたカメラ30が画像を撮影したときと捜索時の明るさが異なっていても、高い精度で照合を行うことができる。なお、色相、明度、彩度の照合を、R値、G値、B値の比較に加えて行ってもよい。
<変形例2>
図5に示す手荷物捜索方法においても、図7と同様、S13の後、S14の前に、S13Aを実行してもよい。
<変形例3>
手荷物1は、ULDコンテナに収容されて航空機に搭載されている必要はない。手荷物1は、航空機内の所定の収容空間に、直接、収容されていてもよい。
<変形例4>
カメラ30による手荷物1の撮影時に、手荷物1のサイズが分かる指標、たとえば搬送ライン2横にスケールを設置し一緒に撮影してもよい。また、作業者端末60が備えるカメラ63内にスケールを内蔵してもよい。このようにすることで、捜索時の情報として形状、色にサイズが加わるので、より捜索がしやすくなる。
1:手荷物 2:搬送ライン 3:手荷物情報管理システム 10:チェックインカウンタ端末 20:管理装置 21:制御部 22:記憶部 23:無線通信部 30:カメラ 40:タグ読み取り装置 50:搭乗ゲート端末 60:作業者端末 61:捜索情報取得部 62:タグ通信部 63:カメラ 64:表示部 65:方位推定部 66:処理部 70:手荷物タグ 100:手荷物捜索システム S11:情報取得工程 S13A:事前方位推定工程 S14:画像照合工程 S16、S20:表示工程 S17:ID照合工程、第1ID照合工程 S21:方位推定工程 S22:第2ID照合工程

Claims (8)

  1. 無線タグが取り付けられた手荷物を、捜索情報取得部(61)、タグ通信部(62)、カメラ(63)、表示部(64)、処理部(66)を一体または別体で備えた作業者端末(60)を用いて作業者が捜索する手荷物捜索方法であって、
    前記捜索情報取得部が、捜索対象となる前記手荷物である捜索対象手荷物の予め撮影された画像と、前記捜索対象手荷物に取り付けられた無線タグに記憶されたIDとを含む捜索対象情報を取得する情報取得工程(S11)と、
    前記作業者が前記作業者端末を操作して、前記カメラが、前記捜索対象手荷物が含まれている手荷物群の少なくとも一部を含む領域であり、前記作業者が選択した撮影領域を撮影し、前記処理部が、前記撮影領域を撮影した画像である撮影画像と、前記捜索対象情報に含まれている画像とを照合する画像照合工程(S14)と、
    前記処理部は、前記捜索対象手荷物の画像が前記撮影画像に含まれていると判断した場合、前記撮影画像において前記捜索対象手荷物の画像部分を強調した画像を前記表示部に表示する表示工程(S16、S20)と、
    前記表示部に前記捜索対象手荷物の画像部分が強調表示された後、前記作業者が前記作業者端末に対してID照合操作して、前記タグ通信部に、強調表示された画像部分にある前記手荷物に取り付けられている無線タグのIDを読み取らせ、前記処理部が、前記タグ通信部が読み取ったIDと、前記捜索対象情報に含まれているIDとが一致するかを判断するID照合工程(S17)と、とを含む手荷物捜索方法。
  2. 請求項1に記載の手荷物捜索方法であって、
    前記作業者端末は、前記タグ通信部が受信した前記無線タグからの応答電波信号に基づき、前記作業者端末に対する前記無線タグの方位を推定する方位推定部(65)を備えており、
    前記表示工程では、前記処理部は、前記捜索対象手荷物の画像が、前記撮影画像に含まれていないと判断した場合、そのことを前記表示部に表示し、
    前記表示工程で、前記捜索対象手荷物の画像が前記撮影画像に含まれていないと判断したことが表示された後、前記方位推定部は前記無線タグが存在する方位を推定し、前記処理部は、前記方位推定部が推定した方位を前記表示部に表示する方位推定工程(S21)を備える、手荷物捜索方法。
  3. 請求項2に記載の手荷物捜索方法であって、
    前記方位推定工程の後、前記画像照合工程を再実行する、手荷物捜索方法。
  4. 請求項2に記載の手荷物捜索方法であって、
    前記ID照合工程を第1ID照合工程とし、
    前記方位推定工程の後、前記作業者が前記作業者端末に対してID照合操作して、前記タグ通信部に、前記無線タグのIDを取得させ、前記処理部が、前記タグ通信部が取得したIDと、前記捜索対象情報に含まれているIDとが一致するかを判断する第2ID照合工程(S22)を含む手荷物捜索方法。
  5. 請求項2~4のいずれか1項に記載の手荷物捜索方法であって、
    前記情報取得工程を実行した後、最初に前記画像照合工程を実行する前に、前記方位推定部により前記無線タグの方位を推定する事前方位推定工程(S13A)を含む、手荷物捜索方法。
  6. 請求項1~5のいずれか1項に記載の手荷物捜索方法であって、
    前記画像照合工程では、前記捜索対象手荷物の画像のR値、G値、B値と、前記撮影画像のR値、G値、B値の比較に基づいて、前記照合をする手荷物捜索方法。
  7. 請求項1~6のいずれか1項に記載の手荷物捜索方法であって、
    前記捜索対象情報には、前記捜索対象手荷物の少なくとも一部である測色部位の色相、明度、彩度も含まれており、
    前記画像照合工程では、前記撮影画像と前記捜索対象情報に含まれている画像との照合に加えて、測色計により、前記捜索対象手荷物である可能性がある手荷物の前記測色部位の色相、明度、彩度を測定し、測定した色相、明度、彩度と、前記捜索対象手荷物の前記測色部位の色相、明度、彩度とを照合する、手荷物捜索方法。
  8. 捜索対象となる手荷物の画像と、前記手荷物に取り付けられている無線タグに記憶されているIDとを対応付けて管理する手荷物情報管理システムであって、
    搬送ラインにより搬送されている前記手荷物を撮影するカメラ(30)と、
    前記搬送ラインにより搬送されている前記手荷物に取り付けられている前記無線タグと通信可能な位置に設置され、前記無線タグに記憶されているIDを取得するタグ読み取り装置(40)と、
    前記手荷物の画像と、前記手荷物に取り付けられた前記無線タグに記憶されたIDとを含む手荷物情報を記憶する記憶部(22)と、
    前記カメラにより撮影した前記手荷物の画像と、前記カメラにより前記手荷物を撮影したタイミングで前記タグ読み取り装置が読み取った前記IDとを対応付けて前記手荷物情報として前記記憶部に記憶する制御部(21)と、
    前記記憶部に記憶されている前記手荷物情報を、捜索対象情報として、捜索対象となる前記手荷物を捜索する作業者が使用する作業者端末へ無線送信する無線通信部(23)と
    を備える手荷物情報管理システム。
JP2021020317A 2021-02-11 2021-02-11 手荷物捜索方法および手荷物情報管理システム Pending JP2022123176A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021020317A JP2022123176A (ja) 2021-02-11 2021-02-11 手荷物捜索方法および手荷物情報管理システム
EP22752504.5A EP4292963A1 (en) 2021-02-11 2022-01-11 Baggage searching method and baggage information management system
PCT/JP2022/000576 WO2022172671A1 (ja) 2021-02-11 2022-01-11 手荷物捜索方法および手荷物情報管理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021020317A JP2022123176A (ja) 2021-02-11 2021-02-11 手荷物捜索方法および手荷物情報管理システム

Publications (1)

Publication Number Publication Date
JP2022123176A true JP2022123176A (ja) 2022-08-24

Family

ID=82837771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021020317A Pending JP2022123176A (ja) 2021-02-11 2021-02-11 手荷物捜索方法および手荷物情報管理システム

Country Status (3)

Country Link
EP (1) EP4292963A1 (ja)
JP (1) JP2022123176A (ja)
WO (1) WO2022172671A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4605384B2 (ja) * 2005-11-07 2011-01-05 オムロン株式会社 可搬型情報処理端末装置
JP6978181B2 (ja) * 2015-07-16 2021-12-08 日本電気株式会社 受け取り支援システム、受け取り支援方法、受け取り支援プログラム、情報処理装置、及び端末装置
JP7486930B2 (ja) 2018-09-28 2024-05-20 株式会社デンソーウェーブ 航空手荷物管理システム
JP2020087171A (ja) * 2018-11-29 2020-06-04 富士通株式会社 画像処理プログラム、画像処理方法、および画像処理装置
JP7095574B2 (ja) * 2018-11-29 2022-07-05 富士通株式会社 画像処理プログラム、画像処理方法、および画像処理装置

Also Published As

Publication number Publication date
WO2022172671A1 (ja) 2022-08-18
EP4292963A1 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
US20220405704A1 (en) System and method of object tracking using weight confirmation
EP3832587A1 (en) Information processing device, information processing method, and recording medium
EP2503487B1 (en) Portable terminal and computer program product
CN112182270B (zh) 行李图像和旅客信息的匹配系统和匹配方法
US7938323B2 (en) Method and apparatus for monitoring the transportation of a luggage item
CA3019850A1 (en) Apparatuses and methods for receiving aerial vehicle delivery
US20170004384A1 (en) Image based baggage tracking system
EP3866103A1 (en) Information processing device, information processing method, and recording medium
EP3859654A1 (en) Baggage management system and server used for baggage management system
CN111123340B (zh) 物流配送导航方法及系统、近场定位导航装置、存储介质
US20220058762A1 (en) System and method for tracking baggage on cruise liners
US20180022473A1 (en) A device and a method for automatic detection of whether an item is correctly routed
JPWO2018235347A1 (ja) 運行システム、車載機、産業用車輌、フォークリフト、コンピュータプログラム、データ構造及び運行方法
US20140354400A1 (en) System for managing entry and exit of vehicles
CN111295683A (zh) 基于增强现实的包裹查找辅助系统
WO2020067433A1 (ja) 荷物管理システム、及び、このシステムで用いるサーバ
EP3113091A1 (en) Image based baggage tracking system
US11623765B2 (en) Information processing device, storage medium, information processing system, and a mobile terminal device
WO2022172671A1 (ja) 手荷物捜索方法および手荷物情報管理システム
KR102324066B1 (ko) 컨테이너 검수 시스템, 장비 정보 원격 지원 시스템 및 장비 정보 원격 지원 방법
JP7095574B2 (ja) 画像処理プログラム、画像処理方法、および画像処理装置
NO345510B1 (en) Electronic tag device with communication module
US12001476B2 (en) Baggage management system and server for use in the system
US11164030B2 (en) Baggage identification kit
JP7425450B2 (ja) 誤配送防止システム、管理コンピュータ、作業者端末装置、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514