JP2017027569A - Reception support system, reception support method, reception support program, information processing device, and terminal device - Google Patents

Reception support system, reception support method, reception support program, information processing device, and terminal device Download PDF

Info

Publication number
JP2017027569A
JP2017027569A JP2015177686A JP2015177686A JP2017027569A JP 2017027569 A JP2017027569 A JP 2017027569A JP 2015177686 A JP2015177686 A JP 2015177686A JP 2015177686 A JP2015177686 A JP 2015177686A JP 2017027569 A JP2017027569 A JP 2017027569A
Authority
JP
Japan
Prior art keywords
image
baggage
unit
user
luggage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015177686A
Other languages
Japanese (ja)
Other versions
JP6978181B2 (en
Inventor
信一 天野
Shinichi Amano
信一 天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2017027569A publication Critical patent/JP2017027569A/en
Priority to JP2020077555A priority Critical patent/JP6958666B2/en
Application granted granted Critical
Publication of JP6978181B2 publication Critical patent/JP6978181B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a highly convenient technique for supporting reception of baggage.SOLUTION: A reception support system comprises: imaging means for imaging baggage received from a user; and comparison means for comparing a first baggage image which is an image of baggage possessed by the user and a second baggage image which is an image taken by the imaging means.SELECTED DRAWING: Figure 12

Description

本発明は、荷物の受け取りを支援する技術に関する。   The present invention relates to a technique for supporting receipt of a package.

空港等では、出発の際に利用者が荷物を一時的に預け入れ、到着の際に荷物を受け取るという方法で荷物の預け入れ及び受け取りが行われている。こういった受け取りの際の荷物の管理方法が開示されている。   In airports and the like, baggage is deposited and received by a method in which a user temporarily deposits a baggage at the time of departure and receives a baggage upon arrival. A package management method for such receipt is disclosed.

例えば、特許文献1には、荷物受け取り支援システムが記載されている。このシステムは、荷物に電子タグを付し、荷物が荷物受け取り場に到達したか否かを電子タグから読み取ったタグ情報に基づき判定する。そして、到達したと判定した結果に基づいて、利用者に荷物が荷物受け取り場に到達したことを通知する。   For example, Patent Document 1 describes a package receipt support system. This system attaches an electronic tag to a package, and determines whether or not the package has arrived at a package receiving place based on tag information read from the electronic tag. Then, based on the determination result that it has arrived, the user is notified that the parcel has arrived at the parcel receiving area.

また特許文献2には、積荷管理システムが記載されている。このシステムは、手荷物の重量を測定し、画像処理を用いて手荷物の形状のカテゴリを判定する。そして、その重量及び形状を、手荷物に付したタグに形状重量情報として、タグID(Identification)と、航空機の運行情報と共にタグに格納し、そのタグに格納された情報に基づき、手荷物の積込順序を計算する。   Patent Document 2 describes a cargo management system. This system measures the weight of the baggage and uses image processing to determine the category of the baggage shape. The weight and shape are stored in the tag together with tag ID (Identification) and aircraft operation information as shape weight information on the tag attached to the baggage, and the baggage is loaded based on the information stored in the tag. Calculate the order.

また、特許文献3には、空港手荷物表示盤システムが記載されている。このシステムは、手荷物に付されたタグに含まれる手荷物情報を入荷口タグリーダ及び出荷口タグリーダが読み取り、その読み取った情報と、手荷物を撮影した映像情報と、受取口タグリーダが読み取った、受取人が有する受取人タグに含まれる手荷物情報とに基づき、手荷物情報に関する情報を出力する。   Patent Document 3 describes an airport baggage display panel system. This system reads the baggage information included in the tag attached to the baggage by the arrival port tag reader and the shipping port tag reader, reads the information, video information of the baggage, and reads the baggage tag reader, Based on the baggage information included in the recipient tag, information related to the baggage information is output.

また、特許文献4には、携帯荷物受け取り支援システムが記載されている。このシステムは、携行荷物に付されたタグIDと、携行荷物の所有者の携帯電話の連絡先である識別コードとを関連付けて保存し、タグIDを読み取る際に、タグIDと関連付けられた連絡先に携行荷物の引渡の場所及び時間を通知する。   Patent Document 4 describes a portable baggage receipt support system. This system stores the tag ID attached to the carry-on baggage and the identification code that is the contact information of the mobile phone owner of the carry-on baggage in association with each other. The location and time of delivery of carry-on baggage will be notified first.

特開2009−301425号公報JP 2009-301425 A 特開2003−146438号公報JP 2003-146438 A 特開平09−249309号公報JP 09-249309 A 特開2004−54776号公報JP 2004-54776 A

しかしながら、上述した特許文献にそれぞれ記載されているシステムは、電子タグやタグIDでの管理を行っている。そうすると、荷物を運んでいる間にタグが取れてしまう可能性や、読み取り対象のタグが比較的小さいため、うまく読み込めない可能性がある。   However, the systems described in the above-mentioned patent documents perform management using electronic tags and tag IDs. If so, there is a possibility that the tag may be removed while carrying the baggage, or the tag to be read may be relatively small, so that the tag may not be read well.

そこで、本発明は上記課題を鑑みて発明されたものであって、利便性の高い荷物の受け取りを支援する技術を提供することを目的とする。   Therefore, the present invention has been invented in view of the above-described problems, and an object thereof is to provide a technique for supporting receipt of a highly convenient package.

本発明の受け取り支援システムは、利用者から預かりうけた荷物を撮影する撮影手段と、前記利用者が所有する荷物の画像である第1荷物画像と、前記撮影手段によって撮影された画像である第2荷物画像とを照合する照合手段とを備える。   The receiving support system of the present invention is a photographing means for photographing a baggage received from a user, a first luggage image that is an image of the luggage owned by the user, and an image photographed by the photographing means. And a collation unit for collating the two baggage images.

本発明の情報処理装置は、利用者から預かりうけた荷物を撮影する撮影手段と、利用者が所有する荷物の荷物画像を受信し、受信した前記撮影画像と、前記荷物画像とを照合する照合手段とを備える。   The information processing apparatus according to the present invention includes a photographing unit for photographing a baggage received from a user, a baggage image of the baggage owned by the user, and a collation for collating the received captured image with the baggage image. Means.

本発明の端末装置は、利用者が所有する荷物を撮影する撮影手段と、利用者が預けた荷物を撮影した撮影画像を受信し、受信した前記撮影画像と、前記撮影手段によって撮影された荷物画像とを照合する照合手段とを備える。   The terminal device of the present invention receives an image capturing unit that captures a baggage owned by the user, a captured image obtained by capturing the baggage deposited by the user, and the received captured image and the package captured by the image capturing unit. Collation means for collating the image.

本発明の受け取り支援方法は、利用者から預かりうけた荷物を撮影し、前記利用者が所有する荷物の画像である第1荷物画像と、前記撮影手段によって撮影された画像である第2荷物画像とを照合する。   The receiving support method of the present invention shoots a baggage received from a user, a first baggage image that is an image of the baggage owned by the user, and a second baggage image that is an image shot by the shooting unit. And match.

本発明の受け取り支援プログラムは、利用者から預かりうけた荷物を撮影し、前記利用者が所有する荷物の画像である第1荷物画像と、前記撮影手段によって撮影された画像である第2荷物画像とを照合することをコンピュータに実行させる。   The receiving support program of the present invention shoots a baggage received from a user, a first baggage image that is an image of the baggage owned by the user, and a second baggage image that is an image shot by the shooting unit. And causing the computer to perform the verification.

本発明によれば、利便性の高い荷物の受け取りを支援する技術を提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the technique which assists receipt of the highly convenient package can be provided.

本発明の第1実施形態における受け取り支援システムの全体構成の一例を示す図である。It is a figure which shows an example of the whole structure of the reception assistance system in 1st Embodiment of this invention. 本発明の第1実施形態における受け取り支援システムの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the reception assistance system in 1st Embodiment of this invention. 本発明の第1実施形態における撮影装置の利用シーンの一例を示す図である。It is a figure which shows an example of the utilization scene of the imaging device in 1st Embodiment of this invention. 本発明の第1実施形態に係る端末装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the terminal device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the information processing apparatus which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る撮影装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware constitutions of the imaging device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態における受け取り支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the reception assistance system in 1st Embodiment of this invention. 本発明の第1実施形態における受け取り支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the reception assistance system in 1st Embodiment of this invention. 本発明の第2実施形態における受け取り支援システムの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the reception assistance system in 2nd Embodiment of this invention. 本発明の第2実施形態における受け取り支援システムの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the reception assistance system in 2nd Embodiment of this invention. 本発明の第2実施形態における端末装置が行う処理Aと、情報処理装置が行う処理Bとの一例を示すフローチャートである。It is a flowchart which shows an example of the process A which the terminal device in 2nd Embodiment of this invention performs, and the process B which an information processing apparatus performs. 本発明の第3実施形態における情報処理装置の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of a function structure of the information processing apparatus in 3rd Embodiment of this invention. 本発明の第3実施形態における情報処理装置の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the information processing apparatus in 3rd Embodiment of this invention.

以下、本発明の実施形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

<第1実施形態>
図1は、第1実施形態に係る受け取り支援システム1の全体構成の一例を示す図である。図1に示すように受け取り支援システム1は、端末装置100と、情報処理装置200と、撮影装置300とによって構成される。端末装置100と、情報処理装置200と、撮影装置300とは、無線または有線のネットワークによって接続されている。
<First Embodiment>
FIG. 1 is a diagram illustrating an example of the overall configuration of a reception support system 1 according to the first embodiment. As illustrated in FIG. 1, the reception support system 1 includes a terminal device 100, an information processing device 200, and a photographing device 300. The terminal device 100, the information processing device 200, and the photographing device 300 are connected by a wireless or wired network.

端末装置100は、例えば、端末装置100を有する利用者が所有し、かつ利用者が空港等で預ける荷物を予め撮影し、撮影した画像データ(以降、第1画像データと称する)を保存する。この第1画像データは、後述する照合部104が行う照合の対象となる画像データである。撮影装置300は、例えば空港等に設置され、利用者が預けた荷物の集合である荷物群を撮影し、撮影した画像データ(以降、第2画像データと称する)を情報処理装置200へ送信する。情報処理装置200は、撮像装置300から第2画像データを受信し、第2画像データを記憶する。そして、情報処理装置200は、受信した第2画像データを端末装置100に配信する。端末装置100は、情報処理装置200から第2画像データを受信し、第1画像データと第2画像データとで照合処理を行い、照合の結果に基づき、通知を行う。   For example, the terminal device 100 captures in advance a baggage that is owned by a user having the terminal device 100 and that the user deposits at an airport or the like, and stores the captured image data (hereinafter referred to as first image data). The first image data is image data to be collated by the collation unit 104 described later. The imaging apparatus 300 is installed in an airport, for example, and images a luggage group that is a set of luggage deposited by a user, and transmits the captured image data (hereinafter referred to as second image data) to the information processing apparatus 200. . The information processing device 200 receives the second image data from the imaging device 300 and stores the second image data. Then, the information processing device 200 distributes the received second image data to the terminal device 100. The terminal device 100 receives the second image data from the information processing device 200, performs a collation process between the first image data and the second image data, and performs notification based on the collation result.

図2は、第1実施形態に係る受け取り支援システム1の機能構成の一例を示すブロック図である。   FIG. 2 is a block diagram illustrating an example of a functional configuration of the reception support system 1 according to the first embodiment.

端末装置100は、第1撮影部101と、第1記憶部102と、受信部103と、照合部104と、通知部105とを備える。また、端末装置100は複数あってもよい。   The terminal device 100 includes a first photographing unit 101, a first storage unit 102, a receiving unit 103, a collating unit 104, and a notification unit 105. There may be a plurality of terminal devices 100.

第1撮影部101は、撮影対象の荷物の撮影を行い、撮影した第1画像データを、第1記憶部102に記憶させる。また、例えば第1画像データは、同一の撮影対象の荷物を撮影した複数の画像データの集合であってもよい。また、第1画像データは、例えば、利用者が搭乗する飛行機の航空会社、便名、出発時刻、及び到着時刻等の、第1画像データに含まれる荷物の預け先を特定する情報を含んでもよい。なお、撮影対象の荷物とは、端末装置100を有する利用者が所有し、例えば空港等で航空会社に預ける荷物である。   The first photographing unit 101 shoots a package to be photographed, and stores the photographed first image data in the first storage unit 102. Further, for example, the first image data may be a set of a plurality of image data obtained by photographing the same baggage to be photographed. In addition, the first image data may include information for specifying a storage location of the luggage included in the first image data, such as an airline of a plane on which the user is boarded, a flight number, a departure time, and an arrival time. Good. Note that the baggage to be photographed is a baggage that is owned by a user having the terminal device 100 and that is deposited with an airline at an airport or the like.

この時、第1画像データに含まれる荷物は、その荷物の投影面積が最も広くなるように撮影されることが望ましい。例えば、スーツケース等の荷物は、ベルトコンベア上では、最も広い面が上になるように置かれることが多い。したがって、第1画像データに含まれる荷物は、この上になる面を含むように撮影されることが好ましい。   At this time, it is desirable that the package included in the first image data is photographed so that the projected area of the package becomes the largest. For example, luggage such as suitcases is often placed on the belt conveyor so that the widest surface is on top. Therefore, it is preferable that the luggage included in the first image data is photographed so as to include the surface above this.

受信部103は、情報処理装置200から送信される、撮影装置300が撮影した第2画像データを受信し、受信した第2画像データを照合部104へ送信する。   The receiving unit 103 receives the second image data captured by the imaging device 300 and transmitted from the information processing device 200, and transmits the received second image data to the verification unit 104.

照合部104は、受信部103から第2画像データを受信し、第1画像データと、第2画像データとを照合する。また、照合部104は、例えば、SIFT(Scale Invariant Feature Transform)を使用し、照合してもよい。また、照合部104は、その他一般的な画像処理方法を使用し、照合してもよい。なお、照合部104は、画像データではなく、第1画像データによって表される第1画像と、第2画像データによって表される第2画像を用いて照合処理を行ってもよい。また、照合部104は、第1画像データと、第2画像データとを照合し、第1画像データと、第2画像データとに含まれる荷物が同じである場合、通知部105に、通知を行う要求(以下、通知要求と称する)を送信する。   The collation unit 104 receives the second image data from the reception unit 103, and collates the first image data and the second image data. Moreover, the collation part 104 may collate, for example using SIFT (Scale Invariant Feature Transform). The collation unit 104 may collate using other general image processing methods. Note that the matching unit 104 may perform the matching process using the first image represented by the first image data and the second image represented by the second image data instead of the image data. In addition, the collation unit 104 collates the first image data and the second image data, and notifies the notification unit 105 when the pieces of luggage included in the first image data and the second image data are the same. A request to be made (hereinafter referred to as a notification request) is transmitted.

通知部105は、照合部104から通知要求を受信し、通知要求に基づき、荷物の到着を通知する。例えば、荷物の到着を通知する方法は、音声やメール等で利用者に通知してもよいし、画面に表示させてもよい。   The notification unit 105 receives the notification request from the collation unit 104 and notifies the arrival of the package based on the notification request. For example, as a method for notifying arrival of a package, the user may be notified by voice or e-mail, or may be displayed on a screen.

情報処理装置200は、受信部201と、第2記憶部202と、配信部203とを備える。   The information processing apparatus 200 includes a receiving unit 201, a second storage unit 202, and a distribution unit 203.

受信部201は、撮影装置300から第2画像データを受信し、受信した第2画像データを第2記憶部202に記憶させる。   The receiving unit 201 receives the second image data from the imaging apparatus 300 and stores the received second image data in the second storage unit 202.

配信部203は、第2記憶部202に記憶されている第2画像データを端末装置100に配信する。なお、配信先の端末装置100の情報は予め第2記憶部202に記憶される。例えば、利用者が、荷物を空港に預けたタイミングや、利用者が空港に着いたタイミングで、端末装置100の情報が第2記憶部202に送られてもよい。なお、配信部203は、第2記憶部202に第2画像データが蓄積されたタイミングで端末装置100に第2画像データを配信してもよいし、端末装置100からの第2画像データを送信する要求を受信し、その受信したタイミングで、端末装置100に第2画像データを送信してもよい。   The distribution unit 203 distributes the second image data stored in the second storage unit 202 to the terminal device 100. Information on the terminal device 100 that is the distribution destination is stored in the second storage unit 202 in advance. For example, the information of the terminal device 100 may be sent to the second storage unit 202 at the timing when the user deposits the luggage at the airport or when the user arrives at the airport. The distribution unit 203 may distribute the second image data to the terminal device 100 at the timing when the second image data is stored in the second storage unit 202, or transmit the second image data from the terminal device 100. The second image data may be transmitted to the terminal device 100 at the received timing.

撮影装置300は、第2撮影部301と、送信部302とを備える。   The imaging device 300 includes a second imaging unit 301 and a transmission unit 302.

第2撮影部301は、荷物群に含まれる荷物の撮影を行い、第2画像データを送信部302に送信する。荷物を預かる航空会社等は、一般的に複数の荷物を預かる。そのため、第2撮影部301は、複数の荷物をそれぞれ撮影する。したがって荷物群に含まれる荷物ごとに対応する第2画像データが生成される。また、例えば、第2画像データは、第2画像データに含まれる荷物の預け先を特定する情報、例えば航空会社、飛行機の便名、出発時刻、及び到着時刻等によって関連付けられた複数の画像データの集合でもよい。したがって、第2画像データは、第2画像データに含まれる荷物の預け先を特定する情報、例えば航空会社、飛行機の便名、出発時刻、及び到着時刻等を含んでもよい。なお、荷物群とは、端末装置100を有する利用者が、例えば空港等で航空会社に預けた荷物の集合である。   The second imaging unit 301 captures a package included in the package group and transmits the second image data to the transmission unit 302. An airline that keeps luggage generally keeps a plurality of luggage. Therefore, the second imaging unit 301 captures a plurality of luggages. Accordingly, second image data corresponding to each package included in the package group is generated. In addition, for example, the second image data includes a plurality of pieces of image data associated with information specifying a deposit destination of the package included in the second image data, for example, an airline, a flight name, a departure time, and an arrival time. A set of Accordingly, the second image data may include information for specifying the deposit destination of the luggage included in the second image data, such as an airline, a flight number, a departure time, and an arrival time. Note that the luggage group is a collection of luggage deposited by the user having the terminal device 100 with an airline at an airport or the like, for example.

送信部302は、第2撮影部301から第2画像データを受信し、受信した第2画像データを情報処理装置200に送信する。また、送信部302は撮影された順に別々に受信し、受信した順に送信してもよいし、複数の荷物群のそれぞれに対応する複数の第2画像データをまとめて受信し、情報処理装置200にまとめて送信してもよい。また、送信部302は第2画像データを別々に受信し、まとめて送信してもよい。   The transmission unit 302 receives the second image data from the second imaging unit 301 and transmits the received second image data to the information processing apparatus 200. The transmission unit 302 may receive the images separately in the order in which they were photographed, and may transmit them in the order received. Alternatively, the transmission unit 302 may receive a plurality of second image data corresponding to each of a plurality of luggage groups, and process the information processing apparatus 200. May be sent together. Further, the transmission unit 302 may receive the second image data separately and transmit them together.

図3は撮影装置300の利用シーンの一例を示す図である。図3においては、ベルトコンベア上に荷物群が、右手前から左奥方向に流れている。そして、ベルトコンベアの上部に撮影装置300が設置され、撮影装置300の下を荷物群が通過した際に、センサ部(図示しない)が荷物を検知し、第2撮影部301が荷物群を撮影する。なお、撮影装置300は、手動で撮影を行ってもよい。この場合、例えば、航空会社の社員等が、タブレット等の撮影装置を用いて、コンベア上に荷物群に含まれる荷物を置いた時に撮影する。   FIG. 3 is a diagram illustrating an example of a usage scene of the imaging apparatus 300. In FIG. 3, the luggage group flows from the right front side to the left back direction on the belt conveyor. The photographing device 300 is installed on the upper part of the belt conveyor. When the luggage group passes under the photographing device 300, the sensor unit (not shown) detects the luggage, and the second photographing unit 301 photographs the luggage group. To do. Note that the imaging apparatus 300 may perform imaging manually. In this case, for example, when an airline employee or the like uses a photographing device such as a tablet to place a baggage included in the baggage group on the conveyor, the image is taken.

<ハードウェア構成>
図4は、本発明の第1実施形態に係る端末装置100のハードウェア構成の一例を示すブロック図である。
<Hardware configuration>
FIG. 4 is a block diagram illustrating an example of a hardware configuration of the terminal device 100 according to the first embodiment of the present invention.

端末装置100は、例えば、CPU(Central Processing Unit)21と、ROM(Road Only Memoly)22と、ネットワークインタフェース23と、RAM(Random Access Memoly)24と、記憶装置25と、カメラ装置26と、通知装置27とによって構成可能である。   The terminal device 100 includes, for example, a CPU (Central Processing Unit) 21, a ROM (Load Only Memory) 22, a network interface 23, a RAM (Random Access Memory) 24, a storage device 25, a camera device 26, and a notification. It can be configured with the device 27.

第1撮影部101は、例えば、カメラ装置26と、ROM22及び記憶装置25に記憶されたコンピュータプログラムをRAM24に書き込み、書き込まれたコンピュータプログラムを実行するCPU21とによって構成される。なお、カメラ装置26は、例えば、CCD(Charge Coupled Device)イメージセンサを使用したカメラや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを使用したカメラによって実現されてもよい。   The first photographing unit 101 includes, for example, a camera device 26 and a CPU 21 that writes a computer program stored in the ROM 22 and the storage device 25 to the RAM 24 and executes the written computer program. The camera device 26 may be realized by a camera using a CCD (Charge Coupled Device) image sensor or a camera using a CMOS (Complementary Metal Oxide Semiconductor) image sensor, for example.

第1記憶部102は、例えば、記憶装置25によって構成される。受信部103は、例えば、ネットワークインタフェース23によって構成される。照合部104は、例えば、ROM22及び記憶装置25に記憶されたコンピュータプログラムをRAM24に書き込み、書き込まれたコンピュータプログラムを実行するCPU21によって構成される。   The first storage unit 102 is configured by the storage device 25, for example. The receiving unit 103 is configured by the network interface 23, for example. The collation unit 104 is configured by, for example, the CPU 21 that writes a computer program stored in the ROM 22 and the storage device 25 to the RAM 24 and executes the written computer program.

通知部105は、例えば、ROM22及び記憶装置25に記憶されたコンピュータプログラムをRAM24に書き込み、書き込まれたコンピュータプログラムを実行するCPU21と、通知装置27とによって構成される。なお、通知装置27は、スピーカーやディスプレイ等によって実現されてもよい。   The notification unit 105 includes, for example, a CPU 21 that writes a computer program stored in the ROM 22 and the storage device 25 to the RAM 24 and executes the written computer program, and a notification device 27. Note that the notification device 27 may be realized by a speaker, a display, or the like.

図5は、本発明の第1実施形態に係る情報処理装置200のハードウェア構成の一例を示すブロック図である。   FIG. 5 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 200 according to the first embodiment of the present invention.

情報処理装置200は、例えば、CPU21と、ROM22と、ネットワークインタフェース23と、RAM24と、記憶装置25とによって構成可能である。   The information processing apparatus 200 can be configured by, for example, a CPU 21, a ROM 22, a network interface 23, a RAM 24, and a storage device 25.

受信部201及び配信部203は、例えば、ネットワークインタフェース23と、ROM22及び記憶装置25に記憶されたコンピュータプログラムをRAM24に書き込み、書き込まれたコンピュータプログラムを実行するCPU21とによって構成される。第2記憶部202は、記憶装置25によって構成される。   The reception unit 201 and the distribution unit 203 include, for example, a network interface 23 and a CPU 21 that writes a computer program stored in the ROM 22 and the storage device 25 to the RAM 24 and executes the written computer program. The second storage unit 202 is configured by the storage device 25.

図6は、本発明の第1実施形態に係る撮影装置300のハードウェア構成の一例を示すブロック図である。   FIG. 6 is a block diagram illustrating an example of a hardware configuration of the imaging apparatus 300 according to the first embodiment of the present invention.

撮影装置300は、例えば、CPU21と、ROM22と、ネットワークインタフェース23と、RAM24と、カメラ装置26とによって構成可能である。   The imaging device 300 can be configured by, for example, the CPU 21, the ROM 22, the network interface 23, the RAM 24, and the camera device 26.

なお、図4と、図5と、図6とに係るハードウェア構成は例示であり、上記構成には限定されない。   The hardware configurations according to FIG. 4, FIG. 5, and FIG. 6 are examples, and are not limited to the above configurations.

図7及び図8は、第1実施形態における受け取り支援システム1の動作の一例を示すフローチャートである。なお、図7は、利用者が空港等で荷物を預ける前に行われる受け取り支援システム1の動作の一例を示し、図8は、空港等で利用者が荷物を預けた後に行われる受け取り支援システム1の動作の一例を表している。   7 and 8 are flowcharts showing an example of the operation of the reception support system 1 in the first embodiment. 7 shows an example of the operation of the reception support system 1 performed before the user deposits the package at the airport or the like, and FIG. 8 shows the reception support system performed after the user deposits the package at the airport or the like. 1 shows an example of operation 1.

また、図8は、端末装置100の処理を左側に、情報処理装置200の処理を中央に、撮影装置300の処理を右側に示している。また、端末装置100の処理と情報処理装置200の処理との間と、情報処理装置200の処理と撮影装置300の処理との間とにある破線の矢印は、情報の流れを示している。   FIG. 8 shows the processing of the terminal device 100 on the left side, the processing of the information processing device 200 in the center, and the processing of the photographing device 300 on the right side. In addition, dashed arrows between the processing of the terminal device 100 and the processing of the information processing device 200 and between the processing of the information processing device 200 and the processing of the imaging device 300 indicate the flow of information.

図7に示すように、まず、端末装置100の第1撮影部101が、利用者が所有する荷物の撮影をする(ステップS100)。この荷物の撮影は、例えば、空港等で利用者が荷物を預ける前に行われる。また、第1撮影部101は、撮影した第1画像データを、第1記憶部102に記憶させる(ステップS101)。なお、第1撮影部101が撮影した第1画像データは複数であってもよい。   As shown in FIG. 7, first, the first photographing unit 101 of the terminal device 100 photographs a package owned by the user (step S100). The photographing of the luggage is performed, for example, before the user deposits the luggage at an airport or the like. In addition, the first photographing unit 101 stores the photographed first image data in the first storage unit 102 (step S101). The first image data captured by the first image capturing unit 101 may be plural.

上記動作によって、利用者は、空港等で荷物を預ける前に荷物の撮影を行うことが可能となる。   By the above operation, the user can take a picture of the baggage before depositing the baggage at an airport or the like.

例えば、利用者と荷物群とが目的地の空港等に到着すると、図8に示すように、撮影装置300の第2撮影部301が、荷物群に含まれる荷物の撮影をする(ステップS200)。そして、第2撮影部301が、撮影した第2画像データを送信部302に送信し、送信部302は、情報処理装置200に第2画像データを送信する(ステップS201)。なお、ステップS200及びステップS201は、定期的に行われる。例えば、撮影装置300は、ベルトコンベアと連動し、ベルトコンベアの動作が終了した際、同様に動作を終了してもよい。また、例えばセンサ部(図示しない)が荷物を検知し、撮影を行う際に、センサ部がカウントを行う。そして、センサ部が所定の時間以上荷物を検知しない場合、撮影装置300は、動作を終了してもよい。   For example, when the user and the luggage group arrive at the destination airport or the like, as shown in FIG. 8, the second imaging unit 301 of the imaging apparatus 300 photographs the luggage included in the luggage group (step S200). . Then, the second imaging unit 301 transmits the captured second image data to the transmission unit 302, and the transmission unit 302 transmits the second image data to the information processing apparatus 200 (step S201). Note that step S200 and step S201 are periodically performed. For example, the imaging apparatus 300 may end the operation in the same manner when the operation of the belt conveyor is completed in conjunction with the belt conveyor. Further, for example, when a sensor unit (not shown) detects a baggage and performs photographing, the sensor unit performs counting. Then, when the sensor unit does not detect the load for a predetermined time or longer, the imaging apparatus 300 may end the operation.

次に、情報処理装置200の受信部201が、送信部302から送信された第2画像データを受信する(ステップS202)。さらに、受信部201は、受信した第2画像データを第2記憶部202に記憶させる(ステップS203)。その後、配信部203は、第2記憶部202に記憶された複数の第2画像データを端末装置100に配信する(ステップS204)。   Next, the receiving unit 201 of the information processing device 200 receives the second image data transmitted from the transmitting unit 302 (step S202). Further, the receiving unit 201 stores the received second image data in the second storage unit 202 (step S203). Thereafter, the distribution unit 203 distributes the plurality of second image data stored in the second storage unit 202 to the terminal device 100 (step S204).

次に端末装置100の受信部103は、情報処理装置200から第2画像データを受信し(ステップS205)、照合部104に送信する。次に、照合部104は、第1画像データに含まれる荷物と第2画像データに含まれる荷物とを照合し(ステップS206)、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上か否か確認する(ステップS207)。ステップS207において、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上でない場合、照合部104は、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上となるまで、ステップS205及びステップS206の処理を行う。なお、閾値をどのような値に設定するかは、当業者によって、適宜設定することができる。   Next, the receiving unit 103 of the terminal device 100 receives the second image data from the information processing device 200 (step S205) and transmits the second image data to the matching unit 104. Next, the collation unit 104 collates the package included in the first image data with the package included in the second image data (step S206), and is included in the package included in the first image data and the second image data. It is confirmed whether the collation rate with the package is equal to or greater than a predetermined threshold (step S207). In step S207, if the verification rate between the package included in the first image data and the package included in the second image data is not equal to or greater than a predetermined threshold, the verification unit 104 determines that the package included in the first image data and the second Steps S205 and S206 are performed until the collation rate with the package included in the image data is equal to or greater than a predetermined threshold. Note that what value the threshold value is set to can be set as appropriate by those skilled in the art.

一方で、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上である場合、照合部104は、通知部105に通知要求を送信する。そして、通知部105は、照合部104から通知要求を受信し、通知要求に基づき通知を行う(ステップS208)。その後、照合部104は、利用者から受け取り支援システム1の動作の終了要求を受け付けたか否かを判定する(ステップS209)。利用者から終了要求を受け付けていない場合、ステップS205へ進む。一方で、利用者から終了要求を受け付けた場合、処理は終了する。この動作の終了要求は、例えば、図示しない受付部から入力を受け付けてもよい。また、例えば、通知部104がこの受付部を含んでもよい。   On the other hand, when the collation rate between the package included in the first image data and the package included in the second image data is equal to or greater than a predetermined threshold, the collation unit 104 transmits a notification request to the notification unit 105. And the notification part 105 receives a notification request from the collation part 104, and notifies based on a notification request (step S208). Then, the collation part 104 determines whether the completion | finish request | requirement of operation | movement of the reception assistance system 1 was received from the user (step S209). If no termination request has been received from the user, the process proceeds to step S205. On the other hand, when an end request is received from the user, the process ends. This operation end request may be received from, for example, a reception unit (not shown). For example, the notification unit 104 may include the reception unit.

以上の動作によって、端末装置100が、利用者から動作の終了要求を受け付けるまで、荷物が写る2つの画像データに含まれるそれぞれの荷物同士を照合し、荷物の到着を利用者に通知する。したがって、利用者が、受け取り支援システム1に照合を要求することなく、受け取り支援システム1は、自動で照合し、荷物の到着を通知することができる。このことから、本実施形態に係る受け取り支援システム1は、利用者にとって利便性が高い荷物の受け取りを支援することができる。   With the above operation, the terminal device 100 collates the respective packages included in the two image data in which the package is captured, and notifies the user of the arrival of the package until receiving an operation end request from the user. Accordingly, the reception support system 1 can automatically check and notify the arrival of the package without requiring the user to check the reception support system 1 for verification. Therefore, the reception support system 1 according to the present embodiment can support the reception of a package that is highly convenient for the user.

さらに、本実施形態における受け取り支援システム2は、新たに電子タグ等を導入しなくとも、利用者は荷物を識別することができる。また、新たに電子タグ等を導入しないことで、電子タグを新たに作成する機器や電子タグを読み取る機器が不要となり、これらの機器を設置する手間が省け、かつ新たに費用がかかることがない。これにより、本実施形態に係る受け取り支援システム2は、荷物を預けられる側にとっても利便性が高い。   Furthermore, the receiving support system 2 according to the present embodiment can identify a package without introducing a new electronic tag or the like. In addition, by not introducing a new electronic tag or the like, a device for creating a new electronic tag and a device for reading the electronic tag become unnecessary, and it is possible to save time and effort for installing these devices. . Thereby, the reception support system 2 according to the present embodiment is highly convenient for the side that can store the luggage.

(変形例)
本実施形態の変形例として、端末装置100は、通知を、図示しない表示部を使用し、行ってもよい。例えば、利用者が預けた荷物と類似する荷物を、他の利用者が預けている場合を例に説明を行う。この場合、情報処理装置200が、端末装置100に送信する複数の第2画像データの夫々に含まれる複数の荷物に、利用者の荷物と、該利用者の荷物に類似する荷物とが含まれることになる。そして、端末装置100の受信部103は、このような複数の第2画像データを受信する。その後、端末装置100の照合部104が照合する。
(Modification)
As a modification of the present embodiment, the terminal device 100 may perform notification using a display unit (not shown). For example, a case where a baggage similar to a baggage deposited by a user is deposited by another user will be described as an example. In this case, the plurality of packages included in each of the plurality of second image data transmitted from the information processing apparatus 200 to the terminal device 100 includes the user's package and a package similar to the user's package. It will be. And the receiving part 103 of the terminal device 100 receives such several 2nd image data. Then, the collation part 104 of the terminal device 100 collates.

そして、端末装置100は、例えば、照合率が所定の閾値以上の第2画像データが2以上ある場合、この2以上の第2画像データを表示部(図示しない)に表示させる。そして、利用者に自身が預けた荷物を確認してもらう。こうすることで、利用者の目視による荷物の確認が可能となる。   Then, for example, when there are two or more second image data having a matching rate equal to or higher than a predetermined threshold, the terminal device 100 displays the two or more second image data on a display unit (not shown). Then, ask the user to confirm the baggage he / she has deposited. By doing so, it is possible to confirm the package visually by the user.

また、例えば、予め荷物に紙、スーツケースベルト、シール等の目印を付け、利用者が端末装置100を使用し、目印を含むように荷物を撮影してもよい。そして、撮影装置300がこの目印を含むように荷物群を撮影することで個々の荷物を区別することができ、これにより、照合率をあげることができる。
また、例えば、新たに電子タグをシステムとして導入すると、現行でタグを使用している場合、システム変更に手間がかかる。一方で、本受け取り支援システムは、荷物の画像を撮影し、撮影した画像を照合するため、現在のタグを利用したまま実現することが可能となり、利便性が高い。
Further, for example, a mark such as paper, a suitcase belt, a seal, or the like may be attached to the package in advance, and the user may use the terminal device 100 to photograph the package so as to include the mark. The photographing apparatus 300 can photograph the luggage group so as to include the mark, thereby distinguishing the individual luggage, thereby increasing the verification rate.
For example, when a new electronic tag is introduced as a system, it takes time to change the system when the tag is currently used. On the other hand, the present receiving support system captures an image of a package and collates the captured image, so that it can be realized while using the current tag, and is highly convenient.

また、例えば、空港等で撮影装置300が第2画像データを撮影する場合、第2画像データを特定する情報、例えば航空会社、飛行機の便名、出発時刻、及び到着時刻等を第2画像データに含めてもよい。さらに、第2記憶部202に格納されている配信先の端末装置100の情報に利用者が搭乗する飛行機の航空会社、便名、出発時刻、及び到着時刻等を含めてもよい。   For example, when the imaging device 300 captures the second image data at an airport or the like, information specifying the second image data, for example, the airline, flight number, departure time, arrival time, etc. May be included. Furthermore, the information of the terminal device 100 of the delivery destination stored in the second storage unit 202 may include the airline of the airplane on which the user is boarded, the flight name, the departure time, the arrival time, and the like.

このように設定することによって、共通する便名や出発時刻等に基づき、情報処理装置200が、端末装置100に適切なデータを送信することが可能となる。したがって情報処理装置200が、端末装置100に余分に第2画像データを配信することがなくなり、利便性の高い受け取り支援ができる。   By setting in this way, the information processing apparatus 200 can transmit appropriate data to the terminal apparatus 100 based on a common flight name, departure time, and the like. Therefore, the information processing apparatus 200 does not distribute the second image data excessively to the terminal apparatus 100, and the reception support with high convenience can be performed.

また、本実施形態における情報処理装置200の第2記憶部202は、配信先の情報を、記憶していなくてもよい。この場合、端末装置100が情報処理装置200に対し、第2画像データの送信を要求し、該要求を受け取った情報処理装置200が、該要求の送信先の端末装置100に対して、第2画像データを送信すればよい。これにより、受け取り支援システム1は、荷物預け時に利用者の連絡先を情報処理装置200に登録するという処理を行わなくても、上述した効果を得ることができる。   In addition, the second storage unit 202 of the information processing apparatus 200 according to the present embodiment may not store the information on the distribution destination. In this case, the terminal device 100 requests the information processing device 200 to transmit the second image data, and the information processing device 200 that has received the request sends the second request to the terminal device 100 that is the transmission destination of the request. What is necessary is just to transmit image data. Accordingly, the reception support system 1 can obtain the above-described effect without performing the process of registering the user's contact information in the information processing apparatus 200 when depositing the luggage.

<第2実施形態>
図9は、第2実施形態に係る受け取り支援システム2の構成の一例を示すブロック図である。受け取り支援システム2は、撮影装置300と、情報処理装置400と、端末装置500とを含む。また、撮影装置300と、情報処理装置400と、端末装置500とは、有線または無線等のネットワークによって接続されている。なお、本実施形態の説明において参照する各図面において、他の実施形態と同様な構成は、同一の符号を付し、本実施形態において重複する説明は省略する(他実施形態においても同様)。
Second Embodiment
FIG. 9 is a block diagram illustrating an example of the configuration of the reception support system 2 according to the second embodiment. The reception support system 2 includes an imaging device 300, an information processing device 400, and a terminal device 500. In addition, the photographing apparatus 300, the information processing apparatus 400, and the terminal apparatus 500 are connected by a wired or wireless network. Note that in each drawing referred to in the description of this embodiment, configurations similar to those in the other embodiments are denoted by the same reference numerals, and redundant description in this embodiment is omitted (the same applies to other embodiments).

情報処理装置400は、通信部401と、記憶部402と、照合部403とを備える。   The information processing apparatus 400 includes a communication unit 401, a storage unit 402, and a collation unit 403.

通信部401は、第1実施形態の受信部201及び配信部203の機能を備え、撮影装置300の送信部302と、端末装置500の通信部501と通信を行う。   The communication unit 401 includes the functions of the reception unit 201 and the distribution unit 203 of the first embodiment, and communicates with the transmission unit 302 of the imaging device 300 and the communication unit 501 of the terminal device 500.

記憶部402は、第1実施形態の第1記憶部102及び第2記憶部202の機能を備える。照合部403は、第1実施形態の照合部104の機能を備える。   The storage unit 402 includes the functions of the first storage unit 102 and the second storage unit 202 of the first embodiment. The collation unit 403 has the function of the collation unit 104 of the first embodiment.

端末装置500は、第1撮影部101と、通知部105と、通信部501とを備える。通信部501は、第1実施形態の受信部103の機能を備え、さらに、第1撮影部101から第1撮影部101が撮影した第1画像データを受信し、その第1画像データを情報処理装置400へ送信する。   The terminal device 500 includes a first imaging unit 101, a notification unit 105, and a communication unit 501. The communication unit 501 has the function of the reception unit 103 of the first embodiment, and further receives first image data captured by the first imaging unit 101 from the first imaging unit 101, and processes the first image data as information processing. To device 400.

図10は、受け取り支援システム2の動作の一例を示すフローチャートである。また、図10は、端末装置500の処理を左側に、情報処理装置400の処理を中央に、撮影装置300の処理を右側に示している。また、端末装置500の処理と情報処理装置400の処理との間と、情報処理装置400の処理と撮影装置300の処理との間とにある破線の矢印は、情報の流れを示している。   FIG. 10 is a flowchart illustrating an example of the operation of the reception support system 2. FIG. 10 shows the processing of the terminal device 500 on the left side, the processing of the information processing device 400 in the center, and the processing of the imaging device 300 on the right side. In addition, broken-line arrows between the processing of the terminal device 500 and the processing of the information processing device 400 and between the processing of the information processing device 400 and the processing of the imaging device 300 indicate the flow of information.

まず、図10に示すように、第1撮影部101が、利用者が所有する荷物を撮影する(ステップS300)。そして、第1撮影部101は、例えば、利用者が、所有する荷物を空港に預けたタイミングや、利用者が空港に着いたタイミングにおいて、撮影した第1画像データを通信部501に送信し、通信部501は、第1画像データを情報処理装置400に送信する(ステップS301)。次に、情報処理装置400の通信部401は、通信部501から第1画像データを受信する(ステップS302)。そして、通信部401は、受信した第1画像データを記憶部402に記憶させる。   First, as shown in FIG. 10, the first photographing unit 101 photographs a baggage owned by the user (step S300). The first imaging unit 101 transmits the captured first image data to the communication unit 501, for example, when the user deposits the belongings at the airport or when the user arrives at the airport. The communication unit 501 transmits the first image data to the information processing apparatus 400 (step S301). Next, the communication unit 401 of the information processing apparatus 400 receives the first image data from the communication unit 501 (step S302). Then, the communication unit 401 causes the storage unit 402 to store the received first image data.

例えば、利用者と荷物群とが目的地の空港等に到着すると、図10に示すように、撮影装置300の第2撮影部301は、荷物群に含まれる荷物を撮影する(ステップS303)。また、第2撮影部301は、撮影した第2画像データを送信部302へ送信し、送信部302は、情報処理装置400に第2画像データを送信する(ステップS304)。送信部302は、複数の荷物群のそれぞれに対応する複数の第2画像データをまとめて受信し、情報処理装置400に送信してもよいし、撮影された順に別々に受信し、受信した順に情報処理装置400に送信してもよい。また、送信部302は、第2画像データを別々に受信して、まとめて情報処理装置400に送信してよい。なお、ステップS303及びステップS304は、定期的に行われる。例えば、撮影装置300は、ベルトコンベアと連動し、ベルトコンベアの動作が終了した際、同様に動作を終了してもよい。また、例えばセンサ部(図示しない)が荷物を検知し、撮影を行う際に、センサ部がカウントを行う。そして、センサ部が所定の時間以上荷物を検知しない場合、撮影装置300は、動作を終了してもよい。   For example, when the user and the luggage group arrive at the destination airport or the like, as shown in FIG. 10, the second imaging unit 301 of the imaging device 300 photographs the luggage included in the luggage group (step S303). In addition, the second imaging unit 301 transmits the captured second image data to the transmission unit 302, and the transmission unit 302 transmits the second image data to the information processing apparatus 400 (step S304). The transmission unit 302 may collectively receive a plurality of second image data corresponding to each of a plurality of luggage groups and transmit them to the information processing apparatus 400. Alternatively, the transmission unit 302 may receive them separately in the order in which they were photographed, and in the order received. You may transmit to the information processing apparatus 400. In addition, the transmission unit 302 may receive the second image data separately and collectively transmit the second image data to the information processing apparatus 400. Steps S303 and S304 are periodically performed. For example, the imaging apparatus 300 may end the operation in the same manner when the operation of the belt conveyor is completed in conjunction with the belt conveyor. Further, for example, when a sensor unit (not shown) detects a baggage and performs photographing, the sensor unit performs counting. Then, when the sensor unit does not detect the load for a predetermined time or longer, the imaging apparatus 300 may end the operation.

そして、情報処理装置400の通信部401が、送信部302から第2画像データを受信する(ステップS305)。また、通信部401は、受け取った第2画像データを記憶部402に記憶させる(ステップS306)。   Then, the communication unit 401 of the information processing apparatus 400 receives the second image data from the transmission unit 302 (step S305). In addition, the communication unit 401 stores the received second image data in the storage unit 402 (step S306).

ステップS306終了後、照合部403は、第1画像データに含まれる荷物と第2画像データに含まれる荷物とを照合し(ステップS307)、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上か否か確認する(ステップS308)。ステップS308において、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上でない場合、照合部403は、第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上となるまで、ステップS305からステップS308の処理を行う。なお、閾値をどのような値に設定するかは、当業者によって、適宜設定することができる。   After step S306, the collation unit 403 collates the package included in the first image data with the package included in the second image data (step S307), and converts the package included in the first image data and the second image data. It is confirmed whether or not the collation rate with the included package is equal to or greater than a predetermined threshold (step S308). In step S308, when the collation rate between the parcel included in the first image data and the parcel included in the second image data is not equal to or greater than a predetermined threshold, the collation unit 403 determines whether the parcel included in the first image data and the second parcel are included in the second image data. The processing from step S305 to step S308 is performed until the collation rate with the package included in the image data is equal to or higher than a predetermined threshold. Note that what value the threshold value is set to can be set as appropriate by those skilled in the art.

以上の動作によって、情報処理装置400が、荷物が含まれる2つの画像データを照合し、照合率が閾値以上となるまで処理を繰り返すことで、照合率が閾値以上の画像データを発見することができる。   By the above operation, the information processing apparatus 400 may collate two pieces of image data including a package and repeat the process until the collation rate is equal to or higher than the threshold value, thereby finding image data having the collation rate equal to or higher than the threshold value. it can.

図11は、本発明の第2実施形態における端末装置が行う処理Aと、情報処理装置が行う処理Bとの一例を示すフローチャートである。   FIG. 11 is a flowchart illustrating an example of processing A performed by the terminal device and processing B performed by the information processing device according to the second embodiment of the present invention.

第1画像データに含まれる荷物と第2画像データに含まれる荷物との照合率が、所定の閾値以上である場合、情報処理装置400の照合部403は、通信部401に通知要求を送信する。さらに、通信部401は、照合部403から通知要求を受信し、受信した通知要求を端末装置500に通知要求を送信する(ステップS400)。ステップS400終了後、情報処理装置400は、ステップS305に戻る。
その後、端末装置500の通信部501は、通信部401から通知要求を受信する(ステップS401)。
次に通知部105は、通信部501から通知要求を受信し、受信した通知情報に基づき、荷物の到着を通知する(ステップS402)。
When the collation rate between the parcel included in the first image data and the parcel included in the second image data is equal to or greater than a predetermined threshold, the collation unit 403 of the information processing apparatus 400 transmits a notification request to the communication unit 401. . Further, the communication unit 401 receives the notification request from the collation unit 403 and transmits the notification request to the terminal device 500 for the received notification request (step S400). After step S400 ends, the information processing apparatus 400 returns to step S305.
Thereafter, the communication unit 501 of the terminal device 500 receives a notification request from the communication unit 401 (step S401).
Next, the notification unit 105 receives a notification request from the communication unit 501, and notifies the arrival of the package based on the received notification information (step S402).

その後、通知部105は、利用者から動作の終了要求を受け付けたか否か確認する(ステップS403)。例えば、動作の終了要求は、端末装置500の受付部(図示しない)に利用者が入力し、その入力を端末装置500が受け付けてもよい。また、受付部は通知部105に含まれる構成でもよい。そして、動作の終了要求を受け付けた場合、処理は終了する。一方で、動作の終了要求を受け付けていない場合、ステップS401に戻る。   Thereafter, the notification unit 105 checks whether or not an operation end request has been received from the user (step S403). For example, the operation end request may be input by a user to a reception unit (not shown) of the terminal device 500 and the terminal device 500 may receive the input. The reception unit may be included in the notification unit 105. When an operation end request is received, the process ends. On the other hand, when the operation termination request has not been received, the process returns to step S401.

上記動作によって、本実施形態に係る受け取り支援システム2は、荷物の到着を利用者に通知することができる。   Through the above operation, the reception support system 2 according to the present embodiment can notify the user of the arrival of the package.

また、例えば、第1画像データに、第1画像データに含まれる荷物の預け先を特定する情報、例えば航空会社、飛行機の便名、出発時刻、及び到着時刻等を含めてもよい。さらに、第1実施形態同様に、第2画像データに、第2画像データに含まれる荷物の預け先を特定する情報、例えば航空会社、飛行機の便名、日付、出発時刻、及び到着時刻等を含めてもよい。   Further, for example, the first image data may include information for specifying a deposit destination included in the first image data, such as an airline, a flight name, a departure time, and an arrival time. Further, as in the first embodiment, the second image data includes information for specifying the storage location of the luggage included in the second image data, such as airline, flight number, date, departure time, and arrival time. May be included.

このように設定することで、照合部403が、第1画像データ及び第2画像データに含まれる荷物の預け先を特定する情報に基づき、照合することができる。例えば、第1画像データに、第1画像データに含まれる荷物の預け先を特定する情報として、航空会社、飛行機の便名、日付が含まれると、照合部403は、同様の情報を含む第2画像データのみと照合することができる。これにより、情報処理装置400は、余分な照合をせずに済み、高精度に照合することが可能となる。   By setting in this way, the collation unit 403 can collate based on the information specifying the deposit destination of the package included in the first image data and the second image data. For example, when the first image data includes an airline, flight number, and date as information for specifying the deposit destination of the package included in the first image data, the matching unit 403 includes the same information. Only two image data can be collated. As a result, the information processing apparatus 400 does not need to perform extra collation, and can collate with high accuracy.

なお、上述した第1実施形態では、情報処理装置200と撮影装置300とが別個の構成について説明したが、一体であってもよい。また、同様に第2実施形態に係る情報処理装置400と、撮影装置300とが一体であってもよい。   In the first embodiment described above, the information processing apparatus 200 and the imaging apparatus 300 are described as separate configurations, but may be integrated. Similarly, the information processing apparatus 400 according to the second embodiment and the imaging apparatus 300 may be integrated.

<第3実施形態>
図12は、受け取り支援システム3の構成の一例を示すブロック図である。受け取り支援システム3は、撮影部31と照合部32とを有する。撮影部31と照合部32は、無線または有線のネットワークによって相互に接続されている。
<Third Embodiment>
FIG. 12 is a block diagram illustrating an example of the configuration of the reception support system 3. The reception support system 3 includes a photographing unit 31 and a collation unit 32. The imaging unit 31 and the verification unit 32 are connected to each other by a wireless or wired network.

撮影部31は、利用者から預かりうけた荷物を撮影し、撮影された荷物画像を、無線または有線のネットワークを介し、照合部32へ送信する。   The photographing unit 31 photographs a baggage received from the user and transmits the photographed baggage image to the verification unit 32 via a wireless or wired network.

照合部32は、撮影部31から撮影された荷物画像を受信し、受信した荷物画像と、利用者が所有する荷物の荷物画像とを照合する。なお、利用者が所有する荷物の荷物画像は、予め照合部32に含まれてもよく、または、外部から照合部32に送信されてもよい。   The collation unit 32 receives the package image captured from the imaging unit 31, and collates the received package image with the package image of the package owned by the user. Note that the package image of the package owned by the user may be included in the verification unit 32 in advance, or may be transmitted to the verification unit 32 from the outside.

図13は、受け取り支援システム3の動作の一例を示すフローチャートである。   FIG. 13 is a flowchart illustrating an example of the operation of the reception support system 3.

まず、撮影部31は、利用者から預かりうけた荷物を撮影し(ステップS500)、撮影された荷物画像を、照合部32に送信する。   First, the photographing unit 31 photographs a baggage received from the user (step S500), and transmits the photographed baggage image to the verification unit 32.

次に、照合部32は、撮影された荷物画像を受信し、撮影された荷物画像と、利用者が所有する荷物の荷物画像とを照合する(ステップS501)。   Next, the collation unit 32 receives the photographed baggage image and collates the photographed baggage image with the baggage image of the baggage owned by the user (step S501).

以上の動作によって、受け取り支援システム3が、荷物が含まれる2つの画像データに含まれるそれぞれの荷物同士を照合することで、利便性の高い荷物の受け取りを支援することができる。したがって、本実施形態における受け取り支援システム3は、新たに電子タグ等を導入しなくとも、利用者は荷物を識別することができる。また、新たに電子タグ等を導入しないことで、電子タグを新たに作成する機器や電子タグを読み取る機器が不要となり、これらの機器を設置する手間が省け、かつ新たに費用がかかることがない。これにより、本実施形態に係る受け取り支援システム3は、荷物を預けられる側にとっても利便性が高い。   With the above operation, the reception support system 3 can support the reception of highly convenient packages by collating each package included in the two image data including the package. Therefore, the reception support system 3 in the present embodiment can identify the package without introducing a new electronic tag or the like. In addition, by not introducing a new electronic tag or the like, a device for creating a new electronic tag and a device for reading the electronic tag become unnecessary, and it is possible to save time and effort for installing these devices. . Thereby, the reception support system 3 according to the present embodiment is highly convenient for the side that can store the luggage.

本実施形態における撮影部31は、第1及び第2実施形態における第2撮影部301に相当する。また、照合部32は、第1実施形態の照合部104または第2実施形態の照合部403に相当する。また、上述した通り、撮影装置300と、情報処理装置400とは一体であってもよい。   The imaging unit 31 in the present embodiment corresponds to the second imaging unit 301 in the first and second embodiments. The collation unit 32 corresponds to the collation unit 104 of the first embodiment or the collation unit 403 of the second embodiment. Further, as described above, the imaging device 300 and the information processing device 400 may be integrated.

したがって、本実施形態に係る受け取り支援システム3は、照合部104に相当する照合部32を備える端末装置100と、第2撮影部301に相当する撮影部31を備える情報処理装置200(撮影装置300)とを備える構成である。このような受け取り支援システム3であっても、上述と同様の効果を得る。   Therefore, the reception support system 3 according to the present embodiment includes an information processing apparatus 200 (shooting apparatus 300) including the terminal device 100 including the matching unit 32 corresponding to the matching unit 104 and the shooting unit 31 corresponding to the second shooting unit 301. ). Even with such a reception support system 3, the same effects as described above are obtained.

また、第1実施形態に係る受け取り支援システム1において、端末装置100と、情報処理装置200(撮影装置300)とは一体であってもよい。このような受け取り支援システム1であっても、上述の第1実施形態の構成と同様の効果を得る。   In the reception support system 1 according to the first embodiment, the terminal device 100 and the information processing device 200 (the imaging device 300) may be integrated. Even such a reception support system 1 can obtain the same effects as the configuration of the first embodiment described above.

また、上述のとおり、第2実施形態に係る受け取り支援システム2は、端末装置500と、情報処理装置400(撮影装置300)とを備える構成であってもよい。   Further, as described above, the reception support system 2 according to the second embodiment may be configured to include the terminal device 500 and the information processing device 400 (the imaging device 300).

つまり、第2実施形態に係る受け取り支援システム2において、照合部403に相当する照合部32を備える情報処理装置400と、第2撮影部301に相当する撮影部31を備える撮影装置300とは一体であってもよい。この場合、情報処理装置400が撮影部31及び照合部32を備える。   That is, in the reception support system 2 according to the second embodiment, the information processing apparatus 400 including the verification unit 32 corresponding to the verification unit 403 and the imaging apparatus 300 including the imaging unit 31 corresponding to the second imaging unit 301 are integrated. It may be. In this case, the information processing apparatus 400 includes the photographing unit 31 and the collation unit 32.

また、本願発明について、上記実施形態では、空港での利用について説明したが、ホテルのクロークにおける荷物の引き渡しや、バス等を使用した団体行動時に預けた荷物の引き渡し等の、多くの荷物から自分の荷物を受け取る場合に利用することが可能である。   In the above embodiment, the present invention has been described with reference to the use of the airport. However, a lot of baggage such as handing over baggage at a hotel cloakroom or handing over baggage when using a bus etc. It is possible to use it when receiving the package.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

1 受け取り支援システム
2 受け取り支援システム
3 受け取り支援システム
21 CPU
22 ROM
23 ネットワークインタフェース
24 RAM
25 記憶装置
26 カメラ装置
27 通知装置
31 撮影部
32 照合部
100 端末装置
101 第1撮影部
102 第1記憶部
103 受信部
104 照合部
105 通知部
200 情報処理装置
201 受信部
202 第2記憶部
203 配信部
300 撮影装置
301 第2撮影部
302 送信部
400 情報処理装置
401 通信部
402 記憶部
403 照合部
500 端末装置
501 通信部
1 Receiving Support System 2 Receiving Support System 3 Receiving Support System 21 CPU
22 ROM
23 Network interface 24 RAM
Reference Signs List 25 storage device 26 camera device 27 notification device 31 imaging unit 32 verification unit 100 terminal device 101 first imaging unit 102 first storage unit 103 reception unit 104 verification unit 105 notification unit 200 information processing device 201 reception unit 202 second storage unit 203 Distribution unit 300 Imaging device 301 Second imaging unit 302 Transmission unit 400 Information processing device 401 Communication unit 402 Storage unit 403 Verification unit 500 Terminal device 501 Communication unit

Claims (10)

利用者から預かりうけた荷物を撮影する撮影手段と、
前記利用者が所有する荷物の画像である第1荷物画像と、前記撮影手段によって撮影された画像である第2荷物画像とを照合する照合手段と、
を備える受け取り支援システム。
Photographing means for photographing the baggage received from the user;
Collation means for collating a first luggage image that is an image of a luggage owned by the user with a second luggage image that is an image photographed by the photographing means;
Receiving support system comprising.
情報処理装置と、端末装置とを備え、
前記情報処理装置は、
前記撮影手段と、前記第2荷物画像を配信する配信手段とを備え、
前記端末装置は、
前記撮影された荷物画像を受信する受信手段と、前記利用者が所有する荷物を撮影する撮影手段と、前記照合手段と、
を備える請求項1に記載の受け取り支援システム。
An information processing device and a terminal device;
The information processing apparatus includes:
Comprising the photographing means and a delivery means for delivering the second luggage image;
The terminal device
Receiving means for receiving the photographed baggage image, photographing means for photographing the baggage owned by the user, the collating means,
The reception support system according to claim 1, further comprising:
情報処理装置と、端末装置と、撮影装置とを備え、
前記端末装置は、
前記利用者が所有する荷物を撮影する端末側撮影手段と、前記第1荷物画像を送信する通信手段とを備え、
前記情報処理装置は、
前記第1荷物画像を受信する通信手段と、前記照合手段とを備え、
前記撮影装置は、前記撮影手段を備える請求項1に記載の受け取り支援システム。
An information processing device, a terminal device, and a photographing device;
The terminal device
A terminal-side photographing means for photographing the baggage owned by the user; and a communication means for transmitting the first luggage image;
The information processing apparatus includes:
A communication means for receiving the first luggage image; and the matching means.
The reception support system according to claim 1, wherein the imaging device includes the imaging unit.
前記端末装置は、
前記照合手段の照合結果に基づいた情報を通知する通知手段をさらに備える請求項2または請求項3に記載の受け取り支援システム。
The terminal device
The reception support system according to claim 2 or 3, further comprising notification means for notifying information based on a collation result of the collation means.
前記撮影された荷物画像と、前記利用者が所有する荷物の荷物画像とは、荷物の預け先を特定する情報を含む請求項1から請求項4のいずれか1項に記載の受け取り支援システム。   5. The reception support system according to claim 1, wherein the photographed baggage image and the baggage image of the baggage owned by the user include information for specifying a baggage deposit destination. 前記照合手段は、前記荷物の預け先を特定する情報に基づき、照合する請求項5に記載の受け取り支援システム。   The receiving support system according to claim 5, wherein the verification unit performs verification based on information specifying a deposit destination of the package. 利用者から預かりうけた荷物を撮影する撮影手段と、利用者が所有する荷物の荷物画像を受信し、受信した前記撮影画像と、前記荷物画像とを照合する照合手段と、
を備える情報処理装置。
Photographing means for photographing the baggage received from the user; receiving a luggage image of the luggage owned by the user; collating means for collating the received photographed image with the luggage image;
An information processing apparatus comprising:
利用者が所有する荷物を撮影する撮影手段と、
利用者が預けた荷物を撮影した撮影画像を受信し、受信した前記撮影画像と、前記撮影手段によって撮影された荷物画像とを照合する照合手段と、
を備える端末装置。
Photographing means for photographing the baggage owned by the user;
A collation unit that receives a photographed image of a baggage deposited by a user, and collates the received photographed image with a baggage image photographed by the photographing unit;
A terminal device comprising:
利用者から預かりうけた荷物を撮影し、
前記利用者が所有する荷物の画像である第1荷物画像と、前記撮影手段によって撮影された画像である第2荷物画像とを照合する受け取り支援方法。
Take a picture of the baggage you received from the user,
A receiving support method for collating a first luggage image that is an image of a luggage owned by the user with a second luggage image that is an image photographed by the photographing means.
利用者から預かりうけた荷物を撮影する処理と、
前記利用者が所有する荷物の画像である第1荷物画像と、前記撮影手段によって撮影された画像である第2荷物画像とを照合する処理と、
をコンピュータに実行させる受け取り支援プログラム。
A process of shooting the baggage received from the user,
A process of collating a first luggage image that is an image of a luggage owned by the user with a second luggage image that is an image photographed by the photographing means;
Receiving support program that causes a computer to execute.
JP2015177686A 2015-07-16 2015-09-09 Receiving support system, receiving support method, receiving support program, information processing device, and terminal device Active JP6978181B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020077555A JP6958666B2 (en) 2015-07-16 2020-04-24 Receiving support system, receiving support method, receiving support program, information processing device, and terminal device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015142073 2015-07-16
JP2015142073 2015-07-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020077555A Division JP6958666B2 (en) 2015-07-16 2020-04-24 Receiving support system, receiving support method, receiving support program, information processing device, and terminal device

Publications (2)

Publication Number Publication Date
JP2017027569A true JP2017027569A (en) 2017-02-02
JP6978181B2 JP6978181B2 (en) 2021-12-08

Family

ID=57949754

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015177686A Active JP6978181B2 (en) 2015-07-16 2015-09-09 Receiving support system, receiving support method, receiving support program, information processing device, and terminal device
JP2020077555A Active JP6958666B2 (en) 2015-07-16 2020-04-24 Receiving support system, receiving support method, receiving support program, information processing device, and terminal device

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020077555A Active JP6958666B2 (en) 2015-07-16 2020-04-24 Receiving support system, receiving support method, receiving support program, information processing device, and terminal device

Country Status (1)

Country Link
JP (2) JP6978181B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128196A1 (en) * 2017-01-09 2018-07-12 ecbo株式会社 Device, method, and program for depositing baggage at store
WO2022003840A1 (en) * 2020-06-30 2022-01-06 日本電気株式会社 Information processing device, information processing method, and recording medium
WO2022038709A1 (en) * 2020-08-19 2022-02-24 日本電気株式会社 Information processing device, information processing method, and recording medium
WO2022172671A1 (en) * 2021-02-11 2022-08-18 株式会社デンソーウェーブ Baggage searching method and baggage information management system
US11623765B2 (en) 2020-01-21 2023-04-11 Kabushiki Kaisha Toshiba Information processing device, storage medium, information processing system, and a mobile terminal device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149434A (en) * 1996-11-15 1998-06-02 Casio Comput Co Ltd Photographing picture management device
JP2003146438A (en) * 2001-11-07 2003-05-21 Nippon Signal Co Ltd:The Luggage management system
JP2004030485A (en) * 2002-06-28 2004-01-29 Fujitsu Ltd Server, program and method for managing found item
JP2009301425A (en) * 2008-06-16 2009-12-24 Nec Corp System, device, method and program for supporting reception of luggage
WO2012093618A1 (en) * 2011-01-06 2012-07-12 アクアエンタープライズ株式会社 Travel situation detection system
WO2015064107A1 (en) * 2013-10-31 2015-05-07 日本電気株式会社 Management system, list production device, data structure, and printed label
US20150127142A1 (en) * 2009-09-10 2015-05-07 Amazon Technologies, Inc. Receiving items into inventory

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149434A (en) * 1996-11-15 1998-06-02 Casio Comput Co Ltd Photographing picture management device
JP2003146438A (en) * 2001-11-07 2003-05-21 Nippon Signal Co Ltd:The Luggage management system
JP2004030485A (en) * 2002-06-28 2004-01-29 Fujitsu Ltd Server, program and method for managing found item
JP2009301425A (en) * 2008-06-16 2009-12-24 Nec Corp System, device, method and program for supporting reception of luggage
US20150127142A1 (en) * 2009-09-10 2015-05-07 Amazon Technologies, Inc. Receiving items into inventory
WO2012093618A1 (en) * 2011-01-06 2012-07-12 アクアエンタープライズ株式会社 Travel situation detection system
WO2015064107A1 (en) * 2013-10-31 2015-05-07 日本電気株式会社 Management system, list production device, data structure, and printed label

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128196A1 (en) * 2017-01-09 2018-07-12 ecbo株式会社 Device, method, and program for depositing baggage at store
US11623765B2 (en) 2020-01-21 2023-04-11 Kabushiki Kaisha Toshiba Information processing device, storage medium, information processing system, and a mobile terminal device
WO2022003840A1 (en) * 2020-06-30 2022-01-06 日本電気株式会社 Information processing device, information processing method, and recording medium
WO2022038709A1 (en) * 2020-08-19 2022-02-24 日本電気株式会社 Information processing device, information processing method, and recording medium
WO2022172671A1 (en) * 2021-02-11 2022-08-18 株式会社デンソーウェーブ Baggage searching method and baggage information management system

Also Published As

Publication number Publication date
JP2020113342A (en) 2020-07-27
JP6958666B2 (en) 2021-11-02
JP6978181B2 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
JP6958666B2 (en) Receiving support system, receiving support method, receiving support program, information processing device, and terminal device
JP7176565B2 (en) Information processing device, information processing method and program
JP6229754B2 (en) Airport use system
JP2020055691A (en) Airline hand baggage management system
JP5766625B2 (en) Camera device
JP5947196B2 (en) Imaging service system and imaging control method
JP2013203493A (en) System for use in airport
JP5844802B2 (en) Image processing system, person identification method, image processing apparatus, control method thereof, and control program
CN110945539A (en) Order management system, order management device, and program
US10282432B2 (en) Non-transitory computer readable medium, information processing apparatus, and information processing method for determining a location of a target based on image information generated by capturing an image of the target
JP7330220B2 (en) Baggage identification processor
JP6681353B2 (en) Apparatus, method and program therefor for storing luggage in a store
JP2022066323A (en) Information processing device, information processing method, and computer program
KR102176987B1 (en) System and managing method for paperless exhibition
JP7147765B2 (en) Information processing device, control method, and program
US10636009B2 (en) System and method for incremental object tracking and progressive remittance
CN110874418A (en) Information processing apparatus, information processing method, and recording medium
JP2020161065A (en) Mobile body tracking device, mobile body tracking method, and program
JP7347643B2 (en) Delivery management server
JP7218855B2 (en) Information processing device, information processing method, and program
CN109789972B (en) System, information processing device, information processing method, program, and recording medium
JP2022075775A (en) Server device, system, control method of server device, terminal, and computer program
CN116894541A (en) Air traffic management system
CN115082843A (en) Consignment processing method and device, computer equipment and storage medium
KR20100010075A (en) Auto-arrangement method of image data and web-server used therein

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200424

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200511

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200512

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200605

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200609

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210112

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20210819

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20210902

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210914

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211019

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R150 Certificate of patent or registration of utility model

Ref document number: 6978181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150