JP2022077461A - Delivery management server, delivery management method, and delivery management program - Google Patents

Delivery management server, delivery management method, and delivery management program Download PDF

Info

Publication number
JP2022077461A
JP2022077461A JP2020188347A JP2020188347A JP2022077461A JP 2022077461 A JP2022077461 A JP 2022077461A JP 2020188347 A JP2020188347 A JP 2020188347A JP 2020188347 A JP2020188347 A JP 2020188347A JP 2022077461 A JP2022077461 A JP 2022077461A
Authority
JP
Japan
Prior art keywords
user
product
booth
delivery
delivery management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020188347A
Other languages
Japanese (ja)
Inventor
尚子 松田
Naoko Matsuda
大地 三浦
Daichi MIURA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bestat
Bestat Inc
Original Assignee
Bestat
Bestat Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bestat, Bestat Inc filed Critical Bestat
Priority to JP2020188347A priority Critical patent/JP2022077461A/en
Publication of JP2022077461A publication Critical patent/JP2022077461A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a system that can provide a product in accordance with a user's preference at a location of a user's choice and during the time of receipt of the same.SOLUTION: A delivery management server that manages products arranged in a delivery booth. A delivery booth 100 includes a product shelf 160, a frame 110, connected to the product shelf to enclose the product shelf, an entrance/exit 180, for entering/exiting the frame, and a booth terminal 150, having an entrance/exit processing unit that executes the entrance/exit process on the entrance/exit. The delivery management server has a product reception unit that accepts orders for products from users via user terminals and an authentication processing unit for authenticating users and transmitting results of the authentication to the booth terminal. The entrance/exit processing unit of the booth terminal performs entrance processing when a user is authenticated by the authentication processing unit and performs exit processing after a user removes a product from the product shelf inside the frame of the delivery booth and steps outside the frame of the delivery booth.SELECTED DRAWING: Figure 1

Description

本発明は、配送管理サーバ及び配送管理方法並びに配送管理プログラムに関する。 The present invention relates to a delivery management server, a delivery management method, and a delivery management program.

昨今は、コンビニといわれる店舗が、地域単位で存在するようになっている。特に、都市部ではオフィス街内、住居近くにも複数のコンビニが存在するようになってきている。
また、一方で弁当、飲料水、靴下等を無人で販売する販売システムが設置されてきている。
本技術分野の背景技術として、特開2017-219994号公報(特許文献1)がある。この公報には、「顧客の嗜好に合わせた商品を提供することができる自動販売システムを提供する。自動販売機20と顧客管理サーバ40とを具備する自動販売システム1であって、自動販売機20は、携帯型記録媒体10から読み込んだ、顧客を識別する個人識別情報αと、自身を示す販売機識別情報βとを顧客管理サーバ40に送信し、個人識別情報αに対応する顧客の嗜好情報γを顧客管理サーバ40から受信し、嗜好情報γに基づいて商品を販売し、顧客管理サーバ40は、個人識別情報αと販売機識別情報βとを受信し、個人識別情報αに対応する顧客の販売機識別情報βに対応する自動販売機20で販売する商品に関する嗜好情報γを生成し、嗜好情報γを自動販売機20に送信する。」と記載されている(要約参照)。
Nowadays, stores called convenience stores are existing in each region. In particular, in urban areas, there are multiple convenience stores in office areas and near residences.
On the other hand, a sales system for unmanned sales of bento boxes, drinking water, socks, etc. has been installed.
As a background technique in this technical field, there is Japanese Patent Application Laid-Open No. 2017-219994 (Patent Document 1). This gazette states, "Providing an automatic sales system capable of providing products tailored to a customer's taste. An automatic sales system 1 including a vending machine 20 and a customer management server 40. The vending machine. 20 transmits the personal identification information α for identifying the customer and the sales machine identification information β indicating itself, which are read from the portable recording medium 10, to the customer management server 40, and the customer's preference corresponding to the personal identification information α. The information γ is received from the customer management server 40 and the product is sold based on the preference information γ, and the customer management server 40 receives the personal identification information α and the vending machine identification information β and corresponds to the personal identification information α. The preference information γ regarding the product sold by the vending machine 20 corresponding to the customer's vending machine identification information β is generated, and the preference information γ is transmitted to the vending machine 20 ”(see summary).

特開2017-219994号公報Japanese Unexamined Patent Publication No. 2017-2994

例えば食品に関しては、嗜好があり、また体調、天気等でも相違する。ところが、コンビニは、販売する商品は、ほとんど固定である。従って、常に変化する利用者の嗜好に応じた商品を提供することができない。
また、コンビニが増えてきたとしても、利用者の近くに存在すると限らないし、また、コンビニ運営にはコストがかかるので閉めてしまう場合もある。
特許文献1は、嗜好に該当する商品のみを選択させる自動販売機であるので、結局は選ぶ商品は、予め自動販売機に格納されたある程度限定された商品に限定されてしまう。
For example, with regard to food, there are tastes, and there are differences in physical condition, weather, and the like. However, at convenience stores, the products they sell are mostly fixed. Therefore, it is not possible to provide products that meet the ever-changing tastes of users.
Moreover, even if the number of convenience stores increases, they do not always exist near the users, and the convenience store operation is costly and may be closed.
Since Patent Document 1 is a vending machine that allows only products that correspond to tastes to be selected, the products to be selected are eventually limited to products that are stored in the vending machine in advance and are limited to some extent.

本発明は以上の課題を解決するためになされたもので、本発明によれば、利用者の嗜好に応じた商品を利用者が希望する場所に、その受け取り時間帯で提供できるシステムを提供する。 The present invention has been made to solve the above problems, and according to the present invention, a system capable of providing a product according to a user's taste to a place desired by the user at the receiving time zone is provided. ..

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、 配送ブースに配置された商品を管理する配送管理サーバであって、前記配送ブースは、商品棚と、前記商品棚を囲うように前記商品棚に接続された枠体と、前記枠体の内部への入退場を行うための出入口と、前記出入口の入退場処理を実行する入退場処理部を有するブース端末と、を備え、前記配送管理サーバは、利用者端末を介して利用者から商品の注文を受け付ける商品受付部と、利用者の認証を行い、認証した結果を前記ブース端末に送信する認証処理部と、を有し、前記ブース端末の前記入退場処理部は、前記認証処理部により前記利用者が認証された場合に、入場処理を行い、前記利用者が前記配送ブースの前記枠体内において前記商品棚から前記商品を取り出し、前記配送ブースの前記枠体の外に出た後に、退場処理を行うことを特徴とする。
In order to solve the above problems, for example, the configuration described in the claims is adopted.
The present application includes a plurality of means for solving the above problems, and one example thereof is a delivery management server that manages products arranged in a delivery booth, wherein the delivery booth includes a product shelf and the product. A frame body connected to the product shelf so as to surround the shelf, an entrance / exit for entering / exiting the inside of the frame body, and a booth terminal having an entrance / exit processing unit for executing entrance / exit processing of the entrance / exit. The delivery management server includes a product reception unit that accepts an order for a product from a user via a user terminal, and an authentication processing unit that authenticates the user and sends the authentication result to the booth terminal. The entrance / exit processing unit of the booth terminal performs entrance processing when the user is authenticated by the authentication processing unit, and the user performs the entrance processing in the frame of the delivery booth. It is characterized in that the product is taken out from the shelf, and after the product is taken out of the frame of the delivery booth, the exit process is performed.

本発明によれば、利用者の嗜好に応じた商品を利用者が希望する場所に、その受け取り時間帯で提供できるシステムを提供する。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, there is provided a system capable of providing a product according to a user's taste to a place desired by the user at the receiving time zone.
Issues, configurations and effects other than those described above will be clarified by the following description of the embodiments.

本実施の形態の商品配送システムの概略構成図の例である。It is an example of the schematic block diagram of the product delivery system of this embodiment. 配送ブースの棚の正面図の例である。This is an example of the front view of the shelves of the delivery booth. 配送ブース100の購買サイクルの概略説明図の例である。It is an example of the schematic explanatory diagram of the purchase cycle of the delivery booth 100. 配送ブース側のサーバと商品販売サーバの概略プログラムブロック図の例である。This is an example of a schematic program block diagram of the server on the delivery booth side and the product sales server. 本実施の形態の利用者識別情報の登録を説明するシーケンス図の例である。It is an example of the sequence diagram explaining the registration of the user identification information of this embodiment. 商品宣伝~注文を説明するシーケンス図の例である。This is an example of a sequence diagram for explaining product promotion and ordering. 利用者商品受取を説明するシーケンスの例である。This is an example of a sequence for explaining the receipt of a user's product. 棚から商品を取り出して退出するまでを説明するシーケンス図の例である。This is an example of a sequence diagram for explaining the process of taking out a product from a shelf and leaving the product. 商品受け取り場所の選択画面の例である。This is an example of a screen for selecting a product receiving location. 商品購入画面の例である。This is an example of a product purchase screen. 決済処理画面の例である。This is an example of a payment processing screen. 受け取り商品表示画面の例である。This is an example of the received product display screen. 本ブースの案内メッセージ画面を表の説明図の例である。The guidance message screen of this booth is an example of the explanatory diagram in the table. 各種情報の説明図(1)の例である。It is an example of explanatory diagram (1) of various information. 各種情報の説明図(2)の例である。It is an example of explanatory diagram (2) of various information. 各種情報の説明図(3)の例である。It is an example of explanatory diagram (3) of various information. 顔認証モデル登録処理の説明図の例である。This is an example of an explanatory diagram of the face authentication model registration process.

以下、実施例を図面を用いて説明する。 Hereinafter, examples will be described with reference to the drawings.

以下、図面を参照しながら本発明の好ましい実施形態について説明する。なお、以下では本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとする。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the following, the scope necessary for the explanation for achieving the object of the present invention will be schematically shown, and the scope necessary for the explanation of the relevant part of the present invention will be mainly described.

本実施の形態の概要は、例えば、利用者(会員)が注文した商品提供業者(加盟店)の商品(弁当、靴下、レストランの食べ物、洋服等)を事前決済する。商品提供業者(加盟店)は、その商品を配達して、利用者が選択したブースの商品棚に配置する。ブースでは、利用者を認証し、ブースに出入させて、利用者に商品を誤りなく取らせる配送システムである。 The outline of this embodiment is, for example, pre-payment of products (lunch boxes, socks, restaurant food, clothes, etc.) of a product provider (member store) ordered by a user (member). The product provider (member store) delivers the product and places it on the product shelf of the booth selected by the user. The booth is a delivery system that authenticates users, allows them to enter and leave the booth, and allows users to pick up products without error.

また、利用者がブースにおいて快適に、商品を手軽に早く受け取り、楽しみやコミュニケーションの温かさを感じることができるようにしている。
さらに、ブースで販売、接客、在庫管理、衛生管理等をし、かつ、利用者に加盟店の作り手の思いを伝えられるようにしている。詳細については後述する。
In addition, users can comfortably receive products at the booth, easily and quickly, and feel the warmth of fun and communication.
In addition, the booth sells, serves customers, manages inventory, manages hygiene, etc., and makes it possible to convey the thoughts of the creators of member stores to users. Details will be described later.

図1は本実施の形態の商品配送システムの概略構成図の例である。図1に示すように商品配送システム1は、配送ブース100に設置されたブース端末150と、商品提供業者端末200と、決済機関サーバ400と、利用者端末600と、配達人端末700と、管理端末800と、が通信ネットワーク500を介して配送管理サーバ300と接続されている。なお、ネットワークは有線、無線を問わず、それぞれの端末はネットワークを介して情報を送受信することができる。 FIG. 1 is an example of a schematic configuration diagram of the product delivery system of the present embodiment. As shown in FIG. 1, the product delivery system 1 manages a booth terminal 150 installed in the delivery booth 100, a product provider terminal 200, a payment institution server 400, a user terminal 600, and a delivery person terminal 700. The terminal 800 is connected to the delivery management server 300 via the communication network 500. The network may be wired or wireless, and each terminal can send and receive information via the network.

配送管理サーバ300は、配送ブース100に商品を取りに来る利用者が注文した、商品提供業者の商品を配達陳列させるための各種情報を提供すると共に、利用者に商品を案内する処理等を行う。 The delivery management server 300 provides various information for displaying the products of the product provider ordered by the user who comes to the delivery booth 100 for delivery, and also performs a process of guiding the product to the user. ..

商品提供業者端末200は、商品提供業者が利用する端末である。。
決済機関サーバ400は、例えば、クレジット会社、金融機関、決済代行会社等の決済機関が決済処理を提供するサーバである。
管理端末800は、配達管理サーバの設定や操作を行う端末である。
The product provider terminal 200 is a terminal used by the product provider. ..
The settlement institution server 400 is a server in which a settlement institution such as a credit company, a financial institution, or a settlement agency provides settlement processing.
The management terminal 800 is a terminal for setting and operating a delivery management server.

利用者端末600は、商品配送システム1を利用する利用者が操作を行う端末である。
配達人端末700は、配送ブース100に、商品提供業者の商品を配送する配達人が利用する端末である。
The user terminal 600 is a terminal operated by a user who uses the product delivery system 1.
The delivery person terminal 700 is a terminal used by a delivery person who delivers the product of the product provider to the delivery booth 100.

商品配送システム1のそれぞれの端末や配送管理サーバ300は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末(PDA)などの携帯端末(モバイル端末)でもよいし、メガネ型や腕時計型、着衣型などのウェアラブル端末でもよい。また、据置型または携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはVR(仮想現実:Virtual Reality)端末、AR(拡張現実:Augmented Reality)端末、MR(複合現実:Mixed Reality)端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、1台のスマートフォンと1台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。 Each terminal of the product delivery system 1 and the delivery management server 300 may be, for example, a mobile terminal (mobile terminal) such as a smartphone, a tablet, a mobile phone, or a mobile information terminal (PDA), or may be a glasses type, a watch type, or a clothing type. It may be a wearable terminal such as. It may also be a stationary or portable computer, or a server located in the cloud or on a network. Further, the function may be a VR (Virtual Reality) terminal, an AR (Augmented Reality) terminal, or an MR (Mixed Reality) terminal. Alternatively, it may be a combination of these plurality of terminals. For example, a combination of one smartphone and one wearable terminal can logically function as one terminal. Further, it may be an information processing terminal other than these.

商品配送システム1のそれぞれの端末や配送管理サーバ300は、それぞれオペレーティングシステムやアプリケーション、プログラムなどを実行するプロセッサと、RAM(Random Access Memory)等の主記憶装置と、ICカードやハードディスクドライブ、SSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置と、ネットワークカードや無線通信モジュール、モバイル通信モジュール等の通信制御部と、タッチパネルやキーボード、マウス、音声入力、カメラ部の撮像による動き検知による入力などの入力装置と、モニタやディスプレイ等の出力装置とを備える。なお、出力装置は、外部のモニタやディスプレイ、プリンタ、機器などに、出力するための情報を送信する装置や端子であってもよい。 Each terminal of the product delivery system 1 and the delivery management server 300 have a processor for executing an operating system, an application, a program, etc., a main storage device such as a RAM (Random Access Memory), an IC card, a hard disk drive, and an SSD (SSD). Solid State Drive), auxiliary storage devices such as flash memory, communication control units such as network cards, wireless communication modules, mobile communication modules, touch panel, keyboard, mouse, voice input, input by motion detection by image capture of camera unit, etc. It is equipped with an input device and an output device such as a monitor and a display. The output device may be a device or a terminal for transmitting information for output to an external monitor, display, printer, device, or the like.

主記憶装置には、各種プログラムやアプリケーションなど(モジュール)が記憶されており、これらのプログラムやアプリケーションをプロセッサが実行することで全体システムの各機能要素が実現される。なお、これらの各モジュールは集積化する等によりハードウェアで実装してもよい。また、各モジュールはそれぞれ独立したプログラムやアプリケーションでもよいが、1つの統合プログラムやアプリケーションの中の一部のサブプログラムや関数などの形で実装されていてもよい。 Various programs and applications (modules) are stored in the main memory, and each functional element of the entire system is realized by executing these programs and applications by the processor. In addition, each of these modules may be implemented by hardware by integrating them. Further, each module may be an independent program or application, but may be implemented in the form of a part of a subprogram or a function in one integrated program or application.

本明細書では、各モジュールが、処理を行う主体(主語)として記載をしているが、実際には各種プログラムやアプリケーションなど(モジュール)を処理するプロセッサが処理を実行する。
補助記憶装置には、各種データベース(DB)が記憶されている。「データベース」とは、プロセッサまたは外部のコンピュータからの任意のデータ操作(例えば、抽出、追加、削除、上書きなど)に対応できるようにデータ集合を記憶する機能要素(記憶部)である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、表計算ソフトウェアでもよいし、XML、JSONなどのテキストファイルでもよい。
In this specification, each module is described as a subject (subject) that performs processing, but in reality, a processor that processes various programs, applications, etc. (module) executes processing.
Various databases (DBs) are stored in the auxiliary storage device. A "database" is a functional element (storage unit) that stores a data set so that it can handle arbitrary data operations (for example, extraction, addition, deletion, overwriting, etc.) from a processor or an external computer. The method of implementing the database is not limited, and may be, for example, a database management system, spreadsheet software, or a text file such as XML or JSON.

(配送ブースの構成)
配送ブース100は、図1に示すように、商品棚160の前側に所定のスペースを枠体(材質は爽快感があるものが好ましい:以下、入場用枠体110という)で囲んでブース空間を形成している。
つまり、ドア(出入口)で人が閉じ込められても外からわかるように、かつ、外から商品が見えるが手を伸ばしても取れないような構造にしている。
(Structure of delivery booth)
As shown in FIG. 1, the delivery booth 100 surrounds a predetermined space on the front side of the product shelf 160 with a frame (preferably a material having a refreshing feeling: hereinafter referred to as an entrance frame 110) to form a booth space. Is forming.
In other words, the structure is such that even if a person is trapped at the door (doorway), it can be seen from the outside, and the product can be seen from the outside but cannot be removed even if the hand is reached.

この商品棚160は、冷蔵庫型又は温庫型もしくは常温の通常棚とすることができる。
なお、商品棚160は、図2に示すように、棚毎に棚段番号(A、B、C・・)と、好ましくは棚の区画番号A-1、A-2、・・、B-1、B-2、・・、C-1、C-2、・・とが、例えば記載されている。なお、棚段番号は電気的に表示されてもよいし、表示せず位置が記憶されているだけでもよい。
ここに配置される商品は、例えば弁当、レストランの食べ物等の食品や、洋服、靴等のアパレル等の商品等が考えられるが、これに限定されるものではない。
The product shelf 160 can be a refrigerator type, a warm storage type, or a normal shelf at room temperature.
As shown in FIG. 2, the product shelves 160 have shelf numberes (A, B, C ...) For each shelf, and preferably shelf division numbers A-1, A-2, ..., B-. 1, B-2, ..., C-1, C-2, ... And so on are described, for example. The shelf number may be displayed electrically, or the position may be stored without being displayed.
The products arranged here may be, for example, foods such as lunch boxes and restaurant foods, and products such as clothes and apparel such as shoes, but are not limited thereto.

また、配送ブース100の入場用枠体110の上部(ドア180側)には、ブース前カメラ120が設けられている。また、ドア(出入口)180には電気錠185と、ブース前タブレット130(入口側案内手段ともいう:スピーカ含む)が設けられている。
配送ブース100の内側には、内部タブレット140(内部案内手段ともう:スピーカ含む)が設けられており、利用者に購入済み商品の案内などを表示する。
Further, a camera 120 in front of the booth is provided on the upper part (door 180 side) of the entrance frame 110 of the delivery booth 100. Further, the door (doorway) 180 is provided with an electric lock 185 and a tablet 130 in front of the booth (also referred to as entrance side guidance means: including a speaker).
Inside the delivery booth 100, an internal tablet 140 (internal guidance means and already: including a speaker) is provided to display information such as purchased products to the user.

配送ブース100は、ブース端末150(販売商品管理装置ともいう)を設けている。
このブース端末150は、配送ブース100内の各機器(タブレット、カメラ、電気錠等)を制御監視し、配送管理サーバ300等と通信することができる。
ブース前カメラ120(例えば、ドア(出入口)180上から50cm前)で撮影した撮影画像に基づいて、入口前に位置している利用者の顔画像の特徴量と、予め送信されている商品を受け取るべき時間帯の利用者顔画像の特徴量と照合し(認証)し、一致した場合は入場処理を実行する。入場処理では、入口前の利用者をブース内に案内さるメッセージをブース前タブレット130に表示させ、かつ電気錠185を解錠させて、その利用者を内部に入らせる。なお、利用者の顔画像の照合については後述する。
The delivery booth 100 is provided with a booth terminal 150 (also referred to as a sales product management device).
The booth terminal 150 can control and monitor each device (tablet, camera, electric lock, etc.) in the delivery booth 100 and communicate with the delivery management server 300 and the like.
Based on the image taken by the camera 120 in front of the booth (for example, 50 cm in front of the door (doorway) 180), the feature amount of the user's face image located in front of the entrance and the product transmitted in advance are shown. It collates (authenticates) with the feature amount of the user's face image in the time zone to be received, and if it matches, the admission process is executed. In the entrance process, a message guiding the user in front of the entrance to the inside of the booth is displayed on the tablet 130 in front of the booth, and the electric lock 185 is unlocked to allow the user to enter the inside. The collation of the user's face image will be described later.

ブース端末150の商品棚監視部153は、ブース内監視カメラ190と、棚段商品監視カメラ172と、手挿脱検出用センサ174からの出力と、注文した棚商品情報等に基づいて、ブース内の利用者がその商品を商品棚160から正しく受けとったかどうかを判断し、受け取った場合は、ブースから外に出る案内を内部タブレット140の画面に表示させる。そして、電気錠185を施錠させる。 The product shelf monitoring unit 153 of the booth terminal 150 is inside the booth based on the output from the booth monitoring camera 190, the shelf product monitoring camera 172, the manual insertion / removal detection sensor 174, and the ordered shelf product information. It is determined whether or not the user has correctly received the product from the product shelf 160, and if it is received, a guide to go out from the booth is displayed on the screen of the internal tablet 140. Then, the electric lock 185 is locked.

商品棚監視部153は、図2に示すように、棚前面及びスペースを撮影するブース内監視カメラ190と、各棚段に設けられた棚段商品監視カメラ172と、棚への手の挿脱を検出するための手挿脱検出用センサ174(レーザ又は超音波で検知)と連携し、商品や利用者の状態を監視する。ブース内の温度以上や、商品の内容物が溢れるなどのブース内の汚れ、清掃状況などは常時監視しており、異常があった場合には、管理端末800や配達人端末700、利用者端末600でリアルタイムに確認することが出来る As shown in FIG. 2, the product shelf monitoring unit 153 includes a booth monitoring camera 190 that photographs the front surface of the shelf and the space, a shelf product monitoring camera 172 provided on each shelf, and insertion / removal of a hand into the shelf. In cooperation with the manual insertion / removal detection sensor 174 (detected by a laser or ultrasonic wave) for detecting the above, the state of the product or the user is monitored. The temperature inside the booth, the dirt inside the booth such as the contents of the product overflowing, the cleaning status, etc. are constantly monitored, and if there is an abnormality, the management terminal 800, the delivery person terminal 700, the user terminal, etc. You can check in real time at 600

なお、枠体110には複数のカメラが設置されており、配送ブース100内に侵入する利用者の動作をリアルタイムで把握することが可能であり、また、商品棚監視部153により、商品の在庫状況もリアルタイムで把握することが可能であるため、誤って商品を取り上げた場合や、不正に商品を盗むような行為に対して、警告を表示し、または警告音やメッセージを出力することができる。
従って、不正な使用が行われる可能性は低く、ドア180及び電気錠185を無くした配送ブース100を設置することも可能である。
A plurality of cameras are installed in the frame 110, and it is possible to grasp the movement of the user who invades the delivery booth 100 in real time, and the product shelf monitoring unit 153 inventory the products. Since it is possible to grasp the situation in real time, it is possible to display a warning, or output a warning sound or message in case of accidentally picking up a product or illegally stealing a product. ..
Therefore, the possibility of unauthorized use is low, and it is possible to install the delivery booth 100 without the door 180 and the electric lock 185.

配送ブース100の購買サイクルの概略処理について説明する。
配送管理サーバの顔認証処理部350は、図3に示すように、ブース前カメラ120により撮影された利用者の撮影画像を顔認証し、認証情報をブース端末150に送信する。認証を確認したブース端末150の開閉処理部158は、電気錠185を解錠させる(S1)。
入退場処理部が、認証処理部により利用者が認証された場合に、入場処理を行い、利用者が配送ブースの枠体内において商品棚から商品を取り出し、配送ブースの枠体の外に出た後に、退場処理を行う。
The outline processing of the purchase cycle of the delivery booth 100 will be described.
As shown in FIG. 3, the face recognition processing unit 350 of the delivery management server performs face recognition of the image taken by the user taken by the camera in front of the booth 120, and transmits the authentication information to the booth terminal 150. The opening / closing processing unit 158 of the booth terminal 150 that has confirmed the authentication unlocks the electric lock 185 (S1).
When the user is authenticated by the authentication processing unit, the entrance / exit processing unit performs the entrance processing, and the user takes out the product from the product shelf inside the frame of the delivery booth and goes out of the frame of the delivery booth. Later, the exit process will be performed.

出入口にドア180及び電気錠185が設置されている構成では、入退場処理部は開閉処理部158であり、入場処理とは例えばドア180の電気錠185を開錠する処理であり、退場処理とは例えば電気錠185を施錠する処理である。
出入口にドア180及び電気錠185が設置されていない構成では、入場処理とは例えば配送ブース100内の複数のカメラによる監視を始める配送ブース100へのチェックイン処理であり、退場処理とは例えば複数のカメラによる監視を終了する配送ブース100からのチェックアウト処理である。
In the configuration in which the door 180 and the electric lock 185 are installed at the doorway, the entrance / exit processing unit is the opening / closing processing unit 158, and the entrance processing is, for example, the processing of unlocking the electric lock 185 of the door 180. Is, for example, a process of locking the electric lock 185.
In a configuration in which the door 180 and the electric lock 185 are not installed at the doorway, the entrance process is, for example, a check-in process to the delivery booth 100 that starts monitoring by a plurality of cameras in the delivery booth 100, and the exit process is, for example, a plurality. This is the check-out process from the delivery booth 100, which ends the monitoring by the camera.

そして、ブース端末150の商品棚監視部153は、利用者が注文した商品棚160に置かれている商品(商品提供業者(加盟店)が利用者が決めたブースに注文した商品を配達して棚に置いたもの)が正しく取り出されたことをブース内監視カメラ190及び棚段商品監視カメラ172並びに手挿脱検出用センサ174の出力を用いて判定し、正しくとり出されたことを確認した場合は商品提供許可と判断する(S2)。 Then, the product shelf monitoring unit 153 of the booth terminal 150 delivers the product placed on the product shelf 160 ordered by the user (the product ordered by the product provider (member store) to the booth determined by the user). It was determined by using the outputs of the booth monitoring camera 190, the shelf product monitoring camera 172, and the manual insertion / removal detection sensor 174 that the items placed on the shelf were correctly taken out, and it was confirmed that the items were taken out correctly. In that case, it is determined that the product provision is permitted (S2).

次に、商品棚監視部153は、商品が正しく取り出されたことを確認した場合には、ブース内監視カメラ190の出力に基づいて退出チェックを行い(S3)、退出したことを確認した場合は開閉処理部158が電気錠185を施錠する(S4)。
そして、商品棚監視部153は、ブース内監視カメラ190及び棚段商品監視カメラ172の出力に基づいて商品の欠品をチェックする(S5)。
Next, when it is confirmed that the product has been correctly taken out, the product shelf monitoring unit 153 performs an exit check based on the output of the booth monitoring camera 190 (S3), and when it is confirmed that the product has exited. The opening / closing processing unit 158 locks the electric lock 185 (S4).
Then, the product shelf monitoring unit 153 checks for product shortages based on the outputs of the booth monitoring camera 190 and the shelf product monitoring camera 172 (S5).

このような処理を利用者毎に繰り返す。なお、配送管理サーバ300、ブース端末150の詳細処理についてはシーケンス図で説明する。
(ブース端末と配送管理サーバの概略構成)
Such processing is repeated for each user. The detailed processing of the delivery management server 300 and the booth terminal 150 will be described with reference to the sequence diagram.
(Outline configuration of booth terminal and delivery management server)

図4を用いてブース端末と配送管理サーバのプログラムブロック図の概略構成を説明する。
ブース端末150は、利用者入場許可部152と、商品棚監視部153と、注文商品取出案内部154と、利用者退場案内部156と、開閉処理部158と、認証部151と、ブース側情報記憶部157等を備えている。
The schematic configuration of the program block diagram of the booth terminal and the delivery management server will be described with reference to FIG.
The booth terminal 150 includes a user entrance permission unit 152, a product shelf monitoring unit 153, an ordered product take-out guidance unit 154, a user exit guidance unit 156, an opening / closing processing unit 158, an authentication unit 151, and booth side information. It is equipped with a storage unit 157 and the like.

ブース端末150と、ブース前カメラ120、ブース前タブレット130、電気錠185、内部タブレット140、ブース内監視カメラ190、取出監視部170及び棚段商品監視カメラ172は互いにネットワークで通信可能に構成されている。 The booth terminal 150, the booth front camera 120, the booth front tablet 130, the electric lock 185, the internal tablet 140, the booth monitoring camera 190, the take-out monitoring unit 170, and the shelf product monitoring camera 172 are configured to be able to communicate with each other via a network. There is.

一方、配送管理サーバ300は、商品受付部331と、顔特徴取得部333と、顔認証処理部350と、商品受取情報提供部335と、登録情報管理部337と、在庫管理部338と、サイト側記憶手段339等を備えている。これらの処理の詳細については後述するシーケンス図で説明するが、概要を説明する。この配送管理サーバ300はブース端末150とネットワーク500で通信可能である。 On the other hand, the delivery management server 300 includes a product reception unit 331, a face feature acquisition unit 333, a face recognition processing unit 350, a product receipt information provision unit 335, a registration information management unit 337, an inventory management unit 338, and a site. It is equipped with side storage means 339 and the like. The details of these processes will be described with reference to the sequence diagram described later, but the outline will be described. The delivery management server 300 can communicate with the booth terminal 150 via the network 500.

ブース側情報記憶部157には、商品受付部331により受け付けた情報に関し、配送ブース100で商品を受け取るべき時間帯の利用者の顔画像情報、この利用者が注文した商品が置かれている棚段商品識別子を含む注文商品位置情報等が記憶される。認証部151は入口前に位置している利用者の利用者端末600に表示される二次元バーコード等を読み込み利用者か否かを照合する。 In the booth side information storage unit 157, regarding the information received by the product reception unit 331, the face image information of the user in the time zone when the product should be received at the delivery booth 100, and the shelf on which the product ordered by this user is placed. Ordered product position information including the stage product identifier is stored. The authentication unit 151 reads a two-dimensional bar code or the like displayed on the user terminal 600 of the user located in front of the entrance and verifies whether or not the user is a user.

商品棚監視部153は、ブース内監視カメラ190及び棚段商品監視カメラ172が撮像した画像に基づき商品棚160の管理を行う。
利用者入場許可部152は、ブース前カメラ120で撮影した撮影画像に基づいて、入口前に位置している利用者の顔画像が認証された場合は、入口前の利用者をスペース内に入場させるメッセージをブース前タブレット130に表示する。
The product shelf monitoring unit 153 manages the product shelf 160 based on the images captured by the booth monitoring camera 190 and the shelf product monitoring camera 172.
When the face image of the user located in front of the entrance is authenticated, the user entrance permission unit 152 enters the user in front of the entrance into the space based on the image taken by the camera 120 in front of the booth. The message to be made is displayed on the tablet 130 in front of the booth.

そして、注文商品取出案内部154は、棚段商品識別子に基づく商品の棚段の場所を内部タブレット140に表示する。また、予約した商品が収納された商品棚の場所は、利用者端末又は配達人端末の表示画面上で視覚的に指示されてもよい。
このとき、開閉処理部158が、顔画像が認証された場合は電気錠185を解錠する。
Then, the ordered product take-out guide unit 154 displays the location of the shelf of the product based on the shelf product identifier on the internal tablet 140. Further, the location of the product shelf in which the reserved product is stored may be visually instructed on the display screen of the user terminal or the delivery person terminal.
At this time, the opening / closing processing unit 158 unlocks the electric lock 185 when the face image is authenticated.

そして、ブース内監視カメラ190と、棚段に設けられた棚段商品監視カメラ172と、棚の手の挿脱を検出するための手挿脱検出用センサ174からの出力信号と、ブース側情報記憶部157の注文商品位置情報と、に基づいて、商品棚監視部153が、配送ブース100内の利用者が棚段の場所から商品を誤りなく取ったと判定した場合は、利用者退場案内部156が、配送ブース100から外に出る案内を内部タブレット140に表示する。 Then, the output signal from the booth monitoring camera 190, the shelf product monitoring camera 172 provided on the shelf, the manual insertion / removal detection sensor 174 for detecting the insertion / removal of the hand on the shelf, and the booth side information. If the product shelf monitoring unit 153 determines that the user in the delivery booth 100 has correctly picked up the product from the location of the shelf based on the ordered product position information of the storage unit 157, the user exit guidance unit 156 displays a guide to go out from the delivery booth 100 on the internal tablet 140.

このとき、利用者がドア180から出たことが確認されたら、開閉処理部158が電気錠185を施錠する。一方、商品棚監視部153は、ブース内監視カメラ190と、棚段に設けられた棚段商品監視カメラ172からの画像情報に基づいて棚段の商品の在庫数を確認し、この在庫数に応じて商品提供業者に対して商品を配達させる旨の情報を送信し、配達された商品を棚段に置かせる。 At this time, when it is confirmed that the user has come out of the door 180, the opening / closing processing unit 158 locks the electric lock 185. On the other hand, the product shelf monitoring unit 153 confirms the number of products in the shelf based on the image information from the monitoring camera 190 in the booth and the product monitoring camera 172 provided in the shelf, and determines the number of products in stock. In response, information is sent to the product provider to the effect that the product will be delivered, and the delivered product is placed on the shelf.

配送管理サーバ300の商品受付部331は、利用者端末600に商品提供業者端末200で管理される商品情報を送信し、この利用者端末600から商品名と、商品提供業者名と、個数と、受取りブース名と、受取日時帯とを含む利用者商品注文情報を受信してサイト側記憶手段339に記憶する。 The product reception unit 331 of the delivery management server 300 transmits the product information managed by the product provider terminal 200 to the user terminal 600, and the product name, the product provider name, the quantity, and the product name, the quantity, and the product name, the product provider name, and the quantity are transmitted from the user terminal 600. The user product order information including the receiving booth name and the receiving date and time zone is received and stored in the site side storage means 339.

顔特徴取得部333は、利用者端末600により撮影され、送信される顔画像や、配送ブース100のブース前カメラ120により撮影され、ブース端末150により送信される顔画像等に基づいて、顔画像の特徴量を算出する。そして、顔特徴取得部333は、算出されたこの顔画像の顔特徴量をサイト側記憶手段339に記憶する。 The face feature acquisition unit 333 is a face image based on a face image taken and transmitted by the user terminal 600, a face image taken by the front-booth camera 120 of the delivery booth 100, and transmitted by the booth terminal 150. Calculate the feature amount of. Then, the face feature acquisition unit 333 stores the calculated face feature amount of the face image in the site-side storage means 339.

顔認証処理部350は、配送ブース100のブース前カメラ120により撮影され、ブース端末150により送信された顔画像の特徴量と、所定時間内に配送ブース100に来る予定の複数の利用者の顔画像の特徴量とを照合し、ブース前カメラ120の前にいる利用者を認証する。 The face recognition processing unit 350 includes the feature amount of the face image photographed by the front-boot camera 120 of the delivery booth 100 and transmitted by the booth terminal 150, and the faces of a plurality of users who are scheduled to come to the delivery booth 100 within a predetermined time. It collates with the feature amount of the image and authenticates the user in front of the camera 120 in front of the booth.

商品受取情報提供部335は、受取日時帯となる利用者数の、利用者商品注文情報並びに商品提供業者が配送ブース100に置いた商品の位置を識別する棚段商品識別子の情報を含む利用者毎商品受取識別情報を配送ブース100のブース端末150に送信する。 The product receipt information providing unit 335 includes user product order information and information on a shelf product identifier that identifies the position of the product placed on the delivery booth 100 by the product provider for the number of users in the receiving date and time zone. The product receipt identification information is transmitted to the booth terminal 150 of the delivery booth 100.

<シーケンス>
図5~図8のシーケンスを用いて本システムの全体の動作を説明する。
(利用者識別情報の登録)
<Sequence>
The overall operation of this system will be described using the sequences of FIGS. 5 to 8.
(Registration of user identification information)

図5は本実施の形態の商品配送システム1の利用者識別情報の登録を説明するシーケンス図の例である。
利用者、配送ブース100は、複数であり、商品提供業者端末も複数種類であるが、シーケンス図においては1利用者、1つの配送ブース100、1つの商品提供業者端末として説明する。
FIG. 5 is an example of a sequence diagram illustrating registration of user identification information of the product delivery system 1 of the present embodiment.
There are a plurality of users and delivery booths 100, and there are also a plurality of types of product provider terminals, but in the sequence diagram, one user, one delivery booth 100, and one product provider terminal will be described.

初めに利用者の利用者識別情報、配達人の配達人識別情報の登録について説明する。本実施の形態では利用者識別情報の登録を例として説明する。
利用者は例えばスマートフォン等の利用者端末600を操作して、配送管理サーバ300にアクセスし、配送管理サーバ300から利用者登録画面(図示せず)の提供を受ける(d10、d12)。
First, the registration of the user identification information of the user and the delivery person identification information of the delivery person will be described. In this embodiment, registration of user identification information will be described as an example.
The user operates the user terminal 600 such as a smartphone to access the delivery management server 300, and receives the provision of the user registration screen (not shown) from the delivery management server 300 (d10, d12).

次に、利用者は利用者端末600の利用者登録画面に、利用者の基本情報を入力する。利用者端末600は、入力された基本情報をまとめて、利用者識別基本情報として配送管理サーバ300に送信する(d14)。 Next, the user inputs the basic information of the user on the user registration screen of the user terminal 600. The user terminal 600 collects the input basic information and transmits it to the delivery management server 300 as the user identification basic information (d14).

この利用者識別基本情報は、例えば図14(a)に示すように、アクセス番号、ID、パスワード、氏名、住所、電話番号、性別、年齢、メールアドレス、クレジットカード情報、好みのジャンル(地域)、好みのジャンル(食べ物)、味付、糖質制限、アレルギーの有無、宗教的な食事制限の有無、好みのレストラン、価格帯・・・等の情報を有する。 As shown in FIG. 14A, for example, the user identification basic information includes an access number, an ID, a password, a name, an address, a telephone number, a gender, an age, an e-mail address, credit card information, and a favorite genre (region). , Favorite genre (food), seasoning, sugar restriction, allergy, religious dietary restriction, favorite restaurant, price range, etc.

配送管理サーバ300の登録情報管理部337は、利用者端末600から送信された利用者識別基本情報を受信して、サイト側記憶手段339に記憶する(d16)。
配送管理サーバ300の登録情報管理部337は、商品配送システム1を利用するためのアプリ(アプリケーション)やWebサービスのアクセス先アドレスを送信する。
利用者端末は、例えば受信したアクセス先アドレスからダウンロードしたアプリをインストールすることにより、またはWebサービスを利用することにより、配送管理サーバ連携機能を実行する(配送管理サーバ連携部と呼ぶ)。
配送管理サーバ連携部は、顔認証サービスサイトアドレスにアクセスし、顔撮影画像案内画面等を表示する(d18)。
The registration information management unit 337 of the delivery management server 300 receives the user identification basic information transmitted from the user terminal 600 and stores it in the site-side storage means 339 (d16).
The registration information management unit 337 of the delivery management server 300 transmits an access destination address of an application (application) or a Web service for using the product delivery system 1.
The user terminal executes the delivery management server linkage function (referred to as a delivery management server linkage unit), for example, by installing an application downloaded from the received access destination address or by using a Web service.
The delivery management server cooperation unit accesses the face authentication service site address and displays a face-captured image guidance screen or the like (d18).

利用者端末600の配送管理サーバ連携部は、利用者に対し、正面、上、下、右、左の5方向を向いた顔画像を撮影する指示を画面に表示及び音声で出力し、利用者は指示に従い利用者端末600のカメラに向かって顔画像を撮影する(d20)。なお、5方向ではなく、正面、右、左の3方向の顔画像の撮影で同様の処理を実行する構成あっても構わない。 The delivery management server cooperation unit of the user terminal 600 displays an instruction to the user to take a face image facing in five directions of front, top, bottom, right, and left on the screen and outputs the instruction by voice to the user. Takes a face image toward the camera of the user terminal 600 according to the instruction (d20). It should be noted that there may be a configuration in which the same processing is executed by taking a face image in three directions of front, right, and left instead of five directions.

利用者端末600の配送管理サーバ連携部は、この利用者顔画像に年月日、受付番号、携帯端末番号等を付加した利用者顔撮影画像情報を配送管理サーバ300に送信する(d22)。このとき、API(Application Programming Interface)により利用者顔写真画像情報送信することも可能である。 The delivery management server cooperation unit of the user terminal 600 transmits the user face photographed image information in which the date, reception number, mobile terminal number, etc. are added to the user face image to the delivery management server 300 (d22). At this time, it is also possible to transmit the user's facial photograph image information by API (Application Programming Interface).

配送管理サーバ300の登録情報管理部337は、利用者端末600から送信された受付番号、利用者顔画像、年月日時刻、携帯端末番号等を有する利用者顔撮影画像情報を受信する。
顔特徴取得部333は、利用者顔撮影画像情報に含まれる利用者顔画像から顔特徴量を算出する(d24)。
その後、顔認証処理部350が、顔特徴量に基づいて顔の認証モデルを生成し(d26)、顔認証モデルを利用者識別基本情報と関連付けてサイト側記憶手段339に記憶する(d28)。
The registration information management unit 337 of the delivery management server 300 receives the user face photographed image information having the reception number, the user face image, the date and time, the mobile terminal number, etc. transmitted from the user terminal 600.
The face feature acquisition unit 333 calculates the face feature amount from the user face image included in the user face photographed image information (d24).
After that, the face recognition processing unit 350 generates a face recognition model based on the face feature amount (d26), associates the face recognition model with the user identification basic information, and stores it in the site-side storage means 339 (d28).

利用者識別情報は図14(b)に示すように、受付番号、・・、氏名、住所、電話番号、性別、年齢、等の利用者識別基本情報と、利用者顔画像特徴情報等よりなる。そして、配送管理サーバ300は、利用者識別情報登録完了情報(受付番号、完了コード等)を利用者端末600宛てに送信する(d30)。
なお、配達人も配達人端末700を操作して、同様に顔特徴を算出させて配達人識別情報(配達人コード、氏名、商品提供業者名付き)を登録している。
As shown in FIG. 14B, the user identification information consists of basic user identification information such as reception number, ..., name, address, telephone number, gender, age, etc., and user face image feature information and the like. .. Then, the delivery management server 300 transmits the user identification information registration completion information (reception number, completion code, etc.) to the user terminal 600 (d30).
The delivery person also operates the delivery person terminal 700 to calculate facial features in the same manner and registers the delivery person identification information (with the delivery person code, name, and product provider name).

図17は、顔認証モデル登録処理の説明図の例である。ステップd22~d28の顔認証モデル登録処理の詳細を説明する。
利用者端末600は、カメラにより撮影された利用者顔画像を、配送管理サーバ300に送信する。配送管理サーバ300の顔特徴取得部333は、受信した利用者顔画像をサイト側記憶手段339に記憶する(d22)。
FIG. 17 is an example of an explanatory diagram of the face authentication model registration process. The details of the face recognition model registration process of steps d22 to d28 will be described.
The user terminal 600 transmits the user face image taken by the camera to the delivery management server 300. The face feature acquisition unit 333 of the delivery management server 300 stores the received user face image in the site-side storage means 339 (d22).

利用者端末600の配送管理サーバ連携部は、顔画像がサイト側記憶手段339に登録されたことを確認したら、顔認証処理部350に対し登録処理の実行を指示する。顔認証処理部350は指示を受けて、サイト側記憶手段339から利用者顔画像を取得し、顔特徴取得部333が特徴量算出処理を実行して、顔特徴量を算出する(d24)。 After confirming that the face image has been registered in the site-side storage means 339, the delivery management server cooperation unit of the user terminal 600 instructs the face authentication processing unit 350 to execute the registration process. Upon receiving an instruction, the face authentication processing unit 350 acquires a user face image from the site-side storage means 339, and the face feature acquisition unit 333 executes a feature amount calculation process to calculate the face feature amount (d24).

顔認証処理部350は、算出された顔特徴量と、過去に登録されている他の利用者の顔特徴量と、外部サーバから取得可能な例えばLFW(Labeled Faces in the Wild)等の顔画像データセットとから顔認証モデルを生成する(d26)。
そして、顔認証処理部350は、生成された顔認証モデルを、利用者識別基本情報と関連付けてサイト側記憶手段339に記憶する。
The face recognition processing unit 350 includes the calculated face feature amount, the face feature amount of another user registered in the past, and a face image such as LFW (Labeled Faces in the Wild) that can be acquired from an external server. A face recognition model is generated from the data set (d26).
Then, the face authentication processing unit 350 stores the generated face authentication model in the site-side storage means 339 in association with the user identification basic information.

顔認識全体は、検出(localization)、正規化、認識という3つのステップからなるプロセスであるので、最初に画像内の顔を検出し、その輪郭を検出し、元になった写真を、正面からのものに近付けるように正規化し、そして再配置した顔に対して、顔認識を行う。
顔認証モデル生成の際には、顔の形状を表現する特徴量と本人であるかどうかの認証結果を教師データとして用い、利用者の顔の形状を表現する特徴量から、当該利用者が本人であるかどうかを推定する推定モデル(顔認証モデル)を機械学習により生成する。
Since the whole face recognition is a process consisting of three steps of detection (localization), normalization, and recognition, the face in the image is first detected, the outline is detected, and the original photo is viewed from the front. Perform face recognition on faces that have been normalized to be closer to the ones and rearranged.
When generating a face recognition model, the feature amount expressing the face shape and the authentication result of whether or not the person is the person are used as teacher data, and the user is the person from the feature amount expressing the face shape of the user. An estimation model (face recognition model) that estimates whether or not this is the case is generated by machine learning.

このとき、教師データとして利用者の顔の特徴量だけを用いて顔認証モデルを生成することも可能であるが、外部のサーバから取得可能な公開されている複数の顔の顔画像や、過去に登録された他の複数の利用者の顔画像の特徴量を教師データとして用いることで、認証の精度が向上する。 At this time, it is possible to generate a face recognition model using only the facial features of the user as teacher data, but face images of multiple published faces that can be acquired from an external server and the past By using the feature amount of the facial image of a plurality of other users registered in the above as teacher data, the accuracy of authentication is improved.

認証の際には、利用者の顔画像の入力を受け付け、受け付けた顔画像を解析して利用者の顔の形状を表現する特徴量を算出する。生成された推定モデルに対して、算出された特徴量を入力することで、本人であるかどうかの認証結果を出力する。 At the time of authentication, the input of the user's face image is accepted, the received face image is analyzed, and the feature amount expressing the shape of the user's face is calculated. By inputting the calculated feature amount to the generated estimation model, the authentication result of whether or not the person is the person is output.

(商品宣伝-注文)
商品提供業者(加盟店)の商品宣伝は配送管理サーバ300の商品受付部331が行い、利用者が、利用者端末600を介して商品の注文を行う。
(Product promotion-order)
The product promotion of the product provider (member store) is performed by the product reception unit 331 of the delivery management server 300, and the user places an order for the product via the user terminal 600.

図6は商品宣伝-注文を説明するシーケンス図の例である。利用者は利用者端末600の配送管理サーバ連携部を起動し(d40)、配送管理サーバ300にアクセスする(d42)。
配送管理サーバ300の登録情報管理部337は、このアクセス情報とサイト側記憶手段339の利用者識別基本情報と照合して会員登録済認証を行う(d44、d46)。
FIG. 6 is an example of a sequence diagram illustrating a product promotion-order. The user activates the delivery management server linkage unit of the user terminal 600 (d40) and accesses the delivery management server 300 (d42).
The registration information management unit 337 of the delivery management server 300 collates this access information with the user identification basic information of the site-side storage means 339 to perform member registration authentication (d44, d46).

配送管理サーバ300の登録情報管理部337は、会員登録(利用者)済みの場合は、商品購入画面情報を利用者端末600に出力する(d48)。
図9は、商品受け取り場所の選択画面の例である。
利用者端末600の配送管理サーバ連携部は、利用者端末600の記憶部に記憶される地図情報を表示し、地図情報上に配送管理サーバ300から受信した商品を受け取り可能な複数の配送ブース100の位置情報901、902を表示する。利用者に選択された配送ブースは他のブースと区別可能な赤色で表示され、その詳細がブース情報説明ウィンドウ903に表示される。
If the member registration (user) has been completed, the registration information management unit 337 of the delivery management server 300 outputs the product purchase screen information to the user terminal 600 (d48).
FIG. 9 is an example of a product receiving place selection screen.
The delivery management server cooperation unit of the user terminal 600 displays map information stored in the storage unit of the user terminal 600, and a plurality of delivery booths 100 capable of receiving products received from the delivery management server 300 on the map information. The position information 901 and 902 of are displayed. The delivery booth selected by the user is displayed in red, which is distinguishable from other booths, and the details are displayed in the booth information explanation window 903.

利用者端末600の配送管理サーバ連携部は、利用者から配送ブースの選択を受け付けると、配送管理サーバ300から送られてきた商品選択画面情報に基づいて、図10に示すような商品選択画面を表示する(d49)。
商品購入画面1000には、選択された配送ブースにおいて、指定した日程1001で受け取り可能な商品1003が、その受け取り可能時間帯1002と共に表示されている。
利用者から特定の商品1004の選択を受け付けると、商品詳細表示画面1050が表示される。商品詳細表示画面1050には、金額1051、受取時間1052、個数1053が表示され、カートに追加ボタン1054が選択されると、購入画面1100に遷移する。
When the delivery management server cooperation unit of the user terminal 600 receives the selection of the delivery booth from the user, the product selection screen as shown in FIG. 10 is displayed based on the product selection screen information sent from the delivery management server 300. Display (d49).
On the product purchase screen 1000, the product 1003 that can be received on the designated schedule 1001 at the selected delivery booth is displayed together with the receivable time zone 1002.
When the user accepts the selection of the specific product 1004, the product detail display screen 1050 is displayed. The product details display screen 1050 displays the amount of money 1051, the receiving time 1052, and the quantity 1053, and when the add button 1054 to the cart is selected, the purchase screen 1100 is displayed.

なお、配送管理サーバ300は、利用者向けに、お弁当やスーパーの買い物のレコメンドや、セールの情報や割引情報、おすすめ情報等を、設定された時間に利用者端末600の画面にプッシュ通知してもよい。
その他、利用者端末600の商品画像を選択した場合には、各種ソーシャルネットワークに情報をシェアすることもできる。
The delivery management server 300 pushes the user's lunch box and supermarket shopping recommendations, sale information, discount information, recommended information, etc. to the screen of the user terminal 600 at a set time. You may.
In addition, when the product image of the user terminal 600 is selected, the information can be shared with various social networks.

図11は、決済処理画面の例である。
注文に進むボタン1101が選択されると、利用者端末600の配送管理サーバ連携部は、選択された商品等に関する情報を利用者注文情報として配送管理サーバ300に送信する(d50)。
利用者端末600の配送管理サーバ連携部から決済情報を含む利用者注文情報を受信すると、配送管理サーバ300の商品受付部331は、決済機関サーバ400との間で認証を行い、決済処理を完了する(d51)。なお、利用者端末600が決済機関サーバ400との間で決済処理を行うこととしてもよい。
FIG. 11 is an example of a payment processing screen.
When the button 1101 to proceed to the order is selected, the delivery management server cooperation unit of the user terminal 600 transmits information about the selected product or the like to the delivery management server 300 as the user order information (d50).
Upon receiving the user order information including the payment information from the delivery management server cooperation unit of the user terminal 600, the product reception unit 331 of the delivery management server 300 authenticates with the payment institution server 400 and completes the payment process. (D51). The user terminal 600 may perform payment processing with the payment institution server 400.

利用者注文情報は、例えば図14(c)に示すように、受付番号と、商品名(コード)と、商品提供業者名(コード)と、年月日と、利用者名、受取ブース番号、注文個数、受取時間帯(1時間単位:例えば11時~12時)と、カード情報等を含む。
配送管理サーバ300の商品受付部331は、利用者端末600からの利用者注文情報をサイト側記憶手段339に記憶する(d52)。
As shown in FIG. 14 (c), for example, the user order information includes a reception number, a product name (code), a product provider name (code), a date, a user name, and a receiving booth number. Includes order quantity, pick-up time zone (1 hour unit: for example, 11:00 to 12:00), card information, and the like.
The product reception unit 331 of the delivery management server 300 stores the user order information from the user terminal 600 in the site-side storage means 339 (d52).

次に、配送管理サーバ300の在庫管理部338は、決済機関サーバ400の決済の承認があった場合は、在庫確認処理を実行する(d60)。また、在庫管理部338は、配送ブース100のブース端末150に在庫確認要求情報(ブース番号を含む)を送信する(d61)。 Next, the inventory management unit 338 of the delivery management server 300 executes the inventory confirmation process when the settlement of the settlement institution server 400 is approved (d60). Further, the inventory management unit 338 transmits inventory confirmation request information (including the booth number) to the booth terminal 150 of the delivery booth 100 (d61).

ブース端末150の商品棚監視部153は、在庫確認要求情報の受信に伴って、ブース内監視カメラ190からブース内監視画像(棚正面画像含む)を取得する(d62、d63)。そして、ブース端末150の商品棚監視部153は、在庫状況確認処理を行い、その結果を配送管理サーバ300に通知する(d64)。 The product shelf monitoring unit 153 of the booth terminal 150 acquires an in-booth monitoring image (including a shelf front image) from the in-booth monitoring camera 190 in response to receiving the inventory confirmation request information (d62, d63). Then, the product shelf monitoring unit 153 of the booth terminal 150 performs inventory status confirmation processing and notifies the delivery management server 300 of the result (d64).

この商品棚監視部153の在庫状況確認処理は、予め記憶されているブース内監視カメラ190で撮影した商品陳列前の棚正面画像と、今回入力したブース内監視画像との比較で棚に商品があるかどうかを商品棚監視部153が判定する。例えば、前回と今回を比較してA-1に商品画像がない場合は、A-1に商品なしと判定する。 In the inventory status confirmation process of the product shelf monitoring unit 153, the product is placed on the shelf by comparing the front image of the shelf before the product display taken by the booth monitoring camera 190 stored in advance with the booth monitoring image input this time. The product shelf monitoring unit 153 determines whether or not the product is present. For example, if there is no product image in A-1 by comparing the previous time and this time, it is determined that there is no product in A-1.

また、商品棚監視部153は、商品画像がある場合は、その商品画像の大きさを算出(縦横寸法)し、棚管理情報の1個の大きさに基づいて、何個が重なって置かれているかを判定する。このような処理を棚段毎に、区画毎に行う。また、単に棚段又は区画の商品画像の個数をカウンタで計数してもよい。 If there is a product image, the product shelf monitoring unit 153 calculates the size of the product image (vertical and horizontal dimensions), and based on the size of one of the shelf management information, how many are stacked and placed. Determine if it is. Such processing is performed for each shelf and each section. Moreover, you may simply count the number of product images of a shelf or a section with a counter.

すなわち、在庫管理は、ブース内監視カメラ190が1人の利用者がブースに入る前と出た後の商品棚の画像を撮影し、1商品ごとの置かれている区分け(A-1、A-2・・・)毎に、商品棚監視部153が、その画像の差分を見て変化を認識することで、1つ1つの商品の増減の検出行い、商品の在庫を確認する。このため、より正確に区分けごとの商品の増減を理解できるように工夫している。従って、商品提供業者端末200では売上げ、集計、評価集計、メニュー追加を自由に出来ることになる。 That is, in inventory management, the surveillance camera 190 in the booth captures images of the product shelves before and after one user enters the booth, and the divisions (A-1, A) in which each product is placed. -2 ...) Each time, the product shelf monitoring unit 153 detects the increase or decrease of each product by recognizing the change by looking at the difference in the image, and confirms the inventory of the product. For this reason, we are devising ways to more accurately understand the increase and decrease of products for each category. Therefore, the product provider terminal 200 can freely add sales, totalization, evaluation totalization, and menu addition.

配送管理サーバ300の在庫管理部338の在庫確認処理(d60)、及びブース端末150による在庫確認処理の結果(d64)、在庫がない場合は、在庫管理部338が商品提供業者端末200(例えば、レストラン、弁当屋)にその商品を発注する(d66)。つまり、在庫管理部338は、注文を受け付けた商品が商品棚に無い場合に、注文を受け付けた商品を入庫する指令を出力する。なお、在庫数は、ある程度を常に確保するために、数個の残数で在庫管理部338が発注してもよい。また、加盟店毎に、棚毎の出店価格を調整し、優先予約権がある加盟店にできるだけ出品場所を確保できるようにしてもよい。 As a result of the inventory confirmation process (d60) of the inventory management unit 338 of the delivery management server 300 and the inventory confirmation process (d64) by the booth terminal 150, if there is no inventory, the inventory management unit 338 is the product provider terminal 200 (for example, for example. The product is ordered from a restaurant (restaurant, lunch shop) (d66). That is, the inventory management unit 338 outputs a command to store the ordered product when the ordered product is not on the product shelf. The inventory management unit 338 may place an order for the number of stocks in order to always secure a certain number of stocks. Further, the store opening price for each shelf may be adjusted for each member store so that the member store having the priority reservation right can secure the exhibition place as much as possible.

前述の商品発注情報は、図15(c)に示すように、受付番号と、発注番号と、ブース番号(名称)と、年月日時刻と、利用者受取時間帯と、商品名(コード)、商品提供業者名、個数、場所(地図付)等よりなる。 As shown in FIG. 15C, the above-mentioned product ordering information includes a reception number, an ordering number, a booth number (name), a date and time, a user receiving time zone, and a product name (code). , Product provider name, quantity, location (with map), etc.

すなわち、在庫管理部338は、商品提供業者(加盟店)には納入場所である配送ブース100の名称と場所等を知らせている。なお、棚は可動式でもかまわないが、なるべく視覚的に場所が分かるようにするために、例えばその日の朝に棚を撮った画像に、A-1、A-2・・・・と視覚的に区分け場所を示す画像を提供してもよい(棚の表示)。また、予約した商品の収納に係る商品棚の場所を利用者端末600又は配達人端末700の表示画面上で視覚的に指示するようにしてもよい。 That is, the inventory management unit 338 informs the product provider (member store) of the name and location of the delivery booth 100, which is the delivery location. The shelves may be movable, but in order to make it possible to visually identify the location, for example, the image of the shelves taken that morning is visually A-1, A-2, and so on. An image showing the location of the division may be provided (display of shelves). Further, the location of the product shelf related to the storage of the reserved product may be visually indicated on the display screen of the user terminal 600 or the delivery person terminal 700.

商品提供業者端末200は、配達人リストを参照して配達人を決定し、商品発注情報に含まれている商品供業者名、住所、電話番号、メールアドレス、地図等を商品配達情報として配達人端末700に送信する(d67)。
配達人は、配達人端末700に表示されたこれらの情報を元に、商品提供業者の元から注文された商品を受領し、配送ブースの棚に置く。配達人は、棚にすでに置かれている商品のうち賞味期限が切れたものを回収し、衛生環境を維持するために掃除して出る。
The product provider terminal 200 determines a delivery person with reference to the delivery person list, and uses the product supplier name, address, telephone number, e-mail address, map, etc. included in the product ordering information as the product delivery information. It is transmitted to the terminal 700 (d67).
Based on this information displayed on the delivery person terminal 700, the delivery person receives the product ordered from the product provider and puts it on the shelf of the delivery booth. The delivery person collects the items already on the shelves that have expired and cleans them to maintain a hygienic environment.

なお、棚に配置された商品は、棚管理情報及び棚管理情報から参照される商品情報により管理されている。商品情報では、商品ごとの賞味期限、消費期限、販売期間等の情報が記憶され、管理されている。
これらの情報により、どの商品が、どの棚のどの区画に何個置かれているかが管理されており、例えば賞味期限が切れた商品については、対応する時刻以降は販売中止として廃棄すべきである旨を、配達人端末700又は商品提供業者端末200に表示する。
The products arranged on the shelves are managed by the shelf management information and the product information referred to from the shelf management information. In the product information, information such as the expiration date, the expiration date, and the sales period for each product is stored and managed.
Based on this information, it is possible to control how many products are placed in which section of which shelf. For example, products whose expiration date has expired should be discontinued after the corresponding time. This is displayed on the delivery person terminal 700 or the product provider terminal 200.

配達人は、商品を配達するとともに、配達人端末700に表示された例えば賞味期限切れの商品に対する回収や廃棄を指示に基づき、商品を回収又は廃棄する。
なお、商品提供業者端末200(加盟店)は、注文以外の商品を配達人に置かせてもよい。この場合は、商品名(コード)と、商品提供業者名と、個数等を配送管理サーバ300に通知して登録させる。
The delivery person delivers the product and collects or disposes of the product based on the instruction for collecting or disposing of the product whose expiration date has expired, which is displayed on the delivery person terminal 700.
The product provider terminal 200 (member store) may place a product other than the order on the delivery person. In this case, the product name (code), the product provider name, the quantity, and the like are notified to the delivery management server 300 and registered.

(利用者商品受取)
図7は利用者商品受取を説明するシーケンスの例である。
配送管理サーバ300の商品受取情報提供部335は、一定数(例えば30人分)の利用者商品受取情報と、一定数の利用者顔画像特徴情報(受付番号、利用者顔画像特徴情報番号、年月日時刻、顔特徴・・・)とを一時記憶メモリに利用者商品受取時間帯ブース情報として記憶する。
(Receiving user products)
FIG. 7 is an example of a sequence for explaining the receipt of the user's goods.
The product receipt information providing unit 335 of the delivery management server 300 has a certain number of user product receipt information (for example, for 30 people) and a certain number of user face image feature information (reception number, user face image feature information number, etc.). The date, time, facial features, etc.) are stored in the temporary storage memory as user product receipt time zone booth information.

すなわち、配送管理サーバ300の商品受取情報提供部335は、顔認識を時間を限定して行なっている。つまり、利用者が商品を予約している時間帯が1時間に決めており、その時間帯にくる約束の人の顔の特徴量のパラメータだけを使って計算することで、例えば何万人も登録会員がいたとしても、その配送ブース100のその時間帯に予約している人が30人であった場合に、30人分の情報を抽出して顔認識に持いることで、かなり計算量が抑えられ、かつ精度も良くなる。 That is, the product receipt information providing unit 335 of the delivery management server 300 performs face recognition for a limited time. In other words, the time zone when the user reserves the product is decided to be one hour, and by calculating using only the parameter of the facial feature amount of the promised person who comes in that time zone, for example, tens of thousands of people Even if there are registered members, if there are 30 people who have made reservations for that time zone of the delivery booth 100, extracting information for 30 people and having it for face recognition will result in a considerable amount of calculation. Is suppressed and the accuracy is improved.

利用者商品受取時間帯ブース情報は、例えば、図16(a)に示すように、利用者受取時間帯(例えば、2020年1月10日11時~12)と、利用者商品注文情報と、利用者顔画像特徴情報(受付番号、利用者顔画像特徴情報番号、年月日時刻、顔特徴・・・)等よりなる。 As shown in FIG. 16A, the user product receiving time zone booth information includes, for example, the user receiving time zone (for example, 11:00 to 12 on January 10, 2020), the user product order information, and the user product order information. It consists of user face image feature information (reception number, user face image feature information number, date time, face feature ...) and the like.

一方、配送ブース100のブース前タブレット130は、ブース端末150の制御データに基づいて図13に示すような本ブースの案内メッセージ画面を表示している(d84)。注文した商品を受け取るには、ブース前タブレット130に利用者入場ボタンH2を選択等というメッセージを表示する。なお、配達人の場合は、配達人ボタンH1を選択する。 On the other hand, the tablet 130 in front of the booth of the delivery booth 100 displays the guidance message screen of this booth as shown in FIG. 13 based on the control data of the booth terminal 150 (d84). To receive the ordered product, a message such as selecting the user entrance button H2 is displayed on the tablet 130 in front of the booth. In the case of a delivery person, the delivery person button H1 is selected.

そして、ブース前タブレット130は、配達人ボタンH1又は入場ボタンH2が選択されたかどうかを監視している(d86、d87)。利用者により入場ボタンH2が選択された場合は、ブース前タブレット130は、タブレット番号と、入場ボタン選択コード等の情報をブース端末150に送信する(d88)。 Then, the tablet 130 in front of the booth monitors whether or not the delivery person button H1 or the entrance button H2 is selected (d86, d87). When the entrance button H2 is selected by the user, the tablet 130 in front of the booth transmits information such as a tablet number and an entrance button selection code to the booth terminal 150 (d88).

ブース端末150は、利用者の入場ボタンH2の選択で、ブース前タブレット130に撮影案内メッセージを送信する(d90)。ブース前タブレット130は、例えば、入口側カメラの前に顔を向けてくださいというメッセージを画面に表示する(d92)。 The booth terminal 150 transmits a shooting guidance message to the tablet 130 in front of the booth by selecting the entrance button H2 of the user (d90). The tablet 130 in front of the booth displays, for example, a message on the screen asking you to turn your face in front of the camera on the entrance side (d92).

また、ブース端末150は、ブース前カメラ120に撮影開始指示を送信する(d93)。ブース前カメラ120は撮影(利用者の顔)を開始し(d94)、ブース前カメラ120はこの利用者撮影画像情報をブース端末150に送信する(d96)。続いて、ブース端末150は、利用者撮影画像情報を配送管理サーバ300に送信する。 Further, the booth terminal 150 transmits a shooting start instruction to the camera 120 in front of the booth (d93). The front-booth camera 120 starts shooting (user's face) (d94), and the front-booth camera 120 transmits the user-shooting image information to the booth terminal 150 (d96). Subsequently, the booth terminal 150 transmits the user photographed image information to the delivery management server 300.

配送管理サーバ300の顔特徴取得部333は、利用者撮影画像情報から顔部分を取り出す(ここでは、他人の顔が映ってもよいように撮影画面の中で最大の大きさを占める顔画像を切り抜く)。つまり、画面内に複数の人物が移り込んでいる場合であっても、認証を行いたい利用者の顔画像が最も大きく映っている可能性が高いことから、このような画面内で最大のサイズの顔画像を取得する。この顔認識は、ブース前タブレット130の画面に顔部分を緑色の四角枠で囲って、キャプチャすることを利用者に知らせている。ここで、撮像画像の顔画像の中から最大の顔画像から算出した特徴量と、受取予定の時刻帯に受け取りを行う情報が登録されている、複数の利用者の顔認証モデルを取得する(d98)。
そして、配送管理サーバ300の顔認証処理部350は、取得した顔認証モデルに算出された特徴量を入力し、利用者を識別する情報の出力を得ることで、顔認証処理を行う(d99)。
The face feature acquisition unit 333 of the delivery management server 300 extracts the face part from the user's photographed image information (here, the face image occupying the largest size in the photographed screen so that the face of another person may be reflected). cut out). In other words, even if multiple people are on the screen, the face image of the user who wants to authenticate is likely to be the largest, so it is the largest size on such a screen. Get a face image of. In this face recognition, the user is informed that the face portion is surrounded by a green square frame on the screen of the tablet 130 in front of the booth to be captured. Here, the face recognition model of a plurality of users is acquired, in which the feature amount calculated from the largest face image from the face image of the captured image and the information to be received at the scheduled receiving time zone are registered (the face recognition model of a plurality of users is registered). d98).
Then, the face recognition processing unit 350 of the delivery management server 300 inputs the calculated feature amount into the acquired face recognition model and obtains the output of the information for identifying the user to perform the face recognition processing (d99). ..

この顔認証処理部350の顔認証処理は、図示しないカレンダタイマの現在時刻を読み込み、この現在時刻を含む時間帯(例えば、11時~12時)の予めサイト側記憶手段339に記憶している例えば、30人分の顔認証モデルを抽出する。そして、この顔認証モデルに取得したブース入場前顔特徴情報を入力し、照合認証している。 The face recognition process of the face recognition processing unit 350 reads the current time of a calendar timer (not shown) and stores it in the site side storage means 339 in advance in a time zone (for example, 11:00 to 12:00) including the current time. For example, a face recognition model for 30 people is extracted. Then, the face feature information before entering the booth acquired in this face recognition model is input, and verification authentication is performed.

前述の照合認証は、顔認証処理部350で得られた例えば、3方向又は5方向の顔画像から生成した顔特徴であるので、精度が高い。
そして、配送管理サーバ300の顔認証処理部350は、照合結果が得られる毎に、本人であるかどうかを判定する(d102)。
The above-mentioned collation authentication is highly accurate because it is a face feature generated from, for example, a face image in three directions or five directions obtained by the face recognition processing unit 350.
Then, the face authentication processing unit 350 of the delivery management server 300 determines whether or not the person is the person each time a collation result is obtained (d102).

なお、配送管理サーバ300において、顔が認識されない場合は、利用者は利用者端末600にスマホの配送管理サーバ連携部を立ち上げて、配送管理サーバ連携部で二次元バーコードを表示して、その二次元バーコードをブース前カメラ120で読み込むことで認証するようにしてもよい。 If the face is not recognized on the delivery management server 300, the user launches the delivery management server cooperation unit of the smartphone on the user terminal 600, displays the two-dimensional bar code on the delivery management server cooperation unit, and displays the two-dimensional bar code. The two-dimensional bar code may be read by the camera 120 in front of the booth for authentication.

配送管理サーバ300の顔認証処理部350が、本人ではないと判定した場合は、配送管理サーバ300は、本人を認識できないことを知らせるメッセージ情報をブース前タブレット130に送信し(d104)、表示させる(d106)。 When the face authentication processing unit 350 of the delivery management server 300 determines that the person is not the person, the delivery management server 300 sends message information notifying that the person cannot be recognized to the tablet 130 in front of the booth (d104) and displays the message information. (D106).

配送管理サーバ300の顔認証処理部350が、本人と判定した場合は、ブース端末150の利用者入場許可部152は、開閉処理部158によって、開錠指示を電気錠185に出力して解錠させ(d108)、かつブース前タブレット130に入場案内メッセージを送信して(d110)、表示させる(d112)。なお、顔認証処理部350の顔認識でその時間に来る利用者であると認識した場合は、「こんにちは!XXさんですね?」や「XXさんで間違いないですか?」等の挨拶をブース前タブレット130に表示させてもよい。 When the face authentication processing unit 350 of the delivery management server 300 determines that the person is the person, the user entrance permission unit 152 of the booth terminal 150 outputs an unlocking instruction to the electric lock 185 by the opening / closing processing unit 158 to unlock the boot terminal 150. (D108) and send an admission guidance message to the tablet 130 in front of the booth (d110) and display it (d112). If the face recognition processing unit 350 recognizes that the user is coming at that time, the booth will say "Hello! Is it Mr. XX?" Or "Is it correct for Mr. XX?" It may be displayed on the front tablet 130.

上記の認証処理をまとめると、顔認証処理部350は、利用者の顔画像から抽出した特徴量と、過去に登録された複数の他の利用者の顔画像から抽出した複数の特徴量と、利用者が本人であるかどうかを示す情報と、を教師データとして用い、特徴量から当該利用者が本人であるかどうかを推定する推定モデルを機械学習により生成し、認証処理部350は推定モデルに撮影した顔画像から抽出した特徴量を入力することで、本人であるかどうかの認証を行う。 Summarizing the above authentication processing, the face recognition processing unit 350 includes a feature amount extracted from the user's face image, a plurality of feature amounts extracted from a plurality of other user's face images registered in the past, and a plurality of feature amounts. Using information indicating whether or not the user is the person as teacher data, an estimation model for estimating whether or not the user is the person is generated by machine learning from the feature amount, and the authentication processing unit 350 generates an estimation model. By inputting the feature amount extracted from the face image taken in, the person is authenticated.

認証処理部350は、さらに、外部のサーバから取得可能な複数の顔画像から抽出した複数の特徴量を教師データとして用いることで、認証の精度を上げることもできる。
認証処理部350は、利用者が商品を受け取りに来る時間から例えば前後1時間以内などの所定の範囲内の時間に商品を受け取りに来る複数の利用者の推論モデルを抽出し、抽出した複数の利用者の推論モデルに基づいて、認証を行う。そのほか、所定の範囲内の時間として、利用者が注文した時刻から前記商品受け取り可能な時刻までの間の時間とすることもできる。
The authentication processing unit 350 can further improve the accuracy of authentication by using a plurality of feature quantities extracted from a plurality of face images that can be acquired from an external server as teacher data.
The authentication processing unit 350 extracts a plurality of inference models of a plurality of users who come to receive the product within a predetermined range such as within one hour before and after the time when the user comes to receive the product, and a plurality of extracted models. Authenticate based on the user's inference model. In addition, the time within a predetermined range may be the time between the time ordered by the user and the time when the product can be received.

(商品受取-退出)
図8は棚から商品を取り出して退出するまでを説明するシーケンス図の例である。
開閉処理部158による解錠に伴って、ブース端末150の注文商品取出案内部154は、ブース内監視カメラ190、棚段商品監視カメラ172を起動させてその画像を取得する(d121、d122)。
(Receive goods-exit)
FIG. 8 is an example of a sequence diagram illustrating the process of taking out a product from a shelf and leaving the product.
Along with the unlocking by the opening / closing processing unit 158, the ordered product take-out guidance unit 154 of the booth terminal 150 activates the in-booth monitoring camera 190 and the shelf product monitoring camera 172 to acquire the images (d121, d122).

また、商品受取情報提供部335は、受取日時帯となる利用者数の、利用者商品注文情報並びに商品提供業者が配送ブース100に置いた商品の位置を識別する棚段商品識別子の情報を含む利用者毎商品受取識別情報を配送ブース100のブース端末150に送信する。注文商品取出案内部154は、受信した利用者毎商品受取識別情報に基づいて、内部タブレット140に、この利用者の注文した取り出すべき商品棚の棚番号と棚の区画番号を送信して表示させる(d123、d124)。つまり、注文商品取出案内部154は、例えば「あなたの予約した商品のお弁当は、B棚のB-1の位置に置いてあります。」等の内容を内部タブレット140に表示する。
また、利用者端末600の配送管理サーバ連携部は、同様に利用者が注文した商品を配置する商品棚の場所を表示部に視覚的に表示することもできる。
In addition, the product receipt information providing unit 335 includes user product order information and information on a shelf product identifier that identifies the position of the product placed on the delivery booth 100 by the product provider for the number of users in the receiving date and time zone. The product receipt identification information for each user is transmitted to the booth terminal 150 of the delivery booth 100. Based on the received product receipt identification information for each user, the ordered product take-out guide unit 154 transmits and displays the shelf number of the product shelf ordered by this user and the division number of the shelf on the internal tablet 140. (D123, d124). That is, the ordered product take-out guide unit 154 displays, for example, the contents such as "The lunch box of the product you reserved is placed at the position of B-1 on the B shelf" on the internal tablet 140.
Further, the delivery management server cooperation unit of the user terminal 600 can also visually display the location of the product shelf on which the product ordered by the user is placed on the display unit.

配送管理サーバ300及び配送ブース100のブース端末150は、図15(a)に示すブース管理情報と、図15(b)に示す棚管理情報と、を用いて、商品を配置する棚の状況を把握する。 The booth terminal 150 of the delivery management server 300 and the delivery booth 100 uses the booth management information shown in FIG. 15A and the shelf management information shown in FIG. 15B to determine the status of the shelves on which products are arranged. grasp.

ブース管理情報は、ブース番号と、ブース名、ブース場所(XXビルの1階)と、棚種類(冷蔵、温、・・)と、入口前カメラ情報(カメラ番号、カメラ種類、・・)と、入口タブレット情報(タブレット番号、タブレット種類、・・)と、内部タブレット情報と、内部監視カメラ情報と、棚手挿脱検出装置情報(カメラ、センサ等)等を有する。 Booth management information includes booth number, booth name, booth location (1st floor of XX building), shelf type (cold, hot, ...), and camera information in front of the entrance (camera number, camera type, ...). , Entrance tablet information (tablet number, tablet type, ...), Internal tablet information, internal monitoring camera information, shelf manual insertion / removal detection device information (camera, sensor, etc.) and the like.

また、棚管理情報(棚段商品識別子情報ともいう)は、ブース番号と、棚番号情報(1段目区画番号A-1、A-2、・・・2段目区画番号B-1、B-2、・・・)と、商品名と、商品番号と、1個の商品の大きさ(縦横寸法)、商品提供業者名、個数等を有する。なお、商品提供業者端末200毎に、棚段を分ける場合は、区画番号はなくてもよい。 In addition, the shelf management information (also referred to as shelf product identifier information) includes the booth number and the shelf number information (first stage division numbers A-1, A-2, ... Second stage division numbers B-1, B. -2, ...), Product name, product number, size (vertical and horizontal dimensions) of one product, product provider name, quantity, etc. When the shelves are divided for each product provider terminal 200, the section number may not be provided.

内部タブレット140に予約した商品や棚の情報を表示する場合、注文商品取出案内部154は、「XXさんいらっしゃいませ!今日も晴れていて気持ちが良いですね!」と挨拶メッセージを内部タブレット140に表示させてもよい。従って、利用者が、本ブースに訪れる毎に、良い接客感を与えることになる。
注文商品取出案内部154は、棚段商品監視カメラ172や各種センサと連携する商品棚監視部153と通信を行って棚内手監視装置取得情報を取得し(d125)、商品取出判定処理を行う(d126)。
棚内手監視装置取得情報は、図16(b)に示すように、カメラ番号、ブース番号・・センサ番号等よりなる。
When displaying the information of the reserved products and shelves on the internal tablet 140, the ordered product take-out information unit 154 sends a greeting message to the internal tablet 140 saying "Welcome to Mr. XX! It's sunny today and it feels good!" It may be displayed. Therefore, every time a user visits this booth, a good customer service feeling will be given.
The ordered product take-out guide unit 154 communicates with the shelf-stage product monitoring camera 172 and the product shelf monitoring unit 153 linked with various sensors to acquire the in-shelf hand monitoring device acquisition information (d125), and performs the product take-out determination process. (D126).
As shown in FIG. 16B, the in-shelf hand monitoring device acquisition information includes a camera number, a booth number, a sensor number, and the like.

この処理は、注文商品取出案内部154が、商品棚監視部153からの画像、注文商品位置情報で棚番号の棚又は区画に手を入れたかどうかを判定する。手の挿入、取り出しは手挿脱検出用センサ174からのセンサ出力信号で判定する。
そして、注文商品取出案内部154は、商品を誤りなく取ったと判定した場合は、前記スペースから外に出るように内部タブレット140に案内を表示する。
In this process, it is determined whether or not the ordered product take-out guide unit 154 has touched the shelf or section of the shelf number based on the image from the product shelf monitoring unit 153 and the ordered product position information. The insertion and removal of the hand is determined by the sensor output signal from the manual insertion / removal detection sensor 174.
Then, when it is determined that the ordered product withdrawal guidance unit 154 has taken the product without error, the guide is displayed on the internal tablet 140 so as to go out from the space.

ブース端末150の注文商品取出案内部154は、商品を取り出したかどうかを判定し(d127)、取り出した場合は、その商品を正しい棚番号の棚区画番号から取り出したかどうかを判定する(d128)。 The ordered product take-out guide unit 154 of the booth terminal 150 determines whether or not the product has been taken out (d127), and if it has taken out, determines whether or not the product has been taken out from the shelf section number of the correct shelf number (d128).

正しい商品ではない場合は、注文商品取出案内部154は、NGデータを内部タブレット140に送信して(d129)、内部タブレット140に取り出し誤りのメッセージを表示すると共に、図示しないスピーカから音声で知らせる(d130)。
例えば、利用者が、表示した位置と違う位置の商品を取った場合は、注文商品取出案内部154は、「違う位置の商品を取られていませんか?タブレットをご確認ください」と伝える。
If the product is not correct, the ordered product take-out guide unit 154 sends NG data to the internal tablet 140 (d129), displays an error message on the internal tablet 140, and notifies by voice from a speaker (not shown). d130).
For example, if the user picks up a product in a position different from the displayed position, the ordered product take-out guide unit 154 tells "Are you picking up the product in a different position? Please check the tablet."

又は、注文商品取出案内部154は、「左(右)の位置に戻して、右(左)の位置の商品をお取りください」と内部タブレット140から通知する。正しい商品をとった場合は、注文商品取出案内部154は、「予約された商品になります。ありがとうございました。良い一日を!」と内部タブレット140と利用者端末600の画面に表示する。 Alternatively, the ordered product take-out guide unit 154 notifies from the internal tablet 140 that "Please return to the left (right) position and pick up the product in the right (left) position". When the correct product is picked up, the ordered product take-out information unit 154 displays "This is a reserved product. Thank you. Have a nice day!" On the screen of the internal tablet 140 and the user terminal 600.

それでも正しい商品を取れない場合、特に列が出来ている場合は、注文商品取出案内部154は、そちらは「予約された商品とは異なりますが、お求めになりますか?」と内部タブレット140で通知する。「購入する場合は、タブレットで購入ボタンを押して下さい。」と表示し、購入ボタンが押された場合は「商品になります。ありがとうございました。良い一日を!」と内部タブレット140と利用者端末600の画面に表示する。そうでない場合は、コールセンター(オフィス)とTV電話等でつないで対話する。例えば、退室すれば返金されると伝える。 If you still can't get the correct product, especially if there is a line, the order product take-out information unit 154 will say, "It's different from the reserved product, but would you like to buy it?" Internal tablet 140 Notify with. "If you want to purchase, please press the purchase button on the tablet.", And if the purchase button is pressed, "It will be a product. Thank you. Have a nice day!" And the internal tablet 140 and the user. It is displayed on the screen of the terminal 600. If this is not the case, connect with the call center (office) via a videophone or other means to have a dialogue. For example, tell them that they will be refunded if they leave the room.

正しい商品を取得している場合は、利用者退場案内部156が内部タブレット140に退出の情報を送信して(d131)、内部タブレット140に退出案内を表示させる(d132)。
例えば、内部タブレット140に「受け取りが完了したら、完了ボタンを押して下さい。押されない場合も10秒後に終了します」というメッセージを表示すると共に音声でながす。
そして、開閉処理部158によって電気錠185を施錠させる(d134)。例えば、利用者が出てから10秒後に電気錠185を自動で閉める。
When the correct product is acquired, the user exit guidance unit 156 transmits the exit information to the internal tablet 140 (d131), and displays the exit guidance on the internal tablet 140 (d132).
For example, the message "Please press the Finish button when the receipt is completed. If it is not pressed, it will end in 10 seconds" is displayed on the internal tablet 140 and the voice is played.
Then, the electric lock 185 is locked by the opening / closing processing unit 158 (d134). For example, the electric lock 185 is automatically closed 10 seconds after the user leaves.

なお、ブースに予約していない人が入り込んでしまった、あるいは横の壁から手を伸ばしている人がいる、ブースの中にずっと滞留している人がいる、という場合に検知できる仕組にしている。もし検知したら、内部タブレット140で「侵入を検知しました」とまずは警告を表示し、音や光でも伝達し、当該の商品販売サービスサイトで映像をリアルタイムで映像を確認し、それでも立ち退かない場合は内部タブレット140を通じて監視者から話しかけることも可能である。 In addition, it is a mechanism that can detect when a person who has not reserved the booth has entered, there is a person reaching out from the side wall, or there is a person who has stayed in the booth for a long time. There is. If it is detected, the internal tablet 140 will first display a warning saying "Intrusion has been detected", transmit it by sound or light, check the video in real time on the relevant product sales service site, and still do not evict. Can also be spoken by the observer through the internal tablet 140.

また、ブース端末150は、これらの履歴データを管理用として配送管理サーバ300に送信する(d133)。そして、利用者端末600にお礼のショートメール等を送信する(d135)
また、前日の夜にキャンセルできるようにしている。その際は、おやつクーポンなどが好ましい。
Further, the booth terminal 150 transmits these historical data to the delivery management server 300 for management (d133). Then, a thank-you short mail or the like is sent to the user terminal 600 (d135).
Also, it is possible to cancel the night before. In that case, a snack coupon or the like is preferable.

また、電気錠185が開いたまま次が入ってしまった場合は、「ご本人確認が出来ませんでした、恐れ入りますが、アプリを起動して二次元バーコードを読み込んで下さい」と内部タブレット140から通知するのがよい。 Also, if the next entry is entered with the electric lock 185 open, "I was unable to verify your identity. Excuse me, but please start the app and read the two-dimensional bar code." Internal tablet 140 It is better to notify from.

ブース前タブレット130や内部タブレット140や、壁面の内側や外側には、ポスターの提示やデジタルサイネージの表示を行うこともできる。例えば、デジタルサイネージで商品提供業者等の広告や販促キャンペーンの動画を表示し、実際の商品を配送ブース100に入れ、その場に見に来た人の中でどのような利用者が予約して購入するのかを観測することができる。
ここで蓄積された利用者情報は、統計解析され、その結果を商品提供業者に提供することが可能である。
商品提供業者端末200では、単なる配送に関する情報だけでなく、今後の各店舗毎の販売実績や顧客のトレンド、今後の需要予測、販売見込み等の情報を把握し表示することができる。
It is also possible to present posters and display digital signage on the tablet 130 in front of the booth, the tablet 140 inside, and the inside and outside of the wall surface. For example, digital signage is used to display advertisements of product providers and videos of sales promotion campaigns, put actual products in the delivery booth 100, and what kind of users make reservations among those who come to see them on the spot. You can observe if you want to buy it.
The user information accumulated here can be statistically analyzed and the result can be provided to the product provider.
The product provider terminal 200 can grasp and display not only information on delivery but also information such as future sales results for each store, customer trends, future demand forecasts, and sales forecasts.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a recording device such as a hard disk or SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、上述の実施例は少なくとも特許請求の範囲に記載の構成を開示している。
In addition, the control lines and information lines indicate what is considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
It should be noted that the above-mentioned embodiment discloses at least the configuration described in the claims.

100 配送ブース
200 商品提供業者端末
300 配送管理サーバ
400 決済機関サーバ
600 利用者端末
700 配達人端末
350 顔認証処理部


100 Delivery booth 200 Product provider terminal 300 Delivery management server 400 Payment institution server 600 User terminal 700 Delivery person terminal 350 Face recognition processing unit


Claims (22)

配送ブースに配置された商品を管理する配送管理サーバであって、
前記配送ブースは、商品棚と、前記商品棚を囲うように前記商品棚に接続された枠体と、前記枠体の内部への入退場を行うための出入口と、前記出入口の入退場処理を実行する入退場処理部を有するブース端末と、を備え、
前記配送管理サーバは、
利用者端末を介して利用者から商品の注文を受け付ける商品受付部と、
利用者の認証を行い、認証した結果を前記ブース端末に送信する認証処理部と、
を有し、
前記ブース端末の前記入退場処理部は、前記認証処理部により前記利用者が認証された場合に、入場処理を行い、前記利用者が前記配送ブースの前記枠体内において前記商品棚から前記商品を取り出し、前記配送ブースの前記枠体の外に出た後に、退場処理を行う
ことを特徴とする配送管理サーバ。
It is a delivery management server that manages the products placed in the delivery booth.
The delivery booth has a product shelf, a frame connected to the product shelf so as to surround the product shelf, an entrance / exit for entering / exiting the inside of the frame, and an entrance / exit process for the entrance / exit. Equipped with a booth terminal with an entry / exit processing unit to execute,
The delivery management server is
The product reception department, which accepts product orders from users via the user terminal,
An authentication processing unit that authenticates the user and sends the authentication result to the booth terminal.
Have,
The entrance / exit processing unit of the booth terminal performs entrance processing when the user is authenticated by the authentication processing unit, and the user puts the product from the product shelf in the frame of the delivery booth. A delivery management server characterized in that an exit process is performed after taking out and going out of the frame of the delivery booth.
注文を受け付けた前記商品が前記商品棚に無い場合に、注文を受け付けた前記商品を入庫する指令を出力する在庫管理部を有することを特徴とする請求項1に記載の配送管理サーバ。 The delivery management server according to claim 1, further comprising an inventory management unit that outputs a command to store the ordered product when the ordered product is not on the product shelf. 前記認証処理部は、前記利用者端末により撮影された前記利用者の顔画像から抽出した特徴量に基づいて生成された顔認証モデルに、前記配送ブースに備えられたカメラで撮影された前記利用者の顔画像から抽出した特徴量を入力することで、前記利用者を認証することを特徴とする請求項1又は2に記載の配送管理サーバ。 The authentication processing unit uses the face authentication model generated based on the feature amount extracted from the user's face image taken by the user terminal, and the use taken by a camera provided in the delivery booth. The delivery management server according to claim 1 or 2, wherein the user is authenticated by inputting a feature amount extracted from a person's face image. 前記出入口に電気錠が設けられており、前記入退場処理部は、前記配送管理サーバの前記認証部により前記利用者が認証された場合に、前記電気錠を開錠し、前記利用者が前記配送ブースの外に出たことを検知した場合に、前記電気錠を施錠することを特徴とする請求項1から3のいずれか1項に記載の配送管理サーバ。 An electric lock is provided at the entrance / exit, and the entrance / exit processing unit unlocks the electric lock when the user is authenticated by the authentication unit of the delivery management server, and the user unlocks the user. The delivery management server according to any one of claims 1 to 3, wherein the electric lock is locked when it is detected that the user has gone out of the delivery booth. 前記認証処理部は、前記配送ブースに備えられたカメラにより撮影された複数の顔画像のうち、最も大きな顔画像を前記利用者の顔画像として用い、当該顔画像から前記特徴量を抽出することを特徴とする請求項3に記載の配送管理サーバ。 The authentication processing unit uses the largest face image among a plurality of face images taken by a camera provided in the delivery booth as the face image of the user, and extracts the feature amount from the face image. The delivery management server according to claim 3. 前記認証処理部は、前記利用者の顔画像から抽出した特徴量と、過去に登録された複数の他の利用者の顔画像から抽出した複数の特徴量と、前記利用者が本人であるかどうかを示す情報と、を教師データとして用い、特徴量から当該利用者が本人であるかどうかを推定する推定モデルを機械学習により生成し、前記認証処理部は前記推定モデルに撮影した顔画像から抽出した特徴量を入力することで、本人であるかどうかの認証を行うことを特徴とする請求項3、又は請求項3を引用する請求項4、又は請求項5のいずれか1項に記載の配送管理サーバ。 The authentication processing unit includes a feature amount extracted from the face image of the user, a plurality of feature amounts extracted from the face images of a plurality of other users registered in the past, and whether the user is the person himself / herself. Using the information indicating whether or not the information is used as teacher data, an estimation model for estimating whether or not the user is the person is generated by machine learning from the feature amount, and the authentication processing unit uses the face image taken by the estimation model to generate an estimation model. The description according to any one of claim 3, which is characterized in that the identity of the person is authenticated by inputting the extracted feature amount, or claim 4 or claim 5 which cites claim 3. Delivery management server. 前記認証処理部は、さらに、前記外部のサーバから取得可能な複数の顔画像から抽出した複数の特徴量を教師データとして用いることを特徴とする請求項6に記載の配送管理サーバ。 The delivery management server according to claim 6, wherein the authentication processing unit further uses a plurality of feature quantities extracted from a plurality of face images that can be acquired from the external server as teacher data. 前記認証処理部は、前記利用者が前記商品を受け取りに来る時間から所定の範囲内の時間に商品を受け取りに来る複数の利用者の前記推論モデルを抽出し、抽出した複数の利用者の前記推論モデルに基づいて、認証を行うことを特徴とする請求項6又は7に記載の配送管理サーバ。 The authentication processing unit extracts the inference model of a plurality of users who come to receive the product within a predetermined range from the time when the user comes to receive the product, and the extracted plurality of users. The delivery management server according to claim 6 or 7, wherein authentication is performed based on an inference model. 前記所定の範囲内の時間は、利用者が注文した時刻から前記商品受け取り可能な時刻までの間の時間であることを特徴とする請求項8に記載の配送管理サーバ。 The delivery management server according to claim 8, wherein the time within the predetermined range is a time between the time ordered by the user and the time when the product can be received. 前記ブース端末は、前記利用者の注文に応じて送信された前記利用者端末のバーコードを読み込んだ場合に、前記入場処理を行う認証部を有することを特徴とする請求項1~9のいずれか1項に記載の配送管理サーバ。 Any of claims 1 to 9, wherein the booth terminal has an authentication unit that performs the admission process when the barcode of the user terminal transmitted in response to the user's order is read. The delivery management server described in item 1. 前記ブース端末は、前記利用者が注文した前記商品を配置する商品棚の場所を前記利用者端末上で視覚的に指示することを特徴とする請求項1から10のいずか1項に記載の配送管理サーバ。 The booth terminal according to any one of claims 1 to 10, wherein the booth terminal visually indicates the location of the product shelf on which the product ordered by the user is placed on the user terminal. Delivery management server. 利用者が前記配送ブースに入る前と出た後の前記商品棚の画像を撮影し、その画像の差分を認識することで商品の在庫を確認する在庫確認部を有することを特徴とする請求項1~11のいずか1項に記載の配送管理サーバ。 A claim characterized by having an inventory confirmation unit for confirming the inventory of products by taking images of the product shelves before and after the user enters and exits the delivery booth and recognizing the difference between the images. The delivery management server according to Izuka 1 of 1 to 11. 配送ブースに配置された商品を管理する配送管理サーバにおける配送管理方法であって、
前記配送ブースは、商品棚と、前記商品棚を囲うように前記商品棚に接続された枠体と、前記枠体の内部への入退出を行うための出入口と、前記出入口の入退場処理を実行する入退場処理部を有するブース端末と、を備え、
前記配送管理サーバは、
利用者端末を介して利用者から商品の注文を受け付け、
利用者の認証を行い、認証した結果を前記ブース端末に送信し、
前記認証処理部により前記利用者が認証された場合に、入場処理を行い、前記利用者が前記配送ブースの前記枠体内において前記商品棚から前記商品を取り出し、前記配送ブースの前記枠体の外に出た後に、出場処理を行う、
ことを特徴とする配送管理方法。
It is a delivery management method in the delivery management server that manages the products placed in the delivery booth.
The delivery booth has a product shelf, a frame connected to the product shelf so as to surround the product shelf, an entrance / exit for entering / exiting the inside of the frame, and an entrance / exit process for the entrance / exit. Equipped with a booth terminal with an entry / exit processing unit to execute,
The delivery management server is
Accepting product orders from users via the user terminal,
Authenticate the user, send the authentication result to the booth terminal, and
When the user is authenticated by the authentication processing unit, the entrance process is performed, the user takes out the product from the product shelf in the frame body of the delivery booth, and outside the frame body of the delivery booth. After appearing in, the participation process will be performed.
A delivery management method characterized by that.
注文を受け付けた前記商品が前記商品棚に無い場合に、注文を受け付けた前記商品を入庫する指令を出力する請求項13に記載の配送管理方法。 The delivery management method according to claim 13, wherein when the product for which an order has been received is not on the product shelf, a command for receiving the product for which the order has been received is output. 前記利用者端末により撮影された前記利用者の顔画像から抽出した特徴量に基づいて生成された顔認証モデルに、前記配送ブースに備えられたカメラで撮影された前記利用者の顔画像から抽出した特徴量を入力することで、前記利用者を認証することを特徴とする請求項13又は14に記載の配送管理方法。 The face authentication model generated based on the feature amount extracted from the user's face image taken by the user terminal is extracted from the user's face image taken by the camera provided in the delivery booth. The delivery management method according to claim 13, wherein the user is authenticated by inputting the feature amount. 前記出入口に電気錠が設けられており、前記配送管理サーバの前記認証部により前記利用者が認証された場合に、前記電気錠を開錠し、前記利用者が前記配送ブースの外に出たことを検知した場合に、前記電気錠を施錠することを特徴とする請求項13から15のいずれか1項に記載の配送管理方法。 An electric lock is provided at the doorway, and when the user is authenticated by the authentication unit of the delivery management server, the electric lock is unlocked and the user goes out of the delivery booth. The delivery management method according to any one of claims 13 to 15, wherein the electric lock is locked when it is detected. 前記配送ブースに備えられたカメラにより撮影された複数の顔画像のうち、もっとも大きな顔画像を前記利用者の顔画像として用い、当該顔画像から前記特徴量を抽出することを特徴とする請求項15に記載の配送管理方法。 The claim is characterized in that the largest face image among a plurality of face images taken by a camera provided in the delivery booth is used as the face image of the user, and the feature amount is extracted from the face image. The delivery management method according to 15. 前記利用者の顔画像から抽出した特徴量と、過去に登録された複数の他の利用者の顔画像から抽出した複数の特徴量と、前記利用者が本人であるかどうかを示す情報と、を教師データとして用い、特徴量から当該利用者が本人であるかどうかを推定する推定モデルを機械学習により生成し、前記認証処理部は前記推定モデルに撮影した顔画像から抽出した特徴量を入力することで、本人であるかどうかの認証を行うことを特徴とする請求項15、又は請求項15を引用する請求項16、又は請求項17のいずれか1項に記載の配送管理方法。 The feature amount extracted from the user's face image, a plurality of feature amounts extracted from the face images of a plurality of other users registered in the past, information indicating whether or not the user is the person, and information indicating whether or not the user is the person himself / herself. Is used as teacher data to generate an estimation model for estimating whether or not the user is the user from the feature amount by machine learning, and the authentication processing unit inputs the feature amount extracted from the face image taken in the estimation model. The delivery management method according to any one of claim 15, which is characterized by authenticating the identity of the person, or claim 16 or claim 17, which cites claim 15. さらに、前記外部のサーバから取得可能な複数の顔画像から抽出した複数の特徴量を教師データとして用いることを特徴とする請求項18に記載の配送管理方法。 The delivery management method according to claim 18, further comprising using a plurality of feature quantities extracted from a plurality of facial images that can be acquired from the external server as teacher data. 前記利用者が前記商品を受け取りに来る時間から所定の範囲内の時間に商品を受け取りに来る複数の利用者の前記推論モデルを抽出し、抽出した複数の利用者の前記推論モデルに基づいて、認証を行うことを特徴とする請求項18又は19に記載の配送管理方法。 The inference model of a plurality of users who come to receive the product within a predetermined range from the time when the user comes to receive the product is extracted, and based on the extracted inference model of the plurality of users, the inference model is extracted. The delivery management method according to claim 18 or 19, wherein the authentication is performed. 前記所定の範囲内の時間は、利用者が注文した時刻から前記商品受け取り可能な時刻までの間の時間であることを特徴とする請求項19に記載の配送管理方法。 The delivery management method according to claim 19, wherein the time within the predetermined range is a time between the time ordered by the user and the time when the product can be received. 配送管理サーバに、請求項13~21のいずれか1項の配送管理方法における各ステップを実行させる配送管理プログラム。

A delivery management program that causes a delivery management server to execute each step in the delivery management method according to any one of claims 13 to 21.

JP2020188347A 2020-11-11 2020-11-11 Delivery management server, delivery management method, and delivery management program Pending JP2022077461A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020188347A JP2022077461A (en) 2020-11-11 2020-11-11 Delivery management server, delivery management method, and delivery management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020188347A JP2022077461A (en) 2020-11-11 2020-11-11 Delivery management server, delivery management method, and delivery management program

Publications (1)

Publication Number Publication Date
JP2022077461A true JP2022077461A (en) 2022-05-23

Family

ID=81654104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020188347A Pending JP2022077461A (en) 2020-11-11 2020-11-11 Delivery management server, delivery management method, and delivery management program

Country Status (1)

Country Link
JP (1) JP2022077461A (en)

Similar Documents

Publication Publication Date Title
CN108053204B (en) Automatic settlement method and selling equipment
TWI729289B (en) Meal settlement method, smart ordering equipment and smart restaurant payment system
RU2671767C2 (en) Computer-controlled, unattended, automated checkout store outlet
US20200184444A1 (en) Method and system for anonymous checkout in a store
JP4991440B2 (en) Product sales apparatus, product sales management system, product sales management method and program
US20150161712A1 (en) Unifying shopping experience system
CN113646811B (en) Fee calculating and paying device and unattended shop system
CN107967603B (en) Shopping settlement method and selling equipment
US20140244411A1 (en) Method of operating a duty-free store at an airport with a product storage area and product pickup area
US20150307279A1 (en) Retail automation platform
US9563914B2 (en) Using head mountable displays to provide real-time assistance to employees in a retail environment
KR102451378B1 (en) Unmanned store management system
US20230027382A1 (en) Information processing system
KR20210015277A (en) System and method for relaying smart store
JP7264401B2 (en) Accounting methods, devices and systems
US11531958B2 (en) Frictionless re-ordering and re-stocking
US20200387865A1 (en) Environment tracking
TWI809044B (en) Store management device and store management method
CN113632150A (en) Unattended shop system and unattended shop management method
JP7165860B2 (en) Store management method and store management system
US11651416B2 (en) Goods purchase analysis assist system
CN113887884A (en) Business-super service system
CN111523348A (en) Information generation method and device and equipment for man-machine interaction
JP7398706B2 (en) Fraud prevention system and fraud prevention program
JP7320747B2 (en) Settlement payment device and unmanned store system