JP2017228921A - Projection system, projection method, and projection program - Google Patents

Projection system, projection method, and projection program Download PDF

Info

Publication number
JP2017228921A
JP2017228921A JP2016123557A JP2016123557A JP2017228921A JP 2017228921 A JP2017228921 A JP 2017228921A JP 2016123557 A JP2016123557 A JP 2016123557A JP 2016123557 A JP2016123557 A JP 2016123557A JP 2017228921 A JP2017228921 A JP 2017228921A
Authority
JP
Japan
Prior art keywords
image
projection
displayed
projector
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016123557A
Other languages
Japanese (ja)
Other versions
JP6716359B2 (en
Inventor
清水 英孝
Hidetaka Shimizu
英孝 清水
尚子 田口
Naoko Taguchi
尚子 田口
Original Assignee
サッポロビール株式会社
Sapporo Breweries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サッポロビール株式会社, Sapporo Breweries Ltd filed Critical サッポロビール株式会社
Priority to JP2016123557A priority Critical patent/JP6716359B2/en
Publication of JP2017228921A publication Critical patent/JP2017228921A/en
Application granted granted Critical
Publication of JP6716359B2 publication Critical patent/JP6716359B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To change the appearance of a commodity in accordance with a scene.SOLUTION: A projection system according to one embodiment controls a projection image. The projection system comprises an extraction part which extracts an image corresponding to a commodity displayed for transaction, from an image database storing images, and a transmission part which transmits the image extracted by the extraction part to a projector and thereby causes the projector to project the image on the surface of the displayed commodity.SELECTED DRAWING: Figure 2

Description

本発明の一側面は、投影システム、投影方法、および投影プログラムに関する。   One aspect of the present invention relates to a projection system, a projection method, and a projection program.
商品を客にアピールするための様々な手法が従来から存在する。例えば特許文献1には、車両に商品の広告コンテンツを表示するシステムが記載されている。このシステムは、車両に設置されたプロジェクタが画像を該車両の側面に表示するというものである。   There are various methods for appealing products to customers. For example, Patent Document 1 describes a system for displaying advertisement content of a product on a vehicle. In this system, a projector installed in a vehicle displays an image on the side of the vehicle.
特開2015−511729号公報JP2015-511729A
人によっては、広告を通じて商品に興味を持ったとしても、実際の商品に接したときにその商品の外観を見てその興味が失せる場合がある。例えば、人目を引くためのデザインを施したパッケージが、ある人の興味や嗜好に合わないことがある。あるいは、商品の特徴を分かりやすく伝えるためのデザインが特定の人に恥ずかしさを覚えさせてしまうようなこともあり得る。そこで、場面に応じて商品の見た目を変えることが望まれている。   Depending on the person, even if they are interested in a product through advertisements, when they come into contact with the actual product, they may lose their interest by looking at the appearance of the product. For example, an eye-catching design package may not fit a person's interests and preferences. Or, the design to convey the characteristics of the product in an easy-to-understand manner may make certain people feel embarrassed. Therefore, it is desired to change the appearance of the product according to the scene.
本発明の一側面に係る投影システムは、投影画像を制御する投影システムであって、画像を記憶する画像データベースから、取引のために陳列されている商品に対応する画像を抽出する抽出部と、抽出部により抽出された画像をプロジェクタに送信することで、該プロジェクタに、陳列された商品の表面に該画像を投影させる送信部とを備える。   A projection system according to one aspect of the present invention is a projection system that controls a projection image, and an extraction unit that extracts an image corresponding to a commodity displayed for a transaction from an image database that stores the image; The projector includes a transmitting unit that transmits the image extracted by the extracting unit to the projector, thereby causing the projector to project the image on the surface of the displayed product.
本発明の一側面に係る投影方法は、投影画像を制御するプロセッサを備える投影システムにより実行される投影方法であって、画像を記憶する画像データベースから、取引のために陳列されている商品に対応する画像を抽出する抽出ステップと、抽出ステップにおいて抽出された画像をプロジェクタに送信することで、該プロジェクタに、陳列された商品の表面に該画像を投影させる送信ステップとを含む。   A projection method according to an aspect of the present invention is a projection method executed by a projection system including a processor that controls a projection image, and corresponds to a commodity displayed for a transaction from an image database storing the image. An extraction step of extracting an image to be transmitted, and a transmission step of causing the projector to project the image onto the surface of the displayed product by transmitting the image extracted in the extraction step to the projector.
本発明の一側面に係る投影プログラムは、投影画像を制御する投影システムとしてコンピュータを機能させる投影プログラムであって、画像を記憶する画像データベースから、取引のために陳列されている商品に対応する画像を抽出する抽出ステップと、抽出ステップにおいて抽出された画像をプロジェクタに送信することで、該プロジェクタに、陳列された商品の表面に該画像を投影させる送信ステップとをコンピュータに実行させる。   A projection program according to one aspect of the present invention is a projection program that causes a computer to function as a projection system that controls a projection image, and that corresponds to a product displayed for a transaction from an image database that stores the image. The computer executes the extraction step of extracting the image and the transmission step of causing the projector to project the image onto the surface of the displayed product by transmitting the image extracted in the extraction step to the projector.
このような側面においては、商品が陳列されているときには該商品に対応する画像が該商品の表面に表示されるが、人がその商品を手に取ると、その画像はもはやその商品には映らなくなる。この仕組みにより、商品が陳列されているときと、客が実際に商品を手に取ったときとで商品の見た目を変えることができる。すなわち、場面に応じて商品の見た目を変えることができる。   In this aspect, when a product is displayed, an image corresponding to the product is displayed on the surface of the product, but when a person picks up the product, the image is no longer displayed on the product. Disappear. With this mechanism, the appearance of the product can be changed between when the product is displayed and when the customer actually picks up the product. That is, the appearance of the product can be changed according to the scene.
本発明の一側面によれば、場面に応じて商品の見た目を変えることができる。   According to one aspect of the present invention, the appearance of a product can be changed according to the scene.
実施形態に係る投影システムの適用の一例を示す図である。It is a figure which shows an example of application of the projection system which concerns on embodiment. 実施形態に係る投影システムの機能構成を示す図である。It is a figure which shows the function structure of the projection system which concerns on embodiment. 機器情報の例を示す図である。It is a figure which shows the example of apparatus information. 画像情報の例を示す図である。It is a figure which shows the example of image information. サーバのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a server. 実施形態に係る投影システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the projection system which concerns on embodiment. 実施形態に係る投影プログラムの構成を示す図である。It is a figure which shows the structure of the projection program which concerns on embodiment. 商品に画像を投影する例を示す図である。It is a figure which shows the example which projects an image on goods.
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same or equivalent elements are denoted by the same reference numerals, and redundant description is omitted.
図1〜図5を参照しながら、実施形態に係る投影システム1の機能および構成を説明する。投影システム1は、陳列された商品の表面に画像を投影するコンピュータシステムである。「商品」とは、有償または無償で取引可能な任意の有体物であり、その種類は何ら限定されない。「陳列された商品」とは、取引のために所定の場所に置かれた商品である。例えば、「陳列された商品」とは、実店舗の陳列棚または陳列台に置かれた商品である。「商品の表面」とは、陳列されている商品の外表面であり、例えば、箱または容器の外面である。「画像」とは、有体物の面に映し出された、人が視認できる像である。画像は静止画であっても動画であってもよい。また、画像は撮影により得られてもよいしコンピュータ・グラフィックスであってもよい。   The function and configuration of the projection system 1 according to the embodiment will be described with reference to FIGS. The projection system 1 is a computer system that projects an image on the surface of a displayed product. “Commodity” is any tangible thing that can be traded for a fee or free of charge, and its type is not limited at all. A “displayed product” is a product placed in a predetermined place for a transaction. For example, the “displayed product” is a product placed on a display shelf or display stand of a real store. The “surface of the product” is the outer surface of the displayed product, for example, the outer surface of a box or a container. An “image” is an image that is projected on the surface of a tangible object and that is visible to a person. The image may be a still image or a moving image. The image may be obtained by photographing or may be computer graphics.
図1は、投影システム1の適用の一例を示し、具体的には、棚に置かれた商品(飲料缶)80に画像90を投影する例を示す。本実施形態では、投影システム1はバーコードリーダ2、カメラ3、およびプロジェクタ4を備える。バーコードリーダ2は、商品の表面に付されたバーコードを読み取る機器である。バーコードリーダ2の種類は限定されず、例えば一次元バーコードを読み取るリーダでもよいし、二次元バーコードを読み取るリーダでもよい。商品にバーコードを付す手法も何ら限定されない。例えば、バーコードが商品の表面に印刷されてもよいし、バーコードが印刷されたシールが商品の表面に貼られてもよい。カメラ3は、棚の前方にいる人(陳列されている商品の前に来た人)を撮影するための機器である。プロジェクタ4は、棚の最前列に置かれた商品の表面に画像を投影する機器であり、例えば小型の超短焦点プロジェクタであり得る。図1は、バーコードリーダ2が棚の脇に設置され、カメラが棚板の前端に設置され、プロジェクタ4が棚板の下面に設置された例を示す。棚板の下面のような目立たない場所にプロジェクタ4を取り付けることで、陳列棚の見た目をよくすることができる。もっとも、各装置の設置場所は何ら限定されない。例えば、プロジェクタ4が棚板の前側面に取り付けられてもよい。あるいは、各装置が棚以外の物に取り付けられてもよい。   FIG. 1 shows an example of application of the projection system 1, and specifically shows an example in which an image 90 is projected onto a product (beverage can) 80 placed on a shelf. In the present embodiment, the projection system 1 includes a barcode reader 2, a camera 3, and a projector 4. The barcode reader 2 is a device that reads a barcode attached to the surface of a product. The type of the barcode reader 2 is not limited. For example, a reader that reads a one-dimensional barcode or a reader that reads a two-dimensional barcode may be used. The method of attaching a barcode to a product is not limited at all. For example, a barcode may be printed on the surface of the product, or a seal printed with the barcode may be affixed to the surface of the product. The camera 3 is a device for photographing a person in front of the shelf (a person who came in front of the displayed product). The projector 4 is a device that projects an image on the surface of a product placed in the front row of the shelf, and may be a small ultra-short focus projector, for example. FIG. 1 shows an example in which a barcode reader 2 is installed beside a shelf, a camera is installed at the front end of the shelf, and a projector 4 is installed on the lower surface of the shelf. The appearance of the display shelf can be improved by attaching the projector 4 to an inconspicuous place such as the lower surface of the shelf board. However, the installation location of each device is not limited at all. For example, the projector 4 may be attached to the front side surface of the shelf board. Or each apparatus may be attached to things other than a shelf.
図1は、プロジェクタ4が、星マーク、斜線、および文字列「ABC」が印刷された商品80の表面に、「期間限定!」という文字が入った吹き出しの画像90を映した例を示す。人がその商品80を棚から出して手に取ると、当然ながら、その画像(吹き出し)90がその缶から消え、星マーク、斜線、および文字列「ABC」のみが缶の表面に残ることになる。言い換えると、プロジェクタ4から提供される画像は、商品が棚に置かれているときのみ視認でき、客がその商品を入手する際には消えるものである。   FIG. 1 shows an example in which the projector 4 projects a balloon image 90 containing characters “Limited time!” On the surface of a product 80 on which a star mark, diagonal lines, and the character string “ABC” are printed. When a person takes the product 80 out of the shelf and picks it up, of course, the image (speech balloon) 90 disappears from the can, and only the star mark, diagonal lines, and the character string “ABC” remain on the surface of the can. Become. In other words, the image provided from the projector 4 is visible only when the product is placed on the shelf, and disappears when the customer obtains the product.
図2は投影システム1の機能構成を示す。投影システム1はバーコードリーダ2、カメラ3、およびプロジェクタ4に加えてデータベース群10およびサーバ20を備える。投影システム1内の各装置はインターネットやLANなどの通信ネットワークを介して他の装置との間でデータ通信を行うことができる。図2は一つの陳列スペースの装置群(バーコードリーダ2、カメラ3、およびプロジェクタ4)しか示していないが、投影システム1は複数の陳列スペース(例えば、一つの棚を構成する複数の段、複数の棚など)に設けられた複数の装置群を含んでもよい。   FIG. 2 shows a functional configuration of the projection system 1. The projection system 1 includes a database group 10 and a server 20 in addition to the barcode reader 2, the camera 3, and the projector 4. Each device in the projection system 1 can perform data communication with other devices via a communication network such as the Internet or a LAN. Although FIG. 2 shows only one display space device group (barcode reader 2, camera 3, and projector 4), the projection system 1 has a plurality of display spaces (for example, a plurality of stages constituting one shelf, A plurality of device groups provided on a plurality of shelves may be included.
データベース群10は、投影システム1での処理に必要なデータを記憶する1以上のデータベースの集合である。本実施形態では、データベース群10は機器データベース11および画像データベース12を備える。「データベース」とは、プロセッサまたは外部のコンピュータからの任意のデータ操作(例えば、抽出、追加、削除、上書きなど)に対応できるようにデータ集合を記憶する機能要素(記憶部)である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、テキストファイルでもよい。   The database group 10 is a set of one or more databases that store data necessary for processing in the projection system 1. In the present embodiment, the database group 10 includes a device database 11 and an image database 12. A “database” is a functional element (storage unit) that stores a data set so that it can cope with any data operation (for example, extraction, addition, deletion, overwriting, etc.) from a processor or an external computer. The database mounting method is not limited. For example, a database management system or a text file may be used.
機器データベース11は、棚に設置された機器の対応関係を示す機器情報を記憶する装置である。図3は機器情報の例を示す。本実施形態では、機器情報の各レコードは、バーコードリーダを一意に特定するリーダIDと、カメラを一意に特定するカメラIDと、プロジェクタを一意に特定するプロジェクタIDとを含む。図3は例えば、ある一つの陳列スペース(例えば、棚の一つの段)にバーコードリーダ「R01」、カメラ「C01」、および3台のプロジェクタ「P01」、「P02」、「P03」が設置されていることを示す。また、図3はカメラ「C01」が二つの陳列スペース(例えば、一つの棚の複数の段)に対応することも示す。   The device database 11 is a device that stores device information indicating the correspondence between devices installed on a shelf. FIG. 3 shows an example of device information. In the present embodiment, each record of device information includes a reader ID that uniquely identifies a barcode reader, a camera ID that uniquely identifies a camera, and a projector ID that uniquely identifies a projector. In FIG. 3, for example, a bar code reader “R01”, a camera “C01”, and three projectors “P01”, “P02”, “P03” are installed in one display space (for example, one level of a shelf). Indicates that FIG. 3 also shows that the camera “C01” corresponds to two display spaces (for example, a plurality of stages on one shelf).
画像データベース12は,商品に投影する画像を示す画像情報を記憶する装置である。本明細書では、この画像を「投影画像」ともいう。図4は画像情報のレコードの例を示す。本実施形態では、画像情報の各レコードは、商品を一意に特定する商品IDと、その商品に投影される画像(画像データ)と、投影条件とを含む。図6は例えば、商品「P001」には常に画像Xが投影されるのに対して、商品「P002」については時間帯および棚の前に来た人の性別に応じて投影画像が切り替わることを示す。例えば、商品「P002」の前に女性が来た場合には、画像Ycがその商品「P002」に投影される。   The image database 12 is a device that stores image information indicating an image to be projected onto a product. In this specification, this image is also referred to as a “projection image”. FIG. 4 shows an example of a record of image information. In the present embodiment, each record of image information includes a product ID that uniquely identifies a product, an image (image data) projected on the product, and a projection condition. In FIG. 6, for example, the image X is always projected on the product “P001”, whereas the projected image switches on the product “P002” according to the time zone and the gender of the person who came in front of the shelf. Show. For example, when a woman comes before the product “P002”, the image Yc is projected onto the product “P002”.
なお、データベース群10内の各データベースおよび各レコードの構成は上記のものに限定されず、各データベースに対して任意の正規化または冗長化を行ってよい。   The configuration of each database and each record in the database group 10 is not limited to the above, and any normalization or redundancy may be performed on each database.
サーバ20は、プロジェクタに画像を提供するコンピュータである。図5は、サーバ20の一般的なハードウェア構成を示す。サーバ20は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ101と、ROM及びRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、モニタなどの出力装置106とを備える。   The server 20 is a computer that provides an image to the projector. FIG. 5 shows a general hardware configuration of the server 20. The server 20 includes a processor 101 that executes an operating system, application programs, and the like, a main storage unit 102 that includes a ROM and a RAM, an auxiliary storage unit 103 that includes a hard disk, a flash memory, and the like, and a network card or wireless The communication control unit 104 includes a communication module, an input device 105 such as a keyboard and a mouse, and an output device 106 such as a monitor.
図2に示すように、サーバ20は機能的構成要素として受信部21、抽出部22、および送信部23を備える。これらの機能要素は、プロセッサ101または主記憶部102の上に所定のソフトウェアを読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ101はそのソフトウェアに従って、通信制御部104、入力装置105、または出力装置106を動作させ、主記憶部102または補助記憶部103におけるデータの読み出し及び書き込みを行う。処理に必要なデータまたはデータベースは主記憶部102または補助記憶部103内に格納される。   As illustrated in FIG. 2, the server 20 includes a reception unit 21, an extraction unit 22, and a transmission unit 23 as functional components. These functional elements are realized by reading predetermined software on the processor 101 or the main storage unit 102 and executing the software. The processor 101 operates the communication control unit 104, the input device 105, or the output device 106 in accordance with the software, and reads and writes data in the main storage unit 102 or the auxiliary storage unit 103. Data or a database necessary for processing is stored in the main storage unit 102 or the auxiliary storage unit 103.
受信部21は、バーコードリーダ2およびカメラ3からデータを受信する機能要素である。受信部21は、バーコードリーダ2からバーコードデータをリーダIDと共に受信し、そのバーコードデータから商品IDを抽出する。また、受信部21はカメラ3から撮影画像をカメラIDと共に受信する。受信部21は受信したこれらのデータを抽出部22に出力する。すなわち、本実施形態では受信部21はバーコード受信部および画像受信部として機能する。   The receiving unit 21 is a functional element that receives data from the barcode reader 2 and the camera 3. The receiving unit 21 receives the barcode data from the barcode reader 2 together with the reader ID, and extracts the product ID from the barcode data. The receiving unit 21 receives a captured image from the camera 3 together with the camera ID. The receiving unit 21 outputs these received data to the extracting unit 22. That is, in the present embodiment, the receiving unit 21 functions as a barcode receiving unit and an image receiving unit.
抽出部22は、陳列されている商品に対応する画像を画像データベース12から抽出する機能要素である。まず、抽出部22は入力されたデータに基づいて、少なくとも商品IDを含む検索条件を設定する。検索条件は現在時刻をさらに含んでもよい。また、検索条件は撮影された人(被写体)の属性をさらに含んでもよい。「人の属性」とは、人の性質または特徴である。属性の種類は何ら限定されず、例えば性別、年齢、大人および子供の区別などが挙げられる。抽出部22は入力された撮影画像に対する画像認識を実行することで、撮影された人(被写体)の属性を判定する。画像データベース12から画像を抽出する検索条件として用いられるものであれば、抽出部22は任意の属性を撮影画像から判定してよい。続いて、抽出部22は設定した検索条件に合致する画像を画像データベース12から読み出す。   The extraction unit 22 is a functional element that extracts an image corresponding to the displayed product from the image database 12. First, the extraction unit 22 sets a search condition including at least a product ID based on the input data. The search condition may further include the current time. The search condition may further include an attribute of the photographed person (subject). “Human attributes” are the nature or characteristics of a person. The kind of attribute is not limited at all, and examples include sex, age, adult and child distinction, and the like. The extraction unit 22 performs image recognition on the input photographed image, thereby determining the attribute of the photographed person (subject). As long as it is used as a search condition for extracting an image from the image database 12, the extraction unit 22 may determine an arbitrary attribute from the captured image. Subsequently, the extraction unit 22 reads an image that matches the set search condition from the image database 12.
画像情報が図4に示す例であるとして、例えば商品ID「P001」が入力された場合には、抽出部22は被写体の属性および現在時刻にかかわらず画像Xを読み出す。商品ID「P002」が入力され、被写体の属性が「女性」であると判定した場合には、抽出部22は画像Ycを読み出す。商品ID「P002」が入力され、被写体の属性が「男性」であると判定し、現在時刻が18:00である場合には、抽出部22は画像Ybを読み出す。   Assuming that the image information is the example shown in FIG. 4, for example, when the product ID “P001” is input, the extraction unit 22 reads the image X regardless of the attribute of the subject and the current time. When the product ID “P002” is input and it is determined that the attribute of the subject is “female”, the extraction unit 22 reads the image Yc. When the product ID “P002” is input and it is determined that the attribute of the subject is “male” and the current time is 18:00, the extraction unit 22 reads the image Yb.
抽出部22は読み出した画像を、リーダIDおよびカメラIDと共に送信部23に出力する。   The extraction unit 22 outputs the read image to the transmission unit 23 together with the reader ID and the camera ID.
送信部23は、抽出部22により抽出された画像をプロジェクタ4に送信する機能要素である。送信部23はこの送信処理により、プロジェクタ4に、陳列された商品の表面にその画像を投影させる。送信部23は、入力されたリーダIDおよびカメラIDに対応する少なくとも一つのプロジェクタIDを機器データベース11から読み出し、そのプロジェクタIDで示される少なくとも一つのプロジェクタ4に、入力された画像を送信する。各プロジェクタ4は、その画像を受信し、陳列されている商品にその画像を投影する。   The transmission unit 23 is a functional element that transmits the image extracted by the extraction unit 22 to the projector 4. Through this transmission process, the transmission unit 23 causes the projector 4 to project the image on the surface of the displayed product. The transmission unit 23 reads at least one projector ID corresponding to the input reader ID and camera ID from the device database 11 and transmits the input image to at least one projector 4 indicated by the projector ID. Each projector 4 receives the image and projects the image on the displayed product.
次に、図6を参照しながら、投影システム1の動作を説明するとともに本実施形態に係る投影方法について説明する。   Next, the operation of the projection system 1 will be described with reference to FIG. 6, and the projection method according to the present embodiment will be described.
まず、受信部21がバーコードリーダ2からバーコードデータを受信して商品IDを取得し(ステップS11)、また、カメラ3から撮影画像を受信する(ステップS12)。続いて、抽出部22は少なくとも商品IDに基づいて検索条件を設定し(ステップS13)、その検索条件に合致する画像を画像データベース12から抽出する(ステップS14、抽出ステップ)。抽出部22は、撮影画像から判定した被写体の属性と現在時刻との少なくとも一方をさらに含む検索条件を設定してもよい。最後に、送信部23が抽出された画像をプロジェクタ4に送信する(ステップS15、送信ステップ)。   First, the receiving unit 21 receives barcode data from the barcode reader 2 to acquire a product ID (step S11), and receives a photographed image from the camera 3 (step S12). Subsequently, the extraction unit 22 sets a search condition based on at least the product ID (step S13), and extracts an image that matches the search condition from the image database 12 (step S14, extraction step). The extraction unit 22 may set a search condition further including at least one of the attribute of the subject determined from the captured image and the current time. Finally, the transmission unit 23 transmits the extracted image to the projector 4 (step S15, transmission step).
次に、図7を参照しながら、投影システム1(サーバ20)を実現するための投影プログラムP1を説明する。   Next, a projection program P1 for realizing the projection system 1 (server 20) will be described with reference to FIG.
投影プログラムP1は、メインモジュールP10、受信モジュールP11、抽出モジュールP12、および送信モジュールP13を備える。メインモジュールP10は、投影システム1(サーバ20)の機能を統括的に制御する部分である。受信モジュールP11、抽出モジュールP12、および送信モジュールP13を実行することにより実現される機能はそれぞれ、上記の受信部21、抽出部22、および送信部23の機能と同様である。   The projection program P1 includes a main module P10, a reception module P11, an extraction module P12, and a transmission module P13. The main module P10 is a part that comprehensively controls the functions of the projection system 1 (server 20). The functions realized by executing the reception module P11, the extraction module P12, and the transmission module P13 are the same as the functions of the reception unit 21, the extraction unit 22, and the transmission unit 23, respectively.
投影プログラムP1は、CD−ROMやDVD−ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、投影プログラムP1は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。   The projection program P1 may be provided after being fixedly recorded on a tangible recording medium such as a CD-ROM, DVD-ROM, or semiconductor memory. Alternatively, the projection program P1 may be provided via a communication network as a data signal superimposed on a carrier wave.
以上説明したように、本発明の一側面に係る投影システムは、投影画像を制御する投影システムであって、画像を記憶する画像データベースから、取引のために陳列されている商品に対応する画像を抽出する抽出部と、抽出部により抽出された画像をプロジェクタに送信することで、該プロジェクタに、陳列された商品の表面に該画像を投影させる送信部とを備える。   As described above, the projection system according to one aspect of the present invention is a projection system that controls a projection image, and an image corresponding to a product displayed for a transaction is stored in an image database that stores the image. An extraction unit for extraction, and a transmission unit that causes the projector to project the image on the surface of the displayed product by transmitting the image extracted by the extraction unit to the projector.
本発明の一側面に係る投影方法は、投影画像を制御するプロセッサを備える投影システムにより実行される投影方法であって、画像を記憶する画像データベースから、取引のために陳列されている商品に対応する画像を抽出する抽出ステップと、抽出ステップにおいて抽出された画像をプロジェクタに送信することで、該プロジェクタに、陳列された商品の表面に該画像を投影させる送信ステップとを含む。   A projection method according to an aspect of the present invention is a projection method executed by a projection system including a processor that controls a projection image, and corresponds to a commodity displayed for a transaction from an image database storing the image. An extraction step of extracting an image to be transmitted, and a transmission step of causing the projector to project the image onto the surface of the displayed product by transmitting the image extracted in the extraction step to the projector.
本発明の一側面に係る投影プログラムは、投影画像を制御する投影システムとしてコンピュータを機能させる投影プログラムであって、画像を記憶する画像データベースから、取引のために陳列されている商品に対応する画像を抽出する抽出ステップと、抽出ステップにおいて抽出された画像をプロジェクタに送信することで、該プロジェクタに、陳列された商品の表面に該画像を投影させる送信ステップとをコンピュータに実行させる。   A projection program according to one aspect of the present invention is a projection program that causes a computer to function as a projection system that controls a projection image, and that corresponds to a product displayed for a transaction from an image database that stores the image. The computer executes the extraction step of extracting the image and the transmission step of causing the projector to project the image onto the surface of the displayed product by transmitting the image extracted in the extraction step to the projector.
このような側面においては、商品が陳列されているときには該商品に対応する画像が該商品の表面に表示されるが、人がその商品を手に取ると、その画像はもはやその商品には映らなくなる。この仕組みにより、商品が陳列されているときと、客が実際に商品を手に取ったときとで商品の見た目を変えることができる。すなわち、場面に応じて商品の見た目を変えることができる。   In this aspect, when a product is displayed, an image corresponding to the product is displayed on the surface of the product, but when a person picks up the product, the image is no longer displayed on the product. Disappear. With this mechanism, the appearance of the product can be changed between when the product is displayed and when the customer actually picks up the product. That is, the appearance of the product can be changed according to the scene.
図8はこのような効果の一例を示す。この例は、商品(飲料缶)80の外装そのものをシンプルなデザインにして(図8の左側)、陳列されている間だけ、追加のデザイン(例えば、宣伝文句、広告など)の画像90をプロジェクタにより商品の表面に映してその商品を目立たせる(図8の中央)。客がその商品80を手に取って購入した後には、当然ながらその画像(追加のデザイン)90は商品80の表面上に現れないので、客はシンプルな外装の商品80を持つことになる(図8の右側)。この仕組みを利用すれば、例えば、商品の外装そのものをシンプルで洗練された感じのデザインにしつつ、店頭では派手なデザインをその商品の表面に重畳表示させて注目を集めるようにすることができる。また、商品の表面に印刷すると却って客が敬遠する可能性が高いデザイン(例えば、宣伝文句、派手なデザインなど)を、印刷ではなく投影により商品の表面に表すことで、客が商品を手に取った以降にそのデザインを消すことができる。このような仕組みにより、商品の購入を促すことができる。   FIG. 8 shows an example of such an effect. In this example, the exterior of the product (beverage can) 80 has a simple design (the left side in FIG. 8), and an image 90 of an additional design (for example, an advertising phrase, an advertisement, etc.) is projected only while being displayed. To make the product stand out by reflecting on the surface of the product (center of FIG. 8). Since the image (additional design) 90 does not appear on the surface of the product 80 after the customer picks up and purchases the product 80, the customer has the product 80 with a simple exterior ( FIG. 8 right side). By using this mechanism, for example, while making the exterior of the product itself a simple and sophisticated design, a flashy design can be superimposed on the surface of the product to attract attention. In addition, by displaying on the surface of the product, instead of printing, a design that is likely to be avoided by the customer when printed on the surface of the product (for example, promotional words, flashy design, etc.), the customer can pick up the product. The design can be erased after it is taken. With such a mechanism, purchase of a product can be promoted.
さらに、図8の上段および下段に示すように、一つの商品80に対して投影画像90を自由に設定できる。例えば、上段の投影画像90は宣伝文句を表し、下段の投影画像90は商品の概念または印象を表す。例えば、客の種類や時間帯などに応じて適切な画像を、陳列されている商品に投影することができる。このことも商品の購入の促進につながり得る。   Furthermore, as shown in the upper and lower stages of FIG. 8, the projection image 90 can be freely set for one product 80. For example, the upper projected image 90 represents an advertising phrase, and the lower projected image 90 represents the concept or impression of a product. For example, it is possible to project an appropriate image on the displayed product according to the type of customer and the time zone. This can also lead to the promotion of product purchases.
他の側面に係る投影システムでは、陳列されている商品に付されたバーコードを読み取ったバーコードリーダからバーコードデータを受信するバーコード受信部をさらに備え、抽出部が、バーコードデータから抽出された商品IDに対応する画像を抽出してもよい。商品の種類を一意に特定するための商品IDを商品のバーコードから自動的に取得することで、商品に投影する画像を正確に設定することができる。   The projection system according to another aspect further includes a bar code receiving unit that receives bar code data from a bar code reader that has read a bar code attached to a displayed product, and the extraction unit extracts the bar code data from the bar code data. An image corresponding to the merchandise ID may be extracted. By automatically acquiring a product ID for uniquely identifying the type of product from the barcode of the product, it is possible to accurately set an image to be projected on the product.
他の側面に係る投影システムでは、陳列されている商品の前に来た人を撮影したカメラから撮影画像を受信する画像受信部をさらに備え、抽出部が、撮影画像に対する画像認識を実行することで人の属性を判定し、陳列されている商品および該属性に対応する画像を抽出してもよい。この仕組みにより、商品を見ていると推定される人に合った画像をその商品に投影することができる。   The projection system according to another aspect further includes an image receiving unit that receives a captured image from a camera that captured a person who came in front of the displayed product, and the extraction unit performs image recognition on the captured image. The attributes of the person may be determined and the displayed products and images corresponding to the attributes may be extracted. With this mechanism, an image suitable for a person who is estimated to be viewing a product can be projected onto the product.
他の側面に係る投影システムでは、抽出部が、陳列されている商品および現在時刻に対応する画像を抽出してもよい。この仕組みにより、時間帯に応じた画像を商品に投影することができる。   In the projection system according to another aspect, the extraction unit may extract an image corresponding to the displayed product and the current time. With this mechanism, an image corresponding to a time zone can be projected onto a product.
他の側面に係る投影システムでは、商品が棚に陳列され、プロジェクタが棚の棚板に取り付けられてもよい。   In the projection system according to another aspect, the product may be displayed on the shelf, and the projector may be attached to the shelf plate of the shelf.
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。   The present invention has been described in detail based on the embodiments. However, the present invention is not limited to the above embodiment. The present invention can be variously modified without departing from the gist thereof.
上記実施形態では受信部21がバーコードデータおよび撮影画像を受信したが、受信部21はこれら2種類のデータのうちいずれか一つのみを受信してもよい。あるいは、投影システムは受信部を備えなくてもよい。例えば、商品と、その商品に投影する画像とが予め決まっているのであれば、投影システムはその画像を画像データベースから読み出してプロジェクタに送信すればよい。   In the above embodiment, the receiving unit 21 receives the barcode data and the captured image, but the receiving unit 21 may receive only one of these two types of data. Alternatively, the projection system may not include the receiving unit. For example, if a product and an image to be projected onto the product are determined in advance, the projection system may read the image from the image database and send it to the projector.
上述したとおり、商品の種類は限定されない。例えば、商品は缶、瓶、またはペットボトルに入った飲料でもよいし、食料品でもよい。あるいは、商品は生理用品や避妊具などの衛生用品であってもよく、この場合には、店頭での購入手続の際に一般に行われているような、衛生商品を紙袋に入れる作業が不要になる。もちろん、商品は、食品および衛生用品以外の任意の有体物であってもよい。   As described above, the type of product is not limited. For example, the product may be a beverage in a can, a bottle or a plastic bottle, or a food product. Alternatively, the product may be a sanitary product such as a sanitary product or a contraceptive device, and in this case, it is not necessary to put the sanitary product in a paper bag, which is generally performed during a purchase procedure at a store. Become. Of course, the product may be any tangible object other than food and sanitary goods.
画像の投影方法は限定されない。例えば、1台のプロジェクタからの画像が複数個の同一商品に跨がって映るようにプロジェクタと商品との位置関係を調整してもよい。あるいは、隣り合う二列の同一商品について、各列にバーコードリーダを設け、各列の投影画像が異なるように画像情報(画像および投影条件)を設定することで、同一商品に投影される画像を列ごとに異ならせてもよい。   The image projection method is not limited. For example, the positional relationship between the projector and the product may be adjusted so that an image from one projector is projected over a plurality of the same product. Alternatively, for the same product in two adjacent rows, an image projected on the same product by providing a barcode reader in each column and setting image information (image and projection conditions) so that the projection image in each column is different May be different for each column.
商品に印刷された元々のデザインと投影画像との位置関係も何ら限定されない。例えば、商品の元々のデザインと投影画像とが重なり合ってもよい。あるいは、そのような重畳が起こらないように、商品そのものデザインと画像が投影される位置との少なくとも一方を調整してもよい。例えば、商品そのもののデザイン(このデザインは原材料または栄養成分の表示を含み得る)を商品の上部または下部に印刷して商品の中央部には何も印刷せず、この中央部に画像を投影してもよい。   The positional relationship between the original design printed on the product and the projected image is not limited. For example, the original design of the product and the projected image may overlap. Alternatively, at least one of the design of the product itself and the position where the image is projected may be adjusted so that such superposition does not occur. For example, the design of the product itself (this design may include an indication of ingredients or nutrients) is printed on the top or bottom of the product, nothing is printed on the center of the product, and an image is projected on this center. May be.
バーコードリーダ、カメラ、プロジェクタ、およびデータベース群は、投影システム以外の他のシステムに属していてもよい。   The barcode reader, camera, projector, and database group may belong to a system other than the projection system.
本発明の一側面に係る投影システムをA/Bテストに利用してもよい。例えば、投影システムは、第1の期間では、ある商品の特定の列に画像Axを投影させ該商品の別の列に画像Ayを投影させる。その後の第2の期間では、投影システムは、その商品の特定の列に画像Bxを投影させ該商品の別の列に画像Byを投影させる。そして、投影システムは、第1および第2の期間での該商品の販売数を比較し、その後(第3の期間)は、販売数が多かった方の画像を表示させる。投影システムは、各商品の販売数を記憶するデータベースを参照して、該第3の期間における投影画像を決定する。このように投影システムを用いることで、従来は行われていなかった実店舗でのA/Bテストを実施できる。   The projection system according to one aspect of the present invention may be used for A / B testing. For example, in the first period, the projection system projects the image Ax on a specific column of a product and the image Ay on another column of the product. In the second period thereafter, the projection system projects the image Bx onto a specific column of the product and projects the image By onto another column of the product. Then, the projection system compares the number of sales of the product in the first and second periods, and thereafter (the third period) displays the image with the larger number of sales. The projection system determines a projection image in the third period with reference to a database that stores the number of sales of each product. By using the projection system in this way, an A / B test at an actual store, which has not been performed conventionally, can be performed.
少なくとも一つのプロセッサにより実行される投影システムでの処理手順は上記実施形態での例に限定されない。例えば、投影システムは上述したステップ(処理)の一部を省略してもよいし、別の順序で各ステップを実行してもよい。また、上述したステップのうちの任意の2以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、投影システムは上記の各ステップに加えて他のステップを実行してもよい。   The processing procedure in the projection system executed by at least one processor is not limited to the example in the above embodiment. For example, the projection system may omit some of the steps (processes) described above, or may execute the steps in a different order. Also, any two or more of the steps described above may be combined, or a part of the steps may be corrected or deleted. Alternatively, the projection system may perform other steps in addition to the above steps.
1…投影システム、2…バーコードリーダ、3…カメラ、4…プロジェクタ、10…データベース群、11…機器データベース、12…画像データベース、20…サーバ、21…受信部(バーコード受信部および画像受信部)、22…抽出部、23…送信部、P1…投影プログラム、P10…メインモジュール、P11…受信モジュール、P12…抽出モジュール、P13…送信モジュール。   DESCRIPTION OF SYMBOLS 1 ... Projection system, 2 ... Bar code reader, 3 ... Camera, 4 ... Projector, 10 ... Database group, 11 ... Equipment database, 12 ... Image database, 20 ... Server, 21 ... Receiving part (Bar code receiving part and image receiving) Part), 22 ... extraction part, 23 ... transmission part, P1 ... projection program, P10 ... main module, P11 ... reception module, P12 ... extraction module, P13 ... transmission module.

Claims (7)

  1. 投影画像を制御する投影システムであって、
    画像を記憶する画像データベースから、取引のために陳列されている商品に対応する前記画像を抽出する抽出部と、
    前記抽出部により抽出された画像をプロジェクタに送信することで、該プロジェクタに、前記陳列された商品の表面に該画像を投影させる送信部と
    を備える投影システム。
    A projection system for controlling a projection image,
    An extraction unit for extracting the image corresponding to the commodity displayed for the transaction from the image database storing the image;
    A projection system comprising: a transmission unit that causes the projector to project the image onto the surface of the displayed product by transmitting the image extracted by the extraction unit to the projector.
  2. 前記陳列されている商品に付されたバーコードを読み取ったバーコードリーダからバーコードデータを受信するバーコード受信部をさらに備え、
    前記抽出部が、前記バーコードデータから抽出された商品IDに対応する前記画像を抽出する、
    請求項1に記載の投影システム。
    A bar code receiving unit for receiving bar code data from a bar code reader that has read a bar code attached to the displayed product;
    The extraction unit extracts the image corresponding to the product ID extracted from the barcode data;
    The projection system according to claim 1.
  3. 前記陳列されている商品の前に来た人を撮影したカメラから撮影画像を受信する画像受信部をさらに備え、
    前記抽出部が、前記撮影画像に対する画像認識を実行することで前記人の属性を判定し、前記陳列されている商品および該属性に対応する前記画像を抽出する、
    請求項1または2に記載の投影システム。
    An image receiving unit that receives a photographed image from a camera that photographed a person who came in front of the displayed product;
    The extraction unit determines the attribute of the person by executing image recognition on the captured image, and extracts the displayed product and the image corresponding to the attribute;
    The projection system according to claim 1 or 2.
  4. 前記抽出部が、前記陳列されている商品および現在時刻に対応する前記画像を抽出する、
    請求項1〜3のいずれか一項に記載の投影システム。
    The extraction unit extracts the image corresponding to the displayed product and the current time;
    The projection system as described in any one of Claims 1-3.
  5. 前記商品が棚に陳列され、
    前記プロジェクタが前記棚の棚板に取り付けられた、
    請求項1〜4のいずれか一項に記載の投影システム。
    The goods are displayed on a shelf,
    The projector is mounted on a shelf plate of the shelf;
    The projection system as described in any one of Claims 1-4.
  6. 投影画像を制御するプロセッサを備える投影システムにより実行される投影方法であって、
    画像を記憶する画像データベースから、取引のために陳列されている商品に対応する前記画像を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出された画像をプロジェクタに送信することで、該プロジェクタに、前記陳列された商品の表面に該画像を投影させる送信ステップと
    を含む投影方法。
    A projection method performed by a projection system comprising a processor for controlling a projection image, comprising:
    Extracting from the image database storing the image the image corresponding to the item being displayed for the transaction;
    A projecting method comprising: transmitting the image extracted in the extracting step to a projector, thereby causing the projector to project the image onto a surface of the displayed commodity.
  7. 投影画像を制御する投影システムとしてコンピュータを機能させる投影プログラムであって、
    画像を記憶する画像データベースから、取引のために陳列されている商品に対応する前記画像を抽出する抽出ステップと、
    前記抽出ステップにおいて抽出された画像をプロジェクタに送信することで、該プロジェクタに、前記陳列された商品の表面に該画像を投影させる送信ステップと
    を前記コンピュータに実行させる投影プログラム。
    A projection program for causing a computer to function as a projection system for controlling a projection image,
    Extracting from the image database storing the image the image corresponding to the item being displayed for the transaction;
    A projection program that causes the computer to execute a transmission step of causing the projector to project the image onto the surface of the displayed product by transmitting the image extracted in the extraction step to the projector.
JP2016123557A 2016-06-22 2016-06-22 Projection system, projection method, and projection program Active JP6716359B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016123557A JP6716359B2 (en) 2016-06-22 2016-06-22 Projection system, projection method, and projection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016123557A JP6716359B2 (en) 2016-06-22 2016-06-22 Projection system, projection method, and projection program

Publications (2)

Publication Number Publication Date
JP2017228921A true JP2017228921A (en) 2017-12-28
JP6716359B2 JP6716359B2 (en) 2020-07-01

Family

ID=60889388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016123557A Active JP6716359B2 (en) 2016-06-22 2016-06-22 Projection system, projection method, and projection program

Country Status (1)

Country Link
JP (1) JP6716359B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018207196A1 (en) * 2018-05-09 2019-11-14 Robert Bosch Gmbh System for providing information on objects
WO2020203380A1 (en) * 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 Clearing and settlement device, and unmanned store system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156591A (en) * 2003-11-20 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> Method and system for displaying article information, server system, program, and recording medium for the same
JP2008170637A (en) * 2007-01-10 2008-07-24 Brother Ind Ltd Controller for presentation system, and presentation system
JP2008194120A (en) * 2007-02-09 2008-08-28 Toshiba Tec Corp Display shelf
JP2009008905A (en) * 2007-06-28 2009-01-15 Ricoh Co Ltd Information display apparatus and information display system
JP2009251849A (en) * 2008-04-04 2009-10-29 Seiko Epson Corp Commodity price management system, control method and program for commodity price management system
JP2011090386A (en) * 2009-10-20 2011-05-06 Sharp Corp Information display device
JP2011180745A (en) * 2010-02-26 2011-09-15 Nec Corp Evaluation comment display system and evaluation comment display method
JP2014028697A (en) * 2012-06-26 2014-02-13 Toyota Industries Corp Work support device
WO2014132525A1 (en) * 2013-03-01 2014-09-04 日本電気株式会社 Information processing system, and information processing method
JP2015220661A (en) * 2014-05-20 2015-12-07 株式会社リコー Projection system, information processor, information processing method, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156591A (en) * 2003-11-20 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> Method and system for displaying article information, server system, program, and recording medium for the same
JP2008170637A (en) * 2007-01-10 2008-07-24 Brother Ind Ltd Controller for presentation system, and presentation system
JP2008194120A (en) * 2007-02-09 2008-08-28 Toshiba Tec Corp Display shelf
JP2009008905A (en) * 2007-06-28 2009-01-15 Ricoh Co Ltd Information display apparatus and information display system
JP2009251849A (en) * 2008-04-04 2009-10-29 Seiko Epson Corp Commodity price management system, control method and program for commodity price management system
JP2011090386A (en) * 2009-10-20 2011-05-06 Sharp Corp Information display device
JP2011180745A (en) * 2010-02-26 2011-09-15 Nec Corp Evaluation comment display system and evaluation comment display method
JP2014028697A (en) * 2012-06-26 2014-02-13 Toyota Industries Corp Work support device
WO2014132525A1 (en) * 2013-03-01 2014-09-04 日本電気株式会社 Information processing system, and information processing method
JP2015220661A (en) * 2014-05-20 2015-12-07 株式会社リコー Projection system, information processor, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018207196A1 (en) * 2018-05-09 2019-11-14 Robert Bosch Gmbh System for providing information on objects
WO2020203380A1 (en) * 2019-03-29 2020-10-08 パナソニックIpマネジメント株式会社 Clearing and settlement device, and unmanned store system

Also Published As

Publication number Publication date
JP6716359B2 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
US10580052B2 (en) Systems and methods for controlling shelf display units and for graphically presenting information on shelf display units
US7873543B2 (en) Systems and methods for managing product purchase information over a network
JP2010097256A (en) Information providing device, information providing method and program
JP5768010B2 (en) Signage system and program
CN103503013A (en) Method and system for creating a personalized experience with video in connection with a stored value token
US20190188782A1 (en) Intelligent Shelf Display System
US20150032572A1 (en) Apparatus and method for facilitating on-line transactions and/or electronic commerce transactions
JP2017228921A (en) Projection system, projection method, and projection program
US10354131B2 (en) Product information outputting method, control device, and computer-readable recording medium
CN112585667A (en) Intelligent platform counter display system and method
US20090228359A1 (en) Method and system for advertising on a self-service order station
US20150106200A1 (en) Enhancing a user&#39;s experience by providing related content
JP2006215842A (en) Human movement line tracing system and advertisement display control system
US20150058170A1 (en) Digital signage system, digital signage, article information presenting method and program
JP6781906B2 (en) Sales information usage device, sales information usage method, and program
JP2013210970A (en) Coordination list providing system and program
KR20190021964A (en) Shelf Display Device for Displaying Information of Goods and Supporting Purchase of Goods and Display System Including That Shelf Display Device and Method for Operating That Shelf Display Device
US20170061491A1 (en) Product information display system, control device, control method, and computer-readable recording medium
US20170061475A1 (en) Product information outputting method, control device, and computer-readable recording medium
JP2020126688A (en) Customer service support device, customer service support method, and program
TWM540332U (en) Augmented reality shopping system
US10896330B1 (en) Electronic device, interactive information display method and computer readable recording medium
JP3213960U (en) Information display card and advertisement pop
WO2020174526A1 (en) Processing device, processing method, and program
JP2019212039A (en) Information processing device, information processing method, program, and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200610

R150 Certificate of patent or registration of utility model

Ref document number: 6716359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150