JP2021176046A

JP2021176046A - Information providing device, information processing device, information display system and program

Info

Publication number: JP2021176046A
Application number: JP2020081341A
Authority: JP
Inventors: 真一小島; Shinichi Kojima; 妃美松島; Kimi Matsushima
Original assignee: Showa Aluminum Can Corp
Current assignee: Altemira Co Ltd
Priority date: 2020-05-01
Filing date: 2020-05-01
Publication date: 2021-11-04

Abstract

To provide an information processing device, etc. which can provide provision information even without displaying identification information on a beverage container.SOLUTION: An information providing device comprises: a transmission and reception unit 310 which acquires an image of a beverage container 50; a specification unit 330 which specifies a content of the beverage container 50 from a shape of the beverage container 50; and a determination unit 340 which determines provision information which is information including at least image information and to be provided to a user, and is information according to the specified content.SELECTED DRAWING: Figure 4

Description

本発明は、情報提供装置、情報処理装置、情報表示システム、プログラムに関する。 The present invention relates to an information providing device, an information processing device, an information display system, and a program.

近年、拡張現実（ＡＲ：Augmented Reality）を用い、ユーザに対し商品に付随する商品付随情報を画像や音声にて提供するシステムが考えられている。 In recent years, a system has been considered in which augmented reality (AR) is used to provide a user with information accompanying a product by an image or sound.

特許文献１には、ＡＲ利用顧客付加価値情報提供システムが開示されている。このＡＲ利用顧客付加価値情報提供システムは、商品顧客等の利用者が、商品又は商品外装、包装箱に付された第１の識別情報を情報端末機器等で読み取ることによって、情報取得機構がインターネット等を介して第２の情報を読み出し、例えば第２の情報として商品の組立方法や安全使用方法等の商品付随情報を商品顧客等に提供をする。 Patent Document 1 discloses an AR-using customer value-added information providing system. In this AR-based customer value-added information providing system, a user such as a product customer reads the first identification information attached to the product, the product exterior, or the packaging box with an information terminal device or the like, so that the information acquisition mechanism can use the Internet. The second information is read out through the above, and for example, the product incidental information such as the product assembly method and the safe use method is provided to the product customer or the like as the second information.

特開２０１６−１２３４９号公報Japanese Unexamined Patent Publication No. 2016-12349

従来、商品に付された識別情報を端末機器等で読み取ることで、商品を特定し、さらにユーザに提供する提供情報を決定することが行われている。
この場合、識別情報を商品に印刷等により表示する必要がある。商品が飲料である場合、この飲料を充填する飲料容器に、商品名や成分表示などとともに、識別情報としてバーコードなどを表示することになる。しかしながら、飲料容器上で識別情報を表示できる領域は、必ずしも十分であるとは言えず、表示するのが困難である場合がある。また、識別情報を表示した場合、印刷等を施した飲料容器のデザイン上の美観を低下させる場合がある。
本発明は、飲料容器に識別情報を表示しなくても、提供情報を提供することができる情報処理装置等を提供しようとするものである。 Conventionally, by reading the identification information attached to a product with a terminal device or the like, the product is identified and the information to be provided to the user is determined.
In this case, it is necessary to display the identification information on the product by printing or the like. When the product is a beverage, a bar code or the like is displayed as identification information on the beverage container filled with the beverage, along with the product name and ingredient display. However, the area on which the identification information can be displayed on the beverage container is not always sufficient, and it may be difficult to display the identification information. In addition, when the identification information is displayed, the aesthetic appearance of the printed beverage container may be deteriorated.
The present invention is intended to provide an information processing device or the like capable of providing provided information without displaying the identification information on the beverage container.

かくして本発明によれば、飲料容器の画像を取得する画像取得部と、飲料容器の形状から飲料容器の内容物を特定する特定部と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を決定する決定部と、を備える情報提供装置が提供される。 Thus, according to the present invention, it is information provided to the user including at least image information, an image acquisition unit for acquiring an image of the beverage container, a specific unit for specifying the contents of the beverage container from the shape of the beverage container, and the like. An information providing device including a determination unit for determining provided information, which is information according to the specified contents, is provided.

ここで、画像情報は、飲料容器とともに拡張現実にて表示する画像を表示するものであるようにすることができる。この場合、ユーザは、飲料容器に応じた提供情報を、より直感的に把握することができる。
また、拡張現実にて表示する画像情報は、飲料容器の上に位置するように表示されるキャラクタを表示するためのものとすることができる。この場合、キャラクタが表示される位置が、より自然になる。
さらに、特定部は、飲料容器に印刷された印刷画像をさらに加えて内容物を特定するようにすることができる。この場合、特定される内容物の精度が向上する。
またさらに、特定部は、印刷画像の中の文字情報を基に、内容物を特定するようにすることができる。この場合、内容物の特定が、さらに容易になる。
そして、決定部は、ユーザに関する情報であるユーザ情報を加味して、提供情報を決定するようにすることができる。この場合、個々のユーザに合わせた情報を提供情報として提供することができる。
また、ユーザ情報は、ユーザが飲料容器の内容物を飲んだ履歴を含むことができる。この場合、ユーザが過去に飲んだ飲料を基に提供情報を決定することができる。
さらに、決定部は、履歴に基づき、ユーザに付与する特典を提供情報に含ませることができる。この場合、付与された特典をユーザに知らせることができる。
またさらに、決定部は、ユーザ情報を基に、飲料容器の内容物を飲む行為に関し、ユーザに対するアドバイスを提供情報に含ませることができる。この場合、ユーザに、さらに有用な情報を提供情報として提供できる。 Here, the image information can be set to display an image to be displayed in augmented reality together with the beverage container. In this case, the user can more intuitively grasp the provided information according to the beverage container.
Further, the image information displayed in augmented reality can be used to display a character displayed so as to be located on the beverage container. In this case, the position where the character is displayed becomes more natural.
Further, the identification unit can further add a printed image printed on the beverage container to identify the contents. In this case, the accuracy of the identified content is improved.
Furthermore, the specific unit can specify the content based on the character information in the printed image. In this case, the contents can be identified more easily.
Then, the determination unit can determine the provided information by adding the user information which is the information about the user. In this case, information tailored to each user can be provided as provided information.
In addition, the user information can include a history of the user drinking the contents of the beverage container. In this case, the information to be provided can be determined based on the beverage that the user has drank in the past.
Further, the determination unit can include the privilege to be given to the user in the provided information based on the history. In this case, the user can be notified of the granted privilege.
Furthermore, the decision-making unit can include advice for the user in the provided information regarding the act of drinking the contents of the beverage container based on the user information. In this case, more useful information can be provided to the user as provided information.

また、本発明によれば、撮影装置から飲料容器の画像を取得する撮影画像取得部と、取得した画像を基に、抽出された飲料容器の形状から特定された内容物に応じ、ユーザに提供する画像情報を含む提供情報を表示する制御を行う表示制御部と、を備える情報処理装置が提供される。 Further, according to the present invention, a photographed image acquisition unit that acquires an image of a beverage container from an imaging device and a content specified from the shape of the beverage container extracted based on the acquired image are provided to the user. An information processing device including a display control unit that controls display of provided information including image information to be processed is provided.

さらに、本発明によれば、飲料容器の画像を撮影する撮影手段と、撮影した画像を基に、抽出された飲料容器の形状から特定された内容物に応じ、ユーザに提供する画像情報を含む提供情報を提供する情報提供手段と、提供情報を表示する表示手段と、表示手段に表示する画像を制御する表示制御手段と、を備え、情報提供手段は、飲料容器の画像を取得する画像取得部と、飲料容器の形状から飲料容器の内容物を特定する特定部と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を決定する決定部と、を備える情報表示システムが提供される。 Further, according to the present invention, an imaging means for capturing an image of the beverage container and image information provided to the user according to the contents specified from the shape of the beverage container extracted based on the captured image are included. The information providing means includes an information providing means for providing the provided information, a display means for displaying the provided information, and a display controlling means for controlling an image to be displayed on the display means, and the information providing means acquires an image of a beverage container. Determines a unit, a specific unit that identifies the contents of the beverage container from the shape of the beverage container, and information to be provided to the user, including at least image information, which is information according to the specified contents. An information display system including a decision unit is provided.

そして、本発明によれば、コンピュータに、飲料容器の画像を取得する画像取得機能と、飲料容器の形状から飲料容器の内容物を特定する特定機能と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を決定する決定機能と、を実現させるためのプログラムが提供される。 According to the present invention, the computer includes an image acquisition function for acquiring an image of the beverage container, a specific function for identifying the contents of the beverage container from the shape of the beverage container, and at least image information, and provides the user with the image information. A program for realizing a decision function for determining provided information, which is information according to a specified content, is provided.

本発明によれば、飲料容器に識別情報を表示しなくても、提供情報を提供することができる情報処理装置等を提供することができる。 According to the present invention, it is possible to provide an information processing device or the like capable of providing provided information without displaying the identification information on the beverage container.

本実施の形態におけるＡＲ表示システムの構成例を示す図である。It is a figure which shows the configuration example of the AR display system in this embodiment. ＡＲ表示システムの概略動作について示した図である。It is a figure which showed the schematic operation of the AR display system. （Ａ）〜（Ｃ）は、本実施形態の飲料容器の説明図である。(A) to (C) are explanatory views of the beverage container of this embodiment. 第１の実施形態におけるＡＲ表示システムの機能構成例を示したブロック図である。It is a block diagram which showed the functional structure example of the AR display system in 1st Embodiment. （Ａ）〜（Ｇ）は、飲料容器の側面方向から見た外形形状を示した図である。(A) to (G) are views showing the outer shape seen from the side surface direction of the beverage container. 提供情報を基に、端末装置で表示されるＡＲの画像の一例を示した図である。It is a figure which showed an example of the image of AR displayed by the terminal device based on the provided information. 提供情報管理テーブルについて示した図である。It is a figure which showed the provided information management table. 第２の実施形態におけるＡＲ表示システムの機能構成例を示したブロック図である。It is a block diagram which showed the functional structure example of the AR display system in 2nd Embodiment. 記憶部に記憶されているユーザ情報の一例を示した図である。It is a figure which showed an example of the user information stored in the storage part. ユーザに対するアドバイスを付与したＡＲの画像の第１の例について示した図である。It is a figure which showed the 1st example of the image of AR which gave advice to a user. ユーザに対するアドバイスを付与したＡＲの画像の第２の例について示した図である。It is a figure which showed the 2nd example of the image of AR which gave advice to a user. ＡＲ表示システムの動作を説明したフローチャートである。It is a flowchart explaining the operation of the AR display system.

以下、本発明を実施する形態について詳細に説明する。なお、本発明は、以下の実施の形態に限定されるものではなく、その要旨の範囲内で種々変形して実施することが出来る。また、使用する図面は本実施の形態を説明するためのものであり、実際の大きさを表すものではない。 Hereinafter, embodiments of the present invention will be described in detail. The present invention is not limited to the following embodiments, and can be variously modified and implemented within the scope of the gist thereof. In addition, the drawings used are for explaining the present embodiment and do not represent the actual size.

＜ＡＲ表示システム１全体の説明＞
図１は、本実施の形態におけるＡＲ表示システム１の構成例を示す図である。
本実施の形態のＡＲ表示システム１は、情報表示システムの一例であり、図示するように、ユーザが所有する端末装置１０と、端末装置１０を介してユーザにサービスを提供するサーバ装置３０と、を備えている。そして、本実施形態のＡＲ表示システム１において、端末装置１０およびサーバ装置３０は、ネットワーク４０を介して相互に情報通信が可能になっている。また、本実施の形態におけるＡＲ表示システム１を構成するものではないが、飲料容器５０を併せて図示している。 <Explanation of the entire AR display system 1>
FIG. 1 is a diagram showing a configuration example of the AR display system 1 according to the present embodiment.
The AR display system 1 of the present embodiment is an example of an information display system, and as shown in the figure, a terminal device 10 owned by the user, a server device 30 that provides a service to the user via the terminal device 10, and a server device 30. It has. Then, in the AR display system 1 of the present embodiment, the terminal device 10 and the server device 30 can communicate with each other via the network 40. Further, although it does not constitute the AR display system 1 in the present embodiment, the beverage container 50 is also shown in the figure.

端末装置１０は、情報処理装置の一例であり、飲料容器５０を撮影すると、サーバ装置３０から提供される提供情報を基にＡＲを表示する装置である。ここで、「提供情報」とは、少なくとも画像情報を含み、ユーザに提供する情報であって、飲料容器５０の内容物に応じた情報である。この画像情報は、例えば、飲料容器５０とともにＡＲにて表示する画像を表示するものである。また、「内容物」は、飲料容器５０の内部に充填される飲料であり、特に限られるものではない。「内容物」としては、例えば、ジュース、茶、コーヒー、紅茶、コーラ、サイダーなどのソフトドリンクや、ビール、ウィスキー、ブランデー、ワインなどの酒類が挙げられる。
端末装置１０は、例えば、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のモバイル端末である。端末装置１０は、無線通信を行い、ネットワーク４０に接続する。 The terminal device 10 is an example of an information processing device, and is a device that displays AR based on the provided information provided by the server device 30 when the beverage container 50 is photographed. Here, the "provided information" includes at least image information and is information provided to the user according to the contents of the beverage container 50. This image information displays, for example, an image to be displayed in AR together with the beverage container 50. Further, the "content" is a beverage filled inside the beverage container 50, and is not particularly limited. Examples of the "contents" include soft drinks such as juice, tea, coffee, black tea, cola and cider, and alcoholic beverages such as beer, whiskey, brandy and wine.
The terminal device 10 is, for example, a mobile terminal such as a mobile computer, a mobile phone, a smartphone, or a tablet. The terminal device 10 performs wireless communication and connects to the network 40.

サーバ装置３０は、情報提供装置若しくは情報提供手段の一例であり、ＡＲ表示システム１の全体の管理をするサーバコンピュータである。サーバ装置３０がクラウド上に設けられる場合、サーバ装置３０は、クラウドサーバであると言うこともできる。サーバ装置３０は、端末装置１０に対し、ＡＲを表示するための画像情報を含む提供情報を作成する。 The server device 30 is an example of an information providing device or an information providing means, and is a server computer that manages the entire AR display system 1. When the server device 30 is provided on the cloud, the server device 30 can also be said to be a cloud server. The server device 30 creates provided information including image information for displaying AR for the terminal device 10.

端末装置１０およびサーバ装置３０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ、およびＨＤＤやＳＳＤ（Solid State Drive）等のストレージを備える。ＣＰＵは、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、端末装置１０およびサーバ装置３０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示デバイスと、キーボードやマウス等の入力デバイスとを備える。
また、端末装置１０は、飲料容器５０の画像を撮影する撮影手段あるいは撮影装置の一例であるカメラと、音声等の音を出力するスピーカとを備える。 The terminal device 10 and the server device 30 include a CPU (Central Processing Unit) which is a calculation means, a main memory which is a storage means, and storage such as an HDD and an SSD (Solid State Drive). The CPU executes various software such as OS (basic software) and application software (application software). The main memory is a storage area for storing various software and data used for executing the software, and the storage is a storage area for storing input data for various software and output data from various software.
Further, the terminal device 10 and the server device 30 include a communication interface for communicating with the outside (hereinafter referred to as "communication I / F"), a display device including a video memory, a display, and the like, and a keyboard and a mouse. It is equipped with an input device such as.
Further, the terminal device 10 includes a photographing means for capturing an image of the beverage container 50 or a camera which is an example of the photographing device, and a speaker for outputting sound such as voice.

端末装置１０に備えられたＣＰＵ、メインメモリおよびストレージは、表示デバイスに表示する画像を制御する表示制御手段として機能する。また、端末装置１０に備えられた表示デバイスは、提供情報を表示する表示手段として機能する。 The CPU, main memory, and storage provided in the terminal device 10 function as display control means for controlling an image to be displayed on the display device. Further, the display device provided in the terminal device 10 functions as a display means for displaying the provided information.

ネットワーク４０は、端末装置１０およびサーバ装置３０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットである。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用してもよい。また、端末装置１０やサーバ装置３０は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されてもよい。 The network 40 is a communication means used for information communication between the terminal device 10 and the server device 30, and is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet. The communication line used for data communication may be a combination of these, regardless of whether it is wired or wireless. Further, the terminal device 10 and the server device 30 may be connected via a plurality of networks or communication lines by using a relay device such as a gateway device or a router.

＜ＡＲ表示システム１の動作の概略説明＞
図２は、ＡＲ表示システム１の概略動作について示した図である。
まず、端末装置１０を操作するユーザが、飲料容器５０を撮影する（１Ａ）。撮影は、端末装置１０に備えられたカメラを用いてユーザが行う。そして、飲料容器５０の撮影画像は、飲料容器５０の撮影情報として、サーバ装置３０に送られる（１Ｂ）。
飲料容器５０の撮影情報を受け取ったサーバ装置３０は、撮影画像を基に、飲料容器５０の内容物を特定する（１Ｃ）。
そして、サーバ装置３０は、内容物に応じ、ユーザに提供する提供情報を作成する（１Ｄ）。この提供情報には、上述したように、ＡＲを表示するための画像情報が含まれる。
サーバ装置３０で作成された提供情報は、端末装置１０に送られる（１Ｅ）。
そして、端末装置１０では、提供情報を基に、ＡＲが表示される（１Ｆ）。 <Outline of operation of AR display system 1>
FIG. 2 is a diagram showing a schematic operation of the AR display system 1.
First, the user who operates the terminal device 10 photographs the beverage container 50 (1A). The shooting is performed by the user using the camera provided in the terminal device 10. Then, the photographed image of the beverage container 50 is sent to the server device 30 as the photographed information of the beverage container 50 (1B).
The server device 30 that has received the photographed information of the beverage container 50 identifies the contents of the beverage container 50 based on the photographed image (1C).
Then, the server device 30 creates the provided information to be provided to the user according to the contents (1D). As described above, this provided information includes image information for displaying AR.
The provided information created by the server device 30 is sent to the terminal device 10 (1E).
Then, in the terminal device 10, AR is displayed based on the provided information (1F).

つまり、本実施形態のＡＲ表示システム１では、撮影画像を基に、飲料容器５０の内容物を特定し、これに応じて端末装置１０に対して画像や音声などを含む提供情報を送信するサービスを実現する。本実施形態のＡＲ表示システム１では、飲料容器５０が映る画像に対し、提供情報としての所定画像を重畳表示するなどのＡＲ（拡張現実）表示を行うことで、飲料が充填された飲料容器５０を購入したユーザに対して新たな顧客体験を創出する。 That is, in the AR display system 1 of the present embodiment, the contents of the beverage container 50 are specified based on the captured image, and the provided information including the image and the sound is transmitted to the terminal device 10 according to the contents. To realize. In the AR display system 1 of the present embodiment, the beverage container 50 filled with a beverage is displayed by performing AR (augmented reality) display such as superimposing a predetermined image as provided information on the image on which the beverage container 50 is displayed. Create a new customer experience for users who have purchased.

端末装置１０は、例えばネットワークを介してダウンロードされた、ＡＲ（拡張現実）表示システム１のためのウェブアプリケーション（以下、単にウェブアプリケーションと呼ぶ）がインストールされる。本実施形態のウェブアプリケーションは、飲料容器５０の内容物に応じた提供情報を提供するために、端末装置１０が搭載しているハードウェアや端末装置１０に予めインストールされているソフトウェアなどの端末装置１０のリソースを動作させる。具体的には、本実施形態のウェブアプリケーションは、端末装置１０のリソースを動作させることで、飲料容器５０を含む被写体の撮影や画面における表示、サーバ装置３０等への撮影情報などの情報の送信、サーバ装置３０等からの提供情報などの情報の受信、画面における提供情報などの画像の表示、画面を介したユーザの操作や指示の受け付けなどの各種の機能を実現する。 The terminal device 10 is installed with a web application (hereinafter, simply referred to as a web application) for the AR (augmented reality) display system 1 downloaded via a network, for example. The web application of the present embodiment is a terminal device such as hardware mounted on the terminal device 10 or software pre-installed on the terminal device 10 in order to provide provided information according to the contents of the beverage container 50. Operate 10 resources. Specifically, the web application of the present embodiment operates the resources of the terminal device 10 to shoot a subject including the beverage container 50, display it on a screen, and transmit information such as shooting information to the server device 30 and the like. , Receiving information such as provided information from the server device 30 and the like, displaying images such as provided information on the screen, and realizing various functions such as receiving user operations and instructions via the screen.

一方、サーバ装置３０には、飲料容器５０の内容物と提供情報とが対応付けられて登録されている。なお、飲料容器５０の内容物と提供情報との登録は、ＡＲ表示システム１を用いたサービスを提供するサービス提供者や、例えば飲料が充填された飲料容器５０を販売する製造メーカなどが設定することができる。 On the other hand, in the server device 30, the contents of the beverage container 50 and the provided information are registered in association with each other. The registration of the contents of the beverage container 50 and the provided information is set by a service provider who provides a service using the AR display system 1, for example, a manufacturer who sells a beverage container 50 filled with a beverage, and the like. be able to.

そして、端末装置１０では、ウェブアプリケーションに基づくビューワが起動され、飲料容器５０の撮影が行われる。端末装置１０は、撮影した撮影情報をサーバ装置３０に送信する。サーバ装置３０では、飲料容器５０の内容物および提供情報との関係が管理されている。そして、サーバ装置３０は、端末装置１０から撮影情報を受信した場合に、その撮影情報から特定でき、飲料容器５０の内容物に対応する提供情報を、端末装置１０に対して送信する。さらに、端末装置１０では、受信した提供情報がビューワによって表示される。 Then, in the terminal device 10, the viewer based on the web application is activated, and the beverage container 50 is photographed. The terminal device 10 transmits the photographed shooting information to the server device 30. The server device 30 manages the relationship between the contents of the beverage container 50 and the provided information. Then, when the server device 30 receives the shooting information from the terminal device 10, the server device 30 can identify it from the shooting information and transmits the provided information corresponding to the contents of the beverage container 50 to the terminal device 10. Further, in the terminal device 10, the received provided information is displayed by the viewer.

＜飲料容器５０＞
次に、本実施形態の飲料容器５０について具体的に説明する。
図３（Ａ）〜（Ｃ）は、本実施形態の飲料容器５０の説明図である。
ここでは、飲料容器５０の一例として、缶体５０Ａを例に取り説明を行う。
図３（Ａ）は、所定方向から見た場合の缶体５０Ａの斜視図である。また、図３（Ｂ）は、図３（Ａ）の所定方向とは異なる方向から見た場合の缶体５０Ａの斜視図である。そして、図３（Ｃ）は、缶体５０Ａに印刷される画像の説明図である。 <Beverage container 50>
Next, the beverage container 50 of the present embodiment will be specifically described.
3 (A) to 3 (C) are explanatory views of the beverage container 50 of the present embodiment.
Here, as an example of the beverage container 50, a can body 50A will be taken as an example for explanation.
FIG. 3A is a perspective view of the can body 50A when viewed from a predetermined direction. Further, FIG. 3B is a perspective view of the can body 50A when viewed from a direction different from the predetermined direction of FIG. 3A. FIG. 3C is an explanatory diagram of an image printed on the can body 50A.

図３（Ａ）および図３（Ｂ）に示すように、缶体５０Ａは、筒状に形成される筒部５１０と、缶体５０Ａの軸方向における一端部に位置する開口を塞ぐ蓋部５２０と、筒部５１０の軸方向において蓋部５２０とは反対側に設けられる底部５３０とを有している。本実施形態の缶体５０Ａは、アルミニウムなどの金属を材料に用いることができる。そして、缶体５０Ａには、飲料などの内容物が密封される。
なお、本実施形態の筒部５１０は、円形状に形成された円筒であるが、多角形に形成されていてもよい。 As shown in FIGS. 3A and 3B, the can body 50A has a tubular portion 510 and a lid portion 520 that closes an opening located at one end in the axial direction of the can body 50A. And a bottom portion 530 provided on the side opposite to the lid portion 520 in the axial direction of the tubular portion 510. The can body 50A of the present embodiment can use a metal such as aluminum as a material. Then, the contents such as beverages are sealed in the can body 50A.
The tubular portion 510 of the present embodiment is a cylinder formed in a circular shape, but may be formed in a polygonal shape.

そして、図３（Ｃ）に示すように、缶体５０Ａの筒部５１０には、飲料メーカ名５１ｍ、商品図形５１ｇ、商品名５１ｐ、お酒マーク５１ａ、リサイクル識別表示マーク５１ｒ、製缶メーカロゴ５１ｓ、商品テキスト５１ｔ、栄養成分表示５１ｎ、注意喚起テキスト５１ｃおよび商品説明欄５１ｅを含む各種の情報が印刷されている。 Then, as shown in FIG. 3C, the cylinder portion 510 of the can body 50A has a beverage maker name 51 m, a product figure 51 g, a product name 51 p, a liquor mark 51a, a recycling identification display mark 51r, and a can maker logo 51s. , Product text 51t, nutritional component display 51n, caution text 51c, and product description column 51e are printed.

なお、ここでは、ＡＲ表示システム１による読み取り対象物である飲料容器５０として、缶体５０Ａを例示したが、缶体５０Ａに限定されない。飲料容器５０としては、例えば金属を材料としてボトル状に形成されてキャップを有するボトル缶、ポリエチレンテレフタレートなどの合成樹脂を材料に用いたキャップ付きのプラスティックボトル、ガラスを材料とするガラス瓶などでもよい。これらの場合においても、上述した各種の情報は、ボトルの表面や、ボトルを覆う包装材や、ボトルに貼り付けられるラベル等に設けられていればよい。 Here, the can body 50A is illustrated as the beverage container 50 which is the object to be read by the AR display system 1, but the can body 50A is not limited to the can body 50A. The beverage container 50 may be, for example, a bottle can made of metal and formed into a bottle shape and having a cap, a plastic bottle with a cap made of a synthetic resin such as polyethylene terephthalate, or a glass bottle made of glass. Even in these cases, the various information described above may be provided on the surface of the bottle, the packaging material covering the bottle, the label attached to the bottle, or the like.

＜ＡＲ表示システム１の構成の説明＞
［第１の実施形態］
次に、本実施の形態のＡＲ表示システム１の構成について具体的に説明する。
ここでは、まず本実施の形態のＡＲ表示システム１の第１の実施形態について説明する。
第１の実施形態では、サーバ装置３０は、飲料容器５０の撮影画像を基に、飲料容器５０の形状を抽出し、この形状を基に、飲料容器５０の内容物を特定する。そして、サーバ装置３０は、内容物に応じ、ユーザに提供する提供情報を作成する。 <Explanation of the configuration of AR display system 1>
[First Embodiment]
Next, the configuration of the AR display system 1 of the present embodiment will be specifically described.
Here, first, the first embodiment of the AR display system 1 of this embodiment will be described.
In the first embodiment, the server device 30 extracts the shape of the beverage container 50 based on the photographed image of the beverage container 50, and specifies the contents of the beverage container 50 based on this shape. Then, the server device 30 creates the provided information to be provided to the user according to the contents.

図４は、第１の実施形態におけるＡＲ表示システム１の機能構成例を示したブロック図である。
なお、ここでは、ＡＲ表示システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。 FIG. 4 is a block diagram showing a functional configuration example of the AR display system 1 according to the first embodiment.
Here, among various functions of the AR display system 1, those related to the present embodiment are selected and shown.

ＡＲ表示システム１の端末装置１０は、外部装置と情報の送受信を行う送受信部１１０と、撮影を行う撮影部１２０と、画像の表示を行う表示部１３０と、音声を出力する音声出力部１４０と、端末装置１０全体の制御を行う制御部１５０とを備える。 The terminal device 10 of the AR display system 1 includes a transmission / reception unit 110 for transmitting / receiving information to / from an external device, a photographing unit 120 for photographing, a display unit 130 for displaying an image, and an audio output unit 140 for outputting audio. A control unit 150 that controls the entire terminal device 10 is provided.

送受信部１１０は、サーバ装置３０との間で飲料容器５０の撮影情報や、ＡＲを表示するための提供情報の送受信を行う。送受信部１１０は、例えば、通信Ｉ／Ｆに対応する。
撮影部１２０は、飲料容器５０の撮影を行う。撮影部１２０は、カメラに対応し、例えば、光を収束するレンズ等の光学系と、光学系により収束された光を検出するＣＣＤ（Charge Coupled Device）等のイメージセンサとを備える。 The transmission / reception unit 110 transmits / receives shooting information of the beverage container 50 and provision information for displaying AR to / from the server device 30. The transmission / reception unit 110 corresponds to, for example, a communication I / F.
The photographing unit 120 photographs the beverage container 50. The photographing unit 120 corresponds to a camera and includes, for example, an optical system such as a lens that converges light and an image sensor such as a CCD (Charge Coupled Device) that detects the light converged by the optical system.

表示部１３０は、ユーザの操作画面やＡＲを表示する。表示部１３０は、例えば、ディスプレイ等の表示デバイスに対応する。また、表示部１３０は、表示デバイスおよび入力デバイスを兼ね備えたタッチパネルなどであってもよい。
音声出力部１４０は、ＡＲを表示する際に付随する音声を出力する。音声出力部１４０は、例えば、スピーカに対応する。 The display unit 130 displays the user's operation screen and AR. The display unit 130 corresponds to a display device such as a display, for example. Further, the display unit 130 may be a touch panel or the like having both a display device and an input device.
The audio output unit 140 outputs audio that accompanies the display of AR. The audio output unit 140 corresponds to, for example, a speaker.

制御部１５０は、送受信部１１０を介し、飲料容器５０の撮影画像をサーバ装置３０に送る制御を行う。この場合、制御部１５０は、撮影部１２０から飲料容器５０の画像を取得する撮影画像取得部として機能する。
また、制御部１５０は、表示部１３０で表示するＡＲの画像を作成する。即ち、制御部１５０は、サーバ装置３０から送られた提供情報に含まれる画像情報と、撮影部１２０で撮影した撮影画像とを合成した合成画像を作成する。そして、制御部１５０は、この合成画像を、ＡＲとして表示部１３０で表示させる制御を行う。この場合、制御部１５０は、提供情報を表示する制御を行う表示制御部として機能する。 The control unit 150 controls to send the captured image of the beverage container 50 to the server device 30 via the transmission / reception unit 110. In this case, the control unit 150 functions as a photographed image acquisition unit that acquires an image of the beverage container 50 from the photographing unit 120.
Further, the control unit 150 creates an AR image to be displayed by the display unit 130. That is, the control unit 150 creates a composite image in which the image information included in the provided information sent from the server device 30 and the captured image captured by the photographing unit 120 are combined. Then, the control unit 150 controls the display unit 130 to display this composite image as AR. In this case, the control unit 150 functions as a display control unit that controls the display of the provided information.

ＡＲ表示システム１のサーバ装置３０は、外部装置と情報の送受信を行う送受信部３１０と、飲料容器５０の形状を抽出する抽出部３２０と、飲料容器５０の特定を行う特定部３３０と、提供情報を決定する決定部３４０と、提供情報を記憶する記憶部３５０とを備える。 The server device 30 of the AR display system 1 includes a transmission / reception unit 310 that transmits / receives information to / from an external device, an extraction unit 320 that extracts the shape of the beverage container 50, a specific unit 330 that identifies the beverage container 50, and provided information. A determination unit 340 for determining the information to be provided and a storage unit 350 for storing the provided information are provided.

送受信部３１０は、端末装置１０との間で飲料容器５０の撮影情報や、ＡＲを表示するための提供情報の送受信を行う。よって、送受信部３１０は、飲料容器５０の画像を取得する画像取得部として機能する。送受信部３１０は、例えば、通信Ｉ／Ｆに対応する。 The transmission / reception unit 310 transmits / receives the photographing information of the beverage container 50 and the provided information for displaying AR to / from the terminal device 10. Therefore, the transmission / reception unit 310 functions as an image acquisition unit that acquires an image of the beverage container 50. The transmission / reception unit 310 corresponds to, for example, a communication I / F.

抽出部３２０は、送受信部３１０にて取得した飲料容器５０の画像から飲料容器５０の形状を抽出する。
図５（Ａ）〜（Ｇ）は、飲料容器５０の側面方向から見た外形形状を示した図である。
このうち、図５（Ａ）は、飲料容器５０として、缶体５０Ａの外形形状を示した図である。ここでは、缶体５０Ａの例として、缶体５０Ａ１と缶体５０Ａ２とを示している。
缶体５０Ａ１は、ビールや焼酎ハイボールなどの飲料用に用いられる円筒状の缶である。また、缶体５０Ａ２は、同様に円筒状であるが、焼酎ハイボール用に主に用いられる、いわゆるダイヤカット（登録商標）缶である。この缶体５０Ａ２は、側面に三角形状を単位とする凹凸が設けられている。 The extraction unit 320 extracts the shape of the beverage container 50 from the image of the beverage container 50 acquired by the transmission / reception unit 310.
5 (A) to 5 (G) are views showing the outer shape of the beverage container 50 as viewed from the side surface direction.
Of these, FIG. 5A is a diagram showing the outer shape of the can body 50A as the beverage container 50. Here, as an example of the can body 50A, the can body 50A1 and the can body 50A2 are shown.
The can body 50A1 is a cylindrical can used for beverages such as beer and chuhai highball. The can body 50A2 is also a cylindrical shape, but is a so-called diamond cut (registered trademark) can mainly used for shochu highball. The can body 50A2 is provided with irregularities on the side surface in units of a triangular shape.

図５（Ｂ）は、飲料容器５０として、プラスティックボトルの一種であるペットボトル５０Ｂの外形形状を示した図である。ここでは、ペットボトル５０Ｂの例として、ペットボトル５０Ｂ１とペットボトル５０Ｂ２とを示している。
ペットボトル５０Ｂ１およびペットボトル５０Ｂ２は、例えば、サイダー、ジュース、お茶などのソフトドリンク用に主に用いられる。
図５（Ｃ）は、飲料容器５０として、ボトル缶５０Ｃの外形形状を示した図である。図示するボトル缶５０Ｃは、例えば、コーヒー、紅茶などのソフトドリンク用に主に用いられる。 FIG. 5B is a diagram showing the outer shape of the PET bottle 50B, which is a kind of plastic bottle, as the beverage container 50. Here, as an example of the PET bottle 50B, the PET bottle 50B1 and the PET bottle 50B2 are shown.
The PET bottle 50B1 and the PET bottle 50B2 are mainly used for soft drinks such as cider, juice and tea.
FIG. 5C is a diagram showing the outer shape of the bottle can 50C as the beverage container 50. The illustrated bottle can 50C is mainly used for soft drinks such as coffee and tea.

また、図５（Ｄ）〜（Ｆ）は、飲料容器５０として、ガラス瓶の外形形状を示した図である。
このうち、図５（Ｄ）に図示するガラス瓶５０Ｄは、ワンカップ瓶とも呼ばれ、例えば、日本酒用に主に用いられる。
また、図５（Ｅ）に図示するガラス瓶５０Ｅは、ワインやシャンパン等に用いられるガラス瓶５０Ｅ１とガラス瓶５０Ｅ２とを示している。
さらに、図５（Ｆ）に図示するガラス瓶５０Ｆは、ブランデーやウィスキー等に用いられるガラス瓶５０Ｆ１とガラス瓶５０Ｆ２とを示している。 Further, FIGS. 5 (D) to 5 (F) are views showing the outer shape of the glass bottle as the beverage container 50.
Of these, the glass bottle 50D shown in FIG. 5 (D) is also called a one-cup bottle, and is mainly used for sake, for example.
Further, the glass bottle 50E shown in FIG. 5 (E) shows a glass bottle 50E1 and a glass bottle 50E2 used for wine, champagne and the like.
Further, the glass bottle 50F shown in FIG. 5F shows a glass bottle 50F1 and a glass bottle 50F2 used for brandy, whiskey and the like.

そして、図５（Ｇ）は、飲料容器５０として、紙パック５０Ｇの外形形状を示した図である。
この紙パック５０Ｇは、牛乳、ジュースなどの飲料用に主に使用される。 FIG. 5 (G) is a diagram showing the outer shape of the paper pack 50G as the beverage container 50.
This paper pack 50G is mainly used for beverages such as milk and juice.

ユーザが、飲料容器５０を撮影するときは、飲料容器５０を手に持つか、机などに置いた上で撮影することが多い。そしてその場合、撮影画像は、通常は、飲料容器５０を側面から見たときの画像となる。よって、抽出部３２０は、撮影画像から抽出する飲料容器５０の形状として、飲料容器５０を側面から見たときの外形形状を抽出することができる。また、抽出部３２０は、飲料容器５０の大きさから、内容物の容量をさらに抽出するようにしてもよい。例えば、内容物がビールであった場合、その容量は、例えば、３５０ｍＬ、５００ｍＬなど予め定められた容量であることが多く、飲料容器５０の大きさがわかれば、内容物の容量も把握することができる。 When the user takes a picture of the beverage container 50, he / she often takes the picture after holding the drink container 50 in his / her hand or placing it on a desk or the like. In that case, the photographed image is usually an image when the beverage container 50 is viewed from the side. Therefore, the extraction unit 320 can extract the outer shape of the beverage container 50 when viewed from the side as the shape of the beverage container 50 to be extracted from the photographed image. Further, the extraction unit 320 may further extract the volume of the contents from the size of the beverage container 50. For example, when the content is beer, the volume is often a predetermined volume such as 350 mL or 500 mL, and if the size of the beverage container 50 is known, the volume of the content can also be grasped. can.

特定部３３０は、抽出部３２０が抽出した形状から飲料容器５０の内容物を特定する。
上述した飲料容器５０の外形形状は、図５で説明したように内容物により、特徴的な形状を取ることが多い。また、同様の内容物が充填される場合でも、商品を消費者であるユーザに訴求するために、飲料容器５０の形状に特別な意匠を施すことも多い、その場合、図５（Ａ）の缶体５０Ａ１と缶体５０Ａ２、図５（Ｂ）のペットボトル５０Ｂ１とペットボトル５０Ｂ２、図５（Ｆ）のガラス瓶５０Ｆ１とガラス瓶５０Ｆ２のように、商品が異なれば、外形形状も異なることが多い。特に内容物が酒類の場合、図５（Ａ）で示したビール等の場合、図５（Ｄ）で示した日本酒等の場合、図５（Ｅ）で示したワイン等の場合、および図５（Ｆ）で示したウィスキー等の場合のように、内容物に応じて特徴的な飲料容器５０を使用することが多い。
よって、この特定部３３０は、飲料容器５０の形状から、内容物を特定することができる。 The identification unit 330 identifies the contents of the beverage container 50 from the shape extracted by the extraction unit 320.
The outer shape of the beverage container 50 described above often takes a characteristic shape depending on the contents as described with reference to FIG. Further, even when the same contents are filled, the shape of the beverage container 50 is often given a special design in order to appeal the product to the user who is a consumer. In that case, FIG. 5 (A) shows. Different products often have different outer shapes, such as the can body 50A1 and the can body 50A2, the PET bottle 50B1 and the PET bottle 50B2 in FIG. 5 (B), and the glass bottle 50F1 and the glass bottle 50F2 in FIG. 5 (F). In particular, when the content is alcoholic beverages, beer or the like shown in FIG. 5 (A), sake or the like shown in FIG. 5 (D), wine or the like shown in FIG. 5 (E), and FIG. 5 As in the case of whiskey and the like shown in (F), a characteristic beverage container 50 is often used depending on the contents.
Therefore, the specifying unit 330 can specify the contents from the shape of the beverage container 50.

また、特定部３３０は、飲料容器５０に印刷された印刷画像をさらに加えて内容物を特定するようにしてもよい。つまり、飲料容器５０の形状がほぼ同様であっても、内容物が互いに異なることがある。よって、このような飲料容器５０については、特定部３３０は、飲料容器５０に印刷された印刷画像を参照することで、内容物を特定する。例えば、ラベルのデザインにより内容物を特定できる。また、印刷画像の中の文字情報を基に、内容物を特定できる。この文字情報は、例えば、商品名、〇〇ビールなどの内容物を表す文字などが該当する。そしてこれにより、製造メーカや商品名が特定できた場合は、これに応じた提供情報を設定することもできる。
さらに、特定部３３０は、飲料容器５０の他の特徴点を加えて内容物を特定するようにしてもよい。この特徴点としては、ラベルの位置、キャップの形状、飲料容器５０が有する色彩、内容物が見える場合に内容物の色などが挙げられる。 Further, the specifying unit 330 may further add a printed image printed on the beverage container 50 to specify the contents. That is, even if the shapes of the beverage containers 50 are substantially the same, the contents may be different from each other. Therefore, with respect to such a beverage container 50, the specific unit 330 identifies the contents by referring to the printed image printed on the beverage container 50. For example, the contents can be identified by the design of the label. In addition, the contents can be specified based on the character information in the printed image. This character information corresponds to, for example, a product name, characters representing contents such as XX beer, and the like. Then, when the manufacturer or the product name can be specified by this, the provided information can be set according to the manufacturer or the product name.
Further, the specifying unit 330 may specify the contents by adding other feature points of the beverage container 50. The feature points include the position of the label, the shape of the cap, the color of the beverage container 50, the color of the contents when the contents can be seen, and the like.

決定部３４０は、特定部３３０が特定した内容物に応じ、提供情報を決定する。提供情報には、上述したように、ＡＲを表示するための画像情報が含まれる。また、提供情報には、ＡＲを表示する際に付随する音声についての音声情報が含まれてもよい。さらに、提供情報には、ＡＲを表示するための情報以外の他の情報が含まれていてもよい。他の情報としては、詳しくは後述するが、ユーザに対するアドバイスなどである。 The determination unit 340 determines the information to be provided according to the contents specified by the specific unit 330. As described above, the provided information includes image information for displaying AR. Further, the provided information may include voice information about voice accompanying when displaying AR. Further, the provided information may include information other than the information for displaying AR. Other information, which will be described in detail later, is advice to the user.

図６は、提供情報を基に、端末装置１０で表示されるＡＲの画像の一例を示した図である。
この場合、端末装置１０の制御部１５０が、画面１００に表示される缶体５０Ａの画像である缶体画像５００の位置に合わせて、ＡＲの画像を表示するための提供画像を表示する制御をした例を示している。このとき、制御部１５０は、缶体画像５００として表示される缶体５０Ａの輪郭を特定する。そして、制御部１５０は、缶体画像５００における缶体５０Ａの筒部５１０、蓋部５２０および底部５３０の位置を特定する。そして、制御部１５０は、缶体画像５００における予め定められた位置に提供画像を表示する。 FIG. 6 is a diagram showing an example of an AR image displayed on the terminal device 10 based on the provided information.
In this case, the control unit 150 of the terminal device 10 controls to display the provided image for displaying the AR image in accordance with the position of the can body image 500 which is the image of the can body 50A displayed on the screen 100. An example is shown. At this time, the control unit 150 specifies the contour of the can body 50A displayed as the can body image 500. Then, the control unit 150 specifies the positions of the cylinder portion 510, the lid portion 520, and the bottom portion 530 of the can body 50A in the can body image 500. Then, the control unit 150 displays the provided image at a predetermined position in the can body image 500.

本実施形態の制御部１５０は、端末装置１０のカメラ機能とモーション機能を統合し、ＡＲ表示を行う。また、本実施形態の制御部１５０は、特殊なハードウェアを使わずに端末装置１０に搭載されるリソースと、画像解析データを元にソフトウェアベースで空間構造を認識してＡＲ表示を行う。例えば、制御部１５０は、デバイスのモーションセンシング（加速度センサやジャイロ）と、端末装置１０の撮影部１２０から取得した画像の解析とを組み合わせて実現する技術であるＶＩＯ（Visual Inertial Odometry）技術を使うことができる。また、制御部１５０は、三次元オブジェクトの表面に擬似的な周囲環境の映り込みを再現するための環境マッピングを用いてもよい。 The control unit 150 of the present embodiment integrates the camera function and the motion function of the terminal device 10 and performs AR display. Further, the control unit 150 of the present embodiment recognizes the spatial structure on a software basis based on the resources mounted on the terminal device 10 and the image analysis data without using special hardware, and performs AR display. For example, the control unit 150 uses VIO (Visual Inertial Odometry) technology, which is a technology realized by combining motion sensing (accelerometer or gyro) of the device and analysis of an image acquired from the imaging unit 120 of the terminal device 10. be able to. Further, the control unit 150 may use environment mapping for reproducing a pseudo reflection of the surrounding environment on the surface of the three-dimensional object.

そして、図６に示すように、制御部１５０は、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。これによって、制御部１５０は、缶体５０Ａの蓋部５２０の部分にキャラクタ画像７５が乗っているように見える画像を表示する。これは、制御部１５０は、飲料容器５０の画像の上に位置するようにキャラクタを表示する制御を行う、と言うこともできる。また、制御部１５０は、キャラクタ画像７５が、蓋部５２０に対して垂直方向に沿って長く延びて見えるように表示する。 Then, as shown in FIG. 6, the control unit 150 superimposes and displays the character image 75 as the provided image on the lid portion 520 of the can body image 500. As a result, the control unit 150 displays an image in which the character image 75 appears to be on the lid portion 520 of the can body 50A. It can also be said that the control unit 150 controls to display the character so as to be located on the image of the beverage container 50. Further, the control unit 150 displays the character image 75 so as to appear to be elongated along the direction perpendicular to the lid portion 520.

そして、ここでは、提供情報として、内容物に応じた案内をユーザに対し行う。例えば、内容物がビールであった場合は、キャラクタ画像７５を用いて、ビールの新製品の案内を行う。また、内容物がワインであった場合は、ワインの産地や実際の製法の案内を行うなどが考えられる。 Then, here, as the provided information, guidance according to the content is given to the user. For example, when the content is beer, the character image 75 is used to guide a new product of beer. In addition, if the content is wine, it is conceivable to provide information on the wine production area and the actual manufacturing method.

記憶部３５０は、飲料容器５０の内容物に対応させて、提供情報を記憶する。ここでは、提供情報管理テーブルＴ１によりこれらの情報を記憶する。
図７は、提供情報管理テーブルＴ１について示した図である。
図示するように、提供情報管理テーブルＴ１には、管理番号ごとに、「内容物」および「提供情報」が関連付けられている。図示する提供情報は、ＡＲを表示するための画像情報である提供画像の情報の他、提供画像に付随する音声である提供音声の情報を含んでいる。
提供画像や提供音声は、単数または複数設定される。例えば、管理番号が、Ｎｏ．Ａ００１では、１つの提供画像「ｉｍａｇｅ００１」が設定される。また、提供音声は、設定されない。さらに、管理番号が、Ｎｏ．Ａ００２では、１つの提供画像「ｉｍａｇｅ００２」と、１つの提供音声「ｓｏｕｎｄ００２」が設定される。
提供画像は、静止画や、アニメーションなどの動画によって構成される。また、提供音声は、静止画や動画と同期するように構成された音を含む。すなわち、提供音声は、動画の場合、動画の動きに合わせたタイミングで流れるようになっている。 The storage unit 350 stores the provided information in correspondence with the contents of the beverage container 50. Here, this information is stored in the provided information management table T1.
FIG. 7 is a diagram showing the provided information management table T1.
As shown in the figure, the provided information management table T1 is associated with "contents" and "provided information" for each management number. The illustrated provided information includes information on the provided image, which is image information for displaying AR, as well as information on the provided sound, which is the sound accompanying the provided image.
The provided image and the provided sound are set to one or more. For example, the control number is No. In A001, one provided image "image001" is set. Also, the provided voice is not set. Furthermore, the control number is No. In A002, one provided image "image002" and one provided audio "sound002" are set.
The provided image is composed of a still image and a moving image such as an animation. In addition, the provided audio includes sounds configured to be synchronized with still images and moving images. That is, in the case of a moving image, the provided sound flows at a timing that matches the movement of the moving image.

またここでは、管理番号が、Ｎｏ．Ａ００１〜Ｎｏ．Ａ００３では、内容物の種類だけがわかった場合に、提供される提供情報を示している。例えば、管理番号が、管理Ｎｏ．Ａ００１では、内容物がビールであり、製造メーカや商品名が不明であった場合に提供される提供情報を示している。
また、管理番号が、Ｎｏ．Ａ０２１〜Ｎｏ．Ａ０２３では、内容物の種類とともに、製造メーカや商品名が特定できた場合に提供される提供情報を示している。 In addition, here, the management number is No. A001-No. A003 shows the provided information to be provided when only the type of contents is known. For example, the management number is the management No. In A001, the information to be provided is shown when the content is beer and the manufacturer or product name is unknown.
In addition, the management number is No. A021-No. In A023, along with the type of contents, the provided information provided when the manufacturer and the product name can be specified is shown.

［第２の実施形態］
次に、本実施の形態のＡＲ表示システム１の第２の実施形態について説明する。
第２の実施形態では、サーバ装置３０は、ユーザに関する情報であるユーザ情報を加味して、提供情報を決定する。 [Second Embodiment]
Next, a second embodiment of the AR display system 1 of the present embodiment will be described.
In the second embodiment, the server device 30 determines the provided information in consideration of the user information which is the information about the user.

図８は、第２の実施形態におけるＡＲ表示システム１の機能構成例を示したブロック図である。
第２の実施形態のＡＲ表示システム１のサーバ装置３０は、第１の実施形態のＡＲ表示システム１のサーバ装置３０に比較して、ユーザ情報取得部３６０が加わる点で異なり、他は同様である。よって、以下、ユーザ情報取得部３６０の機能を中心に説明を行う。 FIG. 8 is a block diagram showing a functional configuration example of the AR display system 1 according to the second embodiment.
The server device 30 of the AR display system 1 of the second embodiment is different from the server device 30 of the AR display system 1 of the first embodiment in that a user information acquisition unit 360 is added, and the others are the same. be. Therefore, the functions of the user information acquisition unit 360 will be mainly described below.

ユーザ情報取得部３６０は、ユーザに関する情報であるユーザ情報を取得する。ここでは、ユーザ情報は、記憶部３５０に記憶されており、ユーザ情報取得部３６０は、記憶部３５０を参照し、ユーザ情報を取得する。なお、これに限られるものではなく、サーバ装置３０以外の外部装置からユーザ情報を取得するようにしてもよい。例えば、ユーザ情報取得部３６０は、端末装置１０からユーザ情報を取得することもできる。 The user information acquisition unit 360 acquires user information which is information about the user. Here, the user information is stored in the storage unit 350, and the user information acquisition unit 360 refers to the storage unit 350 to acquire the user information. The user information is not limited to this, and user information may be acquired from an external device other than the server device 30. For example, the user information acquisition unit 360 can also acquire user information from the terminal device 10.

図９は、記憶部３５０に記憶されているユーザ情報の一例を示した図である。
ここでは、ユーザ情報は、ユーザ管理テーブルＴ２にて管理している。そして、１人のユーザに対するユーザ情報のユーザ管理テーブルＴ２を例示している。
このユーザ管理テーブルＴ２では、管理番号ごとに、ユーザが飲んだ「内容物」、「日時」、「ポイント」がそれぞれ関連付けられている。即ち、このユーザ管理テーブルＴ２では、ユーザが飲料容器５０の内容物を飲んだ履歴を含む。
このうち、管理番号が、Ｎｏ．Ｂ００１の場合は、ユーザが、２０１９／０９／１０の２０：２０に、ビールを飲んだことを示している。またこの場合、製造メーカや、商品名は、特定できなかったことを示し、さらに、このときポイントが、３０ポイントになったことを示している。
また、管理番号が、Ｎｏ．Ｂ００２の場合は、ユーザが、２０１９／０９／１１の１９：００に、同様にビールを飲んだことを示している。またこの場合、製造メーカが、「◆〇ビール」であり、商品名が、「■×▼」であったことを示し、さらに、このときポイントが、１５０ポイントになったことを示している。
また、ここでは含まれていないが、ユーザ管理テーブルＴ２に内容物の容量なども併せて管理してもよい。また、ユーザ情報として、ユーザの氏名、住所、年齢、メールアドレスなどを含めてもよい。 FIG. 9 is a diagram showing an example of user information stored in the storage unit 350.
Here, the user information is managed by the user management table T2. Then, the user management table T2 of the user information for one user is illustrated.
In the user management table T2, the "contents", "date and time", and "points" that the user drank are associated with each management number. That is, the user management table T2 includes a history of the user drinking the contents of the beverage container 50.
Of these, the management number is No. In the case of B001, it indicates that the user drank beer at 20:20 on 09/10/2019. Further, in this case, the manufacturer and the product name indicate that the product could not be specified, and further indicate that the points have reached 30 points at this time.
In addition, the management number is No. In the case of B002, it indicates that the user also drank beer at 19:00 on 09/11/2019. Further, in this case, it is shown that the manufacturer is "◆ ○ beer" and the product name is "■ × ▼", and further, it is shown that the points are 150 points at this time.
Further, although not included here, the capacity of the contents and the like may also be managed in the user management table T2. Further, the user information may include the user's name, address, age, e-mail address, and the like.

そして、決定部３４０は、特定部３３０が特定した内容物のみならず、上述したユーザ情報を加味して提供情報を決定する。この場合、ユーザ情報に応じ、提供情報を変更してもよく、また、例えば、新たな提供情報をさらに加えることもできる。例えば、決定部３４０は、ユーザ情報を基に、飲料容器５０の内容物を飲む行為に関し、ユーザに対するアドバイスを提供情報に含ませるようにすることができる。そして、端末装置１０の制御部１５０は、このアドバイスを含むＡＲの画像を表示する制御を行う。 Then, the determination unit 340 determines the provided information in consideration of not only the contents specified by the specific unit 330 but also the above-mentioned user information. In this case, the provided information may be changed according to the user information, and for example, new provided information may be further added. For example, the determination unit 340 may include advice for the user in the provided information regarding the act of drinking the contents of the beverage container 50 based on the user information. Then, the control unit 150 of the terminal device 10 controls to display the AR image including this advice.

図１０は、ユーザに対するアドバイスを付与したＡＲの画像の第１の例について示した図である。
図示する例では、図６の場合と同様に、制御部１５０は、画面１００に表示される缶体５０Ａの画像である缶体画像５００の位置に合わせて提供画像を表示する。このとき、制御部１５０は、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。また、制御部１５０は、提供画像として、内容物の飲み方についてのアドバイスを吹き出し５５０として表示する。この場合、缶体５０Ａの内容物は、ビールであり、このビールの飲み方として、「このビールは０℃まで冷やすとおいしいですよ。」のアドバイスが表示されている。また、このアドバイスを、音声としてユーザに伝えるための音声情報を提供情報に含ませるようにしてもよい。
このアドバイスは、ユーザ履歴を参照し、例えば、初めて飲む飲料の場合に、表示する。即ち、初めて飲む飲料であり、従来の飲んでいた飲料に対し、異なる飲み方があるような場合、このようなアドバイスを表示する。 FIG. 10 is a diagram showing a first example of an AR image to which advice is given to the user.
In the illustrated example, as in the case of FIG. 6, the control unit 150 displays the provided image in accordance with the position of the can body image 500, which is the image of the can body 50A displayed on the screen 100. At this time, the control unit 150 superimposes and displays the character image 75 as the provided image on the lid portion 520 of the can body image 500. In addition, the control unit 150 displays advice on how to drink the contents as a balloon 550 as a provided image. In this case, the content of the can body 50A is beer, and the advice "This beer is delicious when cooled to 0 ° C." is displayed as a way to drink this beer. Further, the provided information may include voice information for transmitting this advice to the user as voice.
This advice refers to the user history and is displayed, for example, in the case of a beverage to be drunk for the first time. That is, if it is the first beverage to be drunk and there is a different way of drinking the conventional beverage, such advice is displayed.

図１１は、ユーザに対するアドバイスを付与したＡＲの画像の第２の例について示した図である。
図示する例でも、缶体画像５００における蓋部５２０に、提供画像としてキャラクタ画像７５を重畳表示させる。そして、制御部１５０は、図１０の場合と同様に、提供画像として、アドバイスを吹き出し５５０として表示する。この場合、制御部１５０は、提供画像として、ユーザの健康に関するアドバイスを吹き出し５５０として表示する。具体的には、缶体５０Ａの内容物は、ビールであり、このビールの飲み方として、「今月は飲みすぎです。１本だけにしておきましょう。」のアドバイスが表示されている。また、このアドバイスを、音声としてユーザに伝えるための音声情報を提供情報に含ませるようにしてもよい。 FIG. 11 is a diagram showing a second example of an AR image to which advice is given to the user.
Also in the illustrated example, the character image 75 is superimposed and displayed as the provided image on the lid portion 520 of the can body image 500. Then, the control unit 150 displays the advice as a balloon 550 as a provided image, as in the case of FIG. In this case, the control unit 150 displays the user's health advice as a balloon 550 as a provided image. Specifically, the content of the can body 50A is beer, and the advice "I'm drinking too much this month. Let's keep only one bottle." Is displayed as a way to drink this beer. Further, the provided information may include voice information for transmitting this advice to the user as voice.

このアドバイスは、ユーザ履歴を参照し、ユーザが飲んだ飲料として酒類について飲んだ量を推定する。そして、飲んだ量に応じ、このようなアドバイスを提供情報に含ませる。また、ユーザの年齢に応じ、アドバイスを変更するようにしてもよい。例えば、ユーザが未成年であったときに、酒類を飲むことに対する警告をアドバイスとしてもよい。さらに、ユーザについての健康診断結果などをユーザ情報とし、これに応じてアドバイスをするようにしてもよい。 This advice refers to the user history and estimates the amount of alcoholic beverages the user has drank. Then, depending on the amount of drink, such advice is included in the provided information. In addition, the advice may be changed according to the age of the user. For example, a warning about drinking alcohol when the user is a minor may be advised. Further, the result of a health diagnosis about the user may be used as user information, and advice may be given accordingly.

また、決定部３４０は、履歴に基づき、ユーザに付与する特典を提供情報に含ませるようにしてもよい。この場合、特典は、予め定められた商品に対し割引等が得られるクーポンや、ユーザに対し付与されるポイントなどが該当する。本実施の形態では、ユーザ管理テーブルＴ２に特典としてポイント数を含ませ、ユーザ情報として管理している。また、現在のポイント数や、付与されるクーポンなどの情報を、上記アドバイスとすることもできる。 Further, the determination unit 340 may include the privilege to be given to the user in the provided information based on the history. In this case, the privilege corresponds to a coupon for obtaining a discount or the like for a predetermined product, points given to the user, or the like. In the present embodiment, the user management table T2 includes the number of points as a privilege and is managed as user information. In addition, information such as the current number of points and coupons to be given can be used as the above advice.

＜ＡＲ表示システム１の動作の説明＞
次に、ＡＲ表示システム１の動作の説明を行う。
図１２は、ＡＲ表示システム１の動作を説明したフローチャートである。
まず、ユーザの操作により、端末装置１０の撮影部１２０が飲料容器５０を撮影する（ステップ１０１）。
次に、送受信部１１０が、撮影部１２０が撮影した飲料容器５０の撮影情報をサーバ装置３０に送信し、サーバ装置３０の送受信部３１０が受信する（ステップ１０２）。 <Explanation of operation of AR display system 1>
Next, the operation of the AR display system 1 will be described.
FIG. 12 is a flowchart illustrating the operation of the AR display system 1.
First, the photographing unit 120 of the terminal device 10 photographs the beverage container 50 by the operation of the user (step 101).
Next, the transmission / reception unit 110 transmits the photographing information of the beverage container 50 photographed by the imaging unit 120 to the server device 30, and the transmission / reception unit 310 of the server device 30 receives the information (step 102).

そして、抽出部３２０が、飲料容器５０の形状を抽出する（ステップ１０３）。この形状は、飲料容器５０の外形形状であり、例えば、図５で示したような形状となる。
さらに、抽出部３２０が抽出した形状から飲料容器５０の内容物を特定する（ステップ１０４）。このとき上述したように、特定部３３０は、飲料容器５０に印刷された印刷画像をさらに加えて内容物を特定するようにしてもよい。
次に、決定部３４０が、記憶部３５０を参照し、特定された内容物、製造メーカ、商品名等から、提供情報を決定する（ステップ１０５）。このとき、決定部３４０は、ユーザ情報を加味して、提供情報を決定するようにしてもよい。さらに、上述したように、提供情報として、提供画像や提供音声のみならず、ユーザに対するアドバイスや、特典の情報を含ませるようにしてもよい。 Then, the extraction unit 320 extracts the shape of the beverage container 50 (step 103). This shape is the outer shape of the beverage container 50, and is, for example, the shape shown in FIG.
Further, the contents of the beverage container 50 are specified from the shape extracted by the extraction unit 320 (step 104). At this time, as described above, the specifying unit 330 may further add a printed image printed on the beverage container 50 to specify the contents.
Next, the determination unit 340 determines the provided information from the specified contents, the manufacturer, the product name, and the like with reference to the storage unit 350 (step 105). At this time, the determination unit 340 may determine the provided information in consideration of the user information. Further, as described above, the provided information may include not only the provided image and the provided voice, but also advice to the user and information on benefits.

さらに、送受信部３１０が、決定された提供情報を端末装置１０に送信し、端末装置１０の送受信部１１０が受信する（ステップ１０６）。
端末装置１０では、制御部１５０が、飲料容器５０と提供情報に含まれる画像情報とを合成し、ＡＲの画像を作成する（ステップ１０７）。
そして、表示部１３０が、ＡＲの画像を表示する（ステップ１０８）。このとき、提供情報に音声情報が含まれる場合は、ＡＲの画像とともに、音声出力部１４０が、音声を出力する。またこのとき、図１０および図１１で説明したように、ユーザに対するアドバイスを吹き出し５５０として表示することもできる。 Further, the transmission / reception unit 310 transmits the determined provided information to the terminal device 10, and the transmission / reception unit 110 of the terminal device 10 receives the information (step 106).
In the terminal device 10, the control unit 150 synthesizes the beverage container 50 and the image information included in the provided information to create an AR image (step 107).
Then, the display unit 130 displays the AR image (step 108). At this time, if the provided information includes audio information, the audio output unit 140 outputs audio together with the AR image. At this time, as described with reference to FIGS. 10 and 11, the advice to the user can be displayed as a balloon 550.

以上詳述したＡＲ表示システム１によれば、飲料容器５０に、バーコード等の識別情報を表示しなくても、提供情報を提供することができる。つまり、以上詳述したＡＲ表示システム１では、飲料容器５０の形状を基に、飲料容器５０の内容物を特定し、これを基に、提供情報を提供することができる。 According to the AR display system 1 described in detail above, the provided information can be provided without displaying the identification information such as the barcode on the beverage container 50. That is, in the AR display system 1 described in detail above, the contents of the beverage container 50 can be specified based on the shape of the beverage container 50, and the provided information can be provided based on the contents.

なお、以上説明した形態では、サーバ装置３０が、飲料容器５０の形状を基に、飲料容器５０の内容物を特定し、これを基に、提供情報を作成したが、端末装置１０で行ってもよい。この場合、上述したＡＲ表示システム１の機能を、端末装置１０だけで備えることができる。
また、以上説明した形態では、端末装置１０にカメラが備えられていたが、端末装置１０と別体としてもよい。また同様に、端末装置１０に表示デバイスが備えられていたが、表示デバイスを液晶ディスプレイなどにし、端末装置１０と別体としてもよい。 In the form described above, the server device 30 identifies the contents of the beverage container 50 based on the shape of the beverage container 50, and creates the provided information based on the contents. May be good. In this case, the function of the AR display system 1 described above can be provided only by the terminal device 10.
Further, in the above-described embodiment, the terminal device 10 is provided with a camera, but the terminal device 10 may be separated from the terminal device 10. Similarly, although the terminal device 10 is provided with a display device, the display device may be a liquid crystal display or the like and may be separated from the terminal device 10.

＜プログラムの説明＞
なお本実施の形態におけるサーバ装置３０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、サーバ装置３０の内部に設けられた図示しないＣＰＵが、サーバ装置３０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。 <Program description>
The processing performed by the server device 30 in the present embodiment is realized by the cooperation of software and hardware resources. That is, a CPU (not shown) provided inside the server device 30 executes a program that realizes each function of the server device 30 and realizes each of these functions.

よって、サーバ装置３０が行う処理は、コンピュータに、飲料容器５０の画像を取得する画像取得機能と、飲料容器５０の形状から飲料容器５０の内容物を特定する特定機能と、少なくとも画像情報を含み、ユーザに提供する情報であって、特定した内容物に応じた情報である提供情報を決定する決定機能と、を実現させるためのプログラムとして捉えることもできる。 Therefore, the process performed by the server device 30 includes at least image information, an image acquisition function for acquiring an image of the beverage container 50, a specific function for identifying the contents of the beverage container 50 from the shape of the beverage container 50, and at least image information. It can also be regarded as a program for realizing the decision function of determining the provided information, which is the information to be provided to the user and is the information according to the specified content.

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。 Although the present embodiment has been described above, the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear from the description of the claims that the above-described embodiment with various modifications or improvements is also included in the technical scope of the present invention.

１…ＡＲ表示システム、１０…端末装置、３０…サーバ装置、１１０、３１０…送受信部、１２０…撮影部、１３０…表示部、３２０…抽出部、３３０…特定部、３４０…決定部 1 ... AR display system, 10 ... terminal device, 30 ... server device, 110, 310 ... transmission / reception unit, 120 ... photographing unit, 130 ... display unit, 320 ... extraction unit, 330 ... specific unit, 340 ... determination unit

Claims

An image acquisition unit that acquires an image of a beverage container,
A specific part that identifies the contents of the beverage container from the shape of the beverage container, and
A decision unit that determines the provided information that includes at least image information and is provided to the user and is information corresponding to the specified content.
Information providing device including.

The information providing device according to claim 1, wherein the image information displays an image to be displayed in augmented reality together with the beverage container.

The information providing device according to claim 2, wherein the image information displayed in augmented reality is for displaying a character displayed so as to be located on the beverage container.

The information providing device according to claim 1, wherein the specific unit further adds a printed image printed on the beverage container to specify the contents.

The information providing device according to claim 4, wherein the specific unit specifies the content based on the character information in the printed image.

The information providing device according to claim 1, wherein the determination unit determines the provided information in consideration of user information which is information about the user.

The information providing device according to claim 6, wherein the user information includes a history of the user drinking the contents of the beverage container.

The information providing device according to claim 7, wherein the determination unit includes the privilege to be given to the user in the provided information based on the history.

The information providing device according to claim 6, wherein the determination unit includes advice for a user in the provided information regarding an act of drinking the contents of the beverage container based on the user information.

A photographed image acquisition unit that acquires an image of a beverage container from the photographing device,
A display control unit that controls the display of provided information including image information provided to the user according to the contents specified from the shape of the extracted beverage container based on the acquired image.
Information processing device equipped with.

A photography method for taking an image of a beverage container,
An information providing means for providing provided information including image information to be provided to the user according to the contents specified from the shape of the extracted beverage container based on the captured image.
Display means for displaying the provided information and
A display control means for controlling an image to be displayed on the display means,
With
The information providing means is
An image acquisition unit that acquires an image of a beverage container,
A specific part that identifies the contents of the beverage container from the shape of the beverage container, and
A decision unit that determines the provided information that includes at least image information and is provided to the user and is information corresponding to the specified content.
Information display system equipped with.

On the computer
An image acquisition function that acquires an image of a beverage container,
A specific function for identifying the contents of the beverage container from the shape of the beverage container, and
A determination function for determining the provided information, which includes at least image information and is information to be provided to the user and is information according to the specified contents.
A program to realize.