JP2020071530A - Information processing apparatus, analysis method, and program - Google Patents

Information processing apparatus, analysis method, and program Download PDF

Info

Publication number
JP2020071530A
JP2020071530A JP2018203186A JP2018203186A JP2020071530A JP 2020071530 A JP2020071530 A JP 2020071530A JP 2018203186 A JP2018203186 A JP 2018203186A JP 2018203186 A JP2018203186 A JP 2018203186A JP 2020071530 A JP2020071530 A JP 2020071530A
Authority
JP
Japan
Prior art keywords
information
user
displayed
unit
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018203186A
Other languages
Japanese (ja)
Inventor
真 則枝
Makoto Norieda
真 則枝
佐藤 淳
Atsushi Sato
佐藤  淳
一徳 三好
Kazunori Miyoshi
一徳 三好
Original Assignee
日本電気株式会社
Nec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, Nec Corp filed Critical 日本電気株式会社
Priority to JP2018203186A priority Critical patent/JP2020071530A/en
Publication of JP2020071530A publication Critical patent/JP2020071530A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an information processing apparatus that can obtain information from an information terminal utilizing AR, and analyze purchase behavior of a user using the obtained information.SOLUTION: An information processing apparatus 10 according to the present disclosure comprises: an image obtaining unit 11 which obtains a photographed image obtained by imaging an object; a display control unit 12 which displays related information of the object superimposing on the photographed image on a display unit; and an analysis unit 13 which obtains a position of the object and the related information in the display unit, and analyzes an interest of a user who visually recognizes the object through the display unit, using a predetermined position in the display unit and the position of the object and the related information.SELECTED DRAWING: Figure 1

Description

本開示は情報処理装置、分析方法、及びプログラムに関する。   The present disclosure relates to an information processing device, an analysis method, and a program.
近年、AR(Augmented Reality)を用いた様々なサービスの提供が検討されている。例えば、商品を売買する店舗において、顧客がスマートフォン端末もしくはタブレット型端末等の表示部を介して商品を視認した場合に、表示部に、商品の画像と共に、商品の説明を表示させるサービスを提供することが検討されている。特許文献1には、スマートフォン等の携帯端末を用いて撮影した映像に、映像に表示される商品の付加情報も併せて表示させる処理が開示されている。   In recent years, provision of various services using AR (Augmented Reality) has been studied. For example, in a store that sells and sells products, when a customer visually recognizes the product through a display unit such as a smartphone terminal or a tablet terminal, a service is provided to display a description of the product along with an image of the product on the display unit. Is being considered. Patent Document 1 discloses a process of displaying additional information of a product displayed on a video together with the video taken using a mobile terminal such as a smartphone.
国際公開第2014/017392号International Publication No. 2014/017392
今後、店舗が効率的に売り上げを伸ばすために、情報端末を活用して商品を購入するユーザの購買行動を分析し、分析結果を活用した店舗運営を行うことが望まれている。特許文献1には、情報端末を活用して商品の購入を促すためにARを活用することが開示されている。しかし、特許文献1に開示されているシステムにおいては、情報端末から顧客の購買行動に関する情報を取得し、取得した情報を分析することができないという問題がある。   In the future, in order for the store to efficiently increase sales, it is desired to analyze the purchasing behavior of the user who purchases the product by using the information terminal and perform the store operation by utilizing the analysis result. Patent Document 1 discloses utilizing AR to utilize an information terminal to promote the purchase of a product. However, the system disclosed in Patent Document 1 has a problem in that it is not possible to acquire information regarding a customer's purchasing behavior from the information terminal and analyze the acquired information.
本開示の目的は、ARを活用した情報端末から情報を取得し、取得した情報を用いてユーザの購買行動を分析することができる情報処理装置、分析方法、及びプログラムを提供することにある。   An object of the present disclosure is to provide an information processing device, an analysis method, and a program that can acquire information from an information terminal that utilizes AR and use the acquired information to analyze the purchasing behavior of a user.
本開示の第1の態様にかかる情報処理装置は、対象物が撮像された撮像画像を取得する画像取得部と、前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させる表示制御部と、前記表示部内における前記対象物及び前記関連情報の位置を取得し、前記表示部内の予め定められた位置と、前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析する分析部と、を備える。   An information processing apparatus according to a first aspect of the present disclosure is an image acquisition unit that acquires a captured image of an object, and a display that superimposes relevant information of the object on the captured image and displays the information on a display unit. The position of the control unit and the object and the related information in the display unit is acquired, and the display unit is used by using a predetermined position in the display unit and the position of the target and the related information. And an analysis unit that analyzes the interest of the user who visually recognizes the object via the analysis unit.
本開示の第2の態様にかかる分析方法は、対象物が撮像された撮像画像を取得し、前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させ、前記表示部内における前記対象物及び前記関連情報の位置を取得し、前記表示部内の予め定められた位置と、前記表示部内における前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析する分析方法。   An analysis method according to a second aspect of the present disclosure acquires a captured image of an object, superimposes related information of the object on the captured image, and displays the information on a display unit. Acquiring the position of the object and the related information, using a predetermined position in the display unit, and the position of the object and the related information in the display unit, the object through the display unit An analysis method for analyzing the interest of a user who visually recognizes.
本開示の第3の態様にかかるプログラムは、対象物が撮像された撮像画像を取得し、前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させ、前記表示部内における前記対象物及び前記関連情報の位置を取得し、前記表示部内の予め定められた位置と、前記表示部内における前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析することをコンピュータに実行させる。   A program according to a third aspect of the present disclosure acquires a captured image of a target object, superimposes relevant information of the target object on the captured image and displays the information on a display unit, and the target in the display unit. The position of the object and the related information is acquired, and the predetermined position in the display unit and the position of the object and the related information in the display unit are used to move the object through the display unit. Causes the computer to analyze the interests of the viewing user.
本開示により、ARを活用した情報端末から情報を取得し、取得した情報を用いてユーザの購買行動を分析することができる情報処理装置、分析方法、及びプログラムを提供することができる。   According to the present disclosure, it is possible to provide an information processing device, an analysis method, and a program that can acquire information from an information terminal that utilizes AR and use the acquired information to analyze the purchasing behavior of a user.
実施の形態1にかかる情報処理装置の構成図である。1 is a configuration diagram of an information processing apparatus according to a first exemplary embodiment. 実施の形態2にかかる情報処理装置の構成図である。4 is a configuration diagram of an information processing apparatus according to a second embodiment. FIG. 実施の形態2にかかる表示部に表示される画像のイメージの図である。FIG. 9 is a diagram of an image of an image displayed on the display unit according to the second embodiment. 実施の形態2にかかる表示部に表示される画像のイメージの図である。FIG. 9 is a diagram of an image of an image displayed on the display unit according to the second embodiment. 実施の形態2にかかる表示部に表示される画像のイメージの図である。FIG. 9 is a diagram of an image of an image displayed on the display unit according to the second embodiment. 実施の形態2にかかる分析処理を説明する図である。FIG. 9 is a diagram illustrating an analysis process according to the second embodiment. 実施の形態2にかかる表示部に表示される画像のイメージの図である。FIG. 9 is a diagram of an image of an image displayed on the display unit according to the second embodiment. 実施の形態2にかかる表示部に表示される画像のイメージの図である。FIG. 9 is a diagram of an image of an image displayed on the display unit according to the second embodiment. 実施の形態2にかかる情報処理装置における分析処理の流れを示す図である。FIG. 7 is a diagram showing a flow of analysis processing in the information processing apparatus according to the second exemplary embodiment. 実施の形態2の変形例にかかる分析処理を説明する図である。FIG. 9 is a diagram illustrating an analysis process according to a modified example of the second embodiment. 実施の形態2の変形例にかかる分析処理を説明する図である。FIG. 9 is a diagram illustrating an analysis process according to a modified example of the second embodiment. それぞれの実施の形態にかかる情報処理装置の構成図である。It is a block diagram of the information processing apparatus according to each embodiment.
(実施の形態1)
以下、図面を参照して本開示の実施の形態について説明する。図1を用いて情報処理装置10の構成例について説明する。情報処理装置10は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。情報処理装置10は、例えば、スマートフォン端末及びタブレット型端末等の情報端末であってもよい。もしくは、情報処理装置10は、パーソナルコンピュータ装置もしくはサーバ装置等であってもよい。
(Embodiment 1)
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. A configuration example of the information processing device 10 will be described with reference to FIG. The information processing device 10 may be a computer device that operates by a processor executing a program stored in a memory. The information processing device 10 may be, for example, an information terminal such as a smartphone terminal or a tablet terminal. Alternatively, the information processing device 10 may be a personal computer device, a server device, or the like.
情報処理装置10は、画像取得部11、表示制御部12、及び分析部13を有している。画像取得部11、表示制御部12、及び分析部13等の情報処理装置10を構成する構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、情報処理装置10の構成要素は、回路もしくはチップ等のハードウェアであってもよい。   The information processing device 10 includes an image acquisition unit 11, a display control unit 12, and an analysis unit 13. The constituent elements that configure the information processing apparatus 10, such as the image acquisition unit 11, the display control unit 12, and the analysis unit 13, are software or modules in which processing is executed by the processor executing the program stored in the memory. May be. Alternatively, the components of the information processing device 10 may be hardware such as a circuit or a chip.
画像取得部11は、対象物が撮像された撮像画像を取得する。対象物は、例えば、店舗に陳列されている商品であってもよい。具体的には、対象物は、顧客が購入したもしくは購入を検討している商品であってもよい。もしくは、対象物は、ユーザが操作する装置もしくは装置の構成物品等であってもよい。具体的には、対象物は、管理者等が保守する対象となる装置であってもよい。   The image acquisition unit 11 acquires a captured image of an object. The target object may be, for example, a product displayed in a store. Specifically, the object may be a product that the customer has purchased or is considering purchasing. Alternatively, the object may be a device operated by the user, a component article of the device, or the like. Specifically, the object may be a device to be maintained by an administrator or the like.
撮像画像は、静止画であってもよく、動画であってもよい。画像取得部11は、情報処理装置10に内蔵されているカメラを用いて撮像された撮像画像を取得してもよく、情報処理装置10に外付けされたカメラを用いて撮像された撮像画像を取得してもよい。もしくは、画像取得部11は、遠隔に設置されたカメラにおいて撮像された撮像画像を、インターネットもしくはイントラネット等のネットワークを介して取得してもよい。もしくは、画像取得部11は、無線通信回線を介して接続しているカメラから撮像画像を取得してもよい。無線通信回線は、例えば、無線LAN(Local Area Network)通信が用いられてもよく、Bluetooth(登録商標)等の近距離無線通信が用いられてもよい。ユーザは、対象物の撮像機能を有する情報処理装置10を情報端末として用いてもよく、撮像機能及び撮像画像を他の装置へ送信する通信機能を有するカメラを情報端末として用いてもよい。   The captured image may be a still image or a moving image. The image acquisition unit 11 may acquire a captured image captured using a camera built in the information processing apparatus 10, and may capture an captured image captured using a camera externally attached to the information processing apparatus 10. You may get it. Alternatively, the image acquisition unit 11 may acquire a captured image captured by a remotely installed camera via a network such as the Internet or an intranet. Alternatively, the image acquisition unit 11 may acquire a captured image from a camera connected via a wireless communication line. For the wireless communication line, for example, wireless LAN (Local Area Network) communication may be used, or short-range wireless communication such as Bluetooth (registered trademark) may be used. The user may use the information processing device 10 having an image capturing function of the object as an information terminal, or may use the camera having the image capturing function and a communication function of transmitting a captured image to another device as the information terminal.
表示制御部12は、対象物の関連情報を撮像画像に重畳して表示部へ表示させる。関連情報は、例えば、対象物の名称、対象物の特徴、対象物に含まれる成分、対象物の産地もしくは製造場所、等を示す情報であってもよい。さらに、関連情報は、対象物が食品である場合、対象物の調理方法を示す情報であってもよい。または、関連情報は、顧客に対して対象物の購入を促す情報であってもよい。対象物の購入を促す情報は、例えば、対象物の割引情報もしくは対象物の人気を示す情報等であってもよい。または、関連情報は、装置の操作マニュアル、装置に含まれるボタンの機能、等を示す情報であってもよい。関連情報は、テキストデータであってもよく、静止画データであってもよく、動画データであってもよい。ユーザは、関連情報に表示される言語を選択してもよい。例えば、ユーザは、選択した言語に関する情報を入力してもよい。具体的には、ユーザは、表示部に対するタッチ操作もしくはボタン操作等を実行することによって、言語を選択してもよい。関連情報は、ARを用いて表示部に表示される情報であってもよく、AR情報と称されてもよい。   The display control unit 12 superimposes the relevant information of the target object on the captured image and displays it on the display unit. The related information may be, for example, information indicating the name of the target object, the characteristics of the target object, the components contained in the target object, the place of origin or the manufacturing place of the target object, or the like. Furthermore, the related information may be information indicating a cooking method of the object when the object is a food. Alternatively, the related information may be information that prompts the customer to purchase the object. The information that prompts the purchase of the target object may be, for example, discount information of the target object, information indicating the popularity of the target object, or the like. Alternatively, the related information may be information indicating an operation manual of the device, a function of a button included in the device, or the like. The related information may be text data, still image data, or moving image data. The user may select the language displayed in the relevant information. For example, the user may enter information regarding the selected language. Specifically, the user may select a language by performing a touch operation or a button operation on the display unit. The related information may be information displayed on the display unit using AR, and may be referred to as AR information.
対象物の関連情報を撮像画像に重畳するとは、例えば、関連情報が対象物の周辺もしくは対象物の一部と重なる位置に表示されるように映像データもしくは画像データを生成することである。言い換えると、対象物の関連情報を撮像画像に重畳するとは、撮像画像と画像データである関連情報とを合成することであってもよい。   Superimposing the relevant information of the target object on the captured image means, for example, generating video data or image data so that the relevant information is displayed at the position around the target object or at a position overlapping the part of the target object. In other words, superimposing the relevant information of the object on the captured image may be synthesizing the captured image and the relevant information that is image data.
表示制御部12は、情報処理装置10内のメモリもしくは情報処理装置10に外付けされたメモリ等から、対象物と関連付けられた関連情報を抽出してもよく、ネットワークを介して他の装置から関連情報を受信してもよい。例えば、表示制御部12は、撮像画像に含まれる対象物を識別し、対象物の識別情報と関連付けられた関連情報を抽出してもよい。もしくは、情報処理装置10は、対象物の識別情報をネットワークを介して他の装置へ送信し、他の装置から、識別情報と関連付けられた関連情報を受信してもよい。   The display control unit 12 may extract relevant information associated with the object from a memory inside the information processing device 10 or a memory external to the information processing device 10, or from other devices via the network. Relevant information may be received. For example, the display control unit 12 may identify an object included in the captured image and extract relevant information associated with the identification information of the object. Alternatively, the information processing device 10 may transmit the identification information of the target object to another device via the network and receive the related information associated with the identification information from the other device.
表示部は、例えば、ディスプレイ装置であってもよい。表示部は、情報処理装置10と一体として構成されてもよく、ケーブルもしくは無線通信等を介して情報処理装置10と接続されてもよく、ネットワークを介して情報処理装置10と接続されてもよい。表示制御部12が表示部へ表示させるとは、表示制御部12が生成した映像データを表示部へ出力すると言い換えられてもよい。   The display unit may be, for example, a display device. The display unit may be configured integrally with the information processing apparatus 10, may be connected to the information processing apparatus 10 via a cable or wireless communication, or may be connected to the information processing apparatus 10 via a network. .. Displaying by the display control unit 12 on the display unit may be rephrased as outputting the video data generated by the display control unit 12 to the display unit.
分析部13は、表示部内における対象物及び関連情報の位置を取得する。さらに、分析部13は、表示部内の予め定められた位置と、対象物及び関連情報の位置とを用いて、表示部を介して対象物を視認するユーザの関心を分析する。   The analysis unit 13 acquires the positions of the target object and related information in the display unit. Furthermore, the analysis unit 13 analyzes the interest of the user who visually recognizes the target object via the display unit, using the predetermined position in the display unit and the position of the target object and the related information.
表示部内における対象物及び関連情報の位置は、例えば、ディスプレイに表示される対象物及び関連情報のディスプレイ上の位置である。対象物及び関連情報の位置は、対象物及び関連情報が表示された領域内の任意の位置であってもよい。例えば、対象物及び関連情報の位置は、対象物及び関連情報の中心を示す位置であってもよく、対象物及び関連情報の輪郭上の任意の位置であってもよい。位置は、ディスプレイの表面をXY平面とした場合における、XY平面上の座標を用いて示されてもよい。分析部13は、映像データを生成する表示制御部12から、対象物及び関連情報の位置を取得してもよく、映像データを表示する表示部から、対象物及び関連情報の位置を取得してもよい。   The positions of the object and the related information in the display unit are, for example, the positions of the object and the related information displayed on the display on the display. The position of the object and the related information may be any position in the area where the object and the related information are displayed. For example, the position of the object and the related information may be a position indicating the center of the object and the related information, or may be an arbitrary position on the contour of the object and the related information. The position may be indicated using coordinates on the XY plane when the surface of the display is the XY plane. The analysis unit 13 may acquire the positions of the target object and the related information from the display control unit 12 that generates the video data, or acquire the positions of the target object and the related information from the display unit that displays the video data. Good.
表示部内の予め定められた位置は、例えば、ユーザの視線が最も集中する位置として、予め定められたディスプレイ上の任意の位置であってもよい。表示部内の予め定められた位置は、例えば、ディスプレイ上の中心であってもよい。表示部内の予め定められた位置は、例えば、ユーザの操作によって変更されてもよい。   The predetermined position in the display unit may be, for example, an arbitrary position on the display that is predetermined as a position where the user's line of sight is most concentrated. The predetermined position in the display unit may be, for example, the center on the display. The predetermined position in the display unit may be changed by a user operation, for example.
ユーザの関心は、例えば、ユーザがどのような情報に着目して対象物の購入に至ったか、ユーザの嗜好性、等であってもよい。または、ユーザの関心は、関連情報に示される操作マニュアルに従って装置の操作を行う際に、ボタン、計器等の、装置のどの部分に注目しているか、等であってもよい。ユーザの関心は、ユーザの行動を示す情報もしくはユーザの行動の根拠となり得る情報であってもよい。   The interest of the user may be, for example, what kind of information the user paid attention to when purchasing the target object, the user's preference, or the like. Alternatively, the user's interest may be which part of the device, such as a button or instrument, the user is paying attention to when operating the device according to the operation manual indicated in the related information. The interest of the user may be information indicating the behavior of the user or information that can be the basis of the behavior of the user.
表示部内の予め定められた位置と、対象物及び関連情報の位置とを用いるとは、表示部内の予め定められた位置と、対象物及び関連情報の位置との関係性を規定することであってもよい。例えば、表示部内の予め定められた位置から、対象物及び関連情報の位置までの距離が算出されてもよい。例えば、分析部13は、算出された距離が近いほど、対象物もしくは関連情報への関心が高いと分析してもよい。   To use the predetermined position in the display unit and the position of the object and the related information means to define the relationship between the predetermined position in the display unit and the position of the object and the related information. May be. For example, the distance from the predetermined position in the display unit to the position of the object and the related information may be calculated. For example, the analysis unit 13 may analyze that the closer the calculated distance is, the higher the interest in the object or the related information is.
以上説明したように、情報処理装置10は、対象物及び関連情報の位置と、表示部内の予め定められた位置とを取得することができる。表示部内の予め定められた位置に対する対象物及び関連情報の位置は、ユーザの対象物もしくは関連情報への興味もしくは関心に応じて変化する情報である。そのため、情報処理装置10は、対象物及び関連情報の位置と、表示部内の予め定められた位置とを取得することによって、ユーザの対象物もしくは関連情報への関心を分析することができる。つまり、情報処理装置10はユーザの行動を分析することができる。   As described above, the information processing device 10 can acquire the position of the target object and the related information and the predetermined position in the display unit. The position of the target object and the related information with respect to the predetermined position in the display unit is the user's interest in the target object or the related information or information that changes according to the interest. Therefore, the information processing apparatus 10 can analyze the user's interest in the target object or the related information by acquiring the positions of the target object and the related information and the predetermined position in the display unit. That is, the information processing device 10 can analyze the behavior of the user.
(実施の形態2)
続いて、図2を用いて実施の形態2にかかる情報処理装置20の構成例について説明する。情報処理装置20は、図1の情報処理装置10の構成に、撮像部21、表示部22、及び関連情報生成部23が追加された構成である。情報処理装置20において、情報処理装置10と同様の構成については、詳細な説明を省略する。情報処理装置20は、例えば、スマートフォン端末であってもよく、タブレット型端末であってもよい。
(Embodiment 2)
Subsequently, a configuration example of the information processing device 20 according to the second embodiment will be described with reference to FIG. The information processing device 20 has a configuration in which an imaging unit 21, a display unit 22, and a related information generation unit 23 are added to the configuration of the information processing device 10 in FIG. In the information processing device 20, the detailed description of the same configuration as the information processing device 10 will be omitted. The information processing device 20 may be, for example, a smartphone terminal or a tablet terminal.
撮像部21は、対象物を撮像し、撮像画像を生成する。撮像部21は、撮像画像をデジタルデータである映像データとして画像取得部11へ出力する。情報処理装置20を操作するユーザの操作に応じて、撮像される対象が変化する。例えば、ユーザは、情報処理装置20であるスマートフォン端末を対象物の前にかざすことによって対象物を撮像する。   The image capturing section 21 captures an image of a target object and generates a captured image. The imaging unit 21 outputs the captured image to the image acquisition unit 11 as video data that is digital data. The object to be imaged changes according to the operation of the user who operates the information processing apparatus 20. For example, the user images the target object by holding the smartphone terminal, which is the information processing device 20, in front of the target object.
画像取得部11は、撮像部21から取得した映像データを、表示制御部12へ出力する。さらに、画像取得部11は、映像データを用いた画像認識処理を行う。画像取得部11は、画像認識処理を行うことによって、映像データ内に含まれる対象物を特定する。対象物を特定するための画像認識処理は、例えば、映像データ内の特徴量を抽出し、抽出した特徴量と、予め情報処理装置20内のメモリ等に登録された対象物の特徴量とを照合する。画像取得部11は、抽出した特徴量が、登録された対象物の特徴量と一致した場合もしくは一致箇所の数が予め定められた値を超えた場合、映像データ内に予め登録された対象物が含まれていると特定する。画像取得部11は、特定した対象物の識別情報を関連情報生成部23へ出力する。   The image acquisition unit 11 outputs the video data acquired from the imaging unit 21 to the display control unit 12. Further, the image acquisition unit 11 performs an image recognition process using the video data. The image acquisition unit 11 specifies an object included in the video data by performing image recognition processing. The image recognition process for specifying the target object, for example, extracts the feature amount in the video data, and extracts the extracted feature amount and the feature amount of the target object previously registered in the memory or the like in the information processing device 20. Collate. When the extracted feature amount matches the feature amount of the registered target object or the number of matching points exceeds a predetermined value, the image acquisition unit 11 determines the target object registered in the video data in advance. Is included. The image acquisition unit 11 outputs the identification information of the specified target object to the related information generation unit 23.
関連情報生成部23は、対象物の識別情報と、当該対象物の関連情報とを関連付けて管理する。例えば、対象物が店舗に陳列される商品である場合、商品の識別情報として、商品名が用いられてもよい。さらに、商品名と、当該商品の成分情報、商品の特徴情報、商品の産地情報等が関連付けて管理されてもよい。関連情報生成部23は、画像取得部11から識別情報を取得すると、識別情報に関連付けられている関連情報を表示制御部12へ出力する。ユーザが、表示を希望する関連情報を選択した選択情報を情報処理装置10へ入力した場合、関連情報生成部23は、識別情報に関連付けられている関連情報の内、選択された関連情報を表示制御部12へ出力する。ユーザが選択情報を情報処理装置10へ入力していない場合、関連情報生成部23は、識別情報に関連付けられている関連情報の内、任意の関連情報を表示制御部12へ出力してもよい。もしくは、関連情報生成部23は、識別情報に関連付けられている複数の関連情報を、所定の間隔をあけて順番に表示制御部12へ出力してもよい。もしくは、関連情報生成部23は、複数の関連情報のそれぞれに優先順位を予め設定し、優先順位に従って関連情報を表示制御部12へ出力してもよい。   The related information generation unit 23 manages the identification information of the target object and the related information of the target object in association with each other. For example, when the target is a product displayed in a store, a product name may be used as the product identification information. Further, the product name may be managed in association with the component information of the product, the product characteristic information, the product production area information, and the like. When the related information generation unit 23 acquires the identification information from the image acquisition unit 11, the related information generation unit 23 outputs the related information associated with the identification information to the display control unit 12. When the user inputs the selection information for selecting the related information desired to be displayed to the information processing device 10, the related information generation unit 23 displays the selected related information among the related information associated with the identification information. Output to the control unit 12. When the user has not input the selection information to the information processing apparatus 10, the related information generation unit 23 may output any related information among the related information associated with the identification information to the display control unit 12. .. Alternatively, the related information generating unit 23 may output the plurality of related information items associated with the identification information to the display control unit 12 in order at predetermined intervals. Alternatively, the related information generation unit 23 may preset the priority order for each of the plurality of related information and output the related information to the display control unit 12 in accordance with the priority order.
表示制御部12は、画像取得部11から出力された映像データに、関連情報生成部23から出力された関連情報を重畳した表示用データを生成する。表示制御部12は、例えば、関連情報を映像データ内の予め定められた位置に重畳してもよい。もしくは、表示制御部12は、映像データ内に含まれる対象物の位置を特定し、対象物と重複しないように関連情報を映像データに重畳してもよい。もしくは、表示制御部12は、映像データ内に含まれる対象物の位置を特定し、対象物の一部と重複するように関連情報を映像データに重畳してもよい。表示制御部12は、生成した表示用データを表示部22及び分析部13へ出力する。   The display control unit 12 generates display data by superimposing the related information output from the related information generation unit 23 on the video data output from the image acquisition unit 11. The display control unit 12 may, for example, superimpose the related information on a predetermined position in the video data. Alternatively, the display control unit 12 may specify the position of the target object included in the video data and superimpose the related information on the video data so as not to overlap with the target object. Alternatively, the display control unit 12 may specify the position of the target object included in the video data and superimpose the related information on the video data so as to overlap the part of the target object. The display control unit 12 outputs the generated display data to the display unit 22 and the analysis unit 13.
表示部22は、表示制御部12から出力された表示用データを表示する。つまり、表示制御部12から出力された表示用データは、ディスプレイ上に表示される。ユーザは、表示部22に表示された画像を介して、対象物及び関連情報を視認する。また、ここでは、ディスプレイ上において最もユーザの視線が集中する点もしくは領域を、注視点と称する。言い換えると、注視点は、対象物及び関連情報が表示されているディスプレイ上においてユーザが最も注目する場所を示している。注視点は、例えば、ディスプレイ上の中心であってもよく、その他の場所であってもよい。   The display unit 22 displays the display data output from the display control unit 12. That is, the display data output from the display control unit 12 is displayed on the display. The user visually recognizes the target object and related information through the image displayed on the display unit 22. Also, here, the point or area on the display where the user's line of sight is most concentrated is referred to as the gazing point. In other words, the gazing point indicates the place on which the user pays most attention on the display on which the object and the related information are displayed. The gazing point may be, for example, the center of the display or another place.
ユーザは、ディスプレイに表示されている画像を見ながら、画像内の関心のある箇所を注視点に合わせる。つまり、ユーザは、注視点を含む所定の領域(以下、注視領域と称する)に表示される画像を変化させる。例えば、ユーザは、対象物に対する撮像部21の角度を調整し、注視領域に表示される画像を変化させる。例えば、ユーザは、関連情報よりも対象物に関心がある場合、注視領域に対象物が表示されるようにする。または、ユーザは、対象物よりも関連情報に関心がある場合、注視領域に関連情報が表示されるようにする。撮像部21は、例えば、ユーザが注視領域に表示される画像を変化させている間の画像を動画データとして画像取得部11へ出力する。表示制御部12は、画像取得部11から取得した動画データに関連情報生成部23から取得した関連情報を重畳させて生成した表示用データを表示部22及び分析部13へ出力する。   While looking at the image displayed on the display, the user sets the point of interest in the image to the gazing point. That is, the user changes the image displayed in a predetermined area including the gazing point (hereinafter referred to as a gazing area). For example, the user adjusts the angle of the imaging unit 21 with respect to the target object and changes the image displayed in the gaze area. For example, when the user is more interested in the target object than the related information, the target object is displayed in the gaze area. Alternatively, when the user is more interested in the related information than the target object, the related information is displayed in the gaze area. The imaging unit 21 outputs, for example, an image while the user is changing the image displayed in the gaze area to the image acquisition unit 11 as moving image data. The display control unit 12 outputs the display data generated by superimposing the related information acquired from the related information generation unit 23 on the moving image data acquired from the image acquisition unit 11 to the display unit 22 and the analysis unit 13.
分析部13は、表示制御部12から取得した表示用データから、画像内における注視点の位置と、対象物及び関連情報の位置を特定する。また、ユーザは、表示部22に対象物及び関連情報が表示された後に、自身の興味に応じて表示部22に表示される対象物及び関連物の位置を変化させる。そのため、分析部13は、所定の間隔にて画像内における注視点の位置と、対象物及び関連情報の位置とを表示制御部12から取得し、所定期間経過後の注視点の位置と、対象物及び関連情報の位置とをユーザの関心の分析に用いてもよい。または、分析部13は、注視点の位置から対象物及び関連情報の位置までの距離の所定期間における変化量が予め定められた値よりも小さくなった後の注視点の位置と、対象物及び関連情報の位置とをユーザの関心の分析に用いてもよい。ここで、図3を用いて、表示部22に表示される画像のイメージと、注視点、対象物及び関連物の位置について説明する。   The analysis unit 13 identifies the position of the gazing point in the image and the positions of the target object and the related information from the display data acquired from the display control unit 12. In addition, the user changes the position of the target object and the related object displayed on the display unit 22 according to his / her interest after the target object and the related information are displayed on the display unit 22. Therefore, the analysis unit 13 acquires the position of the gazing point in the image and the position of the target object and the related information from the display control unit 12 at predetermined intervals, and determines the position of the gazing point after the lapse of the predetermined period and the target. The location of objects and related information may be used to analyze user interest. Alternatively, the analysis unit 13 determines the position of the gazing point after the amount of change in the distance from the position of the gazing point to the position of the object and the related information in a predetermined period becomes smaller than a predetermined value, and the object and The location of the relevant information may be used to analyze the user's interest. Here, the image of the image displayed on the display unit 22 and the positions of the gazing point, the object, and the related object will be described with reference to FIG.
図3は、表示領域30に、対象物としてペットボトルが示されている。表示領域30は、ディスプレイ上の、映像が表示される領域である。また、注視点31は、表示領域30の中心に定義される。注視領域35は、注視点31を中心とした円内の領域であってもよい。もしくは、注視領域35は、曲線もしくは直線、または、曲線及び直線を用いて形成された閉じた領域であって、注視点31を含む領域であってもよい。さらに、ペットボトルには、商品ラベル32及び成分ラベル33が示されている。さらに、表示領域30には、ペットボトルの関連情報34が示されている。図3においては、表示領域30に商品ラベル32及び成分ラベル33が表示されている例を示しているが、商品ラベル32及び成分ラベル33の位置は、図3に示される位置に特定されない。表示制御部12は、表示領域30に表示される表示用データを生成する。   In FIG. 3, the display area 30 shows a plastic bottle as an object. The display area 30 is an area on the display where an image is displayed. The gazing point 31 is defined at the center of the display area 30. The gazing area 35 may be an area within a circle centered on the gazing point 31. Alternatively, the gazing region 35 may be a curved line or a straight line, or a closed region formed by using the curved line and the straight line, and may be a region including the gazing point 31. Further, a product label 32 and a component label 33 are shown on the plastic bottle. Further, in the display area 30, related information 34 of the plastic bottle is shown. Although FIG. 3 shows an example in which the product label 32 and the component label 33 are displayed in the display area 30, the positions of the product label 32 and the component label 33 are not specified to the positions shown in FIG. The display control unit 12 generates display data displayed in the display area 30.
図3は、注視点がペットボトル上の商品ラベル32に存在することを示している。つまり、注視領域35には、商品ラベル32が表示されることとなる。注視領域35に商品ラベル32が表示されるとは、注視領域35に商品ラベル32のみが表示されることであってもよく、注視領域35に商品ラベル32の一部が表示されることであってもよい。この場合、情報処理装置10を操作するユーザは、商品ラベル32に注目していることが推定される。   FIG. 3 shows that the gazing point exists on the product label 32 on the plastic bottle. That is, the product label 32 is displayed in the gazing area 35. The display of the product label 32 in the gaze area 35 may mean that only the product label 32 is displayed in the gaze area 35, or that a part of the product label 32 is displayed in the gaze area 35. May be. In this case, it is estimated that the user operating the information processing device 10 is paying attention to the product label 32.
分析部13は、例えば、注視点31と、商品ラベル32との距離、注視点31と成分ラベル33との距離、さらに、注視点31と関連情報34との距離を算出してもよい。図3の例においては、注視点31は、商品ラベル32に存在するため、注視点31と商品ラベル32との距離は、0と算出してもよい。注視点31と成分ラベル33との距離、さらに、注視点31と関連情報34との距離は、例えば、XY平面上の座標を用いて算出されてもよい。図3は、注視点31の位置と商品ラベル32の位置とが重複し、注視点領域に商品ラベル32が表示されていることを示している。また、分析部13は、注視点31と、商品ラベル32の面積重心位置との距離を算出してもよい。もしくは、面積重心位置は、商品全体及び関連情報34の重心位置としてもよい。また、関連情報34は、商品全体及び関連情報34の重心位置を注視点31とし、注視領域35に表示される情報に応じてユーザの関心を分析してもよい。   The analysis unit 13 may calculate, for example, the distance between the gazing point 31 and the product label 32, the distance between the gazing point 31 and the component label 33, and the distance between the gazing point 31 and the related information 34. In the example of FIG. 3, since the gazing point 31 exists on the product label 32, the distance between the gazing point 31 and the product label 32 may be calculated as 0. The distance between the gazing point 31 and the component label 33, and the distance between the gazing point 31 and the related information 34 may be calculated using coordinates on the XY plane, for example. FIG. 3 shows that the position of the gazing point 31 and the position of the product label 32 overlap, and the product label 32 is displayed in the gazing point area. The analysis unit 13 may also calculate the distance between the gazing point 31 and the area centroid position of the product label 32. Alternatively, the area gravity center position may be the gravity center position of the entire product and the related information 34. Further, regarding the related information 34, the position of the center of gravity of the entire product and the related information 34 may be used as the gazing point 31, and the interest of the user may be analyzed according to the information displayed in the gazing area 35.
さらに、分析部13は、注視領域35に商品ラベル32が表示されている期間をカウントしてもよい。言い換えると、分析部13は、注視点31と商品ラベル32とが重複している期間をカウントしてもよい。さらに、分析部13は、注視領域35に商品ラベル32が表示されたタイミングと、注視領域35に商品ラベル32が表示されなくなったタイミングとを特定してもよい。例えば、分析部13は、注視領域35に商品ラベル32が表示された時刻と、注視領域35に商品ラベル32が表示されなくなった時刻とを特定してもよい。もしくは、分析部13は、注視点31と商品ラベル32とが重複したタイミングと、注視点31と商品ラベル32とが重複しなくなったタイミングとを特定してもよい。   Furthermore, the analysis unit 13 may count the period during which the product label 32 is displayed in the gazing area 35. In other words, the analysis unit 13 may count the period in which the gazing point 31 and the product label 32 overlap. Furthermore, the analysis unit 13 may specify the timing when the product label 32 is displayed in the gazing area 35 and the timing when the product label 32 is not displayed in the gazing area 35. For example, the analysis unit 13 may specify the time when the product label 32 is displayed in the gazing area 35 and the time when the product label 32 is not displayed in the gazing area 35. Alternatively, the analysis unit 13 may specify the timing at which the gazing point 31 and the product label 32 overlap and the timing at which the gazing point 31 and the product label 32 no longer overlap.
図4は、注視点31が成分ラベル33に存在することを示している。この場合、情報処理装置10を操作するユーザは、成分ラベル33に注目していることが推定される。図5は、注視点31が関連情報34に存在することを示している。この場合、情報処理装置10を操作するユーザは、関連情報34に注目していることが推定される。   FIG. 4 shows that the gazing point 31 exists on the component label 33. In this case, it is estimated that the user operating the information processing device 10 is paying attention to the component label 33. FIG. 5 shows that the gazing point 31 exists in the related information 34. In this case, it is estimated that the user who operates the information processing device 10 is paying attention to the related information 34.
続いて、図6を用いて、分析部13の分析処理の一例について説明する。図6の矢印は、時間経過を示している。ユーザが来店した時刻を時刻t1とする。   Subsequently, an example of the analysis process of the analysis unit 13 will be described with reference to FIG. The arrow in FIG. 6 indicates the passage of time. The time when the user visits the store is time t1.
その後、分析部13は、表示制御部12から出力される表示用データを用いて、時刻t2から時刻t3までの間、注視領域に商品Aの商品ラベルが表示されたことを特定する。次に、分析部13は、時刻t3から時刻t4までの間、注視領域に関連情報が表示されたことを特定する。次に、分析部13は、時刻t4から時刻t5までの間、注視領域に商品Aの成分ラベルが表示されたことを特定する。次に、分析部13は、時刻t5から時刻t6までの間、注視領域に商品Bの成分ラベルが表示されたことを特定する。次に、分析部13は、時刻t6から時刻t7までの間、注視領域に商品Aの成分ラベルが表示されたことを特定する。   After that, the analysis unit 13 uses the display data output from the display control unit 12 to specify that the product label of the product A is displayed in the gazing area from time t2 to time t3. Next, the analysis unit 13 specifies that the related information is displayed in the gaze area from time t3 to time t4. Next, the analysis unit 13 specifies that the component label of the product A is displayed in the gazing area from time t4 to time t5. Next, the analysis unit 13 specifies that the component label of the product B is displayed in the gazing area from time t5 to time t6. Next, the analysis unit 13 specifies that the component label of the product A is displayed in the gazing area from time t6 to time t7.
図6においては、ユーザは、商品Bよりも商品Aに注目している期間が長いことを示している。そのため、分析部13は、ユーザが、商品Bよりも商品Aに関心があると分析してもよい。また、図6においては、ユーザは、商品Bよりも商品Aに注目した回数が多いことを示している。そのため、分析部13は、ユーザが、商品Bよりも商品Aに関心があると分析してもよい。さらに、図6においては、ユーザは、商品A及びBの商品ラベルよりも成分ラベルに注目している期間が長いことを示している。そのため、分析部13は、商品の名称よりも商品の成分に関心があると分析してもよい。また、図6においては、ユーザは、関連情報よりも商品ラベルもしくは成分ラベルに注目している期間が長いことを示している。そのため、分析部13は、商品の購入においては、関連情報よりも、商品自体に表示されている商品ラベルもしくは成分ラベルに関心があると分析してもよい。   In FIG. 6, the user shows that the period in which the user pays attention to the product A is longer than that to the product B. Therefore, the analysis unit 13 may analyze that the user is more interested in the product A than the product B. Further, FIG. 6 shows that the user pays more attention to the product A than to the product B. Therefore, the analysis unit 13 may analyze that the user is more interested in the product A than the product B. Further, FIG. 6 shows that the user pays attention to the component label longer than the product labels of the products A and B. Therefore, the analysis unit 13 may analyze that the component of the product is more interested than the name of the product. Further, FIG. 6 shows that the user pays attention to the product label or the component label longer than the related information. Therefore, in the purchase of the product, the analysis unit 13 may analyze that the product label or the component label displayed on the product itself is more interested than the related information.
また、分析部13は、一つの商品に関する複数の情報について、ユーザが注目した情報の順番を用いて、ユーザの関心を分析してもよい。例えば、図6は、ユーザが、商品Aの商品ラベルに注目した後に、商品Aの成分ラベルに注目したことを示している。このような場合、分析部13は、商品ラベルよりも成分ラベルに関心があると分析してもよい。もしくは、分析部13は、商品Aについてユーザが最初に注目した商品ラベルの方が、成分ラベルよりも関心があると分析してもよい。   In addition, the analysis unit 13 may analyze the interest of the user with respect to a plurality of pieces of information regarding one product by using the order of the information focused by the user. For example, FIG. 6 shows that the user focused on the component label of the product A after focusing on the product label of the product A. In such a case, the analysis unit 13 may analyze that the component label is more interested than the product label. Alternatively, the analysis unit 13 may analyze that the product label that the user first paid attention to for the product A is more interested than the component label.
また、分析部13は、成分ラベル内に記載されている複数の情報について、ユーザが注目した情報の順番を用いて、ユーザの関心を分析してもよい。例えば、図7は、表示領域30において、注視点31が成分ラベル33内の保存方法に存在することを示している。次に、図8は、注視点31が、成分ラベル内の原材料に移動していることを示している。つまり、図7及び図8は、ユーザが成分ラベル33内の保存方法に注目した後に、原材料に注目したことを示している。このような場合、分析部13は、保存方法よりも原材料に関心があると分析してもよい。もしくは、分析部13は、ユーザが最初に注目した保存方法の方が、原材料よりも関心があると分析してもよい。分析部13は、商品ラベル内に記載されている複数の情報について、ユーザが注目した情報の順番を用いて、ユーザの関心を分析してもよい。   Further, the analysis unit 13 may analyze the interest of the user with respect to a plurality of pieces of information described in the component label, by using the order of the information focused by the user. For example, FIG. 7 shows that the gazing point 31 exists in the storage method in the component label 33 in the display area 30. Next, FIG. 8 shows that the gazing point 31 is moving to the raw material in the component label. That is, FIGS. 7 and 8 show that the user paid attention to the raw material after paying attention to the storage method in the component label 33. In such a case, the analysis unit 13 may analyze that the raw material is more interested than the storage method. Alternatively, the analysis unit 13 may analyze that the storage method first noticed by the user is more interested than the raw material. The analysis unit 13 may analyze the interest of the user with respect to the plurality of pieces of information described in the product label by using the order of the information focused by the user.
分析部13は、関連情報にAR情報として表示されている内容に基づいて、ユーザの関心を分析してもよい。例えば、AR情報として特定の成分の特徴などが詳細にテキストを用いて表示されており、注視点31がAR情報に存在する場合、商品の成分に関心があると分析してもよい。また、AR情報として商品のコマーシャルやプロモーション動画が表示されており、注視点31がAR情報に存在する場合、商品のブランドやイメージに関心があると分析してもよい。また、AR情報として商品に関する口コミ情報などが表示されており、注視点31がAR情報に存在する場合、商品の人気もしくは他人の意見に関心があると分析してもよい。また、AR情報として割引率等が表示されており、注視点31がAR情報に存在する場合、商品の価格に関心があると分析してもよい。   The analysis unit 13 may analyze the interest of the user based on the content displayed as the AR information in the related information. For example, when the characteristic of a specific component or the like is displayed in detail as AR information using text and the point of interest 31 is present in the AR information, it may be analyzed that the user is interested in the component of the product. Further, when a commercial or promotional video of a product is displayed as the AR information and the gazing point 31 is present in the AR information, it may be analyzed that the user is interested in the brand or image of the product. In addition, word-of-mouth information or the like regarding a product is displayed as the AR information, and when the point of interest 31 exists in the AR information, it may be analyzed that the product is popular or interested in the opinions of others. Further, when the discount rate or the like is displayed as the AR information and the point of interest 31 exists in the AR information, it may be analyzed that the price of the product is interested.
ここで、分析部13は、ユーザが商品Aを購入したことを示す情報を取得したとする。例えば、情報処理装置20は、店舗内に構築されているイントラネット等のネットワークに接続していてもよい。具体的には、情報処理装置20は、無線LAN(Local Area Network)の子機として、ネットワーク上に配置されている親機であるアクセスポイントに接続してもよい。この場合、分析部13は、イントラネットに接続されている店舗のPOS(Point Of Sales)システムから、ユーザが商品Aを購入したことを示す情報を取得してもよい。もしくは、情報処理装置20は、商品を格納するかごと近距離無線通信を行い、かごに商品Aが格納されたことが通知された場合に、ユーザが商品Aを購入したと判定してもよい。例えば、かごに付されたリーダ装置は、商品Aのタグ情報を読み取ることによって、かごに商品Aが格納されたことを検出してもよい。さらに、情報処理装置20とかごがBluetooth(登録商標)通信を行うことによって、情報処理装置20は、かごに商品Aが格納されたことを示す情報を受信してもよい。もしくは、ユーザが情報処理装置20に、購入した製品の情報を入力してもよい。   Here, it is assumed that the analysis unit 13 acquires information indicating that the user has purchased the product A. For example, the information processing device 20 may be connected to a network such as an intranet built in the store. Specifically, the information processing device 20 may be connected to an access point, which is a master device arranged on the network, as a slave device of a wireless LAN (Local Area Network). In this case, the analysis unit 13 may acquire the information indicating that the user has purchased the product A from the POS (Point Of Sales) system of the store connected to the intranet. Alternatively, the information processing apparatus 20 may determine that the user has purchased the product A when it is notified that the product A is stored in the car by performing near field communication with the car in which the product is stored. .. For example, the reader device attached to the car may detect that the product A is stored in the car by reading the tag information of the product A. Furthermore, the information processing device 20 may receive information indicating that the product A is stored in the car by performing Bluetooth (registered trademark) communication between the information processing device 20 and the car. Alternatively, the user may input information about the purchased product into the information processing device 20.
分析部13は、ユーザが商品Aを購入したことを示す情報を取得した場合、最も長く注視領域に表示されていた商品Aの成分情報が、ユーザが商品Aの購入に至った理由であると分析してもよい。   When the analysis unit 13 acquires the information indicating that the user has purchased the product A, the component information of the product A displayed in the gaze area for the longest time is the reason why the user has purchased the product A. May be analyzed.
さらに、分析部13は、図6における分析処理もしくはユーザの購入商品等の情報に基づいて、ユーザの属性を推定してもよい。例えば、分析部13は、予め定められた閾値よりも長く注視領域に表示されていた商品が、男性に購入される可能性の高い商品である場合、ユーザが男性であると推定してもよい。また、分析部13は、ユーザが購入した商品が、女性に購入される可能性の高い商品である場合、ユーザが女性であると推定してもよい。さらに、分析部13は、ユーザが注目する商品もしくは購入商品に基づいて、ユーザの年齢を推定してもよい。さらに、分析部13は、関連情報に表示される言語としてユーザが選択した言語に基づいて、ユーザの居住地域を推定してもよい。   Furthermore, the analysis unit 13 may estimate the attribute of the user based on the analysis processing in FIG. 6 or information such as the product purchased by the user. For example, the analysis unit 13 may infer that the user is a male when the product displayed in the gaze area for longer than a predetermined threshold is a product that is likely to be purchased by a male. .. Further, when the product purchased by the user is a product that is likely to be purchased by a woman, the analysis unit 13 may estimate that the user is a woman. Furthermore, the analysis unit 13 may estimate the age of the user based on the product or the purchased product that the user pays attention to. Furthermore, the analysis unit 13 may estimate the residential area of the user based on the language selected by the user as the language displayed in the related information.
分析部13は、それぞれのユーザにおける購買行動に関して推定した事項を特定の属性に分類し、マーケティング情報を生成する。分析部13が生成したマーケティング情報は、例えば、店舗内に設置されているサーバ装置等へ送信されてもよく、もしくは、インターネットを介して店舗の外部に配置されているサーバ装置等へ送信されてもよい。   The analysis unit 13 classifies the items estimated regarding the purchase behavior of each user into specific attributes and generates marketing information. The marketing information generated by the analysis unit 13 may be transmitted to, for example, a server device or the like installed in the store, or may be transmitted to a server device or the like arranged outside the store via the Internet. Good.
さらに、分析部13は、ユーザが購入した商品を分析して、さらにユーザに対して購入を提案する商品を特定してもよい。分析部13は、ベイズ推定を用いて、ユーザに対して購入を提案する商品を特定してもよい。もしくは、分析部13は、予め関連のある複数の商品を含む商品グループを定義したデータベースを管理していてもよい。この場合、分析部13は、ユーザが購入した商品が属する商品グループ内の他の商品を、購入を提案する商品として特定してもよい。商品グループは、例えば、同一の成分を有する複数の商品であってもよく、同一のイベントにおいて使用される複数の商品であってもよい。分析部13は、購入を提案する商品として特定した商品に関する情報を、表示制御部12へ出力し、表示制御部12は、当該商品を表示部22へ表示させてもよい。   Further, the analysis unit 13 may analyze the product purchased by the user and further specify the product proposed to purchase to the user. The analysis unit 13 may use Bayesian estimation to identify products for which a purchase is proposed to the user. Alternatively, the analysis unit 13 may manage a database that defines a product group including a plurality of related products in advance. In this case, the analysis unit 13 may specify another product in the product group to which the product purchased by the user belongs, as a product to be proposed for purchase. The product group may be, for example, a plurality of products having the same component or a plurality of products used in the same event. The analysis unit 13 may output information regarding the product specified as the product proposed to be purchased to the display control unit 12, and the display control unit 12 may display the product on the display unit 22.
さらに、分析部13は、商品の購入において関心のある情報をさらに分析し、ユーザに対して購入を提案する商品を特定してもよい。例えば、分析部13は、図6を用いた分析処理において、商品の購入においては、ユーザが成分ラベルに関心があると分析したとする。さらに、分析部13は、ユーザが商品Aを購入したことを示す情報を取得したとする。この場合、分析部13は、さらに、商品Aの成分ラベルに含まれる成分が含まれる他の商品を、購入を提案する商品として特定してもよい。購入を提案する商品は、商品Aと同じカテゴリの商品であってもよく、商品Aとは異なるカテゴリの商品であってもよい。   Furthermore, the analysis unit 13 may further analyze information that is of interest in purchasing a product, and specify a product that is proposed to be purchased by the user. For example, it is assumed that the analysis unit 13 analyzes that the user is interested in the component label when purchasing a product in the analysis process using FIG. Further, it is assumed that the analysis unit 13 acquires information indicating that the user has purchased the product A. In this case, the analysis unit 13 may further specify another product containing the component contained in the component label of the product A as a product to be proposed for purchase. The product proposed to be purchased may be a product in the same category as the product A or a product in a different category from the product A.
もしくは、分析部13は、図6を用いた分析処理において、商品の購入においては、ユーザが成分ラベルに関心があると分析したとする。この場合、商品Aの成分ラベル及び商品Bの成分ラベルに共通に含まれる成分が含まれる他の商品を、購入を提案する商品として特定してもよい。また、購入を提案する商品は、ユーザが買い物をしている店舗と同じ店舗内に陳列されている商品であってもよく、近隣の店舗に存在する商品であってもよい。   Alternatively, it is assumed that the analysis unit 13 analyzes that the user is interested in the component label in purchasing the product in the analysis process using FIG. In this case, another product containing the components commonly included in the component label of the product A and the component label of the product B may be specified as the product to be proposed for purchase. Further, the product to be proposed for purchase may be a product displayed in the same store as the store where the user is shopping, or a product existing in a nearby store.
さらに、分析部13は、購入を提案する商品として特定した商品に関する情報を関連情報生成部23へ出力してもよい。この場合、関連情報生成部23は、店舗内において当該商品が陳列されている場所までの動線を示す関連情報を生成してもよい。この場合、関連情報生成部23は、店舗内の地図情報及び商品の陳列場所に関する情報を予め管理しているとする。   Further, the analysis unit 13 may output information about the product identified as the product to be proposed to purchase to the related information generation unit 23. In this case, the related information generating unit 23 may generate the related information indicating the flow line to the place where the product is displayed in the store. In this case, it is assumed that the related information generation unit 23 manages the map information in the store and the information about the display location of the product in advance.
続いて、図9を用いて情報処理装置20における分析処理の流れについて説明する。はじめに、画像取得部11は、撮像部21から撮像画像である映像データを取得し、映像データ内に含まれる商品を特定する(S11)。画像取得部11は、複数の商品を含む映像データを取得してもよい。もしくは、画像取得部11は、商品Aを含む映像データを取得した後に、商品Bが含まれる映像データを取得してもよい。つまり、画像取得部11は、同じタイミングに複数の商品が撮像された映像データを取得してもよく、異なるタイミングに撮像された複数の商品に関する映像データを取得してもよい。   Next, the flow of analysis processing in the information processing device 20 will be described with reference to FIG. First, the image acquisition unit 11 acquires video data, which is a captured image, from the imaging unit 21 and identifies a product included in the video data (S11). The image acquisition unit 11 may acquire video data including a plurality of products. Alternatively, the image acquisition unit 11 may acquire the video data including the product B after acquiring the video data including the product A. That is, the image acquisition unit 11 may acquire video data in which a plurality of products are imaged at the same timing, or may acquire video data regarding a plurality of products that are imaged in different timings.
次に、表示制御部12は、関連情報生成部23から出力された商品の関連情報を映像データへ重畳し、表示用データを生成する(S12)。次に、分析部13は、注視点情報を取得する(S13)。注視点情報は、注視点の位置、商品の位置、及び関連情報の位置を示す情報であってもよい。また、注視点情報には、注視点と商品との間の距離、さらに、注視点と関連情報との間の距離が含まれてもよい。注視点と商品との間の距離、さらに、注視点と関連情報との間の距離は、分析部13において算出されてもよい。   Next, the display control unit 12 superimposes the product related information output from the related information generating unit 23 on the video data to generate display data (S12). Next, the analysis part 13 acquires gazing point information (S13). The gazing point information may be information indicating the position of the gazing point, the position of the product, and the position of the related information. Further, the gazing point information may include a distance between the gazing point and the product, and a distance between the gazing point and the related information. The distance between the gazing point and the product, and the distance between the gazing point and the related information may be calculated by the analysis unit 13.
さらに、注視点情報には、注視点と商品もしくは関連情報とが重複する期間に関する情報が含まれてもよい。さらに、注視点情報には、注視点と商品もしくは関連情報とが重複したタイミングと、注視点と商品もしくは関連情報とが重複しなくなったタイミングとを示す情報が含まれてもよい。   Further, the point-of-regard information may include information regarding a period in which the point-of-regard and the product or related information overlap. Furthermore, the point-of-regard information may include information indicating the timing at which the point-of-regard and the product or related information overlap and the timing at which the point-of-regard and the product or related information no longer overlap.
次に、分析部13は、注視点情報を用いて、ユーザの関心を分析する(S14)。例えば、分析部13は、図6に示される分析処理を実行する。   Next, the analysis unit 13 analyzes the interest of the user using the gazing point information (S14). For example, the analysis unit 13 executes the analysis process shown in FIG.
次に、分析部13は、ステップS14において実行された分析処理の結果、もしくは、ユーザの購入商品等の情報に基づいて、ユーザの属性を推定する(S15)。分析部13は、例えば、属性として、ユーザの性別、年齢、居住地等を推定してもよい。   Next, the analysis unit 13 estimates the attribute of the user based on the result of the analysis process executed in step S14 or the information such as the product purchased by the user (S15). The analysis unit 13 may estimate, for example, the user's gender, age, place of residence, etc. as the attribute.
次に、分析部13は、それぞれのユーザにおける商品購買行動に関して推定した事項を特定の属性に分類し、マーケティング情報を生成する(S16)。   Next, the analysis unit 13 classifies the items estimated about the product purchasing behavior of each user into specific attributes and generates marketing information (S16).
以上説明したように、情報処理装置20は、注視点と、対象物及び関連情報との位置関係に基づいて、ユーザの関心を分析することができる。具体的には、情報処理装置20は、ユーザがどのような情報に関心を有し、どのような情報に基づいて商品の購入を決定したかの分析を行うことができる。   As described above, the information processing device 20 can analyze the interest of the user based on the positional relationship between the gazing point and the target object and related information. Specifically, the information processing apparatus 20 can analyze what information the user is interested in and what information the user has decided to purchase the product.
また、情報処理装置20は、製造ラインもしくはサーバのメンテナンス作業等における作業者の行動を分析してもよい。例えば、関連情報であるAR情報として、作業手順もしくは操作マニュアルが表示されている場合に、作業者が作業している位置、視線の位置、及び作業時間等を用いて作業者の作業を分析してもよい。   Further, the information processing device 20 may analyze the behavior of the worker in the maintenance work of the manufacturing line or the server. For example, when the work procedure or the operation manual is displayed as the AR information which is the related information, the work of the worker is analyzed using the position where the worker is working, the position of the line of sight, the working time, and the like. May be.
(実施の形態2の変形例)
続いて、図10を用いて図6とは異なる分析部13の分析処理の一例について説明する。図10においては、注視領域35に商品ラベル32が表示された場合に、関連情報として商品に関するプロモーションビデオが情報処理装置20に表示されることを前提とする。つまり、情報処理装置20は、注視領域35に商品ラベル32が表示されたタイミングと実質的に同時、もしくは、注視領域35に商品ラベル32が表示されたタイミングから所定期間経過後に、プロモーションビデオを再生する。
(Modification of Embodiment 2)
Next, an example of analysis processing of the analysis unit 13 different from that in FIG. 6 will be described with reference to FIG. In FIG. 10, it is assumed that when the product label 32 is displayed in the gazing area 35, a promotion video regarding the product is displayed on the information processing device 20 as the related information. That is, the information processing device 20 reproduces the promotion video substantially at the same time as the product label 32 is displayed in the gazing area 35 or after a predetermined period has elapsed from the timing when the product label 32 is displayed in the gazing area 35. To do.
図10は、注視領域35に商品Aが表示されたタイミング、つまり、情報処理装置20を操作するユーザが商品Aの商品ラベルに注目したタイミングと、商品Aに関するプロモーションビデオが再生された時間とを示している。さらに、図10は、情報処理装置20を操作するユーザが、商品Bの商品ラベルに注目したタイミングと、商品Bに関するプロモーションビデオが再生された時間とを示している。   FIG. 10 shows the timing when the product A is displayed in the gazing area 35, that is, the timing when the user who operates the information processing device 20 pays attention to the product label of the product A, and the time when the promotion video regarding the product A is played. Shows. Further, FIG. 10 shows the timing when the user operating the information processing device 20 pays attention to the product label of the product B and the time when the promotion video regarding the product B is played.
図10は、時刻t2に注視領域35に商品Aが表示され、時刻t2から時刻t3の間に商品Aに関するプロモーションビデオが再生されたことを示している。さらに、時刻t4に注視領域35に商品Bが表示され、時刻t4から時刻t5の間に商品Bに関するプロモーションビデオが再生されたことを示している。さらに、時刻t6に注視領域35に商品Aが表示され、時刻t6から時刻t7の間に商品Aに関するプロモーションビデオが再生されたことを示している。さらに、時刻t8に注視領域35に商品Bが表示され、時刻t8から時刻t9の間に商品Bに関するプロモーションビデオが再生されたことを示している。   FIG. 10 shows that the product A is displayed in the gazing area 35 at time t2, and the promotion video regarding the product A is played back between time t2 and time t3. Further, the product B is displayed in the gazing area 35 at the time t4, indicating that the promotion video regarding the product B is reproduced between the time t4 and the time t5. Further, the product A is displayed in the gazing area 35 at time t6, indicating that the promotion video regarding the product A has been played back from time t6 to time t7. Further, the product B is displayed in the gazing area 35 at the time t8, which indicates that the promotion video regarding the product B is reproduced between the time t8 and the time t9.
この場合、分析部13は、プロモーションビデオの再生時間に応じてユーザの商品に対する興味の程度を分析してもよい。例えば、分析部13は、商品Aに関するプロモーションビデオが再生された期間と商品Bに関するプロモーションビデオが再生された期間とを比較する。商品Aに関するプロモーションビデオが再生された期間は、時刻t2から時刻t3までの期間と時刻t6から時刻t7までの期間とを合計した期間である。また、商品Bに関するプロモーションビデオが再生された期間は、時刻t4から時刻t5までの期間と時刻t8から時刻t9までの期間とを合計した期間である。   In this case, the analysis unit 13 may analyze the degree of the user's interest in the product according to the reproduction time of the promotion video. For example, the analysis unit 13 compares the period during which the promotion video regarding the product A is played and the period during which the promotion video regarding the product B is played. The period during which the promotion video relating to the product A is reproduced is the total of the period from time t2 to time t3 and the period from time t6 to time t7. Further, the period during which the promotion video regarding the product B is reproduced is the total of the period from time t4 to time t5 and the period from time t8 to time t9.
図10においては、商品Aに関するプロモーションビデオが再生された期間が商品Bに関するプロモーションビデオが再生された期間よりも長いため、分析部13は、ユーザは商品Aに興味があると分析してもよい。もしくは、分析部13は、プロモーションビデオが再生された期間に応じて、ユーザの興味の程度を対応付けてもよい。ユーザの興味の程度は、例えば、興味が強い、通常の興味、興味が弱い、等の複数の興味のレベルに分類されてもよい。   In FIG. 10, since the period during which the promotion video regarding the product A is played is longer than the period during which the promotion video regarding the product B is played, the analysis unit 13 may analyze that the user is interested in the product A. .. Alternatively, the analysis unit 13 may associate the degree of interest of the user with the period in which the promotion video is played. The degree of interest of the user may be classified into a plurality of interest levels such as strong interest, normal interest, and weak interest.
続いて、図11を用いて図6及び図10とは異なる分析部13の分析処理の一例について説明する。図11は、ユーザが商品Aの成分ラベルをどの言語にて表示させ、どのくらいの期間商品Aに注目しているかを示している。また、異なる言語の成分ラベルは、それぞれ関連情報として表示されることを前提とする。具体的には、ユーザは、関連情報に示される成分ラベルを、言語を切り替えて視認することができる。例えば、ユーザは、ディスプレイに表示される、英語、中国語、韓国語のアイコンを選択することによって、関連情報に示される成分ラベルの言語を切り替えることができる。   Next, an example of analysis processing of the analysis unit 13 different from FIGS. 6 and 10 will be described using FIG. 11. FIG. 11 shows in which language the component label of the product A is displayed by the user and how long the product A is focused on. It is also assumed that the component labels in different languages are displayed as related information. Specifically, the user can visually recognize the component label shown in the related information by switching the language. For example, the user can switch the language of the ingredient label shown in the related information by selecting an English, Chinese, or Korean icon displayed on the display.
図11に示される商品Aの検出期間は、商品Aが表示領域30に表示されている期間を示している。商品Aが表示領域30に表示されるとは、商品Aの一部が表示領域30に表示されることであってもよい。商品Aが表示領域30に表示されなくなった場合、商品Aの関連情報も表示領域30に表示されなくなる。言い換えると、商品Aが表示領域30に表示されている期間には、商品Aの関連情報も表示領域30に表示される。そのため、分析部13は、商品Aが表示領域30に表示されている期間には、ユーザが、関連情報として表示されている商品Aの成分ラベルを視認している、と推定してもよい。   The detection period of the product A shown in FIG. 11 indicates a period in which the product A is displayed in the display area 30. Displaying the product A in the display area 30 may mean that a part of the product A is displayed in the display area 30. When the product A is no longer displayed in the display area 30, the related information of the product A is also not displayed in the display area 30. In other words, the related information of the product A is also displayed in the display area 30 while the product A is displayed in the display area 30. Therefore, the analysis unit 13 may estimate that the user visually recognizes the component label of the product A displayed as the related information while the product A is displayed in the display area 30.
図11は、時刻t2にユーザが関連情報に表示される成分ラベルの言語を英語表記へ切り替えたことを示している。また、図11は、時刻t3にユーザが関連情報に表示される成分ラベルの言語を韓国語表記へ切り替えたことを示している。また、図11は、時刻t2から時刻t4まで、表示領域30には商品Aが表示されていることを示している。この場合、分析部13は、時刻t2から時刻t3までは、ユーザが、英語表記の成分ラベルを視認し、時刻t3から時刻t4までは、ユーザが韓国語標記の成分ラベルを視認していると分析してもよい。   FIG. 11 shows that the user switched the language of the component label displayed in the related information to English at time t2. Further, FIG. 11 shows that at time t3, the user has switched the language of the component label displayed in the related information to Korean notation. Further, FIG. 11 shows that the product A is displayed in the display area 30 from time t2 to time t4. In this case, in the analysis unit 13, from time t2 to time t3, the user visually recognizes the component label in English, and from time t3 to time t4, the user visually recognizes the component label in Korean. May be analyzed.
また、図11は、時刻t4から時刻t5までの間、表示領域30に商品Aが表示されなくなったことを示している。また、図11は、時刻t5にユーザが関連情報に表示される成分ラベルの言語を中国語表記へ切り替え、時刻t5から時刻t6まで、表示領域30に商品Aが表示されていることを示している。また、図11は、時刻t6から時刻t7まで表示領域30に商品Aが表示されなくなった後、時刻t7から時刻t8まで表示領域30に表示Aが表示されていることを示している。また、図11は、時刻t7にユーザが関連情報に表示される成分ラベルを英語表記へ切り替えたことを示している。   Further, FIG. 11 shows that the product A is no longer displayed in the display area 30 from time t4 to time t5. In addition, FIG. 11 shows that the user switches the language of the component label displayed in the related information to Chinese notation at time t5, and the product A is displayed in the display area 30 from time t5 to time t6. There is. Further, FIG. 11 shows that after the product A is no longer displayed in the display area 30 from time t6 to time t7, the display A is displayed in the display area 30 from time t7 to time t8. Further, FIG. 11 shows that at time t7, the user switches the component label displayed in the related information to the English notation.
この場合、分析部13は、関連情報の言語が切替えられた後に、どのくらいの時間商品Aが表示領域30に表示されているかに応じてユーザの興味のある言語を分析してもよい。図11においては、ユーザが、関連情報として表示されている商品Aの成分ラベルを英語にて視認している、と推定される期間は、時刻t2から時刻t3までの期間と時刻t7から時刻t8までの期間とを合計した期間である。図11は、ユーザが、関連情報として表示されている商品Aの成分ラベルを英語にて視認している、と推定される期間が、商品Aの成分ラベルを韓国語にて視認している期間及び中国語にて視認している期間よりも長いことを示している。これより、分析部13は、ユーザは、英語表記の成分ラベルに興味があると分析してもよい。   In this case, the analysis unit 13 may analyze the language in which the user is interested, depending on how long the product A is displayed in the display area 30 after the language of the related information is switched. In FIG. 11, the period in which it is estimated that the user visually recognizes the component label of the product A displayed as the related information in English is the period from time t2 to time t3 and the time from t7 to time t8. Is the total of the period up to. FIG. 11 is a period in which it is estimated that the user visually recognizes the component label of the product A displayed as related information in English, while the component label of the product A is visually recognized in Korean. And that it is longer than the period of viewing in Chinese. From this, the analysis unit 13 may analyze that the user is interested in the component label written in English.
続いて以下では、上述の実施形態で説明された、情報処理装置10及び情報処理装置20(以下、情報処理装置10等とする)の構成例について説明する。   Subsequently, a configuration example of the information processing device 10 and the information processing device 20 (hereinafter, referred to as the information processing device 10 or the like) described in the above embodiment will be described below.
図12は、情報処理装置10等の構成例を示すブロック図である。図12を参照すると、情報処理装置10等は、ネットワーク・インターフェース1201、プロセッサ1202、及びメモリ1203を含む。ネットワーク・インターフェース1201は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース1201は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード(NIC)を含んでもよい。もしくは、ネットワーク・インターフェース1201は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース1201は、無線LAN通信、もしくは3GPP(3rd Generation Partnership Project)において規定されたモバイル通信を行うために使用されてもよい。   FIG. 12 is a block diagram showing a configuration example of the information processing device 10 and the like. Referring to FIG. 12, the information processing device 10 and the like include a network interface 1201, a processor 1202, and a memory 1203. The network interface 1201 is used to communicate with other network node devices that make up the communication system. The network interface 1201 may include, for example, a network interface card (NIC) compliant with IEEE 802.3 series. Alternatively, the network interface 1201 may be used to perform wireless communication. For example, the network interface 1201 may be used to perform wireless LAN communication or mobile communication defined in 3GPP (3rd Generation Partnership Project).
プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてシーケンス図及びフローチャートを用いて説明された情報処理装置10等の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。   The processor 1202 reads the software (computer program) from the memory 1203 and executes the software to perform the processing of the information processing apparatus 10 and the like described using the sequence diagram and the flowchart in the above embodiment. The processor 1202 may be, for example, a microprocessor, MPU (Micro Processing Unit), or CPU (Central Processing Unit). The processor 1202 may include multiple processors.
メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインタフェースを介してメモリ1203にアクセスしてもよい。   The memory 1203 is composed of a combination of a volatile memory and a non-volatile memory. Memory 1203 may include storage located remotely from processor 1202. In this case, the processor 1202 may access the memory 1203 via an I / O interface (not shown).
図12の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明された情報処理装置10等の処理を行うことができる。   In the example of FIG. 12, the memory 1203 is used to store a software module group. The processor 1202 can perform the processing of the information processing apparatus 10 and the like described in the above embodiment by reading out these software module groups from the memory 1203 and executing them.
図12を用いて説明したように、情報処理装置10等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。   As described with reference to FIG. 12, each of the processors included in the information processing apparatus 10 or the like executes one or a plurality of programs including a group of instructions for causing a computer to execute the algorithm described with reference to the drawing.
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。   In the above example, the program can be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of the non-transitory computer-readable medium include a magnetic recording medium, a magneto-optical recording medium (for example, a magneto-optical disk), a CD-ROM (Read Only Memory), a CD-R, a CD-R / W, and a semiconductor memory. The magnetic recording medium may be, for example, a flexible disk, a magnetic tape, or a hard disk drive. The semiconductor memory may be, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, or a RAM (Random Access Memory). In addition, the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。   It should be noted that the present disclosure is not limited to the above-described embodiments, and can be modified as appropriate without departing from the spirit of the present disclosure.
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。   The whole or part of the exemplary embodiments disclosed above can be described as, but not limited to, the following supplementary notes.
(付記1)
対象物が撮像された撮像画像を取得する画像取得部と、
前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させる表示制御部と、
前記表示部内における前記対象物及び前記関連情報の位置を取得し、前記表示部内の予め定められた位置と、前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析する分析部と、を備える情報処理装置。
(付記2)
前記分析部は、
前記予め定められた位置と、前記対象物及び前記関連情報の位置との間の距離を用いて前記ユーザの関心を分析する、付記1に記載の情報処理装置。
(付記3)
前記分析部は、
前記予め定められた位置を含む領域に前記対象物が表示された期間及び前記予め定められた位置を含む領域に前記関連情報が表示された期間をさらに用いて、前記ユーザの関心を分析する、請求項1又は2に記載の情報処理装置。
(付記4)
前記対象物は第1の領域及び第2の領域を含み、
前記分析部は、
前記予め定められた位置を含む領域に前記第1の領域が表示された期間及び前記第2の領域が表示された期間をさらに用いて、前記ユーザの関心を分析する、付記1乃至3のいずれか1項に記載の情報処理装置。
(付記5)
前記画像取得部は、
複数の前記対象物が撮像された撮像画像を取得し、
前記表示制御部は、
それぞれの対象物の関連情報を前記撮像画像に重畳して前記表示部へ表示させ、
前記分析部は、
前記予め定められた位置を含む領域にそれぞれの前記対象物が表示された期間及び前記予め定められた位置を含む領域にそれぞれの前記対象物の関連情報が表示された期間をさらに用いて、前記ユーザの関心を分析する、付記1乃至4のいずれか1項に記載の情報処理装置。
(付記6)
前記画像取得部は、
第1の対象物が撮像された第1の撮像画像と、前記第1の対象物が撮像されたタイミングと異なるタイミングに第2の対象物が撮像された第2の撮像画像とを取得し、
前記分析部は、
前記予め定められた位置を含む領域に前記第1の対象物が表示された期間、前記予め定められた位置を含む領域に前記第2の対象物が表示された期間、前記予め定められた位置を含む領域に前記第1の対象物の第1の関連情報が表示された期間、及び前記予め定められた位置を含む領域に前記第2の対象物の第2の関連情報が表示された期間、を用いて前記ユーザの関心を分析する、付記1乃至4のいずれか1項に記載の情報処理装置。
(付記7)
前記分析部は、
前記予め定められた位置を含む領域に前記対象物及び前記関連情報の少なくとも1つが表示された回数をさらに用いて、前記ユーザの関心を分析する、付記1乃至6のいずれか1項に記載の情報処理装置。
(付記8)
前記分析部は、
前記表示部に表示される前記対象物、前記表示部に表示される前記関連情報、及び前記ユーザから入力された入力情報の少なくとも1つを用いて前記ユーザの属性を推定する、付記1乃至7のいずれか1項に記載の情報処理装置。
(付記9)
前記分析部は、
前記撮像画像に含まれる前記対象物が前記ユーザによって購入されたか否かを示す情報を取得し、前記ユーザの関心として、前記ユーザが前記対象物の購入に至った理由を分析する、付記1乃至8のいずれか1項に記載の情報処理装置。
(付記10)
前記分析部は、
前記ユーザが前記対象物を購入に至った理由に基づいて、前記ユーザが購買した前記対象物に関連する他の対象物の購入を促す情報を前記表示部へ表示させる、付記9に記載の情報処理装置。
(付記11)
前記対象物を撮像し前記撮像画像を生成する撮像部と、
前記撮像画像に前記対象物の関連情報が重畳された表示画像を表示する表示部をさらに備える、付記1乃至10のいずれか1項に記載の情報処理装置。
(付記12)
対象物が撮像された撮像画像を取得し、
前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させ、
前記表示部内における前記対象物及び前記関連情報の位置を取得し、
前記表示部内の予め定められた位置と、前記表示部内における前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析する、情報処理装置を用いた分析方法。
(付記13)
前記表示部に表示される前記対象物、前記表示部に表示される前記関連情報、及び前記ユーザから入力された入力情報の少なくとも1つを用いて前記ユーザの属性をさらに推定する、付記12に記載の分析方法。
(付記14)
前記撮像画像に含まれる前記対象物が前記ユーザによって購入されたか否かを示す情報を取得し、
前記ユーザの関心として、前記ユーザが前記対象物の購入に至った理由を分析し、
前記ユーザが前記対象物を購入に至った理由に基づいて、前記ユーザが購買した前記対象物に関連する他の対象物の購入を促す情報を前記表示部へ表示させる、付記12又は13に記載の分析方法。
(付記15)
対象物が撮像された撮像画像を取得し、
前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させ、
前記表示部内における前記対象物及び前記関連情報の位置を取得し、
前記表示部内の予め定められた位置と、前記表示部内における前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析することをコンピュータに実行させるプログラム。
(Appendix 1)
An image acquisition unit that acquires a captured image of an object,
A display control unit for displaying the related information of the target object on the display unit by superimposing it on the captured image,
The position of the target object and the related information in the display unit is acquired, and the target is determined via the display unit by using a predetermined position in the display unit and the position of the target object and the related information. An information processing apparatus comprising: an analysis unit that analyzes interest of a user who visually recognizes an object.
(Appendix 2)
The analysis unit is
The information processing apparatus according to Appendix 1, wherein the interest of the user is analyzed using a distance between the predetermined position and the positions of the object and the related information.
(Appendix 3)
The analysis unit is
Analyzing the interest of the user by further using a period in which the object is displayed in a region including the predetermined position and a period in which the related information is displayed in a region including the predetermined position. The information processing apparatus according to claim 1.
(Appendix 4)
The object includes a first region and a second region,
The analysis unit is
Any one of appendices 1 to 3, wherein the interest of the user is analyzed by further using a period in which the first region is displayed in a region including the predetermined position and a period in which the second region is displayed. 2. The information processing device according to item 1.
(Appendix 5)
The image acquisition unit,
Acquiring a captured image in which a plurality of the objects are captured,
The display control unit,
Display related information of each target object on the display unit by superimposing it on the captured image.
The analysis unit is
By further using a period in which each of the objects is displayed in an area including the predetermined position and a period in which relevant information of each of the objects is displayed in an area including the predetermined position, the 5. The information processing device according to any one of appendices 1 to 4, which analyzes a user's interest.
(Appendix 6)
The image acquisition unit,
Acquiring a first captured image in which the first object is captured and a second captured image in which the second object is captured at a timing different from the timing at which the first object is captured,
The analysis unit is
The period in which the first object is displayed in the area including the predetermined position, the period in which the second object is displayed in the area including the predetermined position, and the predetermined position A period in which the first related information of the first object is displayed in a region including the, and a period in which the second related information of the second object is displayed in the region including the predetermined position. The information processing apparatus according to any one of appendices 1 to 4, wherein the interest of the user is analyzed by using.
(Appendix 7)
The analysis unit is
7. The interest of the user is further analyzed by further using the number of times that at least one of the object and the related information is displayed in the area including the predetermined position, according to any one of appendices 1 to 6. Information processing device.
(Appendix 8)
The analysis unit is
Supplementary Notes 1 to 7, wherein the attribute of the user is estimated using at least one of the target object displayed on the display unit, the related information displayed on the display unit, and input information input from the user. The information processing apparatus according to any one of 1.
(Appendix 9)
The analysis unit is
Note 1 to obtaining information indicating whether or not the object included in the captured image has been purchased by the user, and analyzing the reason why the user has purchased the object as the interest of the user. 8. The information processing device according to any one of items 8.
(Appendix 10)
The analysis unit is
The information according to appendix 9, which displays, on the display unit, information that prompts the user to purchase another object related to the object purchased by the user based on the reason why the user purchased the object. Processing equipment.
(Appendix 11)
An image capturing unit that captures the target object and generates the captured image;
11. The information processing apparatus according to any one of appendices 1 to 10, further comprising a display unit that displays a display image in which relevant information of the object is superimposed on the captured image.
(Appendix 12)
Acquire a captured image of the object,
Displaying the related information of the target object on the display unit by superimposing it on the captured image,
Obtaining the position of the object and the related information in the display unit,
Analyzing the interest of the user who visually recognizes the target object via the display unit by using a predetermined position in the display unit and the positions of the target object and the related information in the display unit, Analytical method using a device.
(Appendix 13)
Appendix 12 further estimates the attribute of the user by using at least one of the target object displayed on the display unit, the related information displayed on the display unit, and the input information input by the user. Analytical method described.
(Appendix 14)
Acquiring information indicating whether the object included in the captured image has been purchased by the user,
As the interest of the user, analyze the reason why the user has purchased the object,
The information according to supplementary note 12 or 13, which causes the display unit to display information that prompts the user to purchase another object related to the object purchased by the user based on the reason why the user purchased the object. Analysis method.
(Appendix 15)
Acquire a captured image of the object,
Displaying the related information of the target object on the display unit by superimposing it on the captured image,
Obtaining the position of the object and the related information in the display unit,
A computer that analyzes the interest of the user who visually recognizes the target object via the display unit by using a predetermined position in the display unit and the positions of the target object and the related information in the display unit. Programs to run.
10 情報処理装置
11 画像取得部
12 表示制御部
13 分析部
20 情報処理装置
21 撮像部
22 表示部
23 関連情報生成部
30 表示領域
31 注視点
32 商品ラベル
33 成分ラベル
34 関連情報
35 注視領域
10 information processing device 11 image acquisition unit 12 display control unit 13 analysis unit 20 information processing device 21 imaging unit 22 display unit 23 related information generation unit 30 display area 31 gazing point 32 product label 33 component label 34 related information 35 gazing area

Claims (10)

  1. 対象物が撮像された撮像画像を取得する画像取得部と、
    前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させる表示制御部と、
    前記表示部内における前記対象物及び前記関連情報の位置を取得し、前記表示部内の予め定められた位置と、前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析する分析部と、を備える情報処理装置。
    An image acquisition unit that acquires a captured image of an object,
    A display control unit for displaying the related information of the target object on the display unit by superimposing it on the captured image,
    The position of the target object and the related information in the display unit is acquired, and the target is determined via the display unit by using a predetermined position in the display unit and the position of the target object and the related information. An information processing apparatus comprising: an analysis unit that analyzes interest of a user who visually recognizes an object.
  2. 前記分析部は、
    前記予め定められた位置と、前記対象物及び前記関連情報の位置との間の距離を用いて前記ユーザの関心を分析する、請求項1に記載の情報処理装置。
    The analysis unit is
    The information processing apparatus according to claim 1, wherein the interest of the user is analyzed using a distance between the predetermined position and the positions of the object and the related information.
  3. 前記分析部は、
    前記予め定められた位置を含む領域に前記対象物が表示された期間及び前記予め定められた位置を含む領域に前記関連情報が表示された期間をさらに用いて、前記ユーザの関心を分析する、請求項1又は2に記載の情報処理装置。
    The analysis unit is
    Analyzing the interest of the user by further using a period in which the object is displayed in a region including the predetermined position and a period in which the related information is displayed in a region including the predetermined position. The information processing apparatus according to claim 1.
  4. 前記対象物は第1の領域及び第2の領域を含み、
    前記分析部は、
    前記予め定められた位置を含む領域に前記第1の領域が表示された期間及び前記第2の領域が表示された期間をさらに用いて、前記ユーザの関心を分析する、請求項1乃至3のいずれか1項に記載の情報処理装置。
    The object includes a first region and a second region,
    The analysis unit is
    The interest of the user is analyzed by further using a period during which the first region is displayed and a period during which the second region is displayed in a region including the predetermined position. The information processing apparatus according to any one of items.
  5. 前記画像取得部は、
    複数の前記対象物が撮像された撮像画像を取得し、
    前記表示制御部は、
    それぞれの対象物の関連情報を前記撮像画像に重畳して前記表示部へ表示させ、
    前記分析部は、
    前記予め定められた位置を含む領域にそれぞれの前記対象物が表示された期間及び前記予め定められた位置を含む領域にそれぞれの前記対象物の関連情報が表示された期間をさらに用いて、前記ユーザの関心を分析する、請求項1乃至4のいずれか1項に記載の情報処理装置。
    The image acquisition unit,
    Acquiring a captured image in which a plurality of the objects are captured,
    The display control unit,
    Display related information of each target object on the display unit by superimposing it on the captured image.
    The analysis unit is
    By further using a period in which each of the objects is displayed in an area including the predetermined position and a period in which relevant information of each of the objects is displayed in an area including the predetermined position, the The information processing apparatus according to claim 1, which analyzes a user's interest.
  6. 前記画像取得部は、
    第1の対象物が撮像された第1の撮像画像と、前記第1の対象物が撮像されたタイミングと異なるタイミングに第2の対象物が撮像された第2の撮像画像とを取得し、
    前記分析部は、
    前記予め定められた位置を含む領域に前記第1の対象物が表示された期間、前記予め定められた位置を含む領域に前記第2の対象物が表示された期間、前記予め定められた位置を含む領域に前記第1の対象物の第1の関連情報が表示された期間、及び前記予め定められた位置を含む領域に前記第2の対象物の第2の関連情報が表示された期間、を用いて前記ユーザの関心を分析する、請求項1乃至4のいずれか1項に記載の情報処理装置。
    The image acquisition unit,
    Acquiring a first captured image in which the first object is captured and a second captured image in which the second object is captured at a timing different from the timing at which the first object is captured,
    The analysis unit is
    The period in which the first object is displayed in the area including the predetermined position, the period in which the second object is displayed in the area including the predetermined position, and the predetermined position A period in which the first related information of the first object is displayed in a region including the, and a period in which the second related information of the second object is displayed in the region including the predetermined position. The information processing apparatus according to claim 1, wherein the interest of the user is analyzed by using.
  7. 前記分析部は、
    前記予め定められた位置を含む領域に前記対象物及び前記関連情報の少なくとも1つが表示された回数をさらに用いて、前記ユーザの関心を分析する、請求項1乃至6のいずれか1項に記載の情報処理装置。
    The analysis unit is
    7. The interest of the user is analyzed by further using the number of times at least one of the object and the related information is displayed in a region including the predetermined position. Information processing equipment.
  8. 前記分析部は、
    前記表示部に表示される前記対象物、前記表示部に表示される前記関連情報、及び前記ユーザから入力された入力情報の少なくとも1つを用いて前記ユーザの属性を推定する、請求項1乃至7のいずれか1項に記載の情報処理装置。
    The analysis unit is
    The attribute of the user is estimated using at least one of the target object displayed on the display unit, the related information displayed on the display unit, and input information input by the user. 7. The information processing device according to any one of 7.
  9. 対象物が撮像された撮像画像を取得し、
    前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させ、
    前記表示部内における前記対象物及び前記関連情報の位置を取得し、
    前記表示部内の予め定められた位置と、前記表示部内における前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析する、情報処理装置を用いた分析方法。
    Acquire a captured image of the object,
    Displaying the related information of the target object on the display unit by superimposing it on the captured image,
    Obtaining the position of the object and the related information in the display unit,
    Analyzing the interest of the user who visually recognizes the target object via the display unit by using a predetermined position in the display unit and the positions of the target object and the related information in the display unit, Analytical method using a device.
  10. 対象物が撮像された撮像画像を取得し、
    前記対象物の関連情報を前記撮像画像に重畳して表示部へ表示させ、
    前記表示部内における前記対象物及び前記関連情報の位置を取得し、
    前記表示部内の予め定められた位置と、前記表示部内における前記対象物及び前記関連情報の位置とを用いて、前記表示部を介して前記対象物を視認するユーザの関心を分析することをコンピュータに実行させるプログラム。
    Acquire a captured image of the object,
    Displaying the related information of the target object on the display unit by superimposing it on the captured image,
    Obtaining the position of the object and the related information in the display unit,
    A computer that analyzes the interest of the user who visually recognizes the target object through the display unit by using a predetermined position in the display unit and the position of the target object and the related information in the display unit. Program to be executed by.
JP2018203186A 2018-10-29 2018-10-29 Information processing apparatus, analysis method, and program Pending JP2020071530A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018203186A JP2020071530A (en) 2018-10-29 2018-10-29 Information processing apparatus, analysis method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018203186A JP2020071530A (en) 2018-10-29 2018-10-29 Information processing apparatus, analysis method, and program

Publications (1)

Publication Number Publication Date
JP2020071530A true JP2020071530A (en) 2020-05-07

Family

ID=70547830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018203186A Pending JP2020071530A (en) 2018-10-29 2018-10-29 Information processing apparatus, analysis method, and program

Country Status (1)

Country Link
JP (1) JP2020071530A (en)

Similar Documents

Publication Publication Date Title
WO2019007416A1 (en) Offline shopping guide method and device
US20190005535A1 (en) Sales promotion system, sales promotion method, non-transitory computer readable medium, and shelf system
US10417878B2 (en) Method, computer program product, and system for providing a sensor-based environment
JP6267861B2 (en) Usage measurement techniques and systems for interactive advertising
US20130243332A1 (en) Method and System for Estimating an Object of Interest
US20190188734A1 (en) Information processing apparatus, system, control method for information processing apparatus, and non-transitory computer-readable storage medium
US20180033045A1 (en) Method and system for personalized advertising
JP2019537400A (en) A method of providing shopping information during real-time broadcasting
US20200402112A1 (en) Method and system for gesture-based cross channel commerce and marketing
US10311497B2 (en) Server, analysis method and computer program product for analyzing recognition information and combination information
JP6482172B2 (en) RECOMMENDATION DEVICE, RECOMMENDATION METHOD, AND PROGRAM
US20190019207A1 (en) Apparatus and method for store analysis
JP2017117384A (en) Information processing apparatus
JP2020071530A (en) Information processing apparatus, analysis method, and program
KR20200128927A (en) O2O(On-line to Off-line) BASED SYSTEM AND METHOD FOR SUGGESTING CUSTOMIZED INFORMATION
JP2015179390A (en) Sales promotion device, sales promotion method, and program
JP2018128955A (en) Screen shot image analyzer, screen shot image analysis method, and program
JP2017059007A (en) Image analysis apparatus, image analysis method and program
JP2016045743A (en) Information processing apparatus and program
JP2016224884A (en) Information processing apparatus and program
WO2019192455A1 (en) Store system, article matching method and apparatus, and electronic device
KR102278693B1 (en) Signage integrated management system providing Online to Offline user interaction based on Artificial Intelligence and method thereof
WO2019093291A1 (en) Customer service assistance device, customer service assistance method, and computer-readable recording medium
KR20200079721A (en) Smart clothes management system and method thereof
KR101740135B1 (en) Product color review method using crowdsourcing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210903