JP2017016287A - Transmission device, server device, control method, program, and storage medium - Google Patents

Transmission device, server device, control method, program, and storage medium Download PDF

Info

Publication number
JP2017016287A
JP2017016287A JP2015130677A JP2015130677A JP2017016287A JP 2017016287 A JP2017016287 A JP 2017016287A JP 2015130677 A JP2015130677 A JP 2015130677A JP 2015130677 A JP2015130677 A JP 2015130677A JP 2017016287 A JP2017016287 A JP 2017016287A
Authority
JP
Japan
Prior art keywords
information
signboard
server
user
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015130677A
Other languages
Japanese (ja)
Inventor
真武 下平
Masatake Shimodaira
真武 下平
Original Assignee
パイオニア株式会社
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, Pioneer Electronic Corp filed Critical パイオニア株式会社
Priority to JP2015130677A priority Critical patent/JP2017016287A/en
Publication of JP2017016287A publication Critical patent/JP2017016287A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a transmission device and server device suitable to collect the information of an object such as a signboard to be visually recognized by a user.SOLUTION: A server device 5 acquires signboard information Is related to a signboard viewed by a driver of a vehicle Ve and driver attribute information Ip from an on-vehicle device 2 and registers them in a signboard observation information DB 32. The server device 5 acquires purchase history information Ib of the driver from a portable terminal 1 and acquires visit history information Iv from the on-vehicle device 2. The server device 5 searches the record of the signboard observation information DB 32 corresponding to the purchase history information Ib and additionally registers a purchase history. In the same way, the server device 5 searches the record of the signboard observation information DB 32 corresponding to the visit history information Iv and additionally registers a visit history.SELECTED DRAWING: Figure 1

Description

本発明は、看板などのユーザが視認する対象物の情報を収集する技術に関する。   The present invention relates to a technique for collecting information on an object that is visually recognized by a user such as a signboard.
従来から、ユーザが視認した対象物の情報を収集する技術が知られている。例えば、特許文献1には、車両の搭乗者が注視した看板を検出し、サーバ装置により集計するシステムが開示されている。   Conventionally, a technique for collecting information on an object visually recognized by a user is known. For example, Patent Document 1 discloses a system that detects a signboard watched by a vehicle occupant and totals it with a server device.
特開2013−200837号公報JP 2013-200247 A
看板の有効性を判断するには、看板を見たユーザが当該看板に関連する商品の購入や施設の訪問などの行為に至ったかについても加味する必要があり、ユーザが看板を注視したことを検出してその情報を収集するだけでは不十分な場合がある。   In order to judge the effectiveness of a signboard, it is necessary to consider whether the user who viewed the signboard has purchased an item related to the signboard or visited a facility. It may not be enough to detect and collect that information.
本発明は、上記のような課題を解決するためになされたものであり、看板などのユーザが視認する対象物の情報を収集するのに好適な送信装置及びサーバ装置を提供することを主な目的とする。   The present invention has been made to solve the above-described problems, and mainly provides a transmission device and a server device suitable for collecting information on an object such as a signboard that is visually recognized by a user. Objective.
請求項に記載の発明は、送信装置であって、ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定手段と、前記対象物の情報をサーバへ送信する第1送信手段と、前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得手段と、前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信手段と、を備えることを特徴とする。   The invention according to the claim is a transmission device, which is an object viewed by the user from an image acquired from a camera that captures the front of the user and data detected by a detection unit that detects the user's line of sight Object identification means for identifying an object, first transmission means for transmitting information on the object to a server, purchase history of products related to the object, or visit history to a facility related to the object An acquisition means for acquiring and a second transmission means for transmitting the purchase history or the visit history to the server are provided.
また、請求項に記載の発明は、複数の送信装置と接続されたサーバ装置において、前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得手段と、前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得手段と、前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定手段と、前記決定手段により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶する記憶手段と、を有することを特徴とする。   Further, the invention described in claim, in a server device connected to a plurality of transmission devices, first acquisition means for acquiring information on an object viewed by a user of the transmission device from each of the transmission devices; Second acquisition means for acquiring the purchase history or visit history of the user, determination means for determining the purchase history or visit history related to the object, and purchase history or visit history determined by the determination means, Storage means for storing the information in the storage unit in association with information on the related object.
また、請求項に記載の発明は、送信装置が実行する制御方法であって、ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定工程と、前記対象物の情報をサーバへ送信する第1送信工程と、前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得工程と、前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信工程と、を有することを特徴とする。   The invention described in claim is a control method executed by the transmission device, and includes an image acquired from a camera that captures the front of the user and data detected by a detection unit that detects the user's line of sight. , An object identification step for identifying an object viewed by the user, a first transmission step for transmitting information on the object to a server, a purchase history of products related to the object, or an association with the object An acquisition step of acquiring a visit history to the facility to be performed, and a second transmission step of transmitting the purchase history or the visit history to the server.
また、請求項に記載の発明は、複数の送信装置と接続されたサーバ装置が実行する制御方法であって、前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得工程と、前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得工程と、前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定工程と、前記決定工程により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶させる記憶工程と、を有することを特徴とする。   The invention described in the claims is a control method executed by a server device connected to a plurality of transmission devices, and acquires information on an object viewed by a user of the transmission device from each of the transmission devices. The first acquisition step, the second acquisition step of acquiring the purchase history or visit history of the user, the determination step of determining the purchase history or visit history related to the object, and the determination step A storage step of storing a purchase history or a visit history in a storage unit in association with information on the related object.
また、請求項に記載の発明は、コンピュータが実行するプログラムであって、ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定手段と、前記対象物の情報をサーバへ送信する第1送信手段と、前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得手段と、前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信手段として前記コンピュータを機能させることを特徴とする。   The invention described in the claims is a program executed by a computer, and includes an image acquired from a camera that captures the front of the user, and data detected by a detection unit that detects the user's line of sight. Object identifying means for identifying an object viewed by a user, first transmission means for transmitting information on the object to a server, purchase history of products related to the object, or facilities related to the object The computer is caused to function as an acquisition unit that acquires a visit history to the server and a second transmission unit that transmits the purchase history or the visit history to the server.
また、請求項に記載の発明は、複数の送信装置と接続されたコンピュータが実行するプログラムであって、前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得手段と、前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得手段と、前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定手段と、前記決定手段により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶させる記憶手段として前記コンピュータを機能させることを特徴とする。   The invention described in the claims is a program executed by a computer connected to a plurality of transmission devices, wherein information on an object viewed by a user of the transmission device is acquired from each of the transmission devices. 1 acquisition means, second acquisition means for acquiring the purchase history or visit history of the user, determination means for determining the purchase history or visit history related to the object, and purchase history determined by the determination means Alternatively, the computer is caused to function as storage means for storing a visit history in a storage unit in association with information on the related object.
実施例に係る看板情報集積システムの構成例を示す。The structural example of the signboard information integration system which concerns on an Example is shown. 車載機のブロック図である。It is a block diagram of a vehicle equipment. サーバ装置のブロック図である。It is a block diagram of a server apparatus. 看板基本情報DBのデータ構造の一例を示す。An example of the data structure of signboard basic information DB is shown. 看板観察情報DBのデータ構造の一例を示す。An example of the data structure of signboard observation information DB is shown. 運転者が看板を見た際に実行される看板観察情報DBへのレコードの追加処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the addition process of the record to signboard observation information DB performed when a driver looks at a signboard. 看板観察情報DBに購入履歴を追加する処理の手順を示すフローチャートの一例である。It is an example of the flowchart which shows the procedure of the process which adds a purchase history to signboard observation information DB. 看板観察情報DBに訪問履歴を追加する処理の手順を示すフローチャートの一例である。It is an example of the flowchart which shows the procedure of the process which adds a visit log | history to signboard observation information DB. 看板観察情報DBに基づく看板検索結果リストを示す。The signboard search result list based on signboard observation information DB is shown. (A)は、変形例に係る看板観察情報DBのデータ構造の一例を示す。(B)は、変形例に係る看板検索結果リストを示す。(A) shows an example of the data structure of the signboard observation information DB according to the modification. (B) shows the signboard search result list according to the modification.
本発明の1つの好適な実施形態では、送信装置は、ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定手段と、前記対象物の情報をサーバへ送信する第1送信手段と、前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得手段と、前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信手段と、を備える。   In one preferred embodiment of the present invention, the transmission device is viewed by the user from an image acquired from a camera that captures the front of the user and data detected by a detection unit that detects the user's line of sight. Object specifying means for specifying an object, first transmission means for transmitting information on the object to a server, purchase history of products related to the object, or visit history to facilities related to the object Acquisition means for acquiring information, and second transmission means for transmitting the purchase history or the visit history to the server.
上記送信装置は、対象物特定手段と、第1送信手段と、取得手段と、第2送信手段とを備える。対象物特定手段は、ユーザの前方を撮影するカメラから取得した画像と、ユーザの視線を検知する検知手段により検知されたデータとから、ユーザが見た対象物を特定する。ここで、「対象物」とは、商品や施設を宣伝する媒体を指し、例えば看板などの据置型の広告媒体が該当する。第1送信手段は、対象物の情報をサーバへ送信する。取得手段は、対象物に関連する商品の購入履歴もしくは、対象物に関連する施設への訪問履歴を取得する。第2送信手段は、購入履歴もしくは訪問履歴をサーバへ送信する。この態様によれば、送信装置は、看板などの対象物の情報を収集するサーバに対し、ユーザが見た対象物の情報に加え、ユーザが当該対象物を見たことにより実行された購入又は訪問の履歴を蓄積する。よって、サーバは、対象物の有効性判断の材料となる情報を好適に蓄積することができる。   The transmission device includes an object specifying unit, a first transmission unit, an acquisition unit, and a second transmission unit. The object specifying unit specifies an object viewed by the user from an image acquired from a camera that captures the front of the user and data detected by a detecting unit that detects the user's line of sight. Here, the “object” refers to a medium that advertises a product or facility, and for example, a stationary advertisement medium such as a signboard. The first transmission means transmits information on the object to the server. The acquisition means acquires a purchase history of a product related to the object or a visit history to a facility related to the object. The second transmission means transmits the purchase history or the visit history to the server. According to this aspect, the transmitting device collects information on an object such as a signboard in addition to the information on the object viewed by the user, or purchase performed by the user viewing the object or Accumulate visit history. Therefore, the server can suitably accumulate information that is a material for determining the validity of the object.
上記送信装置の一態様では、前記第1送信手段は、前記対象物の情報と共に、前記ユーザの属性情報を前記サーバへ送信する。この態様により、送信装置は、対象物が観察された履歴をユーザの属性に応じて分類できるように好適にサーバに蓄積させることができる。   In one aspect of the transmission apparatus, the first transmission unit transmits the attribute information of the user to the server together with the information on the object. According to this aspect, the transmission device can suitably store the history in which the object is observed in the server so that the history can be classified according to the user attribute.
上記送信装置の他の一態様では、前記第1送信手段は、前記画像に表示された対象物のうち、前記ユーザが見ていない対象物の情報を、前記ユーザが見た対象物の情報と区別して前記サーバへ送信する。この態様により、送信装置は、対象物が観察される頻度等を算出できるように、サーバに対象物の情報を好適に蓄積させることができる。   In another aspect of the transmission device, the first transmission unit includes information on an object that the user has not seen among objects displayed on the image, and information on the object that the user has viewed. A distinction is transmitted to the server. According to this aspect, the transmission device can suitably accumulate information on the object on the server so that the frequency at which the object is observed can be calculated.
上記送信装置の他の一態様では、前記第1送信手段は、前記対象物の情報と共に、前記カメラにより前記対象物が撮影された画像を前記サーバへ送信する。これにより、送信装置は、対象物の見え方等を好適にサーバ装置に分析させることができる。   In another aspect of the transmission device, the first transmission unit transmits an image of the object captured by the camera to the server together with the information on the object. Thereby, the transmission apparatus can make a server apparatus analyze suitably the appearance etc. of a target object.
上記送信装置の他の一態様では、前記対象物特定手段は、前記画像から看板を検出し、検出した看板のうち前記ユーザの視線上に存在する看板を、前記ユーザが見た対象物として特定する。この態様により、送信装置は、ユーザが見た看板の情報と、当該看板を見た後の購入又は訪問の履歴とを、サーバに好適に蓄積させることができる。   In another aspect of the transmission device, the object specifying unit detects a signboard from the image, and specifies a signboard present on the user's line of sight as an object viewed by the user. To do. According to this aspect, the transmission device can suitably store the information on the signboard viewed by the user and the purchase or visit history after viewing the signboard on the server.
本発明の他の好適な実施形態では、複数の送信装置と接続されたサーバ装置において、前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得手段と、前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得手段と、前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定手段と、前記決定手段により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶する記憶手段と、を有する。   In another preferred embodiment of the present invention, in a server device connected to a plurality of transmission devices, first acquisition means for acquiring information on an object viewed by a user of the transmission device from each of the transmission devices; Second acquisition means for acquiring purchase history or visit history of the user, determination means for determining the purchase history or visit history related to the object, and purchase history or visit history determined by the determination means. Storage means for storing the information in the storage unit in association with information on the related object.
上記サーバ装置は、第1取得手段と、第2取得手段と、決定手段と、記憶手段とを有する。第1取得手段は、送信装置のユーザが見た対象物の情報を、送信装置の各々から取得する。第2取得手段は、ユーザの購入履歴もしくは訪問履歴を取得する。この場合、第2取得手段は、上述の購入履歴もしくは訪問履歴を、上述の送信装置から取得してもよく、購入履歴や訪問履歴を管理する端末又はサーバから取得してもよい。決定手段は、ユーザが見た対象物に関連する購入履歴もしくは訪問履歴を決定する。記憶手段は、決定手段により決定された購入履歴もしくは訪問履歴を、関連する対象物の情報と関連付けて記憶する。この態様では、サーバ装置は、ユーザが見た対象物の情報に加え、ユーザが当該対象物を見たことにより実行された購入又は訪問の履歴を蓄積する。よって、サーバ装置は、対象物の有効性判断の材料となる情報を好適に蓄積することができる。   The server apparatus includes a first acquisition unit, a second acquisition unit, a determination unit, and a storage unit. A 1st acquisition means acquires the information of the target object which the user of the transmission apparatus saw from each of the transmission apparatuses. The second acquisition unit acquires the purchase history or visit history of the user. In this case, a 2nd acquisition means may acquire the above-mentioned purchase history or visit history from the above-mentioned transmission apparatus, and may acquire from the terminal or server which manages a purchase history and a visit history. The determining means determines a purchase history or a visit history related to the object viewed by the user. The storage means stores the purchase history or the visit history determined by the determination means in association with the information on the related object. In this aspect, the server device accumulates the history of purchases or visits executed by the user viewing the target object in addition to the information on the target object viewed by the user. Therefore, the server device can suitably accumulate information that is a material for determining the validity of the object.
上記サーバ装置の一態様では、前記第1取得手段は、前記対象物が撮影された画像を、前記送信装置の各々から取得し、前記決定手段は、前記画像から前記対象物の見え方を認識し、前記記憶部は、前記対象物の見え方を当該対象物の情報に関連付けて記憶する。この態様により、サーバ装置は、ユーザが見た対象物の見え方の情報を好適に蓄積することができる。   In one aspect of the server device, the first acquisition unit acquires an image of the object captured from each of the transmission devices, and the determination unit recognizes how the object is seen from the image. The storage unit stores the appearance of the object in association with the information of the object. According to this aspect, the server device can suitably accumulate information on how the object is viewed by the user.
上記サーバ装置の他の一態様では、前記第1取得手段は、前記ユーザの属性情報を、当該ユーザが見た対象物の情報と共に、前記送信装置の各々から取得し、前記記憶部は、前記ユーザの属性情報を、当該ユーザが見た対象物の情報と関連付けて記憶する。この態様により、サーバ装置は、対象物が観察された履歴をユーザの属性に応じて分類できるように好適に蓄積することができる。   In another aspect of the server device, the first acquisition unit acquires the attribute information of the user from each of the transmission devices together with information on the object viewed by the user, and the storage unit includes: The attribute information of the user is stored in association with the information of the object viewed by the user. According to this aspect, the server device can preferably accumulate the history in which the object is observed so that it can be classified according to the user's attribute.
本発明のさらに別の実施形態では、送信装置が実行する制御方法は、ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定工程と、前記対象物の情報をサーバへ送信する第1送信工程と、前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得工程と、前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信工程と、を有する。送信装置は、この制御方法を実行することで、対象物の有効性判断の材料となる情報をサーバに好適に蓄積させることができる。   In still another embodiment of the present invention, the control method executed by the transmission device includes: an image acquired from a camera that captures the front of the user; and data detected by a detection unit that detects the user's line of sight. A target identification step for identifying a target viewed by a user; a first transmission step for transmitting information on the target to a server; a purchase history of products related to the target; or a facility related to the target An acquisition step of acquiring a visit history to the second, and a second transmission step of transmitting the purchase history or the visit history to the server. By executing this control method, the transmission device can suitably store information that is a material for determining the validity of the object in the server.
本発明のさらに別の実施形態では、複数の送信装置と接続されたサーバ装置が実行する制御方法であって、前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得工程と、前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得工程と、前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定工程と、前記決定工程により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶させる記憶工程と、を有する。サーバ装置は、この制御方法を実行することで、対象物の有効性判断の材料となる情報を好適に記憶部に蓄積することができる。   In still another embodiment of the present invention, the control method is executed by a server device connected to a plurality of transmission devices, and information on an object viewed by a user of the transmission device is acquired from each of the transmission devices. The first acquisition step, the second acquisition step of acquiring the purchase history or visit history of the user, the determination step of determining the purchase history or visit history related to the object, and the determination step A storage step of storing a purchase history or a visit history in a storage unit in association with the information of the related object. By executing this control method, the server device can suitably accumulate information used as a material for determining the validity of the object in the storage unit.
本発明のさらに別の実施形態では、コンピュータが実行するプログラムであって、ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定手段と、前記対象物の情報をサーバへ送信する第1送信手段と、前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得手段と、前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、対象物の有効性判断の材料となる情報をサーバに好適に蓄積させることができる。   In still another embodiment of the present invention, the program is executed by a computer, and is obtained from an image acquired from a camera that captures the front of the user and data detected by a detection unit that detects the user's line of sight. Object identifying means for identifying an object viewed by a user, first transmission means for transmitting information on the object to a server, purchase history of products related to the object, or facilities related to the object The computer is caused to function as an acquisition unit that acquires a visit history to the server and a second transmission unit that transmits the purchase history or the visit history to the server. By executing this program, the computer can suitably store information serving as a material for determining the validity of the object in the server.
本発明のさらに別の実施形態では、複数の送信装置と接続されたコンピュータが実行するプログラムであって、前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得手段と、前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得手段と、前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定手段と、前記決定手段により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶させる記憶手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、対象物の有効性判断の材料となる情報を好適に記憶部に蓄積することができる。好適には、上記プログラムは、記憶媒体に記憶される。   In still another embodiment of the present invention, there is provided a program executed by a computer connected to a plurality of transmission devices, wherein information on an object viewed by a user of the transmission device is acquired from each of the transmission devices. 1 acquisition means, second acquisition means for acquiring the purchase history or visit history of the user, determination means for determining the purchase history or visit history related to the object, and purchase history determined by the determination means Alternatively, the computer is caused to function as storage means for storing a visit history in the storage unit in association with information on the related object. By executing this program, the computer can suitably store information used as a material for determining the validity of the object in the storage unit. Preferably, the program is stored in a storage medium.
以下、図面を参照して本発明の好適な実施例について説明する。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[概略構成]
(1)システム構成
図1は、実施例に係る看板情報集積システム100の構成例を示す。看板情報集積システム100は、車両Veの運転者が使用する携帯端末1と、車載機2と、視線検知カメラ3と、外部撮影カメラ4と、サーバ装置5と、閲覧用端末6とを有する。看板情報集積システム100は、看板の有用性等を判断するためのデータを集積して活用するシステムである。
[Schematic configuration]
(1) System Configuration FIG. 1 shows a configuration example of a signboard information accumulation system 100 according to the embodiment. The signboard information integration system 100 includes a mobile terminal 1 used by a driver of the vehicle Ve, an in-vehicle device 2, a line-of-sight detection camera 3, an external photographing camera 4, a server device 5, and a browsing terminal 6. The signboard information accumulation system 100 is a system that accumulates and uses data for determining the usefulness of signboards.
携帯端末1は、車両Veの運転者が使用するスマートフォンなどの携帯型の端末であって、電子商取引に基づく商品の購入処理や電子マネーなどを利用した商品の購入処理などを実行する。そして、携帯端末1は、上述の購入処理で得られた商品の購入履歴を示す情報(「購入履歴情報Ib」とも呼ぶ。)をサーバ装置5へ送信する。購入履歴情報Ibは、購入者であるユーザの識別情報(ユーザID)と、運転者が購入した商品の識別情報である商品IDと、購入した日時を示す日時情報とを含む。   The mobile terminal 1 is a portable terminal such as a smartphone used by the driver of the vehicle Ve, and executes a product purchase process based on electronic commerce or a product purchase process using electronic money. Then, the mobile terminal 1 transmits information (also referred to as “purchase history information Ib”) indicating the purchase history of the product obtained by the purchase process described above to the server device 5. The purchase history information Ib includes identification information (user ID) of a user who is a purchaser, a product ID which is identification information of a product purchased by the driver, and date / time information indicating the date and time of purchase.
車載機2は、出発地から目的地までのルート案内を行うナビゲーション機能などを有する。車載機2は、例えば、車両Veに設置される据え置き型のナビゲーション装置であってもよく、PND(Portable Navigation Device)などの携帯型端末であってもよい。車載機2は、視線検知カメラ3及び外部撮影カメラ4と電気的に接続し、これらのカメラから取得した画像に基づき、看板70などの車両の前方に設置された看板を運転者が見たか否か判定する。そして、車載機2は、運転者が見たと判断した看板に関する情報(「看板情報Is」とも呼ぶ。)を、年齢や性別などの運転者の属性を表す情報(「運転者属性情報Ip」とも呼ぶ。)と共にサーバ装置5へ送信する。また、車載機2は、運転開始時に設定されていた目的地以外の施設に車両Veが立寄った場合に、施設に立寄ったことを示す情報(「訪問履歴情報Iv」とも呼ぶ。)をサーバ装置5へ送信する。訪問履歴情報Ivは、運転者の識別情報であるユーザIDと、立寄った施設の識別情報である施設IDと、施設に立寄った日時の情報とを含む。車載機2は、本発明における「送信装置」の一例である。   The in-vehicle device 2 has a navigation function for performing route guidance from the departure place to the destination. The in-vehicle device 2 may be, for example, a stationary navigation device installed in the vehicle Ve, or a portable terminal such as a PND (Portable Navigation Device). The in-vehicle device 2 is electrically connected to the line-of-sight detection camera 3 and the external photographing camera 4, and based on the images acquired from these cameras, whether or not the driver has viewed a signboard installed in front of the vehicle such as the signboard 70 To determine. Then, the in-vehicle device 2 uses information (referred to as “signboard information Is”) related to the signboard that the driver has determined to view as information (“driver attribute information Ip”) that represents the driver attributes such as age and gender. And transmitted to the server device 5. In addition, when the vehicle Ve stops at a facility other than the destination set at the start of driving, the in-vehicle device 2 stores information (also referred to as “visit history information Iv”) indicating that the vehicle has stopped. To 5. The visit history information Iv includes a user ID that is identification information of the driver, a facility ID that is identification information of the facility that visited, and information on the date and time when the facility stopped. The in-vehicle device 2 is an example of the “transmission device” in the present invention.
視線検知カメラ3は、運転者の顔が撮影範囲となる位置に設置され、生成した画像(「車内撮影画像Imi」とも呼ぶ。)を車載機2へ送信する。車内撮影画像Imiは、運転者の視線方向を検出するのに用いられる。視線検知カメラ3は、本発明における「検知手段」の一例である。   The line-of-sight detection camera 3 is installed at a position where the driver's face is in the shooting range, and transmits the generated image (also referred to as “in-vehicle shot image Imi”) to the in-vehicle device 2. The in-vehicle photographed image Imi is used to detect the driver's line-of-sight direction. The line-of-sight detection camera 3 is an example of the “detection means” in the present invention.
外部撮影カメラ4は、車両Veの前方に向けられたカメラであり、生成した画像(「車外撮影画像Imo」とも呼ぶ。)を車載機2へ送信する。好適には、外部撮影カメラ4は、外部撮影カメラ4の撮影範囲が運転者の視界とおよそ一致するように、設置位置や設置角度等が調整されている。車外撮影画像Imoは、看板の検出等に用いられる。外部撮影カメラ4は、本発明における「カメラ」の一例である。   The external photographing camera 4 is a camera directed in front of the vehicle Ve, and transmits a generated image (also referred to as “ex-vehicle photographed image Imo”) to the in-vehicle device 2. Preferably, the installation position, the installation angle, and the like of the external shooting camera 4 are adjusted so that the shooting range of the external shooting camera 4 substantially matches the field of view of the driver. The outside-vehicle photographed image Imo is used for detecting a signboard or the like. The external camera 4 is an example of the “camera” in the present invention.
サーバ装置5は、携帯端末1、車載機2、及び後述する閲覧用端末6とネットワーク等を介して電気的に接続している。サーバ装置5は、運転者が見た看板の情報と、看板を見た運転者の属性と、看板を見た後の行動履歴とを関連付けて記録した看板観察情報DB32を保有する。そして、サーバ装置5は、携帯端末1及び車載機2から受信した情報に基づき、看板観察情報DB32を更新する。また、サーバ装置5は、閲覧用端末6から所定の検索条件を指定した検索要求があった場合には、検索条件に合致した看板観察情報DB32のレコードに基づき生成した画面情報を、閲覧用端末6へ送信する。   The server device 5 is electrically connected to the mobile terminal 1, the in-vehicle device 2, and a browsing terminal 6 described later via a network or the like. The server device 5 has a signboard observation information DB 32 in which information on a signboard viewed by the driver, an attribute of the driver who viewed the signboard, and an action history after viewing the signboard are recorded in association with each other. And the server apparatus 5 updates signboard observation information DB32 based on the information received from the portable terminal 1 and the vehicle equipment 2. FIG. Further, when there is a search request specifying a predetermined search condition from the browsing terminal 6, the server device 5 displays screen information generated based on the record in the signboard observation information DB 32 that matches the search condition. 6 to send.
閲覧用端末6は、例えば、看板の有効性を判断する者又は次に設置する看板の態様を検討している者等が閲覧する端末であり、看板に関する検索条件を指定するユーザ入力を受け付ける。そして、閲覧用端末6は、指定された検索条件をサーバ装置5へ送信することで、サーバ装置5から検索結果を示す画面情報を受信し、当該画面情報に基づく表示を行う。   The browsing terminal 6 is a terminal that is browsed by, for example, a person who determines the effectiveness of a signboard or a person who is considering the form of a signboard to be installed next, and accepts user input that specifies a search condition related to the signboard. And the browsing terminal 6 receives the screen information which shows a search result from the server apparatus 5, by transmitting the designated search condition to the server apparatus 5, and performs the display based on the said screen information.
(2)車載機の構成
図2は、車載機2のブロック図である。車載機2は、主に、ディスプレイなどの表示部21と、入力部22と、記憶部23と、データ通信を行う通信部24と、制御部25と、測位部26と、音出力部27と、を備える。これらの各要素は、バスライン20を介して相互に接続されている。
(2) Configuration of the in-vehicle device FIG. 2 is a block diagram of the in-vehicle device 2. The in-vehicle device 2 mainly includes a display unit 21 such as a display, an input unit 22, a storage unit 23, a communication unit 24 that performs data communication, a control unit 25, a positioning unit 26, and a sound output unit 27. . Each of these elements is connected to each other via a bus line 20.
表示部21は、制御部25の制御に基づき、現在位置周辺の地図や再生中のオーディオの情報等を示す画像を表示する。入力部22は、例えば、ボタン、スイッチ、タッチパネル、音声入力装置などであり、制御部25の制御に基づき、目的地の設定等に必要なユーザの入力を受け付ける。   Based on the control of the control unit 25, the display unit 21 displays an image indicating a map around the current position, information on audio being reproduced, and the like. The input unit 22 is, for example, a button, a switch, a touch panel, a voice input device, or the like, and receives user input necessary for setting a destination based on the control of the control unit 25.
記憶部23は、車載機2の動作を制御するためのプログラムを保存したり、車載機2の動作に必要な情報を保持したりする。本実施例では、記憶部23は、経路案内に必要な地図データを記憶する。また、記憶部23は、運転者属性情報Ipを記憶する。ここで、「運転者属性情報Ip」には、運転者に付されたユーザID、性別、年齢、車両Veの車種等が含まれる。   The storage unit 23 stores a program for controlling the operation of the in-vehicle device 2 and holds information necessary for the operation of the in-vehicle device 2. In the present embodiment, the storage unit 23 stores map data necessary for route guidance. The storage unit 23 stores driver attribute information Ip. Here, the “driver attribute information Ip” includes the user ID, gender, age, vehicle type of the vehicle Ve, and the like given to the driver.
通信部24は、視線検知カメラ3から車内撮影画像Imiを受信し、制御部25へ供給する。また、通信部24は、外部撮影カメラ4から車外撮影画像Imoを受信し、制御部25へ供給する。さらに、通信部24は、制御部25の制御に基づき、サーバ装置5と無線による通信を確立し、看板情報Is、運転者属性情報Ip、及び訪問履歴情報Iv等をサーバ装置5へ送信する。   The communication unit 24 receives the in-car image Imi from the line-of-sight detection camera 3 and supplies it to the control unit 25. Further, the communication unit 24 receives the outside-captured image Imo from the external camera 4 and supplies it to the control unit 25. Furthermore, the communication unit 24 establishes wireless communication with the server device 5 based on the control of the control unit 25, and transmits signboard information Is, driver attribute information Ip, visit history information Iv, and the like to the server device 5.
測位部26は、ジャイロセンサや距離センサなどの自立測位装置やGPS受信機などであり、車両の現在地や進行方向などの測位を行う。音出力部27は、制御部25の制御に基づき、ルート案内のための音声等を出力する。   The positioning unit 26 is a self-supporting positioning device such as a gyro sensor or a distance sensor, a GPS receiver, or the like, and performs positioning such as the current location of the vehicle and the traveling direction. The sound output unit 27 outputs a voice for route guidance based on the control of the control unit 25.
制御部25は、図示しないCPUなどを備え、車載機2内の各構成要素に対して種々の制御を行う。本実施例では、制御部25は、運転者の視線と合致した看板を検出する。そして、制御部25は、検出した看板の位置情報と、看板の検出日時の情報と、看板が表示されている外部撮影カメラ4の画像(「看板画像」とも呼ぶ。)とを、看板情報Isとして通信部24によりサーバ装置5へ送信する。尚、後述する看板基本情報DB31が車載器の記憶部23に記憶されている場合は、運転者の視線と合致した看板の看板IDを看板情報Isとして通信部24によりサーバ装置5へ送信してもよい。また、制御部25は、看板情報Isと共に、記憶部23に記憶した運転者属性情報Ipをサーバ装置5へ送信する。さらに、制御部25は、車両Veが起動して最初に設定された目的地以外の施設へ車両Veが立寄ったと判断した場合に、当該施設に関する情報を、訪問履歴情報Ivとしてサーバ装置5へ送信する。   The control unit 25 includes a CPU (not shown) and performs various controls on each component in the in-vehicle device 2. In the present embodiment, the control unit 25 detects a signboard that matches the driver's line of sight. Then, the control unit 25 uses the detected signboard position information, the signboard detection date / time information, and the image of the external photographing camera 4 on which the signboard is displayed (also referred to as “signboard image”) to the signboard information Is. Is transmitted to the server device 5 by the communication unit 24. In addition, when signboard basic information DB31 described later is stored in the storage unit 23 of the vehicle-mounted device, the signboard ID of the signboard that matches the driver's line of sight is transmitted to the server apparatus 5 by the communication section 24 as the signboard information Is. Also good. In addition, the control unit 25 transmits the driver attribute information Ip stored in the storage unit 23 together with the signboard information Is to the server device 5. Further, when the control unit 25 determines that the vehicle Ve has stopped at a facility other than the destination that is initially set after the vehicle Ve is started, the control unit 25 transmits information about the facility to the server device 5 as visit history information Iv. To do.
ここで、運転者の視線と合致した看板を検出する方法について説明する。制御部25は、車外撮影画像Imoから看板を抽出することで、運転者が視認可能な位置に存在する看板を抽出する。また、制御部25は、車内撮影画像Imiから公知の視線認識技術に基づき運転者の視線方向を認識する。そして、制御部25は、車外撮影画像Imoから抽出した看板のうち、車内撮影画像Imiから認識した運転者の視線上にある看板を、運転者の視線と合致した看板として検出する。その後、制御部25は、例えば測位部26が計測した現在位置及び進行方向と、車外撮影画像Imoでの当該看板の位置とに基づき、看板の位置情報を算出し、看板情報Isに含める。   Here, a method for detecting a signboard that matches the driver's line of sight will be described. The control part 25 extracts the signboard which exists in the position which a driver | operator can visually recognize by extracting a signboard from the imaging | photography image Imo outside a vehicle. Further, the control unit 25 recognizes the driver's line-of-sight direction from the in-vehicle photographed image Imi based on a known line-of-sight recognition technique. And the control part 25 detects the signboard which exists on the driver | operator's eyes | visual_axis recognized from the in-vehicle captured image Imi among the signboards extracted from the imaging | photography image Imo outside a vehicle as a signboard which matched the eyes | visual_axis of a driver | operator. Thereafter, the control unit 25 calculates the position information of the signboard based on, for example, the current position and traveling direction measured by the positioning unit 26 and the position of the signboard in the outside-vehicle photographed image Imo, and includes the signboard information Is.
制御部25は、本発明における「対象物特定手段」、「第1送信手段」、「取得手段」、「第2送信手段」及びプログラムを実行する「コンピュータ」の一例である。   The control unit 25 is an example of a “target specifying unit”, “first transmission unit”, “acquisition unit”, “second transmission unit”, and “computer” that executes a program in the present invention.
(3)サーバ装置の構成
図3は、サーバ装置5のブロック図である。サーバ装置5は、主に、記憶部53と、データ通信を行う通信部54と、制御部55とを備える。これらの各要素は、バスライン50を介して相互に接続されている。
(3) Configuration of Server Device FIG. 3 is a block diagram of the server device 5. The server device 5 mainly includes a storage unit 53, a communication unit 54 that performs data communication, and a control unit 55. These elements are connected to each other via a bus line 50.
記憶部53は、車載機2の動作を制御するためのプログラムを保存したり、車載機2の動作に必要な情報を保持したりする。本実施例では、記憶部53は、全国に設置された看板の設置位置や大きさなどの基本情報を記録した看板基本情報DB31を予め記憶している。また、記憶部53は、携帯端末1及び車載機2から受信した情報に基づき生成した看板観察情報DB32を記憶する。看板観察情報DB32には、看板を見た運転者の属性及び看板を見た後の当該看板に関連する商品の購入履歴又は施設の訪問履歴等が記録されている。看板基本情報DB31及び看板観察情報DB32の詳細なデータ構造については、[データ構造]のセクションで説明する。   The storage unit 53 stores a program for controlling the operation of the in-vehicle device 2 and holds information necessary for the operation of the in-vehicle device 2. In the present embodiment, the storage unit 53 stores in advance a signboard basic information DB 31 in which basic information such as installation positions and sizes of signboards installed throughout the country is recorded. In addition, the storage unit 53 stores a signboard observation information DB 32 generated based on information received from the mobile terminal 1 and the in-vehicle device 2. In the signboard observation information DB 32, the attribute of the driver who viewed the signboard, the purchase history of products related to the signboard after viewing the signboard, the visit history of the facility, and the like are recorded. Detailed data structures of the signboard basic information DB 31 and the signboard observation information DB 32 will be described in the section [Data Structure].
通信部54は、制御部55の制御に基づき、車載機2と通信を確立し、看板情報Is、運転者属性情報Ip、及び訪問履歴情報Iv等を受信する。また、通信部54は、制御部55の制御に基づき、携帯端末1と通信を確立し、購入履歴情報Ib等を受信する。   The communication unit 54 establishes communication with the vehicle-mounted device 2 based on the control of the control unit 55, and receives signboard information Is, driver attribute information Ip, visit history information Iv, and the like. Further, the communication unit 54 establishes communication with the mobile terminal 1 based on the control of the control unit 55 and receives purchase history information Ib and the like.
制御部55は、図示しないCPUなどを備え、サーバ装置5内の各構成要素に対して種々の制御を行う。本実施例では、制御部55は、携帯端末1及び車載機2から受信する情報に基づき、看板観察情報DB32を更新する。また、制御部55は、閲覧用端末6から所定の検索条件を指定した検索要求があった場合には、検索条件に合致した看板観察情報DB32のレコードから生成した画面情報等を、通信部54により閲覧用端末6へ送信する。制御部55は、本発明における「第1取得手段」、「第2取得手段」、「決定手段」、「記憶手段」及びプログラムを実行する「コンピュータ」の一例である。   The control unit 55 includes a CPU (not shown) and the like, and performs various controls on each component in the server device 5. In the present embodiment, the control unit 55 updates the signboard observation information DB 32 based on information received from the mobile terminal 1 and the in-vehicle device 2. In addition, when there is a search request specifying a predetermined search condition from the browsing terminal 6, the control unit 55 displays the screen information generated from the record in the signboard observation information DB 32 that matches the search condition, and the communication unit 54. Is transmitted to the browsing terminal 6. The control unit 55 is an example of the “first acquisition unit”, “second acquisition unit”, “determination unit”, “storage unit”, and “computer” that executes a program in the present invention.
[データ構造]
図4は、看板基本情報DB31のデータ構造の一例を示す。看板基本情報DB31は、看板ごとの基本情報が登録されたデータベースであり、図4の例では、「看板ID」、「位置」、「高さ」、「大きさ」、「デザイン」、「カテゴリ」、「商品(施設)名」、及び「施設までの距離」の各項目を有する。
[data structure]
FIG. 4 shows an example of the data structure of the signboard basic information DB 31. The signboard basic information DB 31 is a database in which basic information for each signboard is registered. In the example of FIG. 4, “signboard ID”, “position”, “height”, “size”, “design”, “category” "," Product (facility) name ", and" distance to facility ".
ここで、看板基本情報DB31が有する各項目について説明する。項目「位置」には、看板の設置位置を示す緯度経度情報が登録される。項目「高さ」には、看板が設置される地表からの高さが登録される。項目「大きさ」には、看板の縦及び横の長さが登録される。項目「デザイン」には、看板の色やその他のデザイン上の特徴を示す情報が登録される。項目「カテゴリ」には、看板が広告する商品や施設のサービスのカテゴリが登録される。「商品(施設)名」には、看板が広告する商品又は看板が誘導する施設の名称と、対応する商品ID又は施設IDとが登録される。項目「施設までの距離」には、看板が施設に関連する場合に、看板の設置位置から当該看板に関連する施設までの距離が登録される。   Here, each item which signboard basic information DB31 has is demonstrated. In the item “position”, latitude / longitude information indicating the installation position of the signboard is registered. In the item “height”, the height from the ground surface where the signboard is installed is registered. In the item “size”, the vertical and horizontal lengths of the signboard are registered. In the item “design”, information indicating the color of the signboard and other design features is registered. In the item “category”, the category of the product or facility service advertised by the signboard is registered. In the “product (facility) name”, the name of the product advertised by the signboard or the facility guided by the signboard and the corresponding product ID or facility ID are registered. In the item “distance to facility”, when the signboard is related to the facility, the distance from the installation position of the signboard to the facility related to the signboard is registered.
図5は、看板観察情報DB32のデータ構造の一例を示す。図5の例では、看板観察情報DB32は、「ユーザID」、「看板ID」、「性別」、「年齢」、「車種」、「日時」、「見え方」、「購入の有無」、及び「訪問の有無」の各項目を含む。ここで、項目「日時」には、対象となる看板を運転者が見た日時が登録される。ここで、項目「見え方」には、対象となる看板が運転者にどのように見えていたかを示す情報が登録される。また、項目「購入の有無」には、対象となる看板が特定の商品と関連する場合に、運転者が看板を見た後に関連商品が購入されたか否かを示す情報が登録される。また、項目「訪問の有無」には、対象となる看板が施設と関連する看板である場合に、運転者が看板を見た後に関連施設を訪問したか否かを示す情報が登録される。   FIG. 5 shows an example of the data structure of the signboard observation information DB 32. In the example of FIG. 5, the signboard observation information DB 32 includes “user ID”, “signboard ID”, “sex”, “age”, “vehicle type”, “date / time”, “appearance”, “presence / absence of purchase”, and Includes each item of “visited”. Here, in the item “date and time”, the date and time when the driver saw the target signboard is registered. Here, in the item “how to see”, information indicating how the target signboard looked to the driver is registered. In addition, in the item “presence / absence of purchase”, information indicating whether or not a related product has been purchased after the driver sees the sign is registered when the target signboard is related to a specific product. In addition, in the item “presence / absence of visit”, information indicating whether or not the driver has visited the related facility after viewing the sign is registered when the target signboard is a signboard related to the facility.
ここで、図5に示す看板観察情報DB32の各レコードの生成方法について説明する。   Here, a method of generating each record in the signboard observation information DB 32 illustrated in FIG. 5 will be described.
サーバ装置5は、車載機2から看板情報Is及び運転者属性情報Ipを受信した場合、看板情報Isに含まれる看板の位置情報等に基づき、看板基本情報DB31を参照することで、運転者が視線を向けた看板に対応する看板IDを認識する。そして、サーバ装置5は、認識した看板IDに、運転者属性情報Ipに含まれるユーザID、性別、年齢、車種及び看板情報Isに含まれる看板の検出日時を関連付けて、看板観察情報DB32のレコードとして登録する。尚、看板情報Isとして看板IDを受信した場合は、受信した看板IDに、運転者属性情報Ipに含まれるユーザID、性別、年齢、車種及び看板情報Isに含まれる看板の検出日時を関連付けて、看板観察情報DB32のレコードとして登録する。   When the server device 5 receives the signboard information Is and the driver attribute information Ip from the in-vehicle device 2, the server device 5 refers to the signboard basic information DB 31 based on the signboard position information included in the signboard information Is, so that the driver can The signboard ID corresponding to the signboard with the line of sight is recognized. The server device 5 associates the recognized signboard ID with the user ID, gender, age, vehicle type, and signboard detection date / time included in the signboard information Is included in the driver attribute information Ip, and records in the signboard observation information DB 32 Register as When signboard ID is received as signboard information Is, the received signboard ID is associated with the user ID, gender, age, vehicle type, and signboard detection date / time included in signboard information Is included in driver attribute information Ip. And registered as a record in the signboard observation information DB 32.
また、サーバ装置5は、看板情報Isに含まれる看板画像に基づき、画像解析することで、項目「見え方」に登録すべき内容を特定する。図5の例では、サーバ装置5は、公知の画像認識技術に基づき、看板情報Isに含まれる看板画像が看板全体を示すと判断した場合には、項目「見え方」を「全体が見えた」とし、看板画像が看板の一部のみを示すと判断した場合には、項目「見え方」を「一部が見えた」としている。また、サーバ装置5は、看板画像が看板全体を示す場合であっても、西日の照射の有無や時間帯等によって看板の内容が見えていないと公知の画像認識技術により判断した場合には、項目「見え方」を「内容が見えていない」としている。   Further, the server device 5 identifies the content to be registered in the item “appearance” by performing image analysis based on the signboard image included in the signboard information Is. In the example of FIG. 5, when the server device 5 determines that the signboard image included in the signboard information Is indicates the entire signboard based on a known image recognition technology, the item “how to see” When the signboard image is determined to show only a part of the signboard, the item “how to see” is set to “partially seen”. In addition, even when the signboard image shows the entire signboard, the server device 5 determines that the signboard contents are not visible due to the presence or absence of irradiation of the western sun, the time zone, etc. , The item “how to see” is “the contents are not visible”.
また、サーバ装置5は、購入履歴情報Ibを受信した場合、看板観察情報DB32に登録されているレコードのうち、当該購入履歴情報Ibに対応するレコードがある場合に、当該レコードの「購入の有無」の項目を「有」に設定する。この場合、まず、サーバ装置5は、看板基本情報DB31の「商品名」及び「看板ID」の項目を参照し、購入履歴情報Ibに含まれる商品IDから対応する看板IDを認識する。次に、サーバ装置5は、認識した看板IDと購入履歴情報Ibに含まれるユーザIDとの組み合わせが規定されている看板観察情報DB32のレコードを検索する。そして、サーバ装置5は、検索したレコードの「日時」の項目をさらに参照し、当該項目が示す日時が購入履歴情報Ibにより示される購入日時以前かつ所定時間差(例えば30分)以内であるレコードに対し、「購入の有無」の項目を「有」に設定する。これにより、サーバ装置5は、看板を見ることにより当該看板に関連する商品の購入に至った購入履歴のみを、好適に看板観察情報DB32に登録することができる。   Further, when the server device 5 receives the purchase history information Ib, if there is a record corresponding to the purchase history information Ib among the records registered in the signboard observation information DB 32, ”Item is set to“ Yes ”. In this case, first, the server device 5 refers to the items “product name” and “signboard ID” of the signboard basic information DB 31 and recognizes the corresponding signboard ID from the product ID included in the purchase history information Ib. Next, the server device 5 searches for a record in the signboard observation information DB 32 in which a combination of the recognized signboard ID and the user ID included in the purchase history information Ib is defined. The server device 5 further refers to the item “date and time” of the retrieved record, and records the date and time indicated by the item before the purchase date and time indicated by the purchase history information Ib and within a predetermined time difference (for example, 30 minutes). On the other hand, the item “purchased” is set to “present”. Thereby, the server apparatus 5 can register suitably only the purchase history which resulted in the purchase of the goods relevant to the said signboard by seeing the signboard in signboard observation information DB32.
同様に、サーバ装置5は、訪問履歴情報Ivを受信した場合、看板観察情報DB32に登録されているレコードのうち、当該訪問履歴情報Ivに対応するレコードがある場合に、当該レコードの「訪問の有無」の項目を「有」に設定する。この場合、まず、サーバ装置5は、看板基本情報DB31の「施設名」及び「看板ID」の項目を参照し、訪問履歴情報Ivに含まれる施設IDから対応する看板IDを認識する。次に、サーバ装置5は、認識した看板IDと訪問履歴情報Ivに含まれるユーザIDとの組み合わせが規定されている看板観察情報DB32のレコードを検索する。そして、サーバ装置5は、検索したレコードの「日時」の項目をさらに参照し、当該項目が示す日時が訪問履歴情報Ivから特定される訪問日時以前かつ所定時間差(例えば30分)以内であるレコードに対し、「訪問の有無」の項目を「有」に設定する。これにより、サーバ装置5は、看板を見ることにより当該看板に関連する施設の訪問に至った訪問履歴のみを、好適に看板観察情報DB32に登録することができる。   Similarly, when the server device 5 receives the visit history information Iv, when there is a record corresponding to the visit history information Iv among the records registered in the signboard observation information DB 32, the “visit of visit” is recorded. Set “Presence” to “Yes”. In this case, first, the server device 5 refers to the items “facility name” and “signboard ID” of the signboard basic information DB 31 and recognizes the corresponding signboard ID from the facility ID included in the visit history information Iv. Next, the server device 5 searches for a record in the signboard observation information DB 32 in which a combination of the recognized signboard ID and the user ID included in the visit history information Iv is defined. Then, the server device 5 further refers to the item “date and time” of the retrieved record, and the date and time indicated by the item is before the visit date and time specified from the visit history information Iv and within a predetermined time difference (for example, 30 minutes). On the other hand, the item “visited / not visited” is set to “present”. Thereby, the server apparatus 5 can register suitably only the visit history which resulted in the visit of the facility relevant to the said signboard by seeing the signboard in signboard observation information DB32.
[処理フロー]
(1)看板観察情報DB32へのレコードの追加処理
図6は、運転者が看板を見た際に実行される看板観察情報DB32へのレコードの追加処理の手順を示すフローチャートである。車載機2は、図6に示す処理を、車両Veの始動後、繰り返し実行する。
[Processing flow]
(1) Processing for adding records to the signboard observation information DB 32 FIG. 6 is a flowchart showing a procedure for adding records to the signboard observation information DB 32 that is executed when the driver views the signboard. The in-vehicle device 2 repeatedly executes the process shown in FIG. 6 after the vehicle Ve is started.
まず、車載機2は、外部撮影カメラ4から供給される車外撮影画像Imoに対して所定の画像処理を行うことで、車外撮影画像Imoから看板を検知できたか否か判定する(ステップS101)。そして、車載機2は、車外撮影画像Imoから看板を検知した場合(ステップS101;Yes)、ステップS102へ処理を進める。また、この場合、車載機2は、後述するステップS103での判定処理に備え、車外撮影画像Imo内での看板の表示位置、測位部26により測定された車両Veの現在位置及び進行方向等に基づき、検知した看板の位置を算出しておく。一方、車載機2は、車外撮影画像Imoから看板を検知できない場合(ステップS101;No)、所定時間後に外部撮影カメラ4から供給される車外撮影画像Imoを対象に再び看板の検出処理を行う。   First, the in-vehicle device 2 determines whether or not a signboard has been detected from the outside-vehicle shot image Imo by performing predetermined image processing on the outside-vehicle shot image Imo supplied from the external shooting camera 4 (step S101). And the vehicle equipment 2 will advance a process to step S102, when a signboard is detected from the imaging | photography image Imo outside a vehicle (step S101; Yes). Further, in this case, the in-vehicle device 2 prepares for the determination process in step S103 to be described later, in accordance with the display position of the signboard in the outside-vehicle photographed image Imo, the current position of the vehicle Ve measured by the positioning unit 26, the traveling direction, and the like. Based on this, the detected position of the signboard is calculated. On the other hand, when the signboard cannot be detected from the outside-captured image Imo (step S101; No), the in-vehicle device 2 performs the signboard detection process again on the outside-captured image Imo supplied from the external shooting camera 4 after a predetermined time.
次に、車載機2は、視線検知カメラ3から供給される車内撮影画像Imiから運転者の視線方向を検知する(ステップS102)。この場合、車載機2は、車内撮影画像Imiから公知の視線認識技術により運転者の視線検知カメラ3に対する相対的な視線方向を検出し、さらに視線検知カメラ3の車両Ve内での設置位置、設置角度、及び車両Veの進行方向等を勘案することで、運転者の視線方向を検知する。   Next, the vehicle-mounted device 2 detects the driver's line-of-sight direction from the in-vehicle photographed image Imi supplied from the line-of-sight detection camera 3 (step S102). In this case, the vehicle-mounted device 2 detects the relative line-of-sight direction of the driver with respect to the line-of-sight detection camera 3 from the in-vehicle captured image Imi using a known line-of-sight recognition technique, and further, the installation position of the line-of-sight detection camera 3 in the vehicle Ve, The driver's line-of-sight direction is detected by taking into account the installation angle, the traveling direction of the vehicle Ve, and the like.
そして、車載機2は、運転者がステップS101で検知した看板を見ていたか否か判定する(ステップS103)。この場合、例えば、車載機2は、車両Veの現在位置とステップS102で検知した運転者の視線方向とに基づき、運転者の視線上の位置を認識し、ステップS101で検出した看板の位置が運転者の視線上の位置と重なるか否か判定する。なお、車載機2は、車外撮影画像ImoからステップS101で複数の看板を検知した場合には、検知した各看板についてステップS103の処理を実行する。   And the vehicle equipment 2 determines whether the driver was looking at the signboard detected at step S101 (step S103). In this case, for example, the vehicle-mounted device 2 recognizes the position on the driver's line of sight based on the current position of the vehicle Ve and the driver's line-of-sight direction detected in step S102, and the position of the signboard detected in step S101 is determined. It is determined whether or not the position overlaps with the position on the driver's line of sight. In addition, when a plurality of signboards are detected in step S101 from the outside-captured image Imo, the in-vehicle device 2 executes the process of step S103 for each detected signboard.
そして、車載機2は、運転者が看板を見ていたと判断した場合(ステップS103;Yes)、ステップS101で検知した看板を特定するための看板情報Is及び記憶部23に記憶されていた運転者属性情報Ipをサーバ装置5へ送信する(ステップS104)。なお、看板情報Isには、ステップS101で検知した看板部分が車外撮影画像Imoから抽出された看板画像が含まれる。一方、車載機2は、運転者が看板を見ていなかったと判断した場合(ステップS103;No)、ステップS101へ処理を戻す。   And when the vehicle equipment 2 judges that the driver was looking at the signboard (step S103; Yes), the signboard information Is for specifying the signboard detected at step S101 and the driver stored in the storage unit 23 The attribute information Ip is transmitted to the server device 5 (step S104). The signboard information Is includes a signboard image in which the signboard portion detected in step S101 is extracted from the outside-vehicle photographed image Imo. On the other hand, the vehicle equipment 2 returns a process to step S101, when it is judged that the driver did not look at the signboard (step S103; No).
ステップS104の後、サーバ装置5は、車載機2から送信された看板情報Is及び運転者属性情報Ipを受信する(ステップS201)。そして、サーバ装置5は、看板情報Isに含まれる看板の位置情報等に基づき、運転者が見た看板の看板IDを、看板基本情報DB31を参照することで特定する(ステップS202)。その後、サーバ装置5は、看板情報Isに含まれる看板画像から、看板の見え方を解析する(ステップS203)。これにより、サーバ装置5は、看板観察情報DB32の「見え方」の項目に登録すべき内容を決定する。そして、サーバ装置5は、ステップS202の解析結果と、受信した看板情報Is及び運転者属性情報Ipとに基づき、看板観察情報DB32に新規レコードを追加する(ステップS204)。なお、ステップS204で追加したレコードには、図5の「購入の有無」及び「訪問の有無」の項目に対応する記録がまだ含まれていない。項目「購入の有無」に対応する記録の追加については図7、項目「訪問の有無」に対応する記録の追加については図8を参照して説明する。   After step S104, the server device 5 receives the signboard information Is and the driver attribute information Ip transmitted from the in-vehicle device 2 (step S201). Then, the server device 5 specifies the signboard ID of the signboard viewed by the driver by referring to the signboard basic information DB 31 based on the position information of the signboard included in the signboard information Is (step S202). Thereafter, the server device 5 analyzes the appearance of the signboard from the signboard image included in the signboard information Is (step S203). Thereby, the server apparatus 5 determines the content to be registered in the “appearance” item of the signboard observation information DB 32. Then, the server device 5 adds a new record to the signboard observation information DB 32 based on the analysis result of step S202 and the received signboard information Is and driver attribute information Ip (step S204). Note that the record added in step S204 does not yet include records corresponding to the items “purchased” and “visited” in FIG. The addition of the record corresponding to the item “presence / absence of purchase” will be described with reference to FIG. 7, and the addition of the record corresponding to the item “presence / absence of visit” will be described with reference to FIG.
(2)購入履歴の追加処理
図7は、看板観察情報DB32に購入履歴を追加する処理の手順を示すフローチャートの一例である。携帯端末1は、図7のフローチャートの処理を繰り返し実行する。
(2) Purchase History Addition Processing FIG. 7 is an example of a flowchart showing a procedure of processing for adding a purchase history to the signboard observation information DB 32. The mobile terminal 1 repeatedly executes the process of the flowchart of FIG.
まず、携帯端末1は、購入行動を検知したか否か判定する(ステップS111)。例えば、携帯端末1は、携帯端末1を利用した電子マネーによる決済やインターネット等を利用した電子商取引等があった場合に、購入行動があったと判定する。そして、携帯端末1は、購入行動を検知した場合(ステップS111;Yes)、購入履歴情報Ibをサーバ装置5へ送信する(ステップS112)。ここで、携帯端末1は、購入履歴情報Ibとして、例えば、携帯端末1のユーザである運転者のユーザIDと、購入した商品を示す商品IDと、購入日時の情報とを、サーバ装置5へ送信する。   First, the mobile terminal 1 determines whether or not purchase behavior has been detected (step S111). For example, the mobile terminal 1 determines that there is a purchase action when there is a settlement with electronic money using the mobile terminal 1 or an electronic commerce using the Internet or the like. And the portable terminal 1 transmits purchase history information Ib to the server apparatus 5, when a purchase action is detected (step S111; Yes) (step S112). Here, the mobile terminal 1 sends, as the purchase history information Ib, for example, the user ID of the driver who is the user of the mobile terminal 1, the product ID indicating the purchased product, and purchase date / time information to the server device 5. Send.
そして、サーバ装置5は、携帯端末1から送信された購入履歴情報Ibを受信する(ステップS211)。そして、サーバ装置5は、看板観察情報DB32に、受信した購入履歴情報Ibに対応するレコードがあるか否か判定する(ステップS212)。この場合、まず、サーバ装置5は、購入履歴情報Ibに含まれる商品IDから看板基本情報DB31を参照して対応する看板IDを認識する。そして、サーバ装置5は、認識した看板IDと購入履歴情報Ibに含まれるユーザIDとが関連付けられたレコードが看板観察情報DB32に存在するか否か判定する。この場合、好適には、サーバ装置5は、項目「日時」に示される日時が、購入履歴情報Ibにより示される購入日時以前かつ所定時間差以内となるレコードのみを検索対象とするとよい。   Then, the server device 5 receives the purchase history information Ib transmitted from the mobile terminal 1 (step S211). Then, the server device 5 determines whether or not there is a record corresponding to the received purchase history information Ib in the signboard observation information DB 32 (step S212). In this case, first, the server device 5 recognizes the corresponding signboard ID by referring to the signboard basic information DB 31 from the product ID included in the purchase history information Ib. Then, the server device 5 determines whether or not a record in which the recognized signboard ID is associated with the user ID included in the purchase history information Ib exists in the signboard observation information DB 32. In this case, preferably, the server device 5 may search only records for which the date and time indicated in the item “date and time” is before the purchase date and time indicated by the purchase history information Ib and within a predetermined time difference.
そして、サーバ装置5は、受信した購入履歴情報Ibに対応するレコードが看板観察情報DB32に存在する場合(ステップS212;Yes)、対応する看板観察情報DB32のレコードに購入履歴を追加記録する(ステップS213)。即ち、サーバ装置5は、対応するレコードの項目「購入の有無」を「有」に設定する。一方、サーバ装置5は、受信した購入履歴情報Ibに対応するレコードが看板観察情報DB32に存在しない場合(ステップS212;No)、フローチャートの処理を終了する。   When the record corresponding to the received purchase history information Ib exists in the signboard observation information DB 32 (step S212; Yes), the server device 5 additionally records the purchase history in the corresponding signboard observation information DB 32 (step). S213). That is, the server device 5 sets the item “purchased” in the corresponding record to “present”. On the other hand, the server apparatus 5 complete | finishes the process of a flowchart, when the record corresponding to the received purchase history information Ib does not exist in signboard observation information DB32 (step S212; No).
(3)訪問履歴の追加処理
図8は、看板観察情報DB32に訪問履歴を追加する処理の手順を示すフローチャートの一例である。車載機2は、図8のフローチャートの処理を、図6のステップS104で看板情報Is等の送信処理を実行した後、繰り返し実行する。
(3) Visit History Adding Process FIG. 8 is an example of a flowchart showing a procedure of a process for adding a visit history to the signboard observation information DB 32. The in-vehicle device 2 repeatedly executes the process of the flowchart of FIG. 8 after executing the transmission process of the signboard information Is and the like in step S104 of FIG.
まず、車載機2は、図6のステップS104で看板情報Is等の送信後、当該送信前から設定されていた目的地以外の施設への車両Veの立寄りを検知したか否か判定する(ステップS121)。例えば、車載機2は、図6のステップS104での看板情報Is等の送信後に設定された目的地又は立寄地へ到着した場合、又は、設定されたルートから外れた位置での所定時間以上の駐車等があった場合、到着地又は駐車位置の最寄りの施設に車両Veが立寄ったと判断する。   First, after transmitting the signboard information Is or the like in step S104 in FIG. 6, the in-vehicle device 2 determines whether or not the vehicle Ve is detected to stop at a facility other than the destination set before the transmission (step S104). S121). For example, when the vehicle-mounted device 2 arrives at the destination or stopover set after the transmission of the signboard information Is or the like in step S104 of FIG. 6, or the vehicle-mounted device 2 exceeds a predetermined time at a position off the set route. When there is parking or the like, it is determined that the vehicle Ve has stopped at the facility near the arrival place or the parking position.
そして、車載機2は、施設への車両Veの立寄りを検知した場合(ステップS121;Yes)、訪問履歴情報Ivをサーバ装置5へ送信する(ステップS122)。この場合、車載機2は、訪問履歴情報Ivとして、例えば、車載機2のユーザである運転者のユーザIDと、立寄った施設の識別情報である施設IDと、立寄った日時を示す日時情報とを、サーバ装置5へ送信する。   And the vehicle equipment 2 will transmit the visit history information Iv to the server apparatus 5, when the stop of the vehicle Ve to a facility is detected (step S121; Yes) (step S122). In this case, the in-vehicle device 2 includes, as the visit history information Iv, for example, the user ID of the driver who is the user of the in-vehicle device 2, the facility ID that is identification information of the facility that visited, and the date / time information indicating the date and time of the stop Is transmitted to the server device 5.
そして、サーバ装置5は、車載機2から送信された訪問履歴情報Ivを受信する(ステップS221)。そして、サーバ装置5は、看板観察情報DB32に、受信した訪問履歴情報Ivに対応するレコードがあるか否か判定する(ステップS222)。この場合、まず、サーバ装置5は、訪問履歴情報Ivに含まれる施設IDから看板基本情報DB31を参照して対応する看板IDを認識する。そして、サーバ装置5は、認識した看板IDと訪問履歴情報Ivに含まれるユーザIDとが関連付けられたレコードが看板観察情報DB32に存在するか否か判定する。また、好適には、この場合、サーバ装置5は、項目「日時」に示される日時が、訪問履歴情報Ivにより示される訪問日時以前でかつ所定時間差以内となるレコードのみを検索対象とするとよい。   And the server apparatus 5 receives the visit history information Iv transmitted from the vehicle equipment 2 (step S221). Then, the server device 5 determines whether or not there is a record corresponding to the received visit history information Iv in the signboard observation information DB 32 (step S222). In this case, first, the server device 5 recognizes the corresponding signboard ID by referring to the signboard basic information DB 31 from the facility ID included in the visit history information Iv. Then, the server device 5 determines whether or not a record in which the recognized signboard ID and the user ID included in the visit history information Iv are associated exists in the signboard observation information DB 32. In this case, preferably, the server device 5 may search only records for which the date and time indicated in the item “date and time” is before the visit date and time indicated by the visit history information Iv and within a predetermined time difference.
そして、サーバ装置5は、受信した訪問履歴情報Ivに対応するレコードが看板観察情報DB32に存在する場合(ステップS222;Yes)、対応する看板観察情報DB32のレコードに訪問履歴を追加記録する(ステップS223)。即ち、サーバ装置5は、対応するレコードの項目「訪問の有無」を「有」に設定する。一方、サーバ装置5は、受信した訪問履歴情報Ivに対応するレコードが看板観察情報DB32に存在しない場合(ステップS222;No)、フローチャートの処理を終了する。   Then, when the record corresponding to the received visit history information Iv exists in the signboard observation information DB 32 (step S222; Yes), the server device 5 additionally records the visit history in the corresponding signboard observation information DB 32 (step). S223). That is, the server device 5 sets the item “visited / not visited” of the corresponding record to “present”. On the other hand, the server apparatus 5 complete | finishes the process of a flowchart, when the record corresponding to the received visit history information Iv does not exist in signboard observation information DB32 (step S222; No).
[表示例]
次に、看板観察情報DB32の使用例について説明する。以後では、閲覧用端末6の検索要求に基づきサーバ装置5が閲覧用端末6に検索結果のリスト(「看板検索結果リスト」とも呼ぶ。)を送信する場合について説明する。
[Display example]
Next, a usage example of the signboard observation information DB 32 will be described. Hereinafter, a case where the server device 5 transmits a search result list (also referred to as “signboard search result list”) to the browsing terminal 6 based on a search request from the browsing terminal 6 will be described.
図9(A)は、主な対象が20代の女性となるレストランの看板を設置しようとする閲覧用端末6のユーザが所定の検索条件を指定した場合に、閲覧用端末6により表示される看板検索結果リストの一例である。この例では、閲覧用端末6のユーザは、年齢が20代、性別が女性、カテゴリがレストラン、訪問人数が5人以上であることを、検索条件として指定している。   FIG. 9A is displayed by the browsing terminal 6 when the user of the browsing terminal 6 who intends to install a signboard of a restaurant whose main target is a woman in his twenties specifies a predetermined search condition. It is an example of a signboard search result list. In this example, the user of the browsing terminal 6 specifies that the age is in his twenties, the gender is female, the category is restaurant, and the number of visitors is 5 or more as a search condition.
この場合、上述の検索条件を含む検索要求を閲覧用端末6から受信したサーバ装置5は、看板観察情報DB32から、項目「年齢」が20代、項目「性別」が女性となるレコードを抽出する。さらに、サーバ装置5は、抽出したレコードの各看板IDを参照し、当該看板IDに対応する看板基本情報DB31内の項目「カテゴリ」がレストランであるレコードをさらに抽出する。そして、サーバ装置5は、抽出したレコードを看板IDごとに分け、項目「訪問の有無」が「有」であるレコードが5個以上存在する看板IDを認識する。そして、サーバ装置5は、訪問履歴が5個以上存在する看板IDに対応する情報を看板基本情報DB31から抽出することで、図9(A)に示す看板検索結果リストを生成する。なお、図9(A)の看板検索結果リストでは、看板基本情報DB31から抽出した情報に加えて、集計した訪問履歴の数を示す「訪問回数」の項目が設けられている。そして、閲覧用端末6は、看板検索結果リストの情報をサーバ装置5から検索結果として受信し、図9(A)に示す看板検索結果リストを表示する。   In this case, the server device 5 that has received the search request including the above-described search conditions from the browsing terminal 6 extracts records from the signboard observation information DB 32 in which the item “age” is in the twenties and the item “gender” is female. . Furthermore, the server device 5 refers to each signboard ID of the extracted record, and further extracts a record in which the item “category” in the signboard basic information DB 31 corresponding to the signboard ID is a restaurant. Then, the server device 5 divides the extracted records into the signboard IDs, and recognizes the signboard ID in which five or more records having the item “visited / not visited” are “present”. And the server apparatus 5 produces | generates the signboard search result list | wrist shown to FIG. 9 (A) by extracting the information corresponding to signboard ID in which five or more visit histories exist from signboard basic information DB31. In the signboard search result list in FIG. 9A, in addition to the information extracted from the signboard basic information DB 31, an item “number of visits” indicating the total number of visit histories is provided. Then, the browsing terminal 6 receives information on the signboard search result list from the server device 5 as a search result, and displays the signboard search result list shown in FIG.
この場合、閲覧用端末6のユーザは、主な対象が20代の女性となるレストランの看板を設置する際に有効な看板の大きさ、デザイン、設置位置等の傾向を好適に把握することができる。よって、閲覧用端末6のユーザは、看板検索結果リストを参考にすることで、効果的なレストランの看板を好適に設置することができる。   In this case, the user of the browsing terminal 6 can preferably grasp trends such as the size, design, installation position, etc. of a signboard effective when installing a signboard of a restaurant whose main target is a woman in his twenties. it can. Therefore, the user of the browsing terminal 6 can suitably install an effective restaurant signboard by referring to the signboard search result list.
図9(B)は、主な対象が30代の男性となるビールの看板を設置しようとする閲覧用端末6のユーザが所定の検索条件を指定した場合に、閲覧用端末6により表示される看板検索結果リストの一例である。この例では、閲覧用端末6のユーザは、年齢が30代、性別が男性、カテゴリがビール、購入者数が100人以上であることを検索条件として指定している。   FIG. 9B is displayed by the browsing terminal 6 when a user of the browsing terminal 6 who intends to install a beer sign whose main target is a man in his 30s specifies a predetermined search condition. It is an example of a signboard search result list. In this example, the user of the browsing terminal 6 specifies that the age is 30's, the sex is male, the category is beer, and the number of purchasers is 100 or more as a search condition.
この場合、上述の検索条件を含む検索要求を閲覧用端末6から受信したサーバ装置5は、看板観察情報DB32から、項目「年齢」が30代、項目「性別」が男性となるレコードを抽出する。さらに、サーバ装置5は、抽出したレコードの各看板IDを参照し、当該看板IDに対応する看板基本情報DB31内の項目「カテゴリ」がビールであるレコードをさらに抽出する。そして、サーバ装置5は、抽出したレコードを看板IDごとに分け、項目「購入の有無」が「有」であるレコードが100個以上存在する看板IDを認識する。そして、サーバ装置5は、購入履歴が100個以上存在する看板IDに対応する情報を看板基本情報DB31から抽出することで、図9(B)に示す看板検索結果リストを生成する。なお、図9(B)の看板検索結果リストには、看板基本情報DB31から抽出した情報に加えて、集計した購入履歴の数を示す「購入者数」の項目が設けられている。そして、閲覧用端末6は、看板検索結果リストの情報をサーバ装置5から検索結果として受信し、図9(B)に示す看板検索結果リストを表示する。   In this case, the server device 5 that has received the search request including the above-described search conditions from the browsing terminal 6 extracts records from the signboard observation information DB 32 in which the item “age” is 30s and the item “gender” is male. . Furthermore, the server device 5 refers to each signboard ID of the extracted record, and further extracts a record in which the item “category” in the signboard basic information DB 31 corresponding to the signboard ID is beer. Then, the server device 5 divides the extracted records into the signboard IDs, and recognizes the signboard ID in which 100 or more records having the item “purchased” are “present”. And the server apparatus 5 produces | generates the signboard search result list | wrist shown to FIG. 9 (B) by extracting the information corresponding to signboard ID with 100 or more purchase histories from signboard basic information DB31. In the signboard search result list of FIG. 9B, in addition to the information extracted from the signboard basic information DB 31, an item “number of purchasers” indicating the total number of purchase histories is provided. Then, the browsing terminal 6 receives information on the signboard search result list from the server device 5 as a search result, and displays the signboard search result list shown in FIG. 9B.
この場合、閲覧用端末6のユーザは、主な対象が30代の男性となるビールの看板を設置する際に有効な看板の大きさ、デザイン、設置位置等の傾向を好適に把握することができる。よって、閲覧用端末6のユーザは、看板検索結果リストを参考にすることで、効果的なビールの看板を好適に設置することができる。   In this case, the user of the browsing terminal 6 can appropriately grasp the trends in the size, design, installation position, etc. of the signboard effective when installing a signboard of beer whose main target is a man in his thirties. it can. Therefore, the user of the browsing terminal 6 can suitably install an effective beer signboard by referring to the signboard search result list.
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
[Modification]
Hereinafter, modified examples suitable for the above-described embodiments will be described. The following modifications may be applied in any combination to the above-described embodiments.
(変形例1)
サーバ装置5は、運転者が視線を合わせた記録に加え、運転者が視線を合わせていない記録についても看板観察情報DB32に登録してもよい。
(Modification 1)
The server device 5 may register in the signboard observation information DB 32 not only the record in which the driver has adjusted his gaze, but also the record in which the driver has not adjusted his gaze.
図10(A)は、本変形例に係る看板観察情報DB32のデータ構造の一例を示す。図10(A)の看板観察情報DB32には、「視線の一致」の項目が設けられており、視線が一致した場合には「一致」、視線が一致していない場合には「不一致」と記録されている。このように、図10(A)の例では、視線と一致した看板に関するレコードに加え、視線と一致しなかった看板に関するレコードも看板観察情報DB32に追加される。   FIG. 10A shows an example of the data structure of the signboard observation information DB 32 according to this modification. In the signboard observation information DB 32 of FIG. 10A, an item of “matching line of sight” is provided. When the line of sight matches, “match”, and when the line of sight does not match, “mismatch”. It is recorded. Thus, in the example of FIG. 10A, in addition to the record related to the sign that matches the line of sight, the record related to the sign that does not match the line of sight is also added to the signboard observation information DB 32.
ここで、「視線の一致」の項目が「不一致」となるレコードの追加方法の具体例について説明する。第1の例では、車載機2は、図6のステップS103で看板を見ていたか否かの判定結果に関わらずステップS104の送信処理を実行する。この場合、車載機2は、送信する看板情報Isに、ステップS103での判定結果を含めることで、サーバ装置5に視線の一致の有無を識別させる。第2の例では、サーバ装置5は、車載機2から車両Veの位置に関する情報を取得し、当該情報に基づき車両Veから視認可能な範囲に存在する看板を看板基本情報DB31から抽出する。そして、サーバ装置5は、抽出した看板のうち、車載機2から送信される看板情報Isにより指定された看板以外の看板を、視線と合わなかった看板であると認識して看板観察情報DB32に登録する。   Here, a specific example of a method for adding records in which the item of “match of line of sight” is “mismatch” will be described. In the first example, the in-vehicle device 2 executes the transmission process of step S104 regardless of the determination result of whether or not the signboard was viewed in step S103 of FIG. In this case, the vehicle-mounted device 2 includes the determination result in step S103 in the signboard information Is to be transmitted, thereby causing the server device 5 to identify whether or not the line of sight matches. In the second example, the server device 5 acquires information related to the position of the vehicle Ve from the in-vehicle device 2 and extracts a signboard that exists in a range that is visible from the vehicle Ve from the signboard basic information DB 31 based on the information. Then, the server device 5 recognizes a signboard other than the signboard specified by the signboard information Is transmitted from the in-vehicle device 2 among the extracted signboards as a signboard that does not match the line of sight, and stores it in the signboard observation information DB 32. sign up.
図10(B)は、図10(A)の看板観察情報DB32に基づき生成された看板検索結果リストの一例である。図10(B)では、年齢が20代、性別が女性、カテゴリがレストラン、視線の一致する確率(視線一致確率)が10%以上であることを検索条件とする看板検索結果リストの一例である。   FIG. 10B is an example of a signboard search result list generated based on the signboard observation information DB 32 of FIG. FIG. 10B is an example of a signboard search result list whose search condition is age 20s, gender female, category restaurant, and line-of-sight matching probability (line-of-sight matching probability) of 10% or more. .
この場合、まず、サーバ装置5は、年齢、性別、カテゴリの各条件を満たすレコードを看板観察情報DB32から抽出する。次に、サーバ装置5は、「視線の一致」の項目を参照することで看板IDごとに視線一致確率を算出し、当該確率が10%以上である看板IDを特定する。そして、サーバ装置5は、特定した看板IDに対応する情報を看板基本情報DB31から抽出することで、図10(B)に示す看板検索結果リストを生成する。なお、図10(B)の看板検索結果リストでは、看板基本情報DB31から抽出した情報に加えて、算出した視線一致確率を示す項目「視線一致確率」が設けられている。   In this case, first, the server device 5 extracts records satisfying the age, sex, and category conditions from the signboard observation information DB 32. Next, the server device 5 calculates the line-of-sight coincidence probability for each signboard ID by referring to the item “line-of-sight match”, and identifies the signboard ID having the probability of 10% or more. And the server apparatus 5 produces | generates the signboard search result list | wrist shown to FIG. 10 (B) by extracting the information corresponding to specified signboard ID from signboard basic information DB31. In the signboard search result list of FIG. 10B, in addition to the information extracted from the signboard basic information DB 31, an item “line-of-sight matching probability” indicating the calculated line-of-sight matching probability is provided.
このように、視線と合わなかった看板についても看板観察情報DB32に登録することで、サーバ装置5は、視線が一致した頻度についても加味し、看板の有効性を的確に判定することが可能となる。   Thus, by registering the signboard that does not match the line of sight in the signboard observation information DB 32, the server device 5 can also accurately determine the effectiveness of the signboard in consideration of the frequency with which the line of sight matches. Become.
(変形例2)
図1に示す看板情報集積システム100の構成は一例であり、本発明が適用可能な構成は、これに限定されない。
(Modification 2)
The configuration of the signboard information accumulation system 100 shown in FIG. 1 is an example, and the configuration to which the present invention can be applied is not limited to this.
例えば、外部撮影カメラ4は、運転者が装着するスマートグラスなどのウェアラブル端末に付属するカメラであってもよい。この場合、車載機2は、運転者の視界に応じた撮影範囲となる車外撮影画像Imoをウェアラブル端末から取得する。同様に、視線検知カメラ3についても、運転者が装着するスマートグラスなどのウェアラブル端末に付属していてもよい。この場合、車載機2は、視線検知カメラ3が生成する画像又は当該画像に基づきウェアラブル端末が検知した視線方向の情報を受信する。また、視線検知カメラ3は、カメラに限らず、視線を検知するのに用いられる種々のセンサであってもよい。   For example, the external photographing camera 4 may be a camera attached to a wearable terminal such as a smart glass worn by the driver. In this case, the vehicle-mounted device 2 obtains an outside-vehicle photographed image Imo that is a photographing range corresponding to the driver's field of view from the wearable terminal. Similarly, the line-of-sight detection camera 3 may be attached to a wearable terminal such as a smart glass worn by the driver. In this case, the in-vehicle device 2 receives the image generated by the line-of-sight detection camera 3 or information on the line-of-sight direction detected by the wearable terminal based on the image. The line-of-sight detection camera 3 is not limited to the camera, and may be various sensors used to detect the line of sight.
(変形例3)
実施例では、サーバ装置5は、携帯端末1から取得した購入履歴情報Ibに基づき看板観察情報DB32に購入履歴を追加した。これに加えて、又はこれに代えて、サーバ装置5は、POSシステムとネットワークを介して接続し、POSシステムから看板観察情報DB32に登録されたユーザIDに対応する購入履歴情報Ibを取得してもよい。この場合、サーバ装置5は、実施例と同様に、受信した購入履歴情報Ibに対応する看板観察情報DB32のレコードを検索し、検索されたレコードに対して購入履歴を記録する。
(Modification 3)
In the embodiment, the server device 5 adds the purchase history to the signboard observation information DB 32 based on the purchase history information Ib acquired from the mobile terminal 1. In addition to or instead of this, the server device 5 is connected to the POS system via the network, and acquires purchase history information Ib corresponding to the user ID registered in the signboard observation information DB 32 from the POS system. Also good. In this case, similarly to the embodiment, the server device 5 searches for a record in the signboard observation information DB 32 corresponding to the received purchase history information Ib, and records a purchase history for the searched record.
尚、これに加えて、又はこれに代えて、サーバ装置5は、クレジットカードの購入履歴サーバとネットワークを介して接続し、クレジットカードの購入履歴サーバから看板観察情報DB32に登録されたユーザIDに対応する購入履歴情報Ibを取得してもよい。この場合、サーバ装置5は、実施例と同様に、受信した購入履歴情報Ibに対応する看板観察情報DB32のレコードを検索し、検索されたレコードに対して購入履歴を記録する。   In addition to this, or instead of this, the server device 5 is connected to the credit card purchase history server via the network, and the user ID registered in the signboard observation information DB 32 is registered from the credit card purchase history server. Corresponding purchase history information Ib may be acquired. In this case, similarly to the embodiment, the server device 5 searches for a record in the signboard observation information DB 32 corresponding to the received purchase history information Ib, and records a purchase history for the searched record.
(変形例4)
車載機2は、看板基本情報DB31を記憶し、車外撮影画像Imoから看板を検出するのに用いてもよい。
(Modification 4)
The in-vehicle device 2 may store the signboard basic information DB 31 and use it to detect the signboard from the outside-vehicle photographed image Imo.
例えば、この場合、図6のステップS101において、車載機2は、車外撮影画像Imoから看板の領域を検出した場合に、検出した看板の設置位置及び大きさ等を算出し、その算出結果と整合する看板基本情報DB31のレコードが存在するか否か判定する。そして、車載機2は、算出結果と整合する看板基本情報DB31のレコードが存在する場合、当該レコードに対応する看板が運転者の視線上に存在するか否かの判定を行う。このようにすることで、車載機2は、看板を高精度に検出することができる。   For example, in this case, in step S101 in FIG. 6, when the vehicle-mounted device 2 detects the signboard area from the outside-vehicle photographed image Imo, it calculates the installation position and size of the detected signboard, and matches the calculation result. It is determined whether there is a record in the signboard basic information DB 31 to be performed. Then, when there is a record in the signboard basic information DB 31 that matches the calculation result, the in-vehicle device 2 determines whether or not a signboard corresponding to the record exists on the driver's line of sight. By doing in this way, the vehicle equipment 2 can detect a signboard with high precision.
(変形例5)
サーバ装置5は、複数のサーバから構成されるサーバシステムであってもよい。この場合、各サーバは、予め割り当てられた処理を実行するのに必要なデータの授受を相互に行い、必要な処理を実行する。
(Modification 5)
The server device 5 may be a server system including a plurality of servers. In this case, the servers mutually exchange data necessary for executing a process assigned in advance, and execute a necessary process.
(変形例6)
携帯端末1は、購入履歴情報Ibをサーバ装置5へ送信する代わりに、車載機2に送信してもよい。この場合、車載機2は、携帯端末1から受信した購入履歴情報Ibをサーバ装置5へ転送する。
(Modification 6)
The mobile terminal 1 may transmit the purchase history information Ib to the in-vehicle device 2 instead of transmitting to the server device 5. In this case, the in-vehicle device 2 transfers the purchase history information Ib received from the mobile terminal 1 to the server device 5.
1 携帯端末
2 車載機
3 視線検知カメラ
4 外部撮影カメラ
5 サーバ装置
6 閲覧用端末
100 看板情報集積システム
DESCRIPTION OF SYMBOLS 1 Portable terminal 2 Car-mounted apparatus 3 Eye-gaze detection camera 4 External imaging camera 5 Server apparatus 6 Browsing terminal 100 Signboard information integration system

Claims (13)

  1. ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定手段と、
    前記対象物の情報をサーバへ送信する第1送信手段と、
    前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得手段と、
    前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信手段と、
    を備えることを特徴とする送信装置。
    An object identifying unit that identifies an object viewed by the user from an image acquired from a camera that captures the front of the user and data detected by a detecting unit that detects the user's line of sight;
    First transmission means for transmitting information of the object to a server;
    An acquisition means for acquiring a purchase history of a product related to the object or a visit history to a facility related to the object;
    Second transmission means for transmitting the purchase history or the visit history to the server;
    A transmission device comprising:
  2. 前記第1送信手段は、前記対象物の情報と共に、前記ユーザの属性情報を前記サーバへ送信することを特徴とする請求項1に記載の送信装置。   The transmission device according to claim 1, wherein the first transmission unit transmits the attribute information of the user to the server together with the information on the object.
  3. 前記第1送信手段は、前記画像に表示された対象物のうち、前記ユーザが見ていない対象物の情報を、前記ユーザが見た対象物の情報と区別して前記サーバへ送信することを特徴とする請求項1または2に記載の送信装置。   The first transmission means transmits information on an object not viewed by the user among objects displayed on the image to the server separately from information on the object viewed by the user. The transmission device according to claim 1 or 2.
  4. 前記第1送信手段は、前記対象物の情報と共に、前記カメラにより前記対象物が撮影された画像を前記サーバへ送信することを特徴とする請求項1〜3のいずれか一項に記載の送信装置。   The transmission according to any one of claims 1 to 3, wherein the first transmission unit transmits an image of the object captured by the camera to the server together with information on the object. apparatus.
  5. 前記対象物特定手段は、前記画像から看板を検出し、検出した看板のうち前記ユーザの視線上に存在する看板を、前記ユーザが見た対象物として特定することを特徴とする請求項1〜4のいずれか一項に記載の送信装置。   The object identifying unit detects a signboard from the image, and identifies a signboard present on the line of sight of the user among the detected signboards as an object viewed by the user. 5. The transmission device according to any one of 4.
  6. 複数の送信装置と接続されたサーバ装置において、
    前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得手段と、
    前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得手段と、
    前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定手段と、
    前記決定手段により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶する記憶手段と、
    を有することを特徴とするサーバ装置。
    In a server device connected to a plurality of transmission devices,
    First acquisition means for acquiring information on an object viewed by a user of the transmission device from each of the transmission devices;
    Second acquisition means for acquiring purchase history or visit history of the user;
    Determining means for determining the purchase history or visit history related to the object;
    Storage means for storing a purchase history or a visit history determined by the determination means in a storage unit in association with information on the related object;
    The server apparatus characterized by having.
  7. 前記第1取得手段は、前記対象物が撮影された画像を、前記送信装置の各々から取得し、
    前記決定手段は、前記画像から前記対象物の見え方を認識し、
    前記記憶部は、前記対象物の見え方を当該対象物の情報に関連付けて記憶することを特徴とする請求項6に記載のサーバ装置。
    The first acquisition means acquires an image of the object photographed from each of the transmission devices,
    The determining means recognizes how the object is seen from the image,
    The server device according to claim 6, wherein the storage unit stores the appearance of the object in association with information on the object.
  8. 前記第1取得手段は、前記ユーザの属性情報を、当該ユーザが見た対象物の情報と共に、前記送信装置の各々から取得し、
    前記記憶部は、前記ユーザの属性情報を、当該ユーザが見た対象物の情報と関連付けて記憶することを特徴とする請求項6または7に記載のサーバ装置。
    The first acquisition unit acquires the attribute information of the user from each of the transmission devices together with information on the object viewed by the user,
    The server device according to claim 6, wherein the storage unit stores the attribute information of the user in association with information on an object viewed by the user.
  9. 送信装置が実行する制御方法であって、
    ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定工程と、
    前記対象物の情報をサーバへ送信する第1送信工程と、
    前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得工程と、
    前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信工程と、
    を有することを特徴とする制御方法。
    A control method executed by a transmitting device,
    An object identification step for identifying an object viewed by the user from an image acquired from a camera that captures the front of the user and data detected by a detection unit that detects the line of sight of the user;
    A first transmission step of transmitting information on the object to a server;
    An acquisition step of acquiring a purchase history of a product related to the object or a visit history to a facility related to the object;
    A second transmission step of transmitting the purchase history or the visit history to the server;
    A control method characterized by comprising:
  10. 複数の送信装置と接続されたサーバ装置が実行する制御方法であって、
    前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得工程と、
    前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得工程と、
    前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定工程と、
    前記決定工程により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶させる記憶工程と、
    を有することを特徴とする制御方法。
    A control method executed by a server device connected to a plurality of transmission devices,
    A first acquisition step of acquiring information on an object viewed by a user of the transmission device from each of the transmission devices;
    A second acquisition step of acquiring the purchase history or visit history of the user;
    A determination step of determining the purchase history or visit history associated with the object;
    A storage step of storing a purchase history or a visit history determined by the determination step in a storage unit in association with information on the related object,
    A control method characterized by comprising:
  11. コンピュータが実行するプログラムであって、
    ユーザの前方を撮影するカメラから取得した画像と、前記ユーザの視線を検知する検知手段により検知されたデータとから、前記ユーザが見た対象物を特定する対象物特定手段と、
    前記対象物の情報をサーバへ送信する第1送信手段と、
    前記対象物に関連する商品の購入履歴もしくは、前記対象物に関連する施設への訪問履歴を取得する取得手段と、
    前記購入履歴もしくは前記訪問履歴を前記サーバへ送信する第2送信手段
    として前記コンピュータを機能させることを特徴とするプログラム。
    A program executed by a computer,
    An object identifying unit that identifies an object viewed by the user from an image acquired from a camera that captures the front of the user and data detected by a detecting unit that detects the user's line of sight;
    First transmission means for transmitting information of the object to a server;
    An acquisition means for acquiring a purchase history of a product related to the object or a visit history to a facility related to the object;
    A program for causing the computer to function as second transmission means for transmitting the purchase history or the visit history to the server.
  12. 複数の送信装置と接続されたコンピュータが実行するプログラムであって、
    前記送信装置のユーザが見た対象物の情報を、前記送信装置の各々から取得する第1取得手段と、
    前記ユーザの購入履歴もしくは訪問履歴を取得する第2取得手段と、
    前記対象物に関連する前記購入履歴もしくは訪問履歴を決定する決定手段と、
    前記決定手段により決定された購入履歴もしくは訪問履歴を、関連する前記対象物の情報と関連付けて記憶部に記憶させる記憶手段
    として前記コンピュータを機能させることを特徴とするプログラム。
    A program executed by a computer connected to a plurality of transmission devices,
    First acquisition means for acquiring information on an object viewed by a user of the transmission device from each of the transmission devices;
    Second acquisition means for acquiring purchase history or visit history of the user;
    Determining means for determining the purchase history or visit history related to the object;
    A program that causes the computer to function as a storage unit that stores a purchase history or a visit history determined by the determination unit in a storage unit in association with information on the related object.
  13. 請求項11または12に記載のプログラムを記憶したことを特徴とする記憶媒体。   A storage medium storing the program according to claim 11 or 12.
JP2015130677A 2015-06-30 2015-06-30 Transmission device, server device, control method, program, and storage medium Pending JP2017016287A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015130677A JP2017016287A (en) 2015-06-30 2015-06-30 Transmission device, server device, control method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015130677A JP2017016287A (en) 2015-06-30 2015-06-30 Transmission device, server device, control method, program, and storage medium

Publications (1)

Publication Number Publication Date
JP2017016287A true JP2017016287A (en) 2017-01-19

Family

ID=57829123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015130677A Pending JP2017016287A (en) 2015-06-30 2015-06-30 Transmission device, server device, control method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP2017016287A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6383838B1 (en) * 2017-06-01 2018-08-29 デジタル・アドバタイジング・コンソーシアム株式会社 Information processing apparatus, information processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6383838B1 (en) * 2017-06-01 2018-08-29 デジタル・アドバタイジング・コンソーシアム株式会社 Information processing apparatus, information processing method, and program
JP2018205984A (en) * 2017-06-01 2018-12-27 デジタル・アドバタイジング・コンソーシアム株式会社 Information processing device, information processing method, and program

Similar Documents

Publication Publication Date Title
US8954276B1 (en) System and method for managing indoor geolocation conversions
US20130036043A1 (en) Image-based product mapping
US7103368B2 (en) Apparatus and method for delivery of advertisement information to mobile units
JP4282091B1 (en) Terminal device, information processing method, and program
JP4604597B2 (en) State estimating device, state estimating method, information providing device using the same, information providing method
US20180057262A1 (en) Information processing apparatus, ordering support method, and support method
JP5568624B2 (en) Advertising effect totaling system and advertising effect totaling method
JP5140027B2 (en) Information providing apparatus, information providing method, and program
US8510036B2 (en) Information providing device and information providing system
JP2019035615A (en) Digital signage controller, method for controlling digital signage, program, and recording medium
JP2008145719A (en) Advertisement system for use in passenger transport means
JP2017016287A (en) Transmission device, server device, control method, program, and storage medium
JP5334207B2 (en) Advertising effect totaling system and advertising effect totaling method
JP2017162374A (en) Information display effect measurement system and information display effect measurement method
JP6133967B1 (en) Information processing system, information processing device, information processing method, information processing program, portable terminal device, and control program therefor
US20180341985A1 (en) Provision and management of advertising via mobile entity
US20200160393A1 (en) Information processing apparatus, information processing system, and advertisement distribution method for vehicle
CN108460470B (en) Service point reservation method and device
US20210056592A1 (en) Server apparatus, information processing system, storage medium, mobile shop, and method of operating information processing system
US20210224926A1 (en) Server apparatus, control apparatus, medium, mobile shop, and operation method for information processing system
JP2016045678A (en) Price display system, price determination apparatus, display device, price determination method, and price determination program
JP2014021516A (en) Price information provision system, price information transmission apparatus and price information reception apparatus
EP3657423A1 (en) Advertising system and method using movable advertisement medium
WO2007077868A1 (en) Information collection system, information collection server, information processing terminal, information collection method, and information collection program
US20200092673A1 (en) Content distribution server and content distribution method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203