JP2014215827A - Behavior analysis system - Google Patents

Behavior analysis system Download PDF

Info

Publication number
JP2014215827A
JP2014215827A JP2013092840A JP2013092840A JP2014215827A JP 2014215827 A JP2014215827 A JP 2014215827A JP 2013092840 A JP2013092840 A JP 2013092840A JP 2013092840 A JP2013092840 A JP 2013092840A JP 2014215827 A JP2014215827 A JP 2014215827A
Authority
JP
Japan
Prior art keywords
analysis system
behavior analysis
store
radio wave
cart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013092840A
Other languages
Japanese (ja)
Inventor
雅裕 長田
Masahiro Osada
雅裕 長田
田辺 直久
Naohisa Tanabe
直久 田辺
貴代秀 堀
Kiyohide Hori
貴代秀 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013092840A priority Critical patent/JP2014215827A/en
Publication of JP2014215827A publication Critical patent/JP2014215827A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Abstract

PROBLEM TO BE SOLVED: To reduce position measurement error.SOLUTION: A microcomputer 10 calculates the position of a cart 5 based on the field strength of a received radio signal and the position of the cart 5 based on a measured acceleration value and a measured angular speed. When the difference between the calculation results is larger than a predetermined error range, the microcomputer 10 adopts the position of the cart 5 which is calculated based on the field strength of the received radio signal. That is, the microcomputer 10 corrects the calculation result based on the measured acceleration value and the measured angular speed based on the calculation result calculated based on the field strength of the received radio signal. Therefore, compared to conventional examples where the position of the cart 5 is identified by using radio wave only, measurement error is reduced.

Description

本発明は、行動分析システムに関する。   The present invention relates to a behavior analysis system.

従来、スーパーマーケットなどの商品販売を行う店舗において、客が売り場を移動した経路(動線)を測定し、測定した動線を分析して商品の販売促進に役立てることが行われている。   2. Description of the Related Art Conventionally, in a store that sells products such as a supermarket, a route (flow line) that a customer has moved through a sales floor is measured, and the measured flow line is analyzed to be used for sales promotion of the product.

例えば、特許文献1には、客が商品を運ぶための手押し車(いわゆる、ショッピングカート)に、売り場内における位置を測定する手段を搭載し、その測定結果に基づいてショッピングカート(客)の動線を測定(調査)する動線調査支援システムが開示されている。   For example, in Patent Literature 1, a means for measuring a position in a sales floor is mounted on a wheelbarrow (so-called shopping cart) for a customer to carry goods, and the movement of the shopping cart (customer) is based on the measurement result. A flow line survey support system for measuring (surveying) a line is disclosed.

特許文献1記載の従来例では、売り場に設置された複数の基地局から電波を媒体とする無線信号(位置標定信号)を送信している。そして、ショッピングカートに搭載された受信機で各基地局から送信される位置標定信号を受信し、各位置標定信号の位相差に基づいて自身の位置を標定(測定)している。   In the conventional example described in Patent Document 1, radio signals (position positioning signals) using radio waves as a medium are transmitted from a plurality of base stations installed at a sales floor. Then, a location signal transmitted from each base station is received by a receiver mounted on the shopping cart, and its own location is determined (measured) based on the phase difference of each location signal.

特開2011−186628号公報JP 2011-186628 A

ところで、基地局のアンテナから送信される電波(位置標定信号)は、ショッピングカートの受信機のアンテナに直接受信されるだけでなく、売り場の天井や床、壁、商品を陳列する棚などに反射して受信される。そのため、直接波と反射波との間に位相差が生じるため、位置標定信号の位相差に基づいて標定される位置の誤差が大きくなってしまう。   By the way, the radio wave (position positioning signal) transmitted from the antenna of the base station is not only directly received by the antenna of the receiver of the shopping cart, but also reflected on the ceiling, floor, walls, shelves displaying products, etc. And received. For this reason, a phase difference is generated between the direct wave and the reflected wave, so that an error in the position determined based on the phase difference of the position determination signal becomes large.

また、電波の位相差の代わりに、電波の受信強度差に基づき、三角測量の原理を用いて位置を測定する方法もある。しかしながら、受信強度についても、直接波と反射波の影響(マルチパス・フェージング)によって測定誤差が大きくなってしまう。   Also, there is a method of measuring the position using the principle of triangulation based on the difference in reception intensity of radio waves instead of the phase difference of radio waves. However, the measurement error also increases for the received intensity due to the influence of the direct wave and the reflected wave (multipath fading).

本発明は、上記課題に鑑みて為されたものであり、位置の測定誤差の低減を図ることを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to reduce position measurement errors.

本発明の行動分析システムは、客が移動する通路に沿って商品が陳列されている店舗内において前記客の行動を分析するための行動分析システムであって、前記店舗内の複数箇所に設置されて電波を媒体とする無線信号を送信する複数の送信機と、前記客が前記商品を運搬するために使用する手押し車に設けられ、当該手押し車の位置を特定するために必要な情報を取得する取得装置と、前記取得装置が取得した前記情報を収集し、収集した当該情報から前記店舗内における前記手押し車の位置を演算する演算装置とを有し、前記取得装置は、前記無線信号を受信するとともに当該無線信号の受信電波強度を計測する受信手段と、前記手押し車の移動に伴って変化する1乃至複数種類の物理量を検知する検知手段と、前記受信電波強度の計測値および前記物理量の検知結果を前記演算装置に伝送する伝送手段とを備え、前記物理量の検知結果から前記手押し車が移動した距離と方向を求めるとともに、前記受信電波強度の計測値から前記手押し車の位置を求め、且つ前記移動距離および移動方向から演算される前記手押し車の位置を、前記受信電波強度の計測値から求めた前記手押し車の位置を使って補正する補正手段が、前記取得装置又は前記演算装置の何れか一方に設けられることを特徴とする。   The behavior analysis system of the present invention is a behavior analysis system for analyzing the behavior of the customer in a store where merchandise is displayed along a passage along which the customer moves, and is installed at a plurality of locations in the store. A plurality of transmitters that transmit radio signals using radio waves as a medium and a handcart used by the customer to carry the goods, and obtain information necessary for specifying the position of the handcart An acquisition device that collects the information acquired by the acquisition device, and calculates a position of the wheelbarrow in the store from the collected information. Receiving means for receiving and measuring the received radio wave intensity of the radio signal, detecting means for detecting one or more types of physical quantities that change as the handcart moves, and measuring the received radio wave intensity And a transmission means for transmitting the physical quantity detection result to the arithmetic unit, and obtaining the distance and direction of movement of the handcart from the physical quantity detection result, and determining the handcart from the measured value of the received radio wave intensity. Correction means for obtaining a position and correcting the position of the wheelbarrow calculated from the movement distance and the movement direction using the position of the wheelbarrow obtained from the measured value of the received radio wave intensity is the acquisition device or It is provided in any one of the arithmetic units.

この行動分析システムにおいて、前記物理量の検知手段は、加速度を検知する加速度センサと、角速度を検知する角速度センサ又は地磁気を検知する地磁気センサの少なくとも何れか一方とを有することが好ましい。   In this behavior analysis system, the physical quantity detection unit preferably includes an acceleration sensor that detects acceleration and at least one of an angular velocity sensor that detects angular velocity and a geomagnetic sensor that detects geomagnetism.

この行動分析システムにおいて、前記検知手段は、所定の間隔を空けて配置された2個の撮像素子と、前記各撮像素子が前記通路の床面を撮像した画像を画像処理して前記移動距離と方向を求める画像処理手段とを有することが好ましい。   In this behavior analysis system, the detection means performs image processing on two imaging elements arranged at a predetermined interval, and an image obtained by imaging the floor surface of the passage by each imaging element to obtain the movement distance. It is preferable to have image processing means for obtaining a direction.

この行動分析システムにおいて、前記受信手段は、前記電波を受信するためのアンテナを有し、前記アンテナは、前記手押し車における前記通路の床面と対向する場所に、前記電波の波長よりも長くない距離を前記床面との間に空けて配置されることが好ましい。   In this behavior analysis system, the receiving means has an antenna for receiving the radio wave, and the antenna is not longer than the wavelength of the radio wave at a location facing the floor surface of the passage in the handcart. It is preferable that a distance be provided between the floor surface.

この行動分析システムにおいて、前記送信機は、電池を電源として動作し、且つ前記無線信号を間欠送信し、前記電波の波長よりも長くない距離を前記床面との間に空けて配置されるように構成されることが好ましい。   In this behavior analysis system, the transmitter operates with a battery as a power source, intermittently transmits the radio signal, and is disposed with a distance not longer than the wavelength of the radio wave between the transmitter and the floor surface. Preferably it is comprised.

この行動分析システムにおいて、前記取得装置は、温度又は湿度又は照度のうちの少なくとも何れか1つを計測する計測手段を備え、前記伝送手段は、前記計測手段の計測値を前記演算装置へ伝送することが好ましい。   In this behavior analysis system, the acquisition device includes a measurement unit that measures at least one of temperature, humidity, and illuminance, and the transmission unit transmits a measurement value of the measurement unit to the arithmetic device. It is preferable.

この行動分析システムにおいて、前記店舗内において前記商品の購入代金が支払われる場所の近傍に設置され、前記取得装置が取得した前記情報を収集して前記演算装置に渡す収集装置を有することが好ましい。   In this behavior analysis system, it is preferable to have a collection device that is installed in the vicinity of the place where the purchase price of the product is paid in the store and collects the information acquired by the acquisition device and passes it to the arithmetic device.

この行動分析システムにおいて、前記店舗内において前記商品の購入代金が支払われる場所の近傍に設置され、前記手押し車に搭載された前記演算装置から演算結果を収集する収集装置を有することが好ましい。   In this behavior analysis system, it is preferable to have a collection device that is installed in the vicinity of a place where the purchase price of the product is paid in the store and collects calculation results from the calculation device mounted on the handcart.

この行動分析システムにおいて、前記手押し車の位置から当該手押し車の軌跡を演算し、前記軌跡に基づいて前記客の行動を分析する分析装置を有し、前記分析装置は、ネットワークを通じて前記演算装置又は前記収集装置から前記位置のデータを取得することが好ましい。   In this behavior analysis system, an analysis device that calculates a trajectory of the wheelbarrow from a position of the wheelbarrow and analyzes the behavior of the customer based on the trajectory, the analysis device, the network It is preferable to acquire the data of the position from the collecting device.

この行動分析システムにおいて、前記演算装置は、前記伝送手段から伝送される前記計測値を目標値に一致させるように前記店舗内の空調設備、冷蔵設備、冷凍設備、換気設備又は照明設備を制御するための制御指令を生成することが好ましい。   In this behavior analysis system, the arithmetic device controls the air conditioning equipment, refrigeration equipment, refrigeration equipment, ventilation equipment or lighting equipment in the store so that the measured value transmitted from the transmission means matches a target value. It is preferable to generate a control command for the purpose.

この行動分析システムにおいて、前記取得装置に電源を供給するための電池と、前記電池を充電する充電装置とが前記手押し車に搭載され、前記手押し車の置き場所において前記充電装置に対して非接触で給電する非接触給電装置を有することが好ましい。   In this behavior analysis system, a battery for supplying power to the acquisition device and a charging device for charging the battery are mounted on the wheelbarrow, and contactless with the charging device at a place where the wheelbarrow is placed It is preferable to have a non-contact power feeding device that feeds power with a power supply.

本発明の行動分析システムは、補正手段が、物理量の検知結果から手押し車が移動した距離と方向を求めるとともに、受信電波強度の計測値から前記手押し車の位置を求め、且つ前記移動距離および移動方向から演算される前記手押し車の位置を、前記受信電波強度の計測値から求めた前記手押し車の位置を使って補正するので、位置の測定誤差の低減を図ることができるという効果がある。   In the behavior analysis system of the present invention, the correction means obtains the distance and direction of the handcart from the physical quantity detection result, obtains the position of the handcart from the measured value of the received radio wave intensity, and the travel distance and the movement. Since the position of the handcart calculated from the direction is corrected using the position of the handcart obtained from the measured value of the received radio wave intensity, it is possible to reduce the position measurement error.

本発明に係る行動分析システムの実施形態1における取得装置のブロック図である。It is a block diagram of the acquisition device in Embodiment 1 of the action analysis system concerning the present invention. 同上における収集装置のブロック図である。It is a block diagram of the collection apparatus same as the above. 同上における手押し車の側面図である。It is a side view of the handcart in the same as the above. 同上の一部省略したシステム構成図である。It is a system configuration diagram in which a part is omitted. 同上が設置される店舗の平面図である。It is a top view of the store where the same is installed. 同上において店舗内に設置された冷蔵ショーケースの斜視図である。It is a perspective view of the refrigerated showcase installed in the store in the same as the above. (a),(b)は同上における取得装置の動作説明図である。(a), (b) is operation | movement explanatory drawing of the acquisition apparatus in the same as the above. 同上における取得装置の動作説明図である。It is operation | movement explanatory drawing of the acquisition apparatus same as the above. 本発明に係る行動分析システムの実施形態2における取得装置のブロック図である。It is a block diagram of the acquisition apparatus in Embodiment 2 of the action analysis system concerning the present invention. (a)〜(c)は同上における取得装置の動作説明図である。(a)-(c) is operation | movement explanatory drawing of the acquisition apparatus in the same as the above. 本発明に係る行動分析システムの実施形態3における取得装置のブロック図である。It is a block diagram of the acquisition apparatus in Embodiment 3 of the action analysis system concerning the present invention.

(実施形態1)
本発明に係る行動分析システムの実施形態について、図面を参照して詳細に説明する。本実施形態の行動分析システムは、客が移動する通路に沿って商品が陳列されている店舗(例えば、スーパーマーケット)内において、客の行動(動線)を分析するためのものである。
(Embodiment 1)
An embodiment of a behavior analysis system according to the present invention will be described in detail with reference to the drawings. The behavior analysis system of the present embodiment is for analyzing a customer's behavior (flow line) in a store (for example, a supermarket) where merchandise is displayed along a passage along which the customer moves.

本実施形態における店舗6のレイアウト(配置)の一例を図5に示す。なお、図5においては、上を北としている。   An example of the layout (arrangement) of the store 6 in this embodiment is shown in FIG. In FIG. 5, the top is north.

店舗6は、南側に出入口60が設けられ、出入口60の正面に複数(図示例では6箇所)の金銭支払い場61が東西方向に一列に並べて設置されている。なお、金銭支払い場61とは、金銭登録器(レジスター<register>)を備えて客からの支払いを受ける場所(いわゆる、レジ)である。   The store 6 is provided with an entrance / exit 60 on the south side, and a plurality (six locations in the illustrated example) of cash payment areas 61 are arranged in a line in the east-west direction in front of the entrance / exit 60. The cash payment place 61 is a place (so-called cash register) which is provided with a cash register (register <register>) and receives payment from customers.

店舗6内における東西両側および北側の壁沿いには、青果や食肉、鮮魚などの冷蔵が必要な商品を陳列するための冷蔵ショーケース(showcase)62が設置されている。また、店舗6内において、金銭支払い場61と冷蔵ショーケース62とに囲まれた領域には、長手方向を南北方向とする複数(図示例では4つ)の陳列棚63が東西方向に沿って所定間隔を空けて設置されている。なお、冷蔵ショーケース62と陳列棚63の間、陳列棚63同士の間、陳列棚63と金銭支払い場61との間が通路64となっている。   Along the walls on the east and west sides and the north side in the store 6, there are refrigerated showcases 62 for displaying products that require refrigeration, such as fruits and vegetables, meat, and fresh fish. In the store 6, a plurality of (four in the illustrated example) display shelves 63 having a longitudinal direction in the north-south direction are arranged in the east-west direction in an area surrounded by the money payment place 61 and the refrigerated showcase 62. It is installed at a predetermined interval. A passage 64 is provided between the refrigerated showcase 62 and the display shelf 63, between the display shelves 63, and between the display shelf 63 and the money payment place 61.

図示は省略しているが、出入口60の近くに多数の手押し車(ショッピングカート。以下、カートと略す。)5が置かれている。そして、出入口60から店舗6内に入店した客は、店舗6内を移動しながらカート5に商品を載せて金銭支払い場61まで運搬する。   Although not shown, a number of handcarts (shopping carts, hereinafter abbreviated as carts) 5 are placed near the entrance 60. Then, a customer who enters the store 6 through the entrance / exit 60 places the product on the cart 5 while moving through the store 6 and transports it to the cash payment place 61.

カート5は、図3に示すようにフレーム50、上荷台51、下荷台52、キャスタ(caster)53などを有する。フレーム50は、金属製の円菅が曲げられて構成される。フレーム50の両端(下端)にそれぞれキャスタ53が取り付けられている。上荷台51並びに下荷台52は、底の浅い籠状に形成され、後端側でフレーム50に結合されている。なお、下荷台52の先端下面には、左右一対のキャスタ53が取り付けられている。ただし、このようなカート5は従来周知であるから、詳細な構造の図示並びに説明は省略する。   As shown in FIG. 3, the cart 5 includes a frame 50, an upper carrier 51, a lower carrier 52, a caster 53, and the like. The frame 50 is configured by bending a metal circle. Casters 53 are attached to both ends (lower ends) of the frame 50, respectively. The upper carrier 51 and the lower carrier 52 are formed in a bowl shape with a shallow bottom, and are coupled to the frame 50 on the rear end side. A pair of left and right casters 53 are attached to the lower surface of the front end of the unloading platform 52. However, since such a cart 5 is well known, detailed illustration and description of the structure will be omitted.

本実施形態の行動分析システムは、取得装置1、演算装置、収集装置2、分析装置3、送信機4などで構成される。ただし、本実施形態では、取得装置1が演算装置を兼ねている。   The behavior analysis system according to the present embodiment includes an acquisition device 1, a calculation device, a collection device 2, an analysis device 3, a transmitter 4, and the like. However, in the present embodiment, the acquisition device 1 also serves as an arithmetic device.

取得装置1は、図1に示すように本体ユニット1Aと無線通信ユニット1Bで構成される。本体ユニット1Aは、マイクロコントローラ(以下、マイコンと略す。)10、加速度センサ11、角速度センサ12、メモリ13、二次電池16、電源回路17、充電装置18などが箱形の筐体に収納されて構成される。無線通信ユニット1Bは、アンテナ14、無線通信回路15などが箱形の筐体に収納されて構成される。本体ユニット1Aは、図3に示すようにカート5の上荷台51の前面に取り付けられている。また、無線通信ユニット1Bは、カート5の下荷台52の下面に取り付けられている。なお、本体ユニット1Aと無線通信ユニット1Bとは、電源線と通信線を有する多心のケーブル1Cによって接続されている。   As shown in FIG. 1, the acquisition device 1 includes a main unit 1A and a wireless communication unit 1B. The main unit 1A includes a microcontroller (hereinafter abbreviated as a microcomputer) 10, an acceleration sensor 11, an angular velocity sensor 12, a memory 13, a secondary battery 16, a power supply circuit 17, a charging device 18, and the like housed in a box-shaped housing. Configured. The wireless communication unit 1B includes an antenna 14, a wireless communication circuit 15, and the like housed in a box-shaped housing. The main unit 1A is attached to the front surface of the loading platform 51 of the cart 5 as shown in FIG. The wireless communication unit 1 </ b> B is attached to the lower surface of the loading platform 52 of the cart 5. The main unit 1A and the wireless communication unit 1B are connected by a multi-core cable 1C having a power line and a communication line.

加速度センサ11は、所定の周期でx軸方向およびy軸方向の加速度を独立して計測し、各軸方向の加速度計測値を電気信号(加速度信号)として出力する。なお、本実施形態における加速度センサ11は、取得装置1がカート5に取り付けられた状態で、x軸とy軸を含む平面(xy平面)が店舗6の床面と平行になるように筐体内に配置されている。   The acceleration sensor 11 independently measures the acceleration in the x-axis direction and the y-axis direction at a predetermined cycle, and outputs an acceleration measurement value in each axis direction as an electrical signal (acceleration signal). The acceleration sensor 11 according to the present embodiment is installed in the housing so that the plane including the x axis and the y axis (xy plane) is parallel to the floor surface of the store 6 in a state where the acquisition device 1 is attached to the cart 5. Is arranged.

角速度センサ12は、所定の周期で軸周りの角速度を計測し、角速度計測値を電気信号(角速度信号)として出力する。なお、本実施形態における角速度センサ12は、取得装置1がカート5に取り付けられた状態で、前記軸が店舗6の床面と垂直になるように筐体内に配置されている。ただし、このような加速度センサ11や角速度センサ12は従来周知であるから、詳細な構成の図示並びに説明を省略する。   The angular velocity sensor 12 measures the angular velocity around the axis at a predetermined cycle, and outputs the angular velocity measurement value as an electrical signal (angular velocity signal). In addition, the angular velocity sensor 12 in this embodiment is arrange | positioned in a housing | casing so that the said axis | shaft may become perpendicular | vertical to the floor surface of the shop 6 in the state in which the acquisition apparatus 1 was attached to the cart 5. FIG. However, since the acceleration sensor 11 and the angular velocity sensor 12 are well known in the art, illustration and description of a detailed configuration are omitted.

マイコン10は、内蔵のメモリに格納されているプログラムを実行することで種々の処理を行う。例えば、マイコン10は、加速度センサ11から出力される各軸方向の加速度信号を入力ポートから取り込み、加速度信号で表された各軸方向の加速度計測値を2回積分することで移動距離を演算する。また、マイコン10は、角速度センサ12から出力される角速度信号を入力ポートから取り込み、角速度信号で表された角速度計測値を積分することで回転角を演算する。さらに、マイコン10は、移動距離と回転角からカート5が移動した距離と向きを演算してカート5の位置(座標)を特定する。なお、マイコン10は、加速度計測値、角速度計測値、移動距離、回転角、カート5の位置の各データを、それぞれのデータを取得した時刻とともにメモリ13に保存する。メモリ13は、電気的に書換可能な不揮発性の半導体メモリ(例えば、フラッシュメモリ)である。   The microcomputer 10 performs various processes by executing a program stored in a built-in memory. For example, the microcomputer 10 takes the acceleration signal in each axis direction output from the acceleration sensor 11 from the input port, and calculates the movement distance by integrating the acceleration measurement value in each axis direction represented by the acceleration signal twice. . Further, the microcomputer 10 takes in the angular velocity signal output from the angular velocity sensor 12 from the input port, and calculates the rotation angle by integrating the angular velocity measurement value represented by the angular velocity signal. Further, the microcomputer 10 calculates the distance and direction of movement of the cart 5 from the movement distance and the rotation angle, and specifies the position (coordinates) of the cart 5. The microcomputer 10 stores the acceleration measurement value, the angular velocity measurement value, the movement distance, the rotation angle, and the position of the cart 5 in the memory 13 together with the time at which each data is acquired. The memory 13 is an electrically rewritable nonvolatile semiconductor memory (for example, a flash memory).

電源回路17は、二次電池16から放電される直流電圧を安定化して動作電源を生成する。この動作電源は、マイコン10や各センサ11,12の他、ケーブル1Cの電源線を介して無線通信ユニット1Bにも供給される。   The power supply circuit 17 stabilizes the DC voltage discharged from the secondary battery 16 and generates an operating power supply. This operating power is supplied to the wireless communication unit 1B via the power line of the cable 1C as well as the microcomputer 10 and the sensors 11 and 12.

充電装置18は、外部電源から供給される交流電力を直流電力に変換して二次電池16を充電する。例えば、カート5が出入口60近くのカート置き場に置かれているときに、充電ケーブル(図示せず)を介して交流の電力系統から充電装置18に交流電力が供給される。なお、従来周知の非接触給電装置を用いて充電装置18に非接触給電を行うことも可能である。例えば、非接触給電装置の給電用コイルをカート置き場の床に設置し、充電装置18に設けた受電用コイルに高周波電力を給電すればよい。このように非接触給電装置を用いて充電装置18に給電すれば、充電ケーブルを接続する手間を省いて取得装置1の使い勝手の向上を図ることができる。ただし、非接触給電装置を用いて充電装置18に給電する場合、充電装置18は、本体ユニット1Aではなく無線通信ユニット1Bに設けることが好ましい。   The charging device 18 charges the secondary battery 16 by converting AC power supplied from an external power source into DC power. For example, when the cart 5 is placed in a cart storage area near the entrance 60, AC power is supplied to the charging device 18 from an AC power system via a charging cable (not shown). In addition, it is also possible to perform non-contact electric power feeding to the charging device 18 using a conventionally well-known non-contact electric power feeder. For example, the power feeding coil of the non-contact power feeding device may be installed on the floor of the cart storage area, and high frequency power may be fed to the power receiving coil provided in the charging device 18. If power is supplied to the charging device 18 using the non-contact power supply device in this way, it is possible to improve the usability of the acquisition device 1 without the need to connect the charging cable. However, when power is supplied to the charging device 18 using a non-contact power supply device, the charging device 18 is preferably provided not in the main unit 1A but in the wireless communication unit 1B.

無線通信ユニット1Bは、アンテナ14や無線通信回路15が箱形の筐体に収納されて構成されている。無線通信回路15は、例えば、5GHz帯や2.4GHz帯の電波を利用する小電力データ通信システムの無線局、あるいは、920MHz帯の電波を利用するテレメータ用、テレコンとロール用及びデータ伝送用無線設備の無線局に該当する。無線通信回路15は、後述する送信機4から送信され、アンテナ14で受信する無線信号を復調・復号してマイコン10に出力する。また、無線通信回路15は、マイコン10が作成した送信フレームを符号化および変調してアンテナ14から送信する。なお、取得装置1には固有の識別符号(カートID)が割り当てられている。   The wireless communication unit 1B includes an antenna 14 and a wireless communication circuit 15 housed in a box-shaped housing. The radio communication circuit 15 is, for example, a radio station for a low-power data communication system that uses radio waves in the 5 GHz band or 2.4 GHz band, or a telemeter, telecon and roll, and data transmission radio that uses radio waves in the 920 MHz band. Corresponds to the radio station of the facility. The wireless communication circuit 15 demodulates and decodes a wireless signal transmitted from the transmitter 4 described later and received by the antenna 14 and outputs the signal to the microcomputer 10. Further, the wireless communication circuit 15 encodes and modulates the transmission frame created by the microcomputer 10 and transmits it from the antenna 14. The acquisition device 1 is assigned a unique identification code (cart ID).

送信機4は、無線通信ユニット1Bの無線通信回路15と同様に、5GHz帯や2.4GHz帯の電波を利用する小電力データ通信システムの無線局、あるいは、920MHz帯の電波を利用するテレメータ用、テレコンとロール用及びデータ伝送用無線設備の無線局に該当する。送信機4は、図8に示すようにビット同期用のプリアンブル、フレーム同期用のユニークワードUW、送信機4に割り当てられた固有の識別符号ID、誤り検出符号CRCからなるフレームを無線信号によって一定の周期で間欠的に送信している。例えば、送信機4は1秒間隔で起動し、50ミリ秒毎に1ミリ秒ずつ無線信号を5回送信した後、979ミリ秒の休止期間だけ休止する(図8参照)。つまり、本実施形態における送信機4は電池を電源として動作するように構成されているので、上述のように間欠送信を行うことで電池の長寿命化を図ることができる。ただし、電力系統から電源が供給される場合、送信機4が連続送信を行ってもよい。なお、上述した50ミリ秒や1秒、500ミリ秒などの時間は一例であって、これに限定されるものではない。また、送信機4は、冷蔵ショーケース62や陳列棚63における床面に近い位置に取り付けられる(図5および図6参照)。   The transmitter 4 is similar to the radio communication circuit 15 of the radio communication unit 1B, for a radio station of a low power data communication system using radio waves in the 5 GHz band or 2.4 GHz band, or for a telemeter using radio waves in the 920 MHz band. Corresponds to radio stations for radio equipment for telecon and roll and data transmission. As shown in FIG. 8, the transmitter 4 uses a radio signal to determine a frame composed of a bit synchronization preamble, a frame synchronization unique word UW, a unique identification code ID assigned to the transmitter 4, and an error detection code CRC. Is transmitted intermittently at a period of. For example, the transmitter 4 is activated at an interval of 1 second, and after transmitting a radio signal 5 times at a rate of 1 millisecond every 50 milliseconds, it pauses for a pause period of 979 milliseconds (see FIG. 8). That is, since the transmitter 4 in this embodiment is configured to operate using a battery as a power source, the battery life can be extended by performing intermittent transmission as described above. However, when power is supplied from the power system, the transmitter 4 may perform continuous transmission. Note that the above-described times such as 50 milliseconds, 1 second, and 500 milliseconds are examples, and are not limited thereto. The transmitter 4 is attached to a position near the floor surface in the refrigerated showcase 62 or the display shelf 63 (see FIGS. 5 and 6).

収集装置2は、図2に示すように制御回路20、アンテナ21、無線通信回路22、メモリ23、ネットワークインタフェース(I/F)24などを備える。制御回路20は、CPU(Central Processing Unit)や内蔵メモリなどで構成され、内蔵メモリに格納されているプログラムをCPUで実行することにより、後述する種々の処理を行っている。メモリ23は、電気的に書換可能な不揮発性の半導体メモリ(例えは、フラッシュメモリ<flash memory>)からなり、後述するように取得装置1から受け取ったカート5の位置情報が制御回路20によって格納される。   As shown in FIG. 2, the collection device 2 includes a control circuit 20, an antenna 21, a wireless communication circuit 22, a memory 23, a network interface (I / F) 24, and the like. The control circuit 20 is configured by a CPU (Central Processing Unit), a built-in memory, and the like, and performs various processes to be described later by executing a program stored in the built-in memory by the CPU. The memory 23 includes an electrically rewritable nonvolatile semiconductor memory (for example, a flash memory), and stores the position information of the cart 5 received from the acquisition device 1 by the control circuit 20 as will be described later. Is done.

無線通信回路22は、取得装置1の無線通信回路15と同様に5GHz帯や2.4GHz帯の電波を利用する小電力データ通信システムの無線局、あるいは、920MHz帯の電波を利用するテレメータ用、テレコンとロール用及びデータ伝送用無線設備の無線局に該当する。無線通信回路22は、アンテナ21で受信する無線信号(取得装置1から送信された無線信号)を復調・復号して制御回路20に出力する。また、無線通信回路22は、制御回路20が作成した送信フレームを符号化および変調してアンテナ21から送信する。なお、収集装置2にも固有の識別符号が割り当てられている。   The wireless communication circuit 22 is for a radio station of a low-power data communication system that uses radio waves in the 5 GHz band or 2.4 GHz band, similarly to the radio communication circuit 15 of the acquisition apparatus 1, or for a telemeter that uses radio waves in the 920 MHz band, Corresponds to radio stations for telecon and roll and data transmission radio equipment. The radio communication circuit 22 demodulates and decodes a radio signal received by the antenna 21 (a radio signal transmitted from the acquisition device 1) and outputs the demodulated signal to the control circuit 20. Further, the wireless communication circuit 22 encodes and modulates the transmission frame created by the control circuit 20 and transmits it from the antenna 21. A unique identification code is also assigned to the collection device 2.

ネットワークI/F24は、インターネットなどのネットワークを介して制御回路20が分析装置3とネットワーク通信するためのインタフェースを提供する(図4参照)。取得装置1並びに収集装置2には、それぞれネットワークアドレス(例えば、IPアドレス)が割り当てられており、IPアドレスによって互いに通信相手を識別している。なお、収集装置2は、店舗6内の出入口60近くに設けられた複数(図5では6つ)の金銭支払い場61にそれぞれ設置される。   The network I / F 24 provides an interface for the control circuit 20 to communicate with the analyzer 3 via a network such as the Internet (see FIG. 4). A network address (for example, an IP address) is assigned to each of the acquisition device 1 and the collection device 2, and communication partners are mutually identified by the IP address. The collection device 2 is installed in each of a plurality (six in FIG. 5) of cash payment locations 61 provided near the entrance / exit 60 in the store 6.

分析装置3は、店舗6から離れた場所に設置されているサーバ(サーバコンピュータ)である。分析装置3は、収集装置2から受け取ったカート5の位置(座標)を店舗6内の地図情報と照らし合わせることでカート5(客)が店舗6内を移動した軌跡(動線)を演算し、その軌跡に基づいて客の行動を分析する。   The analysis device 3 is a server (server computer) installed at a location away from the store 6. The analysis device 3 calculates the trajectory (traffic line) that the cart 5 (customer) has moved in the store 6 by comparing the position (coordinates) of the cart 5 received from the collection device 2 with the map information in the store 6. , Analyze customer behavior based on the trajectory.

次に、図5を参照しながら本実施形態の動作をさらに詳しく説明する。なお、図5における破線は各送信機4のおおよその通信範囲を示し、二点破線は収集装置2のおおよその通信範囲を示している。   Next, the operation of this embodiment will be described in more detail with reference to FIG. Note that the broken line in FIG. 5 indicates the approximate communication range of each transmitter 4, and the two-dot broken line indicates the approximate communication range of the collection device 2.

まず、客がカート置き場からカート5を持ち出すと、充電装置18による二次電池16の充電が停止する。そして、充電装置18の充電が停止すれば、電源回路17が電源供給を開始するので、取得装置1のマイコン10が起動し、加速度センサ11並びに角速度センサ12が計測を開始するとともに、無線通信回路15も無線信号の受信待ち状態となる。   First, when the customer takes out the cart 5 from the cart storage area, the charging of the secondary battery 16 by the charging device 18 is stopped. When charging of the charging device 18 is stopped, the power supply circuit 17 starts supplying power, so that the microcomputer 10 of the acquisition device 1 is activated, the acceleration sensor 11 and the angular velocity sensor 12 start measurement, and a wireless communication circuit. 15 also enters a wireless signal reception waiting state.

起動したマイコン10は、上述したようにカート5の位置を特定する処理を開始する。マイコン10は、前記処理の開始時刻をメモリ13に書き込むとともに、開始時刻からの経過時間を内蔵のタイマで計時する。   The activated microcomputer 10 starts the process of specifying the position of the cart 5 as described above. The microcomputer 10 writes the start time of the process in the memory 13 and measures the elapsed time from the start time with a built-in timer.

既に説明したように、マイコン10は、加速度センサ11の加速度計測値並びに角速度センサ12の角速度計測値に基づいてカート5の移動距離と向きを演算してカート5の位置を特定する。そして、マイコン10は、特定したカート5の位置(座標)、並びに加速度計測値、角速度計測値、移動距離、回転角の各データを、それぞれのデータを取得した時刻(開始時刻+経過時間)とともにメモリ13に保存する。   As already described, the microcomputer 10 calculates the movement distance and direction of the cart 5 based on the acceleration measurement value of the acceleration sensor 11 and the angular velocity measurement value of the angular velocity sensor 12, and specifies the position of the cart 5. Then, the microcomputer 10 determines the position (coordinates) of the identified cart 5 and the acceleration measurement value, angular velocity measurement value, movement distance, and rotation angle data together with the time (start time + elapsed time) at which each data was acquired. Save in the memory 13.

一方、カート5が送信機4の通信範囲に入ると、無線通信ユニット1Bのアンテナ14が送信機4の送信電波を捉え、無線通信回路15が送信機4から送信される無線信号を受信する。無線通信回路15は、受信した無線信号から復調・復号した送信フレームと、当該無線信号の受信電波強度とをマイコン10に渡す。なお、受信電波強度は、受信信号強度の大小に比例した直流電圧信号である受信信号強度表示信号(Receiving Signal Strength Indication:RSSI信号)として無線通信回路15からマイコン10に出力される。   On the other hand, when the cart 5 enters the communication range of the transmitter 4, the antenna 14 of the wireless communication unit 1 </ b> B catches the transmission radio wave of the transmitter 4, and the wireless communication circuit 15 receives a wireless signal transmitted from the transmitter 4. The wireless communication circuit 15 passes the transmission frame demodulated / decoded from the received wireless signal and the received radio wave intensity of the wireless signal to the microcomputer 10. The received radio wave intensity is output from the wireless communication circuit 15 to the microcomputer 10 as a received signal strength indication signal (RSSI signal) which is a DC voltage signal proportional to the magnitude of the received signal intensity.

マイコン10は、ほぼ同時刻と見なせる範囲に異なる3台の送信機4が送信した無線信号を受信して各送信機4の識別符号を取得した場合、各送信機4毎の受信電波強度(RSSI信号)から各送信機4との距離を演算する。取得装置1のメモリ13には、各送信機4の位置が識別符号に対応付けて格納されている。マイコン10は、識別符号に基づいてメモリ13に格納されている各送信機4の位置を読み出し、各送信機4の位置と各送信機4の距離から三角測量法を利用してカート5の位置を演算することができる。   When the microcomputer 10 receives wireless signals transmitted by three different transmitters 4 within a range that can be regarded as substantially the same time and acquires the identification code of each transmitter 4, the received radio wave intensity (RSSI) for each transmitter 4 is obtained. The distance from each transmitter 4 is calculated from the signal). The memory 13 of the acquisition device 1 stores the position of each transmitter 4 in association with the identification code. The microcomputer 10 reads the position of each transmitter 4 stored in the memory 13 based on the identification code, and uses the triangulation method to determine the position of the cart 5 from the position of each transmitter 4 and the distance between each transmitter 4. Can be calculated.

ここで、送信機4から送信される電波(無線信号)は、複数の経路(マルチパス)で取得装置1のアンテナ13に受信される。このため、取得装置1で受信する無線信号には、マルチパス・フェージングと呼ばれる受信信号レベルの変動が生じる。   Here, radio waves (wireless signals) transmitted from the transmitter 4 are received by the antenna 13 of the acquisition apparatus 1 through a plurality of paths (multipath). For this reason, the radio signal received by the acquisition device 1 has a variation in the received signal level called multipath fading.

しかしながら、本実施形態においては、取得装置1の無線通信ユニット1B並びに送信機4が、無線信号の電波の波長よりも長くない距離を床面との間に空けて配置されている。例えば、無線信号の周波数が920MHzの場合の波長λは32.6センチメートル(cm)となる。図7(a)に示すように床面からアンテナ40,14までの距離(高さ)Hを1.2メートル(=λ)と仮定する。この場合、アンテナ40からアンテナ14へ直接到達する電波と、アンテナ40から放射されて床面で反射してアンテナ14へ到達する電波とが合成されることにより、アンテナ40,14間の距離Lが大きくなるにつれて、おおよそ半波長(=16cm)毎に受信信号レベル(受信電力)が大きく変動することになる(図7(b)の実線B参照)。   However, in the present embodiment, the wireless communication unit 1B and the transmitter 4 of the acquisition device 1 are arranged with a distance from the floor that is not longer than the wavelength of the radio wave of the wireless signal. For example, the wavelength λ when the frequency of the radio signal is 920 MHz is 32.6 centimeters (cm). As shown in FIG. 7A, it is assumed that the distance (height) H from the floor surface to the antennas 40 and 14 is 1.2 meters (= λ). In this case, the distance L between the antennas 40 and 14 is obtained by combining the radio wave that directly reaches the antenna 14 from the antenna 40 and the radio wave that is radiated from the antenna 40 and reflected by the floor surface and reaches the antenna 14. As the value increases, the received signal level (received power) largely fluctuates approximately every half wavelength (= 16 cm) (see the solid line B in FIG. 7B).

これに対して、床面からアンテナ40,14までの距離Hを波長λよりも十分小さい値(20cm)とすれば、図7(b)の実線Aで示すようにマルチパス・フェージングが抑制される。その結果、受信信号レベルの変動が大幅に抑制されるとともに、距離に対する減衰の傾斜も実線Bよりも大きくなる。したがって、距離Lが大きくなるにつれて受信信号レベルが単調減少するため、受信電波強度(RSSI信号)から距離Lを求める際の精度の向上を図ることができる。   On the other hand, when the distance H from the floor surface to the antennas 40 and 14 is set to a value (20 cm) sufficiently smaller than the wavelength λ, multipath fading is suppressed as shown by a solid line A in FIG. The As a result, fluctuations in the received signal level are greatly suppressed, and the slope of attenuation with respect to the distance is larger than that of the solid line B. Therefore, since the received signal level monotonously decreases as the distance L increases, it is possible to improve the accuracy in obtaining the distance L from the received radio wave intensity (RSSI signal).

ところで、移動距離が長くなるにしたがって、加速度測定値並びに角速度測定値に基づく演算結果(移動距離と向き)の誤差が増大するので、当該誤差を補正する必要がある。そのためにマイコン10は、無線信号の受信電波強度から演算したカート5の位置と、加速度測定値並びに角速度測定値に基づく演算結果との差が所定の誤差範囲を超えていれば、無線信号の受信電波強度から演算したカート5の位置を採用する。つまり、マイコン10は、加速度測定値並びに角速度測定値に基づく演算結果を、無線信号の受信電波強度から演算した演算結果で補正する。一方、前記差が誤差範囲内であれば、マイコン10は、そのまま加速度測定値並びに角速度測定値に基づく演算結果(移動距離と向き)を採用する。つまり、マイコン10は、加速度測定値並びに角速度測定値に基づく演算結果を補正しない。   By the way, as the moving distance becomes longer, the error of the calculation result (the moving distance and the direction) based on the acceleration measurement value and the angular velocity measurement value increases. Therefore, it is necessary to correct the error. Therefore, the microcomputer 10 receives the radio signal if the difference between the position of the cart 5 calculated from the received radio wave intensity of the radio signal and the calculation result based on the acceleration measurement value and the angular velocity measurement value exceeds a predetermined error range. The position of the cart 5 calculated from the radio wave intensity is adopted. That is, the microcomputer 10 corrects the calculation result based on the acceleration measurement value and the angular velocity measurement value with the calculation result calculated from the received radio wave intensity of the radio signal. On the other hand, if the difference is within the error range, the microcomputer 10 directly adopts the calculation result (movement distance and direction) based on the acceleration measurement value and the angular velocity measurement value. That is, the microcomputer 10 does not correct the calculation result based on the acceleration measurement value and the angular velocity measurement value.

上述のようにマイコン10が加速度測定値並びに角速度測定値に基づく演算結果を、無線信号の受信電波強度から演算した演算結果で補正するので、従来例のように電波のみからカート5の位置を特定する場合と比較して、測定誤差の低減を図ることができる。   As described above, the microcomputer 10 corrects the calculation result based on the acceleration measurement value and the angular velocity measurement value with the calculation result calculated from the received radio wave intensity of the radio signal, so that the position of the cart 5 is specified only from the radio wave as in the conventional example. The measurement error can be reduced as compared with the case of doing so.

なお、角速度センサ12の代わりに地磁気センサを用いても構わない。つまり、地磁気センサが検知する方位に基づき、マイコン10がカート5の向きを演算すればよい。   A geomagnetic sensor may be used instead of the angular velocity sensor 12. That is, the microcomputer 10 may calculate the direction of the cart 5 based on the direction detected by the geomagnetic sensor.

また、従来例では基地局を店舗内に多数設置する必要があり、行動分析システムの導入費用(初期投資)が高く付くという問題があった。これに対して本実施形態は、主たる位置特定を加速度センサ11および角速度センサ12の測定値に基づいて行っているため、店舗6内における送信機4の設置箇所が少なくて済み、従来例と比較して導入費用が削減できるという利点がある。しかも、本実施形態では送信機4を電池駆動しているので、店舗6内に送信機4への配線を行う必要がないから、この点においても従来例よりも導入費用の削減を図ることができる。なお、本実施形態では、図5に示すように通路64の角の部分にのみ送信機4を設置しているが、これに限定する趣旨では無く、他の場所に送信機4を設置しても構わない。   Further, in the conventional example, it is necessary to install a large number of base stations in the store, and there is a problem that the introduction cost (initial investment) of the behavior analysis system is high. In contrast, in the present embodiment, since the main position is specified based on the measured values of the acceleration sensor 11 and the angular velocity sensor 12, the number of installation locations of the transmitter 4 in the store 6 can be reduced, and compared with the conventional example. Thus, there is an advantage that the introduction cost can be reduced. In addition, since the transmitter 4 is battery-driven in this embodiment, there is no need to perform wiring to the transmitter 4 in the store 6, so that in this respect as well, the introduction cost can be reduced as compared with the conventional example. it can. In the present embodiment, the transmitter 4 is installed only at the corner of the passage 64 as shown in FIG. 5, but the present invention is not limited to this, and the transmitter 4 is installed in another place. It doesn't matter.

また、本実施形態では、カート5に搭載した取得装置1にカート5の位置を記録し、金銭支払い場61に設置した収集装置2で各取得装置1が取得したカート5の位置を収集して分析装置3へ転送している。そして、分析装置3が各カート5の軌跡を演算しているので、演算装置(取得装置1)がカート5の軌跡を演算する場合と比較して、マイコン10の処理負担が軽減され、結果的に取得装置1(演算装置)の製造コストを下げることができる。   Moreover, in this embodiment, the position of the cart 5 is recorded on the acquisition device 1 mounted on the cart 5, and the position of the cart 5 acquired by each acquisition device 1 is collected by the collection device 2 installed in the cash payment place 61. The data is transferred to the analyzer 3. Since the analysis device 3 calculates the trajectory of each cart 5, the processing load of the microcomputer 10 is reduced as a result compared to the case where the arithmetic device (acquisition device 1) calculates the trajectory of the cart 5. In addition, the manufacturing cost of the acquisition device 1 (arithmetic device) can be reduced.

ところで、本実施形態では取得装置1が演算装置を兼ねているが、取得装置1と別に演算装置を設けても構わない。その場合、収集装置2は、取得装置1から加速度計測値や角速度計測値、電波受信強度などのカート5の位置を演算するために必要な情報(データ)を収集して演算装置に渡す。演算装置は、収集装置2から渡される情報からカート5の位置を演算し、その演算結果を分析装置3へ伝送すればよい。このようにすれば、カート5に搭載する取得装置1の製造コストを下げることができ、行動分析システムの導入費用の削減を図ることができる。   Incidentally, in the present embodiment, the acquisition device 1 also serves as an arithmetic device, but an arithmetic device may be provided separately from the acquisition device 1. In that case, the collection device 2 collects information (data) necessary for calculating the position of the cart 5 such as an acceleration measurement value, an angular velocity measurement value, and a radio wave reception intensity from the acquisition device 1 and passes it to the calculation device. The calculation device may calculate the position of the cart 5 from the information passed from the collection device 2 and transmit the calculation result to the analysis device 3. If it does in this way, the manufacturing cost of the acquisition apparatus 1 mounted in the cart 5 can be reduced, and the introduction cost of a behavior analysis system can be reduced.

(実施形態2)
本実施形態の行動分析システムは、取得装置1の構成に特徴があり、その他の構成については実施形態1と共通である。故に、実施形態1と共通の構成要素には同一の符号を付して図示並びに説明を省略する。
(Embodiment 2)
The behavior analysis system of the present embodiment is characterized by the configuration of the acquisition device 1, and the other configurations are the same as those of the first embodiment. Therefore, the same code | symbol is attached | subjected to the same component as Embodiment 1, and illustration and description are abbreviate | omitted.

本実施形態における取得装置1は、加速度センサ11と角速度センサ12の代わりに2つのイメージセンサ19A,19Bを備えるとともに、本体ユニット1Aと無線通信ユニット1Bが一体に構成されている点に特徴がある。そして、取得装置1は、実施形態1における無線通信ユニット1Bと同様にカート5の下荷台52の下面に取り付けられる。   The acquisition device 1 in the present embodiment is characterized in that it includes two image sensors 19A and 19B instead of the acceleration sensor 11 and the angular velocity sensor 12, and the main unit 1A and the wireless communication unit 1B are integrally formed. . And the acquisition apparatus 1 is attached to the lower surface of the loading platform 52 of the cart 5 similarly to the radio | wireless communication unit 1B in Embodiment 1. FIG.

各イメージセンサ19A,19Bは、図示しない発光素子(発光ダイオードやレーザダイオードなど)から放射されて床面で反射した光を受光するように配置される。つまり、コンピュータの入力デバイスである光学式マウスに用いられている周知技術を利用し、イメージセンサ19A,19Bで撮像した画像から床面上にある特徴的な形状やコントラストを抽出する。そして、イメージセンサ19A,19Bの変位に伴って前記特徴的な形状やコントラストも移動するので、前記特徴的な形状やコントラストを追跡することでイメージセンサ19A,19Bの変位量および変位方向を計測することができる。   Each of the image sensors 19A and 19B is disposed so as to receive light emitted from a light emitting element (not shown) (such as a light emitting diode or a laser diode) and reflected on the floor surface. That is, using a known technique used for an optical mouse that is an input device of a computer, a characteristic shape and contrast on the floor surface are extracted from images captured by the image sensors 19A and 19B. Since the characteristic shape and contrast also move with the displacement of the image sensors 19A and 19B, the amount and direction of displacement of the image sensors 19A and 19B are measured by tracking the characteristic shape and contrast. be able to.

本実施形態においては、マイコン10が、イメージセンサ19A,19Bから出力される画像データを画像処理して特徴量(前記特徴的な形状やコントラストなど)を抽出し、その特徴量を追跡してカート5の移動量(移動距離)と移動の向きを演算する。   In the present embodiment, the microcomputer 10 performs image processing on the image data output from the image sensors 19A and 19B to extract feature amounts (such as the characteristic shape and contrast), and tracks the feature amounts to cart. The movement amount (movement distance) of 5 and the direction of movement are calculated.

例えば、図10(a)に示すように床面から等距離に配置された2つのイメージセンサ19A,19Bの光軸間の距離をdとする。そして、図10(b)に示すように床面に設定された2次元直交座標系(絶対座標系)において、イメージセンサ19A,19Bが座標(x0,y0)から座標(x1,y1)に移動したと仮定する。このとき、座標(x0,y0)から座標(x1,y1)に向かうベクトルを、原点と座標(x0,y0)を通る直線方向の成分Δxと、当該直線に直交する直線方向の成分Δyとに分けると、座標(x1,y1)は下記の式で表される。ただし、θは原点と座標(x0,y0)を通る直線がx軸となす角である。   For example, as shown in FIG. 10A, the distance between the optical axes of the two image sensors 19A and 19B arranged at the same distance from the floor is defined as d. Then, in the two-dimensional orthogonal coordinate system (absolute coordinate system) set on the floor as shown in FIG. 10B, the image sensors 19A and 19B move from the coordinates (x0, y0) to the coordinates (x1, y1). Suppose you did. At this time, the vector from the coordinates (x0, y0) to the coordinates (x1, y1) is changed into a linear component Δx passing through the origin and the coordinates (x0, y0) and a linear component Δy orthogonal to the straight line. When divided, the coordinates (x1, y1) are expressed by the following equations. However, θ is an angle formed by a straight line passing through the origin and coordinates (x0, y0) and the x axis.

x1=x0+Δx0・cosθ−Δy・sinθ
y1=y0+Δx0・sinθ+Δy・cosθ
ここで、原点と座標(x0,y0)を通る直線はカート5に対して固定された2次元直交座標系(センサ座標系)のx軸であり、前記直線に直交する直線はセンサ座標系のy軸となる。したがって、図10(c)に示すように、センサ座標系において一方のイメージセンサ19Aが座標(Δx0,Δy0)にあり、他方のイメージセンサ19Bが座標(Δx1,Δy1)に移動したときの変位角Δθは下記の式で表される。ただし、kは2つのイメージセンサ19A,19B間の誤差係数である。
x1 = x0 + Δx0 · cos θ−Δy · sin θ
y1 = y0 + Δx0 · sin θ + Δy · cos θ
Here, the straight line passing through the origin and coordinates (x0, y0) is the x-axis of the two-dimensional orthogonal coordinate system (sensor coordinate system) fixed to the cart 5, and the straight line orthogonal to the straight line is the sensor coordinate system. It becomes the y-axis. Accordingly, as shown in FIG. 10C, the displacement angle when one image sensor 19A is at the coordinates (Δx0, Δy0) and the other image sensor 19B is moved to the coordinates (Δx1, Δy1) in the sensor coordinate system. Δθ is represented by the following equation. Here, k is an error coefficient between the two image sensors 19A and 19B.

Δθ=(k・Δy1−Δy0)/d
したがって、絶対座標系における回転角(絶対座標系のx軸と座標(x1,y1)を結ぶ直線とのなす角)Θは、Θ=θ+Δθで求められる。
Δθ = (k · Δy1−Δy0) / d
Accordingly, the rotation angle in the absolute coordinate system (the angle formed by the straight line connecting the x axis of the absolute coordinate system and the coordinates (x1, y1)) Θ is obtained by Θ = θ + Δθ.

本実施形態では、マイコン10が、2つのイメージセンサ19A,19Bを用いてカート5の移動距離と向きを演算しているので、実施形態1のように加速度センサ11と角速度センサ12を用いる場合と比較して演算誤差の低減を図ることできる。   In this embodiment, since the microcomputer 10 calculates the moving distance and direction of the cart 5 using the two image sensors 19A and 19B, the case where the acceleration sensor 11 and the angular velocity sensor 12 are used as in the first embodiment. In comparison, the calculation error can be reduced.

(実施形態3)
本実施形態の行動分析システムは、取得装置1に1乃至複数のセンサ部7を設けている点に特徴があり、その他の構成については実施形態1又は2と共通である。故に、実施形態1又は2と共通の構成要素には同一の符号を付して図示並びに説明を省略する。
(Embodiment 3)
The behavior analysis system according to the present embodiment is characterized in that one or more sensor units 7 are provided in the acquisition device 1, and other configurations are the same as those in the first or second embodiment. Therefore, the same code | symbol is attached | subjected to the same component as Embodiment 1 or 2, and illustration and description are abbreviate | omitted.

従来、店舗6内の温度や湿度、照度をそれぞれセンサで計測し、各センサの計測値に基づいて店舗6の空調や照明を調整することが行われている。しかしながら、店舗6内の温湿度や明るさは場所によって大きく異なることが多い。例えば、冷蔵ショーケース62の近くでは冷蔵ショーケース62の冷気によって相対的に温度や湿度が低くなる傾向にある。また、冷蔵ショーケース62にも照明器具が内蔵されているので、冷蔵ショーケース62から漏れる光によって相対的に照度が高くなる傾向にある。   Conventionally, the temperature, humidity, and illuminance in the store 6 are measured by sensors, and the air conditioning and lighting of the store 6 are adjusted based on the measured values of the sensors. However, the temperature and humidity and brightness in the store 6 often vary greatly depending on the location. For example, in the vicinity of the refrigerated showcase 62, the temperature and humidity tend to be relatively lowered by the cold air of the refrigerated showcase 62. Moreover, since the lighting fixture is also incorporated in the refrigerated showcase 62, the illuminance tends to be relatively increased by the light leaking from the refrigerated showcase 62.

そこで本実施形態では、取得装置1に設けたセンサ部7で温度や湿度あるいは照度を計測し、それらの計測値を取得装置1のメモリ13に蓄積し、取得装置1から収集装置2へ、カート5の位置とともにセンサ部7の計測値を伝送するように構成している。   Therefore, in the present embodiment, the sensor unit 7 provided in the acquisition device 1 measures temperature, humidity, or illuminance, accumulates the measured values in the memory 13 of the acquisition device 1, and transfers the cart from the acquisition device 1 to the collection device 2. The measurement value of the sensor unit 7 is transmitted together with the position 5.

センサ部7は、サーミスタなどの温度検出素子で周囲の温度(気温)を計測し、計測した結果(温度計測値)を電気信号としてマイコン10に出力する。ただし、センサ部7の計測対象は温度に限定されず、湿度又は照度の計測値を電気信号としてマイコン10に出力する場合もある。   The sensor unit 7 measures the ambient temperature (air temperature) with a temperature detection element such as a thermistor, and outputs the measurement result (temperature measurement value) to the microcomputer 10 as an electrical signal. However, the measurement target of the sensor unit 7 is not limited to temperature, and the measurement value of humidity or illuminance may be output to the microcomputer 10 as an electrical signal.

そして、マイコン10は、メモリ13に格納した温度計測値等のデータを、カート5の位置のデータとともに無線通信回路15から収集装置2へ伝送させる。   Then, the microcomputer 10 transmits data such as a temperature measurement value stored in the memory 13 together with the position data of the cart 5 from the wireless communication circuit 15 to the collection device 2.

収集装置2は、取得装置1から受け取った温度計測値等のデータを演算装置に渡す。演算装置は、例えば、温度計測値等を目標値に一致させるように店舗6内の空調設備や冷蔵設備、冷凍設備、換気設備、照明設備を制御するための制御指令を生成し、生成した制御指令を空調設備のコントローラや照明設備のコントローラなどに伝送する。各コントローラは、演算装置から伝送される制御指令を受け取ると、当該制御指令に基づいて空調設備や冷蔵設備、冷凍設備、換気設備、照明設備を制御して温度や湿度の増減および調光を行う。   The collection device 2 passes data such as a temperature measurement value received from the acquisition device 1 to the arithmetic device. The arithmetic unit generates, for example, a control command for controlling the air conditioning equipment, the refrigeration equipment, the refrigeration equipment, the ventilation equipment, and the lighting equipment in the store 6 so that the temperature measurement value or the like matches the target value. The command is transmitted to the controller of the air conditioning equipment or the controller of the lighting equipment. When each controller receives a control command transmitted from the arithmetic device, it controls the air conditioning equipment, refrigeration equipment, refrigeration equipment, ventilation equipment, and lighting equipment based on the control command to increase / decrease the temperature and humidity and control the light. .

このように本実施形態によれば、カート5とともに店舗内を移動する取得装置1にセンサ部7を設け、それぞれの計測値に応じて空調設備や冷蔵設備、冷凍設備、換気設備、照明設備を制御することにより、店舗6内の温度や湿度あるいは照明を適切に調整することができる。   Thus, according to this embodiment, the sensor unit 7 is provided in the acquisition device 1 that moves in the store together with the cart 5, and air conditioning equipment, refrigeration equipment, refrigeration equipment, ventilation equipment, and lighting equipment are provided according to each measured value. By controlling, the temperature, humidity or lighting in the store 6 can be adjusted appropriately.

1 取得装置(兼演算装置)
1A 本体ユニット
1B 無線通信ユニット
2 収集装置
3 分析装置
4 送信機
5 手押し車(ショッピングカート)
10 マイクロコントローラ(補正手段)
11 加速度センサ(検知手段)
12 角速度センサ(検知手段)
13 メモリ
14 アンテナ
15 無線通信回路
1 Acquisition device (also computing device)
1A Main unit 1B Wireless communication unit 2 Collection device 3 Analysis device 4 Transmitter 5 Wheelbarrow (shopping cart)
10 Microcontroller (correction means)
11 Acceleration sensor (detection means)
12 Angular velocity sensor (detection means)
13 Memory 14 Antenna 15 Wireless Communication Circuit

Claims (11)

客が移動する通路に沿って商品が陳列されている店舗内において前記客の行動を分析するための行動分析システムであって、
前記店舗内の複数箇所に設置されて電波を媒体とする無線信号を送信する複数の送信機と、前記客が前記商品を運搬するために使用する手押し車に設けられ、当該手押し車の位置を特定するために必要な情報を取得する取得装置と、前記取得装置が取得した前記情報を収集し、収集した当該情報から前記店舗内における前記手押し車の位置を演算する演算装置とを有し、
前記取得装置は、前記無線信号を受信するとともに当該無線信号の受信電波強度を計測する受信手段と、前記手押し車の移動に伴って変化する1乃至複数種類の物理量を検知する検知手段と、前記受信電波強度の計測値および前記物理量の検知結果を前記演算装置に伝送する伝送手段とを備え、
前記物理量の検知結果から前記手押し車が移動した距離と方向を求めるとともに、前記受信電波強度の計測値から前記手押し車の位置を求め、且つ前記移動距離および移動方向から演算される前記手押し車の位置を、前記受信電波強度の計測値から求めた前記手押し車の位置を使って補正する補正手段が、前記取得装置又は前記演算装置の何れか一方に設けられることを特徴とする行動分析システム。
A behavior analysis system for analyzing the behavior of the customer in a store where merchandise is displayed along a passage along which the customer moves,
A plurality of transmitters installed at a plurality of locations in the store and transmitting radio signals using radio waves as a medium, and a handcart used by the customer to carry the product, the position of the handcart is determined. An acquisition device that acquires information necessary for specifying, and an arithmetic device that collects the information acquired by the acquisition device and calculates the position of the wheelbarrow in the store from the collected information,
The acquisition device includes a receiving unit that receives the radio signal and measures a received radio wave intensity of the radio signal, a detection unit that detects one or more types of physical quantities that change as the handcart moves, A transmission means for transmitting the measurement value of the received radio wave intensity and the detection result of the physical quantity to the arithmetic device;
The distance and direction of movement of the wheelbarrow is obtained from the physical quantity detection result, the position of the wheelbarrow is obtained from the measured value of the received radio wave intensity, and the position of the wheelbarrow calculated from the movement distance and direction of movement is calculated. A behavior analysis system characterized in that a correction means for correcting the position by using the position of the handcart obtained from the measured value of the received radio wave intensity is provided in either the acquisition device or the arithmetic device.
前記物理量の検知手段は、加速度を検知する加速度センサと、角速度を検知する角速度センサ又は地磁気を検知する地磁気センサの少なくとも何れか一方とを有することを特徴とする請求項1記載の行動分析システム。   2. The behavior analysis system according to claim 1, wherein the physical quantity detection means includes an acceleration sensor that detects acceleration and at least one of an angular velocity sensor that detects angular velocity and a geomagnetic sensor that detects geomagnetism. 前記検知手段は、所定の間隔を空けて配置された2個の撮像素子と、前記各撮像素子が前記通路の床面を撮像した画像を画像処理して前記移動距離と方向を求める画像処理手段とを有することを特徴とする請求項1記載の行動分析システム。   The detection means includes two image sensors arranged at a predetermined interval, and image processing means for obtaining the moving distance and direction by performing image processing on an image obtained by imaging the floor surface of the passage by each of the image sensors. The behavior analysis system according to claim 1, further comprising: 前記受信手段は、前記電波を受信するためのアンテナを有し、前記アンテナは、前記手押し車における前記通路の床面と対向する場所に、前記電波の波長よりも長くない距離を前記床面との間に空けて配置されることを特徴とする請求項1〜3の何れか1項に記載の行動分析システム。   The receiving means includes an antenna for receiving the radio wave, and the antenna has a distance not longer than the wavelength of the radio wave at a location facing the floor surface of the passage in the handcart. The behavior analysis system according to any one of claims 1 to 3, wherein the behavior analysis system is arranged with a space between them. 前記送信機は、電池を電源として動作し、且つ前記無線信号を間欠送信し、前記電波の波長よりも長くない距離を前記床面との間に空けて配置されるように構成されることを特徴とする請求項1〜4の何れか1項に記載の行動分析システム。   The transmitter is configured to operate with a battery as a power source, intermittently transmit the wireless signal, and be disposed with a distance not longer than the wavelength of the radio wave between the floor surface. The behavior analysis system according to claim 1, wherein the behavior analysis system is characterized in that 前記取得装置は、温度又は湿度又は照度のうちの少なくとも何れか1つを計測する計測手段を備え、前記伝送手段は、前記計測手段の計測値を前記演算装置へ伝送することを特徴とする請求項1〜5の何れか1項に記載の行動分析システム。   The acquisition device includes a measurement unit that measures at least one of temperature, humidity, and illuminance, and the transmission unit transmits a measurement value of the measurement unit to the arithmetic unit. Item 6. The behavior analysis system according to any one of Items 1 to 5. 前記店舗内において前記商品の購入代金が支払われる場所の近傍に設置され、前記取得装置が取得した前記情報を収集して前記演算装置に渡す収集装置を有することを特徴とする請求項1〜6の何れか1項に記載の行動分析システム。   7. A collection device that is installed in the vicinity of a place where the purchase price of the product is paid in the store, collects the information acquired by the acquisition device, and passes the collected information to the arithmetic device. The behavior analysis system according to any one of the above. 前記店舗内において前記商品の購入代金が支払われる場所の近傍に設置され、前記手押し車に搭載された前記演算装置から演算結果を収集する収集装置を有することを特徴とする請求項1〜6の何れか1項に記載の行動分析システム。   7. The apparatus according to claim 1, further comprising a collection device that is installed in a vicinity of a place where the purchase price of the product is paid in the store and collects calculation results from the calculation device mounted on the wheelbarrow. The behavior analysis system according to any one of the above. 前記手押し車の位置から当該手押し車の軌跡を演算し、前記軌跡に基づいて前記客の行動を分析する分析装置を有し、前記分析装置は、ネットワークを通じて前記演算装置又は前記収集装置から前記位置のデータを取得することを特徴とする請求項7又は8記載の行動分析システム。   An analysis device that calculates a trajectory of the handcart from the position of the handcart and analyzes the behavior of the customer based on the trajectory, and the analysis device receives the position from the calculation device or the collection device through a network. The behavioral analysis system according to claim 7 or 8, wherein the data is acquired. 前記演算装置は、前記伝送手段から伝送される前記計測値を目標値に一致させるように前記店舗内の空調設備、冷蔵設備、冷凍設備、換気設備又は照明設備を制御するための制御指令を生成することを特徴とする請求項6記載の行動分析システム。   The arithmetic unit generates a control command for controlling the air conditioning equipment, refrigeration equipment, refrigeration equipment, ventilation equipment or lighting equipment in the store so that the measured value transmitted from the transmission means matches a target value. The behavior analysis system according to claim 6, wherein: 前記取得装置に電源を供給するための電池と、前記電池を充電する充電装置とが前記手押し車に搭載され、前記手押し車の置き場所において前記充電装置に対して非接触で給電する非接触給電装置を有することを特徴とする請求項1〜10の何れか1項に記載の行動分析システム。   A battery for supplying power to the acquisition device and a charging device for charging the battery are mounted on the wheelbarrow, and contactless power feeding is performed in a contactless manner to the charging device at a place where the wheelbarrow is placed. It has an apparatus, The behavioral analysis system of any one of Claims 1-10 characterized by the above-mentioned.
JP2013092840A 2013-04-25 2013-04-25 Behavior analysis system Pending JP2014215827A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013092840A JP2014215827A (en) 2013-04-25 2013-04-25 Behavior analysis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013092840A JP2014215827A (en) 2013-04-25 2013-04-25 Behavior analysis system

Publications (1)

Publication Number Publication Date
JP2014215827A true JP2014215827A (en) 2014-11-17

Family

ID=51941531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013092840A Pending JP2014215827A (en) 2013-04-25 2013-04-25 Behavior analysis system

Country Status (1)

Country Link
JP (1) JP2014215827A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016102003A (en) * 2014-11-28 2016-06-02 株式会社ダイフク Mobile rack facility
US11688157B2 (en) 2020-04-23 2023-06-27 International Business Machines Corporation Shopper analysis using an acceleration sensor and imaging
JP7433037B2 (en) 2019-12-17 2024-02-19 三菱電機株式会社 Transport vehicle management system, transport vehicle management device, transport vehicle management method and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265042A (en) * 1995-03-22 1996-10-11 Hisamatsu Nakano Grid array antenna in common use for polarized wave
JP2005274364A (en) * 2004-03-25 2005-10-06 Hitachi Ltd Mobile location detection system
WO2005111880A1 (en) * 2004-05-14 2005-11-24 Supreme System Consulting Corporation Behavior analysis device
JP2007058757A (en) * 2005-08-26 2007-03-08 Seiko Epson Corp Customer moving path information collection device
JP2007109058A (en) * 2005-10-14 2007-04-26 Seiko Epson Corp Commodity selection information providing apparatus
JP2007128420A (en) * 2005-11-07 2007-05-24 Seiko Epson Corp Customer moving path information collecting device
JP2010196957A (en) * 2009-02-24 2010-09-09 Panasonic Electric Works Co Ltd Air conditioning system
JP2011184150A (en) * 2010-03-10 2011-09-22 Casio Computer Co Ltd Load management system and load storage device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265042A (en) * 1995-03-22 1996-10-11 Hisamatsu Nakano Grid array antenna in common use for polarized wave
JP2005274364A (en) * 2004-03-25 2005-10-06 Hitachi Ltd Mobile location detection system
WO2005111880A1 (en) * 2004-05-14 2005-11-24 Supreme System Consulting Corporation Behavior analysis device
JP2007058757A (en) * 2005-08-26 2007-03-08 Seiko Epson Corp Customer moving path information collection device
JP2007109058A (en) * 2005-10-14 2007-04-26 Seiko Epson Corp Commodity selection information providing apparatus
JP2007128420A (en) * 2005-11-07 2007-05-24 Seiko Epson Corp Customer moving path information collecting device
JP2010196957A (en) * 2009-02-24 2010-09-09 Panasonic Electric Works Co Ltd Air conditioning system
JP2011184150A (en) * 2010-03-10 2011-09-22 Casio Computer Co Ltd Load management system and load storage device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016102003A (en) * 2014-11-28 2016-06-02 株式会社ダイフク Mobile rack facility
JP7433037B2 (en) 2019-12-17 2024-02-19 三菱電機株式会社 Transport vehicle management system, transport vehicle management device, transport vehicle management method and program
US11688157B2 (en) 2020-04-23 2023-06-27 International Business Machines Corporation Shopper analysis using an acceleration sensor and imaging

Similar Documents

Publication Publication Date Title
KR102649290B1 (en) Location tracking method and location tracking device for RFID tags
US10244363B1 (en) Entry portal identification system
US20230035636A1 (en) System and method of personalized navigation inside a business enterprise
US9143954B2 (en) Position identification apparatus, position identification method, position identification system, recording medium, air conditioning system, and lighting system
US9898633B2 (en) Method and system for determining the position and movement of items using radio frequency data
WO2015189846A1 (en) Rfid reader and antenna system for locating items using a mobile device
Arai et al. Evaluation of indoor positioning system based on attachable infrared beacons in metal shelf environment
US20100217672A1 (en) Positional Information Analysis Apparatus, Positional Information Analysis Method, and Positional Information Analysis System
WO2013126391A1 (en) Overhead antenna live inventory locating system
US10101408B2 (en) Wireless position sensing using magnetic field of single transmitter
WO2016196029A1 (en) Systems and methods for locating and determining the orientation of a handheld device
US11418980B2 (en) Arrangement for, and method of, analyzing wireless local area network (WLAN) field coverage in a venue
JP2007114003A (en) System for detecting contactless ic tag position
JP2014215827A (en) Behavior analysis system
GB2531075A (en) Smart trolley wheel
JP7036460B2 (en) Position detection system
US11101694B2 (en) Wireless power transmitter, electronic device for wirelessly receiving power, and method for operating the same
US20090002163A1 (en) System and method for improving rfid tag reading performance
Hu et al. Lightitude: Indoor positioning using uneven light intensity distribution
JP2023552705A (en) Method and system for determining whether an item is leaving a merchandising position or returning to a merchandising position
CN111738665B (en) Intelligent device for displaying articles and method of article monitoring
JP2015121408A (en) Movable body device, movable body system, and self-position acquisition device
JP7226319B2 (en) Mobile positioning system and logistics management system
CN112364672A (en) Inclined cargo detection method based on RFID
CN116382287B (en) Control method and device of following robot, electronic equipment and storage medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170123

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170530