JP2013030079A - Mobile monitoring system - Google Patents

Mobile monitoring system Download PDF

Info

Publication number
JP2013030079A
JP2013030079A JP2011167006A JP2011167006A JP2013030079A JP 2013030079 A JP2013030079 A JP 2013030079A JP 2011167006 A JP2011167006 A JP 2011167006A JP 2011167006 A JP2011167006 A JP 2011167006A JP 2013030079 A JP2013030079 A JP 2013030079A
Authority
JP
Japan
Prior art keywords
person
mobile
portable device
detected
wireless tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011167006A
Other languages
Japanese (ja)
Other versions
JP5829855B2 (en
Inventor
Kenji Ikeda
賢二 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2011167006A priority Critical patent/JP5829855B2/en
Publication of JP2013030079A publication Critical patent/JP2013030079A/en
Application granted granted Critical
Publication of JP5829855B2 publication Critical patent/JP5829855B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To surely detect a suspicious person who does not have a portable unit by making a person within a monitor area corresponding to a portable unit.SOLUTION: A mobile monitoring system which identifies whether a mobile is accompanied with a portable unit comprises object detection means which detects a location of the mobile in the monitor area, receiving means which receives a radio signal transmitted by the portable unit, azimuth detection means which detects a location or an azimuth of the portable unit from the received radio signal, corresponding processing means which compares the location or azimuth of the mobile with that of the portable unit and, in the case where a degree of matching of the location or azimuth meets a first criterion, makes the mobile corresponding to the portable unit, and chasing means which records the detected location of the mobile together with a result of corresponding and chases the mobile. Regarding the mobile made corresponding to the portable unit, the corresponding processing means maintains the relevant corresponding in the case where a degree of matching of the location or azimuth with the portable unit meets a second criterion looser than the first criterion.

Description

本発明は、監視エリアにおいて移動体が携帯機を付帯しているか否か識別し、携帯機の付帯有無に応じて異常判定を行う移動体監視システムに関する。   The present invention relates to a mobile body monitoring system that identifies whether or not a mobile body is attached to a mobile device in a monitoring area and performs abnormality determination according to whether the mobile device is attached.

従来、防犯センサで監視エリアに侵入した人物を検出し、また、リーダで正規の利用者が所持するICタグ等の携帯機を読み取り、検出した人物が正規の利用者であるか不審者であるか識別するシステムが提案されている。   Conventionally, a person who has entered a monitoring area is detected by a security sensor, and a portable device such as an IC tag possessed by a legitimate user is read by a reader, and the detected person is a legitimate user or a suspicious person. A system to identify this is proposed.

例えば、特許文献1には、警戒エリアにおいて熱線センサが移動物体を検知すると、従業員が所持する携帯カードの識別番号の読み取り動作を実施し、登録されている識別番号が読み取れない場合にはこの移動物体を侵入者と判断して異常警報する警備システムが開示されている。   For example, in Patent Literature 1, when a heat ray sensor detects a moving object in a warning area, an operation for reading an identification number of a mobile card possessed by an employee is performed, and this is performed when a registered identification number cannot be read. A security system that judges a moving object as an intruder and gives an alarm is disclosed.

特開平11−144160号公報Japanese Patent Laid-Open No. 11-144160

特許文献1に記載された警備システムは、ある熱線センサが人物を検出したとき検知範囲内に携帯機が存在するか否かを認識できるが、検出した人物が真に携帯機を所持しているか否かまでは判別できない。人物一人が入る程度に人物および携帯機の検知範囲が狭ければ、検出した人物が携帯機を所持していると云えるが、検知範囲が広域にわたる場合、人物とは離れた位置に携帯機が存在していてもその人物を正規利用者と誤認識してしまう。また、複数の人物の中に携帯機を所持していない人物が混ざっていた場合にも、不審者と抽出できない事態が生じ得る。   The security system described in Patent Document 1 can recognize whether or not a portable device exists within the detection range when a certain heat ray sensor detects a person, but does the detected person truly possess a portable device? It is not possible to determine whether or not. If the detection range of the person and the portable device is narrow enough for one person to enter, it can be said that the detected person possesses the portable device, but if the detection range is wide, the portable device is located at a position away from the person. Even if exists, the person is mistakenly recognized as a regular user. In addition, even when a person who does not have a portable device is mixed among a plurality of persons, a situation that cannot be extracted as a suspicious person may occur.

本発明は上記問題点を解決するためになされたものであり、検出した移動体が携帯機を付帯しているか否かを的確に判別可能な移動体監視システムの提供を目的とする。   The present invention has been made to solve the above problems, and an object of the present invention is to provide a moving body monitoring system capable of accurately determining whether or not the detected moving body is accompanied by a portable device.

上記目的を達成するために本発明の移動体監視システムは、移動体が携帯機を付帯しているか否か識別する移動体監視システムであって、監視エリアにおける移動体の位置を検出する物体検出手段と、前記携帯機が発した無線信号を受信する受信手段と、前記受信した無線信号から前記携帯機の位置または方位を検出する方位検出手段と、前記移動体の位置と前記携帯機の位置、または前記移動体の位置で特定される方位と前記携帯機の方位とを比較し、前記位置または前記方位の一致度が第一の基準を満たす場合に当該移動体と当該携帯機とを対応付けする対応処理手段と、前記検出した移動体の位置を前記対応付けの結果とともに記録して前記移動体を追跡する追跡手段と、を有し、前記対応処理手段は、前記携帯機と対応付けされている移動体については、当該携帯機との前記位置または前記方位の一致度が前記第一の基準より緩い第二の基準を満たす場合には当該対応付けを維持する、ことを特徴とする。
かかる構成によれば、移動体を検出した位置または方位と携帯機を検出した位置または方位との一致性を判定条件に移動体と携帯機との対応付けを行うため、移動体が携帯機を付帯しているか否かを的確に判別することができる。また、一旦対応付けされた人物と携帯機に関しては対応付けの基準を緩くして対応付けが解除され難くするため、人物や携帯機の位置または方位の検出精度が一時的に低下した場合であっても、移動体による携帯機の付帯有無を的確に判別できる。
In order to achieve the above object, a moving body monitoring system according to the present invention is a moving body monitoring system for identifying whether a moving body is attached to a portable device, and for detecting an object position in a monitoring area. Means, receiving means for receiving a radio signal emitted by the portable device, azimuth detecting means for detecting the position or azimuth of the portable device from the received wireless signal, the position of the mobile body and the position of the portable device Or, compare the azimuth specified by the position of the mobile body with the azimuth of the portable device, and if the degree of coincidence of the position or the azimuth satisfies the first standard, the mobile body and the portable device are handled. And a tracking unit for recording the detected position of the moving body together with the result of the association and tracking the moving body, and the correspondence processing unit is associated with the portable device. Has been For mobile maintains the association if the position or degree of matching the orientation with the portable device satisfies a loose second reference than the first reference, and wherein the.
According to such a configuration, since the mobile object is associated with the mobile device on the basis of the matching condition between the position or orientation where the mobile object is detected and the position or orientation where the mobile device is detected, the mobile object It is possible to accurately determine whether it is attached. In addition, the relationship between the person and the portable device once associated with each other and the association criterion is loosened to make it difficult to cancel the association. However, it is possible to accurately determine whether the mobile device is attached to the mobile object.

また、上記構成において、前記対応処理手段は、前記携帯機と対応付けされていない移動体については、前記携帯機との前記位置または前記方位のずれ量が第一の基準値以内である場合に当該携帯機と対応付けし、前記携帯機と対応付けされている移動体については、当該携帯機との前記ずれ量が前記第一の基準値より大きい第二の基準値以内であれば当該携帯機との対応付けを維持する。   Further, in the above configuration, when the correspondence processing means has a moving amount that is not associated with the portable device, the amount of deviation of the position or the direction from the portable device is within a first reference value. For a mobile object associated with the portable device and associated with the portable device, the portable object is provided if the deviation from the portable device is within a second reference value that is greater than the first reference value. Maintain the association with the machine.

また、上記構成において、前記対応処理手段は、前記移動体の移動に伴う位置の変化に対して前記携帯機の位置または方位が追従して変化していることを条件に、当該移動体と当該携帯機とを対応付けする。
かかる構成によれば、移動体と携帯機との位置または方位が一致するだけでなく、移動体の移動に携帯機が追従して移動していることを条件に対応付けをおこなうため、移動体に付帯されていない他の携帯機を誤って対応付けてしまうことを防止し、高精度に付帯判定を実現できる。
Further, in the above configuration, the response processing unit may be configured so that the position of the portable device or the direction changes following the change in the position accompanying the movement of the moving body, and the moving body and the Associate with a portable device.
According to such a configuration, not only the position or orientation of the mobile body and the portable device coincide with each other, but also the association is performed on the condition that the mobile device is moving following the movement of the mobile body. It is possible to prevent other portable devices not attached to the mobile phone from being erroneously associated with each other, and to make an auxiliary determination with high accuracy.

また、上記構成において、さらに、前記移動体の位置の履歴に応じて前記移動体による特定行動を検出し、前記移動体による前記特定行動を検出したとき、当該移動体に前記携帯機が対応付けされていない場合に不審物体と判定する異常判定手段を有する。
かかる構成によれば、特定行動をとった移動体が不審者であるかの異常判定を適切に行える。
Further, in the above configuration, when the specific action by the mobile body is detected according to the history of the position of the mobile body, and the specific action by the mobile body is detected, the portable device is associated with the mobile body And an abnormality determining means for determining that the object is a suspicious object.
According to such a configuration, it is possible to appropriately determine whether or not the moving body that has taken the specific action is a suspicious person.

また、上記構成において、前記物体検出手段は、測距センサであり、監視エリアを探査信号で走査して各方位ごとの物体までの距離を示す測距データを生成し、前記測距データから前記監視エリアにおける移動体の位置を検出する。或いは、前記物体検出手段は、画像センサであり、監視エリアを撮影した画像から移動体を抽出し、前記抽出した移動体の画像上の位置に基づいて前記監視エリアにおける移動体の位置を検出する。   Further, in the above configuration, the object detection means is a distance measurement sensor, scans a monitoring area with an exploration signal, generates distance measurement data indicating a distance to an object in each direction, and generates the distance measurement data from the distance measurement data. The position of the moving body in the monitoring area is detected. Alternatively, the object detection means is an image sensor that extracts a moving body from an image obtained by photographing the monitoring area, and detects the position of the moving body in the monitoring area based on the position of the extracted moving body on the image. .

本発明によれば、移動体と携帯機との対応付けを、検出精度を考慮しつつ位置または方位の一致性に基づき行うことで、検出した移動体が携帯機を付帯しているか否かを的確に判別できる。   According to the present invention, by associating the mobile body with the mobile device based on the coincidence of the position or orientation while taking the detection accuracy into consideration, it is determined whether or not the detected mobile body is attached to the mobile device. Can be accurately identified.

本実施形態の不審者監視システムの概略全体構成図である。It is a schematic whole block diagram of the suspicious person monitoring system of this embodiment. 監視処理部の対応付け処理および異常判定処理の流れの概略を示す図である。It is a figure which shows the outline of the flow of the matching process and abnormality determination process of a monitoring process part. 対応付け処理の実例を説明するための模式図である。It is a schematic diagram for demonstrating the example of a matching process. 対応付け処理を示すフローチャートである。It is a flowchart which shows a matching process. 対応付け処理を示すフローチャートである。It is a flowchart which shows a matching process. 変形例における対応付け処理の一部を示すフローチャートである。It is a flowchart which shows a part of matching process in a modification.

本発明の移動体監視システムの実施形態として、以下、建物の敷地内に不正侵入した不審者を検出して異常警報する不審者監視システムを例に説明する。   As an embodiment of the mobile monitoring system of the present invention, a suspicious person monitoring system that detects a suspicious person who has illegally entered a building site and issues an alarm is described below.

本実施形態の不審者監視システムは、例えばサービス利用者の家屋の監視に適用され、家屋の敷地にあたる庭への不審者の侵入を検出して異常警報を行う。利用者には予め携帯機が与えられ、家屋の出入りの際には携帯機を所持する。不審者監視システムは、敷地外から庭に入った人物を検出して、その位置を特定する。また、携帯機から無線信号を受信することで携帯機の存在を検知し、受信した無線信号を解析して携帯機が存在する位置または方位を検出する。そして、人物を検出した位置と携帯機を検知した位置または方位とを比較し、一致度が第一の基準を満たす場合は当該人物が当該携帯機を所持しているとみなし、正規の利用者であると認識する。一方、一致度が第一の基準を満たさない場合や携帯機が検知されていない場合は、検出した人物は携帯機を所持しない不審者であると認識し、例えば庭内での滞留行為や建物内への入館行為に対して異常警報を出力する。   The suspicious person monitoring system according to the present embodiment is applied to, for example, monitoring of a service user's house, and detects an intrusion of a suspicious person into a garden corresponding to the house's premises to give an abnormality alarm. The user is given a portable device in advance, and possesses the portable device when entering and leaving the house. The suspicious person monitoring system detects a person who has entered the garden from outside the site, and specifies its position. Further, the presence of the portable device is detected by receiving a wireless signal from the portable device, and the received wireless signal is analyzed to detect the position or orientation where the portable device is present. Then, the position where the person is detected is compared with the position or orientation where the portable device is detected. If the degree of coincidence satisfies the first standard, the person is considered to have the portable device, and the authorized user Recognize that On the other hand, if the degree of coincidence does not meet the first criterion or the portable device is not detected, the detected person is recognized as a suspicious person who does not have a portable device, and for example, staying in the garden or building An abnormal alarm is output for the act of entering the building.

携帯機の位置または方位は、リーダ側で携帯機が発した無線信号の到来方位や受信強度を解析することで算出される。しかし、到来方位や受信強度は、家屋の壁による無線信号の反射など様々な環境要因から影響を受けるため、一律に安定しない。この不安定さは携帯機の位置または方位の検出精度に直結し、更には上述した人物および携帯機の対応付けの判定結果にも影響する。したがって、実際に携帯機を所持した人物が監視エリア内を移動する場合であっても、位置又は方位の検出誤差が一時的に大きくなると人物と携帯機との対応付けが失敗し、正規の利用者を不審者と誤判定するおそれがある。   The position or azimuth of the portable device is calculated by analyzing the arrival azimuth and reception intensity of the radio signal emitted by the portable device on the reader side. However, the direction of arrival and the received intensity are not uniformly stable because they are affected by various environmental factors such as reflection of radio signals by the walls of the house. This instability is directly related to the detection accuracy of the position or orientation of the portable device, and further affects the above-described determination result of the association between the person and the portable device. Therefore, even if the person who actually owns the mobile device moves within the monitoring area, if the position or orientation detection error temporarily increases, the association between the person and the mobile device fails, and the normal use There is a risk of misidentifying a person as a suspicious person.

そこで本実施形態の不審者監視システムでは、一旦携帯機と対応付けされた人物については、同一の携帯端末との関係に限って以後の対応付けの判定基準を緩くし、対応付けが不用意に外れないようにする。すなわち、人物と対応付け済みの携帯機との位置または方位の一致度が上記の第一の基準より緩い第二の基準を満たしていれば、当該携帯機との対応付けを維持する。
このように、携帯機の検出精度を考慮しつつ人物および携帯機の位置または方位の一致性に基づく対応付けを行うため、検出した人物が携帯機を所持しているか否かを的確に判定することができ、不審者判定の精度を向上させることができる。
Therefore, in the suspicious person monitoring system according to the present embodiment, for the person once associated with the portable device, only the relationship with the same portable terminal is used to loosen the criteria for subsequent association, and the association is inadvertent. Try not to come off. In other words, if the degree of coincidence of the position or orientation with the portable device already associated with the person satisfies the second criterion that is looser than the first criterion, the association with the portable device is maintained.
Thus, in order to perform the association based on the coincidence of the position and orientation of the person and the portable device in consideration of the detection accuracy of the portable device, it is accurately determined whether or not the detected person has the portable device. And the accuracy of suspicious person determination can be improved.

以下、図1は、本実施形態の不審者監視システムの概略全体構成図である。
不審者監視システムは、主として、無線タグ10、リーダ20、測距センサ30、監視装置40を含んで構成され、建物の周囲の敷地内の少なくとも一部を監視エリアとする。建物の敷地内や建物に侵入した不審者を検出すると、インターネット網などの通信回線50を介して遠隔の警備センタ60に異常発生を通報する。異常通報を受けた警備センタ60は、現地に警備員を派遣する等の緊急対処を実施する。また、不審者監視システムに別途カメラ(図示せず)を設け、異常発生時の画像を警備センタ60で確認できるように構成しておけば、警備センタ60の監視員が現場の状況を的確に把握できる。
FIG. 1 is a schematic overall configuration diagram of the suspicious person monitoring system of the present embodiment.
The suspicious person monitoring system mainly includes a wireless tag 10, a reader 20, a distance measuring sensor 30, and a monitoring device 40, and at least a part of the site around the building is a monitoring area. When a suspicious person who has entered the building site or the building is detected, the remote security center 60 is notified of the occurrence of an abnormality via a communication line 50 such as the Internet network. The security center 60 that has received the abnormality report implements emergency measures such as dispatching security personnel to the site. In addition, if a camera (not shown) is separately provided in the suspicious person monitoring system so that an image at the time of occurrence of an abnormality can be confirmed by the security center 60, the monitor of the security center 60 can accurately check the situation at the site. I can grasp.

無線タグ10は、建物への出入りが認められた利用者に予め与えられる携帯機であり、監視対象である建物の出入りの際に所持される。無線タグ10は、リーダ20との間で電波を用いた無線通信を行い、予め記憶されている無線タグ10ごとに固有の識別情報(以下、タグIDと称す)を含む無線信号を送出する。無線通信方式には、RF−ID(Radio Frequency IDentification)技術を利用する。無線タグは、用途に応じて種々の周波数帯が利用可能であり、駆動方式もアクティブ型やパッシブ型などの種類がある。利用周波数や駆動方式は限定されるものではないが、本実施形態では、建物の敷地内の監視用途とするため、数m〜数10mといった比較的長距離の通信に適したUHF帯あるいは2.4GHz帯の周波数を利用し、自己のバッテリを駆動源としてリーダ20からの質問信号に対しタグIDを含む応答信号を出力する方式とする。なお、無線タグ10に振動検知センサを設け、振動検知中、つまり移動中のみ無線信号を発信する方式としてもよい。   The wireless tag 10 is a portable device that is given in advance to a user who is permitted to enter or leave the building, and is carried when the building that is the subject of monitoring enters or exits. The wireless tag 10 performs wireless communication using radio waves with the reader 20, and transmits a wireless signal including unique identification information (hereinafter referred to as tag ID) for each wireless tag 10 stored in advance. For the wireless communication system, RF-ID (Radio Frequency IDentification) technology is used. The wireless tag can use various frequency bands depending on the application, and there are various driving methods such as an active type and a passive type. Although the usage frequency and the driving method are not limited, in the present embodiment, in order to be used for monitoring in a building site, the UHF band suitable for relatively long-distance communication such as several meters to several tens of meters or 2. A response signal including a tag ID is output with respect to an interrogation signal from the reader 20 by using a frequency of 4 GHz band and using its own battery as a drive source. Note that a vibration detection sensor may be provided in the wireless tag 10 so that a wireless signal is transmitted only during vibration detection, that is, during movement.

リーダ20は、所定の検知範囲に存在する無線タグ10を検知する。検知範囲は、無線タグ10およびリーダ20が送出する電波の信号強度に依存する。リーダ20は、検知範囲に送出した質問信号に対して無線タグ10が発した応答信号を受信し、応答信号に含まれる該無線タグ10を識別するタグIDを抽出する。リーダ20の検知範囲は、監視エリアに居る人物が所持している無線タグ10を検知可能なように、監視エリアを包含させる必要がある。質問信号の到達範囲は空間内に存在する物体の性質など環境によって変化するため、検知範囲は予め監視エリアより広い範囲に設定される。   The reader 20 detects the wireless tag 10 existing in a predetermined detection range. The detection range depends on the signal strength of the radio wave transmitted by the wireless tag 10 and the reader 20. The reader 20 receives a response signal issued by the wireless tag 10 in response to the inquiry signal transmitted to the detection range, and extracts a tag ID that identifies the wireless tag 10 included in the response signal. The detection range of the reader 20 needs to include the monitoring area so that the wireless tag 10 possessed by the person in the monitoring area can be detected. Since the reach range of the question signal changes depending on the environment such as the nature of the object existing in the space, the detection range is set in advance to be wider than the monitoring area.

リーダ20は、一定角度(例えば10°)の指向性を持つアンテナを備え、一定時間間隔で電子的にアンテナの指向角を切り替えながら質問信号の送出および応答信号の受信を行う。リーダ20は、所定の周期(例えば200msec)で監視エリア全域に対して無線タグ10の読み取りを実行し、指向角ごとに応答信号の受信強度を取得しタグ検知データとして監視装置40へ出力する。タグ検知データは検知したタグIDごとに作成される。また、指向角を規定する角度は、例えばリーダ20の視軸を中心に水平方向の一方を正の角度、他方を負の角度とする。
なお、無線タグ10の方位を得るための構成として、指向性を持つアンテナを回転させて指向角を切り替える構成、指向性を持つ複数のアンテナを搭載し、各アンテナの重み付けを制御して指向角を切り替える構成、など公知の方法を代替することができる。
The reader 20 includes an antenna having directivity of a constant angle (for example, 10 °), and transmits a question signal and receives a response signal while electronically switching the directivity angle of the antenna at fixed time intervals. The reader 20 reads the wireless tag 10 over the entire monitoring area at a predetermined cycle (for example, 200 msec), acquires the reception intensity of the response signal for each directivity angle, and outputs it to the monitoring device 40 as tag detection data. Tag detection data is created for each detected tag ID. The angle defining the directivity angle is, for example, one of the horizontal directions around the visual axis of the reader 20 as a positive angle and the other as a negative angle.
As a configuration for obtaining the orientation of the wireless tag 10, a configuration in which a directional antenna is rotated to switch a directional angle, a plurality of directional antennas are mounted, and the weight of each antenna is controlled to control the directional angle. It is possible to substitute a known method such as a configuration for switching between.

測距センサ30は、レーザ光により監視エリアを走査して、レーザ光を反射した物体の位置を検出する。測距センサ30は、例えば波長890nm程度の近赤外線を、等速に回転駆動される走査鏡を用いて反射させながら監視エリアの全域に対して順次投光する。また物体が反射した反射光を受光し、レーザ光の照射結果として測距データを生成する。走査は、監視エリアの範囲(例えば180゜)に対して、所定の周期(例えば200msec)で行われる。測距センサ30は、所定の走査角(例えば0.25゜)ごとにレーザ光の照射から反射光の受光までに要する時間差から被反射物体までの距離を測定し(所謂Time of Flight法)、各走査角ごとの測定距離を1周期分の測距データとして監視装置40へ出力する。測距データは角度と距離とによって表され、測距センサ30を視点とした被反射物体の位置を示す。角度は例えば測距センサ30の視軸を中心に水平方向の一方を正の角度、他方を負の角度とする。   The distance measuring sensor 30 scans the monitoring area with the laser beam and detects the position of the object reflecting the laser beam. The distance measuring sensor 30 sequentially projects, for example, near infrared rays having a wavelength of about 890 nm to the entire monitoring area while reflecting the light using a scanning mirror that is driven to rotate at a constant speed. Further, the reflected light reflected by the object is received, and distance measurement data is generated as a result of the laser light irradiation. The scanning is performed at a predetermined cycle (for example, 200 msec) with respect to the range of the monitoring area (for example, 180 °). The distance measuring sensor 30 measures the distance to the object to be reflected from the time difference required from the irradiation of the laser light to the reception of the reflected light at every predetermined scanning angle (for example, 0.25 °) (so-called Time of Flight method). The measurement distance for each scanning angle is output to the monitoring device 40 as distance measurement data for one cycle. The distance measurement data is represented by an angle and a distance, and indicates the position of the reflected object with the distance measurement sensor 30 as a viewpoint. For example, one of the horizontal directions around the visual axis of the distance measuring sensor 30 is a positive angle and the other is a negative angle.

ここで、後述する監視装置40での対応付け処理のため、測距データが示す「位置」とタグ検知データが示す「方位」との関係を予め定義しておく必要がある。本実施形態では、それぞれの視軸が一致するようリーダ20と測距センサ30を近傍に設置し、測距センサ30の走査角とリーダ20の指向角、すなわち測距データにおける角度とタグ検知データの角度が共通の座標系で表現されるよう予め調整される。好ましくはリーダ20と測距センサ30とを同一の筐体内に配置する。   Here, it is necessary to define in advance the relationship between the “position” indicated by the distance measurement data and the “azimuth” indicated by the tag detection data for the association processing in the monitoring device 40 described later. In the present embodiment, the reader 20 and the distance measuring sensor 30 are installed in the vicinity so that the respective visual axes coincide, and the scanning angle of the distance measuring sensor 30 and the directivity angle of the reader 20, that is, the angle in the distance measurement data and the tag detection data. Are preliminarily adjusted so that the angles are expressed in a common coordinate system. Preferably, the reader 20 and the distance measuring sensor 30 are arranged in the same casing.

なお、本実施形態の不審者監視システムでは一組のリーダ20および測距センサ30で構成しているが、監視対象の領域の形状に応じて複数組のリーダと測距センサを用いて構成する。例えば、建物の周囲4面を監視する場合には、少なくとも2組のリーダ及び測距センサを敷地内の対角に設ける。建物の壁面に設置する場合には、各面に対して計4組のリーダ及び測距センサを設置する。   The suspicious person monitoring system according to the present embodiment includes a pair of readers 20 and distance measuring sensors 30. However, the suspicious person monitoring system includes a plurality of readers and distance measuring sensors according to the shape of the region to be monitored. . For example, when monitoring the four surroundings of a building, at least two sets of readers and distance measuring sensors are provided on the diagonal of the site. When installed on the wall of a building, a total of four readers and ranging sensors are installed on each surface.

監視装置40は、リーダ20及び測距センサ30と無線または有線で接続され、リーダ20から送出されたタグ検知データ、測距センサ30から送出された測距データを入力して監視処理を実行し、異常検出時には遠隔の警備センタ60へ異常通報を行う。
監視装置40は、主に、記憶部42、通報部44、報知部46、監視処理部48を含んで構成される。
The monitoring device 40 is connected to the reader 20 and the distance measurement sensor 30 wirelessly or by wire, and executes the monitoring process by inputting the tag detection data transmitted from the reader 20 and the distance measurement data transmitted from the distance sensor 30. When an abnormality is detected, the remote security center 60 is notified of the abnormality.
The monitoring device 40 mainly includes a storage unit 42, a notification unit 44, a notification unit 46, and a monitoring processing unit 48.

記憶部42は、ROMやRAM等で構成され、監視処理部48による各種処理に必要なデータやプログラムのほか、予め利用者に付与した無線タグのタグID、人物検出用に用いる基準測距データを記憶する。基準測距データは、移動体が存在しない状態で測距センサ30が監視エリアを走査して得た測距データである。また記憶部42は、検出された人物に関する追跡データを書き換え可能に記憶する領域を有し、追跡データは監視処理部48によって随時作成、更新、削除される。   The storage unit 42 includes a ROM, a RAM, and the like. In addition to data and programs necessary for various types of processing by the monitoring processing unit 48, a tag ID of a wireless tag previously assigned to a user, reference distance measurement data used for person detection Remember. The reference distance measurement data is distance measurement data obtained by the distance measurement sensor 30 scanning the monitoring area in the absence of a moving body. The storage unit 42 has an area in which the tracking data regarding the detected person is stored in a rewritable manner, and the tracking data is created, updated, and deleted by the monitoring processing unit 48 as needed.

通報部44は、通信回線50を介して警備センタ60へ異常信号を送信するための通信インターフェースである。
報知部46は、ブザーやスピーカ、警告ランプ等で構成され、異常が発生した旨を周囲に報知したり不審者を威嚇するための手段である。なお、報知部46はリーダ20及び測距センサ30に設けてもよい。
The reporting unit 44 is a communication interface for transmitting an abnormality signal to the security center 60 via the communication line 50.
The notification unit 46 includes a buzzer, a speaker, a warning lamp, and the like, and is a means for notifying the surroundings that an abnormality has occurred and threatening a suspicious person. Note that the notification unit 46 may be provided in the reader 20 and the distance measuring sensor 30.

監視処理部48は、測距センサ30から測距データを、リーダ20からタグ検知データを入力し、監視エリアにおける人物の検出処理、無線タグの検出処理、検出した人物と無線タグとの対応付け処理、人物の追跡処理、並びに異常判定処理を実行する。また監視装置40の各部を制御する。さらに、リーダ20及び測距センサ30を制御し、測距センサ30の走査周期とリーダ20の検知周期を一致させるべく同期制御する。   The monitoring processing unit 48 receives distance measurement data from the distance sensor 30 and tag detection data from the reader 20, detects a person in the monitoring area, detects a wireless tag, and associates the detected person with the wireless tag. Processing, person tracking processing, and abnormality determination processing are executed. Moreover, each part of the monitoring apparatus 40 is controlled. Further, the reader 20 and the distance measuring sensor 30 are controlled, and synchronous control is performed so that the scanning cycle of the distance measuring sensor 30 coincides with the detection cycle of the reader 20.

図2は、監視処理部の対応付け処理および異常判定処理の流れの概略を示す図である。
監視処理部48は、測距センサ30から得た測距データを入力し(S200)、記憶部42の基準測距データと比較して差分抽出を行う。同体を示している程度に距離が同等であり、基準測距データとの距離変化が所定以上生じている走査角のまとまり(距離変化群)を抽出し、その位置に新たな物体が出現したと認識する。出現物体の大きさは距離変化群の角度範囲と距離値とによって推定され、出現物体の大きさが人を示す程度である場合に人物の存在を認識する。続いて監視処理部48は人物が存在する位置を検出する(S210)。具体的には、人物を示す距離変化群の角度範囲の中心角を人物がいる方位(人物方位)、その角度範囲に対応する距離の平均を人物までの距離とし、人検知データを生成する。測距データ中に複数の距離変化群が抽出された場合は、それぞれについて人物判定および位置の検出を行う。
FIG. 2 is a diagram showing an outline of the flow of the association processing and abnormality determination processing of the monitoring processing unit.
The monitoring processing unit 48 inputs the distance measurement data obtained from the distance measurement sensor 30 (S200), and performs difference extraction by comparing with the reference distance measurement data in the storage unit 42. The distance is the same as if it shows the same body, and a group of scanning angles (distance change group) in which the distance change from the reference distance measurement data is more than a predetermined value is extracted, and a new object appears at that position. recognize. The size of the appearing object is estimated from the angle range and the distance value of the distance change group, and the presence of a person is recognized when the size of the appearing object is about a person. Subsequently, the monitoring processing unit 48 detects a position where a person exists (S210). Specifically, the human detection data is generated with the central angle of the distance range indicating the person as the azimuth (person azimuth) of the person and the average of the distances corresponding to the angle range as the distance to the person. When a plurality of distance change groups are extracted from the distance measurement data, person determination and position detection are performed for each group.

処理S200〜210に並行し、監視処理部48はリーダ20から得たタグ検知データを入力し(S220)、予め登録されたタグIDが含まれているか判定する。登録された無線タグ10を検知している場合は、それぞれのタグIDのタグ検知データについて指向角ごとの受信強度を示す方位分布を解析し、最も受信強度が大きいピーク指向角を該無線タグが存在する方位(タグ方位)として検出する(S230)。指向角には一定の角度範囲があるため、ピーク指向角の中心角度を代表してタグ方位に用いる。   In parallel with the processes S200 to S210, the monitoring processor 48 inputs the tag detection data obtained from the reader 20 (S220), and determines whether a pre-registered tag ID is included. When the registered wireless tag 10 is detected, the orientation distribution indicating the reception intensity for each directivity angle is analyzed for the tag detection data of each tag ID, and the wireless tag has the peak directivity angle with the largest reception intensity. It is detected as an existing orientation (tag orientation) (S230). Since the directivity angle has a certain angle range, the central angle of the peak directivity angle is used for the tag orientation.

次に監視処理部48は、人検知データから得た人物の位置とタグ検知データから得た無線タグ10の方位とを比較し、人物の位置を示す情報に含まれる人物方位と無線タグのタグ方位との一致度が所定の基準を満たしていれば、その人物と無線タグの組を対応付けする(S240)。これにより、検出した人物が当該無線タグを所持していると認識される。人物方位とタグ方位との一致度が所定の基準を満たさない場合は、その時点では当該人物が無線タグを所持しているとは認識されない。但し、対応付け判定に用いる所定の基準は常に一定ではなく、前回の判定で既に対応付けされている人物と無線タグについては、対応付けされていない人物と無線タグとの判定に用いる一致基準よりも緩い基準を用いて対応付けの判定を行う。   Next, the monitoring processing unit 48 compares the position of the person obtained from the person detection data with the direction of the wireless tag 10 obtained from the tag detection data, and the person direction included in the information indicating the position of the person and the tag of the wireless tag If the degree of coincidence with the azimuth satisfies a predetermined standard, the person is associated with a set of wireless tags (S240). Thereby, it is recognized that the detected person possesses the wireless tag. If the degree of coincidence between the person orientation and the tag orientation does not satisfy a predetermined standard, it is not recognized that the person has the wireless tag at that time. However, the predetermined reference used for the association determination is not always constant, and for the person and the wireless tag that are already associated in the previous determination, the matching criterion used for the determination of the person and the wireless tag that are not associated with each other Also, the association is determined using a loose standard.

図3は、対応付け処理の実例を説明するための模式図である。図3の例は、無線タグTを持つ人物Pが地点aから地点b、地点cへと移動したときの様子を表している。監視エリア内の地点aに無線タグTを所持した人物Pが出現した場合、このとき入力された測距データおよびタグ検知データから人物Pの人物方位と無線タグTのタグ方位とを比較し、角度のずれ量θaを求める。ずれ量θaが第一の基準値(例えば10゜)以内であれば、人物Pと無線タグTとを対応付けする(リンク確立)。仮に、地点aで無線タグが検知されなかった場合、あるいは人物方位とタグ方位とのずれ量θaが閾値を超えている場合には、人物Pに無線タグは対応付けされない。   FIG. 3 is a schematic diagram for explaining an example of the association processing. The example of FIG. 3 represents a situation when the person P having the wireless tag T moves from point a to point b and point c. When a person P carrying the wireless tag T appears at a point a in the monitoring area, the person orientation of the person P is compared with the tag orientation of the wireless tag T from the distance measurement data and tag detection data input at this time, An angle deviation amount θa is obtained. If the deviation amount θa is within a first reference value (for example, 10 °), the person P and the wireless tag T are associated (link establishment). If the wireless tag is not detected at the point a, or if the shift amount θa between the person orientation and the tag orientation exceeds the threshold, the wireless tag is not associated with the person P.

次に地点bでは、無線タグTの方位の検出精度が低下し、人物Pの方位とのずれ量θbがずれ量θaに比べて大きくなっている。例えばずれ量θbが12°だった場合、本来であれば第一の基準値である10°を超えているため、人物Pと無線タグTとの対応付けは成立しない。しかし、人物Pと無線タグTとは既に地点aにおいて対応付けが成立しているため、第一の基準値より低い第二の基準値(例えば15°)と比較される。ここではずれ量θbが第二の基準値以内であるため、人物Pと無線タグTとの対応付けは成立し、対応付けが維持される(リンク維持)。同様に地点cにおいても人物Pと無線タグTとのずれ量θcは第二の基準値と比較される。一方、他の人物Qや別の無線タグGが同時に検知されている場合、人物Qと無線タグGや無線タグTとの対応付けは、第一の基準値により判定される。また、人物Pと無線タグGとの対応付けも第一の基準値により判定される。   Next, at the point b, the detection accuracy of the direction of the RFID tag T is lowered, and the amount of deviation θb from the direction of the person P is larger than the amount of deviation θa. For example, when the deviation amount θb is 12 °, since the original reference value exceeds 10 ° which is the first reference value, the association between the person P and the wireless tag T is not established. However, since the association between the person P and the wireless tag T is already established at the point a, the person P and the wireless tag T are compared with a second reference value (for example, 15 °) lower than the first reference value. Here, since the deviation amount θb is within the second reference value, the association between the person P and the wireless tag T is established, and the association is maintained (link maintenance). Similarly, at the point c, the deviation amount θc between the person P and the wireless tag T is compared with the second reference value. On the other hand, when another person Q or another wireless tag G is detected at the same time, the association between the person Q and the wireless tag G or wireless tag T is determined by the first reference value. Further, the association between the person P and the wireless tag G is also determined by the first reference value.

図2に戻り、監視処理部48は、監視エリアに初めて出現した人物について人物IDを付与し、検出された人物の位置変化を追跡データとして人物IDごとに記憶部42へ記録蓄積していく(S250)。追跡データは、人物ID、人物の検出位置(角度、距離)、対応付けの有無、対応付けした無線タグのタグIDおよび検知方位(角度)、タイムスタンプ情報(検出時刻)が紐付けられたデータである。   Returning to FIG. 2, the monitoring processing unit 48 assigns a person ID to a person who first appears in the monitoring area, and records and accumulates the detected position change of the person in the storage unit 42 for each person ID as tracking data ( S250). The tracking data is data in which a person ID, a person detection position (angle, distance), presence / absence of association, tag ID and detection direction (angle) of the associated wireless tag, and time stamp information (detection time) are associated with each other. It is.

再び図3の例で説明すると、まず、監視エリア内の地点aに出現した人物Pに関する追跡データとして、付与した人物IDと検出位置、対応付けられた無線タグTのタグIDと検知方位、検出時刻を記憶部42に記録する。人物Pが地点bへ移動すると、人物Pの人物IDに関する追跡データに、地点bでの検出位置、無線タグTのタグIDおよび検知方位、検出時刻を、追記する。地点cへ移動したときも同様である。なお、検出した人物が同一人物であることは、前回検出した人物との大きさの類似度や、位置関係(例えば人物の移動距離と経過時間とから導かれる移動速度の妥当性など)を判定することにより行う。   Referring back to the example of FIG. 3, first, as tracking data related to the person P appearing at the point a in the monitoring area, the assigned person ID and detection position, the tag ID and detection orientation of the associated wireless tag T, detection The time is recorded in the storage unit 42. When the person P moves to the point b, the detection position at the point b, the tag ID and detection direction of the wireless tag T, and the detection time are added to the tracking data related to the person ID of the person P. The same applies when moving to point c. Whether the detected person is the same person is determined by the similarity in size with the person detected last time and the positional relationship (for example, the validity of the moving speed derived from the moving distance and elapsed time of the person). To do.

監視処理部48は、順次入力される測距データおよびタグ検知データを解析して追跡データを更新しながら、追跡データ中の各人物IDに関する検出位置や初回検出からの追跡経過時間に基づいて、所定のイベント発生を検出する(S260)。イベント検出の条件は、例えば、監視エリア内に同一人物が居続けていること(滞留)、監視エリアから建物の内部へ移動したこと(入館)、監視エリアから敷地外へ出たこと(退場)などである。滞留イベントは、監視エリア内に同一人物が一定時間以上検出され続けたことをもって検出する。入館イベントは、追跡中の人物が検出されなくなり、当該人物の消失直前の検出位置が建物との境界付近である場合に検出する。退館イベントは、追跡中の人物が検出されなくなり、当該人物の消失直前の検出位置が敷地外との境界付近である場合に検出する。   The monitoring processing unit 48 analyzes the distance measurement data and the tag detection data sequentially input to update the tracking data, and based on the detection position and the tracking elapsed time from the first detection in the tracking data, A predetermined event occurrence is detected (S260). Event detection conditions include, for example, the same person staying in the monitoring area (staying), moving from the monitoring area to the inside of the building (entrance), leaving the monitoring area (exit), etc. It is. The stay event is detected when the same person is detected in the monitoring area for a predetermined time or longer. The entrance event is detected when the person being tracked is not detected and the detection position immediately before the disappearance of the person is near the boundary with the building. The exit event is detected when the person being tracked is no longer detected and the detection position immediately before the disappearance of the person is near the boundary with the outside of the site.

本実施形態では、上記イベントのうち滞留イベントおよび入館イベントの発生を、不審者判定を必要とする特定行動として認識する。監視処理部48は、人物の特定行動を検出すると、イベント発生が不審者の行動に起因するものか正規利用者に起因するものか判別して異常判定を行う(S270)。具体的には、イベント発生時あるいは直前に更新されたその人物に関する追跡データを参照し、無線タグ10の対応付け状態を確認する。無線タグ10が対応付けられていれば、すなわち人物IDに対してタグIDが記録されていれば、正規の利用者による行動と認識して許容する。無線タグ10が対応付けられていなければ不審者による行動と認識して異常確定し、通報部44による警備センタ60への異常通報、報知部46による異常報知や威嚇といった警報処理を行う。また、入館イベントまたは退場イベントが発生したときは、監視処理部48はその人物の追跡を終了し、一定時間(例えば10sec)後に当該人物に関する追跡データを消去する。なお、入館イベントが不審者による侵入異常であった場合は、別途異常リセット信号が入力されるまでは追跡終了後も追跡データを保持する。   In the present embodiment, occurrence of a stay event and an entrance event among the above events is recognized as a specific action that requires suspicious person determination. When detecting the specific behavior of the person, the monitoring processing unit 48 determines whether the event occurrence is caused by the behavior of the suspicious person or the authorized user and makes an abnormality determination (S270). Specifically, the association state of the wireless tag 10 is confirmed by referring to the tracking data regarding the person updated at the time of occurrence of the event or immediately before. If the wireless tag 10 is associated, that is, if the tag ID is recorded with respect to the person ID, it is recognized and permitted as an action by an authorized user. If the wireless tag 10 is not associated, it is recognized as an action by a suspicious person, an abnormality is determined, and an alarm process such as an abnormality report to the security center 60 by the report unit 44, an abnormality report or threat by the report unit 46 is performed. In addition, when an entrance event or an exit event occurs, the monitoring processing unit 48 ends the tracking of the person, and erases the tracking data related to the person after a certain time (for example, 10 seconds). When the entrance event is an intrusion abnormality by a suspicious person, the tracking data is retained even after the tracking is completed until a separate abnormality reset signal is input.

次に、人物と無線タグとの対応付け処理の動作について詳述する。
図4及び図5は、監視処理部における対応付け処理を示すフローチャートである。監視処理部48は、測距センサ30から測距データが入力される都度、対応付け処理を実行する。
Next, the operation of associating a person with a wireless tag will be described in detail.
4 and 5 are flowcharts showing the association processing in the monitoring processing unit. The monitoring processing unit 48 executes association processing every time distance measurement data is input from the distance sensor 30.

監視処理部48は、測距データを解析して人物の検出処理を行い、人物が検出されたか否か判定する(S400)。複数の人物が検出された場合は、人物ごとに以降の処理を実施する。人物が一人も検出されない場合は、対応付け処理を終了する。このとき、追跡中の人物が一定時間継続して検出されなくなっている場合は、当該人物の追跡を終了する。
人物が検出された場合は、人物ごとに存在位置を検出し(S402)、追跡データを参照して追跡中の人物であるか否か判定する(S404)。処理対象の人物が追跡中の人物ではない場合は、処理対象の人物に対して新たに人物IDを付与し(S406)、次の処理S410に進む。追跡中の人物の場合は、既に何れかの無線タグとリンク確立している状態であるか否かを判定し(S408)、リンク確立状態でなければ処理S410に進む。
The monitoring processing unit 48 analyzes the distance measurement data, performs a person detection process, and determines whether a person has been detected (S400). When a plurality of persons are detected, the subsequent processing is performed for each person. If no person is detected, the association process is terminated. At this time, if the person being tracked is not detected for a certain period of time, the tracking of the person is terminated.
If a person is detected, the presence position is detected for each person (S402), and it is determined by referring to the tracking data whether the person is being tracked (S404). If the person to be processed is not the person being tracked, a new person ID is assigned to the person to be processed (S406), and the process proceeds to the next process S410. In the case of the person being tracked, it is determined whether or not the link has already been established with any of the wireless tags (S408). If the link has not been established, the process proceeds to S410.

処理S410において監視処理部48は、タグ検知データの入力に基づき登録されている無線タグが検知されたか否か判定する。無線タグが検知されている場合は、検知された無線タグのうち、他の追跡中の人物とリンク確立されていない無線タグが存在するか判定する(S412)。リンク確立済みでない無線タグがある場合は、それらの無線タグに関するタグ方位を検出する(S414)。続いて、処理対象の人物の人物方位とタグ方位を比較して方位のずれ量を算出し(S416)、最も方位ずれ量が小さい無線タグとの方位ずれ量が第一の基準値Th1以内であるか判定する(S418)。方位ずれ量が基準値Th1以内であれば、処理対象の人物の人物IDに当該無線タグのタグIDを対応付けてリンク確立するとともに(S420)、当該人物IDに関する追跡データを作成して記録する(S422)。そして、検出された人物のうち未処理の人物がいるか否か判定し(S424)、未処理の人物がいれば処理S402へ戻り、全ての人物を処理済みであれば入力された測距データに対する対応付け処理を終了する。なお、一定時間継続して検出されなくなった追跡中の人物がいる場合は、当該人物の追跡を終了する。   In process S410, the monitoring processor 48 determines whether or not a registered wireless tag is detected based on the input of the tag detection data. If a wireless tag has been detected, it is determined whether there is a wireless tag that has not been established with another person being tracked among the detected wireless tags (S412). If there are wireless tags that have not been established, the tag orientations for those wireless tags are detected (S414). Subsequently, the azimuth deviation amount is calculated by comparing the person azimuth of the person to be processed and the tag azimuth (S416), and the azimuth deviation amount with the wireless tag having the smallest azimuth deviation amount is within the first reference value Th1. It is determined whether it exists (S418). If the amount of heading deviation is within the reference value Th1, a link is established by associating the person ID of the person to be processed with the tag ID of the wireless tag (S420), and tracking data relating to the person ID is created and recorded. (S422). Then, it is determined whether or not there is an unprocessed person among the detected persons (S424). If there is an unprocessed person, the process returns to process S402. If all the persons have been processed, the input distance measurement data is processed. The association process ends. If there is a person being tracked that has not been detected for a certain period of time, the tracking of the person is terminated.

一方、無線タグが検知されなかった場合(S410のNo)、検知された無線タグが全て他の人物とリンク確立済みであった場合(S412のYes)、処理対象の人物と無線タグとの方位ずれ量が基準値Th1を超えている場合(S418のNo)は、無線タグとの対応付けを行わずに当該人物IDに関する追跡データを作成して記録する(S422)。   On the other hand, when the wireless tag is not detected (No in S410), when all the detected wireless tags have already been linked with another person (Yes in S412), the orientation of the person to be processed and the wireless tag If the amount of deviation exceeds the reference value Th1 (No in S418), tracking data relating to the person ID is created and recorded without being associated with the wireless tag (S422).

処理S408に戻り、処理対象の人物が追跡中であり特定の無線タグとリンク確立済みの場合は(S408のYes)、リンク維持判定処理を行う(S426)。
図5は、リンク維持判定処理の動作を示すフローチャートである。監視処理部48は、タグ検知データの入力に基づき無線タグが検知されたか否か判定する(S500)。無線タグが検知されている場合は、処理対象の人物に関する追跡データを参照して対応付けされているリンク対象の無線タグのタグIDを抽出し、検知された無線タグの中にリンク対象の無線タグがあるか否か判定する(S502)。
Returning to the process S408, if the person to be processed is being tracked and a link has been established with a specific wireless tag (Yes in S408), a link maintenance determination process is performed (S426).
FIG. 5 is a flowchart showing the operation of the link maintenance determination process. The monitoring processor 48 determines whether a wireless tag has been detected based on the input of tag detection data (S500). When the wireless tag is detected, the tag ID of the link target wireless tag associated with reference to the tracking data regarding the person to be processed is extracted, and the link target wireless tag is extracted from the detected wireless tag. It is determined whether there is a tag (S502).

リンク対象の無線タグを検知している場合は、当該無線タグに関するタグ方位を検出するとともに(S504)、人物方位とタグ方位とを比較して方位ずれ量を算出する(S506)。そして、方位ずれ量が第一の基準値Th1より大きい第二の基準値Th2以内であれば対応付け状態を維持し(S512)、リンク維持判定処理を終了して図4の処理S422に進み、当該人物IDに関する追跡データを更新する。   If a link-target wireless tag is detected, the tag orientation related to the wireless tag is detected (S504), and the orientation deviation amount is calculated by comparing the person orientation with the tag orientation (S506). If the azimuth deviation amount is within the second reference value Th2 that is greater than the first reference value Th1, the association state is maintained (S512), the link maintenance determination process is terminated, and the process proceeds to process S422 in FIG. The tracking data regarding the person ID is updated.

また、リンク対象の無線タグが検知されない場合(S500のNoまたはS502のNo)、方位ずれ量が基準値Th2を超えている場合は(S508のNo)、リンク対象の無線タグとの対応付けが途切れている状態が一定時間(例えば1sec)継続したか否か判定する(S510)。一定時間経過していなければ、一時的にリンク対象の無線タグが検知できない状態や、検知方位の誤差が大きくなっている状態の可能性があるため、対応付け状態を維持する(S512)。しかし、一定時間継続している場合は、処理対象の人物は無線タグを所持していないと認識し、対応付けを解除する(S514)。そしてリンク維持判定処理を終了して図4の処理S422に進み、当該人物IDに関する追跡データを更新する。   In addition, when the link target wireless tag is not detected (No in S500 or No in S502), and when the amount of heading deviation exceeds the reference value Th2 (No in S508), the link target wireless tag is associated. It is determined whether the interrupted state has continued for a certain time (for example, 1 sec) (S510). If the fixed time has not elapsed, there is a possibility that the wireless tag to be linked cannot be detected temporarily, or there is a possibility that the error in the detection direction is large, so the association state is maintained (S512). However, if it continues for a certain time, it recognizes that the person to be processed does not have a wireless tag, and cancels the association (S514). Then, the link maintenance determination process is terminated, and the process proceeds to the process S422 in FIG. 4 to update the tracking data related to the person ID.

以上のように、本実施形態の不審者監視システムによれば、監視エリア内で検出した人物が存在する方位と無線タグが存在する方位との一致性に基づいて人物と無線タグとの対応付けを行うため、検出した人物が真に無線タグを所持していることを高精度に判定することができる。したがって、複数の人物および複数無線タグが検出された場合でも、各人物が無線タグを所持しているか否か、各人物がどの無線タグを所持しているかを正確に把握することができ、無線タグを所持していない人物を確実に特定可能である。また、一旦対応付けされた人物と無線タグに関しては、以後の追跡過程において対応付けの基準を緩くし、対応付けが解除され難くする。これにより、無線タグの検出方位の測定誤差が一時的に大きくなったとしても、人物との対応付けが不用意に解除されて当該人物が不審者と認識されることを防止できる。或いは、人物の検出位置の測定誤差が一時的に大きくなった場合にも同様の効果が得られる。   As described above, according to the suspicious person monitoring system of the present embodiment, the person is associated with the wireless tag based on the coincidence between the direction in which the person detected in the monitoring area exists and the direction in which the wireless tag exists. Therefore, it can be determined with high accuracy that the detected person truly possesses the wireless tag. Therefore, even when a plurality of persons and a plurality of wireless tags are detected, it is possible to accurately grasp whether each person has a wireless tag and which wireless tag each person has. A person who does not have a tag can be reliably identified. In addition, regarding the person and the wireless tag that are once associated, the association reference is relaxed in the subsequent tracking process, and the association is difficult to be released. Accordingly, even if the measurement error of the detection direction of the wireless tag temporarily increases, it is possible to prevent the person from being inadvertently released and being recognized as a suspicious person. Alternatively, the same effect can be obtained when the measurement error of the person detection position temporarily increases.

なお、上記実施形態における対応付け処理では、人物方位とタグ方位とが一致すれば人物と無線タグとを対応付けさせているが、この場合、測距センサ30から視て人物Xの死角に他の人物Yが居ると、人物Yが所持する無線タグを誤って人物Xに対応付けてしまい、不審者の滞留異常を検出できないおそれがある。
そこで、この問題を解決する上記実施形態の変形例を以下に説明する。
In the association processing in the above embodiment, the person and the wireless tag are associated with each other if the person orientation matches the tag orientation. In this case, the dead angle of the person X as viewed from the distance measuring sensor 30 is different. If the person Y is present, the wireless tag possessed by the person Y is erroneously associated with the person X, and there is a possibility that the suspicious person's staying abnormality cannot be detected.
A modification of the above embodiment that solves this problem will be described below.

(変形例)
変形例の不審者監視システムにおいても、全体構成および大部分の処理は上記実施形態と同一であるが、対応付け処理の一部が異なっている。変形例における対応付け処理では、人物と無線タグの検出方位が一致した状態を維持しながら人物が一定以上移動していることを条件に、人物と無線タグとを対応付けする。以下、具体的な処理を説明する。
(Modification)
Also in the suspicious person monitoring system of the modified example, the overall configuration and most of the processes are the same as those in the above embodiment, but a part of the association process is different. In the association process in the modified example, the person and the wireless tag are associated with each other on the condition that the person has moved a certain amount or more while maintaining the state where the detection orientation of the person and the wireless tag is matched. Specific processing will be described below.

変形例における対応付け処理は、上記実施形態で説明した図4のフローチャートのうち、処理S420を図6の処理S600〜606に置き換えたものである。
監視処理部48は、リンク確立していない人物と無線タグとの方位ずれ量が第一の基準値Th1閾値以内であった場合(図4のS418のYes)、処理対象の人物の人物IDと無線タグのタグIDとを仮に対応付けて仮リンク状態とし(S600)、続いて、追跡データを参照し当該人物の検出方位が一定角度(例えば20゜)以上変化しているか否か判定する(S602)。つまり、測距センサ30およびリーダ20から視て方位が変化する方向に人物が一定以上移動しているかを判定する。
The association process in the modification is obtained by replacing the process S420 with the processes S600 to 606 in FIG. 6 in the flowchart of FIG. 4 described in the above embodiment.
When the amount of azimuth deviation between the person who has not established the link and the wireless tag is within the first reference value Th1 threshold (Yes in S418 in FIG. 4), the monitoring processing unit 48 determines the person ID of the person to be processed. A temporary link state is established by temporarily associating the tag ID of the wireless tag (S600), and then it is determined whether or not the detected orientation of the person has changed by a certain angle (for example, 20 °) or more by referring to the tracking data (S20). S602). That is, it is determined whether or not the person is moving in a direction in which the azimuth changes as viewed from the distance measuring sensor 30 and the reader 20.

人物方位が一定角度以上変化している場合は、その間、仮リンク状態が継続していたか否かを判定する(S604)。無線タグを所持した人物の移動により人物方位が変化した場合は、無線タグは人物と共に移動する。このとき無線タグのタグ方位の変化は、人物方位の変化に追従して同一の軌跡を辿るはずである。そこで、処理S604では、人物の方位変化を伴う移動に対して無線タグの移動が追従しているか確認する。
仮リンク状態が継続していた場合には、当該人物と無線タグとの対応付けを行い、リンク確立状態とする(S606)。一方、人物方位がまだ一定角度以上変化していない場合(S602のNo)や、仮リンク状態が継続していなかった場合(S604のNo)は、この時点ではリンク確立させない。処理S600〜S606を終えると、図4の処理S422に進み、当該人物IDに関する追跡データを更新する。なお、仮リンク状態の解除条件は、処理S600による仮対応付けの処理が一定時間更新されないこととする。
If the person orientation has changed by a certain angle or more, it is determined whether or not the temporary link state has continued during that time (S604). When the person orientation changes due to the movement of the person carrying the wireless tag, the wireless tag moves together with the person. At this time, the change of the tag direction of the wireless tag should follow the same locus following the change of the person direction. Therefore, in process S604, it is confirmed whether the movement of the wireless tag follows the movement accompanied by the change in the direction of the person.
If the temporary link state continues, the person is associated with the wireless tag, and the link is established (S606). On the other hand, if the person orientation has not changed by more than a certain angle yet (No in S602) or if the temporary link state has not continued (No in S604), the link is not established at this point. When the processes S600 to S606 are finished, the process proceeds to process S422 in FIG. 4 to update the tracking data related to the person ID. The provisional link state release condition is that the provisional association process in step S600 is not updated for a certain period of time.

このように、変形例の対応付け処理では、リーダから視て方位が変わる方向へ人物が移動し、且つ、人物の移動に無線タグが追従して移動していることを以って初めて人物と無線タグとを対応付けする。したがって、例えば監視エリアの外側近傍に無線タグを持つ人物が居たり、監視エリア内に無線タグが放置されているような状況であっても、実際に無線タグを所持していない人物に対して無線タグを対応付けされてしまうことを防止できる。延いては、不審者の検出漏れを抑制した高度な不審者監視システムが実現可能となる。   Thus, in the association process of the modified example, the person is moved in the direction in which the azimuth changes as viewed from the reader, and the wireless tag is moved following the movement of the person. The wireless tag is associated. Therefore, for example, even if there is a person with a wireless tag near the outside of the monitoring area or a wireless tag is left in the monitoring area, the person who does not actually own the wireless tag It is possible to prevent the wireless tag from being associated. As a result, it becomes possible to realize an advanced suspicious person monitoring system that suppresses detection omission of suspicious persons.

以上、本発明にかかる移動体監視システムについて上述の実施形態および変形例を用いて説明してきたが、本発明の適用範囲はこれに限定されるものではない。
例えば、上記実施形態および変形例では、距離変化群をなす角度範囲の中心角を人物方位に用いたが、距離変化群をなす角度範囲そのものを人物方位としてもよい。この場合、検知した無線タグのタグ方位が人物の角度範囲に含まれるか、あるいは人物の角度範囲からのずれ量が基準値以内か否かに基づいて対応付けの判定を行う。
As mentioned above, although the mobile body monitoring system concerning this invention has been demonstrated using the above-mentioned embodiment and modification, the application range of this invention is not limited to this.
For example, in the above embodiment and the modification, the central angle of the angle range forming the distance change group is used as the person orientation, but the angle range itself forming the distance change group may be the person orientation. In this case, the association is determined based on whether the detected tag direction of the wireless tag is included in the angle range of the person or whether the amount of deviation from the angle range of the person is within the reference value.

また、上記実施形態および変形例では、無線タグを検知したときのリーダの指向角の中心をタグ方位に用いたが、指向角の角度範囲そのものをタグ方位としてもよい。この場合、人物方位を示す角度が無線タグを検知した指向角に含まれるか、あるいは指向角の角度範囲からのずれ量が基準値以内か否かに基づいて対応付けの判定を行う。
さらに、距離変化群をなす角度範囲そのものを人物方位とし、指向角の角度範囲そのものをタグ方位としてもよい。この場合は、人物方位とタグ方位とが一定以上重複するか否か、またはずれ量が基準値以内か否かに基づいて対応付けの判定を行う。
In the above-described embodiment and modification, the center of the directivity angle of the reader when the wireless tag is detected is used as the tag orientation, but the angle range of the directivity angle itself may be used as the tag orientation. In this case, the association is determined based on whether the angle indicating the human azimuth is included in the directivity angle at which the wireless tag is detected or whether the amount of deviation from the angular range of the directivity angle is within the reference value.
Furthermore, the angle range itself that forms the distance change group may be the person orientation, and the angle range of the directivity angle itself may be the tag orientation. In this case, the association is determined based on whether the person orientation and the tag orientation overlap by a certain amount or more, or whether the shift amount is within a reference value.

また、上記実施形態および変形例における対応付け処理では、人物と無線タグとの方位の一致性を判定しているが、人物と無線タグとの位置の一致性を用いて判定してもよい。この場合、無線タグの存在位置を特定する必要があるため、例えば、応答信号の受信強度や、質問信号の送出から応答信号の受信までの時間差を用いて無線タグまでの距離を算出し、タグ方位と距離とから無線タグの位置を算出する。あるいは、互いに検知範囲が重複する複数のリーダを用い、同一タグIDの無線タグからの応答信号を解析し、三角測量技術を利用して無線タグの位置を特定することも可能である。なお、位置の一致性により対応付け処理を行う場合であっても、少なくとも方位の一致性が対応付けの判定条件に含まれることは明らかである。   Further, in the association processing in the above embodiment and the modification, the matching of the orientation of the person and the wireless tag is determined, but the determination may be made using the matching of the position of the person and the wireless tag. In this case, since it is necessary to specify the location of the wireless tag, for example, the distance to the wireless tag is calculated using the reception strength of the response signal and the time difference from the transmission of the question signal to the reception of the response signal. The position of the wireless tag is calculated from the azimuth and distance. Alternatively, it is possible to use a plurality of readers whose detection ranges overlap each other, analyze response signals from wireless tags with the same tag ID, and specify the position of the wireless tag using triangulation technology. Even when the association processing is performed based on the position matching, it is obvious that at least the orientation matching is included in the matching determination condition.

また上記実施形態および変形例では、人物の位置や方位を検出する手段としてレーザ光による測距センサを用いて構成したが、例えば超音波やマイクロ波等を利用したセンサを用いることもできる。また、画像解析により人物を検出する画像センサを用い、画像上の人物の位置を実空間上の位置に変換して位置の一致性を判定する構成も採用可能である。この場合、画像上の水平方向座標により方位が特定され、垂直方向座標を逆透視変換して距離を推定することで、人物の位置を検出すればよい。
さらに、人物の位置変化を追跡して不審者判定のイベントを抽出する構成に代えて、人物の方位変化によりイベントを抽出して不審者判定を行ってもよい。この場合は、人物を検出するためのセンサは人物の方位のみ検出可能に構成すればよい。
In the above-described embodiment and modification, the distance measuring sensor using laser light is used as means for detecting the position and orientation of a person. However, for example, a sensor using ultrasonic waves, microwaves, or the like can be used. In addition, it is possible to employ a configuration in which an image sensor that detects a person by image analysis is used to convert the position of the person on the image into a position in the real space and determine the position matching. In this case, the position of the person may be detected by specifying the azimuth by the horizontal coordinate on the image, and estimating the distance by inverse perspective transformation of the vertical coordinate.
Further, instead of a configuration in which a change in the position of a person is tracked and an event for determining a suspicious person is extracted, an event may be extracted based on a change in the direction of the person and a suspicious person may be determined. In this case, the sensor for detecting the person may be configured to detect only the direction of the person.

また上記実施形態および変形例では、特定行動を検出したときの対応付けの有無によって不審者判定を行う構成としたが、対応付けにレベルを設定し、特定行動に応じて予め設定された対応付けレベルを満たしているか否かによって不審者判定を行ってもよい。対応付けレベルとは、例えば、リンク確立状態の継続性や、方位ずれ量の大きさ、無線タグの方位検出精度などによって設定される。リンク確立状態が長ければ、人物がその無線タグを所持している確度は高いと云えるため、対応付けレベルを高くする。同様に、方位ずれ量が小さいほど、或いは無線タグの方位検出精度が高いほど、対応付けレベルを高くする。そして、特定行動のうち滞留イベントについては比較的低い対応付けレベルであっても許容し、一方、入館イベントについては高い対応付けレベルであることを条件とするなど、必要とするセキュリティレベルに応じた運用が可能である。   Moreover, in the said embodiment and modification, although it was set as the structure which performs a suspicious person determination by the presence or absence of the correlation when a specific action is detected, the level set to a correlation and the correlation previously set according to the specific action The suspicious person may be determined depending on whether the level is satisfied. The association level is set according to, for example, the continuity of the link establishment state, the magnitude of the azimuth deviation amount, the direction detection accuracy of the wireless tag, and the like. If the link establishment state is long, it can be said that the probability that the person has the wireless tag is high, and therefore the association level is increased. Similarly, the smaller the azimuth deviation amount or the higher the direction detection accuracy of the wireless tag, the higher the association level. Depending on the security level that is required, for example, a staying event of a specific behavior may be allowed to have a relatively low association level, while an admission event must be a high association level. Operation is possible.

10 無線タグ、20 リーダ、30 測距センサ、40 監視装置、42 記憶部、44 通報部、46 報知部、48 監視処理部、50 通信回線、60 警備センタ

10 wireless tag, 20 reader, 30 ranging sensor, 40 monitoring device, 42 storage unit, 44 reporting unit, 46 reporting unit, 48 monitoring processing unit, 50 communication line, 60 security center

Claims (4)

移動体が携帯機を付帯しているか否か識別する移動体監視システムであって、
監視エリアにおける移動体の位置を検出する物体検出手段と、
前記携帯機が発した無線信号を受信する受信手段と、
前記受信した無線信号から前記携帯機の位置または方位を検出する方位検出手段と、
前記移動体の位置と前記携帯機の位置、または前記移動体の位置で特定される方位と前記携帯機の方位とを比較し、前記位置または前記方位の一致度が第一の基準を満たす場合に当該移動体と当該携帯機とを対応付けする対応処理手段と、
前記検出した移動体の位置を前記対応付けの結果とともに記録する追跡手段と、を有し、
前記対応処理手段は、前記携帯機と対応付けされている移動体については、当該携帯機との前記位置または前記方位の一致度が前記第一の基準より緩い第二の基準を満たす場合には当該対応付けを維持する、
ことを特徴とした移動体監視システム。
A moving body monitoring system for identifying whether a moving body is accompanied by a portable device,
Object detection means for detecting the position of the moving body in the monitoring area;
Receiving means for receiving a radio signal emitted by the portable device;
Azimuth detecting means for detecting the position or azimuth of the portable device from the received radio signal;
When the position of the mobile unit and the position of the portable device, or the direction specified by the position of the mobile unit and the direction of the portable device are compared, and the degree of coincidence of the position or the direction satisfies the first criterion Corresponding processing means for associating the mobile body with the portable device;
Tracking means for recording the position of the detected moving body together with the result of the association,
In the case where the correspondence processing means satisfies the second criterion that the degree of coincidence of the position or the direction with the portable device is looser than the first criterion for the mobile object associated with the portable device. Maintain the mapping,
A moving body monitoring system characterized by that.
前記対応処理手段は、前記携帯機と対応付けされていない移動体については、前記携帯機との前記位置または前記方位のずれ量が第一の基準値以内である場合に当該携帯機と対応付けし、前記携帯機と対応付けされている移動体については、当該携帯機との前記ずれ量が前記第一の基準値より大きい第二の基準値以内であれば当該携帯機との対応付けを維持する、請求項1に記載の移動体監視システム。   The correspondence processing means associates a mobile object that is not associated with the portable device with the portable device when an amount of deviation of the position or the direction from the portable device is within a first reference value. For a mobile object associated with the portable device, if the amount of deviation from the portable device is within a second reference value larger than the first reference value, association with the portable device is performed. The moving body monitoring system according to claim 1, which is maintained. 前記対応処理手段は、前記移動体の移動に伴う位置の変化に対して前記携帯機の位置または方位が追従して変化していることを条件に、当該移動体と当該携帯機とを対応付けする、請求項1または2に記載の移動体監視システム。   The correspondence processing means associates the mobile body with the mobile device on the condition that the position or orientation of the mobile device changes following a change in position caused by the movement of the mobile body. The mobile body monitoring system according to claim 1 or 2. さらに、前記移動体の位置の履歴に応じて前記移動体による特定行動を検出し、前記移動体による前記特定行動を検出したとき、当該移動体に前記携帯機が対応付けされていない場合に不審物体と判定する異常判定手段を有する、請求項1乃至3の何れかに記載の移動体監視システム。

Furthermore, when the specific action by the mobile body is detected according to the history of the position of the mobile body, and the specific action by the mobile body is detected, the mobile device is not associated with the mobile body. The moving body monitoring system according to claim 1, further comprising an abnormality determining unit that determines an object.

JP2011167006A 2011-07-29 2011-07-29 Mobile monitoring system Active JP5829855B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011167006A JP5829855B2 (en) 2011-07-29 2011-07-29 Mobile monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011167006A JP5829855B2 (en) 2011-07-29 2011-07-29 Mobile monitoring system

Publications (2)

Publication Number Publication Date
JP2013030079A true JP2013030079A (en) 2013-02-07
JP5829855B2 JP5829855B2 (en) 2015-12-09

Family

ID=47787048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011167006A Active JP5829855B2 (en) 2011-07-29 2011-07-29 Mobile monitoring system

Country Status (1)

Country Link
JP (1) JP5829855B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170284A (en) * 2013-03-01 2014-09-18 Secom Co Ltd Moving object monitoring system
JP2015184042A (en) * 2014-03-20 2015-10-22 Necプラットフォームズ株式会社 Communication robot, position detection method, and program
WO2019009046A1 (en) * 2017-07-07 2019-01-10 三菱重工サーマルシステムズ株式会社 Security device, indoor machine, air conditioning system, method for determining suspicious person, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127240A (en) * 2004-10-29 2006-05-18 Secom Co Ltd Suspicious person detection system and suspicious person detection program
JP2011128107A (en) * 2009-12-21 2011-06-30 Mitsubishi Electric Corp Device for controlling moving body

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127240A (en) * 2004-10-29 2006-05-18 Secom Co Ltd Suspicious person detection system and suspicious person detection program
JP2011128107A (en) * 2009-12-21 2011-06-30 Mitsubishi Electric Corp Device for controlling moving body

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014170284A (en) * 2013-03-01 2014-09-18 Secom Co Ltd Moving object monitoring system
JP2015184042A (en) * 2014-03-20 2015-10-22 Necプラットフォームズ株式会社 Communication robot, position detection method, and program
WO2019009046A1 (en) * 2017-07-07 2019-01-10 三菱重工サーマルシステムズ株式会社 Security device, indoor machine, air conditioning system, method for determining suspicious person, and program

Also Published As

Publication number Publication date
JP5829855B2 (en) 2015-12-09

Similar Documents

Publication Publication Date Title
EP2814012B1 (en) Cooperative intrusion detection
KR102468597B1 (en) Worker management system for field of construction work using KIOSK and beacon signal
JP6045806B2 (en) Intrusion monitoring device
JP5878348B2 (en) Radio direction detection device
KR102015959B1 (en) INTELLIGENT SECURITY SYSTEM BASED ON DEEP LEARNING USING IoT CAMERA AND METHOD FOR PROCESSING THEREOF
JP5889582B2 (en) Moving object monitoring system
KR101099421B1 (en) Unmanned watch operation system and method based ubiquitous sensor network
JP5829855B2 (en) Mobile monitoring system
RU2595532C1 (en) Radar system for protection of areas with small-frame video surveillance system and optimum number of security guards
JP5925468B2 (en) Moving object monitoring system
JP5964636B2 (en) Intrusion monitoring device
JP6093596B2 (en) Moving object monitoring system
JP5876253B2 (en) Suspicious object monitoring system
JP5848021B2 (en) Mobile object identification system and suspicious person monitoring system
JP5876258B2 (en) Moving object monitoring system
JP2013008298A (en) Security system
JP6093613B2 (en) Moving object monitoring system
JP5411744B2 (en) Security system
JP7176868B2 (en) monitoring device
KR20060003871A (en) Detection system, method for detecting objects and computer program therefor
JP5881361B2 (en) Security system
KR20160124543A (en) System and method for monitoring separated position of object by mobile device with antenna
JP5863306B2 (en) Security system
JP5832191B2 (en) Security system
JP5863293B2 (en) Security system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151023

R150 Certificate of patent or registration of utility model

Ref document number: 5829855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250