JP2009063323A - Human detection device, method and program - Google Patents

Human detection device, method and program Download PDF

Info

Publication number
JP2009063323A
JP2009063323A JP2007229338A JP2007229338A JP2009063323A JP 2009063323 A JP2009063323 A JP 2009063323A JP 2007229338 A JP2007229338 A JP 2007229338A JP 2007229338 A JP2007229338 A JP 2007229338A JP 2009063323 A JP2009063323 A JP 2009063323A
Authority
JP
Japan
Prior art keywords
drive mechanism
infrared sensor
person
objective lens
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007229338A
Other languages
Japanese (ja)
Other versions
JP5137505B2 (en
Inventor
Tsuneo Takagi
恒雄 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugoku Electric Power Co Inc
Original Assignee
Chugoku Electric Power Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugoku Electric Power Co Inc filed Critical Chugoku Electric Power Co Inc
Priority to JP2007229338A priority Critical patent/JP5137505B2/en
Publication of JP2009063323A publication Critical patent/JP2009063323A/en
Application granted granted Critical
Publication of JP5137505B2 publication Critical patent/JP5137505B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a human detection device, a method and a program, capable of detecting a human, even when a person is standing still. <P>SOLUTION: This human detection device for determining the presence of a person is equipped with an objective lens 10 for condensing infrared rays emitted from the person, an infrared sensor 20 for detecting the infrared rays condensed by the objective lens 10, and a driving mechanism 30 for repeatedly moving relatively the objective lens 10 and the infrared sensor 20. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、人の存否を判定する人検知装置、方法及びプログラムに関する。   The present invention relates to a human detection apparatus, method, and program for determining the presence or absence of a person.

老人福祉施設等において、サービス利用者(以下、「利用者」という)の在否状況を通じて生活行動パターンを把握することは、利用者の健康状態を管理するために重要である。例えば、利用者が部屋を出て散歩を楽しむ等活動的であれば健康状態もよく、また生活習慣病等のリスクが低いことが分かる。   In elderly welfare facilities and the like, it is important to grasp the living behavior pattern through the presence / absence of service users (hereinafter referred to as “users”) in order to manage the health status of users. For example, if the user is active such as taking a walk out of the room, the health condition is good and the risk of lifestyle-related diseases is low.

従来より、人体から発せられる赤外線を検知する焦電型赤外線センサを用いた人を検知する装置が開発されているが(例えば、特許文献1)、焦電型赤外線センサは赤外線の変化に応じて信号を出力する性質を有しているため、人が就寝、用便等で静止している場合のように、一定の赤外線を受け続けると、赤外線に応じた信号が出力されなくなり、人を検知することもできなくなる。
特許第3577212号公報 特開2007−101483号公報
Conventionally, a device for detecting a person using a pyroelectric infrared sensor that detects infrared rays emitted from a human body has been developed (for example, Patent Document 1), but the pyroelectric infrared sensor responds to changes in infrared rays. Because it has the property of outputting a signal, if the person continues to receive a certain infrared ray, such as when the person is sleeping or staying on a toilet, the signal corresponding to the infrared ray will not be output and the person will be detected You can't do that either.
Japanese Patent No. 3577212 JP 2007-101483 A

このような課題に対して、例えば特許文献2には、駆動機構によって赤外線センサを振動させ、赤外線センサに入射する赤外線を変化させることにより、人が静止している場合であっても人を検知することができる人検知装置が開示されている。   In response to such a problem, for example, in Patent Document 2, the infrared sensor is vibrated by a drive mechanism, and the infrared ray incident on the infrared sensor is changed to detect the person even when the person is stationary. A human detection device that can do this is disclosed.

一方、本発明は、上記の課題に対して、駆動機構によって対物レンズと赤外線センサを相対的に振動させ、赤外線センサに入射する赤外線を変化させることにより、人が静止している場合であっても人を検知することができる人検知装置、方法及びプログラムを提供することを目的とする。   On the other hand, the present invention is a case where a person is stationary by relatively vibrating the objective lens and the infrared sensor by the drive mechanism and changing the infrared ray incident on the infrared sensor. Another object of the present invention is to provide a human detection device, method and program capable of detecting a person.

第1の発明は、人の存否を判定する人検知装置であって、
人から発せられる赤外線を集束する対物レンズと、
前記対物レンズが集束した赤外線を検知する赤外線センサと、
前記対物レンズと前記赤外線センサを繰返し相対移動させる駆動機構と、
を備えることを特徴とする人検知装置である。
1st invention is a person detection device which judges existence of a person,
An objective lens that focuses infrared rays emitted from humans;
An infrared sensor for detecting infrared rays focused by the objective lens;
A drive mechanism for repeatedly moving the objective lens and the infrared sensor repeatedly;
It is a person detection apparatus characterized by providing.

第2の発明は、第1の発明に記載の人検知装置であって、
前記駆動機構の作動が停止している状態で前記赤外線センサにより赤外線が検知されると前記駆動機構を作動させ、所定の時間赤外線が検知されないと前記駆動機構の作動を停止させる駆動制御部を備えることを特徴とする人検知装置である。
A second invention is the human detection device according to the first invention,
A drive control unit is provided that operates the drive mechanism when infrared rays are detected by the infrared sensor in a state where the operation of the drive mechanism is stopped, and stops the operation of the drive mechanism when infrared rays are not detected for a predetermined time. This is a human detection device.

第3の発明は、第1又は2の発明に記載の人検知装置であって、
前記駆動制御部は、所定の時間間隔で前記駆動機構を作動させることを特徴とする人検知装置である。
3rd invention is the human detection apparatus as described in 1st or 2nd invention, Comprising:
The drive control unit is a human detection device that operates the drive mechanism at predetermined time intervals.

第4の発明は、第3の発明に記載の人検知装置であって、
前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、人の存否を判定する判定部を備えることを特徴とする人検知装置である。
A fourth invention is the human detection device according to the third invention, wherein
The human detection device includes a determination unit that determines the presence or absence of a person based on a detection result of the infrared sensor and an operating state of the drive mechanism.

第5の発明は、第4の発明に記載の人検知装置であって、
前記判定部は、前記判定部が人が存在すると判定した場合において、前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、前記存在する人の動静を判定することを特徴とする人検知装置である。
A fifth invention is the human detection device according to the fourth invention,
When the determination unit determines that there is a person, the determination unit determines the movement of the existing person based on the detection result of the infrared sensor and the operating state of the drive mechanism. It is a detection device.

第6の発明は、第1〜5の発明の何れかに記載の人検知装置であって、
前記駆動機構は、前記赤外線センサの指向方向と垂直となる所定の面において前記対物レンズを作動させることを特徴とする人検知装置である。
A sixth invention is the human detection device according to any one of the first to fifth inventions,
The drive mechanism is a human detection device that operates the objective lens on a predetermined plane that is perpendicular to a directivity direction of the infrared sensor.

第7の発明は、第1〜5の発明の何れかに記載の人検知装置であって、
前記駆動機構は、前記赤外線センサと前記対物レンズの距離を変化させるように前記対物レンズを作動させることを特徴とする人検知装置である。
A seventh invention is the human detection device according to any one of the first to fifth inventions,
The drive mechanism operates the objective lens so as to change the distance between the infrared sensor and the objective lens.

第8の発明は、第1〜7の発明の何れかに記載の人検知装置であって、
前記対物レンズがフルネルレンズであることを特徴とする人検知装置である。
An eighth invention is the human detection device according to any one of the first to seventh inventions,
In the human detection device, the objective lens may be a fullnel lens.

本発明によれば、人が静止している場合であっても人を検知することができる人検知装置、方法及びプログラムを提供することができる。   According to the present invention, it is possible to provide a human detection device, method and program capable of detecting a human even when the human is stationary.

図1は、本発明の一実施形態である人検知装置1を示す構成図である。同図に示すように、人検知装置1は、対物レンズ10、赤外線センサ20、駆動機構30、駆動制御部40、判定部50等を備える。   FIG. 1 is a configuration diagram showing a human detection device 1 according to an embodiment of the present invention. As shown in the figure, the human detection device 1 includes an objective lens 10, an infrared sensor 20, a drive mechanism 30, a drive control unit 40, a determination unit 50, and the like.

対物レンズ10は、検知対象範囲からの赤外線を赤外線センサ20の受光面へ集束するレンズである。対物レンズ10は、支持部材12、14によって図1における上下(又は左右)両側から支持され、支持部材12は支点16を中心に揺動可能に支持されている。   The objective lens 10 is a lens that focuses infrared rays from the detection target range onto the light receiving surface of the infrared sensor 20. The objective lens 10 is supported by support members 12 and 14 from both upper and lower (or left and right) sides in FIG. 1, and the support member 12 is supported to be swingable about a fulcrum 16.

赤外線センサ20は、対物レンズ10が集束した赤外線を検知するセンサであって、例えば焦電型赤外線センサである。赤外線センサ20は、受光した赤外線の変化に応じた信号を出力する特性を有するので、一定の赤外線が入射する状態が継続すると、その赤外線を検知できなくなる。これに対して、本実施形態では、後述するように対物レンズ10が駆動機構30によって加振され、赤外線センサ20に対する相対位置が繰り返し変化することにより、赤外線センサ20に入射する赤外線の大きさが変化する。これにより、検知対象範囲にある人が静止している場合であっても、赤外線センサ20に入射する赤外線の量が変化するので、その人から発せられる赤外線を検知することができる。   The infrared sensor 20 is a sensor that detects infrared rays focused by the objective lens 10, and is, for example, a pyroelectric infrared sensor. Since the infrared sensor 20 has a characteristic of outputting a signal corresponding to a change in the received infrared ray, the infrared ray cannot be detected if a state where a certain infrared ray is incident continues. On the other hand, in this embodiment, the objective lens 10 is vibrated by the drive mechanism 30 as will be described later, and the relative position with respect to the infrared sensor 20 is repeatedly changed. Change. Thereby, even when a person in the detection target range is stationary, the amount of infrared light incident on the infrared sensor 20 changes, so that the infrared light emitted from the person can be detected.

駆動機構30は、例えば電磁力によって対物レンズ10を駆動する機構である。具体的には、駆動機構30は電磁石32を備えており、この電磁石32のコイル31に通電することで発生する磁気吸引力により、支持部材14に接続された磁性部材33を電磁石32に引き付ける。これにより、支持部材14とそれに支持される対物レンズ10は支点16を軸として回動する。   The drive mechanism 30 is a mechanism that drives the objective lens 10 by electromagnetic force, for example. Specifically, the drive mechanism 30 includes an electromagnet 32, and the magnetic member 33 connected to the support member 14 is attracted to the electromagnet 32 by a magnetic attraction generated by energizing the coil 31 of the electromagnet 32. Thereby, the support member 14 and the objective lens 10 supported by the support member 14 rotate about the fulcrum 16 as an axis.

また、駆動機構30は、支持部材14に対して電磁石32による磁気吸引力とは反対向きの力を作用させるバネ等の弾性体34を備えており、コイル31への通電を停止することにより電磁石32による電磁吸引力が支持部材14に作用しなくなると、弾性体34の弾性力により支持部材14は、電磁石32による吸引方向とは逆向きに移動し、これに伴って、対物レンズ10は支点16の周りをコイル31への通電時とは逆向きに回動して元の位置に戻る。このように、コイル31への通電と通電停止とを繰返すことにより、支点16を支点として対物レンズ10を揺動させることができる。つまり、対物レンズ10を揺動させることにより、対物レンズ10を赤外線センサ20に対してその間隔が変化するように繰返し相対移動させることができる。   The drive mechanism 30 includes an elastic body 34 such as a spring that applies a force opposite to the magnetic attraction force by the electromagnet 32 to the support member 14, and stops the energization of the coil 31 to stop the electromagnet. When the electromagnetic attraction force by 32 no longer acts on the support member 14, the support member 14 is moved in the direction opposite to the attraction direction by the electromagnet 32 by the elastic force of the elastic body 34, and accordingly, the objective lens 10 is a fulcrum. 16 is rotated in the opposite direction to that when the coil 31 is energized to return to the original position. In this manner, by repeating energization and deactivation of the coil 31, the objective lens 10 can be swung with the fulcrum 16 as a fulcrum. That is, by swinging the objective lens 10, the objective lens 10 can be repeatedly relatively moved with respect to the infrared sensor 20 so that the interval thereof changes.

なお、磁性部材33を永久磁石によって構成し、駆動機構30は、磁性部材33と電磁石32との磁気反発力を利用して対物レンズ10を揺動させる構成としてもよい。   The magnetic member 33 may be formed of a permanent magnet, and the drive mechanism 30 may be configured to swing the objective lens 10 using the magnetic repulsive force between the magnetic member 33 and the electromagnet 32.

さらに、駆動機構30は、対物レンズ10の駆動範囲を調節するための調節手段35を備えている。調節手段35は、固定位置に設けられたナット37と、これに螺合するボルト36とにより構成されており、ボルト36の先端が支持部材14に当接することにより、支持部材14の駆動範囲を規制する。したがって、ナット37に螺合したボルト36を回転させてその位置を変化させることにより、対物レンズ10の駆動範囲を調節することができる。   Furthermore, the drive mechanism 30 includes an adjustment unit 35 for adjusting the drive range of the objective lens 10. The adjusting means 35 is configured by a nut 37 provided at a fixed position and a bolt 36 screwed to the nut 37, and the tip of the bolt 36 abuts on the support member 14, so that the driving range of the support member 14 is increased. regulate. Accordingly, the driving range of the objective lens 10 can be adjusted by rotating the bolt 36 screwed into the nut 37 to change its position.

駆動制御部40は、赤外線センサ20により赤外線が検知されると、所定の時間間隔で駆動機構30により対物レンズ10を繰り返し駆動させる(例えば、10秒間駆動し、50秒間停止を繰返す)。一方で、赤外線センサ20により所定の時間(例えば、過去1分間)赤外線が検知されなかった場合には、駆動機構30による対物レンズ10の駆動を停止させ、停止した状態を維持する。これは、過去1分間に赤外線を検知していない場合は、人が存在する可能性が小さいと考えられ、人が存在しなければ対物レンズ10を駆動する意味がないことから、対物レンズ10を無駄に駆動するのを抑制するためである。また、再び赤外線が検知されると、所定の時間間隔で駆動機構30により対物レンズ10を繰り返し駆動させる(例えば、10秒間駆動し、50秒間停止を繰返す)。   When the infrared ray is detected by the infrared sensor 20, the drive control unit 40 repeatedly drives the objective lens 10 by the drive mechanism 30 at a predetermined time interval (for example, drives for 10 seconds and repeats the stop for 50 seconds). On the other hand, when infrared rays are not detected by the infrared sensor 20 for a predetermined time (for example, the past one minute), the driving of the objective lens 10 by the drive mechanism 30 is stopped and the stopped state is maintained. This is because if there is no infrared ray detected in the past minute, it is considered that there is little possibility that a person exists, and if there is no person, there is no point in driving the objective lens 10. This is to prevent unnecessary driving. When infrared rays are detected again, the objective lens 10 is repeatedly driven by the drive mechanism 30 at a predetermined time interval (for example, driven for 10 seconds and repeatedly stopped for 50 seconds).

判定部50は、赤外線センサ20の検知結果と駆動機構30の作動状態に基づいて、人の存否及び人がいる場合の動静を判定する。すなわち、駆動機構30の作動状態に拘らず赤外線センサ20が所定強度以上の赤外線を検知しない場合は、人が存在しないと判定する。また、判定部50は、駆動機構30が作動していない状態で赤外線センサ20が所定強度以上の赤外線を検知した場合は、人が動いていると判定し、駆動機構30が作動している状態で赤外線センサ20が所定強度以上の赤外線を検知し、駆動機構30が作動していない状態で赤外線センサ20が所定強度以上の赤外線を検知しない場合は、人が動かず静止していると判定する。   Based on the detection result of the infrared sensor 20 and the operating state of the drive mechanism 30, the determination unit 50 determines the presence / absence of a person and whether the person is moving. That is, regardless of the operating state of the drive mechanism 30, if the infrared sensor 20 does not detect infrared light having a predetermined intensity or more, it is determined that there is no person. The determination unit 50 determines that a person is moving when the infrared sensor 20 detects an infrared ray having a predetermined intensity or more when the drive mechanism 30 is not operating, and the drive mechanism 30 is operating. In the case where the infrared sensor 20 detects an infrared ray having a predetermined intensity or higher and the infrared sensor 20 does not detect an infrared ray having a predetermined intensity or higher when the drive mechanism 30 is not operated, it is determined that the person is stationary without moving. .

以上の判定部50の判定は、ある所定時間毎(例えば1分毎)に行ってもよい。すなわち、例えば1分間のうち対物レンズ10を駆動させている10秒間の赤外線センサ20の検知結果と、対物レンズ10を駆動させていない50秒間の赤外線センサ20の検知結果に基づいて、当該1分間における人の存否及び動静を判定してもよい。   The above determination by the determination unit 50 may be performed every certain time (for example, every minute). That is, for example, based on the detection result of the infrared sensor 20 for 10 seconds during which the objective lens 10 is driven in one minute and the detection result of the infrared sensor 20 for 50 seconds when the objective lens 10 is not driven, The presence / absence and movement of a person may be determined.

なお、駆動制御部40及び判定部50は、例えば、コンピュータが備えるCPUが記憶手段に記憶されたプログラムを読み出して実行することにより実現される。   In addition, the drive control part 40 and the determination part 50 are implement | achieved when CPU with which a computer is provided reads and runs the program memorize | stored in the memory | storage means, for example.

図2は、駆動制御部40の制御処理と判定部50の判定処理を示すフロー図である。駆動制御部40の制御処理と判定部50の判定処理は、例えば同図に示すように行う。なお、図2の処理フローは、所定時間間隔(本例では1分おきとする)で起動されるものとし、その起動時には、駆動制御部40による対物レンズ10の駆動は停止しているものとする。   FIG. 2 is a flowchart showing the control process of the drive control unit 40 and the determination process of the determination unit 50. The control process of the drive control unit 40 and the determination process of the determination unit 50 are performed as shown in FIG. 2 is activated at predetermined time intervals (in this example, every other minute), and at the time of activation, driving of the objective lens 10 by the drive control unit 40 is stopped. To do.

まず、過去1分間に赤外線センサ20が所定強度以上の赤外線を検知していた場合(S202:YES)、駆動制御部40は、対物レンズ10を10秒間駆動させ(S204)、次に50秒間、駆動制御部40は対物レンズ10の駆動を停止する(S206)。S204での駆動中に赤外線センサ20が所定の強度以上の赤外線を検知した場合(S208:YES)であって、S206での駆動停止中に赤外線センサ20が所定の強度以上の赤外線を検知した場合は(S210:YES)、判定部50は、人は存在し静止していると判定する(S212)。また、S204での駆動中に赤外線センサ20が所定の強度以上の赤外線を検知した場合(S208:YES)であって、S206での駆動停止中に赤外線センサ20が所定の強度以上の赤外線を検知しなかった場合は(S210:NO)、判定部50は、人は存在し静止していると判定する(S214)。   First, when the infrared sensor 20 has detected an infrared ray having a predetermined intensity or more in the past one minute (S202: YES), the drive control unit 40 drives the objective lens 10 for 10 seconds (S204), and then for 50 seconds. The drive control unit 40 stops driving the objective lens 10 (S206). When the infrared sensor 20 detects an infrared ray with a predetermined intensity or higher during driving in S204 (S208: YES), and when the infrared sensor 20 detects an infrared ray with a predetermined intensity or higher while the driving is stopped in S206 (S210: YES), the determination unit 50 determines that a person exists and is stationary (S212). In addition, when the infrared sensor 20 detects an infrared ray with a predetermined intensity or higher during driving in S204 (S208: YES), the infrared sensor 20 detects an infrared ray with a predetermined intensity or higher while the driving is stopped in S206. If not (S210: NO), the determination unit 50 determines that a person exists and is stationary (S214).

一方、S204での駆動中に赤外線センサ20が所定の強度以上の赤外線を検知しなかった場合(S208:NO)であって、S206での駆動停止中に赤外線センサ20が所定の強度以上の赤外線を検知した場合は(S216:YES)、S204での駆動中には人は存在しなかったがS206での駆動停止中に新たに人が存在するようになった場合であり、判定部50は、人は存在し動いていると判定する(S214)。また、S204での駆動中に赤外線センサ20が所定の強度以上の赤外線を検知しなかった場合(S208:NO)であって、S206での駆動停止中に赤外線センサ20が所定の強度以上の赤外線を検知しなかった場合は(S216:NO)、判定部50は、前回検知後に存在しなくなった場合であり、人は存在しないと判定する(S220)。   On the other hand, when the infrared sensor 20 does not detect infrared rays with a predetermined intensity or higher during driving in S204 (S208: NO), the infrared sensor 20 detects infrared rays with a predetermined intensity or higher while driving is stopped in S206. Is detected (S216: YES), there is no person during the driving in S204, but there is a new person during the driving stop in S206. It is determined that the person exists and is moving (S214). In addition, when the infrared sensor 20 does not detect infrared rays having a predetermined intensity or higher during driving in S204 (S208: NO), the infrared sensor 20 detects infrared rays having a predetermined intensity or higher while driving is stopped in S206. If it is not detected (S216: NO), the determination unit 50 determines that no person exists after the previous detection (S220).

過去1分間に赤外線センサ20が所定強度以上の赤外線を検知していなかった場合(S202:NO)、駆動制御部40は、対物レンズ10の駆動を停止した状態を維持する(S220)。駆動停止中に赤外線センサ20が所定の強度以上の赤外線を検知した場合(S224:YES)は、人が新たに人検知装置1の検知範囲内に入ってきて動いている場合であり、判定部50は、人が存在し動いていると判定する(S214)。一方、駆動停止中に赤外線センサ20が所定の強度以上の赤外線を検知しなかった場合は(S222:NO)、判定部50は、人は存在しないと判定する(S214)。   If the infrared sensor 20 has not detected an infrared ray having a predetermined intensity or more in the past minute (S202: NO), the drive control unit 40 maintains a state where the driving of the objective lens 10 is stopped (S220). When the infrared sensor 20 detects an infrared ray having a predetermined intensity or more while driving is stopped (S224: YES), it is a case where a person is newly entering the detection range of the human detection device 1 and moving. 50 determines that a person is present and moving (S214). On the other hand, when the infrared sensor 20 does not detect infrared rays with a predetermined intensity or higher during driving stop (S222: NO), the determination unit 50 determines that there is no person (S214).

次に、人検知装置1により図2の処理フローに従ってある部屋での人の存否状況を判定した場合の判定結果の一例を説明する。図3は、実際の人の存否及び動静に対して、人検知装置1による人の存否及び動静に係る判定結果の例を示す図である。ここで検知対象となる人の10秒刻みの存否及び動きの状況は、図3に示す通りである。上記のとおり、図2の処理フローは1分間間隔で起動され、前回の1分間に赤外線が検知されていない場合を除いて、駆動制御部40は対物レンズ10を10秒間駆動し、その後は駆動を停止する。   Next, an example of the determination result when the human detection device 1 determines the presence / absence status of a person in a room according to the processing flow of FIG. 2 will be described. FIG. 3 is a diagram illustrating an example of determination results related to the presence / absence and movement of a person by the human detection device 1 with respect to the presence / absence and movement of an actual person. Here, the presence / absence and movement of the person to be detected every 10 seconds are as shown in FIG. As described above, the processing flow of FIG. 2 is started at intervals of 1 minute, and the drive control unit 40 drives the objective lens 10 for 10 seconds, and then drives unless the infrared ray is not detected in the previous 1 minute. To stop.

まず、23時10分以前において、赤外線センサ20が対物レンズ10の駆動・停止にかかわらず赤外線を検知しないため、判定部50は、「人は存在しない」と判定する。   First, before 23:10, since the infrared sensor 20 does not detect infrared rays regardless of whether the objective lens 10 is driven or stopped, the determination unit 50 determines that “no person exists”.

次に、23時10分30秒に赤外線センサ20が赤外線を検知している。この場合、対物レンズ10が静止しているときに赤外線センサ20が赤外線を検知したので、判定部50は、23時10分0秒から23時11分0秒までの間、「人は存在し動いている」と判定する。   Next, the infrared sensor 20 detects infrared rays at 23:10:30. In this case, since the infrared sensor 20 detects infrared rays when the objective lens 10 is stationary, the determination unit 50 determines that “a person is present from 23: 10: 0 to 23: 11: 0. It is determined that it is moving.

また、駆動制御部40は、23時10分10秒から23時11分0秒までの間、赤外線センサ20が赤外線を検知したので、その次の10秒間(23時11分0秒から23時11分10秒まで)、対物レンズ10を駆動機構30により駆動させる。赤外線センサ20は、この対物レンズ10を駆動させている間に赤外線を検知し、23時11分10秒に駆動を停止した後も赤外線を検知している。よって、判定部50は、23時11分0秒から23時12分0秒までの1分間について「人は存在し動いている」と判定する。   Further, since the infrared sensor 20 detects the infrared ray from 23:10:10 to 23: 11: 0, the drive controller 40 detects the next 10 seconds (from 23: 11: 0 to 23:00). 11 minutes and 10 seconds), the objective lens 10 is driven by the drive mechanism 30. The infrared sensor 20 detects infrared rays while driving the objective lens 10 and detects infrared rays even after the drive is stopped at 23:11:10. Therefore, the determination unit 50 determines that “a person is present and moving” for one minute from 23: 11: 0 to 23: 12: 0.

赤外線センサ20は、23時12分0秒から23時12分10秒までの対物レンズ10を駆動させている間には赤外線センサ20は赤外線を検知しているが、23時12分10秒から23時13分0秒までの対物レンズ10の駆動を停止している間は赤外線を検知しない。よって、判定部50は、「人は存在するが静止している」と判定する。   While the infrared sensor 20 drives the objective lens 10 from 23: 12: 0 to 23:12:10, the infrared sensor 20 detects infrared rays, but from 23:12:10 Infrared rays are not detected while driving of the objective lens 10 is stopped until 23: 13: 0. Therefore, the determination unit 50 determines that “the person exists but is stationary”.

さて、赤外線センサ20は、23時13分0秒から23時13分10秒までの対物レンズ10を駆動させている間には赤外線センサ20は赤外線を検知し、23時13分10秒から23時13分40秒までの対物レンズ10の駆動を停止している間にも赤外線を検知している。よって、判定部50は、「人は存在し動いている」と判定する。   The infrared sensor 20 detects infrared rays while the objective lens 10 is being driven from 23: 13: 0 to 23:13:10, and from 23:13:10 to 23. Infrared light is also detected while driving of the objective lens 10 is stopped until 13:40 hours. Therefore, the determination unit 50 determines that “a person exists and moves”.

赤外線センサ20は、23時14分0秒から23時14分10秒までの対物レンズ10を駆動させている間も、23時13分10秒から23時14分0秒までの対物レンズ10の駆動を停止している間も、赤外線センサ20は赤外線を検知しない。よって、判定部50は、「人は存在しない」と判定する。   While the infrared sensor 20 is driving the objective lens 10 from 23: 14: 0 to 23:14:10, the infrared sensor 20 is operated from 23:13:10 to 23: 14: 0. While the driving is stopped, the infrared sensor 20 does not detect infrared rays. Therefore, the determination unit 50 determines that “no person exists”.

また、23時14分0秒から23時15分0秒までの1分間に赤外線センサ20が赤外線を検知しなかったので、駆動制御部40は、以後、再び赤外線センサ20が赤外線を検知するまで、対物レンズ10を駆動させず、停止した状態を維持する。   In addition, since the infrared sensor 20 did not detect the infrared ray for one minute from 23: 14: 0 to 23: 15: 0, the drive control unit 40 thereafter until the infrared sensor 20 detects the infrared ray again. The objective lens 10 is not driven and the stopped state is maintained.

以上のようにして、人検知装置1により人の存否及び動静を判定することができる。   As described above, the presence / absence and movement of a person can be determined by the human detection device 1.

図4は、本発明の別の実施形態である人検知装置2を示す概念図である。人検知装置2は、図1に示される人検知装置1と対物レンズ10の駆動方向が異なる。すなわち、人検知装置2では、対物レンズ10を駆動機構30により赤外線センサ20の指向方向と垂直な向きに駆動させる。なお、磁性部材33を永久磁石によって構成し、駆動機構30は、磁性部材33と電磁石32との磁気反発力を利用して対物レンズ10を揺動させる構成としてもよい。   FIG. 4 is a conceptual diagram showing a human detection device 2 which is another embodiment of the present invention. The human detection device 2 is different from the human detection device 1 shown in FIG. That is, in the human detection device 2, the objective lens 10 is driven by the drive mechanism 30 in a direction perpendicular to the directivity direction of the infrared sensor 20. The magnetic member 33 may be formed of a permanent magnet, and the drive mechanism 30 may be configured to swing the objective lens 10 using the magnetic repulsive force between the magnetic member 33 and the electromagnet 32.

なお、対物レンズ10には、図5(A)、(B)に例示するような指向特性を有しているフレネルレンズを用いることが好ましい。同図において、フレネルレンズ中心Oから延びる扇形状の半径が大きいほどその方向からの赤外線に対する感度が高いことを示す。同図に示す特性により、対物レンズ10の位置を僅かに変化させるだけで赤外線センサ20に入射する赤外線が大きく変化することがわかる。したがって、図1又は図4に示される実施例のように対物レンズ10の向きが繰り返し変化すると、赤外線センサ20に入射する赤外線が大幅に変化するので、人が静止して人が発する赤外線が一定に保たれ続けるような場合にも、その赤外線をより確実に検知することができる。   As the objective lens 10, it is preferable to use a Fresnel lens having directivity characteristics as exemplified in FIGS. In the same figure, it is shown that the larger the fan-shaped radius extending from the Fresnel lens center O, the higher the sensitivity to infrared rays from that direction. It can be seen from the characteristics shown in the figure that the infrared ray incident on the infrared sensor 20 changes greatly only by slightly changing the position of the objective lens 10. Accordingly, when the orientation of the objective lens 10 is repeatedly changed as in the embodiment shown in FIG. 1 or FIG. 4, the infrared ray incident on the infrared sensor 20 changes significantly, so that the infrared ray emitted by the person is constant when the person is stationary. Even in the case where it is kept at the same level, the infrared rays can be detected more reliably.

以上の通り、人検知装置1又は人検知装置2によれば、人が動いている場合であっても静止している場合であっても人を検知することができる。すなわち、人が動いている場合であれば、赤外線センサ20に入射する赤外線の量及び方向は変化するので、赤外線センサ20は赤外線を検知することができる。また、人が静止している場合であっても、駆動機構30によって対物レンズ10を駆動させることにより、赤外線センサ20に入射する赤外線を変化させることができ、赤外線センサ20は赤外線を検知することができる。   As described above, according to the human detection device 1 or the human detection device 2, it is possible to detect a person regardless of whether the person is moving or stationary. In other words, if the person is moving, the amount and direction of infrared rays incident on the infrared sensor 20 change, so the infrared sensor 20 can detect infrared rays. Further, even when a person is stationary, the infrared light incident on the infrared sensor 20 can be changed by driving the objective lens 10 by the drive mechanism 30, and the infrared sensor 20 detects the infrared light. Can do.

赤外線センサ20が赤外線を検知した場合は、人が存在すると判定できるが、さらに、駆動機構30の作動状況に基づいて、人が動いているか静止しているかを判定することができる。すなわち、駆動機構30が駆動を停止しているときに赤外線センサ20が赤外線を検知した場合は、人が動いていると判定できる。また、駆動機構30が駆動を停止しているときには赤外線センサ20が赤外線を検知しなかったが、駆動機構30が駆動しているときには赤外線センサ20が赤外線を検知した場合は、人が静止していると判定できる。   When the infrared sensor 20 detects infrared rays, it can be determined that a person is present, but based on the operating state of the drive mechanism 30, it can be determined whether the person is moving or stationary. That is, if the infrared sensor 20 detects infrared rays when the drive mechanism 30 stops driving, it can be determined that a person is moving. In addition, when the drive mechanism 30 stops driving, the infrared sensor 20 does not detect infrared rays, but when the drive mechanism 30 is driven, if the infrared sensor 20 detects infrared rays, the person stops. Can be determined.

また、人検知装置1、2は、例えば、テレビ受像機と組合せて用いることで、省エネルギーに活用できる。すなわち、テレビ受像機の画面を見ることができる範囲を検知範囲として人検知装置1、2を設置し、人検知装置1、2が人は存在しないと判定した場合には、テレビ受像機はテレビを消す(又は、画面のみを消す)ようにすることができる。つまり、人検知装置1、2が人は存在しないと判定した場合には、誰もテレビを見ていないということであるから、テレビを消せば、電気を節約することができる。   Further, the human detection devices 1 and 2 can be used for energy saving by being used in combination with a television receiver, for example. That is, when the human detection devices 1 and 2 are installed with the range in which the screen of the television receiver can be viewed as a detection range, and the human detection devices 1 and 2 determine that there is no person, the television receiver Can be turned off (or only the screen is turned off). In other words, when the human detection devices 1 and 2 determine that no person exists, no one is watching the TV, and thus it is possible to save electricity by turning off the TV.

なお、以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれることは勿論である。   In addition, the description of the above embodiment is for facilitating understanding of the present invention, and does not limit the present invention. It goes without saying that the present invention can be changed and improved without departing from the gist thereof, and that the present invention includes equivalents thereof.

例えば、上記実施形態では、対物レンズ10を駆動させることにより、対物レンズ10と赤外線センサ20とを相対移動させる構成としたが、これに限らず、赤外線センサ20を駆動させてもよい。   For example, in the above embodiment, the objective lens 10 is driven to move the objective lens 10 and the infrared sensor 20 relative to each other. However, the configuration is not limited thereto, and the infrared sensor 20 may be driven.

本発明の一実施形態である人検知装置1を示す構成図である。It is a lineblock diagram showing person detection device 1 which is one embodiment of the present invention. 駆動制御部40における制御処理及び判定部50における判定処理を示すフロー図である。FIG. 5 is a flowchart showing a control process in a drive control unit 40 and a determination process in a determination unit 50. 実際の人の存否及び動静に対して、人検知装置1の人の存否及び動静に係る判定結果の例を示す図である。It is a figure which shows the example of the determination result which concerns on the presence or absence and movement of a person of the human detection apparatus 1 with respect to an actual presence or absence and movement of a person. 本発明の一実施形態である人検知装置1を示す概念図である。It is a conceptual diagram which shows the person detection apparatus 1 which is one Embodiment of this invention. フレネルレンズの指向性を示す図である。It is a figure which shows the directivity of a Fresnel lens.

符号の説明Explanation of symbols

1、2 人検知装置
10 対物レンズ
12、14 支持部材
16 支点
20 赤外線センサ
30 駆動機構
31 コイル
32 電磁石
33 磁性部材
34 弾性体
35 調節手段
36 ボルト
37 ナット
40 駆動制御部
50 判定部
DESCRIPTION OF SYMBOLS 1, 2 Person detection apparatus 10 Objective lens 12, 14 Support member 16 Support point 20 Infrared sensor 30 Driving mechanism 31 Coil 32 Electromagnet 33 Magnetic member 34 Elastic body 35 Adjustment means 36 Bolt 37 Nut 40 Drive control part 50 Determination part

Claims (10)

人の存否を判定する人検知装置であって、
人から発せられる赤外線を集束する対物レンズと、
前記対物レンズが集束した赤外線を検知する赤外線センサと、
前記対物レンズと前記赤外線センサを繰返し相対移動させる駆動機構と、
を備えることを特徴とする人検知装置。
A human detection device for determining the presence or absence of a person,
An objective lens that focuses infrared rays emitted from humans;
An infrared sensor for detecting infrared rays focused by the objective lens;
A drive mechanism for repeatedly moving the objective lens and the infrared sensor repeatedly;
A human detection device comprising:
請求項1に記載の人検知装置であって、
前記駆動機構の作動が停止している状態で前記赤外線センサにより赤外線が検知されると前記駆動機構を作動させ、所定の時間赤外線が検知されないと前記駆動機構の作動を停止させる駆動制御部を備えることを特徴とする人検知装置。
The human detection device according to claim 1,
A drive control unit is provided that operates the drive mechanism when infrared rays are detected by the infrared sensor in a state where the operation of the drive mechanism is stopped, and stops the operation of the drive mechanism when infrared rays are not detected for a predetermined time. A human detection device characterized by that.
請求項1又は2に記載の人検知装置であって、
前記駆動制御部は、所定の時間間隔で前記駆動機構を作動させることを特徴とする人検知装置。
The human detection device according to claim 1 or 2,
The drive control unit operates the drive mechanism at a predetermined time interval.
請求項3に記載の人検知装置であって、
前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、人の存否を判定する判定部を備えることを特徴とする人検知装置。
The human detection device according to claim 3,
A human detection apparatus comprising: a determination unit that determines the presence or absence of a person based on a detection result of the infrared sensor and an operating state of the drive mechanism.
請求項4に記載の人検知装置であって、
前記判定部は、前記判定部が人が存在すると判定した場合において、前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、前記存在する人の動静を判定することを特徴とする人検知装置。
The human detection device according to claim 4,
When the determination unit determines that there is a person, the determination unit determines the movement of the existing person based on the detection result of the infrared sensor and the operating state of the drive mechanism. Detection device.
請求項1〜5の何れかに記載の人検知装置であって、
前記駆動機構は、前記赤外線センサの指向方向と垂直となる所定の面において前記対物レンズを作動させることを特徴とする人検知装置。
The human detection device according to claim 1,
The human detection device, wherein the drive mechanism operates the objective lens on a predetermined plane perpendicular to a directivity direction of the infrared sensor.
請求項1〜5の何れかに記載の人検知装置であって、
前記駆動機構は、前記赤外線センサと前記対物レンズの距離を変化させるように前記対物レンズを作動させることを特徴とする人検知装置。
The human detection device according to claim 1,
The human detection device, wherein the driving mechanism operates the objective lens so as to change a distance between the infrared sensor and the objective lens.
請求項1〜7の何れかに記載の人検知装置であって、
前記対物レンズがフルネルレンズであることを特徴とする人検知装置。
The human detection device according to claim 1,
The human detection apparatus, wherein the objective lens is a fullnel lens.
人から発せられる赤外線を集束する対物レンズと、前記対物レンズが集束した赤外線を検知する赤外線センサと、前記対物レンズと前記赤外線センサを繰返し相対移動させる駆動機構と、前記赤外線センサの検知結果に基づいて前記駆動機構を制御するコンピュータとを備える人検知装置を用いた人の存否の判定方法であって、
前記コンピュータが、
前記駆動機構の作動が停止している状態で前記赤外線センサにより赤外線が検知されると前記駆動機構を作動させるステップと、
前記駆動機構が作動している状態で赤外線が検知されないと、前記駆動機構の作動を停止させるステップと、
前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、人の存否を判定するステップと、
前記人が存在すると判定した場合において、前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、前記存在する人の動静を判定するステップと、
を実行することを特徴とする人検知方法。
Based on an objective lens that focuses infrared rays emitted from a person, an infrared sensor that detects infrared rays focused by the objective lens, a drive mechanism that repeatedly moves the objective lens and the infrared sensor repeatedly, and a detection result of the infrared sensor A method for determining the presence or absence of a person using a human detection device comprising a computer for controlling the drive mechanism,
The computer is
Activating the drive mechanism when infrared is detected by the infrared sensor in a state where the operation of the drive mechanism is stopped;
A step of stopping the operation of the drive mechanism if infrared light is not detected in a state where the drive mechanism is operating;
Determining the presence or absence of a person based on the detection result of the infrared sensor and the operating status of the drive mechanism;
In the case where it is determined that the person exists, the step of determining the movement of the existing person based on the detection result of the infrared sensor and the operating state of the drive mechanism;
The person detection method characterized by performing.
人から発せられる赤外線を集束する対物レンズと、前記対物レンズが集束した赤外線を検知する赤外線センサと、前記対物レンズと前記赤外線センサを繰返し相対移動させる駆動機構と、前記赤外線センサの検知結果に基づいて前記駆動機構を制御するコンピュータとを備える人検知装置を用いた人の存否の判定プログラムであって、
前記コンピュータに、
前記駆動機構の作動が停止している状態で前記赤外線センサにより赤外線が検知されると前記駆動機構を作動させるステップと、
前記駆動機構が作動している状態で赤外線が検知されないと、前記駆動機構の作動を停止させるステップと、
前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、人の存否を判定するステップと、
前記人が存在すると判定した場合において、前記赤外線センサの検知結果と前記駆動機構の作動状況に基づいて、前記存在する人の動静を判定するステップと、
を実行させることを特徴とする人検知プログラム。
Based on an objective lens that focuses infrared rays emitted from a person, an infrared sensor that detects infrared rays focused by the objective lens, a drive mechanism that repeatedly moves the objective lens and the infrared sensor repeatedly, and a detection result of the infrared sensor A determination program for the presence or absence of a person using a human detection device comprising a computer for controlling the drive mechanism,
In the computer,
Activating the drive mechanism when infrared is detected by the infrared sensor in a state where the operation of the drive mechanism is stopped;
A step of stopping the operation of the drive mechanism if infrared light is not detected in a state where the drive mechanism is operating;
Determining the presence or absence of a person based on the detection result of the infrared sensor and the operating status of the drive mechanism;
In the case where it is determined that the person exists, the step of determining the movement of the existing person based on the detection result of the infrared sensor and the operating state of the drive mechanism;
A human detection program characterized by executing
JP2007229338A 2007-09-04 2007-09-04 Human detection device, method and program Expired - Fee Related JP5137505B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007229338A JP5137505B2 (en) 2007-09-04 2007-09-04 Human detection device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007229338A JP5137505B2 (en) 2007-09-04 2007-09-04 Human detection device, method and program

Publications (2)

Publication Number Publication Date
JP2009063323A true JP2009063323A (en) 2009-03-26
JP5137505B2 JP5137505B2 (en) 2013-02-06

Family

ID=40558036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007229338A Expired - Fee Related JP5137505B2 (en) 2007-09-04 2007-09-04 Human detection device, method and program

Country Status (1)

Country Link
JP (1) JP5137505B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399351A (en) * 2013-07-22 2013-11-20 深圳市百欧森环保科技开发有限公司 Oscillating active human body detector for detecting dynamic and static human body and detection method of swing-type active human body detector
JP2014074702A (en) * 2012-10-05 2014-04-24 Kyocera Document Solutions Inc Electronic equipment and image forming apparatus
JP2015111314A (en) * 2015-03-24 2015-06-18 京セラドキュメントソリューションズ株式会社 Electronic device and image forming apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61126434A (en) * 1984-11-26 1986-06-13 Matsushita Electric Works Ltd Heat ray detector
JPH0882548A (en) * 1994-09-13 1996-03-26 Mitsubishi Electric Corp Body detector
JPH08261833A (en) * 1995-03-27 1996-10-11 Seikosha Co Ltd Pyroelectric type infrared detector
JPH09113365A (en) * 1995-10-16 1997-05-02 Matsushita Electric Ind Co Ltd Pyroelectric infrared sensor
JP2006010452A (en) * 2004-06-24 2006-01-12 Ricoh Co Ltd Device and method for inspecting scanning optical system
JP2007101483A (en) * 2005-10-07 2007-04-19 Chugoku Electric Power Co Inc:The Human detecting device and illumination system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61126434A (en) * 1984-11-26 1986-06-13 Matsushita Electric Works Ltd Heat ray detector
JPH0882548A (en) * 1994-09-13 1996-03-26 Mitsubishi Electric Corp Body detector
JPH08261833A (en) * 1995-03-27 1996-10-11 Seikosha Co Ltd Pyroelectric type infrared detector
JPH09113365A (en) * 1995-10-16 1997-05-02 Matsushita Electric Ind Co Ltd Pyroelectric infrared sensor
JP2006010452A (en) * 2004-06-24 2006-01-12 Ricoh Co Ltd Device and method for inspecting scanning optical system
JP2007101483A (en) * 2005-10-07 2007-04-19 Chugoku Electric Power Co Inc:The Human detecting device and illumination system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014074702A (en) * 2012-10-05 2014-04-24 Kyocera Document Solutions Inc Electronic equipment and image forming apparatus
CN103399351A (en) * 2013-07-22 2013-11-20 深圳市百欧森环保科技开发有限公司 Oscillating active human body detector for detecting dynamic and static human body and detection method of swing-type active human body detector
JP2015111314A (en) * 2015-03-24 2015-06-18 京セラドキュメントソリューションズ株式会社 Electronic device and image forming apparatus

Also Published As

Publication number Publication date
JP5137505B2 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
US8077035B2 (en) Automatic timing adjustment system for occupancy sensors
JP5137505B2 (en) Human detection device, method and program
CN105874284A (en) Method for controlling sensor executed by air conditioner
JP2011523190A (en) Reduced power consumption sensor device and illumination system having such a sensor device
JP2007073438A5 (en)
US20230143508A1 (en) Dynamic paver device with vibration feedback
ES2410480T3 (en) Procedure and apparatus for monitoring the status of a device
US7866848B2 (en) Illumination system capable of automatically adjusting illumination direction according to human body&#39;s signal
JP5492304B2 (en) Equipment control system
JP2006184190A5 (en)
JP2007101483A (en) Human detecting device and illumination system
JP6507733B2 (en) Air conditioning system
JP2008274640A (en) Automatic door control system
JP2003310138A (en) System for preventing bird from coming flying
JP2011198699A (en) Illumination equipment control system
JP5469348B2 (en) Equipment control system
KR20170097430A (en) Sensor Module For Continuous Detection And Method Of Driving The Same
KR101312691B1 (en) lamp unit for sensing human
JP4349175B2 (en) Ventilation equipment
KR20080060923A (en) Laser projector for controlling power to drive laser diodes and method thereof
JP2009068790A (en) Control device for air conditioner
JP2002195556A (en) Method of controlling automatic fire extinguisher against earthquake, and controller, and burner
JP2009036701A (en) Laser marking device
JP2023050487A (en) Irradiation system and UV irradiation device
US9370081B2 (en) System and method for a delayed light switch network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121113

R150 Certificate of patent or registration of utility model

Ref document number: 5137505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees