JP2005352935A - Device for deciding suspicious person and method for deciding suspicious person - Google Patents
Device for deciding suspicious person and method for deciding suspicious person Download PDFInfo
- Publication number
- JP2005352935A JP2005352935A JP2004175073A JP2004175073A JP2005352935A JP 2005352935 A JP2005352935 A JP 2005352935A JP 2004175073 A JP2004175073 A JP 2004175073A JP 2004175073 A JP2004175073 A JP 2004175073A JP 2005352935 A JP2005352935 A JP 2005352935A
- Authority
- JP
- Japan
- Prior art keywords
- suspicious person
- person
- suspicious
- signal
- determination device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、不審者判定装置および不審者判定方法に関するものである。 The present invention relates to a suspicious person determination device and a suspicious person determination method.
従来、不審者を判定するための装置では、例えば、所定のエリアにて撮像されたカメラ映像を信号処理したのちその画像情報をメモリーに格納してゆき、所定の時間差を有する時刻同士において画像情報を比較した場合に生じる情報の変化を、所定の閾値もしくは変化パターンによって判別することで、それが不審者かどうかを判定している(特許文献1参照)。 2. Description of the Related Art Conventionally, in a device for determining a suspicious person, for example, after processing a camera image captured in a predetermined area, the image information is stored in a memory, and the image information is stored at a time having a predetermined time difference. It is determined whether or not it is a suspicious person by discriminating a change in information that occurs when the two are compared based on a predetermined threshold or a change pattern (see Patent Document 1).
また、例えば、上記情報の変化における特徴的な量を抽出し、その特徴的な量によって危険度を判定することにより、不審者に対して威嚇を行ったり警報を発したりしている(特許文献2参照)。 In addition, for example, a characteristic amount in the change in the information is extracted, and a risk level is determined based on the characteristic amount, thereby threatening a suspicious person or issuing a warning (Patent Document). 2).
上記のような従来の不審者判定装置では、入力されるカメラ画像情報を所定の時間差を有する時刻同士で比較したときに得られる変化のみを用いることによって、不審者かどうかを判定している。つまり、状況的に連続した動きもしくは動きの特徴のみによって判別を行っているため、通常一般的にそのエリアを訪れる人の動きもしくは動きの特徴との区別がつきにくくなる。そのため、判定を必要とするエリアやその人の動きの特徴・個性などによっては、不審者判定をするための閾値の設定が困難であったり、不審者判定自身を誤ることがあった。 In the conventional suspicious person determination device as described above, it is determined whether or not the person is a suspicious person by using only the change obtained when the input camera image information is compared at times having a predetermined time difference. In other words, since the determination is made only by the situationally continuous movement or movement characteristics, it is generally difficult to distinguish the movement or movement characteristics of the person visiting the area. Therefore, depending on the area that needs to be determined and the characteristics / individuality of the person's movement, it may be difficult to set a threshold for determining the suspicious person, or the suspicious person determination itself may be wrong.
また、従来では上記のような判定結果をもって威嚇や警報などを行うため、誤った判定を行った場合、一般の訪問者等に対して不快感や精神的苦痛を与えてしまうなどの問題があった。 Conventionally, threats and warnings are performed based on the determination results as described above, and if an incorrect determination is made, there are problems such as discomfort and mental distress for general visitors. It was.
本発明は、上記のような課題を解決するためになされたもので、一般の訪問者等に対して不快感等を与えることなく不審者判別を容易に確度よく行うことができる不審者判定装置および不審者判定方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and is capable of easily and accurately determining a suspicious person without causing discomfort to a general visitor or the like. And it aims at providing a suspicious person determination method.
上記の課題を解決するために、本発明に係る不審者判定装置は、判定の対象となる人物の検知を行う検知手段と、検知が行われたことの告知を人物に対して行う告知手段と、告知に伴う人物の反応に基づく信号の変化に基づき人物が不審者であるかどうかの判定を行う不審者判定手段とを備えることを特徴とする。 In order to solve the above-described problem, a suspicious person determination device according to the present invention includes a detection unit that detects a person to be determined, and a notification unit that notifies a person that the detection has been performed. Suspicious person judging means for judging whether or not the person is a suspicious person based on a change in a signal based on a reaction of the person accompanying the notification.
本発明に係る不審者判定装置は、判定の対象となる人物の検知を行う検知手段と、検知が行われたことの告知を人物に対して行う告知手段と、告知に伴う人物の反応に基づく信号の変化に基づき人物が不審者であるかどうかの判定を行う不審者判定手段とを備えることを特徴とする。従って、一般の訪問者等に対して不快感等を与えることなく不審者判別を容易に確度よく行うことができる。 The suspicious person determination device according to the present invention is based on a detection unit that detects a person to be determined, a notification unit that notifies a person that the detection has been performed, and a person's reaction accompanying the notification Suspicious person judging means for judging whether or not a person is a suspicious person based on a change in the signal is provided. Accordingly, the suspicious person can be easily and accurately identified without giving a general visitor an unpleasant feeling.
<実施の形態1>
以下、本発明の実施の形態1に係る不審者判定装置100を、図1〜5を用いて説明する。図1は不審者判定装置100の構成を示すブロック図である。図2には、不審者判定装置100に入力される映像が示されている。図3には、図2の映像の輝度イメージが示されている。図4には、図3の輝度イメージの差分である輝度変化イメージが示されている。
<
Hereinafter, the suspicious
まず、不審者判定装置100の動作について説明する。図1において、赤外線センサー7およびシステム制御部13には、図示しない副電源供給部により、常に電源が供給されている。例えば、自宅玄関前に設置された赤外線センサー7を人物(不審者および一般訪問者のいずれをも含む)が横切ったときには、人物が侵入したという信号がシステム制御部13に入力される。これにより、システム制御部13は、主電源供給部(主電源供給手段)15を制御し電源供給を開始することにより、不審者判定部8を含む不審者判定装置100全体の起動を行う。すなわち、赤外線センサー7は本発明に係る検知手段として機能し、不審者判定部8は本発明に係る不審者判定手段として機能する。
First, the operation of the suspicious
次に、例えば、自宅の玄関ドアの前に訪問者が立った様子を撮像できる様に設置された図示しないカメラからの映像信号が、映像入力端子5より入力される。入力された映像信号は映像系AD変換器1によりアナログ信号からデジタル信号に変換される。変換後のデジタル映像信号は、制御信号6により制御される映像系スイッチャー2と、圧縮器9とに伝達される。この制御信号6は、同期を取りつつ以下の映像分割動作を行うためのものである。
Next, for example, a video signal from a camera (not shown) installed so as to be able to capture an image of a visitor standing in front of the entrance door of the home is input from the video input terminal 5. The input video signal is converted from an analog signal to a digital signal by the
映像系スイッチャー2に伝達されたデジタル映像信号は、例えば、図3に示されるような16×12ドットの輝度イメージに分割される。この輝度イメージは、ドット毎のデータとして、一旦、メモリー3に記憶される。CPU4は、メモリー3に記憶されたデータをドット毎に読み込む。このとき、CPU4は、この輝度イメージのデータの単位時間毎の差分を、自身が内蔵するメモリー(図示しない)に、輝度変化イメージとして記憶する。
The digital video signal transmitted to the
図2には、映像入力端子5より入力された映像信号が示されている。図2(a)には、ドアの前に人物がいないときの映像信号が示されている。図2(b)には、人物がドアの前に立ったときの映像信号(後述する呼びかけ音声による告知の前)が示されている。図2(c)には、その人物が告知の後に逃げるときの映像信号が示されている。 FIG. 2 shows a video signal input from the video input terminal 5. FIG. 2A shows a video signal when there is no person in front of the door. FIG. 2B shows a video signal when a person stands in front of the door (before a notification by a call voice described later). FIG. 2C shows a video signal when the person escapes after the notification.
図3(a)〜(c)には、図2(a)〜(c)にそれぞれ示される映像信号を映像系スイッチャー2でドットに分割したときの輝度イメージが示されている。また、図4(a)〜(c)にそれぞれ示すように、CPU4は、図3(a)〜(c)に示される輝度イメージの単位時間毎の差分すなわち輝度変化イメージを算出し、自身が内蔵するメモリーに記憶する。
FIGS. 3A to 3C show luminance images when the video signals shown in FIGS. 2A to 2C are divided into dots by the
また、圧縮器9に伝達されたデジタル映像信号は、圧縮されることにより映像信号圧縮データが生成される。この映像信号圧縮データは、CPU4の制御により、所定の記憶容量を有するSDRAM10に記憶される。すなわち、SDRAM10において、記憶されているデータ量が記憶容量を超えそうになった場合には、古いデータから順に消去される。
The digital video signal transmitted to the
次に、上述した不審者判定部8の起動時から所定の期間が経過すると、システム制御部13は、音声出力部14を制御することにより、スピーカー16から、例えば「誰ですか?」等の呼びかけ音声からなる告知信号を出力させる。すなわち、音声出力部14およびスピーカー16は、検知が行われたことの告知を行う、本発明に係る告知手段として機能する。
Next, when a predetermined period has elapsed since the activation of the above-described suspicious
そして、CPU4は、この告知のタイミングを境とした人物の動作を求めるために、告知のタイミングの前後において、自身が内蔵するメモリーに記憶された輝度変化イメージを比較する。
Then, the
比較の結果、輝度変化イメージ(差分)が、予め設定された所定の閾値より大きく変化している場合には、CPU4は、検知された人物は、告知によって動揺し動作が変化するという特徴を有する人物すなわち不審者であると判定する。この比較においては、例えば、後述するように、輝度変化イメージのドット数からなる映像変化率を用いることにより、判定を行うことが可能となる。
As a result of the comparison, when the luminance change image (difference) has changed more than a predetermined threshold value, the
比較の結果、輝度変化イメージが、予め設定された所定の閾値より小さく変化している場合には、CPU4は、一般の訪問者であると判定する。
As a result of the comparison, when the luminance change image changes smaller than a predetermined threshold value set in advance, the
比較の結果、不審者と判定された場合には、CPU4は、SDRAM10に記憶された映像信号圧縮データを、ドライバー回路11を介して、ストレージデバイス12が内蔵するストレージメディア(図示しない)に記録させる。このSDRAM10には、入力された映像信号圧縮データが、人物が侵入し不審者判定部8が起動された時刻から記憶されている。従って、不審者が侵入し不審者判定装置8が起動された時刻からの映像を、ストレージメディアに記録させることが可能となる。また、一時的にSDRAM10に記憶した後に必要なデータのみをストレージメディアに記録させることで、ストレージメディアを効率的に用いることが可能となる。すなわち、ストレージデバイス12は本発明に係る記録手段として機能し、ストレージメディアは本発明に係る記録媒体として機能する。
If it is determined as a suspicious person as a result of the comparison, the
このストレージメディアへの記録は、予め設定された所定の期間において、行われる。この期間が経過した後に、システム制御部13は、主電源供給部15を制御し不審者判定部8の電源供給を停止させる。これにより、不審者判定装置100は、再び、赤外線センサー7にて人物の侵入を検知するモードへと移行する。
Recording on the storage medium is performed in a predetermined period set in advance. After this period has elapsed, the
比較の結果、一般の訪問者と判定された場合には、予め設定された所定の期間が経過した後に、システム制御部13は、主電源供給部15を制御し不審者判定部8の電源供給を停止させる。これにより、不審者判定装置100は、再び、赤外線センサー7にて人物の侵入を検知するモードへと移行する。
As a result of the comparison, when it is determined that the visitor is a general visitor, the
次に、図5に示されるフローチャートを用いて、以上の動作を説明する。 Next, the above operation will be described using the flowchart shown in FIG.
まず、ステップS1において、不審者判定装置100は、赤外線センサー7から信号が入力されるかどうかを常に判定している。信号が入力された場合にはステップS2に進み、入力されない場合にはステップS1を繰り返す。
First, in step S <b> 1, the suspicious
次に、ステップS2において、システム制御部13は、主電源供給部15を制御することにより、不審者判定部8の起動を行う。
Next, in step S <b> 2, the
次に、ステップS3に進み、CPU4は、映像信号圧縮データを、SDRAM9に記憶させながら、その単位時間毎の差分のドット数すなわち映像変化率ΔP1を算出し、自身が内蔵するメモリーに記憶する。一般に、人物の動作の変化が大きいほど、その映像の単位時間毎の差分のドット数も大きくなる。つまり、この映像変化率ΔP1は、検知された人物の告知前の動作の変化を表している。
Next, proceeding to step S3, the
次に、ステップS4に進み、不審者判定装置100は、ステップ2における不審者判定部8の起動時から所定の期間(T1)が経過すると、侵入した人物に対し、「誰ですか?」等の呼びかけ音声からなる告知信号を出力する。
Next, the process proceeds to step S4, and the suspicious
次に、ステップS5に進み、CPU4は、ステップ4における告知信号の出力時から所定の期間(T2)が経過するまで、映像信号圧縮データを、SDRAM9に記憶させながら、その単位時間毎の差分のドット数すなわち映像変化率ΔP2を算出し、自身が内蔵するメモリーに記憶する。この映像変化率ΔP2は、検知された人物の告知後の動作の変化を表している。
Next, proceeding to step S5, the
次に、ステップS6に進み、CPU4は、映像変化率ΔP1,ΔP2同士の差分|ΔP2−ΔP1|を算出し、この差分が予め設定された所定の閾値よりも小さい場合には、検知された人物は不審者ではなく一般の訪問者であると判定し、ステップS8に進む。また、この差分が所定の閾値以上である場合には、検知された人物は不審者であると判定し、ステップS7に進む。ステップS7において、CPU4は、SDRAM10に記憶された映像信号圧縮データを、予め設定された所定の期間、ストレージメディアに記録させる。これにより、不審者の映像を記録することが可能となる。
Next, in step S6, the
次に、ステップS8において、システム制御部13は主電源供給部15を制御することにより、不審者判定部8を待機状態に移行させる。これにより、一連の工程が終了する。
Next, in step S8, the
このように、本実施の形態に係る不審者判定装置および不審者判定方法においては、赤外線センサー7による検知が行われたことを呼びかけ音声により告知し、その告知に伴う人物の動作の変化を輝度変化より求めることにより、不審者の判定を行う。従って、一般の訪問者等に対して不快感等を与えることなく不審者判別を容易に確度よく行うことできる。
As described above, in the suspicious person determination device and the suspicious person determination method according to the present embodiment, the notification by the calling voice that the detection by the
また、人物の侵入が検知されていないモードにおいては不審者判定部8を待機させておき、人物の侵入が検知されると不審者判定部8を起動させ、人物の侵入が再び検知されなくなると不審者判定部8を待機させる。従って、消費電力を低減することができる。なお、上記の説明においては、不審者判定部8外部のシステム制御部13を用いて不審者判定部8の起動を行っているが、システム制御部13に代えて、不審者判定部8内部のCPU4を用いて不審者判定部8の起動を行う構成としてもよい。この場合には、CPU4には常に電源を供給しておく必要がある。
Further, in a mode in which no intrusion of a person is detected, the suspicious
また、上記の説明においては、赤外線センサー7を用いて人物の侵入を検知しているが、赤外線センサー7に限らず、人物の侵入を検知できるものであれば、単純な機械式スイッチを応用した物や重量センサー等、どのようなものであってもよい。
In the above description, the intrusion of a person is detected using the
また、上記の説明においては、デジタル映像信号を16×12ドットの輝度イメージに分割しているが、16×12ドットに限らず、16×16ドットや256×256ドット等、どのような輝度イメージに分割してもよい。また、輝度イメージへの分割に限らず、映像信号から動作の変化を求められる処理であれば、どのような処理であってもよい。また、この処理は、カメラから撮像される画像の全体の領域において行われてもよいし、画像の一部の領域(例えば、図1のドアの近傍)において行われてもよい。あるいは、この処理を行う領域は、ユーザーにより設定可能であってもよい。 In the above description, the digital video signal is divided into luminance images of 16 × 12 dots. However, the luminance image is not limited to 16 × 12 dots, but any luminance image such as 16 × 16 dots or 256 × 256 dots. You may divide into. In addition, the process is not limited to the division into luminance images, and any process may be used as long as the operation can be changed from the video signal. Further, this process may be performed in the entire region of the image captured from the camera, or may be performed in a partial region of the image (for example, in the vicinity of the door in FIG. 1). Alternatively, the area where this processing is performed may be set by the user.
また、上記の説明においては、告知のタイミングの前後における輝度イメージの単位時間毎の差分を比較することにより動作の変化を求めているが、動作の変化を求められる処理であればよく、例えば、輝度イメージをそのまま比較したり、動きベクトルを用いて一連の動作の履歴を考慮した比較を行ってもよい。 Further, in the above description, the change in operation is obtained by comparing the difference of the luminance image per unit time before and after the notification timing, but any process that can obtain the change in operation may be used. The luminance images may be compared as they are, or a comparison in consideration of a history of a series of operations may be performed using a motion vector.
また、上記の説明においては、輝度イメージのデータの単位時間毎の差分は、CPUが内蔵するメモリーに記憶されるが、CPU外部のメモリー等の他の記憶手段に記憶されてもよい。 In the above description, the difference of the luminance image data per unit time is stored in the memory built in the CPU, but may be stored in other storage means such as a memory outside the CPU.
また、上記の説明においては、圧縮器9で生成された映像信号圧縮データは、一時的にSDRAM10に記憶されるが、SDRAM10に限らず、一時的にデータを記憶できるものであれば他の記憶手段に記憶されてもよく、あるいは、ストレージメディアの一部の領域を、この一時的な記憶に用いてもよい。
In the above description, the compressed video signal data generated by the
また、上記の説明においては、人物が侵入し不審者判定部8が起動された時刻から映像を記憶するが、これに限らず、人物が不審者と判定された時刻から映像を記憶してもよい。
In the above description, the video is stored from the time when the person invades and the suspicious
また、上記の説明においては、デジタル映像信号を圧縮した後にストレージメディアに記録させるが、デジタル映像信号のデータ量が小さい場合やストレージメディアの容量が大きい場合等には、圧縮することなくストレージメディアに記録させてもよい。あるいは、ストレージメディアに限らず、内蔵メモリーやハードディスク等の機器固定のメディアや、フラッシュカード等の容易に交換可能ないずれのメディアに記録させてもよい。 In the above description, the digital video signal is compressed and recorded on the storage medium. However, if the data amount of the digital video signal is small or the storage medium has a large capacity, the digital video signal is not compressed and stored on the storage medium. It may be recorded. Alternatively, the recording may be performed not only on the storage medium but also on any device-fixed medium such as a built-in memory or hard disk, or any easily replaceable medium such as a flash card.
また、上記の説明においては、「誰ですか?」等の呼びかけ音声からなる告知信号を出力するが、呼びかけ音声に限らず、どのような告知信号を出力してもよい。例えば、文字や記号などを表示するモニター等やブザーや電灯等を用いてもよく、人物を検知したことの告知ができればよい。 In the above description, a notification signal composed of a call voice such as “Who is?” Is output. However, the notification signal is not limited to a call voice, and any notification signal may be output. For example, a monitor or the like that displays characters or symbols, a buzzer, an electric light, or the like may be used as long as a person is detected.
また、上記の説明においては、人物が不審者と判定された場合に、圧縮器9で生成された映像信号圧縮データは、ストレージメディアに記録させるが、これに限らず、例えば、伝送路を介して、所定のPCや携帯端末等に送信してもよい。これにより、遠隔地においても、自宅等の監視を行うことが可能となる。
Further, in the above description, when the person is determined to be a suspicious person, the video signal compressed data generated by the
また、上記の説明においては、ステップS7において映像信号圧縮データをストレージメディアに記録させた後は、ステップS8に進み不審者判定部8を待機状態に移行させるが、ステップS7の後は、ステップS8に進むのではなくステップS1に戻ってもよい。
In the above description, after recording the video signal compressed data on the storage medium in step S7, the process proceeds to step S8, and the suspicious
<実施の形態2>
実施の形態1に係る不審者判定装置100においては、告知のタイミングの前後における映像信号の変化を用いることにより、不審者の判定を行う。しかし、映像信号の変化に加えて、温度信号の変化を用いてもよい。
<
In the suspicious
以下、本発明の実施の形態2に係る不審者判定装置200を、図6〜8を用いて説明する。図6は不審者判定装置200の構成を示すブロック図である。図7には、不審者判定装置200に入力される映像(図2と同様)の温度イメージが示されている。図8には、図7の温度イメージの差分である温度変化イメージが示されている。
Hereinafter, the suspicious
まず、不審者判定装置200の動作について説明する。図6において、赤外線センサー7およびシステム制御部13には、図示しない副電源供給部により、常に電源が供給されている。例えば、自宅玄関前に設置された赤外線センサー7を人物が横切ったときには、人物が侵入したという信号がシステム制御部13に入力される。これにより、システム制御部13は、主電源供給部15を制御し電源供給を開始することにより、不審者判定部(不審者判定手段)20を含む不審者判定装置200全体の起動を行う。
First, the operation of the suspicious
次に、例えば、自宅の玄関ドアの前に訪問者が立った様子を撮像できる様に設置された図示しないカメラからの映像信号が、映像入力端子5より入力される。入力された映像信号は映像系AD変換器1によりアナログ信号からデジタル信号に変換される。変換後のデジタル映像信号は、制御信号6により制御される映像系スイッチャー2と、切換スイッチ25を介して映像系AD変換器1に接続された圧縮器9とに伝達される。
Next, for example, a video signal from a camera (not shown) installed so as to be able to capture an image of a visitor standing in front of the entrance door of the home is input from the video input terminal 5. The input video signal is converted from an analog signal to a digital signal by the
この切換スイッチ25は、高速でスイッチングすることにより、映像系AD変換器1からの映像信号と、後述する温度系AD変換器22からの温度信号との両方を、圧縮器9に伝達させる動作を行う。
The
また、圧縮器9に伝達されたデジタル映像信号は、圧縮されることにより映像信号圧縮データが生成される。この映像信号圧縮データは、CPU4の制御により、所定の記憶容量を有するSDRAM10に記憶される。すなわち、SDRAM10において、記憶されているデータ量が記憶容量を超えそうになった場合には、古いデータから順に消去される。
The digital video signal transmitted to the
また、映像系スイッチャー2に伝達されたデジタル映像信号については、実施の形態1において図2〜4を用いて説明したのと同様に、輝度イメージおよび輝度変化イメージが生成されて、CPU4が内蔵するメモリーに記憶される。輝度イメージおよび輝度変化イメージの生成についてのここでの詳細な説明は省略するが、映像系スイッチャー2とメモリー3とが切換スイッチ26を介して接続されている点が実施の形態1と異なる。この切換スイッチ26は、高速でスイッチングすることにより、映像系スイッチャー2からの輝度イメージと、後述する温度系スイッチャー24からの温度イメージとの両方を、メモリー3に伝達させる動作を行う。
As for the digital video signal transmitted to the
また、図6に示すように、自宅の玄関ドア周辺の温度を測定できる様に設置された図示しないサーモグラフィ(温度センサー)からの温度信号が、温度センサー入力端子21より入力される。入力された温度信号は温度系AD変換器22によりアナログ信号からデジタル信号に変換される。変換後のデジタル温度信号は、制御信号23により制御される温度系スイッチャー24と、切換スイッチ25を介して温度系AD変換器22に接続された圧縮器9とに伝達される。制御信号23は、以下の温度分割動作を行うためのものである。
Further, as shown in FIG. 6, a temperature signal from a thermography (temperature sensor) (not shown) installed so as to measure the temperature around the entrance door of the home is input from the temperature
圧縮器9に伝達されたデジタル温度信号は、圧縮されることにより温度信号圧縮データが生成される。この温度信号圧縮データは、CPU4の制御により、所定の記憶容量を有するSDRAM10に記憶される。すなわち、SDRAM10において、記憶されているデータ量が記憶容量を超えそうになった場合には、古いデータから順に消去される。
The digital temperature signal transmitted to the
温度系スイッチャー24に伝達されたデジタル温度信号は、例えば、図7に示されるような16×12ドットの温度イメージに分割される。この温度イメージは、ドット毎のデータとして、一旦、メモリー3に記憶される。CPU4は、メモリー3に記憶されたデータをドット毎に読み込む。このとき、CPU4は、この温度イメージのデータの単位時間毎の差分を、自身が内蔵するメモリー(図示しない)に、温度変化イメージとして記憶する。
The digital temperature signal transmitted to the
図7(a)〜(c)には、図2(a)〜(c)にそれぞれ示されるような動作を行う人物の体温をサーモグラフィで測定し、その測定結果の(温度)信号を温度系スイッチャー24でドットに分割したときの温度イメージが示されている。また、図8(a)〜(c)にそれぞれ示すように、CPU4は、図7(a)〜(c)に示される温度イメージの単位時間毎の差分すなわち温度変化イメージを算出し、自身が内蔵するメモリーに記憶する。
7 (a) to (c), the body temperature of a person who performs the operations shown in FIGS. 2 (a) to (c) is measured by thermography, and the (temperature) signal of the measurement result is used as a temperature system. A temperature image when divided into dots by the
次に、上述した不審者判定部20の起動時から所定の期間が経過すると、システム制御部13は、音声出力部14を制御することにより、スピーカー16から、例えば「誰ですか?」等の呼びかけ音声からなる告知信号を出力させる。
Next, when a predetermined period has elapsed since the activation of the above-described suspicious
そして、CPU4は、この告知のタイミングを境とした人物の動作の変化を求めるために、告知のタイミングの前後において、自身が内蔵するメモリーに記憶された輝度変化イメージを比較する。
The
比較の結果、輝度変化イメージが、予め設定された所定の閾値より大きく変化している場合には、CPU4は、検知された人物は、告知によって動揺し動作が変化するという特徴を有する人物すなわち不審者であると判定する。
As a result of the comparison, if the luminance change image has changed more than a predetermined threshold value set in advance, the
また、CPU4は、この告知のタイミングを境とした人物の体温の変化を求めるために、告知のタイミングの前後において、自身が内蔵するメモリーに記憶された温度変化イメージを比較する。
Further, the
比較の結果、温度変化イメージが、予め設定された所定の閾値より大きく変化している場合には、CPU4は、検知された人物は、告知によって動揺し体温が変化するという特徴を有する人物すなわち不審者であると判定する。この比較においては、例えば、温度変化イメージのドット数からなる温度変化率を用いることにより、判定を行うことが可能となる。図8(d)は、告知後によって動作は変化しないが体温は変化する人物についての温度変化イメージを示している。
As a result of the comparison, when the temperature change image has changed more than a predetermined threshold value set in advance, the
すなわち、本実施の形態に係る不審者判定装置200は、動作および体温の両方の変化を用いて不審者の判定を行う。従って、不審者の動作の変化が小さい場合においても、より正確に不審者の判定を行うことが可能となる。
That is, the suspicious
比較の結果、温度変化イメージが、予め設定された所定の閾値より小さく変化している場合には、CPU4は、一般の訪問者であると判定する。
As a result of the comparison, when the temperature change image changes smaller than a predetermined threshold value set in advance, the
比較の結果、不審者と判定された場合には、CPU4は、SDRAM10に記憶された映像信号圧縮データおよび温度信号圧縮データを、ドライバー回路11を介して、ストレージデバイス12が内蔵するストレージメディア(図示しない)に記録させる。このSDRAM10には、入力された映像信号圧縮データおよび温度信号圧縮データが、人物が侵入し不審者判定部20が起動された時刻から記憶されている。従って、不審者が侵入し不審者判定装置20が起動された時刻からの映像および温度を、ストレージメディアに記録させることが可能となる。また、一時的にSDRAM10に記憶した後に必要なデータのみをストレージメディアに記録させることで、ストレージメディアを効率的に用いることが可能となる。
As a result of the comparison, when it is determined that the person is a suspicious person, the
このストレージメディアへの記録は、予め設定された所定の期間において、行われる。この期間が経過した後に、システム制御部13は、主電源供給部15を制御し不審者判定部20の電源供給を停止させる。これにより、不審者判定装置200は、再び、赤外線センサー7にて人物の侵入を検知するモードへと移行する。
Recording on the storage medium is performed in a predetermined period set in advance. After this period has elapsed, the
比較の結果、一般の訪問者と判定された場合には、予め設定された所定の期間が経過した後に、システム制御部13は、主電源供給部15を制御し不審者判定部20の電源供給を停止させる。これにより、不審者判定装置200は、再び、赤外線センサー7にて人物の侵入を検知するモードへと移行する。
If it is determined as a general visitor as a result of the comparison, the
このように、本実施の形態に係る不審者判定装置および不審者判定方法においては、実施の形態1における動作の変化に加えて、体温の変化を用いる。従って、実施の形態1の効果に加えて、人物の動作の変化が小さい場合においてもより正確に不審者の判定を行うことが可能となるという効果を有する。また、自宅の玄関ドア周辺の温度を測定できるので、例えば火災や放火等による温度上昇の検知が可能となるという効果を有する。 Thus, in the suspicious person determination device and the suspicious person determination method according to the present embodiment, a change in body temperature is used in addition to the change in operation in the first embodiment. Therefore, in addition to the effect of the first embodiment, there is an effect that the suspicious person can be more accurately determined even when the change in the movement of the person is small. In addition, since the temperature around the entrance door of the home can be measured, for example, it is possible to detect an increase in temperature due to fire or arson.
また、上記の説明においては、デジタル映像信号を16×12ドットの温度イメージに分割しているが、16×12ドットに限らず、16×16ドットや256×256ドット等、どのような温度イメージに分割してもよい。また、温度イメージへの分割に限らず、温度信号から体温の変化を求められる処理であれば、どのような処理であってもよい。また、この処理は、カメラから撮像される画像の全体の領域において行われてもよいし、画像の一部の領域(例えば、図1のドアの近傍)において行われてもよい。あるいは、この処理を行う領域は、ユーザーにより設定可能であってもよい。 In the above description, the digital video signal is divided into 16 × 12 dot temperature images, but not limited to 16 × 12 dots, any temperature image such as 16 × 16 dots or 256 × 256 dots may be used. You may divide into. Further, the process is not limited to the division into temperature images, and any process may be used as long as the process can obtain a change in body temperature from the temperature signal. Further, this process may be performed in the entire region of the image captured from the camera, or may be performed in a partial region of the image (for example, in the vicinity of the door in FIG. 1). Alternatively, the area for performing this process may be settable by the user.
また、上記の説明においては、告知のタイミングの前後における温度イメージの単位時間毎の差分を比較することにより体温の変化を求めているが、体温の変化を求められる処理であればよく、例えば、温度イメージをそのまま比較してもよい。 Further, in the above description, the change in body temperature is obtained by comparing the difference of the temperature image per unit time before and after the notification timing, but it may be any process that can obtain the change in body temperature, for example, You may compare a temperature image as it is.
また、上記の説明においては、温度イメージのデータの単位時間毎の差分は、CPUが内蔵するメモリーに記憶されるが、CPU外部のメモリー等の他の記憶手段に記憶されてもよい。 In the above description, the difference of the temperature image data per unit time is stored in the memory built in the CPU, but may be stored in other storage means such as a memory outside the CPU.
また、上記の説明においては、圧縮器9で生成された温度信号圧縮データは、一時的にSDRAM10に記憶されるが、SDRAM10に限らず、一時的にデータを記憶できるものであれば他の記憶手段に記憶されてもよく、あるいは、ストレージメディアの一部の領域を、この一時的な記憶に用いてもよい。
In the above description, the temperature signal compressed data generated by the
また、上記の説明においては、デジタル温度信号を圧縮した後にストレージメディアに記録させるが、デジタル映像信号のデータ量が小さい場合やストレージメディアの容量が大きい場合等には、圧縮することなくストレージメディアに記録させてもよい。あるいは、ストレージメディアに限らず、内蔵メモリーやハードディスク等の機器固定のメディアや、フラッシュカード等の用意に交換可能ないずれのメディアに記録させてもよい。 In the above description, the digital temperature signal is compressed and recorded on the storage medium. However, when the data amount of the digital video signal is small or the capacity of the storage medium is large, the digital temperature signal is not compressed. It may be recorded. Alternatively, the recording may be performed not only on the storage medium, but also on any device-fixed medium such as a built-in memory or hard disk, or any medium that can be exchanged for preparation such as a flash card.
<実施の形態3>
実施の形態1に係る不審者判定装置100においては、告知のタイミングの前後における映像信号の変化を用いことにより、不審者の判定を行う。しかし、映像信号の変化に代えて、音声信号を用いてもよい。
<Embodiment 3>
In the suspicious
以下、本発明の実施の形態3に係る不審者判定装置300を、図9を用いて説明する。図9は不審者判定装置300の構成を示すブロック図である。
Hereinafter, a suspicious
まず、不審者判定装置300の動作について説明する。図9において、赤外線センサー7およびシステム制御部13には、図示しない副電源供給部により、常に電源が供給されている。例えば、自宅玄関前に設置された赤外線センサー7を人物が横切ったときには、人物が侵入したという信号がシステム制御部13に入力される。これにより、システム制御部13は、主電源供給部15を制御し電源供給を開始することにより、不審者判定部(不審者判定手段)50を含む不審者判定装置300全体の起動を行う。
First, the operation of the suspicious
次に、例えば、自宅の玄関ドアの前に訪問者が立った様子を撮像できる様に設置された図示しないカメラからの映像信号が、映像入力端子5より入力される。入力された映像信号は映像系AD変換器1によりアナログ信号からデジタル信号に変換される。変換後のデジタル映像信号は、圧縮器9とに伝達される。
Next, for example, a video signal from a camera (not shown) installed so as to be able to capture an image of a visitor standing in front of the entrance door of the home is input from the video input terminal 5. The input video signal is converted from an analog signal to a digital signal by the
圧縮器9に伝達されたデジタル映像信号は、圧縮されることにより映像信号圧縮データが生成される。この映像信号圧縮データは、CPU4の制御により、所定の記憶容量を有するSDRAM10に記憶される。すなわち、SDRAM10において、記憶されているデータ量が記憶容量を超えそうになった場合には、古いデータから順に消去される。
The digital video signal transmitted to the
また、図9に示すように、自宅の玄関ドア周辺の音声を入力できる様に設置されたマイク52からの音声信号が、音声入力部51から入力される。
Also, as shown in FIG. 9, an audio signal from a
次に、上述した不審者判定部50の起動時から所定の期間が経過すると、システム制御部13は、音声出力部14を制御することにより、スピーカー16から、例えば「誰ですか?」等の呼びかけ音声からなる告知信号を出力させる。
Next, when a predetermined period has elapsed since the activation of the above-described suspicious
そして、CPU4は、この告知のタイミングから所定の期間が経過するまで、人物が発する音声をマイク52から入力させ、音声入力部51にてデジタル信号に変換させる。変換後のデジタル音声信号は、CPU4に送られる。このCPU4は、不審者ではない一般の訪問者が発する音声パターン(例えば、「宅配便でーす」等の普通の応答)に関しては、そのレベル、周波数、長さ、イントネーション等を含む情報パターンとして予め記憶している。CPU4は、入力されたデジタル音声信号を、予め記憶された情報パターンと比較する。
Then, the
検知された人物が不審者である場合には、告知によって動揺し、無言で立ち去ったり驚いて変な物音や妙な音声を発して逃げたりする等の、音声情報(音声信号)に関し特徴的な行動を起こすと考えられる。 If the detected person is a suspicious person, it will be upset by the notice, and it will be characteristic about voice information (voice signal), such as leaving silently or being surprised and escaping with a strange sound or strange sound. It is thought that action is taken.
従って、比較の結果、デジタル音声信号が、予め記憶されていない特別な音声パターンであった場合や、あるいは全く音声が入力されない場合には、CPU4は、検知された人物は不審者であると判定する。
Therefore, as a result of the comparison, if the digital audio signal is a special audio pattern that is not stored in advance, or if no audio is input, the
また、比較の結果、デジタル音声信号が、予め記憶された音声パターンを同様もしくは類似である場合には、CPU4は、一般の訪問者であると判定する。
As a result of the comparison, if the digital audio signal is similar or similar to the previously stored audio pattern, the
比較の結果、不審者と判定された場合には、CPU4は、SDRAM10に記憶された映像信号圧縮データを、ドライバー回路11を介して、ストレージデバイス12が内蔵するストレージメディア(図示しない)に記録させる。このSDRAM10には、入力された映像信号圧縮データが、人物が侵入し不審者判定部50が起動された時刻から記憶されている。従って、不審者が侵入し不審者判定装置50が起動された時刻からの映像を、ストレージメディアに記録させることが可能となる。また、一時的にSDRAM10に記憶した後に必要なデータのみをストレージメディアに記録させることで、ストレージメディアを効率的に用いることが可能となる。
If it is determined as a suspicious person as a result of the comparison, the
このストレージメディアへの記録は、予め設定された所定の期間において、行われる。この期間が経過した後に、システム制御部13は、主電源供給部15を制御し不審者判定部50の電源供給を停止させる。これにより、不審者判定装置300は、再び、赤外線センサー7にて人物の侵入を検知するモードへと移行する。
Recording on the storage medium is performed in a predetermined period set in advance. After this period has elapsed, the
比較の結果、一般の訪問者と判定された場合には、予め設定された所定の期間が経過した後に、システム制御部13は、主電源供給部15を制御し不審者判定部50の電源供給を停止させる。これにより、不審者判定装置300は、再び、赤外線センサー7にて人物の侵入を検知するモードへと移行する。
As a result of the comparison, when it is determined that the visitor is a general visitor, the
また、一般の訪問者と判定された場合には、マイク52から入力された音声を、ストレージメディアやメモリー等に記憶させてもよい。これにより、訪問者が誰であったかを後から確認することが可能となる。
If it is determined that the visitor is a general visitor, the sound input from the
このように、本実施の形態に係る不審者判定装置および不審者判定方法においては、実施の形態1における映像信号の変化に代えて、音声情報を用いる。従って、実施の形態1の効果に加えて、訪問者が誰であったかを後から確認することが可能となるという効果を有する。 As described above, in the suspicious person determination device and the suspicious person determination method according to the present embodiment, audio information is used instead of the change of the video signal in the first embodiment. Therefore, in addition to the effect of the first embodiment, it is possible to confirm later who the visitor was.
また、上記の説明においては、レベル、周波数、長さ、イントネーション等を含む情報パターンを用いて音声パターンの比較を行っているが、これに限らず、音声パターンを特定できるものであれば、どのような情報パターンを用いてもよい。 In the above description, the audio patterns are compared using information patterns including level, frequency, length, intonation, etc., but not limited to this, any audio pattern can be specified. Such an information pattern may be used.
1 映像系AD変換器、2 映像系スイッチャー、3 メモリー、4 CPU、5 映像入力端子、6,23 制御信号、7 赤外線センサー、8,20,50 不審者判定部、9 圧縮器、10 SDRAM、11 ドライバー回路、12 ストレージデバイス、13 システム制御部、14 音声出力部、15 主電源供給部、16 スピーカー、21 温度センサー入力端子、22 温度系AD変換器、24 温度系スイッチャー、25,26 切換スイッチ、51 音声入力部、52 マイク、100〜300 不審者判定装置。
DESCRIPTION OF
Claims (8)
前記検知が行われたことの告知を前記人物に対して行う告知手段と、
前記告知に伴う前記人物の反応に基づく信号の変化に基づき前記人物が不審者であるかどうかの判定を行う不審者判定手段と、
を備えることを特徴とする不審者判定装置。 Detection means for detecting a person to be determined;
Notification means for notifying the person that the detection has been performed;
Suspicious person judgment means for judging whether or not the person is a suspicious person based on a change in a signal based on the reaction of the person accompanying the notification;
A suspicious person determination device comprising:
前記信号は、映像信号である
ことを特徴とする不審者判定装置。 The suspicious person determination device according to claim 1,
The suspicious person determination device, wherein the signal is a video signal.
前記信号は、温度信号である
ことを特徴とする不審者判定装置。 The suspicious person determination device according to claim 1,
The suspicious person determination device, wherein the signal is a temperature signal.
前記信号は、音声信号である
ことを特徴とする不審者判定装置。 The suspicious person determination device according to claim 1,
The suspicious person determination device, wherein the signal is an audio signal.
前記不審者判定手段には前記検知が行われる前には主電源供給手段からは電源が供給されない
ことを特徴とする不審者判定装置。 A suspicious person determination device according to any one of claims 1 to 4,
The suspicious person judging device is characterized in that power is not supplied from the main power supply means before the detection is performed.
前記人物が不審者であると判定された場合に前記人物の映像を記録媒体に記録するための記録手段
をさらに備えることを特徴とする不審者判定装置。 A suspicious person determination device according to any one of claims 1 to 5,
A suspicious person judging device, further comprising recording means for recording a video of the person on a recording medium when the person is judged to be a suspicious person.
前記人物が不審者であると判定された場合に前記人物の映像は伝送路に送出される
ことを特徴とする不審者判定装置。 The suspicious person determination device according to any one of claims 1 to 6,
The suspicious person determination device according to claim 1, wherein when the person is determined to be a suspicious person, the video of the person is transmitted to a transmission path.
前記検知が行われたことの告知を前記人物に対して行う工程と、
前記告知に伴う前記人物の反応に基づく信号の変化に基づき前記人物が不審者であるかどうかの判定を行う工程と、
を備えることを特徴とする不審者判定方法。
Detecting a person to be determined; and
Notifying the person that the detection has been performed;
Determining whether the person is a suspicious person based on a change in a signal based on the reaction of the person accompanying the notification;
A suspicious person determination method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004175073A JP4627155B2 (en) | 2004-06-14 | 2004-06-14 | Suspicious person judgment device and suspicious person judgment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004175073A JP4627155B2 (en) | 2004-06-14 | 2004-06-14 | Suspicious person judgment device and suspicious person judgment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005352935A true JP2005352935A (en) | 2005-12-22 |
JP4627155B2 JP4627155B2 (en) | 2011-02-09 |
Family
ID=35587348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004175073A Expired - Fee Related JP4627155B2 (en) | 2004-06-14 | 2004-06-14 | Suspicious person judgment device and suspicious person judgment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4627155B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026506A (en) * | 2012-07-27 | 2014-02-06 | Retail-Support Co Ltd | Device, system and method for crime prevention, and computer program |
JP2018018150A (en) * | 2016-07-25 | 2018-02-01 | ユニティガードシステム株式会社 | Crime prevention system, crime prevention method, and robot |
JP2018181159A (en) * | 2017-04-19 | 2018-11-15 | ユニティガードシステム株式会社 | Security system, crime prevention method, and robot |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103593932A (en) * | 2012-08-17 | 2014-02-19 | 成都众山科技有限公司 | Voice antitheft alarm system based on special-purpose processing chip for infrared sensing signals |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01128197A (en) * | 1987-11-13 | 1989-05-19 | Komatsu Ltd | Stimulus reactive thief sensor |
JPH06282777A (en) * | 1993-03-25 | 1994-10-07 | Nohmi Bosai Ltd | Information processor |
JPH08190684A (en) * | 1995-01-06 | 1996-07-23 | Nippon Avionics Co Ltd | Entrance/exit controller |
JP2003281653A (en) * | 2002-03-26 | 2003-10-03 | Victor Co Of Japan Ltd | Autonomous mobile robot |
JP2003296855A (en) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | Monitoring device |
JP2003534864A (en) * | 2000-06-08 | 2003-11-25 | ハネウェル・インターナショナル・インコーポレーテッド | Detection system and method using thermal image analysis |
JP2004080142A (en) * | 2002-08-12 | 2004-03-11 | Sei Crest Co Ltd | Visitor monitoring apparatus |
-
2004
- 2004-06-14 JP JP2004175073A patent/JP4627155B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01128197A (en) * | 1987-11-13 | 1989-05-19 | Komatsu Ltd | Stimulus reactive thief sensor |
JPH06282777A (en) * | 1993-03-25 | 1994-10-07 | Nohmi Bosai Ltd | Information processor |
JPH08190684A (en) * | 1995-01-06 | 1996-07-23 | Nippon Avionics Co Ltd | Entrance/exit controller |
JP2003534864A (en) * | 2000-06-08 | 2003-11-25 | ハネウェル・インターナショナル・インコーポレーテッド | Detection system and method using thermal image analysis |
JP2003281653A (en) * | 2002-03-26 | 2003-10-03 | Victor Co Of Japan Ltd | Autonomous mobile robot |
JP2003296855A (en) * | 2002-03-29 | 2003-10-17 | Toshiba Corp | Monitoring device |
JP2004080142A (en) * | 2002-08-12 | 2004-03-11 | Sei Crest Co Ltd | Visitor monitoring apparatus |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014026506A (en) * | 2012-07-27 | 2014-02-06 | Retail-Support Co Ltd | Device, system and method for crime prevention, and computer program |
JP2018018150A (en) * | 2016-07-25 | 2018-02-01 | ユニティガードシステム株式会社 | Crime prevention system, crime prevention method, and robot |
JP2018181159A (en) * | 2017-04-19 | 2018-11-15 | ユニティガードシステム株式会社 | Security system, crime prevention method, and robot |
Also Published As
Publication number | Publication date |
---|---|
JP4627155B2 (en) | 2011-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100679412B1 (en) | Method and apparatus for controlling alarm function of a mobile terminal with a inertial sensor | |
US10663081B2 (en) | Method and apparatus for detecting water shortage for humidifier and storage medium | |
CN101352051B (en) | Method and apparatus of generating a voice siren in a security system | |
US6838994B2 (en) | Adaptive alarm system | |
JP6669240B1 (en) | Recording control device, recording control system, recording control method, and recording control program | |
KR20110005380A (en) | System for warning sleepiness and eye-glasses installed the same | |
US20100052904A1 (en) | Abnormality detecting device | |
JP2010187124A (en) | Monitoring camera system, video recording apparatus, and video recording method | |
JP2009171285A (en) | Mobile terminal device, alarm control method, program and recording medium | |
JP4627155B2 (en) | Suspicious person judgment device and suspicious person judgment method | |
KR100486527B1 (en) | Photographing control apparatus for mobile communication terminal with camera | |
JP2007267332A (en) | Video monitoring device | |
CN105791542A (en) | Method and device for searching mobile terminal and mobile terminal | |
US6982748B2 (en) | Automatically switched camera system with indicator for notifying the next subject of the camera system | |
KR100665957B1 (en) | Illegal intrusion detection system and method thereof | |
US9485401B2 (en) | Image pickup apparatus including a plurality of image pickup units for photographing different objects, method of controlling image pickup apparatus, and storage medium | |
CN106657564A (en) | Method and device for controlling mobile terminal | |
JP4618019B2 (en) | Image recording / playback device | |
JP2005241286A (en) | Alarm clock | |
JP2009239707A (en) | Intercom system | |
KR101328462B1 (en) | Alarm Bed having weight sensor and method for generating alarm signal using the same | |
KR100474188B1 (en) | An apparatus which can be built in a monitor and the method for detecting motion | |
JP4995613B2 (en) | Intercom system | |
CN116942140A (en) | Method, medium, program product and electronic device for detecting fall | |
JP3362664B2 (en) | Condition monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070522 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101102 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101104 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |