JP2012084009A - 画像センサ - Google Patents
画像センサ Download PDFInfo
- Publication number
- JP2012084009A JP2012084009A JP2010230668A JP2010230668A JP2012084009A JP 2012084009 A JP2012084009 A JP 2012084009A JP 2010230668 A JP2010230668 A JP 2010230668A JP 2010230668 A JP2010230668 A JP 2010230668A JP 2012084009 A JP2012084009 A JP 2012084009A
- Authority
- JP
- Japan
- Prior art keywords
- disturbance
- area
- attribute value
- image
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 claims abstract description 60
- 238000012544 monitoring process Methods 0.000 claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 32
- 241000239290 Araneae Species 0.000 description 70
- 230000006870 function Effects 0.000 description 46
- 238000001514 detection method Methods 0.000 description 28
- 238000000034 method Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 17
- 239000000284 extract Substances 0.000 description 14
- 229920001872 Spider silk Polymers 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000033748 Device issues Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像センサ100は、監視領域を撮影した監視画像を順次取得する撮像部10と、監視画像と背景画像から変化領域を抽出する変化領域抽出手段31と、変化領域が侵入物体の性質を持つ度合いを侵入物体属性値として算出する侵入物体属性値算出手段32と、変化領域が侵入物体以外の外乱である特定外乱の性質を持つ度合いを外乱属性値として算出する外乱属性値算出手段33と、外乱属性値の高い変化領域が所定時間内に所定頻度で重なって現れる領域を外乱領域として設定する外乱領域抽出手段35と、変化領域毎に変化領域が侵入物体か特定外乱かを判定する判定手段36を有し、判定手段36は、変化領域が外乱領域に重なる割合が大きいほど侵入物体と判定し難くする。
【選択図】図1
Description
この画像センサは、監視領域を撮影した監視画像から、監視領域内に侵入した侵入物体を検出するものである。特に、この画像センサは、例えば、照明光を反射するクモの糸のように侵入物体よりも撮像部に近い位置に発生し、侵入物体と誤判定されるおそれのある外乱について、その外乱の特徴量に基づいて外乱らしさの度合いを算出する。そして画像センサは、外乱らしさの度合いと、侵入物体の特徴量に基づいて算出した侵入物体らしさの度合いを比較することにより侵入物体の存在を判定する。また画像センサは、クモの糸のような外乱は一度発生すると人の手によって除去されるまで同じ位置に存在し続ける可能性が高いという特徴を利用して、過去に外乱が発生した位置において外乱らしさの度合いを高めることにより、外乱の検出精度を向上させ、これにより外乱を侵入物体と誤判定することを抑制させる。
撮像部10は、一定の時間間隔(例えば1/5秒)ごとに撮影を行う。そして撮像部10は、監視領域を撮影した監視画像を、例えば、横320画素×縦240画素を持ち、各画素が0〜255の輝度値を有するデジタル画像データとして生成する。そして撮像部10は、生成したデジタル画像データ(以降、入力画像と称する)を画像処理部30へ送信する。
変化領域抽出手段31は、抽出した変化領域毎にラベル番号を付し、差分2値化画像と同サイズであり、画素値を対応する変化領域のラベル番号とするラベル画像を作成する。そして変化領域抽出手段31は、作成したラベル画像を侵入物体属性値算出手段32及び外乱属性値算出手段33へ送信する。
(エッジの変化率)=(変化領域における入力画像の画素と背景画像の対応する画素とでエッジ画素であるか否かの判定が一致しない画素数)/(変化領域内の全画素数) (2)
なお、閾値Th2は、人による変動と、光や影による変動とを区別できるように実験または経験的に定められる。そして侵入物体属性値算出手段32は、エッジの変化率が大きいほど1に近く、エッジの変化率が小さいほど0に近くなるように正規化した値を特徴量a3とする。
(侵入物体属性値)=a1×b1+a2×b2+a3×b3 (3)
ただし、b1〜b3は、特徴量a1〜a3のいずれを重視するかによって決定される重み係数であり、その合計(Σbi(i=1,2,3))は1である。例えば、各特徴量a1〜a3の重みを等しくする場合、各重み係数は全て同一の値に定められ、各特徴量a1〜a3のうちの一部の特徴量を用いない場合、対応する重み係数は0に定められる。各重み係数の具体的な値をどのように設定するかは、画像センサ100が設置される環境や人を検出する目的などに応じて適宜最適化される。
(外乱領域包含率)=(変化領域のうち外乱領域と重なる画素数)/(変化領域内の全画素数) (4)
すなわち外乱領域包含率が高いほど、最近その変化領域に近傍外乱が発生していた可能性が高く、その変化領域は近傍外乱によるものである可能性が高い。
T1=(入力画像の変化領域内のエッジ画素数)/(変化領域内の全画素数) (5)
クモの糸は細長い形状を有するため、クモの糸が撮像されている変化領域のうち背景部分と隣接する部分が多い。そのため、物体自体の大きさに対するエッジ画素の比率は、人のような幅の広い物体と比較して大きくなる。また、クモの糸には粘着球と呼ばれる液体の玉が適当な間隔で付着しているため、クモの糸は光を乱反射する。そのため、照明部20から照射された光を反射するクモの糸は、輝度が一様ではなく、エッジが生じやすいという特徴を有する。従って、エッジ画素比率T1が大きいほど、クモの糸らしいと判定され、エッジ画素比率T1が小さいほど、クモの糸らしくないと判定される。
T2=(入力画像の変化領域内の画素の輝度値が対応する背景画像の画素の輝度値よりも高い画素数)/(変化領域内の全画素数) (6)
撮像部10の近傍に存在するクモの糸は、照明部20からの照明の影響を受けて、特に輝度が高くなるという特徴を有する。従って、輝度増加比率T2が大きいほど、クモの糸らしいと判定され、輝度増加比率T2が小さいほど、クモの糸らしくないと判定される。
なお、閾値Th3は、クモの糸が揺れた場合にも、そのクモの糸による変化領域がそのクモの糸による外乱領域に対応すると判定できるように、クモの糸が揺れたときの揺れ幅を考慮して定められることが好ましい。例えば、クモの糸が外乱領域として抽出された後にそのクモの糸が揺れたとき、その揺れにより抽出される変化領域が外乱領域にどの程度重なるかを計測することにより閾値Th3の適切な値を決定できる。閾値Th3として、例えば40%が好ましい。
図2(a)〜(c)に示すように、関数S1、S2及びS3は、変化領域がクモの糸らしいほど、出力値が1に近くなり、変化領域がクモの糸らしくないほど、出力値が0に近くなる関数である。このとき、外乱属性値は、関数S1、S2及びS3を用いて、例えば次式により算出される。
(外乱属性値)=S1×S2×S3 (7)
図3(a)〜(c)に示すように、関数S1'、S2'及びS3'も、関数S1、S2及びS3と同様に、変化領域がクモの糸らしいほど、出力値が1近くなり、変化領域がクモの糸らしくないほど、出力値が0近くなる関数である。このとき、外乱属性値は、関数S1'、S2'及びS3'を用いて、例えば次式により算出される。
(外乱属性値)=S1'×S2'×S3' (8)
従って、式(8)により算出された外乱属性値の方が、式(7)により算出された外乱属性値より大きい値になりやすい。
なお、d1〜d3、d1'〜d3'、e1〜e3、e1'〜e3'の具体的な値をどのように設定するかは、画像センサ100が設置される環境や人を検出する目的などに応じて適宜最適化される。
(外乱属性値)=S1''×S2''×S3'' (9)
このように、外乱属性値算出手段33は、外乱領域包含率が大きいほど外乱属性値が大きくなるように外乱属性値を算出する。
(外乱属性値)=S1×S2×S3×α (10)
但し、αは、1より大きい定数であり(α>1)、実験または経験的に定められる。αの値として、例えば1.5が好ましい。
(外乱属性値)=S1×c1+S2×c2+S3×c3 (11)
(外乱属性値)=S1'×c1+S2'×c2+S3'×c3 (12)
ただし、c1〜c3は、T1〜T3のいずれを重視するかによって決定される重み係数であり、その合計(Σci(i=1,2,3))は1である。例えば、T1〜T3の重みを等しくする場合、各重み係数は全て同一の値に定められ、T1〜T3のうちの一部の特徴量を用いない場合、対応する重み係数は0に定められる。各重み係数の具体的な値をどのように設定するかは、画像センサ100が設置される環境や人を検出する目的などに応じて適宜最適化される。
降雨・降雪の判定方法は、例えば、特開2007−226604に開示されている。具体的には、雨や雪は明るい線分状の形状で入力画像に表示され、次の入力画像では消える(または入力画像内の別の場所に移動する)という特性を利用する。すなわちノイズ判定手段34は、フレーム間差分処理により、明るく変化した後、次のフレームで暗く変化する領域を抽出する。そしてノイズ判定手段34は、形状が細長くない部分を除去した領域が画像全体に分布し、かつ出現頻度が所定の閾値以上であるとき、降雨・降雪があると判定する。
あるいはノイズ判定手段34は、周知の降雨センサ、降雪センサから降雨・降雪情報を取得するようにしてもよいし、周知の気象情報通知システムから気象情報を取得するようにしてもよい。その場合、画像センサ100に外部のセンサまたはシステムと通信するための通信インターフェース及びその制御回路を備えておき、ノイズ判定手段34は、その通信インターフェースを介して外部のセンサまたはシステムと通信すればよい。
そこでノイズ判定手段34は、例えば、入力画像毎に所定の閾値Th4(例えば、230)以上の輝度値を有する画素数を算出し、算出した画素数が所定の閾値Th5以上であれば、入力画像内に光源が存在していると判定する。なお、閾値Th4は、入力画像内の画素が光源からの照明に相当するほど十分に高い輝度値をもつか否かを判定するための閾値であり、閾値Th5は、輝度値の高い領域が光源からの照明に相当する大きさをもつか否かを判定するための閾値である。これらの閾値は、例えば実際に光源を撮影したときの入力画像の輝度値を測定することにより、適切な値を決定できる。
そこでノイズ判定手段34は、例えば、入力画像毎に閾値Th4以上の輝度値を有する画素数を算出し、算出した画素数の入力画像毎の変化数が所定の閾値Th6以上であれば、入力画像内に撮像された光源が点滅していると判定する。なお、閾値Th6は、光源からの照明が変化しているか否かを判定するための閾値である。閾値Th6は、例えば実際に光源を点滅させたときの入力画像の輝度値の変化を測定することにより、適切な値を決定できる。
そこでノイズ判定手段34は、例えば、定期的に入力画像の平均輝度を算出し、その平均輝度が所定の閾値以上に変化するか否かを判定することにより、照明変動の有無を判定する。なお、この閾値は、例えば実際に照明変動を発生させたときの入力画像の平均輝度値を測定することにより、適切な値を決定できる。
あるいはノイズ判定手段34は、定期的に撮像部10からAGC(Automatic Gain Control)制御で用いられるゲイン値またはシャッタ制御で用いられるシャッタスピード値を取得し、取得したゲイン値またはシャッタスピード値が所定の閾値以上に変化するか否かを判定することにより、照明変動の有無を判定するようにしてもよい。なお、これらの閾値は、例えば実際に照明変動を発生させたときのゲイン値またはシャッタスピード値を測定することにより、適切な値を決定できる。
なお、特定変化領域を抽出するために用いられる外乱属性値として、外乱領域包含率の大きさに関わらず、式(7)で算出されるものを常に用いるようにしてもよい。
画像330、340、350は、それぞれ画像300、310、320から抽出された変化領域を示す。画像330、340、350では、それぞれクモの糸301、311、321に対応する領域331、341、351が変化領域として抽出されている。なお、画像330、340、350に示す例では、変化領域として抽出された領域331、341、351がそのまま特定変化領域となっているものとする。
画像360は外乱領域を示す。画像360では、特定変化領域331、341、351の全てが重なっている斜線部分の領域、すなわち3回の特定変化領域の抽出処理で3回とも抽出された領域が外乱領域361として抽出される例を示している。
画像420は、入力画像400と背景画像410から抽出された変化領域を示す。画像420では、クモの糸401とクモの糸411の位置、形状の違いによって生じる入力画像400と背景画像410の輝度差により変化領域421が抽出され、人402と対応する背景の輝度差により変化領域422が抽出されている。
画像430は、画像320に示した変化領域421、422と図6の画像360に示した外乱領域361の関係を表す。画像430に示した変化領域421のうち斜線部分431が、変化領域421と外乱領域361の重なる部分を示しており、変化領域421の画素数と斜線部分431の画素数が外乱領域包含率の算出に用いられる。
あるいは判定手段36は、変化領域そのものが存在しない場合に背景画像更新手段37に背景画像更新要求を送信して背景画像を更新させるようにしてもよい。
20 照明部
30 画像処理部
31 変化領域抽出手段
32 侵入物体属性値算出手段
33 外乱属性値算出手段
34 ノイズ判定手段
35 外乱領域抽出手段
36 判定手段
37 背景画像更新手段
40 記憶部
50 出力部
100 画像センサ
Claims (6)
- 監視領域内に侵入した侵入物体を検出する画像センサであって、
前記監視領域を撮影した監視画像を順次取得する撮像部と、
前記監視領域に侵入物体が存在しない状況において前記監視領域を撮影した画像である背景画像を記憶する記憶部と、
前記監視画像と前記背景画像を用いて、前記監視画像中の変化が侵入物体に起因するものであり前記侵入物体以外の外乱である特定外乱に起因するものではないことを画像処理によって判定する画像処理部を有し、
前記画像処理部は、
前記監視画像と前記背景画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域が侵入物体の性質を持つ度合いを侵入物体属性値として算出する侵入物体属性値算出手段と、
前記変化領域が前記特定外乱の性質を持つ度合いを外乱属性値として算出する外乱属性値算出手段と、
前記外乱属性値の高い変化領域が所定時間内に所定頻度で重なって現れる領域を抽出し、当該抽出した領域を外乱領域として設定する外乱領域抽出手段と、
前記変化領域毎に前記侵入物体属性値および前記外乱属性値を比較し、当該変化領域が前記侵入物体か前記特定外乱かを判定する判定手段を有し、
前記判定手段は、前記変化領域が前記外乱領域に重なる割合が大きいほど侵入物体と判定し難くすることを特徴とした画像センサ。 - 前記外乱属性値算出手段は、前記監視画像の前記変化領域に占めるエッジ画素の割合であるエッジ画素比率および/または前記監視画像の前記変化領域中の画素の輝度値が対応する前記背景画像の画素の輝度値よりも高い画素の割合である輝度増加比率を算出し、前記エッジ画素比率および前記輝度増加比率が大きいほど当該変化領域が持つ前記特定外乱の性質が強いものとして、前記エッジ画素比率および前記輝度増加比率のうち少なくとも一つを用いて、前記外乱属性値を算出する、請求項1に記載の画像センサ。
- 前記外乱属性値算出手段は、さらに前記変化領域を楕円近似したときの短軸長を算出し、前記短軸長が短いほど当該変化領域が持つ前記特定外乱の性質が強いものとして、前記短軸長を用いて前記外乱属性値を算出する、請求項1または2に記載の画像センサ。
- 前記外乱領域抽出手段は、前記外乱領域の総面積を算出し、当該総面積が所定値以上となるときは新たに前記外乱領域の設定を行わないことを特徴とした請求項1〜3の何れか一項に記載の画像センサ。
- 前記画像処理部は、さらに、前記監視領域が降雨または降雪の発生しているノイズ状態であるか否かを判定するノイズ判定手段を有し、
前記外乱領域抽出手段は、前記ノイズ判定手段によって前記ノイズ状態であると判定されたときは前記外乱領域の設定を行わないことを特徴とした請求項4に記載の画像センサ。 - 前記外乱領域抽出手段は、さらに、前記外乱領域として新たに追加した領域毎に当該領域の追加時から第2の所定時間を計時し、前記第2の所定時間が経過するまでは、当該領域が、前記外乱属性値の高い変化領域が前記所定時間内に前記所定頻度で重なって現れる領域でなくても前記外乱領域としての設定を保持することを特徴とした請求項1〜5の何れか一項に記載の画像センサ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010230668A JP5761954B2 (ja) | 2010-10-13 | 2010-10-13 | 画像センサ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010230668A JP5761954B2 (ja) | 2010-10-13 | 2010-10-13 | 画像センサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012084009A true JP2012084009A (ja) | 2012-04-26 |
JP5761954B2 JP5761954B2 (ja) | 2015-08-12 |
Family
ID=46242794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010230668A Active JP5761954B2 (ja) | 2010-10-13 | 2010-10-13 | 画像センサ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5761954B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015001836A (ja) * | 2013-06-14 | 2015-01-05 | セコム株式会社 | 画像センサ |
WO2017047494A1 (ja) * | 2015-09-18 | 2017-03-23 | 株式会社日立国際電気 | 画像処理装置 |
JP2018022475A (ja) * | 2016-06-08 | 2018-02-08 | アクシス アーベー | 背景モデルを更新するための方法及び装置 |
JP2018106366A (ja) * | 2016-12-26 | 2018-07-05 | 三菱電機株式会社 | 画像処理装置、プログラム |
JP2019105550A (ja) * | 2017-12-13 | 2019-06-27 | コニカミノルタ株式会社 | 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000350191A (ja) * | 1999-06-02 | 2000-12-15 | Secom Co Ltd | 画像センサ |
JP2006185310A (ja) * | 2004-12-28 | 2006-07-13 | Secom Co Ltd | 画像センシング装置 |
JP2009163426A (ja) * | 2007-12-28 | 2009-07-23 | Secom Co Ltd | 複合型侵入検知装置 |
JP2010067206A (ja) * | 2008-09-12 | 2010-03-25 | Secom Co Ltd | 画像センサ |
JP2010097265A (ja) * | 2008-10-14 | 2010-04-30 | Nohmi Bosai Ltd | 煙検出装置 |
-
2010
- 2010-10-13 JP JP2010230668A patent/JP5761954B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000350191A (ja) * | 1999-06-02 | 2000-12-15 | Secom Co Ltd | 画像センサ |
JP2006185310A (ja) * | 2004-12-28 | 2006-07-13 | Secom Co Ltd | 画像センシング装置 |
JP2009163426A (ja) * | 2007-12-28 | 2009-07-23 | Secom Co Ltd | 複合型侵入検知装置 |
JP2010067206A (ja) * | 2008-09-12 | 2010-03-25 | Secom Co Ltd | 画像センサ |
JP2010097265A (ja) * | 2008-10-14 | 2010-04-30 | Nohmi Bosai Ltd | 煙検出装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015001836A (ja) * | 2013-06-14 | 2015-01-05 | セコム株式会社 | 画像センサ |
WO2017047494A1 (ja) * | 2015-09-18 | 2017-03-23 | 株式会社日立国際電気 | 画像処理装置 |
JPWO2017047494A1 (ja) * | 2015-09-18 | 2018-07-12 | 株式会社日立国際電気 | 画像処理装置 |
JP2018022475A (ja) * | 2016-06-08 | 2018-02-08 | アクシス アーベー | 背景モデルを更新するための方法及び装置 |
US10489916B2 (en) | 2016-06-08 | 2019-11-26 | Axis Ab | Method and apparatus for updating a background model |
JP2018106366A (ja) * | 2016-12-26 | 2018-07-05 | 三菱電機株式会社 | 画像処理装置、プログラム |
JP2019105550A (ja) * | 2017-12-13 | 2019-06-27 | コニカミノルタ株式会社 | 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム |
JP7020096B2 (ja) | 2017-12-13 | 2022-02-16 | コニカミノルタ株式会社 | 物体検出装置、物体検出装置の制御方法、および物体検出装置の制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5761954B2 (ja) | 2015-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6246321B1 (en) | Movement detector | |
CN103270536B (zh) | 停止物体探测 | |
JP5761954B2 (ja) | 画像センサ | |
JP4611776B2 (ja) | 画像信号処理装置 | |
JP2010238032A (ja) | 煙検出装置 | |
US8411947B2 (en) | Video processing to detect movement of an object in the scene | |
KR101764071B1 (ko) | 사람 검지 시스템 | |
JP4542929B2 (ja) | 画像信号処理装置 | |
JP5042177B2 (ja) | 画像センサ | |
US12087142B2 (en) | Method and system for detecting concealed objects using handheld thermal imager | |
KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
JP4656977B2 (ja) | センシング装置 | |
CN112084813A (zh) | 异常目标的检测方法、装置及存储介质 | |
JP4491360B2 (ja) | 画像信号処理装置 | |
JP5679760B2 (ja) | 侵入物体検出装置 | |
CN101930540A (zh) | 基于视频的多特征融合的火焰检测装置和方法 | |
JP5393086B2 (ja) | 画像センサ | |
JP6189284B2 (ja) | 画像センシング装置 | |
ES2306020T3 (es) | Deteccion de humo con una camara de video. | |
Yuwono et al. | Design and implementation of human detection feature on surveillance embedded IP camera | |
JP2009157763A (ja) | 複合型侵入検知装置 | |
JP2012048690A (ja) | 監視装置 | |
JP6155106B2 (ja) | 画像センサ | |
JP7328778B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2016103246A (ja) | 画像監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5761954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |