JP2008275477A - 領域抽出装置及び領域抽出方法 - Google Patents
領域抽出装置及び領域抽出方法 Download PDFInfo
- Publication number
- JP2008275477A JP2008275477A JP2007120072A JP2007120072A JP2008275477A JP 2008275477 A JP2008275477 A JP 2008275477A JP 2007120072 A JP2007120072 A JP 2007120072A JP 2007120072 A JP2007120072 A JP 2007120072A JP 2008275477 A JP2008275477 A JP 2008275477A
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- intensity
- extraction
- afterimage
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】領域抽出装置1は、波長λ1及び波長λ2のレーザ光又はLED光を対象物に照射して得られる反射光について3フレーム以上の画像データを取得する撮像部15と、撮像部15が取得した各フレーム間の画像データの演算に基づき人肌抽出指標NDHIを算出する演算部17とを有する。演算部17は、撮像部15の撮像結果に基づき残像係数を算出する残像係数算出手段と、この残像係数に基づき波長λ1及び波長λ2における残像を除去した反射強度を算出する強度算出手段と、波長λ1及び波長λ2の反射強度に基づき背景から肌領域を抽出する人肌抽出指標を算出する指標算出手段とを有する。
【選択図】図1
Description
洪水や津波、水難事故などによって行方不明になった際、ヘリコプター等による上空からの捜索が行われるが、広範囲にわたって、肉眼による継続的な捜索は困難を極める。特に夜間の水上捜索など、二次災害の危険を低減し、捜索をより安全かつ確実に行うためには、無人機による自動探索が有効であるが、この場合、観測画像の中から背景やその他の漂流物と、ヒトの肌を選択的に分離する技術の実現が求められている。また、防犯の分野でも、動物や、揺れ動く木々の像と、分離して、ヒトの肌のみを選択的に検出する画像観測装置の実現が望まれている。
It−1(i)=Iλ1
It(i)=Iλ2
It+1(i)=ξIλ1
It+2(i)=ηIλ2
xt(i)=k(i)xt−1(i)+Iλ2・・・(1)
xt+1(i)=k(i)xt(i)+ξIλ1・・・(2)
xt+2(i)=k(i)xt+1(i)+ηIλ2・・・(3)
式(1)×η−式(3)によりIλ2を消去する。
ηxt(i)−xt+2(i)=ηk(i)xt−1(i)−k(i)xt+1(i)・・・(4)
上式より、以下のように各画素毎に独立に残像係数k(i)を得ることができる。
k(i)={ηxt(i)−xt+2(i)}/{ηxt−1(i)−xt+1(i)}・・・(4')
Iλ1={xt+1(i)−k(i)xt(i)}/ξ
=[xt+1(i)−{ηxt(i)−xt+2(i)}/{ηxt−1(i)−xt+1(i)}xt(i)]/ξ・・・(5)
Iλ2={xt+2(i)−k(i)xt+1(i)}/η
=[xt+2(i)−{ηxt(i)−xt+2(i)}/{ηxt−1(i)−xt+1(i)}xt+1(i)]/η・・・(6)
NDHI=(Iλ1/I0(λ1)−Iλ2/I0(λ2))/(Iλ1/I0(λ1)+Iλ2/I0(λ2))(Rλ1−Rλ2)/(Rλ1+Rλ2)=・・・(7)
k(t)=αβt・・・(8)
dx(t)/dt=0 (10)
xequ=−I/(β・lnα)・・・(11)
ty=(1/β)logα(1−y/100) (13)
x(t4)θ3−x(t1)θ2−x(t5)θ+x(t2)=0・・・(14)
x(t2)θ3−x(t3)θ2−x(t3)θ+x(t4)=0・・・(15)
0<θ<1・・・(16)
また、推定されたθを用いて、2入力の推定値が式(16)、(17)で算出される。
人肌抽出による要救助者の捜索は、肌が多く露出している海水浴、マリンスポーツ等での水難事故、及び津波や洪水災害後に利用することで有用性を発揮すると考えられる。このような場合、実際には水が不透明に濁っていることが多い。そこで、本実施の形態にかかる領域抽出装置においては、泥水内外の人肌領域を抽出する。
次に、本発明の実施例を、従来方法である比較例と比較して説明する。実施の形態1の方式1において、入力Iλ1、Iλ2、一定入力の間隔Δt、残像関数k(t)、受光強度比ξ、ηをそれぞれ以下のように設定した場合のシミュレ−ションによる入出力値関係図を図9に示す。
Iλ1=1.5、Iλ2=1.0、Δt=33ms、k(t)=0.6t/50、ξ=1/2、η=2
Iλ1=1.5、Iλ2=1.0、Δt=100ms、k(t)=0.6t/50
次に、実施の形態2にかかる実施例について説明する。NDHIを利用して泥水内外の人肌を抽出する。また、NDHIの有用性を調べるために、赤外線カメラを用いた体温感知によるヒト認識との比較を行う。
NDHI=(R1−R2)/(R1+R2)・・・(19)
NDHI=(R(1100)−R(1550))/(R(1100)+R(1550))・・・(20)
ここで、R(λ)は波長λnmでの反射率を表している。
A:泥水内の物体(人肌、及びヒト以外の物体)と泥水外の人肌を抽出した画像
B:泥水内の物体を削除し、泥水外の人肌のみ抽出した画像
ただし、画像A、BのR(1100)の閾値については、泥水内の物体の深度、泥水の透視度ごとに調節する必要がある。
次に、実施例3について説明する。上述の実施例2の方法では、ヒト以外の物体が同じ程度の水深に存在する場合、その物体を人肌と同様に抽出するため、泥水外の人肌と連続した泥水内の物体をヒトとして認識する必要がある。そこで、本実施例では、実施の形態2に示す方法により、泥水内外のヒト識別を行なう。
次に、実施例4について説明する。泥水内の物体抽出に際し、NDHIが適用可能な泥水の深度と透視度の関係を調査した。実施例2、3と同様の室内の測定系(ただし水面の高さは30cmとする)を用い、右手の甲の部分の深度が0cmから20cmに至るまで2cm間隔で深度を変えて測定を実施した。泥水は透視度40、20、及び10の3種類を準備し、透視度∞の水として中水を使用した。それぞれの透視度における各深度の人肌のスペクトル特性を図35乃至図38に示す。
次に、実施例5について説明する。NDHIと赤外線センサを使用したヒト認識との比較結果について説明する。従来のヒト認識の主な手法の一つに熱赤外領域を利用した赤外線センサによる体温感知がある。そこで水難事故や水災害を想定した場面での赤外線センサによる体温感知とNDHIとの比較を行う。赤外線センサはNEC社製TH3100MRを使用した。氷水中に30秒間右手を浸して体温を下げた後、透視度10の泥水中に手のひらを浸し、赤外線センサとハイパースペクトルセンサで測定を行った。海難事故や台風などによる水災害の多発する夏期8月の本州周辺の海水温は25〜29度℃である。そこで、泥水の温度を25度℃とした。赤外線センサによる測定は10分間行い、体温が戻る様子を観察した。赤外線センサの測定結果では、開始直後は泥水より手のひらの体温が低いが、時間の経過とともに徐々に体温が戻り始め、5分後には泥水に接する部分の温度が27度℃前後まで回復したが、水面から出ている手の部分の温度は10分後も27度℃前後から上昇せず、手の形状が認識できなかった。一方、NDHI画像(R(1100)≧0.035で閾値処理)の結果は、泥水内外の手の形状が明確に抽出可能であった。このように体温が下がっている状況での水面下のヒト認識には、赤外線センサを使用した体温認識と比較してNDHIの方が有効である。
11、12 LED
13 輝度変調部
14 同期回路
15 撮像部
16 フレームバッファ
17 演算部
18 出力部
171 残像係数算出部
172 反射強度算出部
173 反射率算出部
174 前処理部
175 算出部
176 二値化処理部
177 ラベリング処理部
Claims (17)
- 入力された画像の中から抽出対象に対応する対象領域を抽出する領域抽出装置であって、
第1波長及びこの第1波長とは波長が異なる第2波長の電磁波を対象物に照射して得られる反射波又は透過波について3フレーム以上の画像データを取得する画像取得手段と、
前記画像取得手段が取得した各フレーム間の画像データの演算に基づき残像係数を算出する残像係数算出手段と、
前記残像係数に基づき前記第1波長及び第2波長における残像を除去した反射強度又は透過強度を算出する強度算出手段と、
前記第1波長及び前記第2波長の前記反射強度又は透過強度に基づき背景から前記抽出対象を抽出する抽出指標を算出する指標算出手段とを有する領域抽出装置。 - 前記指標算出手段は、前記第1波長及び第2波長の前記反射強度又は透過強度に基づき反射率又は透過率を算出し、当該反射率又は透過率に基づき前記抽出指標を算出する
ことを特徴とする請求項1記載の領域抽出装置。 - 前記指標算出手段は、前記第1波長及び第2波長の前記反射率又は透過率の差分を正規化して前記抽出指標を算出する
ことを特徴とする請求項2記載の領域抽出装置。 - 前記残像係数算出手段は、注目画素の残像係数をk(i)、注目画素iの時刻tにおける現在フレームの反射強度又は透過強度をIt(i)、注目画素iの時刻t−1における前フレームからの残像を含む、前記画像取得手段が取得する受光強度又は透過強度をxt(i)としたとき、xt(i)=k(i)xt−1(i)+It(i)として残像係数を求める
ことを特徴とする請求項1乃至3のいずれか1項記載の領域抽出装置。 - 前記画像取得手段は、時間間隔Δtで照射強度を変化させた3フレーム以上の画像データを取得し、
前記強度算出手段は、時刻tにおける画素値をx(t)、残像係数θ(0<θ<1)としたとき、
第1の波長における反射強度又は透過強度を
ことを特徴とする請求項1乃至3のいずれか1項記載の領域抽出装置。 - 前記画像取得手段は、時間間隔Δtで照射強度を変化させた3フレーム以上の画像データを取得し、
前記残像係数算出手段は、時刻tにおける反射強度又は透過強度をI(t)、残像係数を表す関数をk(t)、残像を含む、前記画像撮像手段が取得する受光強度をx(t)としたとき、
ことを特徴とする請求項1、2、3又は5記載の領域抽出装置。 - 前記第1波長及び第2波長の光を照射する照射手段と、
前記照射手段の輝度を変調する輝度変調手段とを更に有する
ことを特徴とする請求項1乃至6のいずれか1項記載の領域抽出装置。 - 前記強度算出手段は、前記輝度変調手段により輝度が変調された前記第1波長及び第2波長の反射光又は透過光の画像データに基づき前記反射強度又は透過強度を算出する
ことを特徴とする請求項7項記載の領域抽出装置。 - 第1波長における反射率又は透過率をR1、第2波長における反射率又は透過率をR2としたとき、前記指標算出手段は、抽出指標=(R1−R2)/(R1+R2)を求める
ことを特徴とする請求項1乃至8のいずれか1項記載の物体抽出装置。 - 前記抽出指標を閾値処理により二値化した画像を出力する出力手段を更に有する
ことを特徴とする請求項1乃至9のいずれか1項記載の領域抽出装置。 - 前記抽出対象は、人間の肌である
ことを特徴とする請求項1乃至10のいずれか1項記載の領域抽出装置。 - 前記電磁波は、レーザ光又は発光ダイオード光である
ことを特徴とする請求項1乃至11のいずれか1項記載の領域抽出装置。 - 入力された画像の中から抽出対象に対応する対象領域を抽出する領域抽出方法であって、
第1波長及びこの第1波長とは波長が異なる第2波長の電磁波を対象物に照射して得られる反射波又は透過波について3フレーム以上の画像データを取得する画像取得工程と、
前記画像取得工程にて取得した各フレーム間の画像データの演算に基づき残像係数を算出する残像係数算出工程と、
前記残像係数に基づき前記第1波長及び第2波長における残像を除去した反射強度又は透過強度を算出する強度算出工程と、
前記第1波長及び前記第2波長の前記反射強度又は透過強度に基づき背景から前記抽出対象を抽出する抽出指標を算出する指標算出工程とを有する領域抽出方法。 - 前記指標算出工程では、前記第1波長及び第2波長の前記反射強度又は透過強度に基づき反射率又は透過率を算出し、当該反射率に基づき前記抽出指標を算出する
ことを特徴とする請求項13記載の領域抽出方法。 - 前記指標算出工程では、前記第1波長及び第2波長の前記反射率又は透過率の差分を正規化して前記抽出指標を算出する
ことを特徴とする請求項14記載の領域抽出方法。 - 前記残像係数算出工程では、注目画素の残像係数をk(i)、注目画素iの時刻tにおける現在フレームの反射強度又は透過強度をIt(i)、注目画素iの時刻t−1における前フレームからの残像を含む、前記画像取得工程にて取得する受光強度をxt(i)としたとき、xt(i)=k(i)xt−1(i)+It(i)として残像係数を求める
ことを特徴とする請求項13乃至15のいずれか1項記載の領域抽出方法。 - 前記画像取得工程では、時間間隔Δtで照射強度を変化させた3フレーム以上の画像データを取得し、
前記強度算出工程では、時刻tにおける画素値をx(t)、残像係数θ(0<θ<1)としたとき、
第1の波長における反射強度又は透過強度を
ことを特徴とする請求項13乃至15のいずれか1項記載の領域抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007120072A JP5026854B2 (ja) | 2007-04-27 | 2007-04-27 | 領域抽出装置及び領域抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007120072A JP5026854B2 (ja) | 2007-04-27 | 2007-04-27 | 領域抽出装置及び領域抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008275477A true JP2008275477A (ja) | 2008-11-13 |
JP5026854B2 JP5026854B2 (ja) | 2012-09-19 |
Family
ID=40053597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007120072A Expired - Fee Related JP5026854B2 (ja) | 2007-04-27 | 2007-04-27 | 領域抽出装置及び領域抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5026854B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010217149A (ja) * | 2009-03-19 | 2010-09-30 | Tokyo Institute Of Technology | 対象識別装置 |
JP2010256303A (ja) * | 2009-04-28 | 2010-11-11 | Sumitomo Electric Ind Ltd | ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法 |
WO2011126112A1 (ja) * | 2010-04-09 | 2011-10-13 | トヨタ自動車 株式会社 | スペクトル測定装置 |
JP2012107944A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 対象識別装置及び対象識別方法 |
JP2012128862A (ja) * | 2010-12-14 | 2012-07-05 | Xerox Corp | Irイメージングシステムを介して得られるir画像における総人数の決定方法 |
JP2013113803A (ja) * | 2011-11-30 | 2013-06-10 | Sumitomo Electric Ind Ltd | 対象検出装置および対象検出方法 |
JP2013115745A (ja) * | 2011-11-30 | 2013-06-10 | Sumitomo Electric Ind Ltd | 対象検出装置および対象検出方法 |
JP2013117454A (ja) * | 2011-12-05 | 2013-06-13 | Tokyo Institute Of Technology | 対象物検出装置 |
JP5632060B1 (ja) * | 2013-10-07 | 2014-11-26 | 佐鳥 新 | ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム |
WO2015008435A1 (ja) * | 2013-07-17 | 2015-01-22 | パナソニックIpマネジメント株式会社 | 分光装置 |
US9305220B2 (en) | 2010-04-09 | 2016-04-05 | Toyota Jidosha Kabushiki Kaisha | Spectrum measurement device |
JP2018500059A (ja) * | 2014-12-01 | 2018-01-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 皮膚検出に関するデバイス及び方法 |
JP2020012684A (ja) * | 2018-07-13 | 2020-01-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04207866A (ja) * | 1990-11-30 | 1992-07-29 | Toshiba Corp | 画像処理装置 |
JP2006153467A (ja) * | 2004-11-25 | 2006-06-15 | Matsushita Electric Works Ltd | 人体検知装置 |
JP2006242909A (ja) * | 2005-03-07 | 2006-09-14 | Toyota Central Res & Dev Lab Inc | 対象物の部位判別装置 |
-
2007
- 2007-04-27 JP JP2007120072A patent/JP5026854B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04207866A (ja) * | 1990-11-30 | 1992-07-29 | Toshiba Corp | 画像処理装置 |
JP2006153467A (ja) * | 2004-11-25 | 2006-06-15 | Matsushita Electric Works Ltd | 人体検知装置 |
JP2006242909A (ja) * | 2005-03-07 | 2006-09-14 | Toyota Central Res & Dev Lab Inc | 対象物の部位判別装置 |
Non-Patent Citations (2)
Title |
---|
枝長孝幸 他: ""人肌抽出指標NDHIを用いた泥水中の人肌検出に関する研究"", 電子情報通信学会総合大会講演論文集, vol. 2006年 情報・システム(2), JPN6012004505, 8 March 2006 (2006-03-08), pages 145, ISSN: 0002134689 * |
枝長孝幸: ""短波長赤外領域スペクトル情報を用いた人肌抽出に関する研究"", 日本写真測量学会 平成17年度秋季学術講演会発表論文集, JPN6012030195, 26 October 2005 (2005-10-26), pages 45 - 48, ISSN: 0002249205 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010217149A (ja) * | 2009-03-19 | 2010-09-30 | Tokyo Institute Of Technology | 対象識別装置 |
JP2010256303A (ja) * | 2009-04-28 | 2010-11-11 | Sumitomo Electric Ind Ltd | ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法 |
US9234800B2 (en) | 2010-04-09 | 2016-01-12 | Toyota Jidosha Kabushiki Kaisha | Spectrometer |
WO2011126112A1 (ja) * | 2010-04-09 | 2011-10-13 | トヨタ自動車 株式会社 | スペクトル測定装置 |
JP2011220867A (ja) * | 2010-04-09 | 2011-11-04 | Toyota Motor Corp | スペクトル測定装置 |
CN102792150A (zh) * | 2010-04-09 | 2012-11-21 | 丰田自动车株式会社 | 光谱测定装置 |
US9305220B2 (en) | 2010-04-09 | 2016-04-05 | Toyota Jidosha Kabushiki Kaisha | Spectrum measurement device |
JP2012107944A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 対象識別装置及び対象識別方法 |
JP2012128862A (ja) * | 2010-12-14 | 2012-07-05 | Xerox Corp | Irイメージングシステムを介して得られるir画像における総人数の決定方法 |
JP2015181033A (ja) * | 2010-12-14 | 2015-10-15 | ゼロックス コーポレイションXerox Corporation | Ir画像内の生物の数を決定するための方法 |
JP2013113803A (ja) * | 2011-11-30 | 2013-06-10 | Sumitomo Electric Ind Ltd | 対象検出装置および対象検出方法 |
JP2013115745A (ja) * | 2011-11-30 | 2013-06-10 | Sumitomo Electric Ind Ltd | 対象検出装置および対象検出方法 |
JP2013117454A (ja) * | 2011-12-05 | 2013-06-13 | Tokyo Institute Of Technology | 対象物検出装置 |
US9829380B2 (en) | 2013-07-17 | 2017-11-28 | Panasonic Intellectual Property Management Co., Ltd. | Spectroscopic apparatus |
WO2015008435A1 (ja) * | 2013-07-17 | 2015-01-22 | パナソニックIpマネジメント株式会社 | 分光装置 |
JP2015075352A (ja) * | 2013-10-07 | 2015-04-20 | 佐鳥 新 | ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム |
JP5632060B1 (ja) * | 2013-10-07 | 2014-11-26 | 佐鳥 新 | ハイパースペクトルカメラおよびハイパースペクトルカメラ用プログラム |
JP2018500059A (ja) * | 2014-12-01 | 2018-01-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 皮膚検出に関するデバイス及び方法 |
JP2020012684A (ja) * | 2018-07-13 | 2020-01-23 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN112384930A (zh) * | 2018-07-13 | 2021-02-19 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
JP7192279B2 (ja) | 2018-07-13 | 2022-12-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11922687B2 (en) | 2018-07-13 | 2024-03-05 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5026854B2 (ja) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5026854B2 (ja) | 領域抽出装置及び領域抽出方法 | |
Kazantzidis et al. | Cloud detection and classification with the use of whole-sky ground-based images | |
Eugenio et al. | High-resolution maps of bathymetry and benthic habitats in shallow-water environments using multispectral remote sensing imagery | |
Holden et al. | Spectral discrimination of healthy and non-healthy corals based on cluster analysis, principal components analysis, and derivative spectroscopy | |
JP4712041B2 (ja) | 画像処理方法及び手段 | |
Eren et al. | Bottom characterization by using airborne lidar bathymetry (ALB) waveform features obtained from bottom return residual analysis | |
Tedesco et al. | In-situ multispectral and bathymetric measurements over a supraglacial lake in western Greenland using a remotely controlled watercraft | |
Bongiorno et al. | Coregistered hyperspectral and stereo image seafloor mapping from an autonomous underwater vehicle | |
Volent et al. | Kelp forest mapping by use of airborne hyperspectral imager | |
US20110101225A1 (en) | Airborne/spaceborne oil spill determining system | |
Hochberg | Remote sensing of coral reef processes | |
Dwivedi et al. | Remote sensing of phytoplankton An attempt from the Landsat Thematic Mapper | |
CN108267427B (zh) | 海底底质光谱测量方法和设备以及终端 | |
Graber et al. | Land-based infrared imagery for marine mammal detection | |
Mustard et al. | A semianalytical approach to the calibration of AVIRIS data to reflectance over water: Application in a temperate estuary | |
KR101687712B1 (ko) | 분광장비를 이용하는 영상처리장치 및 그의 제어방법 | |
Åhlén | Colour correction of underwater images using spectral data | |
Melsheimer et al. | Extracting bathymetry from multi-temporal SPOT images | |
CN203444122U (zh) | 一种水下高光谱成像系统 | |
Berthon et al. | Marine optical measurements of a mucilage event in the northern Adriatic Sea | |
US20220392188A1 (en) | Systems and methods for estimating visibility in a scene | |
Liu et al. | Using a semi-analytical model to retrieve Secchi depth in coastal and estuarine waters | |
Fan et al. | A remotely controlled automated field measurement system for light extinction in coastal waters | |
Busch et al. | Correction of hyperspectral reflectance measurements for surface objects and direct sun reflection on surface waters | |
Rößler et al. | Water constituent retrieval and littoral bottom mapping using hyperspectral APEX imagery and submersed artificial surfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20070528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120621 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |