JP2008257574A - 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム - Google Patents
画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2008257574A JP2008257574A JP2007100633A JP2007100633A JP2008257574A JP 2008257574 A JP2008257574 A JP 2008257574A JP 2007100633 A JP2007100633 A JP 2007100633A JP 2007100633 A JP2007100633 A JP 2007100633A JP 2008257574 A JP2008257574 A JP 2008257574A
- Authority
- JP
- Japan
- Prior art keywords
- face
- ear
- image
- image processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】運転者の顔を撮像する撮像装置1と、顔の画像データに基づいて顔の向きを検出する画像処理装置2とを備える画像処理システムにおいて、画像処理装置2に、画像データから顔画像の垂直方向における耳の位置を検出する耳検出手段と、画像データから顔画像の垂直方向における他の顔部位の位置を検出する顔部位検出手段と、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段とを備える。
【選択図】図1
Description
運転者が道路脇のお店、看板、通行人に視線を向ける場合、運転者の顔は比較的大きく横方向に回転するため、このような脇見を検出することは比較的容易である。これに対して運転者が斜め下方へ視線を落とすような脇見は、運転者の顔がわずかに下方へ傾く程度であるため、検出困難である。
また、運転者の表情が変化して眼の形状が変化した場合、顔の向きを誤検出するという問題があった。
そして、検出された耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出する。顔の向きが上下する場合、所定方向における耳の位置と他の顔部位との位置関係が変化するため、該位置関係に基づいて顔の俯仰を検出することができる。具体的には、顔の向きが上下しても耳の位置はあまり変動せず、顔が下方を向いた場合、他の顔部位の位置が下方へ移動し、顔が上方を向いた場合、他の顔部位の位置が上方へ移動する。
そして、耳検出手段は、抽出された輪郭の形状に基づいて耳朶部分の位置を検出し、俯仰検出手段は耳朶部分の位置と他の顔部位の位置とに基づいて顔の俯仰を検出する。耳朶部分は、髪型の影響を受けにくいため、耳朶部分の位置を検出するように構成することで、より正確に顔の俯仰を検出することができる。
なお、耳朶部分の位置は、例えば検出処理領域における前記所定方向又は該所定方向に直交する方向に並んだ画素の内、最大のフィルタ値を有する画素位置を選択し、該画素位置が他の所定方向へ並んでいる部分を耳朶部分の位置として検出するようにすれば良い。
俯仰検出手段は、現時点で検出された耳及び顔部位の位置関係と、特定手段が特定した位置関係、つまり正面を向いている場合の位置関係とを比較することで、顔の俯仰を検出する。正面を向いている場合に比べて、耳に対する顔部位の位置が下方にある場合、顔が下向きであり、耳に対する顔部位の位置が上方にある場合、顔が上向きであるとして、顔の俯仰が検出される。
なお、耳の位置を検出する場合、画像データから顔領域を検出し、顔領域を基準として耳を含むと推定される検出処理領域を算出し、該検出処理領域において耳の輪郭を抽出するように構成した場合、より高速、確実に耳を検出することができる。
なお、鼻の位置として鼻穴は周囲との輝度差が大きく、検出が容易であり、かつ正確に位置を検出することができるため、正確に顔の俯仰を検出することができる。
図1は、本発明の実施の形態における画像処理システムの構成例を示すブロック図である。図中1は、車両に搭載された撮像装置であり、撮像装置1は、画像処理を行う画像処理装置2に通信網を介して接続されている。通信網は、例えば専用ケーブル等の通信線、又は有線若しくは無線の車内LAN(Local Area Network)によって構成されている。
撮像装置1は、装置全体を制御するMPU(Micro Processor Unit)11と、MPU11の制御に基づき実行される各種コンピュータプログラム及びデータを記録するROM(Read Only Memory)12と、ROM12に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記録するRAM(Random Access Memory)13と、CCD(Charge Coupled Device)等の撮像素子を用いて構成される撮像部14と、撮像部14の撮像により得られたアナログの画像データをデジタルデータに変換するA/D変換器15と、A/D変換器15によりデジタルに変換された画像データを一時的に記録するフレームメモリ16と、画像処理装置2との通信に用いられる通信インタフェース17とを備えている。
なお、各画素に対し夫々XY座標系による座標を示すのではなく、データ内に配列される順序により座標を示す様にしても良い。また、本実施の形態ではグレイスケイルの画像データに基づく画像処理を説明する。カラーの画像データを用いる場合、該画像データを構成する画素の輝度データについて同様の画像処理を実行すれば良い。
なお、コンピュータプログラム31は、言うまでもなく外部のコンピュータから有線又は無線の通信ネットワークを介して流通するものも含み、画像処理装置2が該通信ネットワークを介してコンピュータプログラム31を取得し、HD23に記録するようにしても良い。
顔が上下した場合、耳に対する鼻穴の位置も垂直方向に上下するため、耳及び鼻穴の位置を比較することによって顔の俯仰を検出することができる。耳に対する鼻穴の位置は、顔がわずかに上下しただけでも大きく変化するため、運転者がエアコン、ラジオを操作する際に視線を斜め下方に落とし、顔がわずかに斜め下方を向いたような場合であっても、このような顔の俯仰を検出することができ、脇見運転を効果的に検出することができる。
検出処理範囲の右端は、顔領域R0の右端を基準にして、顔幅のN2%右側の位置である。N2もHD23が記憶している定数であり、検出処理範囲の右端は、Fx2+FW(N2/100)にて算出される。
検出処理範囲の上端及び下端は、顔領域R0の上端Fy1及び下端Fy2と同値である。
g(x,y)=f(i−2,j−2)+f(i,j−2)+f(i+2,j−2)+f(i−2,j)−2×f(i+1,j+1)−f(i+2,j+1)+f(i−2,j+2)−f(i+1,j+2)−f(i+2,j+2)…式1
図7(a)に示した画像に対してステップS22のフィルタ処理を実行した場合、耳の画像領域と、背景の画像領域との境界部分等におけるフィルタ値が他の画像領域のフィルタ値に比べて大きな値として算出される。
例えば、図7(b)に示すように、Y座標がy1を有する水平方向に並ぶ画素中、最大のフィルタ値を有する画素は黒丸印で示された箇所の画素であり、該画素のX座標はx1である。この場合、Y方向テーブルには、座標y1に対して、X座標としてx1、座標(x1,y1)におけるフィルタ値とが対応付けられて記憶される。他のY座標についても同様に処理される。
まず、CPU21は、垂直方向における画素の位置を示す変数としての座標yに処理範囲上端のY座標を設定する(ステップS31)。
なお、検出処理範囲における最上端の各画素、及び該最上端よりも1画素下側の各画素についてはフィルタ処理されていないため、更にその1画素下側のY座標を上端のY座標として設定する。
耳スコア=耳輪郭候補フィルタ値×(Xmax−Xmin)…式2
図10は、鼻の位置検出方法を概念的に示す説明図、図11は鼻穴の位置検出方法を概念的に示す説明図である。図10中、実線で示す外側の矩形枠は画像全体を示しており、該矩形枠の内側であって鼻を囲む破線で描かれた矩形枠は鼻を検出するための検出処理範囲R2を示している。
図12は、顔の俯仰検出に係るCPU21の処理手順を示すフローチャートである。
まず、CPU21は、正面時の顔部位と耳との位置関係をHD23から読み出す(ステップS51)。撮像装置1と被写体である運転者との位置関係が固定されている場合、例えば運転席における撮像装置1の設置位置が決まっている場合、正面時の顔部位と耳との位置関係を固定値としてHD23に記憶させておくと良い。また、個人差を考慮し顔部位と鼻との位置関係に幅を持たせるように構成しても良い。更に、後述するように過去の認識結果に基づいて、検出頻度が高い位置関係を正面向きと仮定し、当該位置関係を正面時の顔部位と耳との位置関係として採用しても良い。
更にまた、特に顔における特徴的な形状及び輝度分布を有する鼻穴を検出するように構成されているため、より簡易及び正確に鼻の位置を検出することができ、より正確に顔の俯仰を検出することができる。
顔の画像データに基づいて顔の向きを検出する画像処理方法において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を有することを特徴とする画像処理方法。
顔の画像データに基づいて顔の向きを検出する画像処理装置において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段と
を備えることを特徴とする画像処理装置。
前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、
前記耳検出手段は、
前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、
該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段と
を備えることを特徴とする付記2に記載の画像処理装置。
(付記4)
画像データから顔領域を検出する顔領域検出手段と、
該顔領域検出手段が検出した顔領域の横方向端部を含む検出処理領域を算出する算出手段と
を備え、
前記抽出手段は、
前記算出手段が算出した検出処理領域において耳の輪郭を抽出するように構成してある
ことを特徴とする付記3に記載の画像処理装置。
(付記5)
前記耳検出手段は、
検出処理領域における前記所定方向又は該所定方向に直交する方向に並んだ画素の内、最大のフィルタ値を有する画素位置を選択する手段を備え、
該画素位置が他の所定方向へ並んでいる部分を耳朶部分の位置として検出するようにしてある
ことを特徴とする付記4に記載の画像処理装置。
(付記6)
時系列順に画像データを取得するように構成してあり、
時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、
所定頻度以上の前記位置関係を特定する特定手段と
を備え、
前記俯仰検出手段は、
検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してある
ことを特徴とする付記2乃至付記5に記載の画像処理装置。
(付記7)
前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備える
ことを特徴とする付記2乃至付記6のいずれか一つに記載の画像処理装置。
(付記8)
前記顔部位検出手段は顔画像における鼻穴の位置を検出する手段を備えることを特徴とする付記7に記載の画像処理装置。
(付記9)
前記所定方向は画像における垂直方向である
ことを特徴とする付記2乃至付記8に記載の画像処理装置。
(付記10)
付記2乃至付記9のいずれか一つに記載の画像処理装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記画像処理装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする画像処理システム。
(付記11)
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムにおいて、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させることを特徴とするコンピュータプログラム。
(付記12)
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体において、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させるコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
2 画像処理装置
11 MPU
21 CPU
23 HD
31 コンピュータプログラム
41 記録媒体
Claims (7)
- 顔の画像データに基づいて顔の向きを検出する画像処理方法において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を有することを特徴とする画像処理方法。 - 顔の画像データに基づいて顔の向きを検出する画像処理装置において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段と
を備えることを特徴とする画像処理装置。 - 前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、
前記耳検出手段は、
前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、
該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段と
を備えることを特徴とする請求項2に記載の画像処理装置。 - 時系列順に画像データを取得するように構成してあり、
時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、
所定頻度以上の前記位置関係を特定する特定手段と
を備え、
前記俯仰検出手段は、
検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してある
ことを特徴とする請求項2又は請求項3に記載の画像処理装置。 - 前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備える
ことを特徴とする請求項2乃至請求項4のいずれか一つに記載の画像処理装置。 - 請求項2乃至請求項4のいずれか一つに記載の画像処理装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記画像処理装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする画像処理システム。 - コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムにおいて、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007100633A JP5034623B2 (ja) | 2007-04-06 | 2007-04-06 | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007100633A JP5034623B2 (ja) | 2007-04-06 | 2007-04-06 | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008257574A true JP2008257574A (ja) | 2008-10-23 |
JP5034623B2 JP5034623B2 (ja) | 2012-09-26 |
Family
ID=39981066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007100633A Active JP5034623B2 (ja) | 2007-04-06 | 2007-04-06 | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5034623B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012073801A (ja) * | 2010-09-28 | 2012-04-12 | Nagoya Electric Works Co Ltd | 駐車検出装置、駐車検出方法および駐車検出プログラム |
JP2014102711A (ja) * | 2012-11-21 | 2014-06-05 | Fujitsu Ltd | 輪郭検出装置、輪郭検出方法および輪郭検出プログラム |
CN105744854A (zh) * | 2013-11-06 | 2016-07-06 | 皇家飞利浦有限公司 | 用于在剃刮过程中引导用户的系统和方法 |
JP2016534804A (ja) * | 2013-11-06 | 2016-11-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 身体部位を処置するためのシステム及び方法 |
JP2016534805A (ja) * | 2013-11-06 | 2016-11-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 身体部位を処置するためのシステム及び方法 |
JP2017500906A (ja) * | 2013-11-06 | 2017-01-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 身体部位を処置するためのシステム及び方法 |
JP2018169656A (ja) * | 2017-03-29 | 2018-11-01 | いすゞ自動車株式会社 | 安全運転促進装置及び安全運転促進方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05210736A (ja) * | 1992-01-31 | 1993-08-20 | Olympus Optical Co Ltd | 画像輪郭抽出方法 |
JPH1021407A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 動き検出装置 |
JP2000306106A (ja) * | 1999-02-15 | 2000-11-02 | Medeikku Engineering:Kk | 3次元有向体の定位方法及び画像処理装置 |
JP2003141551A (ja) * | 2001-10-31 | 2003-05-16 | Toshiba Corp | 顔向き計算方法及びその装置 |
-
2007
- 2007-04-06 JP JP2007100633A patent/JP5034623B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05210736A (ja) * | 1992-01-31 | 1993-08-20 | Olympus Optical Co Ltd | 画像輪郭抽出方法 |
JPH1021407A (ja) * | 1996-06-28 | 1998-01-23 | Osaka Kagaku Gijutsu Center | 動き検出装置 |
JP2000306106A (ja) * | 1999-02-15 | 2000-11-02 | Medeikku Engineering:Kk | 3次元有向体の定位方法及び画像処理装置 |
JP2003141551A (ja) * | 2001-10-31 | 2003-05-16 | Toshiba Corp | 顔向き計算方法及びその装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012073801A (ja) * | 2010-09-28 | 2012-04-12 | Nagoya Electric Works Co Ltd | 駐車検出装置、駐車検出方法および駐車検出プログラム |
JP2014102711A (ja) * | 2012-11-21 | 2014-06-05 | Fujitsu Ltd | 輪郭検出装置、輪郭検出方法および輪郭検出プログラム |
CN105744854A (zh) * | 2013-11-06 | 2016-07-06 | 皇家飞利浦有限公司 | 用于在剃刮过程中引导用户的系统和方法 |
JP2016534804A (ja) * | 2013-11-06 | 2016-11-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 身体部位を処置するためのシステム及び方法 |
JP2016534805A (ja) * | 2013-11-06 | 2016-11-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 身体部位を処置するためのシステム及び方法 |
JP2017500906A (ja) * | 2013-11-06 | 2017-01-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 身体部位を処置するためのシステム及び方法 |
US11433561B2 (en) | 2013-11-06 | 2022-09-06 | Koninklijke Philips N.V. | System and a method for treating a part of a body |
JP2018169656A (ja) * | 2017-03-29 | 2018-11-01 | いすゞ自動車株式会社 | 安全運転促進装置及び安全運転促進方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5034623B2 (ja) | 2012-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4592744B2 (ja) | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム | |
JP4781467B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
JP5034623B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
EP2074550B1 (en) | Eye opening detection system and method of detecting eye opening | |
JP4364275B2 (ja) | 画像処理方法、画像処理装置及びコンピュータプログラム | |
JP5127531B2 (ja) | 画像監視装置 | |
JP4912206B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
JP4739870B2 (ja) | サングラス検出装置及び顔中心位置検出装置 | |
JP5071198B2 (ja) | 信号機認識装置,信号機認識方法および信号機認識プログラム | |
JP4992823B2 (ja) | 顔検出装置及び顔検出方法 | |
JP4962304B2 (ja) | 歩行者検出装置 | |
JP2014142832A (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP4496005B2 (ja) | 画像処理方法および画像処理装置 | |
JP5541099B2 (ja) | 道路区画線認識装置 | |
JP2009134591A (ja) | 車色判定装置、車色判定システム及び車色判定方法 | |
JP5493676B2 (ja) | 眼位置認識装置 | |
JP4765363B2 (ja) | 乗員検出装置及び乗員検出方法 | |
JP4298303B2 (ja) | 姿勢推定装置 | |
JP2010108167A (ja) | 顔認識装置 | |
JP4259365B2 (ja) | 画像認識装置及び画像認識方法 | |
JP7301256B2 (ja) | 顔向き判定装置および顔向き判定方法 | |
WO2020259603A1 (zh) | 图像处理装置及图像处理方法 | |
JP4434689B2 (ja) | 物体計数方法及び物体計数装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120313 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5034623 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |