JP2008017961A - 血流速度の測定方法及び装置 - Google Patents
血流速度の測定方法及び装置 Download PDFInfo
- Publication number
- JP2008017961A JP2008017961A JP2006191195A JP2006191195A JP2008017961A JP 2008017961 A JP2008017961 A JP 2008017961A JP 2006191195 A JP2006191195 A JP 2006191195A JP 2006191195 A JP2006191195 A JP 2006191195A JP 2008017961 A JP2008017961 A JP 2008017961A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blood flow
- blood vessel
- blood
- flow velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】この発明は以下の手順により血流速度を測定する。
顕微鏡で照射した血流をビデオレコーダーで記録する録画ステップ、記録された全ての画像のノイズを除去して血管画像を顕在化した画像を得るノイズ除去ステップ、編集画像から特定の血管を抽出する測定血管抽出ステップ、抽出された血管における明度の分布を経時的に測定、記録する測定ステップ、前記経時的な明度の分布の変化に基づき血流速度を計算する計算ステップ。
【選択図】 図12
Description
顕微鏡で照射した血流をビデオレコーダーなどの動画記録手段で記録する録画ステップ、記録された全ての画像のノイズを除去して血管画像を顕在化した画像を得るノイズ除去ステップ、編集画像から特定の血管を抽出する測定血管抽出ステップ、抽出された血管における明度の分布を経時的に測定、記録する測定ステップ、前記経時的な明度の分布の変化に基づき血流速度を計算する計算ステップ。
8−10秒程度となる。また、観察部位は手の指の爪の付け根部分が好ましい。指先の爪との境目である爪上皮の部分は皮膚が薄いため、この部分を顕微鏡を用いて拡大すると該当部分の毛細血管が透けてみえやすいためである。そして、観察された部位は200倍程度以上に拡大して録画し、以後の処理を行うことが好ましい。そのためにオプティカルズーム200倍を持っているカメラ、レンズを用いることが適当である。
また、録画中に指の位置が移動する場合があるので、録画ステップに次いで、各画像における動画記録手段との位置のずれを修正する位置情報修正ステップを付加することが好ましい(請求項2)。また、被写体の50ピクセル以上の範囲を位置補正可能なカメラを用いて撮影すれば、位置情報修正作業は不要である。
前記位置情報修正ステップの具体的手段としては、録画された1枚の画像から特定の一部分の画像を指定し、全画像の画像ごとに指定された画像の近傍の範囲の中の画像と当該指定画像との相関関数を計算し、その計算で得られた相関値に基づいて各画像の位置情報を修正する方法が好適であるが、その他公知の手法を採用することもできる。
前記1枚の画像から特定の一部分を指定する際には、生画像では血管部分を認識しにくいので、RGBに色分解を行い、血管が認識しやすい色分解画像に基づいて行うと作業が容易である。経験的には赤又は緑の分解画像において血管が認識しやすい。なお、特定の画像は画像位置の相関関数の計算が可能であればよく、血管に限られない。
ノイズ除去の手段としては、各画像に明度差を拡大するフィルターをかける等の手法も考えられるが、各画像の同じ位置におけるRGB各色の平均値を計算して行うと効果的な結果が得られる(請求項4)。
経時的に記録された複数枚の画像におけるRGBの各色を平均化すると、各画像におけるノイズが打ち消しあい血管の部分が鮮明化されたノイズの低い画像を作成することが可能となる。
したがって、上記の手法を採ることにより、各画像は血管部分とそれ以外の部分の明度差が大きく、血管が明瞭に表された画像となる。以下ノイズが除去された画像を平均画像という。
前記明度分布の移動の測定は、血管の中心線において行うと精度が高い(請求項5)。
上記において、録画された1枚の画像から特定の一部分の画像を指定し、全画像の画像ごとに指定された画像の近傍の範囲の中の画像と当該指定画像との相関関数を計算し、その計算した相関値を修正する位置情報修正手段を付加することが好ましい。
任意の1枚の画像(例えば1枚目の画像、以下「参照画像」という。)において、相関関数を計算する基礎となる範囲(以下「関心領域」という。)を特定するステップである。関心領域の抽出に際しては、まず指定画像を選択し、次いで選択画像を含む一定の範囲を関心領域として決定する。
前記指定画像は位置情報修正の要となる画像であるから、周辺の画像との明度差が顕著なものを選択する。そして、前記指定画像を中心として任意の領域を区切り、これを関心領域として決定する。
相関関数の計算は、前記関心領域全体を基におこなう。具体的には例えば以下のように参照画像における関心領域と他の全ての画像(以下「比較画像」という。)との間で以下の計算を行う。
まず、参照画像における関心領域の各ピクセルのピクセル値(明度)と、参照画像における関心領域と比較画像における同じサイズの画像のピクセル値とを測定し、相関関数(両者のずれの大小)を算出する。比較画像の位置は前のコマから計算した最大相関関数に該当する位置になる。次いで、参照画像における関心領域とX軸方向に1ピクセルずれた位置における比較画像のピクセル値を測定し、参照画像との相関関数を算出し、同様にX軸、Y軸方向に所定範囲に亘り(例えばX軸方向に+15ピクセル、−15ピクセル、Y軸方向に+15ピクセル、−15ピクセル程度の範囲)1ピクセルずつ範囲を移動させつつ、各位置における相関関数を算出する。
参照画像における関心領域における特定画像の位置と比較画像の特定画像の位置とが完全に一致していれば(両方の画像が、位置は異なるものの完全に同じ内容の関心領域を持っている場合)相関関数は1となり、関心領域の内容がほぼ一致している場合は1に近づく。
以下、全ての参照画像において同様の作業を行う。
二つの画像があって、一つの画像(参照画像)の中にある特徴を別の画像(比較画像)で探し、その特徴を二つの画像の中の位置を関連づけることがレジストレーション(Registration)である。
前記相関関数の計算ステップにおいて比較画像毎に参照画像の関心領域と相関関数が最大の画像位置が選択されている。そこで、相関関数が最大の画像位置に基づき各画像の位置情報を修正する。例えば、2枚目の画像においてX軸方向に+4,Y軸方向に−5移動した位置における画像の相関関数が最大であるとすれば、2枚目の画像の位置情報をX軸方向に−4,Y軸方向に+5修正する。
各画像においてこの作業を行うことにより参照画像及び全ての比較画像における特定画像の位置はほぼ一致することとなる。
以上の作業の後、処理されたデータを保存し、以下の処理はこの位置情報が修正されたデータにより行う。
全画像にピクセル単位で番地を付与し、各番地におけるピクセル値をRGBごとに合算して画像の数で割って、その番地のRGBの平均値を出す。全部の番地ごとに全画像のピクセル値を平均値に揃えて平均画像とする。
血管の抽出効果を高めるためにコントラストを強くする。そして血管の外縁(Edge)の抽出をする。外縁の抽出の結果から極値の点を探し、連続している点を線にし、独立している点を削除し、線をスムージングして表し、血管を抽出する。
抽出した血管画像においてその血管の連続方向における明度を記録する。次いで連続する画像における抽出した血管画像に対応する血管画像の連続方向における明度をそれぞれ記録する。
画像のひとつひとつの血管のピクセル明度値をとり、時間と位置との関係を計算する。時間とは、第一画像フレームの時間をゼロ秒として、画像毎に決定し、位置とは、番地番号の間の距離のことである。
この時間と位置とにより血流における明度の分布の変化速度を計算し、血流の速度を得る。
そして、この発明の方法において、画像に表示される血流を視認することが可能であるが、各処理ステップをプログラム化した場合、全自動化も可能であり、また全自動化した場合には、血流画像を表示しない装置として構成することもできる。
200倍程度の倍率の顕微鏡からの光学画像をCCDセンサー上に照射し、その画像を毎秒30コマで録画する。録画時間は10秒程度を目処とし、コマ数は280から300コマ程度となる。
(1)血管の外縁の抽出
任意の1枚の画像(例えば1枚目の画像、以下「参照画像」という。)において、血管の外縁を抽出するステップである。画像の中の明度の高いピクセルを線でつなぐと血管の外縁が得られる。U字状をなす外縁が、後における相関関数の測定において正確な結果が期待できる。
相関関数の測定に適している血管の外縁は、U字状をなし、かつ長さが長く、画像の外枠から一定の距離(例えばX=30ピクセル,Y=30ピクセル)離れているものである。この程度離れていないと、比較画像において画面の外枠からはみ出すおそれがあるためである。
上記の条件を満たす外縁は一般にピクセル数が多いので、1枚の画像から得られる複数の血管の外縁を、ピクセル数の多い順に並べることにより、好適な外縁を自動的に選定することができる。
ここで選定された外縁を特定画像1と決定し、この特定画像を中央にしてX、Y方向共に30ピクセル程度の枠を設定して、これを関心領域2とする(図1)。関心領域に対応する位置における比較画像では、録画時の指の微動によりコマ毎に特定画像の位置が僅かに移動している(図2)。
相関関数の計算は、前記関心領域全体を基におこなう。具体的には例えば以下のように参照画像における関心領域と他の全ての画像(比較画像)との間で以下の計算を行う。
まず、参照画像における関心領域の各ピクセルのピクセル明度値と、参照画像における関心領域と一致する位置及び範囲における比較画像のピクセル明度値とを測定し、相関関数(両者のずれの大小)を算出する。次いで、参照画像における関心領域とX軸方向に1ピクセルずれた位置における比較画像のピクセル明度値を測定し、参照画像の関心領域のピクセル明度値との相関関数を算出し、同様にX軸方向に+15ピクセル、−15ピクセル、Y軸方向に+15ピクセル、−15ピクセル程度の範囲に亘り1ピクセルずつ範囲を移動させつつ、各位置におけるピクセル明度値の相関関数を算出する(図3)。
以下、全ての参照画像において同様の作業を行う。
図4は各画像における相関関数が最大である画像と参照画像における関心領域のずれをX軸、Y軸ごとに示したものである。
前記相関関数の計算ステップにおいて比較画像毎に参照画像の関心領域と相関関数が最大の画像位置が選択されている。そこで、相関関数が最大の画像位置に基づきその相関関数が最大の画像位置が参照画像の関心領域の位置と一致するように各画像の位置情報を修正する。
各画像においてこの作業を行うことにより参照画像及び全ての比較画像における特定画像の位置をほぼ一致させる。
以上の作業の後、処理されたデータを保存し、以下の処理はこの位置情報が修正されたデータにより行う。
ノイズ除去により血管の画像を明瞭にする。
前記ノイズ除去手段は以下の手順を実行するプログラムである。
レジストレーションされた全画像にピクセル単位で番地を付け、全ての番地におけるピクセル値を測定する。次いで、全画像の同一の番地のピクセルにおけるRGBに色分解された各色の数値をそれぞれ合計し、画像の数で割ることによって、その番地の全ての画像のRGBに分解された色毎のピクセル値の平均値を得る。
次いで、全画像の全部の番地のピクセル値を前記操作で得たピクセルの平均値に置き換えて平均画像を得る。
この作業により、各画像のノイズが打ち消される結果、血管が不鮮明な処理前の画像(図5)から、血管が鮮明に表れた画像(図6)が得られる。
前記平均画像に基づいて、血流を測定する血管を抽出する。
平均画像を読み込み、G色(他の色でもよいがG又はRが好適)のピクセル値に基づいて血管の輪郭(エッジ・Edge)を抽出する(図7)。次いで、横方向、縦方向、対角線方向(左上から右下、右上から左下)の4方向においてピクセル値の変化を測定しそれぞれの方向における局部極値を得る。図8は横方向のピクセル値を示すグラフであり、丸印を付した値が局部極値である。
次いで、全方向の局部極値を結んだ線を得て、独立している点を削除する(図9)。
双線のU形の部分を探して、U形の部分から下向きに連続する血管を抽出する(図10)。
血管の抽出処理が終わったら血管に直接接続していない線は不要のため削除し、ノイズのない画面とする。
抽出した血管画像を行ごとにスキャンする。スキャンの一つの血管の行の開始の番地番号と終了の番地番号のX軸方向の真中の番地番号は、その血管の行の中心点の番地番号になり、抽出した血管画像の全長に亘り中心点の番地番号を取得する。この中心点を線でつなぐと血管の中心線が得られる。
前記の血管の中心線の上の全ての中心点のピクセル値(明度)を測定する。中心線の明度を測定すると、血漿に対応する部分では明度が高く、図11のようなグラフが得られる。図11において、縦軸は明度、横軸は距離(ピクセル)であり、230コマ目と231コマ目を示している。
同じようにこの画像のすべての血管の中心線のグラフをつくる。そして、同様にすべての画像の時間に対応するすべての血管の中心線のグラフをつくると同じ血管のグラフがゼロ秒から最後のフレーム相当の時間まで揃う。図12は1つの血管の測定結果を230コマ目から250コマ目まで表示したものであるが、300コマの画像を撮影したときは、このようなデータが300表示されることになる。そして、1秒30コマで録画した場合、コマ間の時間差は1/30秒である。
まず連続する二つのコマの画像を移動させつつ1ピクセル移動する毎に信号の相関関数を計算し、相関関数が最大となる位置における二つのコマの位置の差を求める。この差がコマ間における血流の移動距離である。具体的には以下の手順で行う。
平均値をとることにより明度の変化がきわだって見えるようになる。
具体的な計算式は以下のとおりである。
n・・・画像中のピクセル数
x・・・参照画像の特定の番地の明度
y・・・比較画像の特定の番地の明度
a・・・参照画像の全て簿番地の明度の平均値
b・・・比較画像の全ての番地の明度の平均値
その結果、図13のようなグラフが得られる。
このグラフにおいて相関値が最も高い点は−8ピクセルの位置(231コマ目の信号を左に8ピクセル移動した位置)である。
このことから、230コマ目から231コマ目の間で血漿の位置は8ピクセル移動したことが分かる。そして、二つのコマの時間差は1/30秒であるから、この間の血漿の移動速度は
8(ピクセル)/1/30(秒)=240ピクセル/秒
となる。
1ミリ=82ピクセルであるから、
血流速度は、240ピクセル/秒 × (1/82)ミリ/ピクセル となる。
しかしながら、血漿が全ての画像(コマ)に存在するとは限らない。また血漿の位置が測定対象としている血管の中心線からずれている場合もある。このような場合、ピクセル値の相関関数の計算が不能であったり不正確であったりし、血流速度を正確に求めることができない。
そこで、上記のように多数枚の画像を用意し、隣接するコマのピクセル値の相関関数を求めることにより、正確な血流速度が得られるようにしている。
また、画像処理をプログラム化することにより、血流速度の測定を自動化することも可能であり、産業上の利用可能性を有するものである。
2 関心領域
Claims (7)
- 顕微鏡で照射した血流を動画記録手段により記録する録画ステップ、
記録されたすべての画像のノイズを除去して血管画像を顕在化した平均画像を得るノイズ除去ステップ、
平均画像から認識できる血管を抽出する血管抽出ステップ、
抽出された血管における明度の分布を経時的に測定、記録する測定ステップ、
前記経時的な明度の分布の変化に基づき血流速度を計算する計算ステップ、
よりなる血流速度の測定方法 - 指と動画記録手段との相対位置の変動のため録画された画像の中の血管には位置のズレがあるため、位置のずれを修正する位置情報修正ステップを付加した、請求項1記載の血流速度の測定方法
- 位置情報修正ステップは、録画された1枚の画像から特定の一部分の画像を指定し、全画像の画像ごとに前記指定された画像の近傍の範囲の中の画像と当該指定画像との相関関数を計算し、その計算した相関値に基づき各画像の位置情報を修正することとした。請求項2記載の血流速度の測定方法
- ノイズ除去は、各画像の同じ位置におけるRGB色の平均値を計算して平均画像を得ることにより行うこととした、請求項1記載の血流速度の測定方法
- 血管における明度の分布の測定は、抽出した血管の中心線において行うこととした、請求項1記載の血流速度の測定方法
- 顕微鏡で照射した血流を記録する動画記録手段、記録されたすべての画像のノイズを除去して血管画像を顕在化した平均画像を得るノイズ除去手段、平均画像から認識できる血管を抽出する血管抽出手段、抽出された血管における明度の分布を経時的に測定、記録する測定手段、前記経時的な明度の分布の変化に基づき血流速度を計算する計算手段、よりなる血流速度の測定装置
- 録画された1枚の画像から特定の一部分の画像を指定し、全画像ごとに前記指定された画像の近傍の範囲の中の画像と当該指定画像との相関関数を計算し、その計算した相関値に基づき各画像の位置情報を修正する位置情報修正手段が付加された、請求項6記載の血流速度の測定装置
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006191195A JP4915726B2 (ja) | 2006-07-12 | 2006-07-12 | 血流速度の測定方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006191195A JP4915726B2 (ja) | 2006-07-12 | 2006-07-12 | 血流速度の測定方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008017961A true JP2008017961A (ja) | 2008-01-31 |
JP4915726B2 JP4915726B2 (ja) | 2012-04-11 |
Family
ID=39074405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006191195A Expired - Fee Related JP4915726B2 (ja) | 2006-07-12 | 2006-07-12 | 血流速度の測定方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4915726B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108348179A (zh) * | 2015-11-03 | 2018-07-31 | 弗雷塞尼斯医疗保健控股公司 | 通过视频成像处理评估血液透析患者内的通路流量的方法和设备 |
CN110279393A (zh) * | 2018-03-19 | 2019-09-27 | 洋华光电股份有限公司 | 微血管检测装置和方法 |
KR20200026135A (ko) * | 2018-08-29 | 2020-03-10 | 연세대학교 원주산학협력단 | 달팽이관에서의 미세 혈류 측정 방법 및 장치 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6150550A (ja) * | 1985-07-08 | 1986-03-12 | オリンパス光学工業株式会社 | 血管顕微鏡 |
JP2000206118A (ja) * | 1999-01-14 | 2000-07-28 | Bisho Junkan Kenkyusho Kk | 毛細血管血流観測装置 |
JP2002269539A (ja) * | 2000-12-01 | 2002-09-20 | Shigehiro Masui | 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム |
JP2002277747A (ja) * | 2001-03-21 | 2002-09-25 | Juyu International Co | 毛細血管血液観察法及び自動測定装置 |
JP2003164431A (ja) * | 2001-11-30 | 2003-06-10 | Hitoshi Fujii | 血流速度測定装置 |
JP2004198391A (ja) * | 2002-12-13 | 2004-07-15 | Hajime Murakami | 血管・血流・細胞組織の観察法 |
-
2006
- 2006-07-12 JP JP2006191195A patent/JP4915726B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6150550A (ja) * | 1985-07-08 | 1986-03-12 | オリンパス光学工業株式会社 | 血管顕微鏡 |
JP2000206118A (ja) * | 1999-01-14 | 2000-07-28 | Bisho Junkan Kenkyusho Kk | 毛細血管血流観測装置 |
JP2002269539A (ja) * | 2000-12-01 | 2002-09-20 | Shigehiro Masui | 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム |
JP2002277747A (ja) * | 2001-03-21 | 2002-09-25 | Juyu International Co | 毛細血管血液観察法及び自動測定装置 |
JP2003164431A (ja) * | 2001-11-30 | 2003-06-10 | Hitoshi Fujii | 血流速度測定装置 |
JP2004198391A (ja) * | 2002-12-13 | 2004-07-15 | Hajime Murakami | 血管・血流・細胞組織の観察法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108348179A (zh) * | 2015-11-03 | 2018-07-31 | 弗雷塞尼斯医疗保健控股公司 | 通过视频成像处理评估血液透析患者内的通路流量的方法和设备 |
CN108348179B (zh) * | 2015-11-03 | 2021-04-13 | 弗雷塞尼斯医疗保健控股公司 | 通过视频成像处理评估血液透析患者内的通路流量的方法和设备 |
CN110279393A (zh) * | 2018-03-19 | 2019-09-27 | 洋华光电股份有限公司 | 微血管检测装置和方法 |
CN110279393B (zh) * | 2018-03-19 | 2023-04-28 | 洋华光电股份有限公司 | 微血管检测装置和方法 |
KR20200026135A (ko) * | 2018-08-29 | 2020-03-10 | 연세대학교 원주산학협력단 | 달팽이관에서의 미세 혈류 측정 방법 및 장치 |
KR102267509B1 (ko) * | 2018-08-29 | 2021-06-21 | 연세대학교 원주산학협력단 | 달팽이관에서의 미세 혈류 측정 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP4915726B2 (ja) | 2012-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6150583B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
JP6049518B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
JP4915737B2 (ja) | 画像解析システム、及び画像解析プログラム | |
CN103852034B (zh) | 一种电梯导轨垂直度检测方法 | |
US8558942B2 (en) | Focusing measurement device, focusing measurement method, and program | |
US6224212B1 (en) | Fundus measuring apparatus and recording medium with fundus measurement program recorded thereon | |
JP2012073997A (ja) | 物体追尾装置、物体追尾方法およびそのプログラム | |
JP5278984B2 (ja) | 画像解析装置及び画像解析プログラム | |
JP6677734B2 (ja) | 少なくとも1つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイス | |
JP6045292B2 (ja) | 細胞計数装置及び細胞計数プログラム | |
JP4915726B2 (ja) | 血流速度の測定方法及び装置 | |
JP2016076851A (ja) | 撮像装置、画像処理方法、及びプログラム | |
JP2007195141A (ja) | 画像速度算出装置及び画像速度算出方法 | |
JP2010075354A (ja) | 毛細血管血流測定装置、毛細血管血流測定方法およびプログラム | |
US11493453B2 (en) | Belt inspection system, belt inspection method, and recording medium for belt inspection program | |
JP2006280682A (ja) | ノイズ検出機能を備えた画像診断支援方法 | |
JP6221283B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN112070806A (zh) | 一种基于视频图像的实时瞳孔跟踪方法和系统 | |
JP6496814B2 (ja) | 細胞追跡修正方法、細胞追跡修正装置及び細胞追跡修正プログラム | |
JP2009053116A (ja) | 画像処理装置および画像処理プログラム | |
JP5292886B2 (ja) | 画像解析装置、その方法、プログラムおよび記録媒体 | |
JPS63240832A (ja) | 肺野部輪郭線を求める画像計測方法 | |
JP2017098900A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
JP2003346165A (ja) | ワーク境界の検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |