JP2008029520A - 医療用画像処理装置及び医療用画像処理方法 - Google Patents
医療用画像処理装置及び医療用画像処理方法 Download PDFInfo
- Publication number
- JP2008029520A JP2008029520A JP2006205142A JP2006205142A JP2008029520A JP 2008029520 A JP2008029520 A JP 2008029520A JP 2006205142 A JP2006205142 A JP 2006205142A JP 2006205142 A JP2006205142 A JP 2006205142A JP 2008029520 A JP2008029520 A JP 2008029520A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- threshold value
- shape
- dimensional
- shape feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 35
- 230000003902 lesion Effects 0.000 claims abstract description 20
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000002059 diagnostic imaging Methods 0.000 claims description 6
- 208000037062 Polyps Diseases 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 41
- 238000004458 analytical method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000003780 insertion Methods 0.000 description 10
- 230000037431 insertion Effects 0.000 description 10
- 210000001035 gastrointestinal tract Anatomy 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000000968 intestinal effect Effects 0.000 description 3
- 208000014081 polyp of colon Diseases 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002052 colonoscopy Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000022131 polyp of large intestine Diseases 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【解決手段】本実施例の内視鏡システムは、医療用観察装置と、医療用画像処理装置と、モニタとを有して要部が構成されている。医療用画像処理装置のCPU22は、3次元モデル推定部22a、検出対象領域設定部22b、形状特徴量算出部22c、3次元形状検出部22d、閾値決定部22e、ポリープ決定部22fの各機能部からなる。
【選択図】図2
Description
医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定手段と、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定手段と、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出手段と
とを備えて構成される。
医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定ステップと、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出ステップと
とを備えて構成される。
k1=H+(H2−K)1/2 k2=H−(H2−K)1/2 (1)
と表される。
SI=1/2−(1/π)arc tan[(k1+k2)/(k1−k2)] (2)
CV=((k12+k22)/2)1/2 (3)
となる。
2…医療用観察装置
3…医療用画像処理装置
4、9…モニタ
6…内視鏡
7…光源装置
8…CCU
11…挿入部
12…操作部
13…ライトガイド
14…先端部
15…対物光学系
16…撮像素子
17…撮像部
21…画像入力部
22…CPU
22a…3次元モデル推定部
22b…検出対象領域設定部
22c…形状特徴量算出部
22d…3次元形状検出部
22e…閾値決定部
22f…ポリープ決定部
23…処理プログラム記憶部
24…画像記憶部
25…解析情報記憶部
26…記憶装置I/F
27…ハードディスク
28…表示処理部
29…入力操作部
30…データバス
Claims (8)
- 医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定手段と、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定手段と、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定手段と、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出手段と、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出手段と
を備えたことを特徴とする医療用画像処理装置。 - 前記閾値決定手段は、
前記検出対象領域の前記2次元画像に対して垂直な軸方向の座標に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 前記閾値決定手段は、
前記医療用撮像装置から入力される体腔内の生体組織の像の前記2次元画像の撮像位置を視点とし、前記検出対象領域上の一の点を注目点とした時の、前記視点から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 前記形状特徴量算出手段は、
前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状特徴量を算出し、
前記閾値決定手段は、
前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項1に記載の医療用画像処理装置。 - 医療用撮像装置から入力される体腔内の生体組織の像の2次元画像に基づき、前記生体組織の3次元モデルを推定する3次元モデル推定ステップと、
前記3次元モデルにおいて、隆起形状を有する病変の検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域に含まれる各データ点における形状の状態を示す形状特徴量の算出に用いる閾値を決定する閾値決定ステップと、
前記閾値に基づき、前記形状特徴量を算出する形状特徴量算出ステップと、
前記形状特徴量に基づき、前記検出対象領域に存在する、局所的な隆起形状の病変領域を検出する3次元形状検出ステップと
を備えたことを特徴とする医療用画像処理方法。 - 前記閾値決定ステップは、
前記検出対象領域の前記2次元画像に対して垂直な軸方向の座標に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項5に記載の医療用画像処理方法。 - 前記閾値決定ステップは、
前記医療用撮像装置から入力される体腔内の生体組織の像の前記2次元画像の撮像位置を視点とし、前記検出対象領域上の点を注目点とした時の、前記視点から前記注目点に至る視線ベクトルと前記注目点の前記検出対象領域での法線ベクトルとのなす角に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項5に記載の医療用画像処理方法。 - 前記形状特徴量算出ステップは、
前記検出対象領域に含まれる各データ点のデータ密度分布に基づき、前記形状特徴量を算出し、
前記閾値決定ステップは、
前記データ密度分布に基づき、前記形状特徴量の算出に用いる前記閾値を決定する
ことを特徴とする請求項5に記載の医療用画像処理方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006205142A JP4994737B2 (ja) | 2006-07-27 | 2006-07-27 | 医療用画像処理装置及び医療用画像処理方法 |
CN2007800269317A CN101489466B (zh) | 2006-07-27 | 2007-04-10 | 医疗用图像处理装置 |
EP11007714.6A EP2447909B1 (en) | 2006-07-27 | 2007-04-10 | Medical image processing apparatus and medical image processing method |
CN2011100823645A CN102172321B (zh) | 2006-07-27 | 2007-04-10 | 医疗用图像处理装置 |
CN201110082529.9A CN102247118B (zh) | 2006-07-27 | 2007-04-10 | 医疗用图像处理装置 |
PCT/JP2007/057922 WO2008012968A1 (fr) | 2006-07-27 | 2007-04-10 | dispositif de traitement d'image médicale et procédé de traitement d'image médicale |
EP07741358A EP2047791B1 (en) | 2006-07-27 | 2007-04-10 | Medical image processing apparatus and medical image processing method |
US12/359,719 US8165370B2 (en) | 2006-07-27 | 2009-01-26 | Medical image processing apparatus and medical image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006205142A JP4994737B2 (ja) | 2006-07-27 | 2006-07-27 | 医療用画像処理装置及び医療用画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008029520A true JP2008029520A (ja) | 2008-02-14 |
JP4994737B2 JP4994737B2 (ja) | 2012-08-08 |
Family
ID=38981284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006205142A Active JP4994737B2 (ja) | 2006-07-27 | 2006-07-27 | 医療用画像処理装置及び医療用画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8165370B2 (ja) |
EP (2) | EP2047791B1 (ja) |
JP (1) | JP4994737B2 (ja) |
CN (3) | CN101489466B (ja) |
WO (1) | WO2008012968A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013246794A (ja) * | 2012-05-29 | 2013-12-09 | Toyota Motor Corp | 対象物変化検出装置および対象物変化検出方法 |
JP2014232470A (ja) * | 2013-05-30 | 2014-12-11 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
US10194783B2 (en) | 2014-07-15 | 2019-02-05 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4855868B2 (ja) * | 2006-08-24 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置 |
US8337397B2 (en) | 2009-03-26 | 2012-12-25 | Intuitive Surgical Operations, Inc. | Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient |
US10004387B2 (en) | 2009-03-26 | 2018-06-26 | Intuitive Surgical Operations, Inc. | Method and system for assisting an operator in endoscopic navigation |
TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
US20110161056A1 (en) * | 2009-12-31 | 2011-06-30 | Timothy Mueller | System and method of creating a 3-d replica of a body structure |
WO2012118109A1 (ja) * | 2011-03-03 | 2012-09-07 | 株式会社 日立メディコ | 医用画像処理装置及び医用画像処理方法 |
JP5865606B2 (ja) * | 2011-05-27 | 2016-02-17 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
JP5221722B2 (ja) * | 2011-08-29 | 2013-06-26 | 株式会社東芝 | 撮像装置及び内視鏡装置 |
WO2014016894A1 (ja) * | 2012-07-23 | 2014-01-30 | 富士通株式会社 | 形状データ生成方法及び装置 |
JP6045417B2 (ja) * | 2012-12-20 | 2016-12-14 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法 |
JP6128989B2 (ja) * | 2013-06-27 | 2017-05-17 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
JP6218634B2 (ja) * | 2014-02-20 | 2017-10-25 | オリンパス株式会社 | 内視鏡システム及び内視鏡の作動方法 |
US10725650B2 (en) * | 2014-03-17 | 2020-07-28 | Kabushiki Kaisha Kawai Gakki Seisakusho | Handwritten music sign recognition device and program |
JP6513209B2 (ja) * | 2015-09-28 | 2019-05-15 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006187470A (ja) * | 2005-01-06 | 2006-07-20 | Olympus Corp | 医療画像処理装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5920319A (en) * | 1994-10-27 | 1999-07-06 | Wake Forest University | Automatic analysis in virtual endoscopy |
US20020164061A1 (en) * | 2001-05-04 | 2002-11-07 | Paik David S. | Method for detecting shapes in medical images |
JP4885388B2 (ja) | 2001-09-25 | 2012-02-29 | オリンパス株式会社 | 内視鏡挿入方向検出方法 |
US7379572B2 (en) * | 2001-10-16 | 2008-05-27 | University Of Chicago | Method for computer-aided detection of three-dimensional lesions |
JP2004097535A (ja) | 2002-09-10 | 2004-04-02 | Toshiba Corp | 医用3次元画像データの領域分割方法 |
JP4652694B2 (ja) * | 2004-01-08 | 2011-03-16 | オリンパス株式会社 | 画像処理方法 |
JP4130428B2 (ja) * | 2004-09-02 | 2008-08-06 | ザイオソフト株式会社 | 画像処理方法及び画像処理プログラム |
EP1832223B1 (en) | 2004-12-27 | 2017-10-25 | Olympus Corporation | Medical image processing apparatus, and medical image processing method |
JP2006205142A (ja) | 2005-01-24 | 2006-08-10 | N Ii T Kk | 原水調整槽 |
-
2006
- 2006-07-27 JP JP2006205142A patent/JP4994737B2/ja active Active
-
2007
- 2007-04-10 CN CN2007800269317A patent/CN101489466B/zh active Active
- 2007-04-10 CN CN2011100823645A patent/CN102172321B/zh active Active
- 2007-04-10 WO PCT/JP2007/057922 patent/WO2008012968A1/ja active Application Filing
- 2007-04-10 EP EP07741358A patent/EP2047791B1/en not_active Expired - Fee Related
- 2007-04-10 EP EP11007714.6A patent/EP2447909B1/en not_active Expired - Fee Related
- 2007-04-10 CN CN201110082529.9A patent/CN102247118B/zh active Active
-
2009
- 2009-01-26 US US12/359,719 patent/US8165370B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006187470A (ja) * | 2005-01-06 | 2006-07-20 | Olympus Corp | 医療画像処理装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013246794A (ja) * | 2012-05-29 | 2013-12-09 | Toyota Motor Corp | 対象物変化検出装置および対象物変化検出方法 |
JP2014232470A (ja) * | 2013-05-30 | 2014-12-11 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
US10194783B2 (en) | 2014-07-15 | 2019-02-05 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region |
Also Published As
Publication number | Publication date |
---|---|
CN102247118A (zh) | 2011-11-23 |
US20090148017A1 (en) | 2009-06-11 |
EP2447909B1 (en) | 2014-03-12 |
CN101489466A (zh) | 2009-07-22 |
EP2047791A4 (en) | 2010-01-20 |
EP2047791A1 (en) | 2009-04-15 |
JP4994737B2 (ja) | 2012-08-08 |
CN102247118B (zh) | 2014-01-15 |
US8165370B2 (en) | 2012-04-24 |
CN101489466B (zh) | 2011-06-08 |
WO2008012968A1 (fr) | 2008-01-31 |
EP2047791B1 (en) | 2012-07-25 |
CN102172321A (zh) | 2011-09-07 |
CN102172321B (zh) | 2013-08-14 |
EP2447909A1 (en) | 2012-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4994737B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
US8515141B2 (en) | Medical image processing apparatus and method for detecting locally protruding lesion | |
JP5242381B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP4902735B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
US20140028821A1 (en) | Image processing apparatus | |
WO2012114600A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
US9824445B2 (en) | Endoscope system | |
US8666135B2 (en) | Image processing apparatus | |
WO2007119295A1 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP5078486B2 (ja) | 医療用画像処理装置及び医療用画像処理装置の作動方法 | |
JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
US20220409030A1 (en) | Processing device, endoscope system, and method for processing captured image | |
WO2021171465A1 (ja) | 内視鏡システム及び内視鏡システムによる管腔走査方法 | |
JP4981335B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP2008093213A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP2008023266A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP6099436B2 (ja) | 画像処理装置 | |
WO2022191058A1 (ja) | 内視鏡画像処理装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120509 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4994737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |