JP2009276371A - 内視鏡用画像装置 - Google Patents

内視鏡用画像装置 Download PDF

Info

Publication number
JP2009276371A
JP2009276371A JP2008124544A JP2008124544A JP2009276371A JP 2009276371 A JP2009276371 A JP 2009276371A JP 2008124544 A JP2008124544 A JP 2008124544A JP 2008124544 A JP2008124544 A JP 2008124544A JP 2009276371 A JP2009276371 A JP 2009276371A
Authority
JP
Japan
Prior art keywords
image
magnification
optical system
optical
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008124544A
Other languages
English (en)
Other versions
JP5198138B2 (ja
Inventor
Yuji Kamo
裕二 加茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2008124544A priority Critical patent/JP5198138B2/ja
Priority to US12/434,464 priority patent/US8647260B2/en
Publication of JP2009276371A publication Critical patent/JP2009276371A/ja
Application granted granted Critical
Publication of JP5198138B2 publication Critical patent/JP5198138B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Lenses (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】光学系の観察画角や大きさを考慮しつつ、特に画面周辺部分が観察しやすい内視鏡用画像装置。
【解決手段】物体の光学像を結像する光学系と、結像された光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画像処理手段を有し、画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、等角度物体における物体の倍率を画面中心部よりも画面周辺部の方を大きくした内視鏡用画像装置。
【選択図】図1

Description

本発明は、内視鏡用画像装置に関するものであり、例えば生体内部や敷設管内部等を観察に利用することができる内視鏡装置用画像装置に関するものである。
内視鏡は、医療用分野及び工業用分野で広く使用されている装置である。特に医療用分野においては、体腔内に挿入された内視鏡により得られる画像によって、観察部位の診断に利用されている。ところが、体腔内は複雑な形状であることが多く、特に管腔形状の場合には、管腔部分に襞や隆起物があると、内視鏡先端を屈曲させて観察方向を変えても見えない個所が出てきてしまう。例えば、大腸は大きな襞があるため、襞裏は見え難くなっており全領域を観察するのは困難となっている。
そこで、広角の光学系を備えることによって、観察範囲を増やす方法をとることが考えられる。これにより、先端を少し屈曲させることにより観察が可能になってくる。
ところが、広角の光学系では一般的に歪曲収差が発生しやすく、画面周辺の物体は縮小して潰れて見えてしまう。この歪曲収差を光学設計で補正することは可能ではあるが、レンズ枚数やレンズ径が大きくなってしまい、内視鏡のような非常に小型な装置に使うには不向きであり、限界があった。
そこで、画像処理によって歪曲収差を補正する方法が特許文献1、特許文献2、特許文献3で提案されている。
また、歪み補正量を変化させるものとして特許文献4のものがある。
特開2005−110207号公報 特開2007−38856号公報 特開2007−124088号公報 特開平11−275444号公報
しかしながら、これらの先行例には以下のような課題があった。
特許文献1のものでは、画面周辺部の見え方に着目しているが、歪曲収差のコントロールを主にレンズで行っている。また、画像処理で歪曲を変化させているが、中心部分を大きく、周辺部分を小さくする方向に補正しているので、画像処理による周辺部分の見えの改善には着目していなかった。そのため、具体的なレンズデータはないが、この構成だと光学系が大型化するのは避けられず、内視鏡に使うには小型化を達成できない構成であった。
特許文献2のものも同様に、画面周辺部に着目しているが、具体的なレンズや画像処理への記述はなく、実現性は不明であった。
なお、特許文献1、特許文献2のものは用途が車載用であり、歪曲を車載の使用状況に対して最適化しているので、内視鏡へそのまま使用することは難しかった。
特許文献3のものは、画像処理による歪曲補正を内視鏡に適用しているが、目的は被写
体検出のための画像補正であり、レンズの歪曲収差を補正しているだけに留まっていた。それゆえ、周辺部分の最適な見えについては考慮されていなかった。
特許文献4のものは、歪曲収差補正の有無を切り替えスイッチで変えられるようにしているが、カメラでの使用を想定していた。そのため、内視鏡で使用するような歪曲収差が大きい広角系では、補正の有無で画像が非常に変化してしまい、逆に観察し難くなってしまっていた。
これらの先行例は、歪曲収差をコントロールしているが、生体内部の複雑な形状をどのように観察するかといった観点はなく、内視鏡観察に最適な歪曲構成については述べられていなかった。
本発明は従来技術のこのような問題点に鑑みてなされたものであり、その目的は、光学系の観察画角や大きさを考慮しつつ、特に画面周辺部分が観察しやすい内視鏡用画像装置を提供することである。
上記課題を解決するために本発明の第1の発明の内視鏡用画像装置は、物体の光学像を結像する光学系と、結像された光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画像処理手段を有し、
前記画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、等角度物体における物体の倍率を画面中心部よりも画面周辺部の方を大きくする構成とする。
以下、第1の発明において、このような構成をとった理由と作用を説明する。
医療用内視鏡の観察において、臓器は複雑な形状をしていることが多く、大腸の襞裏等は病変の見逃しが避けられない。そのため、内視鏡の進行方向に対して、側方、後方も観察できるように画角を増やすことが考えられる。しかしながら、画角を大きくすると光学設計上、歪曲収差が発生してしまい、画面周辺部分は極端に歪んでしまう。そのため、画角を大きくしただけでは病変を認識することができず、見逃しの可能性は効果的に減らない可能性がある。
そこで、本発明では、内視鏡装置に画像処理による歪曲収差補正機能を搭載し、それにより歪み補正を行う。
ところが、広角光学系を搭載した内視鏡では、従来の方法をそのまま適用しても、本発明の目的を達成することは難しい。例えば、従来、一般的な理想像高f・tanθを目標値にして歪曲補正する方法があった。しかしながら、画角θが90°になった場合、理想像高は∞になってしまい、適切な目標値にはならない。さらに、90°以上の場合は、その目標値も定義できない。そのため、理想像高を基準にするような補正方法は本発明に使用する光学系には不適切である。
このように、内視鏡では観察している物体は平面ではなく、立体物である管腔なので、その観察状況に応じて最適な歪曲補正を行う必要がある。また、管腔観察の際、画面中心は遠方若しくは照明光が届かないために注視することは少なく、主に画面周辺を見ていることが多い。また、画面の周辺部は進行方向に対して垂直な面を観察しているのではなく、管腔壁面である側方面を観察していることになる。
そのため、本発明では、観察物体面を球内面とし、その内壁面に配置した微小な円を想
定することにより、歪曲補正を最適化する。すなわち、等角度物体における放射方向の倍率を、画面中心よりも周辺で大きくなるようにして、図2に示すように仮想球面上での等角度物体を表す円を画面中心でも周辺でも略同じになるように装置を構成する。これにより、画面周辺での歪曲が補正され、さらに注視している周辺部分をより拡大して見ることができる。そのため、図1に歪曲の補正の前(a)と後(b)の画面を示すように、管腔内での病変部の観察が見やすくなり、その結果、見落としを軽減することが可能になってくる。
また、本発明の第2の発明の内視鏡用画像装置は、物体の光学像を結像する光学系と、結像された光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画像処理手段を有し、
前記画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、放射方向の倍率を手動操作で変更できる構成とする。
以下、第2の発明において、このような構成をとった理由と作用を説明する。
内視鏡観察の際、必ずしも視野方向に対して物体面を垂直に観察できるとは限らない。狭い空間を観察するとき等光学装置の物理的な配置により、視野方向に対して斜めに観察することは避けられない。このように斜めに観察すると、正対したときに対して歪んで見えてしまう。光学系で発生する樽型の歪曲収差と合わせると、歪みはますます大きくなってしまう。この物体の観察角度による歪みは、操作や物体の形状に依存しているので、単純に光学系の歪曲収差を補正しただけでは解決できなかった。
そこで、第2の発明では、画像処理による歪曲補正量を手動操作で変更できるように構成する。歪曲収差をユーザーがコントロールすることにより、物体の観察角度による歪みを状況に応じて補正することが可能になり、適切な観察が可能になってくる。
本発明の第1〜第2の発明の効果を最大限発揮するためには、光学系の画角が重要である。そのため、以下の条件式(1)を満たすのがよい。
70°≦θ≦150° ・・・(1)
ただし、θは光学系の最大半画角である。
この条件式(1)の上限の150°を越えると、画像処理で歪曲補正を行っても光学系が大きくなりすぎて内視鏡では使用が難しくなってしまい、下限の70°を越えると、観察範囲が狭すぎて歪曲補正をしても見落とし防止の効果が十分に発揮できない。
なお好ましくは、次の条件式を満たすのがよい。
80°≦θ≦120° ・・・(1−1)
また、広角の光学系では一般的に歪曲収差は樽型になり周辺部分がつぶれてしまう。そのため、画像処理では引き延ばす方向に歪曲補正を行うので、拡大処理による画像劣化が避けられない。したがって、光学系である程度歪曲収差をコントロールしておく必要がある。よって、次の条件式(2)を満たすのがよい。
0.5≦Ih/(f・θ)≦1.2 ・・・(2)
ただし、fは光学系の焦点距離、θは光学系の最大半画角(単位はラジアン)、Ihは光学系の最大実像高である。
この条件式(2)の上限の1.2を越えると、光学系の歪曲収差を補正しすぎて、レン
ズの構成枚数が増えたり光学系が大型化してしまい、下限の0.5を越えると、画像処理による補正量が大きくなりすぎて画像が劣化してしまう。
なお好ましくは、次の条件式を満たすのがよい。
0.65≦Ih/(f・θ)≦0.95 ・・・(2−1)
また、中心に対する周辺の倍率は次の条件式(3)を満たすのがよい。
0.5≦Δmax /Δcenter≦6.0 ・・・(3)
ただし、Δcenter、Δmax は等角度物体における像面での大きさであり、Δcenterが画面中央部での大きさ、Δmax は画面内での最大値である。
この条件式(3)の上限の6.0を越えると、表示サイズが大きくなりすぎて画像が劣化してしまい、下限の0.5を越えると、表示サイズが小さすぎて見難くなってしまう。
なお好ましくは、次の条件式を満たすのがよい。
0.8≦Δmax /Δcenter≦4.0 ・・・(3−1)
なお好ましくは、次の条件式を満たすのがよい。
1.0≦Δmax /Δcenter≦3.0 ・・・(3−2)
また、本発明では周辺部分を拡大する構成であるが、同じディスプレイサイズ内に全ての情報を収めるには元画像に対して中心部分を縮小しなければならない。一方、単純な管腔を観察する際、画角90°で壁面を見るので物体距離は最も近くなり、周辺部分の倍率は自然と大きくなってくる。このように、倍率は物体の形状にも依存するので、その境界の画角を適切に設定しないと画像は全体として見難くなってしまう。そこで、その境界である、倍率が変化しない画角は次の条件式(4)を満たすのがよい。
30°≦θfix ≦90° ・・・(4)
ただし、θfix は倍率が変化しない画角である。
この条件式(4)の上限の90°を越えると、周辺部分が過剰に大きくなりすぎてしまい、下限の30°を越えると、中心部分が過剰に小さくなってしまう。
なお好ましくは、次の条件式を満たすのがよい。
40°≦θfix ≦80° ・・・(4−1)
また、画像処理による歪曲補正は個々の画素を移動する処理なので、画素の最大移動量は回路規模に依存して限界がある。したがって、移動量は光学系の歪曲収差と回路設計とでバランスをとる必要がある。したがって、次の条件式(5)を満たすのがよい。
0<Δ/Ih≦0.5 ・・・(5)
ただし、Δは画面内における画素の最大移動量、Ihは最大像高である。
この条件式(5)の上限の0.5を越えると、回路構成が膨大になるか、処理が遅延してしまい観察に支障が生じてしまい、下限の0になると、補正量が小さくなりすぎて画面周辺部が歪みでつぶれて見えてしまう。
なお好ましくは、次の条件式を満たすのがよい。
0.05≦Δ/Ih≦0.35 ・・・(5−1)
また、画像処理による座標変換の際、光学系で得られる画像情報の内、中間部分をカットする構成も考えられるが、観察できない部分が生じるのは好ましくはない。そのため、座標変換時には画角の情報は連続的に表示するのが好ましい。そのため、光学系の入力において、画角が連続している範囲を変換する際、1つの関数多項式による変換をするのが好ましい。これにより変換後も連続性が保たれる。
また、歪曲補正による座標変換は個々の光学系の歪曲収差に依存している。そのため、変換パラメータは光学系と一緒に保持するのが好ましい。また、情報は装置に内蔵されているメモリー等に保存されているのが望ましい。
また、樽型の歪曲収差を補正する際、周辺を拡大する方向に伸ばすので、最周辺の光学像の情報は画面外に出てしまう場合がある。最周辺がカットされると、実質観察画角が減ってしまうので望ましくない。そのため、最大画角での光学像情報は変換前後で保持されているのが好ましい。
また、画面の形状が円形でなく例えば矩形の場合、最大画角の対角位置を固定してしまうと、画面形状が変換後に歪んでしまい欠損部分が生じてしまう。そのため、それを緩和するため、最大画角の少なくとも0.9倍での光学像情報を保持するように変換してもよい。
また、広角光学系を構成するためには一般的にレトロフォーカスタイプになる。そのため、パワー配分が明るさ絞りに対して物体側に負パワーが多く配置され、像側に正パワーが配置される。このような配置になると、光学系で発生する歪曲収差を小さくするのは難しくなってくる。この歪曲収差を補正するためには構成枚数を多くしたり、非球面レンズを使用する必要があるが、大型化したりコストアップしてしまう。そのため、光学系はある程度の歪曲収差を残しておいた方が望ましい。すなわち、等角度物体に対して、像の倍率は中心部よりも周辺部の方が小さくなるような光学特性を持たせるのがよい。
本発明により、物体が複雑な形状でも観察しやすい内視鏡用画像装置を得ることが可能となる。
以下、本発明の内視鏡用画像装置を実施例に基づいて説明する。
(実施例1)
図3に示す内視鏡システム1は、内視鏡観察装置2と、この内視鏡観察装置2により得られた医療用画像としての内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される医療用画像処理装置(以下、単に画像処理装置と略記)3と、この画像処理装置3により画像処理された画像を表示する表示モニタ4とから構成される。
内視鏡観察装置2は、体腔内に挿入される内視鏡6と、この内視鏡6に照明光を供給する光源装置7と、内視鏡6の撮像手段に対する信号処理を行うカメラコントロールユニット(CCUと略記)8と、このCCU8から出力される映像信号が入力されることにより、撮像素子16で撮影した内視鏡画像を表示するモニタ9とを有する。
内視鏡6は、体腔内に挿入される挿入部11と、この挿入部11の後端に設けられた操作部12とを有する。また、挿入部11内には照明光を伝送するライトガイド13が挿通されている。
このライドガイド13の後端は、光源装置7に接続される。そして、この光源装置7から供給される照明光をライトガイド13により転送し、挿入部11の先端部14に設けた照明窓に取り付けられた先端面から伝送した照明光を出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ15と、この対物レンズ15の結像位置に配置された固体撮像素子としての例えば電荷結合素子(CCDと略記)16とによる撮像装置17が設けてある。そして、このCCD16の撮像面に結蔵された光学像は、このCCD16により光電変換される。
CCD16は、信号線を介してCCU8と接続され、このCCU8からCCD駆動信号が印加されることにより、CCD16は光電変換した画像信号を出力する。この画像信号は、CCU8内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ9に出力され、モニタ9の表示面には内視鏡画像が表示される。この映像信号は、画像処理装置3にも入力される。
画像処理装置3は、内視鏡観察装置2から入力される内視鏡画像に対応する映像信号が入力される画像入力部21と、この画像入力部21から入力された画像データに対する画像処理を行う中央演算処理装置としてのCPU22と、このCPU22により画像処理を実行させる処理プログラム(制御プログラム)を記憶する処理プログラム記憶部23とを有する。
また、この画像処理装置3は、画像入力部21から入力される画像データ等を記憶する画像記憶部24と、CPU22により処理された情報等を記憶する情報記憶部25と、CPU22により処理された画像データ及び情報等を記憶装置インターフエース26を介して記憶する記憶装置としてのハードディスク27と、CPU22により処理された画像データ等を表示するための表示処理を行う表示処理部28と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボード等からなる入力操作部29とを有する。そして、この表示処理部28により生成された映像信号は、表示モニタ4に表示され、この表示モニタ4の表示面には画像処理された処理画像が表示される。
なお、画像入力部21、CPU22、処理プログラム記憶部23、画像記憶部24、情報記憶部25、記憶装置インターフェース26、表示処理部28、入力操作部29は、データバス30を介して互いに接続されている。
本実施例においては、図4に示すように、例えば大腸31のような管状部位(管状器官)に直視型の内視鏡6の挿入部11が挿入され、先端部14の撮像装置17により撮像される。なお、本実施例の対物レンズ15は次のように構成される。
図6は、対物レンズ15のレンズ断面図であり、物体側から順に、物体側に凸の第1負メニスカスレンズL1、物体側が平面の第2負レンズL2、平行平面板P1、平行平面板P2、明るさ絞りS、両凸の第3正レンズL3、両凹の第4負レンズL4、両凸の第5正レンズL5、両凸の第6正レンズL6、像側に凸の第7負メニスカスレンズL7、平行平面板P3、平行平面板P4から構成されている。また、第3正レンズL3と第4負レンズL4、第6正レンズL6と第7負レンズL7、平行平面板P3と平行平面板P4はそれぞれ接合されている。また、本実施例の仕様は、焦点距離0.865mm、最大像高1.31mmであり、半画角108.6°の広角の光学系である。
この実施例のレンズ系の数値データは後記するが、物体側から数えた光学面の面番号を
“No”で示してあり、曲率半径は“r”で、面間隔又は空気間隔は“d”で、d線の屈折率は“nd ”で、アッベ数は“vd ”でそれぞれ示してある。曲率半径及び面間隔はmm単位である。
なお、図6では、面番号“No”が1、2、3、・・・・の光学面はr1 、r2 、r3 、・・・・で、面番号No1と2、2と3、3と4、・・・・の間の面間隔又は空気間隔はd1 、d2 、d3 、・・・・で示してある。
次に、内視鏡システム1の作用について説明を行う。まず、ユーザは、内視鏡システム1が有する各部の電源を投入した後、被検体の体腔内に内視鏡6の挿入部11を挿入する。
そして、ユーザにより挿入部11が被検体の体腔内に挿入されると、例えば、その体腔内に存在する生体組織等である被写体の像が、先端部14に設けられた撮像部17により撮像される。そして、撮像部17により撮像された被写体の像は、撮像信号としてCCU8に対して出力される。
CCU8は、図示しない信号処理回路において、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより、その撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ9は、CCU8から出力される映像信号に基づき、撮像部17により撮像された被写体の像を、二次元画像として表示する。また、CCU8は、撮像部17の撮像素子16から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置3に対して出力する。
医療用画像処理装置3に対して出力された二次元画像の映像信号は、画像入力部21においてA/D変換された後、CPU22に入力される。CPU22は、画像入力部21から出力される二次元画像に対し、歪曲収差補正を行う。
歪補正処理部32は、図5に示すように、歪補正後の補正画像の位置(補間位置という。(X,Y))と、これに対応した歪補正前の元の画像の位置(X’,Y’)を生成する補間座標生成部33と、歪補正処理部32の前段ブロックの回路からの画像データの一部を一時的に格納しておくバッファメモリとしての内部メモリ部34と、その内部メモリ部34に対する書き込み及び読み出しの制御を行うメモリ制御部35と、変換した歪補正前の画像位置の座標(X’,Y’)に従って画像処理をしてデータの歪補正をする補間演算部36と、を有して構成されている。
補間座標生成部33は、座標(X,Y)に対して所定の歪補正式を適用して変換した補正前の座標(X’,Y’)を出力する。本実施例では、下記の関数式で変換する。
X’=(m・X)・(1+a・Z2 +b・Z4 +c・Z6
Y’=(m・Y)・(1+a・Z2 +b・Z4 +c・Z6
ただし、Z2 =(m・X)2 +(m・Y)2
m,a,b,cはパラメータである。
本実施例では、Zの最大値が1になるようにX,Yは正規化され、各係数をm=1.74103、a=−0.25250、b=0.03235、c=0.00169に設定している。また、最大像高位置が変換前後で固定になるように設定している。
図7にこの実施例1における画角に対する像高比の特性を示す。歪曲補正がされていない状態、すなわち光学系のみの歪曲特性では画角が大きくなるにつれて像高比の変化が少
なくなってゆき、物体がつぶれて見えている。上記の歪曲補正を行うことにより、画面中心部分に対して画面周辺部分の倍率が拡張され、歪みが改善されて観察しやすくなる。
また、入力操作部29には歪曲補正のコントロールボタンが配設されている。内視鏡6には予め複数の歪曲補正のパラメータがメモリに登録され、保存されている。ユーザーは、そのボタンを押すことにより、保存されているパラメータが呼び出され段階的に歪曲度合いを変化させることができる。これにより、モニタ4には、画面周辺の歪曲が補正された画像が表示される。
(実施例2)
実施例2は、実施例1と同様の構成で、歪曲パラメータを変えたものである。
本実施例では、各係数をm=1.19568、a=0.13243、b=−0.42603、c=0.17871に設定している。
図8にこの実施例2における画角に対する像高比の特性を示す(曲線の意味は図7と同じ)。
(実施例3)
実施例3は、実施例1と同様の構成で、歪曲パラメータを変えたものである。
本実施例では、各係数をm=1.91587、a=−0.44743、b=0.15274、c=−0.01816に設定している。
図9にこの実施例3における画角に対する像高比の特性を示す(曲線の意味は図7と同じ)。
(実施例4)
実施例4は、実施例1と同様の構成で、対物レンズ15の光学パラメータを変えたものである。
図10は、この実施例の対物レンズ15のレンズ断面図であり、物体側から順に、物体側に凸の第1負メニスカスレンズL1、物体側が平面の第2負レンズL2、両凸の第3正レンズL3、明るさ絞りS、平行平面板P1、両凸の第4正レンズL4、平行平面板P2、平行平面板P3、平行平面板P4から構成されている。また、平行平面板P3と平行平面板P4は接合されている。明るさ絞りSは平行平面板P1の前面上に位置している。また、本実施例の仕様は、焦点距離0.698mm、最大像高1.04mmであり、半画角106.0°の広角の光学系である。
この実施例のレンズ系の数値データは後記するが、物体側から数えた光学面の面番号を“No”で示してあり、曲率半径は“r”で、面間隔又は空気間隔は“d”で、d線の屈折率は“nd ”で、アッベ数は“vd ”でそれぞれ示してある。曲率半径及び面間隔はmm単位である。
なお、図10では、面番号“No”が1、2、3、・・・・の光学面はr1 、r2 、r3 、・・・・で、面番号No1と2、2と3、3と4、・・・・の間の面間隔又は空気間隔はd1 、d2 、d3 、・・・・で示してある。
光学系と歪曲パラメータを変えたものである。
本実施例では、各係数をm=1.32694、a=0.43797、b=−0.711
64、c=0.21812に設定している。
図11にこの実施例4における画角に対する像高比の特性を示す(曲線の意味は図7と同じ)。
(実施例5)
実施例5は、実施例4と同様の構成で、歪曲パラメータを変えたものである。
本実施例では、各係数をm=2.23601、a=−0.31206、b=0.06487、c=−0.00491に設定している。
図12にこの実施例5における画角に対する像高比の特性を示す(曲線の意味は図7と同じ)。
次に、上記実施例1〜5で用いている対物レンズ15の数値データを示す。実施例2〜3は実施例1と同じであり、実施例5は実施例4と同じであるので、実施例1と実施例4の数値データを示す。

(実施例1)
No r d nd vd
1 7.8797 0.813 1.88300 40.76
2 2.1240 1.283
3 ∞ 0.400 1.56883 56.36
4 1.4928 0.700
5 ∞ 0.620 1.51400 75.00
6 ∞ 0.030
7 ∞ 0.400 1.52287 59.89
8 ∞ 1.363
9 (絞り) ∞ 0.170
10 3.6072 1.291 1.88300 40.76
11 -2.0000 0.418 1.72151 29.23
12 2.0933 0.319
13 2.7967 1.252 1.56883 56.36
14 -3.0527 0.566
15 2.4330 1.072 1.51633 64.14
16 -2.1514 0.500 1.84666 23.78
17 -16.5531 0.648
18 ∞ 1.130 1.51633 64.14
19 ∞ 1.230 1.51633 64.14
20 ∞
焦点距離 0.865
FNO. 7.50
半画角ω 108.6° 。

(実施例2)
No r d nd vd
1 6.3338 0.695 1.88300 40.78
2 1.8420 1.032
3 ∞ 0.450 1.88300 40.78
4 1.2952 1.123
5 2.2201 2.282 1.64769 33.79
6 -2.6039 0.190
7 (絞り) ∞ 0.795 1.51400 75.00
8 ∞ 0.100
9 2.7732 1.725 1.71999 50.22
10 -5.1958 0.150
11 ∞ 0.400 1.88300 40.78
12 ∞ 0.200
13 ∞ 0.800 1.88300 40.78
14 ∞ 0.500 1.48749 70.21
15 ∞
焦点距離 0.698
FNO. 4.75
半画角ω 106.0° 。
上記実施例の光学系は半画角90°を超える魚眼レンズであるが、それよりも画角が狭い広角の光学系で使用しても構わない。また、上記実施例における光学系の第2負レンズは物体側に凸のメニスカス形状でも構わない。
また、歪曲補正を行う関数式は、どのような定義であってもよく、8次式、10次式・・・を用いても構わない。
また、ユーザー補正による歪曲補正のレベルは、有段階でも無段階でも構わない。また、ユーザーが操作する方式は、ボタンやボリュームつまみあってもよく、また、操作のためのスイッチは画像処理装置3にあっても、内視鏡6にあってもよい。
また、一般的にCCD等の撮像素子は矩形であるので、そこに放射方向の変位を加えた場合、視野範囲は矩形を保つことができない。すなわち、図13(a)に示すように、矩形のラインが歪んでしまい、視野が糸巻き形状になってしまう。視野が矩形にならないので、欠損部分が生じているように見え、観察者にとって見づらくなってしまう。
そこで、図13(b)に示すように、歪曲補正しても欠損部分が生じないように、通常モードで予め拡大表示しておいてもよい。このようにしておけば、歪曲補正時に欠損部分が生じないようにすることができる。また、このとき通常モードで必要な画角が表示されるように、光学系の画角を大きく設計しておくのが望ましい。
また、各実施例における条件式(1)〜(5)の値は次の通りである。
実施例1 実施例2 実施例3 実施例4 実施例5
(1)θ 108.6 108.6 108.6 106 106
(2)Ih/(f・θ) 0.795 0.795 0.795 0.780 0.780
(3)Δmax /Δcenter 1.971 1.087 2.696 2.373 3.585
(4)θfix 58 58 43 76 57
(5)Δ/Ih 0.215 0.105 0.184 0.250 0.284
また、本発明では次のように構成してもよい。
(1)光学系と、撮像範囲を照明する照明手段と、光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画
像処理手段を有し、
画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、等角度物体における物体の倍率を画面中心部よりも画面周辺部の方を大きくしたことを特徴とする内視鏡用画像装置。
(2)光学系と、撮像範囲を照明する照明手段と、光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画像処理手段を有し、
画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、放射方向の倍率を手動操作で変更できるスイッチ手段を有することを特徴とする内視鏡用画像装置。
本発明の内視鏡用画像装置による歪曲の補正の前(a)と後(b)の画面の例を示す図である。 等角度物体を説明するための図である。 本発明の内視鏡システムの構成を示すブロック図である。 内視鏡による大腸観察の例を示す図である。 歪補正処理部の構成を示すブロック図である。 実施例1〜3に使用される対物レンズの断面図である。 実施例1における画角に対する像高比の特性を示す図である。 実施例2における画角に対する像高比の特性を示す図である。 実施例3における画角に対する像高比の特性を示す図である。 実施例4〜5に使用される対物レンズの断面図である。 実施例4における画角に対する像高比の特性を示す図である。 実施例5における画角に対する像高比の特性を示す図である。 本発明に基づき視野範囲を矩形に保つために予め拡大表示しておく例を説明するための図である。
符号の説明
1…内視鏡システム
2…内視鏡観察装置
3…医療用画像処理装置
4…表示モニタ
6…内視鏡
7…光源装置
8…カメラコントロールユニット(CCU)
9…モニタ
11…挿入部
12…操作部
13…ライトガイド
14…先端部
15…対物レンズ
16…電荷結合素子(撮像素子)
17…撮像装置
21…画像入力部
22…CPU
23…処理プログラム記憶部
24…画像記憶部
25…情報記憶部
26…記憶装置インターフエース
27…ハードディスク
28…表示処理部
29…入力操作部
30…データバス
31…大腸
32…歪補正処理部
33…補間座標生成部
34…内部メモリ部
35…メモリ制御部
36…補間演算部
L1〜L7…第1レンズ〜第7レンズ
P1〜P4…平行平面板
S…明るさ絞り

Claims (12)

  1. 物体の光学像を結像する光学系と、結像された光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画像処理手段を有し、
    前記画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、等角度物体における物体の倍率を画面中心部よりも画面周辺部の方を大きくしたことを特徴とする内視鏡用画像装置。
  2. 物体の光学像を結像する光学系と、結像された光学像を電気信号に変換して画像データを取得する撮像素子と、撮像素子によって取得した光学像の位置を移動、変換する画像処理手段を有し、
    前記画像処理手段により放射方向の倍率が同心方向の倍率とは独立的に変換可能であり、放射方向の倍率を手動操作で変更できるようにしたことを特徴とする内視鏡用画像装置。
  3. 請求項1又は2において、前記光学系は次の条件式を満たすことを特徴とする内視鏡用画像装置。
    70°≦θ≦150° ・・・(1)
    ただし、θは光学系の最大半画角である。
  4. 請求項1又は2において、前記光学系は次の条件式を満たすことを特徴とする内視鏡用画像装置。
    0.5≦Ih/(f・θ)≦1.2 ・・・(2)
    ただし、fは光学系の焦点距離、θは光学系の最大半画角(単位はラジアン)、Ihは光学系の最大実像高である。
  5. 請求項1又は2において、中心に対する周辺の倍率は次の条件式を満たすことを特徴とする内視鏡用画像装置。
    0.5≦Δmax /Δcenter≦6.0 ・・・(3)
    ただし、Δcenter、Δmax は等角度物体における像面での大きさであり、Δcenterが画面中央部での大きさ、Δmax は画面内での最大値である。
  6. 請求項1又は2において、倍率が変化しない画角は以下の条件式を満たすことを特徴とする内視鏡用画像装置。
    30°≦θfix ≦90° ・・・(4)
    ただし、θfix は倍率が変化しない画角である。
  7. 請求項1又は2において、画素の最大移動量は以下の条件式を満たすことを特徴とする内視鏡用画像装置。
    0<Δ/Ih≦0.5 ・・・(5)
    ただし、Δは画面内における画素の最大移動量、Ihは最大像高である。
  8. 請求項1又は2において、前記光学系による入力画角が連続している範囲において、画像処理による座標変換は1つの関数多項式を用いていることを特徴とする内視鏡画像装置。
  9. 請求項1又は2において、光学像の座標変換は関数多項式を用い、そのパラメータは予め装置に保持していることを特徴とする内視鏡画像装置。
  10. 請求項1又は2において、最大画角での光学像情報は座標変換前後で保持されることを特
    徴とする内視鏡画像装置。
  11. 請求項1又は2において、少なくとも最大画角の0.9倍での光学像情報が座標変換前後で保持されることを特徴とする内視鏡画像装置。
  12. 請求項1又は2において、前記光学系は等角度物体に対して中心部に対して周辺部の倍率の方が小さくなるような歪み特性を持っていることを特徴とする内視鏡画像装置。
JP2008124544A 2008-05-12 2008-05-12 内視鏡用画像装置 Expired - Fee Related JP5198138B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008124544A JP5198138B2 (ja) 2008-05-12 2008-05-12 内視鏡用画像装置
US12/434,464 US8647260B2 (en) 2008-05-12 2009-05-01 Image apparatus for endoscopes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008124544A JP5198138B2 (ja) 2008-05-12 2008-05-12 内視鏡用画像装置

Publications (2)

Publication Number Publication Date
JP2009276371A true JP2009276371A (ja) 2009-11-26
JP5198138B2 JP5198138B2 (ja) 2013-05-15

Family

ID=41266525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008124544A Expired - Fee Related JP5198138B2 (ja) 2008-05-12 2008-05-12 内視鏡用画像装置

Country Status (2)

Country Link
US (1) US8647260B2 (ja)
JP (1) JP5198138B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010110349A1 (ja) * 2009-03-24 2010-09-30 富士フイルム株式会社 カプセル型内視鏡用撮像光学系
WO2011122032A1 (ja) 2010-03-31 2011-10-06 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
WO2012141088A1 (ja) * 2011-04-11 2012-10-18 オリンパス株式会社 撮像装置及び撮像方法
WO2013035522A1 (ja) * 2011-09-08 2013-03-14 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2013051366A1 (ja) 2011-10-06 2013-04-11 オリンパスメディカルシステムズ株式会社 内視鏡用光学系
WO2014054407A1 (ja) * 2012-10-02 2014-04-10 オリンパスメディカルシステムズ株式会社 内視鏡対物光学系
WO2014203720A1 (ja) * 2013-06-20 2014-12-24 コニカミノルタ株式会社 撮像レンズ及び撮像装置
US9480392B2 (en) 2012-11-21 2016-11-01 Samsung Electronics Co., Ltd Ultra-wide range observation endoscope apparatus
JP6072373B2 (ja) * 2014-10-28 2017-02-01 オリンパス株式会社 内視鏡システム
JP2017027001A (ja) * 2015-07-27 2017-02-02 京セラ株式会社 撮像レンズおよび撮像装置
US9581803B2 (en) 2014-08-20 2017-02-28 Olympus Corporation Observation apparatus
WO2017064751A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 撮像装置及びそれを備えた光学装置
US10129463B2 (en) 2014-10-09 2018-11-13 Fujifilm Corporation Image processing apparatus for electronic endoscope, electronic endoscope system, and image processing method for electronic endoscope

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010013413A1 (de) * 2010-03-30 2011-06-09 Siemens Aktiengesellschaft Endoskop
JP6137921B2 (ja) * 2013-04-16 2017-05-31 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP6352673B2 (ja) * 2014-04-23 2018-07-04 富士フイルム株式会社 内視鏡装置及び内視鏡装置の操作方法
KR101914042B1 (ko) * 2016-12-21 2018-11-02 주식회사 코렌 광각 렌즈 및 이를 포함한 촬상 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634891A (ja) * 1992-07-16 1994-02-10 Olympus Optical Co Ltd 切替え光学系付内視鏡
JPH10290777A (ja) * 1997-04-18 1998-11-04 Agency Of Ind Science & Technol 超広角内視鏡
JPH11252431A (ja) * 1998-02-27 1999-09-17 Kyocera Corp ディストーション補正機能を有するディジタル撮像装置
JP2003333588A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd 光学歪みの補正方法及び補正装置
JP2005279054A (ja) * 2004-03-30 2005-10-13 Olympus Corp 変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0775408B2 (ja) * 1988-05-17 1995-08-09 日本放送協会 撮像デバイス
JPH0775407B2 (ja) * 1988-05-17 1995-08-09 日本放送協会 撮像デバイス
JPH09106533A (ja) * 1995-10-06 1997-04-22 Sony Corp 磁気記録媒体
JP2000066117A (ja) * 1998-08-26 2000-03-03 Asahi Optical Co Ltd 内視鏡用光源装置及び該内視鏡用光源装置を有する内視鏡システムの使用方法
JP2003024272A (ja) * 2001-07-18 2003-01-28 Olympus Optical Co Ltd 信号処理装置
AU2003264354A1 (en) * 2002-08-30 2004-04-30 Olympus Corporation Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
JP3894092B2 (ja) * 2002-10-18 2007-03-14 フジノン株式会社 超音波内視鏡
JP4398184B2 (ja) * 2003-06-24 2010-01-13 オリンパス株式会社 内視鏡
JP2007025123A (ja) * 2005-07-14 2007-02-01 Konica Minolta Photo Imaging Inc 変倍光学系
US7433120B2 (en) * 2005-11-17 2008-10-07 Raytheon Company Multi-telescope imaging system utilizing a single common image sensor
WO2007129446A1 (ja) * 2006-05-01 2007-11-15 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置
EP2135545B1 (en) * 2008-06-19 2013-07-31 Olympus Medical Systems Corp. Magnetically guiding system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0634891A (ja) * 1992-07-16 1994-02-10 Olympus Optical Co Ltd 切替え光学系付内視鏡
JPH10290777A (ja) * 1997-04-18 1998-11-04 Agency Of Ind Science & Technol 超広角内視鏡
JPH11252431A (ja) * 1998-02-27 1999-09-17 Kyocera Corp ディストーション補正機能を有するディジタル撮像装置
JP2003333588A (ja) * 2002-05-16 2003-11-21 Fuji Photo Film Co Ltd 光学歪みの補正方法及び補正装置
JP2005279054A (ja) * 2004-03-30 2005-10-13 Olympus Corp 変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542444B2 (en) 2009-03-24 2013-09-24 Fujifilm Corporation Image pickup optical system for capsule endoscope
WO2010110349A1 (ja) * 2009-03-24 2010-09-30 富士フイルム株式会社 カプセル型内視鏡用撮像光学系
WO2011122032A1 (ja) 2010-03-31 2011-10-06 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US9375133B2 (en) 2010-03-31 2016-06-28 Fujifilm Corporation Endoscopic observation support system
JP2012222658A (ja) * 2011-04-11 2012-11-12 Olympus Corp 撮像装置及び撮像方法
CN103460685A (zh) * 2011-04-11 2013-12-18 奥林巴斯株式会社 摄像装置和摄像方法
US9888831B2 (en) 2011-04-11 2018-02-13 Olympus Corporation Imaging device and imaging method
WO2012141088A1 (ja) * 2011-04-11 2012-10-18 オリンパス株式会社 撮像装置及び撮像方法
WO2013035522A1 (ja) * 2011-09-08 2013-03-14 オリンパスメディカルシステムズ株式会社 内視鏡装置
JPWO2013035522A1 (ja) * 2011-09-08 2015-03-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2013051366A1 (ja) 2011-10-06 2013-04-11 オリンパスメディカルシステムズ株式会社 内視鏡用光学系
US8582217B2 (en) 2011-10-06 2013-11-12 Olympus Medical Systems Corp. Optical system for endoscope
EP2662718A1 (en) * 2011-10-06 2013-11-13 Olympus Medical Systems Corp. Optical system for endoscope
EP2662718A4 (en) * 2011-10-06 2013-12-18 Olympus Medical Systems Corp OPTICAL SYSTEM FOR AN ENDOSCOPE
JP5566560B1 (ja) * 2012-10-02 2014-08-06 オリンパスメディカルシステムズ株式会社 内視鏡対物光学系
US9684152B2 (en) 2012-10-02 2017-06-20 Olympus Corporation Endoscope objective optical system
WO2014054407A1 (ja) * 2012-10-02 2014-04-10 オリンパスメディカルシステムズ株式会社 内視鏡対物光学系
US9480392B2 (en) 2012-11-21 2016-11-01 Samsung Electronics Co., Ltd Ultra-wide range observation endoscope apparatus
WO2014203720A1 (ja) * 2013-06-20 2014-12-24 コニカミノルタ株式会社 撮像レンズ及び撮像装置
JPWO2014203720A1 (ja) * 2013-06-20 2017-02-23 コニカミノルタ株式会社 撮像レンズ及び撮像装置
US9581803B2 (en) 2014-08-20 2017-02-28 Olympus Corporation Observation apparatus
US10129463B2 (en) 2014-10-09 2018-11-13 Fujifilm Corporation Image processing apparatus for electronic endoscope, electronic endoscope system, and image processing method for electronic endoscope
JP6072373B2 (ja) * 2014-10-28 2017-02-01 オリンパス株式会社 内視鏡システム
JPWO2016067927A1 (ja) * 2014-10-28 2017-04-27 オリンパス株式会社 内視鏡システム
JP2017027001A (ja) * 2015-07-27 2017-02-02 京セラ株式会社 撮像レンズおよび撮像装置
WO2017064751A1 (ja) * 2015-10-13 2017-04-20 オリンパス株式会社 撮像装置及びそれを備えた光学装置
US10642005B2 (en) 2015-10-13 2020-05-05 Olympus Corporation Image pickup apparatus and optical apparatus using the same

Also Published As

Publication number Publication date
US8647260B2 (en) 2014-02-11
JP5198138B2 (ja) 2013-05-15
US20090278920A1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
JP5198138B2 (ja) 内視鏡用画像装置
JP5684033B2 (ja) 撮像装置及び内視鏡装置の作動方法
JP5668059B2 (ja) 内視鏡用対物レンズ、及び内視鏡
US10898061B2 (en) Endoscope magnification optical system, endoscope, and endoscope system
JP5802847B2 (ja) 対物光学系
JP5851157B2 (ja) 接眼レンズ系および画像観察装置
JP5601924B2 (ja) 内視鏡用変倍光学系、及び内視鏡
WO2005110201A1 (ja) 内視鏡および内視鏡装置
JP2009080413A (ja) 撮像光学系、内視鏡の撮像装置
JP2008096559A (ja) ズームレンズを用いた電子撮像装置
JP2009136387A (ja) 撮像レンズ及びカプセル内視鏡
JP2009109576A (ja) 内視鏡用対物レンズおよび内視鏡
WO2018003349A1 (ja) 内視鏡装置
JP7265376B2 (ja) 観察撮像装置
JP2009136385A (ja) 撮像レンズ及びカプセル内視鏡
JP2018138983A (ja) 撮像装置
JP6981915B2 (ja) 内視鏡用光学系および内視鏡
US11229349B2 (en) Variable-magnification optical system and imaging apparatus
JP2009136386A (ja) 撮像レンズ及びカプセル内視鏡
JP6774811B2 (ja) 内視鏡用対物光学系及び内視鏡
JP2009300796A (ja) 撮像レンズ及びカプセル型内視鏡
JPWO2019163744A1 (ja) 内視鏡用変倍光学系及び内視鏡
JP6807264B2 (ja) ズームレンズ及び撮像装置
JP6250257B1 (ja) 内視鏡装置
JP3244306B2 (ja) 切替え光学系付内視鏡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5198138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees