JP2007167555A - 生体内画像表示装置及び受信システム - Google Patents

生体内画像表示装置及び受信システム Download PDF

Info

Publication number
JP2007167555A
JP2007167555A JP2005372670A JP2005372670A JP2007167555A JP 2007167555 A JP2007167555 A JP 2007167555A JP 2005372670 A JP2005372670 A JP 2005372670A JP 2005372670 A JP2005372670 A JP 2005372670A JP 2007167555 A JP2007167555 A JP 2007167555A
Authority
JP
Japan
Prior art keywords
image
display
vivo
unit
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005372670A
Other languages
English (en)
Other versions
JP2007167555A5 (ja
JP5096676B2 (ja
Inventor
Takeshi Mori
健 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Medical Systems Corp
Original Assignee
Olympus Corp
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005372670A priority Critical patent/JP5096676B2/ja
Application filed by Olympus Corp, Olympus Medical Systems Corp filed Critical Olympus Corp
Priority to AU2006329367A priority patent/AU2006329367B2/en
Priority to PCT/JP2006/325529 priority patent/WO2007074712A1/ja
Priority to EP06835090.9A priority patent/EP1967124B1/en
Priority to CN200680049379.9A priority patent/CN101346094B/zh
Publication of JP2007167555A publication Critical patent/JP2007167555A/ja
Priority to US12/146,222 priority patent/US8920310B2/en
Publication of JP2007167555A5 publication Critical patent/JP2007167555A5/ja
Application granted granted Critical
Publication of JP5096676B2 publication Critical patent/JP5096676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/07Endoradiosondes
    • A61B5/073Intestinal transmitters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00059Operational features of endoscopes provided with identification means for the endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】複数の生体内導入装置(カプセル型内視鏡)から送信される複数人の生体内画像を1台の生体内画像表示装置(ビュワ)で観察すること。
【解決手段】ビュワ6では、画像表示部が第1の受信機Aから受信した第1のカプセル型内視鏡の生体内画像を表示し得る第1の表示領域61b1と、第1の受信機Aと異なる第2の受信機B,Cから受信した第2のカプセル型内視鏡の生体内画像を表示し得る第2の表示領域61b2,61b3とを有し、上記表示領域61b1〜61b3への画像のマルチ表示を行うことで、異なるカプセル型内視鏡の位置を把握することができる。
【選択図】 図2

Description

本発明は、複数の無線機から送信された生体内導入装置が取得した画像データを受信し、画像データを画像表示部に表示する生体内画像表示装置及び受信システムに関するものである。
近年、内視鏡などの生体内導入装置の分野では、撮像機能と無線通信機能とが装備されたカプセル型内視鏡が登場している。このカプセル型内視鏡は、観察(検査)のために被検体である被検者の口から飲み込まれた後、被検者の生体(人体)から自然排出されるまでの観察期間、たとえば食道、胃、小腸などの臓器の内部(体腔内)をその蠕動運動に伴って移動し、撮像機能を用いて所定の撮像レートで順次撮像する構成を有する。
また、これら臓器内を移動するこの観察期間、カプセル型内視鏡によって体腔内で撮像された画像データは、順次無線通信などの無線通信機能により、被検者の外部に送信され、外部の受信機内に設けられたメモリに蓄積される。被検者がこの無線通信機能とメモリ機能を備えた受信機を携帯することにより、被検者は、カプセル型内視鏡を飲み込んだ後、排出されるまでの観察期間であっても、不自由を被ることなく自由に行動が可能になる(特許文献1参照)。
画像データを受信する場合、一般に受信機では、カプセル型内視鏡から送信される画像信号を受信するための複数のアンテナを被検者の外部に分散配置し、受信する受信強度が強い一つのアンテナを選択切替えして、画像信号を受信している。たとえば特許文献1には、被検体の外部に配置された複数のアンテナの受信切替えを行い、各アンテナが受信する電界強度をもとに、画像信号の発信源である被検体内のカプセル型内視鏡の位置を探知する受信機が記載されている。
このようなカプセル型内視鏡システムでは、カプセル型内視鏡による一連の撮像動作が完了した後に、受信機のメモリに蓄積された画像データをワークステーション等に転送することによって画像の閲覧が事後的に行われるのが一般的である。しかしながら、医師等からは短時間で通過することからすぐに診断可能な食道、胃等の箇所、気になる箇所等に関して撮像画像をリアルタイムに閲覧することに対する要望も高く、カプセル型内視鏡から送信された無線信号に基づきリアルタイムに画像表示を行う簡易型の生体内画像表示装置を付属したシステムも提案されている。
従来の生体内画像表示装置は、最も簡単な構成としては、受信機と電気的に接続可能な構成を有するとともに、小型の表示部及び所定の信号処理部を備える。このような構成を有することによって、簡易型生体内画像表示装置は、受信機にて受信処理が施された信号を入力することが可能であり、入力した信号に基づき所定の処理を施した上で小型の表示部にカプセル型内視鏡で撮像された画像を表示する。
特開2003−19111号公報
ところで、飲み込んだカプセル型内視鏡の位置を確認して、カプセル型内視鏡が被検査対象の臓器に到達すると、医師などは観察を行って、観察後は病院の近辺に外出可能とする指示を与える場合がある。このような場合には、カプセル型内視鏡の現時点の位置を認識することが必要となり、通常は生体内画像表示装置で受信された画像を確認することで、医師が被検体内でのカプセル型内視鏡の位置を把握することを可能としていた。また、たとえば同時に複数の患者がカプセル型内視鏡による検査を行うことが考えられ、このような場合には、それぞれのカプセル型内視鏡の位置を医師が把握することが必要となる。
しかしながら、従来では、1つのカプセル型内視鏡が撮像した画像を1台の生体内画像表示装置で表示しており、このような状況下で複数のカプセル型内視鏡からの画像を認識する場合には、たとえば複数の生体内画像表示装置でカプセル型内視鏡からの画像を表示して認識するか、または1つの簡易画像表示装置をそれぞれの被検体に近づけてカプセル型内視鏡からの画像を1つ1つ別々に表示して認識しており、画像認識の動作が煩雑になるとともに、1台の生体内画像表示装置でリアルタイムに複数のカプセル型内視鏡からの画像を認識することができなかった。
本発明は、上記に鑑みてなされたものであって、複数の生体内導入装置から送信される複数人の生体内画像を1台の生体内画像表示装置で観察することができる生体内画像表示装置及び受信システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる生体内画像表示装置は、第1の生体内導入装置が被検体内において取得した画像データを表示し得る第1の表示領域と、前記第1の生体内導入装置とは異なる第2の生体内導入装置が被検体内で取得した画像データを表示し得る第2の表示領域とを有する画像表示部を備えることを特徴とする。
また、請求項2の発明にかかる生体内画像表示装置は、上記発明において、前記画像表示部が、静止画像を表示するためのものであり、さらに前記第1または第2の生体内導入装置から直接的または間接的に前記画像データを順次受信および順次表示することができるリアルタイム表示部を有することを特徴とする。
また、請求項3の発明にかかる受信システムは、複数の生体内導入装置が被検体内において取得した画像データを受信および送信する複数の無線機と、前記無線機のうちの第1の無線機から受信した画像データを表示し得る第1の表示領域と、前記第1の無線機とは異なる第2の無線機から受信した画像データを表示し得る第2の表示領域とを有する画像表示部を有する生体内画像表示装置と、を備えることを特徴とする。
また、請求項4の発明にかかる受信システムは、上記発明において、前記生体内画像表示装置にて、前記画像表示部が、静止画像を表示するためのものであり、さらに前記第1または第2の無線機から直接的または間接的に前記画像データを順次受信および順次表示することができるリアルタイム表示部を有することを特徴とする。
本発明にかかる生体内画像表示装置及び受信システムは、生体内画像表示装置にて、画像表示部が第1の生体内導入装置が被検体内において取得した画像データを表示し得る第1の表示領域と、前記第1の生体内導入装置とは異なる第2の生体内導入装置が被検体内で取得した画像データを表示し得る第2の表示領域とを有することで、複数の生体内導入装置から送信される複数人の生体内画像を1台の生体内画像表示装置で観察することができ、これにより被検体内における各生体内導入装置の位置を把握することが可能となるという効果を奏する。
以下に、本発明にかかる生体内画像表示装置及び受信システムの実施の形態を図1〜図14の図面に基づいて詳細に説明する。なお、本発明は、これらの実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更実施の形態が可能である。
(実施の形態1)
図1は、本発明に係る生体内画像表示装置及び受信システムの好適な実施の形態である無線型被検体内情報取得システムの全体構成を示す模式図である。図1において、無線型被検体内情報取得システムは、被検体1内に導入され、生体内画像(体腔内画像)を撮像して受信システム7に対して画像信号などのデータ送信を行う生体内導入装置としてのカプセル型内視鏡3と、被検体1内に導入されるカプセル型内視鏡3から送信される無線信号の受信処理に用いられる受信システム7とを備える。
カプセル型内視鏡3は、被検体1の口腔を介して被検体1内部に導入され、たとえば内蔵の撮像機構によって取得した体腔内画像データを被検体1の外部に対して無線送信する機能を有する。受信機2は、被検体1の対外表面の適宜位置に分散させて固定的に貼付される複数の受信用アンテナA1〜Anを有したアンテナユニット2aと、複数の受信用アンテナA1〜Anを介して受信される無線信号の処理などを行う受信本体ユニット2bとを備え、これらユニットはコネクタなどを介して着脱可能に接続される。なお、受信用アンテナA1〜Anのそれぞれは、たとえば被検体1が着用可能なジャケットに備え付けられ、被検体1は、このジャケットを着用することによって受信用アンテナA1〜Anを装着するようにしてもよい。また、この場合、受信用アンテナA1〜Anは、ジャケットに対して着脱可能なものであってもよい。
また、本実施の形態の無線型被検体内情報取得システムは、受信機2が受信した映像信号に基づいて体腔内画像を表示する表示装置たとえばワークステーション(WS)4と、受信機2とワークステーション4との間でデータの受け渡しを行うための記憶部としての携帯型記録媒体5とを備える。
ワークステーション4は、カプセル型内視鏡3によって撮像された体腔内画像などを表示するためのものであり、携帯型記録媒体5等によって得られるデータに基づいて画像表示を行う。具体的には、ワークステーション4は、CRTディスプレイ、液晶ディスプレイなどによって直接画像を表示する構成としてもよいし、プリンタなどのように、他の媒体に画像を出力する構成としてもよい。
携帯型記録媒体5は、コンパクトフラッシュ(登録商標)メモリなどが用いられ、受信機2の受信本体ユニット2bおよびワークステーション4に対して着脱可能であって、両者に対して挿着された時に情報の出力または記録が可能な構造を有する。この実施の形態では、携帯型記録媒体5は、たとえば検査前には、ワークステーション4の表示装置に挿着されて検査IDなどの識別情報が記憶され、さらに検査の直前には、受信本体ユニット2bに挿着され、この受信本体ユニット2bによって、この識別情報が読み出されて受信本体ユニット2b内に登録される。また、カプセル型内視鏡3が被検体1の体腔内を移動している間は、携帯型記録媒体5は、被検体1に取り付けられた受信本体ユニット2bに挿着されてカプセル型内視鏡3から送信されるデータを記録する。そして、カプセル型内視鏡3が被検体1から排出された後、つまり、被検体1の内部の撮像が終了した後には、受信本体ユニット2bから取り出されてワークステーション4に挿着され、このワークステーション4によって、携帯型記録媒体5に記録されたデータが読み出される構成を有する。たとえば、受信本体ユニット2bとワークステーション4とのデータの受け渡しを、携帯型記録媒体5によって行うことで、被検体1が体腔内の撮影中に自由に動作することが可能となり、また、ワークステーション4との間におけるデータの受け渡し期間の短縮にも寄与している。なお、受信本体ユニット2bとワークステーション4との間のデータの受け渡しは、受信本体ユニット2bに内蔵型の他の記録装置、たとえばハードディスクを用い、ワークステーション4との間におけるデータの受け渡しのために、双方を有線又は無線接続するように構成してもよい。
図2は、受信システム7の概略構成の一例を示す概略構成図である。図において、受信システム7は、被検体1に携帯された状態で使用され、受信した無線信号の受信処理を行う受信機2を含む複数の受信機、実施の形態では、たとえば3台の受信機A〜Cと、これら受信機A〜Cと無線によって電気的に接続され、各受信機から出力される無線信号に基づきカプセル型内視鏡3で撮像された画像の表示を行う生体内画像表示装置としてのビュワ6とを備える。これら受信機A〜Cは、図3に示すような同一の構成からなり、たとえば集団検診などで異なる被検体内に導入された異なるカプセル型内視鏡3からの無線信号をそれぞれ受信して、各無線信号の受信処理を行う。すなわち、受信機は、複数のアンテナのうちのたとえば受信強度が最も強いアンテナ21を介してカプセル型内視鏡からの無線信号を受信し、復調部22で復調処理を行い、無線信号に基づいて復調された映像信号を信号処理部23で信号処理(一般的な画像処理の他に、たとえば色強調処理、ホワイトバランスなどを含む)を行って画像データとした後、画像圧縮部24で画像圧縮を行って画像メモリ25に記憶するという通常の構成の他に、本実施の形態にかかる受信機は、画像圧縮部24で圧縮された画像データを変調部26で変調して、無線送信部27から送信用のアンテナ28を介して無線信号として送信するという構成が備えられている。これにより、被検体1は1台の受信機のみを携帯することが可能となる。
ビュワ6は、各受信機A〜Cから送信される無線信号を受信し、各無線信号に基づきカプセル型内視鏡で撮像された体腔内画像を画像表示部61に順次表示する。このビュワ6は、操作者が手で把持可能な程度の大きさに形成された可搬型のもので、受信機A〜Cから送信される無線信号を直接的に受信するための機能と、この無線信号に基づく画像を表示する機能を有する。係る機能を実現するために、ビュワ6は、一体に形成されるロッド状の受信用アンテナ31と、画像表示用の小型LCD(液晶表示装置)による画像表示部61を備える。ここで、受信機A〜Cの識別は、各受信機の出力周波数を異なる周波数に設定して、受信側でこの出力周波数から各受信機を特定しても良いし、ワイヤレスLANのような送受信の構成にして、各受信機からの信号に識別用のパラメータを加えて、各受信機を特定しても良い。また、62は、画像選択手段としての画像選択用ボタンで、63は、表示モードを切り替える表示モード切替手段としての切替スイッチである。
図4は、実施の形態1にかかるビュワ6の機能構成を示すブロック図である。図において、ビュワ6は、アンテナ31を介して受信した各受信機A〜Cからの無線信号を復調する復調部32と、復調された無線信号に基づく映像信号を伸長する画像伸長部33と、伸長された映像信号の信号処理を行って画像データとして画像メモリ35に記憶させる信号処理部34と、画像データをパラメータと関連付けて順次記憶する画像メモリ35と、画像メモリ35に記憶された画像データの表示処理を行う表示処理部36と、表示処理部36で表示処理された各画像を表示する画像表示部37とを備える。また、ビュワ6は、復調部32で復調された各受信機A〜Cからの無線信号に含まれる所定のパラメータを検知するパラメータ検知部38と、この検知されたパラメータに基づいて、対応する画像を選択するための指示を行う画像選択手段39と、受信機から受信した画像データの表示モードを切り替える表示モード切替手段40とを備え、各画像のいわゆるマルチ画面による複数画像のマルチ表示および順次一画像のいわゆる一画面によるリアルタイム表示を可能にする。
パラメータ検知部38は、復調部32で復調された無線信号から、たとえば各患者に特有の識別情報である検査IDや患者IDなどのパラメータを検知している。画像選択手段39は、画像選択用ボタン63を含み、所定の画像を選択するための画像選択用ボタン63が押下されると、パラメータ検知部38によって検知されたパラメータのうちから選択された所定の画像に対応したパラメータを選択する。
表示処理部36は、切替スイッチ63の押下によりリアルタイム画面の表示モードに切り替えて、画像選択手段39によって選択されたパラメータに基づき、リアルタイムの画像表示を画像表示部37に行わせる。画像表示部37は、表示処理部36の制御により、初期状態では図2に示すように、受信機Aから受信した画像データを第1の表示領域61b1に表示し、受信機Aとは異なる受信機B,Cから受信した画像データを第2の表示領域61b2,61b3に表示する、マルチ画面の表示を行う。また、画像表示部37は、画像選択が行われると、図5に示すように、選択された画像をリアルタイム表示部としての画像表示領域61aに拡大して順次表示する、一画面のリアルタイム表示を行う。なお、本発明では、画像選択用ボタン63の代わりに、画像表示部37をタッチパネルで形成し、このタッチパネルに表示された所定の画像を触れることによって画像を選択する指示を行うように構成することも可能である。
次に、ビュワ6による画像表示の動作を図6のフローチャートを用いて説明する。図において、表示処理部36は、アンテナ31で受信し、画像メモリ35に記憶された各受信機A〜Cからの複数の画像を、マルチ画面で表示する(ステップS101)。この場合には、所定時間内に撮像された各受信機A〜Cからの画像を、図2に示すように、画像表示部37の各表示領域61b1〜61b3に、たとえば静止画像として順次表示させる。表示処理部36では、予め各受信機A〜Cと、各受信機A〜Cが送信するパラメータとを関連付けて記憶しており、パラメータ検知部38で検知された各パラメータによって、各受信機A〜Cと、各受信機A〜Cが送信した画像とを対応付けることが可能となる。
次に、表示モード切替手段40の切替スイッチ63が押下されて、画像選択用ボタン63によって受信機A〜Cからの画像のうち、所定の画像が選択されることで、一画面の表示モードの指示があると(ステップS102)、画像選択手段39は、パラメータ検知部38が検知したパラメータのうちから上記所定の画像に対応したパラメータを選択する(ステップS103)。
画像選択手段39によってパラメータの選択がなされると、表示処理部36は、この選択されたパラメータに基づく所定の画像を画像メモリ35から選択し(ステップS104)、選択した所定の画像を画像表示部37の画像表示領域61aに一画面でリアルタイム表示させる(ステップS105)。また、次に表示モード切替手段40の切替スイッチ63が押下されると、表示処理部36は、マルチ画面の表示と判断して(ステップS102)、受信した画像をマルチ画面で画像表示部37に表示させる(ステップS101)。なお、この実施の形態では、患者に携帯された受信機からカプセル型内視鏡の無線信号を間接的に受信するように構成したが、ビュワ6は、受信機を介さずにカプセル型内視鏡から直接無線信号を受信するように構成することも可能である。
このように、この実施の形態では、画像表示部37が第1の受信機Aから受信した第1のカプセル型内視鏡の画像データを表示し得る第1の表示領域61b1と、第1の受信機Aと異なる第2の受信機B,Cから受信した第2のカプセル型内視鏡の画像データを表示し得る第2の表示領域61b2,61b3とを有するので、複数のカプセル型内視鏡から送信される複数人の生体内画像を、受信機A〜Cを介して1台のビュワで受信して観察することができ、これにより被検体内における各カプセル型内視鏡の位置を把握することが可能となる。
また、この実施の形態では、受信機A〜Cから直接受信した画像データを順次受信および順次表示することができる画像表示領域61aをさらに有し、必要に応じて画像の切り替え表示を行うので、たとえばマルチ画面の表示を特定の患者の体腔内画像のリアルタイム表示に切り替えて、拡大してリアルタイムで観察することが可能となり、観察精度が高まりビュワ6の利便性が向上するという効果もある。
(実施の形態2)
図7は、実施の形態2にかかるビュワ6の機能構成を示すブロック図である。図において、ビュワ6が実施の形態1のビュワと異なる点は、アンテナ31で受信した無線信号の受信強度を受信強度検出部41で検出し、最も受信強度の強い無線信号に基づく画像を選択してリアルタイム表示するものである。すなわち、受信強度検出部41は、アンテナ31から受信した各受信機からの無線信号の受信強度を検出するもので、パラメータ検知部38は、受信した無線信号からパラメータを検知するものである。この検出された受信強度とパラメータは、アンテナ31で受信された同一の無線信号に対応しており、一画面の表示モードの際に画像選択手段39は、この検出された受信強度のうちの最も強い受信強度に対応する無線信号のパラメータを選択する。表示処理部36は、マルチ画面の表示モードの際には、アンテナ31で受信され、画像メモリ35に記憶された各受信機A〜Cからの複数の画像を、マルチ画面で画像表示部37に表示させる。また、表示処理部36は、一画面の表示モードの際には、受信した各受信機A〜Cからの画像のうちで受信強度が最も強い画像を、画像表示部37に一画面でリアルタイム表示させる。
この実施の形態では、たとえばリアルタイム表示を行いたい特定の患者にビュワ6を近づけることで、その患者が携帯する受信機から受信強度が最も強い無線信号(または患者の被検体1内のカプセル型内視鏡3からの無線信号)を受信することが可能となり、表示処理部36では、画像選択手段39で選択されたパラメータに基づく画像を、画像表示部37に一画面でリアルタイム表示させることができるようになる。なお、この実施の形態では、実施の形態1に示した画像選択用ボタン63を設けて、画像選択用ボタン63による画像選択と受信強度の検出による画像選択とを併用してもよい。
このように、この実施の形態では、実施の形態1と同様の効果を奏するとともに、一画面の表示モードの際に特定の患者にビュワ6を近づけるだけで、パラメータの選択がなされ、このパラメータに基づく所定の画像を画像表示部37の画像表示領域61aに一画面で拡大してリアルタイム表示することができるので、さらにビュワ6の利便性が向上できる。
(実施の形態3)
図8は、実施の形態3にかかるビュワ6の概略構成を示す外観図である。実施の形態1では、表示モードの切替スイッチ63が押されると、画像表示部61の画像表示をマルチ画面による表示と一画面によるリアルタイム表示とを切り替て表示させていたが、この実施の形態では、図8に示すように、マルチ画面と一画面の両方の画像表示を同時に行うものである。すなわち、この実施の形態では、たとえば受信機A〜Iから受信した各画像データを第1および第2の表示領域を含む表示領域61bにマルチ画面で表示させるとともに、受信機A〜Iからの画像データのうち、画像選択用ボタン63で選択された画像データが画像表示領域61aにリアルタイム表示される。
図9は、実施の形態3にかかるビュワ6の機能構成を示すブロック図である。図において、このビュワ6では、画像表示部61が2つのLCDからなる表示部37a,37bから構成されている。表示処理部36は、リアルタイムの表示処理とマルチ画面の表示処理を行う。すなわち、この表示処理部36は、たとえば表示部37aに対しては画像選択手段39によって指示された画像を、画像メモリ35から順次取り込んで、一画面に拡大する表示処理を行ってリアルタイムで表示させ、表示部37bに対してはマルチ画面による受信機A〜Iから受信した複数の画像を、画像メモリ35から順次取り込んで、マルチ画面に順次表示させる表示処理を行う。
この実施の形態では、複数のカプセル型内視鏡からの画像のマルチ画面でのマルチ表示と、選択された画像の一画面のリアルタイム表示とを同時に行うので、被検体内における各カプセル型内視鏡の位置把握と、リアルタイムでの観察を同時に行うことが可能となるので、さらにビュワ6の利便性を向上できる。
なお、この実施の形態では、2つのLCDからなる表示部を設けてリアルタイム表示とマルチ表示を行ったが、本発明はこれに限らず、たとえば1つのLCDからなる表示部の表示領域を2分割して、一方の表示領域に一画面のリアルタイム表示を行い、他方の表示領域にマルチ表示を行わせてもよい。
(実施の形態4)
図10は、実施の形態4にかかるビュワ6の機能構成を示すブロック図である。図において、このビュワ6が実施の形態3と異なる点は、受信した画像のうちから静止画を選択する静止画選択手段42を設け、静止画の表示とリアルタイム表示を切り替える点である。この静止画選択手段42は、たとえば図示しない静止画選択用ボタンからなり、この静止画選択用ボタンの押下によって所定の画像が選択されたことを示すトリガを発生する。画像メモリ35は、受信機から受信した各画像を記憶する画像用記憶領域と、静止画の画像を記憶する静止画用記憶領域とを有し、このトリガが発生すると、該当する画像を画像用記憶領域とは別の静止画用記憶領域に記憶保持する。表示処理部36では、静止画用記憶領域と画像用記憶領域とから、静止画の画像と受信機から受信した画像を別々に取り込んで、たとえば表示部37aには静止画選択手段42で選択された静止画の画像を表示させ、表示部37bには受信した各画像をマルチ画面に順次表示させる。
なお、この実施の形態では、たとえばリアルタイム表示される所定の画像の中から特定の画像を静止画選択手段42で選択して静止画の画像を表示部37aに表示させ、表示部37bではマルチ表示を順次行わせるように設定してもよいし、またマルチ表示される画像を静止画選択手段42で選択して表示部37bにマルチ画面全体を静止画の画像として表示させ、表示部37aではリアルタイム表示を行わせるように設定してもよい。さらに、マルチ表示されている画像の中から特定の画像を選択してその画像のみを静止画の画像として表示部37aに表示させ、表示部37bではマルチ表示を順次行わせように設定することも可能である。
このように、この実施の形態では、実施の形態3と同様の効果を奏するとともに、リアルタイム表示とマルチ表示が行われている画像の中から特定の画像を静止画選択手段42で選択することによって、表示処理部36による静止画の表示処理が可能となるので、さらにビュワ6の利便性を向上できる。
(実施の形態5)
図11は、実施の形態5にかかるビュワ6の機能構成を示すブロック図である。図において、このビュワ6が実施の形態3と異なる点は、拡大/縮小の表示モードを指示して切り替えるための表示モード切替手段40を設け、表示部37bに指示された拡大画像または縮小画像を切り替え表示させる点である。この表示モード切替手段40は、たとえば図示しない拡大/縮小切替用ボタンからなり、この拡大/縮小切替用ボタンの拡大の押下によって拡大指示がなされると、表示処理部36では、表示部37aにリアルタイム表示された所定の画像の拡大処理を行ってその拡大画像を表示部37bに表示させる。また、この拡大/縮小切替用ボタンの縮小の押下によって縮小指示がなされると、表示処理部36では、表示部37aに表示された画像の縮小処理を行ってその縮小画像を表示部37bに表示させる。なお、表示部37bに表示される画像は、静止画の画像であってもよいし、表示部37aにリアルタイム表示される画像と同一の拡大/縮小処理されたリアルタイムの画像であってもよい。
このように、この実施の形態では、表示部37aにリアルタイム表示されている画像の拡大/縮小を表示モード切替手段40で指示することによって、表示処理部36による拡大/縮小処理された画像の表示が可能となるので、さらにビュワ6の利便性を向上できる。
また、この実施の形態では、たとえば図9に示した画像選択手段39をさらに備えることも可能であり、初期状態では表示部37aに一画面のリアルタイム表示を行うとともに、表示部37bにマルチ画面の表示を行い、画像選択手段39で選択された画像に対して、表示モード切替手段40で拡大/縮小の指示を行えるように設定すれば、さらにビュワ6の利便性を向上できる。
(実施の形態6)
図12は、受信システムの概略構成の他例を示す概略構成図である。図において、受信システムは、たとえば9台の受信機A〜Iと、これら受信機A〜Iと無線によって電気的に接続され、各受信機A〜Iから出力される無線信号を受信する受信機11と、この受信機11によって受信された無線信号を取り込んで所定の信号処理を行うサーバ12と、サーバ12で信号処理された無線信号を送信する送信機13と、送信機13から送信される無線信号に基づき各カプセル型内視鏡で撮像された画像の表示を行うビュワ6とを備え、受信機11、サーバ12および送信機13は、病院などの院内LANを構築している。また、受信機A〜Iは、図2に示した受信機と同一の構成であり、受信機11および送信機13は、信号中継用の一般的な機器なので、ここでは説明を省略する。
サーバ12では、図13のブロック図に示すように、受信機11で復調された無線信号に基づく映像信号を入力部51で取り込み、画像伸長部52で伸長処理を行い、さらに画像処理部53で信号処理を行う。この画像処理部53は、一般的な画像処理や、色強調処理、ホワイトバランスなどの処理を行うとともに、マルチ画像生成部53aによって各受信機A〜Iから受信した個々の画像を、マルチ画面化して1つの画像データ(以下、「マルチ画像」という)として生成し、画像メモリ54に記憶させる。この画像メモリ54に記憶されたマルチ画像を取り込んで画像圧縮部55で画像圧縮を行って、出力部56から送信機13に出力している。サーバ12からのマルチ画像は、送信機13で変調されてビュワ6に送信される。
ビュワ6は、図14のブロック図に示すように、アンテナ31を介して受信した無線信号を、復調部32で復調し、画像伸長部33で伸長処理を行った後に、伸長された映像信号を信号処理部34で信号処理を行って一画面のマルチ画像のデータとして画像メモリ35に記憶させる。さらに、画像メモリ35に記憶されたマルチ画像は、表示処理部36によって取り込まれて表示処理された後、各マルチ画像が画像表示部37で表示される。
このように、この実施の形態では、たとえば集団検診などで複数の異なるカプセル型内視鏡から送信された画像データを、院内LANを介してビュワ6に送信して、マルチ画面による画像表示を可能とするので、複数のカプセル型内視鏡から送信される複数人の生体内画像を、1台のビュワで受信して観察することができ、これにより被検体内における各カプセル型内視鏡の位置を把握することが可能となる。
また、この実施の形態では、異なるカプセル型内視鏡から送信された画像データを、サーバ12で取り込んでマルチ画面化して1つの画像データに生成し、その画像データをビュワ6に送信して、マルチ画面による画像表示を可能とするので、各受信機から画像データを別々に受信してマルチ画面化の処理をビュワで行う場合に比べて、ビュワのメモリ量を大幅に削減することができ、受信システムのコスト削減が図られる。
なお、本発明では、上記の実施の形態の他に、たとえば検査対象の臓器内にカプセル型内視鏡が移動したことを、受信システムで確認し、ビュワから画像を選択すると、たとえば病院から外出の許可を受信機に送信して患者に認識させるように構成することも可能である。この場合には、患者は、カプセル型内視鏡が排出されるまでの観察期間であっても、不自由を被ることなくさらに自由に行動が可能になる。
また、本発明では、静止画、拡大、縮小、マルチ画面化の処理以外に、たとえば画像の色強調、構造強調などの処理を行い、これらの処理を行った画像をビュワの別々の画面に表示させることも可能である。この場合には、画像処理の異なる複数の画像を表示させることが可能となり、観察精度が高まりさらにビュワ6の利便性が向上できる。
本発明に係る生体内画像表示装置及び受信システムの好適な実施の形態である無線型被検体内情報取得システムの全体構成を示す模式図である。 受信システムの概略構成の一例を示す概略構成図である。 受信機の機能構成を示すブロック図である。 実施の形態1にかかるビュワの機能構成を示すブロック図である。 一画面表示の場合のビュワの概略構成を示す外観図である。 ビュワによる画像表示の動作を説明するためのフローチャートである。 実施の形態2にかかるビュワの機能構成を示すブロック図である。 実施の形態3にかかるビュワの概略構成を示す外観図である。 実施の形態3にかかるビュワの機能構成を示すブロック図である。 実施の形態4にかかるビュワの機能構成を示すブロック図である。 実施の形態5にかかるビュワの機能構成を示すブロック図である。 受信システムの概略構成の他例を示す概略構成図である。 実施の形態6にかかるサーバの機能構成を示すブロック図である。 実施の形態6にかかるビュワの機能構成を示すブロック図である。
符号の説明
1 被検体
2,A〜I 受信機
2a アンテナユニット
2b 受信本体ユニット
3 カプセル型内視鏡
4 ワークステーション
5 携帯型記録媒体
6 ビュワ
7 受信システム
11 受信機
12 サーバ
13 送信機
21,28,31,A1〜An アンテナ
22,32 復調部
23,34 信号処理部
24,55 画像圧縮部
25,35,54 画像メモリ
26 変調部
27 無線送信部
33,55 画像伸長部
36 表示処理部
37 画像表示部
37a,37b 表示部
38 パラメータ検知部
39 画像選択手段
40 表示モード切替手段
41 受信強度検出部
42 静止画選択手段
51 入力部
52 画像伸長部
53a マルチ画像生成部
56 出力部
61 画像表示部
61a 画像表示領域
61b1 第1の表示領域
61b2,61b3 第2の表示領域
62 切替スイッチ
63 画像選択用ボタン

Claims (4)

  1. 第1の生体内導入装置が被検体内において取得した画像データを表示し得る第1の表示領域と、前記第1の生体内導入装置とは異なる第2の生体内導入装置が被検体内で取得した画像データを表示し得る第2の表示領域とを有する画像表示部を備えることを特徴とする生体内画像表示装置。
  2. 前記画像表示部が、静止画像を表示するためのものであり、
    さらに前記第1または第2の生体内導入装置から直接的または間接的に前記画像データを順次受信および順次表示することができるリアルタイム表示部を有することを特徴とする請求項1に記載の生体内画像表示装置。
  3. 複数の生体内導入装置が被検体内において取得した画像データを受信および送信する複数の無線機と、
    前記無線機のうちの第1の無線機から受信した画像データを表示し得る第1の表示領域と、前記第1の無線機とは異なる第2の無線機から受信した画像データを表示し得る第2の表示領域とを有する画像表示部を有する生体内画像表示装置と、
    を備えることを特徴とする受信システム。
  4. 前記生体内画像表示装置にて、前記画像表示部が、静止画像を表示するためのものであり、
    さらに前記第1または第2の無線機から直接的または間接的に前記画像データを順次受信および順次表示することができるリアルタイム表示部を有することを特徴とする請求項3に記載の受信システム。
JP2005372670A 2005-12-26 2005-12-26 生体内画像表示装置及び受信システム Expired - Fee Related JP5096676B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005372670A JP5096676B2 (ja) 2005-12-26 2005-12-26 生体内画像表示装置及び受信システム
PCT/JP2006/325529 WO2007074712A1 (ja) 2005-12-26 2006-12-21 生体内画像表示装置及び受信システム
EP06835090.9A EP1967124B1 (en) 2005-12-26 2006-12-21 In vivo image display apparatus and receiving system
CN200680049379.9A CN101346094B (zh) 2005-12-26 2006-12-21 生物体内图像显示系统
AU2006329367A AU2006329367B2 (en) 2005-12-26 2006-12-21 In vivo image display device and receiving system
US12/146,222 US8920310B2 (en) 2005-12-26 2008-06-25 In-vivo image display apparatus and receiving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005372670A JP5096676B2 (ja) 2005-12-26 2005-12-26 生体内画像表示装置及び受信システム

Publications (3)

Publication Number Publication Date
JP2007167555A true JP2007167555A (ja) 2007-07-05
JP2007167555A5 JP2007167555A5 (ja) 2009-01-22
JP5096676B2 JP5096676B2 (ja) 2012-12-12

Family

ID=38217933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005372670A Expired - Fee Related JP5096676B2 (ja) 2005-12-26 2005-12-26 生体内画像表示装置及び受信システム

Country Status (6)

Country Link
US (1) US8920310B2 (ja)
EP (1) EP1967124B1 (ja)
JP (1) JP5096676B2 (ja)
CN (1) CN101346094B (ja)
AU (1) AU2006329367B2 (ja)
WO (1) WO2007074712A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014088A1 (ja) * 2007-07-24 2009-01-29 Olympus Medical Systems Corp. 受信装置
WO2018008195A1 (ja) * 2016-07-05 2018-01-11 オリンパス株式会社 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103359A1 (en) * 2006-10-26 2008-05-01 Tah-Yoong Lin Capsule-type endoscopic system with real-time image display
JP4956287B2 (ja) * 2007-06-06 2012-06-20 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システムおよびプログラム
US8585617B2 (en) * 2009-12-21 2013-11-19 Nyxoah SA Diagnosis and prediction of obstructive sleep apnea
JP5351360B2 (ja) * 2011-09-09 2013-11-27 オリンパスメディカルシステムズ株式会社 無線映像伝送システム及び送信装置
CN109862820B (zh) * 2016-10-14 2021-12-21 奥林巴斯株式会社 接收天线、接收天线单元以及接收系统
CN109480746A (zh) * 2019-01-14 2019-03-19 深圳市资福医疗技术有限公司 智能控制胶囊式内窥镜在消化道不同部位工作方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093339A (ja) * 1991-03-11 2003-04-02 Olympus Optical Co Ltd 画像処理装置
JP2005021392A (ja) * 2003-07-02 2005-01-27 Olympus Corp 内視鏡システム
JP2006305369A (ja) * 2002-02-12 2006-11-09 Given Imaging Ltd 画像ストリームを表示するためのシステムおよび方法
JP2007130227A (ja) * 2005-11-10 2007-05-31 Olympus Corp カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法
JP2008307122A (ja) * 2007-06-12 2008-12-25 Olympus Corp 体内情報取得装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6048011A (ja) * 1983-08-27 1985-03-15 Olympus Optical Co Ltd 内視鏡装置
IL108352A (en) * 1994-01-17 2000-02-29 Given Imaging Ltd In vivo video camera system
JP3631265B2 (ja) 1994-04-27 2005-03-23 オリンパス株式会社 体内観察装置
CN2303580Y (zh) * 1997-08-14 1999-01-13 张恒 数字式医用内窥镜监视仪
US6853310B2 (en) * 1999-12-29 2005-02-08 Ge Medical Systems Information Technologies, Inc. Tri-mode medical telemetry antenna system
JP2001353124A (ja) 2000-04-10 2001-12-25 Olympus Optical Co Ltd 内視鏡装置
IL143260A (en) * 2001-05-20 2006-09-05 Given Imaging Ltd Array and method for locating an intra-body signal source
US6951536B2 (en) * 2001-07-30 2005-10-04 Olympus Corporation Capsule-type medical device and medical system
JP2003135371A (ja) 2001-10-31 2003-05-13 Olympus Optical Co Ltd 内視鏡システム
JP2003325439A (ja) * 2002-05-15 2003-11-18 Olympus Optical Co Ltd カプセル型医療装置
JP2004024340A (ja) 2002-06-21 2004-01-29 Olympus Corp 内視鏡装置
JP2004121613A (ja) 2002-10-03 2004-04-22 Olympus Corp 医療制御装置
JP2004113780A (ja) 2002-09-06 2004-04-15 Pentax Corp 内視鏡、および光断層内視鏡装置
JP2004275321A (ja) * 2003-03-14 2004-10-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
US20050043634A1 (en) * 2003-06-24 2005-02-24 Olympus Corporation Communication system for capsule type medical apparatus capsule type medical apparatus, and information receiver
ATE538445T1 (de) * 2003-07-02 2012-01-15 Given Imaging Ltd Abbildungs-sensor-array und benutzungseinrichtung und verfahren dafür
JP4675241B2 (ja) * 2003-12-01 2011-04-20 オリンパス株式会社 内視鏡システム
CN1554310A (zh) * 2003-12-24 2004-12-15 孙志宏 智能型口服全消化道内窥镜
JP2005245937A (ja) * 2004-03-08 2005-09-15 Pentax Corp 通信機能付き着衣、及び内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093339A (ja) * 1991-03-11 2003-04-02 Olympus Optical Co Ltd 画像処理装置
JP2006305369A (ja) * 2002-02-12 2006-11-09 Given Imaging Ltd 画像ストリームを表示するためのシステムおよび方法
JP2005021392A (ja) * 2003-07-02 2005-01-27 Olympus Corp 内視鏡システム
JP2007130227A (ja) * 2005-11-10 2007-05-31 Olympus Corp カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法
JP2008307122A (ja) * 2007-06-12 2008-12-25 Olympus Corp 体内情報取得装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009014088A1 (ja) * 2007-07-24 2009-01-29 Olympus Medical Systems Corp. 受信装置
JP2009028081A (ja) * 2007-07-24 2009-02-12 Olympus Medical Systems Corp 受信装置
US9655500B2 (en) 2007-07-24 2017-05-23 Olympus Corporation Receiving device
WO2018008195A1 (ja) * 2016-07-05 2018-01-11 オリンパス株式会社 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP6326178B1 (ja) * 2016-07-05 2018-05-16 オリンパス株式会社 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム
US10726553B2 (en) 2016-07-05 2020-07-28 Olympus Corporation Image processing apparatus, image processing system, operation method of image processing apparatus, and computer-readable recording medium

Also Published As

Publication number Publication date
EP1967124A1 (en) 2008-09-10
US20080262298A1 (en) 2008-10-23
AU2006329367A1 (en) 2007-07-05
EP1967124A4 (en) 2012-06-20
WO2007074712A1 (ja) 2007-07-05
CN101346094B (zh) 2010-11-17
US8920310B2 (en) 2014-12-30
AU2006329367B2 (en) 2010-04-01
CN101346094A (zh) 2009-01-14
EP1967124B1 (en) 2015-01-28
JP5096676B2 (ja) 2012-12-12

Similar Documents

Publication Publication Date Title
JP5096676B2 (ja) 生体内画像表示装置及び受信システム
JP4823659B2 (ja) 生体内画像表示装置
JP2007167555A5 (ja)
JP4015666B2 (ja) 被検体内情報取得システム
JP4847075B2 (ja) 受信装置
JP4823614B2 (ja) 可搬型簡易画像表示装置及び受信システム
US20080103382A1 (en) Image Display Apparatus
US8135371B2 (en) Receiving apparatus and receiving system
CN212853421U (zh) 胶囊内窥镜系统
JP4734068B2 (ja) 体腔内画像観察装置
JP4602822B2 (ja) 被検体内情報取得システム
JP4554235B2 (ja) アンテナ収容装置およびアンテナ検査システム
JP4827486B2 (ja) 無線型被検体内情報取得システム
JP2005218703A (ja) 受信装置
JP4009610B2 (ja) 受信装置
JP2007111265A5 (ja)
JP2006320649A (ja) 受信装置および受信システム
JP2005319095A (ja) 受信装置
JP2005218704A (ja) 受信装置
JP2006080797A (ja) 受信装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120921

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees