JP2007130227A - カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法 - Google Patents

カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法 Download PDF

Info

Publication number
JP2007130227A
JP2007130227A JP2005326092A JP2005326092A JP2007130227A JP 2007130227 A JP2007130227 A JP 2007130227A JP 2005326092 A JP2005326092 A JP 2005326092A JP 2005326092 A JP2005326092 A JP 2005326092A JP 2007130227 A JP2007130227 A JP 2007130227A
Authority
JP
Japan
Prior art keywords
information
patient
capsule endoscope
examination
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005326092A
Other languages
English (en)
Other versions
JP4885518B2 (ja
Inventor
Masahiko Hamano
雅彦 浜野
Toshiko Haijima
稔子 配島
Yasushi Takahashi
裕史 高橋
Akio Uchiyama
昭夫 内山
Ryoji Sato
良次 佐藤
Hironobu Takizawa
寛伸 瀧澤
Hideki Koyanagi
秀樹 小柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005326092A priority Critical patent/JP4885518B2/ja
Publication of JP2007130227A publication Critical patent/JP2007130227A/ja
Application granted granted Critical
Publication of JP4885518B2 publication Critical patent/JP4885518B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】患者が自宅に居ながらにして、自身の体腔内の検査を行うことを可能とする。
【解決手段】患者の識別用生体情報と体腔内の画像情報とを含む連続的な画像情報を取得可能なカプセル型内視鏡と、該カプセル型内視鏡との間で情報を送受信可能な患者端末と、該患者端末に、ネットワークを介して相互に情報を送受信可能に接続された医療機関サーバ3とを備え、医療機関サーバ3に、患者端末から送られてくるカプセル型内視鏡からの連続的な画像情報S1から患者の識別用生体情報S2を抽出する識別情報抽出部12と、該識別情報抽出部12により抽出された患者の識別用生体情報S2と当該患者の体腔内の画像情報S1とを対応づけて記憶する検査情報記憶部13とが備えられているカプセル型内視鏡システムを提供する。
【選択図】 図3

Description

この発明は、カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法に関するものである。
従来、長期の通院による患者の負担を軽減する手段として、在宅看護システムが知られている(例えば、特許文献1、特許文献2参照。)。
また、体腔内の状態を検査する内視鏡装置をカプセル型に構成し、例えば、経口的に体腔内に導入したカプセル型内視鏡により、体腔内部の画像を取得する方法も知られている(例えば、特許文献3参照。)。
カプセル型内視鏡は、患者が飲み込むだけで、自動的に体腔内の画像を取得できる。したがって、患者は必ずしも医療機関に通院して検査を受ける必要がなく、自宅に居ながらにして検査を行うことも可能である。
特開2001−338068号公報 特開2001−273369号公報 特許第3321235号明細書
しかしながら、カプセル型内視鏡を用いて、患者が自宅で検査を行う場合には、以下の問題が発生する。
すなわち、まず第1に、カプセルの飲み込み時に、医師あるいは看護士等が立ち会わないので、患者本人によりカプセル型内視鏡が飲み込まれたか否かの保証が得られず、したがって、カプセル型内視鏡により取得した画像情報が、当該患者本人のものであることの証明が困難となるという問題がある。
特に、体腔内を撮像して得られた画像情報には、患者本人の識別表示としての機能は少なく、当該画像情報のみから患者本人を特定することは困難である。
第2に、仮に、得られた画像情報が患者本人のものであったとしても、カプセル型内視鏡により得られる画像情報は、カプセル型内視鏡内に記憶され、あるいは、外部に送信された電子情報である。したがって、得られた画像情報が患者本人のものであることを証明するには、該電子情報と患者との対応付けておくことが必要であり、この場合には、患者の名前や識別番号等を電子情報として入力し、画像情報と対応づける必要がある。しかしながら、患者を特定するための電子情報を入力させる場合には、入力ミスや、意図しない取り違えの問題が発生する可能性がある。
第3に、家庭等のおいて得られた画像情報をネットワークを介して医療機関等に送る場合には、患者を特定するための情報を入力させる必要があるが、個人情報漏洩の問題がある。
すなわち、患者の身体の検査結果である画像情報とともに記録される情報であるため、これらの情報に対応づける識別情報としては、患者の氏名等、直ちに患者本人を特定し得る個人情報を使用することはできない。また、患者の住所やクレジットカード番号等も同様に保護する必要がある。
本発明は、上述した事情に鑑みてなされたものであって、直ちに患者本人を特定し得る個人情報により対応付けることなく、カプセル内視鏡により得られた画像情報を患者本人に対応付けることができ、入力ミス等による取り違えの発生を防止して、患者が自宅に居ながらにして、自身の体腔内の検査を行うことを可能とするカプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、患者の識別用生体情報と当該患者の体腔内の画像情報とを含む連続的な画像情報を取得可能なカプセル型内視鏡と、該カプセル型内視鏡との間で情報を送受信可能な患者端末と、該患者端末に、ネットワークを介して相互に情報を送受信可能に接続された医療機関サーバとを備え、前記医療機関サーバに、患者端末から送られてくるカプセル型内視鏡からの連続的な画像情報から患者の識別用生体情報を抽出する識別情報抽出部と、該識別情報抽出部により抽出された患者の識別用生体情報と当該患者の体腔内の画像情報とを対応づけて記憶する検査情報記憶部とが備えられているカプセル型内視鏡システムを提供する。
本発明によれば、カプセル型内視鏡により患者の識別用生体情報と当該患者の体腔内の画像情報とを含む連続的な画像情報が取得される。識別用生体情報とは、例えば、虹彩である。カプセル型内視鏡は、通常、患者が飲み込む際に、パッケージから取り出すことにより起動し、所定のタイミングで撮影を開始する。したがって、患者がカプセル型内視鏡を起動させてから飲み込むまでの間に、カプセル型内視鏡によって自分の目の虹彩を撮影することにより、識別用生体情報と体腔内の画像情報とを含む連続的な画像情報を簡単に取得することができる。
取得された連続的な画像情報は、カプセル型内視鏡から、一旦、患者端末に送信された後、ネットワークを介して医療機関サーバに送信される。画像情報は、医療機関サーバに送信されると、医療機関サーバに備えられた識別情報抽出部の作動により、その画像情報に含まれている患者の識別用生体情報が抽出されるとともに、患者の体腔内の画像情報が当該患者の識別用生体情報と対応づけた形態で検査情報記憶部に記憶される。
したがって、その後は、患者の識別用生体情報をキーとして当該患者の体腔内の画像情報を検査情報記憶部から読み出して診断等を行うことが可能となる。
この場合において、本発明によれば、医療機関サーバには、患者の体腔内の画像情報が当該患者に固有の識別用生体情報と自動的に対応づけられて検査情報記憶部に記憶されるので、ID番号等の識別情報を手入力して対応づける場合とは異なり、入力ミスが生ずる虞がなく、患者と画像情報との対応関係が切れる不都合がない。また、医療機関サーバ内において、患者の体腔内の画像情報と、直ちに患者を特定できる個人情報とを対応づけて記憶する必要がなく、個人情報の漏洩および、当該個人情報と結びついた形態での患者の医療情報の漏洩を防止することができる。
上記発明においては、前記医療機関サーバに、患者端末から送られてきたカプセル型内視鏡からの画像情報における識別用生体情報と体腔内の画像情報との連続性を判定する連続性判定部が備えられ、該医療機関サーバが、該連続性判定部により情報の連続性があると判定されたときに、患者の識別用生体情報と体腔内の画像情報とを検査情報記憶部に対応づけて記憶させることとしてもよい。
このようにすることで、連続性判定部の作動により、画像情報における患者の識別用生体情報と体腔内の画像情報との連続性が判定される。連続性が判定される場合には、当該体腔内の画像情報が、識別用生体情報によって特定可能な患者本人のものであることを確認できる。逆に、連続性がない場合には、識別用生体情報によって特定される人とは別の患者の体腔内の画像情報である可能性があり、そのように誤った対応付けがなされた状態での画像情報を記憶することは問題がある。本発明によれば、情報の連続性があると判定されたときに検査情報記憶部に記憶することとして、そのような問題の発生を未然に防止することができる。
また、本発明は、前記医療機関サーバに、患者の識別用生体情報と検査関連情報とを対応づけて記憶する検査関連情報記憶部と、前記識別情報抽出部により抽出された識別用生体情報をキーとして前記検査関連情報記憶部内の検査関連情報を検索する検査関連情報検索部と、検索された検査関連情報に対応するカプセル型内視鏡の制御情報を患者端末に送信する制御情報送信部とが備えられていることとしてもよい。
このようにすることで、識別情報抽出部により、患者端末から送られてきた画像情報から識別用生体情報が抽出されると、医療機関サーバの検査関連情報記憶部に記憶された患者の検査関連情報が、抽出された識別用生体情報をキーとして検索され、検索された検査関連情報に対応するカプセル型内視鏡の制御情報が患者端末に送信される。
ここで、検査関連情報は、例えば、カプセル型内視鏡による検査に先立って、医療機関において行われた予備的な検査結果、過去に行われた検査履歴や診断結果等であり、制御情報は、例えば、カプセル内視鏡による体腔内の画像の取得タイミング等を定めたカスタマイズドプログラムや、その指令信号である。制御情報は、検索された検査関連情報に基づいて自動作成されてもよく、予め作成された制御情報が検査関連情報に対応づけて記憶されていてもよい。
これにより、患者端末は、送られてきた制御情報をそのままカプセル型内視鏡に送信し、あるいは、カプセル型内視鏡を制御する指令信号としてカプセル型内視鏡を制御するようになる。これにより、患者に付与するカプセル内視鏡としては、基本的な機能を備えた標準的なものとすることができ、患者が飲み込んだ後に、患者ごとにカスタマイズされた動作形態で作動させることができる。
また、上記発明においては、前記検査関連情報が、カプセル型内視鏡検査に関連する検査内容や過去の検査履歴を含み、前記制御情報が、前記検査関連情報に基づいて作成されたカプセル型内視鏡の動作プログラムであり、該動作プログラムが、患者端末からカプセル型内視鏡にダウンロードされることとしてもよい。
このようにすることで、各患者の検査関連情報に基づいてカスタマイズされた制御情報をカプセル型内視鏡に組み込むことができる。ダウンロードが完了した後には、カプセル型内視鏡が、患者の検査条件に合致した動作形態で作動し、検査に適した体腔内の画像情報を取得することができる。
また、上記発明においては、前記医療機関サーバが、前記患者端末からリアルタイムに送られてくるカプセル型内視鏡の画像情報に基づいて、制御情報を修正する制御情報修正部を備えることとしてもよい。
このようにすることで、患者の体腔内の状態によって変化する検査条件を修正し、適正な画像情報を取得することが可能となる。
また、上記発明においては、前記医療機関サーバに、ネットワークを介して相互に情報を送受信可能に接続された認証サーバを備え、前記医療機関サーバが、患者の識別用生体情報と該患者への提供情報とを関連づけて前記認証サーバに送信し、該認証サーバが、患者の識別用生体情報と個人情報とを対応づけて記憶する個人情報記憶部と、該個人情報記憶部内の患者の個人情報を、医療機関サーバから送られてきた識別用生体情報をキーとして検索する個人情報検索部と、該個人情報検索部により検索された個人情報により特定される患者に対し、医療機関サーバから送られてきた提供情報を提供する情報提供部とを備えることとしてもよい。
このようにすることで、医療機関サーバから患者の識別用生体情報と患者への提供情報とが関連づけられた形態で、ネットワークを介して認証サーバに送信される。提供情報は、例えば、カプセル型内視鏡により取得された体腔内の画像情報に基づいて行われた診断結果や、診断結果に基づく専門医の情報、あるいは、検査や診断に伴って発生する料金の請求等の情報である。認証サーバにおいては、個人情報検索部の作動により、医療機関サーバから送られてきた患者の識別用生体情報をキーとして個人情報記憶部内が検索され、検索された個人情報により特定される患者に対し、提供情報が提供される。
その結果、患者を直ちに特定可能な個人情報と、患者の身体の状態を示す体腔内の画像情報とを対応づけることなく別々に記憶しておくことができる。さらに、上記個人情報を医療機関サーバに記憶する必要がなく、また、検査関連情報や診断結果を認証サーバに記憶しておく必要もない。したがって、医療機関サーバから体腔内の画像情報が漏洩しても、当該画像情報から患者を特定することはできず、また、認証サーバから個人情報が流出しても、それによって患者の体腔内の画像情報が流出することはなく、保護されることになる。
また、本発明は、カプセル型内視鏡を用いて、患者の識別用生体情報と当該患者の体腔内の画像情報とを含む連続的な画像情報を取得し、取得された画像情報を医療機関に送信し、医療機関において、連続画像から患者の識別用生体情報を抽出し、抽出された識別用生体情報と前記体腔内の画像情報とを対応付けて記憶するカプセル型内視鏡情報処理方法を提供する。
本発明によれば、カプセル型内視鏡により患者の識別用生体情報と当該患者の体腔内の画像情報とを含む連続的な画像情報が取得される。取得された連続的な画像情報は、カプセル型内視鏡から医療機関に送信される。送信された連続的な画像情報は、医療機関において、その画像情報に含まれている患者の識別用生体情報が抽出されるとともに、患者の体腔内の画像情報が当該患者の識別用生体情報と対応づけた形態で記憶される。
したがって、その後は、患者の識別用生体情報をキーとして当該患者の体腔内の画像情報を読み出して診断等を行うことが可能となる。
この場合において、本発明によれば、医療機関には、患者の体腔内の画像情報が当該患者に固有の識別用生体情報と自動的に対応づけられて記憶されるので、ID番号等の識別情報を手入力して対応づける場合とは異なり、入力ミスが生ずる虞がなく、患者と画像情報との対応関係が切れる不都合がない。また、医療機関内において、患者の体腔内の画像情報と、直ちに患者を特定できる個人情報とを対応づけて記憶する必要がなく、個人情報の漏洩および、当該個人情報と結びついた形態での患者の医療情報の漏洩を防止することができる。
上記発明においては、医療機関において、カプセル型内視鏡からの画像情報における識別用生体情報と体腔内の画像情報との連続性を判定し、情報の連続性があると判定されたときに、患者の識別用生体情報と体腔内の画像情報とを検査情報記憶部に対応づけて記憶することとしてもよい。
このようにすることで、画像情報における患者の識別用生体情報と体腔内の画像情報との連続性が判定される。連続性が判定される場合には、当該体腔内の画像情報が、識別用生体情報によって特定可能な患者本人のものであることを確認できる。逆に、連続性がない場合には、識別用生体情報によって特定される人とは別の患者の体腔内の画像情報である可能性があり、そのように誤った対応付けがなされた状態での画像情報を記憶することは問題がある。本発明によれば、情報の連続性があると判定されたときに記憶することとして、そのような問題の発生を未然に防止することができる。
また、上記発明においては、医療機関において、患者の識別用生体情報と検査関連情報とを対応づけて記憶し、抽出された識別用生体情報をキーとして検査関連情報を検索し、検索された検査関連情報に対応するカプセル型内視鏡の制御情報をカプセル型内視鏡に送信することとしてもよい。
このようにすることで、患者端末から送られてきた画像情報から識別用生体情報が抽出されると、医療機関に記憶された患者の検査関連情報が、抽出された識別用生体情報をキーとして検索され、検索された検査関連情報に対応するカプセル型内視鏡の制御情報がカプセル型内視鏡に送信される。この場合に、制御情報は、検索された検査関連情報に基づいて自動作成されてもよく、予め作成された制御情報が検査関連情報に対応づけて記憶されていてもよい。
これにより、患者に付与するカプセル内視鏡としては、基本的な機能を備えた標準的なものとすることができ、患者が飲み込んだ後に、患者ごとにカスタマイズされた動作形態で作動させることができる。
また、上記発明においては、前記検査関連情報が、カプセル型内視鏡検査に関連する検査内容や過去の検査履歴を含み、前記制御情報が、前記検査関連情報に基づいて作成されたカプセル型内視鏡の動作プログラムであり、該動作プログラムが、カプセル型内視鏡にダウンロードされることとしてもよい。
このようにすることで、各患者の検査関連情報に基づいてカスタマイズされた制御情報をカプセル型内視鏡に組み込むことができる。ダウンロードが完了した後には、カプセル型内視鏡が、患者の検査条件に合致した動作形態で作動し、検査に適した体腔内の画像情報を取得することができる。
また、上記発明においては、前記医療機関が、患者の識別用生体情報と該患者への提供情報とを関連づけて認証機関に送信し、該認証機関が、患者の識別用生体情報と個人情報とを対応づけて記憶し、医療機関から送られてきた識別用生体情報をキーとして患者の個人情報を個人情報を検索し、検索された個人情報により特定される患者に対し、医療機関から送られてきた提供情報を提供することとしてもよい。
このようにすることで、医療機関から患者の識別用生体情報と患者への提供情報とが関連づけられた形態で、ネットワークを介して認証機関に送信される。認証機関においては、医療機関から送られてきた患者の識別用生体情報をキーとして個人情報の検索が行われ、検索された個人情報により特定される患者に対し、提供情報が提供される。
その結果、患者を直ちに特定可能な個人情報と、患者の身体の状態を示す体腔内の画像情報とを対応づけることなく別々に記憶しておくことができる。さらに、上記個人情報を医療機関に記憶する必要がなく、また、検査関連情報や診断結果を認証機関に記憶しておく必要もない。したがって、医療機関から体腔内の画像情報が漏洩しても、当該画像情報から患者を特定することはできず、また、認証機関から個人情報が流出しても、それによって患者の体腔内の画像情報が流出することはなく、保護されることになる。
本発明によれば、直ちに患者本人を特定し得る個人情報により対応付けることなく、カプセル内視鏡により得られた画像情報を患者本人に対応付けることができ、入力ミス等による取り違えの発生を防止して、患者が自宅に居ながらにして、自身の体腔内の検査を行うことができるという効果を奏する。
以下、本発明の一実施形態に係るカプセル型内視鏡システム1およびカプセル型内視鏡情報処理方法について、図1〜図10を参照して以下に説明する。
本実施形態に係るカプセル型内視鏡システム1は、図1に示されるように、連続的な画像を撮影可能なカプセル型内視鏡2と、医療機関に配置されるセントラルサーバ(医療機関サーバ)3と、各患者Aの家に配置されるホームサーバ(患者端末)4と、認証機関に配置される認証サーバ(認証機関サーバ)5と、これらのサーバを接続するネットワーク6とを備えている。
カプセル型内視鏡2は、図2に示されるように、照明装置7と、撮像装置8と、通信装置9と、動作プログラムを記憶する記憶部10と、これら各装置を制御する制御部11とを備えている。カプセル型内視鏡2は、例えば、パッケージ(図示略)から取り出されることにより作動を開始し、所定のタイミングで周囲の画像を取得するようになっている。
そして、カプセル型内視鏡2は、体腔内に配置されると、照明装置7の作動により体腔内壁を照明し、撮像装置8の作動により、照明された体腔内壁を連続的にあるいは間欠的に撮影し、取得された画像情報を通信装置9の作動により、患者Aの体外に逐次無線で送信するようになっている。体外に送信された画像情報は、直接、ホームサーバ4に、あるいは、患者Aに装着された体外装置(図示略)を介して間接的にホームサーバ4に送られるようになっている。
セントラルサーバ3は、図3に示されるように、ホームサーバ4から送られてくる画像情報S1から患者Aの識別用生体情報S2を抽出する識別情報抽出部12と、画像情報S1を記憶する検査情報記憶部13とを備えている。また、セントラルサーバ3は、ホームサーバ4から送られてくる画像情報S1における連続性を判定する連続性判定部14を備えている。また、セントラルサーバ3は、これらの情報を管理する情報管理部19を備えている。
識別情報抽出部12は、画像情報S1に画像処理を施すことにより、画像情報S1の先頭部分に含まれている識別用生体情報S2を識別してこれを抽出するようになっている。
識別用生体情報S2としては、例えば、虹彩画像情報(以下、虹彩画像情報S2という。)が挙げられる。
検査情報記憶部13は、図4に示されるように、各患者Aの虹彩画像情報S2を予め登録していて、識別情報抽出部12により抽出された虹彩画像情報S2に基づいて、当該虹彩画像情報S2と画像情報S1とを対応づけて記憶するように構成されている。また、検査情報記憶部13には、患者Aの虹彩画像情報S2に対応づけて当該患者Aの過去の検査履歴S10や診断結果S11や、今回の検査部位に対応する動作プログラム(制御情報)S3も記憶されている。
この場合において、本実施形態においては、セントラルサーバ3にホームサーバ4から画像情報S1が送られてくると、情報管理部19が画像情報S1を連続性判定部14に送り、当該画像情報S1に含まれる虹彩画像情報S2とそれ以降の画像情報S1とが連続しているか否かが連続性判定部14において判断されるようになっている。その結果、連続性判定結果S3が情報管理部19に引き渡され、画像情報S1の連続性があると判定された場合にのみ、検査情報記憶部13に画像情報S1が記憶されるようになっている。
セントラルサーバ3は、ホームサーバ4から画像情報S1が送られてきた場合に、情報管理部19が、識別情報抽出部12において抽出された虹彩画像情報S2をキーとして検査情報記憶部13を検索し、当該虹彩画像情報S2に対応して記憶されている動作プログラムS4を特定し、特定された動作プログラムS4をホームサーバ4に向けて送信するようになっている。
また、セントラルサーバ3には、ホームサーバ4から送られてくる画像情報S1をリアルタイムに解析し、その解析結果に基づいて動作プログラムS4を修正し、修正された動作プログラムS4を検査情報記憶部13に送る制御情報修正部15も備えられている。例えば、画像の明暗の変化時期に基づいて、胃や腸などの各器官への進入タイミングを求め、それに応じた体腔内の撮影タイミング等を設定し直すことができるようになっている。
また、セントラルサーバ3には、保存された画像情報S1を解析して自動診断する自動診断部16と、患者A等に各種情報を提供する情報提供部17とが備えられている。自動診断部16には、専門医データベース18が接続されている。例えば、自動診断部16により診断が行われると、診断結果S5に応じて、専門医データベース18が検索され、その結果得られる専門医情報S6が、診断結果S5とともに患者Aに提供されるようになっている。
また、情報管理部19においては、例えば、複数のカプセル型内視鏡2を患者Aに渡して、定期的に検査を行わせる場合には、検査毎にカプセル型内視鏡2が使用されることにより、患者Aの有するカプセル型内視鏡2の残数が少なくなる。このため、情報管理部19は、検査情報記憶部13から診断結果S5を受けると、検査数をカウントして、患者Aの有するカプセル型内視鏡2の残数がゼロになる前に配送させるよう、情報提供部17を介して認証サーバ5に対し、当該患者Aの虹彩画像情報S2と対応づけた形態でその配送情報S7を提供するようになっている。また、検査により生じた料金を患者Aに請求する場合に、情報管理部19が請求情報S8を計算し、情報提供部17を介して認証サーバ5に対し、当該患者Aの虹彩画像情報S2と対応づけた形態でその請求情報S8を提供するようになっている。
ホームサーバ4は、カプセル型内視鏡2との無線通信機能、ネットワーク6を介したセントラルサーバ4との通信機能および各種情報の入力機能および表示等の出力機能を備えている。また、ホームサーバ4は、カプセル型内視鏡2から送られてくる画像情報S1をネットワーク6を介してセントラルサーバ3に送信し、セントラルサーバ3から送られてくる動作プログラムS4をカプセル型内視鏡2に無線送信し、あるいは、セントラルサーバ3から送られてくる提供情報S6を表示等により患者Aに提供することができるようになっている。
前記認証サーバ5は、図5に示されるように、個人情報記憶部20を備えている。個人情報記憶部20は、図6に示されるように、各患者Aの虹彩画像情報S2と、患者Aの個人情報S9とを対応づけて記憶している。
個人情報S9としては、例えば、氏名、住所、クレジットカード番号等である。また、認証サーバ5は、セントラルサーバ3から送られてきた各種情報に含まれている虹彩画像情報S2に基づいて、患者Aの個人情報S9を検索する個人情報検索部21と、該個人情報検索部21により検索された個人情報S9に基づいて特定される患者Aへのカプセル型内視鏡2の配送情報S7や料金の課金等の請求情報S8を配送会社端末23やクレジットカード会社端末24に提供する情報提供部22とを備えている。
また、本実施形態に係るカプセル型内視鏡情報処理方法は、カプセル型内視鏡2を用いて、患者Aの虹彩画像情報S2と体腔内の画像情報とを含む連続的な画像情報S1を取得し、取得された画像情報S1をセントラルサーバ3に送信し、セントラルサーバ3において、患者Aの虹彩画像情報S2を抽出し、抽出された虹彩画像情報S2と体腔内の画像情報S1とを対応付けて記憶する方法である。
このように構成された本実施形態に係るカプセル型内視鏡システム1およびカプセル型内視鏡情報処理方法の作用について以下に説明する。
まず、本実施形態に係るカプセル型内視鏡システム1を用いて検査を行うには、患者Aは、内視鏡検査に先立って、医療機関において予備的な診断を受ける。診断の際には、患者Aの氏名、年齢、住所、病歴等の個人情報S9および予備的な診断の結果が、ネットワーク6に接続されていない端末のデータベース(図示略)に入力される。また、患者Aの虹彩画像情報S2、例えば、虹彩画像情報S2がディジタルカメラ等により取得され、同じ端末のデータベースに対応づけて記憶される。さらに、当該患者Aの過去の検査履歴S10等がある場合には、その診断結果S11等の情報も同じデータベースに記憶される。
予備的な診断の結果、カプセル型内視鏡2による検査が必要であると判断された場合には、患者Aに対しホームサーバ4が貸与されるとともに、当面の必要数のカプセル型内視鏡2が貸与される。患者Aは、自宅等に帰宅後、ホームサーバ4をインターネット等を介してネットワーク6に接続する。また、患者Aは、カプセル型内視鏡2やディジタルカメラで撮影した虹彩画像情報S2および料金の精算に必要なクレジットカード番号等をホームサーバ4に入力し、ネットワーク6を介してセントラルサーバ3に送信する。
一方、医療機関においては、医療機関内の端末に記憶されている検査履歴S10および診断結果S11等の検査関連情報が虹彩画像情報S2と対応づけた状態で、セントラルサーバ3内の検査情報記憶部13に記憶される。また、医療機関内の端末に記憶されている個人情報S9が虹彩画像情報S2と対応づけた状態で、ネットワーク6を介して認証サーバ5に送られる。
また、医療機関においては、予備的な診断の結果や過去の診断結果S11等に基づいて、患者A毎にカスタマイズされたカプセル型内視鏡2の動作プログラムS4が作成され、前記検査情報記憶部13に、虹彩画像情報S2と対応づけて記憶される。
また、ホームサーバ4からクレジットカード番号および虹彩画像情報S2が送られてくると、セントラルサーバ3はこれらの情報を認証サーバ5に送る。
認証機関においては、セントラルサーバ3から送られてくるクレジットカード番号を含む個人情報S9および虹彩画像情報S2が対応づけられた状態で個人情報記憶部20に記憶される。
これにより、患者Aが、自宅等において、カプセル型内視鏡2による検査を行うための準備が完了する。
次に、カプセル型内視鏡2を用いて検査を開始するには、患者Aは、飲み込もうとするカプセル型内視鏡2をパッケージから取り出すことにより起動させる。これにより、カプセル型内視鏡2の撮像装置8による周囲の画像の取得が開始されるので、患者Aは、カプセル型内視鏡2を自分の目に近接させて虹彩画像情報S2を取得させ、その後、カプセル型内視鏡2を顔から遠くに離すことなくそのまま口に入れる。
このようにすることで、カプセル型内視鏡2により、虹彩画像情報S2と、目から口に移動する際の画像と、口の中に入った後の体腔内の画像とが連続した画像情報S1が取得されることになる。
カプセル型内視鏡2により取得された画像情報S1は、ホームサーバ4に逐次、無線送信され、ホームサーバ4からネットワーク6を介して逐次、セントラルサーバ3に送信される。
セントラルサーバ3においては、まず、識別情報抽出部12の作動により、ホームサーバから送られてきた画像情報S1に含まれている虹彩画像情報S2が抽出される。
また、セントラルサーバ3においては、連続性判定部14の作動により、ホームサーバ4から送られてきた画像情報S1の連続性が判定される。
連続性の判定は、例えば、図7〜図10に示されるように、時系列に並んだ複数の画像フレームFの内、隣接する2つの画像フレームFどうしを比較して、以下のいずれかの方法により行われる。
(1) 2つの画像フレームF間における画像の差分、例えば、物体の位置情報の連続性を判断する。
(2) 2つの画像フレームFに付随している情報、例えば、焦点距離・露出・色・ホワイトバランス等の連続性を判断する。
方法(1)をさらに具体的に説明すると、図7に示されるように、隣接する2つの画像フレームFにおいて、第1の画像フレームFにおけるテンプレートTを設定し、第1の画像フレームFにおける虹彩画像G1の中心とテンプレートTの中心とを一致させる。そして、第2のフレームFにおいてテンプレートTの中心がどこに移動したのかを画像処理により検索し、テンプレートTを移動させる。2つの画像フレームF上のテンプレートTの中心位置間距離情報から差分を求め、図8に示されるように、その差分が所定値以下であれば連続画像とみなす。これにより連続性が判断される。一方、図9に示されるようにその差分が所定値以上の部分がある場合には、画像情報S1が不連続であると判断される。
また、連続性判定部14においては、図10に示されるように、各画像フレームFにおいて顔の輪郭線G2の抽出を行う。
すなわち、図10(a)に示されるように、患者Aがカプセル型内視鏡2を用いて虹彩画像情報S2を取得する動作と、カプセル型内視鏡2を飲み込む動作とを行う場合に、患者Aの顔の輪郭線G2の抽出を行い、図10(b)に示されるように、輪郭線G2が画像フレームFの中心を越えて推移しない場合には、画像情報S1の連続性が肯定される。
一方、図10(c)に示されるようい、画像フレームFの中心が輪郭線G2を越えて推移した場合には、画像情報S1の連続性が否定される。この場合には、虹彩画像情報S2を取得した患者Aと、カプセル型内視鏡2を飲み込んだ患者Aとが異なっている可能性が考えられる。
したがって、セントラルサーバ3においては、連続性判定部14によって画像情報S1の連続性、特に、虹彩画像情報S2と体腔内の画像との連続性が否定された場合には、検査情報記憶部13への画像情報S1の記憶を行わないこととして、誤った検査情報が記録されてしまうことを防止している。
そして、連続性判定部14により、画像情報S1の連続性が認められた場合に、識別情報抽出部12により抽出された虹彩画像情報S2をキーとして、検査情報記憶部13が検索され、既に記憶されている対応する虹彩画像情報S2と関連づけて、ホームサーバ4から送られてきた画像情報S1が検査情報記憶部13内に逐次記憶されていくことになる。
また、連続性判定部14により、画像情報S1の連続性が認められた場合には、セントラルサーバ3の検査情報記憶部13に記憶されている動作プログラムS4がホームサーバ4に向けて送信され、ホームサーバ4からカプセル型内視鏡2に送信される。このとき、カプセル型内視鏡2は、口腔内あるいは食道通過中等であることが好ましく、カプセル型内視鏡2によって受信された動作プログラムS4は記憶部10にダウンロードされる。
動作プログラムS4は、患者Aの過去の診断結果S11等に基づいて、患者A毎にカスタマイズされているので、最適な動作タイミング等でカプセル型内視鏡2を作動させることができる。
また、セントラルサーバ3においては、制御情報修正部15の作動により、ホームサーバ4から送られてくる画像情報S1がリアルタイムに解析され、その解析結果に基づいて動作プログラムS4が修正される。例えば、画像の明暗の変化時期に基づいて、胃や腸などの各器官への進入タイミングが求められ、それに応じた体腔内の撮影タイミング等を設定し直すことができる。
修正された動作プログラムS4は、セントラルサーバ3からホームサーバ4を通じてカプセル型内視鏡2にダウンロードされ、その後、修正された動作プログラムS4に従って、画像情報S1が取得されていく。これにより、カプセル型内視鏡2の状態に適した動作を行わせて、画像情報S1を無駄なく取得することが可能となる。
このようにして、カプセル型内視鏡2による検査が終了すると、セントラルサーバ3の検査情報記憶部13には、カプセル型内視鏡2により取得された画像情報S1が蓄積されるので、自動診断部16の作動によって自動診断が行われる。その結果、異常がない場合にはその診断結果S5が、異常があると診断された場合には、その診断結果S5および診断の内容に応じた専門医情報S6が専門医データベース18から検索される。
そして、これらの情報は、セントラルサーバ3の検査情報記憶部13に記憶され、ホームサーバ4を介した患者Aからの要求に応じて、セントラルサーバ3の情報提供部17によりホームサーバ4に送信され、ホームサーバ4の表示部に表示されることで、患者Aに提供されることになる。このとき、患者Aは、ホームサーバ4に虹彩画像情報S2を入力して送信することにより、セントラルサーバ3が患者A自身の虹彩画像情報S2をキーに患者A自身への提供情報を検索し、ホームサーバ4に提供することができる。
また、本実施形態に係るカプセル型内視鏡システム1の作動により自動診断等が行われることで費用が発生した場合には、セントラルサーバ3の情報提供部17が、その配送情報S7あるいは請求情報S8等と虹彩画像情報S2とを関連づけた状態で認証サーバ5に送信する。認証サーバ5においては、虹彩画像情報S2をキーとして個人情報記憶部20内が検索され、請求に係る患者A個人が特定される。これにより、予め登録されているクレジットカード番号を用いてクレジットカード会社端末24を介して、患者Aに対し課金を行い、あるいは、配送会社端末23を介して、特定された患者A個人の住所に補充用のカプセル型内視鏡2を配送させることができる。
このように、本実施形態に係るカプセル型内視鏡システム1およびカプセル型内視鏡情報処理方法によれば、患者Aが自宅等に居ながらにして、患者A自身の体腔内の検査を繰り返し行うことができ、検査通院の負担を解消することができるという利点がある。
また、本実施形態に係るカプセル型内視鏡システム1によれば、セントラルサーバ3の検査情報記憶部13には、患者Aの検査情報S10等が虹彩画像情報S2と関連づけて記憶されているのみであり、ネットワーク6を介して他人がアクセスしても、患者A個人を特定することができない。また、認証サーバ5には個人情報S9が格納されているが、基本的に患者Aに公開されていないうえに、セントラルサーバ3のみにアクセス権を与えておくことで個人情報S9に関するセキュリティ状態を高く維持することができる。
さらに、本実施形態によれば、識別用生体情報である虹彩画像情報S2を用いて各種データを対応づけた状態で記憶しているので、直ちに患者A本人を特定し得る個人情報S9を用いることなく、カプセル型内視鏡2により得られた画像情報S1を患者A本人に対応付けることができる。したがって、入力ミス等による患者Aの取り違えの発生を防止することができるという利点がある。
なお、上記発明においては、識別用生体情報として虹彩画像情報S2を用いることとしたが、これに限られるものではなく、指紋情報あるいは掌静脈情報等の他の識別用生体情報を使用することとしてもよい。
本発明の一実施形態に係るカプセル型内視鏡システムの全体構成を示すブロック図である。 図1のカプセル型内視鏡システムに使用されるカプセル型内視鏡の一例を示す模式図である。 図1のカプセル型内視鏡システムのセントラルサーバを示すブロック図である。 図3のセントラルサーバに備えられる検査情報記憶部を示す図である。 図1のカプセル型内視鏡システムの認証サーバを示すブロック図である。 図5の認証サーバに備えられる個人情報記憶部を示す図である。 図1のカプセル型内視鏡システムにより取得される画像情報の連続性の判定を説明する図である。 図7の判定により連続性が肯定される場合を示すグラフである。 図7の判定により連続性が否定される場合を示すグラフである。 図1のカプセル型内視鏡システムにより取得される画像情報における識別用生体情報とその後の画像情報との連続性の判定を説明する図である。
符号の説明
A 患者
S1 画像情報
S2 識別用生体情報
S4 動作プログラム(制御情報)
S5 診断結果(提供情報)
S6 専門医情報(提供情報)
S9 個人情報
S10 検査履歴(検査関連情報)
S11 診断結果(検査関連情報)
1 カプセル型内視鏡システム
2 カプセル型内視鏡
3 医療機関サーバ
4 ホームサーバ(患者端末)
5 認証サーバ
6 ネットワーク
12 識別情報抽出部
13 検査情報記憶部(検査関連情報記憶部)
14 連続性判定部
15 制御情報修正部
17 情報提供部(制御情報送信部)
19 情報管理部(検査関連情報検索部)
20 個人情報記憶部
21 個人情報検索部

Claims (11)

  1. 患者の識別用生体情報と当該患者の体腔内の画像情報とを含む連続的な画像情報を取得可能なカプセル型内視鏡と、
    該カプセル型内視鏡との間で情報を送受信可能な患者端末と、
    該患者端末に、ネットワークを介して相互に情報を送受信可能に接続された医療機関サーバとを備え、
    前記医療機関サーバに、患者端末から送られてくるカプセル型内視鏡からの連続的な画像情報から患者の識別用生体情報を抽出する識別情報抽出部と、該識別情報抽出部により抽出された患者の識別用生体情報と当該患者の体腔内の画像情報とを対応づけて記憶する検査情報記憶部とが備えられているカプセル型内視鏡システム。
  2. 前記医療機関サーバに、患者端末から送られてきたカプセル型内視鏡からの画像情報における識別用生体情報と体腔内の画像情報との連続性を判定する連続性判定部が備えられ、
    該医療機関サーバが、該連続性判定部により情報の連続性があると判定されたときに、患者の識別用生体情報と体腔内の画像情報とを検査情報記憶部に対応づけて記憶させる請求項1に記載のカプセル型内視鏡システム。
  3. 前記医療機関サーバに、患者の識別用生体情報と検査関連情報とを対応づけて記憶する検査関連情報記憶部と、前記識別情報抽出部により抽出された識別用生体情報をキーとして前記検査関連情報記憶部内の検査関連情報を検索する検査関連情報検索部と、検索された検査関連情報に対応するカプセル型内視鏡の制御情報を患者端末に送信する制御情報送信部とが備えられている請求項1または請求項2に記載のカプセル型内視鏡システム。
  4. 前記検査関連情報が、カプセル型内視鏡検査に関連する検査内容や過去の検査履歴を含み、
    前記制御情報が、前記検査関連情報に基づいて作成されたカプセル型内視鏡の動作プログラムであり、
    該動作プログラムが、患者端末からカプセル型内視鏡にダウンロードされる請求項3に記載のカプセル型内視鏡システム。
  5. 前記医療機関サーバが、前記患者端末からリアルタイムに送られてくるカプセル型内視鏡の画像情報に基づいて、制御情報を修正する制御情報修正部を備える請求項3または請求項4に記載のカプセル型内視鏡システム。
  6. 前記医療機関サーバに、ネットワークを介して相互に情報を送受信可能に接続された認証サーバを備え、
    前記医療機関サーバが、患者の識別用生体情報と該患者への提供情報とを関連づけて前記認証サーバに送信し、
    該認証サーバが、患者の識別用生体情報と個人情報とを対応づけて記憶する個人情報記憶部と、該個人情報記憶部内の患者の個人情報を、医療機関サーバから送られてきた識別用生体情報をキーとして検索する個人情報検索部と、該個人情報検索部により検索された個人情報により特定される患者に対し、医療機関サーバから送られてきた提供情報を提供する情報提供部とを備える請求項1から請求項5のいずれかに記載のカプセル型内視鏡システム。
  7. カプセル型内視鏡を用いて、患者の識別用生体情報と当該患者の体腔内の画像情報とを含む連続的な画像情報を取得し、
    取得された画像情報を医療機関に送信し、
    医療機関において、連続画像から患者の識別用生体情報を抽出し、抽出された識別用生体情報と前記体腔内の画像情報とを対応付けて記憶するカプセル型内視鏡情報処理方法。
  8. 医療機関において、カプセル型内視鏡からの画像情報における識別用生体情報と体腔内の画像情報との連続性を判定し、
    情報の連続性があると判定されたときに、患者の識別用生体情報と体腔内の画像情報とを検査情報記憶部に対応づけて記憶する請求項7に記載のカプセル型内視鏡情報処理方法。
  9. 医療機関において、患者の識別用生体情報と検査関連情報とを対応づけて記憶し、
    抽出された識別用生体情報をキーとして検査関連情報を検索し、
    検索された検査関連情報に対応するカプセル型内視鏡の制御情報をカプセル型内視鏡に送信する請求項7または請求項8に記載のカプセル型内視鏡情報処理方法。
  10. 前記検査関連情報が、カプセル型内視鏡検査に関連する検査内容や過去の検査履歴を含み、
    前記制御情報が、前記検査関連情報に基づいて作成されたカプセル型内視鏡の動作プログラムであり、
    該動作プログラムが、カプセル型内視鏡にダウンロードされる請求項9に記載のカプセル型内視鏡情報処理方法。
  11. 前記医療機関が、患者の識別用生体情報と該患者への提供情報とを関連づけて認証機関に送信し、
    該認証機関が、患者の識別用生体情報と個人情報とを対応づけて記憶し、医療機関から送られてきた識別用生体情報をキーとして患者の個人情報を個人情報を検索し、検索された個人情報により特定される患者に対し、医療機関から送られてきた提供情報を提供する請求項7から請求項10のいずれかに記載のカプセル型内視鏡情報処理方法。
JP2005326092A 2005-11-10 2005-11-10 カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法 Expired - Fee Related JP4885518B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005326092A JP4885518B2 (ja) 2005-11-10 2005-11-10 カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005326092A JP4885518B2 (ja) 2005-11-10 2005-11-10 カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法

Publications (2)

Publication Number Publication Date
JP2007130227A true JP2007130227A (ja) 2007-05-31
JP4885518B2 JP4885518B2 (ja) 2012-02-29

Family

ID=38152379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005326092A Expired - Fee Related JP4885518B2 (ja) 2005-11-10 2005-11-10 カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法

Country Status (1)

Country Link
JP (1) JP4885518B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007167555A (ja) * 2005-12-26 2007-07-05 Olympus Corp 生体内画像表示装置及び受信システム
JP2008307122A (ja) * 2007-06-12 2008-12-25 Olympus Corp 体内情報取得装置
JP2009225933A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp カプセル内視鏡システム及びカプセル内視鏡の動作制御方法
JP2019069174A (ja) * 2018-12-11 2019-05-09 Hoya株式会社 内視鏡プロセッサ及び情報管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000237168A (ja) * 1999-02-19 2000-09-05 Canon Inc 眼科検査装置
JP2003038425A (ja) * 2001-07-30 2003-02-12 Olympus Optical Co Ltd カプセル内視鏡
JP2003070771A (ja) * 2001-09-07 2003-03-11 Omron Corp 生体情報測定器、生体情報測定システムおよび生体情報測定管理方法
JP2004321603A (ja) * 2003-04-25 2004-11-18 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000237168A (ja) * 1999-02-19 2000-09-05 Canon Inc 眼科検査装置
JP2003038425A (ja) * 2001-07-30 2003-02-12 Olympus Optical Co Ltd カプセル内視鏡
JP2003070771A (ja) * 2001-09-07 2003-03-11 Omron Corp 生体情報測定器、生体情報測定システムおよび生体情報測定管理方法
JP2004321603A (ja) * 2003-04-25 2004-11-18 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007167555A (ja) * 2005-12-26 2007-07-05 Olympus Corp 生体内画像表示装置及び受信システム
US8920310B2 (en) 2005-12-26 2014-12-30 Olympus Corporation In-vivo image display apparatus and receiving system
JP2008307122A (ja) * 2007-06-12 2008-12-25 Olympus Corp 体内情報取得装置
JP2009225933A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp カプセル内視鏡システム及びカプセル内視鏡の動作制御方法
JP2019069174A (ja) * 2018-12-11 2019-05-09 Hoya株式会社 内視鏡プロセッサ及び情報管理方法

Also Published As

Publication number Publication date
JP4885518B2 (ja) 2012-02-29

Similar Documents

Publication Publication Date Title
JP7498521B2 (ja) 口内撮影装置、医療装置及びプログラム
JP4593083B2 (ja) 検査データ管理方法
JP5459423B2 (ja) 診断システム
CN109935316B (zh) 医疗辅助系统、信息终端装置、患者图像数据取得方法
KR102311398B1 (ko) 모바일기반 자가 구강검진장치
JP2022137276A (ja) 内視鏡関連業務システム
KR102222932B1 (ko) 이기종 촬영장치들의 촬영 이미지들을 표준화하여 저장 및 관리하는 영상 이미지 표준화 장치
US8423379B2 (en) Medical-information management network system
JP4885518B2 (ja) カプセル型内視鏡システムおよびカプセル型内視鏡情報処理方法
EP3213672A1 (en) Degree-of-health outputting device, degree-of-health outputting system, and program
JP5639312B2 (ja) 検査情報管理装置及び検査情報管理システム
CN104203073A (zh) 图像处理装置和图像处理方法
KR20150128297A (ko) 캡슐내시경을 이용한 의료 정보 처리 방법
JP2001128958A (ja) アイリス・アイリドロジ健康診断管理システム
KR20080064680A (ko) 홍채검진 디스플레이 장치 및 홍채검진 방법
TWI764315B (zh) 舌象檢測裝置
JP3923601B2 (ja) 内視鏡システム
JP6822459B2 (ja) 医療画像分類システム、医療画像分類装置、医療画像分類方法及びプログラム
WO2019131328A1 (ja) 口内撮影補助具、及びその口内撮影補助具を含む医療装置
JP2021117612A (ja) 内視鏡診断データ管理システム
KR101728844B1 (ko) 스마트폰과 연결되는 검이경 및 검이경 시스템
WO2023218523A1 (ja) 第2の内視鏡システム、第1の内視鏡システム、および内視鏡検査方法
CN112969402A (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
Ferreira et al. Design of a prototype remote medical monitoring system for measuring blood pressure and glucose measurement
KR102392912B1 (ko) 부스기반 자가 구강검진장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111129

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4885518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees