JP2008301968A - 内視鏡画像処理装置 - Google Patents

内視鏡画像処理装置 Download PDF

Info

Publication number
JP2008301968A
JP2008301968A JP2007150921A JP2007150921A JP2008301968A JP 2008301968 A JP2008301968 A JP 2008301968A JP 2007150921 A JP2007150921 A JP 2007150921A JP 2007150921 A JP2007150921 A JP 2007150921A JP 2008301968 A JP2008301968 A JP 2008301968A
Authority
JP
Japan
Prior art keywords
image
endoscope
lesion site
images
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007150921A
Other languages
English (en)
Inventor
Hiroichi Nishimura
博一 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2007150921A priority Critical patent/JP2008301968A/ja
Priority to EP08008777A priority patent/EP2014219A3/en
Priority to US12/133,021 priority patent/US20080303898A1/en
Priority to CN2010102261065A priority patent/CN101912251B/zh
Priority to CN200810108920XA priority patent/CN101317749B/zh
Publication of JP2008301968A publication Critical patent/JP2008301968A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Abstract

【課題】内視鏡を用いた観察の効率を従来に比べて向上させることができる内視鏡画像処理装置を提供する。
【解決手段】本発明の内視鏡画像処理装置は、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、前記画像を表示する表示部と、前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、を有することを特徴とする。
【選択図】図1

Description

本発明は、内視鏡画像処理装置に関し、特に、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像の表示状態を制御する内視鏡画像処理装置に関するものである。
内視鏡等を有して構成される内視鏡システムは、工業分野及び医療分野等において従来広く用いられている。特に、医療分野における内視鏡システムは、生体内の各種器官の観察等の用途において主に用いられている。そして、前述した用途において用いられる内視鏡システムとしては、例えば、特許文献1に提案されている電子内視鏡システムがある。
特許文献1の電子内視鏡システムは、内視鏡先端部に配設された撮像素子により被検者の体内を撮像する撮像手段と、前記内視鏡先端部の位置情報を検出する位置検出手段と、前記撮像手段により撮像された画像を、撮像時に前記位置検出手段で検出された前記位置情報と関連づけた静止画像として、所定のタイミングで記録する記録手段と、前記記録手段に記録された前記静止画像および該静止画像に関連づけられた位置情報を表示し、かつ前記撮像手段により撮像されている画像を前記位置検出手段で検出されている前記位置情報と共に動画像として表示する表示手段と、を有して構成されている。そして、特許文献1の電子内視鏡システムは、前述したような構成により、内視鏡が撮像した画像に対応する場所の特定を可能としている。
一方、内視鏡を用いて行われる各種観察のうち、特に大腸の観察においては、例えば、看護師または技師等の補助者が大腸最深部である回盲部まで内視鏡を挿入した後、医師が内視鏡を抜去しつつ病変部位の観察を行う、という観察手法が将来実現される可能性がある。また、現在においても、熟練した医師であれば、まず初めに該医師自身が前記回腸部まで内視鏡を挿入した後、さらに、該医師自身が該内視鏡を抜去しながら詳細な観察及び治療等を行う、という観察手法を用いる場合が多い。
特開2006−223850号公報
前述した観察手法を用いる場合、医師は、例えば、内視鏡挿入時に確認された病変部位を内視鏡抜去時に見落とすことの無いよう、多大な注意力を払う必要がある。そのため、前述した観察手法においては、医師の負担を軽減しつつも内視鏡挿入時に確認された病変部位の見落としを防ぐことができるような、より効率的な手法の実現が課題となっている。
一方、特許文献1の電子内視鏡システムは、画像が撮像された際の内視鏡先端部の位置情報を該画像に関連付けるための構成を有するものであるが、前述した観察手法を用いた場合において生じ得る病変部位の見落としを防ぐことのできるような、例えば、内視鏡挿入時に確認された病変部位に関する情報を内視鏡抜去時に示すことができるような構成を有するものではない。換言すると、特許文献1の電子内視鏡システムは、前述した観察手法において生じている、前述した課題を解決可能な構成を有するものではない。
本発明は、前述した点に鑑みてなされたものであり、内視鏡を挿入する際に取得した病変部位に関する情報を内視鏡抜去時に示すことにより、内視鏡を用いた観察の効率を従来に比べて向上させることができる内視鏡画像処理装置を提供することを目的としている。
本発明における第1の態様の内視鏡画像処理装置は、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、前記画像を表示する表示部と、前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、を有することを特徴とする。
本発明における第2の態様の内視鏡画像処理装置は、前記第1の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が前記病変部位画像を取得したタイミングの前後における所定の期間分の画像を前記表示部に表示させる制御を行うことを特徴とする。
本発明における第3の態様の内視鏡画像処理装置は、前記第1の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる、時間的に順方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として再生させる制御を行うことを特徴とする。
本発明における第4の態様の内視鏡画像処理装置は、前記第3の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に再生させる制御を行うことを特徴とする。
本発明における第5の態様の内視鏡画像処理装置は、前記第1の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入完了時の画像から挿入開始時の画像までの複数の画像からなる、時間的に逆方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として逆再生させる制御を行うことを特徴とする。
本発明における第6の態様の内視鏡画像処理装置は、前記第5の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に逆再生させる制御を行うことを特徴とする。
本発明における第7の態様の内視鏡画像処理装置は、前記第1の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び/または後の所定の枚数の画像と、を動画像として再生させる制御を行うことを特徴とする。
本発明における第8の態様の内視鏡画像処理装置は、前記第1の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び/または後の所定の枚数の画像と、を動画像として逆再生させる制御を行うことを特徴とする。
本発明における第9の態様の内視鏡画像処理装置は、前記第1乃至前記第8の態様の内視鏡画像処理装置において、さらに、前記被検体内に挿入された内視鏡の挿入状態を示す挿入状態データを内視鏡挿入状態検出装置から取得するとともに、前記画像取得部が前記病変部位画像を取得したタイミングにおける該挿入状態データに応じた前記内視鏡の挿入状態に関する情報を、前記病変部位画像に併せて前記表示部に出力する挿入状態情報取得部を有することを特徴とする。
本発明における第10の態様の内視鏡画像処理装置は、前記第9の態様の内視鏡画像処理装置において、前記内視鏡の挿入状態に関する情報は、前記内視鏡の挿入長、前記内視鏡が挿入されてからの経過時間、及び、前記内視鏡の挿入形状のうちの少なくとも一を含むことを特徴とする。
本発明における内視鏡画像処理装置によると、内視鏡を挿入する際に取得した病変部位に関する情報を内視鏡抜去時に示すことにより、内視鏡を用いた観察の効率を従来に比べて向上させることができる。
以下、図面を参照して本発明の実施の形態を説明する。
図1から図9は、本発明の実施形態に係るものである。図1は、本発明の実施形態に係る画像処理装置が用いられる生体観測システムの要部の構成の一例を示す図である。図2は、図1の内視鏡挿入状態検出装置において検出される、図1の内視鏡の挿入部に設けられたソースコイルの座標を示す図である。図3は、隆起形状を有する病変部位の検出の際に、図1の画像処理装置が行う処理の一部を示すフローチャートである。図4は、隆起形状を有する病変部位の検出の際に、図1の画像処理装置が図3の処理に引き続いて行う処理を示すフローチャートである。図5は、図1の画像処理装置により推定された三次元モデルの一例を示す図である。図6は、図5の三次元モデルにおいて、隆起形状を有する病変部位を検出するための処理の対象となるボクセル群が存在する領域の一例を示す図である。図7は、病変部位が検出された際に、図1の画像処理装置が有する表示パネルに表示される画像等の一例を示す図である。図8は、図1の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の一例を示す図である。図9は、図1の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の、図8とは異なる例を示す図である。
生体観測システム1は、図1に示すように、内視鏡6による被験者の内部の観察が可能な内視鏡装置2と、該被験者の内部に挿入された内視鏡6の挿入状態を検出するとともに、該挿入状態を挿入状態データとして出力する内視鏡挿入状態検出装置3と、内視鏡挿入状態検出装置3から出力される挿入状態データに応じた各種処理を行う画像処理装置4と、を有して構成されている。
内視鏡装置2は、被験者の内部に存在する大腸等に挿入可能であるとともに、該被験者の内部の被写体を撮像し、撮像信号として出力する内視鏡6と、該被写体を照明するための照明光を内視鏡6に対して供給する光源装置7と、内視鏡6から出力される撮像信号に対して信号処理を行い、映像信号として出力するビデオプロセッサ8と、ビデオプロセッサ8から出力される映像信号に基づき、内視鏡6により撮像された被写体の像を内視鏡画像として表示するモニタ9と、を有して構成されている。
内視鏡6は、被験者の内部に挿入可能な細長の挿入部11と、挿入部11の後端に設けられた操作部12とを有している。挿入部11の内部には、一端側が挿入部11の先端部14に配置されているとともに、他端側が光源装置7に接続可能である、ライトガイド13が挿通されている。これにより、光源装置7から供給される照明光は、ライトガイド13を介し、挿入部11の先端部14に設けられた図示しない照明窓から出射される。
なお、挿入部11の先端部14の後端側には、湾曲自在に構成された図示しない湾曲部が設られている。そして、前記図示しない湾曲部は、操作部12に設けられた図示しない湾曲操作ノブ等の操作により湾曲させることができる。
先端部14には、図示しない照明窓に隣接して設けられた、図示しない観察窓に対物レンズ15が取り付けられている。また、対物レンズ15の結像位置には、電荷結合素子(CCDと略記)等からなる撮像素子16の撮像面が配置されている。
撮像素子16は、信号線を介してビデオプロセッサ8と接続されており、対物レンズ15により結像された被写体の像を撮像し、撮像信号としてビデオプロセッサ8へ出力する。
ビデオプロセッサ8は、撮像素子16から出力される撮像信号に基づいて映像信号を生
成するための信号処理を行う。そして、ビデオプロセッサ8は、前記信号処理により生成した映像信号である、例えばRGB信号をモニタ9に出力する。そして、モニタ9の表示面には、撮像素子16において撮像された被写体の像が内視鏡画像として表示される。
なお、光源装置7は、例えば、R(赤)、G(緑)及びB(青)からなる面順次の照明光を供給する場合には、各々の光が供給される期間に同期した同期信号をビデオプロセッサ8に出力するものとする。このとき、ビデオプロセッサ8は、光源装置7から出力される前記同期信号に同期して信号処理を行うものとする。
内視鏡6の操作部12には、前述した図示しない湾曲操作ノブに加え、レリーズ指示等の指示を行うことが可能な図示しないスイッチが設けられている。
また、内視鏡6の挿入部11の内部には、長手方向に所定の間隔を有して複数のソースコイルC、C、…、CM−1(C〜CM−1と略記)が配置されている。そして、ソースコイルC〜CM−1は、内視鏡挿入状態検出装置3から出力される駆動信号に応じ、各々周囲に磁界を発生する。
そして、ソースコイルC〜CM−1において発せられた磁界は、内視鏡挿入状態検出装置3が具備する、複数のセンスコイルが内蔵されたセンスコイルユニット19により検出される。
内視鏡挿入状態検出装置3は、内視鏡6に設けられたソースコイルC〜CM−1において発せられた磁界を検出するセンスコイルユニット19と、センスコイルユニット19によって検出された磁界の検出信号に基づき、挿入部11の形状推定を含む、挿入部11の挿入状態を解析可能な挿入状態解析装置21と、挿入状態解析装置21によって推定された挿入部11の形状を表示するディスプレイ22とを有して構成されている。
センスコイルユニット19は、患者が横たわるベッドの周辺部などに配置され、ソースコイルC〜CM−1による磁界を検出し、検出した該磁界を検出信号として挿入状態解析装置21に出力する。
挿入状態解析装置21は、検出信号に基づいて、ソースコイルC〜CM−1の各位置座標データの算出を行うとともに、算出した該位置座標データに基づいて挿入部11の挿入形状を推定する。また、挿入状態解析装置21は、推定した挿入部11の挿入形状の映像信号を生成するとともに、生成した映像信号である、例えばRGB信号をディスプレイ22に対して出力する。これにより、ディスプレイ22の表示画面には、挿入部11の挿入形状が画像表示される。さらに、挿入状態解析装置21は、内視鏡6による観察が行われている最中に、挿入部11の挿入形状に関する情報、挿入部11の挿入長、挿入部11が挿入されてからの経過時間、及び形状表示属性等の挿入状態データを連続的に生成し、通信ポート21aを介して画像処理装置4に出力する。
また、本実施形態の内視鏡挿入状態検出装置3は、挿入状態解析装置21による形状検出処理により生成された後、ディスプレイ22に表示される挿入形状の画像の回転角及び拡大縮小率等の形状表示属性を、図示しない操作パネル等において指示及び入力することにより、変更することができるものとする。
なお、ビデオプロセッサ8は、例えば、患者の氏名、生年月日、性別、年齢、患者コード及び検査日時等の情報である検査情報を入力するための図示しない操作パネルを有している。そして、前記図示しない操作パネルにおいて入力された検査情報は、ビデオプロセッサ8において生成された映像信号に重畳されつつモニタ9へ出力されるとともに、通信ポート8aを介して画像処理装置4へも送信される。
内視鏡画像処理装置としての画像処理装置4は、内視鏡挿入状態検出装置3から出力される挿入状態データと、ビデオプロセッサ8から出力される検査情報とに基づいて各種処理を行うパーソナルコンピュータ(以下、単にPCと称する)25と、PC25に対する各種指示及び入力を行うことが可能なマウス26及びキーボード27と、PC25における前記各種処理により生成された画像及び情報等を表示可能な表示パネル28と、を有している。
PC25は、内視鏡挿入状態検出装置3の挿入状態解析装置21の通信ポート21aから出力される挿入状態データを取り込む通信ポート25aと、前記内視鏡装置2のビデオプロセッサ8の通信ポート8aから出力される検査情報を取り込む通信ポート25bと、ビデオプロセッサ8で生成された動画像の映像信号を所定の圧縮画像データに変換する動画像入力ボード25cと、各種信号処理を行うCPU31と、CPU31における該各種信号処理に用いられる処理プログラムが格納された処理プログラム格納部32と、CPU31により処理されたデータ等を格納するメモリ33と、CPU31により処理された画像データ等を記憶するハードディスク(以下、単にHDDと称する)34とを有する。そして、PC25が有する各部は、バスライン35により相互に接続されている。
画像処理装置4の動画像入力ボード25cには、ビデオプロセッサ8において生成された動画像の映像信号として、例えば、所定のフレームレート(30フレーム/秒)を有するY/C信号が入力される。そして、動画像入力ボード25cは、前記動画像の映像信号を、例えば、MJPEG形式等の所定の圧縮形式を用いて圧縮動画像データに変換するとともに、該圧縮動画像データをHDD34等に対して出力する。
なお、通信ポート25aにおいて取り込まれた挿入状態データ、及び、通信ポート25bにおいて取り込まれた検査情報は、例えば、メモリ33に対して出力されることにより、PC25内において保持される。
表示パネル28は、例えばタッチパネルと同様の機能を有しており、PC25における各種処理により生成された画像及び情報等を表示可能であるとともに、表示された画像に対する入力内容を信号化してPC25へ出力することができる。
ここで、内視鏡挿入状態検出装置3が挿入状態データを生成する際に行う処理について説明を行う。
内視鏡挿入状態検出装置3の挿入状態解析装置21は、内視鏡6の撮像素子16から1フレーム分の撮像信号が出力されるタイミングに応じ、内視鏡6の挿入部11に内蔵されたM個のソースコイルC〜CM−1の3次元座標を含む挿入状態データを生成する。また、挿入状態解析装置21は、前記挿入状態データを画像処理装置4へ出力するとともに、前記挿入状態データに基づいて挿入部11の挿入形状の画像を生成し、該挿入形状の画像をディスプレイ22へ出力する。
なお、第jフレーム(ただし、j=0、1、2…)における、挿入部11の先端側からi番目(ただし、i=0、1、…、M−1)のソースコイルCiの3次元座標は、図2のように(X ,Y ,Z )として示されるものとする。
この内視鏡挿入状態検出装置3で検出されたソースコイルC〜CM−1の座標系のデータを含む挿入状態データは、各フレームに関するフレームデータ(つまり、第0フレームデータ、第1フレームデータ、…)として構成されており、画像処理装置4に順次送信される。そして、各フレームデータは、挿入状態データの作成時刻、表示属性、付属情報及びソースコイルの(3次元)座標等のデータを有して構成されている。
また、コイル座標データは、挿入部11の先端側から基端側(操作部12側)に順次配置されたソースコイルC〜CM−1の3次元座標をそれぞれ示すデータである。なお、内視鏡挿入状態検出装置3による検出範囲外のソースコイルの3次元座標は、例えば、検出範囲外であることが分かるような所定の座標値(例えば(0,0,0))として設定されるものとする。
次に、本実施形態の生体観測システム1の作用について説明を行う。
看護師または技師等の補助者により内視鏡6の挿入部11が被検体の肛門側から体腔内へ挿入されると、挿入部11の先端部14に設けられた撮像素子16により、該体腔内に存在する被写体が撮像される。撮像素子16により撮像された被写体の像は、経時的に撮像されつつ撮像信号として出力され、ビデオプロセッサ8により信号処理が施されて映像信号に変換された後、モニタ9に対して出力される。これにより、モニタ9には、撮像素子16により撮像された被写体の像が内視鏡画像として表示される。
内視鏡挿入状態検出装置3は、ソースコイルC〜CM−1各々から発せられた磁界をセンスコイルユニット19において検出するとともに、該磁界に応じて出力される検出信号に基づく挿入部11の挿入形状を挿入状態解析装置21において推定する。これにより、ディスプレイ22には、挿入状態解析装置21において推定された挿入部11の挿入形状が表示される。
また、ビデオプロセッサ8において生成された映像信号は、通信ポート8a及び25bを介し、CPU31に対して出力される。
画像取得部及び病変部位検出部としての機能を有するCPU31は、入力された映像信号と、処理プログラム格納部32に書き込まれた処理プログラムとに基づき、内視鏡6により撮像された被写体の像に応じた画像を取得するとともに、該画像内における病変部位を検出するための処理を、該画像を取得する毎に行う。
ここで、内視鏡6により撮像された被写体の像において、隆起形状を有する病変部位を検出するためにCPU31が行う処理の一例について述べる。なお、以降に述べる病変部位を検出するための処理は、ビデオプロセッサ8から出力される映像信号における、各フレームの画像に対して行われるものとする。
まず、CPU31は、入力された映像信号に基づき、内視鏡6により撮像された被写体の像に含まれる全てのエッジ部を抽出及び細線化するとともに、細線化した該全てのエッジ部のうち、一のエッジ部Eの長さLを算出する(図3のステップS1、ステップS2及びステップS3)。さらに、CPU31は、一のエッジ部Eの長さLが、閾値thL1より長く、かつ、閾値thL2より短いか否かを判定する(図3のステップS4)。
そして、CPU31は、一のエッジ部Eの長さLが、所定の閾値thL1以下の長さであること、または、閾値thL2以上であることを検出した場合、該一のエッジ部Eを病変に起因するエッジ部ではないとし、後述する図3のステップS11に示す処理を行う。また、CPU31は、一のエッジ部Eの長さLが、閾値thL1より長く、かつ、閾値thL2より短いことを検出した場合、該一のエッジ部Eを制御点Cn(n=1,2,…,N)によりN等分する(図3のステップS5)。
さらに、CPU31は、一のエッジ部Eの中点Ccから引いた法線NCcを取得するとともに、各制御点Cnから引いたN本の法線NCnを取得する(図3のステップS6)。その後、CPU31は、N本の法線NCnのうち、法線NCcと交わるものの本数Naを検出する(図3のステップS7)。
また、CPU31は、N本の法線NCnのうち、法線NCcと交わるものの本数Naが、閾値thaより多いか否かの判断を行う(図3のステップS8)。そして、CPU31は、法線NCcと交わるものの本数Naが閾値thaより多いことを検出した場合、一のエッジ部Eに含まれるピクセル群ipを病変部位候補のエッジ部に含まれるピクセル群であると判断し、該ピクセル群ipが有する各ピクセルにおける変数edge(i)の値をONとする(図3のステップS9)。さらに、CPU31は、法線NCcと交わるものの本数Naが閾値tha以下であることを検出した場合、一のエッジ部Eに含まれるピクセル群ipを病変に起因するエッジ部に含まれるピクセル群ではないと判断し、該ピクセル群ipが有する各ピクセルにおける変数edge(i)の値をOFFとする(図3のステップS10)。
その後、CPU31は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する(図3のステップS11)。そして、CPU31は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合、他の一のエッジ部に対し、前述した、図3のステップS3からステップS10までの処理を施す。また、CPU31は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合、二次元画像におけるエッジ部を抽出するための一連の処理を終了する。
CPU31は、以上に述べた一連の処理を抽出した全てのエッジ部に対して行うことにより得た処理結果としての、ピクセル群ipにおける変数edge(i)の値を、メモリ33に一時的に記憶させる。
そして、CPU31は、ビデオプロセッサ8から出力された映像信号の輝度情報等に基づき、例えば、幾何学的な変換等の処理を行うことにより、内視鏡6により撮像された被写体の像の三次元モデルを推定する際に必要となる画像データを取得する。換言すると、CPU31は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群ipは、前述した処理によりボクセル群ibとして変換される。
CPU31は、前述した処理により、内視鏡6により撮像された被写体の像の三次元モデルを推定するための画像データとして、変数edge(i)がONであるボクセル群ibを含む平面である境界平面のデータを得る。これにより、内視鏡6により撮像された被写体の像は、例えば、z軸方向を内視鏡6による観察時の視野方向とした場合、図5に示すような形状を有する三次元モデルとして推定される。
その後、CPU31は、前記境界平面のデータに基づき、変数edge(i)がONであるボクセル群ibのうち、内視鏡6の視野方向の最も奥側に存在する所定の一のボクセルとして、z座標が最大である一のボクセルを抽出するとともに、該一のボクセルのz座標をMaxzとして設定する(図4のステップS21)。
そして、CPU31は、内視鏡6により撮像された被写体の像の三次元モデルを推定するための画像データとして得た全てのボクセルのうち、前記一のボクセルの位置よりも内視鏡6の視野方向手前側に存在するボクセルとして、z座標がMaxzよりも小さいボクセル群rbを検出する(図4のステップS22)。なお、前記ボクセル群rbは、例えば図6に示す領域内に存在するR個のボクセルからなるものであるとする。
さらに、CPU31は、変数aを1に設定した後、ボクセル群rbが有するR個のボクセルのうち、一のボクセルであるBa(a=1,2,…,R−1,R)を抽出するとともに、該一のボクセルBaにおける形状特徴量として、ShapeIndex値SBa及びCurvedness値CBaを算出する(図4のステップS23、ステップS24及びステップS25)。
なお、前述したShapeIndex値及びCurvedness値は、例えば、US Patent Application Publication No.20030223627に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセルBaにおけるShapeIndex値及びCurvedness値の算出方法に関しては、説明を省略する。
また、CPU31は、ShapeIndex値SBaと、予め設定されたShapeIndex値の閾値Sth(例えば0.9)との比較を行うとともに、Curvedness値CBaと、予め設定されたCurvedness値の閾値Cth(例えば0.2)との比較を行う(図4のステップS26)。換言すると、CPU31は、前述した処理を行うことにより、内視鏡6により撮像された被写体の像が隆起形状を有する病変部位であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。
そして、CPU31は、ShapeIndex値SBaが閾値Sthより大きく、かつ、Curvedness値CBaが閾値Cthより大きいことを検出した場合、一のボクセルBa隆起形状を有する病変部位の一部を構成するボクセルであると判断し、該一のボクセルBaにおける変数ryuuki(Ba)の値をONとする(図4のステップS27)。
また、CPU31は、ShapeIndex値SBaが閾値Sth以下であること、または、Curvedness値CBaが閾値Cth以下であることを検出した場合、一のボクセルBaを隆起形状を有する病変部位の一部を構成するボクセルではないと判断し、該一のボクセルBaにおける変数ryuuki(Ba)の値をOFFとする(図4のステップS28)。
その後、CPU31は、R個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数a=Rであるか否かの判定を行う(図4のステップS29)。
そして、CPU31は、a=Rではないことを検知した場合、変数iに1を加える処理を行った(図4のステップS30)後、前述した、図4のステップS24からステップS29に示す処理を再度行う。
また、CPU22は、a=Rであることを検知した場合(図4のステップS29)、内視鏡6により撮像された被写体の像の三次元モデルにおける隆起形状を検出するための一連の処理を完了する。
その後、CPU31は、以上に述べた一連の処理をR個のボクセル全てに対して行うことにより得た処理結果としてのryuuki(Ba)の値を、メモリ33に一時的に記憶させる。
そして、CPU31は、ryuuki(Ba)の値がONである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出する。
CPU31は、ビデオプロセッサ8から出力される映像信号における各フレームの画像に対し、以上に述べた一連の処理を施すことにより、内視鏡6により撮像された被写体の像に含まれる、ポリープ等の隆起形状を有する病変部位を検出する。
さらに、画像表示制御部及び挿入状態情報取得部としての機能を有するCPU31は、ビデオプロセッサ8から出力される映像信号と、前述した一連の処理による病変部位の検出結果と、通信ポート21a及び25aを介して入力される挿入状態データとに基づき、例えば、病変部位が検出されたシーンの画像、病変部位が検出された際の挿入部11の挿入形状、病変部位が検出された際の挿入部11の挿入長、及び、挿入部11が挿入されてから該画像が取得されるまでの経過時間の各情報を取得して相互に関連付けつつHDD34に記憶させるとともに、該各情報を所定のタイミングにおいてHDD34から読み込んで表示パネル28へ出力ための制御を行う。CPU31が前記制御を行うことにより、表示パネル28には、例えば、図7に示すように、前述した挿入長及び経過時間が少なくとも含まれる挿入状態情報101と、病変部位が検出された際の挿入部11の挿入形状を示す挿入形状画像102と、病変部位が検出されたシーンの内視鏡画像103とが併せて表示される。なお、挿入状態情報101に含まれる各情報及び挿入形状画像102は、(図7に示すように)全てが表示パネル28に表示されるものに限らず、例えば、少なくとも一つが表示されるものであっても良い。
また、前記所定のタイミングは、例えば、挿入部11の挿入時において病変部位が検出された直後のタイミングであっても良いし、また、挿入部11の先端部14が大腸内の回盲部に到達した後、内視鏡6に設けられた図示しない挿入完了ボタンが押下されたタイミングであっても良い。
また、表示パネル28に表示される内容は、図7に示すものに限らず、例えば、病変部位が複数検出された場合には、最初に内視鏡画像103のサムネイル画像のみを一覧表示し、その後選択された一の画像について、図7に示すような表示を行うものであっても良い。なお、前記一覧表示の表示順は、例えば、病変部位を検出したタイミング、挿入長及び経過時間のうちの、少なくともいずれか一に基づくものであるとする。
以上に述べた作用により、医師は、補助者が挿入部11の挿入を完了する事前に、病変部位の有無、病変部位の個数及び病変部位のおおよその位置を確認することができる。さらに、以上に述べた作用により、医師は、挿入部11の抜去時に、表示パネル28に表示される内視鏡画像103を参照しつつ観察を進めてゆくことができる。
なお、本実施形態においては、挿入部11の挿入時において、発見した病変部位の画像にマーキングすることが可能な構成と、挿入部11の抜去時において、該マーキングを有する画像に該当する位置に先端部14が近づくと告知を行う構成とをさらに画像処理装置4が有するものであっても良い。
また、表示パネル28に表示される内視鏡画像103は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、図8に示すように、CPU31の制御により、病変部位が検出されたシーンの静止画像Iの取得タイミングを基準とした、前後t秒分の画像が動画像として連続表示されるものであっても良い。
具体的には、例えば、画像表示制御部としてのCPU31は、挿入部11の挿入時に取得された画像Iから画像IまでのN枚の画像のうち、前記静止画像Iと、前記静止画像Iの取得タイミングから時間的に前及び/または後におけるt秒分の画像である所定の枚数の画像と、を動画像として表示パネル28に連続表示(再生または逆再生)させる制御を行うものであっても良い。
また、表示パネル28に表示される内視鏡画像103は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、CPU31の制御により、挿入部11の挿入時に取得された画像Iから画像IまでのN枚の画像が動画像としてダイジェスト再生されるものであっても良い。
前記ダイジェスト再生は、例えば、画像Iから画像IまでのN枚の画像からなる、時間的に順方向の一連の動画像のうち、病変部位が検出されたシーンの画像が一時停止画像(静止画像)として表示パネル28(の内視鏡画像103が表示される部分)に表示され、それ以外の画像については高速再生されつつ表示パネル28(の内視鏡画像103が表示される部分)に表示される、という方法により実現される。そして、図9に示すように、画像Iから画像IまでのN枚の画像のうち、例えば、病変部位が検出されたシーンの画像として、画像I、画像Ii+1及び画像Ii+2の各画像が取得された場合、CPU31の制御により、挿入部11の挿入開始時(の画像I)から挿入完了時(の画像I)までの一連の動画像のうち、該各画像が一時停止画像(静止画像)として表示パネル28(の内視鏡画像103が表示される部分)に表示され、該各画像以外の画像については高速再生されつつ表示パネル28(の内視鏡画像103が表示される部分)に表示される。なお、前記高速再生の速度は、例えば、内視鏡6の撮像素子16における撮像速度よりも高速であるものとする。
さらに、表示パネル28に表示される内視鏡画像103は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、CPU31の制御により、挿入部11の挿入時に取得された画像Iから画像IまでのN枚の画像が動画像として逆ダイジェスト再生されるものであっても良い。
前記逆ダイジェスト再生は、例えば、画像Iから画像IまでのN枚の画像からなる、時間的に逆方向の一連の動画像のうち、病変部位が検出されたシーンの画像が一時停止画像(静止画像)として表示パネル28(の内視鏡画像103が表示される部分)に表示され、それ以外の画像については高速再生されつつ表示パネル28(の内視鏡画像103が表示される部分)に表示される、という方法により実現される。そして、図9に示すように、画像Iから画像IまでのN枚の画像のうち、例えば、病変部位が検出されたシーンの画像として、画像I、画像Ii+1及び画像Ii+2の各画像が取得された場合、CPU31の制御により、挿入部11の挿入完了時(の画像I)から挿入開始時(の画像I)までの一連の動画像のうち、該各画像が一時停止画像(静止画像)として表示パネル28(の内視鏡画像103が表示される部分)に表示され、該各画像以外の画像については高速逆再生されつつ表示パネル28(の内視鏡画像103が表示される部分)に表示される。なお、前記高速逆再生の速度は、例えば、内視鏡6の撮像素子16における撮像速度よりも高速であるものとする。
以上に述べたように、本実施形態に係る画像処理装置4(を有して構成される生体観測システム1)は、挿入部11の挿入時に取得した、病変部位が検出されたシーンの画像及び情報を、挿入部11の抜去時に(またはそれ以前のタイミングにおいて)表示パネル28に表示させることが可能な構成を有している。これにより、本実施形態に係る画像処理装置4(を有して構成される生体観測システム1)は、内視鏡を用いた観察の効率を従来に比べて向上させることができる。そして、前述した効果は、内視鏡の挿入及び抜去を別々の人間が行うような観察手法を用いる際に、特に顕著に表れる。
また、本実施形態に係る画像処理装置4(を有して構成される生体観測システム1)は、例えば、所望の部位の近傍において内視鏡を往復させながら観察を行う場合にも、前述した効果を発揮することができる。
なお、本実施形態に係る画像処理装置4(を有して構成される生体観測システム1)は、病変部位を検出する際に、ポリープ等の隆起形状を有する病変部位を画像処理により検出可能な構成を具備したものに限らず、例えば、内視鏡6の操作者が病変部位を検出したタイミングに応じて図示しない病変検出ボタン等を押下することにより、該病変部位の存在をCPU31に対して認識させるための指示を行うことが可能な構成を具備するものであっても良い。
また、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本発明の実施形態に係る画像処理装置が用いられる生体観測システムの要部の構成の一例を示す図。 図1の内視鏡挿入状態検出装置において検出される、図1の内視鏡の挿入部に設けられたソースコイルの座標を示す図。 隆起形状を有する病変部位の検出の際に、図1の画像処理装置が行う処理の一部を示すフローチャート。 隆起形状を有する病変部位の検出の際に、図1の画像処理装置が図3の処理に引き続いて行う処理を示すフローチャート。 図1の画像処理装置により推定された三次元モデルの一例を示す図。 図5の三次元モデルにおいて、隆起形状を有する病変部位を検出するための処理の対象となるボクセル群が存在する領域の一例を示す図。 病変部位が検出された際に、図1の画像処理装置が有する表示パネルに表示される画像等の一例を示す図。 図1の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の一例を示す図。 図1の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の、図8とは異なる例を示す図。
符号の説明
1・・・生体観測システム、2・・・内視鏡装置、3・・・内視鏡挿入状態検出装置、4・・・画像処理装置、6・・・内視鏡、8・・・ビデオプロセッサ、21・・・挿入状態解析装置、25・・・PC、28・・・表示パネル、101・・・挿入状態情報、102・・・挿入形状画像、103・・・内視鏡画像

Claims (10)

  1. 被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、
    前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、
    前記画像を表示する表示部と、
    前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、
    を有することを特徴とする内視鏡画像処理装置。
  2. 前記画像表示制御部は、前記画像取得部が前記病変部位画像を取得したタイミングの前後における所定の期間分の画像を前記表示部に表示させる制御を行うことを特徴とする請求項1に記載の内視鏡画像処理装置。
  3. 前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる、時間的に順方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として再生させる制御を行うことを特徴とする請求項1に記載の内視鏡画像処理装置。
  4. 前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に再生させる制御を行うことを特徴とする請求項3に記載の内視鏡画像処理装置。
  5. 前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入完了時の画像から挿入開始時の画像までの複数の画像からなる、時間的に逆方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として逆再生させる制御を行うことを特徴とする請求項1に記載の内視鏡画像処理装置。
  6. 前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に逆再生させる制御を行うことを特徴とする請求項5に記載の内視鏡画像処理装置。
  7. 前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び/または後の所定の枚数の画像と、を動画像として再生させる制御を行うことを特徴とする請求項1に記載の内視鏡画像処理装置。
  8. 前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び/または後の所定の枚数の画像と、を動画像として逆再生させる制御を行うことを特徴とする請求項1に記載の内視鏡画像処理装置。
  9. さらに、前記被検体内に挿入された内視鏡の挿入状態を示す挿入状態データを内視鏡挿入状態検出装置から取得するとともに、前記画像取得部が前記病変部位画像を取得したタイミングにおける該挿入状態データに応じた前記内視鏡の挿入状態に関する情報を、前記病変部位画像に併せて前記表示部に出力する挿入状態情報取得部を有することを特徴とする請求項1乃至請求項8のいずれか一に記載の内視鏡画像処理装置。
  10. 前記内視鏡の挿入状態に関する情報は、前記内視鏡の挿入長、前記内視鏡が挿入されてからの経過時間、及び、前記内視鏡の挿入形状のうちの少なくとも一を含むことを特徴とする請求項9に記載の内視鏡画像処理装置。
JP2007150921A 2007-06-06 2007-06-06 内視鏡画像処理装置 Pending JP2008301968A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007150921A JP2008301968A (ja) 2007-06-06 2007-06-06 内視鏡画像処理装置
EP08008777A EP2014219A3 (en) 2007-06-06 2008-05-09 Endoscopic image processing apparatus
US12/133,021 US20080303898A1 (en) 2007-06-06 2008-06-04 Endoscopic image processing apparatus
CN2010102261065A CN101912251B (zh) 2007-06-06 2008-06-06 内窥镜图像处理装置
CN200810108920XA CN101317749B (zh) 2007-06-06 2008-06-06 内窥镜图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007150921A JP2008301968A (ja) 2007-06-06 2007-06-06 内視鏡画像処理装置

Publications (1)

Publication Number Publication Date
JP2008301968A true JP2008301968A (ja) 2008-12-18

Family

ID=39522407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007150921A Pending JP2008301968A (ja) 2007-06-06 2007-06-06 内視鏡画像処理装置

Country Status (4)

Country Link
US (1) US20080303898A1 (ja)
EP (1) EP2014219A3 (ja)
JP (1) JP2008301968A (ja)
CN (2) CN101912251B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012035923A1 (ja) * 2010-09-14 2012-03-22 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定方法
JP2012070938A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
WO2017010244A1 (ja) * 2015-07-16 2017-01-19 オリンパス株式会社 内視鏡システム、内視鏡装置、挿入形状算出方法
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019054265A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
CN111936032A (zh) * 2018-04-13 2020-11-13 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
WO2022014077A1 (ja) * 2020-07-15 2022-01-20 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10130246B2 (en) 2009-06-18 2018-11-20 Endochoice, Inc. Systems and methods for regulating temperature and illumination intensity at the distal tip of an endoscope
US9474440B2 (en) 2009-06-18 2016-10-25 Endochoice, Inc. Endoscope tip position visual indicator and heat management system
US10524645B2 (en) 2009-06-18 2020-01-07 Endochoice, Inc. Method and system for eliminating image motion blur in a multiple viewing elements endoscope
JP5589366B2 (ja) 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5636247B2 (ja) * 2010-10-06 2014-12-03 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡装置
JP5601970B2 (ja) * 2010-10-26 2014-10-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡装置
US10663714B2 (en) 2010-10-28 2020-05-26 Endochoice, Inc. Optical system for an endoscope
US9706908B2 (en) 2010-10-28 2017-07-18 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
EP2670291A4 (en) * 2011-02-04 2015-02-25 Penn State Res Found METHOD AND DEVICE FOR DETERMINING THE LOCATION OF AN ENDOSCOPE
US10517464B2 (en) 2011-02-07 2019-12-31 Endochoice, Inc. Multi-element cover for a multi-camera endoscope
JP2013116138A (ja) * 2011-12-01 2013-06-13 Sony Corp 画像処理装置及び方法
EP2837325A4 (en) * 2012-04-11 2015-12-09 Olympus Corp ENDOSCOPE DEVICE AND ENDOSCOPE
JP5593008B1 (ja) * 2012-10-18 2014-09-17 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
US9636003B2 (en) 2013-06-28 2017-05-02 Endochoice, Inc. Multi-jet distributor for an endoscope
US10595714B2 (en) 2013-03-28 2020-03-24 Endochoice, Inc. Multi-jet controller for an endoscope
US9667935B2 (en) 2013-05-07 2017-05-30 Endochoice, Inc. White balance enclosure for use with a multi-viewing elements endoscope
US9949623B2 (en) 2013-05-17 2018-04-24 Endochoice, Inc. Endoscope control unit with braking system
US10064541B2 (en) 2013-08-12 2018-09-04 Endochoice, Inc. Endoscope connector cover detection and warning system
US9943218B2 (en) 2013-10-01 2018-04-17 Endochoice, Inc. Endoscope having a supply cable attached thereto
US9968242B2 (en) 2013-12-18 2018-05-15 Endochoice, Inc. Suction control unit for an endoscope having two working channels
WO2015112747A2 (en) 2014-01-22 2015-07-30 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
WO2015168066A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope
US11234581B2 (en) 2014-05-02 2022-02-01 Endochoice, Inc. Elevator for directing medical tool
EP3689219B1 (en) 2014-07-21 2023-08-30 EndoChoice, Inc. Multi-focal, multi-camera endoscope systems
CN106687024B (zh) 2014-08-29 2020-10-09 恩多巧爱思股份有限公司 改变内窥镜插入管的刚度的系统和方法
CN106464827B (zh) * 2014-11-27 2019-10-01 奥林巴斯株式会社 图像再现装置和图像再现方法
EP3235241B1 (en) 2014-12-18 2023-09-06 EndoChoice, Inc. System for processing video images generated by a multiple viewing elements endoscope
US10271713B2 (en) 2015-01-05 2019-04-30 Endochoice, Inc. Tubed manifold of a multiple viewing elements endoscope
US10376181B2 (en) 2015-02-17 2019-08-13 Endochoice, Inc. System for detecting the location of an endoscopic device during a medical procedure
US10078207B2 (en) 2015-03-18 2018-09-18 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly
WO2016164311A1 (en) 2015-04-06 2016-10-13 Intuitive Surgical Operations, Inc. Systems and methods of registration compensation in image guided surgery
US10401611B2 (en) 2015-04-27 2019-09-03 Endochoice, Inc. Endoscope with integrated measurement of distance to objects of interest
WO2016187124A1 (en) 2015-05-17 2016-11-24 Endochoice, Inc. Endoscopic image enhancement using contrast limited adaptive histogram equalization (clahe) implemented in a processor
CN114795472A (zh) 2015-10-28 2022-07-29 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
WO2017091459A1 (en) 2015-11-24 2017-06-01 Endochoice, Inc. Disposable air/water and suction valves for an endoscope
US10488648B2 (en) 2016-02-24 2019-11-26 Endochoice, Inc. Circuit board assembly for a multiple viewing element endoscope using CMOS sensors
WO2017160792A1 (en) 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
CN109310408B (zh) 2016-06-21 2021-11-23 安多卓思公司 具有与不同的视频数据信号源连接的多个连接接口的内窥镜系统
WO2018116572A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
CN107256552B (zh) * 2017-06-14 2020-08-18 成都微识医疗设备有限公司 息肉图像识别系统及方法
CN111295127B (zh) * 2017-10-31 2022-10-25 富士胶片株式会社 检查支持装置、内窥镜装置及记录介质
CN108024061A (zh) * 2017-12-08 2018-05-11 合肥工业大学 医用内窥镜人工智能系统的硬件架构及图像处理方法
JP2021164490A (ja) * 2018-04-10 2021-10-14 オリンパス株式会社 医療システム
CN112312822A (zh) * 2018-07-06 2021-02-02 奥林巴斯株式会社 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
WO2020039685A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理装置
JP7078494B2 (ja) * 2018-08-24 2022-05-31 富士フイルム株式会社 表示制御装置、内視鏡システム、表示制御方法、及び表示制御プログラム
KR102168485B1 (ko) * 2018-10-02 2020-10-21 한림대학교 산학협력단 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
WO2020165978A1 (ja) * 2019-02-13 2020-08-20 オリンパス株式会社 画像記録装置、画像記録方法および画像記録プログラム
CN113040707A (zh) * 2020-12-02 2021-06-29 泰州国安医疗用品有限公司 人体组织病变参数解析平台及方法
CN115778546B (zh) * 2023-02-07 2023-05-09 武汉楚精灵医疗科技有限公司 内镜黏膜下剥离术智能辅助方法、装置及相关设备
CN117137410B (zh) * 2023-10-31 2024-01-23 广东实联医疗器械有限公司 医用内窥镜图像处理方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04263831A (ja) * 1991-02-19 1992-09-18 Olympus Optical Co Ltd 内視鏡の挿入部湾曲形状検出装置
JPH11203845A (ja) * 1998-01-16 1999-07-30 Sony Corp 情報再生装置および方法、並びに提供媒体
JP2002085338A (ja) * 2000-09-11 2002-03-26 Olympus Optical Co Ltd 内視鏡挿入形状観測装置
JP2004350734A (ja) * 2003-05-27 2004-12-16 Olympus Corp 医療用画像記録装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006055262A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006149684A (ja) * 2004-11-29 2006-06-15 Olympus Corp 画像表示装置
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP2006223850A (ja) * 2005-01-18 2006-08-31 Pentax Corp 電子内視鏡システム
JP2006334297A (ja) * 2005-06-06 2006-12-14 Olympus Medical Systems Corp 画像表示装置
JP2007075155A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4901143A (en) * 1988-02-16 1990-02-13 Olympus Optical Co., Ltd. Electronic endoscope system provided with a means of imaging frozen pictures having few picture image smears
US5550582A (en) * 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
ATE196809T1 (de) * 1993-11-29 2000-10-15 Olympus Optical Co Anordnung zur bildrotation und überlagerung
US5647368A (en) * 1996-02-28 1997-07-15 Xillix Technologies Corp. Imaging system for detecting diseased tissue using native fluorsecence in the gastrointestinal and respiratory tract
US6069698A (en) * 1997-08-28 2000-05-30 Olympus Optical Co., Ltd. Optical imaging apparatus which radiates a low coherence light beam onto a test object, receives optical information from light scattered by the object, and constructs therefrom a cross-sectional image of the object
US5961526A (en) * 1998-02-18 1999-10-05 Boston Scientific Corporation Coaxial needle and severing snare
US6610007B2 (en) * 2000-04-03 2003-08-26 Neoguide Systems, Inc. Steerable segmented endoscope and method of insertion
US6871086B2 (en) * 2001-02-15 2005-03-22 Robin Medical Inc. Endoscopic examining apparatus particularly useful in MRI, a probe useful in such apparatus, and a method of making such probe
US7231135B2 (en) * 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
WO2003034176A2 (en) 2001-10-16 2003-04-24 The University Of Chicago Computer-aided detection of three-dimensional lesions
DE60310877T8 (de) * 2002-07-31 2007-09-13 Olympus Corporation Endoskop
EP1699530B1 (en) * 2003-12-31 2012-07-04 Given Imaging Ltd. System and method for displaying an image stream
JP4578817B2 (ja) * 2004-02-06 2010-11-10 オリンパス株式会社 外科手術用病変部同定システム
US8038600B2 (en) * 2004-11-26 2011-10-18 Olympus Corporation Medical system
JP4723281B2 (ja) * 2005-05-16 2011-07-13 Hoya株式会社 電子内視鏡システム
CA2620196A1 (en) * 2005-08-24 2007-03-01 Traxtal Inc. System, method and devices for navigated flexible endoscopy
WO2008024419A1 (en) * 2006-08-21 2008-02-28 Sti Medical Systems, Llc Computer aided analysis using video from endoscopes
IE20090299A1 (en) * 2008-04-15 2009-10-28 Trinity College Dublin An endoscopy system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04263831A (ja) * 1991-02-19 1992-09-18 Olympus Optical Co Ltd 内視鏡の挿入部湾曲形状検出装置
JPH11203845A (ja) * 1998-01-16 1999-07-30 Sony Corp 情報再生装置および方法、並びに提供媒体
JP2002085338A (ja) * 2000-09-11 2002-03-26 Olympus Optical Co Ltd 内視鏡挿入形状観測装置
JP2004350734A (ja) * 2003-05-27 2004-12-16 Olympus Corp 医療用画像記録装置
JP2005192880A (ja) * 2004-01-08 2005-07-21 Olympus Corp 画像処理方法
JP2006055262A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006149684A (ja) * 2004-11-29 2006-06-15 Olympus Corp 画像表示装置
JP2006223850A (ja) * 2005-01-18 2006-08-31 Pentax Corp 電子内視鏡システム
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP2006334297A (ja) * 2005-06-06 2006-12-14 Olympus Medical Systems Corp 画像表示装置
JP2007075155A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012035923A1 (ja) * 2010-09-14 2012-03-22 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定方法
US8497898B2 (en) 2010-09-14 2013-07-30 Olympus Medical Systems Corp. Endoscope system and low visibility determining method
JP5065538B2 (ja) * 2010-09-14 2012-11-07 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定システムの動作方法
JPWO2012035923A1 (ja) * 2010-09-14 2014-02-03 オリンパスメディカルシステムズ株式会社 内視鏡システム及び視界不良判定システムの動作方法
JP2012070938A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡画像記録装置、及び内視鏡画像記録支援方法、並びにプログラム
WO2017010244A1 (ja) * 2015-07-16 2017-01-19 オリンパス株式会社 内視鏡システム、内視鏡装置、挿入形状算出方法
JPWO2017010244A1 (ja) * 2015-07-16 2017-07-13 オリンパス株式会社 内視鏡、挿入形状観測装置
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017115442A1 (ja) * 2015-12-28 2018-10-18 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
WO2018216617A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2018216617A1 (ja) * 2017-05-25 2020-04-09 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019054265A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置
US11449988B2 (en) 2017-09-15 2022-09-20 Fujifilm Corporation Medical image processing apparatus
JP7170032B2 (ja) 2018-04-13 2022-11-11 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
CN111936032B (zh) * 2018-04-13 2024-03-26 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
CN111936032A (zh) * 2018-04-13 2020-11-13 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
JPWO2019198637A1 (ja) * 2018-04-13 2021-04-15 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
EP3795062A4 (en) * 2018-05-17 2021-06-16 FUJIFILM Corporation ENDOSCOPE DEVICE, ENDOSCOPE OPERATING PROCESS AND PROGRAM
US11950760B2 (en) 2018-05-17 2024-04-09 Fujifilm Corporation Endoscope apparatus, endoscope operation method, and program
JP7125484B2 (ja) 2018-07-20 2022-08-24 富士フイルム株式会社 内視鏡システム
JPWO2020017212A1 (ja) * 2018-07-20 2021-07-15 富士フイルム株式会社 内視鏡システム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
WO2022014077A1 (ja) * 2020-07-15 2022-01-20 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7389257B2 (ja) 2020-07-15 2023-11-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体

Also Published As

Publication number Publication date
CN101912251B (zh) 2012-08-08
CN101317749B (zh) 2010-12-01
CN101912251A (zh) 2010-12-15
EP2014219A2 (en) 2009-01-14
US20080303898A1 (en) 2008-12-11
EP2014219A3 (en) 2010-07-21
CN101317749A (zh) 2008-12-10

Similar Documents

Publication Publication Date Title
JP2008301968A (ja) 内視鏡画像処理装置
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
US8086005B2 (en) Medical image processing apparatus and medical image processing method
JP4855901B2 (ja) 内視鏡挿入形状解析システム
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
JP5078486B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
US20240087113A1 (en) Recording Medium, Learning Model Generation Method, and Support Apparatus
JP4855902B2 (ja) 生体観測システム
JP4981335B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JP4855912B2 (ja) 内視鏡挿入形状解析システム
CN114049934B (zh) 辅助诊断方法、装置、系统、设备和介质
JP4615842B2 (ja) 内視鏡システムおよび内視鏡画像処理装置
CN116724334A (zh) 计算机程序、学习模型的生成方法、以及手术辅助装置
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP2009112507A (ja) 情報制御方法及び装置、並びに内視鏡システム
JP7368922B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2007102296A1 (ja) 医療用画像処理装置及び医療用画像処理方法
JP5148096B2 (ja) 医療用画像処理装置及び医療用画像処理装置の作動方法
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
JP7311936B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
WO2023145503A1 (ja) 医療用情報処理システム、医療用情報処理方法、及びプログラム
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140415

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140805