JP2021516567A - 医療用撮像システムおよびその位置を検出する方法 - Google Patents
医療用撮像システムおよびその位置を検出する方法 Download PDFInfo
- Publication number
- JP2021516567A JP2021516567A JP2020545786A JP2020545786A JP2021516567A JP 2021516567 A JP2021516567 A JP 2021516567A JP 2020545786 A JP2020545786 A JP 2020545786A JP 2020545786 A JP2020545786 A JP 2020545786A JP 2021516567 A JP2021516567 A JP 2021516567A
- Authority
- JP
- Japan
- Prior art keywords
- medical imaging
- controller
- distal end
- image
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 77
- 230000003287 optical effect Effects 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims description 34
- 238000001839 endoscopy Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 7
- 230000000977 initiatory effect Effects 0.000 claims 4
- 238000005286 illumination Methods 0.000 claims 1
- 239000003086 colorant Substances 0.000 description 12
- 230000009471 action Effects 0.000 description 7
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/00078—Insertion part of the endoscope body with stiffening means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Robotics (AREA)
- Urology & Nephrology (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本発明は、条件イベントの所定のセットに従って、医療用撮像装置と連動する光学ギアモジュールを管理する方法およびシステムを開示する。本明細書に開示された医療用撮像装置は、硬性鏡に直接接続される2つの部材を備えることができる。当該2つの部材は、細長い硬性軸管と、遠位端とであってよい。遠位端は、いくつかの医療処置に必要な光学ギアモジュールを備えることができる。いくつかの場合において、少なくとも1つの光学ギアモジュールは、遠位端に位置し、各光学ギアモジュールは、レンズアセンブリおよびセンサを備えるカメラと、カメラの機能に必要な光源とを備えることができる。開示されたシステムは、光学ギアモジュールのうちの少なくとも1つに関連付けられたカメラのうちの少なくとも1つによって捕捉されたビデオ信号を検出することができる。いくつかの場合において、ビデオ信号を検出すると、システムは、硬性鏡の位置が患者の体外にあるかまたは体内にあるかを識別してよい。また、システムは、硬性鏡の位置が患者の体内にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始するように構成することができる。システムは、医療用撮像内視鏡において受信した色光において受け取られた色の強度レベルを分析するコントローラを備えてよい。
Description
本発明は、概して、患者の体内から画像を捕捉するように設計される医療器具の分野に関する。
内視鏡は、皮膚の小さな切開部を通して体の内臓における手術を行うために使用されてきた。長年にわたり、数多くの硬性および半硬性内視鏡が開発され、腹腔鏡、関節鏡、膀胱鏡、尿管鏡などのように、特定の用途に従って分類されてきた。複数の場合において、このような手術には、カメラの補助が必要とされる。さらに、いくつかの場合において、限定されたエリアまたは特定の体腔もしくは臓器の内部の領域の検査を伴う処置には、1つよりも多いカメラを伴う必要があり得る。腹腔鏡は、カメラの補助を伴い、小さな切開部を通して腹部または骨盤における手術を行うために使用される医療用撮像装置である。腹腔鏡は、病状の検査および診断に用いることもできるし、外科手術を行うのに用いることもできる。
いくつかの医療処置において、使用される腹腔鏡は、腹腔鏡の前方に位置する1つよりも多いカメラを備えてよい。いくつかの場合において、光学的構成要素および電気的構成要素は、カメラによって捕捉されたビューを記録することを必要とし得る。そのような場合、医療用撮像装置は、カメラから送信されたビデオコンテンツを受信し、そのビデオコンテンツをディスプレイ上に提示することができるシステムに接続されてよい。いくつかの場合において、医療用撮像装置によって送信されたマテリアルを記録し、記録されたマテリアルを保存することが必要とされる。記録されたビデオコンテンツは、医療処置および患者の状態を解析するのに後で使用されてよい。
本発明は、条件イベントの所定のセットに従って、医療用撮像装置と連動する光学ギアモジュールを管理するための方法およびシステムを開示する。本明細書に開示された医療用撮像装置は、硬性鏡に直接接続される2つの部材を備えることができる。当該2つの部材は、細長い硬性軸管と、遠位端とであってよい。遠位端は、いくつかの医療処置に必要な光学ギアモジュールを備えることができる。いくつかの場合において、少なくとも1つの光学ギアモジュールは、遠位端に位置し、各光学ギアモジュールは、レンズアセンブリおよびセンサを備えるカメラと、カメラの機能に必要な光源とを備えることができる。
光学ギアモジュールを管理する本発明において開示されたシステムは、システムが光学ギアモジュールのうちの少なくとも1つと関連付けられたカメラのうちの少なくとも1つによって捕捉されるビデオ信号を検出することができるように構成することができる。いくつかの場合において、ビデオ信号を検出すると、システムは、硬性鏡の位置が患者の体外にあるかまたは体内にあるかを識別してよい。また、システムは、硬性鏡の位置が患者の体内にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始するように構成することができる。システムは、医療用撮像内視鏡において受信した色光において受け取られた色の強度レベルを分析するコントローラを備えてよい。このようなコントローラは、色の強度レベルを特定の閾値と比較して、当該医療用撮像内視鏡の位置を判定することができる。コントローラは、医療用撮像内視鏡装置の光学ギアによって捕捉された画像により生じるビデオ信号を検出し、ビデオ信号が検出された場合、ビデオ映像の色空間のRGB色の強度レベルを表すRGBの色値を受信するように構成してよい。また、コントローラは、RGB色の受信した色値と、少なくとも1つの所定の閾値とを比較するように設計された比較プロセスを実行することができる。いくつかの場合において、比較プロセスの結果は、医療用撮像内視鏡装置の遠位端の位置が患者の体内にあることを示してよい。コントローラは、硬性鏡の位置が患者の体内にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始するようにさらに構成されてよい。
本発明において開示されたシステムは、医療用撮像装置において毎秒受信された色光において受け取られた色の強度レベルを識別する方法を使用し、特定の閾値に従って、硬性鏡の位置を判定してよい。例えば、システムは、他の色の強度レベルに対する、赤色光の強度レベルを分析することができ、赤色光の強度レベルが特定のレベルまたは特定の閾値を満たす場合、システムは、医療用撮像内視鏡が体内にあると識別し、結果として、所定の条件イベントセットに従って動作イベントを開始してよい。いくつかの場合において、このような動作は、カメラによって受信したデジタルビデオの記録の開始または停止、遠位端におけるLED活動の開始または停止、送気プロセスの開始または停止、医療処置の開始、医療処置の停止などであってよい。
本発明のいくつかの実施形態において、医療用撮像装置は、細長い硬性部材と、硬性部分に堅く接続することができる遠位端とを備えてよい。遠位端は、遠位端の前方平面に位置する前方カメラと、遠位端の第1側方表面に位置する第2側面カメラとを備えてよい。本発明のいくつかの実施形態において、システムは、特定のカメラに従って、遠位端の位置を分析してよい。例えば、システムは、特定のカメラにおいて赤色光の強度が特定のレベルに達したことを検出し、その結果として、特定のカメラに関連付けられたLEDに照明活動を開始させてよい。
開示された主題のいくつかの実施形態において、システムは、システムに接続された入力機器を通して入力を与えることにより、体内での遠位端の位置を検出してよい。ハンドルまたは外部キーボードもしくはタッチスクリーンディスプレイなどの入力機器。また、入力機器を使用するユーザが、硬性鏡の位置についてシステムを更新することを可能にされてよい。例えば、入力機器を使用するユーザは、キーボード上のキーまたはキーの組み合わせを押して、硬性鏡の位置が人体内にあることをシステムに知らせてよい。
いくつかの場合において、医療用撮像内視鏡は、体腔内で細長い硬性軸をガイドするのに使用することができるハンドルを備えてよい。ハンドルは、入力機器などの機能を制御する1つ又は複数のボタンおよび/またはスイッチを備えてよい。
本発明のいくつかの実施形態は、本明細書において、単に例として、添付の図面を参照しながら説明される。ここで図面を詳細に具体的に参照するが、示される特定の事項は、例としてのものであり、本発明の実施形態を例示的に論じることを目的としていることを強調する。これに関して、図面と併せた説明から、本発明の実施形態がどのように実施され得るかが当業者には明らかとなるであろう。
開示された主題の例示的実施形態に係る、光学ギアを備える医療用撮像装置を示す図である。
図1Aに係る医療用撮像装置の動作に必要な光学ギアを備える、硬性軸を備える医療用撮像装置を示す図である。
いくつかの実施形態に係る、医療用撮像システムを示す図である。
本明細書によって提供される医療用撮像内視鏡の硬性軸の位置を検出する方法を実装してよい、医療用撮像内視鏡検査システムを示すブロック図である。
本発明の例示的な実施形態に係る、医療用撮像装置のイベントをトリガするプロセスを示すフローチャートである。
本発明の例示的な実施形態に係る、医療用撮像装置のイベントをトリガするコントローラによって行われるプロセスを示すフローチャートである。
本発明の例示的な実施形態に係る、内視鏡の位置を識別する医療用撮像システムによって操作可能なプロセスを示すフローチャートである。
図4Aに示されるプロセスパイプラインによって実行される段階を示すフローチャートである。
本発明の主題は、小さな切開部を通して腹部または骨盤における検査または外科的処置などの医療処置を補助するように設計される、硬性撮像内視鏡を備える医療用撮像装置を開示する。このような医療用撮像装置は、検査または外科手術などの医療処置を補助するように設計される、1つ又は複数のカメラを備えることができる。
本明細書において用られるとき、「光学ギアモジュール」または「光学ギア」という用語は、医療用撮像装置が光を捕捉して、その光を少なくとも1つの画像に変換することを可能にする構成要素のセットを示すために用いられる。いくつかの実施形態において、光を捕捉するのにレンズが使用され、その光を少なくとも1つの画像に変換するのにセンサなどの画像捕捉デバイスが使用される。いくつかの実施形態において、カメラは、レンズアセンブリおよびセンサなどの複数の光学系を備え、目標オブジェクトからの反射光を受光するように構成することができる。いくつかの実施形態において、遠位端に位置する光学ギアは、センサ、センサの機能に必要なレンズ(例えば、カメラ)および光源を備えることができる。
画像捕捉デバイスは、電荷結合素子(CCD)もしくは相補型金属酸化膜半導体(CMOS)画像センサ、または画像の捕捉に使用可能な感光性表面を有する他の好適なデバイスであってよい。いくつかの実施形態において、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)画像センサ(光学素子によって受光された反射光を検出する)などのセンサが使用される。
以下で本明細書に現れる複数の用語は、類似の構成要素に適用するためまたはそれらを指すために互換可能に用られており、決して限定として解釈されるべきでないことにも留意されたい。「医療用撮像内視鏡装置」は、「硬性鏡」または「医療用撮像内視鏡」とも称され得る。「カメラ」は、レンズアセンブリおよびセンサを備える画像捕捉デバイス/構成要素とも称され得る。「照明器」は、「照明源」、および、いくつかの実施形態において、LEDとも称され得る。
本明細書において言及される「内視鏡」という用語は、特に、開示された主題のいくつかの実施形態によれば、腹腔鏡などの硬性鏡および半硬性鏡を指し得るが、腹腔鏡のみに限定されず、工業用途などの他の用途を含み得ることに留意されたい。「内視鏡」という用語は、中空臓器または体腔の内部を診察するために用られる任意の器具を指し得る。
図1Aは、開示された主題の例示的実施形態に係る、少なくとも1つのカメラを備える医療用撮像装置を示している。図1Aは、遠位端構成部材115に直接接続されるように設計される硬性軸155を備える硬性鏡105を示し、遠位端構成部材115は、遠位端112の光学ギア(図示せず)を覆ってよい。そのような場合、縫い目線170は、細長い硬性軸155と遠位端構成部材115との間の接続線の輪郭を描く。いくつかの場合において、細長い硬性軸155と遠位端構成部材115とは、縫い目線170における接続部を封止する接着剤により接続されてよい。いくつかの他の場合において、細長い硬性軸155と遠位端構成部材115とは半田付けで接続されてよい。開示された主題の可能な実施形態において、細長い硬性軸155と遠位端構成部材115とは、細長い硬性軸155と遠位端構成部材115とを一緒に固定する螺合機構により接続されてよい。さらに別の実施形態(図示せず)において、細長い硬性軸155は、遠位端112に及ぶ硬性鏡105の長さに沿って延在する。
遠位端112は、少なくとも1つのカメラを収容するように設計されるマルチカメラ部材として機能してよい。いくつかの場合において、遠位端112のカメラは、平面110の前方に位置してよい。追加のカメラは、遠位端構成部材115の側方の丸い表面に位置してよい。また、遠位端構成部材115は、第2側面カメラ165を収容し、第2側面カメラ165の視野に必要な開口部を提供するように形状付けられるアパーチャ160を有してよい。いくつかの場合において、アパーチャ160は、ガラスまたはプラスチックなどの透明層により覆われ、患者の組織から側面カメラ165を隔離してよい。いくつかの他の場合において、アパーチャ160は1つの光学窓または1つよりも多い光学窓により覆われてよい。
いくつかの実施形態において、遠位端112は、遠位端112の反対側に位置する第1側面カメラ(図示せず)を備えてよい。また、アパーチャ160は、側面カメラ165の光源を提供する側面照明器150および145からの光の放出を可能にする。いくつかの場合において、光は、LEDとしても知られる発光ダイオードなどの専用部分照明器により放出されてよい。
また、遠位端112は、平面110の中心に位置付けられる前方カメラ130を備えてよく、平面110は、前方カメラ130を収容し、前方カメラ130の視野に必要な開口部を提供することができる。また、平面110は、前方カメラ130に必要な光源を提供する前方照明器120、125、135、および140を備える。他の可能な実施形態において、前方照明器の数および位置は、例えば、4セットの照明器よりも少なくまたは多く変動してよく、照明器の各セットは、1つ、2つ、3つ、4つ、または4つよりも多いLEDを有し、同じ光スペクトルまたは異なる光スペクトルを放出してよい。
いくつかの他の場合において、硬性鏡105の必要な光源を提供する照明器150、145、120、125、135および140の一部は、可視光において様々な色であってよい。例えば、硬性鏡105の光源は、白色光LED、および/または青、赤、黄色、緑またはそれらの任意の組み合わせなどの他の色を放出するLEDを含んでよい。いくつかの場合において、LEDにより放出される光は、非可視光のスペクトルにおけるものであってよい。例えば、光源は、赤外線スペクトル、紫外線、X線などの光を提供することができる。
図1Bは、図1Aに係る医療用撮像装置の動作に必要な光学ギアモジュールを備える、硬性軸を備える医療用撮像装置を示している。図1Bは、遠位端を有しない1つの硬性軸155を備える硬性鏡105を示している。硬性軸155は、少なくとも1つの光学ギアを収容するように設計される光学ギア部材として機能してよい。いくつかの場合において、光学ギアは、前方で平面110に位置する硬性軸155の縁に配置されてよい。いくつかの他の場合において、光学ギアは、前面パネル110から6.5〜40ミリメートルの距離を置いて、硬性軸155の円筒形の丸い表面に位置してよい。さらに別の実施形態において、前面パネル110における硬性鏡の縁に前方カメラが配置されてよく、前面パネル110から6.5〜40ミリメートルの距離を置いて、硬性軸155の円筒形の丸い表面に、1つ又は複数の側面カメラが位置してよい。
また、硬性軸155は、第2側面カメラ165を収容し、第2側面カメラ165の動作に必要な視野を提供するように形状付けられるアパーチャ160を有してよい。開示された主題のいくつかの実施形態において、硬性軸155は、硬性軸155の反対側で第1側面アパーチャ(図示せず)内に位置する第1側面カメラ(図示せず)を備えてよい。また、アパーチャ160は、側面カメラ165の光源を提供し、側面カメラ165に必要な照明活動を提供するように構成される、側面照明モジュール150および145を収容する。いくつかの場合において、光源は、LEDとしても知られる発光ダイオードなどの専用照明器により放出されてよい。いくつかの場合において、各照明モジュールは、1つ、2つ、3つ、4つ、または4つよりも多いLEDを有し、上記で説明したように異なる光スペクトルを放出する。
また、硬性軸155は、前方カメラ130を備えてよい。一実施形態において、前方カメラ130は、前方カメラ130を収容し、前方カメラ130の動作に必要な視野を提供することができる前方平面110の中心のより近くに位置付けられてよい。また、前方平面110は、前方カメラ130に必要な光源を提供する前方照明器のセット120、125、135および140を備えてよい。いくつかの場合において、各照明モジュールは、1つ、2つ、3つ、4つ、または4つよりも多いLEDを有し、上記で説明したように同じ光スペクトルまたは異なる光スペクトルを放出してよい。別の実施形態において、前方カメラ130は、前方平面110の中心に位置付けられてよい。
いくつかの場合において、硬性軸155は、ワンピースとして作製されてよい。例えば、硬性軸155は、成形プロセスによって作製されてよい。また、いくつかの場合において、硬性軸155の作製プロセスは、カメラのためのアパーチャ、丸い表面、平坦な表面、カメラのための空間などを形成するためのフライス加工プロセスを含んでよい。
図2Aは、開示された主題の例示的実施形態に係る医療用撮像システムを示している。医療用撮像システム205は、ディスプレイユニット210と、ユーティリティケーブル220によって医療用撮像内視鏡245に接続されるように設計される主制御部215とを備えてよい。この例示的な実施形態に示される医療用撮像内視鏡245は、ハンドル240を備えてよい内視鏡などのカメラ付きの細長い硬性軸とすることができ、ハンドル240には、硬性軸247が取り外し可能な方式でまたは1つのユニットとして接続されてよい。硬性軸247は、遠位端部250で終端する。ハンドル240は、体腔内で硬性軸247をガイドするために使用されてよい。いくつかの場合において、ハンドル240は、前述の機能およびズーム、フォーカス、記録などを制御する1つ又は複数のボタンおよび/またはスイッチ(図示せず)を備えてよい。遠位端部250は、関心領域ならびに医療器具および処置エリアを囲む他の臓器の診察に必要なより広い視野をユーザに提供する、少なくとも1つの光学ギアモジュールを備えてよい。
ユーティリティケーブル220は、ハンドル240と主制御部215との間を接続してよい。ユーティリティケーブル220は、1つ又は複数の電気チャネルを内部に備えてよい。電気チャネルは、遠位端の少なくとも1つの光学ギアモジュールからビデオ信号を受信するための少なくとも1つのデータケーブルを備えてよい。一実施形態において、電気チャネルは、前方カメラおよび少なくとも1つの側面カメラからビデオ信号を受信するための少なくとも1つのデータケーブル、ならびに、カメラにおよび少なくとも1つの光学ギアモジュールに関連付けられた照明器に電力を提供するための少なくとも1つの電力ケーブルを備えてよい。本発明の別の実施形態において、ハンドルと主制御部との間に無線通信を構成して使用することができる。
主制御部215は、遠位端部250の光学ギアモジュールによって捕捉された内臓の画像を表示するために必要な制御部235などの制御部を備える。主制御部215は、カメラおよび照明器などのために、内視鏡の遠位端250の構成要素に電力の送信を指示することができる。キーボード、マウス、タッチスクリーンなどのような1つ又は複数の入力機器が、主制御部215の制御のために主制御部215に接続されてよい。図2Aに示される例示的な実施形態において、主制御部215は、医療用撮像内視鏡245の動作および活動に関する動作情報を表示するディスプレイ230を備える。動作情報は、主制御部215上に位置することもできる操作ボタンによって変更および/または判定することができる。画像/ビデオは、主制御部215から情報をアップロードすることによって、並べてまたは交互に、ディスプレイユニット210等の1つ又は複数のディスプレイユニットに別々に表示することができる。すなわち、主制御部215を操作するユーザが、異なる観察要素からのビューを手動で切り替えることができる。代替的に、これらのビデオストリームは、主制御部215によって処理して、カメラの視野間での重なりに基づき、合成してステッチ画像にすることができる。
また、主制御部215は、医療用撮像内視鏡245の遠位端250からデジタル入力を受信して、当該デジタル入力をディスプレイユニット210上に表示されるビデオストリームに変換するように設計してよい。さらに、ディスプレイユニット210は、オペレータが内視鏡検査システムの様々な機能を設定することを可能にするユーザインタフェースを表示するように動作可能とすることができる。また、いくつかの場合において、主制御部215は、カメラ付き硬性内視鏡と連動するようにプログラムされ、医療用撮像内視鏡245のいくつかの動作タスクを制御するように構成されたコントローラを備えることができる。動作タスクは、例えば、光学ギアモジュールによって捕捉される視野の記録の開始/停止、送気の開始/停止、LED活動の開始/停止、外部システムへの光学ギアモジュールの状態の報告、医療処置の開始、医療処置の停止などとすることができる。したがって、コントローラは、プロセッサ上で動作可能であり、コンピュータ可読記憶媒体に格納された命令を実行するように設計されるソフトウェアユニットも備えることができる。また、いくつかの場合において、コントローラは、独立ベースボードモジュールを含むことができる。いくつかの場合において、このような独立ベースボードモジュールは、フィールドプログラマブルゲートアレイ(FPGA)とすることもできるし、いくつかの場合において、複数の光学ギアモジュールによって得られる赤・緑・青(RGB)画像色における変化を検出するアルゴリズムを実施するように構成された特定用途向け集積回路(ASIC)とすることもできる。いくつかの場合において、RGB色の変化を検出するアルゴリズムは、撮像用硬性軸247が患者の体内に位置するか、または体外に位置するかを検出するように構成することができる。
本発明のいくつかの実施形態において、コントローラは、単に、カメラ付き硬性内視鏡と連動するように構成された、プロセッサ上で動作可能なソフトウェアユニットとしてよい。例えば、制御ユニット215には、プロセッサが実装されることができ、コントローラは、制御ユニットのプロセッサ上で動作可能とすることができる。
また、いくつかの場合において、主制御部215は、硬性軸247の位置と関連付けられた条件イベントの所定のセットに従って、動作タスクを実行するように構成されてよい。例えば、主制御部215は、マルチカメラ付き硬性内視鏡の位置が患者の体内にあると検出された場合、光学ギアのうちの1つによって捕捉された視野の記録を開始することができる。別の例示的な場合は、カメラ視野における煙などの気体および/または医療用撮像装置の外部および体腔の内部の圧力を検出するように構成された圧力センサによる圧力変化を識別するように適合された所定の制御システムに従って、送気プロセスがトリガされるようにすることであり得る。このような実施形態において、制御システムは、体腔から気体を自動的に排出する。本明細書の関連出願であり、「A Medical Device Having a Gas Path Apparatus(ガス経路装置を備える医療装置)」と題し、2017年11月12日に出願され、さらに優先権主張先として2016年11月30日に出願された米国仮特許出願第62/427825号に依拠する、PCT出願第PCT/IL2017/051226号は、送気プロセスの一例であり、その全体が引用により本明細書に援用される。いくつかの場合において、動作タスクは、コントローラから受信された変化検出結果に従って、主制御部215によって制御されてよい。いくつかの他の場合において、動作タスクは、医療用撮像内視鏡245の硬性軸247の位置を示すコンピュータ化入力に従って、主制御部215によって制御されてよい。例えば、主制御部215は、入力機器から受信され医療用撮像内視鏡245の位置を示すコンピュータ化入力を受信することができ、ここで、コンピュータ化入力は、硬性軸247が患者の体内にあることを示す。このような例示的な場合において、主制御部215は、条件イベントの所定のセットに従って、上記で定義された動作タスクを実行してよい。
本発明のいくつかの実施形態において、コントローラは、ハンドル240に位置することができる。本明細書のこのような実施形態において、コントローラは、命令を実行するためにプロセッサおよびコンピュータ可読記憶媒体を備えてよい。また、ハンドル240に位置するコントローラは、システム主制御部215と通信するように構成することができる。
いくつかの場合において、主制御部215は、医療用撮像内視鏡245の1つ又は複数のカメラからディスプレイユニット210への1つ又は複数のビデオ信号の同期された転送を実行することができる、画像処理モジュール(図示せず)をさらに備えることができる。また、画像処理モジュールは、光学ギアモジュールのビデオフレーム/画像および/またはビデオ信号のうちの少なくとも1つの記録を制御するようにプログラムすることができる。いくつかの実施形態において、医療用撮像システム205は、外部システムにさらに接続される。外部システムは、病院報告システムとすることができる。
図2Bは、図2Aに係る、本明細書によって提供される医療用撮像内視鏡の硬性軸の位置を検出する方法を実装することができる、医療用撮像システムの可能なアーキテクチャを示すブロック図である。図2Bは、硬性軸247に着脱可能に接続または内蔵することができるハンドル240を伴う医療用撮像内視鏡245と、コントローラ255とを備えることができる可能なアーキテクチャ207を示している。さらに、硬性軸247は、少なくとも1つの光学ギアを備える遠位端250を有する。いくつかの場合において、ハンドル240をコントローラ255に接続するのにユーティリティケーブル220が使用される。開示された主題の別の実施形態において、ハンドル240は、無線通信を介してコントローラ255に接続することができる。コントローラ255は、前述のように、医療用撮像内視鏡と連動するようにプログラムし、医療用撮像内視鏡のいくつかの動作タスクを制御するように構成することができる。さらに、いくつかの場合において、コントローラは、前述のように1つの動作イベントまたは複数の動作イベントを開始するように構成される。いくつかの場合において、コントローラは、前述のように色光において受け取られた色が特定の閾値を満たすと、1つの動作イベントまたは複数の動作イベントを開始するように構成される。
開示された主題のいくつかの実施形態において、コントローラ255は、前述のように制御ユニット(図2Aの主制御部215など)に位置することができる。いくつかの他の場合において、コントローラ255は、ハンドル240に埋め込むことができる。コントローラ255は、処理モジュール217と、画像処理モジュール217から受信されたRGB色値またはYCbCr色値(ここで、Yは輝度であり、Cbは青の色差成分であり、Crは赤の色差成分である)などのようなヒストグラムを検出および操作するように適合された画像分類器219とに接続されるように構成することができる。ヒストグラムは、カメラのうちの少なくとも1つによって捕捉されたビデオ信号の画像フレーム内の特定の色のピクセル合計を表す数値として定義される。また、いくつかの場合において、画像分類器219は、受信されたビデオフレーム/画像および/またはビデオ信号内の各画像色の受信された色値および受信された強度レベルなどのパラメータを定義するように適応することができる。色の強度レベルは、全色の総計によって除算された特定の色のピクセル合計のパーセンテージである。例えば、システムは、赤・青・緑のカラーレンジ、またはいくつかの場合にはYCbCr色値を使用して、画像フレーム内のそれらの強度レベルを測定することができる。
いくつかの場合において、画像分類器219は、制御ユニット(図2Aの主制御部215など)によって操作可能なプロセスによって実行されるコンピュータ化プロセスおよび/またはコンピュータ化命令セットとすることができる。いくつかの他の場合において、画像分類器219は、外部デバイス(図示せず)によって操作可能なプロセスによって実行されるコンピュータ化プロセスおよび/またはコンピュータ化命令セットとすることができる。いくつかの場合において、処理モジュール217および画像分類器219は、前述のように制御ユニット(図2Aの主制御部215など)に位置することができる。いくつかの他の場合において、処理モジュール217および画像分類器219は、医療用撮像システムの外部に位置することができる。外部デバイスは、コンピュータ化命令セットによって動作するコンピュータ化装置とすることができる。デバイスは、パーソナルコンピュータ、タブレットパーソナルコンピュータ、コンピュータ、コンピュータ化電話デバイスなどとすることができる。
コントローラ255は、医療用撮像内視鏡245の1つ又は複数のカメラからディスプレイユニット210への1つ又は複数のビデオ信号の同期された転送を可能にする画像処理モジュール217とも連動する。また、画像処理モジュール217は、光学ギアモジュールのビデオフレーム/画像および/またはビデオ信号のうちの少なくとも1つの記録を制御するようにプログラムすることができる。
図3Aは、本発明の例示的な実施形態に係る、医療用撮像システムのイベントをトリガするプロセスを示すフローチャートである。段階305において、ビデオフレーム/画像および/またはビデオ信号が、医療用撮像内視鏡装置の遠位端内に位置する少なくとも1つの光学ギアモジュールによって捕捉される。フレーム/画像および/またはビデオ信号は、遠位端から出て、図2Bに記載のような医療用撮像システムの主制御部に送信される。このようなフレーム/画像および/またはビデオ信号は、医療用撮像装置の遠位端に位置するカメラによって捕捉されたオブジェクトおよび/またはビューを含むことができる。
段階310において、医療用撮像内視鏡装置の主制御部内にまたはハンドルに位置するコントローラが、フレーム/画像および/またはビデオ信号が少なくとも1つの光学ギアモジュールから受信されたかどうかを検証する。いくつかの場合において、コントローラは、医療用撮像内視鏡装置の光学ギアモジュールを調査するように構成することができる。例えば、コントローラは、医療用撮像内視鏡装置内のカメラを定期的に調査し、フレーム/画像および/またはビデオ映像を検出することができるかどうかを検証することができる。本発明のいくつかの実施形態において、光学ギアモジュールは、カメラのうちの少なくとも1つがオブジェクトまたは任意の視野を捕捉した場合、動作を開始するようにコントローラをトリガするように構成することができる。
段階315において、フレーム/画像および/またはビデオ信号を画像分類器によって受信することができ、ここで、コントローラからデジタルビデオフレームを送信することができる。段階320において、分類器が、光学ギアモジュールから受信されたRGB画像フレーム色の強度レベルを測定する。いくつかの場合において、医療用撮像システムは、前述のように、主制御部によってRGB色の強度レベルを測定するように設計することができる。段階323において、コントローラが、分類器からRGB色測定値を受信する。いくつかの場合において、1つのRGB色値または複数のRGB色値は、分類器によって測定される値とすることができる。開示された主題のいくつかの実施形態において、分類器は、遠位端内に位置する少なくとも1つの光学ギアモジュールから受信した画像フレームの色のヒストグラムを測定するように構成することができる。
段階325において、コントローラによって、測定されたRGB色値を所定の閾値と比較することができる。そのような場合、コントローラによって実行された比較プロセスの結果は、医療用撮像内視鏡装置の遠位端の位置を検出するのに使用することができる。したがって、コントローラは、受信した色値と少なくとも1つの所定の閾値とを比較するように構成することができる。例えば、測定されたRGB色強度レベルは、RGBカラーレンジにおいて所定の少なくとも1つの閾値を超える可能性があり、それにより、コントローラ、またはいくつかの場合においてシステムは、医療用撮像内視鏡装置の遠位端が、患者の体外に位置するか、または患者の体内に位置するかを判定することができる。いくつかの場合において、コントローラは、位置検出プロセスのための追加のパラメータを受信するように構成することができる。例えば、医療用撮像内視鏡装置を操作しているユーザは、多様な医療処置がRGB色強度レベルの様々な範囲を使用し得るように、コントローラを設定することができる。したがって、コントローラは、特定の医療処置の場合に、RGB色強度レベルの特定の所定の範囲に従って、医療用撮像内視鏡装置の遠位端が患者の体外に配置されていることを識別することができる。さらに、コントローラは、異なる医療処置の場合に、RGB色強度レベルの同じ特定の所定の範囲を用いて、医療用撮像内視鏡装置が患者の体内に配置されていることを識別することができる。
段階330において、前述のように、RGB色比較プロセスの結果に従って、コントローラによってイベントがトリガされる。例えば、RGB色比較プロセスの結果に従って、医療用撮像内視鏡装置の遠位端が患者の体内に配置されていると識別された場合、コントローラは、光学ギアのカメラのうちの少なくとも1つによって捕捉されたビデオの記録を開始するようにコマンドを送信することができる。いくつかの場合において、コマンドは、画像処理モジュールに送信することができ、画像処理モジュールは、ビデオ信号を受信し、コントローラによって記録コマンドが送信された場合、ビデオシーケンスの画像フレームを格納することができる。
図3Bは、本発明の例示的な実施形態に係る、医療用撮像システムのイベントをトリガするコントローラによって実行されるプロセスを示すフローチャートである。段階340において、医療用撮像システムの医療用撮像内視鏡装置の主制御部内またはハンドルに位置するコントローラが、フレーム/画像および/またはビデオ信号が少なくとも1つの光学ギアモジュールから受信されたかどうかを検証する。コントローラは、医療用撮像内視鏡装置と連動するようにプログラムし、医療用撮像内視鏡装置のいくつかの動作タスクを制御するように構成することができる。いくつかの場合において、コントローラは、医療用撮像内視鏡装置の光学ギアモジュールを調査するように構成することができる。開示された主題のいくつかの実施形態において、コントローラは、医療用撮像内視鏡装置の光学ギアモジュールによって受信されたRGB色の強度レベルを測定するように外部画像分類器をトリガするように構成することができる。いくつかの場合において、このような外部画像分類器は、医療用撮像内視鏡と連動するようにプログラムされる。このような外部画像分類器は、パーソナルコンピュータ、パーソナルコンピュータ化モバイルデバイス、フィールドプログラマブルゲートアレイ(FPGA)、またはいくつかの場合において特定用途向け集積回路(ASIC)などのコンピュータ化装置上に位置することができる。いくつかの場合において、外部画像分類器は、前述のような制御ユニットと統合することができる。
段階345において、コントローラは、RGB色測定値を受信することができる。いくつかの場合において、RGB測定値は、画像分類器によって測定される値とすることができる。開示された主題のいくつかの実施形態において、画像分類器は、遠位端に位置する少なくとも1つの光学ギアモジュールから受信した画像フレームの色ヒストグラムを測定するように構成することができる。段階350において、測定されたRGB色値は、コントローラによって、所定の閾値と比較することができる。段階355において、RGB色比較プロセスの結果に従って、コントローラによってイベントがトリガされ、ここで、コントローラは、前述のように、RGB色値と所定の閾値とを比較する。例えば、RGB色比較プロセスの結果に従って、医療用撮像内視鏡の遠位端が患者の体内に配置されていると識別された場合、画像分類器は、例えば、遠位端に位置するカメラのうちの少なくとも1つによって捕捉されたビデオの記録を開始するようにコマンドを送信することによって、コントローラをトリガすることができる。本発明のいくつかの実施形態において、RGBカラーレンジの使用は、YCbCr色値または色の強度値を測定するために当業者によって使用され得る他のスケールと置き換えることができる。
図4Aは、本発明の例示的な実施形態に係る、医療用撮像内視鏡の遠位端の位置を識別し、医療用撮像システムのいくつかの動作タスクを制御するために医療用撮像システムによって操作可能な例示的な識別プロセスの段階を示すフローチャートである。段階405において、いくつかの場合において主制御部(例えば、図2Aに示される主制御部215)であり得るシステムが起動される。いくつかの場合において、この起動段階において、システムに電力を充電することができ、ユーザが、このシステムに関連付けられた医療用撮像システムを操作可能とすることができる。段階410において、医療用撮像内視鏡(例えば、図2Aに示されるような医療用撮像内視鏡245)の遠位端(例えば、図2Aに示されるような遠位端部250)上に位置する少なくとも1つの光学ギアモジュールからのビデオ信号を、システムによって検査することができる。
さらに、段階410において、ビデオ信号をシステムによって検査することができた場合、段階415において、システムによって、マルチカメラ医療用撮像システムが少なくとも1つの光学ギアモジュールのうちの1つにおいてビデオ信号を検出したかどうかが判定される。ビデオ信号が検出されない場合、システムによって操作されるプロセスは、システムを段階410の状態に設定し戻す。いくつかの場合において、システムは、一時停止して、ビデオ信号が光学ギアモジュールのうちの少なくとも1つによって検出されたかどうかを定期的に検証するように構成することができる。システムの動作は、1つのビデオ信号および複数のビデオ信号を参照することに留意されたい。ビデオ信号がシステムによって検出された場合、システムは、画像分類器の動作を開始するために段階420に進むことができる。例えば、カメラは、カメラの視野に位置するオブジェクトの捕捉を開始することができ、ビデオ捕捉の結果として生じる電気信号をシステムに送信してビデオ信号として解釈することができる。そのような場合、システムは、画像分類器の動作を開始することができる。
段階420において、画像内の色の分布を測定するように設計される画像分類器は、デジタルビデオカメラから受信した画像フレームを取得する。このような画像分類器は、前述のようなプロセスによって実行されるコンピュータ化プロセスまたはコンピュータ化命令セットとすることができる。開示された主題のいくつかの実施形態において、画像分類器は、分類器を操作するシステムからビデオカメラの画像フレームを受信することができる。このような構成において、システムは、ビデオカメラのうちの少なくとも1つからビデオ信号を受信し、その後、ビデオ信号を分類器に転送することができる。主題のさらに他の実施形態において、分類器は、ビデオカメラのうちの少なくとも1つに直接接続し、ビデオ信号を受信するように構成することができる。
開示された主題の可能な実施形態において、コントローラは、段階410、415および420において述べられたシステムタスクを実行することができる。したがって、コントローラは、カメラにおけるビデオ信号を検査することができ、ビデオ信号が検出された場合、コントローラは、ビデオ信号を分類器に送信することができる。ビデオ信号が検出されたいくつかの場合において、コントローラは、カメラのうちの少なくとも1つからのビデオ信号の受信を開始するようにコマンドを分類器に送信することができる。
いくつかの場合において、画像分類器は、画像の色空間の範囲における色の色値および強度レベルを使用することができる。色空間は、色の範囲を値または色成分として単純に記述する抽象モデルとすることができる(例えば、RGB色、YCbCr色(ここで、Yは輝度であり、Cbは青の色差成分であり、Crは赤の色差成分である)など)。例えば、システムは、赤、緑、および青の色空間を使用し、画像フレームにおけるそれらの強度レベルを測定し、3値のレンジによって赤、緑、および青の強度レベルを提示することができる。
段階425において、分類器は、分類器によって使用されるカラーレンジに従って、ヒストグラムの値を正規化する。例えば、分類器は、すべての強度レベルの合計によって各強度レベルを徐算することができる。Sで示されるすべての強度レベルの合計は、S=R+G+Bであってよく、ここで、赤色の強度レベルがRで示され、緑色の強度レベルがGで示され、青色の強度レベルがBで示される。このような場合、強度レベルを正規化することで、正規化された赤の強度レベルをR/Sとして、正規化された緑の強度レベルをG/Sとして、正規化された青の強度レベルをB/Sとして生成してよい。
図4Bに示されるように、段階427において、コントローラは、分類器からRGB色のヒストグラム、例えば、正規化されたRGB色強度レベルを受信し、段階430において、コントローラは、ヒストグラムの基準を検証/チェックする。段階435において、コントローラは、ヒストグラムが、撮像システムの医療用撮像内視鏡が患者の体内に配置されていることを示す所定の値に達しているかどうかを検証する。コントローラによって実行されるヒストグラム検証は、受信したヒストグラムごとに行われることに留意されたい。一実施形態において、コントローラは、正規化されたヒストグラムを測定し、所定の値セットと比較することにより、医療用撮像内視鏡の遠位端の位置が体「内」にあるか、または体「外」にあるかを検証する。例えば、赤チャネルの正規化された最大色値および赤チャネルの最大強度レベルが少なくとも1つの特定の所定の閾値を超える場合、システムは、医療用撮像内視鏡装置を体「内」または体「外」として検出することができる。遠位端の位置が患者の体「外」にあると検出された場合、システムは、段階440に進み、条件イベントセットの「外」動作を行うことができる。例えば、システムは、遠位端の位置が患者の体「外」にあると検出された場合は、LEDの活動を停止することができる。いくつかの場合において、このような動作は、報告システムなどの外部システムに「医療処置の終了」を宣言するものとすることができる。例えば、報告システムは、医療処置が行われている施設によって使用される。いくつかの場合において、条件イベントセットに従う動作が完了すると、システムは、段階420に戻って、新たな画像フレームを取得することができる。
遠位端の位置が患者の体「内」にあると検出されたいくつかの場合において、システムは、段階450に進むことができる。そのような場合、システムは、所定の条件イベントセットに従って動作イベントを実行することができる。いくつかの場合において、このような動作イベントの実行は、コントローラによって行ってよい。いくつかの場合において、このような動作は、カメラによって受信したデジタルビデオの記録の開始または停止、遠位端におけるLED活動の開始または停止、送気プロセスの開始または停止などとすることができる。いくつかの場合において、このような動作は、報告システムなどの外部システムに「医療処置の開始」を宣言するものであってよい。例えば、報告システムは、医療処置が実行されている施設によって使用される。いくつかの場合において、条件イベントセットに従う動作が完了すると、システムは、段階420に戻って、別の画像フレームを取得することができる。いくつかの他の場合において、段階450は、プロセスの終了段階であり、段階450に進むと、例えば、医療用撮像内視鏡の遠位端の位置が患者の体「内」にあると識別すると、医療用撮像システムは、条件イベントセットを維持する。
図4Bは、図4Aの段階430に従って、色ヒストグラムの基準を比較する分類器の決定段階を管理する方法を開示している。段階505において、医療用撮像システムは、コントローラ(図2Bのコントローラ255など)と、医療用撮像システムの遠位端(図2A及び図2Bの遠位端部250など)の少なくとも1つのカメラにおいて受信したフレーム/画像および/またはビデオ信号のRGB色のヒストグラムを算出するように適合された画像分類器とを備える。分類器によって算出されたRGB色のヒストグラムは、受信した色値と、その色値における受信した強度レベルとを定義してよい。いくつかの場合において、色値および強度レベルは、赤チャネル/色、緑チャネル/色、および青チャネル/色を分離するとともに、分離された色の色値および強度レベルを測定することによって判定されてよい。いくつかの他の場合において、システムは、各色のピクセル数を表すヒストグラムを使用することができる。次に、段階510において、システムの画像分類器は、前述のように、所定の最大色に一致するようにヒストグラムのRGB色を正規化する。その後、段階515において、画像分類器は、RGBチャネルのそれぞれの最大色値を識別する。そのような場合、画像分類器は、赤の正規化された最大色値と、緑の正規化された最大色値と、青の正規化された最大色値とを識別することができる。色ヒストグラムが使用されるいくつかの場合において、各色のピクセルの最大数を測定することができる。
段階520において、システムは、赤チャネルの最大色値が所定の値を超えているかどうかを判定する。一実施形態において、コントローラは、赤チャネルの正規化された最大色値と所定の値とを比較する。赤の正規化された最大色値が所定の値を超えている場合、コントローラは、段階525に進んでよい。本発明のいくつかの実施形態において、システムは、赤の正規化された最大色値が所定の値を超えていない場合、本明細書に開示された方法が段階540に進むことができ、硬性鏡の位置が患者の体「外」にあると検出することができるように構成することができる。これと併せて、段階505において新たなサイクルを再度開始する。
段階525において、システムは、緑チャネルの最大色値が青チャネルの正規化された最大色値を超えているかどうかを判定する。一実施形態において、コントローラは、緑チャネルの正規化された最大色値が青チャネルの正規化された最大色値よりも大きいかどうかを比較および検証する。緑チャネルの正規化された最大色値が青チャネルの正規化された最大色値よりも大きい場合、画像分類器は、本明細書に開示された方法の段階530に進む。緑の正規化された最大色値が青の正規化された最大色値を超えていない場合、本明細書に開示された方法は、段階540に進んでよく、硬性鏡の位置が患者の体「外」にあると検出することができる。これと併せて、段階505において新たなサイクルが再度開始する。
段階530において、システムは、赤チャネルの最大色値が緑チャネルの正規化された最大色値を超えているかどうかを判定する。一実施形態において、画像分類器は、赤チャネルの正規化された最大色値が緑チャネルの正規化された最大色値よりも大きいかどうかを比較および検証する。赤の正規化された最大色値が緑の正規化された最大色値よりも大きい場合、分類器は、本明細書に開示された方法の段階535に進んでよい。赤の正規化された最大色値が緑の正規化された最大色値を超えていない場合、本明細書に開示された方法は、段階540に進んでよく、硬性鏡の位置は、患者の体「外」にあると検出されてよい。これと併せて、段階505において新たなサイクルが再度開始する。
段階535において、画像分類器は、赤チャネルの最大強度レベルを算出する。次に、段階545において、システムは、赤チャネルの最大強度レベルが所定の最大強度値を超えているかどうかを判定する。一実施形態において、分類器は、赤チャネルの最大強度レベルと、所定の値とを比較する。赤の最大強度レベルが所定の値を超えている場合、分類器は段階550に進んでよい。本発明のいくつかの実施形態において、システムは、赤の最大強度レベルが所定の値を超えていない場合、本明細書に開示された方法が、段階540に進んでよく、硬性鏡の位置は、患者の体「外」にあると検出することができるように構成することができる。これと併せて、段階505において新たなサイクルが再度開始する。
段階545において、システムは、開示および前述されたように、方法の段階において蓄積された結果を結論付けることができ、次に、システムは、硬性鏡が患者の体内にあるかまたは患者の体外にあるかを決定する。硬性鏡が患者の体「内」にあるとシステムが結論付けるいくつかの場合において、システムは、段階550に進み、硬性鏡が患者の体「内」にある状態に関連付けられた条件イベントを実行してよい。このようなイベントは、硬性鏡のカメラのうちの少なくとも1つを用いた記録の開始、硬性鏡内の複数のLEDまたは1つのLEDのターンオンなどであってよい。いくつかの場合において、そのようなイベントは、報告システムなどの外部システムに「医療処置の開始」を宣言するものであってよい。例えば、報告システムは、医療処置が行われている施設によって使用される。
硬性鏡が患者の体「外」にあるとシステムが結論付けるいくつかの場合において、システムは、段階540に進み、硬性鏡が患者の体「外」にある状態に関連付けられた条件イベントを実行してよい。条件イベントは、例えば、硬性鏡のカメラのうちの少なくとも1つを用いた記録の停止、硬性鏡内の複数のLEDまたは1つのLEDのターンオフなどであってよい。いくつかの場合において、そのようなイベントは、報告システムなどの外部システムに「医療処置の終了」を宣言するものであってよい。例えば、報告システムは、医療処置が行われている施設によって使用される。
本発明のいくつかの実施形態において、RGBカラーレンジの使用は、YCbCr色値または色の強度値を測定するために当業者によって使用され得る他のスケールと置き換えることができる。
本開示は例示的な実施形態を参照して説明されているが、当業者には、発明の範囲から逸脱することなく、様々な変更が加えられてよく、同等物が本発明の要素の代わりに用いられてよいことが理解されるであろう。加えて、本発明の本質的な範囲から逸脱することなく特定の状況または材料を教示に適応させるために多くの修正が行われてよい。したがって、開示された主題は、この発明を実施するために考えられる最良の形態として開示されている特定の実施形態に限定されないが、以下の特許請求の範囲によってのみ限定されることが意図される。
Claims (19)
- 医療用撮像内視鏡装置と連動するコントローラによって操作可能な方法であって、
前記コントローラによって、前記医療用撮像内視鏡装置の光学ギアによって捕捉された画像により生じるビデオ信号を検出する段階と、
前記コントローラによって、前記画像の色空間の色の強度レベルを表すヒストグラムを受信する段階と、
前記受信したヒストグラムと少なくとも1つの所定の閾値とを比較するように、前記コントローラによって比較プロセスを行う段階と、
前記比較プロセスの結果に従って、前記医療用撮像内視鏡装置の遠位端の位置が患者の体内にあるか否かを判定する段階と、
前記遠位端の位置が前記患者の体内にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始する段階と、
を含む、方法。 - 前記遠位端の位置が前記患者の体外にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始する段階をさらに含む、請求項1に記載の方法。
- 前記ヒストグラムは、RGB色値である、請求項1または2に記載の方法。
- 前記ヒストグラムは、YCbCr色値である、請求項1または2に記載の方法。
- 前記ヒストグラムは、前記コントローラと連動する分類器から受信される、請求項1〜4のいずれか1項に記載の方法。
- 前記コントローラは、前記ビデオ信号を受信し、前記画像の前記色空間のヒストグラムの前記強度レベルを表す前記ヒストグラムを識別するように構成される、請求項1〜5のいずれか1項に記載の方法。
- 外部システムに医療処置の開始を宣言する段階をさらに含む、請求項1〜6のいずれか1項に記載の方法。
- 外部システムに医療処置の終了を宣言する段階をさらに含む、請求項1〜7のいずれか1項に記載の方法。
- 医療用撮像内視鏡装置の位置を検出するための医療用撮像システムであって、前記医療用撮像システムは、
ビデオフレーム/画像および/またはビデオ信号を捕捉するように適合された光学ギアであって、前記医療用撮像内視鏡装置の遠位端に位置する、光学ギアと、
前記医療用撮像内視鏡装置において受信した色光の強度レベルを表すヒストグラムを分析するためのコントローラであって、前記強度レベルを特定の閾値と比較して、前記医療用撮像内視鏡装置の位置を判定する、コントローラと、
を備え、前記医療用撮像システムは、以下の段階:
前記コントローラによって、前記医療用撮像内視鏡装置の前記光学ギアによって捕捉された画像により生じるビデオ信号を検出する段階と、
前記コントローラによって、前記画像の色空間の色の強度レベルを表すヒストグラムを受信する段階と、
前記受信したヒストグラムと少なくとも1つの所定の閾値とを比較するように、前記コントローラによって比較プロセスを行う段階と、
前記比較プロセスの結果に従って、前記医療用撮像内視鏡装置の遠位端の位置が患者の体内にあるか否かを判定する段階と、
前記遠位端の位置が前記患者の体内にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始する段階と、
を実行するように構成される、医療用撮像システム。 - 前記遠位端の位置が前記患者の体外にあると検出された場合、所定の条件イベントセットに従って動作イベントを開始する段階をさらに含む、請求項9に記載の医療用撮像システム。
- 前記ヒストグラムは、RGB色値である、請求項9または10に記載の医療用撮像システム。
- 前記ヒストグラムは、YCbCr色値である、請求項9または10に記載の医療用撮像システム。
- 前記コントローラは、前記強度レベルが前記特定の閾値を満たすと、動作イベントをさらに開始する、請求項9〜12のいずれか1項に記載の医療用撮像システム。
- 前記コントローラは、画像分類器と連動し、前記画像分類器は、画像処理モジュールから受信したRGB画像色ヒストグラムを検出および操作するように適合されている、請求項9〜13のいずれか1項に記載の医療用撮像システム。
- 前記動作イベントは、前記光学ギアによって受信したデジタルビデオの記録の開始または停止である、請求項13に記載のコントローラ。
- 前記動作イベントは、前記遠位端における照明器の照明活動の開始または停止であり、前記照明器は、前記光学ギア内に統合されている、請求項13に記載のコントローラ。
- 前記動作イベントは、送気プロセスの開始または停止である、請求項13に記載のコントローラ。
- 前記画像分類器は、前記受信したビデオフレーム/画像および/またはビデオ信号内の各画像色の色値および強度レベルなどのパラメータを定義するようにさらに構成される、請求項14に記載のコントローラ。
- 医療用撮像内視鏡装置の位置を検出する医療用撮像システムであって、
ビデオフレーム/画像および/またはビデオ信号を捕捉するように適合され、前記医療用撮像内視鏡装置の遠位端に位置する光学ギアと、
前記医療用撮像内視鏡装置において受信した色光の強度レベルを分析するコントローラであって、前記強度レベルを特定の閾値と比較して、前記医療用撮像内視鏡装置の位置を判定する、コントローラと、
を備える医療用撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862649609P | 2018-03-29 | 2018-03-29 | |
US62/649,609 | 2018-03-29 | ||
PCT/IL2019/050333 WO2019186537A1 (en) | 2018-03-29 | 2019-03-25 | Medical imaging system and method for detecting the position thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021516567A true JP2021516567A (ja) | 2021-07-08 |
Family
ID=68061037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545786A Pending JP2021516567A (ja) | 2018-03-29 | 2019-03-25 | 医療用撮像システムおよびその位置を検出する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210007810A1 (ja) |
EP (1) | EP3773132A4 (ja) |
JP (1) | JP2021516567A (ja) |
CN (1) | CN112020321A (ja) |
IL (1) | IL277005A (ja) |
WO (1) | WO2019186537A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022011027A1 (en) * | 2020-07-10 | 2022-01-13 | Intuitive Surgical Operations, Inc. | Apparatuses, systems, and methods for managing auto-exposure of image frames depicting color-biased content |
US12035877B2 (en) * | 2020-07-10 | 2024-07-16 | Arthrex, Inc. | Endoscope insertion and removal detection system |
EP4445862A3 (en) * | 2021-03-31 | 2024-10-23 | Baxter Medical Systems GmbH + Co. KG | Indication system for a surgical lighting apparatus |
TWI823304B (zh) * | 2021-09-07 | 2023-11-21 | 陳階曉 | 醫學內視鏡系統 |
TWI836767B (zh) * | 2022-12-02 | 2024-03-21 | 群光電子股份有限公司 | 內視鏡模組 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6162438A (ja) * | 1984-09-03 | 1986-03-31 | オリンパス光学工業株式会社 | 内視鏡装置 |
JP2002028125A (ja) * | 2000-07-14 | 2002-01-29 | Fuji Photo Film Co Ltd | 蛍光内視鏡装置 |
JP2005080843A (ja) * | 2003-09-08 | 2005-03-31 | Olympus Corp | 被検体内導入装置および無線型被検体内情報取得システム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6609521B1 (en) * | 2001-04-09 | 2003-08-26 | Regents Of The University Of Minnesota | Endotracheal tube |
US10299668B2 (en) * | 2005-10-21 | 2019-05-28 | Physio-Control, Inc. | Laryngoscope with handle-grip activated recording |
US20070225556A1 (en) * | 2006-03-23 | 2007-09-27 | Ethicon Endo-Surgery, Inc. | Disposable endoscope devices |
US7976459B2 (en) * | 2006-10-17 | 2011-07-12 | Intra L.L.C. | Portable endoscope for intubation |
JP4932768B2 (ja) * | 2008-03-12 | 2012-05-16 | 学校法人早稲田大学 | 気管挿管訓練装置 |
JP2009225933A (ja) * | 2008-03-21 | 2009-10-08 | Fujifilm Corp | カプセル内視鏡システム及びカプセル内視鏡の動作制御方法 |
DE102009011831A1 (de) * | 2009-03-05 | 2010-09-16 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Navigation einer Endoskopiekapsel |
DE102014019584A1 (de) * | 2014-12-30 | 2016-06-30 | Schölly Fiberoptic GmbH | Bildverarbeitungsverfahren, korrespondierende Bildverarbeitungsvorrichtung und Endoskopanordnung |
US9905000B2 (en) * | 2015-02-19 | 2018-02-27 | Sony Corporation | Method and system for surgical tool localization during anatomical surgery |
WO2017136523A1 (en) * | 2016-02-06 | 2017-08-10 | The United States Of America As Represented By The Secretary Of The Army | Airway management device for identification of tracheal and/or esophageal tissue |
JP6711404B2 (ja) * | 2016-08-15 | 2020-06-17 | セイコーエプソン株式会社 | 回路装置、電子機器及びエラー検出方法 |
-
2019
- 2019-03-25 EP EP19778186.7A patent/EP3773132A4/en active Pending
- 2019-03-25 JP JP2020545786A patent/JP2021516567A/ja active Pending
- 2019-03-25 CN CN201980028274.2A patent/CN112020321A/zh active Pending
- 2019-03-25 WO PCT/IL2019/050333 patent/WO2019186537A1/en active Application Filing
- 2019-03-25 US US16/977,483 patent/US20210007810A1/en not_active Abandoned
-
2020
- 2020-08-30 IL IL277005A patent/IL277005A/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6162438A (ja) * | 1984-09-03 | 1986-03-31 | オリンパス光学工業株式会社 | 内視鏡装置 |
JP2002028125A (ja) * | 2000-07-14 | 2002-01-29 | Fuji Photo Film Co Ltd | 蛍光内視鏡装置 |
JP2005080843A (ja) * | 2003-09-08 | 2005-03-31 | Olympus Corp | 被検体内導入装置および無線型被検体内情報取得システム |
Also Published As
Publication number | Publication date |
---|---|
EP3773132A1 (en) | 2021-02-17 |
US20210007810A1 (en) | 2021-01-14 |
WO2019186537A1 (en) | 2019-10-03 |
IL277005A (en) | 2020-10-29 |
CN112020321A (zh) | 2020-12-01 |
EP3773132A4 (en) | 2021-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021516567A (ja) | 医療用撮像システムおよびその位置を検出する方法 | |
JP6581730B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP4629143B2 (ja) | インビボで内容物を検出するシステム | |
US11910994B2 (en) | Medical image processing apparatus, medical image processing method, program, diagnosis supporting apparatus, and endoscope system | |
US11978184B2 (en) | Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method | |
US11571108B2 (en) | Evaluation value calculation device and electronic endoscope system | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
US12020808B2 (en) | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus | |
JPWO2019220848A1 (ja) | 内視鏡装置、内視鏡操作方法、及びプログラム | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
CN114945314A (zh) | 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序 | |
US20230200626A1 (en) | Image processing apparatus, processor apparatus, endoscope system, image processing method, and program | |
JP2013005830A (ja) | 内視鏡システム、プロセッサ装置及び撮影距離測定方法 | |
JP6433634B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
US10462440B2 (en) | Image processing apparatus | |
WO2022230607A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
EP3742955A1 (en) | Medical imaging device with camera magnification management system | |
US20170273543A1 (en) | Evaluation value calculation device and electronic endoscope system | |
US20160242678A1 (en) | Organ image photographing apparatus | |
CN113747825B (zh) | 电子内窥镜系统 | |
CN111989026B (zh) | 内窥镜装置、内窥镜装置的工作方法及记录介质 | |
US20240005500A1 (en) | Medical image processing apparatus, medical image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230912 |