JP2023171651A - 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 - Google Patents
生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 Download PDFInfo
- Publication number
- JP2023171651A JP2023171651A JP2023177437A JP2023177437A JP2023171651A JP 2023171651 A JP2023171651 A JP 2023171651A JP 2023177437 A JP2023177437 A JP 2023177437A JP 2023177437 A JP2023177437 A JP 2023177437A JP 2023171651 A JP2023171651 A JP 2023171651A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- displayed
- user
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 202
- 238000001727 in vivo Methods 0.000 title abstract description 43
- 238000012552 review Methods 0.000 abstract description 154
- 210000001035 gastrointestinal tract Anatomy 0.000 abstract description 149
- 239000002775 capsule Substances 0.000 abstract description 82
- 238000010187 selection method Methods 0.000 abstract description 47
- 238000004458 analytical method Methods 0.000 abstract description 11
- 210000001072 colon Anatomy 0.000 description 44
- 208000037062 Polyps Diseases 0.000 description 40
- 238000004140 cleaning Methods 0.000 description 31
- 210000000813 small intestine Anatomy 0.000 description 31
- 238000011282 treatment Methods 0.000 description 31
- 238000001839 endoscopy Methods 0.000 description 29
- 230000003068 static effect Effects 0.000 description 24
- 239000012634 fragment Substances 0.000 description 22
- 230000007170 pathology Effects 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 17
- 230000009471 action Effects 0.000 description 13
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 201000010099 disease Diseases 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 208000025865 Ulcer Diseases 0.000 description 10
- 210000003484 anatomy Anatomy 0.000 description 9
- 239000003086 colorant Substances 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 231100000397 ulcer Toxicity 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000002052 colonoscopy Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 210000002784 stomach Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 210000004534 cecum Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 208000032843 Hemorrhage Diseases 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 210000003384 transverse colon Anatomy 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000003749 cleanliness Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 210000000664 rectum Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 210000001815 ascending colon Anatomy 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000000746 purification Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 241000167880 Hirundinidae Species 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000001731 descending colon Anatomy 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000010626 work up procedure Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000011231 Crohn disease Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 235000020805 dietary restrictions Nutrition 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000011086 high cleaning Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 208000014081 polyp of colon Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- -1 receivers Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002579 sigmoidoscopy Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000036269 ulceration Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
【課題】生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法の提供。【解決手段】システム及び方法は、嚥下式カプセルが生体内で収集した患者の消化管のいくつかの選択された画像を表示及び/又はこれらの画像の分析を提供してもよい。画像は、(例えば、精査用情報として)レビューする、かつ/又はユーザが更に分析するために表示されてもよい。画像ストリームを表し、第1の選択方法に従って自動的に選択された画像部分集合を表示してもよい。ユーザ入力時には、現在表示されている画像に対応する追加画像が表示されてもよく、この追加画像は、第2の選択方法に従って自動的に選択される。第2の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。【選択図】図2
Description
本開示は、生体内で捕捉された一連の画像又は画像ストリームから医用画像を表示及び/又は分析並びに/若しくは報告するための方法、システム、及びコンピュータプログラム製品に関する。特に、本開示は、カプセル内視鏡(Capsule Endoscopy、CE)処置を介して捕捉された生体内画像の精査用情報(study)を生成及び表示するための方法、システム、及びコンピュータプログラム製品に関する。
カプセルシステムには、消化管(gastrointestinal tract、「Gl」管又は「GIT」)の画像を捕捉する嚥下式カプセルを含んでもよい。画像は、カプセル上に保存されてもよく、かつ/又は典型的にはアンテナを含む受信装置に送信されてもよい。受信装置は、画像を受信し、(例えば、受信装置内の記憶装置内に)保存してもよい。嚥下式カプセルには、1つ以上のカメラ又は撮像装置、電源(単数又は複数)、プロセッサ(単数又は複数)、及び送信機(単数又は複数)を含んでもよい。
カプセル、受信装置、又は受信装置の取り外し可能な記憶装置は、サーバなどの計算装置と連結されてもよい。計算装置は、受信した画像を処理してもよく、典型的には、映像又は動画(例えば、一連の動画像)として画像を表示するためのインターフェースを提供してもよい。このような処理はまた、受信機又は記録機から転送された画像を受容した後に、医療従事者が動作させるワークステーション上で「局所的に」行われてもよい。いくつかの実施形態では、患者に位置された物理的な受信装置は、処理及び観察するために、画像をコンピュータに転送又はダウンロードしてもよい。画像を処理又は観察するために使用されるワークステーションは、ローカルコンピュータ、タブレット、又はワークステーションであってもよい。
医者などの医療専門家は、この医療専門家が、典型的には(例えば、典型的には、前処理により全ての捕捉された画像よりも少ない画像を含む)動画又は画像ストリームとして画像を観察するように、画像が例えば、ワークステーション、端末、又はリモートで、例えば、ウェブブラウザを介して表示されたときに、画像をレビューしてもよい。
医療専門家が画像を正確にレビューし、重要な画像又は特徴を妥当な時間で見極めることができるように、カプセルが収集した数千枚もの画像を提示することが望ましい。
医者が見た処置結果又は処置精査用情報の典型的な先行技術のビューには、(例えば、単一のカメラが捕捉した各画像ストリームについて、一度に1枚の画像を順序通りに表示する)動画像又は映像として観察された数千枚もの画像が含まれる。数千枚もの画像を観察することは、貴重な時間を要し、退屈なタスクになることもある。また、数千枚もの画像を映像として観察することは、関心画像が欠落する可能性も高くなり得る。医療従事者が画像を観察するのに要する時間を短縮することが望ましい。また、ビュータスクをより効率的に、かつ、より有益にすることも所望である。
本発明の実施形態には、カプセル装置、及び任意に受信装置を含み得る。カプセル装置は、消化管を横断しながら画像を捕捉し、典型的にはアンテナを含む受信装置に画像を送信する、嚥下式カプセルであってもよい。受信装置は、画像を受信し、例えば、受信装置内の記憶装置内に画像を保存してもよい。受信装置は、リアルタイムで(例えば、処置中に)画像を「クラウド」ベースのサーバ又は別のリモート装置に送信してもよい。受信装置は、例えば、ベルト若しくはパッチ、又は患者に装着させた任意の他の品目であってもよい。受信装置は、リアルタイムな表示、保存、処理、及び/又は分析を含む表示のために、受信した画像をリモート装置に転送してもよい。受信装置は、例えば、患者の携帯電話を介してリモート装置に画像を送信してもよい。ローカル又はリモート(例えば、「クラウド」)サーバ若しくは任意の他の好適な計算装置は、受信した画像及び他の処置関連データ(例えば、画像捕捉時間及び患者データ)を処理及び分析して、CE処置の精査用情報を生成してもよい。計算装置は、ユーザ(例えば、医療従事者)がレビューする精査用情報を表示するために、ローカルに又はリモートにインターフェースを提供してもよい。画像を保存、受信、処理、及び表示する他の方法を使用してもよい。
本発明の実施形態には、観察者又はユーザが(例えば、精査用情報を)レビュー及び/又は更に分析するために、いくつかの選択された画像を表示並びに/若しくはこれらの画像の分析を提供するためのシステム、方法、及びコンピュータプログラム製品を含む。画像は、小腸及び/又は結腸などの消化管の部分を横断するカプセル内視鏡が生体内で捕捉した画像ストリームから選択される。開示される方法、システム、ツール、及び/又はコンピュータプログラム製品は、とりわけ、GITの様々な病態、障害、異常、並びに疾患の診断、治療決定、モニタリング、及び/若しくはスクリーニングのために使用され得る。
例えば、本願は以下の項目を提供する。
(項目1)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するための方法であって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
表示装置上に、前記ユーザのレビューのために前記生体内画像ストリームの画像部分集合を表示することであって、前記画像部分集合が、捕捉された前記生体内画像ストリームを表し、前記画像部分集合が、第1の選択方法に従って前記生体内画像ストリームから自動的に選択される、表示することと、
ユーザ入力を受信したら、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する1枚以上の追加画像を表示することであって、前記1枚以上の追加画像が、第2の選択方法に従って前記生体内画像ストリームから自動的に選択され、前記第2の選択方法が、前記生体内画像ストリームの画像と前記現在表示されている画像との間の関係に基づいている、表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、1つ以上のハードウェアプロセッサを使用することを含む、方法。
(項目2)
前記画像部分集合が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目1に記載の方法。
(項目3)
前記画像部分集合を前記表示することが、
前記部分集合のうちの複数枚の画像を同時に表示することであって、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、表示することを含む、項目1に記載の方法。
(項目4)
前記部分集合のうちの同時に表示された前記複数枚の画像が、カルーセル又は行列のレイアウトで表示される、項目3に記載の方法。
(項目5)
前記部分集合のうちの前記同時に表示された複数枚の画像が、水平カルーセルのレイアウトで、かつ、画像が他の画像を覆わないように表示される、項目3に記載の方法。
(項目6)
前記部分集合のうちの同時に表示された前記複数枚の画像が、水平カルーセルのレイアウトで、かつ、中央画像が、他の同時に表示された画像のいずれのサイズよりも大きいサイズの画像になるように表示される、項目3に記載の方法。
(項目7)
前記第2の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のGITのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目1に記載の方法。
(項目8)
前記特徴が、消化(Gl)管内の関心特徴である、項目7に記載の方法。
(項目9)
前記第1の選択方法に従って前記画像部分集合を選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、前記第2の選択方法に従って前記生体内画像ストリームから前記1枚以上の対応する追加画像を選択することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目10)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも1枚の画像を含む、項目1に記載の方法。
(項目11)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目1に記載の方法。
(項目12)
前記第2の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する1枚以上の異なる追加画像を生成する、項目1に記載の方法。
(項目13)
前記1枚以上の追加画像が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目1に記載の方法。
(項目14)
前記1枚以上の追加画像が、前記対応する現在表示されている画像と同じウィンドウ内に表示される、項目1に記載の方法。
(項目15)
前記対象のGITの前記少なくとも関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記1つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のGITの少なくとも前記関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、使用することを更に含む、項目1に記載の方法。
(項目16)
現在表示されており、焦点の合っている前記画像部分集合のうちの前記画像の前記指示が、強調表示される、項目15に記載の方法。
(項目17)
前記マップ内の画像指示のユーザの選択を受信することと、
前記選択された画像指示によって表される前記画像を表示することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目15に記載の方法。
(項目18)
前記画像部分集合が、前記精査用情報のデフォルトの表示において行列のレイアウトで表示される、項目1に記載の方法。
(項目19)
前記画像部分集合から自動的に選択された、事前定義された枚数の画像をユーザ入力時に表示するために、前記1つ以上のハードウェアプロセッサを使用することであって、前記事前定義された枚数の画像が、第3の選択方法に従って前記画像部分集合から選択される、使用することを更に含む、項目1に記載の方法。
(項目20)
前記第3の選択方法に従って、最大関心のものであると推定された前記画像部分集合のうちの画像が選択される、項目19に記載の方法。
(項目21)
少なくとも前記第1の選択方法が、深層学習技術に基づいている、項目1に記載の方法。
(項目22)
関心特徴のうちの少なくとも一部分を含む疑いのある、表示された画像内の位置の指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目23)
前記対象のGITの前記少なくとも関心部分が、区分に分割され、
前記画像部分集合のうちの画像が、前記区分に従って、前記対象のGITの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目24)
前記区分に従って前記画像集合を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目23に記載の方法。
(項目25)
捕捉された前記画像ストリームの画像の推定洗浄レベルの指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目26)
表示された画像内で特定された特徴のサイズを推定することと、
前記推定されたサイズの指示を表示することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目27)
前記GITの前記少なくとも関心部分に沿って、前記画像部分集合内で特定された特徴の範囲を推定することと、
前記推定された範囲への指示を表示することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目28)
前記GITの前記少なくとも関心部分の1つの解剖学的断片から別の解剖学的断片への遷移を表す、前記生体内画像ストリームから選択された複数枚の画像をユーザ入力時に表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目29)
前記精査用情報を表示することを含み、前記精査用情報が、前記画像部分集合、及び前記部分集合内の画像に対応する前記追加画像以外の、捕捉された前記生体内画像ストリームのどの画像も含まない、項目1に記載の方法。
(項目30)
ユーザ入力に基づいて前記画像部分集合の前記表示をフィルタリングするために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目31)
前記第1の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目1に記載の方法。
(項目32)
前記関心特徴が、病態、異物、異常、解剖学的特徴、及びこれらの組み合わせからなる群から選択される、項目31に記載の方法。
(項目33)
方法であって、
カプセル内視鏡処置を介して捕捉された対象のGITの少なくとも関心部分の生体内画像ストリームから自動的に選択された画像部分集合を受信することであって、前記画像部分集合のうちの前記画像が、第1の選択方法に基づいて選択される、受信することと、
表示装置上に、自動的に選択された前記画像部分集合を静止した様式で表示することと、
ユーザ入力を受信したら、現在表示されている、自動的に選択された前記画像部分集合のうちの画像に関する追加情報を表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、少なくとも1つのハードウェアプロセッサを使用することを含む、方法。
(項目34)
前記追加情報が、第2の選択方法に従って前記生体内画像ストリームから自動的に選択された1枚以上の追加画像を含む、項目33に記載の方法。
(項目35)
前記画像部分集合の前記表示が、前記部分集合のうちの複数枚の画像を同時に表示することを含み、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、項目33に記載の方法。
(項目36)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも1枚の画像を含む、項目34に記載の方法。
(項目37)
前記1枚以上の追加画像が、対応する、現在表示されている画像と同じウィンドウ内に表示される、項目33に記載の方法。
(項目38)
前記対象のGITの少なくとも前記関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記1つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のGITの前記少なくとも関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、項目33に記載の方法。
(項目39)
前記対象のGITの前記少なくとも関心部分が、区分に分割され、前記画像部分集合のうちの画像が、前記区分に従って、前記対象のGITの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目33に記載の方法。
(項目40)
捕捉された前記生体内画像ストリームの画像の前記洗浄レベルの指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目33に記載の方法。
(項目41)
前記第1の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目33に記載の方法。
(項目42)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するための方法であって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
第1の選択方法に従って捕捉された前記生体内画像ストリームから画像部分集合を選択することであって、選択された前記画像部分集合が、捕捉された前記生体内画像ストリームを表す、選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、第2の選択方法に従って前記生体内画像ストリームから1枚以上の対応する追加画像を選択することと、
前記カプセル内視鏡処置の前記精査用情報を生成することであって、前記精査用情報が、選択された前記画像部分集合及び追加情報を含み、前記追加情報が、前記画像部分集合のうちの少なくとも一部分の各画像に対応する、選択された前記1枚以上の追加画像を含む、生成することと、を行うために、1つ以上のハードウェアプロセッサを使用することを含む、方法。
(項目43)
ユーザのレビューのために、表示装置上に前記精査用情報を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目42に記載の方法。
(項目44)
前記精査用情報の前記表示が、
表示装置上に選択された前記画像部分集合を表示することと、
ユーザ入力時に、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する、前記1枚以上の追加画像を表示することと、を含む、項目43に記載の方法。
(項目45)
前記精査用情報の前記生成が、前記GITの少なくとも前記関心部分の区分への分割、前記GITの少なくとも前記関心部分に沿った前記画像ストリームの画像の位置、前記GITの少なくとも前記関心部分に沿った前記画像部分集合のうちの画像の指示を含む、前記GITの少なくとも前記関心部分を表すマップ、第3の選択方法に従って、前記画像部分集合から選択された複数枚の画像、画像内の関心特徴の指示、浄化レベルの指示、関心特徴の推定サイズの指示、関心特徴の範囲の指示、前記GITの少なくとも前記関心部分の解剖学的断片間の遷移を表す、前記生体内画像ストリームの画像の選択、及びそれらの組み合わせからなる群から選択された、前記画像部分集合のうちの画像に対応する前記追加の1枚以上の画像に加えて、追加情報を生成することを含む、項目42に記載の方法。
(項目46)
前記第2の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のGITのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目42に記載の方法。
(項目47)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも1枚の画像を含む、項目42に記載の方法。
(項目48)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目42に記載の方法。
(項目49)
前記第2の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する1枚以上の異なる追加画像を生成する、項目42に記載の方法。
(項目50)
少なくとも前記第1の選択方法が、深層学習技術に基づいている、項目42に記載の方法。
(項目51)
前記第1の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目42に記載の方法。
(項目52)
前記第1の選択方法及び前記第2の選択方法が、各々1つ以上の選択ルールを含む、項目42に記載の方法。
(項目53)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するためのシステムであって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
1つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目1~41のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、
前記精査用情報を表示するように構成された表示装置と、を備える、システム。
(項目54)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するためのシステムであって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
1つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目42~52のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、を備える、システム。
(項目55)
前記カプセル内視鏡処置を行うように更に構成されており、前記システムが、カプセル装置を更に備え、前記カプセル装置が、前記カプセル装置が前記患者のGITの前記少なくとも記憶装置関心部分を横断する間に、前記生体内画像ストリームを捕捉するように構成された、少なくとも1つの撮像装置を含み、捕捉された前記生体内画像ストリームが、前記非一時的に提供され、前記非一時的記憶装置が、提供された前記生体内画像ストリームを受信して保存するように更に構成されている、項目54に記載のシステム。
例えば、本願は以下の項目を提供する。
(項目1)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するための方法であって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
表示装置上に、前記ユーザのレビューのために前記生体内画像ストリームの画像部分集合を表示することであって、前記画像部分集合が、捕捉された前記生体内画像ストリームを表し、前記画像部分集合が、第1の選択方法に従って前記生体内画像ストリームから自動的に選択される、表示することと、
ユーザ入力を受信したら、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する1枚以上の追加画像を表示することであって、前記1枚以上の追加画像が、第2の選択方法に従って前記生体内画像ストリームから自動的に選択され、前記第2の選択方法が、前記生体内画像ストリームの画像と前記現在表示されている画像との間の関係に基づいている、表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、1つ以上のハードウェアプロセッサを使用することを含む、方法。
(項目2)
前記画像部分集合が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目1に記載の方法。
(項目3)
前記画像部分集合を前記表示することが、
前記部分集合のうちの複数枚の画像を同時に表示することであって、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、表示することを含む、項目1に記載の方法。
(項目4)
前記部分集合のうちの同時に表示された前記複数枚の画像が、カルーセル又は行列のレイアウトで表示される、項目3に記載の方法。
(項目5)
前記部分集合のうちの前記同時に表示された複数枚の画像が、水平カルーセルのレイアウトで、かつ、画像が他の画像を覆わないように表示される、項目3に記載の方法。
(項目6)
前記部分集合のうちの同時に表示された前記複数枚の画像が、水平カルーセルのレイアウトで、かつ、中央画像が、他の同時に表示された画像のいずれのサイズよりも大きいサイズの画像になるように表示される、項目3に記載の方法。
(項目7)
前記第2の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のGITのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目1に記載の方法。
(項目8)
前記特徴が、消化(Gl)管内の関心特徴である、項目7に記載の方法。
(項目9)
前記第1の選択方法に従って前記画像部分集合を選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、前記第2の選択方法に従って前記生体内画像ストリームから前記1枚以上の対応する追加画像を選択することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目10)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも1枚の画像を含む、項目1に記載の方法。
(項目11)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目1に記載の方法。
(項目12)
前記第2の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する1枚以上の異なる追加画像を生成する、項目1に記載の方法。
(項目13)
前記1枚以上の追加画像が、前記精査用情報のデフォルトの表示において、静止した様式で表示される、項目1に記載の方法。
(項目14)
前記1枚以上の追加画像が、前記対応する現在表示されている画像と同じウィンドウ内に表示される、項目1に記載の方法。
(項目15)
前記対象のGITの前記少なくとも関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記1つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のGITの少なくとも前記関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、使用することを更に含む、項目1に記載の方法。
(項目16)
現在表示されており、焦点の合っている前記画像部分集合のうちの前記画像の前記指示が、強調表示される、項目15に記載の方法。
(項目17)
前記マップ内の画像指示のユーザの選択を受信することと、
前記選択された画像指示によって表される前記画像を表示することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目15に記載の方法。
(項目18)
前記画像部分集合が、前記精査用情報のデフォルトの表示において行列のレイアウトで表示される、項目1に記載の方法。
(項目19)
前記画像部分集合から自動的に選択された、事前定義された枚数の画像をユーザ入力時に表示するために、前記1つ以上のハードウェアプロセッサを使用することであって、前記事前定義された枚数の画像が、第3の選択方法に従って前記画像部分集合から選択される、使用することを更に含む、項目1に記載の方法。
(項目20)
前記第3の選択方法に従って、最大関心のものであると推定された前記画像部分集合のうちの画像が選択される、項目19に記載の方法。
(項目21)
少なくとも前記第1の選択方法が、深層学習技術に基づいている、項目1に記載の方法。
(項目22)
関心特徴のうちの少なくとも一部分を含む疑いのある、表示された画像内の位置の指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目23)
前記対象のGITの前記少なくとも関心部分が、区分に分割され、
前記画像部分集合のうちの画像が、前記区分に従って、前記対象のGITの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目24)
前記区分に従って前記画像集合を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目23に記載の方法。
(項目25)
捕捉された前記画像ストリームの画像の推定洗浄レベルの指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目26)
表示された画像内で特定された特徴のサイズを推定することと、
前記推定されたサイズの指示を表示することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目27)
前記GITの前記少なくとも関心部分に沿って、前記画像部分集合内で特定された特徴の範囲を推定することと、
前記推定された範囲への指示を表示することと、を行うために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目28)
前記GITの前記少なくとも関心部分の1つの解剖学的断片から別の解剖学的断片への遷移を表す、前記生体内画像ストリームから選択された複数枚の画像をユーザ入力時に表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目29)
前記精査用情報を表示することを含み、前記精査用情報が、前記画像部分集合、及び前記部分集合内の画像に対応する前記追加画像以外の、捕捉された前記生体内画像ストリームのどの画像も含まない、項目1に記載の方法。
(項目30)
ユーザ入力に基づいて前記画像部分集合の前記表示をフィルタリングするために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目1に記載の方法。
(項目31)
前記第1の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目1に記載の方法。
(項目32)
前記関心特徴が、病態、異物、異常、解剖学的特徴、及びこれらの組み合わせからなる群から選択される、項目31に記載の方法。
(項目33)
方法であって、
カプセル内視鏡処置を介して捕捉された対象のGITの少なくとも関心部分の生体内画像ストリームから自動的に選択された画像部分集合を受信することであって、前記画像部分集合のうちの前記画像が、第1の選択方法に基づいて選択される、受信することと、
表示装置上に、自動的に選択された前記画像部分集合を静止した様式で表示することと、
ユーザ入力を受信したら、現在表示されている、自動的に選択された前記画像部分集合のうちの画像に関する追加情報を表示することと、
レポートを生成することであって、前記レポートが、前記ユーザによって選択された、前記表示されている画像からの画像を含む、生成することと、を行うために、少なくとも1つのハードウェアプロセッサを使用することを含む、方法。
(項目34)
前記追加情報が、第2の選択方法に従って前記生体内画像ストリームから自動的に選択された1枚以上の追加画像を含む、項目33に記載の方法。
(項目35)
前記画像部分集合の前記表示が、前記部分集合のうちの複数枚の画像を同時に表示することを含み、前記複数枚の画像が、前記カプセル内視鏡処置に使用されるカプセル装置の単一の撮像装置によって捕捉された、項目33に記載の方法。
(項目36)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも1枚の画像を含む、項目34に記載の方法。
(項目37)
前記1枚以上の追加画像が、対応する、現在表示されている画像と同じウィンドウ内に表示される、項目33に記載の方法。
(項目38)
前記対象のGITの少なくとも前記関心部分を表し、少なくとも選択された前記画像部分集合に対応するマップを表示するために、前記1つ以上のハードウェアプロセッサを使用することであって、前記マップが、前記対象のGITの前記少なくとも関心部分に沿った推定位置に従って、前記画像部分集合内の前記画像を表す局所化された画像指示を含む、項目33に記載の方法。
(項目39)
前記対象のGITの前記少なくとも関心部分が、区分に分割され、前記画像部分集合のうちの画像が、前記区分に従って、前記対象のGITの少なくとも前記関心部分に沿って局所化され、
前記方法が、前記画像部分集合のうちの前記現在表示されている画像が位置する前記区分への指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目33に記載の方法。
(項目40)
捕捉された前記生体内画像ストリームの画像の前記洗浄レベルの指示を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目33に記載の方法。
(項目41)
前記第1の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目33に記載の方法。
(項目42)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するための方法であって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記方法が、
第1の選択方法に従って捕捉された前記生体内画像ストリームから画像部分集合を選択することであって、選択された前記画像部分集合が、捕捉された前記生体内画像ストリームを表す、選択することと、
前記画像部分集合のうちの少なくとも一部分の各画像について、第2の選択方法に従って前記生体内画像ストリームから1枚以上の対応する追加画像を選択することと、
前記カプセル内視鏡処置の前記精査用情報を生成することであって、前記精査用情報が、選択された前記画像部分集合及び追加情報を含み、前記追加情報が、前記画像部分集合のうちの少なくとも一部分の各画像に対応する、選択された前記1枚以上の追加画像を含む、生成することと、を行うために、1つ以上のハードウェアプロセッサを使用することを含む、方法。
(項目43)
ユーザのレビューのために、表示装置上に前記精査用情報を表示するために、前記1つ以上のハードウェアプロセッサを使用することを更に含む、項目42に記載の方法。
(項目44)
前記精査用情報の前記表示が、
表示装置上に選択された前記画像部分集合を表示することと、
ユーザ入力時に、前記表示装置上に、前記画像部分集合のうちの現在表示されている画像に対応する、前記1枚以上の追加画像を表示することと、を含む、項目43に記載の方法。
(項目45)
前記精査用情報の前記生成が、前記GITの少なくとも前記関心部分の区分への分割、前記GITの少なくとも前記関心部分に沿った前記画像ストリームの画像の位置、前記GITの少なくとも前記関心部分に沿った前記画像部分集合のうちの画像の指示を含む、前記GITの少なくとも前記関心部分を表すマップ、第3の選択方法に従って、前記画像部分集合から選択された複数枚の画像、画像内の関心特徴の指示、浄化レベルの指示、関心特徴の推定サイズの指示、関心特徴の範囲の指示、前記GITの少なくとも前記関心部分の解剖学的断片間の遷移を表す、前記生体内画像ストリームの画像の選択、及びそれらの組み合わせからなる群から選択された、前記画像部分集合のうちの画像に対応する前記追加の1枚以上の画像に加えて、追加情報を生成することを含む、項目42に記載の方法。
(項目46)
前記第2の選択方法が基づいている前記関係が、同じ特徴のうちの少なくとも一部分を含むと特定された画像、同じ種類の特徴のうちの少なくとも一部分を含むと特定された画像、時間的に近接して捕捉された画像、前記対象のGITのうちの前記少なくとも部分に沿って隣接して局所化された画像、及びそれらの組み合わせからなる群から選択される、項目42に記載の方法。
(項目47)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームのうちの少なくとも1枚の画像を含む、項目42に記載の方法。
(項目48)
前記1枚以上の追加画像が、選択された前記画像部分集合に含まれない、前記画像ストリームの画像のみを含む、項目42に記載の方法。
(項目49)
前記第2の選択方法が基づいている前記関係が、前記画像部分集合のうちの異なる画像について、対応する1枚以上の異なる追加画像を生成する、項目42に記載の方法。
(項目50)
少なくとも前記第1の選択方法が、深層学習技術に基づいている、項目42に記載の方法。
(項目51)
前記第1の選択方法に従って、関心特徴を含むと特定された画像が選択される、項目42に記載の方法。
(項目52)
前記第1の選択方法及び前記第2の選択方法が、各々1つ以上の選択ルールを含む、項目42に記載の方法。
(項目53)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を表示するためのシステムであって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
1つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目1~41のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、
前記精査用情報を表示するように構成された表示装置と、を備える、システム。
(項目54)
ユーザのレビューのためにカプセル内視鏡処置の精査用情報を生成するためのシステムであって、前記カプセル内視鏡処置が、対象のGITの少なくとも関心部分の生体内画像ストリームを捕捉することを含み、前記システムが、
1つ以上のプロセッサと、
前記プロセッサによって実行されたとき、前記プロセッサに、項目42~52のいずれかの前記方法を実行させる命令を保存している、非一時的記憶装置と、を備える、システム。
(項目55)
前記カプセル内視鏡処置を行うように更に構成されており、前記システムが、カプセル装置を更に備え、前記カプセル装置が、前記カプセル装置が前記患者のGITの前記少なくとも記憶装置関心部分を横断する間に、前記生体内画像ストリームを捕捉するように構成された、少なくとも1つの撮像装置を含み、捕捉された前記生体内画像ストリームが、前記非一時的に提供され、前記非一時的記憶装置が、提供された前記生体内画像ストリームを受信して保存するように更に構成されている、項目54に記載のシステム。
本発明の実施形態は、例として例示されており、添付図面の図に限定されず、同様の参照番号は、対応する類似の要素、又は同様の要素を指示する。
本発明の実施形態で使用され得る、例示的な計算装置の高レベルブロック図である。
いくつかの実施形態による、観察者又はユーザに最初に提示される、第1のスクリーン又はデフォルトのスクリーンを示す。
いくつかの実施形態による、例示的なスクリーンを示す。
いくつかの実施形態による、追加情報、例えば、精査用情報を表示した例示的なスクリーン又は表示を示す。
いくつかの実施形態による、拡大動作後の図4の例示的なスクリーンを示す。
本発明の一実施形態による、精査用情報ビューモードの概略図を示す。
一実施形態による、図6Aのデフォルトのビューモードにおけるマップ(例えば、バー)の概略図である。
いくつかの実施形態による、図6Aに例示する表示に従って選択された画像の第2のレベルの情報の表示又はビューの例示的な図を示す。
一実施形態によるデフォルトの精査用情報ビューを示す。
いくつかの実施形態による、図8Aに示す画像の行列のレイアウトを示す。
本開示の一実施形態による、デフォルトのビューモードの例示的なスクリーンショットである。
図9Aの表示内で選択された画像の第2のレベルの情報の表示又はビューの例示的なスクリーンショットである。
本発明の一実施形態によるサンプル表示を示す。
本発明の実施形態による方法のフローチャートである。
例示の簡略化及び明確化のために、図に示す要素は、必ずしも正確に図示されていないか、又は縮尺どおりに図示されていないことが理解されるであろう。例えば、いくつかの要素の寸法は、明確にするために他の要素に対して誇張されているか、若しくはより強調されてもよく、又はいくつかの物理的構成要素が1つの機能ブロックあるいは要素に含まれてもよい。更に、適切であると考えられる場合、対応する要素又は類似の要素を指示するために、図の中で参照番号が繰り返されてもよい。
画像は、(例えば、精査用情報として)レビューする、かつ/又はユーザが更に分析するために表示されてもよい。画像ストリームを表し、第1の選択方法に従って自動的に選択された画像部分集合を表示してもよい。ユーザ入力時には、現在表示されている画像に対応する追加画像が表示されてもよく、この追加画像は、第2の選択方法に従って自動的に選択される。第2の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。
詳細な説明
詳細な説明
次の詳細な説明では、本発明を十分に理解するために、多数の特定の詳細が記載される。しかしながら、当業者であれば、本発明が、これらの特定の詳細を伴わなくても実施され得ることを理解するであろう。他の例では、よく知られた方法、処置、及び構成要素は、本発明を不明瞭にしないように詳細には説明されていない。一実施形態に関して記載されるいくつかの特徴又は要素は、他の実施形態に関して記載される特徴又は要素と組み合わされてもよい。明確にするために、同じ又は同様の特徴若しくは要素の説明は、繰り返さない場合がある。
本発明の実施形態は、この点に関して限定されるものではないが、例えば、「処理する」、「計算する」、「算出する」、「決定する」、「確立する」、「分析する」、「確認する」などの用語を利用した説明は、コンピュータ、計算プラットフォーム、計算システム、又は他の電子計算装置の動作(単数又は複数)及び/又はプロセス(単数又は複数)を指す場合があり、これらの装置は、コンピュータのレジスタ及び/又はメモリ内の物理(例えば、電子)量として表されるデータを、コンピュータのレジスタ及び/又はメモリ内の物理量として同様に表される他のデータ、若しくは動作及び/又はプロセスを行う命令を保存し得る非一時的保存媒体内の他の情報に操作及び/又は変換する。本発明の実施形態は、この点に関して限定されるものではないが、本明細書で使用するとき、「複数(plurality)」及び「複数(a plurality)」は、例えば、「複数(multiple)」又は「2つ以上」を含み得る。「複数plurality」又は「複数(aplurality)」という用語は、2つ以上の構成要素、装置、要素、ユニット、パラメータなどを説明するために、本明細書全体を通して使用され得る。本明細書で使用するとき、用語セットは、1つ以上の品目を含み得る。別段の記載がない限り、本明細書に記載される方法の実施形態は、特定の順番又は順序に限定されるものではない。加えて、記載される方法の実施形態又はその要素のいくつかは、同時に、同じ時点で、又は共に起こるか、行うことができる。
「位置」という用語及びその派生語は、画像に関して本明細書で言及されるように、画像を捕捉している間のGITに沿ったカプセルの推定位置、又はGITに沿って画像に散りばめられたGITの部分の推定位置を指す場合がある。
カプセル内視鏡処置の種類は、とりわけ、関心部分であり、かつ、撮像されるGITの部分(例えば、結腸若しくは小腸(「small bowel、SB」))に基づいて、又は特定の使用(例えば、クローン病などのGl疾患の状態を確認するため、あるいは結腸癌のスクリーニングのために)に基づいて決定されてもよい。
本明細書では、スクリーン/複数のスクリーン、ビュー/複数のビュー、及び表示/複数の表示という用語は、互換的に使用されてもよく、特定の文脈に従って理解されてもよい。
「デフォルトのビュー」、「デフォルトの表示」、及び「デフォルトのスクリーン」という用語は、本明細書で言及されるように、それに応じて、「ビュー」、「表示」、並びに「スクリーン」を指す場合があり、これらの「ビュー」、「表示」、及び「スクリーン」は、本システム及び方法による処置の精査用情報のレビューの各開始時に第1に表示され、この第1のビュー、表示、又はスクリーンは、事前定義されており、ユーザ選択の結果ではない。
「デフォルトのビュー」及び「デフォルトの表示」という用語は、本明細書では特定の情報のビュー又は表示に関して言及されるように、それに応じて、本システム及び方法による処置の精査用情報のレビューの各開始時に特定の情報の第1の「ビュー」及び「表示」を指す場合があり、特定の情報のこの第1のビュー又は表示は、事前定義されており、ユーザ選択の結果ではない。
「デフォルトによって」又は「デフォルトとして」という用語は、本明細書では特定の情報の表示又はビューに関して言及されるように、表示をアップロード、開始、又はトリガするためのユーザ行動又は入力を必要としない特定のビュー、表示、又はスクリーンのフレーム内に表示される情報を指す場合がある。
「周囲の」又は「隣接する」という用語は、本明細書では画像(例えば、別の画像/複数枚の画像を取り囲む画像、若しくは他の画像/複数枚の画像に隣接する画像)に関して言及されるように、特に指示がない限り、空間的及び/又は時間的特性に関し得る。例えば、他の画像/複数枚の画像を取り囲むか又はそれらに隣接する画像は、GITに沿って他の画像/複数枚の画像の付近に位置すると推定される画像、及び/若しくは特定の閾値内、例えば、1cm、又は2cm以内、若しくは1秒、5秒、あるいは10秒以内の別の画像の捕捉時間の付近で捕捉された画像であってもよい。
「GIT」及び「GITの一部分」という用語は、それらの文脈に従って、各々他方を指すか、又は他方を含んでもよい。したがって、「GITの一部分」という用語はまた、GIT全体を指してもよく、「GIT」という用語はまた、GITの一部分のみを指してもよい。
本発明の実施形態は、先行技術の用途が、典型的には、第1の又はデフォルトのビュー又は表示として、動画又は画像ストリーム、例えば、一連の時間の流れとして提示される一連の画像を提示する点で、先行技術のCE処置の観察用途とは異なってもよい。本発明の実施形態では、例えば、嚥下式カプセルを介してGITから収集された画像集合は、処理され、次いで、例えば、記載されるシステム及び方法の実施形態に従ってカプセルが捕捉した後に、処置の精査用情報のレビューの各開始時に、画像がアップロードされるか、又は処理されると、例えば、デフォルトの又は第1のビューとして、静止画像の集合として、最初に提示されてもよい。デフォルトのビューで提示される各画像は、関心特徴(例えば、病態の特定の事例)のものであってもよく、デフォルトのビューには示されていない、その同じ特徴の他の画像(例えば、病態の同じ事例)に関連付けられてもよく、又はそれらに対応してもよい。関心特徴の事例を表すように表示された単一の静止画像を指示するか、又は選択する(例えば、入力装置を使用してクリックする)ことは、例えば、特徴の事例も示す動画像又はスクロール可能な一連の画像であってもよい、第2のレベルの情報又は追加情報のビューを提示してもよい。
GIT(例えば、SB)、大腸、又は結腸、食道、胃などの異なる部分の画像が提示されてもよく、ユーザインターフェースは、表示された異なる部分に従って変化してもよい。行われた処置の種類、例えば、SB処置、又は結腸処置、若しくはその両方の処置(例えば、SBを具体的に示すか、あるいは確認することを目的とした処置、又は結腸を具体的に示すか、若しくは確認することを目的とした処置、あるいはその両方)は、GITのどの部分が関心部分であるかを決定してもよい。典型的には、表示された大部分の画像は、関心部分である。各関心部分は、区分に分割されてもよい。各区分(例えば、その区分内に位置すると推定されるGITの部分を示す画像)は、例えば、異なるタブを介して、異なるビューで表示されてもよい。例えば、関心部分が結腸である(例えば、処置は、結腸処置である)場合、5つの解剖学的区分(盲腸、上行結腸、横行結腸、下行結腸、及び直腸)に区分化されてもよく、各区分は、タブを介してアクセス可能な別個のビューを有する。したがって、ユーザには、盲腸、上行結腸、横行結腸、下行結腸、及び直腸とラベル付けされたタブが提示され、盲腸をクリックすると、盲腸内に位置すると推定された、受信した画像ストリームの画像を最良に表すと推定される第1のレベルの集合を示してもよい。
第2のレベルの画像は、第1のレベルの画像と同じスクリーン上に表示してもよいし(例えば、第1のレベルの画像は、その対応する第2のレベルの画像を表示するために、動画像又はスクロール可能な画像として表示されるように遷移されてもよく、他の第1のレベルの静止画像は、表示装置上に残っている)、又は異なるウィンドウ若しくはポップアップウィンドウに表示されてもよい。第2のレベルの画像は、画像捕捉時間に従って、対応する第1のレベルの画像に先行する、及び/又はそれに従うか、若しくは続いてもよい。第2のレベルの画像には、対応する第1のレベルの画像(シード画像)を含んでもよく、又は第2のレベルの画像の表示には、対応する第1のレベルの画像を含んでもよい。したがって、対応する第1のレベルの画像を含むか、又はそれを追加した第2のレベルの画像は、それらの捕捉時間に従って表示されてもよい。次いで、第2のレベルの画像は、第1のレベルの画像(例えば、「最良の」代表的な画像)をゼロと番号付けするように、第2のレベルの画像又は他の第2のレベルの画像を、画像ゼロから、画像内のそれらの距離によって番号付けするように、番号付けしてもよい。
ユーザは、チェックボックスをクリックするか、又は他の方法で第1のレベルで表示された画像を選択して、その画像をレポート又は最終レポートに配設してもよい(典型的には、ユーザが画像をレビューした後に表示又は配信される)。ユーザは、第1のレベルの画像をフィルタリングして、「選択した」画像のみを表示させてもよい。(例えばポリープ用の)自動病態サイズ推定ツール及び病態サイズ推定ツールなど、様々なツール又は画像分析能が提示されてもよい。画像は、他の方法でユーザ入力に基づいてフィルタリング及び/又は選択的に表示されてもよい。
異なる種類の画像表示又はビューは、行列ビュー又は格子ビュー、カルーセルビュー(例えば、リング状の画像を真横から見るように画像を表示し、1枚の「現在の」画像は前面に最大表示し、他の画像は「リング」の周りに縮小サイズで表示する)など、ユーザが選択してもよい。マップ又は「ヒートマップ」は、特定の画像をGITに沿って空間定位に関連付けてもよく、特定の特徴又は特徴の組み合わせは、例えば、色を使用して、ヒートマップに沿って指示する特徴の「広がり」又は長さを有する。マップは、GITの一部分、又はGITの関心部分を表してもよい。マップは、画像が撮影されたGITの一部分を表してもよく、かつ/又は画像の推定位置に対応するマーカを含んでもよいという点で、第1のレベルの画像に対応してもよい。したがって、マップは、GIT内の画像の位置又は推定位置に従って画像を表す局所化された画像指示又はマーカを含んでもよい。
本明細書で使用するとき、位置、サイズ、又は浄化レベルなどのプロセッサから導出した記述は、プロセッサ及びアルゴリズム方法が利用可能な情報に基づいて、推定又は概算してもよい。
ユーザは、画像に情報を追加してもよく、かつ/又は情報は、自動的に画像に追加され得る。例えば、ユーザは、選択可能な病態の種類を使用して画像にラベルを付けてもよい。プロセスでは、画像内の画像内で自動的に特定された病態の位置の周りにボックス又は境界を自動的に図示してもよい。
いくつかの態様によれば、精査用情報の作成又は生成は、画像部分集合のうちの画像に対応する追加の1枚以上の画像に加えて、追加情報又は第2のレベルの情報を生成することを含んでもよい。例えば、追加情報には、GITの少なくとも関心部分の区分への分割、GITの少なくとも関心部分に沿った画像ストリームの画像の位置、GITの少なくとも関心部分に沿った画像部分集合のうちの画像の指示を含む、GITの少なくとも関心部分を表すマップ、第3の選択方法に従って、画像部分集合から選択された事前定義された枚数の画像、画像内の関心特徴の指示、画像、区分、及び/又は処置ごとに決定された洗浄レベルの指示、関心特徴の推定サイズの指示、関心特徴の範囲の指示、GITの少なくとも関心部分の解剖学的断片間の遷移を表す生体内画像ストリームの画像の選択、及びそれらの組み合わせを含んでもよい。
いくつかの態様では、システム又は方法は、ユーザのレビューのために、カプセル内視鏡処置中のカプセル(例えば、患者が嚥下した)が捕捉した画像を含む、カプセル内視鏡処置の精査用情報を表示してもよい。システムは、カプセル内視鏡処置を介して捕捉された患者又は対象のGITの少なくとも一部分のストリーム若しくは生体内画像集合から選択された画像部分集合(例えば、第1のレベルの画像)を受信してもよい。いくつかの態様によれば、システムは、患者又は対象のGITの少なくとも一部分のストリーム若しくは生体内画像集合を受信してもよい。次いで、システムは、第1の選択方法に従って、受信したストリーム又は生体内画像集合から画像部分集合を自動的に選ぶか、又は選択してもよく、画像部分集合は、受信したストリーム又は生体内画像集合を「表す」。「表す」とは、患者のGITの関心部分に関して、医療診断を行うという側面から、又は医療診断を行うことの有益性のため、及び治療決定を行うために表すことを意味する。例えば、システムは、受信した画像内の1つ以上の関心特徴(例えば、1つ以上の種類の病態)を特定してもよい。1つ以上の関心特徴は、特定の種類のカプセル内視鏡処置に基づいて事前決定されてもよい。関心特徴の特定に基づいて、画像部分集合は、とりわけ、特定された病態を表すように選択されてもよい。
画像部分集合のうちの少なくとも一部分の各画像について、システムは、画像部分集合(例えば、第2のレベルの画像)のうちの画像に対応する、画像ストリーム又は生体内画像集合から1枚以上の画像を受信、選択、又は特定してもよい。1枚以上の対応する画像は、第2の選択方法に従って選択してもよい。いくつかの態様によれば、画像部分集合の各画像について、対応する1枚以上の画像が選択され、受信される。いくつかの態様によれば、選択された対応する1枚以上の画像は、画像部分集合のうちの対応する画像を含んでもよい。いくつかの態様によれば、対応する1枚以上の画像は、画像部分集合のうちの画像を含まなくてもよい。いくつかの態様によれば、システムは、第2の選択方法に従って、対応する1枚以上の画像を選択してもよい。
第2の選択方法は、生体内画像ストリームの画像間のフィルタ又は関係に基づいてもよい。このような画像間のフィルタ又は関係は、同じ特徴(例えば、同じ特定の潰瘍)若しくは同じ種類の特徴(例えば、潰瘍を含むと特定された画像)から少なくとも一部分を含むと特定された画像、GITに沿って時間的に近接して捕捉された画像、あるいはGITに沿って隣接して位置する画像、又はそれらの組み合わせであってもよい。いくつかの態様によれば、画像部分集合から選択された、事前定義された枚数の画像が受信され、表示されてもよい。事前定義された枚数の画像(例えば、5枚の画像、10枚の画像、又は10枚を超える任意の枚数の画像)は、ユーザ入力の受信時に表示されてもよい。事前定義された枚数の画像は、画像部分集合を要約するために第3の選択方法に従って選択されてもよい。いくつかの態様によれば、第3の選択方法では、最大関心のものであると決定又は推定された画像部分集合のうちの画像を選択してもよい。例えば、結腸処置では、受信した画像ストリーム又は画像集合のうち、ある程度の確実性でポリープを含むと特定された画像は、画像部分集合の第1の選択方法に従って選択されてもよい。
画像部分集合のうちの5つの最大ポリープを含むと特定された5枚の画像、又は最高程度の確実性でポリープを含むと特定された5枚の画像は、第3の選択方法に従って選択されてもよい。本明細書に記載される各画像選択方法は、1つ以上のフィルタ又は選択ルール若しくは検出ルールを含んでもよく、各方法による選択は、1つ以上の段階で行われてもよい。選択ルール又は検出ルールは、アルゴリズム、例えば、具体的には機械学習アルゴリズム及び深層学習アルゴリズムを利用することによって適用されてもよい。例えば、受信した画像ストリームから画像部分集合を選択するとき、1つ以上の関心特徴の検出は、第1の段階で行われてもよい。異なるルール(例えば、アルゴリズム)は、異なる病態、又はGITの異なる解剖学的部分間の通路など、異なる種類の特徴の検出に使用されてもよい。典型的には、検出アルゴリズムの結果は、画像が、検出された特徴を含む確実性のレベルを指示する画像に割り当てられたスコアであってもよい。第2の選択方法が基づいている関係又はフィルタは、第1のレベルの異なる画像、又は画像部分集合のうちの画像について、対応する異なる追加画像を生成してもよい。少なくとも第1の選択方法は、深層学習技術、例えば、ニューラルネットワーク技術に基づいてもよい。第1の選択方法及び第2の選択方法は、1つ以上の選択ルールを各々含んでもよい。
第2の段階の画像は、第1の段階の検出結果に基づいて画像ストリームから選択されてもよい。この選択には、例えば、異なる種類の病態、及び解剖学的部分間の通路など、異なる種類の特徴について異なる選択ルールを含んでもよい。第2の段階における選択ルールは、とりわけ、検出スコアについて決定された閾値に基づいてもよい。例えば、SB処置では、異なるルールは、第2の段階で画像部分集合の画像を選択するために決定され、画像内で特定された病態又は特徴の種類、Gl管に沿って特定された病態の広がりの種類(例えば、病巣分布、拡散分布、若しくは「絨毯状」分布)、及び特定された病態の重症度あるいは位置に基づいて決定されてもよい。また、ルールは、特定の特徴ごと、機能の種類ごと、及び/又は選択される画像集合全体ごとに表示される画像の最大枚数にも基づいてもよい。例えば、病巣の病態の場合、システムは、画像部分集合に現れるように、病態を表す1枚の画像(例えば、1つのルール)のみを選択してもよい。拡散病態の場合、システムは、画像部分集合内の病態を表すために、いくつかの画像(例えば、別のルール)を選択してもよい。
別の例として、癌スクリーニングツールとして使用される結腸処置において、関心特徴には、1つの病態であるポリープのみを含み得る。その後、システムは、特定された各ポリープの画像部分集合に対して1枚の画像が選択されるルールを含んでもよい。特定されたポリープは、画像のポリープ検出スコアの閾値に従って決定されてもよい。あるいは、又はそれに加えて、第1の部分集合が最大枚数の画像(例えば、50枚、100枚、160枚、200枚、又はおよそ数十枚のうちの最大枚数、およそ100枚のうちの最大枚数、若しくはおよそ数百枚のうちの最大枚数)を含むこととなる別のルールが決定されてもよい。2つのルールが適用され、第1のルールに従って選択された画像の枚数が第2のルールに従って決定された最大枚数を超える場合、第3のルールが適用されてもよい。このような第3のルールでは、最高の検出スコアを有する、第1のルールに従って選択された画像のうち、第2のルールに従った最大枚数の画像が画像部分集合に対して選択されることを決定してもよい。検出スコアの高いポリープが特定された画像は、例えば、このような画像にはポリープを示す確率が高いため、より重要な画像であると考えられてもよい。
いくつかの態様によれば、ポリープの潰瘍など、特徴を追跡することに基づくルールが含まれてもよい。このようなルールは、追加の段階で適用されてもよい。このようなルールにより、同じ特定の特徴(例えば、同じポリープ)を撮像する画像の特定を可能にし得る。このようなルールは、画像部分集合のうちの画像に示す、同じ特徴の少なくとも一部分を示す1枚以上の画像を決定するために、第2の選択方法で使用されてもよい。このような特徴追跡は、例えば、米国特許第9,430,706号に開示され、参照によりその全体が本明細書に組み込まれるような方法、又はオプティカルフロー技術に基づいて行われてもよい。
システムは、例えば、本明細書に記載される方法を利用することによって、カプセル内視鏡処置の精査用情報を作成又は生成してもよい。この精査用情報には、少なくとも選択された画像部分集合(例えば、レベル1のビュー)及び任意に追加情報を含んでもよい。追加情報には、例えば、「レベル1」の画像部分集合のうちの少なくとも一部分の各画像に対応する、(例えば、システムによって)選択された1枚以上の追加画像を含んでもよい。追加情報には、GITに沿って表示された画像の位置確認、表示された画像内の特定された特徴又は疑わしい特徴の位置及び/若しくは種類の指示、GITに沿って特定された特徴あるいは疑わしい特徴の範囲又は特徴の種類(例えば、「絨毯状の」病態若しくは拡散性疾患の範囲)の指示、GITの関心部分の区分化の指示、GITの解剖学的部分の指示、並びにGITの異なる解剖学的部分間の解剖学的通路を表す画像の表示などの情報を更に含んでもよい。いくつかの態様によれば、追加情報の一部分又は追加情報の全ては、ユーザ入力時にのみ、例えば、行動を介した(例えば、制御部を起動するか、若しくは特定の表示エリアの上に移動することによる)ユーザ要求時にのみ表示されてもよい。いくつかの態様によれば、レベル1の画像及び/又はレベルの2の画像は、静止した様式で表示されてもよい。典型的には、レベル2の画像は、ユーザがレベル1の画像を選択して更にレビューするときにのみ表示されない。典型的には、第2のレベルの画像集合には、第1のレベルの画像として含まれないか、又は表示されない1枚以上の画像を含む。精査用情報画像は、第1のレベルの画像と同じビュー(例えば、同じウィンドウに表示されるとき)、又は異なるビュー(例えば、ポップアップウィンドウに表示されるとき)で表示されてもよい。
精査用情報は、ユーザのレビューのために、1つ以上のビューで表示され得る。各精査用情報ビューは、画像部分集合の少なくとも表示を含んでもよい。異なる精査用情報ビューは、例えば、画像表示のレイアウト(例えば、行列又はカルーセル)、画像表示ブラウジング(例えば、静止した様式若しくは映像)を特徴としてもよく、これらにより、精査用情報の追加情報が表示され(全ての場合)、この様式で追加情報が表示される。例えば、いくつかの態様によれば、2つの精査用情報ビューが表示されてもよい。1つのビューには、画像部分集合(例えば、「第1のレベル」又は「レベル1」の画像)の追加情報(例えば、GIT区分化及び区分の浄化レベル)と共に静止した様式の行列のレイアウトの表示を含むが、画像部分集合(例えば、「第2のレベル」又は「レベル2」の画像)のうちの画像に対応する1枚以上の画像の表示は含まない。第2のビューには、カルーセルのレイアウト内の画像部分集合の表示、及び第2のレベルの画像を含む、精査用情報に含まれる追加情報の全ての表示を含んでもよい。複数の精査用情報ビューの場合、1つのビューは、デフォルトの精査用情報ビューとして定義されてもよい。デフォルトの精査用情報ビューは、他の精査用情報ビューとは対照的に、表示のためにユーザによって選択されない。精査用情報ビューのために特定の処置が選択されると、デフォルトの精査用情報ビューが表示される。したがって、デフォルトの精査用情報ビューは、表示される第1の精査用情報ビューである。単一の精査用情報ビューの場合、単一の精査用情報ビューは、デフォルトの精査用情報ビューである。
精査用情報ビューには、1つ以上のビューを含んでもよい。画像部分集合は、精査用情報ビューのメインビュー又はデフォルトのビューで表示される。精査用情報ビューのメインビュー又はデフォルトのビューには、GITに沿って画像部分集合のうちの画像の位置を確認するマップ、画像部分集合のうちの各画像に対する洗浄レベルの指示、GITの関心部分の区分化、画像部分集合のうちの画像の捕捉時間、及び/又はGIT関心部分の推定通過時間(例えば、カプセル装置がGIT関心部分を横断するのにかかった時間の推定)などの追加情報の表示を更に含んでもよい。他の追加情報は、表示された画像部分集合のうちの画像に対応する、追加の1枚以上の画像の表示など、ユーザ入力の受信時にのみ表示されてもよい。このような「任意の」情報表示(例えば、ユーザがこの追加情報が表示されているかどうかを決定するためのもの)は、メインビュー又は別個のビュー内にあってもよい。例えば、画像部分集合のうちの画像に対応する追加の1枚以上の画像は、メインビュー内、例えば、画像部分集合うちの対応する画像が表示される同じ画像ウィンドウ内、又は精査用情報ビューのメインビューの異なる専用エリア内に表示されてもよい。別の例では、画像部分集合のうちの画像に対応する追加の1枚以上の画像は、ポップアップウィンドウなどの別個のビューで表示されてもよい。
精査用情報表示又はビューには、複数の特徴を含んでもよい。精査用情報表示特徴には、画像部分集合を表示する様式、同時に表示された画像の枚数を含む画像の表示(例えば、カルーセル又は行列)のレイアウト、画像間のブラウジングの様式(画像の全てが同時に表示されない場合)、及び追加情報の表示を含んでもよい。例えば、特徴には、どの追加情報が特定の表示装置又はビューに表示されてもよいか、どの追加情報が表示されないかを含んでもよい。追加情報の表示に関する特性には、どの情報が特定のビューにデフォルトで表示されるのか、どの情報がユーザ要求(例えば、画像の特徴に対する指示の表示)時にのみ特定のビューに表示されるのかを決定することを含んでもよい。精査用情報表示特性には、具体的には、第2のレベルの画像を、例えば、カルーセル様式で、又は映像クリップとして、第1のレベルの画像と同じウィンドウ内に、若しくはポップアップあるいは別のウィンドウ又はスクリーンに、数枚の画像を一度に1枚ずつ若しくは同時に表示するレイアウトを含んでもよい。いくつかの態様によれば、表示されている画像集合内の画像間のブラウジングは、静止した様式で(例えば、画像あるいは画像のページ間のブラウジングが、ユーザ入力によってのみ行われる場合)、又は自動的に(例えば、ユーザがブラウジング制御部を起動し、ブラウジングが、表示されている画像集合の画像若しくはページ間で自動的に行われるとき)、画像ごと(例えば、各ブラウジング行動が、現在表示されている1枚の画像のみを置換する)、又はページ若しくはスクリーンごと(例えば、複数枚の画像が同時に表示されている場合、各ブラウジング行動が、現在表示されている画像の全てを置換する)であってもよい。いくつかの態様によれば、画像の表示、例えば、選択された画像部分集合の表示は、GITの関心部分の区分ごとであり、この部分の区分化に基づいている。例えば、精査用情報ビューでは、画像集合は、区分ごとに表示されてもよく、各区分は、タブをアクティブ化することによって表示される。いくつかの態様によれば、いくつかの表示又はビュー特性は、ユーザが事前定義してもよく、若しくはユーザ入力(例えば、ビュー内に同時に表示される画像の枚数)時に変更してもよい。いくつかの実施形態では、ユーザは、画像間、又は第1のレベルの画像集合の「ページ」間を移動するために、表示をブラウズするか、又は表示させてもよい(例えば、表示がx枚の画像を含む場合、次のページをブラウジングすると次のx枚の画像が存在する)。(映像表示とは対照的に)自動ブラウジングでは、次の画像又は次の「ページ」に自動的に移動してもよい。
一実施形態では、第2のレベルの画像のビュー又は表示において、1枚の画像のみが一度に表示される(複数枚の第1のレベルの画像が同時に表示される第1のレベルの画像とは対照的に)。第2のレベルの画像は、例えば、自動再生モードを使用して、映像クリップとして表示されてもよい。
精査用情報には、システムがユーザに提供する画像の全て及び情報、例えば、画像の捕捉時間、画像(第1のレベル及び第2のレベル)、並びにシステムが行う症例若しくは処置に関連するデータの分析結果などの追加データを含む、医者に提示された症例又は処置に関連する全てのデータを含んでもよい。また、精査用情報には、患者情報(例えば、詳細、背景、履歴)を含んでもよい。
いくつかの態様によれば、システムの実施形態では、表示装置(例えば、モニタ)上に、ユーザのレビューのための画像部分集合を表示してもよく、典型的には、表示された画像には、群ごとに1枚以上の代表的な画像があり、したがって、異なる群の各々には、1枚以上の代表的な画像が「第1のレベル」の表示で表示されてもよい。第1のレベルの表示には、例えば、ユーザ入力又は選択なしに、これらの画像を「デフォルト」で表示してもよく、この第1のレベルの表示では、動画像又は動画ではなく、静止した様式で画像を表示してもよい。
第1のレベルの画像又は「代表的な」画像のうち、この処置で使用されるカプセル装置の単一の撮像装置によって捕捉された画像は、同時に表示されてもよい。ビュー又は表示内に同時に表示されてもよい画像の枚数、又は画像の最大枚数、例えば、第1のレベルの画像の枚数若しくは最大枚数は、事前定義されてもよい。
いくつかの態様によれば、精査用情報には、精査用情報のデフォルトのビューで表示された第1のレベルの情報を含む。したがって、第1のレベルの情報の表示は必須であり、この種類の情報を表示するかどうかをユーザが決定するものではない。いくつかの態様によれば、第1のレベルの情報は、カプセル装置又は受信装置から受信したストリーム又は画像集合を表す選択された画像部分集合のみからなる。また、精査用情報には、第2のレベルの情報も含んでもよい。第2のレベルの情報は、ユーザ入力時にのみ(例えば、ユーザの要求に応じて)表示されてもよく、したがって、その表示は、任意であってもよい。第2のレベルの情報は、第1のレベルの情報に追加的な情報を提供してもよい。第2のレベルの情報、又は少なくともその一部分は、画像部分集合のうちの画像に関連付けられるか、又はそれらに対応する。
処置に関連する情報のこのような選択及び表示は、ユーザによるレビュープロセスをより効率的にし、レビュー時間を短縮し、より良好な診断をもたらし得る。本方法及びシステムによれば、ユーザは、自身のスキル及び好み、並びに/又は特定の患者、処置、及び/又は精査用情報から導出する必要性に適合する様式で、精査用情報をレビューしてもよい。このようにして、開示されるシステム及び方法は、処置精査用情報の個人向けのレビューを可能にし得る。例えば、熟練したユーザは、初心者のユーザよりも少ない情報で診断を行ってもよい。したがって、初心者又は熟練度の低いユーザは、熟練したユーザには必要のない追加情報を表示してレビューするために選んでもよい。別の例として、病気であると考えられる、及び/又は病気であることが既知である対象に行った処置の精査用情報のレビューには、健康であると考えられる、及び/又は健康であることが既知である対象に行った処置の精査用情報のレビューよりも多くの追加情報の表示を含んでもよい。
更に、一般的ではないか、又はこれまでCE処置の精査用情報の枠内でユーザに表示若しくは提供されていなかった追加情報は、記載されるシステム及び方法の実施形態に従って提供されてもよい。このような情報は、診断及び/又は治療決定を行う際にユーザを助けて支援し、より迅速かつより良好な診断及び治療をもたらし得る。追加情報には、とりわけ、深層学習技術など、最先端のコンピュータ支援による意思決定技術を採用することによって、生成又は達成された情報を含む。
いくつかの態様によれば、ユーザは、第2のレベルの情報を表示するために、第1のレベルの表示内の1枚の画像を(例えば、グラフィカルユーザインターフェース(GUI)にユーザ入力を提供することによって)選択してもよく、画像は、画像の群に対応しており、したがって、その群内にまだ表示されていない他の画像に対応してもよい。いくつかの態様によれば、群内の全ての画像は、同じ自動的に見い出された関心特徴を含むか、又は撮像してもよく、したがって、第1のレベルで表示された単一の画像以外の群内の画像(第1のレベルの画像に対応する画像)は、第1のレベルでその群に対して表示された画像内に示すものと同じ特徴を示してもよい。第1のレベルの画像に関するユーザ入力を受信したら、システムは、現在表示されている画像部分集合のうちの選択された第1のレベルの画像に対応する1枚以上の画像を表示してもよい。これにより、追加情報の第2のレベルの表示を生じさせてもよい。例えば、選択された画像の群は、静止した様式で表示されてもよく、次いで、ユーザは、群内の画像を順序通りに表示させる画像の群をスクロールすることができるか、又は画像の群を映像クリップとして表示するなど、別の表示方法を使用してもよい。ユーザは、画像の表示中に、表示されている画像に関して情報を追加するか、又は注釈を付けてもよい。ユーザが画像のレビューを終了した後、システムは、ユーザが選択した、表示された画像からの画像を含み、他の画像は含まないレポートを作成又は生成してもよい。いくつかの実施形態では、このレポートには、ユーザが観察した画像、及び場合によってはユーザ入力情報のみを含んでもよく、捕捉された生体内画像ストリームの他の画像は含まない。典型的には、選択された画像部分集合、及び部分集合内の画像に対応する画像のみが、ユーザのレビューについてレポート内に表示するために利用可能である。
いくつかの態様によれば、中間精査用情報が表示され、開示されたシステム及び方法によって任意に生成されてもよい。中間精査用情報は、カプセル装置から、又はカプセル装置と通信する受信装置から受信した部分的なストリーム又は画像集合に基づいて生成されてもよい。画像の部分的なストリームには、処置の開始に関して特定の時点のみ(例えば、対象がカプセルを嚥下する)まで、又はGITの関心部分内の特定の位置にカプセルが到達するまで、及び処置の終了前に捕捉された画像のみを含んでもよい。画像の部分的なストリームが受信され、中間精査用情報の生成が行われ、中間精査用情報のレビューが、典型的には処置中の医療従事者によってなされる。いくつかの態様によれば、中間精査用情報は、カプセル装置がGITの関心部分の端部に到達する前に、生成されて表示される。ユーザのレビューのための中間精査用情報の生成及び表示は、開示されたシステムによって、及び必要な変更と共に開示された方法に従って、行われてもよい。中間精査用情報には、受信した画像の部分的なストリームから選択される画像部分集合を含んでもよい。中間精査用情報には、典型的には、完全精査用情報(例えば、精査用情報)と比較して、より少ない追加情報を含んでもよい。例えば、いくつかの実施形態では、中間精査用情報には、第2のレベルの画像を含まない。次いで、ユーザは、本明細書に開示されるシステム及び方法を使用することによって、中間精査用情報に基づいて中間レポートを生成してもよい。中間精査用情報を使用して、必要な医療診断及び治療を提供してもよく、これには、CE処置が完了した同日又は直後に行われる医療処置を受けるために患者を紹介することを含む。
例えば、医療従事者が中間精査用情報のレビューをしている間に、除去すべきポリープが特定された場合、患者を同日の大腸内視鏡検査に紹介してもよい。同日の大腸内視鏡検査には利点があり得、この利点には、患者の別の結腸前処置を省くことを含む。いくつかの態様によれば、ユーザは、中間精査用情報が生成される画像の部分的なストリームを決定する、GITの関心部分内の特定の時点又は特定の位置などのパラメータを決定してもよい。いくつかの態様によれば、ユーザは、中間精査用情報を受信する時間帯を選択してもよい。
最後の画像が表示されてもよい。最後の画像は、カプセルが捕捉した最後の画像か、又はカプセルが捕捉した最後の位置に位置することが特定された画像であってもよい(カプセルが前後に進むことに留意されたい)。これは、例えば、カプセルがどこまで画像を捕捉したか、関心部分に到達したかどうかを医者に知らせるために表示されてもよい。最後の画像は、画像部分集合の一部であってもよく、又は追加情報の一部であってもよい。
いくつかの実施形態によれば、生体内で捕捉した画像を受信してもよく、複数枚のこれらの画像は、表示用に自動的に(例えば、図1に示すプロセッサによって)選択されてもよい。いくつかの実施形態では、これらの選択された画像部分集合は、自動的にかつ/又はユーザによって特定されてもよく、画像の特定された部分集合(例えば、部分集合内の画像の1枚以上又は全て)からの画像のみを含む症例レポート又はレポートが生成されてもよい。
表示用に選択された画像は、例えば、特定の病態、異常、又は普通とは異なるものを含む疑わしい画像、及び/又はGITの特定の部分若しくはGITの特定の解剖学的エリアを表すか、あるいは示すために選択された画像であってもよい。
開示されたシステム、方法、及びコンピュータプログラム製品は、選択された画像及び/又は生体内で捕捉された画像ストリーム全体及び/又はその一部分を受信するか、若しくはそれらにアクセスし得る1つ以上のソフトウェアアプリケーションを介して実現又は実行されてもよい。このようなアプリケーションにより、例えば、選択した画像をユーザに表示し、ユーザと対話し(例えば、GUIを介して)、ユーザが表示した画像の分析を容易にし、表示された画像の自動分析を提供し、かつ/又はレポートを生成してもよい。本開示のいくつかの実施形態によれば、このようなアプリケーションは、表示される画像の選択を行ってもよい。本開示によるシステム及びコンピュータプログラム製品には、(画像、画像ストリームなどのデータも保存してもよい)1つ以上の非一時的コンピュータ可読保存媒体を含んでもよい。本開示によるシステムには、1つ以上のハードウェアプロセッサ、1つ以上の表示装置、1つ以上のI/O装置、及び/又は1つ以上の通信技術を利用する1つ以上の通信装置を含んでもよい。1つ以上のソフトウェアアプリケーションには、1つ以上の非一時的コンピュータ可読保存媒体に保存され、1つ以上のハードウェアプロセッサによって実行可能なプログラムコードを含んでもよい。画像及び/又は任意の更なるデータは、1つ以上の表示装置を介してユーザに表示されてもよく、ユーザは、1つ以上のI/O装置を介して1つ以上のアプリケーションと対話してもよい。画像ストリーム、画像の一部分、又は画像ストリームの選択された部分集合は、1つ以上の通信装置によって(例えば、インターネットを介して)受信又はリモートアクセスされてもよい。
図1は、本発明の実施形態で使用され得る、例示的な計算装置の高レベルブロック図を示す。計算装置100は、例えば、1つ以上の中央処理装置プロセッサ(単数又は複数)(central processing unit、CPU)、1つ以上のグラフィック処理装置(単数又は複数)(Graphics Processing Unit、GPU若しくはGPGPU)、チップあるいは任意の好適な計算装置又はコンピュータ装置、オペレーティングシステム115、メモリ120、記憶装置130、入力装置135、及び出力装置140であるか、若しくはこれらを含み得る、コントローラあるいはプロセッサ105を含んでもよい。嚥下式内視鏡カプセルが収集した医用画像を表示するために収集又は受信(例えば、患者が装着した受信機)若しくは表示あるいは選択するモジュール又は機器は、図1に含まれるような計算装置であってもよく、若しくはそれを含んでもよく、あるいはそれによって実行されてもよい。通信要素122は、例えば、インターネット又は別のネットワークを介して、無線などを介して、リモート装置若しくは外部装置との通信を可能にし得る。
オペレーティングシステム115は、計算装置100の動作を調整、スケジューリング、仲裁、監督、制御、又は他の方法で管理するタスク、例えば、プログラムの実行をスケジューリングするタスクを行うように設計及び/又は構成された任意のコード区分であってもよいし、又はそれを含んでもよい。メモリ120は、例えば、ランダムアクセスメモリ(Random Access Memory、RAM)、読み出し専用メモリ(readonly memory、ROM)、ダイナミックRAM(Dynamic RAM、DRAM)、シンクロナスDRAM(Synchronous DRAM、SD RAM)、ダブルデータレート(doubledata rate、DDR)メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリ装置、長期メモリ装置、又は他の好適なメモリ装置若しくは記憶装置であってもよいし、あるいはそれらを含んでもよい。メモリ120は、複数のメモリ装置、場合によっては異なるメモリ装置であってもよいし、又はそれらを含んでもよい。メモリ120は、例えば、方法(例えば、コード125)を実行するための命令、及び/又はユーザ応答、割り込みなどのデータを保存してもよい。
実行可能なコード125は、任意の実行な可能コード、例えば、アプリケーション、プログラム、プロセス、タスク、又はスクリプトであってもよい。実行可能なコード125は、場合によってはオペレーティングシステム115.の制御下で、コントローラ105によって実行されてもよい。例えば、実行可能なコード125が実行されたとき、実行可能なコード125は、本明細書に記載されるような医用画像の表示のために表示又は選択させてもよい。いくつかの実施形態では、2つ以上の計算装置100又は装置100の構成要素は、本明細書に記載される複数の機能に使用されてもよい。本明細書に記載される様々なモジュール及び機能のために、1つ以上の計算装置100又は計算装置100の構成要素を使用してもよい。計算装置100に含まれる構成要素と同様又は異なる構成要素を含む装置を使用してもよく、ネットワークに接続され、システムとして使用されてもよい。1つ以上のプロセッサ(単数又は複数)105は、例えば、ソフトウェア又はコードを実行することによって、本発明の実施形態を実行するように構成されてもよい。記憶装置130は、例えば、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、コンパクトディスク(Compact Disk、CD)ドライブ、書き込み可能なCD(CD-Recordable、CD-R)ドライブ、ユニバーサルシリアルバス(universal serial bus、USB)装置、又は他の好適な取り外し可能及び/若しくは固定記憶装置であってもよいし、あるいはそれらを含んでもよい。命令、コード、医用画像、画像ストリームなどのデータは、記憶装置130に保存されてもよく、記憶装置130からメモリ120にロードされてもよく、コントローラ105によって処理されてもよい。いくつかの実施形態では、図1に示す構成要素のいくつかを省略してもよい。
入力装置135は、例えば、マウス、キーボード、タッチスクリーン若しくはパッド、又は任意の好適な入力装置であってもよいし、あるいはそれらを含んでもよい。ブロック135で示すように、任意の好適な数の入力装置が計算装置100に動作可能に接続され得ることが認識されるであろう。出力装置140は、1つ以上のモニタ、スクリーン、表示装置、スピーカ、及び/又は任意の他の好適な出力装置を含んでもよい。ブロック140で示すように、任意の好適な数の出力装置が計算装置100に動作可能に接続され得ることが認識されるであろう。任意の適用可能な入力/出力(I/O)装置は、計算装置100、例えば、有線又は無線ネットワークインターフェースカード(network interface card、NIC)、モデム、プリンタ、若しくはファクシミリ装置に接続されてもよく、ユニバーサルシリアルバス(USB)装置、あるいは外部ハードドライブは、入力装置135及び/又は出力装置140に含まれてもよい。
本発明の実施形態では、コンピュータ若しくはプロセッサ非一時的可読媒体などの1つ以上の物品(単数又は複数)(例えば、メモリ120あるいは記憶装置130)、又は例えば、命令、例えば、プロセッサ又はコントローラによって実行されたときに、本明細書に開示される方法を実行するコンピュータ実行可能命令を符号化するか、含むか、又は保存するメモリ、ディスクドライブ、若しくはUSBフラッシュメモリなどのコンピュータあるいはプロセッサ非一時的保存媒体を含んでもよい。
図1のようなプロセッサなどを含む複数のコンピュータシステムを使用してもよく、例えば、カプセル、受信機、クラウドベースのシステム、及び/又は画像を表示するためのワークステーション若しくは携帯計算装置は、図1の構成要素を含んでもよい。図1のような構成要素を含むクラウドプラットフォーム(例えば、リモートサーバ)は、画像及びメタデータなどの処置データを受信し、精査用情報を処理並びに生成してもよく、また、医者のレビューのために(例えば、ワークステーション又は携帯コンピュータ上で実行されるウェブブラウザ上に)表示してもよい。「オンプレミス」オプションでは、画像を保存、処理、及び表示するために、医療施設のワークステーション又はローカルサーバを使用してもよい。
本開示のいくつかの実施形態によれば、ユーザ、例えば、医師は、対象となり得る画像として、例えば、自動的に選択された(例えば、嚥下式カプセルが捕捉した)静止画像の表示をレビューすることによって、症例の理解を構築してもよい。症例は、例えば、患者の消化管(GIT)又はその一部分(例えば、小腸及び/又は結腸)を通るカプセル内視鏡の通過中に捕捉した画像であってもよい。静止画像は、1つ以上のスクリーン内に表示されてもよく、様々なレイアウト(例えば、行列内、横列内、縦列内、及び/又はGIT若しくはその部分の例示内あるいはその上に)配置されてもよい。いくつかの実施形態によれば、静止画像の表示は、デフォルトの精査用情報表示又は精査用情報モード若しくはビューであってもよい。いくつかの実施形態によれば、画像は、静止した様式でのみ(画像ストリーム又は映像とは対照的に)表示される。ユーザは、例えば、1枚以上の画像間(例えば、画像の群間)をスクロールすることによって、静止画像(例えば、静止した様式で表示された画像)間をブラウズしてもよい。いくつかの実施形態では、静止画像は、GITの細長い構造をシミュレートするために水平に表示されてもよい。このような表示により、医師のレビュータスクを容易にし得る。同時に表示される静止画像の枚数は、ユーザが事前決定又は事前選択してもよい。いくつかの実施形態では、同時に表示される画像の枚数は、ユーザが変更してもよい。いくつかの実施形態では、同時に表示される画像の枚数は、3~7枚の画像であってもよい。
本開示のいくつかの実施形態によれば、捕捉した画像からの比較的少数枚の画像が、ユーザのレビューのために、症例ごとに表示される。「比較的少数枚」とは、典型的には、症例ごとに数千枚もの画像(例えば、約6,000枚の画像)を含む画像の映像ストリームを表示する現在の方法とは対照的に、多くても又は少なくとも平均でおよそ数百枚であることを意味する。いくつかの実施形態では、ユーザのレビューのために、数百枚までの画像のみが表示される。いくつかの実施形態では、ユーザのレビューのために表示される画像の枚数は、およそ1,000枚まで(すなわち、症例ごとに2,000枚未満)である。
静止画像(例えば、静止した様式で表示された画像)をブラウジングすることにより、ユーザは、画像の映像ストリーム(例えば、動画)を視聴又はレビューすることとは対照的に、画像の各画像及び/又は各群(又は配列)の表示の時間及び様式をより制御することが可能になる。数千枚の画像の映像ストリームをブラウジング又はレビューすることとは対照的に、比較的少量の静止画像をブラウジングすることにより、ユーザのレビュープロセスが大幅に容易になり、症例ごとの読み取り時間が短縮され、より良好な診断がもたらされ得る。
症例又は精査用情報ごとに、比較的少数枚の画像のみを選択して表示及びレビューすることは、とりわけ、症例ごとに高感度性(例えば、関心画像を特定する確率が高い)並びに高特異性(例えば、対象とならない画像を特定する確率が高い)が得られる選択方法又は意思決定方法を利用することによって可能になり得る。いくつかの実施形態によれば、画像選択は、深層学習方法などの最先端の方法を利用することによって行われてもよい。
本開示によるいくつかの実施形態では、(例えば、選択された画像を除いて)カプセル内視鏡処置に関する追加情報が表示されてもよい。追加情報は、デフォルトとして(例えば、デフォルトのスクリーン内に)表示されてもよく、又はユーザの要求に応じて、若しくはユーザあるいは入力後に表示されてもよい。
いくつかの実施形態では、追加情報は、現在表示されている画像又は現在表示されている画像の群を指してもよい。例えば、ユーザは、現在表示されている静止画像又は複数枚の静止画像を指示して、指示された画像/複数枚の画像に関する追加情報を受信してもよい。追加情報には、例えば、指示された画像/複数枚の画像の周囲又はそれらに隣接する1枚以上の画像、指示された画像/複数枚の画像内の関心エリアの指示、及び/若しくは病態/複数の病態の種類並びに/あるいはサイズ、及び/又は指示された画像に含まれる疑いがあるか、若しくは(例えば、ある程度の確実性をもって)特定される、任意の他の関心構造あるいは特徴のうちの1つ以上を含んでもよい。
いくつかの実施形態では、症例(例えば、患者又は処置によりカプセルが1回通過する間に患者から撮影された画像集合)の表示には、ユーザ入力及び設定に応じて、別個に若しくは一緒に表示され得る2つのレベルあるいはカテゴリの情報を含んでもよく、これらには、選択された静止画像がユーザのレビューのためにデフォルトで表示されるデフォルトの表示(例えば、精査用情報のデフォルトのビューのメインビュー)を含む”第1のレベル(例えば、「レベル1」)の情報、及び追加情報の表示を含み、ユーザ要求に応じて、又はユーザの行動後に表示されてもよい第2の任意のレベル(例えば、「レベル2」)の情報を含む。
デフォルトの又は第1の若しくはメインスクリーンあるいは表示(例えば、デフォルトの精査用情報ビューの)には、関心画像として自動的に選択されていてもよい、症例の「第1のレベル」の画像、例えば、(ある程度の確実性を有する)病態を示す画像を含んでもよい。いくつかの実施形態では、複数枚の画像が特定の病態(例えば、潰瘍)を捕捉するものとして特定された場合、これらの画像のうちの1枚のみが、デフォルトの又はメインスクリーン(例えば、第1のレベル画像)に提示されるように選択されてもよい。他の特徴又は構造は、病態(例えば、特定の解剖学的構造又は異物、異常、これらの組み合わせなど)とは別個の関心構造として特定されてもよい。ユーザは、第1のレベルから画像を選択してそれを有効化し、第1のレベルの選択された画像に関連して第2のレベルの画像を視聴してもよい。例えば、ユーザが、第1のレベルの表示から潰瘍の画像を選択する(例えば、クリックするか、又はその上に移動するか、若しくは他の方法で指示する)場合、第2のレベルでは、例えば、ユーザは、(選択された画像の前にある及び/あるいはそれの後にあってもよい)、この潰瘍の他の画像間をスクロールしてもよい。
いくつかの実施形態では、(例えば、制御部を介して)表示するための選択、又は第1のレベルの焦点の合っている画像(例えば、ユーザが選択した画像)に対する第2のレベル又はカテゴリの情報の表示は、別個のウィンドウ又はスクリーン(例えば、ポップアップウィンドウ)を介して行われてもよい。典型的には、このような別個のウィンドウ又はスクリーンは、ユーザの要求又は行動時に、例えば、追加のレベル又はカテゴリの表示に関するユーザ入力の受信時に現れる。いくつかの実施形態では、第1のレベルの焦点の合っている画像は、別個のビュー、例えば、別個のウィンドウ又はスクリーンで、その関連する第2のレベルの画像と共に表示される。別個のウィンドウ又はスクリーンは、焦点の合っている画像及びその関連する第2のレベルの情報を表示するために、より多くのスクリーンエリアを提供してもよい。
いくつかの実施形態では、第2のレベルの情報及び/又は第2のレベルの情報を表示するための制御部は、同じ初期スクリーン若しくはデフォルトのスクリーンに提示されてもよく、例えば、GUI品目は、第2のレベルの表示を要求するか、あるいはそれが表示された後にその第2のレベルの表示を制御するためのユーザ入力を可能にし、第2のレベルの表示は、第1のレベルの表示と一緒に、例えば、同じスクリーン又は表示エリア、若しくは専用のスクリーンあるいは表示エリアに現れてもよい。このような実施形態では、第2のレベルの情報を提示するために、別個のウィンドウ又はスクリーンが必要とされないか、又は表示されない。第1のレベル又はデフォルトの情報を有する同じスクリーン若しくはウィンドウ内に、第2のレベルの情報を提供することによって、ユーザが状況に応じて留まることを可能にし、したがって、レビュープロセスを容易にし、より良好にし得る。
いくつかの実施形態では、第2のレベルの情報は、追加画像を含んでもよい。追加画像はまた、受信した一連の画像又は捕捉した画像集合から選択されてもよい。いくつかの実施形態では、第2のレベルの情報には、第1のレベルで表示され、ユーザが指示した1枚以上の静止画像の周囲の複数枚の画像を含んでもよい。周囲の画像は、指示された画像(単数又は複数)の捕捉時間に関する捕捉時間に従って、かつ/又は指示された画像(単数又は複数)の位置に関する、撮像されたGIT部分に沿ったそれらの位置に従って選択されてもよい。いくつかの実施形態では、第1のレベルの指示された画像(単数又は複数)に最も隣接する、事前決定された枚数の画像は、第2のレベルで表示されてもよい。いくつかの実施形態では、第2のレベルの表示には、指示された第1のレベルの画像(単数又は複数)、及び指示された第1のレベルの画像(単数又は複数)を取り囲むか、若しくは捕捉時間頃に捕捉した画像の表示を含んでもよい。いくつかの実施形態では、第2のレベルの表示は、例えば、第1のレベルの2枚の画像が撮像されたGIT部分内に隣接して位置すると推定される場合に、第1のレベルの2枚以上の画像に対して組み合わされてもよい。いくつかの実施形態では、追加の画像及び指示された画像は、静止画像として及び/又は動画像として(例えば、映像クリップ、動画シーケンス、若しくは動画として)、第2のレベルで表示されてもよい。
本開示によるいくつかの実施形態では、静止画像は、例えば、Gl管内の画像の捕捉部位の位置を提供する位置情報と共に、局所的に表示されてもよい。いくつかの実施形態では、表示用に選択された画像の全ては、局所的に表示されてもよい。いくつかの実施形態では、画像の位置確認は、ユーザの要求に応じてのみ(例えば、第2の情報レベルの一部として)提供されてもよい。典型的には、ユーザ要求、又はユーザ選択、若しくはモードのユーザ変更、あるいは他の入力は、(例えば、図1に示すように、入力装置を介して)計算装置への入力として受信される。いくつかの実施形態では、ユーザが関心画像として選択された画像、例えば、結腸処置におけるポリープを図示するように医師が特定した画像のみが、局所的に表示される。所見又は病態の位置確認により、例えば、治療決定又は提供された治療に影響を及ぼし得る重要な情報が提供され得る。したがって、例えば、特定されたポリープの位置により、ポリープを除去するためにS字結腸鏡処置又は大腸内視鏡検査を行うべきかどうかを判断してもよく、それを行っている間に医師を誘導してもよい。
撮像されたGIT部分は、区分に分割されてもよい。例えば、小腸は、例えば、米国特許公開第2019/0244351号に開示され、参照によりその全体が本明細書に組み込まれる方法、又は他の既知の方法に従って、長さが等しい3つの区分に分割されてもよい。結腸は、例えば、盲腸、上行結腸又は右結腸、横行結腸、下行結腸若しくは左結腸あるいは左結腸-S字結腸、及び直腸の5つの解剖学的区分、又は、例えば、http://www.cs.technion.ac.il/~cs234313/projects sites/S18/12/site/に開示され、参照によりその全体が本明細書に組み込まれる方法に基づいて脾弯曲部によって分離された2つの解剖学的区分に分割されてもよい。画像(例えば、第1のレベルの画像、第2のレベルの画像、又はその両方)の表示には、各画像が位置する区分の指示を含んでもよい。いくつかの実施形態では、区分内の各画像の位置が指示されてもよい。いくつかの実施形態では、特定された関心エリア(例えば、画像内の特定された関心特徴)又はその位置(例えば、画像内の位置)は、画像内に指示されてもよい。例えば、特定されたエリアを等高線で区切るか、又は画像内の特定されたエリアの位置を矢印で指示してもよい。撮像されたGIT部分に沿った画像の位置は、位置推定の既知の方法によって決定されてもよい。例えば、撮像されたGIT部分に沿った画像の位置は、対象のGITを通るカプセル装置の進行状況のコンピュータによる評価に基づいて決定されてもよい。このようなコンピュータによる評価は、例えば、Krupnikらによる、「System and method for detection motion pattern of in vivo imaging device」と題された米国特許第8,792,691号に開示され、本出願の共通の譲受人に譲渡された方法及びシステム、又は他の既知の方法に基づいてもよい。
一般に、GITの解剖学的区分への分割は、例えば、異なる解剖学的区分間のカプセル内視鏡の通路の特定に基づいて行われてもよい。このような特定は、例えば、機械学習技術に基づいて行われてもよい。
いくつかの実施形態では、撮像されたGIT部分の少なくとも全体又はその断片を表すマップが表示されてもよい。マップは、選択された画像(例えば、第1のレベルの画像及び/又は第2のレベルの画像の)指示を含んでもよい。したがって、マップは、疑わしいエリア又は対象となり得るエリア、その範囲(例えば、GITの長さに沿ってそれらが発生した)及び/若しくはそれらの分布に関して、撮像されたGIT部分又はその断片の概要をユーザに提供してもよい。範囲は、システムによって自動的に推定又は生成されてもよく、視覚的に(例えば、マップ上の長さの指示)又は数値的に(例えば、割合などによる範囲の寸法)をユーザに提示されてもよい。マップは、選択された画像間をナビゲートするためにユーザが使用してもよい。いくつかの実施形態では、マップは、バーの形態であってもよいし、又はGITの形態と同様の形態であってもよい。いくつかの実施形態では、選択された画像の指示は、GITに沿った位置に従って選択された画像を表示するバーなど、GITの全て又は一部分の抽象化された表現である、ヒートマップの形態であってもよい。「ヒート」は、バーに沿って特定の画像を示す線に割り当てられた色など、マップ上の情報を伝達するために使用される色を指してもよい。異なる色は、例えば、第1又は第2のレベルの画像などの異なる種類の画像を表してもよい。このようなヒートマップ又はバーには、Gl部分の区分化を指示する線(例えば、異なる色で着色されている)などを含んでもよい。マップの着色断片は、それらの断片に関する特定の情報を提供し得る。システム又はGUIは、マップ内の画像指示又は位置のユーザの選択を受信し、それに応じて、ユーザが選択した画像若しくは位置指示によって表される画像、あるいはマップに指示された画像に関する追加情報を表示してもよい。
マップ内の選択された画像の指示は、撮像されたGIT部分に沿ったそれらの推定位置に従ってもよい。いくつかの実施形態では、撮像されたGIT部分の区分は、マップ内に指示されてもよい。いくつかの実施形態では、現在表示されている区分(すなわち、現在表示されている画像が位置する区分)は、マップ内に(例えば、区分を着色又は強調表示することによって)指示されてもよい。選択された画像は、それらの時系列順に基づいてマップ内に指示されてもよい。いくつかの実施形態では、焦点の合っている画像は、マップ内に指示されてもよい。ユーザは、表示される画像、又はマップからの焦点上にある画像を選択してもよい。
いくつかの実施形態では、マップには、マップが表すGIT部分に沿って特定された、関心特徴又は構造の種類の指示を含んでもよい。指示は、例えば、特徴の種類を表すアイコン(例えば、出血、潰瘍、又はポリープ)であってもよい。
いくつかの実施形態では、マップ及び/又は図形表現は、選択された画像の上方、及び/又はスクリーンの上部に表示されてもよい。このような上部表示は、マップを介して選択された画像をナビゲートすることを容易にし得る(例えば、ユーザは、マップを見るために視線を動かす、例えば、視線を下げる必要はない)。
本発明の実施形態によって提供又は表示され得る洗浄レベル又は清淨レベルでは、内容物、糞便、及び食品残留物に対する腸の清浄レベルを説明してもよく、典型的には、カプセル内視鏡処置などの検査処置の前の「準備」後に、この準備処置は、このような視覚的障害物をGl管から洗浄することを意図する。結腸洗浄レベルの既知の標準には、4つのレベルを含む(他の数のレベル又は標準が使用されてもよい)。小腸の洗浄を評価するためのいくつかの方法も存在し、一実施形態では、結腸の洗浄標準を使用して、小腸の洗浄レベルを説明してもよい。
いくつかの実施形態では、追加情報には、GITの撮像された部分の洗浄レベルの指示を提供する、画像の洗浄レベルの指示又は図形表現を含んでもよい。洗浄レベルは、撮像された画像のシーケンスの各画像について、又は選択された画像の各画像についてのみ、及び/若しくは撮像されたGIT部分の各区分について、並びに/あるいは撮像されたGIT部分全体について、(例えば、図1のようなシステムによって自動的に)推定又は決定されてもよい。一般に、撮像されたGIT部分には、内容物(例えば、撮像を不明瞭にする可能性のある、GIT内に自然に生じる物質)及び/又はGITの組織を不明瞭にする可能性のある気泡などの物質が含まれることがある。次いで、このような障害要素を検出するために、画像を分析してもよい。スコアは、画像内で検出された洗浄レベルを指示する各画像に割り当てられてもよい。いくつかの実施形態では、洗浄レベルは、グラフ又はバー、例えば、色バーの形態で提示されてもよい。いくつかの実施形態では、洗浄レベルの図形表現は、マップの下方、又はマップの上方、及びそれに対応する様式で表示されてもよい。いくつかの実施形態では、低洗浄レベル、中洗浄レベル、及び高洗浄レベルなどのいくつかのカテゴリを決定し、これらのカテゴリに従って画像の洗浄レベルを決定してもよい。
いくつかの実施形態では、スコアは、自動的に(例えば、図1に示すシステムによって)決定され、GIT(例えば、結腸)の撮像された断片の粘膜到達範囲を反映し得る、各画像又は選択された各画像及び/若しくは区分並びに/あるいは処置に割り当てられてもよい。この物質に対する処置は、特定の時間の事例で特定の患者が一度嚥下した特定のカプセルが捕捉した画像集合であってもよい。例えば、このようなスコアは、GIT断片の組織(粘膜)のどれだけ(例えば、割合で)を画像が捕捉したかを反映してもよい。このようなスコアは、例えば、推定又は決定された洗浄レベル、内容物、気泡、カプセル通過時間、カプセル速度、及び/又はカプセル力学に基づいてもよい。スコアは、処置の妥当性に関して医師又は観察者に情報を提供してもよい。このスコアは、洗浄レベルに加えて、又はその代わりに提供されてもよく、洗浄レベルの表示に関して上述したものと同様の様式で表示されてもよい。スコアは、選択した画像のレビュー前に、画像のレビュー中、及び/又は後に、デフォルトで若しくは要求時にユーザに提供されてもよい。
いくつかの実施形態では、追加情報には、撮像されたGIT部分の解剖学的区分又は解剖学的断片間の通路を含むと特定された、捕捉した一連の画像内の一連の画像を含んでもよい。このような通路は、例えば、胃から小腸への通路、小腸から結腸への通路、又は結腸から患者の身体の外側への通路であってもよい。いくつかの実施形態では、追加情報には、このような一連の画像(例えば、画像の概要)の表現のみを含んでもよい。いくつかの実施形態では、画像のこの通路シーケンスの表現には、色バーを含んでもよい。このような通路表現により、ユーザが、撮像されたGIT部分の異なる解剖学的断片間の通路をより綿密にレビューすることが可能になり得る。いくつかの実施形態では、画像の通路シーケンス又はその表現は、ユーザの要求時に、又はユーザの行動後に、例えば、このような通路の指示の上に移動して、例えば、撮像されたGIT部分を表すマップ内に表示されてもよい。いくつかの実施形態では、このような解剖学的通路は、第1のレベルの画像又は選択された画像部分集合内で特定及び表現される、関心特徴であってもよい。例えば、単一の画像は、画像部分集合内の通路(例えば、第1のレベルの画像)を表すように選択されてもよく、画像部分集合のうちの選択された画像に関連付けられた1枚以上の画像(例えば、第2のレベルの画像)は、通路を表すように選択された追加画像であってもよい。
いくつかの実施形態では、画像内で自動的に特定され、かつ/又はユーザによって、ポリープなどの画像内に指示された特徴、病態、若しくは任意の他の所見の自動サイズ推定が提供されてもよい。自動サイズ推定は、追加情報、例えば、第2のレベルの情報として、及び/又はユーザの要求時に、デフォルトではなく提供されてもよい。いくつかの実施形態では、関心エリアの指示及びそのサイズ推定は、デフォルトで提供されてもよい。いくつかの実施形態によれば、自動サイズ推定は、例えば、ユーザ入力に基づいてサイズ推定を提供する、既知のサイズ推定方法に基づいてもよい。ユーザ入力は、画像内に示すように測定される特徴のうちの少なくとも1つの寸法、例えば、ユーザが指示する2枚以上の画像画素によって表される長さ又は直径を指示してもよい。このような方法は、米国特許第9,412,054号及び同第9,911,203号に見出され、参照によりその全体が本明細書に組み込まれるものであってもよく、他の既知の方法を使用してもよい。完全な自動サイズ推定を行うためには、次に、ユーザ入力の自動推定を行ってもよい。例えば、画像内の特定された関心特徴を区分化し、区分化した特徴の2つの縁部点又は2つの周辺点を選択することによって、互いに最も遠く離れている。いくつかの実施形態では、ユーザは、自動的に選択された2点を修正又は置換し、ユーザが提供した入力に基づいてサイズ推定を受信してもよい。
いくつかの実施形態では、カプセル内視鏡処置中に、自動中間レポートが生成されてもよい。このような自動中間レポートは、例えば、特定の時間までに捕捉された画像に基づいて、かつ/又はGITの撮像された部分のある特定された解剖学的領域の画像に基づいて、並びに/若しくは特定の所見の画像、例えば、大量出血あるいは除去される必要があるポリープなどの意味のある所見の画像に基づいてもよい。中間レポートは、例えば、患者がカプセル内視鏡装置を嚥下してから、又は、カプセル内視鏡装置が解剖学的目印に到達したことが特定されてから(例えば、小腸の開始点又は結腸の開始点)、事前決定された期間が経過した後に生成されてもよい。別の例として、中間レポートは、カプセル内視鏡装置が特定の解剖学的目印に到達したと特定された時点、又は出血又はポリープなどの特定の病態若しくは事象が特定された時点で生成されてもよい。次いで、中間レポートは、割り当てられた医師に提供されてもよい。
自動中間レポートには、受信した画像ストリーム集合及び/又は特定の所見を表すように選択された画像を含んでもよい。いくつかの実施形態では、自動中間レポートにはまた、本明細書に開示される追加情報を含んでもよい。いくつかの実施形態では、自動中間レポートには、特定の所見への指示及び診断に対する提案、並びに/又は治療に対する提案若しくは推奨あるいは治療行動方針を含んでもよい。
いくつかの実施形態では、異なる実施形態に従って医療従事者がレビューするための自動中間レポート又は中間精査用情報の生成により、特定された病態若しくは医療行為(手術あるいは低侵襲処置など)を必要とする可能性のある任意の他の所見をリアルタイムで指示することは、このような処置の実行を、遅滞なく、例えば、カプセル内視鏡処置が終了するとすぐに、又はその直後に可能にし得る。場合によっては、例えば、大量出血の場合には、即時の医療行為が必要とされ得る。しかしながら、必要な医療処置の緊急性が低いとき(例えば、除去する必要があるポリープが特定された場合)であっても、中間レポートでは、例えば、同日に大腸内視鏡検査を実行することによって、必要な医療処置のためにカプセル内視鏡処置について患者が行った絶食及び/又は腸管前処置を利用することを可能にし得る。同日の大腸内視鏡検査は、例えば、2度の前処置を受ける必要がないため患者にとってはより便利であり、負担が少ない可能性がある。
リアルタイム及び有効な処置中の自動中間レポート又は中間精査用情報は、例えば、分散計算、非集中計算、及び/又はクラウド計算などの技術を利用することによって容易にされてもよい。いくつかの実施形態では、自動中間レポート又は精査用情報には、本開示に記載されるように、推定若しくは決定された洗浄レベル、あるいはこの段階までの処置の妥当性に関するスコアを含んでもよい。このような情報は、次の医療処置(例えば、同日の結腸内視鏡処置)を行うと決定された場合に、前処置及び/又は食事制限に関して患者に提供される命令を提供及び/又は命令を変更するために医師が使用してもよい。
実施形態は、必要な変更を加えて、静止画像及び/又は動画像(例えば、映像)の表示に適用してもよい。いくつかの実施形態では、本明細書に開示されるシステム及び方法による精査用情報に含まれる追加情報には、診断の提案及び/又は治療の提案並びに推奨若しくは治療行動方針を含んでもよい。このような提案は、本明細書に開示されるシステム及び方法によって、及びそれらに従って行われる処理並びに分析に基づいてもよく、関連する標準治療に基づいてもよい。
一実施形態では、ユーザのレビューのために表示される関心画像の選択は、2段階で行われる。第1の段階では、捕捉された一連の画像からの複数枚の関心画像は、例えば、行列のレイアウト、格子のレイアウト、又は他のレイアウトで、ユーザに自動的に(例えば、図1に示す計算装置によって)選択されて表示される。選択された画像は、例えば、GIT内の画像の捕捉部位の位置を提供する位置情報と共に、局所的も表示されてもよい。第2の段階では、ユーザは、自動的に選択された画像から画像を(例えば、ユーザ入力を提供することによって)選択して、選択された画像(例えば、焦点の合っている画像)に関する追加情報の表示を受信してもよい。追加情報には、自動的に選択された追加画像を含んでもよい。次いで、ユーザの画像の選択を使用して、症例全体のマップ又はレポートを生成するか、若しくはそれらに追加してもよい。
図2は、第1のスクリーン、例えば、精査用情報のデフォルトの表示のデフォルトのスクリーンとして、最初に観察者又はユーザに提示される、例えば、デフォルトのスクリーンを示す。観察者は、撮像されたGIT部分の様々な領域又は区分間をナビゲートしてもよく、図2の例では、小腸の3つの三分位数である。各三分位数は、この例示的なスクリーン上の3つのタブ210のうちの1つとして表されてもよい。例えば、ユーザが図2に表示されたGUI内のそれぞれのタブ210をクリックすることによって区分又は小腸の三分位数を選択するとき、自動的に選択されたその三分位数に関連する画像206は、例えば、スクリーンの中央エリアに行列のレイアウト220でユーザに表示される。この例では、各三分位数は、小腸を通るカプセルの通過時間の1/3を表す。いくつかの実施形態では、各三分位数は、小腸の長さの1/3の推定値を表し得る。いくつかの実施形態では、三分位数は、小腸に沿った目印の検出に基づいて解析されてもよい。ボタン202は、レポートスクリーンと第1のビューとの間をトグルで切り替えるために、ユーザによってクリックされるか、又は他の方法で指示されてもよい。小腸又は他のGIT断片への推定進入時間及び退出時間204が表示されてもよい。
いくつかの実施形態では、ユーザは、レベル1の表示とレベル2の表示との間で切り替えてもよい。例えば、レベル1で示す画像をクリックすることによって、レベル2の表示に切り替えてもよい。例えば、ユーザがGUI上に表示されたときに画像をクリックすることによって、特定の画像を選択するとき、その画像のより大きいバージョンが、スクリーンの「追加情報」(例えば、第2のレベルの)エリア230内に表示される。追加情報表示の各画像は、例えば、その第1のレベルの画像によって示される同じ特徴又は病態を示すことによって、デフォルトのビュー内の1枚の第1のレベルの画像に対応してもよい。ユーザは、時系列的に選択された画像の前後に捕捉された追加の静止画像、又は選択された画像の周囲の画像(例えば、前後の数枚の画像、若しくは前後数秒に捕捉された画像)を含むショートクリップ(例えば、動画像シーケンス、あるいは動画)など、「追加情報」又は第2のレベルのエリア内の画像206のうちの選択された画像に関する追加情報を見ることができる。図2では、第2のレベルの画像は、第1のレベルの画像の表示と同じビューで表示される。ユーザはまた、例えば、メイン表示エリア内の選択された画像上に位置され得る専用のチェックボックス208をチェックすることによって、選択された画像を関心画像として特定するか、又は他の方法で、症例レポートに含めるように印を付けることもできる。このスクリーンでは、ユーザは、選択した画像に印(例えば、ユーザがGUIに情報を入力することを介して)又はコメントを追加するための選択など、追加機能を利用することができ得る。
図2の例などこのようなスクリーン又は表示には、ヒートマップ若しくは他の情報提示240を含んでもよく、これは、例えば、各区分あるいは三分位数の図形表現、グラフ形状で情報を表示することを含んでもよい。ユーザが関心画像を選択するとき、その区分内の選択された画像の位置に対応する位置で、それぞれの区分の図形表現又はマップ上に指示(縦線242など)を追加してもよい。242などの指示、及び他の図に示す同様の指示は、局所的な画像指示、又はGIT内の画像の位置又は推定位置に従って画像を表すマーカであってもよい。ユーザが行うこの第2の段階の選択は、上述のように、レポート用のユーザの画像の選択とは別個であってもよいし、又はそれらと統合されてもよい。したがって、いくつかの実施形態では、ユーザが画像を選択してマップに追加した後、次に、ユーザは、そのレポートに含まれる画像の別の選択を行ってもよい。他の実施形態では、ユーザが選択してマップに追加する画像もまた、レポートに含まれる画像であってもよい。
図2の例示的な表示では、区分又は三分位数に対して自動的に選択された画像の枚数が、中央表示領域内に収まる画像の枚数よりも多い場合、ユーザは、上下のスクロールを利用することができ得る。図2の例では、「追加情報」エリア内に表示するためにユーザが選んだ画像は、強調表示されてもよく(例えば、青色のフレームによって)、ヒートマップエリア上のそれぞれの印も同時に強調表示されてもよい。
図3は、例示的なスクリーンショットを示す。いくつかの実施形態では、ユーザの画像の選択に基づいて生成されたマップ又は症例マップ310は、例えば、図3の例に示すような別個のスクリーン内に表示されてもよい。図3の例では、症例マップ310は、症例の対象(例えば、カプセルによってGITが撮像された人物)のGITをグラフ形状で例示する、様々な印、時間刻印、及び他の記号312を有する細長いバーである。マップには、症例全体、又は撮像されたGIT部分全体(図3では、GIT全体の一部分のみである)を含む、実質的に症例全体の例示的な表現を含んでもよい。図3の例では、広がった小腸全体の図形表現が表示されているが、症例全体の他の例示的な図形表現が可能である。いくつかの実施形態では、例示的な図形表現には、関連する区分の解剖学的特徴に似ているか、又はそれを暗示する要素314を含んでもよい。例えば、図3の表現には、消化管に沿った前後の器官の指示(例えば、小腸表現のそれぞれの反対端に表示された胃及び結腸の画像)を含む。
あるいは、このスクリーンは、区分をより概略的に表すマップを表示してもよい。
別個の印を使用して、小腸の3つの三分位数などの別個の区分を図示してもよい。図3の例では、これらの印は、小腸の図形表現の開始点及び終了点にあり、かつ、この表現に沿って等間隔にある縦破線316である。
ユーザが選択した画像は、マップ上の印によって表されてもよい。ここで、例えば、これらの印は縦実線312であり、ユーザは、例えば、これらの印をクリックすることによって、又はこれらの印の上に移動することによって、それぞれの画像にアクセスしてもよい。
また、図3のマップスクリーン又は表示には、推定又は判定された洗浄レベル、例えば、それぞれの区分の自動的に測定された清淨レベルのスコアの図形表現若しくは指示、及び/あるいはその区分内のカプセル通過中の画像品質の指示を含んでもよい。洗浄レベルの同様の指示は、本明細書の他の図に示されている。洗浄スコアは、例えば、内容物で覆われた、又はそうでなければそれぞれの器官の組織壁を示さない画像フレームの部分若しくは割合の自動推定に基づいて計算されてもよい。このスクリーンショットでは、洗浄レベルは、グラフを含むバー320として表されている。洗浄レベルバーには、任意の所与の時点での洗浄レベルがその閾値より高いか、又は低いかを評価する際にユーザを支援する閾値レベルを表し得る水平破線322を更に含む。閾値は、例えば、適切な値の平均値又は限界値であってもよい。
図3に示すマップは、(図2に示すように)レベル1の画像のスクリーン又は表示とは別個のスクリーンに、若しくは選択された画像と共に表示されてもよい。
一実施形態では、一連の捕捉された画像からの画像を自動的に選択してもよい。自動的に選択された画像の指示を含むマップは、ユーザに最初に表示されるか、又はデフォルト(例えば、事前追加されたマップ)で表示される。マップには、撮像された器官の自動的に特定された領域又は区分の印を含む。次いで、ユーザは、自身が探索したいと思うマップの領域のより詳細な提示情報にアクセスすることができる。
一実施形態では、ユーザには、症例全体、例えば、GITの関心部分全体(例えば、SB全体又は結腸全体)の図形表現(例えば、マップ)が提示される。例えば、ユーザには、例えば、小腸内へのカプセル内視鏡の進入、小腸からのカプセル内視鏡の退出の自動特定、及びそれらの間の通過時間の測定に基づいて、3つの三分位数に分割された、小腸全体の広がりの図形表現を提示されてもよい。いくつかの実施形態では、GIT部分の分割は、カプセル内視鏡装置が横断した長さの推定に基づいてもよい。このような図形表現に対する印(例えば、縦実線の形態で)は、自動的に選択された画像、例えば、レベル1の画像、又は対象となり得るか、若しくは関心のものである可能性が高い、選択された画像部分集合のうちの画像を指示してもよい。拡散所見(例えば、関心画像、又は近接した複数枚の関心画像の群分けを含んでもよい器官の領域)は、マップ上で特定されてもよい。このような実施形態では、拡散所見は、関心画像の印よりも薄い色調を有し、画像群の開始点のそれぞれの位置からその終了点のそれぞれの位置まで延在するバーとして表示されてもよい。
図4は、追加情報が表示された例示的なスクリーン又は表示を示す。同じスクリーンでは、ユーザは、例えば、マップ502上のそれぞれの印510をクリックするか、又はその上に移動することによって入力を提供することで、選択された画像を見てもよい。ユーザが、例えば、マップの表示エリア内に表示されるそれぞれの印510又はサムネイル512をクリックすることによって画像を選択するとき、同じ画像のより大きいバージョン530は、「追加情報」エリア540内(例えば、本明細書では、スクリーンの左下隅内)に表示されてもよい。次いで、ユーザは、器官のそれぞれの区分からの追加画像、又は選択された画像の前後に捕捉された画像(例えば、選択された画像の周囲の画像)を含むショートクリップを見てもよい。ユーザは、表示された画像へのメモ又は印の追加、若しくはレポートに含めるための画像の選択など、他の機能を利用することができ得る。器官の区分への分割の印(例えば、三分位数分割印)504は、その断片の図形表現上のそれぞれの位置に表示されてもよい。
図5は、拡大動作後の図5の例示的なスクリーンを示す。いくつかの実施形態では、ユーザは、コマンドの「拡大」を入力して、システム、例えば、ワークステーションに、マップ502全体の領域又は断片を拡大させて、そのそれぞれの断片から選択された画像の群を見てもよい。それぞれの断片の(例えば、対応する)選択された画像は、例えば、それぞれの領域の図形表現上のサムネイル522の時間520によって順番が付けられた一連の格子、リストなどとして表示されてもよい。ユーザはまた、例えば、スクリーンの右上隅内の図5の例に示すように、マップ540の縮小表現を使用して、マップの断片又は部分領域間を(例えば、GUIへの入力を提供することによって)ナビゲートしてもよい。
いくつかの実施形態では、ユーザは、例えば、ユーザがそれぞれの画像が関心画像ではないと判断した場合に、選択された画像の印を除去するプロセスを実行させるために、例えば、GUIを介して入力を提供することによって、マップを編集してもよい。
レビューを完了した後、ユーザは、レポート生成スクリーンを表示するためにプロセスを進めてもよく、ユーザは、レポート用に選択された画像、例えば、ユーザが選択した画像を、関心画像としてレビューしてもよい。
一実施形態では、デフォルトのビューモードでは、自動的に選択された画像は、スクリーンの一方の側、例えば、スクリーンの右側の垂直列に、静止した様式及び列のレイアウトで表示されてもよい。ユーザは、画像表示エリア、例えばスクリーンの左側に表示される画像を選択してもよい。選択された各画像は、例えば、関心エリアを特定の色に着色することによって、画像内の特定された関心エリアの指示と共に表示されてもよい。表示は、関心エリアの特定を指すチェックボックスを含んでもよい。次いで、ユーザは、関心エリアを特定し、それに応じて適切なチェックボックスをチェックしてもよい(例えば、出血、潰瘍、又はその他)。GITの関心部分全体又はその断片のマップ若しくはヒートマップもまた、例えば、画像表示エリアの下方に表示されてもよい。マップは、選択された画像の指示を含んでもよく、ユーザがこれらの画像間をナビゲートするために使用されてもよい。
例示的な一実施形態では、画像のレビューは、2つのレベルの情報に基づいて行われてもよい。第1のレベルの情報は、デフォルトのビューモードで提示されてもよく、第2のレベルの情報は、ユーザの要求(例えば、図1に示すようなシステムによって実行されたプロセスに受信されたGUIへのユーザ入力時に、又はユーザの行動後に表示されてもよい。デフォルトのビューモードには、GIT(例えば、小腸)内で捕捉された一連の画像又はその一部分から(例えば、図1に示すようなシステムによって)自動的に選択された画像の表示を含んでもよい。GITの撮像された部分は、複数の区分に分割される(例えば、SBが3つの区分/三分位数に分割され、又は結腸が5つの解剖学的部分若しくは区分に分割される)。選択された画像は、静止した様式で、それらが位置する区分に従って表示される。ユーザは、静止画像をブラウズしてもよい。また、デフォルトのビューモードには、区分、及び区分内の推定位置に従って選択された画像を指示する、撮像されたGIT部分全体のマップの表示を含んでもよい。いくつかの実施形態では、マップのデフォルトの表示には、表示された画像が位置する区分/複数の区分のみを含んでもよい。いくつかの実施形態では、ユーザは、撮像されたGIT部分の断片を表すマップの断片への拡大(例えば、表示された画像のサイズの拡大)を引き起こすプロセスに入力してもよい。
第2のレベルの情報には、選択された画像の周囲の追加画像の表示を含んでもよく、第1のレベルの画像から別個に(例えば、ポップアップウィンドウ又はスクリーン内に)表示されてもよい。また、デフォルトのビュー又は表示(例えば、第1のレベルの情報)には、第2のレベルの情報で表示された、撮像されたGIT部分の断片の指示も含んでもよい。デフォルトのビューは、GIT部分内で捕捉された一連の画像の洗浄レベルの指示を更に含んでもよい。第2のレベルの情報で表示された周囲の画像は、静止した様式で、かつ/又は映像クリップ、短い動画、若しくは動画像として表示されてもよい。
図6A及び図6Bは、小腸を表示及び分析した場合の例を提供する。
図6Aは、開示された実施形態による、デフォルトのビューモードの概略図を示す。図6Bは、一実施形態による、図6Aのデフォルトのビューモードにおけるマップ(例えば、バー)の概略図である。
図6A及び図6Bに示す一実施形態によれば、デフォルトのビュー700には、数枚の画像(例えば、4枚の画像)のみを含む静止画像712集合の同時表示を含んでもよく、これにより、ユーザは、表示された画像を慎重かつ明確にレビューすることができる。画像集合は、例えば、GITのレイアウトをシミュレートした行710のレイアウトで表示してもよいし、又は別のレイアウトで表示してもよい。画像は、実質的にビューの中央に表示されてもよい。ユーザは、表示された画像集合ト内の画像間のピント(例えば、1次又は最大表示)を移動させるか、又は例えば、ユーザ入力を介して、画像集合間をスクロールしてもよい。各区分内の選択された画像(例えば、各三分位数)は、このような画像集合に分割され、これらの時系列順に従って(例えば、これらの捕捉時間に従って)表示されてもよい。現在表示されている画像集合が属する三分位数は、ビュー内に指示されてもよい。
デフォルトのビューには、例えば、図6A及び図6Bに示す例として、スクリーンの底部に位置するマップ740を含んでもよい。マップ740は、バー又は行の形態若しくは線形式であってもよく、情報の種類を表す副行(例えば、3行)を含んでもよく、一実施例では、図6Bにおいて741、742、及び743で指示されている3種類の情報を含んでもよい。例示的なマップは、小腸全体のマップである。マップは、縦破線747によって3つの三分位数745などの断片に分割されてもよい。マップはまた、結腸の一部分を含んでもよい。焦点の合っている画像は、図6A及び図6Bに示すように、色が異なった縦線760及び/又はカーソル762によって、(例えば、青線760及びカーソル762によって)マップ内に指示されてもよい。焦点の合っている画像内のフレームはまた、色が異なっていてもよい(例えば、図6A及び図6Bに示すように、青色で)。ユーザはまた、フレームが第2のレベルの情報で既にレビューされたかどうかの指示を受信してもよい。したがって、例えば、第2のレベルで既にレビューされた画像のフレームはまた、その色を、例えば、黒色から灰色に変更してもよい。
図6Bの第1の副行741には、本明細書では小腸を含む、撮像されたGIT部分に沿って位置する、選択された画像を指示するヒートマップを含む。選択された画像は、特定の色(例えば、灰色)の縦線770として指示され、小腸に沿ったそれらの推定位置に従ってバーに沿って位置する。ユーザは、画像のサムネイルの表示を受信するための画像(例えば、縮小画像)をその捕捉時間の指示と共に表す線に、入力(例えば、マウスで移動する)を提供してもよい。バーの部分は、例えば、図6A及び図6Bに示すように、解剖学的関心エリアを指示するために異なる色で着色されてもよい。(例えば、小腸の近位エリア及び遠位エリアの推定を指示する水色エリアとして提供される)。ヒートマップの終了時に、GIT、本明細書では結腸の次の解剖学的部分のうちの少なくとも1枚の画像は、とりわけ、関心小腸又はGIT部分全体が撮像され、処置が完了したことを示すように表示されてもよい。画像の線指示は、ユーザがレビューすると、それらの色を(例えば、オレンジ色に)変更してもよい。
第2の副行742は、撮像されたGIT部分、本明細書では小腸の断片の指示を含んでもよく、それらの画像は、第2のレベルの情報で表示される。これらの断片は、灰色に着色された矩形などの指示780によって指示されてもよい。各矩形、例えば、第2のレベルの断片は、図6A及び図6Bを参照し得るように、第1のレベルの1枚以上の選択された画像を含んでもよい、かつ/又はそれらに関してもよい。これは、2枚以上の第1のレベルの選択された画像が、互いに対して比較的近接している場合である。
第3の副行743は、例えば、小腸に沿って捕捉された画像の洗浄レベルを指示するグラフを含んでもよい。グラフは、レベル値に従って着色されてもよく、例えば、(例えば、洗浄)値が比較的低いときには赤色に着色されてもよい。
撮像されたGIT部分の異なる解剖学的断片間の通路、例えば、胃からSB(例えば、胃から小腸)及び/又はSBから結腸への通路もまた、図6A及び図6Bに示すように指示されてもよい。通路は、マップ内の関連する区分の指示(例えば、破線)の上方に指示してもよく、通路には、通過時間を含んでもよい。任意に、関連する区分の指示の上方に、特定された通過エリア内で捕捉された一連の画像を表す、小さな色バーを表示してもよい。ユーザは、入力(例えば、移動)を色バーに提供し、通過画像をレビューしてもよい。色バーは、特定された通過エリアの画像のサンプルのみを表してもよい。
図6Aに示すような画像は異なっていてもよく、例えば、選択された画像は、行列形態で表示されてもよく、したがって、より多くの画像が同時に表示されてもよい。ユーザは、例えば、図6Aのビューのモードの代わりに、ビューの他の表示モードを使用することを要求してもよい。このような代替のビューによれば、各三分位数の画像は、別個の行列、例えば、別個のタブ内に表示されてもよい。ユーザは、各三分位数内の画像間をスクロールしてもよい。
図7は、図6Aに例示された表示に従って選択された画像の情報の第2のレベル(例えば、精査用情報)の表示又はビューの例示的な図を示す。
第2のレベルの情報は、選択された画像912をデフォルトで表示するポップアップウィンドウ910によって、本実施形態に従って実現されてもよい。ウィンドウ/表示/ビューは、選択された画像を取り囲む(例えば、選択された画像前後のいくつかの画像、又は選択された画像の数秒前後に捕捉された画像である)一連の副画像を表示してもよい。ユーザは、マウスのスクロールホイールなどの入力装置を使用して、画像を静止した様式でスクロールする(例えば、順序又は時間を前方及び後方に移動する)プロセスを生じさせてもよいし、又は一連の副画像を映像クリップとして表示するプロセスを生じさせてもよい。マップ920は、画像表示エリアの下方に表示されてもよい。
図7の例によれば、マップには、撮像されたGIT部分の関連する区分を表す、第1のレベルのデフォルトのビューの第1の副行のマップの一部分を含んでもよい。第2のレベルの一連の副画像を表す断片は、色、例えば、オレンジ色で指示されてもよい。追加の第2のレベルのマップは、第1のレベルのマップの部分の上方に提示されてもよく、これは、第2のレベルの一連の副画像に含まれる第1のレベルの表示の選択された画像の指示を含む。このような画像、例えば、第1のレベルの選択された画像が、この第2のレベルのデータポップアップウィンドウの画像表示エリア内に表示されたとき、この第2のレベルのマップ内に指示される(例えば、図示の例では正方形で、関連する正方形は青色に着色されており、その刻印の上方に青色のカーソルが位置している)。
第2のレベルの画像を含む断片を表す、第1のレベルのマップの一部分は、画像表示エリアの下方に表示されてもよい。選択された画像は、このマップ内に指示され、レビュー内の第1のレベルの選択された画像は、例えば、画像線の指示を異なる色で着色することによって指示される。
一実施形態では、画像を水平に(例えば、カルーセル様式に)ブラウジングすることによって、選択された画像の群又は「パイル」から一度に1枚の画像を選択してもよい。撮像されたGIT部分を表し、選択された画像を指示するヒートマップは、例えば、画像表示エリアの上方に表示されてもよい。表示されている各画像は、例えば、画像と、その点又はヒートマップ若しくはマップ上の表現とを接続する線によって、ヒートマップ内のその指示に言及されてもよい。
一実施形態では、選択された画像の群又はパイルから一度に1枚の画像を表示してもよい。ユーザは、GUIへの入力を提供して画像を垂直にスクロールさせ、一度に1枚の画像を選択するために、入力制御(例えば、マウス、スクロールホイールなど)を使用することによって単一の画像を観察してもよい。撮像されたGIT部分を表し、選択された画像を指示するヒートマップ又は他のマップは、例えば、画像表示エリアの隣に表示されてもよい。表示されている各画像は、例えば、関連するヒートマップ又はマップ位置若しくは画像指示に画像をリンクする接続線によって、ヒートマップ内のその指示に言及されてもよい。
デフォルトのビューモード、例えば、精査用情報のデフォルトのビューのメインビューは、撮像されたGIT部分を表し、選択された画像を指示するヒートマップの表示を含んでもよい。画像は、撮像されたGIT部分内の推定位置に従って、ヒートマップ内に位置してもよい。選択された画像は、画像表示エリア内に表示されてもよい。選択された画像は、ユーザの要求に応じて、又はユーザの行動後に、静止した様式で、若しくは追加の関連画像を含む映像クリップの一部として表示されてもよい。ユーザは、例えば、画像のサムネイル及び/又は静止表示並びに/若しくはクリップを受信するために、例えば、ヒートマップ上の画像指示の上に移動するか、又は画像指示をクリックしてもよい。
図8Aは、一実施形態による、任意のビューモードのスクリーンショット又は表示を示す。図8Aに示す一実施形態では、第1のレベルの画像、又は選択された画像部分集合のうちの画像は、スライド様式若しくは「カルーセル様式」1300で表示されてもよく、その結果、1枚の画像1302は、中央でより顕著に表示され、他の画像1304は、メインの中央画像1302からの距離を伴って縮小サイズで横に表示され、その結果、ユーザ入力は(例えば、スクリーンの縁部の矢印1310に、若しくはマウスのスクロールバーを使用して)、ビュー内の他の画像1304のうちの別の画像が中央に移動されて中央画像1302になるように「回転」させる。洗浄1326及び他の追加情報を有するマップ1320は、第1のレベルの画像のカルーセル表示1300(の典型的には上方)に表示されてもよい。
第2のレベルの画像は、第1のレベルの画像と同じウィンドウ内に表示されてもよく、したがって、別のウィンドウを有効化する必要はない。ユーザは、例えば、画像上を移動するか、又はそれをクリックしてもよく、その後、画像は、図8Aに示すように「有効化」されるか、又は「焦点が合った」状態になる。例えば、ユーザは、GUIに入力を提供してレベル2に切り替えてもよく、中央画像1302は、映像又は画像ストリームとして見られてもよく、若しくは、レベル1内の1枚の中央画像が表す特定の事例(例えば、第2のレベルの画像)に関連するか、又はそれに関連付けられた全ての画像のうちの、静止した様式で表示された画像の「スクロール可能な」シーケンスとして見られてもよい。
この実施形態では、静止画像(例えば、自動的に事前選択された画像)は、カルーセル形態1300で水平に表示される。図8Aの特定の例では、5枚の画像が同時に表示されている。中央画像1302は、焦点が合っている画像である。その後、典型的に同時に表示される画像の枚数は、一般的には奇数枚の画像である。いくつかの実施形態では、様々な奇数枚の画像が同時に表示されてもよい。画像は、ユーザが画像間を水平にブラウズし、画像が他の画像を隠蔽しないようにすることができるカルーセル様式で表示されてもよい。画像のサイズは、表示カルーセル1300内のそれらの位置に従って変更される。焦点の合っている画像である中央画像1302は、最大である。他の画像1304のサイズは、中央画像への近接度に関して変更される。画像が中央画像1302に近いほど、サイズは大きくなる。このようなレイアウトは、ユーザが1枚の画像を近接して、かつより明確にレビューすることを可能にし、同時に、隣接する画像又は周囲の画像に関する情報をレビューして受信することを可能にし得る。このようなビューは、焦点の合っている画像を詳細に依然として表示しながら、隣接する画像間の比較を可能にし得る。
バー又はマップ1320(例えば、ヒートマップ)は、撮像されたGIT部分全体又はその断片の表現を図示してもよい。図8Aに表示された例示的な表示は、小腸の表示である。マップ1320は、画像の表示の上方、及びスクリーンの上部エリア上に表示される。したがって、マップは、小腸を表し、3つの三分位数に(例えば、縦破線1322によって)分割される。マップには、撮像されたGIT部分に沿って表示された画像の位置に関する情報、及び/又は表示された画像並びに/若しくは捕捉された画像及び/あるいは撮像されたGIT部分の洗浄レベルの情報を含んでもよい。マップには、異なる情報を提示する2つ以上の副行を含んでもよい。焦点の合っている画像は、例えば、図8Aに示すように接続線1324によってマップ内に指示されてもよい。いくつかの実施形態では、現在表示されている画像は全て、マップ内に(例えば、記号又は線、若しくは接続線によって)指示されてもよい。
本実施形態では、マップ1320には、2つの副列1326及び1328を含む。第1の副列1326には、捕捉された画像の洗浄レベルに関する情報を含んでもよい。本実施形態では、洗浄レベルは、グラフの形態で提示されており、色バーの形態で提示されてもよい(図10のように)。異なる色は、低、中、及び高などの異なる洗浄レベルのカテゴリを指示する。第2の副行1328には、選択された画像が(例えば、縦線によって)指示され、GITの撮像された部分に沿ったそれらの推定位置に従ったバーを含んでもよい。
更に、本実施形態によれば、第2のレベルの情報は、同じ初期の又はデフォルトのスクリーン(例えば、精査用情報ビューのメイン又はデフォルトのスクリーン)に提示される。焦点の合っている画像(例えば、中央画像1302)は、ユーザが、例えば、選択された画像の周囲の画像間を第2のレベルの表示としてスクロールすることができる追加の制御部1308と共に示されている。スクロールバーは、焦点の合っている画像に対する周囲の画像の番号付けを指示してもよい。例えば、焦点の合っている画像を「0」、右隣の画像を「1」、その右隣の画像を「2」などと指示してもよい。焦点の合っている画像の前の画像(すなわち、左隣の画像)を「-1」、その前の画像を「-2」などと指示してもよい。したがって、ユーザは、選択された元の画像1302に対する、(画像並びに時間内の)距離及び方向に関して配向されてもよい。更に、テキストボックスが焦点の合っている画像の下方に表示されてもよく、これにより、特定された種類の病態及びコメントなどの情報をユーザが入力することができる。いくつかの実施形態では、第2のレベルの制御部及び/又はデータは、画像が焦点の合っている画像として選択されると、かつ/又はユーザが画像を中央画像1302として(例えば、スクロールすることによって)配設すると、若しくはユーザが焦点の合っている画像の上に移動し、その画像をクリックすると、あるいは任意の他のユーザ行動時に、(例えば、画像の下方に)現れてもよい。
図8Bは、図8Aに示す画像1300の行列のレイアウトを示す。
図9Aは、本開示の一実施形態による、デフォルトのビューモードの例示的なスクリーンである。図9Bは、図9Aの表示内で選択された画像の第2のレベルの情報の表示又はビューの例示的なスクリーンショットである。
この実施形態では、レビューのために表示された症例は、結腸の症例である。デフォルトのスクリーン(例えば、精査用情報ビューのデフォルトのスクリーン)では、図9Aに示すように、処置中に捕捉された画像ストリームから(例えば、画像選択プロセスによって自動的に)選択された画像は、行列1400形態で表示される。結腸は、盲腸、上行結腸、横行結腸、下行結腸-S字結腸、及び直腸の5つの解剖学的区分に分割されてもよい。表示されている選択された画像は、5つの区分に従って局所化され(例えば、位置確認情報と共に表示される)、区分ごとに表示されてもよく、例えば、画像は、特定の位置ではなく、5つの結腸区分のうちの1つ、又は別のGIT区分若しくはカテゴリ内にあるものとして指示されることによって局所化されてもよい。各区分の画像は、専用の表示エリア内に表示されてもよく、ユーザは、タブによって区分の表示間を切り替えてもよい。図9Aに示す特定のスクリーンは、下行結腸-S字結腸区分で捕捉されていると特定された画像を示す。レポートに含める画像としてユーザが選択した画像は、例えば、青色のフレーム1410によって指示されてもよい。追加情報1420は、ユーザに表示されてもよい。このような追加情報は、(図9B)、すなわち、どの区分が表示されているかを指示する結腸の図、患者関連の詳細、処置日、GITの関連領域の処置時間(本明細書では、結腸前領域及び結腸)、及び精査用情報が完了したかどうか(図示の例では、カプセルが結腸の端部に到達したかどうか)であってもよい。このような処置時間及び完全性指示は、結腸の通過又は進入、及び体外への退出などの関連する目印の特定に基づいて決定されてもよい。
更なる情報、例えば、第2のレベルの情報は、ユーザの要求時に表示されてもよい。例えば、ユーザは、図9Bに示すように、表示された画像をクリックし、デフォルトで画像を表示して追加情報のレビューを可能にするポップアップウィンドウ1450を開いてもよい。本実施形態に従って表示されている又は(例えば、ユーザの要求時に)表示され得る追加情報には、画像内の関心エリア、例えば、ポリ-プの自動指示、又はカプセル内視鏡が2つ以上のカメラを備える場合には画像を捕捉したカプセルのヘッドの自動指示を含んでもよい。関心エリアの指示は、例えば、エリアを区分化することによって、かつ/又はこのようなエリアを指す矢印によってでもよい。関心対象となる(例えば、ポリープの疑いのある)エリアの自動特定及び指示により、医師にガイダンスを提供し、診断、例えば、ポリープの検出を改善し得る。
図10では、アイコン1010によるサンプル表示(一実施形態では、ユーザが選択した3枚の画像1032に対応する、その付近の数字「3」を有する画像のパイルの図示)を示す。選択された画像1032は、ウィンドウ又はダイアログボックス1030内に含まれてもよい。ユーザは、アイコン1010上で(例えば、GUIに入力するためにマウスを使用して)クリック又は選択してもよく、システムによって、ユーザがチェックしたか、又は選択した画像を含んだウィンドウ1030が現れてもよい。次いで、ユーザは、隣接様式又は行様式で、チェックした画像1032全てを一度にレビューしてもよい。
別の実施形態では、システムは、別のビュー又は表示内に、一定数の最も関連するか、又は疑わしい画像(例えば、「上位X枚の最も疑わしい画像」、例えば、5又は10枚の最も関連する画像)を表示してもよい。このようなビューは、ユーザに対して第1の迅速な指示を提供し、例えば、結腸スクリーニングに有益であり得る。結腸スクリーニングの状況では、ユーザは、ポリープが存在するかどうかを判断してもよい(ポリープは、癌の可能性を指示する場合があり、大腸内視鏡検査が必要である)。ビューは、別のタブ又はウィンドウ内に追加されてもよい。
自動ポリープ(又は他の特徴)サイズ推定機能は、ユーザの要求に応じて、ポリープの直径、長さ、又は他の推定サイズを計算し、それらの指示を提供してもよい。ポリープ又は特徴のサイズは、例えば、特定されたポリープ周辺部の2点間の最大距離を測定することによって自動的に計算され得る。ユーザは、ポリープのサイズを測定するための他の点を選択してもよく、プロセスにより、ユーザの選択に従ってサイズを計算してもよい。例えば、特徴又はポリープの表示には、ポリープがこのボックス内に位置するように、ポリープ用の境界ボックスを含んでもよい。境界ボックス内の線は、測定された長さを表して表示されてもよく、サイズは、例えば、その線の付近に表示又は提示されてもよい。ユーザは、ユーザが自動的に選択された点が正確ではないと確信した場合には、線の2つの各終了点の位置を変更してもよい。自動ポリープサイズ推定の1つの利点、又は任意の他の関心特徴の1つの利点は、標準化である。例えば、現在の方法では、手動のユーザ入力(例えば、ポリープの長さを画定する点)に基づいて、又は手動推定に従ってポリープサイズを決定し、異なるユーザ又は異なるユーザの入力により、同じポリープに対して異なるサイズ推定を提供するか、又はもたらし得る。
いくつかの実施形態では、洗浄レベル又は他のデータは、画像ごと、区分ごと、及び/又は処置ごとに表示されてもよい。
いくつかの実施形態では、各区分において、最も疑わしい画像を最初に(例えば、行列ビューに)、又は別の方法、例えば、アスタリスクで提示する選択肢を提供してもよい。
いくつかの実施形態では、マップ内のGIT関心部分の表現は、第1のレベルの画像だけではなく、第2のレベルの画像も指示してもよい。したがって、例えば、疾患及び病態の範囲もまた表され得る。
いくつかの実施形態では、精査用情報の個人化を提供するために、精査用情報のパラメータ(例えば、何枚の画像が第1/第2のレベルに含まれるか、何枚の精査用情報の画像が精査されたGIT部分の特定の区分を表すように選択されるか、精査用情報に含まれる画像を選択するための閾値など)が、患者ごとに調整又は決定されてもよい。いくつかの実施形態では、このような調整は、例えば、処置を行うユーザ、又はデータを入力する参照医師によって、手動で行われてもよい。いくつかの実施形態では、このようなパラメータ選択は、例えば、患者の病歴を含む患者の情報又は詳細に基づいて、自動的、又は少なくともその一部分(例えば、決定されるパラメータのいくつかの自動調整)であってもよい。自動調整では、Amazonが提供するComprehend Medicalシステムなどの、自然言語処理(natural language processing、NLP)アルゴリズム又は
機械学習ベースのツールを利用してもよい。このようなツールは、自由記述の相互運用を可能にし、検索可能にし得る。次いで、システムは、精査用情報を調整するために患者の医療背景を使用してもよい。例えば、ある患者(例えば、ある症例)について、システムが自由記述の中で、その患者にポリープの家族歴があることを認識した場合、システムは、ポリープの病歴がない健康な患者とは対照的に、より多くの画像を有するように(例えば、精査用情報の感度を高めるように)、精査用情報又は提示情報を修正してもよい。
機械学習ベースのツールを利用してもよい。このようなツールは、自由記述の相互運用を可能にし、検索可能にし得る。次いで、システムは、精査用情報を調整するために患者の医療背景を使用してもよい。例えば、ある患者(例えば、ある症例)について、システムが自由記述の中で、その患者にポリープの家族歴があることを認識した場合、システムは、ポリープの病歴がない健康な患者とは対照的に、より多くの画像を有するように(例えば、精査用情報の感度を高めるように)、精査用情報又は提示情報を修正してもよい。
いくつかの実施形態では、音声テキスト化又は自動音声認識システム(例えば、Amazonによる「Transcribe」)を統合して、例えば、ユーザが、画像をレビューしながら音声テキスト化を使用してレポートを「書き込み」始めることを可能にすることによって、自由記述の場合は、レポート作成時間を大幅に短縮し得る。音声テキスト化の使用により、クリック又は他の手動のユーザ入力の必要性を減少させてもよい。例えば、ユーザが「アトラスから潰瘍の写真を見せて」と話し、それに基づいて行動が取られてもよく、この行動は、(例えば、キーデスクリプタで検索して、精査用情報画像と参照画像を比較するための観察支援として使用することができる、一般的な疾患画像のアトラスを表示するために)クリック又はユーザの手動入力なしにシステムによって起こすことができる。音声テキスト化では、ユーザがシステムに質問して、システムに、「FAQ」又は他のレポジトリ内に同様の質問があるかどうかを調べさせ、回答を提供させるような、システムのGUIを「チャットボット」が支援することが可能になり得る。
いくつかの実施形態では、システムは、GIT関心部分内の遷移断片を表示してもよい。例えば、色バーの代わりに、各側からの遷移断片(例えば、SBの胃及び結腸)を表す画像は、例えば、(断片間の)遷移画像を含む第2のレベルの表示を有する精査用情報の(及びマップ内に指示される)第1のレベルのビュー又はデフォルトのビューで提示されてもよいし、又は利用可能であってもよい。いくつかの実施形態では、遷移画像(例えば、Gl断片間の遷移を指示する画像)は、ユーザ入力後、例えば、ユーザが胃又は結腸を指示するアイコンをクリックした後、それに応じて、表示されたマップの各端部に表示されてもよい。このような解剖学的遷移画像には、解剖学的移遷移(例えば、SBから結腸へ)に隣接して位置すると特定されたいくつかの画像を含んでもよい。遷移画像の表示のための1つの選択肢は、画像部分集合(例えば、第1のレベルの画像)内の各遷移について1枚の画像を含んでもよく、次いで、遷移を表す複数枚の画像を1枚以上の対応する画像(例えば、第2のレベルの画像)として含んでもよい。その後、画像部分集合のうちの画像は、関心部分の外側(例えば、両端)のマップ内に現れてもよい。別の選択肢は、このような画像を、関心部分の両端にあるマップの上方の小さな色バーで表すことか、又は、ユーザがその部分の端部にあるアイコン(例えば、結腸精査用情報内のSBアイコン及びトイレットアイコン)をクリックすることによって、画像の表示を含むウィンドウ又はスクリーンを受信することである。
いくつかの実施形態では、精査用情報のデフォルトのビューは、ユーザが第1のレベルの画像を最初に素早くレビューすることを可能にするために、画像部分集合の行列表示を示してもよい。次いで、ユーザは、精査用情報の別のビュー、例えば、他のところにも記載されているような「カルーセル表示」に切り替えてもよい。例えば、行列表示内の画像をクリックすると、画像部分集合のカルーセル表示を含む、他の精査用情報ビューの表示が開始され、クリックした画像が、カルーセルの中央画像(例えば、一種の拡大ビュー)となる。このことは、精査用情報が比較的多くの画像(例えば、数百枚の画像)を含むときに最も有益であり得る。いくつかの実施形態では、行列ビューはまた、第2のレベルの画像及び/又は他の追加情報の表示も含んでもよい。
いくつかの実施形態では、機械学習、人工知能、又はAlを使用して、前癌性結腸ポリープ、及び小腸の病態、又は他の特徴を自動的に特定、局所化、及びサイズ決定してもよい。実施形態では、NLH(小結節性リンパ様過形成、Nodular Lymphoid Hyperplasia)、潰瘍、血管拡張症、浸食、血液、病変、又は炎症性狭窄などの特定の特徴又は病態のための「検出器」として機能するモジュールを使用又は実行してもよい。
レポートは、レビュー中のユーザ入力に基づいて、ユーザのレビュー後に生成されてもよい。
図11は、本発明の実施形態による方法のフローチャートを示す。図11の動作は、図1に示すようなシステムを使用してもよいが、他のシステムを使用してもよい。
動作1100では、対象又は患者は、例えば、1つ以上の撮像機若しくは撮像装置(例えば、デジタル撮像機あるいはカメラ)、送信機、及び電源並びにアンテナなどの他のユニットを含む、嚥下式カプセルを嚥下又は摂取してもよい。
動作1110では、カプセルは、対象のGIT、又はGITの一部分を(例えば、対象の自然な蠕動運動によって)横断し、(例えば、無線送信機を介して)画像を外部受信機に送信してもよい。
動作1120では、カプセルが送信した画像は、外部受信機によって受信され(画像を転送する他の方法を使用してもよいが)、記録され、処理されてもよい。機器の様々な組み合わせを使用して、画像を受信及び保存してもよい。
動作1130において、一実施形態では、関心画像集合は、例えば、第1の選択方法を使用して、例えば、1つ以上のプロセッサによって自動的に特定又は選択されてもよい。各関心画像は、自動的に特定された異なる特徴又は病態を示し得る。画像の群が作成されてもよく、各群には、1枚の第1のレベルの関心画像、及び第1のレベルの関心画像内にはないが、その群に対して、1枚の対応する第1のレベルの画像と同じ特徴を示す、対応する画像集合を含む。各第1のレベルの画像は、群内の「最も代表的な」画像として特定されてもよい。
動作1140では、第1のレベルの画像は、静止(例えば、非映像)画像として、(例えば、このような表示を開始する任意のユーザ入力又はコマンドなしに)精査用情報のデフォルトのビューのメインビュー又はデフォルトのビューでモニタ又は表示装置上に表示されてもよい。第1のレベルの画像は、生体内画像ストリームの画像部分集合であってもよい。ユーザは、第1のレベルの画像をレビューしてもよい。第1のレベルの画像部分集合は、受信された画像ストリームを表し得る。
動作1150では、第2のレベルの画像を表示するために、ユーザが入力を提供し、システム又はGUIが入力を受信してもよく、表示装置上又はモニタ上に、画像部分集合のうちの現在表示されている画像に対応する、1枚以上の追加画像を表示してもよい。例えば、選択したか、又はクリックした第1のレベルの画像に対応する群内の画像が表示されてもよい。群内の1枚以上の追加画像は、第2の選択方法に従って、受信された生体内画像ストリームから自動的に選択されてもよい。第2の選択方法は、生体内画像ストリームの画像と現在表示されている画像との間の関係に基づいてもよい。
動作1160において、一実施形態では、ユーザは、第2のレベルの画像の表示を変更してもよく、例えば、画像を動画像として表示させるか、又は、例えば、スクロールホイールを使用して、画像の群を静止した様式で前方及び後方に移動させる。精査用情報は、例えば、カルーセルモード、行列モード、又は別のモードで表示されてもよい。
動作1170では、レポートをユーザに生成又は表示してもよい。レポートには、ユーザが選択した、表示された画像からの画像、及び場合によっては、ユーザが挿入したコメントなどの他の情報を含んでもよい。
他の動作又は異なる動作が使用されてもよい。
実施形態では、カプセル内視鏡処置の技術、並びに精査用情報の生成、医用画像表示、及び特に医療診断の技術を改善することができ、したがって、医療従事者が情報を診断し、より良好かつより効率的な治療を提供する能力を改善することもできる。例えば、医用画像処理及び表示技術は、医者がGIT内の関心領域をより素早く発見し、見て、分析することができるシステムを提供することによって改善されてもよく、これにより、従来の医療技術と比較したときに医者の判断を支持し、より良好にし得る自動分析を提供する。例えば、従来のGIT撮像システムでは、医者は、長時間の映像を見ることを余儀なくされていた可能性がある。加えて、関心特徴の自動特定、位置確認、及び/又はサイズ決定は提供されない。
本開示のいくつかの実施形態を上の図面で示してきたが、それによって本開示が限定されることを意図するものではなく、本開示が当該技術分野で可能な限り広い範囲を対象とすること、及び本明細書も同様に解釈されることが意図されている。したがって、上述の説明は、単に特定の実施形態の例示として解釈すべきであり、限定するものとして解釈すべきではない。
本開示による、かつ/又は図面に示される実施形態に関して上述した大部分の原理、要素、及び特徴は、それらが説明され/示される実施形態に限定されるものではなく、当業者が適切であると考える任意の組み合わせで、互いに、又は本開示による任意の他の実施形態に、必要な変更を加えて独立して適用されてもよいことを明らかにしておく。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862747786P | 2018-10-19 | 2018-10-19 | |
US62/747,786 | 2018-10-19 | ||
US201962807018P | 2019-02-18 | 2019-02-18 | |
US62/807,018 | 2019-02-18 | ||
US201962849508P | 2019-05-17 | 2019-05-17 | |
US62/849,508 | 2019-05-17 | ||
JP2021521094A JP2022505154A (ja) | 2018-10-19 | 2019-10-19 | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
PCT/IL2019/051133 WO2020079696A1 (en) | 2018-10-19 | 2019-10-19 | Systems and methods for generating and displaying a study of a stream of in vivo images |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521094A Division JP2022505154A (ja) | 2018-10-19 | 2019-10-19 | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023171651A true JP2023171651A (ja) | 2023-12-01 |
Family
ID=70283916
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521094A Pending JP2022505154A (ja) | 2018-10-19 | 2019-10-19 | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
JP2023177437A Pending JP2023171651A (ja) | 2018-10-19 | 2023-10-13 | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021521094A Pending JP2022505154A (ja) | 2018-10-19 | 2019-10-19 | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210345865A1 (ja) |
EP (1) | EP3866667A4 (ja) |
JP (2) | JP2022505154A (ja) |
KR (1) | KR20210086647A (ja) |
CN (1) | CN113015476A (ja) |
WO (1) | WO2020079696A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111936032B (zh) * | 2018-04-13 | 2024-03-26 | 富士胶片株式会社 | 图像处理装置、内窥镜系统及图像处理方法 |
JP7333811B2 (ja) | 2018-10-05 | 2023-08-25 | メドトロニック,インコーポレイテッド | 心臓頻脈性不整脈の多層予測 |
US11723577B2 (en) * | 2019-05-06 | 2023-08-15 | Medtronic, Inc. | Visualization of arrhythmia detection by machine learning |
US20200352466A1 (en) | 2019-05-06 | 2020-11-12 | Medtronic, Inc. | Arrythmia detection with feature delineation and machine learning |
US11776691B2 (en) | 2019-05-06 | 2023-10-03 | Medtronic, Inc. | Machine learning based depolarization identification and arrhythmia localization visualization |
US11475998B2 (en) | 2019-05-06 | 2022-10-18 | Medtronic, Inc. | Data preparation for artificial intelligence-based cardiac arrhythmia detection |
US11583687B2 (en) | 2019-05-06 | 2023-02-21 | Medtronic, Inc. | Selection of probability thresholds for generating cardiac arrhythmia notifications |
US11694804B2 (en) | 2019-05-06 | 2023-07-04 | Medtronic, Inc. | Reduced power machine learning system for arrhythmia detection |
US10671934B1 (en) | 2019-07-16 | 2020-06-02 | DOCBOT, Inc. | Real-time deployment of machine learning systems |
US11423318B2 (en) * | 2019-07-16 | 2022-08-23 | DOCBOT, Inc. | System and methods for aggregating features in video frames to improve accuracy of AI detection algorithms |
USD991278S1 (en) * | 2019-12-09 | 2023-07-04 | Ankon Technologies Co., Ltd | Display screen or portion thereof with transitional graphical user interface for auxiliary reading |
USD991279S1 (en) * | 2019-12-09 | 2023-07-04 | Ankon Technologies Co., Ltd | Display screen or portion thereof with transitional graphical user interface |
WO2021220279A1 (en) | 2020-05-01 | 2021-11-04 | Given Imaging Ltd. | Systems and methods for selecting images of event indicators |
US20230274422A1 (en) | 2020-09-08 | 2023-08-31 | Given Imaging Ltd. | Systems and methods for identifying images of polyps |
EP4211652A1 (en) * | 2020-09-08 | 2023-07-19 | Given Imaging Ltd. | Systems and methods for polyp size estimation |
EP3977909A1 (en) * | 2020-09-30 | 2022-04-06 | ENSEA - Ecole Nationale Supérieure de l'Electronique et de ses Applications | Device and method for producing a digital video classifier |
US11100373B1 (en) | 2020-11-02 | 2021-08-24 | DOCBOT, Inc. | Autonomous and continuously self-improving learning system |
US20230410295A1 (en) | 2020-11-19 | 2023-12-21 | Digestaid - Artificial Intelligence Development, Lda | Automatic detection of colon lesions and blood in colon capsule endoscopy |
US20240020829A1 (en) | 2020-11-19 | 2024-01-18 | Digestaid - Artificial Intelligence Development, Lda | Automatic detection of erosions and ulcers in crohn's capsule endoscopy |
US11948303B2 (en) | 2021-02-26 | 2024-04-02 | Capsovision Inc. | Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract |
EP4360102A1 (en) | 2021-06-24 | 2024-05-01 | Given Imaging Ltd. | Systems and methods for assessing gastrointestinal cleansing |
US20230036851A1 (en) * | 2021-07-27 | 2023-02-02 | International Business Machines Corporation | Path planning |
KR20230071409A (ko) * | 2021-11-16 | 2023-05-23 | 주식회사 아이도트 | 캡슐 내시경 영상 판독 시스템 |
WO2023089718A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
WO2023153069A1 (ja) * | 2022-02-09 | 2023-08-17 | 富士フイルム株式会社 | 医療画像装置、内視鏡システム、及び、診断書作成システム |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050075537A1 (en) * | 2003-10-06 | 2005-04-07 | Eastman Kodak Company | Method and system for real-time automatic abnormality detection for in vivo images |
US20050196023A1 (en) * | 2004-03-01 | 2005-09-08 | Eastman Kodak Company | Method for real-time remote diagnosis of in vivo images |
JP4441464B2 (ja) * | 2005-09-09 | 2010-03-31 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
US20070066875A1 (en) * | 2005-09-18 | 2007-03-22 | Eli Horn | System and method for identification of images in an image database |
US8423123B2 (en) | 2005-09-30 | 2013-04-16 | Given Imaging Ltd. | System and method for in-vivo feature detection |
JP4789607B2 (ja) * | 2005-12-05 | 2011-10-12 | オリンパスメディカルシステムズ株式会社 | 受信装置 |
US8900124B2 (en) * | 2006-08-03 | 2014-12-02 | Olympus Medical Systems Corp. | Image display device |
JP2008307122A (ja) * | 2007-06-12 | 2008-12-25 | Olympus Corp | 体内情報取得装置 |
EP2174578A4 (en) * | 2007-07-12 | 2013-07-03 | Olympus Medical Systems Corp | IMAGE PROCESSING DEVICE, YOUR OPERATING PROCESS AND YOUR PROGRAM |
JP2009022446A (ja) * | 2007-07-18 | 2009-02-05 | Given Imaging Ltd | 医療における統合表示のためのシステム及び方法 |
WO2010082993A2 (en) * | 2008-12-11 | 2010-07-22 | Mc10, Inc. | Systems, methods, and devices using stretchable or flexible electronics for medical applications |
US8446465B2 (en) * | 2010-01-05 | 2013-05-21 | Given Imaging Ltd. | System and method for displaying an image stream captured in-vivo |
US9060673B2 (en) * | 2010-04-28 | 2015-06-23 | Given Imaging Ltd. | System and method for displaying portions of in-vivo images |
US8792691B1 (en) * | 2011-01-06 | 2014-07-29 | Given Imaging Ltd. | System and method for detecting motion patterns of in vivo imaging devices |
JP5684300B2 (ja) * | 2013-02-01 | 2015-03-11 | オリンパスメディカルシステムズ株式会社 | 画像表示装置、画像表示方法、および画像表示プログラム |
EP3040016A4 (en) * | 2013-08-30 | 2017-04-19 | Olympus Corporation | Image management device |
US20170119236A1 (en) * | 2015-10-29 | 2017-05-04 | Elwha Llc | Lumen traveling device |
US20170272699A1 (en) * | 2016-02-01 | 2017-09-21 | Megan Stopek | Systems and methods for communicating with a fetus |
US11523772B2 (en) * | 2016-12-14 | 2022-12-13 | Biora Therapeutics, Inc. | Treatment of a disease of the gastrointestinal tract with an immunosuppressant |
-
2019
- 2019-10-19 US US17/286,641 patent/US20210345865A1/en active Pending
- 2019-10-19 WO PCT/IL2019/051133 patent/WO2020079696A1/en unknown
- 2019-10-19 CN CN201980075047.5A patent/CN113015476A/zh active Pending
- 2019-10-19 EP EP19873352.9A patent/EP3866667A4/en active Pending
- 2019-10-19 KR KR1020217014627A patent/KR20210086647A/ko unknown
- 2019-10-19 JP JP2021521094A patent/JP2022505154A/ja active Pending
-
2023
- 2023-10-13 JP JP2023177437A patent/JP2023171651A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022505154A (ja) | 2022-01-14 |
WO2020079696A9 (en) | 2020-07-30 |
EP3866667A1 (en) | 2021-08-25 |
KR20210086647A (ko) | 2021-07-08 |
EP3866667A4 (en) | 2022-04-20 |
US20210345865A1 (en) | 2021-11-11 |
WO2020079696A1 (en) | 2020-04-23 |
CN113015476A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023171651A (ja) | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 | |
JP6215236B2 (ja) | 生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法 | |
JP2015509026A5 (ja) | ||
JP4740212B2 (ja) | データストリームを表示するためのシステム及び方法 | |
US8423123B2 (en) | System and method for in-vivo feature detection | |
JP5972865B2 (ja) | 生体内画像の部分を表示するシステム及びその作動方法 | |
EP1847940B1 (en) | System for assessing a patient condition and method for processing related data | |
JP7034102B2 (ja) | 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法 | |
US20070060798A1 (en) | System and method for presentation of data streams | |
Riegler et al. | Eir—efficient computer aided diagnosis framework for gastrointestinal endoscopies | |
WO2015019556A1 (ja) | 症例表示装置、症例表示方法およびプログラム | |
KR102531400B1 (ko) | 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법 | |
US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
Sun et al. | A novel gastric ulcer differentiation system using convolutional neural networks | |
JP2007105458A (ja) | 画像データベースにおける画像の認識のためのシステム及び方法 | |
KR102637484B1 (ko) | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 | |
Phillips et al. | Video capsule endoscopy: pushing the boundaries with software technology | |
KR100921655B1 (ko) | 촬영 이미지에 대한 병증 소견 입력이 편리한 소화 기관의 이미지 프로세싱 시스템 | |
KR20220122312A (ko) | 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 | |
US20110184710A1 (en) | Virtual endoscopy apparatus, method for driving thereof and medical examination apparatus | |
JP2023549571A (ja) | セリアック病様疾患の指標を含む画像を識別するためのシステム及び方法 | |
Fujii et al. | Development of Operation Recording System of Gastrointestinal Endoscopy Procedures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231013 |