JP2022132180A - 人工知能基盤の胃内視鏡映像診断支援システム及び方法 - Google Patents

Abstract

【課題】使用者が医療映像を診断する過程で複数の医療映像分析アルゴリズムに対する信頼度及び正確度を含む評価スコアを提供することにより、使用者による医療映像診断結果の正確度を高める。【解決手段】人工知能に基づいて胃内視鏡映像診断を支援するシステム及び方法が開示される。システム内のプロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて胃内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出し、プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する。【選択図】図３

Description

本発明は自動化システムによって医療映像診断を支援する装置及び方法に関する。具体的には、人工知能基盤の医療映像分析アルゴリズムによって胃内視鏡検査を遂行するとき、胃内視鏡映像の診断を支援し、病変の漏れ危険を減らすことができるように支援する装置、システム及び方法に関する。

本発明は中小ベンチャー企業部及び韓国産業技術試験院の規制自由特区革新事業育成（Ｒ＆Ｄ）事業の一環として遂行した研究から導出されたものである［課題固有番号：１４２５１４５９５３、課題番号：Ｐ００１１３５２、課題名：アルゴリズム中心の医療ウェルネス情報サービス・機器開発プラットホーム実証］。

定期的な健康診断の目的で内視鏡診断は非常に頻繁に発生する医療行為である。このような内視鏡診断の際、実時間映像を処理して医療現場で専門家が病変を識別しやすいように前処理する技術に対する需要が存在する。最近には、米国公開特許第２０１８／０２５３８３９号“Ａ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｕｓｐｉｃｉｏｕｓ ｔｉｓｓｕｅ ｒｅｇｉｏｎｓ ｉｎ ａｎ ｅｎｄｏｓｃｏｐｉｃ ｐｒｏｃｅｄｕｒｅ”などでビデオフレームに対してノイズを除去する前処理過程を遂行し、ノイズ除去前処理過程とコンピュータ支援診断（ＣＡＤ、Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）過程を並列に遂行して実時間診断支援ディスプレイ情報を提供する技術が紹介されたことがある。

このような技術では、ＣＡＤモジュールの正確度と信頼度が非常に重要な要因と認識されている。

映像内客体を分割（ｓｅｇｍｅｎｔａｔｉｏｎ）または検出（ｄｅｔｅｃｔｉｏｎ）し、映像内客体を分類（ｃｌａｓｓｉｆｙ）する技術は映像処理で多様な用途に活用される。医療映像においては、映像の明度または強度値（ｉｎｔｅｎｓｉｔｙ）に基づいて映像内客体を分割、検出、分類する。この際、客体は人体の臓器（ｏｒｇａｎ）、病変（ｌｅｓｉｏｎ）であることができる。

映像処理過程の自動化において、近年人工神経回路網としてディープラーニング、コンボリューション神経回路網（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の導入は映像処理自動化プロセスの性能を飛躍的に向上させた。

しかし、一方で、ディープラーニング、ＣＮＮなどの最近の人工神経回路網は内部がブラックボックスに近くて、導出される結果が優れるといっても使用者がこれを全面的に収容して採択するのに拒否感がある。特に、人工神経回路網に対する拒否感は人間の生命を取り扱う分野である医療映像分野ではもっと重要に目立つ。

このような背景で、説明可能な人工知能（ｅｘｐｌａｉｎａｂｌｅ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｘ－ＡＩ）に対する研究が国防総省国防高等研究事業局（ＤＡＲＰＡ）などで試みられている(https://www.darpa.mil/program/explainable-artificial-intelligence)。ただ、いまだに可視的な成果は現れていない状況である。

医療分野で複雑な形態の病変を分割／検出し、分類／診断するための技術として複数の分割アルゴリズムを選択的に適用する技術が国際公開特許第ＷＯ２０１８／０１５４１４号の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ ＢＡＳＥＤ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ”などが紹介されたことがある。

前記先行文献では、映像分割の最終結果物を得るために、予備訓練された（ｐｒｅ－ｔｒａｉｎｅｄ）分割アルゴリズムを比較し、少なくともいずれか一つを選択する技法が適用される。

しかし、前記先行文献からも分割アルゴリズムを選択的に適用する基準が何かについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ、ｅｘｐｌａｎａｔｉｏｎ）を導出することができないから、臨床医（ｃｌｉｎｉｃｉａｎ）がこのような分割技法が臨床的にどのくらい有用であるかに対する信頼を高めにくいという問題がある。

また、韓国登録特許第１０－１９３８９９２号の“診断理由説明を生成するＣＡＤシステム及びその方法”では、病変診断に対する根拠情報を導出するために、ＤＮＮに基づいて抽出された特徴情報を連鎖的に融合して特徴ベクターを生成する技術が紹介された。しかし、前記韓国登録特許第１０－１９３８９９２号は、人工神経回路網が自ら特徴情報を導出するだけで、抽出された特徴情報が臨床的に有用な情報であるかに対する検証が全然遂行されないから、人工神経回路網の診断結果についての説明によってヒトが認識することができるであろうと言う根拠が希薄である。

このように、医療映像の診断過程でもブラックボックスのように実行される人工知能診断システムが結果を導出する過程を臨床的に信頼することができないという類似の問題点が依然として存在する。

公知の先行研究(S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial,")
では、胃内視鏡検査過程で病変の最大２５％が漏れることができるというのが知られている。このような現象は、イメージが有する問題、死角地帯、人の間違いによって現れると知られている。連続的で反復的な施術によって医師はたびたび疲労症状を表すので、病変が不十分に感知される。そして、人の間違いが病変漏れの原因になって検査の医療結果に否定的な影響を及ぼす。

米国公開特許第２０１８／０２５３８３９号公報 国際公開特許第ＷＯ２０１８／０１５４１４号公報 韓国登録特許第１０－１９３８９９２号公報 韓国登録特許第１０－１８５０３８５号公報 韓国登録特許第１０－１２３０８７１号公報

S. Kumar et al., "Adenoma miss rates associated with a 3 minute versus 6 minute colonoscopy withdrawal time: a prospective, randomized trial," Gastrointest. Endosc., vol. 85, no. 6, pp. 1273 1280, Jun. 2017, doi : 10.1016/j. gie.2016.11.030 （２０１７年６月） D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death," N Engl J Med., vol. 14, no. 3, pp. 1298 306, 2014, doi: 10.1056/NEJMoa1309086 （２０１４年４月)

最近ディープラーニング基盤の人工知能技法を適用して映像分割、映像内客体の検出、及び分類技法の性能を向上しようとする努力が続いている。しかし、ディープラーニング基盤の人工知能の場合、その動作から提供される結果物が偶然に高い性能を示すものであるか、その任務（ｔａｓｋ）に適切な判断過程を経たものであるかが使用者が分からないブラックボックス（ｂｌａｃｋ－ｂｏｘ）であるという点が活用可能性を制限している。

一方、説明の容易なルールに基づく（ｒｕｌｅ－ｂａｓｅｄ）方式の訓練または学習ではディープラーニング程度の成果が得られないという点で使用が制限されている。したがって、向上した性能を有しながらも記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ、ｅｘｐｌａｎａｔｉｏｎ）を提供することができるディープラーニング基盤の人工知能に対する研究が活発である。人工神経回路網を用いた映像処理を実際に応用することにあたり、特に医療映像分野では診断及び分類の根拠についての記述的情報が必要であるが、従来技術ではいまだに記述的情報を導出することができない状況である。

前述した先行文献第ＷＯ２０１８／０１５４１４号でもどの要素が最終的な分割（ｓｅｇｍｅｎｔａｔｉｏｎ）性能を向上させるのに影響を及ぼすかについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ、ｅｘｐｌａｎａｔｉｏｎ）を導出することができなく、分割過程で臨床医（ｃｌｉｎｉｃｉａｎ）が臨床的に有意味なフィードバックを提供しても、このフィードバックが実際にディープラーニングシステムに適切に適用されたかを確認することができる方法がない。

本発明の目的は、使用者が医療映像を診断する過程で複数の医療映像分析アルゴリズムに対する信頼度及び正確度を含む評価スコアを提供することにより、使用者による医療映像診断結果の正確度を高めることである。

本発明の目的は、使用者が人工知能医療映像分析アルゴリズムを使って最終的な診断結果を導出する過程に推薦情報を記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）として提供し、使用者が医療映像分析アルゴリズムに対する臨床的有用性を定量化した情報として提供することである。

本発明の目的は、複数の人工知能医療映像診断結果の最適化した組合せを実時間ビデオフレームのそれぞれに対するディスプレイ情報として生成して提供することである。

本発明の目的は、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を効率的に表示することができる複数の人工知能医療映像診断結果の最適化した組合せを提供することである。

本発明の目的は、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を自動で検出して提示することにより、内視鏡検査の途中に医療陣が実時間で確認して検討することができるようにする使用者インターフェース及び診断コンピューティングシステムを提供することである。

本発明の目的は、胃内視鏡映像の実時間ビデオフレームのそれぞれに対して人工知能医療映像診断結果に基づいて使用者が逃し得るポリプ、潰瘍、多様な胃腸疾患などを人工知能アルゴリズムで訓練させ、これを人工知能診断支援システムに適用することにより、業務効率性及び診断正確度を高めることである。

先行研究結果(D. A. Corley et al., "Adenoma Detection Rate and Risk of Colorectal Cancer and Death,")によれば、特に腺腫検出率の１．０％増加は癌発病率の３．０％減少と相関関係があると知られている。したがって、本発明によって病変検出率を高め、胃癌危険要因を早期になくして胃癌発病率を低めることを目的とする。さらに、医師が以前より多い病変を探して治療することができるようにして胃癌の原因を減らすのに寄与することを目的とし、検査の頻度を減らすのにも寄与することを目的とする。

本発明の目的は、使用者が胃内視鏡検査中に逃しやすい疾患を自動で検出し、胃腸経路（胃内視鏡経路）上での位置まで提示することにより、使用者が胃内視鏡検査の途中に実時間で容易に確認し、追後にこれを他の検査者が確認することができるレポートまで簡単な操作で生成することである。

本発明の適用対象である胃内視鏡映像の診断支援技術では、胃腸内の多様な病変などが胃腸壁やしわとともに位置しているとき、周辺組職と色の差がなく、そのサイズが小さければ逃しやすいという難しさがある。したがって、本発明の目的は人工知能によって多様な病変などを実時間で探知して胃腸内疾患発見率をより向上させることができる方法とともに胃腸内視鏡経路上での位置を提供して、追後に他の検査者がその病変などを再び確認することができるように助けることである。

本発明は前記従来技術の問題点を解決するための手段として導出されたものであり、本発明の一実施例による胃内視鏡映像診断支援システムはコンピューティングシステムを含み、コンピューティングシステムは、受信モジュールと、メモリまたはデータベースと、プロセッサと、使用者ディスプレイとを含む。受信モジュールは医療映像を受信するか入力され、メモリまたはデータベースは医療映像（胃内視鏡映像）に対する診断機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを保存する。

プロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて胃内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出し、プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する。

使用者ディスプレイは、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示し、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する。

プロセッサは、病変と疑心される部位の胃内視鏡経路上の位置を算出することができ、プロセッサは、病変と疑心される部位の存在有無、病変と疑心される部位の位置座標、及び病変と疑心される部位の胃内視鏡経路上の位置を含むディスプレイ情報を生成することができる。

使用者ディスプレイは、ディスプレイ情報に基づいて病変と疑心される部位の胃内視鏡経路上の位置を病変と疑心される部位と視覚的に連動するように表示することができる。

プロセッサは、現在検査部位を表示するビデオフレームの胃内視鏡経路上の位置を追跡することができ、プロセッサは、ビデオフレームの胃内視鏡経路上の位置及び病変と疑心される部位の位置座標に基づいて病変と疑心される部位の胃内視鏡経路上の位置を算出することができる。

プロセッサは、検査対象患者の３次元解剖学的構造を含む検査前獲得医療映像に基づいて病変と疑心される部位の胃内視鏡経路上の位置を算出することができる。

人工知能に基づく医療映像（胃内視鏡映像）分析アルゴリズムは、ビデオフレームのそれぞれに対して検出された病変の表示、病変のビデオフレーム内での位置座標、病変の胃内視鏡経路上の位置を含むラベル（ｌａｂｅｌ）をビデオフレームのそれぞれとともに訓練用データとして用いて訓練されることができる。したがって、プロセッサは、医療映像分析アルゴリズムを用いてビデオフレーム内の病変と疑心される部位の胃内視鏡経路上の位置を算出することができる。

本発明の実施例によって、受信モジュールは、少なくとも一つ以上の胃内視鏡映像獲得モジュールから少なくとも一つ以上の胃内視鏡映像を受信するか入力されることができる。ここで、プロセッサは、少なくとも一つ以上の医療映像分析アルゴリズムを用いて少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出することができる。プロセッサは、少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成することができる。

本発明の一実施例による胃内視鏡映像診断支援方法は、プロセッサ、及び使用者ディスプレイを含む胃内視鏡映像診断支援システムによって実行され、胃内視鏡映像診断支援システム内のメモリまたはデータベースに保存された胃内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを用いることができる。

本発明の方法は、胃内視鏡映像を受信するか入力される段階と、少なくとも一つ以上の医療映像分析アルゴリズムを用いて、プロセッサが胃内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、プロセッサが、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出する段階と、プロセッサが、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する段階と、使用者ディスプレイが、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示する段階と、使用者ディスプレイが、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する段階とを含む。

本発明によれば、胃内視鏡映像の実時間ビデオフレームのそれぞれに対して、人工知能医療映像診断結果に基づいて使用者が逃し得るポリプ、潰瘍、多様な胃腸疾患などを人工知能アルゴリズムで訓練させ、これを人工知能診断支援システムに適用することにより業務効率性及び診断正確度を高めることができる。

本発明によれば、病変などを早期に探知して、癌などに広がることができる状況を事前に予防することができる効果がある。多様なサイズの病変などとともに胃腸内視鏡上の位置までもラベル（ｌａｂｅｌ）に含まれて学習データとして用いられたので、本発明によれば、逃しやすい非常に小さなサイズの病変までも自動で探知して病変発見率を高めることができるというのはもちろんのこと、胃腸内視鏡映像経路上の位置までも抽出することができる。

本発明によれば、病変検出率を高め、胃癌危険要因を早期になくして胃癌発病率を低めることができる。さらに、医師が以前より多い病変を探して治療することができるようにすることにより、胃癌の原因を減らすのに寄与することができ、検査頻度を減らすのにも寄与することができる。

本発明によれば、使用者が胃内視鏡検査中に逃しやすい疾患を自動で検出し、胃腸経路（胃内視鏡経路）上での位置まで提示することにより、使用者が胃内視鏡検査の途中に実時間で確認し、追後にこれを他の検査者が確認することができるレポートまで簡単な操作で生成することができる。

本発明によれば、内視鏡映像の実時間ビデオフレームのそれぞれに対して人工知能医療映像診断結果の中で最適化した内容を提供することができる。

本発明によれば、複数の人工知能医療映像診断結果の中で実時間ビデオフレームのそれぞれに対して最適化した内容を提供することができる。

本発明によれば、複数の人工知能医療映像診断結果の最適化した組合せを実時間ビデオフレームのそれぞれに対するディスプレイ情報として生成して提供することができる。

本発明によれば、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を効率的に表示することができる複数の人工知能医療映像診断結果の最適化した組合せを提供することができる。

本発明によれば、現在ビデオフレームで診断される可能性が高いか、漏れる可能性が高いか、危険度が高い診断結果を自動で検出して提示することにより、内視鏡検査の途中に医療陣が実時間で確認して検討することができるようにする使用者インターフェース及び診断コンピューティングシステムを具現することができる。

本発明の一実施例によるマルチクライアント構造の胃内視鏡映像診断支援システム及び周辺機器を示す図である。 本発明の一実施例によるシングルクライアント構造の胃内視鏡映像診断支援システム及び周辺機器を示す図である。 本発明の一実施例による胃内視鏡映像診断支援システムのワークフローを示す図である。 本発明の一実施例による胃内視鏡映像とディスプレイ情報が一緒に表示される映像の実施例を示す図である。

前記目的の他に本発明の他の目的及び特徴は添付図面を参照した実施例についての説明から明らかになるであろう。
本発明の好適な実施例を添付図面に基づいて詳細に説明する。本発明の説明において、関連した公知の構成または機能についての具体的な説明が本発明の要旨をあいまいにする可能性があると判断される場合にはその詳細な説明は省略する。

最近急速に発展したディープラーニング／ＣＮＮ基盤の人工神経回路網技術は、映像分野に適用する場合、人間の肉眼で区分しにくい視覚的要素を区分する用途に考慮されている。このような技術の適用分野は、保安、医療映像、非破壊検査などの多様な分野に拡大する可能性が期待されている。

例えば、医療映像分野で、癌組職の中で生検（ｂｉｏｐｓｙ）状態で直ちに癌と判定されず、病理学的（ｐａｔｈｏｌｏｇｙ）観点で追跡モニタリングされてから初めて癌であるかが判定される場合がある。人間の肉眼では医療映像で該当細胞が癌であるかを確定診断しにくいが、人工神経回路網技術を適用する場合、人間の肉眼で観察するものより正確な予測結果を得ることができるという期待がある。

しかし、人工神経回路網技術が一部の研究で人間の肉眼より優れた予測／分類／診断結果を得ることができるといっても、人工神経回路網技術の適用によって得られた予測／分類／診断結果についての記述的情報が足りなくて医療現場でこれを収容して採択することは難しい点が問題として台頭する。

本発明は人工神経回路網技術を適用して人間の肉眼で分類しにくい映像内客体を分類／予測する性能を向上させようとする意図で導出された。また、人工神経回路網技術の分類／予測性能を向上させるためにも人工神経回路網技術の分類／予測過程に基づく最終診断結果の生成まで到逹する内部動作についての記述的情報を得ることは非常に重要である。

本発明は人工神経回路網に基づく複数の医療映像分析アルゴリズムのそれぞれの性能指標及び臨床的有用性を定量化した指標として提示することができる。これにより、人工神経回路網の分類／予測過程に基づく最終診断結果が導出される過程についての記述的情報を提供することができ、人工神経回路網の分類／予測／診断結果を人間使用者が採択するかに対するレファレンスを提供することができる。

従来技術の人工神経回路網を医療映像の診断に適用したとき、与えられた任務（ｔａｓｋ）のみに過適合（ｏｖｅｒｆｉｔ）されて統計的正確度は高いが、いくつかの臨床的に重要な診断ポイントでは正確度が低い場合がある。少なくない従来技術の人工神経回路網がこのような状況に置かれており、よって臨床医が人工神経回路網の適用された医療映像の診断結果に対して信頼しにくい状況が頻繁に発生する。このような危険性は、広く知られた人工神経回路網であるＩＢＭのＷａｔｓｏｎソリューションが、学習されたデータに含まれた患者の人種情報などに過適合されて新しい人種の患者のデータセットでは正確度が著しく低下するなどの問題点を露出しているということからより明らかである。

したがって、人工神経回路網の優れた診断潜在能力を最大限活用するとともに、臨床医がこのような診断結果を収容するかに対する定量化した指標を提供し、臨床医がこのような定量化した指標を生成するのに直接的なフィードバックを提供することができる経路を確保することは非常に重要である。

前述した米国公開特許第２０１８／０２５３８３９号の“Ａ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｕｓｐｉｃｉｏｕｓ ｔｉｓｓｕｅ ｒｅｇｉｏｎｓ ｉｎ ａｎ ｅｎｄｏｓｃｏｐｉｃ ｐｒｏｃｅｄｕｒｅ”、国際公開特許第ＷＯ２０１８／０１５４１４号の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ ＢＡＳＥＤ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ”、及び韓国登録特許第１０－１９３８９９２号の“診断理由説明を生成するＣＡＤシステム及びその方法”などでは、内視鏡映像の人工知能基盤の診断のための基本的な構成、すなわち内視鏡映像獲得モジュール、映像キャプチャー及び映像処理モジュール、獲得／キャプチャーされた内視鏡映像を分析エンジンの搭載されたコンピューティングシステムに伝達する送信／受信インターフェース（モジュール）、人工知能／人工神経回路網基盤の映像分析アルゴリズム／エンジンが保存されたメモリまたはデータベースなどについて開示した。

本発明では、これらの先行文献及び当該分野の従来技術で自明に把握することができるデータ保存手段、演算手段、人工神経回路網の基本概念及び構造、入力データ（映像）を伝達するための送受信インターフェースなどに対する事項を発明の具現のために必要とするが、これらの基本的な事項についての説明を詳細に記述することは本発明の要旨をあいまいにする可能性があるので、本発明の構成の中で本発明の出願前に当業者に公知となった内容は必要に応じてこの明細書で本発明の構成の一部として説明するが、当業者に自明な事実は発明の趣旨をあいまいにする可能性があると判断されば説明を省略することができる。

また、本明細書で省略された事項はこの出願明細書で引用している先行文献、例えば米国公開特許第２０１８／０２５３８３９号の“Ａ ｓｙｓｔｅｍ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｓｕｓｐｉｃｉｏｕｓ ｔｉｓｓｕｅ ｒｅｇｉｏｎｓ ｉｎ ａｎｅｎｄｏｓｃｏｐｉｃ ｐｒｏｃｅｄｕｒｅ”、国際公開特許第ＷＯ２０１８／０１５４１４号の“ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＡＲＴＩＦＩＣＩＡＬ ＩＮＴＥＬＬＩＧＥＮＣＥ ＢＡＳＥＤ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ”、及び韓国登録特許第１０－１９３８９９２号の“診断理由説明を生成するＣＡＤシステム及びその方法”などを介して当業者に公知となったことを知らせることで説明を代えることができる。

以下では、本発明の一実施例による医療映像診断支援装置及び方法を図１～図４に基づいて詳細に説明する。

図１は本発明の一実施例によるマルチクライアント構造の胃内視鏡映像診断支援システム及び周辺機器を示す図である。

第１胃内視鏡映像獲得モジュール１３２は、実時間で獲得される胃内視鏡映像を実時間で人工知能ワークステーション１２０に伝達するか、胃内視鏡映像のキャプチャーされた映像を人工知能ワークステーション１２０に伝達することができる。

第２胃内視鏡映像獲得モジュール１３４は、実時間で獲得される胃内視鏡映像を実時間で人工知能ワークステーション１２０に伝達するか、胃内視鏡映像のキャプチャーされた映像を人工知能ワークステーション１２０に伝達することができる。

ここで、人工知能ワークステーション１２０は、第１胃内視鏡映像獲得モジュール１３２及び第２胃内視鏡映像獲得モジュール１３４から受信される胃内視鏡映像（またはキャプチャー映像）を受信する入力／受信インターフェースモジュール（図示せず）を含むことができる。

人工知能ワークステーション１２０は、受信された／獲得された胃内視鏡映像のビデオフレームを人工知能サーバー１１０に伝達することができる。ここで、人工知能サーバー１１０に伝達される映像は標準化したＪＰＥＧフォーマットまたはＭＰＥＧフォーマットなどとして伝達されることができる。人工知能サーバー１１０も標準化フォーマットのビデオフレーム映像を受信する入力／受信インターフェースモジュール（図示せず）を含むことができる。

人工知能サーバー１１０は、人工知能アルゴリズム（医療映像分析アルゴリズム）１１２を用いてビデオフレーム／映像内の病変を検出及び判断することができる。

人工知能サーバー１１０内のプロセッサ（図示せず）は、与えられた映像データを人工知能アルゴリズム１１２に入力し、人工知能アルゴリズム１１２の分析結果を受信し、この過程で人工知能アルゴリズム１１２が保存されたメモリまたはストレージ（図示せず）とプロセッサとの間のデータ伝達過程を制御することができる。

人工知能サーバー１１０の出力インターフェースモジュール（図示せず）は、人工知能アルゴリズム１１２の分析結果を人工知能ワークステーション１２０に伝達することができる。ここで、伝達される情報はビデオフレーム内で病変と疑心される部位が検出されたか、病変と疑心される部位が検出された座標、病変と疑心される部位が病変である確率、病変と疑心される部位の胃腸または胃内視鏡経路上での位置を含むことができる。

人工知能ワークステーション１２０は、使用者ディスプレイ１２２に人工知能アルゴリズム１１２の分析結果を表示することができる。ここで、使用者ディスプレイ１２２に表示される情報は、現在表示される胃内視鏡映像のビデオフレーム内で病変と疑心される部位が検出されたか、ビデオフレーム内で病変と疑心される部位が視覚的に区分されるように視覚化（例えば、ハイライト、ボックス形態で病変疑心部位を表示）、病変疑心部位のビデオフレーム内での位置座標、及び病変疑心部位の胃腸または胃内視鏡経路上での位置を含むことができる。

ここで、使用者ディスプレイ１２２には複数の胃内視鏡映像が実時間で同時に表示されることができる。画面上のウィンドウごとに個別的に胃内視鏡映像ビデオフレームが一つずつ表示されることができる。

実時間検診で使用者が胃内視鏡映像で直ちに病変危険部位を見つけて措置を取れば大きな問題がないが、使用者が実時間検診で病変危険部位を逃した場合、従来技術では漏れた病変危険部位を再診断することは事実上不可能であった。

本発明では、キャプチャーされたビデオフレームを他の使用者が後に再確認することもでき、既に内視鏡が前進した状態でも以前のビデオフレームを再び呼び出して漏れた病変危険部位を再診断することができ、内視鏡検査が終わった後にもビデオフレーム内での危険部位の位置座標及び胃内視鏡経路上での位置を一緒に提供することにより、危険部位の位置識別が可能であって後続の措置を取ることができるようにする効果がある。

図１では、説明の便宜上、人工知能ワークステーション１２０と人工知能サーバー１１０とが分離された実施例が示されたが、これは本発明の一実施例に過ぎないだけで、本発明の他の実施例によれば、人工知能ワークステーション１２０と人工知能サーバー１１０とが単一のコンピューティングシステム内で結合されたままで具現されることもできるというのは当業者に自明である。

図２は本発明の一実施例によるシングルクライアント構造の胃内視鏡映像診断支援システム及び周辺機器を示す図である。

胃内視鏡映像獲得モジュール２３２は、実時間で獲得される胃内視鏡映像を実時間で人工知能ワークステーション２２０に伝達するか、胃内視鏡映像のキャプチャーされた映像を人工知能ワークステーション２２０に伝達することができる。

ここで、人工知能ワークステーション２２０は、胃内視鏡映像獲得モジュール２３２から受信される胃内視鏡映像（またはキャプチャー映像）を受信する入力／受信インターフェースモジュール（図示せず）を含むことができる。

人工知能ワークステーション２２０は、人工知能アルゴリズム（医療映像分析アルゴリズム）２１２を用いてビデオフレーム／映像内の病変を検出及び判断することができる。

人工知能ワークステーション２２０内のプロセッサ（図示せず）は、与えられた映像データを人工知能アルゴリズム２１２に入力し、人工知能アルゴリズム２１２の分析結果を受信し、この過程で人工知能アルゴリズム２１２が保存されたメモリまたはストレージ（図示せず）とプロセッサとの間のデータ伝達過程を制御することができる。

人工知能ワークステーション２２０の出力インターフェースモジュール（図示せず）は人工知能アルゴリズム２１２の分析結果をディスプレイ情報として生成し、ディスプレイ情報を使用者ディスプレイ２２２に伝達することができる。ここで、伝達される情報は、ビデオフレーム内で病変と疑心される部位が検出されたか、病変と疑心される部位が検出された座標、病変と疑心される部位が病変である確率、及び病変と疑心される部位の胃腸または胃内視鏡経路上での位置を含むことができる。

人工知能ワークステーション２２０は、使用者ディスプレイ２２２に人工知能アルゴリズム２１２の分析結果を表示することができる。ここで、使用者ディスプレイ２２２に表示される情報は、現在表示される胃内視鏡映像のビデオフレーム内で病変と疑心される部位が検出されたか、ビデオフレーム内で病変と疑心される部位が視覚的に区分されるようにする視覚化（例えば、ハイライト、ボックス形態で病変疑心部位を表示）、病変疑心部位のビデオフレーム内での位置座標、及び病変疑心部位の胃腸または胃内視鏡経路上での位置を含むことができる。

図３は本発明の一実施例による胃内視鏡映像診断支援システムのワークフローを示す図である。

本発明の一実施例による胃内視鏡映像診断支援システムはコンピューティングシステムを含み、コンピューティングシステムは、受信モジュール、メモリまたはデータベース、プロセッサ、及び使用者ディスプレイを含む。受信モジュールは医療映像を受信するか入力され、メモリまたはデータベースは医療映像（胃内視鏡映像）に対する診断機能を有する少なくとも一つ以上の医療映像分析アルゴリズム３１２を保存する。

胃内視鏡検査映像獲得モジュール３３２は、実時間で獲得される胃内視鏡映像を胃内視鏡映像診断支援システムに伝達するか、胃内視鏡検査映像キャプチャーモジュール３３４が胃内視鏡映像をキャプチャーして胃内視鏡映像診断支援システムに伝達することができる。

プロセッサは、胃内視鏡映像及び／またはキャプチャー映像の黒い縁部を除去するクロッピング（ｃｒｏｐｐｉｎｇ）、回転／ティルティング、映像明度値の補正などを含む映像処理３２０を遂行することができる。

プロセッサは、少なくとも一つ以上の医療映像分析アルゴリズム３１２を用いて胃内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出し、プロセッサは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出し、プロセッサは、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含む分析結果３１４を生成する。プロセッサは、分析結果３１４に基づいて胃内視鏡映像とともに表示されるディスプレイ情報を生成する。

使用者ディスプレイは、胃内視鏡映像とともに分析結果３１４を表示する（３２２）。すなわち、使用者ディスプレイは、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示し（３２２）、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する（３２２）。

プロセッサは、病変と疑心される部位の胃内視鏡経路上の位置を算出することができ、病変と疑心される部位の存在有無、病変と疑心される部位の位置座標、及び病変と疑心される部位の胃内視鏡経路上の位置を含むディスプレイ情報を生成することができる。ここで、プロセッサは、胃内視鏡機器上のセンサーの情報及び／または人工知能アルゴリズム３１２の分析結果３１４に基づいて病変と疑心される部位の胃内視鏡経路上の位置を算出することができる。

使用者ディスプレイは、ディスプレイ情報に基づいて病変と疑心される部位の胃内視鏡経路上の位置を病変と疑心される部位と視覚的に連動するように表示することができる（３２２）。

プロセッサは、現在検査部位を表示するビデオフレームの胃内視鏡経路上の位置を追跡することができ、プロセッサは、ビデオフレームの胃内視鏡経路上の位置及び病変と疑心される部位の位置座標に基づいて病変と疑心される部位の胃内視鏡経路上の位置を算出することができる。

プロセッサは、検査対象患者の３次元解剖学的構造を含む検査前獲得医療映像に基づいて病変と疑心される部位の胃内視鏡経路上の位置を算出することができる。

内視鏡映像とともに表示されたディスプレイ情報を使用者が最終確認し（３２４）、当該ディスプレイ情報の病変危険部位を病変と承認するか、病変ではないものに否定するか、病変と承認された場合、病変に対する後続措置を遂行するか、以後の措置を遂行するためにレポートを作成することで内視鏡検査過程を終了することができる。

人工知能に基づく医療映像（胃内視鏡映像）分析アルゴリズム３１２は、ビデオフレームのそれぞれに対して検出された病変の表示、病変のビデオフレーム内での位置座標、病変の胃内視鏡経路上の位置を含むラベル（ｌａｂｅｌ）をビデオフレームのそれぞれとともに訓練用データとして用いて訓練されることができる。したがって、プロセッサは、医療映像分析アルゴリズム３１２を用いてビデオフレーム内の病変と疑心される部位の胃内視鏡経路上の位置を算出して分析結果３１４として提供することができる。

本発明の実施例で、内視鏡映像が示す経路上の現在位置を識別する主な手段は内視鏡映像に対する学習と推論に主に依存することができる。

ここで、内視鏡映像に対する学習と推論に依存して（胃内視鏡または大腸内視鏡）経路上の現在位置を識別すれば、学習に用いられる内視鏡映像のラベル（ｌａｂｅｌ）は、フレームごとに別に内視鏡の（胃内視鏡または大腸内視鏡）経路上の位置と、検出／確認（生検によって実際に確認された映像）された病変情報を含むことができる。

本発明の他の実施例で、内視鏡映像に対する学習と推論が大腸内経路上の現在位置を識別するための主な手段であるが、映像分析によって内視鏡映像のフレームの進行速度などを推定して現在位置を識別する手段を付加的に結合して現在位置をより正確に識別することができる。

また、一般的には内視鏡施術前にＣＴ映像の撮影が難しくて内視鏡映像のみに依存して大腸内経路上の現在位置を識別しなければならないが、仮に内視鏡施術前にＣＴ映像の撮影が可能であれば、本発明の他の実施例では、施術前に撮影されたＣＴ映像などに基づいて再構成される内視鏡検査対象（胃または大腸など）の３Ｄモデルに関連させて現在位置を識別することもできる。

ここで、ＣＴ映像に基づく大腸の３Ｄモデルは本出願人の既存特許である仮想内視鏡映像技術などと結合して具現することができる（韓国登録特許第１０－１８５０３８５号、または韓国登録特許第１０－１２３０８７１号）

また、本発明の他の実施例によって、内視鏡検査対象（胃または大腸など）内の内視鏡経路上の現在位置を識別するとき、全面的に映像分析のみに依存せず、内視鏡または内視鏡装置に設けられたセンサー（内視鏡が人体に投入された長さを検出することができるセンサー）に関連させて補正（補償）することもできる。

本発明の実施例によって、受信モジュールは、少なくとも一つ以上の胃内視鏡映像獲得モジュールから少なくとも一つ以上の胃内視鏡映像を受信するか入力されることができる。ここで、プロセッサは、少なくとも一つ以上の医療映像分析アルゴリズム３１２を用いて少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出することができる。プロセッサは、少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成することができる。

本発明の他の実施例による医療映像診断支援方法は、医療映像に対する診断を支援する診断支援システム（コンピューティングシステム）内のプロセッサによって実行され、プロセッサにロードされるプログラムインストラクションに基づいて実行される。

本発明の一実施例による胃内視鏡映像診断支援方法は、プロセッサ、及び使用者ディスプレイを含む胃内視鏡映像診断支援システムによって実行され、胃内視鏡映像診断支援システム内のメモリまたはデータベースに保存された胃内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを用いることができる。

本発明の方法は、胃内視鏡映像を受信するか入力される段階と、少なくとも一つ以上の医療映像分析アルゴリズムを用いて、プロセッサが胃内視鏡映像のビデオフレームを分析し、ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、プロセッサが、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出する段階と、プロセッサが、病変と疑心される部位の存在有無及び病変と疑心される部位の位置座標を含むディスプレイ情報を生成する段階と、使用者ディスプレイが、ビデオフレーム内に病変と疑心される部位が存在すれば、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示する段階と、使用者ディスプレイが病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する段階とを含む。

ここで、本発明の方法は、前記プロセッサが前記病変と疑心される部位の胃内視鏡経路上の位置を算出する段階をさらに含むことができる。

本発明の方法の前記ディスプレイ情報を生成する段階は、前記プロセッサによって、前記病変と疑心される部位の存在有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記胃内視鏡経路上の位置を含む前記ディスプレイ情報を生成することができる。

本発明の方法の前記使用者ディスプレイが前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階は、前記使用者ディスプレイによって、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記胃内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示することができる。

本発明の方法の前記胃内視鏡映像を受信するか入力される段階は、少なくとも一つ以上の胃内視鏡映像獲得モジュールから少なくとも一つ以上の胃内視鏡映像を受信するか入力されることができる。

本発明の方法の前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階は、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出することができる。

本発明の方法の前記ディスプレイ情報を生成する段階は、前記少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成することができる。

図４は本発明の一実施例による胃内視鏡映像とディスプレイ情報が一緒に表示される映像の実施例を示す図である。
ディスプレイ情報は、病変と疑心される部位の存在有無、病変と疑心される部位の位置座標（現在ビデオフレーム内での位置座標）、及び病変と疑心される部位の胃内視鏡経路上の位置を含むことができる。

胃内視鏡映像のビデオフレーム上で、病変と疑心される部位は、図４のように、ビデオフレーム内の他の部分と視覚的に区別されるように視覚化される。ここで、図４のように、マーカー／ボックスなどの視覚化要素で表現することもでき、当該領域をハイライトで表現することもできる。

また、位置情報及び病変が実際に病変である確率（人工知能によって推論された確率）がディスプレイ情報に含まれて病変と疑心される部位の視覚化要素に近接するか関連性を使用者が直観的に理解することができるように視覚化することができる。

本発明の一実施例による胃内視鏡映像の人工知能分析アルゴリズムの学習過程で訓練用入力データは次を含む。訓練用入力データとして用いられる胃内視鏡映像は、映像獲得機器（胃内視鏡映像獲得モジュール）が支援する解像度によってそれぞれ異なるサイズの黒色背景を含む映像からなっている。胃内視鏡映像情報のみを使うために、学習を遂行するに先立ち、内視鏡部分抽出（ｃｒｏｐｐｉｎｇ）を実行する。学習段階で、病変などの検出のための情報とともに胃腸内視鏡経路上での位置も一緒に（ラベル情報に含まれて）学習され、最終的に病変などが位置する座標値、病変確率、経路上での位置結果に対する学習を遂行することができる。

学習の後、実時間映像に対する推論（ｉｎｆｅｒｅｎｃｅ）過程では、使用者画面に分析された結果値を視覚的に区分可能な視覚化要素を用いて表示する。使用者の漏れ危険をもっと減らすために、危険部位が発見された場合には、警報音を一緒に用いることによって使用者の注意を引くことができる。危険部位の種類、危険部位が病変である確率、危険部位が視野上の死角地帯に位置して漏れ危険が高い場合には、警報音を異にして使用者の注意をもっと集中させることができる。

訓練用データの生成の際、データの特定の偏向性（内視鏡機器の色相、明度、解像度、またはティルティング）などによる過適合（ｏｖｅｒｆｉｔｔｉｎｇ）を解消するために、データ増殖（ａｕｇｍｅｎｔａｔｉｏｎ）を実行することができる。データの増殖は、イメージデータの回転／ティルティング、移動、対称、色相／明度／解像度の補正などによって遂行することができる。

また、過適合を防ぐための方法の一例として、加重値規制、ドロップアウト追加、ネットワーク容量調節（減少）などの多様な方法を用いることができる。

図１～図４の実施例では、内視鏡映像診断獲得モジュール／内視鏡装備から実時間映像獲得モジュールが実時間内視鏡映像を獲得する。実時間映像獲得モジュールは、実時間内視鏡映像を診断支援システムに伝送する。診断支援システムは、少なくとも二つ以上の人工知能アルゴリズムを含み、実時間内視鏡映像に少なくとも二つ以上の人工知能アルゴリズムを適用して診断情報を含むディスプレイ情報を生成する。診断支援システムは、ディスプレイ情報を使用者システムに伝達し、使用者システムは、実時間内視鏡映像にディスプレイ情報をオーバーレイするか、実時間内視鏡映像とディスプレイ情報を一緒に表示することができる。

実時間内視鏡映像は個別的な映像フレームに区分されることができる。ここで、内視鏡映像フレームは受信モジュールによって受信されるか入力されることができる。

診断支援システム（コンピューティングシステム）は、受信インターフェースモジュール、プロセッサ、伝送インターフェースモジュール、及びメモリ／ストレージを含む。プロセッサは、内部的にハードウェアまたはソフトウェアによって機能が具現されるサブモジュールを含む。プロセッサは、文脈に基づく診断要件を抽出する第１サブモジュール、人工知能診断アルゴリズムが内視鏡映像フレームに適用されて生成される診断結果の中で表示される人工知能分析結果を選定する第２サブモジュール、及び使用者システムの画面に表示されるディスプレイ情報を生成する第３サブモジュールを含むことができる。

複数の人工知能診断アルゴリズムは診断コンピューティングシステム内部のメモリまたはデータベース（図示せず）に保存され、プロセッサの制御によって内視鏡映像フレームに適用され、内視鏡映像フレームに対する診断結果を生成することができる。

図１～図４の実施例では、複数の人工知能診断アルゴリズムが診断コンピューティングシステム内部のメモリまたはデータベース（図示せず）に保存されてプロセッサの制御によって駆動される場合を示したが、本発明の他の実施例によっては、複数の人工知能診断アルゴリズムが診断コンピューティングシステムの外部のメモリまたはデータベース（図示せず）に保存されることもできる。複数の人工知能診断アルゴリズムが診断コンピューティングシステムの外部のメモリまたはデータベース（図示せず）に保存される場合には、複数の人工知能診断アルゴリズムが内視鏡映像フレームに適用され、内視鏡映像フレームに対する診断結果が生成されるように、プロセッサが伝送モジュールを介して診断コンピューティングシステムの外部のメモリまたはデータベース（図示せず）を制御することができる。ここで、生成された診断結果は受信モジュールを介して診断コンピューティングシステムに伝達され、プロセッサは診断結果に基づいてディスプレイ情報を生成することができる。

プロセッサは、医療映像のビデオフレームである内視鏡映像フレームを分析して内視鏡映像フレームに対する診断要件を抽出する。プロセッサは、診断要件に基づいて複数の医療映像分析アルゴリズムの中で内視鏡映像フレームに対する診断を実行する複数の診断適用アルゴリズムを選択し、プロセッサは、内視鏡映像フレームに前記複数の診断適用アルゴリズムを適用して内視鏡映像フレームに対する診断結果を含むディスプレイ情報を生成する。このような過程は、内視鏡映像フレームのそれぞれに対してプロセッサによって実行される。

プロセッサは、内視鏡映像フレームを分析して内視鏡映像フレームの特性に対応する文脈基盤の診断要件を抽出することができる。プロセッサは、文脈基盤の診断要件に基づいて内視鏡映像フレームに対する診断を実行する複数の診断適用アルゴリズムを選択することができる。

プロセッサは、文脈基盤の診断要件に基づいて複数の診断適用アルゴリズムの組合せを選択することができる。プロセッサは、内視鏡映像フレームに複数の診断適用アルゴリズムの組合せを適用して内視鏡映像フレームに対する診断結果を含むディスプレイ情報を生成することができる。

複数の診断適用アルゴリズムの組合せは、文脈基盤の診断要件に基づいて内視鏡映像フレームに対して優先的に推薦される第１診断適用アルゴリズム、及び第１診断適用アルゴリズムの特性に基づいて文脈基板診断要件の中で導出される補完診断要件に基づいて推薦される第２診断適用アルゴリズムを含むことができる。

文脈基盤の診断要件は、内視鏡映像フレームが含む人体のボディーパート、人体の臓器（ｏｒｇａｎ）、内視鏡映像フレームが前記人体の臓器内で示す相対的位置、内視鏡映像フレームに係わる病変の発生確率、内視鏡映像フレームに係わる病変の危険度、内視鏡映像フレームに係わる病変の識別難易度、及びターゲット病変の種類の中で少なくとも一つ以上を含むことができる。内視鏡映像フレームがどの臓器に対するものであるかが特定されれば、例えば内視鏡映像フレームが大腸内視鏡（ｃｏｌｏｎｏｓｃｏｐｙ）映像に係わる場合には、現在映像フレームに表示される映像が大腸内視鏡映像の開始部分であるか、中間部分であるか、最終部分であるかについての情報が大腸内での相対的な位置（臓器の入口、中間、終端部）とともに識別されることができる。胃内視鏡（ｇａｓｔｒｏｓｃｏｐｙ）映像の場合には、現在映像フレームに表示される映像が胃内視鏡映像の開始部分であるか（例えば、食道）、中間部分であるか（胃腸の入口）、終端部分であるかについての情報が胃内視鏡経路上での相対的な位置とともに識別されることができる。

これにより、識別された位置及び部位で発生する可能性が高い病変／疾患の種類、肉眼で識別し易くなくて医療陣が見逃す可能性が高い病変／疾患の種類、現在映像フレーム内で視覚的に識別しやすくない病変／疾患に対する診断情報、現在映像フレームが示す人体臓器内での位置で発生する可能性がある病変／疾患の中で危険度／致死率が高くて注意が必要な病変／疾患の種類などに基づいて文脈基盤の診断要件を抽出することができる。ここで、文脈基盤の診断要件は、前述した情報に基づいて現在映像フレームに関連して優先的に考慮しなければならないターゲット病変／疾患の種類についての情報も含むことができる。

ディスプレイ情報は、内視鏡映像フレーム、内視鏡映像フレーム上に選択的にオーバーレイされる診断結果、診断結果を生成した診断適用アルゴリズムの情報、及び診断適用アルゴリズムに対する評価スコアを含むことができる。診断適用アルゴリズムに対する評価スコアを算出する過程は、前述した図１～図２の実施例で評価スコアを算出する過程を用いることができる。

人工知能診断アルゴリズムは、評価スコアの高い順に診断を適用するとき、優先順位を適用することができるが、追加的に考慮すべきいくつかの変数が存在する。

１順位のＡＩアルゴリズムが当該内視鏡映像で発生可能な病変の一部のみを検出し、後順位のＡＩアルゴリズムが１順位アルゴリズムが検出することができなかった内容を検出している場合、１順位ＡＩアルゴリズム診断結果と後順位のＡＩアルゴリズム診断結果を一緒に表示することができる。また、使用者がこのような基準によって最終的な診断適用ＡＩアルゴリズムを選択することができるメニューを提供し、使用者の選択を助けることができるように複数のＡＩアルゴリズムの診断結果及びその診断結果を一緒に表示する理由についての説明を一緒に表示することができる。

例えば、現在映像フレーム内で発生する可能性が最も高い病変の種類として病変Ａ１、Ａ２が知られており、発生可能性がＡ１、Ａ２よりは低いが視覚的に識別しにくくて見逃す可能性がある病変Ｂが知られていると仮定する。病変Ａ１、Ａ２に対して最も高い評価スコアを獲得した人工知能診断アルゴリズムＸが全体的に最も高い評価スコアを獲得し、優先的に推薦される第１診断適用アルゴリズムとして選択されることができる。ここで、第１診断適用アルゴリズムが病変Ａ１、Ａ２に対しては最も高い評価スコアを獲得したが、病変Ｂに対しては基準値未満の評価スコアを獲得する場合があり得る。ここで、第１診断適用アルゴリズムが基準値未満の性能を示す病変Ｂは補完診断要件と指定されることができる。第２診断適用アルゴリズムは補完診断要件である病変Ｂに対して最も高い評価スコアを獲得した人工知能診断アルゴリズムＹとして選択されることができる。第１診断適用アルゴリズムと第２診断適用アルゴリズムの組合せは、全体的な診断情報に対する信頼性、正確性などの評価スコアが高い組合せでありながらも特定の病変／疾患に対する診断情報が見逃されるか、特定の病変／疾患に対する診断性能が脆弱ではないように選択されることができる。したがって、第２診断適用アルゴリズムは、全体的な評価スコアが均一に高い人工知能診断アルゴリズムよりは第１診断適用アルゴリズムが脆弱な補完診断要件で一番優れた性能を示す人工知能診断アルゴリズムが選択されるように診断適用アルゴリズムを選択する論理条件が設計されることができる。

前記実施例で、２個の診断適用アルゴリズムが選択される場合を例として挙げたが、評価スコアによって３個以上の診断適用アルゴリズムの組合せがもっと優れた性能を示す場合、３個以上の診断適用アルゴリズムを選択して適用する実施例もこの出願明細書に記載した事項によって具現することができる。

図１～図４の実施例は、内部的な評価スコアが高いＡＩ診断アルゴリズムが適用された診断結果を提示し、使用者が評価スコア上位のＡＩ診断アルゴリズムが適用された診断結果を選択することができる実施例である。図１～図４の実施例では、実時間内視鏡映像に対して早く診断結果を表示しようとする目的で導出した構成が開示される。したがって、図１～図４の実施例では、文脈基盤の診断要件に基づいて現在ビデオフレームに対して表示されるＡＩ診断アルゴリズムの組合せを優先的に選択した後、これらの組合せによる診断結果をディスプレイ情報として生成して使用者にビデオフレームとともに提供する。

ここで、現在ビデオフレームで発生する可能性が高い病変／疾患の種類、現在ビデオフレームで発生する可能性が高いが視覚的に識別しにくくて医療陣が見逃す可能性が高い病変／疾患の種類、及び現在ビデオフレームで発生し得る病変／診断の中で危険度／致死率が高くて注意が必要な病変／疾患の種類などが文脈基盤の診断要件に含まれることができる。また、病変／疾患の種類及び特性に基づいて現在ビデオフレームで見逃してはいけないターゲット病変／疾患の種類、及びターゲット病変／疾患の種類の優先順位が文脈基盤の診断要件に含まれることができる。

本発明の診断結果導出及びディスプレイ情報は、病院内で使われる場合、内視鏡データを受けて分析した後、人工知能診断支援結果を表示することができる使用者インターフェースを有する使用者システムによって表示され、使用者入力に基づいて診断結果を確定するか、診断結果を交替するか、診断結果に対する収容または拒否を決定することができる。

プロセッサは、前記ディスプレイ情報を内視鏡映像フレームに連結して前記データベースに保存することができる。ここで、データベースは診断コンピューティングシステム内部のデータベースであることができ、今後患者に対する医務記録として保存されることができる。

プロセッサは、前記ディスプレイ情報及び内視鏡映像フレームが連結された外部保存データを生成し、前記外部保存データを伝送モジュールを介して外部のデータベースに保存されるように前記外部のデータベースに伝送することができる。ここで、外部のデータベースは、ＰＡＣＳデータベース、またはクラウドに基づいて具現されたデータベースであることができる。

ここで、複数の医療映像分析アルゴリズムは人工神経回路網を用いる人工知能アルゴリズムであり、プロセッサは、診断要件／文脈基盤の診断要件のそれぞれによる評価スコアを複数の医療映像分析アルゴリズムのそれぞれについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）として生成することができる。

本発明の診断支援システムは、内部的に少なくとも二つ以上の人工知能診断アルゴリズムを含むことができる。３個以上の内視鏡装備から内視鏡映像データが診断支援システムに伝達される。診断支援システムは、内視鏡映像データのそれぞれのフレームごとに少なくとも二つ以上の人工知能診断アルゴリズムを適用して診断結果を生成する。診断支援システムは、内視鏡映像データのそれぞれのフレームごとに診断結果を連結してディスプレイ情報を生成する。ここで、ディスプレイ情報は、内視鏡映像データが生成された病院の識別情報（病院Ａ）を含んで生成されることができる。また、ディスプレイ情報は各病院の内視鏡装備ごとに与えられる識別情報（内視鏡１、内視鏡２、内視鏡３）を含んで生成されることができる。

本発明のシステムは、生成されたディスプレイ情報をクラウド基盤のデータベースに伝送し、クラウド基盤のデータベースには内視鏡映像データが生成された内視鏡装備、及び生成された病院が識別されて内視鏡映像データ及びディスプレイ情報が保存される。ディスプレイ情報は内視鏡映像データのそれぞれのフレームごとに診断情報が連結されて生成されて保存される。内視鏡映像データのそれぞれのフレームごとに生成される診断情報は、図１～図４の実施例で説明したように、評価スコア及び文脈基盤の診断要件に基づいて自動で生成されることができる。

クラウド環境で本発明が適用される場合、無線通信網で連結された装備を用いて内視鏡映像データ及び診断結果を病院側の使用者システムで受信し、人工知能診断支援結果を使用者システム上に表示することができる。

クラウドデータベースに保存されたディスプレイ情報は、患者が指定した病院に提供されることができ、患者は自分が近付きやすい病院で自分の内視鏡映像データ及び診断情報を受信し、当該病院で医師の診断結果に対する解釈及び後続の診断を受けることができる。

従来技術の医療陣の診断用コンピュータ端末では、人工知能アルゴリズムが適用された結果を用いて診断結果が生成される。ここで、診断結果を生成する過程では医療陣のコメントが加わることができる。

本発明が適用された医療映像診断支援装置／システムでは、評価スコアであるＩ－Ｓｃｏｒｅがコンピューティングシステムから医療陣の診断用コンピュータ端末に伝達される。診断結果の生成に評価スコアであるＩ－Ｓｃｏｒｅが反映されて最終診断文が生成されることができる。本発明の一実施例によって、コンピューティングシステムは、評価スコアであるＩ－Ｓｃｏｒｅとともに診断文を生成して医療陣のコンピューティングシステムに伝達することができる。ここで、コンピューティングシステムで生成される診断文は、評価スコアであるＩ－Ｓｃｏｒｅが高い診断適用アルゴリズムに基づく診断結果を用いて作成されることができる。

コンピューティングシステムは、内部的に計算した評価スコアであるＩ－Ｓｃｏｒｅを用いて推薦診断結果を選択することができ、評価スコアが一緒に表示されるので、診断医（ｒａｄｉｏｌｏｇｉｓｔ）は当該推薦診断（例えば、診断医の診断結果と一致する推薦診断アルゴリズム）に対する診断信頼度などを評価／確認することができる使用者インターフェースを提供することができる。コンピューティングシステムのプロセッサは、評価スコアに基づいて複数の診断結果の中で第１診断結果及び第２診断結果を推薦診断結果として選択することができる。プロセッサは、第１診断アルゴリズムに対する評価スコア、第１診断結果、第２診断アルゴリズムに対する評価スコア、及び第２診断結果を含むディスプレイ情報を生成することができる。

コンピューティングシステムは、診断アルゴリズムの信頼度点数、診断アルゴリズムの正確度点数、及びフィードバックを提供した診断医の評価信頼度点数に基づいて評価スコアを生成することができる。プロセッサは、複数の診断結果及び複数の診断結果に対する使用者のフィードバックに基づいて複数の医療映像分析アルゴリズムのそれぞれに対する信頼度点数、複数の医療映像分析アルゴリズムのそれぞれに対する正確度点数、及び前記複数の医療映像分析アルゴリズムのそれぞれに対する前記使用者の評価信頼度点数を下位評価項目として生成し、前記下位評価項目に基づいて前記評価スコアを生成することができる。

例えば、評価スコアの生成基準は次のように具現することができる。
（数式１）
Ｉ－Ｓｃｏｒｅ＝ａｘ（ＡＩアルゴリズムの信頼度点数）＋ｂｘ（ＡＩアルゴリズムの正確度点数）＋ｃｘ（ＡＩアルゴリズムに対する診断医の評価信頼度点数）

アルゴリズムの信頼度点数は、診断医が各アルゴリズムに対して付与することができる。すなわち、第１診断結果及び第２診断結果の中で第１診断結果がより正確であると判断されれば、第１診断結果に対して高い信頼度点数を付与することができる。

アルゴリズムの正確度点数は、別途の付与過程なしに診断医が各アルゴリズムの診断結果を収容する程度によって決定されることができる。例えば、第１診断結果が１０個の病変疑心位置を提示したが、診断医が９個の病変疑心位置を承認すれば、正確度点数は９０／１００として与えられることができる。

アルゴリズムの正確度点数が付与されるさらに他の実施例では、生検（ｂｉｏｐｓｙ）などによって正確な結果が現れる場合を仮定することができる。このときは、生検による正確な結果と比較して各診断アルゴリズムの診断結果の正確度が現れることができる。使用者が生検によって正確な結果をコンピューティングシステムに入力すれば、コンピューティングシステムは、各診断結果を生検による正確な結果（レファレンス）と比較して各診断アルゴリズムの正確度点数を算出することができる。

診断医の評価信頼度点数は、診断医の評価に対する信頼度点数として提供されることができる。すなわち、診断医が当該臨床分野で長い経歴を有する専門家であればそれほど高い評価信頼度点数が付与される。診断医の経歴年数、診断医の専攻、診断医が専攻医であるか、当該臨床分野での経験などを考慮して評価信頼度点数が算出されることができる。

コンピューティングシステムは、内部の人工知能アルゴリズムによって評価スコア算出基準を持続的に学習して内部的に決まった日程によってアップデートすることができる。プロセッサは、下位評価項目である複数の医療映像分析アルゴリズムのそれぞれに対する信頼度点数、複数の医療映像分析アルゴリズムのそれぞれに対する正確度点数、及び複数の医療映像分析アルゴリズムのそれぞれに対する前記使用者の評価信頼度点数のそれぞれに対して加重値を付与し、複数の診断結果及び複数の診断結果に対する使用者のフィードバックに基づき、目標要件によって下位評価項目のそれぞれの加重値が調整されるように前記下位評価項目のそれぞれの加重値をアップデートすることができる。

目標要件の例示としては、各アルゴリズムに対する使用者の信頼度と正確度の相関関係が一致する方向に調整する場合を挙げることができる。例えば、同じ正確度点数を有する第１診断アルゴリズムと第２診断アルゴリズムに対する診断医の信頼度点数が異なることができる。ここで、診断医の評価の一般的な誤差を除去した後にも一定の傾向で信頼度点数が異なる場合、第１診断アルゴリズムと第２診断アルゴリズムに対する診断医の信頼度は異なると認めることができる。例えば、第１診断アルゴリズムと第２診断アルゴリズムが総１０個の病変疑心位置の中で９個の位置で正確な診断結果を生成して正確度点数は９０／１００になったが、重症度の病変を第１診断アルゴリズムのみ正確に診断し、第２診断アルゴリズムは正確に診断することができなかったら、診断医の信頼度が異なる理由が説明される。正確度と信頼度の相関関係が一致するように調整する手段としては、各下位項目別に加重値を調整するか、正確度を判定する対象病変の選別基準を細分化する手段があり得る。この場合、診断された病変の軽度／重症度、病変の医療映像の中心からの位置、病変の識別難易度（骨、臓器、血管が複雑に混在している領域では難易度が高い）などの基準に病変を区分し、各領域で病変の診断正確度に他の加重値を付与する方法があり得る。

コンピューティングシステムは、映像によって適用可能な多数の人工知能アルゴリズムを内部的に自動で割り当てることができる機能を含むことができる。コンピューティングシステムは、映像に適用可能な人工知能アルゴリズムを判断するために、推薦診断システムの内部に別途の映像分類人工知能アルゴリズムによって一つの検査または一つ以上の映像を分類した後、多数の人工知能アルゴリズムを適用することができる。

本発明の一実施例によっては、複数の医療映像分析アルゴリズムが人工神経回路網を用いることができる。ここで、評価スコア及び下位評価項目を各診断アルゴリズムについての記述的情報（ｄｅｓｃｒｉｐｔｉｖｅ ｉｎｆｏｒｍａｔｉｏｎ）として生成し、コンピューティングシステムが評価スコア及び下位評価項目を診断アルゴリズムの生成主体にフィードバックして診断アルゴリズムの改善に用いられるように情報を提供することもできる。ここで、人工神経回路網が最近研究されている関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）及び信頼度レベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）などを用いる人工神経回路網の場合、評価スコア及び下位評価項目を人工神経回路網の関連性スコア（ｒｅｌｅｖａｎｃｅ ｓｃｏｒｅ）または信頼度レベル（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）などと連結して統計分析が遂行され、診断アルゴリズムの改善に評価スコア及び下位評価項目が影響を及ぼすことができる。

このような本発明の一実施例は、従来技術の医療映像診断シーケンスを最大限変形しないながら本発明によって得られる利点を提供するために設計された実施例である。

本発明のさらに他の実施例では、コンピューティングシステムが複数の診断適用アルゴリズムを選択し、複数の診断適用アルゴリズムのそれぞれを医療映像に適用して複数の診断結果を生成する過程を自ら実行することができる。この場合、コンピューティングシステムは、選択された診断適用アルゴリズムについての情報だけでなく診断適用アルゴリズムに基づく複数の診断結果を医療陣の診断用コンピュータ端末に伝達し、医療陣の診断用コンピュータ端末では医療映像に対する人工知能アルゴリズム（診断適用アルゴリズム）が適用された結果が表示されることができる。

この際、本発明の一実施例は、医療陣の診断用コンピュータ端末のコンピューティングパワーが大きくない場合、例えばモバイルデバイスであるか旧型のコンピューティングシステムであるときにも本発明によって得られる利点を提供することができる。ここで、本発明の一実施例は、医療映像に対する人工知能アルゴリズムを適用する主体がコンピューティングシステムであり、コンピューティングシステムは一種のサーバー（ｓｅｒｖｅｒ）として機能し、医療陣の診断用コンピュータ端末はシンクライアント（ｔｈｉｎ－ｃｌｉｅｎｔ）基盤のシステムとして動作することもできる。ここで、本発明の一実施例では、医療陣の診断用コンピュータ端末で医療陣が複数の診断結果または複数の診断適用アルゴリズムに対して入力したフィードバック指標をコンピューティングシステムにフィードバックすることができる。フィードバック指標は、評価対象のそれぞれ、すなわち複数の診断結果または複数の診断適用アルゴリズムのそれぞれと連結されてコンピューティングシステム内のメモリまたはデータベースに保存することができる。

以上で説明したように、本発明の一実施例で選択されたアルゴリズムが適用される段階は臨床医の診断システムで実行され、複数の診断結果がコンピューティングシステムに伝達されることもでき、本発明の他の実施例では、選択されたアルゴリズムが適用される段階がコンピューティングシステム内で全面的に実行された後、臨床医の診断システムでその結果が表示されることもできる。

本発明の一実施例による医療映像の診断を支援する方法は、多様なコンピュータ手段によって遂行可能なプログラム命令形態として具現されてコンピュータ可読の媒体に記録されることができる。前記コンピュータ可読の媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組合せで含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計されて構成されたものであるかコンピュータソフトウェア当業者に公知となって使用可能なものであることができる。コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようにプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーによって作われるもののような機械語コードだけではなく、インタープリターなどを使ってコンピュータによって実行可能な高級言語コードを含む。前記ハードウェア装置は本発明の動作を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆もまた同様である。

しかし、本発明が実施例によって制限されるか限定されるものではない。各図に提示された同じ参照符号は同じ部材を示す。本発明の実施例及び図面に開示した長さ、高さ、サイズ、幅などは理解を助けるために誇張しているものであることができる。

以上のように、本発明では、具体的な構成要素などのような特定の事項と限定された実施例及び図面に基づいて説明したが、これは本発明のより全般的な理解を助けるために提供したものであるだけで、本発明は前記実施例に限定されるものではなく、本発明が属する分野で通常的な知識を有する者であればこのような記載から多様な修正及び変形が可能である。

したがって、本発明の思想は説明された実施例に限って決まってはいけなく、後述する特許請求範囲だけではなくこの特許請求範囲と均等な変形や等価的変形があるすべてのものは本発明思想の範疇に属するものであると言える。

１１０ 人工知能サーバー（コンピューティングシステム）
１１２、２１２ 人工知能アルゴリズム
１２０、２２０ 人工知能ワークステーション（コンピューティングシステム）
１２２、２２２ 使用者ディスプレイ
１３２、１３４、２３２ 胃内視鏡映像獲得モジュール

Claims (8)

1. 医療映像に対する診断を支援する診断支援システムであって、前記診断支援システムはコンピューティングシステムを含み、
   前記コンピューティングシステムは、
   前記医療映像として胃内視鏡映像を受信するか入力される受信モジュールと、
   前記胃内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを保存するメモリまたはデータベースと、
   プロセッサと、
   使用者ディスプレイと、
   を含み、
   前記プロセッサは、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記胃内視鏡映像のビデオフレームを分析し、前記ビデオフレーム内に病変と疑心される部位が存在するかを検出し、
   前記プロセッサは、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記病変と疑心される部位の位置座標を算出し、
   前記プロセッサは、前記病変と疑心される部位の存在有無及び前記病変と疑心される部位の前記位置座標を含むディスプレイ情報を生成し、
   前記使用者ディスプレイは、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記ビデオフレーム上に前記ディスプレイ情報に基づいて前記病変と疑心される部位が視覚的に区分されるように表示し、前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する、胃内視鏡映像診断支援システム。
2. 前記プロセッサは、前記病変と疑心される部位の胃内視鏡経路上の位置を算出し、
   前記プロセッサは、前記病変と疑心される部位の存在有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記胃内視鏡経路上の位置を含むディスプレイ情報を生成し、
   前記使用者ディスプレイは、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記胃内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示する、請求項１に記載の胃内視鏡映像診断支援システム。
3. 前記プロセッサは、現在検査部位を表示する前記ビデオフレームの胃内視鏡経路上の位置を追跡し、
   前記プロセッサは、前記ビデオフレームの胃内視鏡経路上の位置及び前記病変と疑心される部位の前記位置座標に基づいて前記病変と疑心される部位の前記胃内視鏡経路上の位置を算出する、請求項２に記載の胃内視鏡映像診断支援システム。
4. 前記プロセッサは、検査対象患者の３次元解剖学的構造を含む検査前獲得医療映像に基づいて前記病変と疑心される部位の前記胃内視鏡経路上の位置を算出する、請求項２に記載の胃内視鏡映像診断支援システム。
5. 前記受信モジュールは、少なくとも一つ以上の胃内視鏡映像獲得モジュールから少なくとも一つ以上の胃内視鏡映像を受信するか入力され、
   前記プロセッサは、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出し、
   前記プロセッサは、前記少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成する、請求項１に記載の胃内視鏡映像診断支援システム。
6. プロセッサ、及び使用者ディスプレイを含む胃内視鏡映像診断支援システムによって実行される胃内視鏡映像診断支援方法であって、
   胃内視鏡映像を受信するか入力される段階と、
   前記胃内視鏡映像診断支援システム内のメモリまたはデータベースに保存された前記胃内視鏡に対する分析機能を有する少なくとも一つ以上の医療映像分析アルゴリズムを用いて、前記プロセッサが前記胃内視鏡映像のビデオフレームを分析し、前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階と、
   前記プロセッサが、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記病変と疑心される部位の位置座標を算出する段階と、
   前記プロセッサが、前記病変と疑心される部位の存在有無及び前記病変と疑心される部位の前記位置座標を含むディスプレイ情報を生成する段階と、
   前記使用者ディスプレイが、前記ビデオフレーム内に前記病変と疑心される部位が存在すれば、前記ビデオフレーム上に前記ディスプレイ情報に基づいて前記病変と疑心される部位が視覚的に区分されるように表示する段階と、
   前記使用者ディスプレイが、前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階と、
   を含む、胃内視鏡映像診断支援方法。
7. 前記プロセッサが前記病変と疑心される部位の胃内視鏡経路上の位置を算出する段階をさらに含み、
   前記ディスプレイ情報を生成する段階は、前記プロセッサによって、前記病変と疑心される部位の存在有無、前記病変と疑心される部位の前記位置座標、及び前記病変と疑心される部位の前記胃内視鏡経路上の位置を含む前記ディスプレイ情報を生成し、
   前記使用者ディスプレイが前記病変と疑心される部位の前記位置座標を前記病変と疑心される部位と視覚的に連動するように表示する段階は、前記使用者ディスプレイによって、前記ディスプレイ情報に基づいて前記病変と疑心される部位の前記胃内視鏡経路上の位置を前記病変と疑心される部位と視覚的に連動するように表示する、請求項６に記載の胃内視鏡映像診断支援方法。
8. 前記胃内視鏡映像を受信するか入力される段階は、少なくとも一つ以上の胃内視鏡映像獲得モジュールから少なくとも一つ以上の胃内視鏡映像を受信するか入力され、
   前記ビデオフレーム内に病変と疑心される部位が存在するかを検出する段階は、前記少なくとも一つ以上の医療映像分析アルゴリズムを用いて前記少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して病変と疑心される部位が存在するかを検出し、
   前記ディスプレイ情報を生成する段階は、前記少なくとも一つ以上の胃内視鏡映像のビデオフレームのそれぞれに対して前記病変と疑心される部位の存在有無及び前記病変と疑心される部位の前記位置座標を含む前記ディスプレイ情報を生成する、請求項６に記載の胃内視鏡映像診断支援方法。

Images