本明細書に提供されるのは、本明細書においてさらに記載する腸の病理に対する画像スコアリングを達成するための、システム、装置、製造品、方法、及び/またはコンピュータプログラム製品(非一時的コンピュータ可読媒体)の実施形態、及び/またはそれらの組み合わせ及びサブコンビネーションの例である。
一例の実施形態は、コンピュータ実施方法を含み得、本方法は、少なくとも1つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも1つのプロセッサを介して、画像フレームのセットの各画像フレームに第1のスコアを自動的に割り当てることであって、第1のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応する、割り当てることと、少なくとも1つのプロセッサを介して、指定された範囲内の第1のスコアを有する各画像フレームに第2のスコアを自動的に割り当てることであって、第2のスコアは、所与の特徴の重症度に対応する、割り当てることと、少なくとも1つのプロセッサを介して、第1のスコアまたは第2のスコアの少なくとも1つに従って画像フレームのセットを自動的に配置することと、を含む。
一例の実施形態は、上記の方法を含み得、配置することが、第1のスコア及び第2のスコアのうちの少なくとも1つに関して、画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、スコアのランダムな順序で画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または、異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、アレイ内の画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有するアレイ内の隣接する画像フレームの数が、所定のしきい値を満たすかまたは超える、位置付けること、のうちの少なくとも1つを含む。
一例の実施形態では、上記の方法を含み得、少なくとも1つのプロセッサによって、画像フレームのセットの第1の画像フレームをレビューアに自動的に提示することと、画像フレームが自動的に配置された順序で、少なくとも1つのプロセッサによって、画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、をさらに含む。
一例の実施形態は、上記の方法を含み得、画像フレームのセットの各画像フレームからのメタデータを解析することであって、メタデータは、タイムスタンプ、位置、消化器官内の相対位置、及び少なくとも1つの画像プロパティのうちの少なくとも1つを含む、解析することと、少なくとも部分的にメタデータに基づいて、少なくとも1つのプロセッサによって、画像フレームのセットから画像フレームの少なくとも1つを自動的に選択することと、をさらに含む。
一例の実施形態は、上記の方法を含み得、選択することは、所与の画像フレームについて、少なくとも1つのプロセッサによって、第1のスコアまたは第2のスコアが所定のしきい値を満たしていないか否か;視覚的アーチファクトが画像フレーム内に存在すると判断されるか否か;タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か;または所与の画像フレームの別の画像フレームへの相対的近接性が、消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否かのうちの少なくとも1つを自動的に決定することと;決定に基づいて、少なくとも1つのプロセッサによって、画像フレームのセットから所与の画像フレームを自動的に削除することと、さらに含む。
一例の実施形態は、上記の方法を含み得、削除することは、画像フレームが画像フレームのセットのメンバーとして扱われないように画像フレームに再ラベル付けすることを含む。
一例の実施形態は、上記の方法を含み得、所与の画像フレームが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対位近接性によるサンプリング、及び少なくとも1つのスコアの値の変化によるサンプリングのうちの少なくとも1つによって選択される。
一例の実施形態は、上記の方法を含み得、消化器官が食道、胃、小腸、及び大腸のうちの少なくとも1つを含む。
一例の実施形態は、上記の方法を含み得、画像フレームのセットは、画像生成が可能な少なくとも1つの画像化デバイスに由来し、写真画像フレーム、超音波画像フレーム、放射線写真画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも1つを含む。
一例の実施形態は、上記の方法を含み得、少なくとも1つの画像化デバイスは、経口カメラ(ingestible camera)、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも1つのデバイスを含む。
一例の実施形態は、上記の方法を含み得、少なくとも1つのスコアに基づいて、少なくとも1つのプロセッサによって、所与の患者の消化器官に関する疾患の診断を自動的に生成することをさらに含む。
一例の実施形態は、上記の方法を含み得、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に対して所与の患者に投与された治療に応答して生成される。
一例の実施形態は、疾患の進行または疾患の改善をモニターするため、または治療の効果を定量化するために(例えば、重症度スコアを追跡することによって)、撮像システム(例えば、内視鏡、ビデオカプセル内視鏡など)を用いて実行される上記の方法を含み得る。
一例の実施形態は、少なくとも1つのプロセッサによって、少なくとも1つの小腸腸症、例えば、セリアック病、熱帯性スプルー、薬物誘発性腸症、タンパク質喪失性腸症、または異生物性腸症の重症度を定量化することを含み得る。
一例の実施形態は、上記の方法を含み得、疾患は、クローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも1つを含む。
一例の実施形態は、上記の方法を含み得、画像フレームのセットが複数の均質な画像を含む。
一例の実施形態は、上記の方法を含み得、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも1つの人工ニューラルネットワークのうちの少なくとも1つに対応するアルゴリズムに従って、少なくとも第1のスコア及び第2のスコアの割り当てが実行される。
一例の実施形態は、少なくとも1つのプロセッサを介して、所与の患者の病状、病歴、患者背景(例えば、年齢、身長、体重、性別など)、栄養習慣及び/または臨床検査に関する情報を受け取ることと、少なくとも1つのプロセッサを介して、その情報をアルゴリズムへの入力として渡すことと、をさらに含む、上記の方法を含み得る。
一例の実施形態は、上記の方法を含み得、少なくとも1つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも1つを含む。
一例の実施形態は、上記の方法を含み得、フィードフォワードニューラルネットワークが、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダのうちの少なくとも1つに対応する。
一例の実施形態では、コンピュータ実装方法を含み得、本方法は、少なくとも1つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写する受信することと、少なくとも1つのプロセッサによって画像フレームのセットの画像フレーム内の少なくとも1つの関心領域を自動的に抽出することであって、少なくとも1つの関心領域は、少なくとも1つのプロセッサによってエッジ値が所定のしきい値を超えていることを決定することによって定義される、抽出することと、少なくとも1つのプロセッサによって、少なくとも部分的にエッジ値に基づいて、少なくとも1つの関心領域を自動的に配向することと、画像フレームに対応する少なくとも1つのスコアを決定するために、少なくとも1つのプロセッサを介して、少なくとも1つの関心領域を人工ニューラルネットワークに自動的に入力することであって、少なくとも1つのスコアは、消化器官または所与の特徴の重症度に影響を与える所与の特徴を示すために画像フレームの情報の少なくとも1つを表す、入力することと、少なくとも1つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも1つのプロセッサを介して、少なくとも1つのスコアを画像フレームに自動的に割り当てることと、を含む。
一例の実施形態は、少なくとも1つのプロセッサによって、少なくとも1つの関心領域から少なくともいくつかの色データを自動的に削除すること、または、少なくとも1つのプロセッサによって、少なくとも1つの関心領域をグレースケールに自動的に変換することのうちの少なくとも1つをさらに含む、上記の方法を含み得る。
一例の実施形態は、少なくとも1つのプロセッサによって、少なくとも1つの関心領域の少なくとも1つの画像属性を自動的に正規化することをさらに含む、上記の方法を含み得る。
一例の実施形態は、上記の方法を含み得、少なくとも1つの画像属性は、強度を含む。
一例の実施形態は、上記の方法を含み得、画像フレーム内の関心領域は、画像フレームの総面積の25パーセントを超えない。
一例の実施形態は、上記の方法を含み得、画像フレーム内の各関心領域は、画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する。
一例の実施形態は、上記の方法を含み得、少なくとも1つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、及びメモリネットワークのうちの少なくとも1つを含む。
一例の実施形態は、上記の方法を含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも1つに対応する。
一例の実施形態では、上記の方法を含み得、少なくとも1つのプロセッサによって、画像フレームのセットの追加の画像フレーム内の少なくとも1つの追加の関心領域を自動的に識別することであって、追加の画像フレーム及び画像フレームはそれぞれ、画像フレームのセットからの均質な画像を表す、識別することと、少なくとも1つのプロセッサを介して、少なくとも1つの追加の関心領域を人工ニューラルネットワークに自動的に入力することと、少なくとも1つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも1つのプロセッサを介して、少なくとも1つの追加のスコアを画像フレームのセットの追加の画像フレームに自動的に割り当てることと、さらに含む。
一例の実施形態は、上記の方法を含み得、少なくとも1つのスコアは、少なくとも1つの決定木によって決定される。
一例の実施形態は、上記の方法を含み得、少なくとも1つの決定木は、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも1つの一部である。
一例の実施形態は、上記の方法を含み得、少なくとも1つの決定木は、少なくとも1つの分類器を含む。
一例の実施形態は、少なくとも部分的に少なくとも1つの決定木に基づいて、少なくとも1つのプロセッサを介して少なくとも1つの回帰を生成することをさらに含む、上記の方法を含み得る。
一例の実施形態は、上記の方法を含み得、少なくとも1つの回帰は、線形モデル、カットオフ、加重曲線、ガウス関数、ガウス場、ベイズ予測、またはそれらの組み合わせのうちの少なくとも1つを含む。
一例の実施形態は、非一時的コンピュータ実装方法を含み得、本方法は、少なくとも1つのプロセッサを介して、第1の機械学習(ML)アルゴリズムへの入力のために、画像フレームの第1のセット及び対応する第1のメタデータセットを受信することと、少なくとも1つのプロセッサを介して、画像フレームの第1のセット及び対応する第1のメタデータセットを第1のMLアルゴリズムに入力することと、少なくとも1つのプロセッサを介して、第1のMLアルゴリズムからの出力として、画像フレームの第2のセット及び対応する第2のメタデータセットを生成することであって、画像フレームの第2のセットは、画像フレームの第1のセットのタグ付けされたバージョン及び画像フレームの第1のセットの修正されたバージョンの少なくとも1つに対応し、第2のメタデータセットは、画像フレームの第2のセットの少なくとも1つの画像フレームに対応する少なくとも1つのスコアを含む、生成することと、少なくとも1つのプロセッサを介して、画像フレームの第2のセット及び第2のメタデータセットを第2のMLアルゴリズムに入力することと、を含み、これにより、洗練された画像フレームのセット、または洗練された画像フレームのセットに対応する洗練されたメタデータの少なくとも1つを生成する。
一例の実施形態は、上記の方法を含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、異なるカテゴリのMLアルゴリズムに属する。
一例の実施形態は、上記の方法を含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、MLアルゴリズムの単一のカテゴリの別個のアルゴリズムである。
一例の実施形態は、上記の方法を含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、同じMLアルゴリズムの異なる反復またはエポックを含む。
一例の実施形態は、上記の方法を含み得、画像フレームの第1のセットは、所与の患者の消化器官を描写する複数の画像フレームと、少なくとも1名の他の患者の対応する消化器官を描写する少なくとも1つの追加の画像フレームとを含む。
一例の実施形態では、上記の方法を含み得、少なくとも1つのプロセッサによって、任意の他の画像フレームとは別に、所与の患者の消化器官の内面を描写する画像フレームを自動的に選択すること、または、少なくとも1つのプロセッサによって、画像フレーム、所与の患者の消化器官の内面を描写する画像フレームのセットのサブセットを、少なくとも1名の他の患者の消化器官に対応する少なくとも1つの追加の画像フレームと共に自動的に選択することのうちの1つをさらに含み、これにより、所与の患者の消化器官を描写する選択された画像フレームが、少なくとも1名の他の患者の対応する消化器官を描写する少なくとも1つの画像フレームと散在するようになる。
一例の実施形態は、上記の方法を含み得、第2のMLアルゴリズムは、第1のMLアルゴリズム及び第3のMLアルゴリズムのうちの少なくとも1つの入力として使用される出力を生成するように構成される。
一例の実施形態は、コンピュータ実装方法を含み得、本方法は、少なくとも1つのプロセッサを介して、画像化デバイスの出力を受信することであって、画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含む、受信することと、少なくとも1つのプロセッサ及び少なくとも1つの機械学習(ML)アルゴリズムを介して、複数の画像フレームの少なくとも1つの画像フレームを複数の関心領域に自動的に分解することであって、少なくとも1つの関心領域は、少なくとも1つのプロセッサによってエッジ値が所定のしきい値を超えていることを決定することによって定義される、分解することと、少なくとも1つのプロセッサを介して、各関心領域のエッジ値に少なくとも部分的に基づいて、第1のスコアを自動的に割り当てることと、少なくとも1つのプロセッサを介して、画像フレームのセットを自動的にシャッフルすることと、少なくとも1つのプロセッサを介して、シャッフル後の画像フレームのセットの編成された提示を出力することと、を含む、
一例の実施形態は、分解が、少なくとも部分的に出力に基づいて、少なくとも1つのプロセッサを介して、少なくとも1つのMLアルゴリズムを訓練することをさらに含む上記の方法を含み得る。
一例の実施形態は、上記の方法を含み得、分解することは、少なくとも1つのプロセッサを介して、画像フレームのセットの編成された提示に第2のスコアを割り当てることをさらに含む。
一例の実施形態は、メモリ、及び少なくとも1つのプロセッサを含むシステムを含み得、プロセッサは、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写する受信することと、画像フレームのセットの各画像フレームに第1のスコアを自動的に割り当てることであって、第1のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応する、割り当てることと、指定された範囲内の第1のスコアを有する各画像フレームに第2のスコアを自動的に割り当てることであって、第2のスコアは、所与の特徴の重症度に対応する、割り当てることと、第1のスコアまたは第2のスコアの少なくとも1つに従って画像フレームのセットを自動的に配置することと、を含む操作を実行するように構成されている。
一例の実施形態は、上記のシステムを含み得、配置することが、第1のスコア及び第2のスコアのうちの少なくとも1つに関して、画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、スコアのランダムな順序で画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、アレイ内の画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有するアレイ内の隣接する画像フレームの数が、所定のしきい値を満たすかまたは超える、位置付けることのうちの少なくとも1つを含む。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、画像フレームのセットの第1の画像フレームをレビューアに自動的に提示することと、画像フレームが自動的に配置された順序で、画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、を実行するようにさらに構成されている。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、画像フレームのセットの各画像フレームからのメタデータを解析することであって、メタデータが、タイムスタンプ、位置、消化器官内の相対位置、及び少なくとも1つの画像プロパティのうちの少なくとも1つを含む、解析することと、少なくとも部分的にメタデータに基づいて、画像フレームのセットから画像フレームの少なくとも1つを自動的に選択することと、を実行するようにさらに構成されている。
一例の実施形態は、上記のシステムを含み得、選択することは、所与の画像フレームについて、第1のスコアまたは第2のスコアが所定のしきい値を満たしていないか否か;視覚的アーチファクトが画像フレーム内に存在すると判断されるか否か;タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か;または所与の画像フレームの別の画像フレームへの相対的近接性が、消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否かのうちの少なくとも1つを自動的に決定することと;決定に基づいて、画像フレームのセットから所与の画像フレームを自動的に削除することと、さらに含む。
一例の実施形態は、上記のシステムを含み得、削除することは、画像フレームが画像フレームのセットのメンバーとして扱われないように画像フレームに再ラベル付けすることを含む。
一例の実施形態は、上記のシステムを含み得、所与の画像フレームは、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対位近接性によるサンプリング、及び少なくとも1つのスコアの値の変化によるサンプリングのうちの少なくとも1つによって選択される。
一例の実施形態は、上記のシステムを含み得、消化器官は、食道、胃、小腸、及び大腸のうちの少なくとも1つを含む。
一例の実施形態は、上記のシステムを含み得、画像フレームのセットは、画像生成が可能な少なくとも1つの画像化デバイスに由来し、写真画像フレーム、超音波画像フレーム、放射線写真画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも1つを含む。
一例の実施形態は、上記のシステムを含み得、画像化デバイスは、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも1つのデバイスを含む。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、少なくとも1つのスコアに基づいて、所与の患者の消化器官に関する疾患の診断を自動的に生成するようにさらに構成される。
一例の実施形態は、上記のシステムを含み得、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に対して所与の患者に投与された治療に応答して生成される。
一例の実施形態は、上記のシステムを含み得、疾患は、クローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも1つを含む。
一例の実施形態は、上記のシステムを含み得、画像フレームのセットが複数の均質な画像を含む。
一例の実施形態は、上記のシステムを含み得、少なくとも第1のスコア及び第2のスコアの割り当ては、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも1つの人工ニューラルネットワークのうちの少なくとも1つに対応するアルゴリズムに従って実行される。
一例の実施形態は、上記のシステムを含み得、少なくとも1つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも1つを含む。
一例の実施形態は、上記のシステムを含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダのうちの少なくとも1つに対応する。
一例の実施形態は、メモリ、及び少なくとも1つのプロセッサを含むシステムを含み得、プロセッサは、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットが、所与の患者の消化器官の内面を描写する受信することと、画像フレームのセットの画像フレーム内の少なくとも1つの関心領域を自動的に抽出することであって、少なくとも1つの関心領域は、エッジ値が所定のしきい値を超えていることを決定することによって定義される、抽出することと、少なくとも部分的にエッジ値に基づいて、少なくとも1つの関心領域を自動的に配向することと、画像フレームに対応する少なくとも1つのスコアを決定するために、少なくとも1つの関心領域を人工ニューラルネットワークに自動的に入力することであって、少なくとも1つのスコアは、消化器官または所与の機能の重症度に影響を与える所与の特徴を示すための画像フレームの情報の少なくとも1つを表す、入力することと、少なくとも1つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも1つのスコアを画像フレームに自動的に割り当てることと、を含む操作を実行するように構成されている。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、少なくとも1つの関心領域から少なくともいくつかの色データを自動的に除去すること、または、少なくとも1つの関心領域を自動的にグレースケールに変換することのうちの少なくとも1つを実行するようにさらに構成されている。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、少なくとも1つの関心領域の少なくとも1つの画像属性を自動的に正規化するようにさらに構成される。
一例の実施形態は、上記のシステムを含み得、少なくとも1つの画像属性は、強度を含む。
一例の実施形態は、上記のシステムを含み得、画像フレーム内の関心領域は、画像フレームの総面積の25パーセントを超えない。
一例の実施形態は、上記のシステムを含み得、画像フレーム内の各関心領域は、画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する。
一例の実施形態は、上記のシステムを含み得、少なくとも1つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、及びメモリネットワークのうちの少なくとも1つを含む。
一例の実施形態は、上記のシステムを含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも1つに対応する。
一例の実施形態が、上記のシステムを含み得、少なくとも1つのプロセッサは、画像フレームのセットの追加の画像フレーム内の少なくとも1つの追加の関心領域を自動的に識別することであって、追加の画像フレーム及び画像フレームはそれぞれ、画像フレームのセットからの均質な画像を表す、識別することと、少なくとも1つの追加の関心領域を人工ニューラルネットワークに自動的に入力することと、少なくとも1つの追加の関心領域を入力することに応答した人工ニューラルネットワークの出力に基づいて、画像フレームのセットの追加の画像フレームに少なくとも1つの追加のスコアを自動的に割り当てることと、を実行するようにさらに構成されている。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのスコアは、少なくとも1つの決定木によって決定される。
一例の実施形態は、上記のシステムを含み得、少なくとも1つの決定木は、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも1つの一部である。
一例の実施形態は、上記のシステムを含み得、少なくとも1つの決定木は、少なくとも1つの分類器を含む。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、少なくとも部分的に少なくとも1つの決定木に基づいて、少なくとも1つの回帰を生成するようにさらに構成されている。
一例の実施形態は、上記のシステムを含み得、少なくとも1つの回帰は、線形モデル、カットオフ、加重曲線、ガウス関数、ガウス場、またはベイズ予測のうちの少なくとも1つを含む。
一例の実施形態では、メモリと、少なくとも1つのプロセッサと、を含むシステムを含み得、プロセッサは、第1の機械学習(ML)アルゴリズムへの入力のために、画像フレームの第1のセット及び対応する第1のメタデータセットを受信することと、画像フレームの第1のセット及び対応する第1のメタデータセットを第1のMLアルゴリズムに入力することと、第1のMLアルゴリズムからの出力として、画像フレームの第2のセット及び対応する第2のメタデータセットを生成することであって、画像フレームの第2のセットは、画像フレームの第1のセットのタグ付けされたバージョン及び画像フレームの第1のセットの修正されたバージョンの少なくとも1つに対応し、第2のメタデータセットは、画像フレームの第2のセットの少なくとも1つの画像フレームに対応する少なくとも1つのスコアを含む、生成することと、画像フレームの第2のセット及び第2のメタデータセットを第2のMLアルゴリズムに入力することと、を含む操作を実行するように構成され、これにより、洗練された画像フレームのセット、または洗練された画像フレームのセットに対応する洗練されたメタデータの少なくとも1つを生成する。
一例の実施形態は、上記のシステムを含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、異なるカテゴリのMLアルゴリズムに属する。
一例の実施形態は、上記のシステムを含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、MLアルゴリズムの単一のカテゴリの別個のアルゴリズムである。
一例の実施形態は、上記のシステムを含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、同じMLアルゴリズムの異なる反復またはエポックを含む。
一例の実施形態は、上記のシステムを含み得、画像フレームの第1のセットは、所与の患者の消化器官を描写する複数の画像フレームと、少なくとも1名の他の患者の対応する消化器官を描写する少なくとも1つの追加の画像フレームとを含む。
一例の実施形態は、上記のシステムを含み得、少なくとも1つのプロセッサは、任意の他の画像フレームとは別に、所与の患者の消化器官の内面を描写する画像フレームを自動的に選択すること、または、画像フレーム、所与の患者の消化器官の内面を描写する画像フレームのサブセットを、少なくとも1名の他の患者の消化器官に対応する少なくとも1つの追加の画像フレームと共に自動的に選択することを実行するようにさらに構成され、これにより、所与の患者の消化器官を描写する選択された画像フレームが、少なくとも1名の他の患者の対応する消化器官を描写する少なくとも1つの画像フレームと散在するようになる。
一例の実施形態は、上記のシステムを含み得、分解することは、画像フレームのセットの編成された提示に第2のスコアを割り当てることをさらに含む。
一例の実施形態は、メモリ、及び少なくとも1つのプロセッサを含むシステムを含み得、プロセッサは、画像化デバイスの出力を受信することであって、画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含む、受信することと、少なくとも1つの機械学習(ML)アルゴリズムを介して、複数の画像フレームの少なくとも1つの画像フレームを複数の関心領域に自動的に分解することであって、少なくとも1つの関心領域は、エッジ値が所定のしきい値を超えていることを決定することによって定義される、分解することと、各関心領域のエッジ値に少なくとも部分的に基づいて、第1のスコアを自動的に割り当てることと、画像フレームのセットを自動的にシャッフルすることと、シャッフル後の画像フレームのセットの編成された提示を出力することと、を含む操作を実行するように構成されている。
一例の実施形態は、上記のシステムを含み得、分解することは、少なくとも部分的に出力に基づいて、少なくとも1つのMLアルゴリズムを訓練することをさらに含む。
一例の実施形態は、上記のシステムを含み得、分解することは、画像フレームのセットの編成された提示に第2のスコアを割り当てることをさらに含む。
一例の実施形態は、少なくとも1つのコンピューティングデバイスによって実行されたときに、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、画像フレームのセットの各画像フレームに第1のスコアを自動的に割り当てることであって、第1のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応する、割り当てることと、指定された範囲内の第1のスコアを有する各画像フレームに第2のスコアを自動的に割り当てることであって、第2のスコアは、所与の特徴の重症度に対応する、割り当てることと、第1のスコアまたは第2のスコアの少なくとも1つに従って画像フレームのセットを自動的に配置することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。
一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、配置することが、第1のスコア及び第2のスコアのうちの少なくとも1つに関して、画像フレームのセットの少なくともいくつかの画像フレームをスコアの降順でランク付けすること、画像フレームのセットの少なくともいくつかの画像フレームをスコアの昇順でランク付けすること、スコアのランダムな順序で画像フレームのセットの少なくともいくつかの画像フレームを分類すること、または異なるスコアを有するアレイ内の隣接する画像フレームに基づいて、アレイ内の画像フレームのセットの少なくともいくつかの画像フレームを位置付けることであって、異なるスコア値を有するアレイ内の隣接する画像フレームの数が、所定のしきい値を満たすかまたは超える、位置付けることのうちの少なくとも1つを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、画像フレームのセットの第1の画像フレームをレビューアに自動的に提示することと、画像フレームが自動的に配置された順序で、画像フレームのセットの次の画像フレームをレビューアに自動的に提示することと、さらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、画像フレームのセットの各画像フレームからのメタデータを解析することであって、メタデータは、タイムスタンプ、位置、消化器官内の相対位置、及び少なくとも1つの画像プロパティのうちの少なくとも1つを含む、解析することと、少なくとも部分的にメタデータに基づいて、画像フレームのセットから画像フレームの少なくとも1つを自動的に選択することと、をさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、選択することは、所与の画像フレームについて、第1のスコアまたは第2のスコアが所定のしきい値を満たしていないか否か;視覚的アーチファクトが画像フレーム内に存在すると判断されるか否か;タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータが、画像フレームが画像ベースのインジケータが信頼できない可能性が高いサンプルを示していることを指し示しているか否か;または所与の画像フレームの別の画像フレームへの相対的近接性が、消化器官内の時間、位置、または相対的位置の差に基づいて、所定の近接性しきい値を下回るか否かのうちの少なくとも1つを自動的に決定することと;決定に基づいて、画像フレームのセットから所与の画像フレームを自動的に削除することと、さらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、削除することは、画像フレームが画像フレームのセットのメンバーとして扱われないように画像フレームに再ラベル付けすることを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、所与の画像フレームが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対位近接性によるサンプリング、及び少なくとも1つのスコアの値の変化によるサンプリングのうちの少なくとも1つによって選択される。
一例の実施形態は、消化器官が食道、胃、小腸、及び大腸のうちの少なくとも1つを含む、上記の非一時的コンピュータ可読媒体を含み得る。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレームのセットは、画像生成が可能な少なくとも1つの画像化デバイスに由来し、写真画像フレーム、超音波画像フレーム、放射線写真画像フレーム、共焦点画像フレーム、または断層画像フレームのうちの少なくとも1つを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像化デバイスは、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡からなる群から選択される少なくとも1つのデバイスを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作は、少なくとも1つのスコアに基づいて、所与の患者の消化器官に関する疾患の診断を自動的に生成することをさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に対して所与の患者に投与された治療に応答して生成される。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、疾患がクローン病、セリアック病、過敏性腸症候群、潰瘍性大腸炎、またはそれらの組み合わせのうちの少なくとも1つを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレームのセットが複数の均質な画像を含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、パターン認識アルゴリズム、分類アルゴリズム、機械学習アルゴリズム、または少なくとも1つの人工ニューラルネットワークのうちの少なくとも1つに対応するアルゴリズムに従って、少なくとも第1のスコア及び第2のスコアの割り当てが実行される。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも1つを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、またはオートエンコーダに対応する。
一例の実施形態は、少なくとも1つのコンピューティングデバイスによって実行されたときに、画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する、受信することと、画像フレームのセットの画像フレーム内の少なくとも1つの関心領域を自動的に抽出することであって、少なくとも1つの関心領域は、エッジ値が所定のしきい値を超えることを決定することによって定義される、抽出することと、少なくとも部分的にエッジ値に基づいて、少なくとも1つの関心領域を自動的に配向することと、画像フレームに対応する少なくとも1つのスコアを決定するために、少なくとも1つの関心領域を人工ニューラルネットワークに自動的に入力することであって、少なくとも1つのスコアは、消化器官または所与の機能の重症度に影響を与える所与の特徴を示すための画像フレームの情報の少なくとも1つを表す入力することと、少なくとも1つの関心領域を入力することに応答して、人工ニューラルネットワークの出力に基づいて、少なくとも1つのスコアを画像フレームに自動的に割り当てることと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、少なくとも1つの関心領域から少なくともいくつかの色データを自動的に除去すること、または、少なくとも1つの関心領域を自動的にグレースケールに変換することのうちの少なくとも1つをさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、少なくとも1つの関心領域の少なくとも1つの画像属性を自動的に正規化することをさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つの画像属性は、強度を含む。
一例の実施形態は、画像フレーム内の関心領域が画像フレームの総面積の25パーセントを超えない、上記の非一時的コンピュータ可読媒体を含み得る。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレーム内の各関心領域は、画像フレーム内の他の任意の関心領域と同一のアスペクト比を有する。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つの人工ニューラルネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、及びメモリネットワークのうちの少なくとも1つを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、フィードフォワードニューラルネットワークは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、及びオートエンコーダのうちの少なくとも1つに対応する。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、画像フレームのセットの追加の画像フレーム内の少なくとも1つの追加の関心領域を自動的に識別することであって、追加の画像フレーム及び画像フレームはそれぞれ、画像フレームのセットからの均質な画像を表す、識別することと、少なくとも1つの追加の関心領域を人工ニューラルネットワークに自動的に入力することと、少なくとも1つの追加の関心領域を入力することに応答した人工ニューラルネットワークの出力に基づいて、画像フレームのセットの追加の画像フレームに少なくとも1つの追加のスコアを自動的に割り当てることと、をさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つのスコアは、少なくとも1つの決定木によって決定される。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つの決定木は、ランダム決定フォレストまたは回帰ランダムフォレストのうちの少なくとも1つの一部である。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つの決定木は、少なくとも1つの分類器を含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、少なくとも部分的に少なくとも1つの決定木に基づいて、少なくとも1つの回帰を生成することをさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、少なくとも1つの回帰は、線形モデル、カットオフ、加重曲線、ガウス関数、ガウス場、またはベイズ予測のうちの少なくとも1つを含む。
一例の実施形態は、少なくとも1つのコンピューティングデバイスによって実行されたときに、第1の機械学習(ML)アルゴリズムへの入力のために、画像フレームの第1のセット及び対応する第1のメタデータセットを受信することと、画像フレームの第1のセット及び対応する第1のメタデータセットを第1のMLアルゴリズムに入力することと、第1のMLアルゴリズムからの出力として、画像フレームの第2のセット及び対応する第2のメタデータセットを生成することであって、画像フレームの第2のセットは、画像フレームの第1のセットのタグ付けされたバージョン及び画像フレームの第1のセットの修正されたバージョンの少なくとも1つに対応し、第2のメタデータセットは、画像フレームの第2のセットの少なくとも1つの画像フレームに対応する少なくとも1つのスコアを含む、生成することと、ならびに画像フレームの第2のセット及び第2のメタデータセットを第2のMLアルゴリズムに入力することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得、これにより、洗練された画像フレームのセット、または洗練された画像フレームのセットに対応する洗練されたメタデータの少なくとも1つを生成する。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、異なるカテゴリのMLアルゴリズムに属する。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、MLアルゴリズムの単一のカテゴリの別個のアルゴリズムである。
一例の実施形態は、上記の非一時コンピュータ可読媒体を含み得、第1のMLアルゴリズム及び第2のMLアルゴリズムは、同じMLアルゴリズムの異なる反復またはエポックを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、画像フレームの第1のセットは、所与の患者の消化器官を描写する複数の画像フレームと、少なくとも1名の他の患者の対応する消化器官を描写する少なくとも1つの追加の画像フレームとを含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、操作することは、任意の他の画像フレームとは別に、所与の患者の消化器官の内面を描写する画像フレームを自動的に選択すること、または、画像フレーム、所与の患者の消化器官の内面を描写する画像フレームのサブセットを、少なくとも1名の他の患者の消化器官に対応する少なくとも1つの追加の画像フレームと共に自動的に選択することのうちの1つをさらに含み、これにより、所与の患者の消化器官を描写する選択された画像フレームが、少なくとも1名の他の患者の対応する消化器官を描写する少なくとも1つの画像フレームと散在するようになる。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、第2のMLアルゴリズムは、第1のMLアルゴリズム及び第3のMLアルゴリズムのうちの少なくとも1つの入力として使用される出力を生成するように構成される。
一例の実施形態は、少なくとも1つのコンピューティングデバイスによって実行されたときに、少なくとも1つのコンピューティングデバイスに、画像化デバイスの出力を受信することであって、画像化デバイスの出力は、所与の患者の消化器官の内面を描写する画像フレームのセットの少なくともサブセットを形成する複数の画像フレームを含む、受信することと、少なくとも1つの機械学習(ML)アルゴリズムを介して、複数の画像フレームの少なくとも1つの画像フレームを複数の関心領域に自動的に分解することであって、少なくとも1つの関心領域は、エッジ値が所定のしきい値を超えていることを決定することによって定義される、分解することと、各関心領域のエッジ値に少なくとも部分的に基づいて、第1のスコアを自動的に割り当てることと、画像フレームのセットを自動的にシャッフルすることと、シャッフル後の画像フレームのセットの編成された提示を出力することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、分解することは、少なくとも部分的に出力に基づいて、少なくとも1つのMLアルゴリズムを訓練することをさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読媒体を含み得、分解することは、画像フレームのセットの編成された提示に第2のスコアを割り当てることをさらに含む。
一実施形態は、患者が摂取したカメラから出力された画像フレームを受信することと、画像フレームを複数の関心領域に分解することと、複数の関心領域に基づいて、画像フレームに値を割り当てることと、複数の画像フレームについて、受信すること、分解すること、及び割り当てることを繰り返すことと、複数の画像フレームから、複数の選択された画像フレームを選択することであって、選択された各画像フレームは、所与のしきい値を超えるそれぞれの値を有する選択することと、複数の選択された画像フレームからスライドデッキを生成することと、一次元スコアを使用してスライドデッキを評価する読者にスライドデッキを提示することであって、スライドデッキは、シャッフルされ、読者のバイアスを減少させるために計算され、編成された方法で提示される、提示することと、複数の画像フレームの1つ以上の画像フレーム及び値または一次元スコアの少なくとも1つに基づいて、完全に自動化された方法で分解及び割り当てを実行するように構成された機械学習(ML)アルゴリズムを監視することと、とを含む方法を含み得る。
一実施形態は、メモリと、少なくとも1つのプロセッサと、を含むシステムを含み得、プロセッサは、メモリに通信可能に結合され、患者が摂取したカメラから出力された画像フレームを受信することと、画像フレームを複数の関心領域に分解することと、複数の関心領域に基づいて、画像フレームに値を割り当てることと、複数の画像フレームについて、受信すること、分解すること、及び割り当てることを繰り返すことと、複数の画像フレームから、複数の選択された画像フレームを選択することであって、選択された各画像フレームは、所与のしきい値を超えるそれぞれの値を有する選択することと、複数の選択された画像フレームからスライドデッキを生成することと、一次元スコアを使用してスライドデッキを評価する読者にスライドデッキを提示することであって、スライドデッキは、シャッフルされ、読者のバイアスを減少させるために計算され、編成された方法で提示される、提示することと、複数の画像フレームの1つ以上の画像フレーム及び値または一次元スコアの少なくとも1つに基づいて、完全に自動化された方法で分解及び割り当てを実行するように構成された機械学習(ML)アルゴリズムを監視することと、とを含む操作を実行するように構成されている。
一例の実施形態は、少なくとも1つのプロセッサによって実行されたときに、少なくとも1つのプロセッサに、患者が摂取したカメラから出力された画像フレームを受信することと、画像フレームを複数の関心領域に分解することと、複数の関心領域に基づいて、画像フレームに値を割り当てることと、複数の画像フレームについて、受信すること、分解すること、及び割り当てることを繰り返すことと、複数の画像フレームから、複数の選択された画像フレームを選択することであって、選択された各画像フレームは、所与のしきい値を超えるそれぞれの値を有する選択することと、複数の選択された画像フレームからスライドデッキを生成することと、一次元スコアを使用してスライドデッキを評価する読者にスライドデッキを提示することであって、スライドデッキは、シャッフルされ、読者のバイアスを減少させるために計算され、編成された方法で提示される、提示することと、複数の画像フレームの1つ以上の画像フレーム及び値または一次元スコアの少なくとも1つに基づいて、完全に自動化された方法で分解及び割り当てを実行するように構成された機械学習(ML)アルゴリズムを監視することと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。
一例の実施形態は、コンピュータ実装方法を含み得、本方法は、少なくとも1つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも1つのプロセッサを介して、画像フレームのセットの各画像フレームに第1のスコアを自動的に割り当てることであって、第1のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応し、かつ所与の特徴が小腸腸疾患の病状を評価するために使用される、割り当てることと、を含む。
一例の実施形態は、上記の方法を含み得、少なくとも1つのプロセッサを介して、第2のスコアを画像フレームに割り当てることをさらに含み、第2のスコアは、所与の特徴の重症度に対応する。
一例の実施形態は、上記の方法を含み得、第2のスコアを使用して、少なくとも1つのプロセッサを介して、疾患の悪化または疾患の改善をモニターすることをさらに含む。
一例の実施形態では、上記の方法を含み得、消化器官の一部に対する疾患の影響を定量化するために、少なくとも1つのプロセッサを介して、第1のスコアまたは第2のスコアの少なくとも1つに従って画像フレームのセットを自動的に配置することと、さらに含む。
一例の実施形態は、メモリと、少なくとも1つのプロセッサと、を含むシステムを含み得、プロセッサは、メモリに通信可能に結合され、少なくとも1つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも1つのプロセッサを介して、画像フレームのセットの各画像フレームに第1のスコアを自動的に割り当てることであって、第1のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応し、かつ所与の特徴が小腸腸疾患の病状を評価するために使用される、割り当てることと、含む操作を実行するように構成されている。
一例の実施形態は、上記のシステムを含み得、操作することは、少なくとも1つのプロセッサを介して、第2のスコアを画像フレームに割り当てることをさらに含み、第2のスコアは、所与の特徴の重症度に対応する。
一例の実施形態は、上記のシステムを含み得、操作することは、第2のスコアを使用して、少なくとも1つのプロセッサを介して、疾患の悪化または疾患の改善をモニターすることをさらに含む。
一例の実施形態は、上記のシステムを含み得、操作することは、消化器官の一部に対する疾患の影響を定量化するために、少なくとも1つのプロセッサを介して、第1のスコアまたは第2のスコアの少なくとも1つに従って画像フレームのセットを自動的に配置することをさらに含む。
一例の実施形態は、少なくとも1つのプロセッサによって実行されたときに、少なくとも1つのプロセッサに、少なくとも1つのプロセッサを介して画像フレームのセットを受信することであって、画像フレームのセットの少なくともサブセットは、所与の患者の消化器官の内面を描写する受信することと、少なくとも1つのプロセッサを介して、画像フレームのセットの各画像フレームに第1のスコアを自動的に割り当てることであって、第1のスコアは、消化器官の内面上の所与の特徴の存在または不在を描写する画像フレームの可能性に関する画像フレームの情報性に対応し、かつ所与の特徴が小腸腸疾患の病状を評価するために使用される、割り当てることと、を含む操作を実行させる命令が格納された非一時的コンピュータ可読ストレージ媒体を含み得る。
一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、操作することは、少なくとも1つのプロセッサを介して、第2のスコアを画像フレームに割り当てることをさらに含み、第2のスコアは、所与の特徴の重症度に対応する。
一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、操作することは、少なくとも1つのプロセッサを介して、第2のスコアを使用して、疾患の悪化または疾患の改善をモニターすることをさらに含む。
一例の実施形態は、上記の非一時的コンピュータ可読ストレージ媒体を含み得、操作することは、消化器官の一部に対する疾患の影響を定量化するために、少なくとも1つのプロセッサを介して、第1のスコアまたは第2のスコアの少なくとも1つに従って画像フレームのセットを自動的に配置することをさらに含む。
発明の概要または要約のセクションではなく、以下の発明を実施するための形態のセクションは、請求項を解釈するために使用されることを意図していることを理解されたい。発明の概要または要約のセクションは、すべてではないが、バッテリ寿命延長のために本明細書に記載の強化されたバッテリ管理技術の1つ以上の例示的な実施形態を説明し得、したがって、いかなる方法でも添付の特許請求の範囲を限定することを意図するものでない。
本明細書に開示される強化された技術の他のシステム、方法、特徴、及び利点は、以下の詳細な説明及び本明細書に出願される対応する図面を検討することにより、当業者に明らかになるか、または明らかであろう。そのようなすべての追加のシステム、方法、機能、及び利点がこの発明を実施するための形態に含まれ、以下の特許請求の範囲によって保護されることが意図される。
添付の図面は本明細書に組み込まれ、明細書の一部を形成する。
本明細書で提供されるのは、腸の病理(腸疾患)の画像スコアリングのための、システム、装置、デバイス、方法及び/またはコンピュータプログラム製品の実施形態、及び/またはそれらの組み合わせ及びサブコンビネーションである。本明細書に開示された強化された技術に従って画像をスコアリングすることにより、上記の背景技術セクションに記載した困難を軽減または解決することが可能である。画像スコアリングのこれらの強化された技術は、ヒトのレビューア(例えば、胃腸科医、他の医療専門家)による診断及びモニターの信頼性を改善するのみでなく、レビュー、モニター、診断、またはこれらの任意の組み合わせの自動化された技術の基礎としても機能する。
この発明の概要で言及されているいくつかの非限定的な例では、特定のタイプの腸疾患、医療専門家(例えば、胃腸科医)の仕事、及び診断またはモニターが、本明細書に記載の強化された技術のいくつかを説明する目的で非限定的な使用症例として含まれ得る。本明細書に記載の強化された技術は、これにより、胃腸病学などの医療分野における新しい標準治療を確立するのに有用であり得る。現在の医師の診断及びモニターは、個々の木において広範な植物病理学の影響を測定するために森に足を踏み入れる環境科学者に類似している可能性がある場合、本明細書に記載の強化された技術は、航空画像を使用して森全体の地図を作成することに類似していると見なすことができ、全体として森内の病理の全体的な範囲を評価するための包括的な数値メトリックが可能になる。
しかし、医療診断、観察、及びモニターに加えて、画像スコアリングのこれらの強化された技術はまた、本明細書に記載されている非限定的な例よりも幅広い用途を有し得る。これらの強化された技術の要素は、いくつか例を挙げると、コンピュータビジョン及び機械学習などの人工知能などの他の分野の態様も改善する。
スコアリング及びサンプリングの一般的なアプローチ
いくつかの実施形態では、スコアは、フレームごとに画像フレームについて計算され得る。そのようなスコアは、例えば、画像フレームが全体として、画像フレーム内に示される所与の器官における所与の疾患の特徴の強度などの他の特徴を決定することに関して明確に示し得る特徴に関してどれほど情報的であるかを示し得る。例えば、画像フィルタを適用することにより、少なくとも1つのコンピュータプロセッサ(プロセッサ904など)は、画像フレームの自動セグメンテーションを実行して、レビューア(ヒトまたは人工知能)の能力に寄与するかまたはその能力を損なう可能性がある画像フレームの領域を決定するように構成され得、これにより、画像フレームを評価して、潜在的な疾患の重症度またはその特徴など、画像フレームの他の態様のスコアリングを行う。
一次元数値スケールを使用して、所与の画像フレームの情報性を決定し得る。特定の使用例では、小腸の内壁を描写した画像フレームを分析してセリアック病の特徴の重症度を判断する場合、画像フレームが腸壁の粘膜面を示しているか、または画像フレームは、例えば、粘膜のエッジ(粘膜面のひだの頂上)を示しているかに応じて、異なる情報が決定できる可能性がある。一般に、絨毛は面よりもエッジの画像においてより目に見える可能性があるため、主にエッジを示す画像は、主に面を示す画像よりも情報的であり得る。絨毛の可視性は、例えばセリアック病の重症度を観察するために使用され得る絨毛萎縮の決定を容易にし得る。
粘膜面及び粘膜エッジの両方の画像領域を示す画像フレームは、一方のみを示す画像フレームよりもさらに情報的であり得る。他の極端な例では、面またはエッジの特性を示さない画像フレーム(例えば、光の不足、焦点の欠如、画像内のアーチファクトの妨害など)は、重症度の自動スコアリングのために、少なくともコンピュータビジョンごとに、重大な疾患の特徴を判断するには有用でない場合がある。
画像フレームをしきい値と比較するため、及び/または疾患の重症度など、後のスコアリングに使用する画像について他の任意の決定を行うために、数値スコアを分析し、調整することができる。例えば、画像フレームのセットのうち、特定のしきい値を超える情報性スコアを有する任意の画像フレームは、疾患の特徴の重症度をスコアリングするために別のスコアリングモジュールに渡され得る。そのような数値計算及び比較を実行するために、一次元数値スケール上の点が、特定の特性及びそれらの組み合わせに割り当てられ得る。
スケール上の実際の値は、いくつかの実施形態では個別であるか、またはその代わりに他の実施形態では連続的であり得、割り当てられた特性値は単なるガイダンスである。一実施形態では、情報スコアは4点スケールで定義することができる。(所与の疾患に関して)明確な情報がない画像フレームの場合、情報スコアはゼロまたはゼロに近い場合がある。主に粘膜の面の画像を示す画像フレームの場合、情報スコアは1または1の近くであり得る。主に粘膜エッジ画像を示す画像フレームの場合、情報スコアは2または2の近くであり得る。また、粘膜の面及び粘膜のエッジの両方の画像を有意に示す画像フレームの場合、情報スコアは3または3の近くであり得る。この0~3のスケールは、説明のみを目的とした非限定的な例である。
個々の画像フレームのそのような情報性スコアに基づいて、別の画像フレームの可能性のある情報性を自動的に決定するために追加の計算が実行され得る。例えば、情報性のしきい値は、手動または自動で決定できる。いくつかの実施形態では、回帰ルールを情報性スコアと共に使用して、フレームセット内の画像フレームの情報性を予測し、画像フレーム間のほとんどの分散を説明することができる。いくつかの実施形態では、ランダムフォレスト(RF)アルゴリズム、ならびに手動でスコア付けされた学習セットを使用して訓練され得る機械学習(ML)モデルが適用され得る。同じ画像フレームの他のスコアを使用して、情報性を処理するMLモデルを訓練することができる。例えば、いくつかの実施形態では、画像フレームは、最初に重症度について独立してスコアリングされ得、これは、次に、後の情報性スコアリング及び情報性しきい値に影響を及ぼし得る。
画像フレーム(またはその十分に広い領域)への任意のスコアの帰属は、人工知能(AI)モデル、コンピュータビジョン(CV)、機械学習(ML)、ランダムフォレスト(RF)アルゴリズムなどの任意のアルゴリズムによって実行され得る。より具体的には、また以下にさらに記載するとおり、人工ニューラルネットワーク(ANN)技術は、情報性、重症度、またはその他の尺度のために、分類及びスコアリングのプロセスでも活用され得る。ANNの例としては、フィードフォワードニューラルネットワークを挙げることができ、さらに畳み込みニューラルネットワーク(CNN)がさらに挙げられ、以下に詳述するように、他の構成も可能である。
情報性スコアは、いくつかの実施形態では、品質スコア、有用性スコア、信頼性スコア、再現性スコアなど、またはそれらの任意の組み合わせと呼ばれ得る。例えば、情報性に基づいて画像フレームのセットをフィルタリングする場合、特定の情報性のしきい値を下回る画像フレームは、セットから削除するかまたは除去する、他のスコアを割り当てるためにこれらの画像フレームを非表示にするかまたは無視する、及び/またはその後の分析のために特定の情報しきい値未満の画像フレームを保留にするなど、様々な方法で取り扱われ得、これらは、情報性に関する最初のスコアまたは他の値のための他のスコアと類似しているかまたは異なる場合がある。
情報スコアリング及び所与のしきい値より上または下の画像のソートなどのスコアリングに加えて、サンプリングを実行して、画像フレームのセットから特定の画像フレームを選択することもできる。一般に他の部分よりも情報的であることが公知である所与の器官のいくつかの部分について、より多くの画像が、情報の少ない部分からよりもそれらのより情報的な部分から確率的に選択され得る。例えば、小腸の特定の疾患は、小腸の所与の部分において比例して多少確実に発現され得る(例えば、遠位三分位からのサンプリングが多い、近位端部からのサンプリングが少ないなど)。セリアック病の特徴を探すとき、1つの特定の例を挙げれば、そのような特徴は一般に、遠位三分位よりも小腸の近位三分位でより明白である可能性があり得る。したがって、セリアック病を観察するためのサンプリングアルゴリズムは、近位二十分位からのサンプルを考慮することなく、遠位三分位よりも近位三分位により多くの重みを与え得る。同じ器官内であっても異なる疾患が異なって発現する及び/または同じ器官の異なる相対的位置で発現され得るため、特定の場所は、標的とされる器官及び疾患の特徴に依存する。
実際の情報スコアはまた、適応的にサンプリングに供給され得、その結果、より高い情報スコアを有する対応する画像フレームを有する領域は、次に、より低いスコアを有する対応する画像フレームを有する他の領域よりも高頻度でサンプリングされ得る。他のサンプリング方法、例えば、平方根または立方根に基づく方法を使用してもよい。情報性については、適応サンプリング及び選択は、疲労及びバイアスを減少させるために、別の属性(例えば、疾患の重症度)の後続のスコアリングを自動的に(例えば、AIによって)実行するか、ヒトのレビューアによって手動で実行するかに応じて調整され得る。
スコアはまた、画像フレームのセット及び/または画像フレームのセットが複数の患者を有し得る例などの特定の患者についてなど、集計され得る。いくつかの例示的な実施形態では、重症度スコアは、対応する情報性スコアによって重み付けされて、画像フレームセット及び/または患者の総スコアを得することができる。
さらに、情報性及び/または他のスコアメトリックを決定するために、画像フレームスコアを、期待値、異常、外れ値などを決定するためなどに、曲線に適合させることができる。スコアは重み付けされ得、相対位置の所定の値は、いくつかの実施形態では、相対位置に従って所与の器官の部分の情報性または他のスコアメトリックを決定するためなど、特定のスコアの加重平均に割り当てられ得る。
重みは、例えば、平均値が1(または他のデフォルトの正常値)になるように正規化され得る。重みは、確率密度関数(PDF)、例えば、正常、均一、対数などを使用して決定され得る。これは、所与の器官に沿った相対位置と相関する確率の既知の分布に基づいて変更してもよい。例えば、小腸の近位領域(十二指腸に移行する幽門領域)の場合、特定のスコアは、内側または遠位領域(空腸、回腸、及び盲腸への回腸移行)の対応するスコアとは異なると予想され得る。これらの変動は、局所的な異常を判断するため、または他の領域の基準とは異なり得るが他の方法では関心領域ではない可能性がある予想される変動を無視するために説明され得る。
本明細書に記載の技術の任意の組み合わせを含む一般的なアプローチに従って、画像は、正確な識別、レビュー、分類、及び/または診断を助ける方法でセグメント化、スコアリング、及び/または配置され得る。本明細書に記載の特定の技術の選択された例は、限定することを意図するものではなく、むしろ、これらの強化された技術に従って技術を実装する当業者に例示的なガイドラインを提供する。
画像フレームまたはその領域の情報性のスコアリング
図1は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術に従って、画像フレーム内の少なくとも1つのスニペットを識別する及び/または選択するための方法100を示すフローチャートである。方法100は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法100のすべてのステップが必要とされない場合がある。さらに、方法100のいくつかのステップは、当業者によって理解されるように、同時に、または図1に示されるものとは異なる順序で実行され得る。
方法100は、図7~図9を参照して記載されなければならない。しかし、方法100は、それらの例示的な実施形態のみに限定されない。方法100のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9の904に関して以下に記載される。いくつかの実施形態では、方法100は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
102では、少なくとも1つのプロセッサ904は、図7及び図8の左側に示される画像フレームなどの画像フレームのセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも1つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。
画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、例えば、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び少なくとも1つのスコアの値の変化によるサンプリングなどのサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。
画像フレームは、この例の目的のために、例えば、特定の疾患を潜在的に示す特徴を示し得る器官の一部を表す(示す、描写する)画像として定義され得る。場合によっては、特徴は特定の疾患の症状または他の発現を示し得る。いくつかの実施形態では、画像フレームは、実質的に同時に撮影された複数のカメラまたはセンサからの画像、例えば、バグアイカメラデバイスからの画像を含み得る。画像フレームは、1つのセンサまたはカメラの単一の出力に限定される必要はない。
各画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの画像化デバイスの内部または外部の別の装置から、または上記の任意の組み合わせから受信することができる。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、及び標準プロトコル、ユーザーインターフェース(UI)、アプリケーションプログラミングインターフェース(API)などを介してアクセス可能なネットワークストレージ媒体(ローカルネットワーク上またはネットワークまたはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など)を挙げることができる。
104では、プロセッサ904は、少なくとも部分的に人工ニューラルネットワーク(ANN)の出力に基づいて、または第1のスコアを決定する他の手段によって、少なくとも1つのスコアを画像フレームに割り当てることができる。いくつかの実施形態では、第1のスコアは、情報性スコア(品質スコア、信頼性スコアなど)であり得る。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、以下に108に関してさらに説明するように、画像フレームのセットの画像フレームをソート、ランク付け(昇順または降順)、または他の方法で配置することが可能である。いくつかの実施形態では、第1のスコアは、106に関して以下にさらに記載するように、正規化のために使用され得る。あるいは、他の実施形態では、104で割り当てられた各フレームの第1のスコアは、代わりに、108に関して以下でさらに記載するが、正規化をバイパスする、しきい値を使用するフィルタリングの基礎として使用され得る。
106では、プロセッサ904は、上記のように少なくとも1つのカーブフィットによって、画像フレームのセット内の各画像フレームの第1のスコアを正規化することができる。これは、指定された範囲内の第1のスコアを有する。少なくとも1つのカーブフィット(または少なくとも1つのカーブへのフィット)は、例えば、相対位置または他のパラメータと相関する期待値など、少なくとも1つのPDF及び/または他の局所的重み付けなどの入力に基づくことができる。いくつかの実施形態では、正規化されたスコアは、所定のデフォルト値に関して重み付けされ得る。いくつかの実施形態では、スコアは、適応サンプリングのために繰り返し正規化され得、例えば、スコアを再割り当てし、再割り当てされたスコアが変化した場合、新しい対応する画像サンプルを選択するために104を繰り返す。図10は、相対位置と相関するPDFに関する適応サンプリングの例を示している。
108では、プロセッサ904は、106の正規化された第1のスコア(複数可)に基づいて、所与の画像フレームから少なくとも1つの関心領域を抽出するように構成され得る。方法100の目的のために、スニペットは、画像フレームの少なくとも1つの関心領域を含み得る(例えば、図7及び図8に示すとおり)。具体的には、スニペットは、いくつかの実施形態では、例えば、粘膜面及び/または粘膜面のエッジを含むものとして識別される画像フレーム内の所与のエッジ値(例えば、所定のエッジ検出しきい値を超える)を包含する、特定の領域、形状、及び/またはサイズを有し得る関心領域として定義され得る。そのようなスニペットは、少なくともいくつかのフィルタ(例えば、エッジフィルタ、水平線フィルタ、カラーフィルタなど)を使用して識別され得る。これらのフィルタは、例えば、104で割り当てられ、上記の106で正規化されたスコア、または他の任意のスコアメトリックを使用するような、いくつかのエッジ検出アルゴリズム及び/または所定のしきい値を含み得る。所望の結果のために、所与のニューラルネットワークは、以下にさらに記載するとおり、いくつかの実施形態において、様々な方法で設計、カスタマイズ、及び/または修正され得る。
スニペットは、いくつかの実施形態では、全体の画像フレームサイズに対して小さい面積、例えば、スニペットあたりの総画像フレーム面積の0.7%を有するものとして定義され得る。他の実施形態は、例えば、各画像フレームに描写される標的器官の実際の面積などの他の要因に応じて、画像フレーム面積の最大5%または25%としてスニペットを定義することができる。画像フレームが比較的小さいと定義され得る場合(例えば、所与の時間に撮影されたより大きな画像のより小さい成分)、いくつかの実施形態では、スニペットは、比較的多くの画像フレーム面積を占める可能性があると定義され得る。
第1のスコアが画像フレームの情報(または信頼性)に関するものである実施形態では、108は、場合によっては、情報性または信頼性の少なくとも最小の第1のスコアを有する画像フレームにのみ、選択的に適用され得、所与のしきい値より低いスコアを有する画像フレームは無視する。これは、そのような画像フレームが、意味のある第2のスコアをもたらすのに十分な情報または信頼性がない可能性があるためである。例えば、102で受信され、104でスコアリングされ、106で正規化されたセットフレームのサブセットを形成する選択されたフレーム(複数可)に108を選択的に適用するために、いくつかの実施形態はまた、図11の方法1100に関して以下にさらに記載の特定のステップを実行し得る。追加的にまたは代替的に、範囲は、しきい値のみではなく、上限及び/または下限を有するものとして指定され得る。したがって、任意の値xとyとの間の第1のスコア値を有する画像フレームは、第2のスコアの割り当てから除外され得るが、xより下またはyより高い第1のスコア値を有する画像フレームは、例えば、108においてスニペット抽出のために処理され得る。あるいは、指定された範囲は不連続であり得る。したがって、他の実施形態では、xより下またはyより高い第1のスコア値を有する画像フレームは、スニペット抽出から除外され得るが、xとyとの間の画像フレームは、例えば、108においてスニペット抽出のために処理され得る。
さらに、108では、抽出された任意のスニペット(複数可)を特定の方向に配向(または再配向)させ得る。この配向は、例えば、抽出と同じ操作で実行することができ、または他の実施形態では、別個のステップとして実行することができる。いくつかの実施形態では、特定の方向は、関心領域内のエッジに対して相対的であり得る。場合によっては、腸内では、例えば、この配向は、確実に、粘膜エッジが配向された関心領域の底にあること、または特定のエッジ、面、または他の画像の特徴に関して他の任意の好ましい配向にあることによって決定され得る。
一例の実施形態は、関心領域内の点で、測定された各点の周りの円形領域内の水平線の重心に対するベクトルの大きさを測定することによって操作され得る。ベクトルが特定のしきい値(例えば、円形領域の半径の25%)を超えると判断された場合、これにより関心領域の底部が決定され、長方形のパッチが描画され得る(例えば、ベクトルに平行に、画像フレームの幅のxパーセントの長さを有し、画像フレームの高さのyパーセントの高さを有する)。これらの(再)配向されたスニペットはそれぞれ、画像フレームとは別に評価され得、これにより、例えば、以下の110でさらに記載するように、疾患の特徴の情報性及び/または重症度に関して、画像フレーム全体のスコアを提供する。いくつかの実施形態では、強いベクトル(例えば、円形領域の半径の25%)がない場合、配向をスキップすることができる。
110において、少なくとも1つの関心領域は、画像フレームの少なくとも1つのスコアを決定するために、人工ニューラルネットワーク(ANN)に入力され得る。ANNは、いくつかの非限定的な例を挙げれば、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも1つであり得る。例えば、フィードフォワードニューラルネットワークの場合、いくつかの実施形態では、これは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、オートエンコーダ、またはそれらの任意の組み合わせのうちの少なくとも1つにさらに対応し得る。
1つの非限定的な例を示すために、ANNは疑似回帰畳み込みニューラルネットワーク(CNN)であり得る。CNNには、畳み込み層が深く、複数の初期特徴が含まれ得る。これには、例えば、畳み込み層ごとにさらにいくつかの特徴が含まれる。
さらに、所与のニューラルネットワーク及び画像フレームのセット、関心領域、及び/またはスニペットについて、いくつかの実施形態では、(ディープ)ニューラルネットワークの各層における接続ニューロンの数は、例えば、小さい画像サイズに対応するように調整され得る。ディープニューラルネットワークでは、畳み込み層の出力が、さらに処理するために、遷移層にフィードし得る。これらの層の出力は、複数の複製を使用して、密に接続された多層パーセプトロンにマージされ得る(上記の図1を参照されたい)。一実施形態では、(例えば、ドロップアウトを切り抜けるために)5つの複製を用いて、複数の層を3つの層とマージして、10クラスの最終出力を得ることができ、各クラスは、例えば、0~3の範囲の10分の1を表す。疑似回帰CNNの別の例によれば、訓練中に、標準偏差が0.2の正規分布ノイズを追加することによって(過剰フィッテイングを防ぐために)位置が不明瞭になり得る。
さらなる例によれば、スコアは、画像フレーム内の1つ以上のスニペットまたは関心領域に基づいて、全体として画像フレームに洗練され、一般化され得る。この結果を達成する1つの方法は、疑似回帰CNNを使用することであり、この場合、比較的小さい割合での訓練セット内の画像フレームは、CNNから保留される。例えば、画像フレームの10%が保留され、スニペットがCNN処理後にそれぞれ10の値を生成する場合、保留された(予約された)スニペットの半分を使用して、100本のツリーのランダムフォレスト(RF)を訓練し、一実施形態では、局所カーブ値を推定できる。この推定値は、予約された訓練スニペットの他の半分からの10値の出力と共に、例えば、エラーを推定し得る別のランダムフォレストを構築するために使用され得る。
いくつかの実施形態によれば、112では、プロセッサ904は、110の入力に応答するANNの出力に少なくとも部分的に基づいて、画像フレームに少なくとも1つのスコアを割り当てることができる。少なくとも上記の110に関して説明された例によれば、画像フレーム内の1つ以上のスニペットまたは関心領域に基づいて、画像フレーム全体のスコアを決定することが可能である。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、画像フレームのセットの画像フレームをソート、ランク付け(昇順または降順)、または他の方法で配置することが可能である。
114では、画像フレームのセット全体にわたって(または特定の患者のために)各画像フレームに割り当てられた少なくとも第1のスコア、第2のスコア、または両方のスコアに基づいて、プロセッサ904は、いくつかの実施形態によれば、セット(または患者)について、少なくとも1つの集計スコアを決定することができる。集計スコアは、例えば、目的の所与の疾患の診断または観察にさらに使用することができ、または少なくとも上記及び以下に記載の技術に従って、画像スコアリング及び/またはサンプリングの結果をさらに要約または分類するために使用することができる。集計スコアは、例えば、例示的な実施形態では、診断を容易にするために、潜在的なセリアック病患者における全体的な絨毛萎縮を示し得る。いくつかの実施形態では、特定の器官の領域(例えば、小腸の内側三分位、回腸の遠位四分位など)について、集計スコアを生成し得る。
さらに、AIは、いくつかの実施形態では、少なくとも1つの集計スコアに基づいて、対象の疾患のより一貫性がありかつ信頼できる自動診断を実行することができる。腸内画像化の例では、本明細書に記載の強化された技術の適用は、1つの非制限的例を挙げれば、セリアック病の診断においてかなり改善された信頼性を可能にし得る。さらに、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に関して所与の患者に施される治療に応答して、手動または自動で行うことができる。
そのような診断は、画像フレームのセットに、腸管の特定のランドマーク特徴(例えば、幽門、十二指腸、盲腸など)を除いて、大部分が均質な画像が含まれている場合でも、本明細書に記載の強化された技術によって容易になり得る。小腸の多くは、任意の所与の部分において小腸の他の部位と同じように見える場合がある。この均質性により、ヒトのレビューアが混乱するかまたはバイアスをかけられる可能性があり、このため、微妙でありながら測定可能な差がある場合であっても、変更はないと想定することになる。このような均質性により、しきい値、平滑化、勾配などに応じて、多くの従来のエッジ検出アルゴリズムで差が失われる可能性もある。しかし、本明細書に記載の強化された技術を使用することにより、特定の疾患の微妙な特徴さえも検出が大幅に改善され得、結果としてそれらの疾患のより正確な診断となる。
画像フレーム内の疾患特徴の重症度のスコアリング
図2は、いくつかの実施形態による、治療、チャレンジ、または別の刺激に応答して、所与の器官の疾患特徴の予想される変化を捕捉するための方法200を示すフローチャートである。方法200などの方法は、1つの非限定的な使用例を挙げれば、特定の医学的治療の臨床試験に使用することができる。方法200は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された画像処理技術を実行するために、すべての場合において方法200のすべてのステップが必要とされない場合がある。さらに、方法200のいくつかのステップは、当業者によって理解されるように、同時に、または図2に示されるものとは異なる順序で実行され得る。
方法200は、図4~図8を参照して記載されなければならない。しかし、方法200は、それらの例示的な実施形態のみに限定されない。方法200のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9に関して以下に記載される。いくつかの実施形態では、方法200は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
本方法は、まだ実行されていない場合は、初期化、実行、または他の方法で開始され得る。いくつかの実施形態によれば、初期化段階から、任意の実装固有の初期化手順後、本方法は、210に進むことができる。いくつかの実施形態では、この実行の流れは、有限状態マシン、手続き型プログラミング、オブジェクト指向プログラミング、及び/またはハードウェア、ソフトウェア、または上記のいくつかの組み合わせにおける他のロジックによって定義され得る。
210では、関心領域(いくつかの実施形態では「スニペット」として表される)は、1つ以上の画像フレームから抽出され得る(関心領域またはスニペットのさらなる説明については、図5の方法500を参照されたい)。また、210では、これらの関心領域またはスニペットは、いくつかの非限定的な例を挙げると、関心領域またはスニペットの配向及び/または再配向、ならびに色、明るさ、及び正規化のための他のフィルタを適用するなど、他の方法で処理され得る。210のこの段階から、抽出された関心領域(方法200の目的のために、関心領域は同義的にスニペットと呼ばれる)は、220で処理するために疑似回帰畳み込みニューラルネットワーク(CNN)に入力され得る。
220では、関心領域またはスニペットは、この例では、疑似回帰CNNなどの少なくとも1つのニューラルネットワークによって処理され得る。図2に示す非限定的な例示的実施形態は、CNNを示し、他のタイプのニューラルネットワーク及び/またはアルゴリズムは、他の実施形態において220の処理を実行し得る。この疑似回帰CNN処理がどのように機能するかについてのより詳細な説明は、図5に関して以下に記載する。220における疑似回帰CNNからの出力は、230AにおけるCNN予測ランダムフォレスト(RF)及び/または230BにおけるCNNエラーRFに中継され得る。
230Aでは、CNN予測RFは、220での疑似回帰CNNから少なくとも1つの結果を受け取ることができる。独自の処理後、CNN予測RFは、例えば、240におけるスニペット選択への入力として、及び/または250におけるフレーム統計への入力として、少なくとも1つの結果を出力することができる。CNN予測RF出力の結果として得られる値は、いくつかの実施形態では、例えば、所与のスニペットにおける疾患の特徴の局所的な重症度に対応し得る。そのような予測は、推定または評価と呼ばれ得る。(例えば、エッジ検出のために)RFを使用する予測に関するより詳細は、図5に関して以下に記載する。CNN予測RF出力は、以下に記載の230BでのCNNエラーRFへの入力としても機能し得る。
230Bでは、CNNエラーRFは、220での疑似回帰CNNから少なくとも1つの結果を受け取ることができる。独自の処理後、CNN予測RFは、例えば、240におけるスニペット選択への入力として、及び/または250におけるフレーム統計への入力として、少なくとも1つの結果を出力することができる。(例えば、エラー推定のために)RFを使用する予測に関するより詳細は、図5に関して以下に記載する。
240では、スニペットの選択が実行され得る。いくつかの実施形態では、スニペット選択は、エッジ検出、及び抽出された画像を検出されたエッジの周りに再配向することによって実行され得る(例えば、230AにおけるCNNによるRF予測の結果として)。スニペットは、強度などの画像特性によって、及び/または潜在的な疾患の特徴の重症度などの内容に基づいて、評価(スコアリング)し、潜在的にランク付けされ得る。スニペットの選択及びスコアリングの詳細については、図4及び図5に関して以下に説明する。選択したスニペットは、例えば250においてフレーム統計を計算するための入力として使用され得る。追加的または代替的に、いくつかの実施形態は、スニペット選択を、いくつかの非限定的な例を挙げると、画像変換、マスキング、エッジ検出、再配向、またはそれらの組み合わせのステップと統合してもよい。そのようなステップを組み込んだ実施形態は、図12の方法1200に関して以下にさらに記載する。
いくつかの実施形態では、250において、フレーム統計が計算され得る。フレーム統計としては、これらに限定されないが、スニペット、フレーム、またはフレームセットの特定のメトリックの平均または標準偏差、フレームまたはフレームセットごとのスニペットの数、フレームまたはフレームセットごとのフレームメタデータ、230BにおいてCNNエラーRFによって推定されたエラー値などが挙げられる。フレーム統計は、例えば、特定の疾患の診断など、所与の時間における所与の患者について全(「全体像」)スコアを決定するのに有用であり得る。別の例では、予想よりも高い関心領域の標準偏差を有するフレームは、場合によっては、他のフレームよりも情報性が少ないと判断され得る。
260Aでは、CNN予測RFは、250での疑似回帰CNNから少なくとも1つの結果を受け取ることができる。独自の処理後、CNN予測RFは、例えば、カーブフィット270への入力として少なくとも1つの結果が出力され得る。CNN予測RF出力の結果として得られる値は、いくつかの実施形態では、例えば、所与のスニペットにおける疾患の特徴の局所的な重症度に対応し得る。そのような予測は、推定または評価と呼ばれ得る。(例えば、エッジ検出のために)RFを使用する予測に関するより詳細は、図5に関して以下に記載する。CNN予測RF出力は、以下に記載の260BでのCNNエラーRFへの入力としても機能し得る。
260Bでは、CNNエラーRFは、250での疑似回帰CNNから少なくとも1つの結果を受け取ることができる。独自の処理後、CNN予測RFは、例えば、カーブフィット270への入力として少なくとも1つの結果が出力され得る。(例えば、エラー推定のために)RFを使用する予測に関するより詳細は、図5に関して以下に記載する。
270では、CNN/RF予測及び/またはエラー推定計算から収集された結果をさらにフィルタリング及び/または正規化するために、カーブフィッティングを行ってもよい。正規化は、カーブ(例えば、ガウス分布、ローレンツ分布など)に関して行ってもよい。いくつかの実施形態では、スニペットに関する画像強度は、各スニペットの疾患重症度予測と称される場合もある。いくつかの実施形態では、画像強度は、画像フレーム全体の疾患重症度スコアを指してもよい。いくつかの実施形態では、画像強度は、例えば、明るさまたは彩度などの特定の画像特性を指してもよい。カーブフィッティングなどの正規化の詳細については、図7に関して以下に説明する。
図2は、10個の出力を生成するように構成されている疑似回帰CNNの値の例を使用して方法200の操作を簡潔に説明するキャプション、及び0.5未満のエラーを伴う検証スニペットで使用されるRFを含む。しかし、他の実施形態は、例えば、出力の数及び許容誤差について異なる値を使用して実装され得る。本明細書に添付された付録Aは、方法200の実施形態に関する追加の詳細を提供する。
様々な実施形態は、例えば、図9に示すコンピュータシステム900などの1つ以上の既知のコンピュータシステムを使用して実施され得る。コンピュータシステム900は、図3のシステム300を備え得、例えば、図2の方法200を実施するために使用され得る。
方法200は、図2のこの例示的な実施形態において上記に示される順序で開示される。しかし、実際には、上記に開示された操作は、他の操作と共に、任意のシーケンスで順次実行されてもよく、あるいは、同時に実行される複数の操作が同時に実行されてもよく、または上記の任意の組み合わせで実行されてもよい。
図2の上記の操作を実施することにより、少なくとも以下の利点を提供し得る:図2に概説される画像処理などのこれらの強化された技術を使用することにより、疾患の特徴、症状、及び診断のスコアリング及び他の評価の信頼性が改善され得、さらに、診断及び治療が典型的には困難であった疾患の信頼できる臨床試験及び/または治療がさらに可能になる。図2の方法200は、以下に記載の図4~6の方法400、500、及び600と同様に、患者の観察、診断、及び治療に有用である特定の結果を達成するための効率的かつ信頼性の高い方法を提供する。
情報性または重症度をスコアリングするためのCNNアプリケーションの例
図3は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術のいくつかを実装するシステムを示すブロック図である。
システム300は、一実施形態では、例えば、少なくともボクセル出力330を生成するために、少なくとも1つの畳み込み入力310及び任意の数の他の入力340を受信するように構成された多層パーセプトロン320を含み得る。多層パーセプトロン320は、例えば、フィードフォワードニューラルネットワーク及び/または分類器であり得るか、またはそれらを含み得、かつ、複数の層を有する。いくつかの実施形態では、活性化関数が特定の層から再利用され得る場合、またはいくつかの実施形態では、特定の計算、例えば、重み行列を求めるために1つ以上の層の活性化がスキップされる場合など、これらの層は密に接続され得る。
多層パーセプトロン320または別のニューラルネットワーク(例えば、少なくとも1つの畳み込み入力310に関連付けられた少なくとも1つの畳み込みニューラルネットワーク(CNN))は、いくつかの実施形態では、所与のボクセル出力を、ボクセルに対応する疾患特徴の重症度の尺度にマッピングすることができる。そのような重症度の尺度は、例えば、少なくとも1つの所与のボクセルに対応する画像フレームにスコアを帰するために使用され得る。いくつかの実施形態では、ボクセルは、例えば、関心領域及び/またはスニペットとして追加的または代替的に表され得る。
他の入力のいくつかは、例えば、色値(いくつかの非限定的な例を挙げれば、例えば、RGB色空間またはPBG色空間で)、及び/または例えば、タイムスタンプメタデータ、位置メタデータ、または相対位置メタデータなどの画像メタデータを含み得る。一実施形態では、例えば、相対位置が小腸の長さに沿った尺度または割合(パーセンテージ)(開始から終了まで)を示し得る場合、そのようなメタデータは、多層パーセプトロン320などのニューラルネットワークによって、情報性及び/または疾患の重症度を測定またはスコアリングし得る方法において任意の役割を果たし得、ボクセル出力330に影響を与え得る。
これらの要素のそれぞれは、ハードウェア、ソフトウェア、またはそれらのいくつかの組み合わせで実装されるモジュラーコンポーネントであり得る。さらに、いくつかの実施形態では、これらの要素のいずれかは、コンピュータシステム900またはその複数のインスタンスと統合され得る。さらに、システム300は、例えば、方法200、400、500、600、または図2及び図4~6に示されるものと同様の方法のいずれかを実施するのに有用であり得る。
畳み込み入力310データは、ユーザ入力、機械入力、または周期的もしくはイベント駆動型入力などの他の自動入力など、実質的に任意のソースから発生し得る。画像フレームは、本明細書に記載のとおり、少なくとも1つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。
画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの別の装置から、または上記の任意の組み合わせから発生され得る。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、及び標準プロトコル、ユーザーインターフェース(UI)、アプリケーションプログラミングインターフェース(API)などを介してアクセス可能なネットワークストレージ媒体(ローカルネットワーク上またはネットワークもしくはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など)が挙げられる。
多層パーセプトロン320及び/または他のニューラルネットワークの追加のロジックを実装して、さらなる処理を実行することができる。そのようなさらなる処理のいくつかの例が、本明細書の図2及び図4~図6に示されている。
画像フレームのスコアリング及び配置
図4は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術に従って画像フレームをスコアリング及び配置するための方法400を示すフローチャートである。方法400は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法400のすべてのステップが必要とされない場合がある。さらに、方法400のいくつかのステップは、当業者によって理解されるように、同時に、または図4に示されるものとは異なる順序で実行され得る。
402では、少なくとも1つのプロセッサ904は、図7及び図8の左側に示される画像フレームなどの画像フレームのセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも1つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。
画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、例えば、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び少なくとも1つのスコアの値の変化によるサンプリングなどのサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。
画像フレームは、この例の目的のために、例えば、特定の疾患を潜在的に示す特徴を示し得る器官の一部を表す(示す、描写する)画像として定義され得る。場合によっては、特徴は特定の疾患の症状または他の発現を示し得る。いくつかの実施形態では、画像フレームは、実質的に同時に撮影された複数のカメラまたはセンサからの画像、例えば、バグアイカメラデバイスからの画像を含み得る。画像フレームは、1つのセンサまたはカメラの単一の出力に限定される必要はない。
センサ8
各画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの画像化デバイスの内部または外部の別の装置から、または上記の任意の組み合わせから受信することができる。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、及び標準プロトコル、ユーザーインターフェース(UI)、アプリケーションプログラミングインターフェース(API)などを介してアクセス可能なネットワークストレージ媒体(ローカルネットワーク上またはネットワークまたはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など)を挙げることができる。
いくつかの実施形態によれば、404では、プロセッサ904は、510の入力に応答するANNの出力に少なくとも部分的に基づいて、画像フレームに少なくとも1つのスコアを割り当てることができる。少なくとも上記の510に関して説明された例によれば、画像フレーム内の1つ以上のスニペットまたは関心領域に基づいて、画像フレーム全体のスコアを決定することが可能である。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、以下に408に関してさらに説明するように、画像フレームのセットの画像フレームをソート、ランク付け(昇順または降順)、または他の方法で配置することが可能である。
406において、プロセッサ904は、指定された範囲内に第1のスコアを有する各画像フレームに第2のスコアを割り当てることができる。例えば、第1のスコアが画像フレームの情報(または信頼性)に関するものである実施形態では、406は、場合によっては、情報性または信頼性の少なくとも最小の第1のスコアを有する画像フレームにのみ、選択的に適用され得、所与のしきい値より低いスコアを有する画像フレームは無視する。これは、そのような画像フレームが、意味のある第2のスコアをもたらすのに十分な情報または信頼性がない可能性があるためである。
この例では、第2のスコアは、画像フレームに示される標的器官の一部における疾患の特徴の強度または重症度を指し得る。しかし、いくつかの実施形態では、第2のスコアは、追加的または代替的に、例えば、任意の画像プロパティまたは画像フレームメタデータなど、任意の定量化可能なメトリックまたは定性的プロパティを参照し得る。さらに、指定された範囲には、しきい値のみではなく、上限及び/または下限を有し得る。したがって、任意の値xとyとの間の第1のスコア値を有する画像フレームは、第2のスコアの割り当てから除外され得るが、xより下またはyより高い第1のスコア値を有する画像フレームは、例えば、406において第2のスコアを割り当てられ得る。あるいは、指定された範囲は不連続であり得る。したがって、他の実施形態では、xより下またはyより高い第1のスコア値を有する画像フレームは、第2のスコアの割り当てから除外され得るが、xとyとの間の画像フレームは、例えば、406において第2のスコアを割り当てられ得る。
408において、プロセッサ904は、いくつかの実施形態によれば、第1のスコアまたは第2のスコアのうちの少なくとも1つに従って画像フレームのセットを配置することができる。このように画像フレーム(のセット)を配置することにより、単に長さに沿った距離の順序ではなく、例えば、いくつかの実施形態では、レビューアのバイアスを減少させるために設計された方法で、診断のためにヒトのレビューアに提示する画像フレームのセットをキュレートすることがさらに可能になる。ヒトのレビューアは、例えば、時間、場所、及び/またはANNによって決定された予測(推定)スコアをランダムな順序で、画像をランダム化及び分類するなどの手法によってバイアスを減少させることができれば、セットからの信頼性の低い(情報性の少ない)画像フレームを除去し、分類した画像をヒトのレビューアに自動的に提示した後、より正確で一貫性のある結果をもたらし得る。ソート順序はまた、タイムスタンプ、位置、所与の器官内の相対位置、及びプロセッサ904によって解析され得る少なくとも1つの画像プロパティなどの画像フレームメタデータによって決定され得る。プロセッサ904は、例えば、その対応するメタデータに基づいて、セットから画像フレームを追加的または代替的に削除することができる。
さらに、いくつかの実施形態では、人工知能(AI)が、目的の疾患のより一貫性がありかつ信頼できる自動診断を実行することが可能になる。腸内画像化の例では、本明細書に記載の強化された技術の適用は、1つの非制限的例を挙げれば、セリアック病の診断においてかなり改善された信頼性を可能にし得る。さらに、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に関して所与の患者に施される治療に応答して、手動または自動で行うことができる。
そのような診断は、画像フレームのセットに、腸管の特定のランドマーク特徴(例えば、幽門、十二指腸、盲腸など)を除いて、大部分が均質な画像が含まれている場合でも、本明細書に記載の強化された技術によって容易になり得る。小腸の多くは、任意の所与の部分において小腸の他の部位と同じように見える場合がある。この均質性により、ヒトのレビューアが混乱するかまたはバイアスをかけられる可能性があり、このため、微妙でありながら測定可能な差がある場合であっても、変更はないと想定することになる。このような均質性により、しきい値、平滑化、勾配などに応じて、多くの従来のエッジ検出アルゴリズムで差が失われる可能性もある。しかし、本明細書に記載の強化された技術を使用することにより、特定の疾患の微妙な特徴さえも検出が大幅に改善され得、結果としてそれらの疾患のより正確な診断となる。
画像フレーム内のスニペット(関心領域)の選択
図5は、いくつかの実施形態による、本明細書に記載の強化された画像処理技術に従って画像フレームを識別する及び/または選択するための方法500を示すフローチャートである。方法500は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法500のすべてのステップが必要とされない場合がある。さらに、方法500のいくつかのステップは、当業者によって理解されるように、同時に、または図5に示されるものとは異なる順序で実行され得る。
方法500は、図2、図3,及び図6~図8を参照して記載されなければならない。しかし、方法500は、それらの例示的な実施形態のみに限定されない。方法500のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9の904に関して以下に記載される。いくつかの実施形態では、方法500は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
502では、少なくとも1つのプロセッサ904は、図7及び図8の左側に示される画像フレームなどの画像フレームのセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも1つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。
画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び例えば、少なくとも1つのスコアの値の変化によるサンプリングが挙げられるサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。
画像フレームは、この例の目的のために、例えば、特定の疾患を潜在的に示す特徴を示し得る器官の一部を表す(示す、描写する)画像として定義され得る。場合によっては、特徴は特定の疾患の症状または他の発現を示し得る。いくつかの実施形態では、画像フレームは、実質的に同時に撮影された複数のカメラまたはセンサからの画像、例えば、バグアイカメラデバイスからの画像を含み得る。画像フレームは、1つのセンサまたはカメラの単一の出力に限定される必要はない。
各画像フレームは、画像が撮影されるときに画像化デバイスから直接、画像撮影後に画像データを格納することができるストレージデバイスなどの別の装置から、または上記の任意の組み合わせから受信することができる。したがって、画像フレームは、当業者によって理解されるであろう実質的に他の任意の画像データのソースから受信され得る。ストレージデバイスのいくつかの非限定的例としては、ローカルストレージ媒体、標準プロトコル、ユーザーインターフェース(UI)、アプリケーションプログラミングインターフェース(API)などを介してアクセス可能なネットワークストレージ媒体(ローカルネットワーク上またはネットワークまたはクラウドコンピューティングインフラストラクチャ上のリモートリソース上など)を挙げることができる。
504では、プロセッサ904は、画像フレームのセットの画像フレームにおいて、エッジ値が所定のしきい値を超えることを決定するように構成され得る。この決定は、いくつかの実施形態では、画像フレームの情報性(画像フレームが疾患の特徴の存在、不在、または重症度を示す可能性がどれほどあり得るか)を決定するため、及び/または所与の特徴の重症度を決定するために(疾患強度と呼ばれることもある)最終的に使用され得る。この決定を行う際に分析された画像フレームは十分に情報的であると仮定する。いくつかの実施形態では、この決定は、画像フレームの1つ以上のスニペット(図7及び8を参照)の基礎を形成し得る画像フレーム内の1つ以上のエッジを識別するために、または画像フレームが、例えば、特定の疾患の特徴を決定するのに有用であるエッジを有さない場合に、任意の所与の画像フレームで試みられ得る。
エッジ値が所定のしきい値を超えることを決定するために、いくつかの非限定的な例を挙げると、例えば、微分演算子またはラプラシアン関数の極大値またはゼロ交差の計算、または他の微分エッジ検出方法など、様々なエッジ検出技術のいずれかを使用することができる。本明細書に記載のエッジ検出目的の任意のしきい値は、例えば、適応しきい値化技術及び/またはしきい値ヒステリシスの使用など、所与の画像セットにおける信号及びノイズのバランスをとるための様々な技術によって決定され得る。ガウス平滑化、特定の色範囲の変換、カラーチャネルの分離、勾配及び/または勾配推定の計算など、追加ステップもエッジ検出を伴ってもよい。
いくつかの実施形態では、エッジ検出をさらに支援することは、少なくとも1つの機械学習(ML)アルゴリズム、ニューラルネットワーク(NN)、及び/またはランダムフォレスト(RF)の使用であり得る。例えば、MLアルゴリズムは、粘膜の前景を背景から分離するため、または障害物(浮遊物質、胆汁の流れなど)もしくは例えば、腸の画像フレームでの他のアーチファクト(気泡、輝点、反射など)を分離するために、腸管の内側からの画像を使用して、訓練され得る。このような異常は、比較的単純なエッジ検出アルゴリズムの有効性を低下させ得るが、ニューラルネットワーク、機械学習、ランダムフォレスト、またはそれらの任意の組み合わせを構成して、いくつかの実施形態では、そのような画像または領域をスプリアス(情報がない、または信頼できない)として検出し、画像フレームのセットにおいて、それらを考慮から外し得る。
例えば、輝点は、それぞれが比較的高い強度を有するRGB(赤-緑-青のカラーモデル)画像の3つのチャネルのうちの少なくとも2つによって検出され得る。輝点を超えて、明るい線は気泡を示し得る。胆汁は、いくつかの実施形態では、RGB色空間をPBG(ピンク-茶色-緑)にキャストし、高輝度の緑チャネルを検出することによって決定され得る。これらは、腸の画像を分析する際にいくつかのアーチファクトがどのように決定され得るかを示す数例である。そのようなアーチファクトを有する画像フレームは、情報性が低いかまたは情報性がないものとして分類され得る。
粘膜面は、少なくとも1つの強いエッジを有すると決定され得る(高しきい値エッジフィルタで検出される)。セリアック病及びその重症度を決定することに関して、例えば、粘膜面を含む画像フレームは、他の画像フレームよりも情報が多いか、または比較的情報が多いと決定され得る。閉塞性アーチファクトのない情報性画像フレームの中で、疾患の特徴の重症度は、例えば、腸内表面に対応するエッジ及び面の特徴に基づいて、高信頼性でスコアリングすることができる。そのようなスコアリングは、例えば、画像フレームのセット内の画像フレームをレビューするヒト専門家(例えば、胃腸科医)によって手動で行われ得る。いくつかの実施形態では、そのようなスコアリングは、例えば、エッジ及び/または面の特徴に関して類似のアルゴリズムまたは異なるアルゴリズムを適用して、自動的に実行され得る。
506では、プロセッサ904は、504の決定に基づいて、所与の画像フレームから少なくとも1つの関心領域を抽出するように構成され得る。方法500の目的のために、関心領域は、画像フレームの少なくとも1つのスニペットを含み得る(例えば、図7及び8に示すとおり)。具体的には、スニペットは、いくつかの実施形態では、例えば、粘膜面及び/または粘膜面のエッジを含むものとして識別される画像フレーム内の所与のエッジ値(例えば、所定のエッジ検出しきい値を超える)を包含する、特定の領域、形状、及び/またはサイズを有し得る関心領域として定義され得る。スニペットは、いくつかの実施形態では、全体の画像フレームサイズに対して小さい面積、例えば、スニペットあたりの総画像フレーム面積の0.7%を有するものとして定義され得る。他の実施形態は、例えば、各画像フレームに描写される標的器官の実際の面積などの他の要因に応じて、画像フレーム面積の最大5%または25%としてスニペットを定義することができる。画像フレームが比較的小さいと定義され得る場合(例えば、所与の時間に撮影されたより大きな画像のより小さい成分)、いくつかの実施形態では、スニペットは、比較的多くの画像フレーム面積を占める可能性があると定義され得る。
508では、504の決定に基づいて所与の画像フレームから抽出された任意のものなど、少なくとも1つの関心領域を特定の方向に配向させ得る(または再配向させ得る)。いくつかの実施形態では、特定の方向は、関心領域内のエッジに対して相対的であり得る。場合によっては、腸内では、例えば、この配向は、粘膜のエッジが配向された関心領域の底部にあることを確実にすることによって決定され得る。
一例の実施形態は、関心領域内の点で、測定された各点の周りの円形領域内の水平線の重心に対するベクトルの大きさを測定することによって操作され得る。ベクトルが特定のしきい値(例えば、円形領域の半径の25%)を超えると判断された場合、これにより関心領域の底部が決定され、長方形のパッチが描画され得る(例えば、ベクトルに平行に、画像フレームの幅のxパーセントの長さを有し、画像フレームの高さのyパーセントの高さを有する)。これらの(再)配向されたスニペットはそれぞれ、画像フレームとは別に評価され得、これにより、例えば、以下の510でさらに記載するように、疾患の特徴の情報性及び/または重症度に関して、画像フレーム全体のスコアを提供する。いくつかの実施形態では、強いベクトル(例えば、円形領域の半径の25%)がない場合、配向をスキップすることができる。
510において、少なくとも1つの関心領域は、画像フレームの少なくとも1つのスコアを決定するために、人工ニューラルネットワーク(ANN)に入力され得る。ANNは、いくつかの非限定的な例を挙げれば、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、モジュラーニューラルネットワーク、またはメモリネットワークのうちの少なくとも1つであり得る。例えば、フィードフォワードニューラルネットワークの場合、いくつかの実施形態では、これは、畳み込みニューラルネットワーク、確率的ニューラルネットワーク、時間遅延ニューラルネットワーク、パーセプトロンニューラルネットワーク、オートエンコーダ、またはそれらの任意の組み合わせのうちの少なくとも1つにさらに対応し得る。
畳み込みニューラルネットワーク(CNN)処理に基づくさらなる実施形態では、例えば、そのようなCNNは、少なくともいくつかのフィルタ(例えば、エッジフィルタ、水平線フィルタ、カラーフィルタなど)をさらに統合することができる。これらのフィルタは、例えば、上記の504に関して記載したとおり、エッジ検出アルゴリズム及び/または所定のしきい値のいくつかを含み得る。所望の結果のために、CNNなどの所与のANNは、いくつかの実施形態において、例えば、いくつかの基準に従って、様々な方法で設計、カスタマイズ、及び/または修正され得る。いくつかの実施形態では、フィルタは異なるサイズであり得る。畳み込みフィルタは、例えばCNNによって実装され、訓練データまたはそこから生成されるノイズのランダムな選択を用いて訓練され得る。いくつかの実施形態では、CNNベースのフィルタは、例えば、関心領域で識別された特徴の予測のために、回帰の信頼性に関する追加情報を出力するように構成され得る。一般に、CNNベースのフィルタは、フィルタの設計及び実装の複雑さが増大しながら、結果の信頼性を向上させ得る。
1つの非限定的な例を示すために、CNNは、DenseNetアーキテクチャ(高密度畳み込みニューラルネットワークアーキテクチャまたは多層スキップを伴う残差ニューラルネットワーク)に基づく疑似回帰CNNであり得る。より具体的には、この例によるさらなる実施形態では、CNNは、DenseNet121に基づいてもよく、例えば、4個の畳み込み層の深さである1つの高密度ブロック(ブロック構成=(4,0))、16個の初期特徴、及び畳み込み層ごとに16以上の初期特徴を有するように構成され得る。
さらに、所与のニューラルネットワーク及び画像フレームのセット、関心領域、及び/またはスニペットについて、いくつかの実施形態では、(ディープ)ニューラルネットワークの各層における接続ニューロンの数は、例えば、小さい画像サイズに対応するように調整され得る。ディープニューラルネットワークでは、畳み込み層の出力が、さらに処理するために、遷移層にフィードし得る。これらの層の出力は、複数の複製を使用して、密に接続された多層パーセプトロンにマージされ得る(上記の図1を参照されたい)。一実施形態では、(例えば、ドロップアウトを切り抜けるために)5つの複製を用いて、複数の層を3つの層とマージして、10クラスの最終出力を得ることができ、各クラスは、例えば、0~3の範囲の10分の1を表す。疑似回帰CNNの別の例によれば、訓練中に、標準偏差が0.2の正規分布ノイズを追加することによって(過剰フィッテイングを防ぐために)位置が不明瞭になり得る。
さらなる例によれば、スコアは、画像フレーム内の1つ以上のスニペットまたは関心領域に基づいて、全体として画像フレームに洗練され、一般化され得る。この結果を達成する1つの方法は、疑似回帰CNNを使用することであり、この場合、比較的小さい割合での訓練セット内の画像フレームは、CNNから保留される。例えば、画像フレームの10%が保留され、スニペットがCNN処理後にそれぞれ10の値を生成する場合、保留された(予約された)スニペットの半分を使用して、100本のツリーのランダムフォレスト(RF)を訓練し、一実施形態では、局所カーブ値を推定できる。この推定値は、予約された訓練スニペットの他の半分からの10値の出力と共に、例えば、エラーを推定し得る別のランダムフォレストを構築するために使用され得る。
いくつかの実施形態によれば、512では、プロセッサ904は、510の入力に応答するANNの出力に少なくとも部分的に基づいて、画像フレームに少なくとも1つのスコアを割り当てることができる。少なくとも上記の510に関して説明された例によれば、画像フレーム内の1つ以上のスニペットまたは関心領域に基づいて、画像フレーム全体のスコアを決定することが可能である。そのような画像フレームスコアを画像フレームのセット内の画像フレームに割り当てることにより、画像フレームのセットの画像フレームをソート、ランク付け(昇順または降順)、または他の方法で配置することが可能である。
このように画像フレーム(のセット)を配置することにより、例えば、いくつかの実施形態では、レビューアのバイアスを減少させるために設計された方法で、診断のためにヒトのレビューアに提示する画像フレームのセットをキュレートすることがさらに可能になる。ヒトのレビューアは、例えば、時間、場所、及び/またはANNによって決定された予測(推定)スコアをランダムな順序で、画像をランダム化及び分類するなどの手法によってバイアスを減少させることができれば、セットからの信頼性の低い(情報性の少ない)画像フレームを除去し、分類した画像をヒトのレビューアに自動的に提示した後、より正確で一貫性のある結果をもたらし得る。ソート順序はまた、タイムスタンプ、位置、所与の器官内の相対位置、及びプロセッサ904によって解析され得る少なくとも1つの画像プロパティなどの画像フレームメタデータによって決定され得る。プロセッサ904は、例えば、その対応するメタデータに基づいて、セットから画像フレームを追加的または代替的に削除することができる。
さらに、いくつかの実施形態では、人工知能(AI)が、目的の疾患のより一貫性がありかつ信頼できる自動診断を実行することが可能になる。したがって、腸内画像化の例では、本明細書に記載の強化された技術の適用は、1つの非制限的例を挙げれば、セリアック病の診断においてかなり改善された信頼性を可能にし得る。さらに、診断は、刺激物に対する所与の患者の反応の観察に応答して、または疾患に関して所与の患者に施される治療に応答して、手動または自動で行うことができる。
そのような診断は、画像フレームのセットが大部分が均質な画像を含む場合でさえ、本明細書に記載の強化された技術によって容易にされ得る。腸管の特定のランドマーク特徴(例えば、幽門、十二指腸、盲腸など)を除いて、小腸の多くは、任意の所与の部分において小腸の他の部位と同じように見える場合がある。この均質性により、ヒトのレビューアが混乱するかまたはバイアスをかけられる可能性があり、このため、微妙でありながら測定可能な差がある場合であっても、変更はないと想定することになる。このような均質性により、しきい値、平滑化、勾配などに応じて、多くの従来のエッジ検出アルゴリズムで差が失われる可能性もある。しかし、本明細書に記載の強化された技術を使用することにより、特定の疾患の微妙な特徴さえも検出が大幅に改善され得、結果としてそれらの疾患のより正確な診断となる。
機械学習アルゴリズムの訓練
図6は、いくつかの実施形態による、別のMLアルゴリズムを使用して、機械学習(ML)アルゴリズムを訓練するための方法600を示すフローチャートである。方法600は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法600のすべてのステップが必要とされない場合がある。さらに、方法600のいくつかのステップは、当業者によって理解されるように、同時に、または図6に示されるものとは異なる順序で実行され得る。
方法600は、図2、図3,及び図7~図9を参照して記載されなければならない。しかし、方法600は、それらの例示的な実施形態のみに限定されない。方法600のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9の904に関して以下に記載される。いくつかの実施形態では、方法600は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
602では、少なくとも1つのプロセッサ904は、例えば、図7及び図8の左側に示される画像フレームなどの画像フレームの第1のセット、及び対応する最初のメタデータセットを受信するように構成され得る。画像フレームは、本明細書に記載のとおり、少なくとも1つのセンサ、カメラ、または他の画像化デバイスから発生し得る。いくつかの非限定的な例としては、経口カメラ、内視鏡、セリオスコープ、腹腔鏡、超音波スキャナー、X線検出器、コンピュータ断層撮影スキャナー、ポジトロン放出断層撮影スキャナー、磁気共鳴断層撮影スキャナー、光コヒーレンストモグラフィースキャナー、及び共焦点顕微鏡が挙げられる。
画像フレームのセット内の任意の所与の画像フレームは、自動化またはイベント駆動型入力、ユーザからの手動入力、または所与の画像化デバイスによって規定される任意のシーケンスまたは画像化手順のセットに応答して生成され得る。画像フレームの生成は、これらに限定されないが、ランダムサンプリング、時間によるサンプリング、位置によるサンプリング、周波数によるサンプリング、相対位置によるサンプリング、相対近接性によるサンプリング、及び例えば、少なくとも1つのスコアの値の変化によるサンプリングが挙げられるサンプリングに基づくことができる。例えば、相対近接性によるサンプリングにより、特定の疾患の特徴の情報的表現をもたらす可能性が最も高い器官の部分に焦点を当てた、生物学に基づくサンプルが可能になり得る。画像化に関する追加情報は、上記の図5に関して記載されている。
第1のメタデータセットは、例えば、これらに限定されないが、タイムスタンプ、位置、所与の器官内の相対位置、及びプロセッサ904によって解析され得る少なくとも1つの画像プロパティを含み得る。プロセッサ904は、例えば、画像の対応するメタデータに基づいて、追加的にまたは代替的に、セットにまたはセットから画像フレームを追加するかまたは削除することができる。
604では、プロセッサ904は、画像フレームの第1のセット及び対応する第1のメタデータセットを第1のMLアルゴリズムに入力することができる。第1のMLアルゴリズムには、回帰、深層学習、強化学習、能動学習、教師あり学習、半教師あり学習、教師なし学習、及びMLの範囲内の他の同等の態様を対象としたアルゴリズムなど、任意の好適なアルゴリズムを含め得る。MLアルゴリズムは、いくつかの実施形態では、例えば、深層畳み込みニューラルネットワークなど人工ニューラルネットワークに依存し得る。
606では、プロセッサ904は、画像フレームの第1のセットに基づいて、画像フレームの第2のセット及び対応するメタデータセットを生成することができる。画像フレームのこの第2のセット及び/または対応するメタデータセットは、いくつかの実施形態では、第1のMLアルゴリズムからの少なくとも1つの出力値に基づいてもよい。このような出力は、例えば、第1のMLアルゴリズムのパフォーマンス及び精度を評価するための基礎として機能し得る。いくつかの実施形態では、そのような出力は、以下の608に示すとおり、他のMLアルゴリズム(複数可)を訓練するためなど、1つ以上の他のMLアルゴリズム(複数可)への入力としても機能し得る。この例では、1つ以上の他のMLアルゴリズム(複数可)は、第1のMLアルゴリズムと同じタイプ、第1のMLアルゴリズムとは異なるタイプ、またはそれらの組み合わせであり得る。
608では、606で生成された出力の少なくとも一部は、プロセッサ904などによって、画像フレームの第2のセット及びそれらの対応する第2のメタデータセットが第2のMLアルゴリズムに供給される形態で入力され得る。第1のMLアルゴリズムの出力に応じて(例えば、606において)、画像フレームの第2のセットは、画像フレームの第1のセットのサブセットであり得、及び/または他の方法で洗練され得る。さらなる例として、対応する第2のメタデータは、いくつかの実施形態では、第1のMLアルゴリズムの出力に応じて、第1のメタデータセットよりも詳細を含み得る。
第1のMLアルゴリズム及び第2のMLアルゴリズムが何であるか、及びそれらがどのように動作し得るかに応じて、そのような構成により、MLアルゴリズムが他のMLアルゴリズムを協調的に訓練し、すぐ近くで少なくとも所与の処理タスク(複数可)により1つ以上のMLアルゴリズムのパフォーマンス及び有効性を向上させ得る。この改善は、以下の610によってさらに洗練され得る。
610では、プロセッサ904は、洗練された画像フレームのセット、洗練された画像フレームのセットに対応する洗練されたメタデータ、または上記の組み合わせを生成することができる。洗練された画像フレームのセットは、いくつかの実施形態では、画像フレームの第1のセットまたは画像フレームの第2のセットのいずれかとは異なる場合がある。洗練されたメタデータは、同様に、第1のメタデータセット及び/または第2のメタデータセットのサブセットまたはスーパーセットであり得るか、またはいくつかの実施形態では、第1のメタデータセットまたは第2のメタデータセットのいずれとも重複しない場合がある。いくつかの実施形態では、洗練された画像フレーム及び/または洗練されたメタデータは、いくつかの例を挙げれば、診断として、レビューのための情報的画像として、またはこれらのいくつかの組み合わせとして提示するのに好適であり得る。
方法600は、図6のこの例示的な実施形態において上記に示される順序で開示される。しかし、実際には、上記に開示された操作は、他の操作と共に、任意のシーケンスで順次実行されてもよく、あるいは、同時に実行される複数の操作が同時に実行されてもよく、または上記の任意の組み合わせで実行されてもよい。
図4~図6の上記の操作を実施することにより、少なくとも以下の利点を提供し得る:上記の強化された技術を採用したコンピュータ実装方法を使用することにより、少なくとも特定の腸疾患について、現在までヒトのレビューア(胃腸科医)が他の方法では達成できない客観的な方法で画像をスコアリングし、評価できる。したがって、本明細書に記載の強化された技術のこの適用は、客観的な方法論を達成し、したがって、そのような腸疾患を有する患者を効率よく観察、診断、及び治療するための健全な基礎を達成し、これにより従来の方法の費用を要し、信頼できない試行錯誤が回避される。
画像フレームからの関心領域(スニペット)の配向及び抽出
図7は、いくつかの実施形態による、例えばスニペットの形態で、画像フレームから少なくとも1つの関心領域を識別し、配向し、かつ抽出する例700を示す。
画像フレームが710に示され、特定のエッジ値が712で所定のしきい値を超えていると識別され、強いエッジ値を有する。720においてスニペットの形態で、強いエッジ値を有するエッジの周りの関心領域を抽出し、及び/または配向させ得る。抽出及び(再)配向は任意のシーケンスで発生し得ることは理解できる。730及び740において、さらに処理することにより、個々のスニペットのレベルでの予測を決定するため、及び画像フレーム内の複数のスニペットを考慮する目的のためなど、スコアリングに関して結果をさらに洗練することができる(以下の図8を参照されたい)。
730では、カラー画像(スニペット)は、グレースケールなど、異なるカラーマップに変換され得る。この変換は、線形平坦化近似からカラーチャネルごとの彩度低下まで、様々な方法で実行され得る。一実装例は、例えば、数学処理用の様々な標準ライブラリの一部としての「rgb2gray」関数の形式であり得る。いくつかの実施形態では、幾何平均を使用して、例えば、カラーマップをグレースケールに変換することができ、これは、いくつかの使用例について改善されたコントラストをもたらし得る。
740では、スニペットの画像強度が正規化され得る。正規化は、カーブ(例えば、ガウス分布、ローレンツ分布など)に関して行ってもよい。いくつかの実施形態では、スニペットに関する画像強度は、各スニペットの疾患重症度予測と称される場合もある。いくつかの実施形態では、画像強度は、画像フレーム全体の疾患重症度スコアを指してもよい。いくつかの実施形態では、画像強度は、例えば、明るさまたは彩度などの特定の画像特性を指してもよい。
画像フレームからの複数の関心領域(スニペット)の配向及び抽出
図8は、いくつかの実施形態による、スニペットの形態で、画像フレームから複数の関心領域を識別し、配向し、かつ抽出する例800を示している。
画像フレームが810に示され、特定のエッジ値が822、832、及び842において所定のしきい値を超えていると識別され、それぞれが強いエッジ値を有する。822、832、及び842のそれぞれについて、スニペット820、830、及び840の形態のそれぞれの関心領域を、抽出、(再)配向、グレースケール化、及び/または正規化することができる。他の可能なスニペットの中でも、スニペット820、830、及び840は、スニペットごとに予測を生成するための第1のアルゴリズムに基づくなど、個別に評価することができる。第2のアルゴリズムに基づいて、予測スコアは、本明細書に記載の強化された技術のいずれかを適用して、全体として対応する画像フレームに割り当てられる単一の代表スコアの形態で複合画像スコアを形成するために重み付けされ、かつ組み合わされ得る。
画像フレームの適応サンプリング
図10は、いくつかの実施形態による、相対位置と相関するPDFに関して、すでにスコアリングされた画像フレームのスコアを再割り当てする例1000を示す。
この例では、相対位置は小腸に沿った距離の観点からであり得る。いくつかの実施形態では、以前にスコアリングされたフレームは、小腸に沿った位置に対応し得、これは、次に、確率値に対応し得る。所与のアルゴリズムを実行して、少なくとも1つのプロセッサ904により、いくつかの実施形態による、PDFまたは相対位置(例えば、0または1)の特定のサンプル画像フレーム及び/または最小もしくは最大制限の1つに対応し得る、任意の所与の点に関するAUCなど、PDFの曲線下面積(AUC)を計算し得る。
上記の所与のアルゴリズムを実行後、所与の画像フレームのセットにおいて、点間の最大のAUCを有するPDFに沿った任意の2つの点について、別のアルゴリズムにより、以前にスコアリングされたフレームに基づいてすでに計算された情報性スコアに関して、任意の介在するまたは隣接するサンプル画像フレームのコスト関数を評価することができる。情報性スコアを決定することに関するさらなる詳細は、本明細書の他の場所、例えば、上記図5の504に関して記載されている。
コスト関数が、AUCが異なる(または異なるスコアの)サンプル画像フレーム間でより均等にバランスが取れ得ると判断した場合、異なる(または異なるスコアの)画像フレームを後続の処理用のサンプル画像フレームとして選択され得る。その後の処理は、スニペットの選択を含み得、これは、いくつかの実施形態によれば、本明細書でさらに説明されるとおり、図1~3、図7、図8、及び図12に従って実行され得る。
画像フレームの加重選択
図11は、いくつかの実施形態による、画像フレームの加重選択のための例示的な方法1100を示す。方法1100は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法1100のすべてのステップが必要とされない場合がある。さらに、方法1100のいくつかのステップは、当業者によって理解されるように、同時に、または図11に示されるものとは異なる順序で実行され得る。
方法1100は、図9~図11を参照して記載されなければならない。しかし、方法1100は、それらの例示的な実施形態のみに限定されない。方法1100のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9の904に関して以下に記載される。いくつかの実施形態では、方法1100は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
1102では、少なくとも1つのプロセッサ904は、相対位置と相関するPDFに沿った所与の点に対して、画像フレームのセットの所与のサンプル画像フレームに対応する最も近い点を決定するように構成され得、所与のサンプル画像フレームは、相対位置と相関するPDFに沿った所与のポイントに最も近いサンプル画像フレームである。相対位置と相関するPDFの例をサンプル画像フレームの相対位置に対応し、PDFの確率値と相関する点と共に、図10に示す。いくつかの実施形態では、相対位置のすべての点がサンプル画像フレームに対応するものではないが、任意の所与の点は、画像フレームのセットが空でない限り、画像フレームのセット内のサンプル画像フレームに対応する最も近い点を有し得る。
1104では、プロセッサ904は、所与の点と、所与のサンプル画像フレーム(最も近いサンプル画像フレーム)に対応する最も近い点との間のPDFに沿った積分を計算するように構成され得る。PDFに沿った指定された点間のAUCを測定することなど、1104を実行するための様々な統合手法が実装され得る。
1106では、プロセッサ904は、1104から得られた積分をPDFの平均値で除算するように構成され得る。いくつかの実施形態では、平均値は、所与の器官の相対位置に関するPDFの平均値であり得る。いくつかの実施形態では、平均値は、PDFの中央値であり得る。いくつかの実施形態では、PDFの平均値は、例えば、測定されるかまたはモニターされる標的症状に応じて、所与の器官の相対位置の所与のサブセットまたは範囲(複数可)(例えば、小腸の近位の粘液を除くすべて)に関して計算され得る。この除算1106の結果は、相対位置に関するPDFに基づいて、所与のサンプル画像フレームの予想される利益の尺度を示し得る。この除算により、いくつかの実施形態では、平均値1を有する正規化された推定利益測定値となり得(B)、これは、PDFに依存し得る。
1108では、プロセッサ904は、画像フレームのセットの情報スコアに対して平滑化操作(例えば、線形変換、行列変換、移動平均、スプライン、フィルタ、同様のアルゴリズム、またはそれらの任意の組み合わせ)を実行することができ、これにより、画像フレームのセット内の少なくとも1つの画像フレームの情報価値を再割り当てすることができる。プロセッサ904は、同じ操作または別の操作で、所与のサンプル画像フレームの情報スコアを、情報スコアが割り当てられているスケールの平均値で除算することができる。例えば、本明細書の他の場所で説明しているとおり、0から3の情報性スケールでは、平均値は1.5である。1108のように平均値で除算することにより、利用可能なサンプル画像フレームの全体的な情報量に応じて、いくつかの実施形態では、平均値が1である正規化された情報量測定値(I)が得られ得る。
いくつかの実施形態によれば、非線形平滑化操作は、個々の画像フレームの選択に対するバイアスを減少させ得るが、線形平滑化操作は、所与の画像フレームのセットの全体的な相関を改善し得る。いくつかの実施形態では、例えば、所定のしきい値を超える収束値または発散値を有する外れ値フレームを除去することにより、残りの画像フレームの情報性の相関を改善し得る。追加的または代替的に、多項式変換、例えば、平均値を既知の曲線値(例えば、PDF)に関連付けるように訓練された二次多項式は、残りの画像フレームの相関をさらに改善し得る。他の実施形態では、例えば、他の次数の多項式を使用してもよい。
1110では、プロセッサ904は、例えば、所与の領域または相対値の範囲に対応する所与の画像フレームのセットまたは画像フレームのサブセットについて、スキップされた画像フレームの数に基づいてペナルティ値を計算し得る。いくつかの実施形態では、ペナルティは、相対位置の測定範囲の所定の割合(例えば、小腸の18分の1)として定義される幅を有し、いくつかの実施形態では、推定利益及び情報性(例えば、B*I/50)の正規化された測定値の積の計算された分数(例えば、50分の1)として定義されるAUCを有するガウスウィンドウに基づいて計算され得る。計算された分数は、選択されたサンプル画像フレームあたりの合計フレームの係数であり得る(例えば、50フレームから1フレームが選択される)。他の計算された値または所定の値は、例えば、様々な実施形態による、他の使用例、器官、及び/または標的症状のために使用され得る。計算されたペナルティ値の合計は、Pとして表され得る。
1112では、プロセッサ904は、所与のサンプル画像フレームの正味の望ましさスコア(N)を計算できる。いくつかの実施形態では、1112の計算は、N=B*I-PのNを評価することができ、項B、I、及びPは、方法1100に関して上記のように定義することができる。いくつかの実施形態では、Nは、例えば、画像フレームのセットまたはそのサブセット内の各画像フレームについて計算され得る。場合によっては、代表的なサンプルの間隔を空けることを容易にするために、N値の丸めを行って、サンプリングされた画像フレームの分離を改善し、サンプリングされた画像フレームに基づく予測モデルとの過剰フィッテイングの可能性を減らすことができる。
1114では、プロセッサ904は、その後の評価(例えば、スニペットの選択)のために画像フレームのサンプリングを継続するか否かを決定することができる。1114の決定は、1つ以上の条件を伴い得、例えば、所望の数のフレームが得られたか否か、及び/または画像フレームのセットもしくはそのサブセットの正味の望ましさスコアが、許容できるサンプルの所定の範囲内であるか否かを評価する。
関心領域の選択による画像の変換及び再配向
図12は、いくつかの実施形態による、関心領域の選択を伴う画像変換及び再配向のための例示的な方法1200を示す。方法1200は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法1200のすべてのステップが必要とされない場合がある。さらに、方法1200のいくつかのステップは、当業者によって理解されるように、同時に、または図12に示されるものとは異なる順序で実行され得る。
方法1200は、図2、図5、図7~図9、及び図12を参照して記載されなければならない。しかし、方法1200は、それらの例示的な実施形態のみに限定されない。方法1200のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9の904に関して以下に記載される。いくつかの実施形態では、方法1200は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
1202では、少なくとも1つのプロセッサ904は、サンプル画像フレームのセットのサンプル画像フレームに対してエッジ検出を実行することができる。様々なエッジ検出技術が本明細書の他の場所で説明されている。1202で実行されるエッジ検出としては、例えば、ニューラルネットワークなどによるランダムフォレスト(RF)予測の使用が含まれ得る。いくつかの実施形態では、1202で実行されるエッジ検出は、1202で完全に実行されるか、または複数の段階に分割される反復プロセスの一部であり得、そのいくつかは、1202及び方法1200の他の部分で実行され得る。
1204では、プロセッサ904は、サンプル画像フレームのセットから、例えば、所定のしきい値を超える、画像フレーム面積の少なくとも特定の割合を形成するエッジ領域を含むサンプル画像フレームを決定することができる。場合によっては、プロセッサ904は、1204において、フレーム面積ごとに少なくとも3%のエッジ領域を有すると決定された場合、サンプル画像フレームを選択し、フレーム面積ごとに3%未満のエッジ領域を有するサンプル画像フレームを無視するかまたは破棄し得る。しかし、一実施形態によれば、より多くのサンプルが必要とされる可能性がある他の場合では、フレームがより少ないエッジ領域面積を有する場合であっても、より多くのフレームを処理できるようにするためにしきい値を下げてもよい。エッジ領域の決定は、いくつかの非限定的な例を挙げれば、プロセッサ904が少なくとも1つの指定された確率的またはランダム化アルゴリズム、例えば、データマスキング、シミュレーテッドアニーリング、確率的摂動、近似、最適化、またはそれらの任意の組み合わせを実行することから生じ得る。
1206では、プロセッサ904は、画像フレームが色を含む場合、少なくとも1つの選択された画像フレームのカラーマップを、例えば、色(ピンク-茶色-緑、赤-緑-青など)からグレースケールに変換してもよい。画像フレームがカラーになっていない場合には、1206をスキップしてもよい。カラーからグレースケールに変換するために、プロセッサ904は、元の画像からカラー成分を除去できるアルゴリズムを実行することができる(例えば、彩度及び色相値をゼロに設定する)。いくつかの実施形態では、グレースケール画像は、例えば、特定のフォーマットとの互換性のために、グレースケールに対応するカラーデータで符号化され得るが、他の実施形態は、グレー画像値、例えば、白黒輝度または相対輝度値で直接機能し得る。
いくつかの実施形態では、赤-緑-青(RGB)値を平均化することができ、例えば、RGB値を合計し、3で除算できる。いくつかの実施形態では、RGBチャネルの加重平均を計算することができ、各チャネルの相対輝度または強度を、全体としてのRGBコンポーネントの加重平均を求めるための各コンポーネントの加重値として使用する。いくつかの実施形態では、グレースケールへの変換は、RGB値の幾何平均の計算、例えば、
に基づく輝度の計算を含み得る。エッジ検出及び特定の器官の特定の症状を評価することを目的として、グレースケーリング(カラーからグレースケールへの変換)の幾何平均法により、結果の信頼性(及び再現性)の向上のために、コントラストの向上となり得る。他のタイプの評価、例えば、異なる症状及び/または異なる器官、他のグレースケーリング方法は、所与の目的に対して好適に実行され得る。
1208では、プロセッサ904は、グレースケール画像フレームを畳み込むことができる。1208の畳み込みは、選択されたグレースケール画像フレーム内の湾曲したエッジ、ひだ、及び/または他の水平線を識別するかまたは他の方法で検出することができる。いくつかの実施形態では、例えば、CNNの訓練に応じて、エッジ曲線は、比較的安定した収束で首尾よく予測され得る。このような水平線(粘膜のひだ/エッジ)は、画像内の様々な角度で50%のしきい値(例えば、半分黒、半分白)でモノクロ(バイレベル)にフィルタリングされた画像を畳み込むことができるアルゴリズムを介して、及び/または、画像内の様々な角度で明るい線または暗い線を畳み込むことによって検出され得る。所与の画像フレームのセットに存在するデータによっては、1208の畳み込みがスキップされてもよい。
1210では、プロセッサ904は、所与の画像フレーム内の候補点を識別することができ、候補点は、互いに少なくとも所定の最小量の間隔を有するエッジ領域内にある。例えば、所定の最小間隔量は、絶対項(例えば、7ピクセル);いくつかの実施形態によれば、含まれる画像フレーム、解像度、ピクセルの数または密度(例えば、画像フレームの4%)などに関する相対的な用語、及び/または所与の画像フレーム内のそれぞれのエッジ領域の統計分析(例えば、エッジ特性の標準偏差であり、候補点は、それぞれのエッジ領域の平均エッジ値より少なくとも1標準偏差高いエッジ値を有する)であり得る。
したがって、上記の任意の最小間隔基準は、任意の所与の画像フレーム内の可能な関心領域(例えば、スニペット)の数を制限し得る。1204で決定された画像フレーム面積に関するエッジ領域の最小しきい値と同様に、所与の使用例で追加の関心領域が必要とされるかまたは望ましい場合は、候補点または関心領域間の最小距離のしきい値を1210において減少させ得る。いくつかの実施形態では、画像フレームのセットまたはそのサブセット内の各画像フレーム、例えば、候補点は、候補点を識別するために、または少なくとも、再現可能な結果となる可能性の高いものを生成するために十分なサンプルにわたって十分な候補点が識別されるまで評価され得る。
1212では、プロセッサ904は、所与の画像フレーム内の少なくとも1つの関心領域を配向(または再配向)し得る。関心領域の配向または再配向のさらなる例が、図2、図7、及び/または図8のスニペット(関心領域)に関して上記にさらに示され、さらに説明される。セリアック病の症状を評価するために小腸の内側から撮影された画像を評価する使用例を含み得るいくつかの実施形態では、関心領域(スニペット)は、関心領域全体の共通の特徴に対して共通の方向に配向または再配向され得、これにより、例えば、粘膜壁を描写する関心領域のセクションが、少なくとも1つの関心領域が1212に従って配向または再配向されたときに、対応する各関心領域の底部に位置付けられるようになる。
いくつかの実施形態によれば、(再)配向された関心領域(スニペット)の例は、図7及び図8に示す。画像フレームのセットの選択された各画像フレームに対して、配向または再配向を繰り返すことができる。関心領域が共通の特徴または任意の特定のフレーム内の関心領域の半径の少なくとも25%を占める特徴(例えば粘膜)などの共通の強いベクトルを含まない場合には、1212の配向または再配向はスキップされ得る。追加的または代替的に、いくつかの実施形態によれば、回転不変フィルタが複数の既存の配向での畳み込み、例えば、8方向畳み込みに使用され得る場合、1212はスキップされ得る。
1214では、プロセッサ904は、偽の結果をもたらす可能性のある関心領域を拒否、無視、またはさもなければ破棄することができる。例えば、気泡、胆汁の流れ、不鮮明な画像などのアーチファクトを含み得る関心領域は、いくつかの非限定的な例を挙げれば、偽の結果をもたらす可能性がある。そのような関心領域を拒否することにより、任意のモニタリングまたは所与の画像フレームもしくは画像フレームのセットの残りの関心領域に基づいて行われた評価もしくは決定から生じる診断の再現性が向上し得る。プロセッサ904が拒否するために関心領域を識別し得る方法の例は、図5の504に関してなど、上記にさらに記載されている。
いくつかの非限定的な例には、いくつかの実施形態による、ニューラルネットワーク、RFアルゴリズム、MLアルゴリズムなどを使用する処理、所与のしきい値を超える高強度チャネルを有する領域のフィルタリング、または対応する元の画像フレームにおける特定のカラーバランスまたはカラーグラデーションのフィルタリングが含まれる。追加的または代替的に、勾配は、フレームを拒否するための別のメトリックについて、例えば、不鮮明さを評価するために、それらのラプラシアン関数の標準偏差で平均化させ得る。PGBグラジエント、マルチチャネル強度値、検出された暗い線/エッジ、粘膜スコア、及び/または強度PDFの統計分析(平均、標準偏差など)、または同様の要因も、いくつかの実施形態によれば、スニペットまたは関心領域を拒否する、無視する、または他の方法で破棄するか否かを判断する因子として使用され得る。
上記のステップのいずれかまたはすべては、いくつかの実施形態では、図2に関してさらに上記に示され、記載されているように、スニペット選択240の一部として実行され得る。追加的または代替的に、上記のステップのいずれかまたはすべては、例えば、図5及び図7~図9に示される処理の一部として実行され得る。
後続のスコアリングにおけるバイアスを減少させるための画像スコアリングとフレームの表示
図13は、いくつかの実施形態による、後続のスコアリングにおけるバイアスを減少させるための画像スコアリング及びフレームの提示のための例示的な方法1300を示す。方法1300は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で実行される命令)、またはそれらの組み合わせを含み得る処理ロジックによって実行され得る。本明細書に開示される強化された技術を実行するために、すべての場合において方法1300のすべてのステップが必要とされない場合がある。さらに、方法1300のいくつかのステップは、当業者によって理解されるように、同時に、または図13に示されるものとは異なる順序で実行され得る。
方法1300は、図9~図13を参照して記載されなければならない。しかし、方法1300は、それらの例示的な実施形態のみに限定されない。方法1300のステップは、少なくとも1つのメモリデバイスに結合された少なくとも1つのコンピュータプロセッサによって実行され得る。例示的なプロセッサ及びメモリデバイス(複数可)は、図9のプロセッサ904に関して以下に記載される。いくつかの実施形態では、方法1300は、図3のシステム300によって実行され得、これは、図9のものなどの少なくとも1つのプロセッサ及びメモリをさらに含み得る。
1302では、少なくとも1つのプロセッサ904が画像化デバイスの出力を受信することができる。画像化デバイスの出力は、例えば小腸などの所与の患者の消化器官の内面を描写し得る画像フレームのセットの少なくともサブセットを形成する画像フレームを含み得る。いくつかの実施形態では、セットのすべての画像フレームが、所与の画像フレームの品質が低い(例えば、不十分な光、反射など)、または画像センサと内面と間の障害物(例えば、気泡、胆汁の流れなど)のために、消化器官の内面を確実に描写し得るわけではない。
サブセットのメンバーは、スコアが、以下の1306で割り当てられた第1のスコア、または以前に割り当てられた別のスコアなど、所定のしきい値を超えるか否かによって決定される。これは、例えば、所与の画像フレームの信頼性、情報性、または他の尺度を示し得る。追加的または代替的に、サブセットのメンバーは、例えば消化器官内の相対位置、経過時間、または他の外部メトリックなどの他の要因によって決定され得、これは、いくつかの実施形態では、所与の患者における所与の疾患の症状を示す画像の可能性など、対応する画像フレームの信頼性または情報性と相関し得る。
1304では、プロセッサ904は、少なくとも1つの機械学習(ML)アルゴリズムを介して、複数の画像フレームのうちの少なくとも1つの画像フレームを複数の関心領域に自動的に分解することができる。少なくとも1つの関心領域は、プロセッサ904によって、エッジ値(例えば、少なくとも1つの画像フレームの各画像フレーム内)が所定のしきい値を超えることを決定することによって定義され得る。エッジ値は、少なくとも1つのタイプのエッジ検出アルゴリズムを介して決定することができ、またプロセッサ904によって所定のしきい値と比較し得る。所定のしきい値を超えるエッジ値を有する所与のエッジの場合、関心領域は、いくつかの実施形態では、例えば、最小面積、対応する画像フレームの面積の最大割合(パーセンテージ)に一致し得る形状及びサイズを有するエッジの近傍、及び/または対応する画像フレーム内の別の関心領域への近接の半径または他の周囲長によって定義され得る。
1306では、プロセッサ904は、1304で決定された少なくとも1つの対応する画像フレームから分解されたときに、各関心領域のエッジ値に少なくとも部分的に基づいて、第1のスコアを自動的に割り当て得る。自動割り当ては、いくつかの実施形態では、少なくとも1つのニューラルネットワークによって実行され得、これは、例えば、上記でさらに説明されるように、ランダムフォレスト回帰などの少なくとも1つの追加のMLアルゴリズムを実装し得る。第1のスコアの自動割り当ては、エッジ検出、関心領域の順次処理、関心領域のランダム処理などのイベントに応答することができる。
いくつかの実施形態では、第1のスコアは、全体として対応する画像フレームに起因し得、第1のスコアは、例えば、対応する画像フレーム全体の情報性を表すために、対応する画像フレーム内の少なくとも1つの関心領域に基づくことができる。いくつかの実施形態では、第1のスコアのインスタンスは、例えば、各関心領域に自動的に割り当てられ得、第1のスコアの複合値は、対応する画像フレームについて計算され得る。
1308では、プロセッサ904は、画像フレームのセットを自動的にシャッフルすることができる。いくつかの実施形態では、シャッフルすることは、例えば、疑似乱数発生器によって生成された数による選択及び/または順序付けなどのランダム化を伴い得る。いくつかの実施形態は、画像フレームのサブセットのその後のレビュー及び/またはスコアリングにおけるバイアスを減少させるために計算された少なくとも1つのアルゴリズムに従って、系統的にシャッフリングを実装することができる。
例えば、画像フレームのセットのメンバーであるが、画像フレームのサブセットのメンバーではない画像フレーム、または第1のスコアが所定のしきい値を下回る画像フレームは、所定のしきい値を満たすかまたは超える第1のスコアを有する画像フレームの中でも、完全に自動化された方法で系統的に散在させることができる。したがって、そのような実施形態では、例えば、シャッフリングアルゴリズムは、しきい値を超えるまたはしきい値を下回るスコアを有し得る画像フレームの比較的長いシーケンスを防止するか、さもなければ中断することができる。そのようなシーケンスを回避するかまたは分割することにより、シャッフリングアルゴリズムは、いくつかの実施形態による、所定のしきい値超えるかまたは下回る比較的長い画像フレームのシーケンスの結果として、自動MLアルゴリズム及び/または手動のヒトのレビューアによるその後のレビュー及び/またはスコアリングから生じ得るバイアスまたは疲労を軽減し得る。
1310では、プロセッサ904は、シャッフル後に画像フレームのセットの提示を出力することができる。提示することは、シャッフルされた画像フレームの提示を有するスライドショーなどの視覚的表示であり得る。自動提示は、シャッフルの順序で自動的に進められ得、かつ自動提示は、例えば、時間間隔及び/または位置間隔などの追加の編成スキームに従ってさらに配置され得るかまたは提示され得る。追加的または代替的に、任意のシャッフリングアルゴリズムの補完または代替として、提示することは、画像フレームのサブセットまたはセットのその後のレビュー及び/またはスコアリングにおけるバイアス及び/または疲労をさらに軽減し得る方法で編成され得る。
例えば、画像フレームの編成された提示は、画像フレームの各々(または特定の選択された画像フレーム)が、いくつかの実施形態では、連続して任意の所与の画像フレームの表示時間または視覚的間隔(例えば、同時に表示される画像フレーム間の距離)に関してなど、例えば、所定の間隔、ランダム化された間隔、または系統的に分離された間隔によって、視覚的なスライドショーで提示され得る時間的間隔を含み得る。本明細書で使用される場合、「順序」は、いくつかの実施形態では、上記の1308によりシャッフルされた、画像フレームのシャッフルデッキにおける1つの画像フレームから次の画像フレームへの順序を示し得るが、これは、例えば、画像化デバイスまたは消化器官の任意の出力による任意の所定の順序である必要はない。バイアス及び/または疲労を軽減するために、画像フレームのセットのメンバーの視覚的表示または他の提示を編成する他の形態は、本開示の範囲内で実現され得る。
方法1300のいくつかの実施形態は、画像フレームのセットの提示に第2のスコアを割り当てることをさらに含み得る。第2のスコアは、例えば、症状の重症度の表現を含み得る。いくつかの実施形態では、第2のスコアは、例えば、プロセッサ904を介して自動的に、または1310の提示を評価するレビューアを介して手動で割り当てられ得る。
方法1300後、関連する値(例えば、エッジ値、スコアなど)を、関心領域、対応する画像フレーム、及び/または画像フレームの(サブ)セットなどの情報に割り当てることによって、情報をシャッフルすることができるか、または他の方法で再配置され、編成された方法で提示される。したがって、情報は、同じ情報の表示に関して、新しい独自の方法で再構成され得る。
方法1300のさらなる反復は、少なくとも部分的に1310の出力に基づいて、少なくとも1つのMLアルゴリズムを監視または訓練するために使用され得る。少なくとも1つのMLアルゴリズムの監視または訓練は、画像化デバイスの出力のための事前定義された開始点及び終了点を伴い得る。少なくとも1つのMLアルゴリズムを十分に監視または訓練した後、少なくとも1つのMLアルゴリズムは、少なくとも1つのプロセッサ904を介するなど、完全に自動化された方法で方法1300を実行し得る。
コンピュータシステムの実施例
様々な実施形態は、例えば、図9に示すコンピュータシステム900などの1つ以上のコンピュータシステムを使用して実施され得る。1つ以上のコンピュータシステム900を使用して、例えば、本明細書で説明する実施形態のいずれか、ならびにそれらの組み合わせ及びサブコンビネーションを実装することができる。
コンピュータシステム900は、プロセッサ904などの1つ以上のプロセッサ(中央処理装置またはCPUとも呼ばれる)を備え得る。プロセッサ904は、バスまたは通信インフラストラクチャ906に接続され得る。
コンピュータシステム900はまた、モニター、キーボード、ポインティングデバイスなどユーザ入力/出力デバイス803(複数可)を含み得、これは、ユーザ入力/出力インターフェース(複数可)902を介して通信インフラストラクチャ906と通信することができる。
プロセッサ904のうちの1つ以上は、グラフィックス処理ユニット(GPU)であり得る。一実施形態では、GPUは、数学的に集中的な(mathematically intensive)アプリケーションを処理するように設計された特殊な電子回路であるプロセッサであり得る。GPUは、コンピュータグラフィックスアプリケーション、画像、ビデオ、ベクトル処理、アレイ処理などに共通の数学的に集中的なデータ、及び暗号化(ブルートフォースクラッキングなど)など、データの大きいブロックの並列処理に効率的な並列構造を有し得、暗号化ハッシュまたはハッシュシーケンスの生成、部分的なハッシュ反転の問題の解決、及び/または一部のブロックチェーンベースのアプリケーションに対する他のプルーフオブワーク計算の結果の生成を行う。GPUは、少なくとも本明細書で説明される画像分析及びMLの態様において特に有用であり得る。
さらに、プロセッサ904の1つ以上は、暗号計算を加速するためのロジックのコプロセッサもしくは他の実装、またはハードウェア加速暗号コプロセッサなど、他の特殊な数学関数を含み得る。そのような加速されたプロセッサは、そのような加速を容易にするためにコプロセッサ及び/または他のロジックを使用して加速するための命令セット(複数可)をさらに含み得る。
コンピュータシステム900はまた、ランダムアクセスメモリ(RAM)などのメインメモリまたはプライマリメモリ908を含み得る。メインメモリ908は、1つ以上のレベルのキャッシュを含み得る。メインメモリ908は、その中に制御ロジック(すなわち、コンピュータソフトウェア)及び/またはデータを格納し得る。
コンピュータシステム900はまた、1つ以上の二次ストレージデバイスまたは二次メモリ910を含み得る。二次メモリ910は、例えば、メインストレージドライブ912及びリムーバブルストレージドライブまたはドライブ914を含み得る。メインストレージドライブ912は、例えば、ハードディスクドライブまたはソリッドステートドライブであり得る。リムーバブルストレージドライブ914は、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスクドライブ、光ストレージデバイス、テープバックアップデバイス、及び/または任意の他のストレージデバイス/ドライブであり得る。
リムーバブルストレージドライブ914は、リムーバブルストレージユニット918と相互作用し得る。リムーバブルストレージユニット918は、コンピュータソフトウェア(制御ロジック)及び/またはデータをその上に格納した、コンピュータ使用可能または読み取り可能なストレージデバイスを備え得る。リムーバブルストレージユニット918は、フロッピー(登録商標)ディスク、磁気テープ、コンパクトディスク、DVD、光記憶ディスク、及び/または他の任意のコンピュータデータストレージデバイスであり得る。リムーバブルストレージドライブ914は、リムーバブルストレージユニット918からの読み取り及び/またはリムーバブルストレージユニット918への書き込みを行うことができる。
二次メモリ910は、コンピュータプログラム及び/または他の命令及び/またはデータがコンピュータシステム900によってアクセスされることを可能にするための他の手段、デバイス、コンポーネント、機器または他のアプローチを含み得る。そのような手段、デバイス、コンポーネント、機器、または他のアプローチは、例えば、リムーバブルストレージユニット922及びインターフェース920を備え得る。リムーバブルストレージユニット922及びインターフェース920の例は、プログラムカートリッジ及びカートリッジインターフェース(ビデオゲームデバイスに見られるものなど)、リムーバブルメモリチップ(EPROMまたはPROMなど)及び関連するソケット、メモリスティック、及びメモリスティック、USBポート、メモリカード、及び関連するメモリカードスロット、及び/または他のリムーバブルストレージユニット、及び関連するインターフェースを挙げることができる。
コンピュータシステム900は、通信またはネットワークインターフェース924をさらに含み得る。通信インターフェース924は、コンピュータシステム900が、外部デバイス、外部ネットワーク、外部エンティティなどの任意の組み合わせ(参照番号928によって個別に及び集合的に参照される)と通信し、相互作用することを可能にし得る。例えば、通信インターフェース924は、コンピュータシステム900が、有線及び/または無線(またはそれらの組み合わせ)であり得る通信経路926を介して外部または遠隔デバイス928と通信することが可能になり得、これは、LAN、WAN、インターネットなど任意の組み合わせを含み得る。制御ロジック及び/またはデータは、通信経路926を介してコンピュータシステム900との間で送受信され得る。
コンピュータシステム900はまた、いくつかの非限定的な例を挙げると、パーソナルデジタルアシスタント(PDA)、デスクトップワークステーション、ラップトップまたはノートブックコンピュータ、ネットブック、タブレット、スマートフォン、スマートウォッチまたは他のウェアラブル、アプライアンス、モノのインターネット(IoT)の一部、及び/または組み込みシステム、またはそれらの任意の組み合わせのうちのいずれかであり得る。
本明細書に記載のフレームワークは、方法、プロセス、装置、システム、または非一時的コンピュータ可読媒体またはデバイスなどの製造品として実装され得ることが理解されるべきである。説明の目的で、本発明のフレームワークは、公開されている、または少なくとも信頼できない第三者が利用できる分散型台帳のコンテキストで説明できる。現代の使用例としての1つの例は、ブロックチェーンベースのシステムである。しかし、本発明のフレームワークは、極秘情報または機密情報が信頼できない第三者の手によってまたは介して渡る必要があり得る他の設定にも適用され得、この技術は、分散型台帳またはブロックチェーンの使用に限定されないことを理解するべきである。
コンピュータシステム900は、任意の配信パラダイムを介して任意のアプリケーション及び/またはデータにアクセスするかまたはホストするクライアントまたはサーバーであり得、これらに限定されないが、リモートまたは分散型クラウドコンピューティングソリューション;ローカルまたはオンプレミスソフトウェア(例えば、「オンプレミス」のクラウドベースソリューションなど);「サービスとしての」モデル(例:サービスとしてのコンテンツ(CaaS)、サービスとしてのデジタルコンテンツ(DCaaS)、サービスとしてのソフトウェア(SaaS)、サービスとしてのマネージドソフトウェア(MSaaS)、サービスとしてのプラットフォーム(PaaS)、サービスとしてのデスクトップ(DaaS)、サービスとしてのフレームワーク(FaaS)、サービスとしてのバックエンド(BaaS)、サービスとしてのモバイルバックエンド(MBaaS)、サービスとしてのインフラストラクチャ(IaaS)、サービスとしてのデータベース(DBaaS)など);及び/または前述の実施例もしくは他のサービスまたは配信パラダイムの任意の組み合わせを含むハイブリッドモデルが挙げられる。
適用可能な任意のデータ構造、ファイル形式、及びスキーマは、これらに限定されないが、JavaScript Object Notation(JSON)、Extensible Markup Language(XML)、Yet Another Markup Language(YAML)、Extensible Hypertext Markup Language(XHTML)、Wireless Markup Language(WML)、MessagePack、XMLユーザーインターフェース言語(XUL)、または任意の他の機能的に類似した表現を単独で、または組み合わせたものであり得る。あるいは、独自のデータ構造、フォーマット、またはスキーマを、排他的に、または既知の標準またはオープン標準と組み合わせて使用してもよい。
関連するデータ、ファイル、及び/またはデータベースは、数値、テキスト、グラフィック、またはマルチメディア形式などのヒトが可読可能な形式、さらに、他の可能な形式の中でも、様々な種類のマークアップ言語などで格納、取得、アクセス、及び/または送信させ得る。代替的には、または上記のフォーマットと組み合わせて、データ、ファイル、及び/またはデータベースは、バイナリ、エンコード、圧縮、及び/または暗号化形式、または他の任意の機械可読形式で格納、検索、アクセス、及び/または送信され得る。
様々なシステム及びレイヤー間のインターフェースまたは相互接続では、任意の数のプロトコル、プログラムフレームワーク、フロアプラン、またはアプリケーションプログラミングインターフェース(API)など、これらに限定されないが、ドキュメントオブジェクトモデル(DOM)、ディスカバリサービス(DS)、NSUserDefaults、ウェブサービス記述言語(Web Services Description Language(WSDL))、メッセージ交換パターン(MEP)、ウェブ分散データ交換(Web Distributed Data Exchange、WDDX)、ウェブハイパーテキストアプリケーション技術ワーキンググループ(Web Hypertext Application Technology Working Group(WHATWG))、HTML5ウェブメッセージング、Representational State Transfer(RESTまたはRESTful ウェブサービス)、拡張可能ユーザインターフェースプロトコル(Extensible User Interface Protocol(XUP))、シンプルオブジェクトアクセスプロトコル(Simple Object Access Protocol(SOAP))、XMLスキーマ定義(XML Schema Definition(XSD))、XMLレモートプロシージャ呼出し(XML Remote Procedure Call、XML-RPC)、または、同様の機能及び結果を達成し得るオープンまたは独自仕様の任意の他の機構など、任意の数の機構を使用し得る。
そのようなインターフェースまたは相互接続はまた、ユニフォームリソース識別子(URI)を利用し得、これは、ユニフォームリソースロケーター(URL)またはユニフォームリソース名(URN)をさらに含み得る。ユニフォーム及び/または一意の識別子、ロケータ、または名前の他の形式が、排他的にまたは上記のような形式と組合せて使用されてもよい。
上記のプロトコルまたはAPIのいずれも、任意のプログラミング言語、手続き型、関数型、またはオブジェクト指向型とインターフェースしてもよく、またはそれらで実装されてもよく、コンパイルまたは解釈されてもよい。非限定的な例としては、C、C++、C#、Objective-C、Java(登録商標)、Swift、Go、Ruby、Perl、Python、JavaScript(登録商標)、WebAssembly、またはほぼすべての任意の他の言語を、任意の他のライブラリもしくはスキーマで、これらに限定しないが、多くの他の非限定的な例の中で、Node.js、V8、Knockout、jQuery、Dojo、Dijit、OpenUI5、AngularJS、Express.js、Backbone.js、Ember.js、DHTMLX、Vue、React、Electronなど、任意の種類のフレームワーク、実行時環境、仮想マシン、インタプリタ、スタック、エンジン、または類似の機構に含む。
いくつかの実施形態では、制御ロジック(ソフトウェア)が格納された有形の非一時的なコンピュータ使用可能または可読媒体を含む有形の非一時的な装置または製造品は、本明細書ではコンピュータプログラム製品またはプログラムストレージデバイスとも呼ばれ得る。これとしては、これらに限定されないが、コンピュータシステム900、メインメモリ908、二次メモリ910、及びリムーバブルストレージユニット918及び922、ならびに上記の任意の組合せを組み込む有形の製造品が挙げられる。そのような制御ロジックは、(コンピュータシステム900など)1つ以上のデータ処理デバイスによって実行されるときに、そのようなデータ処理デバイスに、本明細書で説明するように動作させ得る。
本開示に含まれる教示に基づいて、データ処理デバイス、コンピュータシステム、及び/または図9に示したもの以外のコンピュータアーキテクチャを使用して、本開示の実施形態を作成及び使用する方法が関連技術分野(複数可)の当業者には明らかであろう。特に、実施形態は、本明細書に記載されているもの以外のソフトウェア、ハードウェア、及び/またはオペレーティングシステムの実装で動作することができる。
結論
詳細な説明のセクションは、任意の他のセクションではなく、特許請求の範囲を解釈するために使用されることが意図されていることを理解されたい。他のセクションは、発明者(ら)によって意図されるものとして、1つ以上ではあるがすべてではない例となる実施形態を示し得、したがって、本開示または添付の特許請求の範囲を如何様にも限定するものではない。
本開示は、例示的な分野及び用途についての例示的な実施形態を記載するが、本開示はそれに限定されないことを理解されたい。本発明の他の実施形態及び修正が可能であり、本開示の範囲及び意図の範囲内である。例えば、本段落の一般性を制限することなく、実施形態は、図に示され、及び/または本明細書で説明されるソフトウェア、ハードウェア、ファームウェア、及び/またはエンティティに限定されない。さらに、実施形態(本明細書に明示的に記載されているか否かにかかわらず)は、本明細書に記載されている例を超えて、分野及び用途に対する重要な有用性を有する。
実施形態は、特定される機能及びその関係性の実装を例示する機能的ブロックを活用して本明細書において説明された。これらの機能ビルディングブロックの境界線は、記述上の便宜のためにここに恣意的に定義されたものである。その特定の機能の実現及び関係が適切に遂行される限りにおいて、別の境界線が定義され得る。また、代替の実施形態は、本明細書に記載された順序とは異なる順序を使用して、機能ブロック、ステップ、動作、方法などを実行することができる。
本明細書における「一実施形態」、「実施形態」、「実施形態の例」、「いくつかの実施形態」、または同様の句への言及は、記載の実施形態が特定の特徴、構造、または特性を含み得ることを示すが、あらゆる実施形態が特定の特徴、構造、または特性を必ずしも含むことはできない。その上、かかる言いまわしは、同一の実施形態を必ずしも指すわけではない場合がある。さらに、特定の特徴、構造、または特性が、実施形態に関連して記述されるとき、本明細書で明示的に言及または説明されているか否かにかかわらず、そのような特徴、構造、または特性を他の実施形態に組み込むことは、関連技術分野(複数可)の当業者の知識の範囲内であろう。さらに、いくつかの実施形態は、「連結される」及び「接続される」という表現及びこれらの派生語を用いて記載され得る。これらの用語が必ずしも互いに同義語として意図されているとは限らない。例えば、いくつかの実施形態は、2つ以上の要素が物理的または電気的に互いに直接的に接触していることを示すために「接続される」及び/または「連結される」という用語を使用して説明することができる。ただし、「連結」という用語は、2つ以上の要素が相互に直接接触状態にはないが、相互に連携または相互作用することも意味することもできる。
本開示の広がりや範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲やそれらの等価物に従ってのみ定義されるべきである。