JP2021521553A - 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム - Google Patents

Abstract

本発明は、画像処理技術の分野に属し、画像認識方法、装置、端末機器及び医療システムを開示する。本発明に係る画像認識方法は、第１認識モデルによって医療画像に病変が含まれる医療画像であるか否かを判定するステップと、その後、第２認識モデルによって病変を含む医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示するステップと、を含む。これにより、人力による分析及び特徴抽出手順の設定は必要とされず、医療画像認識の効率及び精度が上がる。

Description

「関連出願の相互参照」
本願は、２０１８年１０月３０日に中国国家知識産権局に提出された出願番号が２０１８１１２７８４１８．３で、発明の名称が「画像認識方法、装置、端末機器及び医療システム」である中国特許出願の優先権を主張し、当該出願の全ての内容は援用することにより本願に組み込まれる。

本発明は、画像処理技術の分野に関し、特に、画像認識方法、装置、端末機器及び医療システムに関する。

コンピュータ技術の発展に伴い、コンピュータ技術は医師による医療診断の支援として、次第に医療画像（例えば、内視鏡下の食道画像）の分析に用いられる。例えば、端末機器はコンピュータ技術により、患者の食道画像に基づいて患者におけるがん化の発生確率を判断することができる。これにより、医師は出力結果に基づいて、更なる診断及び分析を行うことができ、医療診断の精度及び効率が上がる。従来の技術では、端末機器は画像によって疾患を分析する場合は、一般に従来の機械学習の方法（例えば、ウェーブレット演算子）を用いて、事前に抽出された特徴情報に基づいて画像から疾患を分類し、疾患分類結果を取得するようにしている。

本発明の実施例は、医療画像に基づいて疾患を認識する場合に、認識の効率及び精度を向上させるために、画像認識方法、装置、端末機器及び医療システムを提供する。

各実施例に係る画像認識方法は、
被認識医療画像を取得するステップと、
第１認識モデルによって医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成するステップと、
前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成するステップと、を含んでよい。

これにより、人力による特徴分析及び手順設定の手間がかかるステップが避けられ、医療画像認識の精度及び効率が上がる。

各実施例の画像認識装置は、
被認識医療画像を取得する取得ユニットと、
第１認識モデルによって医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成する判定ユニットと、
前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する認識ユニットと、を含んでよい。

各実施例に係る別の医療画像認識方法は、
被認識医療画像を取得し、認識モデルによって被認識医療画像を認識するステップと、
認識モデルが被認識医療画像を認識した後に出力した、医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む病変程度認識結果を取得するステップと、を含んでよく、
ここで、認識モデルによって医療画像を認識するステップは具体的に、医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定するステップを含む。

各実施例に係る別の画像認識装置は、
被認識医療画像を取得し、認識モデルによって被認識医療画像を認識する入力ユニットと、
認識モデルが被認識医療画像を認識した後に出力した、医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む病変程度認識結果を取得する獲得ユニットと、を含んでよく、
ここで、認識モデルによって医療画像を認識することは具体的に、医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定することを含む。

各実施例に係る端末機器は、少なくとも１つの処理ユニットと、少なくとも１つの記憶ユニットと、を含んでよく、ここで、記憶ユニットにはコンピュータプログラムが記憶されており、プログラムが処理ユニットによって実行されると、処理ユニットは上記のいずれかの画像認識方法のステップを実行する。

各実施例に係る医療システムは、
患者の医療画像を収集する画像収集装置と、
画像収集装置によって収集された医療画像を取得し、第１認識モデルによって医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成し、且つ、前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する画像認識装置と、
病変程度認識結果を表示する表示装置と、を含んでよい。

各実施例に係る別の医療システムは、
患者の医療画像を収集する画像収集装置と、
画像収集装置によって収集された医療画像を取得し、医療画像に含まれる病変の程度を認識する第２認識モデルによって病変を含む医療画像を認識して、病変程度認識結果を生成する画像認識装置と、
病変程度認識結果を表示する表示装置と、を含んでよい。

各実施例に係るコンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、前記プログラムが１つ又は複数のプロセッサによって実行されると、１つ又は複数の前記プロセッサは上記のいずれかの画像認識方法のステップを実行できる。

本発明の実施例の画像認識方法、装置、端末機器及び医療システムにおいて、第１認識モデルによって医療画像は病変が発生している医療画像であるか否かを判定し、その後、第２認識モデルによって、病変が発生している医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示する。これにより、人力による分析及び特徴抽出手順の設定は必要とされず、医療画像認識の効率及び精度が上がる。

本発明の他の特徴及び利点は次の説明で記載され、その一部は明細書によって明瞭なものになり、又は本発明の実施により知られる。本発明の目的及び他の利点は明細書、特許請求の範囲及び図面で示される構造により達成され得るであろう。

ここに説明される図面は、本発明の更なる理解に供するもので、本発明を構成する部分である。本発明の例示的な実施例及びその説明は本発明を解釈するためのもので、本発明に対する不適切な限定を構成するものではない。図面では、
本発明の実施形態に係る端末機器の構造模式図である。 本発明の実施形態に係る画像認識方法の実施のフローチャートである。 本発明の実施形態に係る第１認識モデルの原理模式図である。 本発明の実施形態に係る食道画像の例の図その１である。 本発明の実施形態に係る第２認識モデルの原理模式図である。 本発明の実施形態に係る画像ブロックの模式図である。 本発明の実施形態に係る食道画像の例の図その２である。 本発明の実施形態に係る食道画像の病変程度指示画像の例の図である。 本発明の実施形態に係る医療システムの構造模式図である。 本発明の実施形態に係る画像認識装置の構造模式図その１である。 本発明の実施形態に係る画像認識装置の構造模式図その２である。 本発明の実施形態に係る端末機器の構造模式図である。

医療画像で疾患を認識する場合に、認識の効率及び精度を向上させるために、本発明の実施例は画像認識方法、装置、端末機器及び医療システムを提供する。

まずは、当業者が理解しやすいように、本発明の実施例で使用される用語の一部を説明する。

１、端末機器：様々なアプリケーションプログラムのインストールが可能であり、既にインストールされているアプリケーションプログラムで提供される対象を表示できる機器であり、当該電子機器は移動するものであってもよいし、固定されたものであってもよい。例えば、携帯電話、タブレットコンピュータ、車載機器、パーソナルデジタルアシスタント（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、略称ＰＤＡ）、又は上記の機能を実現できる他の電子機器等である。

２、医療画像：人間が視覚的に感知する物質を再現したものであり、カメラ、鏡、望遠鏡、顕微鏡等の光学機器によって取得されてもよいし、手描きの画像等のように、人工的に作成されたものであってもよい。病理は紙媒体、フィルム等の光信号に敏感な媒体に記録し、保存することができる。デジタル収集技術及び信号処理理論の発展に伴い、デジタル形式で記憶される医療画像が増えている。

３、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、略称ＣＮＮ）：本質的には入力から出力へのマッピングであり、大量の入力と出力のマッピング関係を学習でき、入力と出力についての精密な数式がなくても、従来のパターンを用いて畳み込みネットワークをトレーニングするだけで、ネットワークは入力と出力をペアとしてマッピングする機能を取得する。

４、デンス畳み込みネットワーク（ＤｅｎｓＮｅｔ）：各層がフィードフォワードの方式で他の任意の層に接続された畳み込みニューラルネットワークであり、即ちいずれの層は隣接する層に接続されているだけでなく、且つその後の全ての層にも直接的に接続されている。

５、第１認識モデル：ＤｅｎｓｅＮｅｔを用いて正常な画像のサンプル及び病変画像のサンプルに対してトレーニングすることで得られるモデルであり、医療画像において病変が発生しているか否かを判定するために用いられる。

本明細書で、医療画像において病変が発生しているか否かは、医療画像に病変が含まれるか否かともいい、医療画像にはその中の器官に病変が発生していることが表示されるか否かであり、即ち、医療画像は器官の病変に対応する画像内容を含むか否かである。

６、第２認識モデル：畳み込みニューラルネットワークを用いて病変程度が異なる様々な医療画像サンプルに対してトレーニングすることで得られるモデルであり、医療画像において発生している病変の程度を認識するために用いられる。

７、病変認識結果：入力された医療画像は病変が発生している医療画像であるか否かを指示する。

８、病変程度認識結果：医療画像において発生している病変の程度を指示する。

また、本明細書で用語「及び／又は」は、関係する対象の相関関係を説明するものに過ぎず、３種の関係が存在し得ることを表す。例えば、Ａ及び／又はＢとは、Ａが単独で存在する場合、Ａ及びＢが同時に存在する場合、Ｂが単独で存在する場合の３種の状況を表すことができる。また、本明細書で使用される符号「／」は、特に説明されない限りは、一般にその両側に記された関係する対象は「又は」の関係にあることを表すものである。

近年の新規腫瘍患者をみると、食道がんが３番目に多く、中国では４７万７０００人の患者がおり、全世界の５０％を占めている。食道がんは上部消化管の悪性腫瘍である。食道がんの段階によって、その治療手順に大きな違いがある。早期患者の場合は主に内視鏡による低侵襲治療が用いられ、手術後３〜５日目に退院でき、治療費用が安く合併症が少なく、９０％が治癒できる。中期及び晩期食道がん患者の場合は主に開胸／開腹／頸部切開の「３か所の切開」手術で治療され、このような治療方式は創部が大きく、治療費用が高い一方、治療効果が満足できず、治癒率は４０％に達していない。

したがって、患者は早期がんの段階で確診及び治療を受けることができれば、痛みも負担も大幅に減らされる。医師は一般に内視鏡を用いて医療画像を得、がん化分析を行うことにより、患者が早期がんを罹患しているか否かを予測する。しかしながら、専科の医師が手間暇をかけて医療画像を分析する必要があり、医師によってレベルの差があるため、早期がんの発見率は５０％に満たず、非常に低いのである。

現在、コンピュータ技術の発展に伴い、コンピュータ技術（例えば、従来の機械学習の方法）は医師による医療診断の支援として、次第にがん化分析に用いられるようになっている。しかしながら、従来の機械学習の方法を用いて医療画像を認識する場合は、専門の者が医療画像に対する高度な特徴分析を行い、分析の結果に基づいて特徴抽出の手順を設定する必要があり、これは多くの時間が費やされ、がん化認識の効率が下がる。また、抽出された特徴は特定のタイプに共通する特性のようなもので、適用範囲が狭く、ロバスト性が悪く、実際の適用で普及することが難しく、がん化認識結果の精度が低いものである。

正常な食道画像は一般に表面の粘膜が滑らかなもので、病変がある食道の画像には、突起、糜爛等の顕著な特徴がある。しかしながら、実際には、患者の年齢、地域又は検査を受ける時の状態（例えば、食道が洗浄されていない、異物が含まれる）等要因の影響で、正常な食道画像と病変がある食道画像の差異は画像中の１つの小さな領域にある場合も（例えば、色の深さ、皮膚の粗さ）、画像全体の滑らかさの変化である場合もあるため、食道画像を分類する際は、小さな領域の特徴を抽出するだけでなく、食道画像の全体から高レベルの意味論的な特徴を抽出する必要がある。

本願では、人工知能技術を利用して医療画像から病変を認識し、病変の程度を認識する。

人工知能（ＡＩ）システムとは、インテリジェントな挙動を行うコンピュータシステムである。ＡＩシステムの機能は学習、大量の知識ベースの保守、推論の実行、分析能力の適用、事実間の関係判明、他人との交流、他人の意思の理解、状况の感知及び理解等を含む。

ルールベースのスマートシステムとは違い、ＡＩシステムは自らが学習及び判断することで機械を絶えず進化させることができる。ＡＩシステムはデータを検索してこれまでに知らないパターンを見つけることで新しい知識を作り、データパターンを学習してソリューションを提供する。常に使用されることによって、ＡＩシステムの認識率が上がり、ユーザーの好悪をより正確に理解できるようになる。ゆえに、従来のルールベースのスマートシステムは次第にＡＩシステムにとって代わられている。

ＡＩシステムでは、一般にニューラルネットワークが用いられる。ニューラルネットワークは人間の神経系をシミュレートするように設計、構築及び設定されたコンピュータシステムである。ニューラルネットワークシステム構造は入力層、出力層、１つ又は複数の隠れ層から構成される。入力層はデータをニューラルネットワークに入力する。出力層は推測結果を生成する。隠れ層は情報の伝達を助ける。これらのシステムはケーススタディーによる学習でタスクを処理し、又は意思決定をする。ニューラルネットワーク又は人工ニューラルネットワークはニューロン又は人工ニューロンと呼ばれる接続ユニットの集合である。ニューロン間の各接続（シナプス）は信号を別のニューロンに伝送できる。受信側（シナプス後）ニューロンは信号を処理し、そして信号を発してニューロンに接続された下流のニューロンを通知することができる。ニューロンには、０〜１の実数で示される状態があり得る。ニューロン及びシナプスには学習するのに伴って変化する重みがあってもよく、重みは下流に送信される信号の強度を上げる又は下げるために用いられる。さらに、ニューロンには閾値があってよもよく、これにより集約信号が当該レベルを下回る（又は上回る）場合にのみ下流に信号が送信される。一般には、ニューロンは層から構成される。層によって、その入力には異なるタイプの変換が実行される。信号が各層を複数回巡回した後、第１（入力）層から最終（出力）層に移動し得る。隠れ層を複数有する人工ネットワークでは、第１層はプリミティブ（例えば、眼内の瞳孔、虹彩、まつげ等）を検出し、その出力がより抽象的な要約（例えば、目、口）を実行するより深い層にフィードフォワードされる。このように継続して、最終層が複雑な対象（例えば、顔）認識を実行する。

ニューラルネットワークは、例えば、一連のデータポイントのデータを使用してトレーニングを行う。ニューラルネットワークはどの応答を与えるかを推測し、且つ当該推測を各データポイントの正しくて「最良の」推測と比較する。誤りが生じた場合には、ニューロンを調整し、且つ当該プロセスを繰り返し実行する。

本願のいくつかの実施例では、ニューラルネットワーク中の畳み込みニューラルネットワークを用いて医用画像の処理及び認識を行うことができる。畳み込みニューラルネットワーク（ＣｏｎｖＮｅｔｓ又はＣＮＮとも呼ばれる）はニューラルネットワークの一つであり、画像認識、分類等の分野におけるその有効性が既に証明されている。畳み込みニューラルネットワーク（ＣＮＮｓ）の急速な発展に伴い、学界では、ＧｏｏｇｌｅＮｅｔ、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ等の多くの効率的なモデルが出現し、さまざまなコンピュータビジョン処理に利用されている。しかしながら、ネットワークの層数の増加に伴い、ネットワークがトレーニングする過程で、フォワード信号及び勾配信号が多くの層を経た後に次第に消失する恐れがある。この問題を解決するためにはいくつかの有益な試みがなされている。Ｈｉｇｈｗａｙ及びＲｅｓＮｅｔ構造では、信号が入力層と出力層との間に高速で流動するようにデータバイパス（ｓｋｉｐ−ｌａｙｅｒ）技術が提供され、要は層間の接続を作ってネットワーク中の前後の層を連通させることである。その後、新たな接続パターンが出現し、ネットワーク中の全ての層間の情報流の最大化のために、ネットワーク中の全ての層を２つずつ接続させることにより、ネットワーク中の各層がその前の全ての層の特徴を入力として受信することである。ネットワーク中には大量の密な接続が存在することから、このようなネットワーク構造はＤｅｎｓｅＮｅｔと呼ばれる。

いくつかの実施例では、ＤｅｎｓｅＮｅｔ−１２１を用いて、正常な画像のサンプル及び病変画像のサンプルに対してトレーニングして、第１認識モデルを得、医療画像において病変が発生しているか否かを判定する。

さらに、がん化が発生している医療画像では少なくとも１つの画像ブロックががん化の特徴を有し、非がん化の医療画像ではがん化の特徴を有する画像ブロックが１つもないため、本願の実施例では、畳み込みニューラルネットワークを用いて、病変が発生している医療画像に対してトレーニングして第２認識モデルを得、且つ医療画像中の発生病変の程度が最も高い画像ブロックの病変程度で当該医療画像のがん化認識結果を決定する。

上記の説明では食道がんを例にしているが、他のがんの診断にも同様の問題があるため、異なるがんであっても、その医療画像を用いるトレーニングにより、対応する第１認識モデル及び第２認識モデルを取得すると、本願の実施例に係る方法を用いて、第１認識モデルによって医療画像から初歩的に病変を判定し、第２認識モデルによって病変が発生している医療画像に対しさらに病変の程度を認識して、医療画像に含まれる病変の程度を決定することができ、がん化認識の効率及び精度が大幅に上がる。当然ながら、直接的に第２認識モデルを用いて直接医療画像を認識して、医療画像からがん化の程度を決定してもよい。

本発明の実施例に係る画像認識方法は、端末機器に適用され、当該端末機器は携帯電話、タブレットコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、パーソナルデジタルアシススタント）等であってよい。

図１は、端末機器の構造模式図を示す。図１が参照されるとおり、端末機器１００は、プロセッサ１１０、メモリ１２０、電源１３０、表示ユニット１４０、入力ユニット１５０を含む。

プロセッサ１１０は端末機器１００のコントロールセンターであり、様々なインタフェース及び回線を利用して各部品を接続させ、メモリ１２０に記憶されているソフトウェアプログラム及び／又はデータの動作又は実行により、端末機器１００のさまざまな機能を実行して、端末機器全体の監視を行う。

プロセッサ１１０は、１つ又は複数の処理ユニットを含んでよい。

メモリ１２０は主にプログラム記憶領域及びデータ記憶領域を含んでよい。ここで、プログラム記憶領域はオペレーティングシステム、さまざまなアプリケーションプログラム等を記憶し、データ記憶領域は端末機器１００の使用に基づいて作成されたデータ等を記憶することができる。さらに、メモリ１２０は高速ランダムアクセスメモリを含んでもよく、さらに、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ、又は他の揮発性の固体記憶装置等の不揮発性メモリを含んでもよい。

当業者に理解されるように、図１は端末機器の一例に過ぎず、端末機器に対する限定を構成するものではなく、図示のものより多く又は少ない部品を含むか、又は一部の部品を組み合わせるか、又は異なる部品を含んでもよい。

図２が参照されるとおり、本発明に係る画像認識方法の実施のフローチャートであり、当該方法の実施のプロセスは具体的に以下のとおりである。

ステップ２００：端末機器は被認識医療画像を取得する。

医療画像は、人間が視覚的に感知する物質を再現したものである。医療画像はカメラ、鏡、望遠鏡、顕微鏡等の光学機器によって取得されてもよいし、手描きの画像等のように、人工的に作成されたものであってもよい。医療画像は紙媒体、フィルム等の光信号に敏感な媒体に記録し、保存することができる。デジタル収集技術及び信号処理理論の発展に伴い、デジタル形式で記憶される医療画像が増えている。

各実施例では、医療画像は撮影された医療用の画像であってよく、例えば、内視鏡（神経内視鏡、尿道膀胱鏡、レゼクトスコープ、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡等）によって取得された身体の内部の画像である。本発明に係る技術的解決手段はさまざまな画像の認識に適用され、本発明の実施例で食道画像の認識を例にして説明し、他の画像の認識については、説明が省略される。

ステップ２０１：端末機器は医療画像を第１認識モデルに入力して、病変認識結果を取得する。

端末機器は被認識医療画像を所定のサイズに正規化した後、予めトレーニングされた第１認識モデルに入力して、入力された医療画像は病変が発生している医療画像であるか否かを指示する病変認識結果を取得する。

各実施例では、医療画像の所定のサイズとは、２２４＊２２４画素に正規化処理されることであってもよい。病変認識結果は病変ラベル、及び／又は病変確率を含んでよい。病変ラベルは正常な画像ラベル及び医療画像ラベルを含んでよい。

各実施例では、第１認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成する時は、前記第１認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成してもよい。深層学習ネットワークは多層パーセプトロンを有するニューラルネットワークであってよく、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、ディープビリーフネットワーク等を含むが、これらに限定されない。

病変特徴とは、トレーニング時に標識された正常な器官の第１医療画像集合と、病変が生じた器官の第２医療画像集合とから前記深層学習ネットワークが学習した、前記第２医療画像集合に存在し、且つ前記第１医療画像集合には存在しない画像特徴である。学習した病変特徴がより正確なものであるように、深層学習ネットワークのトレーニング時に、その目的関数に制約条件を設定してもよく、例えば、学習した病変特徴は正常な器官の医用画像における特徴応答が第１閾値より小さく（第１閾値は０に近い値であってよい）、病変器官の医用画像における特徴応答が病変領域の次元に分布するものであってもよい。

ここで、第１認識モデルは事前にＤｅｎｓｅＮｅｔを用いて、正常な画像のサンプル及び病変画像のサンプルに対してトレーニングして得られる。端末機器は各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて第１認識誤差を得、第１認識誤差に基づいて第１認識モデルを最適化する。正則化値はＬ２正則関数により得られる。

ここで、第１認識誤差は上記の平均値と負の相関であり、上記の正則化値と正の相関である。医療画像の制約式の値は医療画像の人力判定の結果が正常である場合に有効である。クロスエントロピーはクロスエントロピー式により得られる。クロスエントロピーは医療画像の実際の分析結果、及び病変認識結果の対数の両方と正の相関である。制約式の値は制約式により得られる。制約式の値は医療画像から抽出された特徴ベクトルのノルムの二乗と正の相関であり、医療画像の実際の分析結果と負の相関である。医療画像の実際の分析結果が正常である場合には、制約式の値が０でないと有効である。医療画像の実際の分析結果が病変である場合には、制約式の値が０であると無効である。正則化値はＬ２正則関数により得られる。正則化値は第１認識モデルのモデルパラメータのノルムの二乗と正の相関である。

各実施例では、端末機器は第１認識誤差を決定する時に、次の目的関数を用いてよい。

ここで、ｉは医療画像（又は医療画像サンプル）の番号であり、ｎは医療画像（又は医療画像サンプル）の総数量であり、ｙは医療画像の実際の分析結果であり、ｘは医療画像であり、ｗは第１認識モデルのモデルパラメータであり、ｆは第１認識モデルを表し、ｐは第１認識モデルを用いて医療画像から抽出した特徴ベクトルであり、ｒ及びλは設定された重み値である。ｙ_ｉｌｏｇｆ（ｘ_ｉ；ｗ）はクロスエントロピー式であり、

は制約式であり、

はＬ２正則関数である。

これにより、上記の制約式から分かるように、実際の分析結果が病変である場合には、制約式の値が０であり、即ち無効であり、実際の分析結果が正常である場合には、制約式の値は

である。制約式は第１認識モデルによる正常な医療画像の病変認識結果を０に近づけるためのものであり、逆に、病変医療画像の病変認識結果は各病変領域の次元に分布する。

ここで、第１認識モデルのトレーニング時には、目的関数で得られた第１認識誤差によって、第１認識モデルを調整してよく、第１認識モデルを医療画像の認識に適用する場合には、目的関数で得られた第１認識誤差によって第１認識モデルを修正し、且つ認識の精度を決定することができる。

本発明の実施例では、ＤｅｎｓｅＮｅｔ中のＤｅｎｓｅＮｅｔ−１２１を用いて、正常な画像のサンプル及び病変画像のサンプルに対してトレーニングして、第１認識モデルを得、第１認識誤差によって第１認識モデルの更なる最適化を行う。ここで、正常な画像のサンプルには、少なくとも正常な画像及び正常な画像ラベルが含まれる。同様に、医療画像サンプルには少なくとも医療画像及び医療画像ラベルが含まれる。

表１が参照されるとおり、ＤｅｎｓｅＮｅｔ−１２１のネットワーク構造の設定パラメータ表である。ＤｅｎｓｅＮｅｔ−１２１は表１に示す設定パラメータで設定される。ＤｅｎｓｅＮｅｔ−１２１ネットワーク構造は４つのデンスブロック（ｄｅｎｓｅ Ｂｌｏｃｋ）を含み、成長率（ｇｒｏｗｔｈ−ｒａｔｅ）は１２に設定され、３つの変換層（ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒ）であり、ｔｒａｎｓｉｔｉｏｎ ｌａｙｅｒの特徴圧縮比は０．５に設定され、最後に分類層（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｌａｙｅｒ）よって病変認識結果を出力する。

図３ａが参照されるとおり、第１認識モデルの原理模式図である。図３ａでは、端末機器は医療画像を第１認識モデルに入力し、畳み込み層、デンス層−１、畳み込み層、プーリング層、デンス層−Ｎ、畳み込み層、線形層をこの順に経由して、病変認識結果が出力される。

例えば、図３ｂが参照されるとおり、食道画像の例の図その１であり、端末機器は図３ｂの食道画像（ａ）及び食道画像（ｂ）をそれぞれ第１認識モデルに入力して、出力された食道画像（ａ）は正常な医療画像であり、食道画像（ｂ）は病変が発生している食道画像である。

これにより、第１認識モデルによって、抽出された医療画像の各小さな領域の特徴及び医療画像全体の高レベルの意味論的な特徴に基づいて、医療画像を分類して、病変認識結果を取得することができる。第１認識モデルによって医療画像を初歩的にスクリーニングして、病変が発生している医療画像を選出し、そして後続の第２認識モデルによって、直接的に病変が発生している医療画像を認識することができ、処理効率が上がる。

ステップ２０２：端末機器は、病変認識結果は病変が発生している医療画像であるか否かを判断し、そうである場合には、ステップ２０３を実行し、そうでない場合には、ステップ２０４を実行する。

ステップ２０３：端末機器は医療画像を第２認識モデルに入力して、病変程度認識結果を取得する。

端末機器が第２認識モデルによって医療画像を認識することは具体的に、病変認識結果は病変が発生している医療画像を複数の画像ブロックに分割し、各画像ブロックの特徴情報をそれぞれ抽出し、且つ、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定することを含む。

各実施例では、前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成してよい。具体的には、前記第２認識モデルによって、トレーニングされた第２深層学習ネットワークを利用して、前記医療画像において第１病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成してよい。第２深層学習ネットワークは多層パーセプトロンを有するニューラルネットワークであってよく、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、ディープビリーフネットワーク等を含むが、これらに限定されない。

病変程度特徴とは、トレーニング時に標識された前記第１病変程度がない器官の第３医療画像集合と前記第１病変程度がある器官の第４医療画像集合とから前記第２深層学習ネットワークが学習した、前記第４医療画像集合に存在し、且つ前記第３医療画像集合には存在しない画像特徴である。学習した病変程度特徴がより正確なものであるように、第２深層学習ネットワークのトレーニングする時に、その目的関数に制約条件を設定してもよく、例えば、学習した第１病変程度の病変特徴は第１病変程度より低い病変の器官の医用画像における特徴応答が第１閾値より小さく（第１閾値は０に近い値であってよい）、第１病変程度がある病変器官の医用画像における特徴応答は病変領域の次元に分布するものであってもよい。

ここで、第２認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つトレーニング及び認識に適用される過程で、第２認識誤差を用いて第２認識モデルが最適化される。

ここで、病変程度認識結果は医療画像に含まれる病変の程度を指示するものである。病変程度認識結果は、各画像ブロックの病変程度認識結果と医療画像における領域情報、及び／又は、各画像ブロックの認識結果に基づいてその対応する領域に相応する指示情報が設定された病変程度指示画像を含む。病変程度認識結果は医療画像の病変程度ラベルをさらに含み、病変程度ラベルとは、医療画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第１認識結果であり、又は、全ての画像ブロックの特徴情報に基づいて決定された医療画像の病変程度の第２認識結果であり、又は、第１認識結果及び第２認識結果に基づいて決定された総合結果である。

例えば、病変程度ラベルは炎症、早期がん、中期がん及び晩期がんであってもよいし、がん化確率であってもよい。領域情報は座標又は画像ブロックの位置名称等の情報であってもよい。病変程度指示画像中の各領域は認識結果によって異なる色又は模様を設定して指示されてもよい。

ここで、端末機器は、第２認識モデルによって各画像ブロックの病変程度認識結果を決定する時には、次のいくつかの方式を用いることができる。

第１の方式：まず、各画像ブロックの特徴情報に基づいて、各画像ブロックのがん化確率をそれぞれ決定し、がん化確率範囲と病変程度ラベルとの相関関係を取得する。その後、当該相関関係に基づいて、最高のがん化確率の属するがん化確率範囲に対応する病変程度ラベルを決定し、当該病変程度ラベルを第１認識結果として決定する。次に、各画像ブロックのがん化確率に基づいてその対応する領域に相応する指示情報を設定して、病変程度指示画像を取得する。最後に、各画像ブロックのがん化確率と領域情報、病変程度指示画像及び第１認識結果を、前記医療画像の病変程度認識結果として決定する。

がん化が発生している医療画像では少なくとも１つの画像ブロックががん化の特徴を有し、非がん化の医療画像ではがん化の特徴を有する画像ブロックが１つもないため、第１の方式により、直接的に病変程度が最も高い画像ブロックに基づいて、病変程度ラベルを決定する。

図３ｃは第２認識モデルの原理模式図である。図３ｄは画像ブロックの模式図である。図３ｃが参照されるとおり、端末機器は医療画像を第２認識モデルに入力して、第２認識モデルによって医療画像を図３ｄに示す複数の画像ブロックに分割し、各画像ブロックの特徴情報をそれぞれ抽出し、且つ、抽出された特徴情報に基づいて、各画像ブロックのがん化確率をそれぞれ推定する。その後、端末機器は各画像ブロックのがん化確率をソーティングし、がん化確率が最も高い画像ブロックの病変程度ラベルを、医療画像の病変程度ラベルとして決定して、がん化程度認識結果を取得する。

第２の方式：各画像ブロックの特徴情報に基づいて、医療画像からがん化確率を決定し、がん化確率範囲と病変程度ラベルとの相関関係を取得する。その後、当該相関関係に基づいて、当該がん化確率の属するがん化確率範囲に対応する病変程度ラベルを決定し、当該病変程度ラベルを第２認識結果として決定する。次に、各画像ブロックのがん化確率に基づいてその対応する領域に相応する指示情報を設定して、病変程度指示画像を取得する。最後に、各画像ブロックのがん化確率と領域情報、病変程度指示画像及び第２認識結果を、前記医療画像の病変程度認識結果として決定する。

これにより、医療画像全体の特徴情報によって、病変程度ラベルを決定することができる。

第３の方式：上記の第１の方式及び第２の方式により第１認識結果及び第２認識結果をそれぞれ得て、第１認識結果及び第２認識結果で病変程度が最も高い認識結果を総合結果として決定し、且つ、各画像ブロックのがん化確率と領域情報、病変程度指示画像及び総合結果を、前記医療画像の病変程度認識結果として決定する。

例えば、図３ｅは食道画像の例の図その２であり、図３ｅが参照されるとおり、図３ｅで（ｃ）は食道画像のがんの例の図であり、（ｄ）は食道画像の炎症の例の図である。端末機器は図３ｅの（ｃ）及び（ｄ）の医療画像をそれぞれ第２認識モデルに入力し、図３ｅの（ｃ）に対応する病変程度認識結果はがん化が発生している医療画像であり、図３ｅの（ｄ）に対応する病変程度認識結果は炎症が発生している医療画像である。

もう一例として、図３ｆは食道画像の病変程度指示画像の例の図である。端末機器は図３ｆの（ｅ）の左図、（ｆ）の左図、（ｇ）の左図及び（ｈ）の左図をそれぞれ第２認識モデルに入力すると、出力される病変程度認識結果はそれぞれ次のものである。図３ｆの（ｅ）の右図は図３ｆの（ｅ）の左図の病変程度指示画像であり、図３ｆの（ｆ）の右図は図３ｆの（ｆ）の左図の病変程度指示画像であり、図３ｆの（ｇ）の右図は図３ｆの（ｇ）の左図の病変程度指示画像であり、図３ｆの（ｈ）の右図は図３ｆの（ｈ）の左図の病変程度指示画像である。

これにより、ユーザーは病変程度ラベルによって、医療画像から病変程度を決定し、病変程度指示画像に基づいて、病変程度の判断根拠を決めることができる。

ここで、第２認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、第２認識誤差を用いて第２認識モデルが最適化される。第２認識誤差は所定の損失関数により得られるものであり、損失関数中のクロスエントロピーは医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される。

各実施例では、損失関数は最大プーリング損失関数（ｍａｘ ｐｏｏｌｉｎｇ ｌｏｓｓ）、ラベル割り当て損失関数（ｌａｂｅｌ ａｓｓｉｇｎ ｌｏｓｓ）、スパース損失関数（ｓｐａｒｓｉｔｙ ｌｏｓｓ）であってよい。

表２が参照されるとおり、第２認識モデルのネットワーク構造の設定パラメータ表である。表２に示すネットワーク構造は２つのブランチを含み、右側の矢印が指すブランチは上記の第１の方式を用いる医療画像認識の設定パラメータであり、左側の矢印が指すブランチは第２の方式を用いる医療画像認識の設定パラメータである。共有層中の出力は各画像ブロックから抽出された特徴情報についてのものであり、右側の矢印が指すブランチでは、１＊１畳み込みにより、共有層から出力される各画像ブロックの特徴情報に基づいて、各画像ブロックのがん化確率を得、そして各がん化確率に基づいて、病変程度認識結果を得て、左側の矢印が指すブランチでは、画像全体の畳み込みにより、共有層から出力される各画像ブロックの特徴情報に基づいて、医療画像のがん化確率を得、そして病変程度認識結果を取得する。

さらに、左側の矢印が指すブランチの出力の第１認識結果及び右側の矢印が指すブランチの出力の第２認識結果に基づいて、総合結果を決定してもよい。ここで、第２認識誤差に基づいて第２認識モデルを最適化する時には、共有層に対して、総合結果から決定された第２認識誤差に基づいて、共有層のモデルパラメータを更新し、左側及び右側の矢印が指すブランチに対して、それぞれ対応する認識結果から決定された認識誤差に基づいて、モデルパラメータを最適化する。

ステップ２０４：端末機器は医療画像が正常であることを指示する病変認識結果を出力する。

さらに、ステップ２０２では、医療画像を初歩的に判定して、医療画像において病変が発生しているか否かを決定する。各実施例では、ステップ２０１及びステップ２０２は実行しなくてもよく、即ち直接、後続のステップ２０３より医療画像に対しがん化の認識を行う。

画像認識の実施のプロセスは具体的に、次のとおりであってもよい。

まず、端末機器は被認識医療画像を取得する。

その後、端末機器は医療画像を第２認識モデルに入力して、病変程度認識結果を取得する。具体的には、実施のステップは上記のステップ２０３を参照する。

これにより、認識で複雑なステップが減らされる。

図３ｇが参照されるとおり、医療システムの構造模式図である。医療システム３００は画像収集装置３０１と、画像認識装置３０２と、表示装置３０３とを含む。

画像収集装置３０１は、内蔵されたカメラ又は内視鏡等によって患者の病巣（例えば、身体の内部）等の部位を撮影して、患者の医療画像を収集する。内視鏡は神経内視鏡、尿道膀胱鏡、レゼクトスコープ、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡等であってもよい。

画像認識装置３０２は、画像収集装置３０１によって収集された医療画像を取得し、第１認識モデルによって医療画像は病変が発生している医療画像であるか否かを判定して、病変認識結果を生成し、且つ第２認識モデルによって、病変が発生している医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示する。さらに、画像認識装置３０２は直接的に第２認識モデルを用いて病変が発生している医療画像を認識して、病変程度認識結果を得てもよい。

表示装置３０３は、画像認識装置３０２によって出力された病変認識結果又は病変程度認識結果を取得し、病変認識結果又は病変程度認識結果をユーザーに表示する。

これにより、医療システム３００は画像収集装置３０１によって患者の医療画像を収集し、画像認識装置３０２によって収集された医療画像を認識して、病変認識結果又は病変程度認識結果を得、且つ、表示装置３０３によって病変認識結果又は病変程度認識結果をユーザーに表示することができる。

上記の発明と同じ発想を踏まえるものとして、本発明の実施例では画像認識装置がさらに提供され、当該装置及び機器による問題解決は原理的に上記の画像認識方法に類似するため、当該装置の実施は方法の実施を参照することができ、重複する部分は省略される。

図４ａに示すように、本発明の実施例に係る画像認識装置の構造模式図その１であり、
被認識医療画像を取得する取得ユニット４１０と、
医療画像において病変が発生しているか否かを判定する第１認識モデルによって医療画像を判定して、病変認識結果を生成する判定ユニット４１１と、
医療画像に含まれる病変の程度を認識する第２認識モデルによって病変が発生している医療画像を認識して、病変程度認識結果を生成する認識ユニット４１２と、を含む。

いくつかの実施例では、判定ユニット４１１は前記第１認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成してもよい。ここで、前記病変特徴とは、トレーニング時に標識された正常な器官の第１医療画像集合と、病変が生じた器官の第２医療画像集合とから前記深層学習ネットワークが学習した、前記第２医療画像集合に存在し、且つ前記第１医療画像集合には存在しない画像特徴である。

いくつかの実施例では、認識ユニット４１２は前記第２認識モデルによって、トレーニングされた第２深層学習ネットワークを利用して前記医療画像において第１病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成してもよい。ここで、前記病変程度特徴とは、トレーニング時に標識された前記第１病変程度がない器官の第３医療画像集合と、前記第１病変程度がある器官の第４医療画像集合とから前記第２深層学習ネットワークが学習した、前記第４医療画像集合に存在し、且つ前記第３医療画像集合には存在しない画像特徴である。

いくつかの実施例では、認識ユニット４１２は具体的に、病変認識結果は病変が発生している医療画像を複数の画像ブロックに分割し、
複数の画像ブロックの特徴情報をそれぞれ抽出し、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定し、且つ、
病変程度認識結果は、各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む。

いくつかの実施例では、病変程度認識結果は医療画像の病変程度ラベルをさらに含み、医療画像の病変程度ラベルは、
病例画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第１認識結果であり、又は、
全ての画像ブロックの特徴情報に基づいて決定された医療画像の病変程度の第２認識結果であり、又は、
第１認識結果及び第２認識結果に基づいて決定された総合結果である。

いくつかの実施例では、第２認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つ第２認識誤差を用いて第２認識モデルが最適化され、
ここで、第２認識誤差は所定の損失関数により得られるものであり、損失関数中のクロスエントロピーは医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される。

いくつかの実施例では、第１認識モデルはＤｅｎｓｅＮｅｔでトレーニングして得られるものであり、且つ第１認識誤差を用いて第１認識モデルが最適化され、
ここで、第１認識誤差は各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて得られるものであり、ここで、医療画像の制約式の値は予め設定された制約式により得られるものであり、制約式は医療画像の人力判定の結果が正常である場合に有効な制約式の値を取得するためのものである。

図４ｂに示すように、本発明の実施例に係る画像認識装置の構造模式図その２であり、
被認識医療画像を取得し、認識モデルによって被認識医療画像を認識する入力ユニット４２０と、
認識モデルが被認識医療画像を認識した後に出力した、医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む病変程度認識結果を取得する獲得ユニット４２１と、を含み、
ここで、認識モデルによって医療画像を認識することは具体的に、医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定することを含む。

本発明の実施例に係る画像認識方法、装置、端末機器及び医療システムでは、まず、第１認識モデルによって医療画像は病変が発生している医療画像であるか否かを判定し、その後、第２認識モデルによって、病変が発生している医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示する。これにより、人力による分析及び特徴抽出手順の設定は必要とされず、医療画像認識の効率及び精度が上がる。

上記の発明と同じ発想を踏まえるものとして、本発明の実施例では端末機器５００がさらに提供され、図５が参照されるとおり、端末機器５００は上記の各方法の実施例に記載の方法を実施し、例えば、図２に示す実施例を実施するものであり、端末機器５００はメモリ５０１と、プロセッサ５０２と、入力ユニット５０３と、表示パネル５０４と、を含んでよい。

メモリ５０１は、プロセッサ５０２が実行するコンピュータプログラムを記憶する。メモリ５０１は主にプログラム記憶領域及びデータ記憶領域を含んでよく、ここで、プログラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラム等を記憶し、データ記憶領域は端末機器５００の使用に基づいて作成されたデータ等を記憶することができる。プロセッサ５０２は、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、略称ＣＰＵ）であってもよいし、又はデジタル処理ユニット等であってもよい。入力ユニット５０３は、ユーザーによって入力されたユーザー命令を取得してよい。表示パネル５０４は、ユーザーによって入力された情報又はユーザーに提供される情報を表示し、本発明の実施例では、表示パネル５０４は主に端末機器中の各アプリケーションプログラムの表示画面及び各表示画面に表示されるウィジェット対象を表示する。各実施例では、表示パネル５０４は液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、略称ＬＣＤ）又はＯＬＥＤ（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、有機発光ダイオード）等の形態で設置することができる。

本発明の実施例では、上記のメモリ５０１、プロセッサ５０２、入力ユニット５０３及び表示パネル５０４を接続する媒体が具体的に限定されない。本発明の図５の実施例では、メモリ５０１、プロセッサ５０２、入力ユニット５０３、表示パネル５０４がバス５０５によって接続され、図５でバス５０５が太線で示され、他の部品間の接続方式は、例示的に説明したものに過ぎず、これに限定されるものではない。バス５０５はアドレスバス、データバス、コントロールバス等に分けられてもよい。表示の簡素化のために、図５では１本の太線で示されるが、バスが１本、又はバスが１種しかないことではない。

メモリ５０１は揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、ランダムアクセスメモリ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ、略称ＲＡＭ）であってもよいし、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、読み取り専用メモリ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ、略称ＨＤＤ）、又はソリッドステートドライブ（ｓｏｌｉｄ−ｓｔａｔｅ ｄｒｉｖｅ、略称ＳＳＤ）であってもよいし、又はメモリ５０１は命令又はデータ構造の形式の、所望のプログラムコードを担持又は記憶することができ、且つコンピュータがアクセスできる他の任意の媒体であってもよく、これらに限定されるものではない。メモリ５０１は前記メモリの組み合わせであってもよい。

プロセッサ５０２は図２に示す実施例を実現し、
これは、プロセッサ５０２はメモリ５０１に記憶されているコンピュータプログラムを呼び出して図２に示すような実施例を実行することを含む。

本発明の実施例では、コンピュータ可読記憶媒体がさらに提供され、上記のプロセッサが実行すべきコンピュータ実行可能な命令が記憶されており、上記のプロセッサが実行すべきプログラムが含まれる。

いくつかの可能な実施形態では、本発明に係る画像認識方法の各態様はプログラム製品の形態として実現されてもよく、プログラム製品が端末機器上で動作する時、端末機器が本明細書で説明されている本発明のさまざまな例示的な実施形態の画像認識方法のステップを実行するためのプログラムコードが含まれる。例えば、端末機器は図２に示すような実施例を実行できる。

プログラム製品は１つ又は複数の可読媒体の任意の組み合わせとしてよい。可読媒体は可読信号媒体又は可読記憶媒体であってよい。可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体によるシステム、装置又はデバイスであってよく、これらに限定されるものではなく、これらの任意の組み合わせであってもよい。可読記憶媒体のより具体的な例（全てを網羅しているリストではないが）には、１つ又は複数のリード線を有する電気的接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能でプログラマブルな読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はこれらの任意の組み合わせが含まれる。

本発明の実施形態による画像認識用のプログラム製品はポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）にして、コンピューティング機器上で動作できるプログラムコードを含むものであってもよい。しかしながら、本発明のプログラム製品はこれに限定されるものではなく、本明細書で、可読記憶媒体はプログラムが含有又は記憶されている任意の有形の媒体であってもよく、当該プログラムは命令実行システム、装置もしくはデバイスによって使用され、又はこれらと組み合わせて使用されてもよい。

可読信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含んでよく、それには可読のプログラムコードが担持されている。このような被伝搬データ信号は、電磁信号、光信号又はこれらの任意の適切な組み合わせ等のさまざまな形態とすることができるが、これらに限定されるものではない。可読信号媒体は可読記憶媒体以外の任意の可読媒体であってもよく、当該可読媒体は命令実行システム、装置もしくはデバイスによって使用され、又はこれらと組み合わせて使用されるプログラムを送信、伝搬又は伝送することができる。

可読媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦ等、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体で伝送することができる。

１種又は複数種のプログラム設計言語の任意の組み合わせで本発明に係る動作を実行するためのプログラムコードを書くことができ、プログラム設計言語にはオブジェクト指向プログラム設計言語、例えば、Ｊａｖａ、Ｃ＋＋等が含まれ、通常の手続き型プログラム設計言語、例えば、「Ｃ」言語又は類似するプログラム設計言語がさらに含まれる。プログラムコードは完全にユーザーのコンピューティング機器上で実行されてもよいし、一部がユーザー機器上で実行されてもよいし、独立のソフトウェアパッケージとして実行されてもよいし、一部がユーザーのコンピューティング機器上でもう一部がリモートコンピューティング機器上で実行されてもよいし、又は完全にリモートコンピューティング機器又はサーバ上で実行されてもよい。リモートコンピューティング機器が関わる場合には、リモートコンピューティング機器はローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介して、ユーザーのコンピューティング機器に接続されてもよいし、又は、外部のコンピューティング機器に接続されてもよい（例えば、インターネットサービスプロバイダーからインターネットによって接続される）。

なお、上記の詳細な説明では装置の複数のユニット又はサブユニットが言及されるが、このようなユニットの設定は例示的なもので、変わりが認められないものではない。実際には、本発明の実施形態によれば、上記で説明されている２つ又はより多くのユニットの特徴及び機能は１つのユニットで実現されてもよい。逆に、上記で説明されている１つのユニットの特徴及び機能は複数のユニットによって実現されるようにさらに分割されてもよい。

さらに、図面では本発明の方法に係る動作が特定の順番で説明されているが、これらの動作が当該特定の順番で実行されなければならない、又は所望の結果を取得するためには示される動作を全て実行しなければならないということを求め、又はこれを示唆することではない。加えて又は任意選択で、いくつのステップを省略して、複数のステップを１つのステップにまとめて実行するか、且つ／又は１つのステップを複数のステップに分割して実行してもよい。

当業者に理解されるように、本発明の実施例は方法、システム、又はコンピュータプログラム製品として提供され得る。したがって、本発明は完全にハードウェアからなる実施例、完全にソフトウェアからなる実施例、又はソフトウェア及びハードウェアを組み合わせた実施例の形態とすることができる。さらに、本発明は、コンピュータ利用可能なプログラムコードが含まれる１つ又は複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリ等を含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形態とすることもできる。

本発明の実施例に係る方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本発明が説明される。なお、コンピュータプログラム命令によってフローチャート及び／又はブロック図中の各プロセス及び／又はブロック、及びフローチャート及び／又はブロック図中のプロセス及び／又はブロックの組み合わせを実現できる。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブルなデータ処理機器のプロセッサに提供して機械を生み出すことで、コンピュータ又は他のプログラマブルなデータ処理機器のプロセッサが実行する命令によって、フローチャートの１つのプロセスもしくは複数のプロセス及び／又はブロック図の１つのブロックもしくは複数のブロックで指定された機能を実現する装置が生成される。

これらのコンピュータプログラム命令はコンピュータ又は他のプログラマブルなデータ処理機器が特定の方式で動作するようガイドするコンピュータ可読メモリに記憶されてもよく、これにより当該コンピュータ可読メモリに記憶されている命令によって、命令装置を含む製品が生成され、当該命令装置はフローチャートの１つのプロセスもしくは複数のプロセス及び／又はブロック図の１つのブロックもしくは複数のブロックで指定された機能を実現する。

これらのコンピュータプログラム命令はコンピュータ又は他のプログラマブルなデータ処理機器にロードされてもよく、これによりコンピュータ又は他のプログラマブルデバイス上で一連の動作ステップが実行されて、コンピュータで実現される処理が生成され、そして、コンピュータ又は他のプログラマブルデバイス上で実行される命令によって、フローチャートの１つのプロセスもしくは複数のプロセス及び／又はブロック図の１つのブロックもしくは複数のブロックで指定された機能を実現するステップが提供される。

本発明の好ましい実施例を説明しているが、当業者が進歩性の原理を知れば、これらの実施例に変更及び修正を行うことができる。したがって、特許請求の範囲は好ましい実施例及び本発明の範囲に属する全ての変更及び修正を含むと解釈されたいものである。

なお、当業者が本発明の趣旨及び範囲を逸脱することなくさまざまな修正及び変形を行うことができる。これにより、本発明に対するこれらの修正及び変形が本発明の特許請求の範囲及び同等な技術の範囲に入るものであれば、これらの修正及び変形も本発明に含まれるものとする。

Claims (20)

1. 医療画像認識方法であって、
   被認識医療画像を取得するステップと、
   第１認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成するステップと、
   前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成するステップと、を含む医療画像認識方法。
2. 第１認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成するステップは、
   前記第１認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成するステップを含み、
   前記病変特徴は、トレーニング時に標識された正常な器官の第１医療画像集合と、病変が生じた器官の第２医療画像集合とから前記深層学習ネットワークが学習した、前記第２医療画像集合に存在し且つ前記第１医療画像集合には存在しない画像特徴である請求項１に記載の方法。
3. 第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成するステップは、
   前記第２認識モデルによって、トレーニングされた第２深層学習ネットワークを利用して、前記医療画像において第１病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成するステップを含み、
   前記病変程度特徴は、トレーニング時に標識された前記第１病変程度がない器官の第３医療画像集合と、前記第１病変程度がある器官の第４医療画像集合とから前記第２深層学習ネットワークが学習した、前記第４医療画像集合に存在し且つ前記第３医療画像集合には存在しない画像特徴である請求項１または２に記載の方法。
4. 第２認識モデルによって前記医療画像を認識するステップは、
   前記医療画像を複数の画像ブロックに分割するステップと、
   前記複数の画像ブロックの特徴情報をそれぞれ抽出し、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定するステップと、を含み、且つ、
   前記病変程度認識結果は、各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む請求項１〜３のいずれか１項に記載の方法。
5. 前記病変程度認識結果は医療画像の病変程度ラベルをさらに含み、
   前記医療画像の病変程度ラベルは、前記医療画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第１認識結果であり、又は、全ての画像ブロックの特徴情報に基づいて決定された前記医療画像の病変程度の第２認識結果であり、又は、前記第１認識結果及び前記第２認識結果に基づいて決定された総合結果である請求項１〜４のいずれか１項に記載の方法。
6. 前記第２認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つ、第２認識誤差を用いて前記第２認識モデルが最適化され、
   前記第２認識誤差は所定の損失関数により得られるものであり、前記損失関数中のクロスエントロピーは、医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される請求項１〜５のいずれか１項に記載の方法。
7. 前記第１認識モデルは、デンス畳み込みネットワークＤｅｎｓｅＮｅｔでトレーニングして得られるものであり、且つ第１認識誤差を用いて前記第１認識モデルが最適化され、
   前記第１認識誤差は、各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて得られるものであり、ここで、医療画像の制約式の値は予め設定された制約式により得られるものであり、前記制約式は医療画像の人力判定の結果が正常である場合に有効な制約式の値を取得するためのものである請求項１〜５のいずれか１項に記載の方法。
8. 画像認識装置であって、
   被認識医療画像を取得する取得ユニットと、
   第１認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成する判定ユニットと、
   前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する認識ユニットと、を含む画像認識装置。
9. 前記判定ユニットは、前記第１認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成し、
   前記病変特徴は、トレーニング時に標識された正常な器官の第１医療画像集合と、病変が生じた器官の第２医療画像集合とから前記深層学習ネットワークが学習した、前記第２医療画像集合に存在し、且つ前記第１医療画像集合には存在しない画像特徴である請求項８に記載の装置。
10. 前記認識ユニットは、前記第２認識モデルによって、トレーニングされた第２深層学習ネットワークを利用して、前記医療画像において第１病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成し、
    前記病変程度特徴は、トレーニング時に標識された前記第１病変程度がない器官の第３医療画像集合と、前記第１病変程度がある器官の第４医療画像集合とから前記第２深層学習ネットワークが学習した、前記第４医療画像集合に存在し、且つ前記第３医療画像集合には存在しない画像特徴である請求項８または９に記載の装置。
11. 前記認識ユニットは具体的に、前記医療画像を複数の画像ブロックに分割し、
    前記複数の画像ブロックの特徴情報をそれぞれ抽出し、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定し、且つ、
    前記病変程度認識結果は、各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む請求項８〜１０のいずれか１項に記載の装置。
12. 前記病変程度認識結果は医療画像の病変程度ラベルをさらに含み、
    前記医療画像の病変程度ラベルは、前記医療画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第１認識結果であり、又は、全ての画像ブロックの特徴情報に基づいて決定された前記医療画像の病変程度の第２認識結果であり、又は、前記第１認識結果及び前記第２認識結果に基づいて決定された総合結果である請求項８〜１１のいずれか１項に記載の装置。
13. 前記第２認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つ、第２認識誤差を用いて前記第２認識モデルが最適化され、
    前記第２認識誤差は所定の損失関数により得られるものであり、前記損失関数中のクロスエントロピーは、医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される請求項８〜１２のいずれか１項に記載の装置。
14. 前記第１認識モデルはデンス畳み込みネットワークＤｅｎｓｅＮｅｔでトレーニングして得られるものであり、且つ第１認識誤差を用いて前記第１認識モデルが最適化され、
    前記第１認識誤差は各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて得られるものであり、ここで、医療画像の制約式の値は予め設定された制約式により得られるものであり、前記制約式は医療画像の人力判定の結果が正常である場合に有効な制約式の値を取得するためのものである請求項８〜１２のいずれか１項に記載の装置。
15. 医療画像認識方法であって、
    被認識医療画像を取得し、認識モデルによって前記被認識医療画像を認識するステップと、
    前記認識モデルが前記被認識医療画像を認識した後に出力した病変程度認識結果を取得するステップであって、前記病変程度認識結果は、前記医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む、ステップと、を含み、
    前記認識モデルによって前記医療画像を認識するステップは、前記医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定するステップを含む医療画像認識方法。
16. 画像認識装置であって、
    被認識医療画像を取得し、認識モデルによって前記被認識医療画像を認識する入力ユニットと、
    前記認識モデルが前記被認識医療画像を認識した後に出力した病変程度認識結果を取得する獲得ユニットであって、前記病変程度認識結果は、前記医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び／又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む、獲得ユニットと、を含み、
    前記認識モデルによって前記医療画像を認識することは具体的に、前記医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定することを含む画像認識装置。
17. 少なくとも１つの処理ユニットと、少なくとも１つの記憶ユニットと、を含み、ここで、前記記憶ユニットにはコンピュータプログラムが記憶されており、前記プログラムが前記処理ユニットによって実行されると、前記処理ユニットは請求項１〜７のいずれか１項に記載の方法のステップを実行する端末機器。
18. 医療システムであって、
    患者の医療画像を収集する画像収集装置と、
    前記画像収集装置によって収集された医療画像を取得し、第１認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成し、且つ、前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第２認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する画像認識装置と、
    前記病変程度認識結果を表示する表示装置と、を含む医療システム。
19. 医療システムであって、
    患者の医療画像を収集する画像収集装置と、
    前記画像収集装置によって収集された医療画像を取得し、医療画像に含まれる病変の程度を認識する第２認識モデルによって病変を含む医療画像を認識して、病変程度認識結果を生成する画像認識装置と、
    前記病変程度認識結果を表示する表示装置と、を含む医療システム。
20. 請求項１〜７のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。
    

Images