JP2021521553A - 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム - Google Patents

画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム Download PDF

Info

Publication number
JP2021521553A
JP2021521553A JP2020561046A JP2020561046A JP2021521553A JP 2021521553 A JP2021521553 A JP 2021521553A JP 2020561046 A JP2020561046 A JP 2020561046A JP 2020561046 A JP2020561046 A JP 2020561046A JP 2021521553 A JP2021521553 A JP 2021521553A
Authority
JP
Japan
Prior art keywords
lesion
image
medical image
recognition
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020561046A
Other languages
English (en)
Other versions
JP7152513B2 (ja
Inventor
フゥ,シンホォイ
スン,ジョォンチエン
シャン,ホォン
ヤン,ウエイ
Original Assignee
テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド filed Critical テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド
Publication of JP2021521553A publication Critical patent/JP2021521553A/ja
Application granted granted Critical
Publication of JP7152513B2 publication Critical patent/JP7152513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本発明は、画像処理技術の分野に属し、画像認識方法、装置、端末機器及び医療システムを開示する。本発明に係る画像認識方法は、第1認識モデルによって医療画像に病変が含まれる医療画像であるか否かを判定するステップと、その後、第2認識モデルによって病変を含む医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示するステップと、を含む。これにより、人力による分析及び特徴抽出手順の設定は必要とされず、医療画像認識の効率及び精度が上がる。

Description

「関連出願の相互参照」
本願は、2018年10月30日に中国国家知識産権局に提出された出願番号が201811278418.3で、発明の名称が「画像認識方法、装置、端末機器及び医療システム」である中国特許出願の優先権を主張し、当該出願の全ての内容は援用することにより本願に組み込まれる。
本発明は、画像処理技術の分野に関し、特に、画像認識方法、装置、端末機器及び医療システムに関する。
コンピュータ技術の発展に伴い、コンピュータ技術は医師による医療診断の支援として、次第に医療画像(例えば、内視鏡下の食道画像)の分析に用いられる。例えば、端末機器はコンピュータ技術により、患者の食道画像に基づいて患者におけるがん化の発生確率を判断することができる。これにより、医師は出力結果に基づいて、更なる診断及び分析を行うことができ、医療診断の精度及び効率が上がる。従来の技術では、端末機器は画像によって疾患を分析する場合は、一般に従来の機械学習の方法(例えば、ウェーブレット演算子)を用いて、事前に抽出された特徴情報に基づいて画像から疾患を分類し、疾患分類結果を取得するようにしている。
本発明の実施例は、医療画像に基づいて疾患を認識する場合に、認識の効率及び精度を向上させるために、画像認識方法、装置、端末機器及び医療システムを提供する。
各実施例に係る画像認識方法は、
被認識医療画像を取得するステップと、
第1認識モデルによって医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成するステップと、
前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成するステップと、を含んでよい。
これにより、人力による特徴分析及び手順設定の手間がかかるステップが避けられ、医療画像認識の精度及び効率が上がる。
各実施例の画像認識装置は、
被認識医療画像を取得する取得ユニットと、
第1認識モデルによって医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成する判定ユニットと、
前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する認識ユニットと、を含んでよい。
各実施例に係る別の医療画像認識方法は、
被認識医療画像を取得し、認識モデルによって被認識医療画像を認識するステップと、
認識モデルが被認識医療画像を認識した後に出力した、医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む病変程度認識結果を取得するステップと、を含んでよく、
ここで、認識モデルによって医療画像を認識するステップは具体的に、医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定するステップを含む。
各実施例に係る別の画像認識装置は、
被認識医療画像を取得し、認識モデルによって被認識医療画像を認識する入力ユニットと、
認識モデルが被認識医療画像を認識した後に出力した、医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む病変程度認識結果を取得する獲得ユニットと、を含んでよく、
ここで、認識モデルによって医療画像を認識することは具体的に、医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定することを含む。
各実施例に係る端末機器は、少なくとも1つの処理ユニットと、少なくとも1つの記憶ユニットと、を含んでよく、ここで、記憶ユニットにはコンピュータプログラムが記憶されており、プログラムが処理ユニットによって実行されると、処理ユニットは上記のいずれかの画像認識方法のステップを実行する。
各実施例に係る医療システムは、
患者の医療画像を収集する画像収集装置と、
画像収集装置によって収集された医療画像を取得し、第1認識モデルによって医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成し、且つ、前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する画像認識装置と、
病変程度認識結果を表示する表示装置と、を含んでよい。
各実施例に係る別の医療システムは、
患者の医療画像を収集する画像収集装置と、
画像収集装置によって収集された医療画像を取得し、医療画像に含まれる病変の程度を認識する第2認識モデルによって病変を含む医療画像を認識して、病変程度認識結果を生成する画像認識装置と、
病変程度認識結果を表示する表示装置と、を含んでよい。
各実施例に係るコンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、前記プログラムが1つ又は複数のプロセッサによって実行されると、1つ又は複数の前記プロセッサは上記のいずれかの画像認識方法のステップを実行できる。
本発明の実施例の画像認識方法、装置、端末機器及び医療システムにおいて、第1認識モデルによって医療画像は病変が発生している医療画像であるか否かを判定し、その後、第2認識モデルによって、病変が発生している医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示する。これにより、人力による分析及び特徴抽出手順の設定は必要とされず、医療画像認識の効率及び精度が上がる。
本発明の他の特徴及び利点は次の説明で記載され、その一部は明細書によって明瞭なものになり、又は本発明の実施により知られる。本発明の目的及び他の利点は明細書、特許請求の範囲及び図面で示される構造により達成され得るであろう。
ここに説明される図面は、本発明の更なる理解に供するもので、本発明を構成する部分である。本発明の例示的な実施例及びその説明は本発明を解釈するためのもので、本発明に対する不適切な限定を構成するものではない。図面では、
本発明の実施形態に係る端末機器の構造模式図である。 本発明の実施形態に係る画像認識方法の実施のフローチャートである。 本発明の実施形態に係る第1認識モデルの原理模式図である。 本発明の実施形態に係る食道画像の例の図その1である。 本発明の実施形態に係る第2認識モデルの原理模式図である。 本発明の実施形態に係る画像ブロックの模式図である。 本発明の実施形態に係る食道画像の例の図その2である。 本発明の実施形態に係る食道画像の病変程度指示画像の例の図である。 本発明の実施形態に係る医療システムの構造模式図である。 本発明の実施形態に係る画像認識装置の構造模式図その1である。 本発明の実施形態に係る画像認識装置の構造模式図その2である。 本発明の実施形態に係る端末機器の構造模式図である。
医療画像で疾患を認識する場合に、認識の効率及び精度を向上させるために、本発明の実施例は画像認識方法、装置、端末機器及び医療システムを提供する。
まずは、当業者が理解しやすいように、本発明の実施例で使用される用語の一部を説明する。
1、端末機器:様々なアプリケーションプログラムのインストールが可能であり、既にインストールされているアプリケーションプログラムで提供される対象を表示できる機器であり、当該電子機器は移動するものであってもよいし、固定されたものであってもよい。例えば、携帯電話、タブレットコンピュータ、車載機器、パーソナルデジタルアシスタント(personal digital assistant、略称PDA)、又は上記の機能を実現できる他の電子機器等である。
2、医療画像:人間が視覚的に感知する物質を再現したものであり、カメラ、鏡、望遠鏡、顕微鏡等の光学機器によって取得されてもよいし、手描きの画像等のように、人工的に作成されたものであってもよい。病理は紙媒体、フィルム等の光信号に敏感な媒体に記録し、保存することができる。デジタル収集技術及び信号処理理論の発展に伴い、デジタル形式で記憶される医療画像が増えている。
3、畳み込みニューラルネットワーク(Convolutional Neural Network、略称CNN):本質的には入力から出力へのマッピングであり、大量の入力と出力のマッピング関係を学習でき、入力と出力についての精密な数式がなくても、従来のパターンを用いて畳み込みネットワークをトレーニングするだけで、ネットワークは入力と出力をペアとしてマッピングする機能を取得する。
4、デンス畳み込みネットワーク(DensNet):各層がフィードフォワードの方式で他の任意の層に接続された畳み込みニューラルネットワークであり、即ちいずれの層は隣接する層に接続されているだけでなく、且つその後の全ての層にも直接的に接続されている。
5、第1認識モデル:DenseNetを用いて正常な画像のサンプル及び病変画像のサンプルに対してトレーニングすることで得られるモデルであり、医療画像において病変が発生しているか否かを判定するために用いられる。
本明細書で、医療画像において病変が発生しているか否かは、医療画像に病変が含まれるか否かともいい、医療画像にはその中の器官に病変が発生していることが表示されるか否かであり、即ち、医療画像は器官の病変に対応する画像内容を含むか否かである。
6、第2認識モデル:畳み込みニューラルネットワークを用いて病変程度が異なる様々な医療画像サンプルに対してトレーニングすることで得られるモデルであり、医療画像において発生している病変の程度を認識するために用いられる。
7、病変認識結果:入力された医療画像は病変が発生している医療画像であるか否かを指示する。
8、病変程度認識結果:医療画像において発生している病変の程度を指示する。
また、本明細書で用語「及び/又は」は、関係する対象の相関関係を説明するものに過ぎず、3種の関係が存在し得ることを表す。例えば、A及び/又はBとは、Aが単独で存在する場合、A及びBが同時に存在する場合、Bが単独で存在する場合の3種の状況を表すことができる。また、本明細書で使用される符号「/」は、特に説明されない限りは、一般にその両側に記された関係する対象は「又は」の関係にあることを表すものである。
近年の新規腫瘍患者をみると、食道がんが3番目に多く、中国では47万7000人の患者がおり、全世界の50%を占めている。食道がんは上部消化管の悪性腫瘍である。食道がんの段階によって、その治療手順に大きな違いがある。早期患者の場合は主に内視鏡による低侵襲治療が用いられ、手術後3〜5日目に退院でき、治療費用が安く合併症が少なく、90%が治癒できる。中期及び晩期食道がん患者の場合は主に開胸/開腹/頸部切開の「3か所の切開」手術で治療され、このような治療方式は創部が大きく、治療費用が高い一方、治療効果が満足できず、治癒率は40%に達していない。
したがって、患者は早期がんの段階で確診及び治療を受けることができれば、痛みも負担も大幅に減らされる。医師は一般に内視鏡を用いて医療画像を得、がん化分析を行うことにより、患者が早期がんを罹患しているか否かを予測する。しかしながら、専科の医師が手間暇をかけて医療画像を分析する必要があり、医師によってレベルの差があるため、早期がんの発見率は50%に満たず、非常に低いのである。
現在、コンピュータ技術の発展に伴い、コンピュータ技術(例えば、従来の機械学習の方法)は医師による医療診断の支援として、次第にがん化分析に用いられるようになっている。しかしながら、従来の機械学習の方法を用いて医療画像を認識する場合は、専門の者が医療画像に対する高度な特徴分析を行い、分析の結果に基づいて特徴抽出の手順を設定する必要があり、これは多くの時間が費やされ、がん化認識の効率が下がる。また、抽出された特徴は特定のタイプに共通する特性のようなもので、適用範囲が狭く、ロバスト性が悪く、実際の適用で普及することが難しく、がん化認識結果の精度が低いものである。
正常な食道画像は一般に表面の粘膜が滑らかなもので、病変がある食道の画像には、突起、糜爛等の顕著な特徴がある。しかしながら、実際には、患者の年齢、地域又は検査を受ける時の状態(例えば、食道が洗浄されていない、異物が含まれる)等要因の影響で、正常な食道画像と病変がある食道画像の差異は画像中の1つの小さな領域にある場合も(例えば、色の深さ、皮膚の粗さ)、画像全体の滑らかさの変化である場合もあるため、食道画像を分類する際は、小さな領域の特徴を抽出するだけでなく、食道画像の全体から高レベルの意味論的な特徴を抽出する必要がある。
本願では、人工知能技術を利用して医療画像から病変を認識し、病変の程度を認識する。
人工知能(AI)システムとは、インテリジェントな挙動を行うコンピュータシステムである。AIシステムの機能は学習、大量の知識ベースの保守、推論の実行、分析能力の適用、事実間の関係判明、他人との交流、他人の意思の理解、状况の感知及び理解等を含む。
ルールベースのスマートシステムとは違い、AIシステムは自らが学習及び判断することで機械を絶えず進化させることができる。AIシステムはデータを検索してこれまでに知らないパターンを見つけることで新しい知識を作り、データパターンを学習してソリューションを提供する。常に使用されることによって、AIシステムの認識率が上がり、ユーザーの好悪をより正確に理解できるようになる。ゆえに、従来のルールベースのスマートシステムは次第にAIシステムにとって代わられている。
AIシステムでは、一般にニューラルネットワークが用いられる。ニューラルネットワークは人間の神経系をシミュレートするように設計、構築及び設定されたコンピュータシステムである。ニューラルネットワークシステム構造は入力層、出力層、1つ又は複数の隠れ層から構成される。入力層はデータをニューラルネットワークに入力する。出力層は推測結果を生成する。隠れ層は情報の伝達を助ける。これらのシステムはケーススタディーによる学習でタスクを処理し、又は意思決定をする。ニューラルネットワーク又は人工ニューラルネットワークはニューロン又は人工ニューロンと呼ばれる接続ユニットの集合である。ニューロン間の各接続(シナプス)は信号を別のニューロンに伝送できる。受信側(シナプス後)ニューロンは信号を処理し、そして信号を発してニューロンに接続された下流のニューロンを通知することができる。ニューロンには、0〜1の実数で示される状態があり得る。ニューロン及びシナプスには学習するのに伴って変化する重みがあってもよく、重みは下流に送信される信号の強度を上げる又は下げるために用いられる。さらに、ニューロンには閾値があってよもよく、これにより集約信号が当該レベルを下回る(又は上回る)場合にのみ下流に信号が送信される。一般には、ニューロンは層から構成される。層によって、その入力には異なるタイプの変換が実行される。信号が各層を複数回巡回した後、第1(入力)層から最終(出力)層に移動し得る。隠れ層を複数有する人工ネットワークでは、第1層はプリミティブ(例えば、眼内の瞳孔、虹彩、まつげ等)を検出し、その出力がより抽象的な要約(例えば、目、口)を実行するより深い層にフィードフォワードされる。このように継続して、最終層が複雑な対象(例えば、顔)認識を実行する。
ニューラルネットワークは、例えば、一連のデータポイントのデータを使用してトレーニングを行う。ニューラルネットワークはどの応答を与えるかを推測し、且つ当該推測を各データポイントの正しくて「最良の」推測と比較する。誤りが生じた場合には、ニューロンを調整し、且つ当該プロセスを繰り返し実行する。
本願のいくつかの実施例では、ニューラルネットワーク中の畳み込みニューラルネットワークを用いて医用画像の処理及び認識を行うことができる。畳み込みニューラルネットワーク(ConvNets又はCNNとも呼ばれる)はニューラルネットワークの一つであり、画像認識、分類等の分野におけるその有効性が既に証明されている。畳み込みニューラルネットワーク(CNNs)の急速な発展に伴い、学界では、GoogleNet、VGGNet、ResNet等の多くの効率的なモデルが出現し、さまざまなコンピュータビジョン処理に利用されている。しかしながら、ネットワークの層数の増加に伴い、ネットワークがトレーニングする過程で、フォワード信号及び勾配信号が多くの層を経た後に次第に消失する恐れがある。この問題を解決するためにはいくつかの有益な試みがなされている。Highway及びResNet構造では、信号が入力層と出力層との間に高速で流動するようにデータバイパス(skip−layer)技術が提供され、要は層間の接続を作ってネットワーク中の前後の層を連通させることである。その後、新たな接続パターンが出現し、ネットワーク中の全ての層間の情報流の最大化のために、ネットワーク中の全ての層を2つずつ接続させることにより、ネットワーク中の各層がその前の全ての層の特徴を入力として受信することである。ネットワーク中には大量の密な接続が存在することから、このようなネットワーク構造はDenseNetと呼ばれる。
いくつかの実施例では、DenseNet−121を用いて、正常な画像のサンプル及び病変画像のサンプルに対してトレーニングして、第1認識モデルを得、医療画像において病変が発生しているか否かを判定する。
さらに、がん化が発生している医療画像では少なくとも1つの画像ブロックががん化の特徴を有し、非がん化の医療画像ではがん化の特徴を有する画像ブロックが1つもないため、本願の実施例では、畳み込みニューラルネットワークを用いて、病変が発生している医療画像に対してトレーニングして第2認識モデルを得、且つ医療画像中の発生病変の程度が最も高い画像ブロックの病変程度で当該医療画像のがん化認識結果を決定する。
上記の説明では食道がんを例にしているが、他のがんの診断にも同様の問題があるため、異なるがんであっても、その医療画像を用いるトレーニングにより、対応する第1認識モデル及び第2認識モデルを取得すると、本願の実施例に係る方法を用いて、第1認識モデルによって医療画像から初歩的に病変を判定し、第2認識モデルによって病変が発生している医療画像に対しさらに病変の程度を認識して、医療画像に含まれる病変の程度を決定することができ、がん化認識の効率及び精度が大幅に上がる。当然ながら、直接的に第2認識モデルを用いて直接医療画像を認識して、医療画像からがん化の程度を決定してもよい。
本発明の実施例に係る画像認識方法は、端末機器に適用され、当該端末機器は携帯電話、タブレットコンピュータ、PDA(Personal Digital Assistant、パーソナルデジタルアシススタント)等であってよい。
図1は、端末機器の構造模式図を示す。図1が参照されるとおり、端末機器100は、プロセッサ110、メモリ120、電源130、表示ユニット140、入力ユニット150を含む。
プロセッサ110は端末機器100のコントロールセンターであり、様々なインタフェース及び回線を利用して各部品を接続させ、メモリ120に記憶されているソフトウェアプログラム及び/又はデータの動作又は実行により、端末機器100のさまざまな機能を実行して、端末機器全体の監視を行う。
プロセッサ110は、1つ又は複数の処理ユニットを含んでよい。
メモリ120は主にプログラム記憶領域及びデータ記憶領域を含んでよい。ここで、プログラム記憶領域はオペレーティングシステム、さまざまなアプリケーションプログラム等を記憶し、データ記憶領域は端末機器100の使用に基づいて作成されたデータ等を記憶することができる。さらに、メモリ120は高速ランダムアクセスメモリを含んでもよく、さらに、少なくとも1つの磁気ディスク記憶装置、フラッシュメモリ、又は他の揮発性の固体記憶装置等の不揮発性メモリを含んでもよい。
当業者に理解されるように、図1は端末機器の一例に過ぎず、端末機器に対する限定を構成するものではなく、図示のものより多く又は少ない部品を含むか、又は一部の部品を組み合わせるか、又は異なる部品を含んでもよい。
図2が参照されるとおり、本発明に係る画像認識方法の実施のフローチャートであり、当該方法の実施のプロセスは具体的に以下のとおりである。
ステップ200:端末機器は被認識医療画像を取得する。
医療画像は、人間が視覚的に感知する物質を再現したものである。医療画像はカメラ、鏡、望遠鏡、顕微鏡等の光学機器によって取得されてもよいし、手描きの画像等のように、人工的に作成されたものであってもよい。医療画像は紙媒体、フィルム等の光信号に敏感な媒体に記録し、保存することができる。デジタル収集技術及び信号処理理論の発展に伴い、デジタル形式で記憶される医療画像が増えている。
各実施例では、医療画像は撮影された医療用の画像であってよく、例えば、内視鏡(神経内視鏡、尿道膀胱鏡、レゼクトスコープ、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡等)によって取得された身体の内部の画像である。本発明に係る技術的解決手段はさまざまな画像の認識に適用され、本発明の実施例で食道画像の認識を例にして説明し、他の画像の認識については、説明が省略される。
ステップ201:端末機器は医療画像を第1認識モデルに入力して、病変認識結果を取得する。
端末機器は被認識医療画像を所定のサイズに正規化した後、予めトレーニングされた第1認識モデルに入力して、入力された医療画像は病変が発生している医療画像であるか否かを指示する病変認識結果を取得する。
各実施例では、医療画像の所定のサイズとは、224*224画素に正規化処理されることであってもよい。病変認識結果は病変ラベル、及び/又は病変確率を含んでよい。病変ラベルは正常な画像ラベル及び医療画像ラベルを含んでよい。
各実施例では、第1認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成する時は、前記第1認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成してもよい。深層学習ネットワークは多層パーセプトロンを有するニューラルネットワークであってよく、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、ディープビリーフネットワーク等を含むが、これらに限定されない。
病変特徴とは、トレーニング時に標識された正常な器官の第1医療画像集合と、病変が生じた器官の第2医療画像集合とから前記深層学習ネットワークが学習した、前記第2医療画像集合に存在し、且つ前記第1医療画像集合には存在しない画像特徴である。学習した病変特徴がより正確なものであるように、深層学習ネットワークのトレーニング時に、その目的関数に制約条件を設定してもよく、例えば、学習した病変特徴は正常な器官の医用画像における特徴応答が第1閾値より小さく(第1閾値は0に近い値であってよい)、病変器官の医用画像における特徴応答が病変領域の次元に分布するものであってもよい。
ここで、第1認識モデルは事前にDenseNetを用いて、正常な画像のサンプル及び病変画像のサンプルに対してトレーニングして得られる。端末機器は各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて第1認識誤差を得、第1認識誤差に基づいて第1認識モデルを最適化する。正則化値はL2正則関数により得られる。
ここで、第1認識誤差は上記の平均値と負の相関であり、上記の正則化値と正の相関である。医療画像の制約式の値は医療画像の人力判定の結果が正常である場合に有効である。クロスエントロピーはクロスエントロピー式により得られる。クロスエントロピーは医療画像の実際の分析結果、及び病変認識結果の対数の両方と正の相関である。制約式の値は制約式により得られる。制約式の値は医療画像から抽出された特徴ベクトルのノルムの二乗と正の相関であり、医療画像の実際の分析結果と負の相関である。医療画像の実際の分析結果が正常である場合には、制約式の値が0でないと有効である。医療画像の実際の分析結果が病変である場合には、制約式の値が0であると無効である。正則化値はL2正則関数により得られる。正則化値は第1認識モデルのモデルパラメータのノルムの二乗と正の相関である。
各実施例では、端末機器は第1認識誤差を決定する時に、次の目的関数を用いてよい。
Figure 2021521553
ここで、iは医療画像(又は医療画像サンプル)の番号であり、nは医療画像(又は医療画像サンプル)の総数量であり、yは医療画像の実際の分析結果であり、xは医療画像であり、wは第1認識モデルのモデルパラメータであり、fは第1認識モデルを表し、pは第1認識モデルを用いて医療画像から抽出した特徴ベクトルであり、r及びλは設定された重み値である。ylogf(x;w)はクロスエントロピー式であり、
Figure 2021521553
は制約式であり、
Figure 2021521553
はL2正則関数である。
これにより、上記の制約式から分かるように、実際の分析結果が病変である場合には、制約式の値が0であり、即ち無効であり、実際の分析結果が正常である場合には、制約式の値は
Figure 2021521553
である。制約式は第1認識モデルによる正常な医療画像の病変認識結果を0に近づけるためのものであり、逆に、病変医療画像の病変認識結果は各病変領域の次元に分布する。
ここで、第1認識モデルのトレーニング時には、目的関数で得られた第1認識誤差によって、第1認識モデルを調整してよく、第1認識モデルを医療画像の認識に適用する場合には、目的関数で得られた第1認識誤差によって第1認識モデルを修正し、且つ認識の精度を決定することができる。
本発明の実施例では、DenseNet中のDenseNet−121を用いて、正常な画像のサンプル及び病変画像のサンプルに対してトレーニングして、第1認識モデルを得、第1認識誤差によって第1認識モデルの更なる最適化を行う。ここで、正常な画像のサンプルには、少なくとも正常な画像及び正常な画像ラベルが含まれる。同様に、医療画像サンプルには少なくとも医療画像及び医療画像ラベルが含まれる。
Figure 2021521553
表1が参照されるとおり、DenseNet−121のネットワーク構造の設定パラメータ表である。DenseNet−121は表1に示す設定パラメータで設定される。DenseNet−121ネットワーク構造は4つのデンスブロック(dense Block)を含み、成長率(growth−rate)は12に設定され、3つの変換層(transition layer)であり、transition layerの特徴圧縮比は0.5に設定され、最後に分類層(Classification Layer)よって病変認識結果を出力する。
図3aが参照されるとおり、第1認識モデルの原理模式図である。図3aでは、端末機器は医療画像を第1認識モデルに入力し、畳み込み層、デンス層−1、畳み込み層、プーリング層、デンス層−N、畳み込み層、線形層をこの順に経由して、病変認識結果が出力される。
例えば、図3bが参照されるとおり、食道画像の例の図その1であり、端末機器は図3bの食道画像(a)及び食道画像(b)をそれぞれ第1認識モデルに入力して、出力された食道画像(a)は正常な医療画像であり、食道画像(b)は病変が発生している食道画像である。
これにより、第1認識モデルによって、抽出された医療画像の各小さな領域の特徴及び医療画像全体の高レベルの意味論的な特徴に基づいて、医療画像を分類して、病変認識結果を取得することができる。第1認識モデルによって医療画像を初歩的にスクリーニングして、病変が発生している医療画像を選出し、そして後続の第2認識モデルによって、直接的に病変が発生している医療画像を認識することができ、処理効率が上がる。
ステップ202:端末機器は、病変認識結果は病変が発生している医療画像であるか否かを判断し、そうである場合には、ステップ203を実行し、そうでない場合には、ステップ204を実行する。
ステップ203:端末機器は医療画像を第2認識モデルに入力して、病変程度認識結果を取得する。
端末機器が第2認識モデルによって医療画像を認識することは具体的に、病変認識結果は病変が発生している医療画像を複数の画像ブロックに分割し、各画像ブロックの特徴情報をそれぞれ抽出し、且つ、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定することを含む。
各実施例では、前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成してよい。具体的には、前記第2認識モデルによって、トレーニングされた第2深層学習ネットワークを利用して、前記医療画像において第1病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成してよい。第2深層学習ネットワークは多層パーセプトロンを有するニューラルネットワークであってよく、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、ディープビリーフネットワーク等を含むが、これらに限定されない。
病変程度特徴とは、トレーニング時に標識された前記第1病変程度がない器官の第3医療画像集合と前記第1病変程度がある器官の第4医療画像集合とから前記第2深層学習ネットワークが学習した、前記第4医療画像集合に存在し、且つ前記第3医療画像集合には存在しない画像特徴である。学習した病変程度特徴がより正確なものであるように、第2深層学習ネットワークのトレーニングする時に、その目的関数に制約条件を設定してもよく、例えば、学習した第1病変程度の病変特徴は第1病変程度より低い病変の器官の医用画像における特徴応答が第1閾値より小さく(第1閾値は0に近い値であってよい)、第1病変程度がある病変器官の医用画像における特徴応答は病変領域の次元に分布するものであってもよい。
ここで、第2認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つトレーニング及び認識に適用される過程で、第2認識誤差を用いて第2認識モデルが最適化される。
ここで、病変程度認識結果は医療画像に含まれる病変の程度を指示するものである。病変程度認識結果は、各画像ブロックの病変程度認識結果と医療画像における領域情報、及び/又は、各画像ブロックの認識結果に基づいてその対応する領域に相応する指示情報が設定された病変程度指示画像を含む。病変程度認識結果は医療画像の病変程度ラベルをさらに含み、病変程度ラベルとは、医療画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第1認識結果であり、又は、全ての画像ブロックの特徴情報に基づいて決定された医療画像の病変程度の第2認識結果であり、又は、第1認識結果及び第2認識結果に基づいて決定された総合結果である。
例えば、病変程度ラベルは炎症、早期がん、中期がん及び晩期がんであってもよいし、がん化確率であってもよい。領域情報は座標又は画像ブロックの位置名称等の情報であってもよい。病変程度指示画像中の各領域は認識結果によって異なる色又は模様を設定して指示されてもよい。
ここで、端末機器は、第2認識モデルによって各画像ブロックの病変程度認識結果を決定する時には、次のいくつかの方式を用いることができる。
第1の方式:まず、各画像ブロックの特徴情報に基づいて、各画像ブロックのがん化確率をそれぞれ決定し、がん化確率範囲と病変程度ラベルとの相関関係を取得する。その後、当該相関関係に基づいて、最高のがん化確率の属するがん化確率範囲に対応する病変程度ラベルを決定し、当該病変程度ラベルを第1認識結果として決定する。次に、各画像ブロックのがん化確率に基づいてその対応する領域に相応する指示情報を設定して、病変程度指示画像を取得する。最後に、各画像ブロックのがん化確率と領域情報、病変程度指示画像及び第1認識結果を、前記医療画像の病変程度認識結果として決定する。
がん化が発生している医療画像では少なくとも1つの画像ブロックががん化の特徴を有し、非がん化の医療画像ではがん化の特徴を有する画像ブロックが1つもないため、第1の方式により、直接的に病変程度が最も高い画像ブロックに基づいて、病変程度ラベルを決定する。
図3cは第2認識モデルの原理模式図である。図3dは画像ブロックの模式図である。図3cが参照されるとおり、端末機器は医療画像を第2認識モデルに入力して、第2認識モデルによって医療画像を図3dに示す複数の画像ブロックに分割し、各画像ブロックの特徴情報をそれぞれ抽出し、且つ、抽出された特徴情報に基づいて、各画像ブロックのがん化確率をそれぞれ推定する。その後、端末機器は各画像ブロックのがん化確率をソーティングし、がん化確率が最も高い画像ブロックの病変程度ラベルを、医療画像の病変程度ラベルとして決定して、がん化程度認識結果を取得する。
第2の方式:各画像ブロックの特徴情報に基づいて、医療画像からがん化確率を決定し、がん化確率範囲と病変程度ラベルとの相関関係を取得する。その後、当該相関関係に基づいて、当該がん化確率の属するがん化確率範囲に対応する病変程度ラベルを決定し、当該病変程度ラベルを第2認識結果として決定する。次に、各画像ブロックのがん化確率に基づいてその対応する領域に相応する指示情報を設定して、病変程度指示画像を取得する。最後に、各画像ブロックのがん化確率と領域情報、病変程度指示画像及び第2認識結果を、前記医療画像の病変程度認識結果として決定する。
これにより、医療画像全体の特徴情報によって、病変程度ラベルを決定することができる。
第3の方式:上記の第1の方式及び第2の方式により第1認識結果及び第2認識結果をそれぞれ得て、第1認識結果及び第2認識結果で病変程度が最も高い認識結果を総合結果として決定し、且つ、各画像ブロックのがん化確率と領域情報、病変程度指示画像及び総合結果を、前記医療画像の病変程度認識結果として決定する。
例えば、図3eは食道画像の例の図その2であり、図3eが参照されるとおり、図3eで(c)は食道画像のがんの例の図であり、(d)は食道画像の炎症の例の図である。端末機器は図3eの(c)及び(d)の医療画像をそれぞれ第2認識モデルに入力し、図3eの(c)に対応する病変程度認識結果はがん化が発生している医療画像であり、図3eの(d)に対応する病変程度認識結果は炎症が発生している医療画像である。
もう一例として、図3fは食道画像の病変程度指示画像の例の図である。端末機器は図3fの(e)の左図、(f)の左図、(g)の左図及び(h)の左図をそれぞれ第2認識モデルに入力すると、出力される病変程度認識結果はそれぞれ次のものである。図3fの(e)の右図は図3fの(e)の左図の病変程度指示画像であり、図3fの(f)の右図は図3fの(f)の左図の病変程度指示画像であり、図3fの(g)の右図は図3fの(g)の左図の病変程度指示画像であり、図3fの(h)の右図は図3fの(h)の左図の病変程度指示画像である。
これにより、ユーザーは病変程度ラベルによって、医療画像から病変程度を決定し、病変程度指示画像に基づいて、病変程度の判断根拠を決めることができる。
ここで、第2認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、第2認識誤差を用いて第2認識モデルが最適化される。第2認識誤差は所定の損失関数により得られるものであり、損失関数中のクロスエントロピーは医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される。
各実施例では、損失関数は最大プーリング損失関数(max pooling loss)、ラベル割り当て損失関数(label assign loss)、スパース損失関数(sparsity loss)であってよい。
Figure 2021521553
表2が参照されるとおり、第2認識モデルのネットワーク構造の設定パラメータ表である。表2に示すネットワーク構造は2つのブランチを含み、右側の矢印が指すブランチは上記の第1の方式を用いる医療画像認識の設定パラメータであり、左側の矢印が指すブランチは第2の方式を用いる医療画像認識の設定パラメータである。共有層中の出力は各画像ブロックから抽出された特徴情報についてのものであり、右側の矢印が指すブランチでは、1*1畳み込みにより、共有層から出力される各画像ブロックの特徴情報に基づいて、各画像ブロックのがん化確率を得、そして各がん化確率に基づいて、病変程度認識結果を得て、左側の矢印が指すブランチでは、画像全体の畳み込みにより、共有層から出力される各画像ブロックの特徴情報に基づいて、医療画像のがん化確率を得、そして病変程度認識結果を取得する。
さらに、左側の矢印が指すブランチの出力の第1認識結果及び右側の矢印が指すブランチの出力の第2認識結果に基づいて、総合結果を決定してもよい。ここで、第2認識誤差に基づいて第2認識モデルを最適化する時には、共有層に対して、総合結果から決定された第2認識誤差に基づいて、共有層のモデルパラメータを更新し、左側及び右側の矢印が指すブランチに対して、それぞれ対応する認識結果から決定された認識誤差に基づいて、モデルパラメータを最適化する。
ステップ204:端末機器は医療画像が正常であることを指示する病変認識結果を出力する。
さらに、ステップ202では、医療画像を初歩的に判定して、医療画像において病変が発生しているか否かを決定する。各実施例では、ステップ201及びステップ202は実行しなくてもよく、即ち直接、後続のステップ203より医療画像に対しがん化の認識を行う。
画像認識の実施のプロセスは具体的に、次のとおりであってもよい。
まず、端末機器は被認識医療画像を取得する。
その後、端末機器は医療画像を第2認識モデルに入力して、病変程度認識結果を取得する。具体的には、実施のステップは上記のステップ203を参照する。
これにより、認識で複雑なステップが減らされる。
図3gが参照されるとおり、医療システムの構造模式図である。医療システム300は画像収集装置301と、画像認識装置302と、表示装置303とを含む。
画像収集装置301は、内蔵されたカメラ又は内視鏡等によって患者の病巣(例えば、身体の内部)等の部位を撮影して、患者の医療画像を収集する。内視鏡は神経内視鏡、尿道膀胱鏡、レゼクトスコープ、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡等であってもよい。
画像認識装置302は、画像収集装置301によって収集された医療画像を取得し、第1認識モデルによって医療画像は病変が発生している医療画像であるか否かを判定して、病変認識結果を生成し、且つ第2認識モデルによって、病変が発生している医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示する。さらに、画像認識装置302は直接的に第2認識モデルを用いて病変が発生している医療画像を認識して、病変程度認識結果を得てもよい。
表示装置303は、画像認識装置302によって出力された病変認識結果又は病変程度認識結果を取得し、病変認識結果又は病変程度認識結果をユーザーに表示する。
これにより、医療システム300は画像収集装置301によって患者の医療画像を収集し、画像認識装置302によって収集された医療画像を認識して、病変認識結果又は病変程度認識結果を得、且つ、表示装置303によって病変認識結果又は病変程度認識結果をユーザーに表示することができる。
上記の発明と同じ発想を踏まえるものとして、本発明の実施例では画像認識装置がさらに提供され、当該装置及び機器による問題解決は原理的に上記の画像認識方法に類似するため、当該装置の実施は方法の実施を参照することができ、重複する部分は省略される。
図4aに示すように、本発明の実施例に係る画像認識装置の構造模式図その1であり、
被認識医療画像を取得する取得ユニット410と、
医療画像において病変が発生しているか否かを判定する第1認識モデルによって医療画像を判定して、病変認識結果を生成する判定ユニット411と、
医療画像に含まれる病変の程度を認識する第2認識モデルによって病変が発生している医療画像を認識して、病変程度認識結果を生成する認識ユニット412と、を含む。
いくつかの実施例では、判定ユニット411は前記第1認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成してもよい。ここで、前記病変特徴とは、トレーニング時に標識された正常な器官の第1医療画像集合と、病変が生じた器官の第2医療画像集合とから前記深層学習ネットワークが学習した、前記第2医療画像集合に存在し、且つ前記第1医療画像集合には存在しない画像特徴である。
いくつかの実施例では、認識ユニット412は前記第2認識モデルによって、トレーニングされた第2深層学習ネットワークを利用して前記医療画像において第1病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成してもよい。ここで、前記病変程度特徴とは、トレーニング時に標識された前記第1病変程度がない器官の第3医療画像集合と、前記第1病変程度がある器官の第4医療画像集合とから前記第2深層学習ネットワークが学習した、前記第4医療画像集合に存在し、且つ前記第3医療画像集合には存在しない画像特徴である。
いくつかの実施例では、認識ユニット412は具体的に、病変認識結果は病変が発生している医療画像を複数の画像ブロックに分割し、
複数の画像ブロックの特徴情報をそれぞれ抽出し、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定し、且つ、
病変程度認識結果は、各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む。
いくつかの実施例では、病変程度認識結果は医療画像の病変程度ラベルをさらに含み、医療画像の病変程度ラベルは、
病例画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第1認識結果であり、又は、
全ての画像ブロックの特徴情報に基づいて決定された医療画像の病変程度の第2認識結果であり、又は、
第1認識結果及び第2認識結果に基づいて決定された総合結果である。
いくつかの実施例では、第2認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つ第2認識誤差を用いて第2認識モデルが最適化され、
ここで、第2認識誤差は所定の損失関数により得られるものであり、損失関数中のクロスエントロピーは医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される。
いくつかの実施例では、第1認識モデルはDenseNetでトレーニングして得られるものであり、且つ第1認識誤差を用いて第1認識モデルが最適化され、
ここで、第1認識誤差は各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて得られるものであり、ここで、医療画像の制約式の値は予め設定された制約式により得られるものであり、制約式は医療画像の人力判定の結果が正常である場合に有効な制約式の値を取得するためのものである。
図4bに示すように、本発明の実施例に係る画像認識装置の構造模式図その2であり、
被認識医療画像を取得し、認識モデルによって被認識医療画像を認識する入力ユニット420と、
認識モデルが被認識医療画像を認識した後に出力した、医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む病変程度認識結果を取得する獲得ユニット421と、を含み、
ここで、認識モデルによって医療画像を認識することは具体的に、医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定することを含む。
本発明の実施例に係る画像認識方法、装置、端末機器及び医療システムでは、まず、第1認識モデルによって医療画像は病変が発生している医療画像であるか否かを判定し、その後、第2認識モデルによって、病変が発生している医療画像をさらに認識して、病変程度認識結果を得、医療画像に含まれる病変の程度を指示する。これにより、人力による分析及び特徴抽出手順の設定は必要とされず、医療画像認識の効率及び精度が上がる。
上記の発明と同じ発想を踏まえるものとして、本発明の実施例では端末機器500がさらに提供され、図5が参照されるとおり、端末機器500は上記の各方法の実施例に記載の方法を実施し、例えば、図2に示す実施例を実施するものであり、端末機器500はメモリ501と、プロセッサ502と、入力ユニット503と、表示パネル504と、を含んでよい。
メモリ501は、プロセッサ502が実行するコンピュータプログラムを記憶する。メモリ501は主にプログラム記憶領域及びデータ記憶領域を含んでよく、ここで、プログラム記憶領域はオペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラム等を記憶し、データ記憶領域は端末機器500の使用に基づいて作成されたデータ等を記憶することができる。プロセッサ502は、中央処理ユニット(central processing unit、略称CPU)であってもよいし、又はデジタル処理ユニット等であってもよい。入力ユニット503は、ユーザーによって入力されたユーザー命令を取得してよい。表示パネル504は、ユーザーによって入力された情報又はユーザーに提供される情報を表示し、本発明の実施例では、表示パネル504は主に端末機器中の各アプリケーションプログラムの表示画面及び各表示画面に表示されるウィジェット対象を表示する。各実施例では、表示パネル504は液晶ディスプレイ(liquid crystal display、略称LCD)又はOLED(organic light−emitting diode、有機発光ダイオード)等の形態で設置することができる。
本発明の実施例では、上記のメモリ501、プロセッサ502、入力ユニット503及び表示パネル504を接続する媒体が具体的に限定されない。本発明の図5の実施例では、メモリ501、プロセッサ502、入力ユニット503、表示パネル504がバス505によって接続され、図5でバス505が太線で示され、他の部品間の接続方式は、例示的に説明したものに過ぎず、これに限定されるものではない。バス505はアドレスバス、データバス、コントロールバス等に分けられてもよい。表示の簡素化のために、図5では1本の太線で示されるが、バスが1本、又はバスが1種しかないことではない。
メモリ501は揮発性メモリ(volatile memory)、例えば、ランダムアクセスメモリ(random−access memory、略称RAM)であってもよいし、不揮発性メモリ(non−volatile memory)、例えば、読み取り専用メモリ、フラッシュメモリ(flash memory)、ハードディスクドライブ(hard disk drive、略称HDD)、又はソリッドステートドライブ(solid−state drive、略称SSD)であってもよいし、又はメモリ501は命令又はデータ構造の形式の、所望のプログラムコードを担持又は記憶することができ、且つコンピュータがアクセスできる他の任意の媒体であってもよく、これらに限定されるものではない。メモリ501は前記メモリの組み合わせであってもよい。
プロセッサ502は図2に示す実施例を実現し、
これは、プロセッサ502はメモリ501に記憶されているコンピュータプログラムを呼び出して図2に示すような実施例を実行することを含む。
本発明の実施例では、コンピュータ可読記憶媒体がさらに提供され、上記のプロセッサが実行すべきコンピュータ実行可能な命令が記憶されており、上記のプロセッサが実行すべきプログラムが含まれる。
いくつかの可能な実施形態では、本発明に係る画像認識方法の各態様はプログラム製品の形態として実現されてもよく、プログラム製品が端末機器上で動作する時、端末機器が本明細書で説明されている本発明のさまざまな例示的な実施形態の画像認識方法のステップを実行するためのプログラムコードが含まれる。例えば、端末機器は図2に示すような実施例を実行できる。
プログラム製品は1つ又は複数の可読媒体の任意の組み合わせとしてよい。可読媒体は可読信号媒体又は可読記憶媒体であってよい。可読記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体によるシステム、装置又はデバイスであってよく、これらに限定されるものではなく、これらの任意の組み合わせであってもよい。可読記憶媒体のより具体的な例(全てを網羅しているリストではないが)には、1つ又は複数のリード線を有する電気的接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能でプログラマブルな読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ(CD−ROM)、光記憶装置、磁気記憶装置、又はこれらの任意の組み合わせが含まれる。
本発明の実施形態による画像認識用のプログラム製品はポータブルコンパクトディスク読み取り専用メモリ(CD−ROM)にして、コンピューティング機器上で動作できるプログラムコードを含むものであってもよい。しかしながら、本発明のプログラム製品はこれに限定されるものではなく、本明細書で、可読記憶媒体はプログラムが含有又は記憶されている任意の有形の媒体であってもよく、当該プログラムは命令実行システム、装置もしくはデバイスによって使用され、又はこれらと組み合わせて使用されてもよい。
可読信号媒体は、ベースバンドで又は搬送波の一部として伝搬されるデータ信号を含んでよく、それには可読のプログラムコードが担持されている。このような被伝搬データ信号は、電磁信号、光信号又はこれらの任意の適切な組み合わせ等のさまざまな形態とすることができるが、これらに限定されるものではない。可読信号媒体は可読記憶媒体以外の任意の可読媒体であってもよく、当該可読媒体は命令実行システム、装置もしくはデバイスによって使用され、又はこれらと組み合わせて使用されるプログラムを送信、伝搬又は伝送することができる。
可読媒体に含まれるプログラムコードは、無線、有線、光ケーブル、RF等、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体で伝送することができる。
1種又は複数種のプログラム設計言語の任意の組み合わせで本発明に係る動作を実行するためのプログラムコードを書くことができ、プログラム設計言語にはオブジェクト指向プログラム設計言語、例えば、Java、C++等が含まれ、通常の手続き型プログラム設計言語、例えば、「C」言語又は類似するプログラム設計言語がさらに含まれる。プログラムコードは完全にユーザーのコンピューティング機器上で実行されてもよいし、一部がユーザー機器上で実行されてもよいし、独立のソフトウェアパッケージとして実行されてもよいし、一部がユーザーのコンピューティング機器上でもう一部がリモートコンピューティング機器上で実行されてもよいし、又は完全にリモートコンピューティング機器又はサーバ上で実行されてもよい。リモートコンピューティング機器が関わる場合には、リモートコンピューティング機器はローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介して、ユーザーのコンピューティング機器に接続されてもよいし、又は、外部のコンピューティング機器に接続されてもよい(例えば、インターネットサービスプロバイダーからインターネットによって接続される)。
なお、上記の詳細な説明では装置の複数のユニット又はサブユニットが言及されるが、このようなユニットの設定は例示的なもので、変わりが認められないものではない。実際には、本発明の実施形態によれば、上記で説明されている2つ又はより多くのユニットの特徴及び機能は1つのユニットで実現されてもよい。逆に、上記で説明されている1つのユニットの特徴及び機能は複数のユニットによって実現されるようにさらに分割されてもよい。
さらに、図面では本発明の方法に係る動作が特定の順番で説明されているが、これらの動作が当該特定の順番で実行されなければならない、又は所望の結果を取得するためには示される動作を全て実行しなければならないということを求め、又はこれを示唆することではない。加えて又は任意選択で、いくつのステップを省略して、複数のステップを1つのステップにまとめて実行するか、且つ/又は1つのステップを複数のステップに分割して実行してもよい。
当業者に理解されるように、本発明の実施例は方法、システム、又はコンピュータプログラム製品として提供され得る。したがって、本発明は完全にハードウェアからなる実施例、完全にソフトウェアからなる実施例、又はソフトウェア及びハードウェアを組み合わせた実施例の形態とすることができる。さらに、本発明は、コンピュータ利用可能なプログラムコードが含まれる1つ又は複数のコンピュータ利用可能な記憶媒体(磁気ディスクメモリ、CD−ROM、光学メモリ等を含むが、これらに限定されない)上で実施されるコンピュータプログラム製品の形態とすることもできる。
本発明の実施例に係る方法、機器(システム)、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して、本発明が説明される。なお、コンピュータプログラム命令によってフローチャート及び/又はブロック図中の各プロセス及び/又はブロック、及びフローチャート及び/又はブロック図中のプロセス及び/又はブロックの組み合わせを実現できる。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブルなデータ処理機器のプロセッサに提供して機械を生み出すことで、コンピュータ又は他のプログラマブルなデータ処理機器のプロセッサが実行する命令によって、フローチャートの1つのプロセスもしくは複数のプロセス及び/又はブロック図の1つのブロックもしくは複数のブロックで指定された機能を実現する装置が生成される。
これらのコンピュータプログラム命令はコンピュータ又は他のプログラマブルなデータ処理機器が特定の方式で動作するようガイドするコンピュータ可読メモリに記憶されてもよく、これにより当該コンピュータ可読メモリに記憶されている命令によって、命令装置を含む製品が生成され、当該命令装置はフローチャートの1つのプロセスもしくは複数のプロセス及び/又はブロック図の1つのブロックもしくは複数のブロックで指定された機能を実現する。
これらのコンピュータプログラム命令はコンピュータ又は他のプログラマブルなデータ処理機器にロードされてもよく、これによりコンピュータ又は他のプログラマブルデバイス上で一連の動作ステップが実行されて、コンピュータで実現される処理が生成され、そして、コンピュータ又は他のプログラマブルデバイス上で実行される命令によって、フローチャートの1つのプロセスもしくは複数のプロセス及び/又はブロック図の1つのブロックもしくは複数のブロックで指定された機能を実現するステップが提供される。
本発明の好ましい実施例を説明しているが、当業者が進歩性の原理を知れば、これらの実施例に変更及び修正を行うことができる。したがって、特許請求の範囲は好ましい実施例及び本発明の範囲に属する全ての変更及び修正を含むと解釈されたいものである。
なお、当業者が本発明の趣旨及び範囲を逸脱することなくさまざまな修正及び変形を行うことができる。これにより、本発明に対するこれらの修正及び変形が本発明の特許請求の範囲及び同等な技術の範囲に入るものであれば、これらの修正及び変形も本発明に含まれるものとする。

Claims (20)

  1. 医療画像認識方法であって、
    被認識医療画像を取得するステップと、
    第1認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成するステップと、
    前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成するステップと、を含む医療画像認識方法。
  2. 第1認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成するステップは、
    前記第1認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成するステップを含み、
    前記病変特徴は、トレーニング時に標識された正常な器官の第1医療画像集合と、病変が生じた器官の第2医療画像集合とから前記深層学習ネットワークが学習した、前記第2医療画像集合に存在し且つ前記第1医療画像集合には存在しない画像特徴である請求項1に記載の方法。
  3. 第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成するステップは、
    前記第2認識モデルによって、トレーニングされた第2深層学習ネットワークを利用して、前記医療画像において第1病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成するステップを含み、
    前記病変程度特徴は、トレーニング時に標識された前記第1病変程度がない器官の第3医療画像集合と、前記第1病変程度がある器官の第4医療画像集合とから前記第2深層学習ネットワークが学習した、前記第4医療画像集合に存在し且つ前記第3医療画像集合には存在しない画像特徴である請求項1または2に記載の方法。
  4. 第2認識モデルによって前記医療画像を認識するステップは、
    前記医療画像を複数の画像ブロックに分割するステップと、
    前記複数の画像ブロックの特徴情報をそれぞれ抽出し、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定するステップと、を含み、且つ、
    前記病変程度認識結果は、各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む請求項1〜3のいずれか1項に記載の方法。
  5. 前記病変程度認識結果は医療画像の病変程度ラベルをさらに含み、
    前記医療画像の病変程度ラベルは、前記医療画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第1認識結果であり、又は、全ての画像ブロックの特徴情報に基づいて決定された前記医療画像の病変程度の第2認識結果であり、又は、前記第1認識結果及び前記第2認識結果に基づいて決定された総合結果である請求項1〜4のいずれか1項に記載の方法。
  6. 前記第2認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つ、第2認識誤差を用いて前記第2認識モデルが最適化され、
    前記第2認識誤差は所定の損失関数により得られるものであり、前記損失関数中のクロスエントロピーは、医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される請求項1〜5のいずれか1項に記載の方法。
  7. 前記第1認識モデルは、デンス畳み込みネットワークDenseNetでトレーニングして得られるものであり、且つ第1認識誤差を用いて前記第1認識モデルが最適化され、
    前記第1認識誤差は、各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて得られるものであり、ここで、医療画像の制約式の値は予め設定された制約式により得られるものであり、前記制約式は医療画像の人力判定の結果が正常である場合に有効な制約式の値を取得するためのものである請求項1〜5のいずれか1項に記載の方法。
  8. 画像認識装置であって、
    被認識医療画像を取得する取得ユニットと、
    第1認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成する判定ユニットと、
    前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する認識ユニットと、を含む画像認識装置。
  9. 前記判定ユニットは、前記第1認識モデルによって、トレーニングされた深層学習ネットワークを利用して前記医療画像において病変特徴を検索して、検索結果に基づいて前記病変認識結果を生成し、
    前記病変特徴は、トレーニング時に標識された正常な器官の第1医療画像集合と、病変が生じた器官の第2医療画像集合とから前記深層学習ネットワークが学習した、前記第2医療画像集合に存在し、且つ前記第1医療画像集合には存在しない画像特徴である請求項8に記載の装置。
  10. 前記認識ユニットは、前記第2認識モデルによって、トレーニングされた第2深層学習ネットワークを利用して、前記医療画像において第1病変程度に対応する病変程度特徴を検索して、検索結果に基づいて前記病変程度認識結果を生成し、
    前記病変程度特徴は、トレーニング時に標識された前記第1病変程度がない器官の第3医療画像集合と、前記第1病変程度がある器官の第4医療画像集合とから前記第2深層学習ネットワークが学習した、前記第4医療画像集合に存在し、且つ前記第3医療画像集合には存在しない画像特徴である請求項8または9に記載の装置。
  11. 前記認識ユニットは具体的に、前記医療画像を複数の画像ブロックに分割し、
    前記複数の画像ブロックの特徴情報をそれぞれ抽出し、抽出された特徴情報に基づいて各画像ブロックの病変程度認識結果を決定し、且つ、
    前記病変程度認識結果は、各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む請求項8〜10のいずれか1項に記載の装置。
  12. 前記病変程度認識結果は医療画像の病変程度ラベルをさらに含み、
    前記医療画像の病変程度ラベルは、前記医療画像から分割された複数の画像ブロックのうち病変程度が最も高い画像ブロックの第1認識結果であり、又は、全ての画像ブロックの特徴情報に基づいて決定された前記医療画像の病変程度の第2認識結果であり、又は、前記第1認識結果及び前記第2認識結果に基づいて決定された総合結果である請求項8〜11のいずれか1項に記載の装置。
  13. 前記第2認識モデルは畳み込みニューラルネットワークでトレーニングして得られるものであり、且つ、第2認識誤差を用いて前記第2認識モデルが最適化され、
    前記第2認識誤差は所定の損失関数により得られるものであり、前記損失関数中のクロスエントロピーは、医療画像の各画像ブロックのうち病変程度が最も高い画像ブロックの病変程度認識結果に基づいて決定される請求項8〜12のいずれか1項に記載の装置。
  14. 前記第1認識モデルはデンス畳み込みネットワークDenseNetでトレーニングして得られるものであり、且つ第1認識誤差を用いて前記第1認識モデルが最適化され、
    前記第1認識誤差は各医療画像の病変認識結果のクロスエントロピーと相応する制約式の値の和の平均値、及び正則化値に基づいて得られるものであり、ここで、医療画像の制約式の値は予め設定された制約式により得られるものであり、前記制約式は医療画像の人力判定の結果が正常である場合に有効な制約式の値を取得するためのものである請求項8〜12のいずれか1項に記載の装置。
  15. 医療画像認識方法であって、
    被認識医療画像を取得し、認識モデルによって前記被認識医療画像を認識するステップと、
    前記認識モデルが前記被認識医療画像を認識した後に出力した病変程度認識結果を取得するステップであって、前記病変程度認識結果は、前記医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む、ステップと、を含み、
    前記認識モデルによって前記医療画像を認識するステップは、前記医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定するステップを含む医療画像認識方法。
  16. 画像認識装置であって、
    被認識医療画像を取得し、認識モデルによって前記被認識医療画像を認識する入力ユニットと、
    前記認識モデルが前記被認識医療画像を認識した後に出力した病変程度認識結果を取得する獲得ユニットであって、前記病変程度認識結果は、前記医療画像に含まれる複数の画像ブロックの各画像ブロックの病変程度認識結果と前記各画像ブロックの医療画像における領域情報、及び/又は各画像ブロックの病変程度認識結果に基づいて前記各画像ブロックの対応する領域に相応する指示情報が設定された病変程度指示画像を含む、獲得ユニットと、を含み、
    前記認識モデルによって前記医療画像を認識することは具体的に、前記医療画像を複数の画像ブロックに分割し、各画像ブロックに対し、当該画像ブロックの特徴情報を抽出し且つ抽出された特徴情報に基づいて当該画像ブロックの病変程度認識結果を決定することを含む画像認識装置。
  17. 少なくとも1つの処理ユニットと、少なくとも1つの記憶ユニットと、を含み、ここで、前記記憶ユニットにはコンピュータプログラムが記憶されており、前記プログラムが前記処理ユニットによって実行されると、前記処理ユニットは請求項1〜7のいずれか1項に記載の方法のステップを実行する端末機器。
  18. 医療システムであって、
    患者の医療画像を収集する画像収集装置と、
    前記画像収集装置によって収集された医療画像を取得し、第1認識モデルによって前記医療画像を判定して、前記医療画像に病変が含まれるか否かを指示する病変認識結果を生成し、且つ、前記病変認識結果が前記医療画像に病変が含まれることを指示する場合には、第2認識モデルによって前記医療画像を認識して、前記病変の程度を指示する病変程度認識結果を生成する画像認識装置と、
    前記病変程度認識結果を表示する表示装置と、を含む医療システム。
  19. 医療システムであって、
    患者の医療画像を収集する画像収集装置と、
    前記画像収集装置によって収集された医療画像を取得し、医療画像に含まれる病変の程度を認識する第2認識モデルによって病変を含む医療画像を認識して、病変程度認識結果を生成する画像認識装置と、
    前記病変程度認識結果を表示する表示装置と、を含む医療システム。
  20. 請求項1〜7のいずれか1項に記載の方法をコンピュータに実行させるコンピュータプログラム。
JP2020561046A 2018-10-30 2019-06-28 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム Active JP7152513B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811278418.3A CN109427060A (zh) 2018-10-30 2018-10-30 一种影像识别的方法、装置、终端设备和医疗系统
CN201811278418.3 2018-10-30
PCT/CN2019/093602 WO2020087960A1 (zh) 2018-10-30 2019-06-28 一种影像识别的方法、装置、终端设备和医疗系统

Publications (2)

Publication Number Publication Date
JP2021521553A true JP2021521553A (ja) 2021-08-26
JP7152513B2 JP7152513B2 (ja) 2022-10-12

Family

ID=65514793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561046A Active JP7152513B2 (ja) 2018-10-30 2019-06-28 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム

Country Status (5)

Country Link
US (2) US11410306B2 (ja)
EP (1) EP3876192A4 (ja)
JP (1) JP7152513B2 (ja)
CN (1) CN109427060A (ja)
WO (1) WO2020087960A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427060A (zh) 2018-10-30 2019-03-05 腾讯科技(深圳)有限公司 一种影像识别的方法、装置、终端设备和医疗系统
CN110432977A (zh) * 2019-08-07 2019-11-12 杭州睿笛生物科技有限公司 一种电脉冲消融设备以及适用其仿真方法
CN110610489B (zh) * 2019-08-30 2021-11-23 西安电子科技大学 基于注意力机制的光学喉镜图像病变区标注方法
TWI705458B (zh) * 2019-09-19 2020-09-21 沐恩生醫光電股份有限公司 一種醫療影像辨識的方法與系統
CN111488912B (zh) * 2020-03-16 2020-12-11 哈尔滨工业大学 一种基于深度学习神经网络的喉部疾病诊断系统
CN111860209B (zh) * 2020-06-29 2024-04-26 北京字节跳动网络技术有限公司 手部识别方法、装置、电子设备及存储介质
CN112037167B (zh) * 2020-07-21 2023-11-24 苏州动影信息科技有限公司 一种基于影像组学和遗传算法的目标区域确定系统
CN112509688B (zh) * 2020-09-25 2024-06-11 卫宁健康科技集团股份有限公司 压疮图片自动分析系统、方法、设备和介质
CN112233194B (zh) * 2020-10-15 2023-06-02 平安科技(深圳)有限公司 医学图片优化方法、装置、设备及计算机可读存储介质
CN113130050B (zh) * 2021-04-20 2023-11-24 皖南医学院第一附属医院(皖南医学院弋矶山医院) 一种医学信息显示方法及显示系统
CN115311268B (zh) * 2022-10-10 2022-12-27 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置
CN116342859B (zh) * 2023-05-30 2023-08-18 安徽医科大学第一附属医院 一种基于影像学特征识别肺部肿瘤区域的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076023A1 (en) * 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection
CN108305249A (zh) * 2018-01-24 2018-07-20 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105997128A (zh) * 2016-08-03 2016-10-12 上海联影医疗科技有限公司 利用灌注成像识别病灶的方法及系统
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
GB201705911D0 (en) * 2017-04-12 2017-05-24 Kheiron Medical Tech Ltd Abstracts
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技(深圳)有限公司 视网膜病变程度等级检测系统及方法
CN107609503A (zh) * 2017-09-05 2018-01-19 刘宇红 智能癌变细胞识别系统及方法、云平台、服务器、计算机
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术(北京)有限公司 用于标注医学图像的方法和装置
EP3705024A4 (en) * 2017-10-31 2020-11-11 Fujifilm Corporation INSPECTION ASSISTANCE DEVICE, ENDOSCOPE DEVICE, INSPECTION ASSISTANCE PROCESS AND INSPECTION ASSISTANCE PROGRAM
CN108346154B (zh) * 2018-01-30 2021-09-07 浙江大学 基于Mask-RCNN神经网络的肺结节分割装置的建立方法
CN108510482B (zh) * 2018-03-22 2020-12-04 姚书忠 一种基于阴道镜图像的宫颈癌检测装置
CN108710901B (zh) * 2018-05-08 2022-03-01 广州市新苗科技有限公司 一种基于深度学习的脊柱畸形筛查系统及方法
CN110335269A (zh) * 2018-05-16 2019-10-15 腾讯医疗健康(深圳)有限公司 眼底图像的类别识别方法和装置
CN109427060A (zh) * 2018-10-30 2019-03-05 腾讯科技(深圳)有限公司 一种影像识别的方法、装置、终端设备和医疗系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076023A1 (en) * 2016-10-21 2018-04-26 Nantomics, Llc Digital histopathology and microdissection
CN108305249A (zh) * 2018-01-24 2018-07-20 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108573490A (zh) * 2018-04-25 2018-09-25 王成彦 一种针对肿瘤影像数据的智能读片系统

Also Published As

Publication number Publication date
US11610310B2 (en) 2023-03-21
EP3876192A4 (en) 2021-11-17
US20210042920A1 (en) 2021-02-11
CN109427060A (zh) 2019-03-05
US20220343502A1 (en) 2022-10-27
WO2020087960A1 (zh) 2020-05-07
US11410306B2 (en) 2022-08-09
JP7152513B2 (ja) 2022-10-12
EP3876192A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
JP7152513B2 (ja) 画像認識方法、装置、端末機器及び医療システム、並びにそのコンピュータプログラム
Maier et al. A gentle introduction to deep learning in medical image processing
Yogapriya et al. Gastrointestinal tract disease classification from wireless endoscopy images using pretrained deep learning model
Dheir et al. Classification of anomalies in gastrointestinal tract using deep learning
Billah et al. Gastrointestinal polyp detection in endoscopic images using an improved feature extraction method
Gessert et al. Deep transfer learning methods for colon cancer classification in confocal laser microscopy images
Su et al. Deep convolutional neural networks with ensemble learning and transfer learning for automated detection of gastrointestinal diseases
CN109948671B (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
Khatibi et al. Proposing novel methods for gynecologic surgical action recognition on laparoscopic videos
Xie et al. Optic disc and cup image segmentation utilizing contour-based transformation and sequence labeling networks
Ay et al. Automated classification of nasal polyps in endoscopy video-frames using handcrafted and CNN features
Amin et al. 3D-semantic segmentation and classification of stomach infections using uncertainty aware deep neural networks
Raut et al. Gastrointestinal tract disease segmentation and classification in wireless capsule endoscopy using intelligent deep learning model
Li et al. Different machine learning and deep learning methods for the classification of colorectal cancer lymph node metastasis images
Chen et al. Deep transfer learning for histopathological diagnosis of cervical cancer using convolutional neural networks with visualization schemes
Suman et al. Automated detection of Hypertensive Retinopathy using few-shot learning
Tang et al. Review of AlexNet for Medical Image Classification
Fan et al. A novel approach for early gastric cancer detection using a hybrid of alexnet, extreme learning machine, and adjusted gorilla troops optimization
Kumar et al. Gannet devil optimization-based deep learning for skin lesion segmentation and identification
US20240087115A1 (en) Machine learning enabled system for skin abnormality interventions
Saleh et al. Identification of facial skin diseases from face phenotypes using FSDNet in uncontrolled environment
Ali et al. A shallow extraction of texture features for classification of abnormal video endoscopy frames
Konduri et al. Full resolution convolutional neural network based organ and surgical instrument classification on laparoscopic image data
Bibars et al. Cross-Modality Deep Transfer Learning: Application to Liver Segmentation in CT and MRI
Madzinga et al. An Expert System for Diagnosis of Cancer Diseases

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220929

R150 Certificate of patent or registration of utility model

Ref document number: 7152513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150