JP2022500754A - 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム - Google Patents
画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2022500754A JP2022500754A JP2021513795A JP2021513795A JP2022500754A JP 2022500754 A JP2022500754 A JP 2022500754A JP 2021513795 A JP2021513795 A JP 2021513795A JP 2021513795 A JP2021513795 A JP 2021513795A JP 2022500754 A JP2022500754 A JP 2022500754A
- Authority
- JP
- Japan
- Prior art keywords
- image
- segmentation
- module
- image segmentation
- computer device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本出願は、画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体を開示し、コンピュータ技術分野に関するものである。前記画像セグメンテーション方法は、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するステップであって、第2初期モデルは、多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、複数の第2サンプル画像に基づいて、第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得するステップと、セグメント化される第1画像を取得した場合、画像セグメンテーションモデルを呼びたし、第2サンプル画像の画像情報に従って画像セグメンテーションモデルによって、第1画像をセグメント化して、第2画像を出力するステップと、含む。【選択図】図2
Description
本願は、2018年10月16日に中国特許局に提出された、出願番号が201811205146.4であり、発明の名称が「画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれている。
本出願は、コンピュータ技術分野に関し、特に、画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体に関するものである。
コンピュータ技術の発達に伴い、医用画像セグメンテーション、自然画像セグメンテーションなどの画像セグメンテーション技術がますます広く使用されている。ここで、画像セグメンテーション技術とは、画像を独自の特性を持ついくつかの特定の領域にセグメント化し、関心のあるオブジェクトを抽出する技術を指す。例えば、ヒト組織画像のセグメンテーションシナリオでは、医用画像をセグメント化することにより、セグメント化された画像で人体の各組織を明確に区別することができる。
現在、画像セグメンテーション方法は通常、カスケード3次元完全畳み込みネットワーク(Cascaded 3D FCN:Cascaded Three−dimensional fully convolutional networks)とピラミッドシーン解析ネットワーク(Pspnet:Pyramid Scene Parsing Network)の2種のモデルを採用して実現する。ここで、Cascaded 3D FCNは、3次元(3D:Three−dimensional)ネットワークであり、主に腹部組織をセグメント化するために使用される。Pspnetは、2次元(2D:Two−dimensional)ネットワークであり、主に自然画像をセグメント化するために使用される。上記の画像セグメンテーション方法では、通常、技術者が画像セグメンテーション要件に従って、画像内でどのヒト組織をセグメント化するか、およびこのようなヒト組織の画像の画素点の分布が何の特徴を有するかを分析するなど、特定のヒト組織画像を分析し、分析結果に基づいてモデルを設計する必要があり、このようなヒト組織のサンプル画像を取得して、設計済みのモデルをトレーニングすることにより、トレーニングされたモデルを使用して、セグメント化される画像をセグメント化することができる。
上記のすべての画像セグメンテーション方法では、技術者が画像をセグメント化して、モデルを設計する必要があり、他のヒト組織画像をセグメント化する必要がある場合、技術者が他のヒト組織画像を分析して、モデルを再設計する必要があり、以前に設計したモデルに基づいて直接トレーニングすることができないため、上記の画像セグメンテーション方法は、汎用性、適用性、および実用性に欠ける。
本出願で提供される各実施例は、画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体を提供する。
一態様によれば、画像セグメンテーション方法を提供し、前記方法は、
コンピュータ機器が、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するステップであって、前記複数の第1サンプル画像は、多種のヒト組織画像を含み、前記第2初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
前記コンピュータ機器が、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第2サンプル画像の画像情報を取得するステップであって、前記複数の第2サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第2サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
セグメント化される第1画像を取得した場合、前記コンピュータ機器が、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力するステップと、含む。
コンピュータ機器が、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するステップであって、前記複数の第1サンプル画像は、多種のヒト組織画像を含み、前記第2初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
前記コンピュータ機器が、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第2サンプル画像の画像情報を取得するステップであって、前記複数の第2サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第2サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
セグメント化される第1画像を取得した場合、前記コンピュータ機器が、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力するステップと、含む。
一態様によれば、画像セグメンテーション装置を提供し、前記装置は、トレーニングモジュールと、セグメンテーションモジュールとを備え、
前記トレーニングモジュールは、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するように構成され、前記複数の第1サンプル画像は、多種のヒト組織画像を含み、前記第2初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記トレーニングモジュールは、さらに、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルが、前記複数の第2サンプル画像の画像情報を取得するように構成され、前記複数の第2サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第2サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記セグメンテーションモジュールは、セグメント化される第1画像を取得した場合、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力するように構成される。
前記トレーニングモジュールは、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するように構成され、前記複数の第1サンプル画像は、多種のヒト組織画像を含み、前記第2初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記トレーニングモジュールは、さらに、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルが、前記複数の第2サンプル画像の画像情報を取得するように構成され、前記複数の第2サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第2サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記セグメンテーションモジュールは、セグメント化される第1画像を取得した場合、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力するように構成される。
一態様によれば、プロセッサと、コンピュータ可読命令が記憶されたメモリと、を備えるコンピュータ機器を提供し、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、上記の実施例に記載の方法を実行させる。
一態様によれば、コンピュータ可読命令が記憶された1つまたは複数の不揮発性記憶媒体を提供し、前記コンピュータ可読命令が1つまたは複数のプロセッサによって実行されるときに、1つまたは複数のプロセッサに、上記の実施例に記載の方法を実行させる。
本出願の1つまたは複数の実施例の詳細は、以下の図面および説明に記載されている。本出願の他の特徴、目的および利点は、明細書、添付の図面および特許請求の範囲からより明らかになる。
本願実施例における技術的解決策をより明確にするために、下記において、説明に必要な図面を簡単に説明する。勿論、下記の図面は本願の一部の実施例に過ぎず、当業者は、創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。
本願実施例による画像セグメンテーション方法の実施環境である。
本願実施例による画像セグメンテーションモデルトレーニング方法のフローチャートである。
本願実施例によるモダリティ融合モジュールの処理プロセスの概略図である。
本願実施例による画像サンプリング方式の概略図である。
本願実施例による画像サンプリング方式の概略図である。
本願実施例による3Dモデルの概略構造図である。
本願実施例による画像後処理方式の概略図である。
本願実施例による画像後処理方式の概略図である。
本願実施例による画像セグメンテーションモデルのアーキテクチャの概略図である。
本願実施例による画像セグメンテーション方法のフローチャートである。
本願実施例による画像セグメンテーション装置の概略構造図である。
本願実施例による端末の概略構造図である。
本願実施例によるサーバの概略構造図である。
本願実施例によるサーバの概略構造図である。
本願実施例による端末の概略構造図である。
本出願の目的、技術的解決策および利点をより明確に説明するために、以下、添付の図面を参照してから、本出願を詳細に説明する。本明細書に記載の具体的な実施例は、本出願を説明するためにのみ使用され、本出願を限定するものではないことを理解されたい。本願実施例に基づいて、創造的な努力なしに当業者によって得られる他のすべての実施例は、本願の保護範囲に含まれるものとする。
図1は、本願実施例による画像セグメンテーション方法の実施環境であり、図1を参照すると、当該実施環境は、複数のコンピュータ機器を含み得る。ここで、当該複数のコンピュータ機器は、有線接続方式でデータインタラクションを実現することができ、または無線ネットワーク接続方式でデータインタラクションを実現することができ、本願実施例はこれに限定されるものではない。
本願実施例では、コンピュータ機器101は、画像のセグメント化に使用でき、いくつかの実施例では、当該画像は、医用画像、即ち、ヒト組織画像であってもよく、本願実施例による画像セグメンテーション方法は、ヒト組織画像セグメンテーションシナリオ、例えば、肝癌セグメンテーション、脳癌および末梢損傷セグメンテーション、肺癌セグメンテーション膵臓癌セグメンテーション、結腸直腸癌セグメンテーション、肝臓浸潤微小血管セグメンテーション、海馬構造セグメンテーション、前立腺構造セグメンテーション、左心房セグメンテーション、膵臓セグメンテーション、肝臓セグメンテーション、または脾臓セグメンテーションなどのヒト組織画像セグメンテーションシナリオに適用されることができ、もちろん、他のヒト組織画像セグメンテーションシナリオにも適用されることができる。もちろん、当該画像は、他のタイプの画像であってもよく、当該画像セグメンテーション方法は、他の画像セグメンテーションシナリオ、例えば、風景画像セグメンテーションシナリオにも適用されることができる。
当該コンピュータ機器102は、画像の収集に使用でき、収集された画像をコンピュータ機器101に送信し、コンピュータ機器101によって、画像セグメンテーションサービスを提供する。いくつかの実施例では、当該コンピュータ機器101はまた、画像を収集し、収集した画像をセグメント化することができ、本願実施例はこれに限定されるものではない。いくつかの実施例では、当該コンピュータ機器102はまた、他のコンピュータ機器から取得した画像を記憶するために使用されることができ、当該コンピュータ機器101は、当該コンピュータ機器102から記憶された画像を取得してセグメント化することができる。
具体的には、当該コンピュータ機器101およびコンピュータ機器102の両方は、端末またはサーバとして提供されることができ、本願実施例はこれに限定されるものではない。
図2は、本願実施例による画像セグメンテーションモデルトレーニング方法のフローチャートであり、当該画像セグメンテーションモデルトレーニング方法は、コンピュータ機器に適用されることができ、当該コンピュータ機器は、上記の実施環境におけるコンピュータ機器101であってもよいし、他のコンピュータ機器であってもよい。つまり、上記のコンピュータ機器101でトレーニングすることによって画像セグメンテーションモデルを取得することができ、または他のコンピュータ機器でトレーニングすることによって画像セグメンテーションモデルを取得した後、当該画像セグメンテーションモデルを構成ファイルに変換し、当該構成ファイルをコンピュータ機器101に送信し、このようにして、当該コンピュータ機器101に画像セグメンテーションモデルを記憶する。もちろん、コンピュータ機器101はまた、画像セグメンテーション要件がある場合、他のコンピュータ機器でトレーニングすることで得られた画像セグメンテーションモデルを呼び出すことができ、本願実施例はこれに限定されるものではない。図2を参照すると、当該画像セグメンテーションモデルトレーニング方法は、以下のステップを含み得る。
ステップ200において、コンピュータ機器が、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得する。
ここで、当該複数の第1サンプル画像は、多種のヒト組織画像を含み、例えば、当該複数の第1サンプル画像は、肝臓画像、脳画像、肺画像、膵臓画像、大腸画像、海馬画像、前立腺画像、心臓画像、および脾臓画像などのヒト組織画像を含み得、もちろん、より多くの他の部位の画像も含み得るが、ここでは、例示的な説明のみが提供され、当該多種のヒト組織画像の種類の数および具体的な種類を限定しない。
当該ステップ200では、コンピュータ機器は、多種のヒト組織画像に基づいて事前トレーニングすることによって第2初期モデルのモデルパラメータを取得し、当該第2初期モデルは、当該多種のヒト組織に対応する複数のターゲット領域の分布情報を含む。つまり、多種のヒト組織画像をセグメント化することにより、先験知識を取得する。このように、異なるシナリオのデータを使用してモデルを事前トレーニングすることにより、当該第2初期モデルに、ヒト組織画像のセグメント化に関する関連知識を持たせることができ、当該第2初期モデルは、医学生が各科室でローテーションすることをシミュレートするために使用でき、これにより、当該医学生に、特定の医学知識または臨床知識を持たせることができる。
このように、当該第2初期モデルは既に一定の先験知識を備え、後続で特定の種類のヒト組織画像をセグメント化する場合、関連技術者がこの種類のヒト組織画像を再分析してモデルを再設計する必要なしに、この種類のヒト組織のサンプル画像を使用して、第2初期モデルを直接トレーニングすることができる。つまり、当該第2初期モデルは、一定の医学知識を備え、各種のヒト組織画像は、上記の第2初期モデルを使用して直接トレーニングできるため、当該第2初期モデルおよび当該第2初期モデルに基づいてトレーニングされた画像セグメンテーションモデルの実用性と汎用性を効果的に向上させることができる。
ステップ201において、コンピュータ機器が、複数の第2サンプル画像を取得し、各第2サンプル画像はタグを含み、当該タグは、第2サンプル画像のターゲットセグメンテーション結果を指示するために使用される。
コンピュータ機器は、複数の第2サンプル画像に基づいてトレーニングすることによって、画像セグメンテーションモデルを取得することができ、いくつかの実施例では、当該コンピュータ機器は当該複数の第2サンプル画像を記憶することができ、画像セグメンテーションモデルトレーニングを実行する必要がある場合に、当該第2サンプル画像を呼び出すことができる。説明を加えないといけないのは、各第2サンプル画像は、ターゲットセグメンテーション結果を指示するために使用されるタグを含んでもよく、ここで、当該ターゲットセグメンテーション結果は、当該第2サンプル画像の正しいセグメンテーション結果、または当該第2サンプル画像の実際のセグメンテーション結果を指す。このように、モデルトレーニングのプロセスで、トレーニング中のモデルによる第2サンプル画像のセグメンテーションが正確であるか否か、およびモデルのトレーニングを継続する必要があるか否かを知ることができ、これにより、トレーニングによって得られたモデルが第2サンプル画像をセグメント化するときに、当該ターゲットセグメンテーション結果、または当該ターゲットセグメンテーション結果に非常に近いセグメンテーション結果を取得することができる。
いくつかの実施例では、当該複数の第2サンプル画像は、他のコンピュータ機器に記憶されてもよく、当該コンピュータ機器が、画像セグメンテーションモデルトレーニングを実行する必要がある場合、他のコンピュータ機器から当該複数の第2サンプル画像を取得することができ、本願実施例はこれに限定されるものではない。
例えば、当該複数の第2サンプル画像は、画像データベースに記憶されることができ、各第2サンプル画像はタグをさらに含む。この場合、当該ステップ201は、コンピュータ機器が、画像データベースから複数の第2サンプル画像を取得することであり得る。
ステップ202において、コンピュータ機器が、当該複数の第2サンプル画像を当該第2初期モデルに入力する。
いくつかの実施例では、前記ステップ200の後、コンピュータ機器は、第2初期モデルを直接トレーニングすることができ、即ち、ステップ201を実行した後に、ステップ202を実行する。これに対応して、当該ステップ202では、コンピュータ機器は、複数の第2サンプル画像を取得した後、当該複数の第2サンプル画像に基づいて第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得することにより、後続で当該画像セグメンテーションモデルに基づいて、取得した第1画像を正確にセグメント化することが容易になる。いくつかの実施例では、前記ステップ200の後、コンピュータ機器はまた、当該第2初期モデルを記憶するか、または第2初期モデルを他のコンピュータ機器に送信し、第2初期モデルに基づいて他のコンピュータ機器によって、後続のモデルトレーニングプロセスを実行することができる。これに対応して、当該ステップ202では、コンピュータ機器は、複数の第2サンプル画像を取得した後、第2初期モデルを呼び出し、当該複数の第2サンプル画像を当該第2初期モデルに入力することができ、本願実施例は、具体的な実現方式を限定しない。
つまり、当該ステップ202におけるコンピュータ機器に第2初期モデルが記憶されることができ、画像セグメンテーションモデルトレーニングを実行する必要がある場合、当該第2初期モデルを直接呼び出すことができるか、またはステップ200の後に、第2の初期モデルを呼び出さずに、取得した第2初期モデルに基づいて直接トレーニングすることができる。もちろん、当該第2初期モデルは、他のコンピュータ機器に記憶されてもよく、当該コンピュータ機器が、画像セグメンテーションモデルトレーニングを実行する必要がある場合、他のコンピュータ機器から当該第2初期モデルを呼び出すことができ、本願実施例はこれに限定されるものではない。
説明を加えないといけないのは、当該第2初期モデルのモデルパラメータは初期値であり、コンピュータ機器は、当該複数の第2サンプル画像をトレーニングサンプルおよび検証サンプルとして使用して、第2初期モデルをトレーニングすることができる。つまり、第2サンプル画像を使用して、第2初期モデルのモデルパラメータを調整し、複数回調整されたモデルパラメータを使用することにより、第1画像をセグメント化するときに、より正確なセグメンテーション結果を取得することができる。
具体的には、コンピュータ機器は、当該複数の第2サンプル画像を第2初期モデルに入力し、第2初期モデルによって、各第2サンプル画像をセグメント化し、第2初期モデルのセグメンテーション結果および第2サンプル画像のタグ、即ち、第2サンプル画像のターゲットセグメンテーション結果に基づいて、第2初期モデルのセグメンテーション能力を決定する。このように、当該第2初期モデルのモデルパラメータを調整することにより、第2初期モデルのセグメンテーション能力を継続的に向上させることができ、これにより、後続のトレーニングによって得られた画像セグメンテーションモデルは、正確にセグメント化を実行することができる。
ステップ203において、コンピュータ機器の第2初期モデルが、当該複数の第2サンプル画像の画像情報を取得する。
ここで、当該画像情報は、少なくとも当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む。つまり、第2初期モデルは、先ず複数の第2サンプル画像の画像情報を取得することで、一定の先験知識を取得し、セグメント化されるターゲットヒト組織に対応する複数のターゲット領域の分布情報を知ることができる。例えば、当該分布情報は、複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲を含むことができ、もちろん、他の情報も含むことができるが、本願実施例では網羅的な例挙をしない。
第2初期モデルは、当該複数の第2サンプル画像の関連状況に基づいて、後続のモデルトレーニングが完了した後にセグメント化する必要がある第1画像のいくつかのセグメンテーション規則および処理規則を予備的に知ることができる。
具体的には、第2初期モデルは、当該複数の第2サンプル画像のタグ内の情報に基づいて、当該複数の第2サンプル画像に対して連通域処理を実行し、連通域処理された複数の第2サンプル画像に対してトポロジ分析を実行して、ターゲットヒト組織に対応する複数のターゲット領域の分布情報を取得する。ここで、当該ターゲット領域とは、当該複数の第2サンプル画像のターゲットタイプの画素点が位置する領域を指す。
いくつかの実施例では、当該画像情報は、各第2サンプル画像の属性情報をさらに含み得、当該第2サンプル画像の属性情報に基づいて、第2サンプル画像に対して前処理を実行することにより、当該第2サンプル画像の基本情報がより均一またはより正確になるため、第2サンプル画像をより正確にセグメント化することができる。もちろん、セグメント化された画像に対して後処理を実行して、セグメンテーション結果がより正確になるようにすることもできる。ここで、当該属性情報は、グレースケール範囲、モダリティ数、およびサイズ範囲などを含んでもよいが、本願実施例はこれに限定されるものではない。
いくつかの実施例では、上記の第1初期モデルおよび第2初期モデルの両方は、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含み得、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールは、それぞれ、1つのタイプのセグメンテーションアルゴリズムに対応し、当該第1画像セグメンテーションモジュールは、3次元(3D:Three−dimensional)画像をセグメント化するために使用され、当該第2画像セグメンテーションモジュールは、2次元(2D:Two−dimensional)画像をセグメント化するために使用される。これに対応して、当該第2初期モデルトレーニングに基づいて得られた画像セグメンテーションモデルも、2つの画像セグメンテーションモジュールを含み得る。このようにして得られた画像セグメンテーションモデルは、3次元画像を直接セグメント化するか、3次元画像を2次元画像に変換してセグメント化することができる。もちろん、2次元画像を直接セグメント化することもでき、2つのタイプのセグメンテーションアルゴリズムにより、異なるセグメンテーション方式を柔軟に選択して、画像をセグメント化することができ、これにより、画像セグメンテーションモデルの実用性を効果的に向上させることができ、画像セグメンテーションの精度も向上させることができる。
このように、当該ステップ203において、コンピュータ機器によって取得された当該画像情報は、当該複数の第2サンプル画像の画像数をさらに含み得、画像数に基づいて第2画像セグメンテーションモジュールとしての画像セグメンテーションサブモジュールを選択することができる。具体的には、当該画像数に基づいて、第2サンプル画像の処理方式を選択する方法は、下記のステップ205における第2画像セグメンテーションモジュールの画像セグメンテーションサブモジュールの選択プロセスを参照することができ、ここでは詳細な説明を省略する。
説明を加えないといけないのは、以下では、当該ステップ203で取得した画像情報が、当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報、各第2サンプル画像の属性情報、および当該複数の第2サンプル画像の画像数を含み、第1初期モデル、第2初期モデル、および画像セグメンテーションモデルが全て、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含むことを例として説明する。
ステップ204において、コンピュータ機器の第2初期モデルが、当該画像情報に基づいて、各第2サンプル画像に対して前処理を実行し、前処理された各第2サンプル画像を当該第2初期モデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールに入力する。
当該ステップ204は、当該各第2サンプル画像の属性情報に基づいて、各第2サンプル画像に対して前処理を実行し、前処理された複数の第2サンプル画像を当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールに入力するプロセスであり、即ち、当該ステップ204における前処理の基礎となるデータは、画像情報内の各第2サンプル画像の属性情報である。
第2初期モデルは、第2サンプル画像に対して前処理を実行することにより、前処理された第2サンプル画像が第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールの画像セグメンテーション条件を満たすようにすることができ、当該第2サンプル画像内の異常画素点を除去するか、または当該第1画像の画素点を正規化することにより、前処理された第2サンプル画像の画像セグメンテーションがより正確になるようにすることもできる。
いくつかの実施例では、第2サンプル画像の属性情報は異なり、当該前処理プロセスも異なる場合がある。具体的には、当該前処理プロセスは、以下の任意の1つまたは複数のステップを含んでもよい。
ステップ1において、当該属性情報に従って当該第2サンプル画像に異常画素点が存在すると決定した場合、第2初期モデルは、当該異常画素点を削除する。
いくつかの実施例では、異常画素点とは、画素値が異常値である画素点を指し、ここで、異常画素点の画素値は、当該第2サンプル画像の複数の画素値のうちの、当該複数の画素値の平均値からの偏差が標準偏差の2倍を超える画素値である。また、平均値からの偏差が標準偏差の3倍を超える画素値は、高度異常な異常画素点の画素値であり得る。当該第2サンプル画像に異常画素点が存在する場合、当該第2サンプル画像内の異常画素点を削除することにより、当該異常画素点によるセグメンテーション結果への影響を回避することができ、これにより、当該第2サンプル画像のセグメンテーション結果がより正確になる。
具体的には、当該第2サンプル画像の複数の画素点の画素値に基づいて、当該第2サンプル画像のグレースケール曲線を取得でき、当該グレースケール曲線から、当該第2サンプル画像の複数の画素点の画素値の平均値、最大値、または最小値などを取得でき、これにより、異常な画素値を決定することができる。もちろん、ヒストグラムの形で第2サンプル画像の複数の画素値を統計することにより、異常な画素値を決定することもできる。例えば、平均値との差がプリセットされた差より大きい画素値に対応する画素点を異常画素点として決定してもよいし、当該平均値との差に応じて、当該第2サンプル画像の複数の画素値の80%を正常値、20%を異常値として決定してもよく、ここで、異常値は平均値との差が大きい画素値であり、正常値は平均値との差が小さい画素値である。説明を加えないといけないのは、前述したものは単なる例示的な説明であり、具体的には、当該ステップ1は、任意の異常値検出アルゴリズムによって実現されてもよいし、任意の異常値処理方法によって実現されてもよいが、本願実施例はこれに限定されるものではない。
ステップ2において、当該属性情報に従って、異常画素点を削除した後の第2サンプル画像のグレースケール範囲がターゲット範囲を超えると決定した場合、第2初期モデルは、当該第2サンプル画像に対して正規化処理を実行して、当該第2サンプル画像のグレースケール範囲をターゲット範囲内に調整する。
第2初期モデルでターゲット範囲を設定することもでき、当該ターゲット範囲は、関連技術者によって事前設定することができ、例えば、当該ターゲット範囲は[0、255]であり得る。第2サンプル画像のグレースケール範囲が当該ターゲット範囲を超える場合、当該第2サンプル画像に対して正規化処理を実行して、第2サンプル画像のグレースケール範囲をターゲット範囲内に調整することにより、後続のセグメンテーションプロセスでは、全ての第2サンプル画像のグレースケール範囲がターゲット範囲内にあり、グレースケール範囲が均一であり、第2サンプル画像間も比較可能であり、第2サンプル画像をセグメント化して得られたセグメンテーション結果もより正確になる。具体的には、当該正規化処理プロセスは、任意の正規化方法によって実現でき、例えば、線形関数に従ってグレースケール範囲をターゲット範囲内に変換することができ、本願実施例は、これに限定されず、これ以上の説明を省略する。
ステップ3において、当該属性情報に従って、当該第2サンプル画像のチャネル数が1より大きいと決定した場合、第2初期モデルは、当該第2サンプル画像の各画素値からターゲット画像平均値を差し引く。
第2サンプル画像は、カラー画像またはグレースケール画像であり得、ここで、カラー画像のチャネル数は1より大きく、グレースケール画像のチャネル数は1である。属性情報に従って、第2サンプル画像がカラー画像であると決定した場合、当該第2サンプル画像の各画素値からターゲット画像平均値を差し引くこともできる。いくつかの実施例では、当該ターゲット画像平均値は、第2初期モデルを事前トレーニングするプロセスで取得することができ、つまり、当該ターゲット画像平均値は、前記ステップ200で取得することができる。具体的には、当該ターゲット画像平均値は、事前トレーニング中の複数の第1サンプル画像の画像平均値、即ち、画素値の平均値であり得る。
当該ステップ3により、当該第2サンプル画像の画素値の範囲(グレースケール範囲)をモデルの事前トレーニングにおける第1サンプル画像の画素値の範囲(グレースケール範囲)と一致させることができる。このように、モデルトレーニングおよびモデル使用中における画像に対する上記の処理は、処理された画像のグレースケール範囲を一致させることができ、これにより、画像セグメンテーション結果がより正確になる。
ステップ4において、当該属性情報に従って、当該第2サンプル画像のモダリティ数が1より大きいと決定した場合、第2初期モデルは、当該第2サンプル画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第2サンプル画像の複数の画素値を選別して、前処理された第2サンプル画像のターゲット数の画素値を取得し、当該前処理された第2サンプル画像のモダリティ数は1である。
当該第2サンプル画像のモダリティ数が1ではない可能性があり、例えば、当該第2サンプル画像は、複数の画像化原理または画像化デバイス、例えば、コンピュータ断層撮影(CT:Computed Tomography)、磁気共鳴画像法(MRI:Magnetic Resonance Imaging)、ポジトロンエミッションCT(PET:Positron Emission Computed Tomography)などによって得られる。第2初期モデルは、マルチモダリティの画像に対してモダリティ融合を実行することもでき、これにより、融合された画像をセグメント化する。ここで、当該モダリティ融合モジュールは、当該第2初期モデル内の1つのモジュールであり、第2サンプル画像のモダリティ数が1より大きい場合、当該モダリティ融合モジュールにより、第2サンプル画像に対してモダリティ融合を実行することができる。
具体的には、当該ステップ4で、モダリティ融合モジュールによって第2サンプル画像を処理するプロセスは、モダリティ融合モジュールが、モジュールパラメータに基づいて、第2サンプル画像の複数の画素値から、第2サンプル画像の画素値としてターゲット数の画素値を選択することとして理解することができる。当該ターゲット数は、モダリティ数が1である第2サンプル画像の画素値の数である。いくつかの実施例では、当該モダリティ融合モジュールのモジュールパラメータは、モデルトレーニングプロセス中に調整できるため、選択したターゲット数の画素値がより代表的であり、当該第2サンプル画像の特徴をより適切に表すことができる。上記は、1つのモダリティ融合方式のみを提供し、具体的には、当該プロセスはまた、他の方式を採用することができ、本願実施例はこれに限定されるものではない。
例えば、図3に示されるように、モダリティ融合モジュールの場合、第2サンプル画像のモダリティ数はnであり得、nは正整数であり、モダリティ融合モジュールは、当該n個のモダリティの画素値を融合し、上記の選択ステップを実行して、最後に、第1画像セグメンテーションモジュールおよび第2セグメンテーションモジュールに入力される第2サンプル画像の画素値を取得でき、このようにして、n個のモダリティの第2サンプル画像を1つのモダリティの第2サンプル画像に融合することができる。ここで、modalityはモダリティであり、Hは高さ(Height)であり、Wは幅(Width)であり、Dは深さ(Depth)であり、Cはチャネル(Channel)数であり、Concatは合併関数であり、Inputは入力であり、Convolutionは畳み込みであり、Featuremapは特徴マップである。
上記の1つまたは複数のステップによって第2サンプル画像に対して前処理を実行した後、前処理された第2サンプル画像を第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールに入力して、後続のセグメンテーションステップを実行することができる。もちろん、当該前処理プロセスは、上記の4つのステップに限定されず、当該前処理プロセスはまた、他のステップを含み得る。例えば、第2初期モデルは、第2サンプル画像をサンプリングすることができ、当該第2サンプル画像のサイズ範囲に従って、当該第2サンプル画像のサンプリング方式を決定することができる。例えば、第2初期モデルのダウンサンプリング倍数が8に設定されることを例にとると、図4に示されるように、画像のサイズ変更(Resize)後に8倍ダウンサンプリングされたサイズが1つの画素より大きい場合、画像を直接Resizeすることができる。図5に示されるように、画像をResizeした後、8倍ダウンサンプリングした後のサイズが1つの画素より小さい場合、当該ダウンサンプリングプロセスで多くの有用な情報が失われたことを意味し、マルチスケールの画像トリミング(Crop)方式で画像をサンプリングする必要がある。
ステップ205において、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールが、それぞれ各第2サンプル画像をセグメント化して、第1セグメンテーション結果および第2セグメンテーション結果を取得する。
第1画像セグメンテーションモジュールの場合、当該第1画像セグメンテーションモジュールは、2段階(2−stage)ストリーミング設計を採用することができる。つまり、当該第1画像セグメンテーションモジュールは、第2サンプル画像に対して2段階セグメンテーション、即ち、2回のセグメンテーションを実行することができ、第1段階では、第1画像セグメンテーションモジュールは、第2サンプル画像に対して大まかなセグメンテーションを実行でき、第2段階では、第2画像セグメンテーションモジュールは、第2サンプル画像に対して精細なセグメンテーションを実行でき、このようにして、異なる難易度のセグメンテーションタスクを処理することができる。
いくつかの実施例では、当該第1画像セグメンテーションモジュールは、18層の3D Unity Networking(unet)モデルを採用して実現することができる。図6は、本願実施例による3Dモデルの概略構造図であり、図6に示されるように、当該3Dモデルは、先ず第2サンプル画像に対して特徴抽出を実行し、抽出された特徴に基づいてアップサンプリングすることができる。当該特徴抽出プロセスは、畳み込みやプーリングなどのステップで実現でき、当該特徴抽出プロセスでは、第2サンプル画像のサイズが徐々に小さくなり、当該アップサンプリングプロセスでは、前の特徴抽出プロセスの第2サンプル画像のデータの一部と、特徴抽出後に得られたデータを組み合わせてアップサンプリングすることができる。つまり、上記のアップサンプリングプロセスは、スキップコネクション(skip connection)の方式で実現され、最後に、第2サンプル画像のセグメンテーションプロセスを実現する。ここで、[132、132、116]や[64、64、56]などで画像のサイズ(幅、高さ、深さを含む)を示す。32、64、128、512、258+512などは、前の層のネットワークの畳み込みカーネルの数であり、ここでは詳細な説明を省略する。本願実施例は、例として当該3Dモデルのみを取り上げ、具体的には、当該第1画像セグメンテーションモジュールは、他のモデルを使用して実現することもできる、本願実施例は、これに限定されず、これ以上の説明を省略する。
当該第1画像セグメンテーションモジュールによる当該第2サンプル画像のセグメンテーションプロセスは、第1画像セグメンテーションモジュールが、当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第2サンプル画像を2回分類して、第1セグメンテーション結果を取得することであり、当該2回の分類の最初の分類の分類オブジェクトは、当該第2サンプル画像の全ての画素点であり、2番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点である。このように、先ず大まかなセグメンテーションを実行し、次に精細なセグメンテーションを実行するような2回のセグメンテーションにより、2回のセグメンテーション結果を組み合わせて、第1セグメンテーション結果を取得することができ、これにより、画像セグメンテーションの精度を効果的に向上させることができる。
ここで、当該第1画像セグメンテーションモジュールは、複数のタイプのセグメンテーションをサポートでき、第1画像セグメンテーションモジュールは、第2サンプル画像の各画素点を分類して、各画素点のタイプ、即ち、少なくとも2つのタイプのうちの、各画素点が属する1つのタイプを決定することができる。当該少なくとも2つのタイプは、1つのタイプは背景、もう1つのタイプは前景の、2つのタイプに分けることができ、これに対応して、対応する画素点は、それぞれ背景画素点および前景画素点であり、つまり、タイプが背景である画素点は背景画素点であり、タイプが前景である画素点は前景画素点である。当該背景は、少なくとも2つのタイプのうちの1つのタイプであり、前景は、当該少なくとも2つのタイプのうちの、背景以外の他の1つのタイプまたは複数のタイプである。
具体的には、上記の2回のセグメンテーションプロセスは、以下のステップ1からステップ3を含み得る。
ステップ1において、第1画像セグメンテーションモジュールが、当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第2サンプル画像の各画素点を分類して、第3セグメンテーション結果を取得し、当該第3セグメンテーション結果は、当該第2サンプル画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用される。
当該ステップ1は、第2サンプル画像の大まかなセグメンテーションプロセス、すなわち、2−stageストリーミング設計における第1段階である。第1画像セグメンテーションモジュールは、当該第2サンプル画像のどの画素点が前景であり、どの画素点が背景であるかを区別して、当該第2サンプル画像のターゲット領域の外輪郭を決定でき、これにより、以下のステップ2により、ステップ1によって決定された外輪郭内の画素点をさらに分類することにより、外輪郭の各画素点のタイプをより細密に区別し、ターゲット領域の具体的な分布を決定することができる。
ステップ2において、第1画像セグメンテーションモジュールが、当該第3セグメンテーション結果および当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第3セグメンテーション結果における各前景画素点を分類して、第4セグメンテーション結果を取得し、当該第4セグメンテーション結果は、当該第3セグメンテーション結果内の各前景画素点が当該少なくとも2つのタイプの各タイプである確率を指示するために使用される。
当該ステップ2では、第3セグメンテーション結果における背景画素点を無視し、前景画素点のみを再度分類することにより、上記のターゲット領域の外輪郭内の画素点をより細密に分類して、より精細なセグメンテーション結果を取得することができる。当該ステップ2は、第2サンプル画像に対する精細なセグメンテーションプロセス、即ち、2−stageストリーミング設計における第2段階である。第1画像セグメンテーションモジュールは、前景として決定された上記の画素点を再度分類し、各画素点が上記の少なくとも2つのタイプのうちのどのタイプであるかを再度決定する。
ステップ3において、第1画像セグメンテーションモジュールが、当該第3セグメンテーション結果および当該第4セグメンテーション結果に基づいて、第1セグメンテーション結果を取得する。
大まかなセグメンテーションおよび精細なセグメンテーションにより、第3セグメンテーション結果および第4セグメンテーション結果を取得した後、第1画像セグメンテーションモジュールはまた、2つのセグメンテーション結果を組み合わせて、当該第2サンプル画像の第1セグメンテーション結果を決定することができる。いくつかの実施例では、大まかなセグメンテーションにおける背景画素点の場合、当該第3セグメンテーション結果の当該背景画素点のセグメンテーション結果を、第1セグメンテーション結果の当該画素点のセグメンテーション結果として使用することができる。大まかなセグメンテーションにおける前景画素点の場合、第3セグメンテーション結果および第4セグメンテーション結果の両方に、この部分の画素点のセグメンテーション結果がある場合、第1画像セグメンテーションモジュールは、第1セグメンテーション結果として第3セグメンテーション結果および第4セグメンテーション結果におけるこの部分の画素点のセグメンテーション結果の平均値を取ることができる。
いくつかの実施例では、第1画像セグメンテーションモジュールはまた、第3セグメンテーション結果および第4セグメンテーション結果の平均値を第1セグメンテーション結果として直接使用することができ、この部分の画素点を背景として直接決定することができ、ここで、当該第4セグメンテーション結果はまた、上記の第3セグメンテーション結果における背景画素点のセグメンテーション結果を含む。つまり、第2段階では、第1画像セグメンテーションモジュールは、第1段階における背景画素点を再度分類せず、この部分の背景画素点のタイプを背景として直接デフォルト設定する。
もちろん、上記では、説明のための例として、平均値を取る方式で当該ステップ3を実現することのみを取り上げたが、いくつかの実施例では、第1画像セグメンテーションモジュールはまた、第3セグメンテーション結果および第4セグメンテーション結果を加重加算して、第1セグメンテーション結果を取得することができ、本願実施例は、当該ステップ3の具体的な実施方式を限定するものではない。
第2画像セグメンテーションモジュールの場合、いくつかの実施例では、当該第2画像セグメンテーションモジュールは、深さ残差ネットワーク(ResNet:Deep residual network)を使用して実現されることができる。例えば、当該ResNetは、ResNet−18、ResNet−101、またはResNet−152であってもよく、本願実施例は、具体的にどのResNetを採用するかを限定しない。
いくつかの実施例では、当該第2画像セグメンテーションモジュールは、少なくとも1つの画像セグメンテーションサブモジュールを含み得、異なる画像セグメンテーションサブモジュールは異なる深さを有する。例えば、当該第2画像セグメンテーションモジュールは、2つの画像セグメンテーションサブモジュール(ResNet−18およびResNet−101)を含むことができ、ここで、ResNet−101の深さは、ResNet−18の深さより大きい。上記のステップ203で説明したように、当該画像情報は、当該複数の第2サンプル画像の画像数をさらに含み得る。このように、第2サンプル画像の画像数が異なる場合、異なる深さの画像セグメンテーションサブモジュールを使用してトレーニングすることにより、過剰適合(over−fitting)現象、またはトレーニングされたモデルのセグメンテーション能力が低いという問題を回避することができる。
具体的には、当該第2初期モデルはまた、画像数と画像セグメンテーションサブモジュールとの間の対応関係を記憶することができる。これに対応して、当該ステップ205は、第2初期モデルが、当該複数の第2サンプル画像の画像数に基づいて、当該第2画像セグメンテーションモジュールとして当該画像数に対応する画像セグメンテーションサブモジュールを取得することをさらに含み、当該複数の第2サンプル画像の画像数は、前記ステップ203で取得された画像情報の一種の情報である。
いくつかの実施例では、当該第2画像セグメンテーションモジュールを取得するステップでは、画像数が大きいほど、取得された画像セグメンテーションサブモジュールの深さが大きくなる。このようにして、データが少ない状況に効果的に対処でき、サンプル数が非常に少ない場合にもモデルをトレーニングして、セグメンテーション効果の高い画像セグメンテーションモデルを取得することができる。
さらに、当該第2画像セグメンテーションモジュールが2つの画像子モジュールを含むことを例にとると、当該第2画像セグメンテーションモジュールを取得するステップは、当該複数の第2サンプル画像の画像数がプリセットされた数より大きい場合、第2初期モデルは、第1画像セグメンテーションサブモジュールを取得し、当該複数の第2サンプル画像の画像数がプリセットされた数より小さいか等しい場合、第2初期モデルは、第2画像セグメンテーションサブモジュールを取得することであり得る。ここで、当該第1画像セグメンテーションサブモジュールの深さは、第2画像セグメンテーションサブモジュールの深さより大きい。プリセットされた数は、関連技術者によって事前設定されることができ、本願実施例は、当該ターゲット数の具体的な値を限定しない。
例えば、第1画像セグメンテーションサブモジュールはResNet−101であり得、第2画像セグメンテーションサブモジュールはResNet−18であり得、当該ターゲット数量が100であることを例にとると、上記の第2画像セグメンテーションモジュールを取得するステップは、第2サンプル画像の画像数が100より小さい場合、ResNet−18を基本モデルとして使用でき、第2サンプル画像の画像数が100より大きい場合、ResNet−101を基本モデルとして使用できる。当該ResNet−18とResNet−101の構造表は、それぞれ以下の表1および表2である。
当該ResNet−18およびResNet−101では、Conv3_xの第1層、即ち、Conv3_1のステップ幅は2に設定され、Conv4_xの第1層のステップ幅は1に設定され、拡張(dilation)は2に設定され、このようにして、ダウンサンプリングによるセグメンテーション結果への影響を回避でき、ResNet−101の各層の受容野も保持することができる。もちろん、上記の各畳み込み層の後に、線形整流関数(ReLU:Rectified Linear Unit)層および一括正規化(Batch Normalization)層があり、本願実施例はこれに限定されるものではない。
説明を加えないといけないのは、上記のResNet−18およびResNet−101のConv1からConv5_xは全て、基本モデル、即ち、当該第2画像セグメンテーションモジュールのバックボーンモデルである。Conv5_3の後、第2サンプル画像をダウンサンプリングすることもでき、具体的には、ダウンサンプリングプロセスでは、マルチスケール畳み込みカーネルを使用することもでき、例えば、1、9、19、37および74の5つの倍数の畳み込みカーネルを使用することができる。一般に、当該ダウンサンプリングプロセスは通常、プール(pool)層によって実現され、本願実施例では、全てのpool層を深さ方向の畳み込み(depthwise convolution)層に置き換えることができる。もちろん、上記の設定はまた、画像セグメンテーション要件に従って、関連技術者によって設定または調整されることができ、本願実施例はこれを特に限定するものではない。
ステップ200の内容と同様に、第2初期モデルのモデルパラメータは、複数の第1サンプル画像に基づいて事前トレーニングすることで取得することができ、つまり、上記のConv1からConv5_xのパラメータは、複数の第1サンプル画像に基づいて事前トレーニングすることで取得することができ、事前トレーニングプロセスでは、主に当該Conv1からConv5_xのパラメータをトレーニングし、後のその他の層のパラメータについては、分散が0.01で平均値が0であるガウス分布値を初期値として使用できる。もちろん、ここでは1つの例のみが提供されており、当該他の層の初期値も他の値であり得、本願実施例は初期値の設定を特に限定するものではない。
当該第2画像セグメンテーションモジュールは、当該第2サンプル画像のセグメンテーションプロセスは、以下のステップ1および2を含み得る。
ステップ1において、第2画像セグメンテーションモジュールが、当該第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第2サンプル画像に対して特徴抽出を実行する。
第2画像セグメンテーションモジュールは、上記の取得された第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、第2サンプル画像に対して特徴抽出を実行して、当該第2サンプル画像の特徴を取得し、例えば、当該特徴は、特徴マップ(feature map)の形であり得る。
ステップ2において、第2画像セグメンテーションモジュールが、抽出された特徴に基づいて、当該第2サンプル画像の各画素点を分類して、第2セグメンテーション結果を取得する。
第2画像セグメンテーションモジュールが特徴を抽出した後、上記のダウンサンプリングプロセスを実行することもでき、全ての情報を組み合わせた後、当該第2サンプル画像の各画素点を分類して、第2セグメンテーション結果を決定する。
いくつかの実施例では、当該第2画像セグメンテーションモジュールは、2D画像をセグメント化するために使用され、第2サンプル画像が3D画像である場合、当該第2画像セグメンテーションモジュールが当該第2サンプル画像のセグメンテーションプロセスを実行する前に、第2初期モデルはまた、第2サンプル画像を処理し、3D画像を2D画像に変換して、2D画像を当該第2画像セグメンテーションモジュールに入力する必要がある。
具体的には、当該第1画像の属性情報に従って、当該第1画像が3次元画像であると判断し、当該第2画像セグメンテーションモジュールによって当該第1画像をセグメント化する必要があると決定した場合、第2初期モデルは、当該第1画像を処理して、複数の第1子画像を取得し、当該第1子画像は2次元画像である。説明を加えないといけないのは、当該3D画像を複数の2D画像に変換するプロセスでは、任意の3D/2D変換方式を採用でき、例えば、特定の方向で3D画像をサンプリングして、複数の2D画像を取得することができる。もちろん、各方向で3D画像をサンプリングして、複数の2D画像を取得することもでき、本願実施例はこれに限定されるものではない。
これに対応して、当該第2画像セグメンテーションモジュールによる第1画像のセグメンテーションプロセスは、第2画像セグメンテーションモジュールが、当該第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像に対応する複数の第1子画像をそれぞれセグメント化して、複数の第2サブセグメンテーション結果を取得するステップと、第2画像セグメンテーションモジュールが、当該複数のサブセグメンテーション結果を融合して、第2セグメンテーション結果を取得するステップとを含む。
上記のステップ202からステップ205は、当該複数の第2サンプル画像を当該第2初期モデルに入力し、当該第2初期モデルによって、当該複数の第2サンプル画像の画像情報を取得し、当該画像情報、当該第2初期モデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールに基づいて、各第2サンプル画像をセグメント化するプロセスである。当該第2初期モデルは、3D画像をセグメント化するためのモジュールだけでなく、2D画像をセグメント化するためのモジュールも含むため、当該第2初期モデルの適用性と汎用性が向上し、当該第2初期モデルに基づいてトレーニングすることによって得られた画像セグメンテーションモデルの適用性と汎用性もより高く、多種の柔軟で可変のセグメンテーション方式を提供することにより、画像セグメンテーションの精度を向上させることができる。
ステップ206において、コンピュータ機器の第2初期モデルが、当該複数の第2サンプル画像のタグ、当該第1セグメンテーション結果、および当該第2セグメンテーション結果に基づいて、第1セグメンテーション誤差および第2セグメンテーション誤差をそれぞれ取得する。
第1セグメンテーション結果および第2セグメンテーション結果を取得した後、第2初期モデルは、第2サンプル画像のタグに基づいて、当該第1セグメンテーション結果および第2セグメンテーション結果が正確であるか否かを決定することができる。具体的にはセグメンテーション誤差、セグメンテーション誤差によりセグメンテーション結果が正確であるか否かを測定することができる。ここで、当該第1セグメンテーション誤差は、当該第1画像セグメンテーションモジュールに対応する第1セグメンテーション結果のセグメンテーション誤差であり、当該第2セグメンテーション誤差は、当該第2画像セグメンテーションモジュールに対応する第2セグメンテーション結果のセグメンテーション誤差である。
いくつかの実施例では、当該第1セグメンテーション結果のセグメンテーション誤差を取得するプロセスは、第1損失関数を採用することによって実現され、当該第1セグメンテーション誤差を取得するプロセスは、第1損失関数を採用することによって実現され、当該第1損失関数における画素点の各タイプの重みは、当該複数の第2サンプル画像における、当該複数の第2サンプル画像の画像情報における当該タイプの画素点の比率に基づいて決定される。例えば、当該重みは下記式で決定されることができる。
いくつかの実施例では、当該第2セグメンテーション結果のセグメンテーション誤差の取得プロセスは、第2損失関数を採用することによって実現され、当該第2損失関数の重みは、オンラインハードサンプルマイニング(OHEM:Online Hard Example Mining)アルゴリズムに基づいて決定され、これにより、第2サンプル画像の難しいサンプルを効果的に区別でき、このようなサンプルによるモデルのパラメータへの影響を低減できるため、サンプルタグの不均衡による悪影響に対処することができる。
例えば、当該第2損失関数は、クロスエントロピー関数(cross entropy function)であってもよく、上記の第1損失関数は、cross entropy functionであってもよいし、他の損失関数であってもよい。いくつかの実施例では、第1損失関数および第2損失関数は、同じであっても異なっていてもよく、本願実施例は、第1損失関数および第2損失関数が具体的にどの損失関数を使用するか、および第1損失関数および第2損失関数が同じであるか否かを限定しない。
ステップ207において、コンピュータ機器の第2初期モデルが、それぞれ当該第1セグメンテーション誤差および当該第2セグメンテーション誤差に基づいて、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのモジュールパラメータを、第1反復停止回数に達するまで調整して、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを取得する。
第2初期モデルが、第1セグメンテーション結果および第2セグメンテーション結果が正確であるか否かを認識した後、2つの画像セグメンテーションモジュールのモジュールパラメータを調整でき、複数回調整されたモジュールパラメータにより、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールによる第2サンプル画像のセグメンテーション結果がより正確になる。
いくつかの実施例では、当該第1反復停止回数は、相互検証に基づいて決定される。具体的には、当該第1反復停止回数は、k分割交差検証(K−fold cross−validation)の方式に基づいて決定されることができ、例えば、5分割交差検証の方式に基づいて決定されることができる。5分割交差検証を例にとると、第2サンプル画像を5つの部分に分割でき、そのうちの4つをトレーニングセットとして使用し、もう1つを検証セットとして使用し、その後、別の組み合わせ方式で複数回のトレーニングと検証を実行することができる。もちろん、異なる組み合わせ方式を決定した後、異なる組み合わせ方式で第2初期モデルを同時にトレーニングおよび検証することもできる。このように、サンプルデータの複数の組み合わせをトレーニングおよび検証することにより、当該第2初期モデルが全てのサンプルデータをトラバースするようにし、トレーニングされたモデルの汎用性が向上し、セグメンテーション結果がより正確になる。ここで、当該交差検証プロセスは、主に、一定回数の反復プロセスを実行するたびに、検証データを使用してトレーニングされたモデルを検証することであり、セグメンテーション誤差がターゲット条件を満たす場合、当該反復プロセスを停止することができ、ターゲット条件を満たさない場合、上記の反復プロセスを継続することができ、本願実施例ではこれ以上の説明を省略する。
上記のステップ203からステップ207は、当該複数の第2サンプル画像に基づいて、当該第2初期モデル内の当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールを、第1反復停止回数に達するまでトレーニングして、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのモジュールパラメータを取得するプロセスであり、当該プロセスでは、当該第1画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第1セグメンテーション誤差に基づいて調整することで得られたものであり、当該第2画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第2セグメンテーション誤差に基づいて調整することで得られたものである。1回の反復プロセスは、第2初期モデルより当該ステップ203からステップ207を一回実行することであり、第2初期モデルは、上記のプロセスを複数回実行でき、複数回の反復を介して、2つの画像セグメンテーションモジュールのモジュールパラメータを調整すること、即ち、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールをそれぞれトレーニングすることができる。
いくつかの実施例では、上記のプロセスにおいて、コンピュータ機器が2つの画像セグメンテーションモジュールのモジュールパラメータを調整する場合、モダリティ融合モジュールのモジュールパラメータを調整することもでき、これにより、このトレーニングプロセスにおいて、トレーニングによりモダリティ融合モジュールのモジュールパラメータを取得することができる。
具体的な例では、上記の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールは両方とも畳み込みニューラルネットワークモデルであり得、上記の各反復プロセスにおいて、モデルは、予測結果の誤差を計算し、それを畳み込みニューラルネットワークモデルに逆伝播でき、これにより、勾配降下アルゴリズムによりニューラルネットワークモデルの畳み込みテンプレートパラメータwとバイアスパラメータbを求めることができる。
ステップ208において、コンピュータ機器の第2初期モデルが、トレーニングによって得られた第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールに基づいて、当該複数の第2サンプル画像をセグメント化して、各第2サンプル画像の第1セグメンテーション結果および第2セグメンテーション結果を取得する。
当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールはそれぞれ3D画像および2D画像のセグメント化に適用されるため、第2サンプル画像の場合、第1画像セグメンテーションモジュールによる当該第2サンプル画像のセグメンテーション結果がより正確であり、第2画像セグメンテーションモジュールによる当該第2サンプル画像のセグメンテーション結果が非常に不正確である可能性がある。したがって、第2初期モデルが2つのモジュールの総合結果直接採用する場合、得られた最終的なセグメンテーション結果が第2画像セグメンテーションモジュールのセグメンテーション結果の影響を受ける可能性があるため、最終的なセグメンテーション結果の精度が低下する。
第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのトレーニングが完了した後、第2初期モデルはまた、トレーニング済の2つのモジュールに基づいて、2つのモジュールの混合戦略をトレーニングすることができ、つまり、1つの第2サンプル画像について、どのモジュールまたは2つのモジュールを選択して、当該第2サンプル画像をセグメント化する方が適切であるかを判断することをトレーニングする。
第2初期モデルは、トレーニング済みの2つのモジュールを使用して、第2サンプル画像をそれぞれセグメント化して、第1セグメンテーション結果および第2セグメンテーション結果を取得し、当該2つのセグメンテーション結果および2つのセグメンテーション結果の総合セグメンテーション結果を評価することで、どのモジュール選択方式で得られたセグメンテーション結果がより正確であるかを判断する。
ステップ209において、コンピュータ機器の第2初期モデルが、当該第1セグメンテーション結果および当該第2セグメンテーション結果に基づいて、第5セグメンテーション結果を取得する。
ここで、当該第5セグメンテーション結果は、当該第1セグメンテーション結果および第2セグメンテーション結果の総合セグメンテーション結果である。いくつかの実施例では、第2初期モデルが第5セグメンテーション結果を取得するプロセスは、第2初期モデルが、第1セグメンテーション結果および第2セグメンテーション結果の平均値を第5セグメンテーション結果として使用すること、即ち、各画素点が各タイプである確率について、第1セグメンテーション結果における確率と第2セグメンテーション結果における確率の平均値を第5セグメンテーション結果における確率として使用することであり得る。
いくつかの実施例では、当該第1セグメンテーション結果および第2セグメンテーション結果はまた、対応する重みを有し、第2初期モデルが第5セグメンテーション結果を取得するプロセスは、第2初期モデルが、第1セグメンテーション結果および第2セグメンテーション結果を加重加算して、第5セグメンテーション結果を取得することであり得る。
もちろん、上記では2つの例のみが提供されており、当該第5セグメンテーション結果の取得プロセスは、他の方式で実現されてもよく、本願実施例はこれに限定されるものではない。
ステップ210において、コンピュータ機器の第2初期モデルが、第2サンプル画像のタグ、各第2サンプル画像の第1セグメンテーション結果、第2セグメンテーション結果、および当該第5セグメンテーション結果に基づいて、第1セグメンテーション誤差、第2セグメンテーション誤差、および第3セグメンテーション誤差を取得する。
ここで、当該第3セグメンテーション誤差は、当該第5セグメンテーション結果のセグメンテーション誤差である。第2初期モデルが、第1セグメンテーション結果、第2セグメンテーション結果、および第5セグメンテーション結果を取得した後、第2サンプル画像のタグに基づいて、各セグメンテーション結果のセグメンテーション誤差をそれぞれ決定することにより、各セグメンテーション結果が正確であるか否かを判断することができる。当該各セグメンテーション結果のセグメンテーション誤差は、上記の第1損失関数または第2損失関数を介して取得することもでき、本願実施例ではこれ以上の説明を省略する。
ステップ211において、コンピュータ機器の第2初期モデルが、当該第1セグメンテーション誤差、当該第2セグメンテーション結果のセグメンテーション誤差、および当該第3セグメンテーション誤差に基づいて、前記第2初期モデル内のモジュール選択パラメータを、第2反復停止回数に達するまで調整して、画像セグメンテーションモデルを取得する。
ここで、当該モジュール選択パラメータは、第1画像をセグメント化するために、当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールのうちの少なくとも1つのセグメンテーションモジュールを選択することを意思決定するために使用される。このように、第2初期モデルは、各セグメンテーション結果のセグメンテーション誤差に基づいて、モジュール選択パラメータを調整し、複数回調整された後に得られた画像セグメンテーションモデルは、第2サンプル画像のセグメンテーション結果をより正確にするためのモジュール選択方法を独自に意思決定することができる。
上記のステップ208からステップ211は、当該複数の第2サンプル画像と、トレーニングによって得られた当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールに基づいて、当該第2初期モデル内のモジュール選択パラメータを、第2反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するプロセスであり、当該モジュール選択パラメータは、第1画像をセグメント化するために、当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールのうちの少なくとも1つのセグメンテーションモジュールを選択することを意思決定するために使用され、当該プロセスは、モジュール選択パラメータをトレーニングするプロセスであり、当該モジュール選択パラメータは、トレーニングされた第1画像セグメンテーションモジュール、第2画像セグメンテーションモジュール、および当該複数の第2サンプル画像に基づいてトレーニングすることによって得られたものである。
いくつかの実施例では、当該第2反復停止回数は、交差検証の方式に基づいて決定されてもよい。具体的には、当該第2反復停止回数は、k分割交差検証の方式に基づいて決定されてもよく、例えば、5分割交差検証の方式に基づいて決定されることができ、本願実施例ではこれ以上の説明を省略する。
要約すると、当該第2初期モデルのモデルパラメータは、当該第1画像セグメンテーションモジュールのモジュールパラメータ、当該第2画像セグメンテーションモジュールのモジュールパラメータ、当該第2初期モデル内のモダリティ融合モジュールのモジュールパラメータおよびモジュール選択パラメータを含む。すると、上記のステップ202からステップ211は、複数の第2サンプル画像に基づいて、当該第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得するプロセスである。
いくつかの実施例では、上記の第2初期モデルによって第2サンプル画像をセグメント化した後、セグメンテーション結果に対してさらに後処理を実行して、最終的なセグメント化された画像を取得する。つまり、第2初期モデルは、第1セグメンテーション結果および第2セグメンテーション結果のうちの少なくとも1つのセグメンテーション結果に基づいて、第2サンプル画像に対応する第3画像を取得し、第2サンプル画像に対応する第3画像に基づいて、第2サンプル画像に対応する第2画像を最終的に出力することを決定することができ、当該第2画像は、第2サンプル画像に対応するセグメント化された画像である。具体的には、当該第2サンプル画像に対応する第3画像は、第1セグメンテーション結果に対応する画像であってもよいし、第2セグメンテーション結果に対応する画像であってもよいし、第1セグメンテーション結果および第2セグメンテーション結果を平均化または加重加算した後に得られた画像であってもよい。当該後処理プロセスは、前記ステップ203で取得された画像情報におけるターゲット領域の分布情報に基づいて実行するっことができる。
つまり、第2初期モデルは、当該第2サンプル画像に対応する第3画像内の複数のターゲット領域および当該画像情報によって指示される当該複数のターゲット領域の分布情報に基づいて、当該第2サンプル画像に対応する第3画像に対して後処理を実行して、第2サンプル画像に対応する第2画像を取得することができ、当該ターゲット領域は、当該第2サンプル画像に対応する第3画像のターゲットタイプの画素点が位置する領域であり、当該第2サンプル画像に対応する第2画像の複数のターゲット領域の分布タイプは、ターゲット領域の数およびターゲット領域のサイズ範囲は、当該複数のターゲット領域の分布情報と同じである。このように、先験知識に基づいて、当該後処理プロセスで、セグメンテーションプロセスで誤って分類された画素点をさらに修正することができ、これにより、セグメンテーション結果がより正確になる。
具体的には、当該後処理プロセスは、当該第2サンプル画像に対応する第3画像のターゲット領域の数またはサイズ範囲が当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、第2初期モデルが、当該第2サンプル画像に対応する第3画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するステップと、任意の1つのターゲット領域内に背景画素点が存在する場合、第2初期モデルが、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するステップのうちの任意の1つのまたは複数のステップを含み得る。
例えば、図7に示されるように、ターゲット領域の分布情報に従って、第1ターゲット領域および第2ターゲット領域の分布タイプが完全入れ子型である(即ち、第2ターゲット領域が第1ターゲット領域の内側にあるべきである)と決定した場合、第2サンプル画像に対応する第3画像が、第1ターゲット領域外の第2ターゲット領域が存在する場合、第1ターゲット領域外の当該第2ターゲット領域を除去する。図8に示されるように、ターゲット領域の分布情報に従って、第1ターゲット領域および第2ターゲット領域の分布タイプが完全分離型である(即ち、第2ターゲット領域が第1ターゲット領域の外側にあるべきである)と決定した場合、第2サンプル画像に対応する第3画像に、第1ターゲット領域内の第2ターゲット領域が存在する場合、当該在第1ターゲット領域内の第2ターゲット領域を第1ターゲット領域として充填する。もちろん、ターゲット領域内の画素点は前景画素点であるべきであり、第2サンプル画像に対応する第3画像のターゲット領域内に背景画素点が存在する場合、当該背景画素点を修正することができる。例えば、ヒト組織を例にとると、ヒト組織部位に空洞が存在すべきではなく、第2サンプル画像に対応する第3画像内のヒト組織部位に空洞が存在する場合、当該部分を充填することで、セグメンテーション結果を修正することができる。もちろん、他のステップを含むこともでき、本願実施例では網羅的な例挙をしない。
ここまでのプロセスで、画像セグメンテーションモデルトレーニングを完了し、トレーニングプロセス中に、画像セグメンテーションモデルは当該複数の第2サンプル画像の画像情報を取得し、当該ステップ211の後、セグメント化される第1画像を取得した場合、当該コンピュータ機器は、当該画像セグメンテーションモデルを呼び出すことができ、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第1画像をセグメント化し、第2画像を出力する。具体的には、当該画像セグメンテーションモデルが具体的にどのように第1画像をセグメント化するかは、以下の図10に示される実施例を参照することができ、セグメンテーションプロセスは、当該画像セグメンテーションモデルトレーニングプロセスのいくつかのステップと同様であり、本願実施例では繰り返して説明しない。
図9は、本願実施例による画像セグメンテーションモデルの概略構造図であり、図9を参照すると、当該画像セグメンテーションモデルは、3Dネットワーク(Net)および2Dネットワーク(Net)、即ち、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含み、ここで、3D Netは、2−stageストリーミング設計を採用することができ、粗い予測の後に精細な予測を実行することができ、つまり、大まかなセグメンテーションの後に精細なセグメンテーションを実行することができる。入力されたサンプルデータについては、サンプルデータを3D Netおよび2D Netに入力でき、2つのネットワークを通過した後に確率マップを取得した後、異なる混合戦略を使用して確率マップを融合することができ、つまり、モジュール選択パラメータをトレーニングして、単一のネットワークを選択するか、2つのネットワークを選択するかを決定することができる。もちろん、2つのネットワークよりセグメント化される前に、画像セグメンテーションモデルは、サンプルデータに対して前処理を実行することができ、2つのネットワークによりセグメント化された後、画像セグメンテーションモデルはまた、結果に対して後処理を実行して、最終的に出力するセグメント化された画像を取得することができる。
本願実施例による画像セグメンテーションモデルの汎用性が高く、医用画像セグメンテーションに適用される場合、医用画像に関連するシナリオ、即ち、ヒト組織画像に関連するシナリオに適切であり、モデルは自動的にトレーニングでき、手動でパラメータを調整することなく、ユーザがデータを提供するだけで自動的にトレーニングできる。さらに、本願実施例による画像セグメンテーションモデルは、10種の異なる医療シナリオで検証されており、すべて良好なセグメンテーション効果を有する。さらに、当該画像セグメンテーションモデルは、他の医療応用シナリオに拡張でき、医療画像への高い普遍性を備える。
本願実施例は、多種のヒト組織画像を使用して、初期モデルを事前トレーニングすることで、初期モデルがヒト組織に関する先験知識を備えるようにし、特定のヒト組織画像をセグメント化する場合、この種類のヒト組織画像を分析して、分析結果に基づいてモデルを再設計することなく、この種類のヒト組織画像に基づいて、事前トレーニングされたモデルを直接トレーニングすればよく、画像セグメンテーションモデルの汎用性、適用性、実用性を効果的に向上させることができる。さらに、当該画像セグメンテーションモデルは、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含み、3次元画像と2次元画像の両方を正確にセグメント化できるため、画像セグメンテーションモデルの汎用性、適用性、実用性がさらに向上し、画像セグメンテーションモデルのセグメンテーション精度も向上する。
上記のすべての代替的な技術的解決策を任意に組み合わせることにより、本出願の代替実施例を構成することができ、ここで詳細に説明しない。
図10は、本願実施例による画像セグメンテーション方法のフローチャートであり、当該画像セグメンテーション方法は、コンピュータ機器に適用され、当該コンピュータ機器は、上記の実施環境におけるコンピュータ機器101であってもよい。本願実施例では、主に、セグメント化される第1画像を取得した場合、当該画像セグメンテーションモデルを呼び出し、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第1画像をセグメント化し、第2画像を出力するプロセスについて詳細に説明する。本願実施例では、当該画像セグメンテーションモデルが第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含むことのみを例として説明する。図10を参照すると、当該画像セグメンテーション方法は、以下のステップを含み得る。
ステップ1001において、コンピュータ機器が、セグメント化される第1画像を取得する。
コンピュータ機器は、画像セグメンテーション操作を検出した場合に当該ステップ1001を実行し、ユーザによって導入されたセグメント化される第1画像を受信することもでき、他のコンピュータ機器によって送信される画像セグメンテーション要求を受信することもできる。当該画像セグメンテーション要求はセグメント化される第1画像を運び、当該画像セグメンテーション要求から、セグメント化される第1画像を抽出する。あるいは、当該画像セグメンテーション要求は、当該第1画像の関連情報を運ぶことができ、コンピュータ機器は、当該関連情報に基づいて、当該ステップ1001を実行することができる。もちろん、当該コンピュータ機器は、画像化原理によって、セグメント化される第1画像を取得することもできる。本願実施例は、当該セグメント化される第1画像の具体的な取得方式および取得タイミングを限定しない。
例えば、他のコンピュータ機器は、画像化原理によって、セグメント化される第1画像を取得し、当該コンピュータ機器に当該セグメント化される第1画像を送信することができ、当該コンピュータ機器は、当該セグメント化される第1画像を取得し、当該第1画像は、上記のターゲットヒト組織の画像であり得、このようにして、下記のステップを実行でき、当該ターゲットヒト組織のサンプル画像を使用してトレーニングすることで得られた画像セグメンテーションモデルを利用して、当該第1画像をセグメント化する。
ステップ1002において、コンピュータ機器が、画像セグメンテーションモデルを呼び出す。
ここで、当該画像セグメンテーションモデルは、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含む。当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールは、それぞれ、1つのタイプのセグメンテーションアルゴリズムに対応し、当該第1画像セグメンテーションモジュールは、3次元画像をセグメント化するために使用され、当該第2画像セグメンテーションモジュールは、2次元画像をセグメント化するために使用される。
当該コンピュータ機器は、画像セグメンテーションモデルを事前に記憶することができ、いくつかの実施例では、当該コンピュータ機器は、図2に示されるコンピュータ機器であり、つまり、当該コンピュータ機器に記憶された画像セグメンテーションモデルは、当該コンピュータ機器でトレーニングすることで得られたものである。いくつかの実施例では、当該コンピュータ機器は、図2に示されるコンピュータ機器ではなく、つまり、他のコンピュータ機器でトレーニングすることで画像セグメンテーションモデルを取得することができ、当該コンピュータ機器は、他のコンピュータ機器から、当該トレーニングされた画像セグメンテーションモデルを取得することができる。もちろん、当該コンピュータ機器に、画像セグメンテーションモデルが記憶されていなくてもよく、当該コンピュータ機器は、セグメント化される第1画像を取得し、第1画像をセグメント化する必要がある場合、他のコンピュータ機器から、画像セグメンテーションモデルをリアルタイムで呼び出すことができ、本願実施例はこれに限定されるものではない。
ステップ1003において、コンピュータ機器が、当該第1画像を当該画像セグメンテーションモデルに入力し、当該画像セグメンテーションモデルによって、当該第1画像の属性情報を取得する。
上記のステップ203の内容と同様に、画像セグメンテーションモデルは、第1画像の属性情報を取得でき、異なる点は、当該画像セグメンテーションモデルは、第2初期モデルではなく、トレーニング済みのモデルであり、当該画像セグメンテーションモデルを使用する場合、画像数やターゲット領域の分布情報などの情報を取得することを必要とせずに、第1画像の属性情報取得することができる。同様に、当該属性情報は、グレースケール範囲、モダリティ数、およびサイズ範囲などを含んでもよく、本願実施例はこれに限定されるものではない。
ステップ1004において、コンピュータ機器の画像セグメンテーションモデルが、当該第1画像の属性情報に基づいて、当該第1画像に対して前処理を実行する。
ステップ204の内容と同様に、当該画像セグメンテーションモデルによる第1画像の前処理プロセスは、以下の任意の1つまたは複数のステップを含み得る。
ステップ1において、当該属性情報に従って当該第1画像に異常画素点が存在すると決定した場合、画像セグメンテーションモデルは、当該異常画素点を削除する。
ステップ2において、当該属性情報に従って、異常画素点を削除した後の第1画像のグレースケール範囲がターゲット範囲を超えると決定した場合、画像セグメンテーションモデルは、当該第1画像に対して正規化処理を実行して、当該第1画像のグレースケール範囲をターゲット範囲内に調整する。
ステップ3において、当該コンピュータ機器が、当該属性情報に従って当該第1画像のチャネル数が1より大きいと決定した場合、画像セグメンテーションモデルは、当該第1画像の各画素値からターゲット画像平均値を差し引く。
ステップ4において、当該属性情報に従って、当該第1画像のモダリティ数が1より大きいと決定した場合、画像セグメンテーションモデルは、当該第1画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第1画像の複数の画素値を選別して、前処理された第1画像のターゲット数の画素値を取得し、当該前処理された第1画像のモダリティ数は1である。
当該ステップ1004におけるステップ1からステップ4は全て、上記のステップ204におけるステップ1からステップ4と同様であり、本願実施例はここで繰り返して説明しない。
ステップ1005において、コンピュータ機器の画像セグメンテーションモデルが、前処理された第1画像を当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールに入力し、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、当該第1画像をセグメント化して、第3画像を取得する。
当該第1画像のセグメント化に適用されるモジュールが、第1画像セグメンテーションモジュールのみであり得るか、または第2画像セグメンテーションモジュールのみであり得るか、または2つのモジュールであり得、この場合、画像セグメンテーションモデルは、モジュール選択パラメータに基づいて、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールを選択して、当該第1画像をセグメント化することができる。具体的には、当該ステップ1005は、以下の3つの可能なケースを含み得る。
第1のケースにおいて、画像セグメンテーションモデルは、当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第1画像セグメンテーションモジュールによって、当該第1画像をセグメント化して、第1セグメンテーション結果を取得し、当該第1セグメンテーション結果に基づいて、第3画像を取得し、当該第1セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用される。
第2のケースにおいて、画像セグメンテーションモデルは、当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第2画像セグメンテーションモジュールによって、当該第1画像をセグメント化して、第2セグメンテーション結果を取得し、当該第2セグメンテーション結果に基づいて、第3画像を取得し、当該第2セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用される。
第3のケースにおいて、画像セグメンテーションモデルは、当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールによって当該第1画像をそれぞれセグメント化して、第1セグメンテーション結果および第2セグメンテーション結果を取得し、当該第1セグメンテーション結果および第2セグメンテーション結果に基づいて、第3画像を取得する。
もちろん、第1セグメンテーション結果および第2セグメンテーション結果に基づいて、第3画像を取得するプロセスも、上記のステップ211における内容と同様であり、上記の3つのケースは、当該第3画像の3つの取得プロセスにそれぞれ対応し、当該第3画像の3つの取得プロセスは、それぞれ、当該第3画像が第1セグメンテーション結果に対応する画像である場合に対応するプロセス、当該第3画像が第2セグメンテーション結果に対応する画像である場合に対応するプロセス、当該第3画像が第1セグメンテーション結果および第2セグメンテーション結果を平均化または加重加算した後に得られた画像である場合に対応するプロセスであり、本願実施例はここで繰り返して説明しない。
上記のステップ205の内容と同様に、当該第1画像セグメンテーションモジュールによる当該第2サンプル画像のセグメンテーションプロセスは、第1画像セグメンテーションモジュールが、当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像を2回分類して、第1セグメンテーション結果を取得することであり、当該2回の分類の最初の分類の分類オブジェクトは、当該第1画像の全ての画素点であり、2番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点である。具体的には、以下のステップ1からステップ3を含み得る。
ステップ1において、第1画像セグメンテーションモジュールが、当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像の各画素点を分類して、第3セグメンテーション結果を取得し、当該第3セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用される、当該少なくとも2つのタイプは前景と背景を含み、当該前景は背景以外の任意のタイプである。
ステップ2において、第1画像セグメンテーションモジュールが、当該第3セグメンテーション結果および当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第3セグメンテーション結果における各前景画素点を分類して、第4セグメンテーション結果を取得し、当該第4セグメンテーション結果は、当該第3セグメンテーション結果内の各前景画素点が当該少なくとも2つのタイプの各タイプである確率を指示するために使用される。
ステップ3において、第1画像セグメンテーションモジュールが、当該第3セグメンテーション結果および当該第4セグメンテーション結果に基づいて、第1セグメンテーション結果を取得する。
上記のステップ205の内容と同様に、当該第2画像セグメンテーションモジュールは、当該第2サンプル画像のセグメンテーションプロセスは、以下のステップ1および2を含み得る。
ステップ1において、第2画像セグメンテーションモジュールが、当該第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像に対して特徴抽出を実行する。
ステップ2において、第2画像セグメンテーションモジュールが、抽出された特徴に基づいて、当該第1画像の各画素点を分類して、第2セグメンテーション結果を取得する。
同様に、当該第1画像の属性情報に従って、当該第1画像が3次元画像であると判断し、当該第2画像セグメンテーションモジュールによって当該第1画像をセグメント化する必要があると決定した場合、画像セグメンテーションモデルは、当該第1画像を処理して、複数の第1子画像を取得することができ、当該第1子画像は2次元画像である。これに対応して、当該第2画像セグメンテーションモジュールによる第1画像のセグメンテーションプロセスは、第2画像セグメンテーションモジュールが、当該第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像に対応する複数の第1子画像をそれぞれセグメント化して、複数の第2サブセグメンテーション結果を取得するステップと、第2画像セグメンテーションモジュールが、当該複数のサブセグメンテーション結果を融合して、第2セグメンテーション結果を取得するステップとを含む。
ステップ1006において、コンピュータ機器の画像セグメンテーションモデルが、当該画像セグメンテーションモデル内の複数の第2サンプル画像の画像情報に基づいて、当該第3画像に対して後処理を実行して、第2画像を出力する。
ステップ211における後処理プロセスと同様に、画像セグメンテーションモデルは、第3画像に対して後処理を実行することもでき、同様に、当該後処理プロセスは、画像セグメンテーションモデルが、当該第3画像内の複数のターゲット領域および当該画像情報によって指示される当該複数のターゲット領域の分布情報に基づいて、当該第3画像に対して後処理を実行して、第2画像を取得するプロセスであり、当該ターゲット領域は、当該第3画像のターゲットタイプの画素点が位置する領域であり、当該第2画像の複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲は、当該複数のターゲット領域の分布情報と同じである。
ステップ211における後処理プロセスと同様に、当該ステップ1006では、画像セグメンテーションモデルは、当該第3画像のターゲット領域の数またはサイズ範囲が、当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、画像セグメンテーションモデルが、当該第3画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するステップと、任意の1つのターゲット領域内に背景画素点が存在する場合、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するステップのうちの任意の1つまたは複数のステップを実行することができる。
上記のステップ1003からステップ1006は、当該画像セグメンテーションモデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュール、および当該画像情報に基づいて、当該第1画像をセグメント化して、第2画像を出力するプロセスであり、第2画像を取得した後、コンピュータ機器は、当該第2画像を記憶することができ、もちろん、第1画像および第2画像を対応的に記憶することもでき、当該コンピュータ機器が、他のコンピュータ機器の画像セグメンテーション要求に基づいて上記の画像セグメンテーションプロセスを実行する場合、当該第2画像を当該他のコンピュータ機器に送信することもできる。
説明を加えないといけないのは、本願実施例では、当該画像セグメンテーションモデルが第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含むことのみを例として説明したが、当該画像セグメンテーションモデルは、1つの画像セグメンテーションモジュールのみを含んでもよいし、より多くの画像セグメンテーションモジュールを含んでもよく、画像セグメンテーションプロセスは、上記のプロセスと同様であり、ここでは繰り返して説明しない。
本願実施例は、多種のヒト組織画像を使用して、初期モデルを事前トレーニングすることで、初期モデルがヒト組織に関する先験知識を備えるようにし、特定のヒト組織画像をセグメント化する場合、この種類のヒト組織画像を分析して、分析結果に基づいてモデルを再設計することなく、この種類のヒト組織画像に基づいて、事前トレーニングされたモデルを直接トレーニングすればよく、上記の方法で得られた画像セグメンテーションモデルは、この種類のヒト組織画像を正確にセグメント化することができ、画像セグメンテーション方法の汎用性、適用性、および実用性を効果的に向上させ、画像セグメンテーション方法の精度も効果的に向上させることができる。
上記のすべての代替的な技術的解決策を任意に組み合わせることにより、本出願の代替実施例を構成することができ、ここで詳細に説明しない。
本出願の各実施例における各ステップは、必ずしもステップ番号によって示される順序で順番に実行されるとは限らないことを理解されたい。本明細書で明記されていない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行できる。また、各実施例のステップの少なくとも一部は、複数のサブステップまたは複数の段階を含むことができる。これらのサブステップまたは段階は、必ずしも同時に実行される必要はなく、異なる時間に実行されてもよい。これらのサブステップまたは段階の実行順序も、必ずしも順次に実行される必要はなく、他のステップ、または他のステップのサブステップまたは段階の少なくとも一部と、順番にまたは交互に実行できる。
一実施例では、コンピュータ機器をさらに提供し、当該コンピュータ機器は、画像セグメンテーション装置を備え、画像セグメンテーション装置は各モジュールを備え、各モジュールは、全体的または部分的に、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現できる。
図11は、本願実施例による画像セグメンテーション装置の概略構造図であり、図11を参照すると、当該装置は、トレーニングモジュール1101と、セグメンテーションモジュール1102と、を備え、
当該トレーニングモジュール1101は、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するように構成され、当該複数の第1サンプル画像は、多種のヒト組織画像を含み、当該第2初期モデルは、当該多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
当該トレーニングモジュール1101は、さらに、複数の第2サンプル画像に基づいて、当該第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、当該画像セグメンテーションモデルが、当該複数の第2サンプル画像の画像情報を取得するように構成され、当該複数の第2サンプル画像は、ターゲットヒト組織の画像であり、当該複数の第2サンプル画像の画像情報は、少なくとも、当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
当該セグメンテーションモジュール1102は、セグメント化される第1画像を取得した場合、当該画像セグメンテーションモデルを呼び出し、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第1画像をセグメント化し、第2画像を出力するように構成される。
当該トレーニングモジュール1101は、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するように構成され、当該複数の第1サンプル画像は、多種のヒト組織画像を含み、当該第2初期モデルは、当該多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
当該トレーニングモジュール1101は、さらに、複数の第2サンプル画像に基づいて、当該第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、当該画像セグメンテーションモデルが、当該複数の第2サンプル画像の画像情報を取得するように構成され、当該複数の第2サンプル画像は、ターゲットヒト組織の画像であり、当該複数の第2サンプル画像の画像情報は、少なくとも、当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
当該セグメンテーションモジュール1102は、セグメント化される第1画像を取得した場合、当該画像セグメンテーションモデルを呼び出し、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第1画像をセグメント化し、第2画像を出力するように構成される。
いくつかの実施例では、当該第1初期モデル、当該第2初期モデル、および当該画像セグメンテーションモデルは全て、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含み、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールは、それぞれ、1つのタイプのセグメンテーションアルゴリズムに対応し、当該第1画像セグメンテーションモジュールは、3次元画像をセグメント化するために使用され、当該第2画像セグメンテーションモジュールは、2次元画像をセグメント化するために使用され、
対応的に、当該セグメンテーションモジュール1102は、当該画像セグメンテーションモデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュール、および当該画像情報に基づいて、当該第1画像をセグメント化して、第2画像を出力するように構成される。
対応的に、当該セグメンテーションモジュール1102は、当該画像セグメンテーションモデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュール、および当該画像情報に基づいて、当該第1画像をセグメント化して、第2画像を出力するように構成される。
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該第1画像の属性情報に基づいて、当該第1画像に対して前処理を実行し、
前処理された第1画像を当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールに入力し、当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、当該第1画像をセグメント化して、第3画像を取得し、
当該画像情報に基づいて、当該第3画像に対して後処理を実行して、第2画像を出力するように構成される。
当該第1画像の属性情報に基づいて、当該第1画像に対して前処理を実行し、
前処理された第1画像を当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールに入力し、当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、当該第1画像をセグメント化して、第3画像を取得し、
当該画像情報に基づいて、当該第3画像に対して後処理を実行して、第2画像を出力するように構成される。
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該属性情報に従って、当該第1画像に異常画素点が存在すると決定した場合、当該異常画素点を削除し、
当該属性情報に従って、異常画素点を削除した後の第1画像のグレースケール範囲がターゲット範囲を超えると決定した場合、当該第1画像に対して正規化処理を実行して、当該第1画像のグレースケール範囲をターゲット範囲内に調整し、
当該属性情報に従って当該第1画像のチャネル数が1より大きいと決定した場合、当該第1画像の各画素値からターゲット画像平均値を差し引き、
当該属性情報に従って当該第1画像のモダリティ数が1より大きいと決定した場合、当該第1画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第1画像の複数の画素値を選別して、前処理された第1画像のターゲット数の画素値を取得するように構成され、当該前処理された第1画像のモダリティ数は1である。
当該属性情報に従って、当該第1画像に異常画素点が存在すると決定した場合、当該異常画素点を削除し、
当該属性情報に従って、異常画素点を削除した後の第1画像のグレースケール範囲がターゲット範囲を超えると決定した場合、当該第1画像に対して正規化処理を実行して、当該第1画像のグレースケール範囲をターゲット範囲内に調整し、
当該属性情報に従って当該第1画像のチャネル数が1より大きいと決定した場合、当該第1画像の各画素値からターゲット画像平均値を差し引き、
当該属性情報に従って当該第1画像のモダリティ数が1より大きいと決定した場合、当該第1画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第1画像の複数の画素値を選別して、前処理された第1画像のターゲット数の画素値を取得するように構成され、当該前処理された第1画像のモダリティ数は1である。
いくつかの実施例では、当該セグメンテーションモジュール1102は、当該第3画像内の複数のターゲット領域および和当該画像情報によって指示される当該複数のターゲット領域の分布情報に基づいて、当該第3画像に対して後処理を実行して、第2画像を取得するように構成され、当該ターゲット領域は、当該第3画像のターゲットタイプの画素点が位置する領域であり、当該第2画像の複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲は、当該複数のターゲット領域の分布情報と同じである。
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該第3画像のターゲット領域の数またはサイズ範囲が、当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、当該第3画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するか、または、
任意の1つのターゲット領域内に背景画素点が存在する場合、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するように構成される。
当該第3画像のターゲット領域の数またはサイズ範囲が、当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、当該第3画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するか、または、
任意の1つのターゲット領域内に背景画素点が存在する場合、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するように構成される。
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第1画像セグメンテーションモジュールによって、当該第1画像をセグメント化して、第1セグメンテーション結果を取得し、当該第1セグメンテーション結果に基づいて、第3画像を取得するように構成され、当該第1セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用され、または、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第2画像セグメンテーションモジュールによって、当該第1画像をセグメント化して、第2セグメンテーション結果を取得し、当該第2セグメンテーション結果に基づいて、第3画像を取得するように構成され、当該第2セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用され、または、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールによって当該第1画像をそれぞれセグメント化して、第1セグメンテーション結果および第2セグメンテーション結果を取得し、当該第1セグメンテーション結果および第2セグメンテーション結果に基づいて、第3画像を取得するように構成される。
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第1画像セグメンテーションモジュールによって、当該第1画像をセグメント化して、第1セグメンテーション結果を取得し、当該第1セグメンテーション結果に基づいて、第3画像を取得するように構成され、当該第1セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用され、または、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第2画像セグメンテーションモジュールによって、当該第1画像をセグメント化して、第2セグメンテーション結果を取得し、当該第2セグメンテーション結果に基づいて、第3画像を取得するように構成され、当該第2セグメンテーション結果は、当該第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用され、または、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールによって当該第1画像をそれぞれセグメント化して、第1セグメンテーション結果および第2セグメンテーション結果を取得し、当該第1セグメンテーション結果および第2セグメンテーション結果に基づいて、第3画像を取得するように構成される。
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像を2回分類して、第1セグメンテーション結果を取得するように構成され、当該2回の分類における最初の分類の分類オブジェクトは、当該第1画像の全ての画素点であり、2番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点であり、
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像に対して特徴抽出を実行し、
抽出された特徴に基づいて、当該第1画像の各画素点を分類して、第2セグメンテーション結果を取得するように構成される。
当該第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像を2回分類して、第1セグメンテーション結果を取得するように構成され、当該2回の分類における最初の分類の分類オブジェクトは、当該第1画像の全ての画素点であり、2番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点であり、
いくつかの実施例では、当該セグメンテーションモジュール1102は、
当該第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第1画像に対して特徴抽出を実行し、
抽出された特徴に基づいて、当該第1画像の各画素点を分類して、第2セグメンテーション結果を取得するように構成される。
いくつかの実施例では、当該トレーニングモジュール1101は、
当該複数の第2サンプル画像に基づいて、当該第2初期モデル内の当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールを、第1反復停止回数に達するまでトレーニングして、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのモジュールパラメータを取得し、
当該複数の第2サンプル画像と、トレーニングによって得られた当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールに基づいて、当該第2初期モデル内のモジュール選択パラメータを、第2反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するように構成され、当該モジュール選択パラメータは、第1画像をセグメント化するために、当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールのうちの少なくとも1つのセグメンテーションモジュールを選択することを意思決定するために使用される。
当該複数の第2サンプル画像に基づいて、当該第2初期モデル内の当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールを、第1反復停止回数に達するまでトレーニングして、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのモジュールパラメータを取得し、
当該複数の第2サンプル画像と、トレーニングによって得られた当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールに基づいて、当該第2初期モデル内のモジュール選択パラメータを、第2反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するように構成され、当該モジュール選択パラメータは、第1画像をセグメント化するために、当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールのうちの少なくとも1つのセグメンテーションモジュールを選択することを意思決定するために使用される。
いくつかの実施例では、当該画像情報は、各第2サンプル画像の属性情報をさらに含み、
対応的に、当該トレーニングモジュール1101は、さらに、当該各第2サンプル画像の属性情報に基づいて、各第2サンプル画像に対して前処理を実行して、前処理された複数の第2サンプル画像を当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールに入力するように構成される。
対応的に、当該トレーニングモジュール1101は、さらに、当該各第2サンプル画像の属性情報に基づいて、各第2サンプル画像に対して前処理を実行して、前処理された複数の第2サンプル画像を当該第1画像セグメンテーションモジュールおよび当該第2画像セグメンテーションモジュールに入力するように構成される。
いくつかの実施例では、当該第1画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第1セグメンテーション誤差に基づいて調整することで得られたものであり、当該第1セグメンテーション誤差は、当該第1画像セグメンテーションモジュールに対応する第1セグメンテーション結果のセグメンテーション誤差であり、当該第1セグメンテーション誤差の取得プロセスは、第1損失関数を採用することによって実現され、当該第1損失関数における画素点の各タイプの重みは、当該複数の第2サンプル画像における、当該複数の第2サンプル画像の画像情報における当該タイプの画素点の比率に基づいて決定され、
当該第2画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第2セグメンテーション誤差に基づいて調整することで得られたものであり、当該第2セグメンテーション誤差は、当該第2画像セグメンテーションモジュールに対応する第2セグメンテーション結果のセグメンテーション誤差であり、当該第2セグメンテーション誤差の取得プロセスは、第2損失関数を採用することによって実現され、当該第2損失関数の重みは、オンラインハードサンプルマイニング(OHEM) アルゴリズムに基づいて決定され、
当該第1反復停止回数および当該第2反復停止回数は、交差検証の方式に基づいて決定される。
当該第2画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第2セグメンテーション誤差に基づいて調整することで得られたものであり、当該第2セグメンテーション誤差は、当該第2画像セグメンテーションモジュールに対応する第2セグメンテーション結果のセグメンテーション誤差であり、当該第2セグメンテーション誤差の取得プロセスは、第2損失関数を採用することによって実現され、当該第2損失関数の重みは、オンラインハードサンプルマイニング(OHEM) アルゴリズムに基づいて決定され、
当該第1反復停止回数および当該第2反復停止回数は、交差検証の方式に基づいて決定される。
いくつかの実施例では、当該画像情報は、当該複数の第2サンプル画像の画像数をさらに含み、
対応的に、当該トレーニングモジュール1101は、さらに、当該画像数に基づいて、当該第2画像セグメンテーションモジュールとして当該画像数に対応する画像セグメンテーションサブモジュールを取得してトレーニングするように構成され、当該第2画像セグメンテーションモジュールは、少なくとも1つの画像セグメンテーションサブモジュールを含み、異なる画像セグメンテーションサブモジュールは異なる深さを有する。
対応的に、当該トレーニングモジュール1101は、さらに、当該画像数に基づいて、当該第2画像セグメンテーションモジュールとして当該画像数に対応する画像セグメンテーションサブモジュールを取得してトレーニングするように構成され、当該第2画像セグメンテーションモジュールは、少なくとも1つの画像セグメンテーションサブモジュールを含み、異なる画像セグメンテーションサブモジュールは異なる深さを有する。
本願実施例による装置は、多種のヒト組織画像を使用して、初期モデルを事前トレーニングすることで、初期モデルがヒト組織に関する先験知識を備えるようにし、特定のヒト組織画像をセグメント化する場合、この種類のヒト組織画像を分析して、分析結果に基づいてモデルを再設計することなく、この種類のヒト組織画像に基づいて、事前トレーニングされたモデルを直接トレーニングすればよく、上記の方法で得られた画像セグメンテーションモデルは、この種類のヒト組織画像を正確にセグメント化することができ、画像セグメンテーション方法の汎用性、適用性、および実用性を効果的に向上させ、画像セグメンテーション方法の精度も効果的に向上させることができる。
説明を加えないといけないのは、上記の実施例で提供される画像セグメンテーション装置が画像をセグメント化する場合、上記の各機能モジュールの分割のみを例に挙げて説明したが、実際の応用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了させることができ、つまり、コンピュータ機器の内部構造を異なる機能モジュールに分割することにより、以上で説明された機能の全部または一部を完了することができる。なお、上記の実施例によって提供される画像セグメンテーション装置は、画像セグメンテーション方法の実施例と同じ構想に属し、その具体的な実現プロセスについては、方法の実施例を参照でき、ここでは繰り返して説明しない。
上記のコンピュータ機器は、図12に示される端末として提供されてもよいし、図13に示されるサーバとして提供されてもよいが、本願実施例はこれに限定されるものではない。
図12は、本願実施例による端末の構造の概略図である。当該端末1200は、スマートフォン、タブレットコンピュータ、MP3(Moving Picture Experts Group Audio Layer III、動画エキスパート圧縮標準オーディオレイヤ3)プレーヤ、MP4(Moving Picture Experts Group Audio Layer IV、動画エキスパート圧縮標準オーディオレイヤ4)プレーヤ、ラップトップ、またはデスクトップコンピュータであり得る。当該端末1200はまた、ユーザ機器、携帯端末、ラップトップ端末、デスクトップ端末などの他の名前で呼ばれることができる。
通常、端末1200は、プロセッサ1201とメモリ1202を備える。
プロセッサ1201は、4コアプロセッサ、8コアプロセッサなどのような1つまたは複数の処理コアを含み得る。プロセッサ1201は、デジタル信号プロセッサ(DSP:Digital Signal Processor)、フィールドプログラマブルゲートアレイ(FPGA:Field Programmable Gate Array)、およびプログラマブル論理アレイ(PLA:Programmable Logic Array)のうちの少なくとも1つのハードウェア形式で実現されることができる。プロセッサ1201はまた、メインプロセッサおよびコプロセッサを含み得る。メインプロセッサは、アクティブ状態でデータを処理するために使用されるプロセッサであり、CPU(Central Processing Unit、中央処理装置)とも呼ばれる。コプロセッサは、低電力プロセッサであり、待機状態でデータを処理するために使用される。いくつかの実施例では、プロセッサ1201は、GPU(Graphics Processing Unit、画像プロセッサ)と統合されてもより、GPUは、表示画面に表示される必要があるコンテンツをレンダリングおよび描画するために使用される。いくつかの実施例では、プロセッサ1201は、AI(Artificial Intelligence、人工知能)プロセッサをさらに備えてもよく、当該AIプロセッサは、機械学習に関連する計算操作を処理するために使用される。
メモリ1202は、1つまたは複数のコンピュータ可読記憶媒体を含んでもよく、当該コンピュータ可読記憶媒体は非一時的であり得る。メモリ1202はまた、高速ランダムアクセスメモリおよび不揮発性メモリ、例えば、1つまたは複数の磁気ディスク記憶装置、フラッシュメモリ記憶装置を含んでもよい。いくつかの実施例では、メモリ1202内の非一時的なコンピュータ可読記憶媒体は、少なくとも1つの命令を記憶するために使用され、当該少なくとも1つの命令は、プロセッサ1201によって実行されることにより、本出願の方法の実施例による画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法を実現するために使用される。
いくつかの実施例では、端末1200は、任意選択で、周辺機器インターフェース1203および少なくとも1つの周辺機器をさらに含むことができる。プロセッサ1201、メモリ1202、および周辺機器インターフェース1203は、バスまたは信号線によって接続されることができる。各周辺機器は、バス、信号線、または回路基板を介して周辺機器インターフェース1203に接続することができる。具体的には、周辺機器は、無線周波数回路1204、タッチスクリーン1205、カメラ1206、オーディオ回路1207、位置決めコンポーネント1208、および電源1209のうちの少なくとも1つを含む。
周辺機器インターフェース1203は、I / O(Input /Output、入力/出力)に関連する少なくとも1つの周辺機器をプロセッサ1201およびメモリ1202に接続するために使用されることができる。いくつかの実施例では、プロセッサ1201、メモリ1202、および周辺機器インターフェース1203は、同一のチップまたは回路基板に統合されてもよく、他のいくつかの実施例では、プロセッサ1201、メモリ1202、および周辺機器インターフェース1203のいずれか1つまたは2つは、別個のチップまたは回路基板に実装されてもよく、本実施例はこれを限定しない。
無線周波数回路1204は、電磁信号とも呼ばれるRF(Radio Frequency、無線周波数)信号を送受信するために使用される。無線周波数回路1204は、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信する。無線周波数回路1204は、電気信号を電磁信号に変換して送信するか、または受信した電磁信号を電気信号に変換する。例示的に、無線周波数回路1204は、アンテナシステム、RFトランシーバ、1つまたは複数の増幅器、同調器、発振器、デジタル信号プロセッサ、コーデックチップセット、ユーザ識別モジュールカードなどを含んでもよい。無線周波数回路1204は、少なくとも1つの無線通信プロトコルを介して他の端末と通信することができる。当該無線通信プロトコルは、メトロポリタンエリアネットワーク、各世代のモバイル通信ネットワーク(2G、3G、4G、および5G)、ワイヤレスローカルエリアネットワーク、および/またはWiFi(Wireless Fidelity、ワイヤレスフィデリティ)ネットワークを含むが、これらに限定されない。いくつかの実施例では、無線周波数回路1204は、NFC(Near Field Communication、近距離無線通信)に関連する回路をさらに含んでもよいが、本出願はこれを限定しない。
表示画面1205は、UI(User Interface、ユーザインターフェース)を表示するために使用される。当該UIは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含むことができる。表示画面1205がタッチスクリーンである場合、表示画面1205はまた、表示画面1205の表面上またはその上でタッチ信号を収集する能力を有する。当該タッチ信号は、処理のための制御信号としてプロセッサ1201に入力することができる。この場合、表示画面1205はまた、仮想ボタンおよび/または仮想キーボード(ソフトボタンおよび/またはソフトキーボードとも呼ばれる)を提供するために使用されることができる。いくつかの実施例では、端末1200のフロントパネルに配置された1つの表示画面1205があり得る。別のいくつかの実施例では、少なくとも2つの表示画面1205があり得、当該少なくとも2つの表示画面はそれぞれ、端末1200の異なる表面上に配置されるか、または折り畳み設計を有する。いくつかの実施例では、表示画面1205は、端末1200の曲面または折り畳み面に配置された可撓性表示画面であり得る。さらに、表示画面1205は、非長方形の不規則なパターン、すなわち、特殊な形状の画面として設定することもできる。表示画面1205は、LDC(Liquid Crystal Display、液晶ディスプレイ)、OLED(Organic Light−Emitting Diode、有機発光ダイオード)などの材料で作ることができる。
カメラコンポーネント1206は、画像またはビデオをキャプチャするために使用される。例示的に、カメラコンポーネント1206は、フロントカメラおよびリアカメラを含んでもよい。通常、フロントカメラは、端末のフロントパネルに配置され、リアカメラは端末の背面に配置される。いくつかの実施例では、リアカメラは少なくとも2つであり、それぞれがメインカメラ、被写界深さカメラ、広角カメラ、および望遠カメラのうちの1つであり、メインカメラと被写界深さカメラの融合により背景ぼけ機能を実現し、メインカメラと広角カメラの融合により、パノラマ撮影およびVR(Virtual Reality、仮想現実)撮影機能または他の融合撮影機能を実現する。いくつかの実施例では、カメラコンポーネント1206はさらに、フラッシュを備えてよい。フラッシュは、単色温度フラッシュまたは二色温度フラッシュであり得る。二色温度フラッシュは、暖光フラッシュと冷光フラッシュの組み合わせを指し、異なる色温度での光補正に使用できる。
オーディオ回路1207は、マイクロフォンおよびスピーカを含み得る。マイクロフォンは、ユーザおよび環境の音波を収集し、音波を電気信号に変換して、プロセッサ1201に入力して処理するために使用されるか、または無線周波数回路1204に入力して音声通信を実現するために使用される。立体音響収集またはノイズ低減の目的で、複数のマイクロフォンがあり得、それらはそれぞれ、端末1200の異なる部分に設定される。マイクロフォンはまた、アレイマイクロフォンまたは全方向収集型マイクロフォンであってもよい。スピーカは、プロセッサ1201または無線周波数回路1204からの電気信号を音波に変換するために使用される。スピーカは、従来の薄膜スピーカまたは圧電セラミックスピーカであり得る。スピーカが圧電セラミックスピーカである場合、電気信号を人間の可聴音波に変換するだけでなく、距離測定などの目的で電気信号を人間の非可聴音波に変換することもできる。いくつかの実施例では、オーディオ回路1207はまた、ヘッドホンジャックを含み得る。
位置決めコンポーネント1208は、端末1200の現在の地理位置を位置決めして、ナビゲーションまたはLBS(Location Based Service、ロケーションベースサービス)を実現するために使用される。位置決めコンポーネント1208は、米国のGPS(Global Positioning System、グローバルポジショニングシステム)、中国の北斗システム、ロシアのグレナスシステム、または欧州連合のガリレオシステムに基づく位置決めコンポーネントであり得る。
電源1209は、端末1200内の各コンポーネントに電力を供給するために使用される。電源1209は、交流、直流、使い捨て電池または充電式電池であり得る。電源1209が充電式電池を含む場合、当該充電式電池は、有線充電または無線充電をサポートすることができる。充電式電池は、急速充電技術をサポートすることもできる。
いくつかの実施例では、端末1200は、さらに、1つまたは複数のセンサ1210を備えてもよい。当該1つまたは複数のセンサ1210は、加速度センサ1211、ジャイロスコープセンサ1212、圧力センサ1213、指紋センサ1214、光学センサ1215、および近接センサ1216を含むが、これらに限定されない。
加速度センサ1211は、端末1200によって確立された座標系の3つの座標軸上の加速度の大きさを検出することができる。例えば、加速度センサ1211は、3つの座標軸上の重力加速度の成分を検出するために使用されることができる。プロセッサ1201は、加速度センサ1211によって収集された重力加速度信号に従って、タッチスクリーン1205を制御して、水平ビューまたは垂直ビューでユーザインターフェースを表示することができる。加速度センサ1211はまた、ゲームまたはユーザの運動データの収集に使用することができる。
ジャイロスコープセンサ1212は、端末1200の本体方向および回転角を検出することができ、ジャイロスコープセンサ1212は、加速度センサ1211と協調して、端末1200上でのユーザの3Dアクションを収集することができる。プロセッサ1201は、ジャイロスコープセンサ1212によって収集されたデータに従って、モーションセンシング(例えば、ユーザの傾斜操作に従ってUIを変更する)、撮影中の画像安定化、ゲーム制御、および慣性航法などの機能を実現することができる。
圧力センサ1213は、端子1200のサイドフレームおよび/またはタッチスクリーン1205の下層に設けられることができる。圧力センサ1213が端末1200のサイドフレームに設けられる場合、端末1200のユーザの握持信号を検出することができ、プロセッサ1201は、圧力によって収集された握持信号に従って、左手および右手認識またはショートカット操作を実行することができる。圧力センサ1213がタッチスクリーン1205の下層に設けられる場合、プロセッサ1201は、タッチスクリーン1205でのユーザの圧力操作に従って、UIインターフェース上の操作性コントロールを制御することができる。操作性コントロールは、ボタンコントロール、スクロールバコントロール、アイコンコントロール、およびメニューコントロールのうちの少なくとも1つを含む。
指紋センサ1214は、ユーザの指紋を収集するために使用される。プロセッサ1201は、指紋センサ1214によって収集された指紋に従ってユーザのアイデンティティを認識するか、または指紋センサ1214は、収集された指紋に従ってユーザのアイデンティティを認識する。ユーザのアイデンティティが信頼できるアイデンティティであることが認識されると、プロセッサ1201は、画面のロック解除、暗号化された情報の表示、ソフトウェアのダウンロード、支払い、および設定の変更などを含む、関連する機密操作を実行することをユーザに許可する。指紋センサ1214は、端末1200の前面、背面、または側面に設けられことができる。端末1200に物理的ボタンまたは製造業者のロゴが設けられている場合、指紋センサ1214は、物理的ボタンまたは製造業者のロゴと統合することができる。
光学センサ1215は、周囲光強度を収集するために使用される。一実施例では、プロセッサ1201は、光学センサ1215によって収集された周囲光の強度に従って、タッチスクリーン1205の表示輝度を制御することができる。具体的には、周囲光強度が高い場合、タッチスクリーン1205の表示輝度が増加し、周囲光強度が低い場合、タッチスクリーン1205の表示輝度が低下する。別の実施例では、プロセッサ1201はまた、光学センサ1215によって収集された周囲光の強度に従って、カメラコンポーネント1206の撮影パラメータを動的に調整することができる。
近接センサ1216は、距離センサとも呼ばれ、通常、端末1200のフロントパネルに設けられる。近接センサ1216は、ユーザと端末1200の前面との間の距離を収集するために使用される。一実施例では、近接センサ1216が、ユーザと端末1200の前面との間の距離が徐々に減少することを検出する場合、プロセッサ1201は、タッチスクリーン1205を制御して、スクリーンオン状態からスクリーンオフ状態に切り替える。近接センサ1216は、ユーザと端末1200の前面との間の距離が徐々に増加することを検出する場合、プロセッサ1201は、タッチスクリーン1205を制御して、スクリーンオフ状態からスクリーンオン状態に切り替える。
当業者なら自明であるが、図12に示される構造は、端子1200への限定を構成せず、図に示されるよりも多いまたは少ないコンポーネントを含むか、特定のコンポーネントを組み合わせるか、または異なるコンポーネント配置を採用することができる。図13は、本願実施例によるサーバの概略構造図である。当該サーバ1300は、構成又は性能により比較的大きな違いを有することができ、1つまたは複数のプロセッサ(CPU:central processing units)1301と1つまたは複数のメモリ1302とを備えてもよい。ここで、当該メモリ1302に少なくとも1つの命令が記憶されており、当該少なくとも1つの命令は、当該プロセッサ1301によりロードされて実行されることにより、上記の各方法の実施例による画像セグメンテーション方法またはセグメンテーションモデルトレーニング方法を実現する。勿論、当該サーバは、入力出力を行うために、有線または無線ネットワークインターフェース、キーボード、および入力出力インターフェース等のコンポーネントを備えてもよく、当該サーバは、さらに、装置の機能を実現するための他のコンポーネントを備えてもよいが、ここでは詳細な説明を省略する。
上記のコンピュータ機器は、図14に示されるサーバとして提供されてもよいし、図15に示される端末として提供されてもよいが、本願実施例はこれに限定されるものではない。
上記のコンピュータ機器は、図14に示されるサーバとして提供されてもよい。図14に示されるように、当該サーバは、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、およびデータベースを備えてもよい。ここで、当該コンピュータ機器のプロセッサは、計算機能と制御機能を提供できる。当該コンピュータ機器のメモリは、不揮発性記憶媒体および内部メモリを含む。当該不揮発性記憶媒体に、オペレーティングシステムおよびコンピュータプログラムが記憶されている。当該不揮発性記憶媒体に、オペレーティングシステムおよびコンピュータプログラムが記憶されている。当該コンピュータ機器のデータベースは、画像データを記憶するために使用される。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信できる。当該コンピュータプログラムがプロセッサによって実行されるときに、画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法を実現する。
上記のコンピュータ機器は、図15に示される端末として提供されてもよい。図15に示されるように、当該端末は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、表示画面および入力装置を備えてもよい。ここで、当該コンピュータ機器のプロセッサは、計算機能と制御機能を提供できる。当該コンピュータ機器のメモリは、不揮発性記憶媒体および内部メモリを含む。当該不揮発性記憶媒体に、オペレーティングシステムおよびコンピュータプログラムが記憶されている。当該内部メモリは、不揮発性記憶媒体に記憶されたオペレーティングシステムおよびコンピュータプログラムの動作のための環境を提供する。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信できる。当該コンピュータプログラムがプロセッサによって実行されるときに、画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法を実現する。当該コンピュータ機器の表示画面は、液晶表示画面であってもよいし、電子インク表示画面であってもよい。当該コンピュータ機器の入力装置は、表示画面に覆われたタッチ層であってもよいし、コンピュータ機器のハウジングに設けられたボタン、トラックボールまたはタッチパッドであってもよいし、外部接続されたキーボード、タッチパッドまたはマウスなどであってもよい。
当業者なら自明であるが、図14および図15に示される構造は、本願の解決策に関連する構造の一部のブロック図に過ぎず、本願の解決策が適用されるサーバと端末に対する限定を構成しない。具体的なサーバと端末は、図に示されるよりも多いまたは少ないコンポーネントを含んでもよいか、または特定のコンポーネントを組み合わせてもよいか、または異なるコンポーネント配置を有してもよい。
一実施例では、本願で提供される画像セグメンテーション装置は、コンピュータ可読命令の形で実現されてもよく、コンピュータ可読命令は、図14に示されるサーバで実行されてもよいし、図15に示される端末で実行されてもよい。サーバまたは端末のメモリは、当該画像セグメンテーション装置を構成する各プログラムモジュール、例えば、トレーニングモジュール1101およびセグメンテーションモジュール1102を記憶することができる。各プログラムモジュールで構成されるコンピュータ可読命令は、プロセッサに、本明細書で説明される本願の各実施例の画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法におけるステップを実行させる。
本願実施例は、コンピュータ可読命令が記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータ可読命令がプロセッサによって実行されるときに、上記の実施例の画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法における動作を実現する。
当業者なら自明であるが、上述の実施例における各方法において、その全部又は一部のプロセスが、関連のハードウェアに、コンピュータプログラムによる命令で、実行されることができる。当該プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されるときに、上述した各方法の実施例におけるプロセスを実行することができる。ここで、本願の各実施例で任意引用するメモリ、ストレージ、データベースまたは他の媒体は、すべて不揮発性および/または揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ(ROM)、プログラム可能な読み取り専用メモリ(PROM)、電気的なプログラムが可能なROM(EPROM)、電気的な消去/プログラムが可能なROM(EEPROM)またはフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ(RAM)または外部キャッシュメモリを含んでもよい。限定的ではない例として、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、同期DRAM(SDRAM)、ダブルデータレートSDRAM(DDRSDRAM)、拡張型SDRAM(ESDRAM)、同期接続(Synchlink)DRAM(SLDRAM)、メモリバス(Rambus)ダイレクトRAM(RDRAM)、ダイレクトメモリバスダイナミックRAM(DRDRAM)、およびメモリバス(Rambus)ダイナミックRAM(RDRAM)など、様々な形のRAMが利用可能であり得る。
当業者は、明細書を参照して、本明細書に開示される発明を実施した後、本出願の他の実施形態を容易に想到し得るであろう。本出願は、本出願の任意の変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本出願の普通の原理に準拠し、本出願に開示されていない本技術分野における公知常識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本発明の真の範囲及び思想は添付の特許請求の範囲によって示される。
本発明は、前述に既に説明し、図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正および変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。
Claims (17)
- 画像セグメンテーション方法であって、
コンピュータ機器が、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するステップであって、前記複数の第1サンプル画像は、多種のヒト組織画像を含み、前記第2初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
前記コンピュータ機器が、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第2サンプル画像の画像情報を取得するステップであって、前記複数の第2サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第2サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
セグメント化される第1画像を取得した場合、前記コンピュータ機器が、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力するステップと、含む、画像セグメンテーション方法。 - 前記第1初期モデル、前記第2初期モデル、および前記画像セグメンテーションモデルは全て、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールを含み、前記第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールは、それぞれ、1つのタイプのセグメンテーションアルゴリズムに対応し、前記第1画像セグメンテーションモジュールは、3次元画像をセグメント化するために使用され、前記第2画像セグメンテーションモジュールは、2次元画像をセグメント化するために使用され、
前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力する前記ステップは、
前記コンピュータ機器が、前記画像セグメンテーションモデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュール、および前記画像情報に基づいて、前記第1画像をセグメント化して、第2画像を出力するステップを含むことを特徴とする、
請求項1に記載の画像セグメンテーション方法。 - 前記画像セグメンテーションモデル内の第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュール、および前記画像情報に基づいて、前記第1画像をセグメント化して、第2画像を出力する前記ステップは、
前記コンピュータ機器が、前記第1画像の属性情報に基づいて前記第1画像に対して前処理を実行するステップと、
前記コンピュータ機器が、前処理された第1画像を前記第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールに入力し、前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、前記第1画像をセグメント化して、第3画像を取得する、ステップと、
前記コンピュータ機器が、前記画像情報に基づいて前記第3画像に対して後処理を実行して、第2画像を出力するステップと、を含むことを特徴とする、
請求項2に記載の画像セグメンテーション方法。 - 前記コンピュータ機器が、前記第1画像の属性情報に基づいて前記第1画像に対して前処理を実行する前記ステップは、
前記属性情報に従って前記第1画像に異常画素点が存在すると決定した場合、前記コンピュータ機器は、前記異常画素点を削除するステップと、
前記属性情報に従って、異常画素点を削除した後の第1画像のグレースケール範囲がターゲット範囲を超えると決定した場合、前記コンピュータ機器は、前記第1画像に対して正規化処理を実行して、前記第1画像のグレースケール範囲をターゲット範囲内に調整するステップと、
前記属性情報に従って前記第1画像のチャネル数が1より大きいと決定した場合、前記コンピュータ機器は、前記第1画像の各画素値からターゲット画像平均値を差し引くステップと、
前記属性情報に従って前記第1画像のモダリティ数が1より大きいと決定した場合、前記コンピュータ機器は、前記第1画像をモダリティ融合モジュールに入力し、前記モダリティ融合モジュールによって、前記第1画像の複数の画素値を選別して、前処理された第1画像のターゲット数の画素値を取得するステップであって、前記前処理された第1画像のモダリティ数は1である、ステップと、を含むことを特徴とする、
請求項3に記載の画像セグメンテーション方法。 - 前記コンピュータ機器が、前記画像情報に基づいて前記第3画像に対して後処理を実行して、第2画像を出力する前記ステップは、
前記コンピュータ機器が、前記第3画像内の複数のターゲット領域および前記画像情報によって指示される前記複数のターゲット領域の分布情報に基づいて、前記第3画像に対して後処理を実行して、第2画像を取得するステップを含み、ターゲット領域は、前記第3画像のターゲットタイプの画素点が位置する領域であり、前記第2画像の複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲は、前記複数のターゲット領域の分布情報と同じである、ことを特徴とする、
請求項3または4に記載の画像セグメンテーション方法。 - 前記コンピュータ機器が、前記第3画像内の複数のターゲット領域および前記画像情報によって指示される前記複数のターゲット領域の分布情報に基づいて、前記第3画像に対して後処理を実行する前記ステップは、
前記第3画像のターゲット領域の数またはサイズ範囲が、前記画像情報によって指示される前記複数のターゲット領域の数またはサイズ範囲と異なる場合、前記コンピュータ機器は、前記第3画像から、前記複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するステップを含むことを特徴とする、
請求項5に記載の画像セグメンテーション方法。 - 前記コンピュータ機器が、前記第3画像内の複数のターゲット領域および前記画像情報によって指示される前記複数のターゲット領域の分布情報に基づいて、前記第3画像に対して後処理を実行する前記ステップは、
任意の1つのターゲット領域内に背景画素点が存在する場合、前記コンピュータ機器は、前記背景画素点を前記ターゲット領域に対応するターゲットタイプの画素点に変更するステップを含むことを特徴とする、
請求項5に記載の画像セグメンテーション方法。 - 前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、前記第1画像をセグメント化して、第3画像を取得する前記ステップは、
前記コンピュータ機器が、前記画像セグメンテーションモデルのモジュール選択パラメータに基づいて、前記第1画像セグメンテーションモジュールによって、前記第1画像をセグメント化して、第1セグメンテーション結果を取得し、前記第1セグメンテーション結果に基づいて、第3画像を取得するステップを含み、前記第1セグメンテーション結果は、前記第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用される、ことを特徴とする、
請求項3ないし7のいずれか一項に記載の画像セグメンテーション方法。 - 前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、前記第1画像をセグメント化して、第3画像を取得する前記ステップは、
前記コンピュータ機器が、前記画像セグメンテーションモデルのモジュール選択パラメータに基づいて、前記第2画像セグメンテーションモジュールによって、前記第1画像をセグメント化して、第2セグメンテーション結果を取得し、前記第2セグメンテーション結果に基づいて、第3画像を取得するステップを含み、前記第2セグメンテーション結果は、前記第1画像の各画素点が少なくとも2つのタイプの各タイプである確率を指示するために使用される、ことを特徴とする、
請求項3ないし7のいずれか一項に記載の画像セグメンテーション方法。 - 前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールのうちの少なくとも1つのモジュールによって、前記第1画像をセグメント化して、第3画像を取得する前記ステップは、
前記コンピュータ機器が、前記画像セグメンテーションモデルのモジュール選択パラメータに基づいて、前記第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールによって前記第1画像をそれぞれセグメント化して、第1セグメンテーション結果および第2セグメンテーション結果を取得し、前記第1セグメンテーション結果および第2セグメンテーション結果に基づいて、第3画像を取得するステップを含むことを特徴とする、
請求項3ないし7のいずれか一項に記載の画像セグメンテーション方法。 - 前記第1画像セグメンテーションモジュールによって前記第1画像をセグメント化するプロセスは、
前記コンピュータ機器が、前記第1画像セグメンテーションモジュールのモジュールパラメータに基づいて、前記第1画像を2回分類して、第1セグメンテーション結果を取得するステップを含み、前記2回の分類における最初の分類の分類オブジェクトは、前記第1画像の全ての画素点であり、2番目の分類の分類オブジェクトは、前記最初の分類結果における前景画素点であり、
前記第2画像セグメンテーションモジュールによって前記第1画像をセグメント化するプロセスは、
前記コンピュータ機器が、前記第2画像セグメンテーションモジュールのモジュールパラメータに基づいて、前記第1画像に対して特徴抽出を実行するステップと、
前記コンピュータ機器が、抽出された特徴に基づいて、前記第1画像の各画素点を分類して、第2セグメンテーション結果を取得するステップと、を含むことを特徴とする、
請求項2に記載の画像セグメンテーション方法。 - 前記コンピュータ機器が、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングする前記ステップは、
前記コンピュータ機器が、前記複数の第2サンプル画像に基づいて、前記第2初期モデル内の前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールを、第1反復停止回数に達するまでトレーニングして、第1画像セグメンテーションモジュールおよび第2画像セグメンテーションモジュールのモジュールパラメータを取得するステップと、
前記コンピュータ機器が、前記複数の第2サンプル画像と、トレーニングによって得られた前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールに基づいて、前記第2初期モデル内のモジュール選択パラメータを、第2反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するステップと、を含み、前記モジュール選択パラメータは、第1画像をセグメント化するために、前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールのうちの少なくとも1つのセグメンテーションモジュールを選択することを意思決定するために使用される、ことを特徴とする、
請求項2ないし11のいずれか一項に記載の画像セグメンテーション方法。 - 前記画像情報は、各第2サンプル画像の属性情報をさらに含み、
前記コンピュータ機器が、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングするプロセスは、
前記コンピュータ機器が、前記各第2サンプル画像の属性情報に基づいて、各第2サンプル画像に対して前処理を実行し、前処理された複数の第2サンプル画像を前記第1画像セグメンテーションモジュールおよび前記第2画像セグメンテーションモジュールに入力するステップをさらに含むことを特徴とする、
請求項2ないし11のいずれか一項に記載の画像セグメンテーション方法。 - 前記画像情報は、前記複数の第2サンプル画像の画像数をさらに含み、
前記コンピュータ機器が、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングするプロセスは、
前記コンピュータ機器が、前記画像数に基づいて、前記第2画像セグメンテーションモジュールとして、前記画像数に対応する画像セグメンテーションサブモジュールを取得してトレーニングするステップを含み、前記第2画像セグメンテーションモジュールは、少なくとも1つの画像セグメンテーションサブモジュールを含み、異なる画像セグメンテーションサブモジュールは異なる深さを有する、ことを特徴とする、
請求項2ないし11のいずれか一項に記載の画像セグメンテーション方法。 - 画像セグメンテーション装置であって、
前記画像セグメンテーション装置は、トレーニングモジュールと、セグメンテーションモジュールとを備え、
前記トレーニングモジュールは、複数の第1サンプル画像に基づいて、第1初期モデルを事前トレーニングして、第2初期モデルを取得するように構成され、前記複数の第1サンプル画像は、多種のヒト組織画像を含み、前記第2初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記トレーニングモジュールは、さらに、複数の第2サンプル画像に基づいて、前記第2初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第2サンプル画像の画像情報を取得するように構成され、前記複数の第2サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第2サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記セグメンテーションモジュールは、セグメント化される第1画像を取得した場合、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第1画像をセグメント化し、第2画像を出力するように構成されることを特徴とする、画像セグメンテーション装置。 - コンピュータ機器であって、プロセッサと、コンピュータ可読命令が記憶されたメモリと、を備え、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、請求項1ないし14のいずれか一項に記載の画像セグメンテーション方法を実行させる、前記コンピュータ機器。
- コンピュータプログラムであって、
コンピュータに、請求項1ないし14のいずれか一項に記載の画像セグメンテーション方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811205146.4 | 2018-10-16 | ||
CN201811205146.4A CN109410220B (zh) | 2018-10-16 | 2018-10-16 | 图像分割方法、装置、计算机设备及存储介质 |
PCT/CN2019/110541 WO2020078263A1 (zh) | 2018-10-16 | 2019-10-11 | 图像分割方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022500754A true JP2022500754A (ja) | 2022-01-04 |
JP7085062B2 JP7085062B2 (ja) | 2022-06-15 |
Family
ID=65467353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021513795A Active JP7085062B2 (ja) | 2018-10-16 | 2019-10-11 | 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US12002212B2 (ja) |
EP (1) | EP3869456A4 (ja) |
JP (1) | JP7085062B2 (ja) |
KR (1) | KR102597385B1 (ja) |
CN (2) | CN111062952B (ja) |
WO (1) | WO2020078263A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926471A (zh) * | 2022-05-24 | 2022-08-19 | 北京医准智能科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062952B (zh) | 2018-10-16 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 肺部图像分割设备、方法及存储介质 |
CN109993758A (zh) * | 2019-04-23 | 2019-07-09 | 北京华力兴科技发展有限责任公司 | 分割方法、分割装置、计算机设备及存储介质 |
CN110189341B (zh) * | 2019-06-05 | 2021-08-10 | 北京青燕祥云科技有限公司 | 一种图像分割模型训练的方法、图像分割的方法及装置 |
CN110472623B (zh) * | 2019-06-29 | 2022-08-09 | 华为技术有限公司 | 图像检测方法、设备以及系统 |
CN110334679B (zh) * | 2019-07-11 | 2021-11-26 | 厦门美图之家科技有限公司 | 人脸点处理方法及装置 |
CN110363168A (zh) * | 2019-07-19 | 2019-10-22 | 山东浪潮人工智能研究院有限公司 | 一种基于卷积神经网络的三维立体图识别系统 |
CN110555833B (zh) * | 2019-08-30 | 2023-03-21 | 联想(北京)有限公司 | 图像处理方法、装置、电子设备以及介质 |
CN110599492B (zh) * | 2019-09-19 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 图像分割模型的训练方法、装置、电子设备及存储介质 |
CN110866925B (zh) * | 2019-10-18 | 2023-05-26 | 拜耳股份有限公司 | 一种用于图像分割的方法和装置 |
JP7410619B2 (ja) * | 2019-10-31 | 2024-01-10 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN111091140B (zh) * | 2019-11-20 | 2024-04-02 | 南京旷云科技有限公司 | 目标分类方法、装置及可读存储介质 |
CN110991298B (zh) * | 2019-11-26 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
CN111539961A (zh) * | 2019-12-13 | 2020-08-14 | 山东浪潮人工智能研究院有限公司 | 一种目标分割方法、装置以及设备 |
CN111402268B (zh) * | 2020-03-16 | 2023-05-23 | 苏州科技大学 | 一种医学图像中肝脏及其病灶分割的方法 |
CN111524204B (zh) * | 2020-05-06 | 2023-06-27 | 杭州小影创新科技股份有限公司 | 一种人像发丝动漫化纹理生成方法 |
CN111598160B (zh) * | 2020-05-14 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 图像分类模型的训练方法、装置、计算机设备及存储介质 |
CN112258456B (zh) * | 2020-09-28 | 2023-10-17 | 汕头大学 | 一种基于卷积神经网络监督的三维图像分割方法 |
CN112233128B (zh) * | 2020-10-15 | 2021-11-02 | 推想医疗科技股份有限公司 | 图像分割方法及模型的训练方法、装置、介质、电子设备 |
CN112529911B (zh) * | 2020-12-07 | 2024-02-09 | 重庆大学 | 一种胰腺图像分割模型的训练方法、图像分割方法和装置 |
CN112508974B (zh) * | 2020-12-14 | 2024-06-11 | 北京达佳互联信息技术有限公司 | 图像分割模型的训练方法、装置、电子设备和存储介质 |
CN113159159B (zh) * | 2021-04-15 | 2023-09-29 | 东北大学 | 一种基于改进cnn的小样本图像分类方法 |
CN113689363B (zh) * | 2021-09-07 | 2024-03-29 | 北京顺势兄弟科技有限公司 | 一种人像图处理方法、装置、电子设备、存储介质 |
CN113689436B (zh) * | 2021-09-29 | 2024-02-02 | 平安科技(深圳)有限公司 | 图像语义分割方法、装置、设备及存储介质 |
CN114373162B (zh) * | 2021-12-21 | 2023-12-26 | 国网江苏省电力有限公司南通供电分公司 | 用于变电站视频监控的危险区域人员入侵检测方法及系统 |
CN114648514B (zh) * | 2022-03-30 | 2022-11-29 | 中国人民解放军总医院第二医学中心 | 一种脑动脉定位提取方法、装置、电子设备及存储介质 |
CN114820584B (zh) * | 2022-05-27 | 2023-02-21 | 北京安德医智科技有限公司 | 肺部病灶定位装置 |
CN115205246B (zh) * | 2022-07-14 | 2024-04-09 | 中国南方电网有限责任公司超高压输电公司广州局 | 换流阀电晕放电紫外图像特征提取方法和装置 |
CN115393685B (zh) * | 2022-10-28 | 2023-03-28 | 良业科技集团股份有限公司 | 基于可拓展模型的文旅数据处理方法及系统 |
CN115908457B (zh) * | 2023-01-06 | 2023-05-23 | 脑玺(苏州)智能科技有限公司 | 低密度梗死区分割方法、分析方法、装置、系统、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537676A (zh) * | 2015-01-12 | 2015-04-22 | 南京大学 | 一种基于在线学习的渐进式图像分割方法 |
US20170270664A1 (en) * | 2016-03-21 | 2017-09-21 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for characterizing features of interest in digital images and systems for practicing same |
CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
JP2017532092A (ja) * | 2014-09-02 | 2017-11-02 | エレクタ、インク.Elekta, Inc. | 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8831703B2 (en) * | 2006-10-23 | 2014-09-09 | The General Hospital Corporation | Selective MR imaging of segmented anatomy |
US8936909B2 (en) * | 2008-07-18 | 2015-01-20 | Qiagen Gmbh | Method for determining the origin of a sample |
US20130210648A1 (en) * | 2009-01-14 | 2013-08-15 | The United States of America, as Represented by the Secretary, Department of Health and Human Services | Ratio based biomarkers and methods of use thereof |
US9589360B2 (en) * | 2012-07-23 | 2017-03-07 | General Electric Company | Biological unit segmentation with ranking based on similarity applying a geometric shape and scale model |
GB2547399B (en) * | 2014-12-02 | 2018-05-02 | Shanghai United Imaging Healthcare Co Ltd | A method and system for image processing |
CN104809730B (zh) * | 2015-05-05 | 2017-10-03 | 上海联影医疗科技有限公司 | 从胸部ct图像提取气管的方法和装置 |
US10977787B2 (en) * | 2014-12-09 | 2021-04-13 | Koninklijke Philips N.V. | Feedback for multi-modality auto-registration |
US10861151B2 (en) * | 2015-08-07 | 2020-12-08 | The Arizona Board Of Regents On Behalf Of Arizona State University | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
US10368956B2 (en) * | 2016-02-16 | 2019-08-06 | The Johns Hopkins University | MR-levelcheck-2: method for localization of structures in projection images |
CN105608479B (zh) * | 2016-03-01 | 2019-03-29 | 北京正安维视科技股份有限公司 | 结合深度数据的异常行为检测方法及系统 |
EP3264365A1 (en) * | 2016-06-28 | 2018-01-03 | Siemens Healthcare GmbH | Method and device for registration of a first image data set and a second image data set of a target region of a patient |
US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
WO2018015414A1 (en) * | 2016-07-21 | 2018-01-25 | Siemens Healthcare Gmbh | Method and system for artificial intelligence based medical image segmentation |
US9947102B2 (en) * | 2016-08-26 | 2018-04-17 | Elekta, Inc. | Image segmentation using neural network method |
US9943225B1 (en) * | 2016-09-23 | 2018-04-17 | International Business Machines Corporation | Early prediction of age related macular degeneration by image reconstruction |
CN107665351B (zh) * | 2017-05-06 | 2022-07-26 | 北京航空航天大学 | 基于难样本挖掘的机场检测方法 |
CN107644418B (zh) * | 2017-09-26 | 2019-11-08 | 山东大学 | 基于卷积神经网络的视盘检测方法及系统 |
CN107563123A (zh) | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
CN107967491A (zh) * | 2017-12-14 | 2018-04-27 | 北京木业邦科技有限公司 | 木板识别的机器再学习方法、装置、电子设备及存储介质 |
US10886008B2 (en) * | 2018-01-23 | 2021-01-05 | Spring Discovery, Inc. | Methods and systems for determining the biological age of samples |
CN108053417B (zh) * | 2018-01-30 | 2019-12-17 | 浙江大学 | 一种基于混合粗分割特征的3D U-Net网络的肺分割装置 |
CN108597053A (zh) * | 2018-04-25 | 2018-09-28 | 北京御航智能科技有限公司 | 基于图像数据和神经网络的杆塔和通道目标识别与缺陷诊断方法 |
EP3818496A4 (en) * | 2018-07-02 | 2022-04-20 | Tempus Labs, Inc. | 3D RADIOMICS PLATFORM FOR IMAGING BIOMARKER DEVELOPMENT |
KR20210041587A (ko) * | 2018-07-30 | 2021-04-15 | 젠셀랩, 엘엘씨 | 엑스레이 이미징 시스템 및 방법, 그리고 조영제 |
CN111062952B (zh) * | 2018-10-16 | 2022-09-30 | 腾讯科技(深圳)有限公司 | 肺部图像分割设备、方法及存储介质 |
-
2018
- 2018-10-16 CN CN201911295169.3A patent/CN111062952B/zh active Active
- 2018-10-16 CN CN201811205146.4A patent/CN109410220B/zh active Active
-
2019
- 2019-10-11 KR KR1020217005619A patent/KR102597385B1/ko active IP Right Grant
- 2019-10-11 WO PCT/CN2019/110541 patent/WO2020078263A1/zh unknown
- 2019-10-11 EP EP19874073.0A patent/EP3869456A4/en active Pending
- 2019-10-11 JP JP2021513795A patent/JP7085062B2/ja active Active
-
2021
- 2021-02-10 US US17/173,172 patent/US12002212B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017532092A (ja) * | 2014-09-02 | 2017-11-02 | エレクタ、インク.Elekta, Inc. | 解剖学的ランドマークベースの特徴に基づいた医用画像をセグメント化するためのシステム及び方法 |
CN104537676A (zh) * | 2015-01-12 | 2015-04-22 | 南京大学 | 一种基于在线学习的渐进式图像分割方法 |
US20170270664A1 (en) * | 2016-03-21 | 2017-09-21 | The Board Of Trustees Of The Leland Stanford Junior University | Methods for characterizing features of interest in digital images and systems for practicing same |
CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114926471A (zh) * | 2022-05-24 | 2022-08-19 | 北京医准智能科技有限公司 | 一种图像分割方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3869456A1 (en) | 2021-08-25 |
EP3869456A4 (en) | 2021-12-22 |
KR102597385B1 (ko) | 2023-11-03 |
KR20210038622A (ko) | 2021-04-07 |
CN109410220B (zh) | 2019-12-24 |
JP7085062B2 (ja) | 2022-06-15 |
CN111062952B (zh) | 2022-09-30 |
CN109410220A (zh) | 2019-03-01 |
WO2020078263A1 (zh) | 2020-04-23 |
CN111062952A (zh) | 2020-04-24 |
US20210166395A1 (en) | 2021-06-03 |
US12002212B2 (en) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7085062B2 (ja) | 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム | |
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
CN111091576B (zh) | 图像分割方法、装置、设备及存储介质 | |
US11403763B2 (en) | Image segmentation method and apparatus, computer device, and storage medium | |
CN113205568B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109815150B (zh) | 应用测试方法、装置、电子设备及存储介质 | |
JP2022518745A (ja) | 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム | |
CN107833219B (zh) | 图像识别方法及装置 | |
CN111062981B (zh) | 图像处理方法、装置及存储介质 | |
CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN110807361A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN113610750A (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
CN112115900B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111598896B (zh) | 图像检测方法、装置、设备及存储介质 | |
CN113570645A (zh) | 图像配准方法、装置、计算机设备及介质 | |
CN110705438A (zh) | 步态识别方法、装置、设备及存储介质 | |
CN111428551B (zh) | 密度检测方法、密度检测模型训练方法和装置 | |
CN111598025B (zh) | 图像识别模型的训练方法和装置 | |
CN113724191A (zh) | 图像识别方法、装置、设备及存储介质 | |
CN116109531A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN113743186A (zh) | 医学图像的处理方法、装置、设备及存储介质 | |
CN114898282A (zh) | 图像处理方法及装置 | |
CN110929628A (zh) | 一种人体识别的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7085062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |