JP2022500754A - 画像セグメンテーション方法、装置、コンピュータ機器およびコンピュータプログラム - Google Patents

Abstract

本出願は、画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体を開示し、コンピュータ技術分野に関するものである。前記画像セグメンテーション方法は、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得するステップであって、第２初期モデルは、多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、複数の第２サンプル画像に基づいて、第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得するステップと、セグメント化される第１画像を取得した場合、画像セグメンテーションモデルを呼びたし、第２サンプル画像の画像情報に従って画像セグメンテーションモデルによって、第１画像をセグメント化して、第２画像を出力するステップと、含む。【選択図】図２

Description

本願は、２０１８年１０月１６日に中国特許局に提出された、出願番号が２０１８１１２０５１４６．４であり、発明の名称が「画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれている。

本出願は、コンピュータ技術分野に関し、特に、画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体に関するものである。

コンピュータ技術の発達に伴い、医用画像セグメンテーション、自然画像セグメンテーションなどの画像セグメンテーション技術がますます広く使用されている。ここで、画像セグメンテーション技術とは、画像を独自の特性を持ついくつかの特定の領域にセグメント化し、関心のあるオブジェクトを抽出する技術を指す。例えば、ヒト組織画像のセグメンテーションシナリオでは、医用画像をセグメント化することにより、セグメント化された画像で人体の各組織を明確に区別することができる。

現在、画像セグメンテーション方法は通常、カスケード３次元完全畳み込みネットワーク（Ｃａｓｃａｄｅｄ ３Ｄ ＦＣＮ：Ｃａｓｃａｄｅｄ Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ）とピラミッドシーン解析ネットワーク（Ｐｓｐｎｅｔ：Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ）の２種のモデルを採用して実現する。ここで、Ｃａｓｃａｄｅｄ ３Ｄ ＦＣＮは、３次元（３Ｄ：Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）ネットワークであり、主に腹部組織をセグメント化するために使用される。Ｐｓｐｎｅｔは、２次元（２Ｄ：Ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）ネットワークであり、主に自然画像をセグメント化するために使用される。上記の画像セグメンテーション方法では、通常、技術者が画像セグメンテーション要件に従って、画像内でどのヒト組織をセグメント化するか、およびこのようなヒト組織の画像の画素点の分布が何の特徴を有するかを分析するなど、特定のヒト組織画像を分析し、分析結果に基づいてモデルを設計する必要があり、このようなヒト組織のサンプル画像を取得して、設計済みのモデルをトレーニングすることにより、トレーニングされたモデルを使用して、セグメント化される画像をセグメント化することができる。

上記のすべての画像セグメンテーション方法では、技術者が画像をセグメント化して、モデルを設計する必要があり、他のヒト組織画像をセグメント化する必要がある場合、技術者が他のヒト組織画像を分析して、モデルを再設計する必要があり、以前に設計したモデルに基づいて直接トレーニングすることができないため、上記の画像セグメンテーション方法は、汎用性、適用性、および実用性に欠ける。

本出願で提供される各実施例は、画像セグメンテーション方法、装置、コンピュータ機器および記憶媒体を提供する。

一態様によれば、画像セグメンテーション方法を提供し、前記方法は、
コンピュータ機器が、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得するステップであって、前記複数の第１サンプル画像は、多種のヒト組織画像を含み、前記第２初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
前記コンピュータ機器が、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第２サンプル画像の画像情報を取得するステップであって、前記複数の第２サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第２サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
セグメント化される第１画像を取得した場合、前記コンピュータ機器が、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第１画像をセグメント化し、第２画像を出力するステップと、含む。

一態様によれば、画像セグメンテーション装置を提供し、前記装置は、トレーニングモジュールと、セグメンテーションモジュールとを備え、
前記トレーニングモジュールは、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得するように構成され、前記複数の第１サンプル画像は、多種のヒト組織画像を含み、前記第２初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記トレーニングモジュールは、さらに、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルが、前記複数の第２サンプル画像の画像情報を取得するように構成され、前記複数の第２サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第２サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
前記セグメンテーションモジュールは、セグメント化される第１画像を取得した場合、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第１画像をセグメント化し、第２画像を出力するように構成される。

一態様によれば、プロセッサと、コンピュータ可読命令が記憶されたメモリと、を備えるコンピュータ機器を提供し、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、上記の実施例に記載の方法を実行させる。

一態様によれば、コンピュータ可読命令が記憶された１つまたは複数の不揮発性記憶媒体を提供し、前記コンピュータ可読命令が１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、上記の実施例に記載の方法を実行させる。

本出願の１つまたは複数の実施例の詳細は、以下の図面および説明に記載されている。本出願の他の特徴、目的および利点は、明細書、添付の図面および特許請求の範囲からより明らかになる。

本願実施例における技術的解決策をより明確にするために、下記において、説明に必要な図面を簡単に説明する。勿論、下記の図面は本願の一部の実施例に過ぎず、当業者は、創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。
本願実施例による画像セグメンテーション方法の実施環境である。 本願実施例による画像セグメンテーションモデルトレーニング方法のフローチャートである。 本願実施例によるモダリティ融合モジュールの処理プロセスの概略図である。 本願実施例による画像サンプリング方式の概略図である。 本願実施例による画像サンプリング方式の概略図である。 本願実施例による３Ｄモデルの概略構造図である。 本願実施例による画像後処理方式の概略図である。 本願実施例による画像後処理方式の概略図である。 本願実施例による画像セグメンテーションモデルのアーキテクチャの概略図である。 本願実施例による画像セグメンテーション方法のフローチャートである。 本願実施例による画像セグメンテーション装置の概略構造図である。 本願実施例による端末の概略構造図である。 本願実施例によるサーバの概略構造図である。 本願実施例によるサーバの概略構造図である。 本願実施例による端末の概略構造図である。

本出願の目的、技術的解決策および利点をより明確に説明するために、以下、添付の図面を参照してから、本出願を詳細に説明する。本明細書に記載の具体的な実施例は、本出願を説明するためにのみ使用され、本出願を限定するものではないことを理解されたい。本願実施例に基づいて、創造的な努力なしに当業者によって得られる他のすべての実施例は、本願の保護範囲に含まれるものとする。

図１は、本願実施例による画像セグメンテーション方法の実施環境であり、図１を参照すると、当該実施環境は、複数のコンピュータ機器を含み得る。ここで、当該複数のコンピュータ機器は、有線接続方式でデータインタラクションを実現することができ、または無線ネットワーク接続方式でデータインタラクションを実現することができ、本願実施例はこれに限定されるものではない。

本願実施例では、コンピュータ機器１０１は、画像のセグメント化に使用でき、いくつかの実施例では、当該画像は、医用画像、即ち、ヒト組織画像であってもよく、本願実施例による画像セグメンテーション方法は、ヒト組織画像セグメンテーションシナリオ、例えば、肝癌セグメンテーション、脳癌および末梢損傷セグメンテーション、肺癌セグメンテーション膵臓癌セグメンテーション、結腸直腸癌セグメンテーション、肝臓浸潤微小血管セグメンテーション、海馬構造セグメンテーション、前立腺構造セグメンテーション、左心房セグメンテーション、膵臓セグメンテーション、肝臓セグメンテーション、または脾臓セグメンテーションなどのヒト組織画像セグメンテーションシナリオに適用されることができ、もちろん、他のヒト組織画像セグメンテーションシナリオにも適用されることができる。もちろん、当該画像は、他のタイプの画像であってもよく、当該画像セグメンテーション方法は、他の画像セグメンテーションシナリオ、例えば、風景画像セグメンテーションシナリオにも適用されることができる。

当該コンピュータ機器１０２は、画像の収集に使用でき、収集された画像をコンピュータ機器１０１に送信し、コンピュータ機器１０１によって、画像セグメンテーションサービスを提供する。いくつかの実施例では、当該コンピュータ機器１０１はまた、画像を収集し、収集した画像をセグメント化することができ、本願実施例はこれに限定されるものではない。いくつかの実施例では、当該コンピュータ機器１０２はまた、他のコンピュータ機器から取得した画像を記憶するために使用されることができ、当該コンピュータ機器１０１は、当該コンピュータ機器１０２から記憶された画像を取得してセグメント化することができる。

具体的には、当該コンピュータ機器１０１およびコンピュータ機器１０２の両方は、端末またはサーバとして提供されることができ、本願実施例はこれに限定されるものではない。

図２は、本願実施例による画像セグメンテーションモデルトレーニング方法のフローチャートであり、当該画像セグメンテーションモデルトレーニング方法は、コンピュータ機器に適用されることができ、当該コンピュータ機器は、上記の実施環境におけるコンピュータ機器１０１であってもよいし、他のコンピュータ機器であってもよい。つまり、上記のコンピュータ機器１０１でトレーニングすることによって画像セグメンテーションモデルを取得することができ、または他のコンピュータ機器でトレーニングすることによって画像セグメンテーションモデルを取得した後、当該画像セグメンテーションモデルを構成ファイルに変換し、当該構成ファイルをコンピュータ機器１０１に送信し、このようにして、当該コンピュータ機器１０１に画像セグメンテーションモデルを記憶する。もちろん、コンピュータ機器１０１はまた、画像セグメンテーション要件がある場合、他のコンピュータ機器でトレーニングすることで得られた画像セグメンテーションモデルを呼び出すことができ、本願実施例はこれに限定されるものではない。図２を参照すると、当該画像セグメンテーションモデルトレーニング方法は、以下のステップを含み得る。

ステップ２００において、コンピュータ機器が、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得する。

ここで、当該複数の第１サンプル画像は、多種のヒト組織画像を含み、例えば、当該複数の第１サンプル画像は、肝臓画像、脳画像、肺画像、膵臓画像、大腸画像、海馬画像、前立腺画像、心臓画像、および脾臓画像などのヒト組織画像を含み得、もちろん、より多くの他の部位の画像も含み得るが、ここでは、例示的な説明のみが提供され、当該多種のヒト組織画像の種類の数および具体的な種類を限定しない。

当該ステップ２００では、コンピュータ機器は、多種のヒト組織画像に基づいて事前トレーニングすることによって第２初期モデルのモデルパラメータを取得し、当該第２初期モデルは、当該多種のヒト組織に対応する複数のターゲット領域の分布情報を含む。つまり、多種のヒト組織画像をセグメント化することにより、先験知識を取得する。このように、異なるシナリオのデータを使用してモデルを事前トレーニングすることにより、当該第２初期モデルに、ヒト組織画像のセグメント化に関する関連知識を持たせることができ、当該第２初期モデルは、医学生が各科室でローテーションすることをシミュレートするために使用でき、これにより、当該医学生に、特定の医学知識または臨床知識を持たせることができる。

このように、当該第２初期モデルは既に一定の先験知識を備え、後続で特定の種類のヒト組織画像をセグメント化する場合、関連技術者がこの種類のヒト組織画像を再分析してモデルを再設計する必要なしに、この種類のヒト組織のサンプル画像を使用して、第２初期モデルを直接トレーニングすることができる。つまり、当該第２初期モデルは、一定の医学知識を備え、各種のヒト組織画像は、上記の第２初期モデルを使用して直接トレーニングできるため、当該第２初期モデルおよび当該第２初期モデルに基づいてトレーニングされた画像セグメンテーションモデルの実用性と汎用性を効果的に向上させることができる。

ステップ２０１において、コンピュータ機器が、複数の第２サンプル画像を取得し、各第２サンプル画像はタグを含み、当該タグは、第２サンプル画像のターゲットセグメンテーション結果を指示するために使用される。

コンピュータ機器は、複数の第２サンプル画像に基づいてトレーニングすることによって、画像セグメンテーションモデルを取得することができ、いくつかの実施例では、当該コンピュータ機器は当該複数の第２サンプル画像を記憶することができ、画像セグメンテーションモデルトレーニングを実行する必要がある場合に、当該第２サンプル画像を呼び出すことができる。説明を加えないといけないのは、各第２サンプル画像は、ターゲットセグメンテーション結果を指示するために使用されるタグを含んでもよく、ここで、当該ターゲットセグメンテーション結果は、当該第２サンプル画像の正しいセグメンテーション結果、または当該第２サンプル画像の実際のセグメンテーション結果を指す。このように、モデルトレーニングのプロセスで、トレーニング中のモデルによる第２サンプル画像のセグメンテーションが正確であるか否か、およびモデルのトレーニングを継続する必要があるか否かを知ることができ、これにより、トレーニングによって得られたモデルが第２サンプル画像をセグメント化するときに、当該ターゲットセグメンテーション結果、または当該ターゲットセグメンテーション結果に非常に近いセグメンテーション結果を取得することができる。

いくつかの実施例では、当該複数の第２サンプル画像は、他のコンピュータ機器に記憶されてもよく、当該コンピュータ機器が、画像セグメンテーションモデルトレーニングを実行する必要がある場合、他のコンピュータ機器から当該複数の第２サンプル画像を取得することができ、本願実施例はこれに限定されるものではない。

例えば、当該複数の第２サンプル画像は、画像データベースに記憶されることができ、各第２サンプル画像はタグをさらに含む。この場合、当該ステップ２０１は、コンピュータ機器が、画像データベースから複数の第２サンプル画像を取得することであり得る。

ステップ２０２において、コンピュータ機器が、当該複数の第２サンプル画像を当該第２初期モデルに入力する。

いくつかの実施例では、前記ステップ２００の後、コンピュータ機器は、第２初期モデルを直接トレーニングすることができ、即ち、ステップ２０１を実行した後に、ステップ２０２を実行する。これに対応して、当該ステップ２０２では、コンピュータ機器は、複数の第２サンプル画像を取得した後、当該複数の第２サンプル画像に基づいて第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得することにより、後続で当該画像セグメンテーションモデルに基づいて、取得した第１画像を正確にセグメント化することが容易になる。いくつかの実施例では、前記ステップ２００の後、コンピュータ機器はまた、当該第２初期モデルを記憶するか、または第２初期モデルを他のコンピュータ機器に送信し、第２初期モデルに基づいて他のコンピュータ機器によって、後続のモデルトレーニングプロセスを実行することができる。これに対応して、当該ステップ２０２では、コンピュータ機器は、複数の第２サンプル画像を取得した後、第２初期モデルを呼び出し、当該複数の第２サンプル画像を当該第２初期モデルに入力することができ、本願実施例は、具体的な実現方式を限定しない。

つまり、当該ステップ２０２におけるコンピュータ機器に第２初期モデルが記憶されることができ、画像セグメンテーションモデルトレーニングを実行する必要がある場合、当該第２初期モデルを直接呼び出すことができるか、またはステップ２００の後に、第２の初期モデルを呼び出さずに、取得した第２初期モデルに基づいて直接トレーニングすることができる。もちろん、当該第２初期モデルは、他のコンピュータ機器に記憶されてもよく、当該コンピュータ機器が、画像セグメンテーションモデルトレーニングを実行する必要がある場合、他のコンピュータ機器から当該第２初期モデルを呼び出すことができ、本願実施例はこれに限定されるものではない。

説明を加えないといけないのは、当該第２初期モデルのモデルパラメータは初期値であり、コンピュータ機器は、当該複数の第２サンプル画像をトレーニングサンプルおよび検証サンプルとして使用して、第２初期モデルをトレーニングすることができる。つまり、第２サンプル画像を使用して、第２初期モデルのモデルパラメータを調整し、複数回調整されたモデルパラメータを使用することにより、第１画像をセグメント化するときに、より正確なセグメンテーション結果を取得することができる。

具体的には、コンピュータ機器は、当該複数の第２サンプル画像を第２初期モデルに入力し、第２初期モデルによって、各第２サンプル画像をセグメント化し、第２初期モデルのセグメンテーション結果および第２サンプル画像のタグ、即ち、第２サンプル画像のターゲットセグメンテーション結果に基づいて、第２初期モデルのセグメンテーション能力を決定する。このように、当該第２初期モデルのモデルパラメータを調整することにより、第２初期モデルのセグメンテーション能力を継続的に向上させることができ、これにより、後続のトレーニングによって得られた画像セグメンテーションモデルは、正確にセグメント化を実行することができる。

ステップ２０３において、コンピュータ機器の第２初期モデルが、当該複数の第２サンプル画像の画像情報を取得する。

ここで、当該画像情報は、少なくとも当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む。つまり、第２初期モデルは、先ず複数の第２サンプル画像の画像情報を取得することで、一定の先験知識を取得し、セグメント化されるターゲットヒト組織に対応する複数のターゲット領域の分布情報を知ることができる。例えば、当該分布情報は、複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲を含むことができ、もちろん、他の情報も含むことができるが、本願実施例では網羅的な例挙をしない。

第２初期モデルは、当該複数の第２サンプル画像の関連状況に基づいて、後続のモデルトレーニングが完了した後にセグメント化する必要がある第１画像のいくつかのセグメンテーション規則および処理規則を予備的に知ることができる。

具体的には、第２初期モデルは、当該複数の第２サンプル画像のタグ内の情報に基づいて、当該複数の第２サンプル画像に対して連通域処理を実行し、連通域処理された複数の第２サンプル画像に対してトポロジ分析を実行して、ターゲットヒト組織に対応する複数のターゲット領域の分布情報を取得する。ここで、当該ターゲット領域とは、当該複数の第２サンプル画像のターゲットタイプの画素点が位置する領域を指す。

いくつかの実施例では、当該画像情報は、各第２サンプル画像の属性情報をさらに含み得、当該第２サンプル画像の属性情報に基づいて、第２サンプル画像に対して前処理を実行することにより、当該第２サンプル画像の基本情報がより均一またはより正確になるため、第２サンプル画像をより正確にセグメント化することができる。もちろん、セグメント化された画像に対して後処理を実行して、セグメンテーション結果がより正確になるようにすることもできる。ここで、当該属性情報は、グレースケール範囲、モダリティ数、およびサイズ範囲などを含んでもよいが、本願実施例はこれに限定されるものではない。

いくつかの実施例では、上記の第１初期モデルおよび第２初期モデルの両方は、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含み得、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールは、それぞれ、１つのタイプのセグメンテーションアルゴリズムに対応し、当該第１画像セグメンテーションモジュールは、３次元（３Ｄ：Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）画像をセグメント化するために使用され、当該第２画像セグメンテーションモジュールは、２次元（２Ｄ：Ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）画像をセグメント化するために使用される。これに対応して、当該第２初期モデルトレーニングに基づいて得られた画像セグメンテーションモデルも、２つの画像セグメンテーションモジュールを含み得る。このようにして得られた画像セグメンテーションモデルは、３次元画像を直接セグメント化するか、３次元画像を２次元画像に変換してセグメント化することができる。もちろん、２次元画像を直接セグメント化することもでき、２つのタイプのセグメンテーションアルゴリズムにより、異なるセグメンテーション方式を柔軟に選択して、画像をセグメント化することができ、これにより、画像セグメンテーションモデルの実用性を効果的に向上させることができ、画像セグメンテーションの精度も向上させることができる。

このように、当該ステップ２０３において、コンピュータ機器によって取得された当該画像情報は、当該複数の第２サンプル画像の画像数をさらに含み得、画像数に基づいて第２画像セグメンテーションモジュールとしての画像セグメンテーションサブモジュールを選択することができる。具体的には、当該画像数に基づいて、第２サンプル画像の処理方式を選択する方法は、下記のステップ２０５における第２画像セグメンテーションモジュールの画像セグメンテーションサブモジュールの選択プロセスを参照することができ、ここでは詳細な説明を省略する。

説明を加えないといけないのは、以下では、当該ステップ２０３で取得した画像情報が、当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報、各第２サンプル画像の属性情報、および当該複数の第２サンプル画像の画像数を含み、第１初期モデル、第２初期モデル、および画像セグメンテーションモデルが全て、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含むことを例として説明する。

ステップ２０４において、コンピュータ機器の第２初期モデルが、当該画像情報に基づいて、各第２サンプル画像に対して前処理を実行し、前処理された各第２サンプル画像を当該第２初期モデル内の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールに入力する。

当該ステップ２０４は、当該各第２サンプル画像の属性情報に基づいて、各第２サンプル画像に対して前処理を実行し、前処理された複数の第２サンプル画像を当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールに入力するプロセスであり、即ち、当該ステップ２０４における前処理の基礎となるデータは、画像情報内の各第２サンプル画像の属性情報である。

第２初期モデルは、第２サンプル画像に対して前処理を実行することにより、前処理された第２サンプル画像が第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールの画像セグメンテーション条件を満たすようにすることができ、当該第２サンプル画像内の異常画素点を除去するか、または当該第１画像の画素点を正規化することにより、前処理された第２サンプル画像の画像セグメンテーションがより正確になるようにすることもできる。

いくつかの実施例では、第２サンプル画像の属性情報は異なり、当該前処理プロセスも異なる場合がある。具体的には、当該前処理プロセスは、以下の任意の１つまたは複数のステップを含んでもよい。

ステップ１において、当該属性情報に従って当該第２サンプル画像に異常画素点が存在すると決定した場合、第２初期モデルは、当該異常画素点を削除する。

いくつかの実施例では、異常画素点とは、画素値が異常値である画素点を指し、ここで、異常画素点の画素値は、当該第２サンプル画像の複数の画素値のうちの、当該複数の画素値の平均値からの偏差が標準偏差の２倍を超える画素値である。また、平均値からの偏差が標準偏差の３倍を超える画素値は、高度異常な異常画素点の画素値であり得る。当該第２サンプル画像に異常画素点が存在する場合、当該第２サンプル画像内の異常画素点を削除することにより、当該異常画素点によるセグメンテーション結果への影響を回避することができ、これにより、当該第２サンプル画像のセグメンテーション結果がより正確になる。

具体的には、当該第２サンプル画像の複数の画素点の画素値に基づいて、当該第２サンプル画像のグレースケール曲線を取得でき、当該グレースケール曲線から、当該第２サンプル画像の複数の画素点の画素値の平均値、最大値、または最小値などを取得でき、これにより、異常な画素値を決定することができる。もちろん、ヒストグラムの形で第２サンプル画像の複数の画素値を統計することにより、異常な画素値を決定することもできる。例えば、平均値との差がプリセットされた差より大きい画素値に対応する画素点を異常画素点として決定してもよいし、当該平均値との差に応じて、当該第２サンプル画像の複数の画素値の８０％を正常値、２０％を異常値として決定してもよく、ここで、異常値は平均値との差が大きい画素値であり、正常値は平均値との差が小さい画素値である。説明を加えないといけないのは、前述したものは単なる例示的な説明であり、具体的には、当該ステップ１は、任意の異常値検出アルゴリズムによって実現されてもよいし、任意の異常値処理方法によって実現されてもよいが、本願実施例はこれに限定されるものではない。

ステップ２において、当該属性情報に従って、異常画素点を削除した後の第２サンプル画像のグレースケール範囲がターゲット範囲を超えると決定した場合、第２初期モデルは、当該第２サンプル画像に対して正規化処理を実行して、当該第２サンプル画像のグレースケール範囲をターゲット範囲内に調整する。

第２初期モデルでターゲット範囲を設定することもでき、当該ターゲット範囲は、関連技術者によって事前設定することができ、例えば、当該ターゲット範囲は［０、２５５］であり得る。第２サンプル画像のグレースケール範囲が当該ターゲット範囲を超える場合、当該第２サンプル画像に対して正規化処理を実行して、第２サンプル画像のグレースケール範囲をターゲット範囲内に調整することにより、後続のセグメンテーションプロセスでは、全ての第２サンプル画像のグレースケール範囲がターゲット範囲内にあり、グレースケール範囲が均一であり、第２サンプル画像間も比較可能であり、第２サンプル画像をセグメント化して得られたセグメンテーション結果もより正確になる。具体的には、当該正規化処理プロセスは、任意の正規化方法によって実現でき、例えば、線形関数に従ってグレースケール範囲をターゲット範囲内に変換することができ、本願実施例は、これに限定されず、これ以上の説明を省略する。

ステップ３において、当該属性情報に従って、当該第２サンプル画像のチャネル数が１より大きいと決定した場合、第２初期モデルは、当該第２サンプル画像の各画素値からターゲット画像平均値を差し引く。

第２サンプル画像は、カラー画像またはグレースケール画像であり得、ここで、カラー画像のチャネル数は１より大きく、グレースケール画像のチャネル数は１である。属性情報に従って、第２サンプル画像がカラー画像であると決定した場合、当該第２サンプル画像の各画素値からターゲット画像平均値を差し引くこともできる。いくつかの実施例では、当該ターゲット画像平均値は、第２初期モデルを事前トレーニングするプロセスで取得することができ、つまり、当該ターゲット画像平均値は、前記ステップ２００で取得することができる。具体的には、当該ターゲット画像平均値は、事前トレーニング中の複数の第１サンプル画像の画像平均値、即ち、画素値の平均値であり得る。

当該ステップ３により、当該第２サンプル画像の画素値の範囲（グレースケール範囲）をモデルの事前トレーニングにおける第１サンプル画像の画素値の範囲（グレースケール範囲）と一致させることができる。このように、モデルトレーニングおよびモデル使用中における画像に対する上記の処理は、処理された画像のグレースケール範囲を一致させることができ、これにより、画像セグメンテーション結果がより正確になる。

ステップ４において、当該属性情報に従って、当該第２サンプル画像のモダリティ数が１より大きいと決定した場合、第２初期モデルは、当該第２サンプル画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第２サンプル画像の複数の画素値を選別して、前処理された第２サンプル画像のターゲット数の画素値を取得し、当該前処理された第２サンプル画像のモダリティ数は１である。

当該第２サンプル画像のモダリティ数が１ではない可能性があり、例えば、当該第２サンプル画像は、複数の画像化原理または画像化デバイス、例えば、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）、磁気共鳴画像法（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、ポジトロンエミッションＣＴ（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）などによって得られる。第２初期モデルは、マルチモダリティの画像に対してモダリティ融合を実行することもでき、これにより、融合された画像をセグメント化する。ここで、当該モダリティ融合モジュールは、当該第２初期モデル内の１つのモジュールであり、第２サンプル画像のモダリティ数が１より大きい場合、当該モダリティ融合モジュールにより、第２サンプル画像に対してモダリティ融合を実行することができる。

具体的には、当該ステップ４で、モダリティ融合モジュールによって第２サンプル画像を処理するプロセスは、モダリティ融合モジュールが、モジュールパラメータに基づいて、第２サンプル画像の複数の画素値から、第２サンプル画像の画素値としてターゲット数の画素値を選択することとして理解することができる。当該ターゲット数は、モダリティ数が１である第２サンプル画像の画素値の数である。いくつかの実施例では、当該モダリティ融合モジュールのモジュールパラメータは、モデルトレーニングプロセス中に調整できるため、選択したターゲット数の画素値がより代表的であり、当該第２サンプル画像の特徴をより適切に表すことができる。上記は、１つのモダリティ融合方式のみを提供し、具体的には、当該プロセスはまた、他の方式を採用することができ、本願実施例はこれに限定されるものではない。

例えば、図３に示されるように、モダリティ融合モジュールの場合、第２サンプル画像のモダリティ数はｎであり得、ｎは正整数であり、モダリティ融合モジュールは、当該ｎ個のモダリティの画素値を融合し、上記の選択ステップを実行して、最後に、第１画像セグメンテーションモジュールおよび第２セグメンテーションモジュールに入力される第２サンプル画像の画素値を取得でき、このようにして、ｎ個のモダリティの第２サンプル画像を１つのモダリティの第２サンプル画像に融合することができる。ここで、ｍｏｄａｌｉｔｙはモダリティであり、Ｈは高さ（Ｈｅｉｇｈｔ）であり、Ｗは幅（Ｗｉｄｔｈ）であり、Ｄは深さ（Ｄｅｐｔｈ）であり、Ｃはチャネル（Ｃｈａｎｎｅｌ）数であり、Ｃｏｎｃａｔは合併関数であり、Ｉｎｐｕｔは入力であり、Ｃｏｎｖｏｌｕｔｉｏｎは畳み込みであり、Ｆｅａｔｕｒｅｍａｐは特徴マップである。

上記の１つまたは複数のステップによって第２サンプル画像に対して前処理を実行した後、前処理された第２サンプル画像を第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールに入力して、後続のセグメンテーションステップを実行することができる。もちろん、当該前処理プロセスは、上記の４つのステップに限定されず、当該前処理プロセスはまた、他のステップを含み得る。例えば、第２初期モデルは、第２サンプル画像をサンプリングすることができ、当該第２サンプル画像のサイズ範囲に従って、当該第２サンプル画像のサンプリング方式を決定することができる。例えば、第２初期モデルのダウンサンプリング倍数が８に設定されることを例にとると、図４に示されるように、画像のサイズ変更（Ｒｅｓｉｚｅ）後に８倍ダウンサンプリングされたサイズが１つの画素より大きい場合、画像を直接Ｒｅｓｉｚｅすることができる。図５に示されるように、画像をＲｅｓｉｚｅした後、８倍ダウンサンプリングした後のサイズが１つの画素より小さい場合、当該ダウンサンプリングプロセスで多くの有用な情報が失われたことを意味し、マルチスケールの画像トリミング（Ｃｒｏｐ）方式で画像をサンプリングする必要がある。

ステップ２０５において、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールが、それぞれ各第２サンプル画像をセグメント化して、第１セグメンテーション結果および第２セグメンテーション結果を取得する。

第１画像セグメンテーションモジュールの場合、当該第１画像セグメンテーションモジュールは、２段階（２−ｓｔａｇｅ）ストリーミング設計を採用することができる。つまり、当該第１画像セグメンテーションモジュールは、第２サンプル画像に対して２段階セグメンテーション、即ち、２回のセグメンテーションを実行することができ、第１段階では、第１画像セグメンテーションモジュールは、第２サンプル画像に対して大まかなセグメンテーションを実行でき、第２段階では、第２画像セグメンテーションモジュールは、第２サンプル画像に対して精細なセグメンテーションを実行でき、このようにして、異なる難易度のセグメンテーションタスクを処理することができる。

いくつかの実施例では、当該第１画像セグメンテーションモジュールは、１８層の３Ｄ Ｕｎｉｔｙ Ｎｅｔｗｏｒｋｉｎｇ（ｕｎｅｔ）モデルを採用して実現することができる。図６は、本願実施例による３Ｄモデルの概略構造図であり、図６に示されるように、当該３Ｄモデルは、先ず第２サンプル画像に対して特徴抽出を実行し、抽出された特徴に基づいてアップサンプリングすることができる。当該特徴抽出プロセスは、畳み込みやプーリングなどのステップで実現でき、当該特徴抽出プロセスでは、第２サンプル画像のサイズが徐々に小さくなり、当該アップサンプリングプロセスでは、前の特徴抽出プロセスの第２サンプル画像のデータの一部と、特徴抽出後に得られたデータを組み合わせてアップサンプリングすることができる。つまり、上記のアップサンプリングプロセスは、スキップコネクション（ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ）の方式で実現され、最後に、第２サンプル画像のセグメンテーションプロセスを実現する。ここで、［１３２、１３２、１１６］や［６４、６４、５６］などで画像のサイズ（幅、高さ、深さを含む）を示す。３２、６４、１２８、５１２、２５８＋５１２などは、前の層のネットワークの畳み込みカーネルの数であり、ここでは詳細な説明を省略する。本願実施例は、例として当該３Ｄモデルのみを取り上げ、具体的には、当該第１画像セグメンテーションモジュールは、他のモデルを使用して実現することもできる、本願実施例は、これに限定されず、これ以上の説明を省略する。

当該第１画像セグメンテーションモジュールによる当該第２サンプル画像のセグメンテーションプロセスは、第１画像セグメンテーションモジュールが、当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第２サンプル画像を２回分類して、第１セグメンテーション結果を取得することであり、当該２回の分類の最初の分類の分類オブジェクトは、当該第２サンプル画像の全ての画素点であり、２番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点である。このように、先ず大まかなセグメンテーションを実行し、次に精細なセグメンテーションを実行するような２回のセグメンテーションにより、２回のセグメンテーション結果を組み合わせて、第１セグメンテーション結果を取得することができ、これにより、画像セグメンテーションの精度を効果的に向上させることができる。

ここで、当該第１画像セグメンテーションモジュールは、複数のタイプのセグメンテーションをサポートでき、第１画像セグメンテーションモジュールは、第２サンプル画像の各画素点を分類して、各画素点のタイプ、即ち、少なくとも２つのタイプのうちの、各画素点が属する１つのタイプを決定することができる。当該少なくとも２つのタイプは、１つのタイプは背景、もう１つのタイプは前景の、２つのタイプに分けることができ、これに対応して、対応する画素点は、それぞれ背景画素点および前景画素点であり、つまり、タイプが背景である画素点は背景画素点であり、タイプが前景である画素点は前景画素点である。当該背景は、少なくとも２つのタイプのうちの１つのタイプであり、前景は、当該少なくとも２つのタイプのうちの、背景以外の他の１つのタイプまたは複数のタイプである。

具体的には、上記の２回のセグメンテーションプロセスは、以下のステップ１からステップ３を含み得る。

ステップ１において、第１画像セグメンテーションモジュールが、当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第２サンプル画像の各画素点を分類して、第３セグメンテーション結果を取得し、当該第３セグメンテーション結果は、当該第２サンプル画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用される。

当該ステップ１は、第２サンプル画像の大まかなセグメンテーションプロセス、すなわち、２−ｓｔａｇｅストリーミング設計における第１段階である。第１画像セグメンテーションモジュールは、当該第２サンプル画像のどの画素点が前景であり、どの画素点が背景であるかを区別して、当該第２サンプル画像のターゲット領域の外輪郭を決定でき、これにより、以下のステップ２により、ステップ１によって決定された外輪郭内の画素点をさらに分類することにより、外輪郭の各画素点のタイプをより細密に区別し、ターゲット領域の具体的な分布を決定することができる。

ステップ２において、第１画像セグメンテーションモジュールが、当該第３セグメンテーション結果および当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第３セグメンテーション結果における各前景画素点を分類して、第４セグメンテーション結果を取得し、当該第４セグメンテーション結果は、当該第３セグメンテーション結果内の各前景画素点が当該少なくとも２つのタイプの各タイプである確率を指示するために使用される。

当該ステップ２では、第３セグメンテーション結果における背景画素点を無視し、前景画素点のみを再度分類することにより、上記のターゲット領域の外輪郭内の画素点をより細密に分類して、より精細なセグメンテーション結果を取得することができる。当該ステップ２は、第２サンプル画像に対する精細なセグメンテーションプロセス、即ち、２−ｓｔａｇｅストリーミング設計における第２段階である。第１画像セグメンテーションモジュールは、前景として決定された上記の画素点を再度分類し、各画素点が上記の少なくとも２つのタイプのうちのどのタイプであるかを再度決定する。

ステップ３において、第１画像セグメンテーションモジュールが、当該第３セグメンテーション結果および当該第４セグメンテーション結果に基づいて、第１セグメンテーション結果を取得する。

大まかなセグメンテーションおよび精細なセグメンテーションにより、第３セグメンテーション結果および第４セグメンテーション結果を取得した後、第１画像セグメンテーションモジュールはまた、２つのセグメンテーション結果を組み合わせて、当該第２サンプル画像の第１セグメンテーション結果を決定することができる。いくつかの実施例では、大まかなセグメンテーションにおける背景画素点の場合、当該第３セグメンテーション結果の当該背景画素点のセグメンテーション結果を、第１セグメンテーション結果の当該画素点のセグメンテーション結果として使用することができる。大まかなセグメンテーションにおける前景画素点の場合、第３セグメンテーション結果および第４セグメンテーション結果の両方に、この部分の画素点のセグメンテーション結果がある場合、第１画像セグメンテーションモジュールは、第１セグメンテーション結果として第３セグメンテーション結果および第４セグメンテーション結果におけるこの部分の画素点のセグメンテーション結果の平均値を取ることができる。

いくつかの実施例では、第１画像セグメンテーションモジュールはまた、第３セグメンテーション結果および第４セグメンテーション結果の平均値を第１セグメンテーション結果として直接使用することができ、この部分の画素点を背景として直接決定することができ、ここで、当該第４セグメンテーション結果はまた、上記の第３セグメンテーション結果における背景画素点のセグメンテーション結果を含む。つまり、第２段階では、第１画像セグメンテーションモジュールは、第１段階における背景画素点を再度分類せず、この部分の背景画素点のタイプを背景として直接デフォルト設定する。

もちろん、上記では、説明のための例として、平均値を取る方式で当該ステップ３を実現することのみを取り上げたが、いくつかの実施例では、第１画像セグメンテーションモジュールはまた、第３セグメンテーション結果および第４セグメンテーション結果を加重加算して、第１セグメンテーション結果を取得することができ、本願実施例は、当該ステップ３の具体的な実施方式を限定するものではない。

第２画像セグメンテーションモジュールの場合、いくつかの実施例では、当該第２画像セグメンテーションモジュールは、深さ残差ネットワーク（ＲｅｓＮｅｔ：Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ）を使用して実現されることができる。例えば、当該ＲｅｓＮｅｔは、ＲｅｓＮｅｔ−１８、ＲｅｓＮｅｔ−１０１、またはＲｅｓＮｅｔ−１５２であってもよく、本願実施例は、具体的にどのＲｅｓＮｅｔを採用するかを限定しない。

いくつかの実施例では、当該第２画像セグメンテーションモジュールは、少なくとも１つの画像セグメンテーションサブモジュールを含み得、異なる画像セグメンテーションサブモジュールは異なる深さを有する。例えば、当該第２画像セグメンテーションモジュールは、２つの画像セグメンテーションサブモジュール（ＲｅｓＮｅｔ−１８およびＲｅｓＮｅｔ−１０１）を含むことができ、ここで、ＲｅｓＮｅｔ−１０１の深さは、ＲｅｓＮｅｔ−１８の深さより大きい。上記のステップ２０３で説明したように、当該画像情報は、当該複数の第２サンプル画像の画像数をさらに含み得る。このように、第２サンプル画像の画像数が異なる場合、異なる深さの画像セグメンテーションサブモジュールを使用してトレーニングすることにより、過剰適合（ｏｖｅｒ−ｆｉｔｔｉｎｇ）現象、またはトレーニングされたモデルのセグメンテーション能力が低いという問題を回避することができる。

具体的には、当該第２初期モデルはまた、画像数と画像セグメンテーションサブモジュールとの間の対応関係を記憶することができる。これに対応して、当該ステップ２０５は、第２初期モデルが、当該複数の第２サンプル画像の画像数に基づいて、当該第２画像セグメンテーションモジュールとして当該画像数に対応する画像セグメンテーションサブモジュールを取得することをさらに含み、当該複数の第２サンプル画像の画像数は、前記ステップ２０３で取得された画像情報の一種の情報である。

いくつかの実施例では、当該第２画像セグメンテーションモジュールを取得するステップでは、画像数が大きいほど、取得された画像セグメンテーションサブモジュールの深さが大きくなる。このようにして、データが少ない状況に効果的に対処でき、サンプル数が非常に少ない場合にもモデルをトレーニングして、セグメンテーション効果の高い画像セグメンテーションモデルを取得することができる。

さらに、当該第２画像セグメンテーションモジュールが２つの画像子モジュールを含むことを例にとると、当該第２画像セグメンテーションモジュールを取得するステップは、当該複数の第２サンプル画像の画像数がプリセットされた数より大きい場合、第２初期モデルは、第１画像セグメンテーションサブモジュールを取得し、当該複数の第２サンプル画像の画像数がプリセットされた数より小さいか等しい場合、第２初期モデルは、第２画像セグメンテーションサブモジュールを取得することであり得る。ここで、当該第１画像セグメンテーションサブモジュールの深さは、第２画像セグメンテーションサブモジュールの深さより大きい。プリセットされた数は、関連技術者によって事前設定されることができ、本願実施例は、当該ターゲット数の具体的な値を限定しない。

例えば、第１画像セグメンテーションサブモジュールはＲｅｓＮｅｔ−１０１であり得、第２画像セグメンテーションサブモジュールはＲｅｓＮｅｔ−１８であり得、当該ターゲット数量が１００であることを例にとると、上記の第２画像セグメンテーションモジュールを取得するステップは、第２サンプル画像の画像数が１００より小さい場合、ＲｅｓＮｅｔ−１８を基本モデルとして使用でき、第２サンプル画像の画像数が１００より大きい場合、ＲｅｓＮｅｔ−１０１を基本モデルとして使用できる。当該ＲｅｓＮｅｔ−１８とＲｅｓＮｅｔ−１０１の構造表は、それぞれ以下の表１および表２である。

ここで、Ｌａｙｅｒ ｎａｍｅは層の名称であり、Ｃｏｎｖはｃｏｎｖｏｌｕｔｉｏｎの略称で、畳み込みを意味し、ｓｔｒｉｄｅはステップ幅であり、ｂｌｏｃｋｓはブロックであり、ｍａｘ ｐｏｏｌは最大プーリングである。ここで、ＲｅｓＮｅｔ−１８の構造を例にとると、Ｃｏｎｖ１は１つの畳み込み層であり、畳み込みカーネルのサイズは７ｘ７であり、畳み込みカーネルの数は６４であり、ステップ幅は２である。Ｃｏｎｖ２＿ｘの第１層はプーリング層であり、プーリング層の後に２つの畳み込み層を含み、当該２つの畳み込み層は全て６４個の３ｘ３の畳み込みカーネルを備え、当該２つの畳み込みカーネルは１つのブロックであり、当該Ｃｏｎｖ２＿ｘのプーリング層後に２つのブロックを含む。つまり、当該Ｃｏｎｖ２＿ｘは、１つのプーリング層と４つの畳み込み層を含む。説明を加えないといけないのは、上記の表１と表２は、Ｃｏｎｖ１からＣｏｎｖ５＿ｘの構造のみを示しており、Ｃｏｎｖ５＿ｘの後には、実際には表１と表２に示されていない１つの完全畳み込み（ＦＣ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎ）層があり、ここでは詳細の説明を詳細する。

当該ＲｅｓＮｅｔ−１８およびＲｅｓＮｅｔ−１０１では、Ｃｏｎｖ３＿ｘの第１層、即ち、Ｃｏｎｖ３＿１のステップ幅は２に設定され、Ｃｏｎｖ４＿ｘの第１層のステップ幅は１に設定され、拡張（ｄｉｌａｔｉｏｎ）は２に設定され、このようにして、ダウンサンプリングによるセグメンテーション結果への影響を回避でき、ＲｅｓＮｅｔ−１０１の各層の受容野も保持することができる。もちろん、上記の各畳み込み層の後に、線形整流関数（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）層および一括正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）層があり、本願実施例はこれに限定されるものではない。

説明を加えないといけないのは、上記のＲｅｓＮｅｔ−１８およびＲｅｓＮｅｔ−１０１のＣｏｎｖ１からＣｏｎｖ５＿ｘは全て、基本モデル、即ち、当該第２画像セグメンテーションモジュールのバックボーンモデルである。Ｃｏｎｖ５＿３の後、第２サンプル画像をダウンサンプリングすることもでき、具体的には、ダウンサンプリングプロセスでは、マルチスケール畳み込みカーネルを使用することもでき、例えば、１、９、１９、３７および７４の５つの倍数の畳み込みカーネルを使用することができる。一般に、当該ダウンサンプリングプロセスは通常、プール（ｐｏｏｌ）層によって実現され、本願実施例では、全てのｐｏｏｌ層を深さ方向の畳み込み（ｄｅｐｔｈｗｉｓｅ ｃｏｎｖｏｌｕｔｉｏｎ）層に置き換えることができる。もちろん、上記の設定はまた、画像セグメンテーション要件に従って、関連技術者によって設定または調整されることができ、本願実施例はこれを特に限定するものではない。

ステップ２００の内容と同様に、第２初期モデルのモデルパラメータは、複数の第１サンプル画像に基づいて事前トレーニングすることで取得することができ、つまり、上記のＣｏｎｖ１からＣｏｎｖ５＿ｘのパラメータは、複数の第１サンプル画像に基づいて事前トレーニングすることで取得することができ、事前トレーニングプロセスでは、主に当該Ｃｏｎｖ１からＣｏｎｖ５＿ｘのパラメータをトレーニングし、後のその他の層のパラメータについては、分散が０．０１で平均値が０であるガウス分布値を初期値として使用できる。もちろん、ここでは１つの例のみが提供されており、当該他の層の初期値も他の値であり得、本願実施例は初期値の設定を特に限定するものではない。

当該第２画像セグメンテーションモジュールは、当該第２サンプル画像のセグメンテーションプロセスは、以下のステップ１および２を含み得る。

ステップ１において、第２画像セグメンテーションモジュールが、当該第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第２サンプル画像に対して特徴抽出を実行する。

第２画像セグメンテーションモジュールは、上記の取得された第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、第２サンプル画像に対して特徴抽出を実行して、当該第２サンプル画像の特徴を取得し、例えば、当該特徴は、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）の形であり得る。

ステップ２において、第２画像セグメンテーションモジュールが、抽出された特徴に基づいて、当該第２サンプル画像の各画素点を分類して、第２セグメンテーション結果を取得する。

第２画像セグメンテーションモジュールが特徴を抽出した後、上記のダウンサンプリングプロセスを実行することもでき、全ての情報を組み合わせた後、当該第２サンプル画像の各画素点を分類して、第２セグメンテーション結果を決定する。

いくつかの実施例では、当該第２画像セグメンテーションモジュールは、２Ｄ画像をセグメント化するために使用され、第２サンプル画像が３Ｄ画像である場合、当該第２画像セグメンテーションモジュールが当該第２サンプル画像のセグメンテーションプロセスを実行する前に、第２初期モデルはまた、第２サンプル画像を処理し、３Ｄ画像を２Ｄ画像に変換して、２Ｄ画像を当該第２画像セグメンテーションモジュールに入力する必要がある。

具体的には、当該第１画像の属性情報に従って、当該第１画像が３次元画像であると判断し、当該第２画像セグメンテーションモジュールによって当該第１画像をセグメント化する必要があると決定した場合、第２初期モデルは、当該第１画像を処理して、複数の第１子画像を取得し、当該第１子画像は２次元画像である。説明を加えないといけないのは、当該３Ｄ画像を複数の２Ｄ画像に変換するプロセスでは、任意の３Ｄ／２Ｄ変換方式を採用でき、例えば、特定の方向で３Ｄ画像をサンプリングして、複数の２Ｄ画像を取得することができる。もちろん、各方向で３Ｄ画像をサンプリングして、複数の２Ｄ画像を取得することもでき、本願実施例はこれに限定されるものではない。

これに対応して、当該第２画像セグメンテーションモジュールによる第１画像のセグメンテーションプロセスは、第２画像セグメンテーションモジュールが、当該第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像に対応する複数の第１子画像をそれぞれセグメント化して、複数の第２サブセグメンテーション結果を取得するステップと、第２画像セグメンテーションモジュールが、当該複数のサブセグメンテーション結果を融合して、第２セグメンテーション結果を取得するステップとを含む。

上記のステップ２０２からステップ２０５は、当該複数の第２サンプル画像を当該第２初期モデルに入力し、当該第２初期モデルによって、当該複数の第２サンプル画像の画像情報を取得し、当該画像情報、当該第２初期モデル内の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールに基づいて、各第２サンプル画像をセグメント化するプロセスである。当該第２初期モデルは、３Ｄ画像をセグメント化するためのモジュールだけでなく、２Ｄ画像をセグメント化するためのモジュールも含むため、当該第２初期モデルの適用性と汎用性が向上し、当該第２初期モデルに基づいてトレーニングすることによって得られた画像セグメンテーションモデルの適用性と汎用性もより高く、多種の柔軟で可変のセグメンテーション方式を提供することにより、画像セグメンテーションの精度を向上させることができる。

ステップ２０６において、コンピュータ機器の第２初期モデルが、当該複数の第２サンプル画像のタグ、当該第１セグメンテーション結果、および当該第２セグメンテーション結果に基づいて、第１セグメンテーション誤差および第２セグメンテーション誤差をそれぞれ取得する。

第１セグメンテーション結果および第２セグメンテーション結果を取得した後、第２初期モデルは、第２サンプル画像のタグに基づいて、当該第１セグメンテーション結果および第２セグメンテーション結果が正確であるか否かを決定することができる。具体的にはセグメンテーション誤差、セグメンテーション誤差によりセグメンテーション結果が正確であるか否かを測定することができる。ここで、当該第１セグメンテーション誤差は、当該第１画像セグメンテーションモジュールに対応する第１セグメンテーション結果のセグメンテーション誤差であり、当該第２セグメンテーション誤差は、当該第２画像セグメンテーションモジュールに対応する第２セグメンテーション結果のセグメンテーション誤差である。

いくつかの実施例では、当該第１セグメンテーション結果のセグメンテーション誤差を取得するプロセスは、第１損失関数を採用することによって実現され、当該第１セグメンテーション誤差を取得するプロセスは、第１損失関数を採用することによって実現され、当該第１損失関数における画素点の各タイプの重みは、当該複数の第２サンプル画像における、当該複数の第２サンプル画像の画像情報における当該タイプの画素点の比率に基づいて決定される。例えば、当該重みは下記式で決定されることができる。

ここで、Ｗｃはタイプｃの重みであり、Ｎは第２サンプル画像の画像数であり、ｉは第２サンプル画像の識別子であり、ｔ_ｃ，ｉは第２サンプル画像内のタイプｃの画素点の数であり、ｎ_ｉは第２サンプル画像内の全ての画素点の数であり、Σは累積関数または合計関数である。

いくつかの実施例では、当該第２セグメンテーション結果のセグメンテーション誤差の取得プロセスは、第２損失関数を採用することによって実現され、当該第２損失関数の重みは、オンラインハードサンプルマイニング（ＯＨＥＭ：Ｏｎｌｉｎｅ Ｈａｒｄ Ｅｘａｍｐｌｅ Ｍｉｎｉｎｇ）アルゴリズムに基づいて決定され、これにより、第２サンプル画像の難しいサンプルを効果的に区別でき、このようなサンプルによるモデルのパラメータへの影響を低減できるため、サンプルタグの不均衡による悪影響に対処することができる。

例えば、当該第２損失関数は、クロスエントロピー関数（ｃｒｏｓｓ ｅｎｔｒｏｐｙ ｆｕｎｃｔｉｏｎ）であってもよく、上記の第１損失関数は、ｃｒｏｓｓ ｅｎｔｒｏｐｙ ｆｕｎｃｔｉｏｎであってもよいし、他の損失関数であってもよい。いくつかの実施例では、第１損失関数および第２損失関数は、同じであっても異なっていてもよく、本願実施例は、第１損失関数および第２損失関数が具体的にどの損失関数を使用するか、および第１損失関数および第２損失関数が同じであるか否かを限定しない。

ステップ２０７において、コンピュータ機器の第２初期モデルが、それぞれ当該第１セグメンテーション誤差および当該第２セグメンテーション誤差に基づいて、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのモジュールパラメータを、第１反復停止回数に達するまで調整して、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを取得する。

第２初期モデルが、第１セグメンテーション結果および第２セグメンテーション結果が正確であるか否かを認識した後、２つの画像セグメンテーションモジュールのモジュールパラメータを調整でき、複数回調整されたモジュールパラメータにより、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールによる第２サンプル画像のセグメンテーション結果がより正確になる。

いくつかの実施例では、当該第１反復停止回数は、相互検証に基づいて決定される。具体的には、当該第１反復停止回数は、ｋ分割交差検証（Ｋ−ｆｏｌｄ ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）の方式に基づいて決定されることができ、例えば、５分割交差検証の方式に基づいて決定されることができる。５分割交差検証を例にとると、第２サンプル画像を５つの部分に分割でき、そのうちの４つをトレーニングセットとして使用し、もう１つを検証セットとして使用し、その後、別の組み合わせ方式で複数回のトレーニングと検証を実行することができる。もちろん、異なる組み合わせ方式を決定した後、異なる組み合わせ方式で第２初期モデルを同時にトレーニングおよび検証することもできる。このように、サンプルデータの複数の組み合わせをトレーニングおよび検証することにより、当該第２初期モデルが全てのサンプルデータをトラバースするようにし、トレーニングされたモデルの汎用性が向上し、セグメンテーション結果がより正確になる。ここで、当該交差検証プロセスは、主に、一定回数の反復プロセスを実行するたびに、検証データを使用してトレーニングされたモデルを検証することであり、セグメンテーション誤差がターゲット条件を満たす場合、当該反復プロセスを停止することができ、ターゲット条件を満たさない場合、上記の反復プロセスを継続することができ、本願実施例ではこれ以上の説明を省略する。

上記のステップ２０３からステップ２０７は、当該複数の第２サンプル画像に基づいて、当該第２初期モデル内の当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールを、第１反復停止回数に達するまでトレーニングして、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのモジュールパラメータを取得するプロセスであり、当該プロセスでは、当該第１画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第１セグメンテーション誤差に基づいて調整することで得られたものであり、当該第２画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第２セグメンテーション誤差に基づいて調整することで得られたものである。１回の反復プロセスは、第２初期モデルより当該ステップ２０３からステップ２０７を一回実行することであり、第２初期モデルは、上記のプロセスを複数回実行でき、複数回の反復を介して、２つの画像セグメンテーションモジュールのモジュールパラメータを調整すること、即ち、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールをそれぞれトレーニングすることができる。

いくつかの実施例では、上記のプロセスにおいて、コンピュータ機器が２つの画像セグメンテーションモジュールのモジュールパラメータを調整する場合、モダリティ融合モジュールのモジュールパラメータを調整することもでき、これにより、このトレーニングプロセスにおいて、トレーニングによりモダリティ融合モジュールのモジュールパラメータを取得することができる。

具体的な例では、上記の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールは両方とも畳み込みニューラルネットワークモデルであり得、上記の各反復プロセスにおいて、モデルは、予測結果の誤差を計算し、それを畳み込みニューラルネットワークモデルに逆伝播でき、これにより、勾配降下アルゴリズムによりニューラルネットワークモデルの畳み込みテンプレートパラメータｗとバイアスパラメータｂを求めることができる。

ステップ２０８において、コンピュータ機器の第２初期モデルが、トレーニングによって得られた第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールに基づいて、当該複数の第２サンプル画像をセグメント化して、各第２サンプル画像の第１セグメンテーション結果および第２セグメンテーション結果を取得する。

当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールはそれぞれ３Ｄ画像および２Ｄ画像のセグメント化に適用されるため、第２サンプル画像の場合、第１画像セグメンテーションモジュールによる当該第２サンプル画像のセグメンテーション結果がより正確であり、第２画像セグメンテーションモジュールによる当該第２サンプル画像のセグメンテーション結果が非常に不正確である可能性がある。したがって、第２初期モデルが２つのモジュールの総合結果直接採用する場合、得られた最終的なセグメンテーション結果が第２画像セグメンテーションモジュールのセグメンテーション結果の影響を受ける可能性があるため、最終的なセグメンテーション結果の精度が低下する。

第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのトレーニングが完了した後、第２初期モデルはまた、トレーニング済の２つのモジュールに基づいて、２つのモジュールの混合戦略をトレーニングすることができ、つまり、１つの第２サンプル画像について、どのモジュールまたは２つのモジュールを選択して、当該第２サンプル画像をセグメント化する方が適切であるかを判断することをトレーニングする。

第２初期モデルは、トレーニング済みの２つのモジュールを使用して、第２サンプル画像をそれぞれセグメント化して、第１セグメンテーション結果および第２セグメンテーション結果を取得し、当該２つのセグメンテーション結果および２つのセグメンテーション結果の総合セグメンテーション結果を評価することで、どのモジュール選択方式で得られたセグメンテーション結果がより正確であるかを判断する。

ステップ２０９において、コンピュータ機器の第２初期モデルが、当該第１セグメンテーション結果および当該第２セグメンテーション結果に基づいて、第５セグメンテーション結果を取得する。

ここで、当該第５セグメンテーション結果は、当該第１セグメンテーション結果および第２セグメンテーション結果の総合セグメンテーション結果である。いくつかの実施例では、第２初期モデルが第５セグメンテーション結果を取得するプロセスは、第２初期モデルが、第１セグメンテーション結果および第２セグメンテーション結果の平均値を第５セグメンテーション結果として使用すること、即ち、各画素点が各タイプである確率について、第１セグメンテーション結果における確率と第２セグメンテーション結果における確率の平均値を第５セグメンテーション結果における確率として使用することであり得る。

いくつかの実施例では、当該第１セグメンテーション結果および第２セグメンテーション結果はまた、対応する重みを有し、第２初期モデルが第５セグメンテーション結果を取得するプロセスは、第２初期モデルが、第１セグメンテーション結果および第２セグメンテーション結果を加重加算して、第５セグメンテーション結果を取得することであり得る。

もちろん、上記では２つの例のみが提供されており、当該第５セグメンテーション結果の取得プロセスは、他の方式で実現されてもよく、本願実施例はこれに限定されるものではない。

ステップ２１０において、コンピュータ機器の第２初期モデルが、第２サンプル画像のタグ、各第２サンプル画像の第１セグメンテーション結果、第２セグメンテーション結果、および当該第５セグメンテーション結果に基づいて、第１セグメンテーション誤差、第２セグメンテーション誤差、および第３セグメンテーション誤差を取得する。

ここで、当該第３セグメンテーション誤差は、当該第５セグメンテーション結果のセグメンテーション誤差である。第２初期モデルが、第１セグメンテーション結果、第２セグメンテーション結果、および第５セグメンテーション結果を取得した後、第２サンプル画像のタグに基づいて、各セグメンテーション結果のセグメンテーション誤差をそれぞれ決定することにより、各セグメンテーション結果が正確であるか否かを判断することができる。当該各セグメンテーション結果のセグメンテーション誤差は、上記の第１損失関数または第２損失関数を介して取得することもでき、本願実施例ではこれ以上の説明を省略する。

ステップ２１１において、コンピュータ機器の第２初期モデルが、当該第１セグメンテーション誤差、当該第２セグメンテーション結果のセグメンテーション誤差、および当該第３セグメンテーション誤差に基づいて、前記第２初期モデル内のモジュール選択パラメータを、第２反復停止回数に達するまで調整して、画像セグメンテーションモデルを取得する。

ここで、当該モジュール選択パラメータは、第１画像をセグメント化するために、当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールのうちの少なくとも１つのセグメンテーションモジュールを選択することを意思決定するために使用される。このように、第２初期モデルは、各セグメンテーション結果のセグメンテーション誤差に基づいて、モジュール選択パラメータを調整し、複数回調整された後に得られた画像セグメンテーションモデルは、第２サンプル画像のセグメンテーション結果をより正確にするためのモジュール選択方法を独自に意思決定することができる。

上記のステップ２０８からステップ２１１は、当該複数の第２サンプル画像と、トレーニングによって得られた当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールに基づいて、当該第２初期モデル内のモジュール選択パラメータを、第２反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するプロセスであり、当該モジュール選択パラメータは、第１画像をセグメント化するために、当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールのうちの少なくとも１つのセグメンテーションモジュールを選択することを意思決定するために使用され、当該プロセスは、モジュール選択パラメータをトレーニングするプロセスであり、当該モジュール選択パラメータは、トレーニングされた第１画像セグメンテーションモジュール、第２画像セグメンテーションモジュール、および当該複数の第２サンプル画像に基づいてトレーニングすることによって得られたものである。

いくつかの実施例では、当該第２反復停止回数は、交差検証の方式に基づいて決定されてもよい。具体的には、当該第２反復停止回数は、ｋ分割交差検証の方式に基づいて決定されてもよく、例えば、５分割交差検証の方式に基づいて決定されることができ、本願実施例ではこれ以上の説明を省略する。

要約すると、当該第２初期モデルのモデルパラメータは、当該第１画像セグメンテーションモジュールのモジュールパラメータ、当該第２画像セグメンテーションモジュールのモジュールパラメータ、当該第２初期モデル内のモダリティ融合モジュールのモジュールパラメータおよびモジュール選択パラメータを含む。すると、上記のステップ２０２からステップ２１１は、複数の第２サンプル画像に基づいて、当該第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得するプロセスである。

いくつかの実施例では、上記の第２初期モデルによって第２サンプル画像をセグメント化した後、セグメンテーション結果に対してさらに後処理を実行して、最終的なセグメント化された画像を取得する。つまり、第２初期モデルは、第１セグメンテーション結果および第２セグメンテーション結果のうちの少なくとも１つのセグメンテーション結果に基づいて、第２サンプル画像に対応する第３画像を取得し、第２サンプル画像に対応する第３画像に基づいて、第２サンプル画像に対応する第２画像を最終的に出力することを決定することができ、当該第２画像は、第２サンプル画像に対応するセグメント化された画像である。具体的には、当該第２サンプル画像に対応する第３画像は、第１セグメンテーション結果に対応する画像であってもよいし、第２セグメンテーション結果に対応する画像であってもよいし、第１セグメンテーション結果および第２セグメンテーション結果を平均化または加重加算した後に得られた画像であってもよい。当該後処理プロセスは、前記ステップ２０３で取得された画像情報におけるターゲット領域の分布情報に基づいて実行するっことができる。

つまり、第２初期モデルは、当該第２サンプル画像に対応する第３画像内の複数のターゲット領域および当該画像情報によって指示される当該複数のターゲット領域の分布情報に基づいて、当該第２サンプル画像に対応する第３画像に対して後処理を実行して、第２サンプル画像に対応する第２画像を取得することができ、当該ターゲット領域は、当該第２サンプル画像に対応する第３画像のターゲットタイプの画素点が位置する領域であり、当該第２サンプル画像に対応する第２画像の複数のターゲット領域の分布タイプは、ターゲット領域の数およびターゲット領域のサイズ範囲は、当該複数のターゲット領域の分布情報と同じである。このように、先験知識に基づいて、当該後処理プロセスで、セグメンテーションプロセスで誤って分類された画素点をさらに修正することができ、これにより、セグメンテーション結果がより正確になる。

具体的には、当該後処理プロセスは、当該第２サンプル画像に対応する第３画像のターゲット領域の数またはサイズ範囲が当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、第２初期モデルが、当該第２サンプル画像に対応する第３画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するステップと、任意の１つのターゲット領域内に背景画素点が存在する場合、第２初期モデルが、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するステップのうちの任意の１つのまたは複数のステップを含み得る。

例えば、図７に示されるように、ターゲット領域の分布情報に従って、第１ターゲット領域および第２ターゲット領域の分布タイプが完全入れ子型である（即ち、第２ターゲット領域が第１ターゲット領域の内側にあるべきである）と決定した場合、第２サンプル画像に対応する第３画像が、第１ターゲット領域外の第２ターゲット領域が存在する場合、第１ターゲット領域外の当該第２ターゲット領域を除去する。図８に示されるように、ターゲット領域の分布情報に従って、第１ターゲット領域および第２ターゲット領域の分布タイプが完全分離型である（即ち、第２ターゲット領域が第１ターゲット領域の外側にあるべきである）と決定した場合、第２サンプル画像に対応する第３画像に、第１ターゲット領域内の第２ターゲット領域が存在する場合、当該在第１ターゲット領域内の第２ターゲット領域を第１ターゲット領域として充填する。もちろん、ターゲット領域内の画素点は前景画素点であるべきであり、第２サンプル画像に対応する第３画像のターゲット領域内に背景画素点が存在する場合、当該背景画素点を修正することができる。例えば、ヒト組織を例にとると、ヒト組織部位に空洞が存在すべきではなく、第２サンプル画像に対応する第３画像内のヒト組織部位に空洞が存在する場合、当該部分を充填することで、セグメンテーション結果を修正することができる。もちろん、他のステップを含むこともでき、本願実施例では網羅的な例挙をしない。

ここまでのプロセスで、画像セグメンテーションモデルトレーニングを完了し、トレーニングプロセス中に、画像セグメンテーションモデルは当該複数の第２サンプル画像の画像情報を取得し、当該ステップ２１１の後、セグメント化される第１画像を取得した場合、当該コンピュータ機器は、当該画像セグメンテーションモデルを呼び出すことができ、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第１画像をセグメント化し、第２画像を出力する。具体的には、当該画像セグメンテーションモデルが具体的にどのように第１画像をセグメント化するかは、以下の図１０に示される実施例を参照することができ、セグメンテーションプロセスは、当該画像セグメンテーションモデルトレーニングプロセスのいくつかのステップと同様であり、本願実施例では繰り返して説明しない。

図９は、本願実施例による画像セグメンテーションモデルの概略構造図であり、図９を参照すると、当該画像セグメンテーションモデルは、３Ｄネットワーク（Ｎｅｔ）および２Ｄネットワーク（Ｎｅｔ）、即ち、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含み、ここで、３Ｄ Ｎｅｔは、２−ｓｔａｇｅストリーミング設計を採用することができ、粗い予測の後に精細な予測を実行することができ、つまり、大まかなセグメンテーションの後に精細なセグメンテーションを実行することができる。入力されたサンプルデータについては、サンプルデータを３Ｄ Ｎｅｔおよび２Ｄ Ｎｅｔに入力でき、２つのネットワークを通過した後に確率マップを取得した後、異なる混合戦略を使用して確率マップを融合することができ、つまり、モジュール選択パラメータをトレーニングして、単一のネットワークを選択するか、２つのネットワークを選択するかを決定することができる。もちろん、２つのネットワークよりセグメント化される前に、画像セグメンテーションモデルは、サンプルデータに対して前処理を実行することができ、２つのネットワークによりセグメント化された後、画像セグメンテーションモデルはまた、結果に対して後処理を実行して、最終的に出力するセグメント化された画像を取得することができる。

本願実施例による画像セグメンテーションモデルの汎用性が高く、医用画像セグメンテーションに適用される場合、医用画像に関連するシナリオ、即ち、ヒト組織画像に関連するシナリオに適切であり、モデルは自動的にトレーニングでき、手動でパラメータを調整することなく、ユーザがデータを提供するだけで自動的にトレーニングできる。さらに、本願実施例による画像セグメンテーションモデルは、１０種の異なる医療シナリオで検証されており、すべて良好なセグメンテーション効果を有する。さらに、当該画像セグメンテーションモデルは、他の医療応用シナリオに拡張でき、医療画像への高い普遍性を備える。

本願実施例は、多種のヒト組織画像を使用して、初期モデルを事前トレーニングすることで、初期モデルがヒト組織に関する先験知識を備えるようにし、特定のヒト組織画像をセグメント化する場合、この種類のヒト組織画像を分析して、分析結果に基づいてモデルを再設計することなく、この種類のヒト組織画像に基づいて、事前トレーニングされたモデルを直接トレーニングすればよく、画像セグメンテーションモデルの汎用性、適用性、実用性を効果的に向上させることができる。さらに、当該画像セグメンテーションモデルは、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含み、３次元画像と２次元画像の両方を正確にセグメント化できるため、画像セグメンテーションモデルの汎用性、適用性、実用性がさらに向上し、画像セグメンテーションモデルのセグメンテーション精度も向上する。

上記のすべての代替的な技術的解決策を任意に組み合わせることにより、本出願の代替実施例を構成することができ、ここで詳細に説明しない。

図１０は、本願実施例による画像セグメンテーション方法のフローチャートであり、当該画像セグメンテーション方法は、コンピュータ機器に適用され、当該コンピュータ機器は、上記の実施環境におけるコンピュータ機器１０１であってもよい。本願実施例では、主に、セグメント化される第１画像を取得した場合、当該画像セグメンテーションモデルを呼び出し、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第１画像をセグメント化し、第２画像を出力するプロセスについて詳細に説明する。本願実施例では、当該画像セグメンテーションモデルが第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含むことのみを例として説明する。図１０を参照すると、当該画像セグメンテーション方法は、以下のステップを含み得る。

ステップ１００１において、コンピュータ機器が、セグメント化される第１画像を取得する。

コンピュータ機器は、画像セグメンテーション操作を検出した場合に当該ステップ１００１を実行し、ユーザによって導入されたセグメント化される第１画像を受信することもでき、他のコンピュータ機器によって送信される画像セグメンテーション要求を受信することもできる。当該画像セグメンテーション要求はセグメント化される第１画像を運び、当該画像セグメンテーション要求から、セグメント化される第１画像を抽出する。あるいは、当該画像セグメンテーション要求は、当該第１画像の関連情報を運ぶことができ、コンピュータ機器は、当該関連情報に基づいて、当該ステップ１００１を実行することができる。もちろん、当該コンピュータ機器は、画像化原理によって、セグメント化される第１画像を取得することもできる。本願実施例は、当該セグメント化される第１画像の具体的な取得方式および取得タイミングを限定しない。

例えば、他のコンピュータ機器は、画像化原理によって、セグメント化される第１画像を取得し、当該コンピュータ機器に当該セグメント化される第１画像を送信することができ、当該コンピュータ機器は、当該セグメント化される第１画像を取得し、当該第１画像は、上記のターゲットヒト組織の画像であり得、このようにして、下記のステップを実行でき、当該ターゲットヒト組織のサンプル画像を使用してトレーニングすることで得られた画像セグメンテーションモデルを利用して、当該第１画像をセグメント化する。

ステップ１００２において、コンピュータ機器が、画像セグメンテーションモデルを呼び出す。

ここで、当該画像セグメンテーションモデルは、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含む。当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールは、それぞれ、１つのタイプのセグメンテーションアルゴリズムに対応し、当該第１画像セグメンテーションモジュールは、３次元画像をセグメント化するために使用され、当該第２画像セグメンテーションモジュールは、２次元画像をセグメント化するために使用される。

当該コンピュータ機器は、画像セグメンテーションモデルを事前に記憶することができ、いくつかの実施例では、当該コンピュータ機器は、図２に示されるコンピュータ機器であり、つまり、当該コンピュータ機器に記憶された画像セグメンテーションモデルは、当該コンピュータ機器でトレーニングすることで得られたものである。いくつかの実施例では、当該コンピュータ機器は、図２に示されるコンピュータ機器ではなく、つまり、他のコンピュータ機器でトレーニングすることで画像セグメンテーションモデルを取得することができ、当該コンピュータ機器は、他のコンピュータ機器から、当該トレーニングされた画像セグメンテーションモデルを取得することができる。もちろん、当該コンピュータ機器に、画像セグメンテーションモデルが記憶されていなくてもよく、当該コンピュータ機器は、セグメント化される第１画像を取得し、第１画像をセグメント化する必要がある場合、他のコンピュータ機器から、画像セグメンテーションモデルをリアルタイムで呼び出すことができ、本願実施例はこれに限定されるものではない。

ステップ１００３において、コンピュータ機器が、当該第１画像を当該画像セグメンテーションモデルに入力し、当該画像セグメンテーションモデルによって、当該第１画像の属性情報を取得する。

上記のステップ２０３の内容と同様に、画像セグメンテーションモデルは、第１画像の属性情報を取得でき、異なる点は、当該画像セグメンテーションモデルは、第２初期モデルではなく、トレーニング済みのモデルであり、当該画像セグメンテーションモデルを使用する場合、画像数やターゲット領域の分布情報などの情報を取得することを必要とせずに、第１画像の属性情報取得することができる。同様に、当該属性情報は、グレースケール範囲、モダリティ数、およびサイズ範囲などを含んでもよく、本願実施例はこれに限定されるものではない。

ステップ１００４において、コンピュータ機器の画像セグメンテーションモデルが、当該第１画像の属性情報に基づいて、当該第１画像に対して前処理を実行する。

ステップ２０４の内容と同様に、当該画像セグメンテーションモデルによる第１画像の前処理プロセスは、以下の任意の１つまたは複数のステップを含み得る。

ステップ１において、当該属性情報に従って当該第１画像に異常画素点が存在すると決定した場合、画像セグメンテーションモデルは、当該異常画素点を削除する。

ステップ２において、当該属性情報に従って、異常画素点を削除した後の第１画像のグレースケール範囲がターゲット範囲を超えると決定した場合、画像セグメンテーションモデルは、当該第１画像に対して正規化処理を実行して、当該第１画像のグレースケール範囲をターゲット範囲内に調整する。

ステップ３において、当該コンピュータ機器が、当該属性情報に従って当該第１画像のチャネル数が１より大きいと決定した場合、画像セグメンテーションモデルは、当該第１画像の各画素値からターゲット画像平均値を差し引く。

ステップ４において、当該属性情報に従って、当該第１画像のモダリティ数が１より大きいと決定した場合、画像セグメンテーションモデルは、当該第１画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第１画像の複数の画素値を選別して、前処理された第１画像のターゲット数の画素値を取得し、当該前処理された第１画像のモダリティ数は１である。

当該ステップ１００４におけるステップ１からステップ４は全て、上記のステップ２０４におけるステップ１からステップ４と同様であり、本願実施例はここで繰り返して説明しない。

ステップ１００５において、コンピュータ機器の画像セグメンテーションモデルが、前処理された第１画像を当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールに入力し、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールによって、当該第１画像をセグメント化して、第３画像を取得する。

当該第１画像のセグメント化に適用されるモジュールが、第１画像セグメンテーションモジュールのみであり得るか、または第２画像セグメンテーションモジュールのみであり得るか、または２つのモジュールであり得、この場合、画像セグメンテーションモデルは、モジュール選択パラメータに基づいて、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールを選択して、当該第１画像をセグメント化することができる。具体的には、当該ステップ１００５は、以下の３つの可能なケースを含み得る。

第１のケースにおいて、画像セグメンテーションモデルは、当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第１画像セグメンテーションモジュールによって、当該第１画像をセグメント化して、第１セグメンテーション結果を取得し、当該第１セグメンテーション結果に基づいて、第３画像を取得し、当該第１セグメンテーション結果は、当該第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用される。

第２のケースにおいて、画像セグメンテーションモデルは、当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第２画像セグメンテーションモジュールによって、当該第１画像をセグメント化して、第２セグメンテーション結果を取得し、当該第２セグメンテーション結果に基づいて、第３画像を取得し、当該第２セグメンテーション結果は、当該第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用される。

第３のケースにおいて、画像セグメンテーションモデルは、当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールによって当該第１画像をそれぞれセグメント化して、第１セグメンテーション結果および第２セグメンテーション結果を取得し、当該第１セグメンテーション結果および第２セグメンテーション結果に基づいて、第３画像を取得する。

もちろん、第１セグメンテーション結果および第２セグメンテーション結果に基づいて、第３画像を取得するプロセスも、上記のステップ２１１における内容と同様であり、上記の３つのケースは、当該第３画像の３つの取得プロセスにそれぞれ対応し、当該第３画像の３つの取得プロセスは、それぞれ、当該第３画像が第１セグメンテーション結果に対応する画像である場合に対応するプロセス、当該第３画像が第２セグメンテーション結果に対応する画像である場合に対応するプロセス、当該第３画像が第１セグメンテーション結果および第２セグメンテーション結果を平均化または加重加算した後に得られた画像である場合に対応するプロセスであり、本願実施例はここで繰り返して説明しない。

上記のステップ２０５の内容と同様に、当該第１画像セグメンテーションモジュールによる当該第２サンプル画像のセグメンテーションプロセスは、第１画像セグメンテーションモジュールが、当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像を２回分類して、第１セグメンテーション結果を取得することであり、当該２回の分類の最初の分類の分類オブジェクトは、当該第１画像の全ての画素点であり、２番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点である。具体的には、以下のステップ１からステップ３を含み得る。

ステップ１において、第１画像セグメンテーションモジュールが、当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像の各画素点を分類して、第３セグメンテーション結果を取得し、当該第３セグメンテーション結果は、当該第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用される、当該少なくとも２つのタイプは前景と背景を含み、当該前景は背景以外の任意のタイプである。

ステップ２において、第１画像セグメンテーションモジュールが、当該第３セグメンテーション結果および当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第３セグメンテーション結果における各前景画素点を分類して、第４セグメンテーション結果を取得し、当該第４セグメンテーション結果は、当該第３セグメンテーション結果内の各前景画素点が当該少なくとも２つのタイプの各タイプである確率を指示するために使用される。

ステップ３において、第１画像セグメンテーションモジュールが、当該第３セグメンテーション結果および当該第４セグメンテーション結果に基づいて、第１セグメンテーション結果を取得する。

上記のステップ２０５の内容と同様に、当該第２画像セグメンテーションモジュールは、当該第２サンプル画像のセグメンテーションプロセスは、以下のステップ１および２を含み得る。

ステップ１において、第２画像セグメンテーションモジュールが、当該第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像に対して特徴抽出を実行する。

ステップ２において、第２画像セグメンテーションモジュールが、抽出された特徴に基づいて、当該第１画像の各画素点を分類して、第２セグメンテーション結果を取得する。

同様に、当該第１画像の属性情報に従って、当該第１画像が３次元画像であると判断し、当該第２画像セグメンテーションモジュールによって当該第１画像をセグメント化する必要があると決定した場合、画像セグメンテーションモデルは、当該第１画像を処理して、複数の第１子画像を取得することができ、当該第１子画像は２次元画像である。これに対応して、当該第２画像セグメンテーションモジュールによる第１画像のセグメンテーションプロセスは、第２画像セグメンテーションモジュールが、当該第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像に対応する複数の第１子画像をそれぞれセグメント化して、複数の第２サブセグメンテーション結果を取得するステップと、第２画像セグメンテーションモジュールが、当該複数のサブセグメンテーション結果を融合して、第２セグメンテーション結果を取得するステップとを含む。

ステップ１００６において、コンピュータ機器の画像セグメンテーションモデルが、当該画像セグメンテーションモデル内の複数の第２サンプル画像の画像情報に基づいて、当該第３画像に対して後処理を実行して、第２画像を出力する。

ステップ２１１における後処理プロセスと同様に、画像セグメンテーションモデルは、第３画像に対して後処理を実行することもでき、同様に、当該後処理プロセスは、画像セグメンテーションモデルが、当該第３画像内の複数のターゲット領域および当該画像情報によって指示される当該複数のターゲット領域の分布情報に基づいて、当該第３画像に対して後処理を実行して、第２画像を取得するプロセスであり、当該ターゲット領域は、当該第３画像のターゲットタイプの画素点が位置する領域であり、当該第２画像の複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲は、当該複数のターゲット領域の分布情報と同じである。

ステップ２１１における後処理プロセスと同様に、当該ステップ１００６では、画像セグメンテーションモデルは、当該第３画像のターゲット領域の数またはサイズ範囲が、当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、画像セグメンテーションモデルが、当該第３画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するステップと、任意の１つのターゲット領域内に背景画素点が存在する場合、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するステップのうちの任意の１つまたは複数のステップを実行することができる。

上記のステップ１００３からステップ１００６は、当該画像セグメンテーションモデル内の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュール、および当該画像情報に基づいて、当該第１画像をセグメント化して、第２画像を出力するプロセスであり、第２画像を取得した後、コンピュータ機器は、当該第２画像を記憶することができ、もちろん、第１画像および第２画像を対応的に記憶することもでき、当該コンピュータ機器が、他のコンピュータ機器の画像セグメンテーション要求に基づいて上記の画像セグメンテーションプロセスを実行する場合、当該第２画像を当該他のコンピュータ機器に送信することもできる。

説明を加えないといけないのは、本願実施例では、当該画像セグメンテーションモデルが第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含むことのみを例として説明したが、当該画像セグメンテーションモデルは、１つの画像セグメンテーションモジュールのみを含んでもよいし、より多くの画像セグメンテーションモジュールを含んでもよく、画像セグメンテーションプロセスは、上記のプロセスと同様であり、ここでは繰り返して説明しない。

本願実施例は、多種のヒト組織画像を使用して、初期モデルを事前トレーニングすることで、初期モデルがヒト組織に関する先験知識を備えるようにし、特定のヒト組織画像をセグメント化する場合、この種類のヒト組織画像を分析して、分析結果に基づいてモデルを再設計することなく、この種類のヒト組織画像に基づいて、事前トレーニングされたモデルを直接トレーニングすればよく、上記の方法で得られた画像セグメンテーションモデルは、この種類のヒト組織画像を正確にセグメント化することができ、画像セグメンテーション方法の汎用性、適用性、および実用性を効果的に向上させ、画像セグメンテーション方法の精度も効果的に向上させることができる。

上記のすべての代替的な技術的解決策を任意に組み合わせることにより、本出願の代替実施例を構成することができ、ここで詳細に説明しない。

本出願の各実施例における各ステップは、必ずしもステップ番号によって示される順序で順番に実行されるとは限らないことを理解されたい。本明細書で明記されていない限り、これらのステップの実行は厳密な順序に限定されず、これらのステップは他の順序で実行できる。また、各実施例のステップの少なくとも一部は、複数のサブステップまたは複数の段階を含むことができる。これらのサブステップまたは段階は、必ずしも同時に実行される必要はなく、異なる時間に実行されてもよい。これらのサブステップまたは段階の実行順序も、必ずしも順次に実行される必要はなく、他のステップ、または他のステップのサブステップまたは段階の少なくとも一部と、順番にまたは交互に実行できる。

一実施例では、コンピュータ機器をさらに提供し、当該コンピュータ機器は、画像セグメンテーション装置を備え、画像セグメンテーション装置は各モジュールを備え、各モジュールは、全体的または部分的に、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現できる。

図１１は、本願実施例による画像セグメンテーション装置の概略構造図であり、図１１を参照すると、当該装置は、トレーニングモジュール１１０１と、セグメンテーションモジュール１１０２と、を備え、
当該トレーニングモジュール１１０１は、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得するように構成され、当該複数の第１サンプル画像は、多種のヒト組織画像を含み、当該第２初期モデルは、当該多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
当該トレーニングモジュール１１０１は、さらに、複数の第２サンプル画像に基づいて、当該第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、当該画像セグメンテーションモデルが、当該複数の第２サンプル画像の画像情報を取得するように構成され、当該複数の第２サンプル画像は、ターゲットヒト組織の画像であり、当該複数の第２サンプル画像の画像情報は、少なくとも、当該ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
当該セグメンテーションモジュール１１０２は、セグメント化される第１画像を取得した場合、当該画像セグメンテーションモデルを呼び出し、当該画像セグメンテーションモデルによって、当該画像情報に従って当該第１画像をセグメント化し、第２画像を出力するように構成される。

いくつかの実施例では、当該第１初期モデル、当該第２初期モデル、および当該画像セグメンテーションモデルは全て、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含み、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールは、それぞれ、１つのタイプのセグメンテーションアルゴリズムに対応し、当該第１画像セグメンテーションモジュールは、３次元画像をセグメント化するために使用され、当該第２画像セグメンテーションモジュールは、２次元画像をセグメント化するために使用され、
対応的に、当該セグメンテーションモジュール１１０２は、当該画像セグメンテーションモデル内の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュール、および当該画像情報に基づいて、当該第１画像をセグメント化して、第２画像を出力するように構成される。

いくつかの実施例では、当該セグメンテーションモジュール１１０２は、
当該第１画像の属性情報に基づいて、当該第１画像に対して前処理を実行し、
前処理された第１画像を当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールに入力し、当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールによって、当該第１画像をセグメント化して、第３画像を取得し、
当該画像情報に基づいて、当該第３画像に対して後処理を実行して、第２画像を出力するように構成される。

いくつかの実施例では、当該セグメンテーションモジュール１１０２は、
当該属性情報に従って、当該第１画像に異常画素点が存在すると決定した場合、当該異常画素点を削除し、
当該属性情報に従って、異常画素点を削除した後の第１画像のグレースケール範囲がターゲット範囲を超えると決定した場合、当該第１画像に対して正規化処理を実行して、当該第１画像のグレースケール範囲をターゲット範囲内に調整し、
当該属性情報に従って当該第１画像のチャネル数が１より大きいと決定した場合、当該第１画像の各画素値からターゲット画像平均値を差し引き、
当該属性情報に従って当該第１画像のモダリティ数が１より大きいと決定した場合、当該第１画像をモダリティ融合モジュールに入力し、当該モダリティ融合モジュールによって、当該第１画像の複数の画素値を選別して、前処理された第１画像のターゲット数の画素値を取得するように構成され、当該前処理された第１画像のモダリティ数は１である。

いくつかの実施例では、当該セグメンテーションモジュール１１０２は、当該第３画像内の複数のターゲット領域および和当該画像情報によって指示される当該複数のターゲット領域の分布情報に基づいて、当該第３画像に対して後処理を実行して、第２画像を取得するように構成され、当該ターゲット領域は、当該第３画像のターゲットタイプの画素点が位置する領域であり、当該第２画像の複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲は、当該複数のターゲット領域の分布情報と同じである。

いくつかの実施例では、当該セグメンテーションモジュール１１０２は、
当該第３画像のターゲット領域の数またはサイズ範囲が、当該画像情報によって指示される当該複数のターゲット領域の数またはサイズ範囲と異なる場合、当該第３画像から、当該複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するか、または、
任意の１つのターゲット領域内に背景画素点が存在する場合、当該背景画素点を当該ターゲット領域に対応するターゲットタイプの画素点に変更するように構成される。

いくつかの実施例では、当該セグメンテーションモジュール１１０２は、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第１画像セグメンテーションモジュールによって、当該第１画像をセグメント化して、第１セグメンテーション結果を取得し、当該第１セグメンテーション結果に基づいて、第３画像を取得するように構成され、当該第１セグメンテーション結果は、当該第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用され、または、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第２画像セグメンテーションモジュールによって、当該第１画像をセグメント化して、第２セグメンテーション結果を取得し、当該第２セグメンテーション結果に基づいて、第３画像を取得するように構成され、当該第２セグメンテーション結果は、当該第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用され、または、
当該画像セグメンテーションモデルのモジュール選択パラメータに基づいて、当該第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールによって当該第１画像をそれぞれセグメント化して、第１セグメンテーション結果および第２セグメンテーション結果を取得し、当該第１セグメンテーション結果および第２セグメンテーション結果に基づいて、第３画像を取得するように構成される。

いくつかの実施例では、当該セグメンテーションモジュール１１０２は、
当該第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像を２回分類して、第１セグメンテーション結果を取得するように構成され、当該２回の分類における最初の分類の分類オブジェクトは、当該第１画像の全ての画素点であり、２番目の分類の分類オブジェクトは、当該最初の分類結果における前景画素点であり、
いくつかの実施例では、当該セグメンテーションモジュール１１０２は、
当該第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、当該第１画像に対して特徴抽出を実行し、
抽出された特徴に基づいて、当該第１画像の各画素点を分類して、第２セグメンテーション結果を取得するように構成される。

いくつかの実施例では、当該トレーニングモジュール１１０１は、
当該複数の第２サンプル画像に基づいて、当該第２初期モデル内の当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールを、第１反復停止回数に達するまでトレーニングして、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのモジュールパラメータを取得し、
当該複数の第２サンプル画像と、トレーニングによって得られた当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールに基づいて、当該第２初期モデル内のモジュール選択パラメータを、第２反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するように構成され、当該モジュール選択パラメータは、第１画像をセグメント化するために、当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールのうちの少なくとも１つのセグメンテーションモジュールを選択することを意思決定するために使用される。

いくつかの実施例では、当該画像情報は、各第２サンプル画像の属性情報をさらに含み、
対応的に、当該トレーニングモジュール１１０１は、さらに、当該各第２サンプル画像の属性情報に基づいて、各第２サンプル画像に対して前処理を実行して、前処理された複数の第２サンプル画像を当該第１画像セグメンテーションモジュールおよび当該第２画像セグメンテーションモジュールに入力するように構成される。

いくつかの実施例では、当該第１画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第１セグメンテーション誤差に基づいて調整することで得られたものであり、当該第１セグメンテーション誤差は、当該第１画像セグメンテーションモジュールに対応する第１セグメンテーション結果のセグメンテーション誤差であり、当該第１セグメンテーション誤差の取得プロセスは、第１損失関数を採用することによって実現され、当該第１損失関数における画素点の各タイプの重みは、当該複数の第２サンプル画像における、当該複数の第２サンプル画像の画像情報における当該タイプの画素点の比率に基づいて決定され、
当該第２画像セグメンテーションモジュールのモジュールパラメータは、各反復プロセスにおける第２セグメンテーション誤差に基づいて調整することで得られたものであり、当該第２セグメンテーション誤差は、当該第２画像セグメンテーションモジュールに対応する第２セグメンテーション結果のセグメンテーション誤差であり、当該第２セグメンテーション誤差の取得プロセスは、第２損失関数を採用することによって実現され、当該第２損失関数の重みは、オンラインハードサンプルマイニング（ＯＨＥＭ） アルゴリズムに基づいて決定され、
当該第１反復停止回数および当該第２反復停止回数は、交差検証の方式に基づいて決定される。

いくつかの実施例では、当該画像情報は、当該複数の第２サンプル画像の画像数をさらに含み、
対応的に、当該トレーニングモジュール１１０１は、さらに、当該画像数に基づいて、当該第２画像セグメンテーションモジュールとして当該画像数に対応する画像セグメンテーションサブモジュールを取得してトレーニングするように構成され、当該第２画像セグメンテーションモジュールは、少なくとも１つの画像セグメンテーションサブモジュールを含み、異なる画像セグメンテーションサブモジュールは異なる深さを有する。

本願実施例による装置は、多種のヒト組織画像を使用して、初期モデルを事前トレーニングすることで、初期モデルがヒト組織に関する先験知識を備えるようにし、特定のヒト組織画像をセグメント化する場合、この種類のヒト組織画像を分析して、分析結果に基づいてモデルを再設計することなく、この種類のヒト組織画像に基づいて、事前トレーニングされたモデルを直接トレーニングすればよく、上記の方法で得られた画像セグメンテーションモデルは、この種類のヒト組織画像を正確にセグメント化することができ、画像セグメンテーション方法の汎用性、適用性、および実用性を効果的に向上させ、画像セグメンテーション方法の精度も効果的に向上させることができる。

説明を加えないといけないのは、上記の実施例で提供される画像セグメンテーション装置が画像をセグメント化する場合、上記の各機能モジュールの分割のみを例に挙げて説明したが、実際の応用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了させることができ、つまり、コンピュータ機器の内部構造を異なる機能モジュールに分割することにより、以上で説明された機能の全部または一部を完了することができる。なお、上記の実施例によって提供される画像セグメンテーション装置は、画像セグメンテーション方法の実施例と同じ構想に属し、その具体的な実現プロセスについては、方法の実施例を参照でき、ここでは繰り返して説明しない。

上記のコンピュータ機器は、図１２に示される端末として提供されてもよいし、図１３に示されるサーバとして提供されてもよいが、本願実施例はこれに限定されるものではない。

図１２は、本願実施例による端末の構造の概略図である。当該端末１２００は、スマートフォン、タブレットコンピュータ、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、動画エキスパート圧縮標準オーディオレイヤ３）プレーヤ、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、動画エキスパート圧縮標準オーディオレイヤ４）プレーヤ、ラップトップ、またはデスクトップコンピュータであり得る。当該端末１２００はまた、ユーザ機器、携帯端末、ラップトップ端末、デスクトップ端末などの他の名前で呼ばれることができる。

通常、端末１２００は、プロセッサ１２０１とメモリ１２０２を備える。

プロセッサ１２０１は、４コアプロセッサ、８コアプロセッサなどのような１つまたは複数の処理コアを含み得る。プロセッサ１２０１は、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、およびプログラマブル論理アレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）のうちの少なくとも１つのハードウェア形式で実現されることができる。プロセッサ１２０１はまた、メインプロセッサおよびコプロセッサを含み得る。メインプロセッサは、アクティブ状態でデータを処理するために使用されるプロセッサであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれる。コプロセッサは、低電力プロセッサであり、待機状態でデータを処理するために使用される。いくつかの実施例では、プロセッサ１２０１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、画像プロセッサ）と統合されてもより、ＧＰＵは、表示画面に表示される必要があるコンテンツをレンダリングおよび描画するために使用される。いくつかの実施例では、プロセッサ１２０１は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサをさらに備えてもよく、当該ＡＩプロセッサは、機械学習に関連する計算操作を処理するために使用される。

メモリ１２０２は、１つまたは複数のコンピュータ可読記憶媒体を含んでもよく、当該コンピュータ可読記憶媒体は非一時的であり得る。メモリ１２０２はまた、高速ランダムアクセスメモリおよび不揮発性メモリ、例えば、１つまたは複数の磁気ディスク記憶装置、フラッシュメモリ記憶装置を含んでもよい。いくつかの実施例では、メモリ１２０２内の非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶するために使用され、当該少なくとも１つの命令は、プロセッサ１２０１によって実行されることにより、本出願の方法の実施例による画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法を実現するために使用される。

いくつかの実施例では、端末１２００は、任意選択で、周辺機器インターフェース１２０３および少なくとも１つの周辺機器をさらに含むことができる。プロセッサ１２０１、メモリ１２０２、および周辺機器インターフェース１２０３は、バスまたは信号線によって接続されることができる。各周辺機器は、バス、信号線、または回路基板を介して周辺機器インターフェース１２０３に接続することができる。具体的には、周辺機器は、無線周波数回路１２０４、タッチスクリーン１２０５、カメラ１２０６、オーディオ回路１２０７、位置決めコンポーネント１２０８、および電源１２０９のうちの少なくとも１つを含む。

周辺機器インターフェース１２０３は、Ｉ ／ Ｏ（Ｉｎｐｕｔ ／Ｏｕｔｐｕｔ、入力／出力）に関連する少なくとも１つの周辺機器をプロセッサ１２０１およびメモリ１２０２に接続するために使用されることができる。いくつかの実施例では、プロセッサ１２０１、メモリ１２０２、および周辺機器インターフェース１２０３は、同一のチップまたは回路基板に統合されてもよく、他のいくつかの実施例では、プロセッサ１２０１、メモリ１２０２、および周辺機器インターフェース１２０３のいずれか１つまたは２つは、別個のチップまたは回路基板に実装されてもよく、本実施例はこれを限定しない。

無線周波数回路１２０４は、電磁信号とも呼ばれるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）信号を送受信するために使用される。無線周波数回路１２０４は、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信する。無線周波数回路１２０４は、電気信号を電磁信号に変換して送信するか、または受信した電磁信号を電気信号に変換する。例示的に、無線周波数回路１２０４は、アンテナシステム、ＲＦトランシーバ、１つまたは複数の増幅器、同調器、発振器、デジタル信号プロセッサ、コーデックチップセット、ユーザ識別モジュールカードなどを含んでもよい。無線周波数回路１２０４は、少なくとも１つの無線通信プロトコルを介して他の端末と通信することができる。当該無線通信プロトコルは、メトロポリタンエリアネットワーク、各世代のモバイル通信ネットワーク（２Ｇ、３Ｇ、４Ｇ、および５Ｇ）、ワイヤレスローカルエリアネットワーク、および／またはＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、ワイヤレスフィデリティ）ネットワークを含むが、これらに限定されない。いくつかの実施例では、無線周波数回路１２０４は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、近距離無線通信）に関連する回路をさらに含んでもよいが、本出願はこれを限定しない。

表示画面１２０５は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ユーザインターフェース）を表示するために使用される。当該ＵＩは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含むことができる。表示画面１２０５がタッチスクリーンである場合、表示画面１２０５はまた、表示画面１２０５の表面上またはその上でタッチ信号を収集する能力を有する。当該タッチ信号は、処理のための制御信号としてプロセッサ１２０１に入力することができる。この場合、表示画面１２０５はまた、仮想ボタンおよび／または仮想キーボード（ソフトボタンおよび／またはソフトキーボードとも呼ばれる）を提供するために使用されることができる。いくつかの実施例では、端末１２００のフロントパネルに配置された１つの表示画面１２０５があり得る。別のいくつかの実施例では、少なくとも２つの表示画面１２０５があり得、当該少なくとも２つの表示画面はそれぞれ、端末１２００の異なる表面上に配置されるか、または折り畳み設計を有する。いくつかの実施例では、表示画面１２０５は、端末１２００の曲面または折り畳み面に配置された可撓性表示画面であり得る。さらに、表示画面１２０５は、非長方形の不規則なパターン、すなわち、特殊な形状の画面として設定することもできる。表示画面１２０５は、ＬＤＣ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機発光ダイオード）などの材料で作ることができる。

カメラコンポーネント１２０６は、画像またはビデオをキャプチャするために使用される。例示的に、カメラコンポーネント１２０６は、フロントカメラおよびリアカメラを含んでもよい。通常、フロントカメラは、端末のフロントパネルに配置され、リアカメラは端末の背面に配置される。いくつかの実施例では、リアカメラは少なくとも２つであり、それぞれがメインカメラ、被写界深さカメラ、広角カメラ、および望遠カメラのうちの１つであり、メインカメラと被写界深さカメラの融合により背景ぼけ機能を実現し、メインカメラと広角カメラの融合により、パノラマ撮影およびＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）撮影機能または他の融合撮影機能を実現する。いくつかの実施例では、カメラコンポーネント１２０６はさらに、フラッシュを備えてよい。フラッシュは、単色温度フラッシュまたは二色温度フラッシュであり得る。二色温度フラッシュは、暖光フラッシュと冷光フラッシュの組み合わせを指し、異なる色温度での光補正に使用できる。

オーディオ回路１２０７は、マイクロフォンおよびスピーカを含み得る。マイクロフォンは、ユーザおよび環境の音波を収集し、音波を電気信号に変換して、プロセッサ１２０１に入力して処理するために使用されるか、または無線周波数回路１２０４に入力して音声通信を実現するために使用される。立体音響収集またはノイズ低減の目的で、複数のマイクロフォンがあり得、それらはそれぞれ、端末１２００の異なる部分に設定される。マイクロフォンはまた、アレイマイクロフォンまたは全方向収集型マイクロフォンであってもよい。スピーカは、プロセッサ１２０１または無線周波数回路１２０４からの電気信号を音波に変換するために使用される。スピーカは、従来の薄膜スピーカまたは圧電セラミックスピーカであり得る。スピーカが圧電セラミックスピーカである場合、電気信号を人間の可聴音波に変換するだけでなく、距離測定などの目的で電気信号を人間の非可聴音波に変換することもできる。いくつかの実施例では、オーディオ回路１２０７はまた、ヘッドホンジャックを含み得る。

位置決めコンポーネント１２０８は、端末１２００の現在の地理位置を位置決めして、ナビゲーションまたはＬＢＳ（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ、ロケーションベースサービス）を実現するために使用される。位置決めコンポーネント１２０８は、米国のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、グローバルポジショニングシステム）、中国の北斗システム、ロシアのグレナスシステム、または欧州連合のガリレオシステムに基づく位置決めコンポーネントであり得る。

電源１２０９は、端末１２００内の各コンポーネントに電力を供給するために使用される。電源１２０９は、交流、直流、使い捨て電池または充電式電池であり得る。電源１２０９が充電式電池を含む場合、当該充電式電池は、有線充電または無線充電をサポートすることができる。充電式電池は、急速充電技術をサポートすることもできる。

いくつかの実施例では、端末１２００は、さらに、１つまたは複数のセンサ１２１０を備えてもよい。当該１つまたは複数のセンサ１２１０は、加速度センサ１２１１、ジャイロスコープセンサ１２１２、圧力センサ１２１３、指紋センサ１２１４、光学センサ１２１５、および近接センサ１２１６を含むが、これらに限定されない。

加速度センサ１２１１は、端末１２００によって確立された座標系の３つの座標軸上の加速度の大きさを検出することができる。例えば、加速度センサ１２１１は、３つの座標軸上の重力加速度の成分を検出するために使用されることができる。プロセッサ１２０１は、加速度センサ１２１１によって収集された重力加速度信号に従って、タッチスクリーン１２０５を制御して、水平ビューまたは垂直ビューでユーザインターフェースを表示することができる。加速度センサ１２１１はまた、ゲームまたはユーザの運動データの収集に使用することができる。

ジャイロスコープセンサ１２１２は、端末１２００の本体方向および回転角を検出することができ、ジャイロスコープセンサ１２１２は、加速度センサ１２１１と協調して、端末１２００上でのユーザの３Ｄアクションを収集することができる。プロセッサ１２０１は、ジャイロスコープセンサ１２１２によって収集されたデータに従って、モーションセンシング（例えば、ユーザの傾斜操作に従ってＵＩを変更する）、撮影中の画像安定化、ゲーム制御、および慣性航法などの機能を実現することができる。

圧力センサ１２１３は、端子１２００のサイドフレームおよび／またはタッチスクリーン１２０５の下層に設けられることができる。圧力センサ１２１３が端末１２００のサイドフレームに設けられる場合、端末１２００のユーザの握持信号を検出することができ、プロセッサ１２０１は、圧力によって収集された握持信号に従って、左手および右手認識またはショートカット操作を実行することができる。圧力センサ１２１３がタッチスクリーン１２０５の下層に設けられる場合、プロセッサ１２０１は、タッチスクリーン１２０５でのユーザの圧力操作に従って、ＵＩインターフェース上の操作性コントロールを制御することができる。操作性コントロールは、ボタンコントロール、スクロールバコントロール、アイコンコントロール、およびメニューコントロールのうちの少なくとも１つを含む。

指紋センサ１２１４は、ユーザの指紋を収集するために使用される。プロセッサ１２０１は、指紋センサ１２１４によって収集された指紋に従ってユーザのアイデンティティを認識するか、または指紋センサ１２１４は、収集された指紋に従ってユーザのアイデンティティを認識する。ユーザのアイデンティティが信頼できるアイデンティティであることが認識されると、プロセッサ１２０１は、画面のロック解除、暗号化された情報の表示、ソフトウェアのダウンロード、支払い、および設定の変更などを含む、関連する機密操作を実行することをユーザに許可する。指紋センサ１２１４は、端末１２００の前面、背面、または側面に設けられことができる。端末１２００に物理的ボタンまたは製造業者のロゴが設けられている場合、指紋センサ１２１４は、物理的ボタンまたは製造業者のロゴと統合することができる。

光学センサ１２１５は、周囲光強度を収集するために使用される。一実施例では、プロセッサ１２０１は、光学センサ１２１５によって収集された周囲光の強度に従って、タッチスクリーン１２０５の表示輝度を制御することができる。具体的には、周囲光強度が高い場合、タッチスクリーン１２０５の表示輝度が増加し、周囲光強度が低い場合、タッチスクリーン１２０５の表示輝度が低下する。別の実施例では、プロセッサ１２０１はまた、光学センサ１２１５によって収集された周囲光の強度に従って、カメラコンポーネント１２０６の撮影パラメータを動的に調整することができる。

近接センサ１２１６は、距離センサとも呼ばれ、通常、端末１２００のフロントパネルに設けられる。近接センサ１２１６は、ユーザと端末１２００の前面との間の距離を収集するために使用される。一実施例では、近接センサ１２１６が、ユーザと端末１２００の前面との間の距離が徐々に減少することを検出する場合、プロセッサ１２０１は、タッチスクリーン１２０５を制御して、スクリーンオン状態からスクリーンオフ状態に切り替える。近接センサ１２１６は、ユーザと端末１２００の前面との間の距離が徐々に増加することを検出する場合、プロセッサ１２０１は、タッチスクリーン１２０５を制御して、スクリーンオフ状態からスクリーンオン状態に切り替える。

当業者なら自明であるが、図１２に示される構造は、端子１２００への限定を構成せず、図に示されるよりも多いまたは少ないコンポーネントを含むか、特定のコンポーネントを組み合わせるか、または異なるコンポーネント配置を採用することができる。図１３は、本願実施例によるサーバの概略構造図である。当該サーバ１３００は、構成又は性能により比較的大きな違いを有することができ、１つまたは複数のプロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）１３０１と１つまたは複数のメモリ１３０２とを備えてもよい。ここで、当該メモリ１３０２に少なくとも１つの命令が記憶されており、当該少なくとも１つの命令は、当該プロセッサ１３０１によりロードされて実行されることにより、上記の各方法の実施例による画像セグメンテーション方法またはセグメンテーションモデルトレーニング方法を実現する。勿論、当該サーバは、入力出力を行うために、有線または無線ネットワークインターフェース、キーボード、および入力出力インターフェース等のコンポーネントを備えてもよく、当該サーバは、さらに、装置の機能を実現するための他のコンポーネントを備えてもよいが、ここでは詳細な説明を省略する。

上記のコンピュータ機器は、図１４に示されるサーバとして提供されてもよいし、図１５に示される端末として提供されてもよいが、本願実施例はこれに限定されるものではない。

上記のコンピュータ機器は、図１４に示されるサーバとして提供されてもよい。図１４に示されるように、当該サーバは、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、およびデータベースを備えてもよい。ここで、当該コンピュータ機器のプロセッサは、計算機能と制御機能を提供できる。当該コンピュータ機器のメモリは、不揮発性記憶媒体および内部メモリを含む。当該不揮発性記憶媒体に、オペレーティングシステムおよびコンピュータプログラムが記憶されている。当該不揮発性記憶媒体に、オペレーティングシステムおよびコンピュータプログラムが記憶されている。当該コンピュータ機器のデータベースは、画像データを記憶するために使用される。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信できる。当該コンピュータプログラムがプロセッサによって実行されるときに、画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法を実現する。

上記のコンピュータ機器は、図１５に示される端末として提供されてもよい。図１５に示されるように、当該端末は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、表示画面および入力装置を備えてもよい。ここで、当該コンピュータ機器のプロセッサは、計算機能と制御機能を提供できる。当該コンピュータ機器のメモリは、不揮発性記憶媒体および内部メモリを含む。当該不揮発性記憶媒体に、オペレーティングシステムおよびコンピュータプログラムが記憶されている。当該内部メモリは、不揮発性記憶媒体に記憶されたオペレーティングシステムおよびコンピュータプログラムの動作のための環境を提供する。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信できる。当該コンピュータプログラムがプロセッサによって実行されるときに、画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法を実現する。当該コンピュータ機器の表示画面は、液晶表示画面であってもよいし、電子インク表示画面であってもよい。当該コンピュータ機器の入力装置は、表示画面に覆われたタッチ層であってもよいし、コンピュータ機器のハウジングに設けられたボタン、トラックボールまたはタッチパッドであってもよいし、外部接続されたキーボード、タッチパッドまたはマウスなどであってもよい。

当業者なら自明であるが、図１４および図１５に示される構造は、本願の解決策に関連する構造の一部のブロック図に過ぎず、本願の解決策が適用されるサーバと端末に対する限定を構成しない。具体的なサーバと端末は、図に示されるよりも多いまたは少ないコンポーネントを含んでもよいか、または特定のコンポーネントを組み合わせてもよいか、または異なるコンポーネント配置を有してもよい。

一実施例では、本願で提供される画像セグメンテーション装置は、コンピュータ可読命令の形で実現されてもよく、コンピュータ可読命令は、図１４に示されるサーバで実行されてもよいし、図１５に示される端末で実行されてもよい。サーバまたは端末のメモリは、当該画像セグメンテーション装置を構成する各プログラムモジュール、例えば、トレーニングモジュール１１０１およびセグメンテーションモジュール１１０２を記憶することができる。各プログラムモジュールで構成されるコンピュータ可読命令は、プロセッサに、本明細書で説明される本願の各実施例の画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法におけるステップを実行させる。

本願実施例は、コンピュータ可読命令が記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータ可読命令がプロセッサによって実行されるときに、上記の実施例の画像セグメンテーション方法または画像セグメンテーションモデルトレーニング方法における動作を実現する。

当業者なら自明であるが、上述の実施例における各方法において、その全部又は一部のプロセスが、関連のハードウェアに、コンピュータプログラムによる命令で、実行されることができる。当該プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、当該プログラムが実行されるときに、上述した各方法の実施例におけるプロセスを実行することができる。ここで、本願の各実施例で任意引用するメモリ、ストレージ、データベースまたは他の媒体は、すべて不揮発性および／または揮発性メモリを含み得る。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、電気的なプログラムが可能なＲＯＭ（ＥＰＲＯＭ）、電気的な消去／プログラムが可能なＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含んでもよい。限定的ではない例として、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張型ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期接続（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバス（Ｒａｍｂｕｓ）ダイナミックＲＡＭ（ＲＤＲＡＭ）など、様々な形のＲＡＭが利用可能であり得る。

当業者は、明細書を参照して、本明細書に開示される発明を実施した後、本出願の他の実施形態を容易に想到し得るであろう。本出願は、本出願の任意の変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本出願の普通の原理に準拠し、本出願に開示されていない本技術分野における公知常識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本発明の真の範囲及び思想は添付の特許請求の範囲によって示される。

本発明は、前述に既に説明し、図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正および変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims (17)

1. 画像セグメンテーション方法であって、
   コンピュータ機器が、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得するステップであって、前記複数の第１サンプル画像は、多種のヒト組織画像を含み、前記第２初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
   前記コンピュータ機器が、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第２サンプル画像の画像情報を取得するステップであって、前記複数の第２サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第２サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含む、ステップと、
   セグメント化される第１画像を取得した場合、前記コンピュータ機器が、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第１画像をセグメント化し、第２画像を出力するステップと、含む、画像セグメンテーション方法。
2. 前記第１初期モデル、前記第２初期モデル、および前記画像セグメンテーションモデルは全て、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールを含み、前記第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールは、それぞれ、１つのタイプのセグメンテーションアルゴリズムに対応し、前記第１画像セグメンテーションモジュールは、３次元画像をセグメント化するために使用され、前記第２画像セグメンテーションモジュールは、２次元画像をセグメント化するために使用され、
   前記画像セグメンテーションモデルによって、前記画像情報に従って前記第１画像をセグメント化し、第２画像を出力する前記ステップは、
   前記コンピュータ機器が、前記画像セグメンテーションモデル内の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュール、および前記画像情報に基づいて、前記第１画像をセグメント化して、第２画像を出力するステップを含むことを特徴とする、
   請求項１に記載の画像セグメンテーション方法。
3. 前記画像セグメンテーションモデル内の第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュール、および前記画像情報に基づいて、前記第１画像をセグメント化して、第２画像を出力する前記ステップは、
   前記コンピュータ機器が、前記第１画像の属性情報に基づいて前記第１画像に対して前処理を実行するステップと、
   前記コンピュータ機器が、前処理された第１画像を前記第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールに入力し、前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールによって、前記第１画像をセグメント化して、第３画像を取得する、ステップと、
   前記コンピュータ機器が、前記画像情報に基づいて前記第３画像に対して後処理を実行して、第２画像を出力するステップと、を含むことを特徴とする、
   請求項２に記載の画像セグメンテーション方法。
4. 前記コンピュータ機器が、前記第１画像の属性情報に基づいて前記第１画像に対して前処理を実行する前記ステップは、
   前記属性情報に従って前記第１画像に異常画素点が存在すると決定した場合、前記コンピュータ機器は、前記異常画素点を削除するステップと、
   前記属性情報に従って、異常画素点を削除した後の第１画像のグレースケール範囲がターゲット範囲を超えると決定した場合、前記コンピュータ機器は、前記第１画像に対して正規化処理を実行して、前記第１画像のグレースケール範囲をターゲット範囲内に調整するステップと、
   前記属性情報に従って前記第１画像のチャネル数が１より大きいと決定した場合、前記コンピュータ機器は、前記第１画像の各画素値からターゲット画像平均値を差し引くステップと、
   前記属性情報に従って前記第１画像のモダリティ数が１より大きいと決定した場合、前記コンピュータ機器は、前記第１画像をモダリティ融合モジュールに入力し、前記モダリティ融合モジュールによって、前記第１画像の複数の画素値を選別して、前処理された第１画像のターゲット数の画素値を取得するステップであって、前記前処理された第１画像のモダリティ数は１である、ステップと、を含むことを特徴とする、
   請求項３に記載の画像セグメンテーション方法。
5. 前記コンピュータ機器が、前記画像情報に基づいて前記第３画像に対して後処理を実行して、第２画像を出力する前記ステップは、
   前記コンピュータ機器が、前記第３画像内の複数のターゲット領域および前記画像情報によって指示される前記複数のターゲット領域の分布情報に基づいて、前記第３画像に対して後処理を実行して、第２画像を取得するステップを含み、ターゲット領域は、前記第３画像のターゲットタイプの画素点が位置する領域であり、前記第２画像の複数のターゲット領域の分布タイプ、ターゲット領域の数、およびターゲット領域のサイズ範囲は、前記複数のターゲット領域の分布情報と同じである、ことを特徴とする、
   請求項３または４に記載の画像セグメンテーション方法。
6. 前記コンピュータ機器が、前記第３画像内の複数のターゲット領域および前記画像情報によって指示される前記複数のターゲット領域の分布情報に基づいて、前記第３画像に対して後処理を実行する前記ステップは、
   前記第３画像のターゲット領域の数またはサイズ範囲が、前記画像情報によって指示される前記複数のターゲット領域の数またはサイズ範囲と異なる場合、前記コンピュータ機器は、前記第３画像から、前記複数のターゲット領域の数を満たさない部分またはサイズ範囲が異なる部分を除去するステップを含むことを特徴とする、
   請求項５に記載の画像セグメンテーション方法。
7. 前記コンピュータ機器が、前記第３画像内の複数のターゲット領域および前記画像情報によって指示される前記複数のターゲット領域の分布情報に基づいて、前記第３画像に対して後処理を実行する前記ステップは、
   任意の１つのターゲット領域内に背景画素点が存在する場合、前記コンピュータ機器は、前記背景画素点を前記ターゲット領域に対応するターゲットタイプの画素点に変更するステップを含むことを特徴とする、
   請求項５に記載の画像セグメンテーション方法。
8. 前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールによって、前記第１画像をセグメント化して、第３画像を取得する前記ステップは、
   前記コンピュータ機器が、前記画像セグメンテーションモデルのモジュール選択パラメータに基づいて、前記第１画像セグメンテーションモジュールによって、前記第１画像をセグメント化して、第１セグメンテーション結果を取得し、前記第１セグメンテーション結果に基づいて、第３画像を取得するステップを含み、前記第１セグメンテーション結果は、前記第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用される、ことを特徴とする、
   請求項３ないし７のいずれか一項に記載の画像セグメンテーション方法。
9. 前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールによって、前記第１画像をセグメント化して、第３画像を取得する前記ステップは、
   前記コンピュータ機器が、前記画像セグメンテーションモデルのモジュール選択パラメータに基づいて、前記第２画像セグメンテーションモジュールによって、前記第１画像をセグメント化して、第２セグメンテーション結果を取得し、前記第２セグメンテーション結果に基づいて、第３画像を取得するステップを含み、前記第２セグメンテーション結果は、前記第１画像の各画素点が少なくとも２つのタイプの各タイプである確率を指示するために使用される、ことを特徴とする、
   請求項３ないし７のいずれか一項に記載の画像セグメンテーション方法。
10. 前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールのうちの少なくとも１つのモジュールによって、前記第１画像をセグメント化して、第３画像を取得する前記ステップは、
    前記コンピュータ機器が、前記画像セグメンテーションモデルのモジュール選択パラメータに基づいて、前記第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールによって前記第１画像をそれぞれセグメント化して、第１セグメンテーション結果および第２セグメンテーション結果を取得し、前記第１セグメンテーション結果および第２セグメンテーション結果に基づいて、第３画像を取得するステップを含むことを特徴とする、
    請求項３ないし７のいずれか一項に記載の画像セグメンテーション方法。
11. 前記第１画像セグメンテーションモジュールによって前記第１画像をセグメント化するプロセスは、
    前記コンピュータ機器が、前記第１画像セグメンテーションモジュールのモジュールパラメータに基づいて、前記第１画像を２回分類して、第１セグメンテーション結果を取得するステップを含み、前記２回の分類における最初の分類の分類オブジェクトは、前記第１画像の全ての画素点であり、２番目の分類の分類オブジェクトは、前記最初の分類結果における前景画素点であり、
    前記第２画像セグメンテーションモジュールによって前記第１画像をセグメント化するプロセスは、
    前記コンピュータ機器が、前記第２画像セグメンテーションモジュールのモジュールパラメータに基づいて、前記第１画像に対して特徴抽出を実行するステップと、
    前記コンピュータ機器が、抽出された特徴に基づいて、前記第１画像の各画素点を分類して、第２セグメンテーション結果を取得するステップと、を含むことを特徴とする、
    請求項２に記載の画像セグメンテーション方法。
12. 前記コンピュータ機器が、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングする前記ステップは、
    前記コンピュータ機器が、前記複数の第２サンプル画像に基づいて、前記第２初期モデル内の前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールを、第１反復停止回数に達するまでトレーニングして、第１画像セグメンテーションモジュールおよび第２画像セグメンテーションモジュールのモジュールパラメータを取得するステップと、
    前記コンピュータ機器が、前記複数の第２サンプル画像と、トレーニングによって得られた前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールに基づいて、前記第２初期モデル内のモジュール選択パラメータを、第２反復停止回数に達するまでトレーニングして、画像セグメンテーションモデルを取得するステップと、を含み、前記モジュール選択パラメータは、第１画像をセグメント化するために、前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールのうちの少なくとも１つのセグメンテーションモジュールを選択することを意思決定するために使用される、ことを特徴とする、
    請求項２ないし１１のいずれか一項に記載の画像セグメンテーション方法。
13. 前記画像情報は、各第２サンプル画像の属性情報をさらに含み、
    前記コンピュータ機器が、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングするプロセスは、
    前記コンピュータ機器が、前記各第２サンプル画像の属性情報に基づいて、各第２サンプル画像に対して前処理を実行し、前処理された複数の第２サンプル画像を前記第１画像セグメンテーションモジュールおよび前記第２画像セグメンテーションモジュールに入力するステップをさらに含むことを特徴とする、
    請求項２ないし１１のいずれか一項に記載の画像セグメンテーション方法。
14. 前記画像情報は、前記複数の第２サンプル画像の画像数をさらに含み、
    前記コンピュータ機器が、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングするプロセスは、
    前記コンピュータ機器が、前記画像数に基づいて、前記第２画像セグメンテーションモジュールとして、前記画像数に対応する画像セグメンテーションサブモジュールを取得してトレーニングするステップを含み、前記第２画像セグメンテーションモジュールは、少なくとも１つの画像セグメンテーションサブモジュールを含み、異なる画像セグメンテーションサブモジュールは異なる深さを有する、ことを特徴とする、
    請求項２ないし１１のいずれか一項に記載の画像セグメンテーション方法。
15. 画像セグメンテーション装置であって、
    前記画像セグメンテーション装置は、トレーニングモジュールと、セグメンテーションモジュールとを備え、
    前記トレーニングモジュールは、複数の第１サンプル画像に基づいて、第１初期モデルを事前トレーニングして、第２初期モデルを取得するように構成され、前記複数の第１サンプル画像は、多種のヒト組織画像を含み、前記第２初期モデルは、前記多種のヒト組織に対応する複数のターゲット領域の分布情報を含み、
    前記トレーニングモジュールは、さらに、複数の第２サンプル画像に基づいて、前記第２初期モデルをトレーニングして、画像セグメンテーションモデルを取得し、トレーニングプロセス中に、前記画像セグメンテーションモデルによって前記複数の第２サンプル画像の画像情報を取得するように構成され、前記複数の第２サンプル画像は、ターゲットヒト組織の画像であり、前記複数の第２サンプル画像の画像情報は、少なくとも、前記ターゲットヒト組織に対応する複数のターゲット領域の分布情報を含み、
    前記セグメンテーションモジュールは、セグメント化される第１画像を取得した場合、前記画像セグメンテーションモデルを呼び出し、前記画像セグメンテーションモデルによって、前記画像情報に従って前記第１画像をセグメント化し、第２画像を出力するように構成されることを特徴とする、画像セグメンテーション装置。
16. コンピュータ機器であって、プロセッサと、コンピュータ可読命令が記憶されたメモリと、を備え、前記コンピュータ可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、請求項１ないし１４のいずれか一項に記載の画像セグメンテーション方法を実行させる、前記コンピュータ機器。
17. コンピュータプログラムであって、
    コンピュータに、請求項１ないし１４のいずれか一項に記載の画像セグメンテーション方法を実行させる、コンピュータプログラム。

Images