JP2022547372A - 画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品 - Google Patents

Abstract

本開示は、画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品に関する。前記画像処理方法は、処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するステップと、１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、１つ又は複数のスケールの局所画像に対応する特徴マップを取得するステップと、１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するステップと、を含む。

Description

（関連出願への相互参照）
本開示は、出願番号が２０２０１０８０１０３５．０であり、出願日が２０２０年８月１１日である中国特許に基づいて提案され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。

本開示は、コンピュータ技術分野に関し、特に画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品に関する。

画像処理プロセスでは、ターゲットは、小さく、分布が複雑であり、この場合、高い分割効果を得ることは困難であり、例えば、医用画像処理分野では、コンピュータ断層撮影血管造影（ＣＴＡ：Ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ａｎｇｉｏｇｒａｐｈｙ）画像において、冠状血管ターゲットは、小さく、分布が複雑でありかつノイズからの干渉を受けやすいため、冠状血管を正確に分割することは困難である。

本開示の実施例は、画像処理方法及び装置、電子デバイス、記憶媒体及びプログラム製品を提供する。

本開示の実施例による画像処理方法は、処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するステップと、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するステップと、前記１つ又は複数のスケールの局所画像に対応する前記特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するステップと、含む。このように、１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行って特徴マップを取得し、取得された特徴マップを分割することにより、処理待ち画像から小さなローカルの細かい特徴、及び複雑なグローバル分布特徴を取得することが可能であり、さらに分割結果の精度が向上する。

１つの可能な実施形態では、処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するステップは、前記処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、複数の局所画像を取得するステップであって、前記複数の局所画像には基準サイズの第１の局所画像、及び前記基準サイズよりも大きい第２の局所画像が含まれ、前記複数の局所画像の画像中心が同じである、ステップを含む。このように、処理待ち画像に対して複数のスケールのスクリーンショット処理を行うことにより、小さいサイズのスクリーンショットを行う場合、詳細な特徴を表す局所画像を取得することができ、大きいサイズのスクリーンショットを行う場合、グローバルな特徴を表す局所画像を取得することができ、さらに取得された、局所画像に対応する特徴マップには詳細を表す特徴マップだけでなく、グローバルを表す特徴マップが含まれ、さらに、これらの特徴マップに基づいて、処理待ち画像を合理的に分割し、分割結果の精度を向上させることができる。

１つの可能な実施形態では、前記特徴マップは、第１の特徴マップと、第２の特徴マップとを含み、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するステップは、前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ及び前記第２の局所画像に対応する第２の特徴マップを取得するステップを含む。このように、小さいサイズの第１の局所画像に対応する第１の特徴マップ及び大きいサイズの第２の局所画像に対応する第２の特徴マップを取得することができ、これにより、第１の特徴マップ及び第２の特徴マップに基づいて処理待ち画像を分割する場合、分割結果の精度を向上させることができる。

１つの可能な実施形態では、前記１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するステップは、前記第１の特徴マップ及び前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得するステップと、前記第３の特徴マップに対してアクティブ化処理を行い、前記処理待ち画像内の特定の領域の分割結果を取得するステップと、を含む。このように、第１の特徴マップと第２の特徴マップを重ね合わせた第３の特徴マップに基づいて、処理待ち画像を分割し、第３の特徴マップは、小さいサイズの第１の局所画像に対応する第１の特徴マップ内の特徴だけでなく、大きいサイズの第２の局所画像に対応する第２の特徴マップ内の特徴を保持することもできるため、分割結果の精度を向上させることができる。

１つの可能な実施形態では、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ及び前記第２の局所画像に対応する第２の特徴マップを取得するステップは、前記第２の局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第３の局所画像を取得するステップと、前記第１の局所画像及び前記第３の局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ、及び前記第２の局所画像に対応する第２の特徴マップを取得するステップと、を含む。このように、ダウンサンプリングにより、異なるサイズの局所画像がいずれも特徴抽出ネットワークへの入力要件を満たし、さらに複数のスケールの特徴マップが取得され、これは、複数のスケールの特徴情報を取得することに有利である。

１つの可能な実施形態では、前記第１の特徴マップ及び前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得するステップは、前記第２の特徴マップに対してアップサンプリング処理を行い、第４の特徴マップを取得するステップであって、前記第４の特徴マップと前記第１の特徴マップとのサイズ比が前記第２の局所画像と前記第１の局所画像とのサイズ比と同じである、ステップと、前記第４の特徴マップに対してトリミング処理を行い、第５の特徴マップを取得するステップであって、前記第５の特徴マップのサイズが前記第１の特徴マップのサイズと一致するステップと、前記第１の特徴マップと前記第５の特徴マップに対して重み付け加算処理を行い、前記第３の特徴マップを取得するステップと、を含む。このように、アップサンプリング及びトリミング処理により、複数の特徴マップのサイズを統一し、重み付け平均を行い、複数の特徴マップを融合させ、取得された第３の特徴マップにより多くの特徴情報を含ませ、これは、ターゲットの詳細及び分布を確定し、ノイズ干渉を低減させ、分割精度を向上させることに有利である。

１つの可能な実施形態では、特徴抽出処理を行うことは、複数の特徴抽出ネットワークを使用して処理することを含み、重ね合わせ処理を行うこと又は重み付け加算処理を行うことは、重ね合わせネットワークを使用して処理することを含み、分割処理を行うことは、アクティブ化層を使用して処理することを含み、前記画像処理方法は、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップをさらに含む。このように、サンプル画像により複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層をトレーニングすることにより、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層は、サンプル画像の特徴及びラベリング情報とマッチングすることができ、さらに、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を含むニューラルネットワークを使用して、後の画像を正確に分割することができる。

１つの可能な実施形態では、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップは、前記サンプル画像に対して複数のスケールのスクリーンショット処理を行い、前記基準サイズの第４のサンプル局所画像、及び前記基準サイズより大きい第５のサンプル局所画像を取得するステップと、前記第５のサンプル局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第６のサンプル局所画像を取得するステップと、前記第４のサンプル局所画像と前記第６のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、前記第４のサンプル局所画像に対応する第３のサンプル特徴マップ、及び前記第６のサンプル局所画像に対応する第４のサンプル特徴マップを取得するステップと、前記第４のサンプル特徴マップに対してアップサンプリング及びトリミング処理を行い、第５のサンプル特徴マップを取得するステップと、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得するステップと、前記第６のサンプル特徴マップを前記アクティブ化層に入力してアクティブ化処理を行い、前記サンプル画像の第２のサンプルターゲット領域を取得するステップと、前記第２のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記ニューラルネットワークの第２のネットワーク損失を確定するステップと、前記第２のネットワーク損失に従って、前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップと、を含む。このように、予めトレーニングされた特徴抽出ネットワークとサンプル画像により複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層を含むニューラルネットワークをトレーニングすることにより、ニューラルネットワークのトレーニング精度が向上し、さらに、重ね合わせネットワークをトレーニングして重ね合わせられた重み値を取得することにより、トレーニングプロセスに適切な重みパラメータを選択し、特徴融合の効果を向上させ、詳細な特徴とグローバルな特徴を最適化し、ニューラルネットワークの精度をさらに向上させることに役立つことができる。

１つの可能な実施形態では、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得するステップは、前記重ね合わせネットワークによって前記第３のサンプル特徴マップと前記第５のサンプル特徴マップに対して重み付け加算処理を行い、前記第６のサンプル特徴マップを取得するステップを含む。このように、第６のサンプル特徴マップが第３のサンプル特徴マップと第５のサンプル特徴マップを重ね合わせたものであり、第６のサンプル特徴マップに多くの特徴情報が含まれ、第６のサンプル特徴マップに基づいて複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層をトレーニングすることにより、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層は、多くの特徴情報を保持することもでき、さらに、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を含むニューラルネットワークを使用して、後の画像を正確に分割することができる。

１つの可能な実施形態では、前記画像処理方法は、前記第４のサンプル特徴マップに対してアクティブ化処理を行い、第３のサンプルターゲット領域を取得するステップと、前記第３のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記第４のサンプル特徴マップに対応する特徴抽出ネットワークの第３のネットワーク損失を確定するステップと、前記第３のネットワーク損失に従って前記第４のサンプル特徴マップに対応する特徴抽出ネットワークをトレーニングするステップと、をさらに含む。このように、より大きな局所画像内の予測情報を使用し、特徴抽出ネットワークをさらにトレーニングすることができ、ニューラルネットワークの精度をさらに向上させることができる。

本開示の実施例の別の態様による画像処理装置は、処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するように構成される局所画像取得モジュールと、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するように構成される特徴抽出モジュールと、前記１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するように構成される分割モジュールと、を備える。

本開示の実施例の別の態様による電子デバイスは、プロセッサと、プロセッサで実行可能な命令を記憶するメモリとを備え、前記プロセッサは、前記メモリに記憶された命令を呼び出して、上記方法を実行する。

本開示の実施例の別の態様によるコンピュータ可読記憶媒体は、コンピュータプログラム命令を記憶しており、前記コンピュータプログラム命令がプロセッサに実行される場合、前記プロセッサに上記方法を実現させる。

本開示の実施例の別の態様によるコンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイスでのプロセッサに、上記の方法を実行させる。

以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を限定するものではないことを理解すべきである。以下の図面に基づく例示的な実施例への詳細な説明によれば、本開示の他の特徴及び態様は明らかになる。

本開示の実施例による画像処理方法を示すフローチャートである。 本開示の実施例による処理待ち画像に対してスクリーンショット処理を行うことを示す概略図である。 本開示の実施例による局所画像を示す概略図である。 本開示の実施例による別の局所画像を示す概略図である。 本開示の実施例によるもう一つの局所画像を示す概略図である。 本開示の実施例による画像処理方法を示す応用概略図である。 本開示の実施例による画像処理装置を示す構造概略図である。 本開示の実施例による電子デバイスを示す構造概略図である。 本開示の別の実施例による電子デバイスを示す構造概略図である。

ここでの添付図面は本明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示と一致する実施例を示し、明細書と共に本開示の実施例の技術的解決策を解釈することに用いられる。

以下に図面を参照しながら本開示の各種の例示的な実施例、特徴と態様を詳しく説明する。図面における同じ符号は、機能が同じ又は類似する素子を表す。図面に実施例の様々な態様が示されているが、特に断りのない限り、図面は必ずしも一定の縮尺で描かれているわけではない。

ここで専門用語「例示的」は、「例、実施例又は説明的として機能する」を意味する。ここで「例示的」として説明されるいかなる実施例は、必ずしも他の実施例よりも好ましく又は有利なものと解釈されるべきではない。

本明細書では「及び／又は」という用語は、関連付けられたオブジェクトの関連関係を説明するためのものだけであり、３種類の関係が存在できることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書では「少なくとも１種類」という用語は、複数種類のうちの任意の１種類又は複数種類のうちの少なくとも２種類の任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種類を含むことは、Ａ、ＢとＣからなるセットから選択された任意の１つ又は複数の要素を含むことを示すことができる。

また、本開示をより良く説明するために、以下の具体的な実施形態で多くの詳細が示されている。当業者は、いくつかの詳細がなくても、本開示が同様に実施できることを理解すべきである。いくつかの実施例では、本開示の要旨を明らかにするように、当業者がよく知っている方法、手段、素子及び回路を詳細に説明しない。

本開示の実施例で言及される複数、複数回は、特に明記しない限り、２つ又は２つ以上、２回又は２回以上として理解されるべきである。

図１は本開示の実施例による画像処理方法を示すフローチャートである。図１に示すように、前記画像処理方法は、以下のステップを含む。

ステップＳ１１において、処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得する。

ステップＳ１２において、前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得する。

ステップＳ１３において、前記１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得する。

本開示の実施例による画像処理方法では、１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行って特徴マップを取得し、取得された特徴マップを分割することにより、処理待ち画像から小さなローカルの細かい特徴、及び複雑なグローバル分布特徴を取得することが可能であり、さらに分割結果の精度が向上する。

１つの可能な実施形態では、前記画像処理方法は、端末デバイス又はサーバーなどの電子デバイスによって実行されてもよく、端末デバイスは、ユーザデバイス（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、移動デバイス、ユーザ端末、端末、セルラー電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載デバイス、ウェアラブルデバイスなどであってもよく、前記画像処理方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことにより実現されてもよい。又は、前記画像処理方法は、サーバーによって実行されてもよい。

１つの可能な実施形態では、前記処理待ち画像は、医用画像を含むことができ、例えば、医用画像は、コンピュータ断層撮影血管造影（ＣＴＡ：Ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ａｎｇｉｏｇｒａｐｈｙ）画像を含むことができる。処理待ち画像には特定の領域が含まれてもよく、前記特定の領域は、冠状血管などのターゲットの所在する領域を含むことができ、冠状血管ターゲットは、小さく、分布が複雑であり、他の血管（例えば肺血管）に関連付けられているため、他の血管からのノイズ干渉を受けやすい。理解すべきものとして、他のいくつかの実施形態では、処理待ち画像は、例えばポートレート画像、ストリートビュー画像などの他の画像であってもよく、処理待ち画像内のターゲットは、人間の五官、通りの歩行者、車両などを含むことができ、本開示では処理待ち画像のタイプ及び特定の領域内のターゲットのタイプが限定されない。

１つの可能な実施形態では、ステップＳ１１において、処理待ち画像に対して１つのスケールのスクリーンショット処理を行い、１つのスケールの局所画像を取得することができる。電子デバイスは、処理待ち画像に対して任意のスケールのスクリーンショット処理を行い、当該スケールの局所画像を取得することができ、例えば、小さなスケールのスクリーンショットを行い、詳細な特徴を表す局所画像を取得することができ、又は、大きなスケールのスクリーンショットを行い、グローバルな特徴を表す局所画像を取得することができる。小さなスケールのスクリーンショットの場合、当該スクリーンショットのサイトがターゲット閾値未満であってもよく、大きいスケールのスクリーンショットの場合、当該スクリーンショットのサイズがターゲット閾値以上であってもよい。サイズは、最長距離、最短距離、長さ、幅、高さ、対角線の長さ、面積などのうちの少なくとも１つを含むことができる。

１つの可能な実施形態では、処理待ち画像に対して複数のスケールのスクリーンショットを行い、複数のスケールの局所画像を取得することもでき、ステップＳ１１は、処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、複数の局所画像を取得するステップであって、前記複数の局所画像には基準サイズの第１の局所画像、及び基準サイズよりも大きい第２の局所画像が含まれ、前記複数の局所画像の画像中心が同じである、ステップを含むことができる。このように、処理待ち画像に対して複数のスケールのスクリーンショット処理を行うことにより、小さいサイズのスクリーンショットを行う場合、詳細な特徴を表す局所画像を取得することができ、大きいサイズのスクリーンショットを行う場合、グローバル特徴を表す局所画像を取得することができ、さらに、取得されたグローバル画像に対応する特徴マップには詳細を表す特徴マップだけでなく、グローバルを表す特徴マップが含まれ、さらに、これらの特徴マップに基づいて、処理待ち画像を合理的に分割し、分割結果の精度を向上させることができる。

１つの可能な実施形態では、処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、複数の異なるサイズの局所画像を取得することができ、前記局所画像は、基準サイズの第１の局所画像と基準サイズよりも大きい第２の局所画像とを含む。スクリーンショット操作を実行する場合、画像中心が一致するように維持されてもよく、例えば、処理待ち画像の画像中心を中心としてスクリーンショットを行うことができ、取得された各局所画像の画像中心は、いずれも処理待ち画像の画像中心と一致している。又は、処理待ち画像のいずれかの画素点を局所画像の画像中心としてスクリーンショットを行うことができ、取得された各局所画像の画像中心は、いずれも当該画素点である。取得された複数の局所画像では、第２の局所画像に含まれるコンテンツは、第１の局所画像に含まれるコンテンツよりも多い。本開示では、基準サイズの選択及び局所画像の形状が限定されない。

図２Ａは本開示の実施例による処理待ち画像に対してスクリーンショット処理を行うことを示す概略図である。図２Ｂは本開示の実施例による局所画像を示す概略図である。図２Ｃは本開示の実施例による別の局所画像を示す概略図である。図２Ｄは本開示の実施例によるさらなる別の局所画像を示す概略図である。図２Ａに示すように、処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、即ち、基準サイズをスクリーンショットサイズとするスクリーンショット処理を行い、基準サイズの第１の局所画像ｘ１（図２Ｂに示す）を取得し、スクリーンショットサイズが基準サイズよりも大きいスクリーンショット処理を行い、基準サイズよりも大きい第２の局所画像ｘ２（図２Ｃに示す）と第２の局所画像ｘ３（図２Ｄに示す）を取得することができる。ここで、第１の局所画像ｘ１と第２の局所画像ｘ２及びｘ３の画像中心は同じであり、第２の局所画像ｘ２に含まれるコンテンツは、第１の局所画像ｘ１に含まれるコンテンツよりも多く、第２の局所画像ｘ３に含まれるコンテンツは、第２の局所画像ｘ２に含まれるコンテンツよりも多い。基準サイズの第１の局所画像ｘ１には、より細かいローカル詳細特徴（例えば、冠状血管自体の詳細特徴）が含まれ、第２の局所画像ｘ２及びｘ３には、より多くのグローバルな分布特徴（例えば、冠状血管の分布及び他の血管との関連）、例えば、第１の局所画像ｘ１のターゲットと第２の局所画像ｘ２又はｘ３の他の領域との関連（例えば、第１の局所画像ｘ１における冠状血管と第２の局所画像ｘ２又はｘ３における他の領域の血管との関連）が含まれる。

１つの可能な実施形態では、ステップＳ１２において、スクリーンショットにより１つのスケールの局所画像が取得されると、当該局所画像に対して特徴抽出処理を行い、特徴マップを取得することができる。複数のスケールの局所画像が取得されると、複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、各局所画像の特徴マップを取得することができる。前記特徴マップは、第１の特徴マップと第２の特徴マップとを含む。ステップＳ１２は、前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップと前記第２の局所画像に対応する第２の特徴マップとを取得するステップを含むことができる。このように、小さいサイズの第１の局所画像に対応する第１の特徴マップ及び大きいサイズの第２の局所画像に対応する第２の特徴マップを取得することができ、これにより、第１の特徴マップ及び第２の特徴マップに基づいて処理待ち画像を分割する場合、分割結果の精度を向上させることができる。

例では、特徴抽出ネットワークによって各局所画像に対して特徴抽出処理をそれぞれ行うことができ、前記特徴抽出ネットワークは、畳み込みニューラルネットワークなどの深層学習ニューラルネットワークに含まれてもよく、本開示では、特徴抽出ネットワークのタイプが限定されない。

例では、特徴抽出ネットワークの数は、局所画像の数と同じであってもよく、即ち、各特徴抽出ネットワークは、１つの局所画像を抽出する。例えば、第１の局所画像ｘ１は、特徴抽出処理のために特徴抽出ネットワーク１に入力されてもよく、第２の局所画像ｘ２は、特徴抽出処理のために特徴抽出ネットワーク２に入力されてもよく、第２の局所画像ｘ３は、特徴抽出処理のために特徴抽出ネットワーク３に入力されてもよい。

１つの可能な実施形態では、複数の特徴抽出ネットワークは、同じ特徴抽出ネットワークであってもよく、特徴抽出ネットワークに入力された画像のサイズが一致するように維持されてもよく、第１の局所画像の基準サイズを特徴抽出ネットワークへの入力サイズとして使用し、基準サイズよりも大きい第２の局所画像を処理し、第２の局所画像のサイズを縮小させ、それに特徴抽出ネットワークへの入力要件を満たさせることができる。例では、他のサイズを特徴抽出ネットワークへの入力サイズとして使用することができ、例えば、１つのサイズを入力サイズとして予め設定し、入力サイズと一致していない局所画像を処理し、それに特徴抽出ネットワークへの入力要件を満たさせることができる。本開示では、入力サイズの選択は限定されない。

１つの可能な実施形態では、前記基準サイズを入力サイズとして使用する場合、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ及び前記第２の局所画像に対応する第２の特徴マップを取得するステップは、前記第２の局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第３の局所画像を取得するステップと、前記第１の局所画像と前記第３の局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ、及び前記第２の局所画像に対応する第２の特徴マップを取得するステップと、を含むことができる。

１つの可能な実施形態では、第２の局所画像のサイズが基準サイズよりも大きく、即ち、入力サイズよりも大きく、第２の局所画像に対してダウンサンプリング処理を行い、基準サイズの第３の局所画像を取得することができ、これにより、第３の局所画像は、特徴抽出ネットワークの入力サイズ要件を満たしている。

１つの可能な実施形態では、第１の局所画像と第３の局所画像に対して特徴抽出処理をそれぞれ行うことができ、例では、それらを対応する特徴抽出ネットワークにそれぞれ入力することができ、例えば、第１の局所画像ｘ１を特徴抽出ネットワーク１に入力して特徴抽出処理を行い、第１の特徴マップを取得することができ、第２の局所画像ｘ２に対応する第３の局所画像を特徴抽出ネットワーク２に入力して特徴抽出処理を行い、ｘ２に対応する第２の特徴マップを取得することができ、第２の局所画像ｘ３に対応する第３の局所画像を特徴抽出ネットワーク３に入力して特徴抽出処理を行い、ｘ３に対応する第２の特徴マップを取得することができる。

１つの可能な実施形態では、第１の特徴マップは、細かいローカル詳細特徴（例えば、冠状血管自体の詳細特徴）、例えば、第１の局所画像ｘ１内のターゲット（例えば、冠状血管）の詳細特徴（例えば、形状、輪郭など）を含むことができ、第２の特徴マップは、より大きな受容野を有し、より多くのグローバルな分布特徴、例えば、第２の局所画像ｘ２又はｘ３における冠状血管の分布及び他の血管との関連を含むことができる。

このように、ダウンサンプリングにより、異なるサイズの局所画像がいずれも特徴抽出ネットワークへの入力要件を満たし、さらに複数のスケールの特徴マップが取得され、これは、複数のスケールの特徴情報を取得することに有利である。

１つの可能な実施形態では、複数の特徴抽出ネットワークは、同じ特徴抽出ネットワークであり、かつ入力された第１の局所画像及び第３の局所画像のサイズが同じである場合、特徴抽出ネットワークから出力された対応する特徴マップ、例えば、第１の特徴マップ及び第２の特徴マップのサイズは、同じであるが、第２の特徴マップは、第２の局所画像の処理結果であり、したがって、元の処理待ち画像における第２の特徴マップに対応する領域のサイズは、元の処理待ち画像における第１の特徴マップに対応する領域のサイズよりも大きく、かつ第２の特徴マップと第１の特徴マップに含まれる特徴情報は異なる。

１つの可能な実施形態では、異なる特徴情報を含む特徴マップに従って、処理待ち画像に対して分割処理を行い、分割結果を取得することができる。ステップＳ１３は、前記第１の特徴マップ及び前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得するステップと、前記第３の特徴マップに対してアクティブ化処理を行い、前記処理待ち画像内の特定の領域の分割結果を取得するステップと、を含むことができる。このように、第１の特徴マップと第２の特徴マップを重ね合わせた第３の特徴マップに基づいて、処理待ち画像を分割し、第３の特徴マップは、小さいサイズの第１の局所画像に対応する第１の特徴マップだけでなく、大きなサイズの第２の局所画像に対応する第２の特徴マップ内の特徴を保持することもでき、これにより、分割結果の精度を向上させることができる。

１つの可能な実施形態では、前記第１の特徴マップと前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得するステップは、前記第２の特徴マップに対してアップサンプリング処理を行い、第４の特徴マップを取得するステップであって、前記第４の特徴マップと前記第１の特徴マップとのサイズ比が前記第２の局所画像と前記第１の局所画像とのサイズ比と同じである、ステップと、前記第４の特徴マップに対してトリミング処理を行い、第５の特徴マップを取得するステップであって、前記第５の特徴マップのサイズが前記第１の特徴マップのサイズと一致するステップと、前記第１の特徴マップと前記第５の特徴マップに対して重み付け加算処理を行い、前記第３の特徴マップを取得するステップと、を含むことができる。このように、アップサンプリング及びトリミング処理により、複数の特徴マップのサイズを統一し、重み付け平均を行い、複数の特徴マップを融合させ、取得された第３の特徴マップにより多くの特徴情報を含ませ、これは、ターゲットの詳細及び分布を確定し、ノイズ干渉を低減させ、分割精度を向上させることに有利である。

１つの可能な実施形態では、前記第２の特徴マップに対してアップサンプリング処理を行い、第４の特徴マップを取得することができ、例えば、補間などの方式でアップサンプリング処理を行うことができ、本開示ではアップサンプリング処理方式が限定されない。

１つの可能な実施形態では、第１の局所画像と第２の局所画像の両方は、処理待ち画像の一部であり、第１の局所画像のサイズは、第２の局所画像のサイズよりも小さく、かつ第１の局所画像と第２の局所画像の中心は同じであり、即ち、第１の局所画像は、第２の局所画像の一部である。第１の特徴マップは、第１の局所画像の特徴マップであり、第４の特徴マップは、第２の局所画像の特徴マップであり、第４の特徴マップと第１の特徴マップとのサイズ比を第２の局所画像と第１の局所画像とのサイズ比と同じにすることができる。

例では、第２の局所画像ｘ２のサイズが第１の局所画像ｘ１の８倍（３次元画像）であり、第１の局所画像が第２の局所画像の一部（第１の局所画像ｘ１と第２の局所画像ｘ２の中央領域が一致し、かつ第１の局所画像ｘ１の長さ、幅及び高さがいずれも第２の局所画像ｘ２の二分の一である）である場合、第２の局所画像ｘ２に対応する第４の特徴マップと前記第１の特徴マップのサイズ比も８であり、第１の特徴マップの長さ、幅及び高さはいずれも第２の局所画像ｘ２に対応する第４の特徴マップの二分の一であり、処理待ち画像における第２の局所画像ｘ２に対応する第４の特徴マップの中央領域に対応する領域は、処理待ち画像における第１の局所画像ｘ１に対応する領域と同じである。例では、第２の局所画像ｘ３のサイズが第１の局所画像ｘ１の２７倍であり、第１の局所画像が第２の局所画像の一部（第１の局所画像ｘ１と第２の局所画像ｘ３の中央領域が一致し、かつ第１の局所画像ｘ１の長さ、幅及び高さがいずれも第２の局所画像ｘ３の三分の一である）である場合、第２の局所画像ｘ３に対応する第４の特徴マップと前記第１の特徴マップとのサイズ比も２７であり、第１の特徴マップの長さ、幅及び高さはいずれも第２の局所画像ｘ３に対応する第４の特徴マップの三分の一であり、処理待ち画像における第２の局所画像ｘ３に対応する第４の特徴マップの中央領域に対応する領域は、処理待ち画像における第１の局所画像ｘ１に対応する領域と同じである。

例では、第１の特徴マップのサイズは、第１の局所画像ｘ１のサイズと一致することができ、第２の局所画像ｘ２に対応する第４の特徴マップは、第２の局所画像ｘ２のサイズと一致することができ、第２の局所画像ｘ３に対応する第４の特徴マップは、第２の局所画像ｘ３のサイズと一致することができる。本開示では、第１の特徴マップと第４の特徴マップのサイズが限定されない。

１つの可能な実施形態では、第４の特徴マップをトリミングし、第１の特徴マップのサイズと一致している第５の特徴マップを取得することができる。例では、第４の特徴マップの中央領域（処理待ち画像における前記中央領域に対応する領域は処理待ち画像における第１の特徴マップに対応する領域と同じである）を保持し、他の領域をトリミングし、第５の特徴マップを取得することができる。例では、第２の局所画像ｘ２に対応する第５の特徴マップは、第２の局所画像ｘ２に対応する第４の特徴マップの中央領域（処理待ち画像におけるそれに対応する領域が処理待ち画像における第１の局所画像ｘ１に対応する領域と同じである）であり、第２の局所画像ｘ３に対応する第５の特徴マップは、第２の局所画像ｘ３に対応する第４の特徴マップの中央領域（処理待ち画像における対応する領域は処理待ち画像における第１の局所画像ｘ１に対応する領域と同じである）である。第５の特徴マップは、第２の局所画像の中央領域のグローバル特徴の一部、例えば、中央領域内の第２の局所画像ｘ２又はｘ３のグローバル特徴を含み、具体的には、第４の特徴マップの中央領域以外の領域は、トリミングされ、中央領域（即ち、第５の特徴マップ）のみが保持され、したがって、第５の特徴マップは、第４の特徴マップの中央領域の特徴を含み、例えば、第５の特徴マップの受容野は、第１の特徴マップよりも大きく、例えば処理待ち画像のるｘ１に対応する領域における冠状血管の分布情報を含むことができ、これは、冠状血管の分布を確定し、他の血管（例えば、肺血管）のノイズ干渉を低減することに有利である。即ち、第５の特徴マップと第１の特徴マップの両方は、ｘ１に対応する領域の特徴マップであるが、各特徴抽出ネットワークのパラメータ（重み、受容野などのパラメータ）が異なるため、第５の特徴マップと第１の特徴マップの特徴が異なり、上記の方式によりｘ１に対応する領域の特徴情報量を増加させ、分割処理のためにより豊かな依拠を提供し、分割処理の精度を向上させることができる。

１つの可能な実施形態では、第１の特徴マップと第５の特徴マップに対して重み付け加算処理を行い、第３の特徴マップを取得することができる。例えば、第１の特徴マップ及び第５の特徴マップをピクセルごとに重み付けして加算することができる。例では、第１の特徴マップの重みがαであり、第２の局所画像ｘ２に対応する第５の特徴マップの重みがβであり、第２の局所画像ｘ３に対応する第５の特徴マップの重みがγであり、上記の重みに基づいて、第１の特徴マップ、第２の局所画像ｘ２に対応する第５の特徴マップ及び第２のローカ画像ｘ３に対応する第５の特徴マップをピクセルごとに重み付けして加算して、第３の特徴マップを取得することができる。第３の特徴マップには、第１の特徴マップの詳細な特徴だけでなく、第５の特徴マップのグローバルな特徴が含まれている。

例では、重ね合わせネットワークによって前記重み付け加算処理を行うことができ、前記重ね合わせネットワークは、畳み込みニューラルネットワークなどの深層学習ニューラルネットワークに含まれてもよく、本開示では、重ね合わせネットワークのタイプは限定されない。

このように、アップサンプリング及びトリミング処理により、複数の特徴マップのサイズを統一し、重み付け平均を行い、複数の特徴マップを融合させ、取得された第３の特徴マップにはより多くの特徴情報を含ませ、これは、ターゲットの詳細及び分布を確定し、ノイズ干渉を低減させ、分割精度を向上させることに有利である。

１つの可能な実施形態では、第３の特徴マップに対してアクティブ化処理を行うことができ、例えば、第３の特徴マップに含まれる特徴情報に基づいてアクティブ化処理を行い、ターゲット（例えば、冠状血管）の所在する特定の領域の分割結果を取得することができ、例えば、ソフトマックス（ｓｏｆｔｍａｘ）アクティブ化関数によって第３の特徴画像に対してアクティブ化処理を行い、確率マップを取得することができ、他のアクティブ化関数、例えば正規化線形ユニット（ＲＥＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）アクティブ化関数などによってアクティブ化処理を行うことができ、本開示ではアクティブ化処理は限定されない。前記確率マップでは、各画素点の確率は、当該画素点が特定の領域に位置する確率を表し（例えば、確率が確率閾値（例えば５０％）以上である場合、当該画素点は、特定の領域に位置すると考えられてもよい）、確率マップにおける各画素点の確率に基づいて、ターゲットの所在する特定の領域の位置を確定することができる。例では、アクティブ化層によって前記分割処理を行うことができる。例では、前記特定領域は、処理待ち画像におけるｘ１に対応する領域のターゲットの所在する領域であってもよく、例えば、ｘ１に対応する領域における冠状血管を分割することができる。

１つの可能な実施形態では、前記画像処理方法は、ニューラルネットワークによって実現され、前記ニューラルネットワークは、複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層を含む。

１つの可能な実施形態では、特徴抽出処理を行うステップは、複数の特徴抽出ネットワークを使用して処理するステップを含み、重ね合わせ処理を行うステップ又は重み付け加算処理を行うステップは、重ね合わせネットワークを使用して処理するステップを含み、分割処理を行うステップは、アクティブ化層を使用して処理するステップを含む。例えば、特徴抽出ネットワークによって複数の局所画像に対して特徴抽出処理をそれぞれ行い、重ね合わせネットワークによって第１の特徴マップと第５の特徴マップに対して重ね合わせ処理を行い、クティブ化層によって第３の特徴マップに対して分割処理を行うことができる。ニューラルネットワークを使用して上記画像処理方法を実行する前に、ニューラルネットワークをトレーニングすることができる。

１つの可能な実施形態では、前記画像処理方法は、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップをさらに含む。このように、サンプル画像により複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層をトレーニングすることにより、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層は、サンプル画像の特徴及びラベリング情報とマッチングすることができ、さらに、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を含むニューラルネットワークを使用して、後の画像を正確に分割することができる。

１つの可能な実施形態では、前記サンプル画像は、医用画像、例えば、ＣＴＡ画像を含むことができ、サンプル画像は、ターゲット（例えば、冠状血管）のラベリング情報を含むことができる。

１つの可能な実施形態では、特徴抽出ネットワークを予めトレーニングすることができる。サンプル画像に対して複数のスケールのスクリーンショット処理を行い、基準サイズの第１のサンプル局所画像、及び基準サイズよりも大きい第２のサンプル局所画像を取得することができる。第１のサンプル画像と第２のサンプル画像との総数は、特徴抽出ネットワークの数と同じである。例では、第１のサンプル局所画像と第２のサンプル局所画像の画像中心は同じであり、第１のサンプル局所画像の切り取られた領域は、第２のサンプル局所画像の中央領域である。例えば、サンプル画像に対してスクリーンショットを行い、基準サイズの第１のサンプル局所画像ｙ１、基準サイズよりも大きい第２のサンプル局所画像ｙ２、第２のサンプル局所画像ｙ２のサイズよりも大きい第２のサンプル局所画像ｙ３を取得することができる。

１つの可能な実施形態では、前記第２のサンプル局所画像に対してダウンサンプリング処理を行い、基準サイズの第３のサンプル局所画像を取得することができる。複数の特徴抽出ネットワークは、同じ特徴抽出ネットワークであってもよく、特徴抽出ネットワークに入力された画像のサイズが一致するように維持されてもよく、例えば、第１のサンプル局所画像の基準サイズを特徴抽出ネットワークへの入力サイズとして使用し、基準サイズよりも大きい第２のサンプル局所画像に対してダウンサンプリング処理を行い、第２のサンプル局所画像のサイズを縮小させ、第３のサンプル局所画像を取得し、それに特徴抽出ネットワークへの入力要件を満たさせ、即ち、第３のサンプル局所画像のサイズを基準サイズに等しくすることができる。例では、第２のサンプル局所画像ｙ２及びｙ３に対してダウンサンプリング処理をそれぞれ行い、基準サイズの第３のサンプル局所画像を取得することができる。

１つの可能な実施形態では、前記第１のサンプル局所画像と前記第３のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、第１のサンプル局所画像に対応する第１のサンプル特徴マップ、及び第２のサンプル局所画像に対応する第２のサンプル特徴マップを取得することができる。例では、第１のサンプル局所画像ｙ１を特徴抽出ネットワーク１に入力して特徴抽出処理を行い、第１のサンプル特徴マップを取得することができ、第２のサンプル局所画像ｙ２に対応する第３のサンプル局所画像を特徴抽出ネットワーク２に入力して特徴抽出処理を行い、ｙ２に対応する第２のサンプル特徴マップを取得することができ、第２のサンプル局所画像ｙ３に対応する第３のサンプル局所画像を特徴抽出ネットワーク３に入力して特徴抽出処理を行い、ｙ３に対応する第２のサンプル特徴マップを取得することができる。

１つの可能な実施形態では、前記第１のサンプル特徴マップと前記第２のサンプル特徴マップに対してアクティブ化処理をそれぞれ行い、例えば、ソフトマックス関数によってアクティブ化処理を行い、複数の特徴抽出ネットワークにそれぞれ対応する第１のサンプルターゲット領域を取得することができる。例では、第１のサンプル特徴マップ、ｙ２に対応する第２のサンプル特徴マップ及びｙ３に対応する第２のサンプル特徴マップに対してアクティブ化処理をそれぞれ行い、第１のサンプル局所画像ｙ１内の第１のサンプルターゲット領域、第２のサンプル局所画像ｙ２内の第１のサンプルターゲット流域及び第２のサンプル局所画像ｙ３内の第１のサンプルターゲット領域を取得することができる。即ち、特徴抽出ネットワークの特徴抽出処理及びアクティブ化処理により、複数のサンプル局所画像においてサンプルターゲット領域をそれぞれ確定し、サンプルターゲット領域に誤差が存在する可能性がある。

１つの可能な実施形態では、前記サンプル画像のラベリング情報と前記第１のサンプルターゲット領域に基づいて、複数の特徴抽出ネットワークの第１のネットワーク損失をそれぞれ確定することができる。例では、サンプル画像におけるｙ１に対応する領域のラベリング情報及び第１のサンプル局所画像ｙ１における第１のサンプルターゲット領域に基づいて、特徴抽出ネットワーク１の第１のネットワーク損失を確定することができ、及び／又は、サンプル画像におけるｙ２に対応する領域のラベリング情報及び第２のサンプル局所画像ｙ２における第１のサンプルターゲット領域に基づいて、特徴抽出ネットワーク２の第１のネットワーク損失を確定することができ、及び／又は、サンプル画像におけるｙ３に対応する領域のラベリング情報及び第２のサンプル局所画像ｙ３における第１のサンプルターゲット領域に基づいて、特徴抽出ネットワーク３の第１のネットワーク損失を確定することができる。例では、前記第１のネットワーク損失は、クロスエントロピー損失及びセット類似性損失（ダイス損失）を含むことができ、第１のサンプルターゲット領域及び対応するラベリング情報に基づいて、各特徴抽出ネットワークのクロスエントロピー損失及びセット類似性損失をそれぞれ確定し、前記クロスエントロピー損失及びセット類似性損失を重み付けして加算し、各特徴抽出ネットワークの第１のネットワーク損失を取得することができ、本開示では第１のネットワーク損失の確定方式が限定されない。

１つの可能な実施形態では、前記第１のネットワーク損失に従って、前記複数の特徴抽出ネットワークをトレーニングし、複数の予めトレーニングされた特徴抽出ネットワークを取得することができる。例では、各特徴抽出ネットワークの第１のネットワーク損失に従って各特徴抽出ネットワークをトレーニングし、例えば、特徴抽出ネットワーク１の第１のネットワーク損失に従って特徴抽出ネットワーク１をトレーニングし、特徴抽出ネットワーク２の第１のネットワーク損失に従って特徴抽出ネットワーク２をトレーニングし、特徴抽出ネットワーク３の第１のネットワーク損失に従って特徴抽出ネットワーク３をトレーニングすることができる。例では、勾配降下法によって第１のネットワーク損失を逆伝播して、特徴抽出ネットワークのネットワークパラメータを調整することができ、当該トレーニング方法は、第１のトレーニング条件が満たされるまで複数回繰り返し実行されてもよく、前記第１のトレーニング条件は、トレーニング回数を含むことができ、即ち、トレーニング回数が予め設定された回数以上である場合、第１のトレーニング条件が満たされ、前記第１のトレーニング条件は、第１のネットワーク損失の大きさ又は収束及び発散性を含むことができ、例えば、第１のネットワーク損失が予め設定された閾値以下であり、又は予め設定された区間に収束されている場合、第１のトレーニング条件が満たされ、本開示では第１のトレーニング条件が限定されない。第１のトレーニング条件を満たしている場合、予めトレーニングされた特徴抽出ネットワークを取得することができる。

１つの可能な実施形態では、予めトレーニングされた特徴抽出ネットワークに基づいて、前記ニューラルネットワークをトレーニングすることができる。

１つの可能な実施形態では、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップは、前記サンプル画像に対して複数のスケールのスクリーンショット処理を行い、前記基準サイズの第４のサンプル局所画像、及び前記基準サイズより大きい第５のサンプル局所画像を取得するステップと、前記第５のサンプル局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第６のサンプル局所画像を取得するステップと、前記第４のサンプル局所画像と前記第６のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、前記第４のサンプル局所画像に対応する第３のサンプル特徴マップ、及び前記第６のサンプル局所画像に対応する第４のサンプル特徴マップを取得するステップと、前記第４のサンプル特徴マップに対してアップサンプリング及びトリミング処理を行い、第５のサンプル特徴マップを取得するステップと、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得するステップと、前記第６のサンプル特徴マップを前記アクティブ化層に入力してアクティブ化処理を行い、前記サンプル画像の第２のサンプルターゲット領域を取得するステップと、前記第２のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記ニューラルネットワークの第２のネットワーク損失を確定するステップと、前記第２のネットワーク損失に従って、前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップと、を含む。

１つの可能な実施形態では、前記サンプル画像は、医用画像、例えば、ＣＴＡ画像を含むことができ、サンプル画像は、ターゲット（例えば、冠状血管）のラベリング情報を含むことができる。

１つの可能な実施形態では、サンプル画像に対して複数のスケールのスクリーンショット処理を行い、基準サイズの第４のサンプル局所画像、及び基準サイズよりも大きい第５のサンプル局所画像を取得することができる。第４のサンプル局所画像と第５のサンプル局所画像との総数は、特徴抽出ネットワークの数と同じである。例では、第４のサンプル局所画像と第５のサンプル局所画像の画像中心は同じであり、第４のサンプル局所画像の切り取られた領域は、第５のサンプル局所画像の中央領域である。例えば、サンプル画像に対してスクリーンショットを行い、基準サイズの第４のサンプル局所画像ｚ１、基準サイズよりも大きい第５のサンプル局所画像ｚ２、第５のサンプル局所画像ｚ２のサイズよりも大きい第５のサンプル局所画像ｚ３を取得することができる。

１つの可能な実施形態では、前記第５のサンプル局所画像に対してダウンサンプリング処理を行い、基準サイズの第６のサンプル局所画像を取得することができる。複数の特徴抽出ネットワークは、同じ構造の特徴抽出ネットワークであってもよく、特徴抽出ネットワークに入力された画像のサイズが一致するように維持されてもよく、例えば、第４のサンプル局所画像の基準サイズを特徴抽出ネットワークへの入力サイズとして使用し、基準サイズよりも大きい第５のサンプル局所画像に対してダウンサンプリング処理を行い、第５のサンプル局所画像のサイズを縮小させ、第６のサンプル局所画像を取得し、それに特徴抽出ネットワークへの入力要件を満たさせ、即ち、第６のサンプル局所画像のサイズを基準サイズに等しくすることができる。例では、第５のサンプル局所画像ｚ２及びｚ３に対してダウンサンプリング処理をそれぞれ行い、基準サイズの第６のサンプル局所画像を取得することができる。

１つの可能な実施形態では、前記第４のサンプル局所画像と前記第６のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、第４のサンプル局所画像に対応する第３のサンプル特徴マップ、及び第６のサンプル局所画像に対応する第４のサンプル特徴マップを取得することができる。例では、第４のサンプル局所画像ｚ１を特徴抽出ネットワーク１に入力して特徴抽出処理を行い、第３のサンプル特徴マップを取得することができ、第５のサンプル局所画像ｚ２に対応する第６のサンプル局所画像を特徴抽出ネットワーク２に入力して特徴抽出処理を行い、ｚ２に対応する第４のサンプル特徴マップを取得することができ、第５のサンプル局所画像ｚ３に対応する第６のサンプル局所画像を特徴抽出ネットワーク３に入力して特徴抽出処理を行い、ｚ３に対応する第４のサンプル特徴マップを取得することができる。

１つの可能な実施形態では、前記第４のサンプル特徴マップに対してアップサンプリング処理及びトリミング処理を行い、第５のサンプル特徴マップを取得することができる。この例では、複数の特徴抽出ネットワークは、同じ特徴抽出ネットワークであり、かつ入力された第４のサンプル局所画像と第６のサンプル局所画像のサイズは同じであり、したがって、取得された第３のサンプル特徴マップと第４のサンプル特徴マップのサイズは同じである。第４のサンプル特徴マップに対してアップサンプリング処理を行うことができ、これにより、アップサンプリングされた第４のサンプル特徴マップと第３のサンプル特徴マップとのサイズ比は、第５のサンプル局所画像と第４のサンプル局所画像とのサイズ比と同じである。例えば、第３のサンプル特徴マップと第４のサンプル特徴マップのサイズは、第４のサンプル局所画像のサイズと一致することができ、アップサンプリングされた第４のサンプル特徴マップのサイズは、第５のサンプル局所画像のサイズと一致することができる。

例では、第５のサンプル特徴マップの中央領域を保持し、他の領域をトリミングし、第５のサンプル特徴マップを取得することができ、サンプル画像における第５のサンプル特徴マップに対応する領域は、サンプル画像における第３のサンプル特徴マップに対応する領域と一致し、例えば、両方は、サンプル画像における第４のサンプル局所画像ｚ１に対応する領域である。

１つの可能な実施形態では、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得することができる。ここで、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力して第６のサンプル特徴マップを取得するステップは、前記重ね合わせネットワークによって前記第３のサンプル特徴マップと前記第５のサンプル特徴マップに対して重み付け加算処理を行い、前記第６のサンプル特徴マップを取得するステップを含む。

例では、前記重ね合わせネットワークは、第３のサンプル特徴マップと第５のサンプル特徴マップをピクセルごとに重み付けして加算することができる。例では、第３のサンプル特徴マップの重みがαであり、第５のサンプル局所画像ｚ２に対応する第５のサンプル特徴マップの重みがβであり、第５のサンプル局所画像ｚ３に対応する第５のサンプル特徴マップの重みがγであり、α、β及びγは、重ね合わせネットワークのネットワークパラメータであってもよく、重ね合わせネットワークのトレーニングにより重み値を確定することができる。重ね合わせネットワークによって処理した後、第６のサンプル特徴マップを取得することができ、第６のサンプルマップにはより多くの特徴情報が含まれてもよい。

このように、第６のサンプル特徴マップが第３のサンプル特徴マップと第５のサンプル特徴マップに基づいて重ね合わせたものであり、第６のサンプル特徴マップに多くの特徴情報が含まれるため、第６のサンプル特徴マップに基づいて複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層をトレーニングすることにより、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層は、多くの特徴情報を保持することもでき、さらに、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を含むニューラルネットワークを使用して、後の画像を正確に分割することができる。

１つの可能な実施形態では、前記第６のサンプル特徴マップを前記アクティブ化層に入力して、前記サンプル画像の第２のサンプルターゲット領域を取得することができる。例では、アクティブ化層は、ソフトマックス関数によって第６のサンプル特徴マップをアクティブ化し、ターゲット（例えば、冠状血管）の所在する特定の領域を取得することができる。特定の領域は、サンプル画像における第４のサンプル局所画像ｚ１に対応する領域のターゲットの所在する領域であってもよく、例えば、サンプル画像におけるｚ１に対応する領域の冠状血管の所在する領域を第２のサンプルターゲット領域に分割することができる。第２のサンプルターゲット領域に誤差がある可能性がある。

１つの可能な実施形態では、前記第２のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記ニューラルネットワークの第２のネットワーク損失を確定することができる。サンプル画像のラベリング情報（例えば、サンプル画像におけるｚ１に対応する領域内のラベリング情報）及びニューラルネットワークによって取得された第２のサンプルターゲット領域に基づいて、第２のネットワーク損失を確定することができ、例では、前記第２のネットワーク損失は、クロスエントロピー損失及びセット類似性損失（ダイス損失）を含むことができ、第２のサンプルターゲット領域及びラベリング情報に基づいて、各ニューラルネットワークのクロスエントロピー損失及びセット類似性損失を確定し、前記クロスエントロピー損失及びセット類似性損失を重み付けして加算し、ニューラルネットワークの第２のネットワーク損失を取得することができ、本開示では第２のネットワーク損失の確定方式が限定されない。

１つの可能な実施形態では、前記第２のネットワーク損失に従って、前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得することができる。例では、勾配降下法によって第２のネットワーク損失を逆伝播して、ニューラルネットワークのネットワークパラメータを調整することができ、当該トレーニング方法は、第２のトレーニング条件が満たされるまで複数回繰り返し実行されてもよく、前記第２のトレーニング条件は、トレーニング回数を含むことができ、即ち、トレーニング回数が予め設定された回数以上である場合、第２のトレーニング条件が満たされ、前記第２のトレーニング条件は、第２のネットワーク損失の大きさ又は収束及び発散性を含むことができ、例えば、第２のネットワーク損失が予め設定された閾値以下であり、又は予め設定された区間に収束されている場合、第２のトレーニング条件が満たされ、本開示では第２のトレーニング条件が限定されない。第２のトレーニング条件が満たされた後、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得することができ、それらを画像内のターゲットへの分割処理に用いることができる。

このように、予めトレーニングされた特徴抽出ネットワークとサンプル画像により複数の特徴抽出ネットワーク、重ね合わせネットワーク及びアクティブ化層を含むニューラルネットワークをトレーニングすることにより、ニューラルネットワークのトレーニング精度が向上し、さらに、重ね合わせネットワークをトレーニングして重ね合わせられた重み値を取得することにより、トレーニングプロセスに適切な重みパラメータを選択し、特徴融合の効果を向上させ、詳細な特徴とグローバルな特徴を最適化し、ニューラルネットワークの精度をさらに向上させることに役立つことができる。

１つの可能な実施形態では、特徴抽出ネットワークのパラメータに対して後の調整を行い、ニューラルネットワークの精度をさらに向上させることができる。前記画像処理方法は、前記第４のサンプル特徴マップに対してアクティブ化処理を行い、第３のサンプルターゲット領域を取得するステップと、前記第３のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記第４のサンプル特徴マップに対応する特徴抽出ネットワークの第３のネットワーク損失を確定するステップと、前記第３のネットワーク損失に従って前記第４のサンプル特徴マップに対応する特徴抽出ネットワークをトレーニングするステップと、をさらに含む。いくつかの可能な実施形態では、前記第３のネットワーク損失に従って前記第４のサンプル特徴マップに対応する特徴抽出ネットワークをトレーニングするステップは、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップの後に実行されてもよい。

例では、前記第４のサンプル特徴マップに対してアップサンプリング及びトリミング処理を行う前に、第４のサンプル特徴マップをアクティブ化し（例えば、ソフトマックス関数によってアクティブ化処理を行うことができる）、第３のサンプルターゲット領域を取得することができる。例えば、特徴抽出ネットワーク２及び特徴抽出ネットワーク３によって取得された第４のサンプル特徴マップによって第３のサンプルターゲット領域を予測する。例では、特徴抽出ネットワーク２は、第５のサンプル局所画像ｚ２における第３のサンプルターゲット領域を予測することができ、特徴抽出ネットワーク３は、第５のサンプル局所画像ｚ３における第３のサンプルターゲット領域を予測することができる。

例では、サンプル画像におけるｚ２に対応する領域のラベリング情報及び第５のサンプル局所画像ｚ２における第３のサンプルターゲット領域を使用して特徴抽出ネットワーク２の第３のネットワーク損失を取得することができ、及び／又は、サンプル画像におけるｚ３に対応する領域のラベリング情報及び第５のサンプル局所画像ｚ３における第３のサンプルターゲット領域に基づいて、特徴抽出ネットワーク３の第３のネットワーク損失を取得することができ、例では、第３のネットワーク損失には、クロスエントロピー損失とセット類似性損失が含まれてもよく、本開示では第３のネットワーク損失が限定されない。

例では、各特徴抽出ネットワークの第３のネットワーク損失を使用し、各特徴抽出ネットワークをトレーニングし、より大きな局所画像（例えば、ｚ２及びｚ３）で予測されたサンプルターゲット領域及びラベリング情報を使用し、特徴抽出ネットワークのパラメータを継続的に調整し、ニューラルネットワークの精度を向上させることができる。

このように、より大きな局所画像内の予測情報を使用し、特徴抽出ネットワークをさらにトレーニングすることができ、これにより、ニューラルネットワークの精度をさらに向上させることができる。

上記のトレーニングが完了された後、トレーニングされたニューラルネットワークは、画像（例えばＣＴＡ画像）内の特定の領域を分割するために画像分割処理に使用されてもよい。

本開示の実施例による画像処理方法では、処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、ダウンサンプリングにより、異なるサイズの局所画像に特徴抽出ネットワークへの入力要件を満たさせ、さらに複数のスケールの特徴マップを取得することができる。アップサンプリング及びトリミング処理により、複数の特徴マップのサイズを統一し、重み付け平均を行い、複数の特徴マップを融合させ、取得された第３の特徴マップにより多くの特徴情報を含ませ、これは、ターゲットの詳細及び分布を確定し、ノイズ干渉を低減させることに有利である。さらに、予めトレーニングされた特徴抽出ネットワーク及びサンプル画像によりニューラルネットワークをトレーニングし、ニューラルネットワークのトレーニング精度を向上させることができる。重ね合わせネットワークをトレーニングすることにより、重ね合わせた重み値を取得することができ、トレーニングプロセスにおいて適切な重みパラメータを選択し、特徴融合の効果を向上させ、詳細特徴とグローバル特徴を最適化し、より大きなローカル領域における予測情報を使用して特徴抽出ネットワークをさらにトレーニングすることができ、これは、ニューラルネットワークの精度を向上させ、分割処理の精度を高めることに役立つ。

図３は本開示の実施例による画像処理方法を示す応用概略図である。図３に示すように、画像分割のためのニューラルネットワークは、特徴抽出ネットワーク１、特徴抽出ネットワーク２、特徴抽出ネットワーク３、重ね合わせネットワーク及びアクティブ化層を含むことができる。

１つの可能な実施形態では、サンプル画像により上記ニューラルネットワークをトレーニングすることができ、サンプル画像は、医用画像、例えば、ＣＴＡ画像を含むことができ、サンプル画像は、ターゲット（例えば、冠状血管）のラベリング情報を含むことができる。サンプル画像を前処理することができ、例えば、サンプル画像に対してリサンプリング及び／又は正規化などの前処理を行い、前処理されたサンプル画像に対してスクリーンショット処理を行い、基準サイズの局所画像ｘ１、基準サイズよりも大きい局所画像ｘ２及びｘ２のサイズよりも大きい局所画像ｘ３を取得することができ、スクリーンショット方式について図３を参照すると、サンプル画像から画像中心が同じであるが、異なるサイズの３つの局所画像、即ちｘ１、ｘ２及びｘ３を切り取ることができ、さらに、局所画像ｘ２、ｘ３をダウンサンプリングし、そのサイズを基準サイズに縮小させ、局所画像ｘ１、基準サイズのｘ２及び基準サイズのｘ３を特徴抽出ネットワーク１、特徴抽出ネットワーク２及び特徴抽出ネットワーク３にそれぞれ入力してトレーニングし（例えば、各特徴抽出ネットワークの出力結果及びサンプル画像のラベリング情報に基づいてトレーニングし）、予めトレーニングされた特徴抽出ネットワーク１、特徴抽出ネットワーク２及び特徴抽出ネットワーク３を取得することができる。

１つの可能な実施形態では、予めトレーニングされた特徴抽出ネットワーク１、特徴抽出ネットワーク２及び特徴抽出ネットワーク３、及びサンプル画像（上記サンプル画像と同じであってもよし、他のサンプル画像であってもよい）によってニューラルネットワークを継続的にトレーニングすることができる。例では、サンプル画像に対して前処理及びスクリーンショット処理を行い、基準サイズの局所画像ｘ１、基準サイズよりも大きい局所画像ｘ２及びｘ２のサイズよりも大きい局所画像ｘ３を取得することができる。局所画像ｘ２、ｘ３をダウンサンプリングし、それらのサイズを基準サイズに縮小させ、局所画像ｘ１、基準サイズｘ２及び基準サイズｘ３を特徴抽出ネットワーク１、特徴抽出ネットワーク２及び特徴抽出ネットワーク３にそれぞれ入力することができ、特徴抽出ネットワーク１は、局所画像ｘ１に対応する特徴マップを取得することができ、特徴抽出ネットワーク２は、局所画像ｘ２に対応する特徴マップを取得することができ、特徴抽出ネットワーク３は、局所画像ｘ３に対応する特徴マップを取得することができる。

１つの可能な実施形態では、局所画像ｘ２に対応する特徴マップ及び局所画像ｘ３に対応する特徴マップをアップサンプリングし、局所画像ｘ１に対応する中央領域を切り取ることができる。さらに、局所画像ｘ１に対応する特徴マップと、上記の切り取られた２つの特徴マップとを重ね合わせることができ、例えば、重ね合わせネットワークにより、上記の３つの特徴マップを重みα、β、γで重み付けして加算し、重ね合わせ結果をアクティブ化層に入力してアクティブ化処理を行い、第２のサンプルターゲット領域、即ち、サンプル画像における局所画像ｘ１に対応する領域内の予測された特定の領域を取得することができる。当該特定の領域とサンプル画像のラベリング情報に基づいてニューラルネットワークのネットワーク損失を確定し、ネットワーク損失を使用して上記ニューラルネットワークをトレーニングすることができる。

１つの可能な実施形態では、特徴抽出ネットワーク２及び特徴抽出ネットワーク３によって出力された特徴マップをそれぞれアクティブ化し、第３のサンプルターゲット領域、即ち、サプル画像におけるｘ２に対応する領域内の予測された特定の領域及びサンプル画像におけるｘ３に対応する領域内の予測された特定の領域をそれぞれ取得することができ、さらに、第３のサンプルターゲット領域及びサンプル画像のラベリング情報を使用して特徴抽出ネットワーク２と特徴抽出ネットワーク３のネットワーク損失をそれぞれ確定し、特徴抽出ネットワーク２と特徴抽出ネットワーク３とをトレーニングすることができる。

１つの可能な実施形態では、上記トレーニングプロセスが完了された後、上記ニューラルネットワークを使用して処理待ち画像を分割することができ、例えば、処理待ち画像を前処理し、処理待ち画像に対してスクリーンショット処理を行い、基準サイズの局所画像ｘ１、基準サイズよりも大きい局所画像ｘ２及びｘ２のサイズよりも大きい局所画像ｘ３を取得することができる。局所画像ｘ２、ｘ３をダウンサンプリングし、それらのサイズを基準サイズに縮小させ、局所画像ｘ１、基準サイズｘ２及び基準サイズｘ３を特徴抽出ネットワーク１、特徴抽出ネットワーク２及び特徴抽出ネットワーク３にそれぞれ入力することができる。さらに、特徴抽出ネットワーク２及び特徴抽出ネットワーク３によって出力された特徴マップは、アップサンプリング及び切り取られた後、特徴抽出ネットワーク１によって出力された特徴マップに重ね合わせ、即ち重ね合わせネットワークに入力される。重ね合わせネットワークによって出力された重ね合わせ結果をアクティブ化層に入力することができ、処理待ち画像におけるｘ１に対応する領域内のターゲットの所在する特定の領域を取得することができ、例えば、処理待ち画像は、コンピュータ断層撮影血管造影法（ＣＴＡ：Ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ａｎｇｉｏｇｒａｐｈｙ）画像であり、上記ニューラルネットワークは、処理待ち画像におけるｘ１に対応する領域において冠状血管の所在する領域を分割することができる。

１つの可能な実施形態では、前記画像処理方法は、冠状血管の分割処理に使用されてもよく、複数のスケールの特徴情報を使用して分割精度を向上し、冠状血管の所在する領域を取得し、後の診断（例えば、血管プラーク、血管閉塞、狭窄などの病症）依拠を提供することができる。前記画像処理方法は、他の分野の画像分割処理にも使用されてもよく、例えば、ポートレート分割、物体分割などの領域に使用されてもよく、本開示では前記画像処理方法の適用分野が限定されない。

本開示の実施例の画像処理方法は、臨床補助診断に適用されてもよく、画像診断医の作業負荷を軽減しながら診断の精度を向上させることができる。一般的には、ＣＴＡ画像が撮影された患者に対して心血管疾患診断を行うプロセスロセスは、まず、画像診断医／ワークステーションが冠状血管の輪郭を描き、次に血管に対応する中心線を抽出し、次に中心線に基づいて曲面再構成（ＣＰＲ：Ｃｕｒｖｅｄ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔｔｅｄ）画像を生成し、ＣＰＲ画像に基づいて血管内のプラークを識別し、狭窄の程度を推定し、最終的に診断レポートを出力することである。診断プロセス全体において、冠状血管の分割が鍵であることがわかる。一方、医師が輪郭を描くには時間と労力がかかり、経験の異なる医師が描く輪郭もかなり異なる。一方、従来のワークステーションによって提供される分割結果は、一般的に大まかなものであり、実際の臨床ニーズを満たすことができない。したがって、本開示の実施例の提案は、効率的かつ正確な冠状血管分割ニーズを満たすことができる。

ＣＴＡイメージングは、心血管疾患を検出するための重要なイメージング手段の１つである。ＣＴＡ画像から心臓の冠状血管を正確に分割することは、心血管疾患の診断及び治療の基礎である。しかしながら、冠状血管をラベリングすることが非常に困難であり、関連する公開データがほとんどないため、研究作業を開始することは容易ではない。

一般的な血管狭窄検出方法は、一般に、正確なキャビティ分割により、グレー閾値又は正常な血管径の推定値と組み合わせて狭窄を検出する方法と、中心線に沿って抽出された特徴を使用してプラークを直接検出する方法との２つの種類に分けら、検出されたプラークに基づいて狭窄の程度を推定するという方式は、狭窄の検出よりもプラークの検出に重点を置いている。ここで、第１の種類の方法に関わるキャビティ分割方法は、いずれも従来方法であり、領域成長、グラフカットアルゴリズム又はレベルセットなどを含むことができる。

しかしながら、冠状血管の分割難さが大きく、従来方法の研究に大きな進歩がない。近年、深層学習の発展に伴い、ニューラルネットワークは、血管分割タスクにも適用されている。関連する技術では、３つの直交視角を有する２次元（２Ｄ：Ｔｗｏ Ｄｉｍｅｎｓｉｏｎｓ）画像を入力し、２５つの畳み込みニューラルネットワークと２つの完全な畳み込みネットワークを使用して冠状血管の抽出を含む多臓器分割を行う。別の関連技術において３次元（３Ｄ：Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎｓ）冠状血管分割のためのＤｅｅｐＭｅｄｉｃ構造が提案される。さらなる別の関連技術においてマルチチャネル３Ｄ ＵＮｅｔネットワークを使用して分割し、マルチチャネル入力には元のＣＴＡ画像とＦｒａｎｇｉフィルターによって処理された確率マップとが含まれる。深層学習法では、トレーニングのために大量のラベリングデータを使用する必要があり、冠状血管のラベリング難しさが大きいため、関連する作業は非常に少なく、最適化可能な余地が大きい。

冠状血管のターゲットは、小さくかつ分布が複雑であり、他のノイズ（例えば、肺血管）からの干渉を受けやすく、したがって、分割難さが大きい。本開示の実施例では、１つ又は複数のスケールの特徴情報を組み合わせることにより、詳細情報に注目しながら偽陽性率（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ）を低減し、より正確な分割結果を取得することができる。

異なるスケールの特徴情報をより合理的かつ効果的に使用するために、本開示の実施例は、適応ネットワーク損失を採用して、異なるスケールの特徴のために適切なネットワーク損失を学習する。

ネットワーク損失には、クロスエントロピー損失とセット類似性損失とが含まれ、クロスエントロピー損失は、管状構造物体に焦点を当て、リコール率が高く、セット類似性損失は、冠状血管の全体的な構造に焦点を当て、精度が高く、両方の組み合わせにより、より正確な分割結果を取得することができる。また、重み付けされたクロスエントロピー損失関数は、不均衡な前景及び背景分布の問題も解決することもできる。

本開示の実施例では、まず、サンプル画像に対して一連の前処理操作を行い、１つ又は複数のスケールのＣＴＡ画像を取得し、次に異なるスケールのＣＴＡ画像を予めトレーニングし、特徴抽出ネットワーク１（ｎｅｔ１）、特徴抽出ネットワーク２（ｎｅｔ２）、特徴抽出ネットワーク３（ｎｅｔ３）の３つの事前トレーニングモデル、次に異なるスケールの特徴の融合ポリシーを適応的に学習し、最後に全体的なニューラルネットワークを微調整して最終的な分割結果を出力することができる。

異なる患者のＣＴＡ画像の解像度が異なり、同一の画像のｘ、ｙ、ｚ方向の解像度も異なる可能性があるため、ＣＴＡ画像をリサンプリングして、同じ解像度を達成し、ネットワークへの入力要件を満たすことができる。また、ニューラルネットワークが安定したトレーニングを行うことができるように、リサンプリングされた画像を正規化することができる。

異なるスケールのＣＴＡ画像に対応する特徴情報をより良く確定するために、本開示の実施例は、３つのスケールの画像のモデルに対して事前トレーニングをそれぞれ行うことができる。３つのニューラルネットワークモデルの入力は、それぞれ基準サイズの第１の局部画像ｘ１、基準サイズよりも大きい第２の局所画像ｘ２及び基準サイズよりも大きい第２の局所画像ｘ３であり、ｘ１、ｘ２及びｘ３の中心が一致しているように維持されてもよいが、異なるトリミングサイズで取得されてもよい。ｘ２及びｘ３は、ニューラルネットワークに入力される前に、ダウンサンプリングによりｘ１と同じサイズに復元されてもよく、その後、３つのニューラルネットワークモデルは、互いに干渉することなく、異なるサイズに対応する監督情報の下でトレーニングされ、これにより、ｎｅｔ１、ｎｅｔ２及びｎｅｔ３の３つの事前トレーニングモデルが得られる。

異なるスケールの特徴情報をよりよく使用するために、本開示の実施例は、適応学習の重み付け方式を採用して異なるスケールの特徴を集約することができる。適応学習の重み付け方式を採用して異なるスケールの特徴を集約するという実現方式は、ｎｅｔ１、ｎｅｔ２、ｎｅｔ３によって抽出された特徴を変更せずに維持し、α、β及びγで重み付けして集約し、重み付けして集約された特徴に対していくつかの層の畳み込み操作を行って最終的な分割結果を取得することができる。

より正確な分割結果を取得するために、本開示の実施例は、３つの異なるサイズのサンプル画像内のターゲットのターゲットラベリング情報（ラべル）を監督し、複数のサイズ特徴が大きく変化しない場合、重み付けパラメータとネットワークパラメータを調整し、調整された重み付けパラメータとネットワークパラメータの関連をより密接にすることができる。

ＣＴＡ画像の冠状血管ラベリングの制限により、関連技術における冠状血管分割に関する研究は、ほとんどなく、かつ方法はより一般的であり、例えば、深層学習フレームワークの下で、固定サイズのスライス画像を例えばＵ－Ｎｅｔなどの分割ネットワークに入力し、分割結果を出力する。しかしながら、冠状血管ターゲットは、小さくかつ分布が複雑であり、他のノイズ（例えば、肺血管）からの干渉を受けやすく、したがって、本開示の実施例では異なるサイズの特徴情報を組み合わせて、分割結果を共同で出力するスキームが提案され、小さいサイズのＣＴＡ画像の入力により、ニューラルネットワークは、血管の詳細情報により注目することができ、大きなサイズのＣＴＡ画像の入力により、ニューラルネットワークに大きな受容野を提供し、血管の全体的な分布に注目することができるため、マルチサイズの機能を融合することで、詳細を考慮しながら偽陽性率を効果的に減らすことができる。

関連技術において、ハイパーパラメータを人為的に固定することで複数の特徴を統合することが一般的であるが、このように最適なハイパーパラメータを選択することが難しく、特徴融合の効果を最大限に発揮することができない。本開示の実施例では、重ね合わせネットワークをトレーニングして重ね合わせた重み値を取得すると、トレーニングプロセスにおいて適切な重みパラメータを選択することができ、これにより、特徴融合の効果を向上させ、詳細特徴とグローバル特徴を最適化し、ニューラルネットワークの精度をさらに向上させることに役立つことができる。

ある損失関数のみで教師ありトレーニングを行う関連技術と比較して、本開示の実施例は、重み付けされたクロスエントロピー損失及びセット類似性損失を使用してネットワークトレーニングを共同で監督し、これにより、より正確な分割結果を取得することができることが提案され、また、重み付けされたクロスエントロピー損失関数によって不均衡な前景、背景分布の問題をより良く解決することができる。

当業者は、具体的な実施形態の上記方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対する制限を構成せず、各ステップの実行順序がその機能及び可能な内部論理で確定されるべきである。

図４は本開示の実施例による画像処理装置の構造図である。図４に示すように、前記画像処理装置は、処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するように構成される局所画像取得モジュール４０２と、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するように構成される特徴抽出モジュール４０４と、前記１つ又は複数のスケールの局所画像に対応する前記特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するように構成される分割モジュール４０６と、を備える。

１つの可能な実施形態では、前記局所画像取得モジュールはさらに、前記処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、複数の局所画像を取得するように構成され、前記複数の局所画像には基準サイズの第１の局所画像、及び前記基準サイズよりも大きい第２の局所画像が含まれ、前記複数の局所画像の画像中心が同じである。

１つの可能な実施形態では、前記特徴マップは、第１の特徴マップと第２の特徴マップとを含み、前記特徴抽出モジュールはさらに、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップと前記第２の局所画像に対応する特徴マップを取得するように構成される。

１つの可能な実施形態では、前記分割モジュールはさらに、前記第１の特徴マップ及び前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得し、前記第３の特徴マップに対してアクティブ化処理を行い、前記処理待ち画像内の特定の領域の分割結果を取得するように構成される。

１つの可能な実施形態では、前記特徴抽出モジュールはさらに、前記第２の局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第３の局所画像を取得し、前記第１の局所画像及び前記第３の局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ、及び前記第２の局所画像に対応する第２の特徴マップを取得するように構成される。

１つの可能な実施形態では、前記分割モジュールはさらに、前記第２の特徴マップに対してアップサンプリング処理を行い、第４の特徴マップを取得し、前記第４の特徴マップと前記第１の特徴マップとのサイズ比が前記第２の局所画像と前記第１の局所画像とのサイズ比と同じであり、前記第４の特徴マップに対してトリミング処理を行い、第５の特徴マップを取得し、前記第５の特徴マップのサイズが前記第１の特徴マップのサイズと一致し、前記第１の特徴マップと前記第５の特徴マップに対して重み付け加算処理を行い、前記第３の特徴マップを取得するように構成される。

１つの可能な実施形態では、特徴抽出処理を行うことは、複数の特徴抽出ネットワークを使用して処理することを含み、重ね合わせ処理を行うこと又は重み付け加算処理を行うことは、重ね合わせネットワークを使用して処理することを含み、分割処理を行うことは、アクティブ化層を使用して処理することを含み、前記画像処理装置は、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するように構成されるトレーニングモジュールをさらに備える。

１つの可能な実施形態では、前記トレーニングモジュールはさらに、前記サンプル画像に対して複数のスケールのスクリーンショット処理を行い、前記基準サイズの第４のサンプル局所画像、及び前記基準サイズより大きい第５のサンプル局所画像を取得し、前記第５のサンプル局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第６のサンプル局所画像を取得し、前記第４のサンプル局所画像及び前記第６のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、前記第４のサンプル局所画像に対応する第３のサンプル特徴マップ、及び前記第６のサンプル局所画像に対応する第４のサンプル特徴マップを取得し、前記第４のサンプル特徴マップに対してアップサンプリング処理及びトリミング処理を行い、第５のサンプル特徴マップを取得し、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得し、前記第６のサンプル特徴マップを前記アクティブ化層に入力してアクティブ化処理を行い、前記サンプル画像の第２のサンプルターゲット領域を取得し、前記第２のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、第２のネットワーク損失を確定し、前記第２のネットワーク損失に従って、前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するように構成される。

１つの可能な実施形態では、前記トレーニングモジュールはさらに、前記重ね合わせネットワークによって前記第３のサンプル特徴マップと前記第５のサンプル特徴マップに対して重み付け加算処理を行い、前記第６のサンプル特徴マップを取得するように構成される。

１つの可能な実施形態では、前記トレーニングモジュールは、前記第４のサンプル特徴マップに対してアクティブ化処理を行い、第３のサンプルターゲット領域を取得し、前記第３のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記第４のサンプル特徴マップに対応する特徴抽出ネットワークの第３のネットワーク損失を確定し、前記第３のネットワーク損失に従って前記第４のサンプル特徴マップに対応する特徴抽出ネットワークをトレーニングするように構成される。

本開示で言及された上記の各方法の実施例が原理的論理に反することなく、いずれも互いに組み合わせられ、組み合わせた実施例を形成することができ、紙幅に限定されるため、本開示で説明を省略することを理解できる。当業者は、具体的な実施形態の上記方法において、各ステップの具体的な実行順序がその機能及び可能な内部論理で確定されるべきである。

また、本開示の実施例は、本開示で提供されるいずれかの画像処理方法を実現するための画像処理装置、電子デバイス、コンピュータ可読可読記憶媒体、プログラムをさらに提供し、対応する技術的解決策及び説明については、方法部分の対応する記載を参照し、ここでは説明を省略する。

いくつかの実施例では、本開示の実施例によって提供される装置が備える機能又はそれに含まれるモジュールは、上記方法の実施例で説明される方法を実行するために使用されてもよく、具体的な実現については上記方法の実施例の説明を参照することができ、簡潔にするために、ここでは説明を省略する。

本開示の実施例によるコンピュータ可読記憶媒体は、コンピュータプログラム命令を記憶しており、前記コンピュータ命令がプロセッサに実行される場合、上記の方法を実現する。コンピュータ可読記憶媒体は、非揮発性コンピュータ可読記憶媒体であってもよい。

本開示の実施例は電子デバイスをさらに提供する。前記電子デバイスは、プロセッサと、プロセッサで実行可能な命令を記憶するように構成されるメモリとを備え、前記プロセッサは、前記メモリに記憶された命令を呼び出して、上記方法を実行するように構成される。

本開示の実施例によるコンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが電子デバイスで実行されると、電子デバイスにおけるプロセッサが上記のいずれかの実施例による画像処理方法の命令を実行する。

本開示の実施例は、別のコンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行される場合、コンピュータが上記のいずれかの実施例による画像処理方法の操作を実行する。

電子デバイスは、端末、サーバー又は他の形態のデバイスとして提供されてもよい。

図５は本開示の実施例による電子デバイス５００を示す構造概略図である。例えば、電子デバイス５００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信デバイス、ゲーム機、タブレットデバイス、医療デバイス、フィットネスデバイス、パーソナルデジタルアシスタント等の端末であってもよい。

図５を参照すると、電子デバイス５００は、処理コンポーネント５０２、メモリ５０４、電源コンポーネント５０６、マルチメディアコンポーネント５０８、オーディオコンポーネント５１０、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース５１２、センサーコンポーネント５１４、及び通信コンポーネント５１６のうちの１つ又は複数を備えることができる。

処理コンポーネント５０２は、一般的に電子デバイス５００の全体動作、例えば、表示、電話コール、データ通信、カメラ操作及び記録操作と関連する操作を制御する。処理コンポーネント５０２は、１つ又は複数のプロセッサ８２０を含んで命令を実行して、上記の方法の全て又は一部のステップを完了することができる。また、処理コンポーネント５０２は、処理コンポーネント５０２と他のコンポーネントの間のインタラクションを容易にするために、１つ又は複数のモジュールを含むことができる。例えば、マルチメディアコンポーネント５０８と処理コンポーネント５０２の間のインタラクションを容易にするために、処理コンポーネント５０２は、マルチメディアコンポーネントを含むことができる。

メモリ５０４は、様々なタイプのデータを記憶して電子デバイス５００での動作をサポートするように構成される。これらのデータの例は、電子デバイス５００で動作するいずれかのアプリケーションプログラム又は方法のための命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオなどを含む。メモリ５０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ ＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ ＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ及び磁気ディスク又は光ディスクなどの任意のタイプの揮発性メモリデバイス又は不揮発性メモリデバイス、又はそれらの組み合わせによって実現されてもよい。

電源コンポーネント５０６は、電子デバイス５００の様々なコンポーネントに電力を供給する。電源コンポーネント５０６は、電源管理システム、１つ又は複数の電源、及び電子デバイス５００のための電力の生成、管理及び割り当てに関連する他のコンポーネントを含むことができる。

マルチメディアコンポーネント５０８は、前記電子デバイス５００とユーザの間にある１つの出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）とタッチパネル（ＴＰ：Ｔｏｕｃｈ Ｐａｎｅｌ）とを含むことができる。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するために、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドとタッチパネル上のジェスチャをセンシングするために１つ又は複数のタッチセンサーを含む。前記タッチセンサーは、タッチ又はスライド動作の境界をセンシングするだけでなく、前記タッチ又はスライド動作に関連する持続時間及び圧力を検出することができる。いくつかの実施例において、マルチメディアコンポーネント５０８は、１つのフロントカメラ及び／又はリアカメラを含む。電子デバイス５００が撮影モード又はビデオモードなどの動作モードにある場合、フロントカメラ及び／又はリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、１つの固定された光学レンズシステムであってもよく、又は焦点距離及び光学ズーム能力を持っている。

オーディオコンポーネント５１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント５１０は、１つのマイクロホン（ＭＩＣ：Ｍｉｃｒｏｐｈｏｎｅ）を含み、電子デバイス５００がコールモード、記録モード及び音声識別モードなどの動作モードにある場合、マイクロホンは、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ５０４に記憶され又は通信コンポーネント５１６を介して送信されることができる。いくつかの実施例において、オーディオコンポーネント５１０は、オーディオ信号を出力するように構成されるスピーカをさらに含む。

Ｉ／Ｏインターフェース５１２は、処理コンポーネント５０２と周辺インターフェースモジュールの間にインターフェースを提供し、上記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、スタートボタン及びロックボタンを含むことができるがこれらに限定されない。

センサーコンポーネント５１４は、１つ又は複数のセンサーを含み、電子デバイス５００に様々な態様の状態評価を提供するように構成される。例えば、センサーコンポーネント５１４は、電子デバイス５００のオン／オフ状態、コンポーネントの相対的な位置を検出することができ、例えば前記コンポーネントが電子デバイス５００のディスプレイ及びキーパッドであり、センサーコンポーネント５１４は、さらに電子デバイス５００又は電子デバイス５００の１つのコンポーネントの位置変化、ユーザと電子デバイス５００との接触の有無、電子デバイス５００の方位又は加速／減速と電子デバイス５００の温度変化を検出することができる。センサーコンポーネント５１４は、いかなる物理的接触がない場合の近くの物体の存在を検出するために構成される近接センサーを含むことができる。センサーコンポーネント５１４は、光センサー、例えば相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、又はイメージングアプリケーションで使用するように構成される電荷結合デバイス（ＣＣＤ：Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーをさらに含むことができる。いくつかの実施例において、当該センサーコンポーネント５１４は、さらに加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー又は温度センサーを含むことができる。

通信コンポーネント５１６は、電子デバイス５００と他のデバイスの間の有線又は無線方式の通信を容易にするように構成される。電子デバイス５００は、通信規格に基づく無線ネットワーク、例えばＷｉＦｉ（Ｗｉ－Ｆｉ：Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）ネットワーク、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスすることができる。１つの例示的な実施例では、通信コンポーネント５１６は、放送チャネルを介して外部の放送管理システムからの放送信号又は放送関連情報を受信する。１つの例示的な実施例では、前記通信コンポーネント５１６は、短距離通信を促進するために、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄｄ）技術、ブルートゥース（ＢＴ：Ｂｌｕｅ Ｔｏｏｔｈ）技術と他の技術に基づいて実現されてもよい。

例示的な実施例では、電子デバイス５００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、デジタル信号処理デバイス（ＤＳＰＤ：ＤＳＰ Ｄｅｖｉｃｅ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子によって実現されてもよく、上記方法を実行するように構成される。

例示的な実施例では、上記方法を完了するために電子デバイス５００のプロセッサ８２０によって実行され得るコンピュータプログラム命令を含むメモリ５０４などの不揮発性のコンピュータ可読記憶媒体も提供される。

図６は本開示の実施例による別の電子デバイス６００を示す構造概略図である。例えば、電子デバイス６００は、サーバーとして提供されてもよい。図６を参照すると、電子デバイス６００は、１つ又は複数のプロセッサをさらに含む処理コンポーネント６０２と、処理コンポーネント６０２によって実行可能な命令を格納するように構成されたメモリ６０４によって表されるメモリリソース、例えばアプリケーションプログラムとを含む。メモリ６０４に記憶されたアプリケーションプログラムは、それぞれが１グループの命令に対応する１つ又は複数のモジュールを含むことができる。また、処理コンポーネント６０２は、上記方法を実行するために、命令を実行する。

電子デバイス６００は、さらに電子デバイス６００の電源管理を実行するように構成される電源コンポーネント６０６と、電子デバイス６００をネットワークに接続する有線又は無線ネットワークインターフェース６０８と、入出力（Ｉ／Ｏ）インターフェース６１０とを備えることができる。電子デバイス６００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似するものなどのメモリ６０４に記憶されたオペレーティングシステムに基づいて動作することができる。

例示的な実施例では、不揮発性コンピュータ可読記憶媒体、例えば、コンピュータプログラム命令を含むメモリ６０４も提供され、上記コンピュータプログラム命令は、上記方法を完了するために電子デバイス６００の処理コンポーネント６０２によって実行されてもよい。

本開示は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の様々な態様を実現させるためのコンピュータ可読プログラム命令をロードしているコンピュータ可読記憶媒体を含むことができる。

コンピュータ可読記憶媒体は、命令実行デバイスで使用される命令を保持及び記憶することができる有形デバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス又は上記のそれらの任意の適切な組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルランダムアクセスメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク光ファイバーデバイス（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリースティック、フロッピーディスク、機械的コーディングデバイス、例えば命令を記憶しているパンチカード又は溝内突出構造、及び上記のそれらのいずれかの適切な組み合わせを含む。ここで使用されているコンピュータ可読記憶媒体は、無線電波又は他の自由に伝播する電磁波、導波路又は他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、又は電線を介して伝送される電気信号などの一時的信号自体として解釈されるべきではない。

ここで説明されているコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理デバイスにダウンロードされてもよく、又はネットワーク、例えばインターネット、ローカル領域ネットワーク、広域ネットワーク及び／又はワイヤレスネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅線伝送ケーブル、光ファイバ伝送、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバーを含むことができる。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／プロセッシングデバイスのコンピュータ可読記憶媒体に保存するために当該コンピュータ可読プログラム命令を転送する。

本開示の動作を実行するように構成されたコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト向けプログラミング言語、及び「Ｃ」言語などの従来の手続き型プログラミング言語又は類似するプログラミング言語を含む。コンピュータ可読プログラムコードは、ユーザのコンピュータで完全に実行されたり、ユーザのコンピュータで部分的に実行されたり、一つの独立したソフトウェアパッケージとして実行されたり、ユーザコンピュータで部分的に実行されたり、遠隔コンピュータで部分的に実行されたり、又は遠隔コンピュータ又はサーバーで完全に実行されたりすることができる。遠隔コンピュータに関する場合、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを介してユーザコンピュータ、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダーによってインターネットを介して接続される）。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報により電子回路、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）をパーソナライズしてカスタマイズすることにより、電子回路は、コンピュータ可読プログラム命令を実行して、本開示の様々な態様を実現することができる。

以上に各実施例の説明は、各実施例の間の違いを強調する傾向があり、簡潔にするために、同じ又は類似する点について説明を省略しない。

本明細書では「及び／又は」という用語は、関連付けられたオブジェクトの関連関係を説明するためのものだけであり、３種類の関係が存在できることを示し、例えばＡ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。

ここで本開示の各態様は、本開示の実施例の方法、装置（システム）とコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図の各ブロックの組み合わせは、コンピュータ可読プログラム命令によって実施されてもよいことを理解すべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されてもよく、これにより、これらの命令がコンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行される場合、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現するデバイスを生じるように機械が製造される。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶することができ、これらの命令により、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスが特定の方式で動作し、したがって、命令を格納するコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作の各態様を実現するための命令を含む製品を含む。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードすることもでき、これにより、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイスで一連の操作ステップを実行し、コンピュータで実現されるプロセスを生成し、それによってコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスで実行される命令により、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作が実現される。

図面におけるフローチャート及びブロック図には本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能と動作が示されている。この点において、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができ、前記モジュール、プログラムセグメント又は命令の一部は、所定の論理機能を実現するように構成された１つ又は複数の実行可能命令を含む。いくつかの代替実現では、ブロックでラベリングされた機能は、図面でラベリングされたものとは異なる順序で発生することもできる。例えば、２つの連続するブロックは、実際には並行して実行されてもよく、それらは、関連する機能によって逆の順序で実行される場合もある。注意すべきものとして、ブロック及び／又はフローチャートの各ブロック、及びブロック及び／又はフローチャートのブロックの組み合わせは、所定の機能又は動作を実行するための専用の、ハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ命令の組み合わせで実現されてもよい。

当該コンピュータプログラム製品は、具体的にはハードウェア、ソフトウェア又はそれらの組み合わせによって実現されてもよい。１つの選択可能な実施例では、前記コンピュータプログラム製品は、具体的にはコンピュータ記憶媒体として具体化され、別の選択可能な実施例では、コンピュータプログラム製品は、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具体的に具体化されている。

以上に本開示の各実施例について説明したが、上記の説明は、例示的であり、網羅的ではなく、かつ開示される各実施例に限定されない。上記の実施例の範囲及び精神から逸脱することなく、多くの修正及び変更は、当業者にとって明らかである。本明細書で使用されている用語の選択は、各実施例の原理、実際の用途又は市場の技術に対する改善を最もよく説明すること、又は当業者が本明細書で開示される各実施例を理解することを可能にすることを目的とする。

本実施例では、１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行って特徴マップを取得し、取得された特徴マップを分割することにより、処理待ち画像から小さなローカルの細かい特徴、及び複雑なグローバル分布特徴を取得することが可能であり、さらに分割結果の精度が向上する。

Claims (23)

1. 画像処理方法であって、
   処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するステップと、
   前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するステップと、
   前記１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するステップと、を含む、画像処理方法。
2. 前記処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するステップは、
   前記処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、複数の局所画像を取得するステップであって、前記複数の局所画像には基準サイズの第１の局所画像、及び前記基準サイズよりも大きい第２の局所画像が含まれ、前記複数の局所画像の画像中心が同じである、ステップを含むことを特徴とする
   請求項１に記載の画像処理方法。
3. 前記特徴マップは、第１の特徴マップと第２の特徴マップとを含み、
   前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するステップは、
   前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ及び前記第２の局所画像に対応する第２の特徴マップを取得するステップを含むことを特徴とする
   請求項２に記載の画像処理方法。
4. 前記１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するステップは、
   前記第１の特徴マップと前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得するステップと、
   前記第３の特徴マップに対してアクティブ化処理を行い、前記処理待ち画像内の特定の領域の分割結果を取得するステップと、を含むことを特徴とする
   請求項３に記載の画像処理方法。
5. 前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ及び前記第２の局所画像に対応する第２の特徴マップを取得するステップは、
   前記第２の局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第３の局所画像を取得するステップと、
   前記第１の局所画像と前記第３の局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ、及び前記第２の局所画像に対応する第２の特徴マップを取得するステップと、を含むことを特徴とする
   請求項３に記載の画像処理方法。
6. 前記第１の特徴マップと前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得するステップは、
   前記第２の特徴マップに対してアップサンプリング処理を行い、第４の特徴マップを取得するステップであって、前記第４の特徴マップと前記第１の特徴マップとのサイズ比が前記第２の局所画像と前記第１の局所画像とのサイズ比と同じである、ステップと、
   前記第４の特徴マップに対してトリミング処理を行い、第５の特徴マップを取得するステップであって、前記第５の特徴マップのサイズが前記第１の特徴マップのサイズと一致しているステップと、
   前記第１の特徴マップと前記第５の特徴マップに対して重み付け加算処理を行い、前記第３の特徴マップを取得するステップと、を含むことを特徴とする
   請求項４に記載の画像処理方法。
7. 前記特徴抽出処理を行うことは、複数の特徴抽出ネットワークを使用して処理することを含み、重ね合わせ処理を行うこと又は重み付け加算処理を行うことは、重ね合わせネットワークを使用して処理することを含み、分割処理を行うことは、アクティブ化層を使用して処理することを含み、
   前記画像処理方法は、
   サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップをさらに含むことを特徴とする
   請求項６に記載の画像処理方法。
8. 前記サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するステップは、
   前記サンプル画像に対して複数のスケールのスクリーンショット処理を行い、前記基準サイズの第４のサンプル局所画像、及び前記基準サイズよりも大きい第５のサンプル局所画像を取得するステップと、
   前記第５のサンプル局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第６のサンプル局所画像を取得するステップと、
   前記第４のサンプル局所画像と前記第６のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、前記第４のサンプル局所画像に対応する第３のサンプル特徴マップ、及び前記第６のサンプル局所画像に対応する第４のサンプル特徴マップを取得するステップと、
   前記第４のサンプル特徴マップに対してアップサンプリング処理及びトリミング処理を行い、第５のサンプル特徴マップを取得するステップと、
   前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得するステップと、
   前記第６のサンプル特徴マップを前記アクティブ化層に入力してアクティブ化処理を行い、前記サンプル画像の第２のサンプルターゲット領域を取得するステップと、
   前記第２のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、第２のネットワーク損失を確定するステップと、
   前記第２のネットワーク損失に従って、前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、前記トレーニングされた複数の特徴抽出ネットワーク、前記トレーニングされた重ね合わせネットワーク及び前記トレーニングされたアクティブ化層を取得するステップと、を含むことを特徴とする
   請求項７に記載の画像処理方法。
9. 前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得するステップは、
   前記重ね合わせネットワークによって前記第３のサンプル特徴マップと前記第５のサンプル特徴マップに対して重み付け加算処理を行い、前記第６のサンプル特徴マップを取得するステップを含むことを特徴とする
   請求項８に記載の画像処理方法。
10. 前記画像処理方法は、
    前記第４のサンプル特徴マップに対してアクティブ化処理を行い、第３のサンプルターゲット領域を取得するステップと、
    前記第３のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記第４のサンプル特徴マップに対応する特徴抽出ネットワークの第３のネットワーク損失を確定するステップと、
    前記第３のネットワーク損失に従って前記第４のサンプル特徴マップに対応する特徴抽出ネットワークをトレーニングするステップと、をさらに含むことを特徴とする
    請求項８に記載の画像処理方法。
11. 画像処理装置であって、
    処理待ち画像に基づいて１つ又は複数のスケールの局所画像を取得するように構成される局所画像取得モジュールと、
    前記１つ又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記１つ又は複数のスケールの局所画像に対応する特徴マップを取得するように構成される特徴抽出モジュールと、
    前記１つ又は複数のスケールの局所画像に対応する特徴マップに基づいて、前記処理待ち画像に対して分割処理を行い、分割結果を取得するように構成される分割モジュールと、を備える、画像処理装置。
12. 前記局所画像取得モジュールはさらに、前記処理待ち画像に対して複数のスケールのスクリーンショット処理を行い、複数の局所画像を取得するように構成され、前記複数の局所画像には基準サイズの第１の局所画像、及び前記基準サイズよりも大きい第２の局所画像が含まれ、前記複数の局所画像の画像中心が同じであることを特徴とする
    請求項１１に記載の画像処理装置。
13. 前記特徴マップは、第１の特徴マップと第２の特徴マップとを含み、前記特徴抽出モジュールはさらに、前記１つの又は複数のスケールの局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ及び前記第２の局所画像に対応する第２の特徴マップを取得するように構成されることを特徴とする請求項１２に記載の画像処理装置。
14. 前記分割モジュールはさらに、前記第１の特徴マップと前記第２の特徴マップに対して重ね合わせ処理を行い、第３の特徴マップを取得し、前記第３の特徴マップに対してアクティブ化処理を行い、前記処理待ち画像内の特定の領域の分割結果を取得するように構成されることを特徴とする
    請求項１３に記載の画像処理装置。
15. 前記特徴抽出モジュールはさらに、前記第２の局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第３の局所画像を取得し、前記第１の局所画像と前記第３の局所画像に対して特徴抽出処理をそれぞれ行い、前記第１の局所画像に対応する第１の特徴マップ、及び前記第２の局所画像に対応する第２の特徴マップを取得するように構成されることを特徴とする
    請求項１３に記載の画像処理装置。
16. 前記分割モジュールはさらに、前記第２の特徴マップに対してアップサンプリング処理を行い、第４の特徴マップを取得し、前記第４の特徴マップと前記第１の特徴マップとのサイズ比が前記第２の局所画像と前記第１の局所画像とのサイズ比と同じであり、前記第４の特徴マップに対してトリミング処理を行い、第５の特徴マップを取得し、前記第５の特徴マップのサイズが前記第１の特徴マップのサイズと一致し、前記第１の特徴マップと前記第５の特徴マップに対して重み付け加算処理を行い、前記第３の特徴マップを取得するように構成されることを特徴とする
    請求項１４に記載の画像処理装置。
17. 特徴抽出処理を行うことは、複数の特徴抽出ネットワークを使用して処理することを含み、重ね合わせ処理を行うこと又は重み付け加算処理を行うことは、重ね合わせネットワークを使用して処理することを含み、分割処理を行うことは、アクティブ化層を使用して処理することを含み、
    前記画像処理装置は、サンプル画像により前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、トレーニングされた複数の特徴抽出ネットワーク、トレーニングされた重ね合わせネットワーク及びトレーニングされたアクティブ化層を取得するように構成されるトレーニングモジュールをさらに備えることを特徴とする
    請求項１６に記載の画像処理装置。
18. 前記トレーニングモジュールはさらに、前記サンプル画像に対して複数のスケールのスクリーンショット処理を行い、前記基準サイズの第４のサンプル局所画像、及び前記基準サイズより大きい第５のサンプル局所画像を取得し、前記第５のサンプル局所画像に対してダウンサンプリング処理を行い、前記基準サイズの第６のサンプル局所画像を取得し、前記第４のサンプル局所画像と前記第６のサンプル局所画像を対応する特徴抽出ネットワークにそれぞれ入力して特徴抽出処理を行い、前記第４のサンプル局所画像に対応する第３のサンプル特徴マップ、及び前記第６のサンプル局所画像に対応する第４のサンプル特徴マップを取得し、前記第４のサンプル特徴マップに対してアップサンプリング及びトリミング処理を行い、第５のサンプル特徴マップを取得し、前記第３のサンプル特徴マップと前記第５のサンプル特徴マップを前記重ね合わせネットワークに入力し、第６のサンプル特徴マップを取得し、前記第６のサンプル特徴マップを前記アクティブ化層に入力してアクティブ化処理を行い、前記サンプル画像の第２のサンプルターゲット領域を取得し、前記第２のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、第２のネットワーク損失を確定し、前記第２のネットワーク損失に従って、前記複数の特徴抽出ネットワーク、前記重ね合わせネットワーク及び前記アクティブ化層をトレーニングし、前記トレーニングされた複数の特徴抽出ネットワーク、前記トレーニングされた重ね合わせネットワーク及び前記トレーニングされたアクティブ化層を取得するように構成されることを特徴とする
    請求項１７に記載の画像処理装置。
19. 前記トレーニングモジュールはさらに、前記重ね合わせネットワークによって前記第３のサンプル特徴マップと前記第５のサンプル特徴マップに対して重み付け加算処理を行い、前記第６のサンプル特徴マップを取得するように構成されることを特徴とする
    請求項１８に記載の画像処理装置。
20. 前記トレーニングモジュールはさらに、前記第４のサンプル特徴マップに対してアクティブ化処理を行い、第３のサンプルターゲット領域を取得し、前記第３のサンプルターゲット領域と前記サンプル画像のラベリング情報に基づいて、前記第４のサンプル特徴マップに対応する特徴抽出ネットワークの第３のネットワーク損失を確定し、前記第３のネットワーク損失に従って前記第４のサンプル特徴マップに対応する特徴抽出ネットワークをトレーニングするように構成されることを特徴とする
    請求項１８に記載の画像処理装置。
21. プロセッサで実行可能な命令を記憶するメモリと、
    前記メモリに記憶された命令を呼び出して、請求項１－１０のいずれか一項に記載の方法を実行するプロセッサと、を備える、電子デバイス。
22. コンピュータプログラム命令を記憶しており、前記コンピュータプログラム命令がプロセッサにより実行される場合、前記プロセッサに請求項１－１０のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
23. コンピュータ可読コードを含むコンピュータプログラム製品であって、前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイス内のプロセッサに、請求項１－１０のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。

Images