JP2021512446A - 画像処理方法、電子機器および記憶媒体 - Google Patents

Abstract

本開示の実施例は画像処理方法、電子機器および記憶媒体を開示する。前記方法の一例によれば、電子機器は、第一画像を処理し、前記第一画像における複数の画素点の予測結果を得て、前記予測結果は、前記画素点がインスタンス領域または背景領域に位置することを示す意味予測結果、および前記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含み、前記複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定することができる。【選択図】図１

Description

＜関連出願の相互参照＞
本開示は２０１８年９月１５日に中国特許局に提出された、出願番号が２０１８１１０７７３４９．Ｘであり、出願の名称が「画像処理方法、電子機器および記憶媒体」であり、および２０１８年９月１５日に中国特許局に提出された、出願番号が２０１８１１０７７３５８．９であり、出願の名称が「画像処理方法、電子機器および記憶媒体」である中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。

本開示はコンピュータビジョンの技術分野に関し、具体的には画像処理方法、電子機器および記憶媒体に関する。

映像処理は画像処理とも呼ばれ、コンピュータを用いて画像を解析し、望ましい結果を達成する技術である。画像処理とは、一般にデジタル画像処理である。デジタル画像とは、産業用カメラ、ビデオカメラ、スキャナなどの機器で撮影して得られた二次元配列であり、該配列の要素は画素点と呼ばれ、その値は階調値と呼ばれる。画像処理は多くの分野、特に医用映像処理の分野において非常に重要な役割を果たしている。

本開示の実施例は画像処理方法、電子機器および記憶媒体を提供する。

本開示の実施例の第一態様は、第一画像を処理し、前記第一画像における複数の画素点それぞれの予測結果を得、前記予測結果は、前記画素点がインスタンス領域または背景領域に位置することを示す意味予測結果、および前記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含むことと、前記複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定することと、を含む画像処理方法を提供する。

任意選択的に、第一画像を処理し、前記第一画像における複数の画素点の意味予測結果を得ることは、前記第一画像を処理し、前記第一画像における複数の画素点のインスタンス領域予測確率を得、前記インスタンス領域予測確率は前記画素点がインスタンス領域に位置する確率を示すことと、第二閾値に基づいて上記複数の画素点のインスタンス領域予測確率を二値化処理し、前記複数の画素点の各々の意味予測結果を得ることと、を含む。

任意選択的に、前記インスタンス中心領域は、前記インスタンス領域内に位置しかつ前記インスタンス領域よりも小さい領域を含み、かつ前記インスタンス中心領域の幾何中心は前記インスタンス領域の幾何中心と重なる。

代替的な一実施形態では、第一画像を処理する前に、前記方法はさらに、前記第一画像が所定のコントラストおよび／または所定の階調値を満たすように、第二画像を前処理し、前記第一画像を得ることを含む。

代替的な一実施形態では、前記第一画像を処理する前に、前記方法はさらに、前記第一画像が所定の画像サイズを満たすように、前記第二画像を前処理し、前記第一画像を得ることを含む。

代替的な一実施形態では、前記複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定することは、前記複数の画素点の各々の意味予測結果に基づき、前記複数の画素点からインスタンス領域に位置する少なくとも一つの第一画素点を特定することと、各前記第一画素点について、前記第一画素点の前記中心相対位置予測結果に基づき、前記第一画素点が属するインスタンスを特定することと、を含む。

前記インスタンスは第一画像における分割対象であり、具体的には第一画像における閉鎖構造であってもよい。

本開示の実施例におけるインスタンスは細胞核を含み、即ち、本開示の実施例は細胞核分割に用いることができる。

代替的な一実施形態では、前記予測結果はさらに、前記画素点がインスタンス中心領域に位置するかどうかを示す中心領域予測結果を含み、前記方法はさらに、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像の少なくとも一つのインスタンス中心領域を特定することを含み、前記第一画素点の中心相対位置予測結果に基づき、前記第一画素点が属するインスタンスを特定することは、前記第一画素点の前記中心相対位置予測結果に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することを含む。

代替的な一実施形態では、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像の少なくとも一つのインスタンス中心領域を特定することは、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得ることを含む。

代替的な一実施形態では、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得ることは、前記複数の画素点の各々の中心領域予測結果に基づき、ランダムウォークアルゴリズムを使用して前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得ることを含む。

代替的な一実施形態では、前記第一画素点の前記中心相対位置予測結果に基づき、前記少なくとも一つのインスタンス中心領域から前記各第一画素点に対応するインスタンス中心領域を特定することは、前記第一画素点の位置情報および前記第一画素点の中心相対位置予測結果に基づき、前記第一画素点の中心予測位置を特定することと、前記第一画素点の中心予測位置および前記少なくとも一つのインスタンス中心領域の位置情報に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することと、を含む。

代替的な一実施形態では、前記第一画素点の中心予測位置および前記少なくとも一つのインスタンス中心領域の位置情報に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することは、前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のうちの第一インスタンス中心領域に属することに応答し、前記第一インスタンス中心領域を前記第一画素点に対応するインスタンス中心領域として特定すること、または、前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のいずれにも属さないことに応答し、前記少なくとも一つのインスタンス中心領域のうちの、前記第一画素点の中心予測位置に最も近いインスタンス中心領域を、前記第一画素点に対応するインスタンス中心領域として特定することを含む。

代替的な一実施形態では、第一画像を処理し、前記第一画像における複数の画素点の予測結果を得ることは、前記第一画像を処理し、前記第一画像における複数の画素点の中心領域予測確率を得ることと、第一閾値に基づいて前記複数の画素点の中心領域予測確率を二値化処理し、前記複数の画素点の各々の中心領域予測結果を得ることと、を含む。

代替的な一実施形態では、第一画像を処理し、前記第一画像における複数の画素点の予測結果を得ることは、第一画像をニューラルネットワークに入力して処理し、前記第一画像における複数の画素点の予測結果を出力することを含む。

本開示の実施例の第二態様は、予測モジュールと分割モジュールとを含む電子機器を提供する。前記予測モジュールは、第一画像を処理し、前記第一画像における複数の画素点それぞれの予測結果を得、前記予測結果は、前記画素点がインスタンス領域または背景領域に位置することを示す意味予測結果、および前記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含み、前記分割モジュールは、前記複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定する。

任意選択的に、前記予測モジュールは具体的に、前記第一画像を処理し、前記第一画像における複数の画素点のインスタンス領域予測確率を得、前記インスタンス領域予測確率は前記画素点がインスタンス領域に位置する確率を示し、そして第二閾値に基づいて上記複数の画素点のインスタンス領域予測確率を二値化処理し、前記複数の画素点の各々の意味予測結果を得るために用いられる。

代替的な一実施形態では、前記電子機器はさらに、前記第一画像が所定のコントラストおよび／または所定の階調値を満たすように、第二画像を前処理し、前記第一画像を得るための前処理モジュールを含む。

代替的な一実施形態では、前記前処理モジュールはさらに、前記第一画像が所定の画像サイズを満たすように、前記第二画像を前処理し、前記第一画像を得るために用いられる。

代替的な一実施形態では、前記分割モジュールは、前記複数の画素点の各々の意味予測結果に基づき、前記複数の画素点からインスタンス領域に位置する少なくとも一つの第一画素点を特定するための第一ユニットと、前記少なくとも一つの第一画素点の各々の中心相対位置予測結果に基づき、前記各第一画素点が属するインスタンスを特定するための第二ユニットと、を含む。

代替的な一実施形態では、前記予測結果はさらに、前記画素点がインスタンス中心領域に位置するかどうかを示す中心領域予測結果を含み、前記分割モジュールはさらに、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像の少なくとも一つのインスタンス中心領域を特定するための第三ユニットを含み、前記第二ユニットは具体的に、前記少なくとも一つの第一画素点の各々の中心相対位置予測結果に基づき、前記少なくとも一つのインスタンス中心領域から前記各第一画素点に対応するインスタンス中心領域を特定するために用いられる。

代替的な一実施形態では、前記第三ユニットは具体的に、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得るために用いられる。

代替的な一実施形態では、前記第三ユニットは具体的に、前記複数の画素点の各々の中心領域予測結果に基づき、ランダムウォークアルゴリズムを使用して前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得るために用いられる。

代替的な一実施形態では、前記第二ユニットは具体的に、前記第一画素点の位置情報および前記第一画素点の中心相対位置予測結果に基づき、前記第一画素点の中心予測位置を特定し、そして前記第一画素点の中心予測位置および前記少なくとも一つのインスタンス中心領域の位置情報に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定するために用いられる。

代替的な一実施形態では、前記第二ユニットは具体的に、前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のうちの第一インスタンス中心領域に属することに応答し、前記第一インスタンス中心領域を前記第一画素点に対応するインスタンス中心領域として特定するために用いられる。

代替的な一実施形態では、前記第二ユニットは具体的に、前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のいずれにも属さないことに応答し、前記少なくとも一つのインスタンス中心領域のうち前記第一画素点の中心予測位置に最も近いインスタンス中心領域を前記第一画素点に対応するインスタンス中心領域として特定するために用いられる。

代替的な一実施形態では、前記予測モジュールは、前記第一画像を処理し、前記第一画像における複数の画素点の中心領域予測確率を得るための確率予測ユニットと、第一閾値に基づいて前記複数の画素点の中心領域予測確率を二値化処理し、前記複数の画素点の各々の中心領域予測結果を得るための判断ユニットと、を含む。

代替的な一実施形態では、前記予測モジュールは具体的に、第一画像をニューラルネットワークに入力して処理し、前記第一画像における複数の画素点の予測結果を出力するために用いられる。

本開示の実施例は第一画像に含まれる複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、上記第一画像のインスタンス分割結果を特定することで、速度が速く、精度が高いという利点を有する画像処理におけるインスタンス分割を実現できる。

本開示の実施例の第三態様は、異なるデータ構造を有するＮ群のインスタンス分割出力データを得、前記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、Ｎは１より大きい整数であることと、前記Ｎ群のインスタンス分割出力データに基づき、前記画像の統合意味データおよび統合中心領域データを得、前記統合意味データは、前記画像中のインスタンス領域に位置する画素点を示し、前記統合中心領域データは、前記画像中のインスタンス中心領域に位置する画素点を示すことと、前記画像の統合意味データおよび統合中心領域データに基づき、前記画像のインスタンス分割結果を得ることと、を含む画像処理方法を提供する。

代替的な一実施形態では、前記Ｎ群のインスタンス分割出力データに基づき、前記画像の統合意味データおよび統合中心領域データを得ることは、前記Ｎ個のインスタンス分割モデルの各々について、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルの意味データおよび中心領域データを得ることと、前記Ｎ個のインスタンス分割モデルの各々の意味データおよび中心領域データに基づき、前記画像の統合意味データおよび統合中心領域データを得ることと、を含む

代替的な一実施形態では、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルの意味データおよび中心領域データを得ることは、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像の複数の画素点の各々に対応するインスタンス識別情報を特定することと、前記インスタンス分割モデルにおける前記複数の画素点の各々に対応するインスタンス識別情報に基づき、前記各画素点の前記インスタンス分割モデルにおける意味予測値を得ることとを含み、前記インスタンス分割モデルの意味データは、前記画像の複数の画素点の各々の意味予測値を含む。

代替的な一実施形態では、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルの意味データおよび中心領域データを得ることはさらに、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することと、前記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心位置を特定することと、前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心領域を特定することとを含む。

代替的な一実施形態では、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定する前に、前記方法はさらに、前記インスタンス分割モデルのインスタンス分割出力データに対して浸食処理を行い、前記インスタンス分割モデルの浸食データを得ることを含み、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することは、前記インスタンス分割モデルの浸食データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することを含む。

代替的な一実施形態では、前記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心位置を特定することは、インスタンス領域に位置する前記少なくとも二つの画素点の位置の平均値を、前記インスタンス分割モデルのインスタンス中心位置とすることを含む。

代替的な一実施形態では、前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心領域を特定することは、前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記少なくとも二つの画素点と前記インスタンス中心位置との最大距離を特定することと、前記最大距離に基づき、第一閾値を特定することと、前記少なくとも二つの画素点のうち、前記インスタンス中心位置との距離が前記第一閾値以下の画素点を、インスタンス中心領域の画素点として特定することと、を含む。

代替的な一実施形態では、前記Ｎ個のインスタンス分割モデルの各々の意味データおよび中心領域データに基づき、前記画像の統合意味データおよび統合中心領域データを得ることは、前記Ｎ個のインスタンス分割モデルの各々の意味データに基づき、前記画像の複数の画素点の各々の意味投票値を特定することと、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得、前記画像の統合意味データは前記複数の画素点の各々の統合意味値を含むこととを含む。

代替的な一実施形態では、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得ることは、前記複数のインスタンス分割モデルの数Ｎに基づき、第二閾値を特定することと、前記第二閾値に基づき、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得ることとを含む。

代替的な一実施形態では、前記第二閾値はＮ／２を切り上げた結果である。

代替的な一実施形態では、前記画像の統合意味データおよび統合中心領域データに基づき、前記画像のインスタンス分割結果を得ることは、前記画像の統合中心領域データに基づき、前記画像の少なくとも一つのインスタンス中心領域を得ることと、前記少なくとも一つのインスタンス中心領域および前記画像の統合意味データに基づき、前記画像の複数の画素点の各々が属するインスタンスを特定することとを含む。

代替的な一実施形態では、前記少なくとも一つのインスタンス中心領域および前記画像の統合意味データに基づき、前記画像の複数の画素点の各々が属するインスタンスを特定することは、前記画像の複数の画素点の各々の統合意味値および前記少なくとも一つのインスタンス中心領域に基づき、ランダムウォークを行い、前記各画素点が属するインスタンスを得ることを含む。

本開示の実施例の第四態様は、取得モジュールと変換モジュールと分割モジュールとを備える電子機器を提供する。前記取得モジュールは、異なるデータ構造を有するＮ群のインスタンス分割出力データを得、前記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、前記変換モジュールは、前記Ｎ群のインスタンス分割出力データに基づき、前記画像の統合意味データおよび統合中心領域データを得、前記統合意味データは、前記画像中のインスタンス領域に位置する画素点を示し、前記統合中心領域データは、前記画像中のインスタンス中心領域に位置する画素点を示し、前記分割モジュールは、前記画像の統合意味データおよび統合中心領域データに基づき、前記画像のインスタンス分割結果を得る。

代替的な一実施形態では、前記変換モジュールは、前記Ｎ個のインスタンス分割モデルの各々のインスタンス分割出力データに基づき、前記各インスタンス分割モデルの意味データおよび中心領域データを得るための第一変換ユニットと、前記Ｎ個のインスタンス分割モデルの各々の意味データおよび中心領域データに基づき、前記画像の統合意味データおよび統合中心領域データを得るための第二変換ユニットとを含む。

代替的な一実施形態では、前記第一変換ユニットは具体的に、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける前記画像の複数の画素点の各々に対応するインスタンス識別情報を特定し、前記インスタンス分割モデルにおける前記複数の画素点の各々に対応するインスタンス識別情報に基づき、前記各画素点の前記インスタンス分割モデルにおける意味予測値を得るために用いる。前記インスタンス分割モデルの意味データは前記画像の複数の画素点の各々の意味予測値を含む。

代替的な一実施形態では、前記第一変換ユニットは具体的に、さらに前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定し、前記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心位置を特定し、前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心領域を特定するために用いる。

代替的な一実施形態では、前記変換モジュールはさらに、前記インスタンス分割モデルのインスタンス分割出力データに対して浸食処理を行い、インスタンス分割モデルの浸食データを得るための浸食処理ユニットを含む。前記第一変換ユニットは具体的に、前記インスタンス分割モデルの浸食データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定するために用いる。

代替的な一実施形態では、前記第一変換ユニットは具体的に、インスタンス領域に位置する前記少なくとも二つの画素点の位置の平均値を、前記インスタンス分割モデルのインスタンス中心位置とするために用いる。

代替的な一実施形態では、前記第一変換ユニットは具体的に、前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記少なくとも二つの画素点と前記インスタンス中心位置との最大距離を特定し、前記最大距離に基づき、第一閾値を特定し、前記少なくとも二つの画素点のうち前記インスタンス中心位置との距離が前記第一閾値以下の画素点をインスタンス中心領域の画素点として特定するために用いる。

代替的な一実施形態では、前記変換モジュールは具体的に、前記Ｎ個のインスタンス分割モデルの各々の意味データに基づき、前記画像の複数の画素点の各々の意味投票値を特定し、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得るために用いる。前記画像の統合意味データは前記複数の画素点の各々の統合意味値を含む。

代替的な一実施形態では、前記変換モジュールは、具体的に、さらに前記複数のインスタンス分割モデルの数Ｎに基づき、第二閾値を特定し、そして前記第二閾値に基づき、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得るために用いる。

代替的な一実施形態では、前記第二閾値はＮ／２を切り上げた結果である。

本開示の実施例の第五態様は、本開示の実施例の第一態様のいずれかの方法に記載の一部または全てのステップを実行するためのプロセッサと、前記プロセッサにより実行されるように構成されたコンピュータプログラムを記憶するためのメモリと、を含む別の電子機器を提供する。

本開示の実施例の第六態様は、コンピュータプログラムを記憶するためのコンピュータ可読記憶媒体であって、前記コンピュータプログラムはコンピュータに本開示の実施例の第一態様のいずれかの方法に記載の一部または全てのステップを実行させるコンピュータ可読記憶媒体を提供する。

本開示の実施例では、Ｎ個のインスタンス分割モデルを介して、画像処理によって得られたＮ群のインスタンス分割出力データに基づき、上記画像の統合意味データおよび統合中心領域データを得て、さらに上記画像の統合意味データおよび統合中心領域データに基づき、上記画像のインスタンス分割結果を得ることができる。このように、各インスタンス分割モデルの補完的な利点を実現し、各モデルに対して同じ構造または含意のデータ出力を要求する必要がなく、インスタンス分割課題においてより高い精度を実現することができる。

本開示の実施例に記載の画像処理方法のフローチャートである。

本開示の実施例に記載の別の画像処理方法のフローチャートである。

本開示の実施例に記載の細胞インスタンス分割結果の模式図である。

本開示の実施例に記載の電子機器の構成模式図である。

本開示の実施例に記載のさらに別の画像処理方法のフローチャートである。

本開示の実施例に記載のさらに別の画像処理方法のフローチャートである。

本開示の実施例に記載の細胞インスタンス分割の画像表現形式の模式図である。

本開示の実施例に記載の別の電子機器の構成模式図である。

本開示の実施例に記載のさらに別の電子機器の構成模式図である。

本開示の明細書、特許請求の範囲および上記図面における「第一」、「第二」などの用語は、特定の順序を記述するものではなく、異なる対象を区別するためのものである。また、用語「含む」および「有する」ならびにそれらの任意の変形は、非排他的な包含をカバーすることを意図する。例えば、一連のステップやユニットを含むプロセス、方法、システム、製品または機器は、これらのステップやユニットに限定されず、明記されていないステップやユニットを包含してもよく、またはこれらのプロセス、方法、製品または機器に固有の他のステップやユニットを包含してもよい。

本明細書において「実施例」と記述した場合、実施例に関して記述した特定の特徴、構造または特性を本開示の少なくとも一つの実施例に含めることができることを意味する。本明細書の様々な場所において「実施例」という語句が使われているが、それら全てが必ずしも同じ実施例を表しているものではなく、また他の実施例に相互排他的な独立または代替の実施例でもない。当業者であれば、本明細書に記載の実施例は他の実施例と組み合わせることができることを明示的および暗黙的に理解できる。

本開示の実施例に係る電子機器は複数の他の端末機器からのアクセスが可能である。上記電子機器は端末機器を含む。上記端末機器は、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパネル）を有する携帯電話、ラップトップ型コンピュータまたはタブレットコンピュータのような携帯機器を含むが、これらに限定されない。また、いくつかの実施例において、前記端末機器は携帯通信機器ではなく、タッチ感知面（例えば、タッチスクリーンディスプレイおよび／またはタッチパネル）を有するデスクトップコンピュータであることを理解されたい。

深層学習の概念は人工ニューラルネットワークの研究に由来する。深層学習構造の一つとして、複数の隠れ層を含む多層パーセプトロンが挙げられる。深層学習は低レベル特徴を組み合わせることで属性クラスまたは特徴の抽象的な高レベル表現を形成し、それによってデータの分散特徴表現を見つける。

深層学習は、機械学習におけるデータの表現学習に基づく方法である。観測値（例えば一つの画像）は、例えば各画素点の強度値のベクトルで表現するか、または一連のエッジ、特定形状の領域などで抽象的に表現するように、様々な方式で表現できる。いくつかの特定の表現方法を使用する場合、より容易にタスク（例えば、顔認識または表情認識）をインスタンスから学習することができる。深層学習は、教師なしまたは半教師ありの特徴学習、および階層的特徴抽出のための効率的なアルゴリズムで、手動に代えて特徴を抽出するという利点を有する。深層学習は、機械学習の研究における新しい分野であり、人間の脳による解析学習をシミュレートしたニューラルネットワークを確立し、それにより人間の脳の仕組みを模倣してデータ、例えば画像、音声およびテキストを解釈することを可能にすることを目的としている。

機械学習の方法と同様に、深層機械学習の方法も教師あり学習と教師なし学習に分けられている。異なる学習フレームワーク下で確立された学習モデルは、互いの差異がかなり大きい。例えば、教師あり学習に基づく深層機械学習モデルとして、深層学習に基づくネットワーク構造モデルとも呼ばれる畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）が挙げられ、教師なし学習に基づく機械学習モデルとして、ディープビリーフネット（Ｄｅｅｐ Ｂｅｌｉｅｆ Ｎｅｔ、ＤＢＮ）が挙げられる。

以下に本開示の実施例を詳しく説明する。なお、本開示の実施例は画像における細胞核分割または閉鎖構造を有する他のインスタンスの分割に用いることができ、本開示の実施例はこれについて限定しないことを理解されたい。

図１を参照すると、それは本開示の実施例に記載の画像処理方法のフローチャートである。図１に示すように、該画像処理方法は以下のステップを含む。

ステップ１０１で、第一画像を処理し、上記第一画像における複数の画素点の予測結果を得、上記予測結果は、上記画素点がインスタンス領域または背景領域に位置することを示す意味（ｓｅｍａｎｔｉｃ）予測結果、および上記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含む。

１０１では、複数の画素点は第一画像の全てまたは一部の画素点であってもよく、本開示の実施例はこれについて限定しない。上記第一画像は様々な画像収集機器（例えば顕微鏡）によって得られた病理画像、例えば細胞核画像などを含んでもよい。本開示の実施例は第一画像の取得方式およびインスタンスの具体的な実現について限定しない。

本開示の実施例では、様々な方式で第一画像を処理してもよい。例えば、インスタンス分割アルゴリズムを利用して第一画像を処理するか、または、上記第一画像をニューラルネットワークに入力して処理し、上記第一画像における複数の画素点の予測結果を出力し、本開示の実施例はこれについて限定しない。

一例では、深層学習に基づくニューラルネットワーク、例えばディープレイヤアグリゲーションネットワーク（Ｄｅｅｐ Ｌａｙｅｒ Ａｇｇｒｅｇａｔｉｏｎ、ＤＬＡＮｅｔ）によって、上記第一画像における複数の画素点の予測結果を得てもよいが、本開示の実施例はニューラルネットワークの具体的な実現について限定しない。ディープレイヤアグリゲーションネットワークは、ディープレイヤ集約ネットワークとも呼ばれる。より深層の集約によって標準アーキテクチャを拡張することで、各層の情報をより効率よく融合する。ディープレイヤアグリゲーションが特徴階層構造を反復的かつ階層的にマージすることにより、ネットワークにより良い精度とより少ないパラメータを有させる。ツリー構造で従来の線形構造を代替すれば、ネットワークの勾配逆伝播の経路長を、線形的に圧縮するのではなく、対数スケールで圧縮することができる。このように、学習した特徴がより強い記述能力を有するようになり、上記数値指標の予測精度を効果的に向上させることができる。

第一画像に対して意味分割処理を行い、第一画像における複数の画素点の意味予測結果を得て、複数の画素点の意味予測結果に基づいて第一画像のインスタンス分割結果を特定してもよい。意味分割処理は、第一画像における画素点を意味論的含意に応じて群分け（Ｇｒｏｕｐｉｎｇ）／分割（Ｓｅｇｍｅｎｔａｔｉｏｎ）するために行われる。例えば、第一画像に含まれる複数の画素点の各々がインスタンスであるかそれとも背景であるか、即ちインスタンス領域に位置するかそれとも背景領域に位置するかを特定することができる。

画素点レベルの意味分割では画像における各画素点を対応するクラスに分類することができる、即ち画素点レベルで分類することができる。ここのクラスの具体的な対象は、インスタンスである。インスタンス分割では画素点レベルの分類が必要であるのみならず、具体的なクラスのもとに異なるインスタンスを区別する必要もある。例えば、第一画像において三つの細胞核１、２、３があり、いずれの意味分割結果も細胞核であるが、インスタンス分割結果の対象は異なっている。

本開示の実施例では、第一画像における画素点毎に独立のインスタンス判断を行い、その属する意味分割クラスおよびインスタンスＩＤを判断することができる。例えば、一つの画像において三つの細胞核がある場合、いずれの細胞核の意味分割クラスも１となるが、異なる細胞核のＩＤはそれぞれ１、２、３となり、こうして上記細胞核ＩＤによって異なる細胞核を区別することができる。

画素点の意味予測結果は上記画素点がインスタンス領域または背景領域に位置することを示すことができる。つまり、画素点の意味予測結果は該画素点がインスタンスまたは背景であることを示す。

上記インスタンス領域はインスタンスが存在する領域として解されてもよく、背景領域は画像中のインスタンス以外の他の領域である。例えば、第一画像が細胞画像であると仮定する場合、画素点の意味予測結果は、画素点が細胞画像中の細胞核領域であるかそれとも背景領域であるかを示すための指示情報を含んでよい。本開示の実施例では、様々な方式で画素点がインスタンス領域であるかそれとも背景領域であるかを示してもよい。いくつかの可能な実施形態では、画素点の意味予測結果は、二つの所定値のいずれかであってもよく、二つの所定値はインスタンス領域および背景領域にそれぞれ対応する。例えば、画素点の意味予測結果は０または正整数（例えば１）であってもよい。ここで、０は背景領域を表し、正整数（例えば１）はインスタンス領域を表すが、本開示の実施例はこれに限定されない。

上記意味予測結果は二値化結果であってもよい。この場合、第一画像を処理し、複数の画素点の各々のインスタンス領域予測確率を得ることができる。インスタンス領域予測確率は当該画素点がインスタンス領域に位置する確率を示す。そして、第二閾値に基づいて上記複数の画素点の各々のインスタンス領域予測確率を二値化処理し、前記複数の画素点の各々の意味予測結果を得る。

一例では、上記二値化処理における第二閾値は０．５であってもよい。この場合、インスタンス領域予測確率が０．５以上の画素点をインスタンス領域に位置する画素点と特定し、インスタンス領域予測確率が０．５より小さい画素点を背景領域に位置する画素点と特定する。それに応じて、インスタンス領域予測確率が０．５以上の画素点の意味予測結果を１と特定し、インスタンス領域予測確率が０．５よりも小さい画素点の意味予測結果を０と特定するようにしてもよいが、本開示の実施例はこれに限定されない。

画素点の予測結果は、画素点の中心相対位置予測結果を含んでもよく、中心相対位置予測結果は上記画素点と当該画素点の属するインスタンス中心との相対位置を示す。一例では、画素点の中心相対位置予測結果は画素点の中心ベクトルに対する予測結果を含んでもよい。例えば、画素点の中心相対位置予測結果は、画素点の座標とインスタンス中心の座標との横軸および縦軸上での差をそれぞれ表すベクトル（ｘ，ｙ）として表してもよい。画素点の中心相対位置予測結果は他の方式で実現してもよく、本開示の実施例はこれについて限定しない。

画素点の中心相対位置予測結果および該画素点の位置情報に基づき、画素点のインスタンス中心予測位置、即ち画素点が属するインスタンスの中心の予測位置を特定し、画素点のインスタンス中心予測位置に基づき、画素点が属するインスタンスを特定してもよいが、本開示の実施例はこれについて限定しない。

一例では、第一画像に対する処理に基づき、第一画像における少なくとも一つのインスタンス中心の位置情報を特定し、画素点のインスタンス中心予測位置および少なくとも一つのインスタンス中心の位置情報に基づき、画素点が属するインスタンスを特定してもよい。

別の例では、インスタンス中心が属する小さな領域をインスタンス中心領域と定義してもよい。例えば、インスタンス中心領域は該インスタンス領域内に位置しかつ該インスタンス領域よりも小さい領域であり、かつ該インスタンス中心領域の幾何中心は該インスタンス領域の幾何中心と重なりまたはそれに近接し、例えば、インスタンス中心領域の中心はインスタンス中心である。該インスタンス中心領域は円形、楕円形または他の形状であってもよい。上記インスタンス中心領域は必要に応じて設定してもよく、本開示の実施例はインスタンス中心領域の具体的な実現について限定しない。

このとき、第一画像における少なくとも一つのインスタンス中心領域を特定し、画素点のインスタンス中心予測位置と少なくとも一つのインスタンス中心領域との位置関係に基づき、画素点が属するインスタンスを特定してもよいが、本開示の実施例はその具体的な実現について限定しない。

画素点の予測結果は、画素点がインスタンス中心領域に位置するかどうかを示す画素点の中心領域予測結果を含んでもよい。それに応じて、複数の画素点の各々の中心領域予測結果に基づき、第一画像の少なくとも一つのインスタンス中心領域を特定してもよい。

一例では、ニューラルネットワークによって第一画像を処理し、第一画像に含まれる複数の画素点の各々の中心領域予測結果を得てもよい。

上記ニューラルネットワークは教師あり訓練の方式で訓練して得られたものであってもよい。訓練プロセスで用いられるサンプル画像は、インスタンス情報でラベル付けされてもよく、サンプル画像にラベル付けされたインスタンス情報に基づいてインスタンスの中心領域を特定し、特定したインスタンスの中心領域を教師としてニューラルネットワークを訓練することができる。

インスタンス情報に基づき、インスタンス中心を特定し、インスタンス中心を含む所定寸法または面積の領域を、インスタンスの中心領域として特定してもよい。またサンプル画像に対して浸食処理を行い、浸食処理済みのサンプル画像を得て、浸食処理済みのサンプル画像に基づいてインスタンスの中心領域を特定してもよい。

画像の浸食操作とは、ある構成要素を用いて画像の検出を行い、それによって画像内部において該構成要素を配置可能な領域を探し出すことである。本開示の実施例で言及された画像浸食処理は上記浸食操作を含んでもよい。浸食操作は、構成要素が浸食された画像において平行・充填するプロセスである。浸食後の結果から見ると、画像の前景領域が縮小され、領域境界が不明瞭になり、同時にいくつかの孤立した小さな前景領域が完全に浸食され、フィルタリングの効果が達成される。

例えば、インスタンスマスク毎に、まず５×５の畳み込みカーネルでインスタンスマスク（ｍａｓｋ）に対して画像浸食処理を行う。続いて、インスタンスに含まれる複数の画素点の座標を平均し、インスタンスの中心位置を得て、インスタンスにおける全ての画素点と該インスタンスの中心位置との最大距離を特定し、インスタンスの中心位置との距離が上記最大距離の３０％よりも小さい画素点をインスタンスの中心領域の画素点として特定し、インスタンスの中心領域を得る。このように、サンプル画像におけるインスタンスマスクを一回り縮小してから、画像の二値化処理を行って中心領域予測のための二値画像マスクを得る。

また、サンプル画像においてラベル付けされたインスタンスに含まれる画素点の座標およびインスタンスの中心位置に基づき、画素点の中心相対位置情報、即ち、画素点からインスタンス中心までのベクトルのような、上記画素点とインスタンス中心との相対位置情報を得て、該相対位置情報を教師としてニューラルネットワークを訓練してもよいが、本開示の実施例はこれに限定されない。

本開示の実施例では、第一画像を処理することで、第一画像に含まれる複数の画素点の各々の中心領域予測結果を得てもよい。いくつかの可能な実施形態では、上記第一画像を処理し、上記第一画像に含まれる複数の画素点の各々の中心領域予測確率を得て、そして第一閾値に基づいて上記複数の画素点の中心領域予測確率を二値化処理し、上記複数の画素点の各々の中心領域予測結果を得てもよい。

そのうち、画素点の中心領域予測確率とは、画素点がインスタンス中心領域に位置する確率をいってもよい。インスタンス中心領域の画素点は背景領域の画素点またはインスタンス領域の画素点であってもよい。

本開示の実施例では、二値化処理は固定閾値による二値化処理または適応的閾値による二値化処理としてもよく、例えばダブルピーク法、Ｐパラメータ法、反復法およびＯＴＳＵ法などが挙げられる。本開示の実施例は二値化処理の具体的な実現について限定しない。上記二値化処理用の第一閾値または第二閾値は予め設定されるかまたは実際の状況に応じて決定されてもよく、本開示の実施例はこれについて限定しない。

画素点の中心領域予測確率と上記第一閾値との大小関係を判断することで、画素点の中心領域予測結果を得てもよい。例えば、第一閾値は０．５としてもよい。この場合、中心領域予測確率が０．５以上の画素点をインスタンス中心領域に位置する画素点として特定し、中心領域予測確率が０．５よりも小さい画素点をインスタンス中心領域に位置しない画素点として特定し、それにより各画素点の中心領域予測結果を得ることができる。例えば、中心領域予測確率が０．５以上の画素点の中心領域予測結果を１、中心領域予測確率が０．５よりも小さい画素点の中心領域予測結果を０と特定してもよいが、本開示の実施例はこれに限定されない。

上記予測結果を得た後にステップ１０２を実行できる。

１０２で、上記複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、上記第一画像のインスタンス分割結果を特定する。

ステップ１０１では、上記意味予測結果および上記中心相対位置予測結果を得た後、インスタンス領域に位置する少なくとも一つの画素点、および上記少なくとも一つの画素点とその属するインスタンス中心との相対位置情報を特定できる。いくつかの可能な実施形態では、上記複数の画素点の各々の意味予測結果に基づき、上記複数の画素点からインスタンス領域に位置する少なくとも一つの第一画素点を特定し、そして第一画素点の中心相対位置予測結果に基づき、第一画素点が属するインスタンスを特定してもよい。

複数の画素点の各々の意味予測結果に基づき、インスタンス領域に位置する少なくとも一つの第一画素点を特定することができる。具体的には、複数の画素点のうち意味予測結果がインスタンス領域に位置することを示す画素点を、第一画素点として特定する。

インスタンス領域に位置する画素点（即ち上記第一画素点）について、画素点の中心相対位置予測結果に基づき、該画素点が属するインスタンスを判断することができる。ここで、第一画像のインスタンス分割結果は、少なくとも一つのインスタンスの各々に含まれる画素点を含み、つまり、インスタンス領域に位置する各画素点が属するインスタンスを含む。異なるインスタンス識別子または符号（例えばインスタンスＩＤ）によって、異なるインスタンスを区別することができる。そのうち、インスタンスＩＤは０より大きい整数であってもよい。例えば、インスタンスａのインスタンスＩＤは１、インスタンスｂのインスタンスＩＤは２、背景に対応するインスタンスＩＤは０である。第一画像に含まれる複数の画素点の各々に対応するインスタンス識別子を得てもよいし、または第一画像における各第一画素点のインスタンス識別子を得てもよく、つまり、背景領域に位置する画素点を対応するインスタンス識別子を有さなくてもよく、本開示の実施例はこれについて限定しない。

細胞インスタンス分割における画素点について、その意味予測結果は細胞でありかつその中心相対位置予測結果の中心ベクトルがある中心領域を指す場合、この画素点を該細胞の細胞核領域（細胞核意味領域）に割り当てる。上記ステップに従って全ての画素点を割り当てれば、細胞分割結果を得ることができる。

デジタル顕微鏡で細胞核分割を行えば、細胞核の高品質の形態学的特徴を抽出でき、また細胞核の計算病理学的解析を行うこともできる。これらの情報は、例えば癌のレベル、薬物の治療有効性を判断するための重要な根拠である。従来、人々は大津アルゴリズム（Ｏｔｓｕ）および稜線（別称、分水嶺または流域、ｗａｔｅｒｓｈｅｄ）閾値アルゴリズムを用いて細胞核インスタンス分割の問題を解決すること多い。しかし、細胞核形態が多様であるため、上記方法の効果が不十分である。インスタンス分割は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）によって行うことができ、主にＭａｓｋＲＣＮＮ（Ｍａｓｋ Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ ｆｅａｔｕｒｅｓ）および完全畳み込みネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、ＦＣＮ）に基づく対象インスタンス分割フレームワークがある。しかし、ＭａｓｋＲＣＮは、ハイパーパラメータが繁雑で、具体的な問題について作業員が非常に高い専門知識を持たなければ良好な結果を得ることができないという欠点があり、かつ該方法は実行速度が遅い。ＦＣＮは特殊の画像後処理がなければ接着された細胞を複数のインスタンスに分割できず、これも作業員の高い専門知識を要求する。

本開示の実施例では画素点のその属するインスタンスの中心に対する位置関係を表す中心ベクトルを使用してモデリングすることにより、画像処理におけるインスタンス分割について、速度が速く、精度が高いという利点を有する。細胞分割の問題について、上記ＦＣＮは一部のインスタンスを境界クラスとして収縮させ、続いて目的のある後処理アルゴリズムを使用して境界が属するインスタンスに対する予測を補正する。それに比べて、中心ベクトルによるモデリングではデータに基づいて細胞核の境界状態をより正確に予測でき、また複雑な専門的な後処理アルゴリズムも要さない。上記ＭａｓｋＲＣＮＮはまず矩形で各独立したインスタンスの画像を切り出し、さらに細胞、背景の二クラス予測を行う。細胞は一緒に集まった複数の不規則な略楕円形として示されるため、矩形切り出し後、一つのインスタンスは中心に位置するが、他のインスタンスは依然として部分的にエッジに位置し、これは次の二クラス分割に不利である。それに比べて、中心ベクトルモデリングではこのような問題が発生せず、細胞核境界を比較的正確に予測でき、それにより全体的な予測精度が高まる。

本開示の実施例は臨床での補助診断に用いることができる。医者は患者の器官組織切片のデジタルスキャン画像を得た後、画像を本開示の実施例におけるフローに入力し、各独立した細胞核の画素点マスクを得ることができる。その後、医者はこの器官の各独立した細胞核の画素点マスクに準拠して、該器官の細胞密度、細胞形態特徴を計算し、さらにより正確な医学的判断を下すことができる。

本開示の実施例は第一画像に含まれる複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、上記第一画像のインスタンス分割結果を特定することで、速度が速く、精度が高いという利点を有する画像処理におけるインスタンス分割を実現できる。

図２を参照すると、それは本開示の実施例に記載の別の画像処理方法のフローチャートであり、図１のもとにさらに最適化したものである。本開示の実施例のステップを実行する主体は前記電子機器であってもよい。図２に示すように、該画像処理方法は以下のステップを含む。

２０１で、第一画像が所定のコントラストおよび／または所定の階調値を満たすように、第二画像を前処理し、上記第一画像を得る。

本開示の実施例で言及された第二画像は様々な画像収集機器（例えば顕微鏡）によって得られたマルチモーダル病理画像であってもよい。上記マルチモーダルは、画像のタイプが多様であり得、かつ画像のサイズ、色、解像度などの特徴が異なり得、異なる画像スタイルを呈していると解されてもよく、即ち、上記第二画像は一枚以上としてもよい。病理切片の制作および撮像プロセスにおいて、組織のタイプ、取得経路、撮像機器などの要因によって、得られた病理映像データは通常、大きな差を有する。例えば、異なる顕微鏡で収集した病理画像は、その解像度に大きな差が存在する。光学顕微鏡では病理組織のカラー画像（解像度が低い）を取得できるが、電子顕微鏡では、通常階調画像しか収集できない（しかし、解像度が高い）。しかしながら、臨床で利用可能な病理システムは、一般に、異なる撮像機器により取得された異なるタイプの病理組織を解析する必要がある。

上記第二画像を含むデータセットにおいて、異なる患者、異なる器官、異なる染色方法による画像は複雑かつ多様であるため、まずステップ２０１で第二画像の多様性を低減してもよい。

本開示の実施例のステップを実行する主体は前記電子機器であってもよい。電子機器には上記所定のコントラストおよび／または上記所定の階調値が記憶されていてもよく、上記第二画像を上記所定のコントラストおよび／または上記所定の階調値を満たす第一画像に変換してから、ステップ２０２を実行してもよい。

本開示の実施例で言及されたコントラストとは一つの画像における明暗領域のうち最も明るい白と最暗い黒との間の異なる輝度レベルを測定したものであり、差の範囲が広いほどコントラストが大きくなり、差の範囲が狭いほどコントラストが小さくなる。

景物の各点の色および輝度が異なるため、撮影された白黒写真上またはテレビジョン受像機で再生された白黒画像上の各点は異なる程度の灰色を呈する。白色と黒色を対数関係に応じて複数のレベルに分けたものは、「階調レベル」と呼ばれる。階調レベルの範囲は一般に、０から２５５であり、白色は２５５、黒色は０である。そのため、白黒画像は階調画像とも呼ばれ、医学、画像認識の分野において広範囲な用途を有する。

上記前処理では、また上記第二画像のサイズ、解像度、フォーマットなどのパラメータを統一することができる。例えば、第二画像をカットアウトし、所定の画像寸法の第一画像、例えば２５６＊２５６サイズに統一された第一画像を得ることができる。電子機器には所定の画像サイズおよび／または所定の画像フォーマットが記憶されていてもよく、前処理時に上記所定の画像サイズおよび／または所定の画像フォーマットを満たす第一画像を変換によって得ることができる。

電子機器は画像超解像（Ｉｍａｇｅ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）および画像変換などの技術によって、異なる病理組織、異なる撮像機器により取得されたマルチモーダル病理画像を統一し、それらを本開示の実施例における画像処理フローの入力として使用可能にすることができる。このステップは画像の正規化プロセスと呼ばれてもよい。スタイルが統一された画像に変換すれば、後続の画像に対する一括処理が容易になる。

画像超解像技術とは画像処理の方法によって、ソフトウェアアルゴリズム（撮像ハードウェア機器を変更しないことを重視）の方式で既存の低解像度（ＬＲ）画像を高解像度（ＨＲ）画像に変換する技術であり、超解像復元および超解像画像再構成（Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ、ＳＲＩＲ）に分けられる。現在、画像超解像の研究は主に、補間に基づく方法、再構成に基づく方法および学習に基づく方法の三つの範疇に分けられる。超解像再構成の核心思想は時間帯域幅（同一シーンの複数フレームの画像シーケンスを取得）と引き換えに空間解像度を得て、時間解像度から空間解像度への変換を実現するということである。上記前処理によって、高解像度の第一画像を得ることができ、それは医者の正確な診断に非常に有用である。高解像度の画像を提供できれば、コンピュータビジョンにおけるパターン認識の性能が大幅に向上する。

２０２で、上記第一画像を処理し、上記第一画像における複数の画素点の予測結果を得、上記予測結果は、意味予測結果、中心相対位置予測結果、および中心領域予測結果を含み、上記意味予測結果は上記画素点がインスタンス領域または背景領域に位置することを示し、上記中心相対位置予測結果は上記画素点とインスタンス中心との相対位置を示し、上記中心領域予測結果は上記画素点がインスタンス中心領域に位置するかどうかを示す。

上記ステップ２０２は図１に示す実施例のステップ１０１での具体的な説明を参照すればよく、ここでは説明を省略する。

２０３で、上記複数の画素点の各々の意味予測結果に基づき、上記複数の画素点からインスタンス領域に位置する少なくとも一つの第一画素点を特定する。

上記複数の画素点の各々の意味予測結果に基づき、各画素点がインスタンス領域に位置するかそれとも背景領域に位置するかを判断でき、それにより上記複数の画素点からインスタンス領域に位置する少なくとも一つの第一画素点を特定できる。

インスタンス領域は図５に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

２０４で、上記複数の画素点の各々の中心領域予測結果に基づき、上記第一画像の少なくとも一つのインスタンス中心領域を特定する。

ただし、インスタンス中心領域は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

中心相対位置予測結果は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

本開示の実施例では、中心領域予測結果は画素点がインスタンス中心領域に位置するかどうかを示すことができ、これによって中心領域予測結果を参照することで、インスタンス中心領域に位置する画素点を特定することができる。インスタンス中心領域に位置するこれらの画素点はインスタンス中心領域を構成し、これによって少なくとも一つのインスタンス中心領域を特定することができる。

前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得るようにしてもよい。

ここで、連結成分（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ）とは、一般に、画像中の同じ画素点値を有しかつ位置が隣接する前景画素点からなる画像領域（Ｒｅｇｉｏｎ、Ｂｌｏｂ）をいう。上記連結成分検索は連結成分解析（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ Ｌａｂｅｌｉｎｇ）と解されてもよく、画像中の各連結成分を探し出してラベルを付けるために行われる。

連結成分解析はコンピュータビジョンとパターン認識の国際会議（Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、ＣＶＰＲ）、および画像解析処理の多くの応用分野、例えば、光学文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）における文字分割抽出（ナンバープレート認識、テキスト認識、字幕認識など）、視覚追跡における移動前景物体の分割や抽出（歩行者侵入検知、残留物検知、視覚に基づく車両検知や追跡など）、医用画像処理（関心対象領域抽出）などにおいて多用される基本的な方法である。つまり、後続の処理のために前景物体を抽出する必要があるいずれの応用シーンにおいても連結成分解析の方法を使用可能であり、通常、連結成分解析の処理対象は二値化済みの画像（二値画像）である。

集合Ｓについて通路が存在する条件は、通路の画素点のある並び替え方式で、隣接する画素点がある隣接関係を満たすようになることである。例えば、点ｐから点ｑの間にＡ１，Ａ２，Ａ３．．．ＡＮ個の画素点があり、かつ隣接画素点がいずれもある隣接関係を満たすと仮定する場合、ｐとｑの間に通路が存在する。通路が首尾連結される場合、閉鎖通路と呼ばれるようになる。Ｓ集合内の一つの点ｐは通路が一つのみ存在する場合、一つの連結成分と呼ばれ、Ｓは連結成分が一つのみ存在する場合、一つの連結集合と呼ばれる。

Ｒが一つの画像部分集合である場合、Ｒが連結されていれば、Ｒが一つの領域と呼ばれる。連結されない全てのＫ個の領域について、その和集合Ｒｋが画像の前景を構成する場合、Ｒｋの補集合が背景と呼ばれる。

上記各画素点の中心領域予測結果に基づき、上記第一画像に対して連結成分検索処理を行えば、少なくとも一つのインスタンス中心領域を得てから、ステップ２０５を実行することができる。

具体的には、二値化処理後の第一画像について、中心領域が１の連結成分を探し出し、それによってインスタンス中心領域を特定し、連結成分毎に一つの独立ＩＤを割り当てもよい。

細胞分割について、細胞核中の画素点の座標、および該画素点のその属するインスタンスの中心に対する位置関係を示す中心ベクトルに基づき、上記中心ベクトルが指す位置が上記中心領域に位置するかどうかを特定することができる。画素点の中心ベクトルが指す位置は中心領域に位置する場合、該画素点に細胞核のＩＤを割り当て、そうでない場合、該画素点はいずれの細胞核にも属さず、最近傍割り当てを行うことができる。

ランダムウォークアルゴリズムを使用して前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得てもよい。

ランダムウォーク（ｒａｎｄｏｍ ｗａｌｋ、ランダム歩行とも呼ばれ）は、過去のパフォーマンスに基づき、将来の進行ステップおよび方向を予測できないことをいう。ランダムウォークの核心思想は、不規則に歩いている歩行者が持つあらゆる保存量が一つの拡散輸送法則に対応し、ブラウン運動に近く、ブラウン運動の理想的な数学的状態であるということである。本開示の実施例における画像処理を対象としたランダムウォーク（ｒａｎｄｏｍ ｗａｌｋ）の基本的な考え方は、画像を固定の頂点と辺からなる連結加重無向グラフと見做し、ラベル付けされていない頂点からランダムウォークを開始し、各種のラベル付けされた頂点に初回に到達する確率で、ラベル付けされていない点がラベル付けクラスに帰属する可能性を表し、最大の確率が存在するクラスのラベルをラベル付けされていない頂点に付与し、分割を完了するということである。上記ランダムウォークアルゴリズムによって、いずれの中心領域にも属さない画素点の割り当てを実現し、それによって上記少なくとも一つのインスタンス中心領域を得ることができる。

ディープレイヤアグリゲーションネットワークモデルによって画素点接続図を出力してもよく、連結成分検索処理後にインスタンス分割結果を得ることができる。可視化するために、上記インスタンス分割結果において各インスタンス領域にランダムな色を付与してもよい。

上記ステップ２０３とステップ２０４は前後を問わずに実行してもよく、上記少なくとも一つのインスタンス中心領域を特定した後、ステップ２０５を実行できる。

２０５で、各第一画素点の中心相対位置予測結果に基づき、上記少なくとも一つのインスタンス中心領域から上記各第一画素点に対応するインスタンス中心領域を特定する。

具体的には、上記第一画素点の位置情報および上記第一画素点の中心相対位置予測結果に基づき、上記第一画素点の中心予測位置を特定してもよい。

ステップ２０２では画素点の位置情報を得ることができ、具体的には画素点の座標であってもよい。上記第一画素点の座標および上記第一画素点の中心相対位置予測結果に基づき、上記第一画素点の中心予測位置を特定できる。上記中心予測位置は予測される上記第一画素点が属するインスタンス中心領域の中心位置を示すことができる。

第一画素点の中心予測位置および少なくとも一つのインスタンス中心領域の位置情報に基づき、上記少なくとも一つのインスタンス中心領域から上記第一画素点に対応するインスタンス中心領域を特定できる。

ステップ２０４では、インスタンス中心領域の位置情報を得ることができ、それは座標で表してもよい。さらに、第一画素点の中心予測位置および少なくとも一つのインスタンス中心領域の位置情報に基づき、上記第一画素点の中心予測位置が上記少なくとも一つのインスタンス中心領域に属するかどうかを判断し、それによって上記少なくとも一つのインスタンス中心領域から第一画素点に対応するインスタンス中心領域を特定することができる。

具体的には、第一画素点の中心予測位置が少なくとも一つのインスタンス中心領域のうちの第一インスタンス中心領域に属することに応答し、上記第一インスタンス中心領域を上記第一画素点に対応するインスタンス中心領域として特定し、かつ該画素点を該インスタンス中心領域に割り当てもよい。

第一画素点の中心予測位置が少なくとも一つのインスタンス中心領域のいずれにも属さないことに応答し、最近傍割り当てを行い、つまり、少なくとも一つのインスタンス中心領域のうち第一画素点の中心予測位置との距離が最も近いインスタンス中心領域を該第一画素点に対応するインスタンス中心領域として特定する。

本開示の実施例は上記ステップ２０２での出力が三つの分岐があり得る。一つは、意味判断分岐であり、２つのチャネルを含んで各画素点がインスタンス領域または背景領域に位置することを出力する。二つは、中心領域分岐であり、２つのチャネルを含んで各画素点が中心領域または非中心領域に位置することを出力する。三つは、中心ベクトル分岐であり、２つのチャネルを含んで各画素点とインスタンス中心との相対位置を出力し、具体的には画素点がその属するインスタンスの幾何中心を指すベクトル縦横成分を含んでもよい。

本開示の実施例では、前記インスタンスは第一画像の分割対象であり、具体的に第一画像の閉鎖構造である。例えば、分割対象は細胞核であってもよい。このように、上記中心領域が一つの細胞核の中心領域であるため、上記中心領域を特定すると、実際に細胞核の位置が予備的に特定され、各細胞核に数字番号、即ち上記インスタンスＩＤを割り当てることが可能になる。

具体的には、入力される第二画像は［高さ，幅，３］の３チャネル画像とし、本開示の実施例はステップ２０２で、順に各画素点の意味予測確率、中心領域予測確率および中心相対位置予測結果である三つの［高さ，幅，２］の配列を得ることができる。その後、上記中心領域予測確率を閾値０．５で二値化し、さらに連結成分検索処理によって各細胞核の中心領域を得て、それぞれに独立した数字番号を付与することができ、上記各細胞に割り当てられる数字番号は、異なる細胞核を区別するよう、前記インスタンスＩＤとする。

例えば、ステップ２０３で一つの画素点ａの意味予測結果が背景ではなく細胞核である（それが細胞核意味領域に属する）と特定し、かつステップ２０２で既に該画素点ａの中心ベクトルを得ていたと仮定する場合、該画素点ａの中心ベクトルがステップ２０４で得られた少なくとも一つのインスタンス中心領域のうちの第一中心領域を指していれば、該画素点ａと該第一中心領域が対応関係を有することがわかる。具体的に示すと、該画素点ａは該第一中心領域が存在する細胞核Ａに属し、第一中心領域は該細胞核Ａの中心領域であるとおりである。

細胞分割を例にすると、上記ステップによって、細胞核と画像背景を分割し、細胞核に属する全ての画素点を割り当て、各画素点が属する細胞核、細胞核中心領域または細胞核の中心を特定し、細胞をより正確に分割し、正確なインスタンス分割結果を得ることができる。

本開示の実施例では中心ベクトルを使用してモデリングし、細胞核境界について正確に予測でき、それにより全体的な予測精度が向上する。

本開示の実施例における中心ベクトル方法を使用すれば、１秒あたり３枚に達する画像処理量で高速に実行できるのみならず、また作業者に対して高い専門知識を要することなく、任意のインスタンス分割課題において一定のラベル付けデータを取得して良好な後処理結果を得ることもできる。

本開示の実施例は臨床での補助診断に用いることができ、その具体的な説明は図１に示す実施例を参照すればよく、ここでは説明を省略する。

本開示の実施例は第二画像を前処理して第一画像を得て、第一画像に含まれる複数の画素点の各々の意味予測結果、中心領域予測結果、および中心相対位置予測結果に基づき、上記第一画像中のインスタンス領域に位置する各第一画素点に対応するインスタンス中心領域を特定することで、インスタンスを効果的かつ正確に分割でき、速度が速く、精度が高いという利点を有する画像処理におけるインスタンス分割を実現できる。

図３を参照すると、それは本開示の実施例に記載の細胞インスタンス分割結果の模式図である。図に示すように、細胞インスタンス分割を例にし、本開示の実施例における方法を使用して処理すれば、速度が速く、精度が高いという特性を両立させることができる。図３と関連付けて図１および図２に記載の実施例における方法をより明確に理解できる。ディープレイヤアグリゲーションネットワークモデルによって、より正確な予測指標を得ることができ、かつ既存のデータセットを使用して予測指標をラベル付けすることができる。前記実施例における意味予測結果、中心領域予測結果および中心相対位置予測結果は、図３において、画素点Ａ、画素点Ｂ、画素点Ｃおよび画素点Ｄに対する意味ラベル、中心ラベルおよび中心ベクトルラベルをそれぞれ含むように示される。図に示すように、一つの細胞核は細胞核意味領域および細胞核中心領域を含んでもよい。図中の画素点について、画素点の意味ラベルが１であれば、該画素点は細胞核に属し、０であれば画像背景に属する。画素点の中心ラベルが１であれば該画素点は細胞核領域の中心であり、このとき、該画素点の中心ベクトルラベルは（０，０）であり、他の画素点の参照とすることができる（例えば、図中の画素点Ａおよび画素点Ｄのように、画素点Ａが特定されたことは、一つの細胞核が特定されたことにも相当する）。各画素点はそれぞれ一つの座標に対応し、中心ベクトルラベルは細胞核中心の画素点に対する画素点の座標であり、例えば画素点Ａに対する画素点Ｂの中心ベクトルラベルは（−５，−５）であり、中心に属する画素点の中心ベクトルラベルは（０，０）であり、例えば画素点Ａおよび画素点Ｄである。本開示の実施例では、上記画素点Ｂが上記画素点Ａの属する細胞核領域に属する（即ち画素点Ｂは画素点Ａが属する細胞核領域に割り当てられる）が、該細胞核中心領域内ではなく上記細胞核意味領域内に位置すると判断することができる。全ての分割プロセスを同様で完了すると、比較的正確な細胞インスタンス分割結果を得ることができる。

以上の記述は主に方法の実行プロセスの点から本開示の実施例の解決手段を説明した。なお、電子機器は上記機能を実現するために、各機能を実行する対応するハードウェア構造および／またはソフトウェアモジュールを含んでいることが理解される。当業者であれば、本開示は、本明細書に開示される実施例に記載の各例のユニットおよびアルゴリズムステップと関連付けて、ハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせという形で実現可能であることを容易に認識できる。ある機能はハードウェアで実行するか、それともコンピュータソフトウェアでハードウェアを駆動するように実行するかは、技術的解決手段の特定の用途および設計上の制約条件によって決められる。専門技術者であれば、特定の用途に向けて異なる方法を使用して、記載の機能を実現できるが、このような実現は本開示の範囲を超えたものであると理解すべきではない。

本開示の実施例は上記方法が例示するように電子機器の機能ユニットを分割でき、例えば、各機能に対応して各機能ユニットを分割してもよく、二つ以上の機能を一つの処理ユニットに統合してもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。説明すべきは、本開示の実施例におけるユニットの分割は例示的なもので、論理機能の分割にすぎず、実際に実現する場合に別の形態で分割してもよいことである。

図４を参照すると、それは本開示の実施例に記載の電子機器の構成模式図である。図４に示すように、該電子機器４００は予測モジュール４１０と分割モジュール４２０とを含む。前記予測モジュール４１０は、第一画像を処理し、前記第一画像における複数の画素点の予測結果を得て、前記予測結果は、前記画素点がインスタンス領域または背景領域に位置することを示す意味予測結果、および、前記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含む。前記分割モジュール４２０は、前記複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定する。

前記電子機器４００はさらに、前記第一画像が所定のコントラストおよび／または所定の階調値を満たすように、第二画像を前処理し、前記第一画像を得るための前処理モジュール４３０を含んでもよい。

前記分割モジュール４２０は、前記複数の画素点の各々の意味予測結果に基づき、前記複数の画素点からインスタンス領域に位置する少なくとも一つの第一画素点を特定するための第一ユニット４２１と、各第一画素点の中心相対位置予測結果に基づき、前記各第一画素点が属するインスタンスを特定するための第二ユニット４２２と、を含んでもよい。

前記予測結果はさらに、前記画素点がインスタンス中心領域に位置するかどうかを示す中心領域予測結果を含んでもよい。この場合、前記分割モジュール４２０はさらに、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像の少なくとも一つのインスタンス中心領域を特定するための第三ユニット４２３を含み、前記第二ユニット４２２は具体的に、各第一画素点の中心相対位置予測結果に基づき、前記各第一画素点に対応するインスタンス中心領域を特定するために用いられる。

前記第三ユニット４２３は具体的に、前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得るために用いることができる。

前記第二ユニット４２２は具体的に、前記第一画素点の位置情報および前記第一画素点の中心相対位置予測結果に基づき、前記第一画素点の中心予測位置を特定し、そして前記第一画素点の中心予測位置および前記少なくとも一つのインスタンス中心領域の位置情報に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定するために用いることができる。

前記第二ユニット４２２は具体的に、前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のうちの第一インスタンス中心領域に属することに応答し、前記第一インスタンス中心領域を前記第一画素点に対応するインスタンス中心領域として特定するために用いることができる。

前記第二ユニット４２２は具体的に、前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のいずれにも属さないことに応答し、前記少なくとも一つのインスタンス中心領域のうち前記第一画素点の中心予測位置に最も近いインスタンス中心領域を前記第一画素点に対応するインスタンス中心領域として特定するために用いることができる。

前記予測モジュール４１０は、前記第一画像を処理し、前記第一画像における複数の画素点それぞれの中心領域予測確率を得るための確率予測ユニット４１１と、第一閾値に基づいて前記複数の画素点それぞれの中心領域予測確率を二値化処理し、前記複数の画素点の各々の中心領域予測結果を得るための判断ユニット４１２と、を含んでもよい。

前記予測モジュール４１０は具体的に、第一画像をニューラルネットワークに入力して処理し、前記第一画像における複数の画素点の予測結果を出力するために用いることができる。

本開示の実施例では中心ベクトルを使用してモデリングし、細胞核境界について正確に予測でき、それにより全体的な予測精度が向上する。

本開示の実施例における電子機器４００を使用すれば、前記図１および図２の実施例における画像処理方法を実現でき、中心ベクトル方法によってインスタンス分割を行えば、１秒あたり３枚に達する画像処理量で高速に実行できるのみならず、また作業者に対して高い専門知識を要することなく、任意のインスタンス分割課題において一定のラベル付けデータを取得して良好な後処理結果を得ることもできる。

図４に示す電子機器４００を実行すると、電子機器４００は第一画像に含まれる複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、上記第一画像のインスタンス分割結果を特定することで、速度が速く、精度が高いという利点を有する画像処理におけるインスタンス分割を実現できる。

図５を参照すると、それは本開示の実施例に記載の画像処理方法のフローチャートである。該方法は、例えば端末機器、サーバまたは処理プラットフォームなど任意の電子機器によって実行してもよく、本開示の実施例はこれについて限定しない。図５に示すように、該画像処理は以下のステップを含む。

５０１で、異なるデータ構造を有するＮ群のインスタンス分割出力データを得、上記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、Ｎは１より大きい整数である。

まず、画像処理におけるインスタンス分割課題は、一つの入力画像について、画素点毎に、その属する意味クラスおよびインスタンスＩＤを独立の判断を行う必要があると定義される。例えば、画像には三つの細胞核１、２、３があり、いずれの意味クラスも細胞核であるが、インスタンス分割結果の対象は異なる。

インスタンス分割は図１に示す実施例の具体的な説明を参照すればよく、ここでは説明を省略する。

インスタンス分割はインスタンス分割アルゴリズム、例えばサポートベクターマシンに基づくインスタンス分割アルゴリズムなどの機械学習モデルによって実現してもよく、本開示の実施例はインスタンス分割モデルの具体的な実現について限定しない。

異なるインスタンス分割モデルは異なる利点と欠点があり、本開示の実施例は複数のインスタンス分割モデルを統合することで異なる単一モデルの利点を融合する。

ステップ５０１を実行する前に、異なるインスタンス分割モデル、例えばＭａｓｋＲＣＮＮおよびＦＣＮを使用して画像をそれぞれ処理し、インスタンス分割出力結果を得てもよい。Ｎ個のインスタンス分割モデルがあると仮定する場合、Ｎ個のインスタンス分割モデルの各々（以下、インスタンス分割出力データという）、即ちＮ群のインスタンス分割出力データを得ることができる。または、他の機器から該Ｎ群のインスタンス分割出力データを取得してもよく、本開示の実施例はＮ群のインスタンス分割出力データを取得する方法について限定しない。

インスタンス分割モデルを使用して画像を処理する前に、前処理後の画像がインスタンス分割モデルの入力画像に対する要求を満たすように、また画像に対して、例えばコントラストおよび／もしくは階調値調整、または切り取り、水平や垂直反転、回転、拡大縮小、ノイズ除去などの一つまたは任意の複数の操作のような前処理を行ってもよく、本開示の実施例はこれについて限定しない。

本開示の実施例では、Ｎ個のインスタンス分割モデルが出力するインスタンス分割出力データは異なるデータ構造または含意を有してもよい。例を挙げれば、次元が［高さ，幅，３］である画像の入力について、インスタンス分割出力データは［高さ，幅］のデータを含む。ここで、０であるインスタンスＩＤは背景を表し、０よりも大きい異なる数字は異なるインスタンスを表す。３つのインスタンス分割モデルがあると仮定する場合、異なるインスタンス分割モデルは異なるアルゴリズムまたはニューラルネットワーク構造に対応するようになり、そのうち、１番目のインスタンス分割モデルのインスタンス分割出力データは［境界、対象、背景］の三クラス確率マップ、２番目のインスタンス分割モデルのインスタンス分割出力データは［境界、背景］の二クラス確率マップおよび次元が［対象、背景］の二クラスグラフ、３番目のインスタンス分割モデルのインスタンス分割出力データは［中心領域、対象全体、背景］の三クラス確率マップなどである。異なるインスタンス分割モデルは異なる含意のデータ出力を有する。このとき、任意の加重平均アルゴリズムを使用して各インスタンス分割モデルの出力を統合してより安定的な、より高精度の結果を取得することができない。本開示の実施例における方法は異なるデータ構造を有するこのＮ群のインスタンス分割出力データのもとに複数のインスタンス分割モデル間で統合することができる。

上記Ｎ群のインスタンス分割出力データを取得した後、ステップ５０２を実行できる。

５０２で、上記Ｎ群のインスタンス分割出力データに基づき、上記画像の統合意味データおよび統合中心領域データを得て、上記統合意味データは、上記画像中のインスタンス領域に位置する画素点を示し、上記統合中心領域データは、上記画像中のインスタンス中心領域に位置する画素点を示す。

具体的には、電子機器は上記Ｎ群のインスタンス分割出力データを変換処理し、画像の統合意味データおよび統合中心領域データを得ることができる。

本開示の実施例で言及された意味分割はコンピュータビジョンにおける基本的なタスクであり、図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

画素レベルの意味分割は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

上記インスタンス領域は画像中のインスタンスが存在する領域、即ち背景領域以外の領域と解されてもよく、上記統合意味データは上記画像中のインスタンス領域に位置する画素点を示していてもよい。例えば、細胞核分割に関する処理について、上記統合意味データは細胞核領域に位置する画素点への判断結果を含んでもよい。

上記統合中心領域データは上記画像中のインスタンス中心領域に位置する画素点を示していてもよい。

インスタンス中心領域は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

具体的には、まずＮ個のインスタンス分割モデルの各々のインスタンス分割出力データに基づき、各インスタンス分割モデルの意味データおよび中心領域データ、即ち合計Ｎ群の意味データおよびＮ群の中心領域データを得てもよい。その後、上記Ｎ個のインスタンス分割モデルの各々の意味データおよび中心領域データに基づいて統合処理を行い、上記画像の統合意味データおよび統合中心領域データを得る。

Ｎ個のインスタンス分割モデルの各々について、該インスタンス分割モデルにおける各画素点に対応するインスタンス識別情報（インスタンスＩＤ）を特定し、さらに該インスタンス分割モデルにおける各画素点に対応するインスタンス識別情報に基づき、各画素点の該インスタンス分割モデルにおける意味予測値を得ることができる。インスタンス分割モデルの意味データは上記画像の複数の画素点の各々の意味予測値を含む。

二値化（Ｔｈｒｅｓｈｏｌｄｉｎｇ）は画像分割のための簡単な方法である。二値化によって、階調画像を二値画像に変換できる。例えば、ある限界階調値よりも大きい画素点階調値を最大階調値とし、この値よりも小さい画素点階調値を最小階調値とし、それにより二値化を実現することができる。

二値化処理は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

本開示の実施例では、第一画像を処理することで、第一画像に含まれる複数の画素点の各々の意味予測結果を得ることができる。画素点の意味予測値と上記第一閾値との大小関係を判断することで、画素点の意味予測結果を得ることができる。上記第一閾値は予め設定されるかまたは実際の状況に応じて決定されてもよく、本開示の実施例はこれについて限定しない。

上記画像の統合意味データおよび統合中心領域データを得た後、ステップ５０３を実行できる。

５０３で、上記画像の統合意味データおよび統合中心領域データに基づき、上記画像のインスタンス分割結果を得る。

上記画像の統合中心領域データに基づき、上記画像の少なくとも一つのインスタンス中心領域を得てもよい。その後、上記少なくとも一つのインスタンス中心領域および上記画像の統合意味データに基づき、上記画像の複数の画素点の各々が属するインスタンスを特定してもよい。

上記統合意味データは画像中のインスタンス領域に位置する少なくとも一つの画素点を示す。例えば、統合意味データは、画像の複数の画素点の各々の統合意味値を含んでもよく、統合意味値は画素点がインスタンス領域に位置するかどうかを示あい、または前記画素点がインスタンス領域または背景領域に位置することを示す。上記統合中心領域データは上記画像中のインスタンス中心領域に位置する少なくとも一つの画素点を示す。例えば、統合中心領域データは、画像の複数の画素点の各々の統合中心領域予測値を含み、統合中心領域予測値は画素点がインスタンス中心領域に位置するかどうかを示す。

上記統合意味データによって、画像のインスタンス領域に含まれる少なくとも一つの画素点を特定でき、上記統合中心領域データによって、画像のインスタンス中心領域に含まれる少なくとも一つの画素点を特定できる。上記画像の統合中心領域データおよび統合意味データに基づき、上記画像の複数の画素点の各々が属するインスタンスを特定し、画像のインスタンス分割結果を得ることができる。

上記方法によって得られたインスタンス分割結果はＮ個のインスタンス分割モデルのインスタンス分割出力結果を統合し、異なるインスタンス分割モデルの利点を融合し、異なるインスタンス分割モデルに対して同じ含意のデータ出力を有することを要求せず、インスタンス分割の精度を向上させる。

本開示の実施例は、Ｎ個のインスタンス分割モデルによる画像処理によって得られたＮ群のインスタンス分割出力データに基づき、上記画像の統合意味データおよび統合中心領域データを得て、さらに上記画像の統合意味データおよび統合中心領域データに基づき、上記画像のインスタンス分割結果を得る。このように、各インスタンス分割モデルの補完的な利点を実現し、各モデルに対して同じ構造または含意のデータ出力を有することを要求する必要がなく、インスタンス分割課題においてより高い精度を実現することができる。

図６を参照すると、それは本開示の実施例に記載の別の画像処理方法のフローチャートであり、図６は図５のもとにさらに最適化したものである。該方法は、例えば端末機器、サーバまたは処理プラットフォームなど任意の電子機器によって実行してもよく、本開示の実施例はこれについて限定しない。図６に示すように、該画像処理方法は以下のステップを含む。

６０１で、異なるデータ構造を有するＮ群のインスタンス分割出力データを得、上記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、Ｎは１より大きい整数である。

上記ステップ６０１は図５に示す実施例のステップ５０１での具体的な説明を参照すればよく、ここでは説明を省略する。

６０２で、上記インスタンス分割モデルのインスタンス分割出力データに基づき、上記インスタンス分割モデルにおける、上記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定する。

インスタンス中心領域は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。インスタンス分割出力データは画像中のインスタンス領域に位置する少なくとも二つの画素点の各々に対応するインスタンス識別情報を含んでもよく、例えば、インスタンスＩＤは１、２または３など０よりも大きい整数であり、または他の数値であってもよい。背景領域に位置する画素点に対応するインスタンス識別情報は所定値であってもよく、または背景領域に位置する画素点はいかなるインスタンス識別情報にも対応しない。このように、インスタンス分割出力データにおける複数の画素点の各々に対応するインスタンス識別情報に基づき、画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することができる。

インスタンス分割出力データは各画素点に対応するインスタンス識別情報を含まなくてもよい。この場合、インスタンス分割出力データを処理することで、画像中のインスタンス領域に位置する少なくとも二つの画素点を得るようにしてもよく、本開示の実施例はこれについて限定しない。

上記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定した後、ステップ６０３を実行できる。

６０３、上記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、上記インスタンス分割モデルのインスタンス中心位置を特定する。

上記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点を特定した後、上記少なくとも二つの画素点の位置情報を得ることができる。該位置情報は画素点の画像における座標を含んでもよいが、本開示の実施例はこれに限定されない。

上記少なくとも二つの画素点の位置情報に基づき、上記インスタンス分割モデルのインスタンス中心位置を特定してもよい。上記インスタンス中心位置は該インスタンスの幾何中心位置に限られず、予測される該インスタンス領域の中心位置であってもよい、即ち上記インスタンス中心領域における任意の位置と解されてもよい。

インスタンス領域に位置する上記少なくとも二つの画素点の位置の平均値を、上記インスタンス分割モデルのインスタンス中心位置としてもよい。

具体的には、インスタンス領域に位置する上記少なくとも二つの画素点の座標の平均値を、上記インスタンス分割モデルのインスタンス中心位置の座標とすることで、上記インスタンス中心位置を特定するようにしてもよい。

６０４、上記インスタンス分割モデルのインスタンス中心位置および上記少なくとも二つの画素点の位置情報に基づき、上記インスタンス分割モデルのインスタンス中心領域を特定する。

具体的には、上記インスタンス分割モデルのインスタンス中心位置および上記少なくとも二つの画素点の位置情報に基づき、上記少なくとも二つの画素点と上記インスタンス中心位置との最大距離を特定し、さらに上記最大距離に基づいて第一閾値を特定するようにしてもよい。続いて、上記少なくとも二つの画素点のうち上記インスタンス中心位置との距離が上記第一閾値以下の画素点を、インスタンス中心領域の画素点として特定してもよい。

例えば、上記インスタンス分割モデルのインスタンス中心位置および上記少なくとも二つの画素点の位置情報に基づき、各画素点と該インスタンス中心位置との距離（画素点距離）を計算してもよい。電子機器において、上記第一閾値のアルゴリズムを予め設定してもよく、例えば、上記第一閾値は上記画素点距離のうち最大距離の３０％としてもよい。上記画素点距離のうちの最大距離を特定した後、上記第一閾値を計算して得ることができる。これに基づき、画素点距離が上記第一閾値よりも小さい画素点を保持し、これらの画素点を上記インスタンス中心領域の画素点として特定すると、上記インスタンス中心領域が特定される。

またサンプル画像に対して浸食処理を行ってもよい。浸食処理は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

また、画素点の中心相対位置情報は図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

６０５で、上記Ｎ個のインスタンス分割モデルの各々の意味データに基づき、上記画像の複数の画素点の各々の意味投票値を特定する。

電子機器は上記Ｎ個のインスタンス分割モデルの各々の意味データに基づき、複数の画素点の各々の意味に対して投票し、上記画像の複数の画素点の各々の意味投票値を特定することができる。例えば、スライディングウィンドウに基づく投票を使用して上記インスタンス分割モデルの意味データを処理し、上記各画素点の意味投票値を特定することができる。さらにステップ６０６を実行できる。

６０６で、上記複数の画素点の各々の意味投票値を二値化処理し、上記画像における各画素点の統合意味値を得る。上記画像の統合意味データは上記複数の画素点の各々の統合意味値を含む。

各画素点の上記Ｎ個のインスタンス分割モデルからの意味投票値を二値化処理し、上記画像における各画素点の統合意味値を得てもよい。これは、異なるインスタンス分割モデルによって得られた意味マスクを加算して統合意味マスクを得ることと解されてもよい。

具体的には、上記複数のインスタンス分割モデルの数Ｎに基づき、第二閾値を特定し、そして上記第二閾値に基づき、上記複数の画素点の各々の意味投票値を二値化処理し、上記画像における各画素点の統合意味値を得るようにしてもよい。

上記複数の画素点の各々の統合意味値はインスタンス分割モデルの数とした場合があるため、上記複数のインスタンス分割モデルの数Ｎに基づき、第二閾値を特定することができる。例えば、上記第二閾値はＮ／２を切り上げた結果としてもよい。

第二閾値を該ステップでの二値化処理の判断根拠として、上記画像における各画素点の統合意味値を得るようにしてもよい。電子機器には、例えば、上記所定の画素点閾値をＮ／２と規定し、Ｎ／２が整数でない場合、それを切り上げるような、上記第二閾値の計算方法が記憶されていてもよい。例えば、４つのインスタンス分割モデルによって４群のインスタンス分割出力データが得られた場合、Ｎ＝４、４／２＝２のようになり、このときの第二閾値は２である。それに応じて、上記意味投票値と上記第二閾値を比較し、２以上である意味投票値のトランケーションは１であり、２よりも小さい意味投票値のトランケーションは０であり、これによって上記画像における各画素点の統合意味値を得る。このとき、出力されるデータは具体的に統合意味二値画像であってもよい。上記統合意味値は上記各画素点の意味分割結果として解されてもよく、それを基に該画素点が属するインスタンスを特定し、インスタンス分割を実現することができる。

６０７で、上記画像の複数の画素点の各々の統合意味値および上記少なくとも一つのインスタンス中心領域に基づき、ランダムウォークを行い、上記各画素点が属するインスタンスを得る。

ランダムウォークは図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。

上記画像の複数の画素点の各々の統合意味値および上記少なくとも一つのインスタンス中心領域に基づき、ランダムウォークの形で画素点の統合意味値に応じて画素点の割り当て状況を判断し、それにより上記各画素点が属するインスタンスを得る。例えば、画素点に最も近いインスタンス中心領域に対応するインスタンスを該画素点が属するインスタンスとして特定してもよい。本開示の実施例は最終的な統合意味グラフおよび統合中心領域グラフを得て、上記連結成分検索およびランダムウォークの一つを使用して、特定されたインスタンスに画素点を具体的に割り当て（最近傍割り当て）、最終的なインスタンス分割結果を得ることができる。

上記方法によって得られたインスタンス分割結果はＮ個のインスタンス分割モデルのインスタンス分割出力結果を統合し、これらのインスタンス分割モデルの利点を融合し、異なるインスタンス分割モデルに対して同じ含意の連続確率マップ出力を要求せず、インスタンス分割の精度を向上させる。

本開示の実施例における方法は、任意のインスタンス分割課題に用いることができる。例えば、臨床での補助診断に用いることができ、これについては図１に示す実施例における具体的な説明を参照すればよく、ここでは説明を省略する。さらに例えば、蜂の巣の周囲で、飼育者が巣の周囲を舞う蜂の群れの画像を取得すると、本アルゴリズムを使用して各独立した蜂のインスタンス画素点マスクを得て、蜂の群れ全体の計数、行動パターンの計算などを行うことができ、大きな実用的価値が生まれる。

本開示の実施例の具体的な応用では、ボトムアップ方法について、ＵＮｅｔモデルを用いることができる。ＵＮｅｔは最初に、意味分割、およびマルチスケールでの効果的な情報融合用に開発されたものである。トップダウン方法について、ＭａｓｋＲ−ＣＮＮモデルを用いることができる。ＭａｓｋＲ−ＣＮＮは分割タスクにヘッダを追加することでより高速なＲ−ＣＮＮを拡張させる。また、提案されたＭａｓｋＲ−ＣＮＮでは追跡特徴と入力とを整列させることがで、双線形補間でのいかなる数値化も回避される。整列操作は画素点レベルのタスク、例えばインスタンス分割タスクにとって非常に重要である。

ＵＮｅｔモデルのネットワーク構造は、互いに対称的な収縮パス（ｃｏｎｔｒａｃｔｉｎｇ ｐａｔｈ）と拡張パス（ｅｘｐａｎｄｉｎｇ ｐａｔｈ）によって構成される。収縮パスはコンテキスト（ｃｏｎｔｅｘｔ）を取得するために用いられ、拡張パスは正確なローカライゼーション（ｌｏｃａｌｉｚａｔｉｏｎ）ために用いられる。該ネットワークは極めて少ない訓練画像からエンドツーエンドで学習でき、かつ電子顕微鏡におけるニューロンなどの細胞構造の分割において従来の最も効果的な方法（スライディングウィンドウに基づく畳み込みネットワーク）を上回る。それに加えて、その動作速度も非常に速い。

ＵＮｅｔおよびＭａｓｋ Ｒ−ＣＮＮモデルを利用してインスタンスの分割予測を行い、各インスタンス分割モデルの意味マスクを得て、画素点投票（Ｖｏｔｅ）によって統合するようにしてもよい。続いて、浸食処理によって各インスタンス分割モデルの中心マスクを計算し、中心マスクを統合する。最後に、ランダムウォークアルゴリズムを利用して、統合された意味マスクおよび中心マスクからインスタンス分割結果を得る。

上記結果について、交差検証（Ｃｒｏｓｓ−ｖａｌｉｄａｔｉｏｎ）方法を使用して評価することができる。交差検証は主にモデリング用途に用いられる。与えられるモデリングサンプルの大部分でモデルを確立し、残りの小部分を該新たに確立したモデルで予測し、該小部分のサンプルの予測誤差を求め、それらの二乗和を記録する。本開示の実施例は、三つのＡＪＩ（５）スコアが０．６０５、０．５９９、０．５８９のＵＮｅｔモデルを一つのＡＪＩ（５）スコアが０．５６５のＭａｓｋＲ−ＣＮＮモデルと組み合わせるように、３倍交差検証を使用して評価することができ、本開示の実施例の方法によって得られた結果は最終的なＡＪＩ（５）スコアが０．６１６であり、それは本開示の画像処理方法の明らかな利点を示している。

本開示の実施例はＮ個のインスタンス分割モデルによる画像処理によって得られたインスタンス分割出力データに基づき、上記インスタンス分割モデルのインスタンス中心領域を特定し、上記画像の複数の画素点の各々の統合意味値および上記少なくとも一つのインスタンス中心領域に基づいてランダムウォークを行い、上記各画素点が属するインスタンスを得る。このように、各インスタンス分割モデルの補完的な利点を実現し、各モデルに対して同じ構造または含意のデータ出力を要求する必要がなく、インスタンス分割課題においてより高い精度を実現することができる。

図７を参照すると、それは本開示の実施例に記載の細胞インスタンス分割の画像表現形式の模式図である。図に示すように、細胞インスタンス分割を例にし、本開示の実施例における方法を使用して処理すれば、精度がより高いインスタンス分割結果を得ることができる。Ｎ種類のインスタンス分割モデル（図においては４種類のみ示す）を使用して入力画像のインスタンス予測マスク（図中の異なる色は異なる細胞インスタンスを表す）をそれぞれ取得し、インスタンス予測マスクを意味予測分割による意味マスクおよび中心予測分割による中心領域マスクに変換した後、画素点に対してそれぞれ投票し、さらに統合し、最終的にインスタンス分割結果を得る。見てわかるように、該プロセスにおいて方法１の右側の三つの細胞の二つが検出漏れになるというエラーが修復され、方法２の中間の二つの細胞が接着されてしまうというエラーが修復され、また４つの方法のいずれにも発見されていない、左下隅に実は三つの細胞があり、中間にはさらに一つの小細胞があるという現象も修復される。該統合方法は任意のインスタンス分割モデル上で統合することができ、様々な方法の利点が融合されている。上記例示から前記実施例の具体的なプロセスおよびその利点をより明確に理解することができる。

以上の記述は主に方法の実行プロセスの点から本開示の実施例の解決手段を説明した。なお、電子機器は上記機能を実現するために、各機能を実行する対応するハードウェア構造および／またはソフトウェアモジュールを含んでいることが理解される。当業者であれば、本開示は、本明細書に開示される実施例に記載の各例のユニットおよびアルゴリズムステップと関連付けて、ハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせという形で実現可能であることを容易に認識できる。ある機能はハードウェアで実行するか、それともコンピュータソフトウェアでハードウェアを駆動するように実行するかは、技術的解決手段の特定の用途および設計上の制約条件によって決められる。専門技術者であれば、特定の用途に向けて異なる方法を使用して、記載の機能を実現できるが、このような実現は本開示の範囲を超えたものであると理解すべきではない。

本開示の実施例は上記方法が例示するように電子機器の機能ユニットを分割でき、例えば、各機能に対応して各機能ユニットを分割してもよく、二つ以上の機能を一つの処理ユニットに統合してもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ソフトウェア機能ユニットの形で実現してもよい。説明すべきは、本開示の実施例におけるユニットの分割は例示的なもので、論理機能の分割にすぎず、実際に実現する場合に別の形態で分割してもよいことである。

図８を参照すると、それは本開示の実施例に記載の電子機器の構成模式図である。図８に示すように、該電子機器８００は、取得モジュール８１０と変換モジュール８２０と分割モジュール８３０とを含む。取得モジュール８１０は、異なるデータ構造を有するＮ群のインスタンス分割出力データを得、前記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、Ｎは１より大きい整数である。変換モジュール８２０は、前記Ｎ群のインスタンス分割出力データに基づき、画像の統合意味データおよび統合中心領域データを得、前記統合意味データは、前記画像中のインスタンス領域に位置する画素点を示し、前記統合中心領域データは、前記画像中のインスタンス中心領域に位置する画素点を示す。分割モジュール８３０は、前記画像の統合意味データおよび統合中心領域データに基づき、前記画像のインスタンス分割結果を得る。

前記変換モジュール８２０は、前記Ｎ個のインスタンス分割モデルの各々のインスタンス分割出力データに基づき、前記各インスタンス分割モデルの意味データおよび中心領域データを得るための第一変換ユニット８２１と、前記Ｎ個のインスタンス分割モデルの各々の意味データおよび中心領域データに基づき、前記画像の統合意味データおよび統合中心領域データを得るための第二変換ユニット８２２と、を含んでもよい。

前記第一変換ユニット８２１は具体的に、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける前記画像の複数の画素点の各々に対応するインスタンス識別情報を特定し、そして前記インスタンス分割モデルにおける前記複数の画素点の各々に対応するインスタンス識別情報に基づき、前記各画素点の前記インスタンス分割モデルにおける意味予測値を得るために用いることができる。前記インスタンス分割モデルの意味データは前記画像の複数の画素点の各々の意味予測値を含む。

前記第一変換ユニット８２１は具体的に、さらに前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定し、前記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心位置を特定し、そして前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心領域を特定するために用いることもできる。

前記変換モジュール８２０はさらに、前記インスタンス分割モデルのインスタンス分割出力データに対して浸食処理を行い、インスタンス分割モデルの浸食データを得るための浸食処理ユニット８２３を含んでもよく、前記第一変換ユニット８２１は具体的に、前記インスタンス分割モデルの浸食データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定するために用いることができる。

前記第一変換ユニット８２１は具体的に、インスタンス領域に位置する前記少なくとも二つの画素点の位置の平均値を、前記インスタンス分割モデルのインスタンス中心位置とするために用いることができる。

前記第一変換ユニット８２１は具体的に、前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記少なくとも二つの画素点と前記インスタンス中心位置との最大距離を特定し、前記最大距離に基づき、第一閾値を特定し、そして前記少なくとも二つの画素点のうち前記インスタンス中心位置との距離が前記第一閾値以下の画素点をインスタンス中心領域の画素点として特定するために用いることもできる。

前記変換モジュール８２０は具体的に、前記Ｎ個のインスタンス分割モデルの各々の意味データに基づき、前記画像の複数の画素点の各々の意味投票値を特定し、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得るために用いることができ、ここで、前記画像の統合意味データは前記複数の画素点の各々の統合意味値を含む。

前記変換モジュール８２０は、具体的に、前記複数のインスタンス分割モデルの数Ｎに基づき、第二閾値を特定し、そして前記第二閾値に基づき、前記複数の画素点の各々の意味投票値を二値化処理し、前記画像における各画素点の統合意味値を得るために用いることもできる。

前記第二閾値はＮ／２を切り上げた結果であってもよい。

前記分割モジュール８３０は、前記画像の統合中心領域データに基づき、前記画像の少なくとも一つのインスタンス中心領域を得るための中心領域ユニット８３１と、前記少なくとも一つのインスタンス中心領域および前記画像の統合意味データに基づき、前記画像の複数の画素点の各々が属するインスタンスを特定するための特定ユニット８３２と、を含んでもよい。

前記特定ユニット８３２は、具体的に、前記画像の複数の画素点の各々の統合意味値および前記少なくとも一つのインスタンス中心領域に基づき、ランダムウォークを行い、前記各画素点が属するインスタンスを得るために用いることができる。

図８に示す電子機器８００を実行すると、電子機器８００はＮ個のインスタンス分割モデルによる画像処理によって得られたＮ群のインスタンス分割出力データに基づき、上記画像の統合意味データおよび統合中心領域データを得て、さらに上記画像の統合意味データおよび統合中心領域データに基づき、上記画像のインスタンス分割結果を得る。このように、各インスタンス分割モデルの補完的な利点を実現し、各モデルに対して同じ構造または含意のデータ出力を要求する必要がなく、インスタンス分割課題においてより高い精度を実現することができる。

図９を参照すると、それは本開示の実施例に記載の別の電子機器の構成模式図である。図９に示すように、該電子機器９００はプロセッサ９０１およびメモリ９０２を含む。ここで、電子機器９００はさらにバス９０３を含んでもよく、プロセッサ９０１とメモリ９０２はバス９０３を介して互いに接続することができ、バス９０３は周辺構成要素相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。バス９０３はアドレスバス、データバス、制御バスなどに分けることができる。図示の便宜上、図９では一つの太線のみで表すが、それは一つのバスのみまたは１タイプのバスのみがあることを意味するものではない。ここで、電子機器９００はさらに入出力機器９０４を含んでもよく、入出力機器９０４はディスプレイ、例えば液晶ディスプレイを含んでもよい。メモリ９０２はコンピュータプログラムを記憶するために用いられ、プロセッサ９０１はメモリ９０２に記憶されているコンピュータプログラムを呼び出して上記図１、図２、図５および図６の実施例で言及された一部または全ての方法のステップを実行するために用いられる。

図９に示す電子機器９００を実行すると、電子機器９００は第一画像に含まれる複数の画素点の各々の意味予測結果および中心相対位置予測結果に基づき、上記第一画像のインスタンス分割結果を特定することで、速度が速く、精度が高いという利点を有する画像処理におけるインスタンス分割を実現できる。

図９に示す電子機器９００を実行すると、電子機器９００はＮ個のインスタンス分割モデルによる画像処理によって得られたＮ群のインスタンス分割出力データに基づき、上記画像の統合意味データおよび統合中心領域データを得て、さらに上記画像の統合意味データおよび統合中心領域データに基づき、上記画像のインスタンス分割結果を得ることができる。このように、各インスタンス分割モデルの補完的な利点を実現し、各モデルに対して同じ構造または含意のデータ出力を要求する必要がなく、インスタンス分割課題でより高い精度を実現することができる。

本開示の実施例はさらに、コンピュータプログラムを記憶するためのコンピュータ記憶媒体であって、前記コンピュータプログラムはコンピュータに上記方法の実施例に記載のいずれかの画像処理方法の一部または全てのステップを実行させるコンピュータ記憶媒体を提供する。

説明すべきは、前記各方法の実施例は、説明の便宜上、一連の動作の組み合わせとして記述されたが、本開示によれば、いくつかのステップは他の順序でまたは同時に実行できるから、当業者であれば、本開示は説明された動作の順序に限定されないことを理解すべきであるということである。また、当業者であれば、明細書に記載の実施例はいずれも好適実施例であり、係る動作およびモジュールは必ずしも本開示に必須なものではないことを理解すべきである。

上記実施例では、各実施例に対する記述が着目している点が異なり、ある実施例において詳細に記述または記載されていない部分は、他の実施例の関連説明を参照すればよい。

なお、本開示が提供するいくつかの実施例では、開示した装置は、他の形態で実現することができることを理解すべきである。以上に記載の装置の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した相互の結合、または直接結合、または通信接続は、いくつかのインタフェースによるものであり得、装置またはユニットを介した間接結合または通信接続は、電気的、機械的または他の形態であり得る。

別々の部材として前述したユニット（モジュール）は物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。

また、本開示の各実施例における各機能ユニットは一つの処理ユニットに統合されてもよく、それぞれ独立して物理的に存在してもよく、二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形式で実現してもよく、ソフトウェア機能ユニットの形式で実現してもよい。

上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本開示の技術的解決手段は実質的にまたは従来技術に寄与する部分またはその全てもしくは一部がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）に本開示の各実施例に記載の方法の全てまたは一部のステップを実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ラダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、モバイルハードディスク、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。

当業者であれば、上記実施例の様々な方法における全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、フラッシュディスク、読み取り専用メモリ、ラダムアクセスメモリ、磁気ディスクまたは光ディスクなど含み得るコンピュータ可読記憶媒体に記憶可能である。

以上、本開示の実施例を詳細に説明した。本明細書では、具体例をもって本開示の原理および実施形態を説明したが、以上の実施例に関する説明は本開示の方法およびその核心思想を理解し易くするためのものに過ぎず、また、当業者であれば、本開示の思想に基づいて、具体的な実施形態と適用範囲を変更することが可能である。したがって、本明細書の内容は本開示を制限するものと理解すべきではない。

Claims (20)

1. 第一画像を処理し、前記第一画像における複数の画素点それぞれの予測結果を得、前記予測結果は、前記画素点がインスタンス領域または背景領域に位置することを示す意味予測結果、および前記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含むことと、
   前記複数の画素点の各々の前記意味予測結果および前記中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定することと、を含む画像処理方法。
2. 前記第一画像を処理する前に、さらに、
   前記第一画像が所定のコントラストおよび／または所定の階調値を満たすように、第二画像を前処理し、前記第一画像を得ることを含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記複数の画素点の各々の前記意味予測結果および前記中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定することは、
   前記複数の画素点の各々の前記意味予測結果に基づき、前記複数の画素点から前記インスタンス領域に位置する少なくとも一つの第一画素点を特定することと、
   各前記第一画素点について、前記第一画素点の前記中心相対位置予測結果に基づき、前記第一画素点が属するインスタンスを特定することと、を含むことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記予測結果はさらに、前記画素点がインスタンス中心領域に位置するかどうかを示す中心領域予測結果を含み、
   前記方法はさらに、前記複数の画素点の各々の前記中心領域予測結果に基づき、前記第一画像の少なくとも一つのインスタンス中心領域を特定することを含み、
   前記第一画素点の中心相対位置予測結果に基づき、前記第一画素点が属するインスタンスを特定することは、
   前記第一画素点の前記中心相対位置予測結果に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することを含むことを特徴とする請求項３に記載の画像処理方法。
5. 前記複数の画素点の各々の前記中心領域予測結果に基づき、前記第一画像の少なくとも一つのインスタンス中心領域を特定することは、
   前記複数の画素点の各々の中心領域予測結果に基づき、前記第一画像に対して連結成分検索処理を行い、少なくとも一つのインスタンス中心領域を得ることを含むことを特徴とする請求項４に記載の画像処理方法。
6. 前記第一画素点の前記中心相対位置予測結果に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することは、
   前記第一画素点の位置情報および前記第一画素点の前記中心相対位置予測結果に基づき、前記第一画素点の中心予測位置を特定し、前記中心予測位置は、予測される前記第一画素点が属するインスタンス中心領域の中心位置を表すことと、
   前記第一画素点の中心予測位置および前記少なくとも一つのインスタンス中心領域の位置情報に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することと、を含むことを特徴とする請求項４または５に記載の画像処理方法。
7. 前記第一画素点の中心予測位置および前記少なくとも一つのインスタンス中心領域の位置情報に基づき、前記少なくとも一つのインスタンス中心領域から前記第一画素点に対応するインスタンス中心領域を特定することは、
   前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のうちの第一インスタンス中心領域に属することに応答し、前記第一インスタンス中心領域を、前記第一画素点に対応するインスタンス中心領域として特定すること、または
   前記第一画素点の中心予測位置が前記少なくとも一つのインスタンス中心領域のいずれにも属さないことに応答し、前記少なくとも一つのインスタンス中心領域のうちの、前記第一画素点の中心予測位置に最も近いインスタンス中心領域を、前記第一画素点に対応するインスタンス中心領域として特定することを含むことを特徴とする請求項６に記載の画像処理方法。
8. 第一画像を処理し、前記第一画像における複数の画素点それぞれの予測結果を得ることは、
   前記第一画像を処理し、前記第一画像における複数の画素点それぞれの中心領域予測確率を得ることと、
   第一閾値に基づいて前記複数の画素点それぞれの中心領域予測確率を二値化処理し、前記複数の画素点の各々の中心領域予測結果を得ることと、を含むことを特徴とする請求項４から７のいずれか一項に記載の画像処理方法。
9. 予測モジュールと分割モジュールとを含む電子機器であって、
   前記予測モジュールは、第一画像を処理し、前記第一画像における複数の画素点それぞれの予測結果を得、前記予測結果は、前記画素点がインスタンス領域または背景領域に位置することを示す意味予測結果、および前記画素点とインスタンス中心との相対位置を示す中心相対位置予測結果を含み、
   前記分割モジュールは、前記複数の画素点の各々が示す意味予測結果および中心相対位置予測結果に基づき、前記第一画像のインスタンス分割結果を特定することを特徴とする電子機器。
10. 前記分割モジュールは、
    前記複数の画素点の各々の前記意味予測結果に基づき、前記複数の画素点から前記インスタンス領域に位置する少なくとも一つの第一画素点を特定するための第一ユニットと、
    各前記第一画素点の前記中心相対位置予測結果に基づき、前記各第一画素点が属するインスタンスを特定するための第二ユニットと、を含むことを特徴とする請求項９に記載の電子機器。
11. 異なるデータ構造を有するＮ群のインスタンス分割出力データを得、前記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、Ｎは１より大きい整数であることと、
    前記Ｎ群のインスタンス分割出力データに基づき、前記画像の統合意味データおよび統合中心領域データを得、前記統合意味データは、前記画像中のインスタンス領域に位置する画素点を示し、前記統合中心領域データは、前記画像中のインスタンス中心領域に位置する画素点を示すことと、
    前記画像の統合意味データおよび統合中心領域データに基づき、前記画像のインスタンス分割結果を得ることと、を含む画像処理方法。
12. 前記Ｎ群のインスタンス分割出力データに基づき、前記画像の統合意味データおよび統合中心領域データを得ることは、
    前記Ｎ個のインスタンス分割モデルの各々について、前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルの意味データおよび中心領域データを得ることと、
    前記Ｎ個のインスタンス分割モデルの各々の意味データおよび中心領域データに基づき、前記画像の統合意味データおよび統合中心領域データを得ることと、を含むことを特徴とする請求項１１に記載の画像処理方法。
13. 前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルの意味データおよび中心領域データを得ることは、
    前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像の複数の画素点の各々に対応するインスタンス識別情報を特定することと、
    前記インスタンス分割モデルにおける前記複数の画素点の各々に対応するインスタンス識別情報に基づき、前記各画素点の前記インスタンス分割モデルにおける意味予測値を得ることと、を含み、
    前記インスタンス分割モデルの意味データは、前記画像の複数の画素点の各々の意味予測値を含むことを特徴とする請求項１２に記載の画像処理方法。
14. 前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルの意味データおよび中心領域データを得ることはさらに、
    前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することと、
    前記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心位置を特定することと、
    前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心領域を特定することと、を含むことを特徴とする請求項１２または１３に記載の画像処理方法。
15. 前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定する前に、前記方法はさらに、
    前記インスタンス分割モデルのインスタンス分割出力データに対して浸食処理を行い、前記インスタンス分割モデルの浸食データを得ることを含み、
    前記インスタンス分割モデルのインスタンス分割出力データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することは、
    前記インスタンス分割モデルの浸食データに基づき、前記インスタンス分割モデルにおける、前記画像中のインスタンス領域に位置する少なくとも二つの画素点を特定することを含むことを特徴とする請求項１４に記載の画像処理方法。
16. 前記インスタンス分割モデルにおけるインスタンス領域に位置する少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心位置を特定することは、
    インスタンス領域に位置する前記少なくとも二つの画素点の位置の平均値を、前記インスタンス分割モデルのインスタンス中心位置とすることを含むことを特徴とする請求項１４または１５に記載の画像処理方法。
17. 前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記インスタンス分割モデルのインスタンス中心領域を特定することは、
    前記インスタンス分割モデルのインスタンス中心位置および前記少なくとも二つの画素点の位置情報に基づき、前記少なくとも二つの画素点と前記インスタンス中心位置との最大距離を特定することと、
    前記最大距離に基づき、第一閾値を特定することと、
    前記少なくとも二つの画素点のうち、前記インスタンス中心位置との距離が前記第一閾値以下の画素点を、インスタンス中心領域の画素点として特定することと、を含むことを特徴とする請求項１４から１６のいずれか一項に記載の画像処理方法。
18. 取得モジュールと変換モジュールと分割モジュールとを備える電子機器であって、
    前記取得モジュールは、異なるデータ構造を有するＮ群のインスタンス分割出力データを得、前記Ｎ群のインスタンス分割出力データは、Ｎ個のインスタンス分割モデルが画像処理を行うことで得られたそれぞれのインスタンス分割出力結果であり、
    前記変換モジュールは、前記Ｎ群のインスタンス分割出力データに基づき、前記画像の統合意味データおよび統合中心領域データを得、前記統合意味データは、前記画像中のインスタンス領域に位置する画素点を示し、前記統合中心領域データは、前記画像中のインスタンス中心領域に位置する画素点を示し、
    前記分割モジュールは、前記画像の統合意味データおよび統合中心領域データに基づき、前記画像のインスタンス分割結果を得ることを特徴とする電子機器。
19. 請求項１から８、１１から１８のいずれか一項に記載の方法を実行するためのプロセッサと、前記プロセッサにより実行されるように構成されたコンピュータプログラムを記憶するためのメモリと、を含む電子機器。
20. コンピュータプログラムを記憶するためのコンピュータ可読記憶媒体であって、前記コンピュータプログラムはコンピュータに請求項１から８、１１から１８のいずれか一項に記載の方法を実行させるコンピュータ可読記憶媒体。

Images