JP2022515722A - 画像セグメンテーション方法及び装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本願は、画像セグメンテーション方法及び装置、電子機器並びに記憶媒体に関する。ここで、該方法は、肺部画像における肺葉データ及び葉間裂データに基づいて、肺葉セグメンテーションネットワークを得ることと、該肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定することと、を含む。本願によれば、肺葉の位置を正確に決定し、病巣を直ちに位置決めすることができる。

Description

（関連出願の相互参照）
本願は、２０１９年４月１８日に中国特許局に提出された、出願番号が２０１９１０３１５１３０．７であり、出願名称が「画像セグメンテーション方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータビジョン技術分野に関し、特に、画像セグメンテーション方法及び装置、電子機器並びに記憶媒体に関する。

臨床診断において、呼吸器科の医者は一般的には、感染した肺葉に基づいて、疾患重症度の評価及び治療手段の決定を行う。放射線科の医者は、肺部疾患又は病変に対して、発病肺葉を決定するために、近接切片を探さなければならない。このような病巣位置決めにおいて、肺部の葉間裂が見えないことによる誤診断が発生することが多い。如何に肺葉位置を決定して病巣を直ちに位置決めするかは、解決しようとする課題である。しかしながら、関連技術において、有効な解決手段がない。

本願は、画像セグメンテーション技術的解決手段を提供する。

本願の一態様によれば、画像セグメンテーション方法を提供する。前記方法は、
肺部画像における肺葉データ及び葉間裂データに基づいて、肺葉セグメンテーションネットワークを得ることと、
前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定することと、を含む。

本願によれば、該肺葉セグメンテーションネットワークは手動位置決めに依存することなく、肺葉データ及び葉間裂データにより訓練された適応的セグメンテーションネットワークであるため、該セグメンテーションネットワークに基づいて、肺葉の位置を正確に決定し、病巣を直ちに位置決めすることができる。

可能な実現形態において、肺部画像における肺葉データ及び葉間裂データに基づいて肺葉セグメンテーションネットワークを得ることは、
前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に、前記葉間裂データを使用し、訓練された肺葉セグメンテーションネットワークを得ることを含み、
前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定することは、
前記訓練された肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定することを含む。

本願によれば、入力データに、手動でアノテーションされた葉間裂データを追加して肺葉データと共にネットワーク訓練に用いることで、セグメンテーションの正確度を向上させることができる。該葉間裂データは、肺葉の境界情報を識別するためのものであるため、該葉間裂データにより、肺葉セグメンテーションネットワークの訓練を補助することで、肺葉セグメンテーションネットワークによる肺葉境界の特徴抽出を強化する。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

可能な実現形態において、前記肺葉データを含む肺葉セグメンテーションネットワークに、前記葉間裂データを使用し、訓練された肺葉セグメンテーションネットワークを得ることは、
前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行うことと、
前記損失関数の逆伝播により、前記肺葉セグメンテーションネットワークに対して訓練を行い、訓練された肺葉セグメンテーションネットワークを得ることと、を含む。

本願によれば、入力データに、手動でアノテーションされた葉間裂データを追加してネットワーク訓練に用い、葉間裂データと肺葉データをフュージョンすることで混合損失関数を得る。損失関数の逆伝播により、肺葉セグメンテーションネットワークを訓練する。このような訓練方式で得られた肺葉セグメンテーションネットワークは、セグメンテーションの正確度を向上させることができる。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

可能な実現形態において、前記方法は、前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行う前に、
前記肺葉データに基づいて第１損失関数及び第２損失関数を得ることと、
前記葉間裂データに基づいて第３損失関数を得ることと、
前記第１損失関数、前記第２損失関数及び前記第３損失関数に基づいて前記混合損失関数を得ることと、を更に含む。

本願によれば、前記肺葉データ及び前記葉間裂データに基づいてそれぞれの損失関数を得た後、得られた複数の損失関数に基づいて得られた混合損失関数はより正確である。該混合損失関数の逆伝播により肺葉セグメンテーションネットワークを訓練する。このような訓練方式で得られた肺葉セグメンテーションネットワークは、セグメンテーションの正確度を向上させることができる。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

可能な実現形態において、前記葉間裂データを、前記肺葉データを含む肺葉セグメンテーションネットワークに使用する前に、
前記肺部画像を前記肺葉セグメンテーションネットワークに入力し、前記肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、マルチレベルのダウンサンプリング処理結果及びアップサンプリング処理結果を得ることと、
同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得ることと、を更に含む。

可能な実現形態において、前記多層出力結果は、前記葉間裂データを識別するための第１ボクセルデータ及び／又は前記肺葉データを識別するための第２ボクセルデータを含み、
前記方法は、前記第１ボクセルデータ及び／又は前記第２ボクセルデータを、前記肺葉セグメンテーションネットワークを訓練するための訓練データとして用いることを更に含む。

本願によれば、前記肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、同一レベルのダウンサンプリング処理及びアップサンプリング処理に対してスキップ接続を行うことで、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得ることができ、肺葉セグメンテーションネットワークの分割精度を向上させることができる。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

可能な実現形態において、同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行うことは、
前記同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得ることを含む。

本願によれば、多層出力結果のうちの各層に対して、同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンすることで、肺葉セグメンテーションネットワークのセグメンテーション精度を向上させることができる。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

本願の一態様によれば、画像セグメンテーション装置を提供する。前記装置は、
肺部画像における肺葉データ及び葉間裂データに基づいて肺葉セグメンテーションネットワークを得るように構成されるセグメンテーションネットワーク取得ユニットと、
前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定するように構成される位置決定ユニットと、を備える。

可能な実現形態において、前記セグメンテーションネットワーク取得ユニットは更に、
前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に前記葉間裂データ使用し、訓練された肺葉セグメンテーションネットワークを得るように構成され、
前記位置決定ユニットは更に、
前記訓練された肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定するように構成される。

可能な実現形態において、前記セグメンテーションネットワーク取得ユニットは更に、
前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行い、
前記損失関数の逆伝播により、前記肺葉セグメンテーションネットワークに対して訓練を行い、訓練された肺葉セグメンテーションネットワークを得るように構成される。

可能な実現形態において、前記装置は、混合損失関数決定ユニットを更に備え、前記混合損失関数決定ユニットは、
前記肺葉データに基づいて第１損失関数及び第２損失関数を得、
前記葉間裂データに基づいて第３損失関数を得、
前記第１損失関数、前記第２損失関数及び前記第３損失関数に基づいて前記混合損失関数を得るように構成される。

可能な実現形態において、前記装置は、データ処理ユニットを更に備え、前記データ処理ユニットは、
前記肺部画像を前記肺葉セグメンテーションネットワークに入力し、前記肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、マルチレベルのダウンサンプリング処理結果及びアップサンプリング処理結果を得、
同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得るように構成される。

可能な実現形態において、前記多層出力結果は、前記葉間裂データを識別するための第１ボクセルデータ及び／又は前記肺葉データを識別するための第２ボクセルデータを含み、
前記装置は、データ決定ユニットを更に備え、前記データ決定ユニットは、前記第１ボクセルデータ及び／又は前記第２ボクセルデータを、前記肺葉セグメンテーションネットワークを訓練するための訓練データとして用いるように構成される。

可能な実現形態において前記データ処理ユニットは更に、
前記同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得るように構成される。

本願の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記画像セグメンテーション方法を実行するように構成される。

本願の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されると、上記画像セグメンテーション方法を実現させる。

本願の実施例において、肺部画像における肺葉データ及び葉間裂データに基づいて肺葉セグメンテーションネットワークを得、該肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定する。該肺葉セグメンテーションネットワークは手動位置決めに依存することなく、肺葉データ及び葉間裂データにより訓練された適応的セグメンテーションネットワークであるため、該セグメンテーションネットワークに基づいて、肺葉の位置を正確に決定し、病巣を直ちに位置決めすることができる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

本願の実施例による画像セグメンテーション方法を示すフローチャートである。 本願の実施例による画像セグメンテーション方法を示すフローチャートである。 本願の実施例による画像セグメンテーション方法を示すフローチャートである。 本願の実施例による訓練プロセスを示すフローチャートである。 本願の実施例による画像セグメンテーション装置を示すブロック図である。 本願の実施例による電子機器を示すブロック図である。 本願の実施例による電子機器を示すブロック図である。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

臨床診断において、肉眼認識により肺葉の位置を決定することができる。呼吸器科の医者は一般的には、感染した肺葉に基づいて、疾患重症度の評価及び治療手段の決定を行う。一方では、画像方法で、肺葉の位置を決定することができる。放射線科の医者は、肺部疾患又は病変に対して、発病肺葉を決定するために、近接切片を探さなければならない。このような病巣位置決めにおいて、肺部の葉間裂が見えないことによる誤診断が発生することが多い。関連技術において肺葉セグメンテーションを行う場合、事前準備された気管及び血管に依存してセグメンテーションを行う必要があり、又は、ユーザのインタラクションにより、セグメンテーション結果を最適化する必要がある。つまり、医者の手動操作に依存して認識及び最適化を行う必要がある。従って、悪い肺葉セグメンテーション結果を得るだけでなく、セグメンテーション速度も遅い。

要するに、肺葉の位置を決定するために、肉眼認識を用いるかそれとも画像方法を用いるかに関わらず、下記課題が存在する。１、多数の葉間裂が不完全なものであり、肺部の縁まで延びることができないことが多い。関連検討によれば、不完全な葉間裂が一般的なものであることは確認された。２、肺葉縁の視覚的特徴は、病理学的要因からの影響により、変化する。これらの視覚的特徴は、厚さ、位置及び形状を含む。３、肺部に存在する他の亀裂（例えば、副葉間裂及び奇静脈葉間裂）は、大小葉間裂と誤認されることがある。

確実な全自動型肺葉セグメンテーションネットワークを構築して肺葉の位置を決定することは、肺部疾患の診断、評価及び計量化に対して重要な意義を有する。全自動型肺葉セグメンテーション方法は、医者による病巣位置決めの時間を減少させて位置決めの正確度を向上させることに寄与する。

図１は、本願の実施例による画像セグメンテーション方法を示すフローチャートである。該画像セグメンテーション方法は、画像セグメンテーション装置に適用される。例えば、画像セグメンテーション装置は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像セグメンテーション方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図１に示すように、該プロセスは以下を含む。

ステップＳ１０１において、肺部画像における肺葉データ及び葉間裂データに基づいて、肺葉セグメンテーションネットワークを得る。

本願の可能な実現形態において、肺部画像は、病院で撮られたＣＴ画像であってもよい。該肺葉データ及び葉間裂データは、手動でアノテーションされた肺葉及び葉間裂データであってもよい。該手動でアノテーションされた肺葉及び葉間裂データにより、肺葉セグメンテーションネットワークを訓練し、訓練された肺葉セグメンテーションネットワークを得る。

肺葉セグメンテーションタスクにおいて、セグメンテーション精度を向上させ、偽陽性を低減させ、異なる肺葉位置を区分する必要がある。イメージング及び自然な生理的な要因により、一部のＣＴ画像に、視認可能な葉間裂が存在しない可能性があり、視覚的に異なる肺葉を区分できず、誤セグメンテーションが発生する可能性があることに留意されたい。このため、入力データに、手動でアノテーションされた葉間裂データを追加してネットワーク訓練に用いる。このような方式で、セグメンテーションの正確度を向上させることができる。肺葉セグメンテーションネットワークに入力された訓練データは、肺葉データを含むだけでなく、葉間裂データを更に含む。肺葉データのみに依存することなく、葉間裂データを、肺葉データを含む肺葉セグメンテーションネットワークに使用する。該葉間裂データが肺葉を識別するための境界情報であるため、該葉間裂データにより、肺葉セグメンテーションネットワークの訓練を補助することで、肺葉セグメンテーションネットワークによる肺葉境界の特徴抽出を強化する。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

ステップＳ１０２において、肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定する。

本願の可能な実現形態において、該手動でアノテーションされた肺葉及び葉間裂データにより、肺葉セグメンテーションネットワークを訓練し、訓練された肺葉セグメンテーションネットワークを得た後、訓練された肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定することができる。ターゲット肺葉について言えば、人間の肺は、５つの肺葉に分けられる。ここで、右肺は、３つの肺葉を有し、それぞれ、右上肺葉（ＲＵＬ：ｒｉｇｈｔ ｕｐｐｅｒ ｌｏｂｅ）、右中肺葉（ＲＭＬ：ｒｉｇｈｔ ｍｉｄｄｌｅ ｌｏｂｅ）及び右下肺葉（ＲＬＬ：ｒｉｇｈｔ ｌｏｗｅｒ ｌｏｂｅ）であり、それぞれ、小葉間裂及び大葉間裂により仕切られる。左肺は、２つの肺葉を有し、それぞれ左上肺葉（ＬＵＬ：ｌｅｆｔ ｕｐｐｅｒ ｌｏｂｅ）及び左下肺葉（ＬＬＬ：ｌｅｆｔ ｌｏｗｅｒ ｌｏｂｅ）であり、大葉間裂により仕切られる。該５つの肺葉はそれぞれ機能的に独立しており、それぞれの気管支及び血管システムを有する。該訓練された肺葉セグメンテーションネットワークによれば、肺部画像における、該５つの肺葉の位置を決定することができる。

図２は、本願の実施例による画像セグメンテーション方法を示すフローチャートである。該画像セグメンテーション方法は、画像セグメンテーション装置に適用される。例えば、画像セグメンテーション装置は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像セグメンテーション方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図２に示すように、該プロセスは以下を含む。

ステップＳ２０１において、葉間裂データと肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行う。

ステップＳ２０２において、損失関数の逆伝播により、肺葉セグメンテーションネットワークに対して訓練を行い、訓練された肺葉セグメンテーションネットワークを得る。

本願の可能な実現形態において、肺葉Ｄｉｃｅと、肺葉及び葉間裂Ｃｒｏｓｓ Ｅｎｔｒｏｐｙをフュージョンした混合損失関数を該損失関数として用いることができる。該損失関数の逆伝播により、肺葉セグメンテーションネットワークにおける各パラメータを訓練する。つまり、該肺葉セグメンテーションネットワークに対してパラメータ最適化を行う。

本願の可能な実現形態において、葉間裂データと肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行う前に、肺葉データに基づいて第１損失関数（例えば

）及び第２損失関数（例えば

）を得ることができる。葉間裂データに基づいて第３損失関数（例えば

）を得る。前記第１損失関数、前記第２損失関数及び前記第３損失関数に基づいて、前記混合損失関数を得る。混合損失関数を算出するための具体的な演算プロセスは、後続の適用例において具体的に説明される。

ステップＳ２０１－ステップＳ２０２により、手動でアノテーションされた肺葉データ及び葉間裂データに基づいて、訓練された肺葉セグメンテーションネットワークを得ることができる。該葉間裂データは、肺葉の境界情報を識別するためのものであるため、該葉間裂データにより、肺葉セグメンテーションネットワークの訓練を補助することで、肺葉セグメンテーションネットワークによる肺葉境界の特徴抽出を強化する。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定することができる。換言すれば、肺葉以外に、手動でアノテーションされた葉間裂データを入力としてネットワーク訓練を行い、葉間裂位置に対する、ネットワークモデルの感度を向上させ、肺葉境界での注目度を向上させる。異なる肺葉境界でのセグメンテーション効果を向上させ、境界のボケを減少させることができる。

ステップＳ２０３において、訓練された肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定する。

本願の可能な実現形態において、該手動でアノテーションされた肺葉及び葉間裂データにより、肺葉セグメンテーションネットワークを訓練し、訓練された肺葉セグメンテーションネットワークを得た後、訓練された肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定することができる。ターゲット肺葉について言えば、人間の肺は、５つの肺葉に分けられる。ここで、右肺は、３つの肺葉を有し、それぞれ、右上肺葉（ＲＵＬ：ｒｉｇｈｔ ｕｐｐｅｒ ｌｏｂｅ）、右中肺葉（ＲＭＬ：ｒｉｇｈｔ ｍｉｄｄｌｅ ｌｏｂｅ）及び右下肺葉（ＲＬＬ：ｒｉｇｈｔ ｌｏｗｅｒ ｌｏｂｅ）であり、それぞれ、小葉間裂及び大葉間裂により仕切られる。左肺は、２つの肺葉を有し、それぞれ左上肺葉（ＬＵＬ：ｌｅｆｔ ｕｐｐｅｒ ｌｏｂｅ）及び左下肺葉（ＬＬＬ：ｌｅｆｔ ｌｏｗｅｒ ｌｏｂｅ）であり、大葉間裂により仕切られる。該５つの肺葉はそれぞれ機能的に独立しており、それぞれの気管支及び血管システムを有する。該訓練された肺葉セグメンテーションネットワークによれば、肺部画像における、該５つの肺葉の位置を決定することができる。

図３は、本願の実施例による画像セグメンテーション方法を示すフローチャートである。該画像セグメンテーション方法は、画像セグメンテーション装置に適用される。例えば、画像セグメンテーション装置は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、携帯機器、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像セグメンテーション方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図３に示すように、該プロセスは以下を含む。

ステップＳ３０１において、肺部画像を肺葉セグメンテーションネットワークに入力し、肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、マルチレベルのダウンサンプリング処理結果及びアップサンプリング処理結果を得る。

サンプリングは、アナログ信号のサンプルを収集することであり、サンプリングは、時間的、振幅的に連続した信号を、サンプリングパルスによる作用下で、時間的、振幅的に離散した信号に変換することである。サンプリングは、波形の離散化プロセスとも呼ばれる。ここで、ダウンサンプリングは、１つのサンプル値シーケンスに対して、複数のサンプル値おきに一回サンプリングを行うことであり、得られた新たなシーケンスは、元シーケンスのダウンサンプリングである。画像縮小（又はダウンサンプリング又はダウンサンプリングと呼ばれる）の主な目的は、以下の２つを有する。１、画像を、表示領域の大きさに合致させる。２、対応する画像のサムネイル画像を生成する。アップサンプリングはダウンサンプリングの逆プロセスである。アップサンプリングの実質は、補間又は差分値である。画像拡大は、殆ど補間方法を用いる。つまり、元画像の画素を基に、画素点間で、適切な補間アルゴリズムを用いて新たな要素を挿入する。画像拡大（又は、アップサンプリング又は画像補間と呼ばれる）の主な目的は、元画像を拡大し、解像度がより高い表示機器に表示することである。アップサンプリング及びダウンサンプリングはいずれもデジタル信号に対する再収集であり、再収集のサンプリング率は、該デジタル信号（例えば、アナログ信号のサンプリングにより得られた）を得るための元サンプリング率に比べて、元信号より大きいものをアップサンプリングと呼び、元信号より小さいものをダウンサンプリングと呼ぶ。

本願の可能な実現形態において、複数回のダウンサンプリング、対応するアップサンプリング及びスキップ接続は、以下のとおりであってもよい。肺部画像のＣＴを入力し、該ＣＴに対して第１層ダウンサンプリングを行い、第１ダウンサンプリング結果を得、第１ダウンサンプリング結果に対して第２層ダウンサンプリングを行い、第２ダウンサンプリング結果を得る。このように、マルチレベルのダウンサンプリング（本願は、４層ダウンサンプリングに限定されない）を順に行う。４層ダウンサンプリングを例として、第２ダウンサンプリング結果に対して第３層ダウンサンプリングを行い、第３ダウンサンプリング結果を得、第３ダウンサンプリング結果に対して第４層ダウンサンプリングを行い、第４ダウンサンプリング結果を得る。ダウンサンプリングを終了した後、ダウンサンプリングの最下層の第４ダウンサンプリング結果（本願における４回目のダウンサンプリングの後に得られた結果）に対して、１回目のアップサンプリングを行い、第１アップサンプリング処理結果を得、第１アップサンプリング処理結果に対して２回目のアップサンプリングを行い、第２アップサンプリング処理結果を得、第２アップサンプリング処理結果に対して３回目のアップサンプリングを行い、第３アップサンプリング処理結果を得、第３アップサンプリング処理結果に対して４回目のアップサンプリングを行い、第４アップサンプリング処理結果を得る。

スキップ接続は、同一のレベルに対して、例えば、第１層に対して、ダウンサンプリング「第１ダウンサンプリング結果」は、アップサンプリング「第３アップサンプリング処理結果」に対応することである。従って、第１ダウンサンプリング結果及び第３アップサンプリング処理結果に対してスキップ接続を行う。

ステップＳ３０２において、同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得る。

本願の可能な実現形態において、同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得る。同一スケールの畳み込み特徴をフュージョンすることで、セグメンテーション精度を向上させる。

本願の可能な実現形態において、該多層出力結果は、前記葉間裂データを識別するための第１ボクセルデータ及び／又は前記肺葉データを識別するための第２ボクセルデータを含む。

ステップＳ３０３において、葉間裂データを識別するための第１ボクセルデータ及び／又は肺葉データを識別するための第２ボクセルデータを訓練データとして用いることで得られた混合損失関数に基づいて、損失関数の逆伝播を行い、損失関数の逆伝播により、肺葉セグメンテーションネットワークを訓練し、訓練された肺葉セグメンテーションネットワークを得る。

本願の可能な実現形態において、該訓練データを肺葉セグメンテーションネットワークに入力する前にダウンサンプリングを行い、データ量を減少させ、限られたコンピューティングリソースにより、肺部全体をセグメンテーションし、完全なデータ入力を確保する上で、より完備なネットワークを用いる。該訓練データを肺葉セグメンテーションネットワークに入力する前にダウンサンプリングを行うことで、データの処理速度を速くし、セグメンテーション速度を２秒内に制御することができる。

ステップＳ３０４において、訓練された肺葉セグメンテーションネットワークに基づいて、肺部画像におけるターゲット肺葉の位置を決定する。

本願において、葉間裂及び肺葉セグメンテーション処理プロセスについて、入力された肺部画像ＣＴは同じであり、用いられるネットワークは、同一のネットワークであり、異なるプロセスにより、異なるデータを得る。これはいずれも上記ステップＳ３０１－ステップＳ３０２における処理プロセスを用いることができる。葉間裂及び肺葉セグメンテーション処理プロセスという両者の処理モードは同じであり、処理における相違点は、葉間裂データについて、葉間裂データを識別するための第１ボクセルデータであってもよく、肺葉データについて、肺葉データを識別するための第２ボクセルデータであってもよいことである。つまり、多層出力結果に基づいて、最終的な処理結果を得ることができる。該最終的な処理結果から抽出された訓練用データは２つである。１つは、葉間裂に対する第１ボクセルデータであり、もう１つは、肺葉に対する第２ボクセルデータである。葉間裂及び肺葉セグメンテーション処理プロセスは、同時に行われてもよい。

ボクセルについて言えば、１枚の画像について、該画像が２Ｄ画像であれば、該画像は、複数の画素からなるものとして表現されてもよく、画素は、二次元である。該画像が３Ｄ画像であれば、該画像は、複数のボクセルからなるものとして表現されてもよく、ボクセルは三次元である。３Ｄ画像において、体積は、均一に離間された行及び列に分けられ、全ての３つの異なる方向（上下、左右、内外）を包含する。３Ｄ空間は、立方体に分けられ、ボクセル（体積要素又は体積画素）とも呼ばれる。各ボクセルは、三次元座標及び該座標での色により定義される。

本願において、該肺葉セグメンテーションネットワークは、エンドツーエンド３Ｄセグメンテーションネットワーク（又は、ＶＮｅｔベースの３Ｄ畳み込みニューラルネットワークと呼ばれる）である。より正確なセグメンテーションを実現させるために、本願は、エンドツーエンド３Ｄセグメンテーションネットワークを用いて、肺部に対して全体的なセグメンテーションを行い、空間的な感知能力を向上させ、より多くの空間情報を抽出することができ、各肺葉のセグメンテーション結果を向上させる。右中肺葉の形状及び位置が多変であり、予測の正確度が高くないが、本願によれば、該右中肺葉領域に対して正確なセグメンテーションを行うことができる。混合損失関数の逆伝播により該ネットワーク構造を訓練することは、深層学習モデルである。従来技術に比べて、医者は、セグメンテーション結果に対して更なる動作を行う必要がなく、つまり、正確な肺葉セグメンテーション結果を得るために、医者によるインタラクション及び修正を必要としない。該ネットワーク構造を用いて全自動型肺葉セグメンテーションを行い、セグメンテーション精度を補償すると同時に、医者の作業量を減少させ、セグメンテーションの処理効率を向上させることができる。

本願によれば、まず、肺部画像を肺葉セグメンテーションネットワークに入力し、肺部画像に対して、マルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得る。同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得る。同一スケールの畳み込み特徴をフュージョンすることで、セグメンテーション精度を向上させる。続いて、葉間裂データ及び肺葉データをネットワーク訓練に用い、葉間裂データと肺葉データを組み合わせて得られた混合損失関数に基づいて損失関数の逆伝播を行い、肺葉セグメンテーションネットワークの訓練を実現させる。このような訓練方式で得られた肺葉セグメンテーションネットワークは、セグメンテーションの正確度を向上させることができる。該訓練された肺葉セグメンテーションネットワークを用いることで、画像セグメンテーションをより正確に行い、肺部画像から、肺葉の位置を決定し、肺葉の位置に基づいて、病巣を直ちに位置決めすることができる。

適用例：
該肺葉セグメンテーションネットワークの訓練プロセスは、肺葉全体のセグメンテーション及び葉間裂のセグメンテーションという２つのフローを含む。葉間裂及び肺葉セグメンテーション処理プロセスについて、入力された肺部画像ＣＴは同じであり、用いられるネットワークは、同一のネットワークである。図４は、本願の訓練プロセスを示す概略図である。図４に示すように、エンドツーエンド３Ｄ構造の肺葉セグメンテーションネットワークに基づいて、肺葉セグメンテーション及び葉間裂セグメンテーションを行う。肺部画像１１１は、肺葉セグメンテーションネットワークの入力データであり、肺部画像１１１は、三次元ＣＴデータであってもよい。アップサンプリング、対応するダウンサンプリング及び同一層のスキップ接続により、肺葉セグメンテーションネットワークの出力データを得ることができる。出力データは、肺葉データ１１２及び葉間裂データ１１３を含む。続いて、葉間裂データ１１３及び肺葉データ１１２に基づいて、該肺葉セグメンテーションネットワークを訓練する。肺葉セグメンテーション及び葉間裂セグメンテーションは、具体的には、下記２つの部分に分けられる。

１、肺葉セグメンテーション
エンドツーエンド３Ｄ構造の肺葉セグメンテーションネットワークに基づいて、図４に示すように、肺葉セグメンテーションネットワークの入力は、肺部３次元ＣＴデータである。肺葉セグメンテーションネットワークにおいて、複数回のダウンサンプリング、対応するアップサンプリング及びスキップ接続を行い、異なる解像度及びマルチスケールサイズの多層出力を生成する。これらのマルチスケール出力を結合することで、最終的なセグメンテーション結果を得る。ここで、入力された元データは、ｚ×ｘ×ｙのシングルチャネルスケール画像である。データの前処理を行った後に、３Ｄセグメンテーションネットワークに入力する。出力は、ｚ×ｘ×ｙの６チャネルテンソルであり、それぞれ、各ボクセルの位置がどの肺葉又は背景に属するかを表す。ここで、各スキップ接続はいずれも、ネットワークにおけるダウンサンプリングとそれに対応するアップサンプリングをフュージョンすることである。このようなカスケード合成により、該データの３Ｄ確率分布図を得る。

２、葉間裂セグメンテーション
エンドツーエンド３Ｄ構造の肺葉セグメンテーションネットワークに基づいて、図４に示すように、肺部境界の情報を抽出するために、葉間裂をターゲット結果として用いて訓練を行う。エンドツーエンド３Ｄ構造を利用して、マルチスケールの畳み込み特徴フュージョンを行う。肺葉セグメンテーションネットワークにおける局所的情報を十分に利用するために、肺葉セグメンテーションネットワークにおいて、関連技術における畳み込みブロックの代わりに、マルチゲート畳み込み型ネットワーク構造を用いる。肺葉セグメンテーションネットワークにおいて、関連技術におけるシングルスケールネットワークの代わりに、４スケールネットワークを用いることで、特徴フュージョン結果を強化する。マルチゲート畳み込み型ネットワーク構造は、各畳み込み層の前に、異なるスケールの特徴マップをカスケード接続し、従来のＦＣＮ、Ｕ－Ｎｅｔなどのネットワーク構造におけるダウンサンプリングによる特徴損失を低減させる。マルチゲートネットワークを３Ｄセグメンテーションに用い、異なるスケールの畳み込み特徴をフュージョンすることで、セグメンテーション精度を向上させ、葉間裂位置情報を抽出する時に、より正確な予測結果を得る。ネットワークの入力は、肺葉セグメンテーションと同じであり、ｚ×ｘ×ｙのシングルチャネルスケール画像であり、出力は、４チャネル３Ｄデータ（ここで、３チャネルは、人体内の３本の葉間裂の位置情報であり、１チャネルは、背景情報である）である。

訓練過程において、本願は、肺葉Ｄｉｃｅと、肺葉及び葉間裂Ｃｒｏｓｓ Ｅｎｔｒｏｐｙと、を結合した合成損失を損失関数として用いることで、ネットワークに対してパラメータ最適化を行う。ここで、Ｄｉｃｅ損失関数の表現式は、式（１）に示すとおりである。

ここで、Ｖは、３Ｄ画像における全てのボクセル点であり、

は、ｉボクセル点がターゲットカテゴリと予測される確率であり、つまり、ターゲット肺葉と予測される確率である。

は、該ボクセルの実際のタグである。マルチＤｉｃｅの重み付けを用いることで境界を修正する。肺葉訓練時のＤｉｃｅ損失関数は、式（２）に示すとおりである。

ここで、

は、５つの肺葉のそれぞれのＤｉｃｅを表し、

は、調整可能な係数であり、セグメンテーションタスクにおける各肺葉の重み付けがセグメンテーション全体に及ぼす影響をアノテーションするために用いられる。

Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ損失関数の表現式は、式（３）に示すとおりである。

ここで、

は、予測が正確である確率であり、

は、予測が誤った確立である。

最終的ネットワークの損失関数は、式（４）で算出される。

ここで、

は肺葉訓練時のＤｉｃｅ損失関数であり、

は、肺葉訓練時のＣｒｏｓｓ Ｅｎｔｒｏｐｙ損失関数であり、

は、葉間裂訓練時のＣｒｏｓｓ Ｅｎｔｒｏｐｙ損失関数であり、

は、各損失関数の重み付けであり、各部分の訓練結果が最終的なセグメンテーション結果に及ぼす影響を決定する。

具体的な実施形態の上記方法において、各ステップの記述順番は、具体的な実行順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

本願の実施例で提供される上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。

なお、本願は、画像セグメンテーション装置、電子機器、コンピュータ可読記憶媒体及びプログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの画像セグメンテーション方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

図５は、本願の実施例による画像セグメンテーション装置を示すブロック図である。図５に示すように、本願の実施例の画像セグメンテーション装置は、肺部画像における肺葉データ及び葉間裂データに基づいて肺葉セグメンテーションネットワークを得るように構成されるセグメンテーションネットワーク取得ユニット３１と、前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定するように構成される位置決定ユニット３２と、を備える。

本願の可能な実現形態において、前記セグメンテーションネットワーク取得ユニットは更に、前記葉間裂データを、前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に使用し、訓練された肺葉セグメンテーションネットワークを得るように構成され、前記位置決定ユニットは更に、前記訓練された肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定するように構成される。

本願の可能な実現形態において、前記セグメンテーションネットワーク取得ユニットは更に、前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行い、前記損失関数の逆伝播により、前記肺葉セグメンテーションネットワークに対して訓練を行い、訓練された肺葉セグメンテーションネットワークを得るように構成される。

本願の可能な実現形態において、前記装置は、混合損失関数決定ユニットを更に備え、前記混合損失関数決定ユニットは、前記肺葉データに基づいて第１損失関数及び第２損失関数を得、前記葉間裂データに基づいて第３損失関数を得、前記第１損失関数、前記第２損失関数及び前記第３損失関数に基づいて前記混合損失関数を得るように構成される。

本願の可能な実現形態において、前記装置は、データ処理ユニットを更に備え、前記データ処理ユニットは、前記肺部画像を前記肺葉セグメンテーションネットワークに入力し、前記肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、マルチレベルのダウンサンプリング処理結果及びアップサンプリング処理結果を得、同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得るように構成される。

本願の可能な実現形態において、前記多層出力結果は、前記葉間裂データを識別するための第１ボクセルデータ及び／又は前記肺葉データを識別するための第２ボクセルデータを含み、前記装置は、データ決定ユニットを更に備え、前記データ決定ユニットは、前記第１ボクセルデータ及び／又は前記第２ボクセルデータを、前記肺葉セグメンテーションネットワークを訓練するための訓練データとして用いるように構成される。

本願の可能な実現形態において前記データ処理ユニットは更に、前記同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得るように構成される。

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法の実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法の実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されると、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、上記方法を実行するように構成される。

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

図６は、一例示的な実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

図６を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現される。

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

図７は、一例示的な実施例による電子機器９００を示すブロック図である。例えば、電子機器９００は、サーバとして提供されてもよい。図７を参照すると、電子機器９００は、処理コンポーネント９２２を備える。それは、１つ又は複数のプロセッサ、及びメモリ９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント９２２により実行される命令を記憶するためのものである。メモリ９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント９２２は、命令を実行して、上記方法を実行するように構成される。

電子機器９００は、電子機器９００の電源管理を実行するように構成される電源コンポーネント９２６と、電子機器９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース９５０と、入力出力（Ｉ／Ｏ）インタフェース９５８と、を更に備えてもよい。電子機器９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したものなど、メモリ９３２に記憶されているオペレーティングシステムを実行することができる。

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器９００の処理コンポーネント９２２により実行されて上記方法を完了する。

本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行されると、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

図面におけるフローチャート及びブック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。

論理から逸脱しない限り、本願の異なる実施例を互いに組み合わせることができ、本願の各々の実施例に対する説明はそれぞれ偏りがあり、説明に重点を置かれていない部分は、他の実施例における記載を参照することができる。以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

Claims (17)

1. 画像セグメンテーション方法であって、
   肺部画像における肺葉データ及び葉間裂データに基づいて、肺葉セグメンテーションネットワークを得ることと、
   前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定することと、を含む、方法。
2. 前記肺部画像における肺葉データ及び葉間裂データに基づいて肺葉セグメンテーションネットワークを得ることは、
   前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に、前記葉間裂データを使用し、訓練された肺葉セグメンテーションネットワークを得ることを含み、
   前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定することは、
   前記訓練された肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定することを含むことを特徴とする
   請求項１に記載の方法。
3. 前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に、前記葉間裂データを使用し、訓練された肺葉セグメンテーションネットワークを得ることは、
   前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行うことと、
   前記損失関数の逆伝播により、前記肺葉セグメンテーションネットワークに対して訓練を行い、訓練された肺葉セグメンテーションネットワークを得ることと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記方法は、前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行う前に、
   前記肺葉データに基づいて第１損失関数及び第２損失関数を得ることと、
   前記葉間裂データに基づいて第３損失関数を得ることと、
   前記第１損失関数、前記第２損失関数及び前記第３損失関数に基づいて前記混合損失関数を得ることと、を更に含むことを特徴とする
   請求項３に記載の方法。
5. 前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に、前記葉間裂データを使用する前に、
   前記肺部画像を前記肺葉セグメンテーションネットワークに入力し、前記肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、マルチレベルのダウンサンプリング処理結果及びアップサンプリング処理結果を得ることと、
   同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得ることと、を更に含むことを特徴とする
   請求項２から４のうちいずれか一項に記載の方法。
6. 前記多層出力結果は、前記葉間裂データを識別するための第１ボクセルデータ及び／又は前記肺葉データを識別するための第２ボクセルデータを含み、
   前記方法は、前記第１ボクセルデータ及び／又は前記第２ボクセルデータを、前記肺葉セグメンテーションネットワークを訓練するための訓練データとして用いることを更に含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
7. 前記同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行うことは、
   前記同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得ることを含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
8. 画像セグメンテーション装置であって、
   肺部画像における肺葉データ及び葉間裂データに基づいて肺葉セグメンテーションネットワークを得るように構成されるセグメンテーションネットワーク取得ユニットと、
   前記肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定するように構成される位置決定ユニットと、を備える、装置。
9. 前記セグメンテーションネットワーク取得ユニットは更に、
   前記肺葉データを含む肺葉セグメンテーションネットワークの訓練に前記葉間裂データを使用し、訓練された肺葉セグメンテーションネットワークを得るように構成され、
   前記位置決定ユニットは更に、
   前記訓練された肺葉セグメンテーションネットワークに基づいて、前記肺部画像におけるターゲット肺葉の位置を決定するように構成されることを特徴とする
   請求項８に記載の装置。
10. 前記セグメンテーションネットワーク取得ユニットは更に、
    前記葉間裂データと前記肺葉データを組み合わせて得られた混合損失関数に基づいて、損失関数の逆伝播を行い、
    前記損失関数の逆伝播により、前記肺葉セグメンテーションネットワークに対して訓練を行い、訓練された肺葉セグメンテーションネットワークを得るように構成されることを特徴とする
    請求項９に記載の装置。
11. 前記装置は、混合損失関数決定ユニットを更に備え、前記混合損失関数決定ユニットは、
    前記肺葉データに基づいて第１損失関数及び第２損失関数を得、
    前記葉間裂データに基づいて第３損失関数を得、
    前記第１損失関数、前記第２損失関数及び前記第３損失関数に基づいて前記混合損失関数を得るように構成されることを特徴とする
    請求項１０に記載の装置。
12. 前記装置は、データ処理ユニットを更に備え、前記データ処理ユニットは、
    前記肺部画像を前記肺葉セグメンテーションネットワークに入力し、前記肺部画像に対してマルチレベルのダウンサンプリング処理及び対応するアップサンプリング処理を行い、マルチレベルのダウンサンプリング処理結果及びアップサンプリング処理結果を得、
    同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果に対してスキップ接続処理を行い、全てのレベルに対する処理を終了するまで継続し、異なる解像度及びマルチスケールサイズに対応する多層出力結果を得るように構成されることを特徴とする
    請求項９から１１のうちいずれか一項に記載の装置。
13. 前記多層出力結果は、前記葉間裂データを識別するための第１ボクセルデータ及び／又は前記肺葉データを識別するための第２ボクセルデータを含み、
    前記装置は、データ決定ユニットを更に備え、前記データ決定ユニットは、前記第１ボクセルデータ及び／又は前記第２ボクセルデータを、前記肺葉セグメンテーションネットワークを訓練するための訓練データとして用いるように構成されることを特徴とする
    請求項８から１２のうちいずれか一項に記載の装置。
14. 前記データ処理ユニットは更に、
    前記同一レベルのダウンサンプリング処理結果及びアップサンプリング処理結果における同一スケールの特徴をフュージョンし、スキップ処理結果を得るように構成されることを特徴とする
    請求項８から１２のうちいずれか一項に記載の装置。
15. 電子機器であって、
    プロセッサと、
    プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
    前記プロセッサは、請求項１から７のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
16. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１から７のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
17. コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されると、前記電子機器におけるプロセッサに、請求項１から７のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。

Images