JP2022529493A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本願は、画像処理方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、処理しようとする画像シーケンスを取得することと、前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることと、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することと、を含む。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０１９年７月２９日に提出された、出願番号が２０１９１０６９０３４２．３である、名称が「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、コンピュータ技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。

骨格損傷は、不慮の負傷において、ダメージレベルが高い。例えば、交通事故などの不測の事態において、高所からの落下によって、骨折又は亀裂骨折などの骨格損傷を引き起こし、患者のショック、ひいては死亡を引き起こしてしまう。医療用イメージング技術は、骨格の診断及び治療において非常に重要な役割を果たしている。三次元コンピュータトモグラフィ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：ＣＴ）画像は、骨格領域の解剖構造及び損傷状況を示すために用いられる。ＣＴ画像に対する分析は、骨格解剖構造、手術計画及び術後回復の評価などに寄与する。

現在、骨格のＣＴ画像に対する分析は、骨格領域の分割を含んでもよい。これは、各ＣＴ画像において骨格領域の手動位置決め又は手動分割を行うことができる。

本願は、画像処理の技術的解決手段を提供する。

本願の一態様によれば、画像処理方法を提供する。前記方法は、処理しようとする画像シーケンスを取得することと、前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることと、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することと、を含む。従って、ターゲット画像における様々な画像特徴カテゴリの画像領域を自動的に分割することを実現させることができる。

可能な実現形態において、前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることは、画像シーケンスのサンプリングステップ幅を決定することと、前記サンプリングステップ幅に基づいて、前記画像シーケンスにおける画像を取得し、サンプリング画像を得ることと、前記サンプリング画像の画像特徴に基づいて、ターゲット画像特徴を有するサンプリング画像を決定することと、前記画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置に基づいて、前記ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることと、を含む。従って、ターゲット画像の所在するターゲット画像シーケンス区間を迅速に決定し、画像処理過程における作業量を低減させ、画像処理効率を向上させることができる。

可能な実現形態において、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することは、前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することを含む。従って、ターゲット画像シーケンス区間のターゲット画像に対して画像領域分割を行う過程において、所定の相対的位置情報に基づいて、画像領域分割エラーを減少させることができる。

可能な実現形態において、前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することは、画像処理周期内で、前記ターゲット画像シーケンス区間内で連続する所定数量のターゲット画像及び所定の相対的位置情報に基づいて、入力情報を生成することと、前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像区間のターゲット画像における画素点の属する画像特徴カテゴリを決定することと、前記ターゲット画像における画素点の属する画像特徴カテゴリに基づいて、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することと、を含む。従って、入力されたターゲット画像が連続したターゲット画像であるため、画像処理効率を向上させることができるだけでなく、ターゲット画像間の関連情報を考慮することもできる。

可能な実現形態において、前記畳み込み処理は、アップサンプリング操作及びダウンサンプリング操作を含み、前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定することは、前記入力情報に基づいて、ダウンサンプリング操作へ入力する特徴マップを得ることと、前記ダウンサンプリング操作へ入力する特徴マップに対してダウンサンプリング操作を行い、前記ダウンサンプリング操作により出力された第１特徴マップを得ることと、前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることと、前記アップサンプリング操作へ入力する特徴マップに対してアップサンプリング操作を行い、前記アップサンプリング操作により出力された第２特徴マップを得ることと、最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定することと、を含む。従って、アップサンプリング操作及びダウンサンプリング操作により、ターゲット画像の画像特徴を正確に抽出することができ、画素点の属する画像特徴カテゴリを得ることができる。

可能な実現形態において、前記畳み込み処理は、膨張畳み込み操作を更に含み、前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることは、
最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップを得ることと、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップに対して少なくとも一つのレベルの膨張畳み込み操作を行い、前記膨張畳み込み操作後の第３特徴マップを得ることであって、前記膨張畳み込み操作後に得られた第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少する、ことと、前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることと、を含む。従って、ターゲット画像の局所的細部情報及びグローバル情報により、最終的に決定された画像領域をより正確にすることができる。

可能な実現形態において、前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることは、
前記少なくとも一つのレベルの膨張畳み込み操作後に得られた複数の第３特徴マップに対して特徴融合を行い、第１融合特徴マップを得ることと、前記第１融合特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることと、を含む。従って、アップサンプリング操作へ入力する特徴マップは、より多くのターゲット画像のグローバル情報を含むことができ、得られた画素点の属する画像特徴カテゴリの正確性を向上させることができる。

可能な実現形態において、前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることは、
現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることと、現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、前のレベルのアップサンプリングにより出力された第２特徴マップと、同一の特徴マップサイズでマッチングする第１特徴マップと、を融合し、第２融合特徴マップを得ることと、前記第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることと、を含む。従って、現在のアップサンプリング操作へ入力する特徴マップは、ターゲット画像の局所的細部情報及びグローバル情報を含むことができる。

可能な実現形態において、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定した後、前記方法は、前記ターゲット画像区間のターゲット画像における画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較し、比較結果を得ることと、前記比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定することと、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整し、前記ターゲット画像における画素点に対応する画像特徴カテゴリを前記参照画像特徴カテゴリと同じであるようにすることと、を更に含む。従って、種々の損失により、ニューラルネットワークに用いられる処理パラメータを調整し、ニューラルネットワークの訓練の効果を高くすることができる。

可能な実現形態において、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整することは、前記第１損失に対応する第１重み及び前記第２損失に対応する第２重みを取得することと、前記第１重み及び前記第２重みに基づいて、前記第１損失及び前記第２損失に対して重み付け処理を行い、ターゲット損失を得ることと、前記ターゲット損失に基づいて、画像処理過程に用いられる処理パラメータを調整することと、を含む。従って、実際の適用シーンに基づいて、第１損失及び第２損失のために、重み値をそれぞれ設定し、ニューラルネットワークの効果を高くすることができる。

可能な実現形態において、処理しようとする画像シーケンスを取得する前に、前記方法は、所定の収集周期で収集された画像からなる画像シーケンスを取得することと、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得ることと、を更に含む。従って、画像シーケンスにおける画像の無用情報を減少させ、画像における有用な関連情報を強化することができる。

可能な実現形態において、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得ることは、前記画像シーケンスにおける画像の方向識別子に基づいて、前記画像シーケンスにおける画像に対して方向補正を行い、処理しようとする画像シーケンスを得ることを含む。従って、画像の収集方向に基づいて、画像シーケンスにおける画像に対して方向補正を行い、画像の収集方向を所定の方向に向かせることができる。

可能な実現形態において、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得ることは、前記画像シーケンスにおける画像を所定サイズの画像に変換することと、前記所定サイズの画像に対して中心トリミングを行い、処理しようとする画像シーケンスを得ることを含む。従って、前記所定サイズの画像に対して中心トリミングを行い、画像における無用な情報を削除し、画像における有用な関連情報を保留する。

可能な実現形態において、前記ターゲット画像は、骨盤コンピュータトモグラフィＣＴ画像であり、前記画像領域は、左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域のうちの１つ又は複数を含む。これにより、ＣＴ画像における左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域のうちの１つ又は複数の異なる領域の分割を実現させることができる。

本願の一態様によれば、画像処理装置を提供する。前記装置は、
処理しようとする画像シーケンスを取得するように構成される取得モジュールと、前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得るように構成される決定モジュールと、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される分割モジュールと、を備える。

可能な実現形態において、前記決定モジュールは具体的には、画像シーケンスのサンプリングステップ幅を決定し、前記サンプリングステップ幅に基づいて、前記画像シーケンスにおける画像を取得し、サンプリング画像を得て、前記サンプリング画像の画像特徴に基づいて、ターゲット画像特徴を有するサンプリング画像を決定し、前記画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置に基づいて、前記ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得るように構成される。

可能な実現形態において、前記分割モジュールは具体的には、前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される。

可能な実現形態において、前記分割モジュールは具体的には、画像処理周期内で、前記ターゲット画像シーケンス区間内で連続する所定数量のターゲット画像及び所定の相対的位置情報に基づいて、入力情報を生成し、前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像区間のターゲット画像における画素点の属する画像特徴カテゴリを決定し、前記ターゲット画像における画素点の属する画像特徴カテゴリに基づいて、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される。

可能な実現形態において、前記畳み込み処理は、アップサンプリング操作及びダウンサンプリング操作を含み、前記分割モジュールは具体的には、前記入力情報に基づいて、ダウンサンプリング操作へ入力する特徴マップを得て、前記ダウンサンプリング操作へ入力する特徴マップに対してダウンサンプリング操作を行い、前記ダウンサンプリング操作により出力された第１特徴マップを得て、前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得て、前記アップサンプリング操作へ入力する特徴マップに対してアップサンプリング操作を行い、前記アップサンプリング操作により出力された第２特徴マップを得て、最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定するように構成される。

可能な実現形態において、前記畳み込み処理は、膨張畳み込み操作を更に含み、前記分割モジュールは具体的には、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップを得て、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップに対して少なくとも一つのレベルの膨張畳み込み操作を行い、前記膨張畳み込み操作後の第３特徴マップを得るように構成され、前記膨張畳み込み操作後に得られた第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少し、前記分割モジュールは具体的には、前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得るように構成される。

可能な実現形態において、分割モジュールは具体的には、前記少なくとも一つのレベルの膨張畳み込み操作後に得られた複数の第３特徴マップに対して特徴融合を行い、第１融合特徴マップを得て、前記第１融合特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得るように構成される。

可能な実現形態において、前記分割モジュールは具体的には、現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得て、現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、前のレベルのアップサンプリングにより出力された第２特徴マップと、同一の特徴マップサイズでマッチングする第１特徴マップと、を融合し、第２融合特徴マップを得て、前記第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得るように構成される。

可能な実現形態において、前記装置は、前記ターゲット画像区間のターゲット画像における画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較し、比較結果を得て、前記比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定し、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整し、前記ターゲット画像における画素点に対応する画像特徴カテゴリを前記参照画像特徴カテゴリと同じであるようにするように構成される訓練モジュールを更に備える。

可能な実現形態において、前記訓練モジュールは具体的には、前記第１損失に対応する第１重み及び前記第２損失に対応する第２重みを取得し、前記第１重み及び前記第２重みに基づいて、前記第１損失及び前記第２損失に対して重み付け処理を行い、ターゲット損失を得て、前記ターゲット損失に基づいて、画像処理過程に用いられる処理パラメータを調整するように構成される。

可能な実現形態において、前記装置は、所定の収集周期で収集された画像からなる画像シーケンスを取得し、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得るように構成される前処理モジュールを更に備える。

可能な実現形態において、前記前処理モジュールは具体的には、前記画像シーケンスにおける画像の方向識別子に基づいて、前記画像シーケンスにおける画像に対して方向補正を行い、処理しようとする画像シーケンスを得るように構成される。

可能な実現形態において、前記前処理モジュールは具体的には、前記画像シーケンスにおける画像を所定サイズの画像に変換し、前記所定サイズの画像に対して中心トリミングを行い、処理しようとする画像シーケンスを得るように構成される。

可能な実現形態において、前記ターゲット画像は、骨盤コンピュータトモグラフィＣＴ画像であり、前記画像領域は、左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域のうちの１つ又は複数を含む。

本願の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、上記画像処理方法を実行するように構成される。

本願の一態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記画像処理方法を実現させる。

本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される場合、前記電子機器におけるプロセッサは、画像処理方法を実現させる。

本願の実施例において、処理しようとする画像シーケンスを取得し、続いて、処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得る。従って、決定されたターゲット画像シーケンス区間におけるターゲット画像に対して画像処理を行い、画像処理の作業量を減少させることができる。続いて、ターゲット画像シーケンス区間のターゲット画像を分割し、ターゲット画像シーケンス領域における少なくとも１つの画像特徴カテゴリに対応する領域を決定する。従って、ターゲット画像における様々な画像特徴カテゴリの画像領域を自動的に分割することができる。例えば、ＣＴ画像における骨格領域を分割し、人的資源を節約することができる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
本願の実施例による画像処理方法を示すフローチャートである。 本願の実施例による画像シーケンスの前処理を示すフローチャートである。 本願の実施例によるターゲット画像シーケンス区間の決定を示すフローチャートである。 本願の実施例によるターゲット画像における各画像特徴カテゴリに対応する画像領域の決定を示すフローチャートである。 本願の実施例によるニューラルネットワークの構造の例を示すブロック図である。 本願の実施例による上記ニューラルネットワークの訓練過程の例を示すフローチャートである。 本願の実施例による画像処理装置を示すブロック図である。 本願の実施例による電子機器の例を示すブロック図である。

以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３つの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しない。

本願の実施例で提供される画像処理方法によれば、取得された画像シーケンスにおいてターゲット画像特徴を有するターゲット画像の所在するターゲット画像シーケンス区間を決定することができる。従って、画像シーケンスにおける各画像に対して画像処理を行うことなく、ターゲット画像シーケンス区間におけるターゲット画像に対して画像処理を行うことができる。画像処理過程における作業量を減少させ、画像処理効率を向上させることができる。続いて、決定されたターゲット画像シーケンス区間のターゲット画像を分割し、ターゲット画像における各画像特徴カテゴリに対応する画像領域を決定する。ここで、少なくとも１つの画像特徴カテゴリに対応する画像領域を決定する過程において、ニューラルネットワークを利用してターゲット画像を処理することができ、相対的位置情報を利用して、ターゲット画像において決定された各画像特徴カテゴリに対応する画像領域をより正確にし、分割結果における明らかなエラーを避けることができる。

本願の実施例で提供される画像処理方法は、画像分類、画像分割などのシーンに適用可能であり、医療分野における医用映像にも適用可能である。例えば、ＣＴ画像に対して骨盤領域のアノテーションを行うことに適用される。関連技術において、手動で骨盤領域をアノテーションすることが多く、アノテーション過程は、時間がかかり、且つ誤差が発生しやすい。半教師あり骨盤領域のアノテーション方式において、骨盤領域をアノテーションするためのシード点を手動で選択し、誤ったアノテーションを手動で修正する必要がある。該アノテーション方式は同様に時間がかかり、一枚の三次元ＣＴ画像をアノテーションするために、十数分間を必要とする。本願の実施例で提供される画像処理方法は、骨盤領域を迅速かつ正確に決定することができ、患者の診断のために、有効な参照を提供する。

以下、実施例を参照しながら、本願で提供される画像処理方法を説明する。

図１は、本願の実施例による画像処理方法を示すフローチャートである。該画像処理方法は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。以下、画像処理装置を実行主体として本願の実施例の画像処理方法を説明する。

図１に示すように、前記画像処理方法は、下記ステップを含む。

ステップＳ１１において、処理しようとする画像シーケンスを取得する。

本願の実施例において、画像シーケンスは、少なくとも２つの画像を含んでもよい。画像シーケンスにおける各画像は、所定の配列基準で配列し、画像シーケンスを形成することができる。所定の配列基準は、時間的配列基準及び／又は空間的配列基準を含んでもよい。例えば、画像の収集時刻の順番に従って複数の画像を配列し、画像シーケンスを形成することができる。又は、画像の収集位置の空間的座標に従って配列し、画像シーケンスを形成することもできる。

例えば、画像シーケンスは、ＣＴにより患者を走査することで得られた一組のＣＴ画像であってもよい。各ＣＴ画像の収集時刻は、異なる。ＣＴ画像の収集時刻の順番に従って、得られたＣＴ画像により画像シーケンスを形成することができる。画像シーケンスにおける各ＣＴ画像に対応する人体部位は、異なってもよい。

図２は、本願の実施例による画像シーケンスの前処理を示すフローチャートである。

可能な実現形態において、処理しようとする画像シーケンスは、前処理後の画像シーケンスであってもよい。図２に示すように、上記ステップＳ１１の前に、下記ステップを含んでもよい。

Ｓ０１において、所定時間間隔で収集された画像からなる画像シーケンスを取得する。

Ｓ０２において、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得る。

ここで、画像シーケンスにおける画像が時間的配列基準で配列されることを例として、所定の収集周期で収集された画像を取得し、収集時刻の順番に従って、一組の画像により、画像シーケンスを形成することができる。画像シーケンスにおける各画像に対して各画像を前処理し、前処理後の画像シーケンスを得ることができる。ここで、前処理は、方向補正、異常画素値の除去、画素正規化、中心トリミングなどの操作を含んでもよい。前処理により、画像シーケンスにおける画像の無用な情報を減少させ、画像における有用な関連情報を強化することができる。

一例において、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得る時に、前記画像シーケンスにおける画像の方向識別子に基づいて、前記画像シーケンスにおける画像に対して方向補正を行い、処理しようとする画像シーケンスを得ることができる。ここで、画像シーケンスにおける画像を収集する時に、収集された関連情報も収集することもできる。例えば、画像の収集時刻、画像の収集方向などの収集関連情報を含むことが可能である。これにより、画像の収集方向に基づいて、画像シーケンスにおける画像に対して方向補正を行い、画像の収集方向を所定の方向に向かせることができる。例えば、ＣＴ画像を所定の方向に回転することができる。ＣＴ画像の収集方向を座標軸とするとした場合、ＣＴ画像の座標軸のｘ軸又はｙ軸を所定方向に平行させることができる。これにより、ＣＴ画像は、人体の横断面を表すことができる。

一例において、前記画像シーケンスを前処理し、処理しようとする画像シーケンスを得る時に、前記画像シーケンスにおける画像を所定サイズの画像に変換し、そして、前記所定サイズの画像に対して中心トリミングを行い、処理しようとする画像シーケンスを得ることができる。ここで、画像のリサンプリング又は縁トリミングにより、画像シーケンスにおける画像のサイズを一致したサイズに変換し、続いて、所定サイズの画像に対して中心トリミングを行い、画像における無用な情報を削除し、画像における有用な関連情報を保留することができる。

例えば、画像シーケンスがＣＴ画像シーケンスである場合、ＣＴ画像シーケンスに対して前処理を行う時に、ＣＴ画像シーケンスにおける１つ又は複数のＣＴ画像に対して方向補正を行い、ＣＴ画像が人体の横断面構造を表すことを確保することができる。ＣＴ画像における異常値を除去し、ＣＴ画像における画素点の画素値を［－１０２４，１０２４］の区間内にし、ＣＴ画像における画素点の画素値を［－１，１］までに正規化する。ＣＴ画像を、例えば０．８＊０．８＊１ｍｍ３のような一致したサイズにリサンプリングする。ＣＴ画像に対して中心トリミングを行う。例えば中心トリミングを行い、５１２＊５１２の画素点サイズのＣＴ画像を得る。５１２＊５１２の画素点サイズ未満の画像位置に対して、画素値を所定値に設定してもよく、例えば、－１とする。上記複数の処理方式を任意に組み合わせることができる。

ステップＳ１２において、前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得る。

本願の実施例において、画像シーケンスにおける各画像の画像特徴を抽出するか、又は少なくとも２つの画像の画像特徴を抽出し、続いて、抽出された画像特徴に基づいて、画像シーケンスにおいてターゲット画像特徴を有するターゲット画像を決定し、更に、画像シーケンスにおける、ターゲット画像の配列位置を決定する。間隔が最も大きい２つのターゲット画像の配列位置に基づいて、ターゲット画像特徴を有するターゲット画像の所在するターゲット画像シーケンス区間を得ることができる。ここで、ニューラルネットワークを利用して、画像シーケンスにおける画像に対して画像特徴抽出を行い、抽出された画像特徴に基づいて、ターゲット画像特徴を有するターゲット画像を決定し、更に、ターゲット画像の所在するターゲット画像シーケンス区間を決定する。ターゲット画像シーケンス区間は、処理しようとする画像シーケンスの一部であってもよい。例えば、画像シーケンスは、１００個の画像を含み、ここで、ターゲット画像の配列位置は、１０－２０の画像シーケンス区間にある。該画像シーケンス区間は、ターゲット画像シーケンス区間であり得る。幾つかの実施形態において、画像シーケンスにおける画像を所定画像とマッチングしてマッチング結果を得て、続いて、マッチング結果に基づいて、ターゲット画像の所在する画像シーケンス区間を得ることもできる。例えば、マッチング結果が７０％より大きい画像をターゲット画像と決定し、該ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得る。

図３は、本願の実施例による画像シーケンス区間の決定を示すフローチャートである。

可能な実現形態において、ステップＳ１２は、下記ステップを含んでもよい。

ステップＳ１２１において、画像シーケンスのサンプリングステップ幅を決定する。

ステップＳ１２２において、前記サンプリングステップ幅に基づいて、前記画像シーケンスにおける画像を取得し、サンプリング画像を得る。

ステップＳ１２３において、前記サンプリング画像の画像特徴に基づいて、ターゲット画像特徴を有するサンプリング画像を決定する。

ステップＳ１２４において、前記画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置に基づいて、前記ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得る。

該可能な実現形態において、サンプリングステップ幅は、実際の適用シーンに応じて設定されてもよい。例えば、３０個の画像をサンプリングステップ幅として、サンプリングステップ幅おきに、画像シーケンスにおける１つの画像を取得し、取得された該画像をサンプリング画像とすることができる。取得されたサンプリング画像において、上記ニューラルネットワークを利用してサンプリング画像の画像特徴を抽出し、ターゲット画像特徴を有するサンプリング画像を決定し、続いて、画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置を決定することができる。ここで、ターゲット画像特徴を有する２つのサンプリング画像に対応する配列位置により、１つの画像シーケンス区間を決定することができる。得られた複数の画像シーケンス区間のうちの最大の画像シーケンス区間を、ターゲット画像の所在するターゲット画像シーケンス区間とする。画像シーケンスは、所定の配列基準に従って配列されたものであるため、ターゲット画像特徴を有するサンプリング画像により形成されたターゲット画像シーケンス区間における画像も、ターゲット画像特徴を有するものであり、ターゲット画像である。幾つかの実施形態において、画像シーケンス区間の上下境界を拡大し、最終的に決定された画像シーケンス区間に全てのターゲット画像を含ませることもできる。

例えば、画像シーケンスがＣＴ画像シーケンスである場合、サンプリングステップ幅を３０として、ＣＴ画像シーケンスにおけるＣＴ画像に対して等間隔でサンプリングを行うことができる。つまり、３０個のＣＴ画像おきに、ＣＴ画像シーケンスから１つのＣＴ画像を抽出し、抽出されたＣＴ画像をサンプリング画像とすると理解されてもよい。続いて、ニューラルネットワークを利用してサンプリング画像における異なる画像領域に対してアノテーションを行い、サンプリング画像にターゲット画像特徴を有する画像領域が存在するかどうかを判定し、例えば、サンプリング画像に、寛骨構造（画像特徴カテゴリ）を有することを表す画像領域が存在するかどうかを判定する。このような方式により、寛骨構造を有することを表すＣＴ画像の開始及び終了範囲を迅速に位置決めすることができる。つまり、ターゲット画像の所在する画像シーケンス区間を迅速に位置決めすることができる。幾つかの実施形態において、画像シーケンス区間の開始及び終了範囲を適切に増加し、寛骨構造を有することを表す完全なＣＴ画像を得ることを確保することもできる。ここの寛骨構造は、寛骨に隣接する左大腿骨構造、、右大腿骨構造及び椎骨構造を含んでもよい。

このような方式によれば、画像シーケンスにおけるターゲット画像を決定する時に、画像シーケンスにおける画像をサンプリングし、画像シーケンスにおける複数の画像を選択して画像特徴抽出を行い、ターゲット画像特徴を有するターゲット画像の所在するターゲット画像シーケンス区間を決定することができ、画像処理過程における作業量を減少させ、画像処理効率を向上させることができる。

ステップＳ１３において、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における各画像特徴カテゴリに対応する画像領域を決定する。

本願の実施例において、ニューラルネットワークを利用して、ターゲット画像シーケンス領域内のターゲット画像に対して画像領域分割を行い、ターゲット画像区間のターゲット画像における各画像特徴カテゴリに対応する画像領域を決定することができる。例えば、ターゲット画像シーケンス区間の１つ又は複数のターゲット画像をニューラルネットワークの入力として、ニューラルネットワークにより、ターゲット画像における画素点の属する画像特徴カテゴリを出力し、続いて、複数の画像特徴カテゴリに対応する画素点に基づいて、ターゲット画像における１つ又は複数の画像特徴カテゴリに対応する画像領域を決定することができる。ここで、画像特徴カテゴリは、ターゲット画像の各画像特徴を表すことできる。ターゲット画像が有するターゲット画像特徴は、複数カテゴリの画像特徴を含んでもよい。つまり、ターゲット画像特徴は、複数のサブ画像特徴を含み、各サブ画像特徴は、１つの画像特徴カテゴリに対応すると理解されてもよい。例えば、ターゲット画像は、骨盤特徴を有するＣＴ画像であってもよく、画像特徴カテゴリは、骨盤特徴に含まれる左寛骨特徴カテゴリ、右寛骨特徴カテゴリ、左大腿骨特徴カテゴリ、右大腿骨特徴カテゴリ、脊椎特徴カテゴリなどであってもよい。ターゲット画像シーケンス区間における骨盤特徴を有するＣＴ画像に対して様々な骨格領域の分割を行う過程において、ＣＴ画像におけるそれぞれ左寛骨特徴カテゴリ、右寛骨特徴カテゴリ、左大腿骨特徴カテゴリ、右大腿骨特徴カテゴリ、脊椎特徴カテゴリに属する画素点をそれぞれ決定し、続いて、１つ又は複数の画像特徴カテゴリに対応する画素点に基づいて、ＣＴ画像を左寛骨領域（左寛骨特徴カテゴリの画素点からなる画像領域）、右寛骨領域（右寛骨特徴カテゴリの画素点からなる画像領域）、左大腿骨領域（左大腿骨特徴カテゴリの画素点からなる画像領域）、右大腿骨領域（右大腿骨特徴カテゴリの画素点からなる画像領域）及び脊椎領域（脊椎特徴カテゴリの画素点からなる画像領域）という５個の骨格画像領域に分割することができる。

可能な実現形態において、ターゲット画像シーケンス区間のターゲット画像を分割し、ターゲット画像区間における各画像特徴カテゴリに対応する画像領域を決定する過程において、前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における各画像特徴カテゴリに対応する画像領域を決定することができる。ここで、ターゲット画像シーケンス区間のターゲット画像に対して画像領域分割を行う過程において、所定の相対的位置情報に基づいて、画像領域分割エラーを減少させることができる。相対的位置情報は、１つの画像特徴カテゴリに対応する画像領域の画像における大まかな方位を表すものであってもよい。例えば、左寛骨構造は、画像の左側領域に位置し、右寛骨構造は、画像の右側領域に位置する。従って、相対的位置関係に基づいて、得られた左寛骨構造の画像特徴カテゴリに対応する画像領域が画像の右側領域に位置するとした場合、該結果が誤ったと判定することができる。幾つかの実施例において、画像シーケンス領域内のターゲット画像を所定の画像における１つ又は複数の画像特徴カテゴリに対応する所定の画像区間とマッチングし、続いて、マッチング結果に基づいて、ターゲット画像における１つ又は複数の画像特徴カテゴリに対応する画像領域を決定する。例えば、マッチング結果が７５％より大きい場合、ターゲット画像の画像領域は、所定の画像区間的の画像特徴カテゴリに対応すると見なすことができる。

図４は、本願の実施例によるターゲット画像における各画像特徴カテゴリに対応する画像領域の決定を示すフローチャートである。

可能な実現形態において、図４に示すように、上記ステップＳ１３は、下記ステップを含んでもよい。

ステップＳ１３１において、画像処理周期内で、前記ターゲット画像シーケンス区間内で連続する所定数量のターゲット画像及び所定の相対的位置情報に基づいて、入力情報を生成する。

ステップＳ１３２において、前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像区間のターゲット画像における画素点の属する画像特徴カテゴリを決定する。

ステップＳ１３３において、前記ターゲット画像における画素点の属する画像特徴カテゴリに基づいて、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定する。

該可能な実現形態において、上記ニューラルネットワークを利用してターゲット画像における１つ又は複数の画像特徴カテゴリに対応する画像領域を決定することで、ターゲット画像における異なる画像領域を分割することができる。ここで、画像シーケンス区間に含まれるターゲット画像及び相対的位置情報は、ニューラルネットワークの入力としてもよい。これにより、ターゲット画像及び相対的位置情報により、ニューラルネットワークの入力情報を生成し、続いて、ニューラルネットワークを利用して入力情報に対して少なくとも一つのレベルの畳み込み処理を行う。ターゲット画像における画素点の属する画像特徴カテゴリは、ニューラルネットワークの出力であってもよい。ここで、画像処理周期は、ニューラルネットワークの一回の入力出力の処理周期に対応してもよい。１つの画像処理周期内で、ニューラルネットワークに入力されるターゲット画像は、連続した所定数量のターゲット画像であってもよい。例えば、連続した５つのサイズが５１２＊５１２＊１ｃｍ３であるターゲット画像をニューラルネットワークの入力とする。ここで、連続は、画像シーケンスにおけるターゲット画像の配列位置が隣接すると理解されてもよい。入力されたターゲット画像は、連続したターゲット画像であるため、１つの画像処理周期で１つのみのターゲット画像を処理する場合に比べて、画像処理効率を向上させることができるだけでなく、ターゲット画像間の関連関係を考慮することもできる。例えば、１つの画像特徴カテゴリに対応する画像領域は、複数のターゲット画像における位置は、ほぼ一致するか、又は、１つの画像特徴カテゴリに対応する画像領域は、複数のターゲット画像における位置の変動が連続したものである。従って、ターゲット画像分割の正確性を向上させることができる。ここで、相対的位置情報は、ｘ方向の相対的位置情報及びｙ方向の相対的位置情報を含んでもよい。ｘ図により、ｘ方向の相対的位置情報を表し、ｙ図により、ｙ方向の相対的位置情報を表すことができる。ここで、ｘ図及びｙ図のサイズは、ターゲット画像のサイズと同じであってもよい。ｘ図における画素点の特徴値は、ｘ方向での、該画素点の相対的位置を表し、ｙ図における画素点の特徴値は、ｙ方向での、該画素点の相対的位置を表すことができる。これにより、相対的位置情報によれば、ニューラルネットワークにより複数の画素点を分類して決定された画像特徴カテゴリに事前情報を持たせる。例えば、ｘ図における１つの画素点の特徴値が－１である場合、該画素点がターゲット画像の左側に位置することを表し、得られた分類結果は、左側画像領域に対応する画像特徴カテゴリである。ここで、ニューラルネットワークは、畳み込みニューラルネットワークであってもよく、複数レベルの中間層を含んでもよく、１レベルの中間層は、１レベルの畳み込み処理に対応してもよい。ニューラルネットワークを利用して、ターゲット画像における画素点の属する画像特徴カテゴリを決定し、１つ又は複数の画像特徴カテゴリに属する画素点からなる画像領域を決定し、ターゲット画像における異なる画像領域の分割を実現させることができる。

一例において、上記ニューラルネットワークによる畳み込み処理は、ダウンサンプリング操作及びアップサンプリング操作を含んでもよい。前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定することは、前記入力情報に基づいて、ダウンサンプリング操作へ入力する特徴マップを得ることと、前記ダウンサンプリング操作へ入力する特徴マップに対してダウンサンプリング操作を行い、前記ダウンサンプリング操作された第１特徴マップを得ることと、ダウンサンプリング操作により出力された第１特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得ることと、アップサンプリング操作へ入力する特徴マップに対してアップサンプリング操作を行い、アップサンプリング操作により出力された第２特徴マップを得ることと、最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定することと、を含んでもよい。

該例において、上記ニューラルネットワークの畳み込み処理は、ダウンサンプリング操作及びアップサンプリング操作を含んでもよい。ダウンサンプリング操作の入力は、前のレベルの畳み込み処理により得られた特徴マップであってもよい。１レベルのダウンサンプリング操作処理へ入力する特徴マップについて、該特徴マップに対してダウンサンプリング操作を行った後、該レベルのダウンサンプリング操作で得られた第１特徴マップを得ることができる。異なるレベルのダウンサンプリング操作を行って得られた第１特徴マップのサイズは、異なってもよい。入力情報に対して複数レベルのダウンサンプリング操作を行った後、複数レベルのダウンサンプリング処理のうちの最終レベルのダウンサンプリング操作により出力された第１特徴マップは、アップサンプリング操作へ入力する特徴マップとするか、又は、最終レベルのダウンサンプリング操作により出力された特徴マップを畳み込み処理によって得られた特徴マップを、アップサンプリング操作へ入力する特徴マップとすることができる。対応的に、アップサンプリング操作の入力は、前のレベルの畳み込み処理により得られた特徴マップであってもよい。１レベルのアップサンプリング操作処理に入力される特徴マップについて、該特徴マップに対してアップサンプリング操作を行った後、該レベルのアップサンプリング操作を行った後に得られた第２特徴マップを得ることができる。ここで、ダウンサンプリング操作のレベル数は、アップサンプリング操作のレベル数と同じであってもよく、該ニューラルネットワークは、対称構造を用いてもよい。続いて、最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、ターゲット画像における画素点の属する画像特徴カテゴリを得ることができる。例えば、最終レベルのアップサンプリング操作により出力された第２特徴マップに対して畳み込み処理、正規化処理等の他の処理を行うことで、ターゲット画像における１つ又は複数の画素点の属する画像特徴カテゴリを得ることができる。

ターゲット画像の局所的細部情報及びグローバル情報を結合するために、アップサンプリング操作の前に、ダウンサンプリング操作により出力された第１特徴マップに対して膨張畳み込み操作を行い、アップサンプリング操作へ入力する特徴マップを得ることができる。それによって、アップサンプリング操作へ入力する特徴マップは、より多くのターゲット画像のグローバル情報を含み、得られた画素点の属する画像特徴カテゴリの正確性を向上させることができる。以下、一例により、膨張畳み込み操作を説明する。

一例において、上記畳み込み処理は、膨張畳み込み操作を更に含み、ダウンサンプリング操作により出力された第１特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得ることは、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップを得ることと、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップに対して少なくとも一つのレベルの膨張畳み込み操作を行い、膨張畳み込み操作後の第３特徴マップを得ることであって、膨張畳み込み操作後に得られた第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少する、ことと、膨張畳み込み操作後に得られた第３特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得ることと、を含む。

該例において、上記ニューラルネットワークによる畳み込み処理は、膨張畳み込み操作を含んでもよく、膨張畳み込み操作は複数レベルであってもよい。複数レベルの膨張畳み込み操作の入力は、最終レベルのダウンサンプリング操作により出力された第１特徴マップであってもよく、又は、最終レベルのダウンサンプリング操作により出力された第１特徴マップに対して少なくとも一つのレベルの畳み込み処理を行うことで得られた特徴マップであってもよい。１レベルの膨張畳み込み操作の入力は、前のレベルの畳み込み処理により得られた特徴マップであってもよい。１レベルの膨張畳み込み操作へ入力する特徴マップについて、該特徴マップを膨張処理した後、該レベルの膨張畳み込み操作を行った後に得らえた第３特徴マップを得ることができる。複数レベルの膨張畳み込み操作により得られた第３特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得ることができる。膨張畳み込み操作は、畳み込み過程に入力された特徴マップにおける情報の損失を減少させ、第１特徴マップにおける画素点によりマッピングされたターゲット画像の領域の大きさを増加させることができる。それによって、より多くの関連情報を可能な限り残し、最終的に決定された画像領域をより正確にすることができる。

一例において、膨張畳み込み操作後に得られた第３特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得る時に、少なくとも一つのレベルの膨張畳み込み操作を行った後に得られた複数の第３特徴マップに対して特徴融合を行い、第１融合特徴マップを得る。前記第１融合特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得る。ここで、１レベルの膨張畳み込み操作を行った後、１つの第３特徴マップを得る。複数レベルの膨張畳み込み操作を行った後に得られた複数の第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少する。つまり、畳み込み処理のレベル数は高いほど、得られた第３特徴マップのサイズは、小さくなる。従って、複数レベルの膨張畳み込み操作を行った後に得られた複数の第３特徴マップは、ピラミッド構造を有すると見なすことができる。第３特徴マップのサイズが減少しつつあるため、幾つかの関連情報に損失が発生する。従って、複数レベルの膨張畳み込み操作で得られた複数の第３特徴マップを融合し、第１融合特徴マップを得ることができる。第１融合特徴マップは、より多くのターゲット画像のグローバル情報を含んでもよい。続いて、第１融合特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得ることができる。例えば、第１融合特徴マップをアップサンプリング操作へ入力する特徴マップとするか、又は、第１融合特徴マップに対して畳み込み処理を行い、畳み込み処理後に得られた特徴マップをアップサンプリング操作へ入力する特徴マップとする。これによって、アップサンプリング操作へ入力する特徴マップは、より多くのターゲット画像のグローバル情報を含み、得られた各画素点の属する画像特徴カテゴリの正確性を向上させることができる。

一例において、ダウンサンプリング操作により出力された第１特徴マップに基づいて、アップサンプリング操作へ入力する特徴マップを得ることは、現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることと、現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、前のレベルのアップサンプリングにより出力された第２特徴マップと、同一の特徴マップサイズでマッチングする第１特徴マップと、を融合し、第２融合特徴マップを得ることと、前記第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることと、を含んでもよい。

該例において、現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、前のレベルの畳み込み処理により出力された特徴マップを第１レベルのアップサンプリング操作へ入力する特徴マップとすることができる。例えば、上記複数レベルの膨張畳み込み操作で得られた第１融合特徴マップを第１レベルのアップサンプリング操作へ入力する特徴マップとするか、又は、第１融合特徴マップを畳み込み処理し、第１レベルのアップサンプリング操作へ入力する特徴マップを得ることができる。現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、現在のアップサンプリング操作の前のレベルのアップサンプリングにより出力された第２特徴マップと、該サイズが該第２特徴マップと同じである第１特徴マップと、を融合し、第２融合特徴マップを得て、第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることができる。例えば、第２融合特徴マップを現在のアップサンプリング操作へ入力する特徴マップとするか、又は、第２融合特徴マップに対して少なくとも一つのレベルの畳み込み処理を行い、現在のアップサンプリング操作へ入力する特徴マップを得ることができる。これによって、現在のアップサンプリング操作へ入力する特徴マップは、ターゲット画像の局所的細部情報及びグローバル情報を結合したものであってもよい。

図５は、本願の実施例によるニューラルネットワークの構造の例を示すブロック図である。

以下、一例を参照しながら、上記ニューラルネットワークのネットワーク結果を説明する。ニューラルネットワークのネットワーク構造として、Ｕネットワーク、Ｖネットワーク、完全畳み込みネットワークのネットワーク構造を用いてもよい。図５に示すように、ニューラルネットワークのネットワーク構造は、対称なものであってもよい。該ニューラルネットワークは、入力されたターゲット画像に対して多数レベルの畳み込み処理を行うことができる。畳み込み処理は、畳み込み操作、アップサンプリング操作、ダウンサンプリング操作、膨張畳み込み操作、結合操作、接続付加操作を含んでもよい。ここで、ＡＳＰＰは、膨張空間ピラミッドプーリングモジュールを表してもよい。膨張空間ピラミッドプーリングモジュールによる畳み込み処理は、膨張畳み込み操作及び接続付加操作を含んでもよい。サイズが５１２＊５１２＊１である連続した５個のターゲット画像をニューラルネットワークの入力とすると共に、相対的位置を結合する。つまり、上記ｘ図及びｙ図のように、２つの入力チャネルを追加し、計７個の入力チャネルを得る。異なるレベルの畳み込み操作、３回のダウンサンプリング又はプーリング操作、正規化操作及び活性化操作により、ターゲット画像で得られた特徴マップのサイズを２５６＊２５６から１２８＊１２８に減少させ、最後に６４＊６４個の画素点の特徴マップを得ることができる。それと同時に、チャネル数は、７から２５６までに増加し、得られた特徴マップに対してＡＳＰＰモジュールによる膨張畳み込み及び空間ピラミッド構造による接続操作を行うことで、より多くのターゲット画像の関連情報を可能な限り残すことができる。続いて、３回の逆畳み込み操作又はアップサンプリング操作を行い、サイズ６４＊６４の特徴マップを次第に５１２＊５１２に拡大し、ターゲット画像のサイズと同じであるようにする。逆畳み込み操作又はアップサンプリング操作過程において、ダウンサンプリング又はプーリング操作で得られた同一のサイズの特徴マップと、逆畳み込み操作又はアップサンプリング操作で得られた同一のサイズの特徴マップと、を融合する。従って、得られた融合特徴マップは、ターゲット画像の局所的細部情報及びグローバル情報を結合したものである。続いて、２つの異なる畳み込み操作により、ターゲット画像における画素点の属する画像特徴カテゴリを得て、ターゲット画像における異なる画像領域の分割を実現させることができる。

図６は、本願の実施例による上記ニューラルネットワークの訓練過程の例を示すフローチャートである。

一例において、上記ニューラルネットワークがターゲット画像における各画像特徴カテゴリに対応する画像領域を決定した後、決定されたターゲット画像の各画素点の分類結果を利用してニューラルネットワークを訓練する訓練過程を説明する。図６に示すように、上記ステップＳ１３の後に、以下を更に含む。

ステップＳ２１において、前記ターゲット画像区間のターゲット画像における画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較し、比較結果を得る。

ステップＳ２２において、前記比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定する。

ステップＳ２３において、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整し、前記ターゲット画像における画素点に対応する画像特徴カテゴリを前記参照画像特徴カテゴリと同じであるようにする。

ここで、ターゲット画像は、ニューラルネットワーク訓練に用いられる訓練サンプルであってもよい。ターゲット画像における１つ又は複数の画素点の属する画像特徴カテゴリを事前アノテーションし、事前アノテーションされた画像特徴カテゴリは、参照画像特徴カテゴリであってもよい。ニューラルネットワークを利用してターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定した後、ターゲット画像の１つ又は複数の画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較することができる。比較の時、様々な損失関数を利用して比較結果を得ることができる。例えば、クロスエントロピー損失関数、デス損失関数、平均二乗誤差などを用いるか又は複数の損失関数を結合して複合損失関数を得ることができる。様々な損失関数で得られた比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定することができる。決定された第１損失及び第２損失により、ニューラルネットワークに用いられる処理パラメータを調整し、ターゲット画像の各画素点に対応する画像特徴カテゴリをアノテーションした参照画像特徴カテゴリと同じであるようにし、ニューラルネットワークの訓練過程を完了することができる。

一例において、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整することは、前記第１損失に対応する第１重み及び前記第２損失に対応する第２重みを取得することと、前記第１重み及び前記第２重みに基づいて、前記第１損失及び前記第２損失に対して重み付け処理を行い、ターゲット損失を得ることと、前記ターゲット損失に基づいて、画像処理過程に用いられる処理パラメータを調整することと、を含んでもよい。

ここで、第１損失及び第２損失を利用してニューラルネットワークの処理パラメータを調整する場合、実際の適用シーンに応じて、第１損失及び第２損失のためにそれぞれ重み値を設定することができる。例えば、第１損失のために、第１重み０．８を設定し、第２損失のために、第２重み０．２を設定することで、最終的なターゲット損失を得ることができる。続いて、逆伝搬の方式で、ターゲット損失に基づいて、ニューラルネットワークの処理パラメータを更新し、ニューラルネットワークを反復最適化し、ニューラルネットワークで得られたターゲット損失を最大反復回数に収束又は達成させて、訓練されたニューラルネットワークを得る。

本願の実施例で提供される画像処理方法は、ＣＴ画像シーケンスにおける様々な骨格領域の分割に適用可能である。例えば、骨盤構造の様々な骨格の分割に適用する。ＣＴ画像シーケンスにおけるＣＴ画像に対するサンプリング、及び横断面の相対的位置情報に基づいて、上記ニューラルネットワークを利用して、まず、ＣＴ画像シーケンスにおける、骨盤領域を表すＣＴ画像の上下境界を決定する。つまり、骨盤ＣＴ画像のターゲット画像シーケンス区間を決定する。続いて、得られた骨盤ＣＴ画像のターゲット画像シーケンス区間を基礎として、該ターゲット画像シーケンス区間における骨盤ＣＴ画像を分割する。例えば、ターゲット画像を左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域という５個の骨格画像領域に分割する。５個の骨格に分割しないという方法である現在の大まかな骨盤領域分割方法に比べて、本願の実施例で提供される画像処理方法は、骨盤領域に含まれる５個の骨格を正確に区別することができ、骨盤腫瘍の位置の判断に寄与し、手術計画の作成を容易にする。また、迅速な骨盤領域位置決めを実現させることができる（本願の実施例で提供される画像処理方法において、骨盤領域の分割に一般的には３０秒間がかかるが、関連分割方法において、十数分間、ひいては、数時間を必要とする）。

本願に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。

なお、本願は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つのビデオ処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

図７は、本願の実施例による画像処理装置を示すブロック図である。図７に示すように、前記画像処理装置は、
処理しようとする画像シーケンスを取得するように構成される取得モジュール３１と、
前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得るように構成される決定モジュール３２と、
前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される分割モジュール３３と、を備える。

可能な実現形態において、前記決定モジュール３２は具体的には、画像シーケンスのサンプリングステップ幅を決定し、前記サンプリングステップ幅に基づいて、前記画像シーケンスにおける画像を取得し、サンプリング画像を得て、前記サンプリング画像の画像特徴に基づいて、ターゲット画像特徴を有するサンプリング画像を決定し、前記画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置に基づいて、前記ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得るように構成される。

可能な実現形態において、前記分割モジュール３３は具体的には、前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される。

可能な実現形態において、前記分割モジュール３３は具体的には、画像処理周期内で、前記ターゲット画像シーケンス区間内で連続する所定数量のターゲット画像及び所定の相対的位置情報に基づいて、入力情報を生成し、前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像区間のターゲット画像における画素点の属する画像特徴カテゴリを決定し、前記ターゲット画像における画素点の属する画像特徴カテゴリに基づいて、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される。

可能な実現形態において、前記畳み込み処理は、アップサンプリング操作及びダウンサンプリング操作を含み、前記分割モジュール３３は具体的には、前記入力情報に基づいて、ダウンサンプリング操作へ入力する特徴マップを得て、前記ダウンサンプリング操作へ入力する特徴マップに対してダウンサンプリング操作を行い、前記ダウンサンプリング操作により出力された第１特徴マップを得て、前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得て、前記アップサンプリング操作へ入力する特徴マップに対してアップサンプリング操作を行い、前記アップサンプリング操作により出力された第２特徴マップを得て、最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定するように構成される。

可能な実現形態において、前記畳み込み処理は、膨張畳み込み操作を更に含み、前記分割モジュール３３は具体的には、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップを得て、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップに対して少なくとも一つのレベルの膨張畳み込み操作を行い、前記膨張畳み込み操作後の第３特徴マップを得るように構成され、前記膨張畳み込み操作後に得られた第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少し、前記分割モジュール３３は具体的には、前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得るように構成される。

可能な実現形態において、分割モジュール３３は具体的には、前記少なくとも一つのレベルの膨張畳み込み操作後に得られた複数の第３特徴マップに対して特徴融合を行い、第１融合特徴マップを得て、前記第１融合特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得るように構成される。

可能な実現形態において、前記分割モジュール３３は具体的には、現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得て、現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、前のレベルのアップサンプリングにより出力された第２特徴マップと、同一の特徴マップサイズでマッチングする第１特徴マップと、を融合し、第２融合特徴マップを得て、前記第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得るように構成される。

可能な実現形態において、前記装置は、前記ターゲット画像区間のターゲット画像における画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較し、比較結果を得て、前記比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定し、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整し、前記ターゲット画像における画素点に対応する画像特徴カテゴリを前記参照画像特徴カテゴリと同じであるようにするように構成される訓練モジュールを更に備える。

可能な実現形態において、前記訓練モジュールは具体的には、前記第１損失に対応する第１重み及び前記第２損失に対応する第２重みを取得し、前記第１重み及び前記第２重みに基づいて、前記第１損失及び前記第２損失に対して重み付け処理を行い、ターゲット損失を得て、前記ターゲット損失に基づいて、画像処理過程に用いられる処理パラメータを調整するように構成される。

可能な実現形態において、前記装置は、所定の収集周期で収集された画像からなる画像シーケンスを取得し、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得るように構成される前処理モジュールを更に備える。

可能な実現形態において、前記前処理モジュールは具体的には、前記画像シーケンスにおける画像の方向識別子に基づいて、前記画像シーケンスにおける画像に対して方向補正を行い、処理しようとする画像シーケンスを得るように構成される。

可能な実現形態において、前記前処理モジュールは具体的には、前記画像シーケンスにおける画像を所定サイズの画像に変換し、前記所定サイズの画像に対して中心トリミングを行い、処理しようとする画像シーケンスを得るように構成される。

可能な実現形態において、前記ターゲット画像は、骨盤コンピュータトモグラフィＣＴ画像であり、前記画像領域は、左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域のうちの１つ又は複数を含む。

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、プロセッサは、上記方法を実行するように構成される。

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

図８は一例示的な実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図８に示すように、電子機器１９００は、処理ユニット１９２２を備える。それは1つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリソースは、アプリケーションプログラムのような、処理ユニット１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理ユニット１９２２は、命令を実行して、上記方法を実行するように構成される。

電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源ユニット１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似したもののような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性又は揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理ユニット１９２２により実行されて上記方法を完了する。

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムはコンピュータ可読コードを含み、前記コンピュータコードが電子機器で実行される場合、前記電子機器におけるプロセッサは、上記方法を実行する。

本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることにも留意されたい。

以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

Claims (31)

1. 画像処理方法であって、前記方法は、
   処理しようとする画像シーケンスを取得することと、
   前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることと、
   前記ターゲット画像シーケンス区間のターゲット画像を分割し、ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することと、を含むことを特徴とする、
   画像処理方法。
2. 前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることは、
   画像シーケンスのサンプリングステップ幅を決定することと、
   前記サンプリングステップ幅に基づいて、前記画像シーケンスにおける画像を取得し、サンプリング画像を得ることと、
   前記サンプリング画像の画像特徴に基づいて、ターゲット画像特徴を有するサンプリング画像を決定することと、
   前記画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置に基づいて、前記ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得ることと、を含むことを特徴とする
   請求項１に記載の方法。
3. 前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することは、
   前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することを含むことを特徴とする
   請求項１又は２に記載の方法。
4. 前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することは、
   画像処理周期内で、前記ターゲット画像シーケンス区間内で連続する所定数量のターゲット画像及び所定の相対的位置情報に基づいて、入力情報を生成することと、
   前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像区間のターゲット画像における画素点の属する画像特徴カテゴリを決定することと、
   前記ターゲット画像における画素点の属する画像特徴カテゴリに基づいて、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定することと、を含むことを特徴とする
   請求項３に記載の方法。
5. 前記畳み込み処理は、アップサンプリング操作及びダウンサンプリング操作を含み、前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定することは、
   前記入力情報に基づいて、ダウンサンプリング操作へ入力する特徴マップを得ることと、
   前記ダウンサンプリング操作へ入力する特徴マップに対してダウンサンプリング操作を行い、前記ダウンサンプリング操作により出力された第１特徴マップを得ることと、
   前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることと、
   前記アップサンプリング操作へ入力する特徴マップに対してアップサンプリング操作を行い、前記アップサンプリング操作により出力された第２特徴マップを得ることと、
   最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定することと、を含むことを特徴とする
   請求項４に記載の方法。
6. 前記畳み込み処理は、膨張畳み込み操作を更に含み、前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることは、
   最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップを得ることと、
   少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップに対して少なくとも一つのレベルの膨張畳み込み操作を行い、前記膨張畳み込み操作後の第３特徴マップを得ることであって、前記膨張畳み込み操作後に得られた第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少する、ことと、
   前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることと、を含むことを特徴とする
   請求項５に記載の方法。
7. 前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることは、
   前記少なくとも一つのレベルの膨張畳み込み操作後に得られた複数の第３特徴マップに対して特徴融合を行い、第１融合特徴マップを得ることと、
   前記第１融合特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることと、を含むことを特徴とする
   請求項６に記載の方法。
8. 前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得ることは、
   現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることと、
   現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、前のレベルのアップサンプリングにより出力された第２特徴マップと、同一の特徴マップサイズでマッチングする第１特徴マップと、を融合し、第２融合特徴マップを得ることと、
   前記第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得ることと、を含むことを特徴とする
   請求項５に記載の方法。
9. 前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定した後、前記方法は、
   前記ターゲット画像区間のターゲット画像における画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較し、比較結果を得ることと、
   前記比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定することと、
   前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整し、前記ターゲット画像における画素点に対応する画像特徴カテゴリを前記参照画像特徴カテゴリと同じであるようにすることと、を更に含むことを特徴とする
   請求項１から８のうちいずれか一項に記載の方法。
10. 前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整することは、
    前記第１損失に対応する第１重み及び前記第２損失に対応する第２重みを取得することと、
    前記第１重み及び前記第２重みに基づいて、前記第１損失及び前記第２損失に対して重み付け処理を行い、ターゲット損失を得ることと、
    前記ターゲット損失に基づいて、画像処理過程に用いられる処理パラメータを調整することと、を含むことを特徴とする
    請求項９項に記載の方法。
11. 処理しようとする画像シーケンスを取得する前に、前記方法は、
    所定の収集周期で収集された画像からなる画像シーケンスを取得することと、
    前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得ることと、を更に含むことを特徴とする
    請求項１から１０のうちいずれか一項に記載の方法。
12. 前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得ることは、
    前記画像シーケンスにおける画像の方向識別子に基づいて、前記画像シーケンスにおける画像に対して方向補正を行い、処理しようとする画像シーケンスを得ることを含むことを特徴とする
    請求項１１に記載の方法。
13. 前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得ることは、
    前記画像シーケンスにおける画像を所定サイズの画像に変換することと、
    前記所定サイズの画像に対して中心トリミングを行い、処理しようとする画像シーケンスを得ることを含むことを特徴とする
    請求項１２に記載の方法。
14. 前記ターゲット画像は、骨盤コンピュータトモグラフィＣＴ画像であり、前記画像領域は、左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域のうちの１つ又は複数を含むことを特徴とする
    請求項１から１３のうちいずれか一項に記載の方法。
15. 画像処理装置であって、
    処理しようとする画像シーケンスを取得するように構成される取得モジュールと、前記処理しようとする画像シーケンスにおけるターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得るように構成される決定モジュールと、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成される分割モジュールと、を備えることを特徴とする、
    画像処理装置。
16. 前記決定モジュールは具体的には、
    画像シーケンスのサンプリングステップ幅を決定し、
    前記サンプリングステップ幅に基づいて、前記画像シーケンスにおける画像を取得し、サンプリング画像を得て、
    前記サンプリング画像の画像特徴に基づいて、ターゲット画像特徴を有するサンプリング画像を決定し、
    前記画像シーケンスにおける、ターゲット画像特徴を有するサンプリング画像の配列位置に基づいて、前記ターゲット画像の所在する画像シーケンス区間を決定し、ターゲット画像シーケンス区間を得るように構成されることを特徴とする
    請求項１５に記載の装置。
17. 前記分割モジュールは具体的には、
    前記ターゲット画像シーケンス区間のターゲット画像及び所定の相対的位置情報に基づいて、前記ターゲット画像シーケンス区間のターゲット画像を分割し、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成されることを特徴とする
    請求項１５又は１６に記載の装置。
18. 前記分割モジュールは具体的には、
    画像処理周期内で、前記ターゲット画像シーケンス区間内で連続する所定数量のターゲット画像及び所定の相対的位置情報に基づいて、入力情報を生成し、
    前記入力情報に対して少なくとも一つのレベルの畳み込み処理を行い、前記ターゲット画像区間のターゲット画像における画素点の属する画像特徴カテゴリを決定し、
    前記ターゲット画像における画素点の属する画像特徴カテゴリに基づいて、前記ターゲット画像区間のターゲット画像における少なくとも１つの画像特徴カテゴリに対応する画像領域を決定するように構成されることを特徴とする
    請求項１７に記載の装置。
19. 前記畳み込み処理は、アップサンプリング操作及びダウンサンプリング操作を含み、前記分割モジュールは具体的には、
    前記入力情報に基づいて、ダウンサンプリング操作へ入力する特徴マップを得て、
    前記ダウンサンプリング操作へ入力する特徴マップに対してダウンサンプリング操作を行い、前記ダウンサンプリング操作により出力された第１特徴マップを得て、
    前記ダウンサンプリング操作により出力された第１特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得て、
    前記アップサンプリング操作へ入力する特徴マップに対してアップサンプリング操作を行い、前記アップサンプリング操作により出力された第２特徴マップを得て、
    最終レベルのアップサンプリング操作により出力された第２特徴マップに基づいて、前記ターゲット画像における画素点の属する画像特徴カテゴリを決定するように構成されることを特徴とする
    請求項１８に記載の装置。
20. 前記畳み込み処理は、膨張畳み込み操作を更に含み、前記分割モジュールは具体的には、
    最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップを得て、
    少なくとも一つのレベルの膨張畳み込み操作へ入力する特徴マップに対して少なくとも一つのレベルの膨張畳み込み操作を行い、前記膨張畳み込み操作後の第３特徴マップを得るように構成され、前記膨張畳み込み操作後に得られた第３特徴マップのサイズは、畳み込み処理のレベル数の増加に伴って減少し、
    前記分割モジュールは具体的には、前記膨張畳み込み操作後に得られた第３特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得るように構成されることを特徴とする
    請求項１９に記載の装置。
21. 分割モジュールは具体的には、
    各レベルの膨張畳み込み操作後に得られた複数の第３特徴マップに対して特徴融合を行い、第１融合特徴マップを得て、
    前記第１融合特徴マップに基づいて、前記アップサンプリング操作へ入力する特徴マップを得るように構成されることを特徴とする
    請求項２０に記載の装置。
22. 前記分割モジュールは具体的には、
    現在のアップサンプリング操作が第１レベルのアップサンプリング操作である場合、最終レベルのダウンサンプリング操作により出力された第１特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得て、
    現在のアップサンプリング操作が第２レベル以上のアップサンプリング操作である場合、前のレベルのアップサンプリングにより出力された第２特徴マップと、同一の特徴マップサイズでマッチングする第１特徴マップと、を融合し、第２融合特徴マップを得て、
    前記第２融合特徴マップに基づいて、現在のアップサンプリング操作へ入力する特徴マップを得るように構成されることを特徴とする
    請求項１９に記載の装置。
23. 前記装置は、
    前記ターゲット画像区間のターゲット画像における画素点に対応する画像特徴カテゴリとアノテーションした参照画像特徴カテゴリを比較し、比較結果を得て、前記比較結果に基づいて、画像処理過程における第１損失及び第２損失を決定し、前記第１損失及び前記第２損失に基づいて、画像処理過程に用いられる処理パラメータを調整し、前記ターゲット画像における画素点に対応する画像特徴カテゴリを前記参照画像特徴カテゴリと同じであるようにするように構成される訓練モジュールを更に備えることを特徴とする
    請求項１５から２２のうちいずれか一項に記載の装置。
24. 前記訓練モジュールは具体的には、
    前記第１損失に対応する第１重み及び前記第２損失に対応する第２重みを取得し、
    前記第１重み及び前記第２重みに基づいて、前記第１損失及び前記第２損失に対して重み付け処理を行い、ターゲット損失を得て、
    前記ターゲット損失に基づいて、画像処理過程に用いられる処理パラメータを調整するように構成されることを特徴とする
    請求項２３に記載の装置。
25. 前記装置は、
    所定の収集周期で収集された画像からなる画像シーケンスを取得し、前記画像シーケンスに対して前処理を行い、処理しようとする画像シーケンスを得るように構成される前処理モジュールを更に備えることを特徴とする
    請求項１５から２４のうちいずれか一項に記載の装置。
26. 前記前処理モジュールは具体的には、前記画像シーケンスにおける画像の方向識別子に基づいて、前記画像シーケンスにおける画像に対して方向補正を行い、処理しようとする画像シーケンスを得るように構成されることを特徴とする
    請求項２５に記載の装置。
27. 前記前処理モジュールは具体的には、前記画像シーケンスにおける画像を所定サイズの画像に変換し、前記所定サイズの画像に対して中心トリミングを行い、処理しようとする画像シーケンスを得るように構成されることを特徴とする
    請求項２５に記載の装置。
28. 前記ターゲット画像は、骨盤コンピュータトモグラフィＣＴ画像であり、前記画像領域は、左寛骨領域、右寛骨領域、左大腿骨領域、右大腿骨領域及び脊椎領域のうちの１つ又は複数を含むことを特徴とする
    請求項１５から２７のうちいずれか一項に記載の装置。
29. 電子機器であって、
    プロセッサと、
    プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
    前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１から１４のうちいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。
30. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から１４のうちいずれか一項に記載の方法を実現させることを特徴とする、コンピュータ可読記憶媒体。
31. コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される場合、前記電子機器におけるプロセッサは、請求項１から１４のうちいずれか一項に記載の方法を実現することを特徴とする、コンピュータプログラム。

Images