JP2022542780A - 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品 - Google Patents

Abstract

本願の実施例は、画像処理方法及び装置、電子機器、記憶媒体及びプログラム製品に関する。前記方法は、ターゲット画像のターゲットキーポイントを取得することと、前記ターゲット画像におけるターゲット対象に対して分割を行い、前記ターゲット対象の分割結果を得ることと、前記ターゲット対象の処理タイプを取得することと、前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定することと、を含む。【選択図】図１

Description

（関連出願の相互参照）
本願は、２０２０年０７月０７日に提出された、出願番号が２０２０１０６４６７１４．５である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、画像処理技術分野に関し、特に画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。

膝関節症の患者がますます多くなることに伴い、膝関節を通る機能軸を膝関節の中央ひいては外側へ移動させて、内側の圧力を減少させ、関節置換を回避するか又は関節置換のタイミングを遅延させる高位脛骨骨切り術はますます重要になる。高位脛骨骨切り術の重要な一環は、脛骨の骨切り位置を決定することであり、脛骨の骨切り位置の正確性は、高位脛骨骨切り術の効果に大きな影響を及ぼす。

本願の実施例は、画像処理技術的解決手段を提供する。

本願の実施例の一態様によれば、画像処理方法を提供する。前記方法は、
ターゲット画像のターゲットキーポイントを取得することと、前記ターゲット画像におけるターゲット対象に対して分割を行い、前記ターゲット対象の分割結果を得ることと、前記ターゲット対象の処理タイプを取得することと、前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定することと、を含む。

可能な実現形態において、ターゲット対象のターゲットキーポイントを取得することは、前記ターゲット画像に対してキーポイント検出を行い、信頼度を含む少なくとも２つのターゲットキーポイントを得ることを含む。

ターゲット画像に対してキーポイント検出を行うことで、信頼度を含む少なくとも２つのターゲットキーポイントを得る。ターゲットキーポイントを取得すると同時に、これらのターゲットキーポイントが正確であるかどうかを決定することができる。何らかの原因（例えば、画像品質が低すぎ、ターゲットキーポイントが存在しないなど）によって、ターゲットキーポイントを正確に予測できない場合、信頼度に基づいて、正確率が低い幾つかのターゲットキーポイントに対して排除又は付加的な補完処理を行うことで、ターゲットキーポイントの正確性を向上させ、更に、後続で得られた処理パラメータの正確性を向上させることができる。

可能な実現形態において、ターゲット画像のターゲットキーポイントを取得することは、前記ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントにそれぞれ対応するヒートマップを得ることと、少なくとも２つの前記ヒートマップの対応する前記ターゲットキーポイントの座標及び信頼度を取得することと、を含む。

上記プロセスにより、ターゲットキーポイントに対応するヒートマップを得るという方式で、ターゲットキーポイントの座標及び信頼度を同時に決定することができる。処理プロセスが簡単で分かりやすく、ターゲットキーポイントの取得精度及び効率を向上させ、画像処理プロセス全体の精度及び効率を向上させる。

可能な実現形態において、ターゲット画像のターゲットキーポイントを取得することは、前記ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントのそれぞれが対応する第１ヒートマップ及び第２ヒートマップを得ることであって、前記第１ヒートマップの対応する前記ターゲットキーポイントの応答範囲は、前記第２ヒートマップの対応する前記ターゲットキーポイントの応答範囲よりも大きい、ことと、前記第１ヒートマップから、第１キーポイントを決定し、前記第１ヒートマップに基づいて、前記第１キーポイントの第１信頼度を得ることと、前記第１信頼度に基づいて、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることと、前記第２信頼度に基づいて、前記第１キーポイント又は前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記ターゲットキーポイントに対応する信頼度を得ることと、を含む。

ターゲットキーポイントに対応する第１ヒートマップ及び第２ヒートマップをそれぞれ得て、第１ヒートマップから、第１キーポイント及び対応する第１信頼度を決定し、第２ヒートマップから、第２キーポイント及び対応する信頼度を決定する。上記プロセスにより、粗い位置決め結果を有する第１ヒートマップ及び精細な位置決め結果を有する第２ヒートマップを効果的に利用し、ターゲット画像におけるターゲットキーポイントの位置及び信頼度を総合的に決定することができ、ターゲット画像におけるターゲットキーポイントの位置決め予測の正確性及び安定性を向上させ、更に、後続の画像処理結果の正確性及び安定性を向上させる。

可能な実現形態において、前記第１信頼度に基づいて、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることは、前記第１信頼度が第１信頼度閾値より大きい場合、前記第１ヒートマップにおける前記第１キーポイントの位置に基づいて、応答領域を決定し、前記第２ヒートマップの前記応答領域において第２キーポイントを決定し、前記第２ヒートマップの前記応答領域に基づいて、前記第２キーポイントの第２信頼度を得ることと、前記第１信頼度が前記第１信頼度閾値以下である場合、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることと、を含む。

上記プロセスにより、第１信頼度が第１信頼度閾値よりも大きい場合、即ち、第１ヒートマップにおいて決定された第１キーポイントの位置が正確である場合、ターゲット画像におけるターゲットキーポイントが応答領域内にある可能性が大きいため、第２ヒートマップの応答領域において第２キーポイントを直接的に決定することで、演算のデータ量を減少させることができる一方で、決定された第２キーポイントに、高い信頼度を持たせることができる。第１信頼度が第１信頼度閾値以下である場合、即ち、第１ヒートマップにおいて決定された第１キーポイントの位置の正確性が低い場合、第１ヒートマップと第２ヒートマップが互いに独立しているため、直接的に第２ヒートマップに基づいて第２キーポイントを決定することで、高い信頼度を有するターゲットキーポイントを依然として得ることもできる。従って、最終的に得られたターゲットキーポイントの正確性を大幅に向上させ、更に、画像処理精度を向上させる。

可能な実現形態において、前記第２信頼度に基づいて、前記第１キーポイント又は前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記ターゲットキーポイントに対応する信頼度を得ることは、前記第２信頼度が第２信頼度閾値よりも大きい場合、前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記第２信頼度を前記ターゲットキーポイントに対応する信頼度とすることと、前記第２信頼度が前記第２信頼度閾値以下である場合、前記第１キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記第１信頼度を前記ターゲットキーポイントに対応する信頼度とすることと、を含む。

上記プロセスにおいて、第２信頼度と第２信頼度閾値との比較によって、第１キーポイントをターゲット画像のターゲットキーポイントとするかそれとも第２キーポイントをターゲット画像のターゲットキーポイントとするかを更に選択し、ターゲット画像におけるターゲットキーポイントの信頼度を決定する。これにより、ターゲット画像におけるターゲットキーポイントの位置決め予測の正確性及び安定性を向上させ、更に、後続の画像処理結果の正確性及び安定性を向上させる。

可能な実現形態において、前記ターゲット画像に対してキーポイント検出を行うことは、前記ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うことを含む。

ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うことで、ニューラルネットワークにより、キーポイント検出プロセスを実現することができる。これにより、キーポイント検出の安定性、効率及び精度を効果的に向上させ、更に、画像処理の安定性、効率及び精度を向上させる。それと同時に、ニューラルネットワークは、キーポイント検出の実際の状況に応じて構造及び実現形態を柔軟に調整することができるため、キーポイント検出の柔軟性を向上させ、更に、画像処理方法の実現の柔軟性を向上させる。

可能な実現形態において、前記第１ニューラルネットワークは、ターゲットキーポイントの位置ラベルを含む訓練画像により訓練され、前記訓練は、前記ターゲットキーポイントの位置ラベルに基づいて、前記ターゲットキーポイント位置に対応するターゲットヒートマップを生成することと、前記訓練画像を第１ニューラルネットワークに入力し、前記第１ニューラルネットワークから出力されたヒートマップを得ることと、前記出力されたヒートマップ及び前記ターゲットヒートマップに基づいて、前記第１ニューラルネットワークの損失関数を決定することと、前記損失関数に基づいて、前記第１ニューラルネットワークの少なくとも１つのパラメータを調整することと、を含む。

ターゲットヒートマップを利用して、第１ニューラルネットワークから出力されたヒートマップに対して教師あり訓練し、第１ニューラルネットワークの損失関数を決定し、損失関数に基づいて、第１ニューラルネットワークの少なくとも１つのパラメータを調整することで、第１ニューラルネットワークにより生成されるヒートマップをターゲットヒートマップにできるだけ近づけることができ、訓練された第１ニューラルネットワークに高い精度を持たせる。更に、該訓練された第１ニューラルネットワークに基づいて得られたターゲットキーポイントの精度を向上させ、画像処理精度を向上させる。

可能な実現形態において、前記ターゲット対象の処理タイプを取得することは、前記ターゲットキーポイントに基づいて、前記ターゲット対象の処理タイプを決定することを含む。

ターゲットキーポイントに基づいてターゲット対象の処理タイプを決定することで、ターゲット対象の処理タイプの取得方式をターゲット対象及び適用シーンによって柔軟に変化させることができる。

可能な実現形態において、前記少なくとも１つの処理パラメータは、第１処理パラメータ及び第２処理パラメータを含み、前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定することは、前記処理タイプに基づいて、前記ターゲット対象の取得待ちの第１処理パラメータ及び第２処理パラメータを決定することと、少なくとも２つの前記ターゲットキーポイント及び前記分割結果に基づいて、前記第１処理パラメータを取得することと、少なくとも３つの前記ターゲットキーポイント及び前記第１処理パラメータに基づいて、前記第２処理パラメータを取得することと、を含む。

上記第１処理パラメータは、ターゲットキーポイント及び分割結果に基づいて最初に得られた処理パラメータであってもよく、第２処理パラメータは、第１処理パラメータを決定した後、ターゲットキーポイントに基づいて更に取得された処理パラメータであってもよい。これにより、処理タイプによって、異なる処理パラメータを取得することを実現し、更に、画像処理方法の実現の正確性及び柔軟性を向上させる。

可能な実現形態において、前記ターゲット画像は、前処理された画像を含み、前記前処理は、画像正規化及び／又は画像強調を含む。

画像正規化及び／又は画像強調により、前処理された画像をターゲット画像として得ることで、後続で、一致した規格及び高い画像効果を有するターゲット画像に対してターゲットキーポイントの取得及び分割を行うことに役立ち、ターゲットキーポイントの取得及び分割の実現の容易性を向上させ、ターゲットキーポイントの取得精度及び分割精度を向上させ、更に、画像処理の実現の容易性及び精度を向上させることができる。

可能な実現形態において、前記ターゲット対象は、脛骨対象を含み、前記処理タイプは、内側閉鎖式、外側閉鎖式、内側開大式又は外側開大式を含み、前記少なくとも１つの処理パラメータは、切り込み点、ヒンジ点、ターゲット機能軸、処理角度及び処理距離のうちの１つ又は複数を含む。

このように、ターゲット対象が脛骨である場合、処理タイプが内側式であるかそれとも外側であるかによって、取得待ちの第１処理パラメータにおける切り込み点の決定基準及び位置は、変化する可能性がある。処理タイプが閉鎖式であるかそれとも開大式であるかによって、取得待ちの第２処理パラメータに含まれるものは、閉鎖角度又は開大角度、閉鎖距離又は開大距離などである可能性がある。これにより、実際の適用シーンに基づいて、処理タイプ及び対応する処理パラメータを柔軟に選択し、後続の画像処理結果に、より高い処理効果を持たせる。

本願の実施例の一態様によれば、画像処理装置を提供する。前記装置は、ターゲット画像のターゲットキーポイントを取得するように構成されるターゲットキーポイント取得モジュールと、前記ターゲット画像におけるターゲット対象に対して分割を行い、前記ターゲット対象の分割結果を得るように構成される分割モジュールと、前記ターゲット対象の処理タイプを取得するように構成される処理タイプ取得モジュールと、前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定するように構成される処理パラメータ決定モジュールと、を備える。

本願の実施例の一態様によれば、電子機器を提供する。前記電子機器は、プロセッサと、プロセッサでの実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記画像処理方法を実行するように構成される。

本願の実施例の一態様によれば、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記画像処理方法を実現する。

本願の実施例の一態様によれば、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記画像処理方法を実行する。

本願の実施例において、ターゲット画像のターゲットキーポイント及びターゲット対象の処理タイプを取得し、ターゲット画像におけるターゲット対象に対して分割を行うことで、ターゲット対象の分割結果を得る。これにより、ターゲットキーポイント、分割結果及び処理タイプに基づいて、ターゲット対象の少なくとも１つの処理パラメータを決定する。上記プロセスにより、分割結果で表される、ターゲット画像におけるターゲット対象の位置と、取得されたターゲットキーポイントと、を結合することで、現在の処理タイプの場合、ターゲット対象に対するより正確な処理パラメータを得ることができ、画像処理の精度及び正確度を大幅に向上させる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の実施例の技術的解決手段を解釈することに用いられる。
本願の一実施例による画像処理方法を示すフローチャートである。 本願の一実施例による高位脛骨骨切りの原理を示す概略図である。 本願の一実施例による脛骨対象の処理タイプを示す概略図である。 本願の一実施例による高位脛骨骨切りのＸ線フィルムを示す概略図である。 本願の一実施例による第１ヒートマップ及び第２ヒートマップを示す概略図である。 本願の一実施例による処理パラメータの取得を示す概略図である。 本願の一実施例による藤沢ポイントを示す概略図である。 本願の一実施例による第２処理パラメータを示す概略図である。 本願の一適用例によるターゲットキーポイントの自動位置決めを示す概略図である。 本願の一適用例による脛骨の自動分割を示す概略図である。 本願の一実施例による画像処理装置を示すブロック図である。 本願の実施例による電子機器を示すブロック図である。 本願の実施例による電子機器を示すブロック図である。

以下、図面を参照しながら本願の実施例の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

ここで使用した「例示的」という用語は、例、実施例として用いられるか、または説明のためのものであることを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

なお、本願の実施例をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本願の実施例の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

図１は、本願の実施例による画像処理方法を示すフローチャートである。該方法は、画像処理装置に適用される。画像処理装置は、端末機器、サーバ又は他の処理機器であってもよい。ここで、端末機器は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図１に示すように、該画像処理方法は、以下を含むことができる。

ステップＳ１１において、ターゲット画像のターゲットキーポイントを取得する。

ステップＳ１２において、ターゲット画像におけるターゲット対象に対して分割を行い、ターゲット対象の分割結果を得る。

ステップＳ１３において、ターゲット対象の処理タイプを取得する。

ステップＳ１４において、ターゲットキーポイント、分割結果及び処理タイプに基づいて、ターゲット対象の少なくとも１つの処理パラメータを決定する。

ここで、ターゲット画像は、ターゲット対象を含む任意の形式の画像であってもよく、その実現形態は、ターゲット対象の実際の状況に応じて柔軟に決定されてもよい。

ターゲット対象は、処理需要を有する任意の対象であってもよく、その実現形態は、本願の実施例で提供される画像処理方法の実際適用シーンによって柔軟に決定されてもよい。可能な実現形態において、本願の実施例で提供される方法は、手術計画プロセスに適用されてもよく、その場合、ターゲット対象は、例えば、人体の幾つかの部位、器官又は組織などのような手術対象であってもよい。ターゲット画像は、手術対象を含む医用画像であってもよい。例えば、Ｘ線フィルム、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像又は磁気共鳴画像（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）などである。一例において、本願の実施例で提供される画像処理方法は、高位脛骨骨切りの手術計画プロセスに適用されてもよい。ターゲット対象は、高位骨切りを実施する必要がある部位であってもよく、即ち、脛骨対象（左脛骨であってもよく、右脛骨であってもよい。脛骨骨切りの実際需要によって決まる）などである。ターゲット画像は、これらの対象を含む医用画像であってもよい。例えば、全身Ｘ線フィルム、下肢Ｘ線フィルム又は脛骨部位のＸ線フィルムなどである。

図２は、本願の一実施例による高位脛骨骨切りの原理を示す概略図である。図２に示すように、膝変形性関節症に対する治療は４つの段階を含み、即ち、内側応力集中段階２１、脛骨近位端骨切り段階２２、機能軸の外側への移動段階２３及び内側圧力緩和段階２４がある。上記から分かるように、高位脛骨骨切りは、内側の軟骨に酷い摩耗が発生する前に、膝関節を通る機能軸を膝関節の中央ひいては外側へ移動させて、内側の圧力を減少させ、関節置換を回避するか又は関節置換のタイミングを遅延させることができる。即ち、高位脛骨骨切りの場合、人体の下肢全体が立位である時の受力状態に基づいて処理パラメータを決定する可能性がある。従って、本願の実施例において、ターゲット対象は、脛骨を対象とし、ターゲット画像を下肢Ｘ線フィルムとすることを例として画像処理プロセスを説明する。ターゲット対象が他の対象であるか又はターゲット画像が他の形式の画像である場合、後続の各実施例を参照しながら柔軟に拡張することができ、ここで、一々列挙しないようにする。

ターゲット画像のターゲットキーポイントの数の決定及び実現形態は、同様にターゲット画像の実現形態及び画像処理方法の適用シーンによって柔軟に決定してもよい。画像処理方法の適用シーンが異なるため、ターゲット画像におけるターゲットキーポイントはターゲット対象内に含まれてもよく、ターゲット対象外に位置してもよく、実際の状況に応じて決まってもよく、ここでこれを限定しないことに留意されたい。可能な実現形態において、ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨骨切りを支援するために用いられる場合、上述した実施例に記載したように、脛骨骨切りにおいて人体の下肢全体が立位である時の受力状態に基づいて処理パラメータを決定する可能性があるため、取得されるターゲットキーポイントは、ターゲット対象に属するターゲットキーポイントだけではなく、ターゲット対象外に位置するターゲットキーポイントも含み得る。可能な実現形態において、ターゲットキーポイントは、大腿骨骨頭中心ポイント、足首関節中心ポイント（足首関節の隙間内側端点と足首関節の隙間外側端点との中点と定義されてもよい）、膝関節中心ポイント（脛骨高原内側端点と脛骨高原外側端点との中点と定義されてもよい）、脛骨高原内側端点及び脛骨高原外側端点を含むことができる。可能な実現形態において、ターゲットキーポイントは、上記各ターゲットキーポイントに加えて、大腿骨大転子点、大腿骨内側顆点、大腿骨外側顆点、足首関節の隙間内側端点及び足首関節の隙間外側端点のうちの１つ又は複数などを更に含んでもよい。実施過程において、ターゲット画像のターゲットキーポイントを如何に取得するかに関する実現形態は、実際の状況に応じて柔軟に決定してもよい。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。

ターゲット対象の分割結果は、本願の実施例において限定されるものではなく、分割の実際の実現形態によって柔軟に決定してもよい。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。本願の実施例において、ステップＳ１１とステップＳ１２は互いに独立し、両者の実現順番は限定されないことに留意されたい。即ち、ターゲット対象のターゲットキーポイントを取得した後に、ターゲット画像におけるターゲット対象を分割してもよい。ターゲット対象を分割した後に、ターゲット対象のターゲットキーポイントを取得してもよい。又は、同時にターゲット対象のターゲットキーポイントを取得してターゲット対象を分割してもよい。実際の状況に応じて柔軟に選択すればよい。

ステップＳ１１により、ターゲット対象のターゲットキーポイントを取得し、ステップＳ１２により、ターゲット対象の分割結果を取得する以外に、本願の実施例において、ステップＳ１３により、ターゲット対象の処理タイプを取得することもできる。幾つかのターゲット対象について、該当する適用シーンにおいて種々の処理方式がある可能性がある。処理方式によって、決定する必要があるターゲット対象の処理パラメータも変わる。従って、ターゲット対象の実際の処理タイプを取得することで、最終的に決定されるべき処理パラメータを明確にすることができる。ターゲット対象の処理タイプは、ターゲット対象及びターゲット対象の適用シーンによって柔軟に決定してもよい。図３は、本願の一実施例による脛骨対象の処理タイプを示す概略図である。図３から分かるように、一例において、ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨の骨切りを支援するために用いられる場合、図３に示すように、脛骨対象の処理タイプは、内側閉鎖式３１、外側閉鎖式３２、内側開大式３３又は外側開大式３４などを含むことができる。実施過程において、ターゲット画像の処理方式を如何に取得するかに関する実現形態は、実際の状況に応じて柔軟に決定してもよい。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。

ターゲット画像のターゲットキーポイント、ターゲット対象の分割結果及びターゲット対象の処理タイプを得た後、ターゲットキーポイント、分割結果及び処理タイプに基づいて、ステップＳ１４により、ターゲット対象の少なくとも１つの処理パラメータを決定することができる。ここで、ターゲット対象の処理パラメータの数及び実現形態もターゲット対象の実現形態及び画像処理方法の適用シーンによって柔軟に決定してもよい。

図４は、本願の一実施例による高位脛骨骨切りのＸ線フィルムを示す概略図である。ここで、（ａ）は、両足を含む下肢長尺Ｘ線フィルムであり、（ｂ）は、高位脛骨骨切り術前の片足下肢長尺Ｘ線フィルムであり、（ｃ）は、高位脛骨骨切り術後の片足下肢長尺Ｘ線フィルムである。ここで、大腿骨骨頭中心４１と足首関節中心４２との連結線分は、下肢機能軸である。図４から分かるように、高位脛骨骨切りは、脛骨に対して骨切りを行うことで、下肢機能軸に対して矯正を行うことができる。脛骨に対して骨切りを行う必要があるため、骨切りの位置及び骨切りの長さなどを考慮する必要がある。従って、可能な実現形態において、ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨の骨切りを支援するために用いられる場合、ターゲット対象の処理パラメータは、切り込み点、ヒンジ点、ターゲット機能軸、処理角度及び処理距離のうちの１つ又は複数などを含むことができる。ここで、ターゲット機能軸は、上記実施例における下肢機能軸のターゲット位置に対応する線分であってもよい。例えば、足首関節矯正後のターゲットポイントと大腿骨骨頭中心ポイントとの連結線分などであってもよい。処理角度は、脛骨の骨切りにおける手術角度であってもよい。処理角度は、処理タイプに応じて変わる可能性があり、例えば、処理タイプが内側閉鎖式又は外側閉鎖式である場合、処理角度は、閉鎖角度であってもよく、処理タイプが内側開大式又は外側開大式である場合、処理角度は、開大角度であってもよい。同様に、処理距離は、脛骨骨切りにおける骨切り距離であってもよい。これは、処理タイプに応じて、閉鎖距離又は開大距離などに分けられてもよい。

実施過程において、如何にターゲットキーポイント、分割結果及び処理タイプに基づいて、上記１つ又は複数の処理パラメータを決定するかについて、実際の状況に応じて柔軟に決定してもよい。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。

本願の実施例において、ターゲット画像のターゲットキーポイント及びターゲット対象の処理タイプを取得し、ターゲット画像におけるターゲット対象を分割し、ターゲット対象の分割結果を得ることで、ターゲットキーポイント、分割結果及び処理タイプに基づいて、ターゲット対象の少なくとも１つの処理パラメータを決定する。上記プロセスにより、分割結果で表される、ターゲット画像におけるターゲット対象の位置と取得されたターゲットキーポイントに基づいて、現在の処理タイプの場合、ターゲット対象に対してより正確な処理パラメータを得ることができ、画像処理の精度及び正確性を大幅に向上させる。

上記実施例に記載したように、ステップＳ１１においてターゲット画像のターゲットキーポイントを取得する方式は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ステップＳ１１は、ターゲット画像に対してキーポイント検出を行い、信頼度を含む少なくとも２つのターゲットキーポイントを得ることを含むことができる。

ここで、上記各実施例に記載したように、ターゲットキーポイントの数は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ターゲット対象が脛骨である場合、ターゲットキーポイントは、少なくとも、大腿骨骨頭中心ポイント、足首関節中心ポイント、膝関節中心ポイント、脛骨高原内側端点及び脛骨高原外側端点を含むことができる。

ターゲット画像に対してターゲットキーポイント検出を行うための方式は、実際の状況に応じて柔軟に決定してもよい。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。異なるターゲットキーポイント検出は、異なる検出結果を得る可能性があり、即ち、得られたターゲットキーポイントは、十分に正確であるものではないことがある。従って、信頼度により、得られたターゲットキーポイントの正確性を表すことができる。実施過程において、ターゲットキーポイントの信頼度を如何に決定するかについて、柔軟に決定してもよい。可能な実現形態において、検出された各ターゲットキーポイントの相対的位置に基づいて、各ターゲットキーポイントの信頼度を直接決定することができる。これにより、ターゲット画像に対してターゲットキーポイント検出を行うことで、信頼度を含むターゲットキーポイントを直接得る。可能な実現形態において、他の方式により、ターゲットキーポイントの信頼度を決定することもできる。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。

ターゲット画像に対してキーポイント検出を行うことで、信頼度を含む少なくとも２つのターゲットキーポイントを得る。ターゲットキーポイントを取得すると同時に、これらのターゲットキーポイントが正確であるかどうかを決定することができる。何らかの原因（例えば、画像品質が低すぎ、ターゲットキーポイントが存在しないなど）によって、ターゲットキーポイントを正確に予測できない場合、信頼度に基づいて、正確率が低い幾つかのターゲットキーポイントに対して排除又は付加的な補完処理を行うことで、ターゲットキーポイントの正確性を向上させ、更に、後続で得られた処理パラメータの正確性を向上させることができる。

ターゲットキーポイントに対して付加的な補完処理を行うための方式は、実際の状況に応じて柔軟に決定してもよく、本願の実施例において限定しない。可能な実現形態において、欠損値の補完方法で、これらのターゲットキーポイントを補完することができ、即ち、信頼度が高いターゲットキーポイントを利用して推定を行い、信頼度が低いターゲットキーポイントの特徴ベクトルを決定し、続いて、信頼度が低いターゲットキーポイントの位置を決定する。

可能な実現形態において、ステップＳ１１は、ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントにそれぞれ対応するヒートマップを得ることと、少なくとも２つのヒートマップの対応するターゲットキーポイントの座標及び信頼度を取得することと、を含むことができる。

ここで、ヒートマップは、ターゲットキーポイントの応答ヒートマップであってもよい。可能な実現形態において、ヒートマップのサイズは、ターゲット画像と一致してもよい。ヒートマップにおいて、ターゲットキーポイントの位置に近い画素点は、より高い応答値を有することができ、これにより、ヒートマップにおける各画素点の応答値により、ターゲット画像におけるターゲットキーポイントの位置を決定することができる。ターゲット画像に対してキーポイント検出を行うことでヒートマップを得るための方式は、実際の状況に応じて柔軟に決定してもよい。ここで、詳しく説明しない。その詳細は、後続の各実施例を参照する。

上述各実施例に記載したように、ターゲットキーポイントの数は、１つであってもよく、複数であってもよい。従って、これに対応して、ヒートマップの数も実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、各ターゲットキーポイントに基づいて対応するヒートマップをそれぞれ得ることができ、即ち、各ターゲットキーポイントはそれぞれ１つのヒートマップに対応する。可能な実現形態において、全てのターゲットキーポイントに基づいて、対応するヒートマップを得ることもでき、即ち、１つのヒートマップに全てのターゲットキーポイントが含まれる。後続の各実施例において、各ターゲットキーポイントがそれぞれ１つのヒートマップに対応する実現プロセスを例として説明する。１つのヒートマップに全てのターゲットキーポイントが含まれる実現プロセスは、後続の各実施例を参照しながら拡張してもよく、ここで、詳細な説明を省略する。

各ターゲットキーポイントがそれぞれ１つのヒートマップに対応する場合、ヒートマップに基づいて対応するターゲットキーポイントの座標を如何に決定するかについて、実際の状況に応じて柔軟に決定してもよく、下記各実施例に限定されない。

可能な実現形態において、ヒートマップにおいて最も高い応答値を有する画素点をターゲットキーポイントとすることができる。従って、ヒートマップにおける、最も高い応答値を有する該画素点の座標を、ターゲット画像におけるターゲットキーポイントの座標とすることができる。可能な実現形態において、まず、ヒートマップに基づいて、ヒートマップにおける高応答性領域を決定することもできる。高応答性領域の決定方式は、実際の状況に応じて柔軟に決定してもよい。例えば、ヒートマップにおける各画素点をトラバーサルし、応答値が所定の閾値より高い画素点を高応答性領域における画素点とすることで、ヒートマップにおいて高応答性領域を決定することができる。ヒートマップの高応答性領域を決定した後、更に、高応答性領域の重心をターゲットキーポイントとすることができる。従って、ヒートマップにおける該高応答性領域の重心の座標を、ターゲット画像におけるターゲットキーポイントの座標とすることができる。

もう１つの可能な実現形態において、ターゲットキーポイントの座標を得ると同時に、ターゲットキーポイントの信頼度を得ることもできる。信頼度の定義は、上記各実施例を参照することができる。ターゲットキーポイントの信頼度を得るための方式も上記各実施例に記載したように、柔軟に決定してもよい。本願の実施例において、ターゲットキーポイントに対応するヒートマップを得ることで、ターゲットキーポイントの座標を決定することができるため、可能な実現形態において、更に、ヒートマップを利用して、ターゲットキーポイントの信頼度を決定することができる。実施過程において、ヒートマップに基づいてターゲットキーポイントの信頼度を如何に決定するかについて、その実現形態は、実際の状況に応じて柔軟に決定してもよく、下記各実施例に限定されない。

可能な実現形態において、ヒートマップに基づいてターゲットキーポイントの信頼度を決定するプロセスは、ターゲットキーポイントの応答値に基づいて、ヒートマップから、ターゲットキーポイントを含む少なくとも１つの領域を選択することと、ターゲットキーポイントの応答値及びターゲットキーポイントを含む少なくとも１つの領域の領域パラメータに基づいて、ターゲットキーポイントの信頼度を決定することと、を含むことができる。

ここで、ヒートマップから選択された、ターゲットキーポイントを含む領域の選択方式は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ターゲットキーポイントの応答値をｍと表記してもよい。ヒートマップにおいて、画素点がターゲットキーポイントに近いほど、その応答値は高くなるため、ヒートマップをトラバーサルすることで、応答値がａ_ｉ＊ｍより大きい画素点を選択することができ、従って、これらの画素点からなる領域がターゲットキーポイントを含むことができる。ａ_ｉの値を変更することで、ターゲットキーポイントを含む複数の異なる領域を得ることができる。ａ_ｉの値及び選択されたターゲットキーポイントを含む領域の数は、実際の状況に応じて柔軟に決定してもよく、下記各実施例に限定されない。一例において、ターゲットキーポイントを含む４つの領域を選択してもよい。従って、ターゲットキーポイントを含む該４つの領域は、４つのａ_ｉの値にそれぞれ対応してもよく、それぞれ、ａ_０、ａ_１、ａ_２及びａ_３と表記される。一例において、該４つのａ_ｉの値は、ａ_０＝０．８、ａ_１＝０．６、ａ_２＝０．４、ａ_３＝０．２としてもよい。

ターゲットキーポイントを含むこれらの領域を得た後、これらの領域の領域パラメータを決定し、決定された領域パラメータ及びターゲットキーポイントの応答値に基づいて、ターゲットキーポイントの信頼度を決定することができる。ターゲットキーポイントを含む領域の領域パラメータの実現形態は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、領域パラメータは、領域の周長ｃ_ｉであってもよい。可能な実現形態において、領域パラメータは、領域の面積ｓ_ｉであってもよい。可能な実現形態において、領域パラメータは、領域の周長及び面積に基づいて、共同で決定されたパラメータであってもよく、例えば、ｓ_ｉ／ｃ_ｉ ^２である。

領域パラメータの実現形態に応じて、ターゲットキーポイントの信頼度を決定する方式も柔軟に変わってもよい。一例において、領域パラメータは、領域の周長及び面積に基づいて共同で決定されたパラメータである場合、ターゲットキーポイントの信頼度の演算方式は、下記式（１）に示す通りであってもよい。

ここで、Ｃｏｎｆｉｄｅｎｃｅは、ターゲットキーポイントの信頼度であり、πは、円周率であり、ｍは、ターゲットキーポイントの応答値であり、Ｍは、所定のターゲットキーポイントのターゲット応答値であり、ｓ_ｉは、ターゲットキーポイントを含む領域の面積であり、ｃ_ｉは、ターゲットキーポイントを含む領域の周長である。

上記実施例から分かるように、可能な実現形態において、ターゲットキーポイントを含む複数の領域の領域パラメータにより、ターゲットキーポイントの信頼度を決定することができる。可能な実現形態において、他の方式で、ターゲットキーポイントの信頼度を決定することもできる。可能な実現形態において、ヒートマップに基づいてターゲットキーポイントの信頼度を決定するプロセスは、ターゲットキーポイントの座標に基づいて、ターゲットキーポイントの位置に対応するターゲットヒートマップを生成することと、ターゲットキーポイントに対応するヒートマップに対して正規化を行い、第１確率分布を得ることと、ターゲットヒートマップに対して正規化を行い、第２確率分布を得ることと、第１確率分布と第２確率分布との相関係数をターゲットキーポイントの信頼度とすることと、を含むことができる。

ここで、ターゲットキーポイントに対応するヒートマップは、ターゲット画像に対してキーポイント検出を行うことで得られたヒートマップである。ターゲットヒートマップは、ターゲットキーポイントの座標に基づいて生成されたヒートマップであり、即ち、該ヒートマップにおいて決定されたターゲットキーポイントの座標に基づいて、逆にヒートマップを生成してターゲットヒートマップとすることができる。ターゲットキーポイントの座標に基づいてターゲットヒートマップを生成するための方式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、ターゲットキーポイントの座標によって、二次元ガウス関数に基づいて、ターゲットヒートマップを生成することができる。二次元ガウス関数の実現形態は、実際の状況に応じて柔軟に決定してもよい。一例において、ターゲットキーポイントの座標に基づいてターゲットヒートマップを生成する形態は、下記式（２）に示す通りであってもよい。

ここで、ｆ（ｘ，ｙ）は、ターゲットヒートマップに対応する二次元ガウス分布関数であり、ｘは、ターゲットヒートマップにおける画素点の横座標であり、ｙは、ターゲットヒートマップにおける画素点の縦座標であり、Ｍは、所定のターゲットキーポイントのターゲット応答値であり、ｘ_０は、ターゲットキーポイントの横座標であり、ｙ_０は、ターゲットキーポイントの縦座標であり、ｅは、ネイピア数であり、σは、所定のターゲットキーポイントの応答範囲である。

ターゲットヒートマップを得た後、ヒートマップ及びターゲットヒートマップに対してそれぞれ正規化を行い、ヒートマップの第１確率分布及びターゲットヒートマップの第２確率分布を得て、第１確率分布と第２確率分布との相関係数をターゲットキーポイントの信頼度とすることができる。

ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントにそれぞれ対応するヒートマップを得て、更に、少なくとも２つのヒートマップの対応するターゲットキーポイントの座標及び信頼度を取得する。上記プロセスにより、ヒートマップに基づいて、ターゲットキーポイントの座標及び信頼度を同時に取得することができる。処理プロセスが簡単で分かりやすく、ターゲットキーポイントの取得精度及び効率を向上させ、画像処理プロセス全体の精度及び効率を向上させる。

可能な実現形態において、ステップＳ１１は、以下を含むことができる。

ステップＳ１１１において、ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントのそれぞれが対応する第１ヒートマップ及び第２ヒートマップを得て、第１ヒートマップの対応するターゲットキーポイントの応答範囲は、第２ヒートマップの対応するターゲットキーポイントの応答範囲よりも大きい。

ステップＳ１１２において、第１ヒートマップから、第１キーポイントを決定し、第１ヒートマップに基づいて、第１キーポイントの第１信頼度を得る。

ステップＳ１１３において、第１信頼度に基づいて、第２ヒートマップから、第２キーポイントを決定し、第２ヒートマップに基づいて、第２キーポイントの第２信頼度を得る。

ステップＳ１１４において、第２信頼度に基づいて、第１キーポイント又は第２キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、ターゲットキーポイントに対応する信頼度を得る。

ここで、第１ヒートマップ及び第２ヒートマップは、ターゲット画像に対してキーポイント検出を行うことで生成された、ターゲットキーポイントに対応する２つのヒートマップであってもよい。上記各実施例に記載したように、ターゲットキーポイントの数は、複数であり得るため、可能な実現形態において、各ターゲットキーポイントに対して、該ターゲットキーポイントが対応する第１ヒートマップ及び第２ヒートマップをそれぞれ生成することができる。これにより、各ターゲットキーポイントに対して、それに対応する２つのヒートマップに基づいて該ターゲットキーポイントの位置及び信頼度をそれぞれ決定することができる。可能な実現形態において、そのうちの一部のターゲットキーポイントを選択し、続いて、選択されたこれらのターゲットキーポイントに基づいて、該ターゲットキーポイントに対応する第１ヒートマップ及び第２ヒートマップをそれぞれ生成することもできる。可能な実現形態において、全てのターゲットキーポイントに対して、全体的な第１ヒートマップ及び第２ヒートマップを生成することもでき、即ち、第１ヒートマップ及び第２ヒートマップに全てのターゲットキーポイントの応答位置が含まれる。これにより、該２つの全体的な第１ヒートマップ及び第２ヒートマップに基づいて、各ターゲットキーポイント又は一部のターゲットキーポイントの位置及び信頼度を決定する。後続の各実施例において、各ターゲットキーポイントに対して該ターゲットキーポイントに対応する第１ヒートマップ及び第２ヒートマップをそれぞれ生成することを例として説明する。その他の状況は、後続の各実施例を参照しながら拡張することができ、ここで、詳細な説明を省略する。

上記実施例に記載したように、可能な実現形態において、第１ヒートマップの対応するターゲットキーポイントの応答範囲は、第２ヒートマップの対応するターゲットキーポイントの応答範囲よりも大きい。即ち、第１ヒートマップと第２ヒートマップが同一のターゲットキーポイントに対応する場合、第１ヒートマップで表されるターゲットキーポイントの可能な位置範囲は、第２ヒートマップで表される位置範囲よりも大きい。図５は、本願の一実施例による第１ヒートマップ及び第２ヒートマップを示す概略図である。ここで、（ａ）は、第１ヒートマップであり、（ｂ）は、第２ヒートマップである。これから分かるように、第１ヒートマップ及び第２ヒートマップはいずれも、ターゲットキーポイントがヒートマップの中央の右側の位置にあることを表し、第１ヒートマップによって画定されたターゲットキーポイントの範囲は、第２ヒートマップによって画定されたターゲットキーポイントの範囲よりも大きい。即ち、第１ヒートマップで、ターゲットキーポイントに対して大ざっぱな位置決めを行うことができ、第２ヒートマップで、ターゲットキーポイントに対して精細な位置決めを行うことができる。

第１キーポイントは、第１ヒートマップに基づいて決定されたターゲットキーポイントであってもよく、その信頼度は、第１信頼度と表記されてもよい。第２キーポイントは、第２ヒートマップに基づいて決定されたターゲットキーポイントであってもよく、その信頼度は、第２信頼度と表記されてもよい。同一のターゲットキーポイントに対してそれぞれ生成された第１ヒートマップ及び第２ヒートマップにとって、決定された第１キーポイント及び第２キーポイントはターゲット画像における同一のターゲットキーポイントにそれぞれ対応する。それらが第１ヒートマップ及び第２ヒートマップのそれぞれに基づいて生成されたものであるため、第１キーポイントと第２キーポイントの座標及び対応する信頼度に若干の差異がある可能性がある。従って、更に、第１キーポイント及び第２キーポイントの位置及び信頼度に基づいて、ターゲット画像におけるターゲットキーポイントの位置及び信頼度を最終的に得ることができる。

ターゲットキーポイントに対応する第１ヒートマップ及び第２ヒートマップをそれぞれ得て、第１ヒートマップから、第１キーポイント及び対応する第１信頼度を決定し、第２ヒートマップから、第２キーポイント及び対応する信頼度を決定する。上記プロセスにより、大ざっぱな位置決め結果を有する第１ヒートマップ及び精細な位置決め結果を有する第２ヒートマップを効果的に利用して、ターゲット画像におけるターゲットキーポイントの位置及び信頼度を総合的に決定することができ、ターゲット画像におけるターゲットキーポイントの位置決めの予測の正確性及び安定性を向上させ、更に、後続の画像処理結果の正確性及び安定性を向上させる。

幾つかの実施形態において、ステップＳ１１２において第１ヒートマップに基づいて、第１信頼度を含む第１キーポイントを得るための方式は、上記実施例におけるヒートマップに基づいてターゲットキーポイントの座標及び信頼度を決定するための方式を参照することができ、ここで、詳細な説明を省略する。第１キーポイント及び第１信頼度を決定した後、第１信頼度に基づいて、ステップＳ１１３により、第２ヒートマップから、第２キーポイントを決定し、第２信頼度を得ることができる。ステップＳ１１３の実現方式は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ステップＳ１１３は、
第１信頼度が第１信頼度閾値より大きい場合、第１ヒートマップにおける第１キーポイントの位置に基づいて、応答領域を決定し、第２ヒートマップの該応答領域から第２キーポイントを決定し、第２ヒートマップの該応答領域に基づいて、第２キーポイントの第２信頼度を得ることと、第１信頼度が第１信頼度閾値以下である場合、第２ヒートマップから、第２キーポイントを決定し、第２ヒートマップに基づいて、第２キーポイントの第２信頼度を得ることと、を含むことができる。

上記実施例から分かるように、可能な実現形態において、第１信頼度と第１信頼度閾値との比較によって、異なる方式で、第２ヒートマップから、第２キーポイント及び対応する第２信頼度を決定することができる。ここで、第１信頼度閾値の値は、本願の実施例において限定されず、実際の状況に応じて柔軟に決定してもよい。一例において、第１信頼度閾値を０．５としてもよい。

第１信頼度が第１信頼度閾値より大きい場合、第１ヒートマップにおいて決定された第１キーポイントの位置が正確であることを表すことができる。従って、更に、第１ヒートマップで表される第１キーポイントの位置に基づいて、応答領域を決定し、更に、第２ヒートマップにおいて、該応答領域の位置に基づいて、第２キーポイントを決定し、第２キーポイントの第２信頼度を得ることができる。

ここで、応答領域は、第１ヒートマップにおける第１キーポイントの位置に基づいて画定された所定の範囲であってもよい。該所定の範囲の大きさは、実際の状況に応じて柔軟に決定してもよく、本願の実施例は、これを限定しない。第１ヒートマップと第２ヒートマップは、同一のキーポイントに対するヒートマップであるため、第１ヒートマップと第２ヒートマップにおける応答領域の位置は一致しており、即ち、第１ヒートマップの応答領域は第２ヒートマップに直接対応付けることができる。可能な実現形態において、第２ヒートマップにおける応答領域外に位置する画素点の応答値を０とすることができ、それによって、第２ヒートマップにおける応答領域を保留し、他の領域を排除することができる。

応答領域を第２ヒートマップに対応付けた後、第２ヒートマップの応答領域に基づいて第２キーポイントを決定し、第２ヒートマップの応答領域に基づいて第２キーポイントの第２信頼度を得ることができる。実施プロセスにおいて第２キーポイント及び第２信頼度を得るための方式も上記各実施例を参照することができ、ここで、詳細な説明を省略する。

第１信頼度が第１信頼度閾値以下である場合、第１ヒートマップにおいて決定された第１キーポイントの位置の正確性が低いことを表す。この場合、第１ヒートマップに対応する結果を考慮することなく、第２ヒートマップに基づいて第２キーポイント及び第２信頼度を直接決定することができる。第２ヒートマップに基づいて第２キーポイント及び第２信頼度を決定するための方式も上記各実施例を参照することができ、ここで、詳細な説明を省略する。

第１信頼度が第１信頼度閾値より大きい場合、第１キーポイントの位置に基づいて応答領域を決定し、そして、第２ヒートマップの応答領域に基づいて、第２キーポイント及び第２信頼度を決定する。第１信頼度が第１信頼度閾値以下である場合、第２ヒートマップに基づいて第２キーポイント及び第２信頼度を直接決定する。上記プロセスにより、第１信頼度が第１信頼度閾値よりも大きい場合、即ち、第１ヒートマップにおいて決定された第１キーポイントの位置が正確である場合、ターゲット画像におけるターゲットキーポイントが応答領域内に位置している可能性が大きいため、第２ヒートマップの該応答領域において第２キーポイントを直接決定することで、演算のデータ量を減少させることができ、しかも、決定された第２キーポイントに、高い信頼度を持たせることができる。第１信頼度が第１信頼度閾値以下である場合、即ち、第１ヒートマップにおいて決定された第１キーポイントの位置の正確性が低い場合、第１ヒートマップと第２ヒートマップが互いに独立しているため、第２ヒートマップに基づいて第２キーポイントを直接決定することで、高い信頼度を有するターゲットキーポイントを依然として得ることもできる。従って、最終的に得られたターゲットキーポイントの正確性を大幅に向上させ、更に、画像処理精度を向上させる。

可能な実現形態において、ステップＳ１１３は、他の方式で実現してもよい。例えば、第１信頼度の大きさを考慮することなく、直接的に第２ヒートマップに基づいて第２キーポイント及び第２信頼度を得る。

第１キーポイント及び対応する第１信頼度、第２キーポイント及び対応する第２信頼度をそれぞれ得た後、ステップＳ１１４で、第２信頼度に基づいて、第１キーポイント又は第２キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、ターゲットキーポイントに対応する信頼度を得ることができる。ステップＳ１１４の実現方式は実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ステップＳ１１４は、第２信頼度が第２信頼度閾値よりも大きい場合、第２キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、第２信頼度をターゲットキーポイントに対応する信頼度とすることと、第２信頼度が第２信頼度閾値以下である場合、第１キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、第１信頼度をターゲットキーポイントに対応する信頼度とすることと、を含むことができる。

上記実施例から分かるように、可能な実現形態において、第２信頼度と第２信頼度閾値との比較によって、第１キーポイントをターゲット画像のターゲットキーポイントとするか、それとも第２キーポイントをターゲット画像のターゲットキーポイントとするかを決定することができる。ここで、第２信頼度閾値の値は、本願の実施例において限定されず、実際の状況に応じて柔軟に決定してもよい。一例において、第２信頼度閾値を０．５としてもよい。一例において、第１信頼度の値を第２信頼度閾値としてもよい。

第２信頼度が第２信頼度閾値より大きい場合、第２ヒートマップにおいて決定された第２キーポイントの位置が正確であることを表すため、第２キーポイントをターゲット画像のターゲットキーポイントとし、第２キーポイントの第２信頼度をターゲット画像におけるターゲットキーポイントの信頼度とすることができる。第２信頼度が第２信頼度閾値以下である場合、第２ヒートマップにおいて決定された第２キーポイントの正確性が低いことを表し、この場合、第１キーポイントをターゲット画像のターゲットキーポイントとし、第１キーポイントの第１信頼度をターゲット画像におけるターゲットキーポイントの信頼度とすることができる。

第１ヒートマップはターゲットキーポイントに対して大ざっぱな位置決めを行うことができ、第２ヒートマップはターゲットキーポイントに対して精細な位置決めを行うことができるため、上記プロセスにより、ターゲットキーポイントに対して精細な位置決めを行った結果が正確である場合、精細な位置決め結果によりターゲットキーポイントを決定し、精細な位置決めを行った結果の正確性が低い場合、大ざっぱな位置決め結果によりターゲットキーポイントを決定することができ、これにより、最終的に得られたターゲットキーポイントの正確性を最大限向上させ、更に、画像処理の精度を向上させることができる。

幾つかの実施例において、ステップＳ１１の上記いずれの実現形態であっても、ターゲット画像に対してキーポイント検出を行うことでターゲットキーポイント又はターゲットキーポイントのヒートマップを得ることができる。幾つかの実施形態において、ターゲット画像に対してキーポイント検出を行うための方式は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、特定のキーポイント検出アルゴリズム又はキーポイントヒートマップ生成アルゴリズムにより実現してもよい。可能な実現形態において、ニューラルネットワークによりターゲットキーポイントの検出を実現してもよい。従って、可能な実現形態において、ターゲット画像に対してキーポイント検出を行うことは、ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うことを含むことができる。

ここで、第１ニューラルネットワークは、キーポイント検出機能を有するネットワークであってもよい。その実際の実現機能は、ステップＳ１１の実現形態によって柔軟に変わってもよい。例えば、可能な実現形態において、第１ニューラルネットワークは、ターゲット画像に基づいてターゲットキーポイントの座標及びターゲットキーポイントの信頼度を直接生成することができる。可能な実現形態において、第１ニューラルネットワークは、ターゲット画像に基づいて、ターゲットキーポイントにそれぞれ対応する複数のヒートマップを生成することもできる。第１ニューラルネットワークにより生成されたヒートマップに対して後処理を行うことで、ターゲットキーポイントの座標及び信頼度を得る。可能な実現形態において、第１ニューラルネットワークは、ターゲット画像に基づいて、各ターゲットキーポイントにそれぞれ対応する複数の第１ヒートマップ及び第２ヒートマップを生成し、第１ヒートマップ及び第２ヒートマップに対して後処理を行うことで、ターゲットキーポイントの座標及び信頼度を得ることもできる。

第１ニューラルネットワークの実現形態はその機能及び実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、第１ニューラルネットワークは、エンコーダ、デコーダ及びスキップ接続構造を含むＵｎｅｔニューラルネットワークにより実現してもよい。可能な実現形態において、第１ニューラルネットワークは、Ｖｎｅｔなどのような他のニューラルネットワークモデルにより実現してもよい。

ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うことで、ニューラルネットワークにより、キーポイント検出プロセスを実現することができる。これにより、キーポイント検出の安定性、効率及び精度を効果的に向上させ、更に、画像処理の安定性、効率及び精度を向上させる。それと同時に、ニューラルネットワークは、キーポイント検出の実際の状況に応じて構造及び実現形態を柔軟に調整することができるため、キーポイント検出の柔軟性を向上させ、更に、画像処理方法の実現の柔軟性を向上させる。

第１ニューラルネットワークの実現機能及び実現形態に応じて、第１ニューラルネットワークの訓練方式も柔軟に変わってもよい。可能な実現形態において、第１ニューラルネットワークは、ターゲット画像に基づいて各ターゲットキーポイントに対応する複数のヒートマップを生成する機能を実現することができる場合、ターゲットキーポイントの位置ラベルを含む訓練画像により、第１ニューラルネットワークを訓練することができる。該訓練プロセスは、ターゲットキーポイントの位置ラベルに基づいて、ターゲットキーポイント位置に対応するターゲットヒートマップを生成することと、訓練画像を第１ニューラルネットワークに入力し、第１ニューラルネットワークから出力されたヒートマップを得ることと、出力されたヒートマップ及びターゲットヒートマップに基づいて、第１ニューラルネットワークの損失関数を決定することと、損失関数に基づいて、第１ニューラルネットワークの少なくとも１つのパラメータを調整することと、を含むことができる。

ここで、ターゲットキーポイントの位置ラベルは、訓練画像におけるターゲットキーポイントの実際の位置を表すことができる。ターゲットキーポイントの位置ラベルにより生成されたターゲットヒートマップは、ターゲットキーポイントの応答状況を正確に表すことができる。ターゲットキーポイントの位置ラベルに基づいてターゲットヒートマップを生成するための方式は、上記実施例におけるターゲットキーポイントの座標に基づいてターゲットヒートマップを生成するプロセスを参照することができる。ここで、詳細な説明を省略する。

ターゲットヒートマップを得た後、ターゲットヒートマップ、及び第１ニューラルネットワークが訓練画像に基づいて出力されたヒートマップに基づいて、第１ニューラルネットワークの損失関数を決定することができる。第１ニューラルネットワークの損失関数を決定するための方式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。一例において、二乗平均誤差損失関数により、第１ニューラルネットワークの損失関数を得ることができる。第１ニューラルネットワークの損失関数を得た後、損失関数に基づいて、第１ニューラルネットワークの少なくとも１つのパラメータを調整することができる。パラメータ調整方式は柔軟であり、下記実施例に限定されない。一例において、逆伝播及びランダム勾配降下法で、第１ニューラルネットワークのパラメータを逆方向調整することができる。

ターゲットヒートマップを利用して、第１ニューラルネットワークから出力されたヒートマップに対して教師あり訓練を行い、第１ニューラルネットワークの損失関数を決定し、損失関数に基づいて、第１ニューラルネットワークの少なくとも１つのパラメータを調整することで、第１ニューラルネットワークにより生成されるヒートマップをターゲットヒートマップにできるだけ近づけ、訓練された第１ニューラルネットワークに高い精度を持たせることができ。更に、該訓練された第１ニューラルネットワークに基づいて得られたターゲットキーポイントの精度を向上させ、画像処理精度を向上させる。

第１ニューラルネットワークが実現できる機能が変わった場合、第１ニューラルネットワークの訓練プロセスも変わる。上記各実施例に基づいて柔軟に拡張することができる。ここで、詳細な説明を省略する。第１ニューラルネットワークは、ターゲット画像に基づいて第１ヒートマップ及び第２ヒートマップを生成するという機能を実現できる場合、その訓練プロセスにおいて、ターゲットキーポイントの位置ラベルに基づいて生成されたターゲットヒートマップは、第１ターゲットヒートマップ及び第２ターゲットヒートマップであってもよい。第１ターゲットヒートマップ及び第２ターゲットヒートマップを上記実施例に記載の二次元ガウス関数により生成することができる。一例において、σの値を調整することで、第１ヒートマップにおけるターゲットキーポイントの応答範囲を第２ヒートマップにおけるターゲットキーポイントの応答範囲よりも大きくすることができ、即ち、一例において、第１ターゲットヒートマップの生成関数におけるσの値を、第１ターゲットヒートマップの生成関数におけるσの値より大きくしてもよく、残りのパラメータ値は、同じままであってもよい。

ステップＳ１２においてターゲット画像におけるターゲット対象に対して分割を行い、ターゲット対象の分割結果を得るための実現形態は、実際の状況に応じて柔軟に決定してもよく、下記各実施例に限定されない。可能な実現形態において、画素階調値に基づく方法で、ターゲット対象に対して分割を行うことができる。可能な実現形態において、レベルセット、アクティブ輪郭モデル又は領域拡張法の方法で、ターゲット対象に対して分割を行うことができる。可能な実現形態において、分割機能を有するニューラルネットワークにより、ターゲット対象の分割を実現することもできる。従って、一例において、ステップＳ１２は、ターゲット画像を第２ニューラルネットワークに入力してターゲット対象分割を行い、ターゲット対象の分割結果を得ることを含むことができる。

ここで、第２ニューラルネットワークは、ターゲット対象予測分割機能を有するニューラルネットワークであってもよい。その実現形態は実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、第２ニューラルネットワークは、名称がＴｉｒａｍｉｓｕである完全畳み込みニューラルネットワークにより実現してもよい。Ｔｉｒａｍｉｓｕニューラルネットワークは、ダウンサンプリング経路、アップサンプリング経路及びスキップ接続構造を有し、また、ＤｅｎｓｅＮｅｔ構造における緻密ブロック（Ｄｅｎｓｅ Ｂｌｏｃｋ）を畳み込みブロックとする。より高い特徴多重化効果を有し、ロバスト性がより高い特徴を得ることができる。ここで、緻密ブロックにカスケード畳み込み層が含まれる。且つ各畳み込み層の入力と入力をマージして次の畳み込み層の入力とする。

第２ニューラルネットワークの訓練方式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、クロスエントロピー損失関数により、第２ニューラルネットワークから生成された分割結果に対して教師あり訓練を行い、逆伝播又はランダム勾配降下法で訓練を行い、第２ニューラルネットワークで生成された分割結果を手動でアノテーションされた大腿骨分割基準にできるだけ近づけることができる。

ターゲット画像を第２ニューラルネットワークに入力し、ターゲット画像の分割結果を得ることで、ターゲット対象の分割精度及びロバスト性を効果的に向上させることができ、更に、画像処理の精度及びロバスト性を向上させることができる。

上記各実施例に記載したように、可能な実現形態において、ターゲット対象は、脛骨対象のような、人体において両側構造を有する対象であってもよい。従って、ターゲット対象に対して分割を行った後、左脛骨と右脛骨の全体的分割結果である可能性がある。後続の画像処理の需要に応じて、得られた分割結果に対して後処理を更に行い、左右の２つの分割結果を切り離すこともできる。分割結果に対して後処理を行うための方式は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、第２ニューラルネットワークにより生成された脛骨分割結果に基づいて連結領域を算出し、面積が最も大きい２つの連結領域を保留し、重心が左側にある連結領域を左側脛骨分割結果とし、重心が右側にある連結領域を右側脛骨分割結果とすることができる。

可能な実現形態において、第２ニューラルネットワークは、左右脛骨分割機能を直接的に実現することもできる。即ち、ターゲット画像を第２ニューラルネットワークに入力した後、第２ニューラルネットワークは、そのうちの左側脛骨対象又は右側脛骨対象を自動的に認識し、左側脛骨対象及び右側脛骨対象に対してそれぞれ分割を行い、左側脛骨分割結果及び右側脛骨分割結果をそれぞれ出力することができる。

ターゲット対象のターゲットキーポイント及びターゲット対象の分割結果を取得する以外に、ステップＳ１３によりターゲット対象の処理タイプを取得することもできる。ターゲット対象の処理タイプの取得方式は、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ステップＳ１３は、ターゲットキーポイントに基づいて、ターゲット対象の処理タイプを決定することを含むことができる。

上記実施例に記載したように、ターゲット対象の処理タイプは、ターゲット対象及びターゲット対象の適用シーンによって柔軟に決定してもよい。従って、これに対応して、ターゲット対象の処理タイプの取得方式は、ターゲット対象及び適用シーンによって柔軟に変わってもよい。

可能な実現形態において、ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨の骨切りを支援するために用いられる場合、ターゲット対象の実際の状態に基づいて、ターゲット対象の処理タイプを決定することができる。上記実施例に記載したように、高位脛骨骨切りを行う場合、人体の下肢全体の受力状態を考慮する必要があるため、高位脛骨骨切りタイプを選択する場合、人体の下肢の現在の受力状態又は受力状況を考慮する必要もある。可能な実現形態において、ターゲットキーポイントにより、人体の下肢の現在の受力状態を決定し、続いて、適切な処理タイプを決定することができる。

ターゲットキーポイントに基づいてターゲット対象の処理タイプを如何に決定するかについて、その実現プロセスは、実際の状況に応じて柔軟に決定してもよい。可能な実現形態において、ターゲットキーポイントの位置に基づいて、処理タイプに関わる演算パラメータを算出し、これらの演算パラメータをマンマシンインタフェースにフィードバックすることができる。関係者は、マンマシンインタフェースにフィードバックされた演算パラメータに基づいて、処理タイプを経験によって決定し、マンマシンインタフェースにより、選択された処理タイプを画像処理装置に伝達し、処理タイプの取得を実現することができる。可能な実現形態において、ターゲットキーポイントの位置に基づいて、処理タイプに関わる演算パラメータを算出し、演算パラメータに基づいて、処理タイプを直接算出することができる。可能な実現形態において、ターゲットキーポイントに基づいて演算を行うことで、一部の処理タイプを決定することもでき、例えば、一部の実現不可能な処理タイプを排除し、例を挙げると、高位脛骨骨切りの処理タイプを決定する場合、ターゲットキーポイントに基づいて、人体の下肢が内反膝（例えば、Ｏ脚）であると決定した場合、処理タイプが内側閉鎖式と外側開大式ではないと決定することができる。この場合、処理タイプは、内側開大式と外側閉鎖式を更に含んでもよく、ひいては、内側開大式の遠位大腿骨骨切り又は外側閉鎖式遠位大腿骨骨切りなどのような他の手術方式を含むことができる。幾つかの可能な実施例において、一部の処理タイプを排除した後、残りの選択可能な処理タイプを上記実施例に記載の方式でマンマシンインタフェースにフィードバックし、関係者の選択に基づいて、処理タイプを最終的に取得することもできる。可能な実現形態において、ターゲットキーポイント及び処理タイプのラベルを含む訓練画像により訓練を行い、処理タイプを決定する機能を有するニューラルネットワークを得ることができる。ターゲットキーポイントを取得したターゲット画像を該ニューラルネットワークに入力することで、該ターゲット画像に対応する処理タイプなどを出力することができる。

上記任意の実施例によりターゲットキーポイント及びターゲット対象の分割結果を得た後、ステップＳ１３で、少なくとも１つのターゲットキーポイント及び分割結果に基づいて、ターゲット対象の少なくとも１つの処理パラメータを決定することができる。ここで、ステップＳ１３の実現方式は、ターゲット対象及び決定する必要がある処理パラメータの実際の状況に応じて柔軟に決定してもよく、下記各実施例に限定されない。可能な実現形態において、ターゲットキーポイントは複数であってもよく、少なくとも１つの処理パラメータは、第１処理パラメータ及び第２処理パラメータを含んでもよく、ステップＳ１３は、以下を含むことができる。

ステップＳ１３１において、処理タイプに基づいて、ターゲット対象の取得待ちの第１処理パラメータ及び第２処理パラメータを決定する。

ステップＳ１３２において、少なくとも２つのターゲットキーポイント及び分割結果に基づいて、第１処理パラメータを取得する。

ステップＳ１３３において、少なくとも３つのターゲットキーポイント及び第１処理パラメータに基づいて、第２処理パラメータを取得する。

ここで、第１処理パラメータは、ターゲットキーポイント及び分割結果に基づいて最初に取得された処理パラメータであってもよい。どのようなパラメータを含むかについて、実際の状況に応じて柔軟に決定してもよい。ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨の骨切りを支援するために用いられる場合、切り込み点とヒンジ点がターゲットキーポイント及び分割結果に基づいてまず決定されることができるため、可能な実現形態において、第１処理パラメータは、ヒンジ点及び／又は切り込み点を含むことができる。幾つかの可能な実施例において、ヒンジ点と切り込み点との連結線は、骨切り線を構成することができるため、ヒンジ点及び切り込み点に基づいて骨切り線の長さを直接決定することができる。従って、可能な実現形態において、第１処理パラメータは、ヒンジ点、切り込み点及び骨切り線の長さのうちの１つ又は複数を含むことができる。

第２処理パラメータは、第１処理パラメータを決定した後、ターゲットキーポイントに基づいて更に取得された処理パラメータであってもよい。どのようなパラメータを含むかについて、実際の状況に応じて柔軟に決定してもよい。ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨の骨切りを支援するために用いられる場合、ヒンジ点と切り込み点を決定した後、決定された結果及びターゲットキーポイントの検出結果に基づいて、脛骨の骨切りのターゲット機能軸を更に決定することもできる。可能な実現形態において、第２処理パラメータは、ターゲット機能軸を含むことができる。脛骨の骨切りのターゲット機能軸を決定した後、取得された各ターゲットキーポイントに基づいて、開大又は閉鎖の角度、及び開大又は閉鎖の距離などを更に得ることもできる。可能な実現形態において、第２処理パラメータは、ターゲット機能軸、処理角度及び処理距離のうちの１つ又は複数を含むことができる。

上記各実施例に記載したように、処理タイプに応じて、取得待ちの処理パラメータのタイプは、柔軟に変わることがある。可能な実現形態において、ステップＳ１３２により、第１処理パラメータを決定し、ステップＳ１３３により、第２処理パラメータを決定する前に、まず、ステップＳ１３１により、どのような第１処理パラメータ及び第２処理パラメータを取得するかを決定することができる。例を挙げると、処理タイプは、内側閉鎖式、外側閉鎖式、内側開大式及び外側開大式を含むことができる。一例において、処理タイプが内側であるかそれとも外側であるかに応じて、取得待ちの第１処理パラメータにおける切り込み点の決定基準及び位置は変わることがある。一例において、処理タイプが閉鎖式であるかそれとも開大式であるかに応じて、取得待ちの第２処理パラメータに含まれるものは、閉鎖角度又は開大角度、閉鎖距離又は開大距離などである可能性がある。可能な実現形態において、処理タイプが内側閉鎖式である場合、第１処理パラメータは、変わる可能性がある。一例において、内側閉鎖式の場合、切り込み点をヒンジ点及び閉鎖角度に基づいて決定する必要がある。この場合、第１処理パラメータは、ヒンジ点のみを含んでもよく、切り込み点は、第２処理パラメータとして取得される。

後続の各実施例において処理タイプが内側開大式である例として説明する。他の処理タイプである場合、Ｓ１３における各ステップの実現方式は、後続の各実施例を参照しながら拡張することができ、ここで、一々列挙しないようにする。

ターゲット対象が他の対象であり、画像処理方法が他のタイプの手術の支援に用いられる場合、ステップＳ１３実現形態も柔軟に変わってもよい。例えば、分割結果及びターゲットキーポイントに基づいて全ての処理パラメータを直接得ることができ、又は、分割結果に基づいて一部の処理パラメータを得た後に、得られた一部の処理パラメータ及びターゲットキーポイントに基づいて、残りの処理パラメータを得ることができ、又は、ターゲットキーポイントに基づいて、一部の処理パラメータを得た後、得られた一部の処理パラメータ及び分割結果に基づいて、残りの処理パラメータを得ることができる。その実現プロセスは、ターゲット対象の実際の状況に基づいて、下記各実施例を参照しながら柔軟に拡張することができ、ここで、詳細な説明を省略する。

ステップＳ１３２の実現プロセスは、ターゲット対象の実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、ステップＳ１３２は、ターゲットキーポイントに基づいて、第１処理パラメータの属する範囲を決定することと、第１処理パラメータの属する範囲と分割結果を結合し、第１処理パラメータを得ることと、を含むことができる。

上記実施例から分かるように、可能な実現形態において、第１処理パラメータを取得するプロセスにおいて、まず、ターゲットキーポイントに基づいて、第１処理パラメータの大ざっぱな範囲を決定し、更に、分割結果によるターゲット対象の位置の制限に基づいて、それと決定した大ざっぱな範囲を結合し、第１処理パラメータを得ることができる。

上記各実施例に記載したように、ターゲット対象が脛骨対象であり、且つ画像処理方法が脛骨の骨切りを支援するために用いられる場合、第１処理パラメータは、ヒンジ点及び／又は切り込み点を含むことができる。従って、可能な実現形態において、まず、ターゲットキーポイントに基づいて、ヒンジ点及び切り込み点の属する範囲を決定し、更に、分割結果及び決定された範囲に基づいて、ヒンジ点及び切り込み点の実際の位置を得ることができる。図６は、本願の一実施例による処理パラメータの取得を示す概略図である。一例において、処理タイプが内側開大式である場合、ヒンジ点を決定するプロセスは、以下の通りであってもよく、即ち、取得された脛骨高原外側端点の下方１０ミリメートル（ｍｍ）の範囲をヒンジ点が属する範囲とし、該範囲において、それと分割結果における脛骨外側輪郭との交点を特定し、該交点に基づいて、脛骨内側へ１０ｍｍ移動し、第１処理パラメータにおけるヒンジ点を得る。図６に示すヒンジ点６４は、左側脛骨近位端線分の左端点である。一例において、処理タイプが内側開大式である場合、切り込み点を決定するプロセスは、以下の通りであってもよく、即ち、取得された脛骨高原内側端点の下方１５ｍｍの範囲を切り込み点の属する範囲とし、該範囲において、それと分割結果における脛骨内側輪郭との交点を特定し、該交点を第１処理パラメータにおける切り込み点とする。図６に示すように、切り込み点６７は、左側脛骨近位端線分の右端点である。一例において、ヒンジ点及び切り込み点を決定した後、ヒンジ点と切り込み点を連結し、連結した線分を骨切り線とすることもできる。該線分は、図６に示す左側脛骨近位端の連結線分である。

ヒンジ点及び切り込み点を含む第１処理パラメータを得た後、ターゲットキーポイント及び第１処理パラメータに基づいて、ステップＳ１３３で、第２処理パラメータを更に決定することができる。ステップＳ１３３の実現プロセスもターゲット対象の実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。可能な実現形態において、ステップＳ１３３は、第１処理パラメータと少なくとも３つのターゲットキーポイントを結合し、ターゲット機能軸を得ることと、ターゲット機能軸に基づいて、第１処理パラメータ及び少なくとも１つのターゲットキーポイントにより、処理角度及び／又は処理距離を得ることと、を含むことができる。

上記各実施例に記載したように、ターゲット機能軸は、上記実施例における下肢機能軸のターゲット位置であってもよい。幾つかの実施形態において、ターゲット機能軸を如何に取得するかについて、脛骨骨切り術の矯正目的によって柔軟に決定してもよい。例えば、可能な実現形態において、脛骨骨切り術の矯正目的は、矯正した下肢機能軸（即ち、ターゲット機能軸）が膝関節中心ポイントを通過させることであることがある。可能な実現形態において、脛骨術の矯正目的は、矯正した下肢機能軸が藤沢ポイントを通過さえることであることもある。ここで、藤沢ポイントは、脛骨内側端点と脛骨外側端点との連結線において、脛骨内側端点から長さが連結線分の６２％を占めるポイントであってもよい。図７は、本願の一実施例による藤沢ポイントを示す概略図である。図７から分かるように、矢印で示す位置は、藤沢ポイントの位置である。後続の各実施例においてターゲット機能軸が膝関節中心ポイントを通過することを例として説明する。ターゲット機能軸が藤沢ポイントを通過するための実現方式は、後続の各実施例を参照しながら柔軟に拡張することができ、ここで、詳細な説明を省略する。

図６に示すように、一例において、ターゲット機能軸が膝関節中心ポイントを通過する場合、第１処理パラメータ及び少なくとも３つのターゲットキーポイントに基づいて、ターゲット機能軸を得るための実現プロセスは、以下の通りであってもよい。大腿骨骨頭中心ポイント６１から、脛骨高原内側端点６２と脛骨高原外側端点６３との中点である膝関節中心ポイントに向かって直線を描き、ヒンジ点６４を円心として、ヒンジ点６４と、足首関節の隙間内側端点６５と足首関節の隙間外側端点６６との中心である足首関節中心ポイントとの距離を半径として、弧線を描く。該弧線と上記直線の遠位端の交点を足首関節中心ポイントの矯正ターゲットとすることができる。足首関節中心ポイントの矯正ターゲットと大腿骨骨頭中心ポイント６１との連結線分は、ターゲット機能軸を構成する。

ターゲット機能軸を決定した後、開大角度及び開大距離を更に得ることができる。一例において、開大角度は、ヒンジ点から足首関節中心ポイントに向かって描かれた直線、及びヒンジ点から足首関節中心ポイントの矯正ターゲットに向かって描かれた直線により形成された挟角であってもよい。開大距離は、開大角度を頂角として等辺長が骨切り線の長さである二等辺三角形の底辺長さであってもよい。図８は、本願の一実施例による第２処理パラメータを示す概略図である。図８に示すように、左側骨切り線以下の脛骨全体画像がヒンジ点８１の周りを上記開大角度だけ回転する場合、下肢機能軸は、膝関節中心を通過することができる。即ち、ターゲット機能軸の位置に到達する。

可能な実現形態において、処理タイプが内側閉鎖式である場合、開大角度は、閉鎖角度になってもよい。これにより、脛骨内側輪郭においてヒンジ点と共に形成された、頂角が閉鎖角度である二等辺三角形の両点に基づいて、切り込み点を決定することができる。

上記プロセスにより、分割結果を利用して、取得されたターゲットキーポイントに基づいて、高位脛骨骨切り術の切り込み点、ヒンジ点、開大（又は閉鎖）角度及び開大（閉鎖）距離などを更に自動的に得ることができる。これにより、自動化程度がより高い画像処理プロセスを実現し、脛骨骨切りの支援に適用し、医学と工学とのインタラクション効率を向上させる。

上記プロセスに加えて、本願の実施例で提供される画像処理方法は、ターゲットキーポイント及び／又は分割結果を取得する前に、画像前処理ステップを更に含んでもよい。即ち、可能な実現形態において、ターゲット画像は、前処理された画像を含むことができる。ここで、前処理は、画像正規化及び／又は画像強調を含むことができる。

上記実施例に記載したように、ターゲット画像は、ターゲット対象を含む医用画像であってもよい。例えば、全身Ｘ線フィルム、下肢Ｘ線フィルム又は脛骨部位のＸ線フィルムなどである。異なる機器により撮られた医用画像に、若干の差異が存在する可能性がある。例えば、一部の医用画像は、白色背景及び黒色前景を用いる。一部の医用画像は、白色前景及び黒色背景を用いる。異なる機器により撮られた医用画像の画素ピッチに差異が存在する可能性がある。従って、これらの医用画像に対して、一括してターゲットキーポイント取得又は分割を行うことを容易にするために、可能な実現形態において、医用画像に対して画像正規化を行うことで、前処理されたターゲット画像を得ることができる。可能な実現形態において、後続で得られた画像処理結果に高い処理効果を持たせるために、医用画像に対して画像強調を行うこともできる。

画像正規化の実現方式は、実際の状況に応じて柔軟に決定してもよく、下記各実施例に限定されない。可能な実現形態において、画像正規化は、背景正規化、画素ピッチ正規化及び画素値正規化のうちの１つ又は複数を含むことができる。背景正規化の方式は、画像の背景を同一の色とすることができる。どのような色にするかは限定されない。一例において、医用画像の背景を黒色とし、前景を白色などとすることができる。画素ピッチ正規化の方式は、医用画像における画素ピッチを所定値とすることであってもよい。所定値の値は、実際の状況に応じて柔軟に決定してもよい。一例において、画素ピッチを（０．６８ｍｍ，０．６８ｍｍ）とすることができる。画素値正規化は、画像における画素値を［０，１］のような１つの数値範囲内に正規化することができる。ここで、正規化方式は限定されない。一例において、まず、医用画像における画素点の画素値を昇順に応じて順序付け、３％分位点に位置する素値を最低画素値とし、９９％分位点に位置する画素値を最高画素値とし、続いて、最低画素値より低い画素点の値を最低画素値に変更し、最高画素値より高い画素点の値を最高画素値に変更し、画素値変更を行った後に、画素値を［０，１］に正規化し、画素値正規化が完了する。

画像強調の方式は、実際の状況に応じて柔軟に決定してもよく、下記実施例に限定されない。一例において、コントラスト制限適応ヒストグラム均等化アルゴリズム（ＣＬＡＨＥ：Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）により、医用画像の局所的コントラストを強調し、画像強調を実現することができる。

画像正規化及び／又は画像強調により得られた前処理した画像をターゲット画像とすることで、後続で、一致した規格を有して高い画像効果を有するターゲット画像に対してターゲットキーポイント取得及び分割を行うことに役立ち、ターゲットキーポイントの取得及び分割の実現の容易性を向上させ、ターゲットキーポイントの取得精度及び分割精度を向上させ、更に、画像処理の実現の容易性及び精度を向上させることができる。

高位脛骨骨切り術は、早期の膝関節変形性関節症を治療するための有効な手段である。これは、元の関節を保留し、膝関節の荷重機能軸を矯正し、軟骨の更なる摩耗を阻止し、関節の安定性を向上させ、疼痛を軽減し、膝関節機能を改善することで、関節置換を回避するか又は最大限遅延させることができる。ここで、脛骨の骨切り位置の正確性は、高位脛骨骨切りの効果に大きな影響を及ぼす。

関連技術における手術計画方法は、一般的に手動アノテーションの方法で、キーポイント位置決めを行う。手術計画プロセスは、複雑である。キーポイント自動位置決め方法は、高安定性と高精度を両立させることができず、キーポイントの予測信頼度を得ることができない。いかの原因（例えば、画像品質が低すぎ、ターゲットキーポイントが存在しないなど）によって、ターゲットキーポイントを正確に予測できない場合、アルゴリズムにより偏差が大きすぎて誤った予測を得るという問題が存在する。それと同時に、該方法において、切り込み点、ヒンジ点を手動で設定しないと、後続の開大（閉鎖）角度、開大（閉鎖）距離の算出を行うことができない。医学と工学とのインタラクション効率が高くない。

本願の適用例は、画像処理方法を提供する。深層学習モデルを利用して、下肢長尺Ｘフィルムにおけるキーポイントを自動的に位置決めする。また、該モデルは、大ざっぱな位置決めヒートマップ及び精細な位置決めヒートマップを同時に利用して位置決め予測を行うことができ、高い安定性及び高い正確性を持ち、キーポイントの予測信頼度を得ることができる。一方で、深層学習モデルを利用して、下肢長尺Ｘフィルムにおける脛骨分割を自動的に予測し、更に、脛骨高原外側端点及び内側端点に基づいて、高位脛骨骨切り術の切り込み点、ヒンジ点、開大（閉鎖）角度、開大（閉鎖）距離を推薦することができる。本願の実施例は、画像処理方法を提供する。該処理方法は、下肢Ｘフィルムに基づいて、脛骨骨切り過程における骨切り位置を決定することができる。該画像処理プロセスは、以下の通りであってもよい。

ステップ１において、下肢Ｘフィルムにおけるターゲットキーポイントを自動的に位置決めする。図９は、ターゲットキーポイントの自動位置決めを示すフローチャートである。図９から分かるように、本願の適用例において、下肢Ｘ線フィルムにおける左側及び右側の大腿骨骨頭中心、大転子、大腿骨内側顆、大腿骨外側顆、脛骨高原内側端点、脛骨高原外側端点、足首関節の隙間内側端点、足首関節の隙間外側端点、膝関節中心、足首関節中心という計１０＊２＝２０種のターゲットキーポイントの自動位置決めを実現することができる（左右それぞれ１０種のターゲットキーポイントである）。ここで、膝関節中心ポイントは、脛骨高原内側端点と脛骨高原外側端点との中点と定義されてもよく、足首関節中心ポイントは、足首関節の隙間内側端点と足首関節の隙間外側端点との中点と定義されてもよい。一例において、まず、定義に基づいて各中心ポイントの左右の両側の端点を位置決めし、続いて、位置決めされた２つの端点の中点を算出することで、上記中心ポイントを得ることができる。一例において、上記中心ポイントの位置を直接的に位置決めすることもできる。後続の脛骨骨切りにおける各処理パラメータの決定を実現するために、予測されたターゲットキーポイントに、少なくとも、大腿骨骨頭中心ポイント、足首関節中心ポイント、膝関節中心ポイント、脛骨高原内側端点及び脛骨高原外側端点などが含まれるべきである。

幾つかの実施形態において、ターゲットキーポイントの位置決めプロセスは、下記複数のステップに分けられてもよい。

まず、入力画像９１に対して、下記ステップに従って画像前処理９２を行う。Ｘ線画像を、黒色の背景及び白色の前景となるように統一して処理する。一致した画像の画素ピッチは、（０．６８ｍｍ， ０．６８ｍｍ）である。画素数値を正規化し、まず、３パーセンタイルより低い値及び９９パーセンタイルより高い値をそれぞれ３パーセンタイル、９９パーセンタイルとし、更に、数値を［０，１］に正規化する。更に、ＣＬＡＨＥ方法で、画像の局所的コントラストを強調する。

続いて、前処理された画像を完全畳み込みニューラルネットワーク９３（即ち、上記実施例における第１ニューラルネットワーク）に入力する。本願の適用例において、エンコーダ－デコーダ及びスキップ接続構造を含むＵｎｅｔネットワークを利用して、各ターゲットキーポイントに対して、大ざっぱな位置決めヒートマップ（即ち、上記実施例における第１ヒートマップ）及び精細な位置決めヒートマップ（即ち、上記実施例における第２ヒートマップ）をそれぞれ生成することができる。

第１ニューラルネットワークの訓練段階において、各入力された訓練画像における各ターゲットキーポイントの位置の真値（即ち、ラベル値）に基づいて、該ターゲットキーポイントに対応する大ざっぱな位置決めターゲットヒートマップ及び精細な位置決めターゲットヒートマップを算出し、更に、二乗平均誤差損失関数により、第１ニューラルネットワークで生成されたヒートマップ９４に対して教師あり訓練を行い、逆伝播及びランダム勾配降下法で訓練を行い、第１ニューラルネットワークで生成されたヒートマップを前記ターゲットヒートマップにできるだけ近づけることができる。大ざっぱな位置決めターゲットヒートマップ及び精細な位置決めターゲットヒートマップは上記式（２）で示す二次元ガウス関数の形式で表されてもよい。上記実施例における図５に示すように、第１ヒートマップである大ざっぱな位置決めターゲットヒートマップにおけるσの値は、精細な位置決めヒートマップよりも大きいため、より大きい範囲で高い応答値を有する。実現形態におけるターゲットヒートマップは、類似した性質（ターゲットキーポイントに近い位置で、大きい応答値を有する。精細な位置決めヒートマップに比べて、大ざっぱな位置決めヒートマップは、より大きい範囲で、高い応答値を有する）を有する関数により実現してもよく、本適用例で提供される形態に限定されない。

大ざっぱな位置決めヒートマップ及び精細な位置決めヒートマップを生成した後、後処理９５を行い、ターゲットキーポイントの位置決め結果９６を得ることができる。ここで、大ざっぱな位置決めヒートマップ及び精細な位置決めヒートマップに対する後処理全体は、下記複数のステップを含むことができる。

まず、大ざっぱな位置決め座標（即ち、上記実施例における第１キーポイントの座標）及び大ざっぱな位置決め信頼度（即ち、上記実施例における第１信頼度）の算出を行う。本願の適用例において、大ざっぱな位置ヒートマップにおける最大値である座標を大ざっぱな位置決め座標とすることができる。続いて、大ざっぱな位置決めヒートマップにおける数値が最大値のａ_ｉ倍より大きい領域（即ち、上記実施例における、ターゲットキーポイントを含む領域）の周長ｃ_ｉ及び面積ｓ_ｉを算出する。本願の適用例において、４つのａ_ｉ値を選択してもよい。それぞれａ_０＝０．８、ａ_１＝０．６、ａ_２＝０．４、ａ_３＝０．２と表記する。従って、大ざっぱな位置決め信頼度を上記式（１）により算出することができる。

続いて、精細な位置決め座標（即ち、上記実施例における第２キーポイントの座標）及び精細な位置決め信頼度（即ち、上記実施例における第２信頼度）の算出を行う。本願の適用例において、大ざっぱな位置決め信頼度が０．５より大きい場合、大ざっぱな位置決めがほぼ正確であると見なし、従って、精細な位置決めヒートマップにおける大ざっぱな位置決め座標の近傍の一定の範囲（即ち、上記実施例における応答領域）内の応答値を保留し、精細な位置決めヒートマップにおける、応答領域範囲を超える値を０とすることができる。これにより、精細な位置決め座標を常に大ざっぱな位置決め座標の近傍に位置させる。大ざっぱな位置決め信頼度が０．５以下である場合、元の精細な位置決めヒートマップを保留する。続いて、大ざっぱな位置決めヒートマップの場合と類似した方法で、処理された精細な位置決めヒートマップ又は元の精細な位置決めヒートマップに基づいて、精細な位置決め座標及び精細な位置決め信頼度を算出する。

大ざっぱな位置決めヒートマップ及び精細な位置決めヒートマップに関する演算をそれぞれ完了した後、最終的なターゲットキーポイントの予測結果を選択することができる。その実現プロセスは以下の通りであってもよい。精細な位置決め信頼度が０．５より大きいか又は精細な位置決め信頼度が大ざっぱな位置決め信頼度より大きい場合、精細な位置決め座標及び精細な位置決め信頼度を最終的に出力されるターゲットキーポイント位置決め座標及び信頼度として選択する。そうでなければ、大ざっぱな位置決め座標及び大ざっぱな位置決め信頼度を最終的に出力されるターゲットキーポイント位置決め座標及び信頼度として選択する。

本願の適用例において、大ざっぱな位置決め座標、精細な位置決め座標及び精細な位置決め信頼度の具体的な算出方法として他の演算方式を用いることもできる。例えば、ヒートマップにおける高応答性領域の重心に基づいて、ヒートマップにおける位置決め座標を決定することができ、又は、予測ヒートマップと位置決め座標に対応するターゲットヒートマップとの相関係数に基づいて信頼度などを算出することができる。

ステップ２において、下肢Ｘ線フィルムにおける脛骨の自動分割を行う。図１０は、自動分割を示すフローチャートである。図１０から分かるように、本願の適用例において、脛骨自動分割プロセスは、下記ステップにより実現してもよい。

まず、入力画像１０１に対して画像前処理１０２を行う。本願の適用例において、前記ターゲットキーポイントの自動位置決めプロセスと同様な画像前処理ステップを用いることができる。ここで、詳細な説明を省略する。

続いて、前処理された画像を、脛骨分割を予測する完全畳み込みニューラルネットワーク１０３（即ち、上記実施例における第２ニューラルネットワーク）に入力する。本願の適用例において、Ｔｉｒａｍｉｓｕと命名された完全畳み込みニューラルネットワークを利用して大腿骨分割を行うことができる。該Ｔｉｒａｍｉｓｕネットワークは、Ｕｎｅｔネットワークと類似し、ダウンサンプリング経路、アップサンプリング経路及びスキップ接続構造を有する。それと同時に、該Ｔｉｒａｍｉｓｕネットワーク構造は、カスケード畳み込み層からなる畳み込みブロックの代わりに、ＤｅｎｓｅＮｅｔ構造における緻密ブロックを用いることで、より高い特徴多重化効果を実現し、ロバスト性がより高い特徴を得る。緻密ブロックに、カスケード畳み込み層が含まれるだけでなく、各畳み込み層の入力と出力がマージされて次の畳み込み層の入力とされる。

第２ニューラルネットワークの訓練段階において、クロスエントロピー損失関数により、第２ニューラルネットワークで生成された脛骨分割結果１３４に対して教師あり訓練を行い、逆伝播又はランダム勾配降下法で訓練を行い、第２ニューラルネットワークで生成された分割結果を手動でアノテーションされた脛骨分割基準にできるだけ近づけることができる。本願の適用例において、第２ニューラルネットワークは、両側脛骨分割予測を実現することができる。可能な実現形態において、第２ニューラルネットワークにより、左側脛骨分割予測及び／又は右側脛骨分割予測を直接的に実現することもできる。

上記脛骨分割結果１０４を得た後、脛骨分割結果に対して後処理１０５を行うことができる。分割結果に対する後処理のプロセスは以下の通りであってもよい。第２ニューラルネットワークで生成された脛骨分割結果に対して連結領域を算出し、最も大きい２つの連結領域を保留し、重心が左側にある連結領域を左側脛骨分割結果１０６とし、重心が右側にある連結領域を右側脛骨分割結果１０７とする。該２つの連結領域の境界を取り出してそれぞれ左側脛骨輪郭及び右側脛骨輪郭とする。

ステップ３において、ターゲットキーポイント位置及び脛骨輪郭に基づいて、脛骨骨切りの各処理パラメータを決定する。

本願の適用例において、内側開大式の高位脛骨骨切りの各処理パラメータを取得することを例として説明する。

まず、ターゲットキーポイント、脛骨輪郭、及び切り込み点、ヒンジ点間の幾何的位置関係を利用して、切り込み点及びヒンジ点を取得する。幾つかの実施形態において、脛骨外側輪郭から、脛骨高原外側端点の下方１０ｍｍのポイントを取得する。該ポイントから脛骨内側１０ｍｍへのポイントは、ヒンジ点としてもよい。脛骨内側輪郭から見付けられた、脛骨高原内側端点の下方１５ｍｍのポイントは、切り込み点としてもよい。ヒンジ点と切り込み点との連結線分は、骨切り線である。上記実施例における図６に示すように、左側脛骨近位端線分は、骨切り線である。その左側端点は、ヒンジ点６４であり、その右側端点は、切り込み点６７である。

続いて、高位脛骨骨切りの矯正ターゲットに基づいて、ターゲット機能軸（下肢機能軸は、腿骨骨頭中心と足首関節中心との連結線分であってもよく、ターゲット機能軸は、下肢機能軸の矯正ターゲットであってもよい）を決定することができる。例えば、矯正ターゲットは、ターゲット機能軸が膝関節中心を通過することである場合、大腿骨骨頭中心から、膝関節中心に向かって直線を描き、ヒンジポインを円心として、ヒンジ点と足首関節中心との距離を半径として、弧線を描くことができる。該弧線と直線の遠位端の交点を足首関節中心の矯正ターゲットとすることができる。足首関節中心の矯正ターゲットと大腿骨骨頭中心との連結線分をターゲット機能軸とすることができる。

ターゲット機能軸を決定した後、開大角度及び開大距離を更に決定することができる。ここで、開大角度は、ヒンジ点から足首関節中心ポイントに向かって描かれた直線、及びヒンジ点から足首関節中心ポイントの矯正ターゲットに向かって描かれた直線により形成された挟角であってもよい。開大距離は、開大角度を頂角として等辺長が骨切り線の長さである二等辺三角形の底辺長さであってもよい。

幾つかの可能な実施例において、本願の適用例における高位脛骨骨切り術の処理タイプは、内側開大式から内側閉鎖式、外側開大式又は外側閉鎖式に置き換えられてもよい。従って、開大角度、切り込み点、ヒンジ点の推奨方法も対応的に変わる。例えば、処理タイプが内側閉鎖式である場合、開大角度の代わりに、閉鎖角度を用いることができる。切り込み点の位置は、脛骨内側輪郭において、ヒンジ点と共に頂角が閉鎖角度である二等辺三角形の両点を形成するという方式で決定されてもよい。本願の適用例における矯正ターゲットは柔軟に変わってもよい。一例において、矯正ターゲットは、ターゲット機能軸が上記実施例で提供される藤沢ポイントを経過することになってもよい。従って、ターゲット機能軸及び足首関節中心矯正ターゲットの算出方法は対応的に変わってもよい。

上記適用例により、第１ニューラルネットワークを利用して、下肢Ｘ線フィルムにおけるターゲットキーポイントを自動的に位置決めすることができ、手動でターゲットキーポイントをアノテーションするプロセスを無くし、手術計画プロセスを簡略化し、医学と工学とのインタラクション効率を向上させる。第１ニューラルネットワークは、大ざっぱな位置決めヒートマップ及び精細な位置決めヒートマップを同時に利用してターゲットキーポイントの位置決め予測を行うことができ、安定性及び高い正確性を有する。それと同時に、各ターゲットキーポイント予測の信頼度を得ることができる。これにより、何らかの原因（例えば、画像品質が低すぎ、ターゲットキーポイントが存在しないなど）によって、ターゲットキーポイントを正確に予測できない場合、偏差が大きすぎる誤った予測結果を得ることをできるだけ減少させると同時に、後続で欠損値の補完方法で、予測に失敗したターゲットキーポイントを補完することを容易にする。

それと同時に、本願の適用例は、第２ニューラルネットワークを利用して、下肢Ｘ線フィルムにおける脛骨分割を自動的に実現することができ、更に、脛骨高原外側端点及び内側端点に基づいて、高位脛骨骨切り術の切り込み点、ヒンジ点、開大（閉鎖）角度、開大（閉鎖）距離を自動的に決定することができる。これにより、自動化程度が高くて精度が高い高位脛骨骨切りにおける各処理パラメータの予測を実現し、手術計画プロセスを簡略化し、医学と工学とのインタラクション効率を向上させる。

本願の適用例において、下肢長尺Ｘ線フィルムに対して、安定性、正確性及び一致性が高いキーポイント自動位置決めを実現することができ、従来の読影プロセスにおいて医者がキーポイントを手動でアノテーションするために手間がかかるという問題及び初級医師のアノテーション位置性が低いという問題を解決する。該技術的解決手段は、下肢長尺Ｘ線フィルムに対して脛骨分割を自動的に行うことができ、医師により選択された高位脛骨骨切り術の種類及び矯正ターゲットに基づいて、キーポイント及び脛骨輪郭を利用して、切り込み点、ヒンジ点、開大又は閉鎖角度、開大又は閉鎖距離を自動的に推奨し、医師が手動で複雑な製図、幾何的演算、測定により手術計画を行うステップを無くし、自動化程度が高い。要するに、本願の適用例は、高位脛骨骨切り術の手術計画プロセスを簡略化し、医学と工学とのインタラクション効率を向上させることができる。

本願の実施例の画像処理方法は、上記下肢Ｘ線フィルム画像の処理への適用に限定されず、また、脛骨の骨切り位置決定にも限定されず、任意の画像処理及び任意の関連処理パラメータの決定に適用可能である。本願の実施例は、これを限定しない。

本願の実施例で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。具体的な実施形態の上記方法において、各ステップの実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

なお、本願の実施例は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラム製品を更に提供する。上記はいずれも、本願の実施例で提供されるいずれか１つの画像処理方法を実現するためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

図１１は、本願の実施例による画像処理装置を示すブロック図である。該画像処理装置は、端末機器、サーバ又は他の処理機器であってもよい。ここで、端末機器は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像処理装置は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。図１１に示すように、前記画像処理装置１１０は、ターゲット画像のターゲットキーポイントを取得するように構成されるターゲットキーポイント取得モジュール１１１と、ターゲット画像におけるターゲット対象に対して分割を行い、ターゲット対象の分割結果を得るように構成される分割モジュール１１２と、ターゲット対象の処理タイプを取得するように構成される処理タイプ取得モジュール１１３と、ターゲットキーポイント、分割結果及び処理タイプに基づいて、ターゲット対象の少なくとも１つの処理パラメータを決定するように構成される処理パラメータ決定モジュール１１４と、を備える。

可能な実現形態において、ターゲットキーポイント取得モジュール１１１は、ターゲット画像に対してキーポイント検出を行い、信頼度を含む少なくとも２つのターゲットキーポイントを得るように構成される。

可能な実現形態において、ターゲットキーポイント取得モジュール１１１は、ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントにそれぞれ対応するヒートマップを得て、少なくとも２つのヒートマップの対応するターゲットキーポイントの座標及び信頼度を取得するように構成される。

可能な実現形態において、ターゲットキーポイント取得モジュール１１１は、ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントのそれぞれが対応する第１ヒートマップ及び第２ヒートマップを得ることであって、第１ヒートマップの対応するターゲットキーポイントの応答範囲は、第２ヒートマップの対応するターゲットキーポイントの応答範囲よりも大きい、ことと、第１ヒートマップから、第１キーポイントを決定し、第１ヒートマップに基づいて、第１キーポイントの第１信頼度を得ることと、第１信頼度に基づいて、第２ヒートマップから、第２キーポイントを決定し、第２ヒートマップに基づいて、第２キーポイントの第２信頼度を得ることと、第２信頼度に基づいて、第１キーポイント又は第２キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、ターゲットキーポイントに対応する信頼度を得ることと、を実行するように構成される。

可能な実現形態において、ターゲットキーポイント取得モジュール１１１は更に、第１信頼度が第１信頼度閾値より大きい場合、第１ヒートマップにおける第１キーポイントの位置に基づいて、応答領域を決定し、第２ヒートマップの応答領域において第２キーポイントを決定し、第２ヒートマップの応答領域に基づいて、第２キーポイントの第２信頼度を得て、第１信頼度が第１信頼度閾値以下である場合、第２ヒートマップから、第２キーポイントを決定し、第２ヒートマップに基づいて、第２キーポイントの第２信頼度を得るように構成される。

可能な実現形態において、ターゲットキーポイント取得モジュール１１１は更に、第２信頼度が第２信頼度閾値よりも大きい場合、第２キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、第２信頼度をターゲットキーポイントに対応する信頼度とし、第２信頼度が第２信頼度閾値以下である場合、第１キーポイントをターゲット画像におけるターゲットキーポイントとして決定し、第１信頼度をターゲットキーポイントに対応する信頼度とするように構成される。

可能な実現形態において、ターゲットキーポイント取得モジュール１１１は、ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うように構成される。

可能な実現形態において、第１ニューラルネットワークは、ターゲットキーポイントの位置ラベルを含む訓練画像により訓練され、訓練は、ターゲットキーポイントの位置ラベルに基づいて、ターゲットキーポイント位置に対応するターゲットヒートマップを生成することと、訓練画像を第１ニューラルネットワークに入力し、第１ニューラルネットワークから出力されたヒートマップを得ることと、出力されたヒートマップ及びターゲットヒートマップに基づいて、第１ニューラルネットワークの損失関数を決定することと、損失関数に基づいて、第１ニューラルネットワークの少なくとも１つのパラメータを調整することと、を含む。

可能な実現形態において、処理タイプ取得モジュール１１３は、ターゲットキーポイントに基づいて、ターゲット対象の処理タイプを決定するように構成される。

可能な実現形態において、ターゲットキーポイントは少なくとも２つであり、少なくとも１つの処理パラメータは、第１処理パラメータ及び第２処理パラメータを含み、処理パラメータ決定モジュール１１４は、処理タイプに基づいて、ターゲット対象の取得待ちの第１処理パラメータ及び第２処理パラメータを決定し、少なくとも２つのターゲットキーポイント及び分割結果に基づいて、第１処理パラメータを取得し、少なくとも３つのターゲットキーポイント及び第１処理パラメータに基づいて、第２処理パラメータを取得するように構成される。

可能な実現形態において、ターゲット画像は、前処理された画像を含み、前処理は、画像正規化及び／又は画像強調を含む。

可能な実現形態において、ターゲット対象は、脛骨対象を含み、処理タイプは、内側閉鎖式、外側閉鎖式、内側開大式又は外側開大式を含み、少なくとも１つの処理パラメータは、切り込み点、ヒンジ点、ターゲット機能軸、処理角度及び処理距離のうちの１つ又は複数を含む。

本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現する。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサでの実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、上記方法を実行するように構成される。電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行される時、機器におけるプロセッサは、上記いずれか１つの実施例で提供される画像処理方法を実現するための命令を実行する。

本願の実施例は、もう１つのコンピュータプログラム製品を更に提供する。該コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行される時、コンピュータに、上記いずれか１つの実施例で提供される画像処理方法の操作を実行させる。

図１２は、本願の実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。図１２を参照すると、電子機器８００は、処理ユニット８０２、メモリ８０４、電源ユニット８０６、マルチメディアユニット８０８、オーディオユニット８１０、入力／出力（Ｉｎｐｕｔ Ｏｕｔｐｕｔ：Ｉ／Ｏ）インタフェース８１２、センサユニット８１４及び通信ユニット８１６のうちの１つ又は複数を備えてもよい。

処理ユニット８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理ユニット８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理ユニット８０２はマルチメディアモジュールを備えることで、マルチメディアユニット８０８と処理ユニット８０２とのインタラクションに寄与する。

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

電源ユニット８０６は電子機器８００の様々なユニットに電力を提供する。電源ユニット８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

マルチメディアユニット８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）及びタッチパネル（ＴｏｕｃｈＰａｎｅｌ：ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアユニット８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

オーディオユニット８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオユニット８１０は、マイクロホン（Ｍｉｃｒｏｐｈｏｎｅ：ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信ユニット８１６を経由して送信することができる。幾つかの実施例において、オーディオユニット８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

Ｉ／Ｏインタフェース８１２は、処理ユニット８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

センサユニット８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサユニット８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサユニット８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサユニット８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサユニット８１４は、相補型金属酸化膜半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）又は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサユニット８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

通信ユニット８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ワイヤレスフィデリティ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：ＷｉＦｉ）、第２世代移動通信技術（Ｔｈｅ ２ｎｄ Ｇｅｎｅｒａｔｉｏｎ：２Ｇ）、第３世代移動通信技術（Ｔｈｅ ３ｎｄ Ｇｅｎｅｒａｔｉｏｎ：３Ｇ）、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信ユニット８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信ユニット８１６は、近接場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ：ＵＷＢ）技術、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ：ＢＴ）技術及び他の技術に基づいて実現される。

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され、上記方法を完了する。

図１３は、本願の実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１３を参照すると、電子機器１９００は、処理ユニット１９２２を備える。それは、１つ又は複数のプロセッサ、及びメモリ１９３２で表されるメモリリソースを更に備える。該メモリリソースは、アプリケーションプログラムのような、処理ユニット１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は１つ以上のモジュールを含むことができる。なお、処理ユニット１９２２は、命令を実行して、上記方法を実行するように構成される。

電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源ユニット１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、Ｉ／Ｏインタフェース１９５８と、を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ^ＴＭ、Ｍａｃ ＯＳ Ｘ^ＴＭ、ＵｎｉｘＴＭ、Ｌｉｎｕｘ^ＴＭ、ＦｒｅｅＢＳＤ^ＴＭ又は類似したもののような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理ユニット９２２により実行されて上記方法を完了する。

本願の実施例は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現するためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、読出し専用メモリ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ－ＲＯＭ）、デジタル多目的ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ：ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含むことができる。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本願の操作を実行するように構成されるコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、Ｃプログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）又はワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ又はプログラマブル論理アレイのような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現することができる。

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できることは、理解されるべきである。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する。

図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定のロジック機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、２つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることに留意されたい。

該コンピュータプログラム製品は、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。選択可能な実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよい。別の選択可能な実施例において、コンピュータプログラム製品は具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。

以上は本願の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到し得るものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

本願の実施例は、画像処理方法及び装置、電子機器、記憶媒体及びプログラム製品に関する。前記方法は、ターゲット画像のターゲットキーポイントを取得することと、前記ターゲット画像におけるターゲット対象に対して分割を行い、前記ターゲット対象の分割結果を得ることと、前記ターゲット対象の処理タイプを取得することと、前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定することと、を含む。上記プロセスにより、画像処理の精度及び正確性を向上させることができる。

Claims (27)

1. 画像処理方法であって、
   ターゲット画像のターゲットキーポイントを取得することと、
   前記ターゲット画像におけるターゲット対象に対して分割を行い、前記ターゲット対象の分割結果を得ることと、
   前記ターゲット対象の処理タイプを取得することと、
   前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定することと、を含む、画像処理方法。
2. ターゲット対象のターゲットキーポイントを取得することは、
   前記ターゲット画像に対してキーポイント検出を行い、信頼度を含む少なくとも２つのターゲットキーポイントを得ることを含むことを特徴とする
   請求項１に記載の方法。
3. ターゲット画像のターゲットキーポイントを取得することは、
   前記ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントにそれぞれ対応するヒートマップを得ることと、
   少なくとも２つの前記ヒートマップの対応する前記ターゲットキーポイントの座標及び信頼度を取得することと、を含むことを特徴とする
   請求項１に記載の方法。
4. ターゲット画像のターゲットキーポイントを取得することは、
   前記ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントのそれぞれが対応する第１ヒートマップ及び第２ヒートマップを得ることであって、前記第１ヒートマップの対応する前記ターゲットキーポイントの応答範囲は、前記第２ヒートマップの対応する前記ターゲットキーポイントの応答範囲よりも大きい、ことと、
   前記第１ヒートマップから、第１キーポイントを決定し、前記第１ヒートマップに基づいて、前記第１キーポイントの第１信頼度を得ることと、
   前記第１信頼度に基づいて、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることと、
   前記第２信頼度に基づいて、前記第１キーポイント又は前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記ターゲットキーポイントに対応する信頼度を得ることと、を含むことを特徴とする
   請求項１に記載の方法。
5. 前記第１信頼度に基づいて、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることは、
   前記第１信頼度が第１信頼度閾値より大きい場合、前記第１ヒートマップにおける前記第１キーポイントの位置に基づいて、応答領域を決定し、前記第２ヒートマップの前記応答領域において第２キーポイントを決定し、前記第２ヒートマップの前記応答領域に基づいて、前記第２キーポイントの第２信頼度を得ることと、
   前記第１信頼度が前記第１信頼度閾値以下である場合、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることと、を含むことを特徴とする
   請求項４に記載の方法。
6. 前記第２信頼度に基づいて、前記第１キーポイント又は前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記ターゲットキーポイントに対応する信頼度を得ることは、
   前記第２信頼度が第２信頼度閾値よりも大きい場合、前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記第２信頼度を前記ターゲットキーポイントに対応する信頼度とすることと、
   前記第２信頼度が前記第２信頼度閾値以下である場合、前記第１キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記第１信頼度を前記ターゲットキーポイントに対応する信頼度とすることと、を含むことを特徴とする
   請求項４又は５に記載の方法。
7. 前記ターゲット画像に対してキーポイント検出を行うことは、前記ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うことを含むことを特徴とする
   請求項２から６のうちいずれか一項に記載の方法。
8. 前記第１ニューラルネットワークは、ターゲットキーポイントの位置ラベルを含む訓練画像により訓練され、前記訓練は、
   前記ターゲットキーポイントの位置ラベルに基づいて、前記ターゲットキーポイント位置に対応するターゲットヒートマップを生成することと、
   前記訓練画像を第１ニューラルネットワークに入力し、前記第１ニューラルネットワークから出力されたヒートマップを得ることと、
   前記出力されたヒートマップ及び前記ターゲットヒートマップに基づいて、前記第１ニューラルネットワークの損失関数を決定することと、
   前記損失関数に基づいて、前記第１ニューラルネットワークの少なくとも１つのパラメータを調整することと、を含むことを特徴とする
   請求項７に記載の方法。
9. 前記ターゲット対象の処理タイプを取得することは、前記ターゲットキーポイントに基づいて、前記ターゲット対象の処理タイプを決定することを含むことを特徴とする
   請求項１から８のうちいずれか一項に記載の方法。
10. 前記少なくとも１つの処理パラメータは、第１処理パラメータ及び第２処理パラメータを含み、前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定することは、
    前記処理タイプに基づいて、前記ターゲット対象の取得待ちの第１処理パラメータ及び第２処理パラメータを決定することと、
    少なくとも２つの前記ターゲットキーポイント及び前記分割結果に基づいて、前記第１処理パラメータを取得することと、
    少なくとも３つの前記ターゲットキーポイント及び前記第１処理パラメータに基づいて、前記第２処理パラメータを取得することと、を含むことを特徴とする
    請求項１から９のうちいずれか一項に記載の方法。
11. 前記ターゲット画像は、前処理された画像を含み、前記前処理は、画像正規化及び／又は画像強調を含むことを特徴とする
    請求項１から１０のうちいずれか一項に記載の方法。
12. 前記ターゲット対象は、脛骨対象を含み、前記処理タイプは、内側閉鎖式、外側閉鎖式、内側開大式又は外側開大式を含み、前記少なくとも１つの処理パラメータは、切り込み点、ヒンジ点、ターゲット機能軸、処理角度及び処理距離のうちの１つ又は複数を含むことを特徴とする
    請求項１から１１のうちいずれか一項に記載の方法。
13. 画像処理装置であって、
    ターゲット画像のターゲットキーポイントを取得するように構成されるターゲットキーポイント取得モジュールと、
    前記ターゲット画像におけるターゲット対象に対して分割を行い、前記ターゲット対象の分割結果を得るように構成される分割モジュールと、
    前記ターゲット対象の処理タイプを取得するように構成される処理タイプ取得モジュールと、
    前記ターゲットキーポイント、前記分割結果及び前記処理タイプに基づいて、前記ターゲット対象の少なくとも１つの処理パラメータを決定するように構成される処理パラメータ決定モジュールと、を備える、画像処理装置。
14. 前記ターゲットキーポイント取得モジュールは、前記ターゲット画像に対してキーポイント検出を行い、信頼度を含む少なくとも２つのターゲットキーポイントを得るように構成されることを特徴とする
    請求項１３に記載の装置。
15. 前記ターゲットキーポイント取得モジュールは、前記ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントにそれぞれ対応するヒートマップを得て、少なくとも２つの前記ヒートマップの対応する前記ターゲットキーポイントの座標及び信頼度を取得するように構成されることを特徴とする
    請求項１３に記載の装置。
16. 前記ターゲットキーポイント取得モジュールは、
    前記ターゲット画像に対してキーポイント検出を行い、少なくとも２つのターゲットキーポイントのそれぞれが対応する第１ヒートマップ及び第２ヒートマップを得ることであって、前記第１ヒートマップの対応する前記ターゲットキーポイントの応答範囲は、前記第２ヒートマップの対応する前記ターゲットキーポイントの応答範囲よりも大きい、ことと、
    前記第１ヒートマップから、第１キーポイントを決定し、前記第１ヒートマップに基づいて、前記第１キーポイントの第１信頼度を得ることと、
    前記第１信頼度に基づいて、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得ることと、
    前記第２信頼度に基づいて、前記第１キーポイント又は前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記ターゲットキーポイントに対応する信頼度を得ることと、
    を実行するように構成されることを特徴とする
    請求項１３に記載の装置。
17. 前記ターゲットキーポイント取得モジュールは更に、前記第１信頼度が第１信頼度閾値より大きい場合、前記第１ヒートマップにおける前記第１キーポイントの位置に基づいて、応答領域を決定し、前記第２ヒートマップの前記応答領域において第２キーポイントを決定し、前記第２ヒートマップの前記応答領域に基づいて、前記第２キーポイントの第２信頼度を得て、前記第１信頼度が前記第１信頼度閾値以下である場合、前記第２ヒートマップから、第２キーポイントを決定し、前記第２ヒートマップに基づいて、前記第２キーポイントの第２信頼度を得るように構成されることを特徴とする
    請求項１６に記載の装置。
18. 前記ターゲットキーポイント取得モジュールは更に、前記第２信頼度が第２信頼度閾値よりも大きい場合、前記第２キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記第２信頼度を前記ターゲットキーポイントに対応する信頼度とし、前記第２信頼度が前記第２信頼度閾値以下である場合、前記第１キーポイントを前記ターゲット画像におけるターゲットキーポイントとして決定し、前記第１信頼度を前記ターゲットキーポイントに対応する信頼度とするように構成されることを特徴とする
    請求項１６又は１７に記載の装置。
19. 前記ターゲットキーポイント取得モジュールは更に、前記ターゲット画像を第１ニューラルネットワークに入力してキーポイント検出を行うように構成されることを特徴とする
    請求項１４から１８のうちいずれか一項に記載の装置。
20. 前記第１ニューラルネットワークは、ターゲットキーポイントの位置ラベルを含む訓練画像により訓練され、前記装置は、
    前記ターゲットキーポイントの位置ラベルに基づいて、前記ターゲットキーポイント位置に対応するターゲットヒートマップを生成し、前記訓練画像を第１ニューラルネットワークに入力し、前記第１ニューラルネットワークから出力されたヒートマップを得て、前記出力されたヒートマップ及び前記ターゲットヒートマップに基づいて、前記第１ニューラルネットワークの損失関数を決定し、前記損失関数に基づいて、前記第１ニューラルネットワークの少なくとも１つのパラメータを調整するように構成されるネットワーク訓練モジュールを更に備えることを特徴とする
    請求項１９に記載の装置。
21. 前記処理タイプ取得モジュールは、前記ターゲットキーポイントに基づいて、前記ターゲット対象の処理タイプを決定するように構成されることを特徴とする
    請求項１３から２０のうちいずれか一項に記載の装置。
22. 前記少なくとも１つの処理パラメータは、第１処理パラメータ及び第２処理パラメータを含み、前記処理パラメータ決定モジュールは、
    前記処理タイプに基づいて、前記ターゲット対象の取得待ちの第１処理パラメータ及び第２処理パラメータを決定し、少なくとも２つの前記ターゲットキーポイント及び前記分割結果に基づいて、前記第１処理パラメータを取得し、少なくとも３つの前記ターゲットキーポイント及び前記第１処理パラメータに基づいて、前記第２処理パラメータを取得するように構成されることを特徴とする
    請求項１３から２１のうちいずれか一項に記載の装置。
23. 前記ターゲット画像は、前処理された画像を含み、前記前処理は、画像正規化及び／又は画像強調を含むことを特徴とする
    請求項１３から２２のうちいずれか一項に記載の装置。
24. 前記ターゲット対象は、脛骨対象を含み、前記処理タイプは、内側閉鎖式、外側閉鎖式、内側開大式又は外側開大式を含み、前記少なくとも１つの処理パラメータは、切り込み点、ヒンジ点、ターゲット機能軸、処理角度及び処理距離のうちの１つ又は複数を含むことを特徴とする
    請求項１３から２３のうちいずれか一項に記載の装置。
25. 電子機器であって、プロセッサと、プロセッサでの実行可能な命令を記憶するように構成されるメモリと、を備え、前記プロセッサは、前記メモリに記憶されている命令を呼び出し、請求項１から１２のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
26. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体には、コンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から１２のうちいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
27. コンピュータプログラム製品であって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサに、請求項１から１２のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。

Images