JP2022534123A - 画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置 - Google Patents

Abstract

本開示の実施例は、画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置を提供する。当該方法は、実二次元画像と参考二次元画像を取得し、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用い、参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得るステップであって、画像レジストレーションモデルが既に仮想画像を用いて事前トレーニングされており、しかも仮想画像特徴抽出ネットワークが事前トレーニングに参与しており、仮想画像が仮想ターゲットに基づいて生成されたものであるステップと、画像レジストレーションモデルの実画像特徴抽出ネットワークを用い、実二次元画像に対して特徴抽出を行い、第１実特徴図を得るステップであって、実画像特徴抽出ネットワークが事前トレーニングに参与していないステップと、第１実特徴図と第１仮想特徴図との間の差異を用いて、実画像特徴抽出ネットワークのネットワークパラメータを調整するステップと、を含む。

Description

（関係出願への相互参照）
本開示は、出願番号が２０２０１０４７７５０８．６であり、出願日が２０２０年５月２９日である中国特許に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許の全ての内容がここで参照により本開示に組み込まれる。

本開示は、画像処理技術分野に関し、特に画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置に関する。

画像レジストレーションとは、異なる時間、異なるセンサー（イメージングデバイス）又は異なる条件（撮影位置及び角度など）で取得された２枚以上の画像をマッチングするプロセスである。医用画像レジストレーションとは、１枚の医用画像に対して１種類（又は一連）の空間変換の方法を探り、他の医用画像上の対応する点と空間的に一致させることを指す。

ニューラルネットワークを用いて画像レジストレーションを行うことは、大きな可能性を示し且つ適用の見通しが広い。現在、レジストレーションのためのニューラルネットワークモデルをトレーニングするサンプルは、すべて手動でレジストレーション済みの実画像である。しかし、実画像の手動でのレジストレーションのために長い時間が必要であり、しかも実際の環境でのイメージング条件に制限されるため、トレーニングに利用可能なサンプル画像が少なく、かつ価格が高く、それによって、実画像でニューラルネットワークモデルをトレーニングするのは、一定の制限を受ける。

本開示の実施例は、画像レジストレーション方法及びそれに関係するモデルトレーニング方法、デバイス、装置を提供する。

本開示の実施例の第１態様では画像レジストレーションモデルのトレーニング方法を提供する。当該方法は、実二次元画像と参考二次元画像を取得するステップであって、実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、参考二次元画像における実ターゲットの位置が実二次元画像とマッチングしているステップと、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用い、参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得るステップであって、画像レジストレーションモデルが仮想画像を用いて事前トレーニングされ、しかも仮想画像特徴抽出ネットワークが事前トレーニングに参与しており、仮想画像が仮想ターゲットに基づいて生成されたものであるステップと、画像レジストレーションモデルの実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第１実特徴図を得るステップであって、実画像特徴抽出ネットワークが事前トレーニングに参与していないステップと、第１実特徴図と第１仮想特徴図との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整するステップと、を含む。

したがって、まず仮想画像データを用いて初期段階の画像レジストレーションモデルを事前トレーニングし、実画像特徴抽出ネットワークを事前トレーニングされた画像レジストレーションモデルに追加し、実画像データ及びトレーニングされた画像レジストレーションモデルにおける仮想画像特徴抽出ネットワークを用いて、実画像特徴抽出ネットワークのネットワークパラメータを調整し、実画像データの訓練遷移を実現し、最終的な画像レジストレーションモデルを取得し、画像レジストレーションモデルを初期段階で仮想画像データを用いて事前トレーニングするため、トレーニングするときに必要な実サンプル画像データを減少し、即ちトレーニングコストを低減させることができ、しかも、後続で実画像データ及びトレーニングされた画像レジストレーションモデルを用いて、実画像特徴抽出ネットワークをトレーニングし、それによって、仮想画像データの結果で実データのトレーニングを指導することを実現し、さらに画像レジストレーションモデルのトレーニング効果を向上させ、これにより、実画像特徴抽出ネットワークは、後続のトレーニングに利用可能であり、画像レジストレーションモデルは、より容易に実際の環境に適用することができる。

ここで、参考二次元画像を取得するステップは、実二次元画像と実三次元画像との間の実際レジストレーション結果を用いて、実ターゲットの所在位置が実二次元画像と一致する参考二次元画像を生成するステップを含む。したがって、実ターゲットの所在位置が実二次元画像と一致する参考二次元画像を生成することにより、その後のトレーニングで、参考二次元画像と実二次元画像を利用することができる。

ここで、上述した画像レジストレーションモデルは、事前トレーニングに参与する投影画像特徴抽出ネットワークと位置予測ネットワークとをさらに含み、第１実特徴図と第１仮想特徴図との間の差異を用いて実画像特徴抽出ネットワークのネットワークパラメータを調整した後に、方法は、調整後の実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第２実特徴図を得るステップと、実二次元画像の第１投影モデルパラメータを用いて実三次元画像を投影し、第１投影画像を得、第１投影画像における実ターゲットの特徴点の第１実際二次元位置を取得するステップと、投影画像特徴抽出ネットワークを用いて第１投影画像に対して特徴抽出を行い、第１投影特徴図を取得するステップと、位置予測ネットワークを用い、第１投影特徴図において、第１実際二次元位置に対応する第１投影特徴位置を決定し、第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出し、実特徴位置を用いて実二次元画像における実ターゲットの特徴点の第１予測二次元位置を取得するステップと、第１予測二次元位置を用いて、実二次元画像と実三次元画像の予測レジストレーション結果を取得するステップと、実際レジストレーション結果と予測レジストレーション結果との間の差異を用いて、実画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのうちの少なくとも１つのネットワークのネットワークパラメータを調整するステップと、をさらに含む。したがって、仮想画像でトレーニングされた仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワーク及び位置予測ネットワークを用いて、実画像特徴抽出ネットワークと共同でトレーニングすることにより、仮想データの結果で実データのトレーニングを指導することを実現し、トレーニング効果が向上し、また、実データでトレーニングされた画像レジストレーションモデルは、より容易に実際の環境に適用することができる。また、事前トレーニングされた画像レジストレーションモデルに対して、実二次元画像を用いて画像レジストレーションモデルをさらにトレーニングすることにより、トレーニングに必要な大量の実二次元画像を減少することができるため、画像レジストレーションのトレーニングコストを削減し、関係するトレーニングの展開がより容易になる。

ここで、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整するステップは、第２実特徴図と第１仮想特徴図との間の差異、実際レジストレーション結果と予測レジストレーション結果との間の差異を用いて、実画像特徴抽出ネットワークのネットワークパラメータを調整するステップを含む。したがって、第２実特徴図と第１仮想特徴図の間の差、実際レジストレーション結果と予測レジストレーション結果との間の差異をさらに用い、実画像特徴抽出ネットワークのネットワークパラメータを調整することにより、トレーニング効果を向上させる。

ここで、上述した方法は、画像レジストレーションモデルを事前トレーニングするために、少なくとも１組の仮想二次元画像及び第２投影画像を取得し、仮想二次元画像における仮想ターゲット上の特徴点の第２実際二次元位置と第２投影画像における仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップであって、仮想二次元画像が仮想ターゲットに対して模擬イメージングを行って得られたものであり、第２投影画像が仮想ターゲットに対して模擬投影を行って得られたものであるステップと、各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力し、仮想二次元画像における仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップと、第２実際二次元位置と第２予測二次元位置に基づいて、画像レジストレーションモデルのネットワークパラメータを調整するステップと、をさらに含む。したがって、仮想画像を用いて画像レジストレーションモデルを事前トレーニングすることにより、仮想画像の取得コストが低いため、トレーニングコストを削減できる。また、仮想画像が大量に生成することが可能であり、したがって、大量のトレーニングデータを提供することができ、したがって、トレーニング効果を向上させることができる。また、まず仮想画像を用いて画像レジストレーションモデルを事前トレーニングし、次に実画像を用いてトレーニングすることにより、トレーニング効果を向上させることができ、これにより、実画像でトレーニングされた画像レジストレーションモデルは、実画像をより良くレジストレーションすることができる。

ここで、各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力し、仮想二次元画像における仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップは、画像レジストレーションモデルの投影画像特徴抽出ネットワークを用いて第２投影画像に対して特徴抽出を行い、第２投影特徴図を得るステップと、仮想画像特徴抽出ネットワークを用いて仮想二次元画像に対して特徴抽出を行い、第２仮想特徴図を得るステップと、画像レジストレーションモデルの位置予測ネットワークを用い、第２投影特徴図において前記第３実際二次元位置に対応する第２投影特徴位置を決定し、第２仮想特徴図において第２投影特徴図における第２投影特徴位置に対応する仮想特徴位置を探し出し、仮想特徴位置を用いて第２予測二次元位置を取得するステップと、を含む。したがって、投影画像特徴抽出ネットワークと仮想画像特徴抽出ネットワークにより第２投影特徴図と第２仮想特徴図をそれぞれ得、同一の特徴抽出ネットワークを用いて仮想画像と投影画像に対して特徴抽出を行う場合に比べて、当該２つの特徴抽出ネットワークは、トレーニングされた後、各種の画像に対する特徴抽出がより正確になることを実現することができる。

ここで、第２実際二次元位置と第２予測二次元位置に基づいて、画像レジストレーションモデルのネットワークパラメータを調整するステップは、第２実際二次元位置と第２予測二次元位置に基づいて、仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのネットワークパラメータを調整するステップを含む。したがって、仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワーク及び位置予測ネットワークのネットワークパラメータを調整することにより、画像レジストレーションモデルのトレーニング効果を向上させることができる。

ここで、前記第２実特徴図において前記第１投影特徴図における前記第１投影特徴位置に対応する実特徴位置を探し出すステップは、前記第１投影特徴図において前記第１投影特徴位置に位置する第１特徴情報を探し出し、前記第２実特徴図において、前記第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、前記第２実特徴図における前記第２特徴情報の実特徴位置を取得するステップと、を含む。したがって、特徴情報によって、対応する特徴点を探し出すことにより、特徴情報の種類及びタイプに応じてトレーニング結果を調整することができ、トレーニング効果の向上に役立つ。

ここで、前記第２仮想特徴図において、前記第２投影特徴図における前記第２投影特徴位置に対応する仮想特徴位置を探し出すステップは、前記第２投影特徴図において、前記第２投影特徴位置に位置する第１特徴情報を探し出し、前記第２仮想特徴図において、前記第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、前記第２仮想特徴図における前記第２特徴情報の仮想特徴位置を取得するステップと、を含む。したがって、特徴情報によって、対応する特徴点を探し出すことにより、特徴情報の種類及びタイプに応じてトレーニング結果を調整することができ、トレーニング効果の向上に役立つ。

ここで、上述した各組の仮想二次元画像と第２投影画像に、同一の第２投影モデルパラメータを用いてプリセット位置姿勢における仮想ターゲットに対して模擬イメージングを行って得られた仮想二次元画像、及び同一の第２投影モデルパラメータを用いて参考位置姿勢における仮想ターゲットに対して模擬イメージングを行って得られた第２投影画像が含まれ、ここで、異なる組の仮想二次元画像と第２投影画像に対応する第２投影モデルパラメータ及び／又はプリセット位置姿勢は異なる。したがって、同一のターゲットに対して複数の視角又は複数の位置でのレジストレーションのトレーニングを実現することでき、それによって、画像レジストレーションモデルは、同一のターゲットの異なる視角、位置の画像に対してレジストレーションすることができ、これにより、トレーニング効果、及び画像レジストレーションモデルの適用性が向上する。

ここで、上述した方法は、画像レジストレーションモデルを事前トレーニングするために、同一のプリセット位置姿勢に対応する複数の仮想二次元画像の第２予測二次元位置を用い、特徴点の予測三次元位置を決定するステップと、特徴点の予測三次元位置と実際の三次元位置との間の差異を用い、画像レジストレーションモデルのネットワークパラメータを調整するステップと、を含む。したがって、予測三次元位置と実際の三次元位置との間の差異を用いて画像レジストレーションモデルのネットワークパラメータを調整することにより、トレーニング効果をさらに向上させることができる。

ここで、各組の仮想二次元画像と第２投影画像を取得するステップは、同一の投影モデルパラメータで、プリセット位置姿勢にある仮想ターゲットに対して模擬イメージングを行い、仮想二次元画像を取得し、第２投影モデルパラメータ、及び参考位置姿勢に対するプリセット位置姿勢の仮想ターゲットの剛体変換パラメータを記録するステップと、同一の第２投影モデルパラメータで、参考位置姿勢にある仮想ターゲットに対して模擬投影を行って、第２投影画像を取得するステップと、を含み、仮想二次元画像における仮想ターゲット上の特徴点の第２実際二次元位置と第２投影画像における仮想ターゲット上の特徴点の第３実際二次元位置とを取得するステップは、参考位置姿勢にある仮想ターゲット上の少なくとも１つ特徴点を決定するステップと、仮想二次元画像に対応する第２投影モデルパラメータ及び剛体変換パラメータを用い、仮想二次元画像における特徴点の第２実際二次元位置を決定するステップと、第２投影画像に対応する第２投影モデルパラメータを用い、第２投影画像における特徴点の第３実際二次元位置を決定するステップと、を含む。仮想二次元画像と第２投影画像を取得するときの投影モデルパラメータと、参考位置姿勢に対するプリセット位置姿勢の仮想ターゲットの剛体変換パラメータを記録することにより、後続の画像レジストレーションモデルをトレーニングする時に、これらのパラメータを比較用の依拠として用いて、画像レジストレーションモデルのネットワークパラメータを調整し、さらに画像レジストレーションモデルのトレーニング効果を向上させることができる。

ここで、参考位置姿勢にある仮想ターゲット上の少なくとも１つの特徴点を決定するステップは、参考位置姿勢にある仮想ターゲットにおいて、少なくとも１つの特徴点をランダムに選択するステップ、又は、第２投影画像における、仮想ターゲットに対応するターゲット領域を識別し、ターゲット領域の内部又はエッジにおいて、少なくとも１つの投影点を選択し、第２投影画像の第２投影モデルパラメータを用い、少なくとも１つの投影点を三次元空間に投影し、仮想ターゲット上の少なくとも１つの特徴点を取得するステップを含む。特徴点を決定することにより、特徴点を用いてレジストレーショントレーニングを補助することができ、これにより、トレーニングの実行及びトレーニング効果の向上が容易になる。また、仮想ターゲットの内部又はエッジ上で特徴点を選択することにより、特徴点がその後のレジストレーショントレーニングの時に探しやすくなり、それによって画像レジストレーションモデルのトレーニング効率が向上する。

本開示の実施例の第２態様では画像レジストレーション方法を提供する。当該レジストレーション方法は、ターゲットをそれぞれイメージングして得られた二次元画像と三次元画像を取得するステップと、二次元画像の投影モデルパラメータを用いて三次元画像を投影し、投影画像を取得するステップと、画像レジストレーションモデルを用いて二次元画像と投影画像を処理し、二次元画像におけるターゲット上の特徴点の二次元位置を取得するステップと、二次元位置を用い、二次元画像と三次元画像の間のレジストレーション結果を取得するステップと、を含み、画像レジストレーションモデルは、上記第１態様で提供される画像レジストレーションモデルのトレーニング方法によって得られたものである。したがって、上記第１態様で提供される画像レジストレーションモデルのトレーニング方法によって得られた画像レジストレーションモデルを用いることにより、ターゲットをイメージングして得られた二次元画像及び三次元画像をレジストレーションすることができ、かつレジストレーション結果はより正確となる。

ここで、二次元位置を用い、二次元画像と三次元画像の間のレジストレーション結果を取得するステップは、投影モデルパラメータを用いて二次元位置を三次元空間に投影し、実ターゲット上の特徴点の第１三次元位置を取得するステップと、三次元画像における実ターゲット上の特徴点の第２三次元位置を取得するステップと、第１三次元位置と第２三次元位置を用い、二次元画像に対する三次元画像の剛体変換パラメータを取得するステップと、を含む。したがって、実ターゲット上の特徴点の第１三次元位置と第２三次元位置を用いることにより、二次元画像に対する三次元画像の剛体変換パラメータを取得することができるため、上記画像レジストレーション方法は、画像レジストレーションに適用できる。

本開示の実施例の第３態様では画像レジストレーションモデルのトレーニング装置を提供する。当該装置は、実二次元画像と参考二次元画像を取得するように構成され、実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、参考二次元画像における実ターゲットの位置が実二次元画像とマッチングしている第１取得モジュールと、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用いて参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得るように構成され、画像レジストレーションモデルが既に仮想画像を用いて事前トレーニングされており、しかも仮想画像特徴抽出ネットワークが事前トレーニングに参与しており、仮想画像が仮想ターゲットに基づいて生成されたものである第１特徴抽出モジュールと、画像レジストレーションモデルの実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第１実特徴図を得るように構成され、実画像特徴抽出ネットワークが事前トレーニングに参与していない第２特徴抽出モジュールと、第１実特徴図と第１仮想特徴図との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整するように構成される調整モジュールと、を備える。したがって、上述した画像レジストレーションモデルのトレーニング装置により、仮想画像で事前トレーニングされた画像レジストレーションモデルを用いることにより、第１実特徴図と第１仮想特徴図との間の差異に基づいて実画像特徴抽出ネットワークのネットワークパラメータを調整することができ、それによって、実画像特徴抽出ネットワークによって得られた第１実特徴図を、第１仮想特徴図に対応付けることができる。これにより、仮想データの結果で実データのトレーニングを指導することを実現し、さらに画像レジストレーションモデルトレーニング装置のトレーニング効果を向上させることができ、それによって画像レジストレーションモデルのトレーニング装置は、後続のトレーニングに用いられてもよく、また、より容易に実際の環境に適用することができる。

本開示の実施例の第４態様では画像レジストレーション装置を提供する。当該装置は、ターゲットをそれぞれイメージングして得られた二次元画像と三次元画像を取得するように構成される第２取得モジュールと、二次元画像の投影モデルパラメータを用いて三次元画像を投影し、投影画像を取得するように構成される投影モジュールと、画像レジストレーションモデルを用いて二次元画像と投影画像を処理し、二次元画像におけるターゲット上の特徴点の二次元位置を取得するように構成される予測モジュールと、二次元位置を用い、二次元画像と三次元画像の間のレジストレーション結果を取得するように構成されるレジストレーションモジュールと、を備え、画像レジストレーションモデルは、上記第３態様で記載している装置によってトレーニングされたものである。したがって、仮想画像で事前トレーニングされた画像レジストレーションモデルを用いることにより、実画像特徴抽出ネットワークによって得られた第１実特徴図を、第１仮想特徴図に対応付けることができる。これにより、仮想データの結果で実データのトレーニングを指導することを実現し、さらに画像レジストレーションモデルトレーニング装置のトレーニング効果を向上させることができ、それによって画像レジストレーションモデルのトレーニング装置は、後続のトレーニングに用いられてもよく、また、より容易に実際の環境に適用することができる。

本開示の実施例の第５態様では画像レジストレーションデバイスを提供する。当該デバイスは、互いに結合されているプロセッサとメモリとを備え、プロセッサは、上記第１態様で説明された画像レジストレーションモデルのトレーニング方法、又は上記第２態様で記載している画像レジストレーション方法を実行するために、メモリに記憶されたコンピュータプログラムを実行するように構成される。

本開示の実施例の第６態様ではコンピュータ可読記憶媒体を提供する。当該媒体にはプロセッサによって実行され得るコンピュータプログラムが記憶され、コンピュータプログラムは、上記第１態様又は第２態様で記載している方法を実現するために用いられる。

本開示の実施例の第７態様ではコンピュータプログラム製品を提供する。当該プログラム製品には１つ又は複数のプログラム命令が記憶され、前記プログラム命令は、前記第１態様又は第２態様で記載している方法を実現するために、プロセッサにロードされて実行される。

本開示の実施例では、仮想画像で事前トレーニングされた画像レジストレーションモデルを用いることにより、第１実特徴図と第１仮想特徴図との間の差異に基づいて実画像特徴抽出ネットワークのネットワークパラメータを調整することができ、それによって、実画像特徴抽出ネットワークによって得られた第１実特徴図を、第１仮想特徴図に対応付けることができる。これにより、仮想データの結果で実データのトレーニングを指導することを実現し、さらに画像レジストレーションモデルトレーニング装置のトレーニング効果を向上させることができ、それによって画像レジストレーションモデルのトレーニング装置は、後続のトレーニングに用いられてもよく、また、より容易に実際の環境に適用することができる。

本開示の実施例における技術的解決策をより明確に説明するために、以下に実施例の説明に必要な図面を簡単に説明するが、明らかに、以下に説明される図面は本開示のいくつかの実施例だけであり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることができる。
本開示の実施例による画像レジストレーションモデルのトレーニング方法のフローチャートである。 本開示の実施例による画像レジストレーションモデルのトレーニング方法のフローチャートである。 本開示の実施例による画像レジストレーションモデルのトレーニング方法の第１フローチャートである。 本開示の実施例による画像レジストレーションモデルのトレーニング方法の第２フローチャートである。 本開示の実施例による画像レジストレーションモデルのトレーニング方法の第３フローチャートである。 本開示の実施例による画像レジストレーションモデルのトレーニング方法の第４フローチャートである。 本開示の実施例による画像レジストレーション方法の実施例のフローチャートである。 本開示の実施例による画像レジストレーション方法の実施例の論理フローチャートである。 本開示の実施例による仮想二次元画像上の特徴点の投影座標を決定する概略図である。 本開示の実施例による実Ｘ線画像特徴抽出ネットワークのトレーニングプロセスの概略図である。 本開示の実施例による画像レジストレーションモデルのトレーニング装置の実施例のフレームワークの概略図である。 本開示の実施例による画像レジストレーション装置の実施例のフレームワークの概略図である。 本開示の実施例による画像レジストレーションデバイスの実施例の構造ブロック図である。 本開示の実施例による記憶装置の実施形態のフレームワークの概略図である。

以下に本開示の実施例の図面と組み合わせて、本開示の実施例における技術的解決策を明確且つ完全に説明し、明らかに、説明される実施例は、本発明の実施例の一部に過ぎず、全ての実施例ではない。本開示の実施例に基づき、当業者が創造的な労力を要せずに得る全ての他の実施例は、本開示の実施例の保護範囲に属する。

図１を参照すると、図１は本開示の実施例による画像レジストレーションモデルのトレーニング方法のフローチャートである。

ステップＳ１０において、実二次元画像と参考二次元画像を取得し、実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、参考二次元画像における実ターゲットの位置が実二次元画像とマッチングしている。

本開示の実施例では、画像レジストレーションモデルのトレーニングを実現するために、まず仮想画像を用いて初期段階の画像レジストレーションモデルを事前トレーニングすることができ、当該初期段階の画像レジストレーションモデルには、仮想画像特徴抽出ネットワークが含まれ、当該仮想画像特徴抽出ネットワークは、仮想二次元画像に対して特徴抽出を行うために用いられる。上記の事前トレーニング後、実画像特徴抽出ネットワークを事前トレーニングされた画像レジストレーションモデルに追加して、実画像特徴抽出ネットワークをさらにトレーニングして、最終的な画像レジストレーションモデルを得る。実画像特徴抽出ネットワークのトレーニングを実現するために、実画像データ及び事前トレーニングされた仮想画像特徴抽出ネットワークを用いて、本開示の実施例の方法を実行することができ、それによって、実画像特徴抽出ネットワークのネットワークパラメータを調整する。

実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものである。実ターゲットは、例えば実際の環境におけるカップ、人体の骨などである。イメージングデバイスは、例えば、カメラ、Ｘ線装置、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ：コンピュータ断層撮影）などのイメージング機能を備えた他のデバイスである。

参考二次元画像内の実ターゲットの所在位置が実二次元画像とマッチングしていることは、参考二次元画像における実ターゲットの位置が実二次元画像における実ターゲットの位置と同じであること、又は参考二次元画像内の実ターゲットと実二次元画像に対応する三次元実ターゲットとの剛体変換パラメータが既知であってもよい。位置が同じであることは、実二次元画像及び参考二次元画像において、実ターゲットの角度、形状及びサイズなどが完全に一致していると理解されてもよい。参考二次元画像に対応する実ターゲットと実二次元画像に対応する実ターゲットの剛体変換パラメータが既知であることは、実二次元画像に対応する実ターゲットと比べて、参考二次元画像に対応する実ターゲットの空間変換プロセスが既知していると理解されてもよい。例えば実二次元画像に対応する実ターゲットは、既知の剛体変換パラメータを用い、参考二次元画像に対応する実ターゲットの位置と一致する実ターゲットを取得することができる。

参考二次元画像は、実ターゲットの実三次元画像を処理することで取得されたものであってもよい。例えば、実二次元画像と実三次元画像との間の実際レジストレーション結果を用い、実ターゲットの所在位置が実二次元画像と一致する参考二次元画像を生成する。当然、当該参考二次元画像は、実ターゲットを再度イメージングすることで取得されたものであってもよい。実三次元画像は、三次元画像を撮影することができるイメージングデバイスで実ターゲットを撮影して得られたものであってもよく、例えば、ＣＴ撮影によって得られたもの、又は３Ｄスキャナで走査して得られたものであってもよい。当然、三次元画像は、実ターゲットに対する３Ｄモデリングを行って得られたものであってもよい。

実二次元画像と実三次元画像の実際レジストレーション結果は、実二次元画像を撮影するときの実ターゲットと実三次元画像との間の剛体変換パラメータが既知であることを示す。得られた実三次元画像の位置姿勢と実二次元画像を撮影するときの実ターゲットの位置姿勢との間で剛体変換ができるため、実際レジストレーション結果を用いて、実三次元画像の位置姿勢を調整することができ、これにより、実三次元画像の位置姿勢を、実二次元画像を撮影するときの実ターゲットの位置姿勢と一致させる。位置姿勢は、水平、垂直、斜めなどのような実ターゲットを置く姿勢である。

これに基づいて、参考二次元画像上の実ターゲットの位置が実二次元画像における実ターゲットの位置と一致する参考二次元画像を取得することができる。位置が一致することは、実二次元画像及び参考二次元画像において実ターゲットの角度、形状及びサイズなどが完全に一致すると理解されてもよい。参考二次元画像を生成するための方法は、例えば、投影方法である。投影方式は、模擬イメージングなどの方式であってもよい。三次元画像を投影するとき、投影モデルパラメータは、実二次元画像を撮影するときの投影モデルパラメータである。同じの三次元画像の位置姿勢と同じ投影モデルパラメータに基づいて行っているため、三次元画像を投影することにより、実ターゲットの所在位置が実二次元画像と一致する参考二次元画像を取得することができる。

したがって、実ターゲットの所在位置が実二次元画像と一致する参考二次元画像を生成することにより、その後のトレーニングで、参考二次元画像と実二次元画像を利用することができる。

ステップＳ１１において、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用いて参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得、画像レジストレーションモデルは、既に仮想画像を用いて事前トレーニングされており、しかも仮想画像特徴抽出ネットワークは、事前トレーニングに参与しており、仮想画像は仮想ターゲットに基づいて生成されたものである。

画像レジストレーションモデルは、画像をレジストレーションするためのニューラルネットワークモデルであってもよく、例えば、完全畳み込みニューラルネットワークであってもよいし、畳み込みニューラルネットワークであってもよい。画像レジストレーションモデルは複数のニューラルネットワークを含み得、必要に応じて調整することができる。

画像レジストレーションモデルは、仮想画像特徴抽出ネットワークを含み、当該仮想画像特徴抽出ネットワークは、ニューラルネットワークであり、例えば畳み込みニューラルネットワークである。仮想画像特徴抽出ネットワークの構造を制限せず、特徴抽出を行えばよい。

仮想画像は仮想ターゲットに基づいて生成されたものである。当該仮想画像は仮想二次元画像を含むことができる。仮想ターゲットは、人為的に模擬して生成されたターゲットであってもよく、実際の環境に存在する任意の物体、例えばカップ、又は人体の様々な部位の骨などを模擬することができる。仮想画像を模擬して生成する方式は、例えば模擬投影方式であってもよい。実際の環境における物体は、通常、他の物体と接続関係を有し、又は他の物体とある方向で重なっている可能性があり、例えば人体の骨は、常に人体の他の骨又は他の筋肉組織に接続され、又はある方向に重なっている。したがって、仮想ターゲットに対して模擬イメージングを行う時に、他の物体に対しても模擬イメージングすることができ、それによって、生成された仮想画像は、実際の環境で生成された画像に近づけることができる。仮想ターゲットを生成することにより、画像レジストレーションモデルは、実際の環境に存在する物体をトレーニングすることができ、画像レジストレーションモデルの適用性が向上する。

画像レジストレーションモデルは、既に仮想画像を用いて事前トレーニングされており、即ち、画像レジストレーションモデルが既に仮想画像を用いてレジストレーショントレーニングが行われたことを示し、例えば、複数の組の仮想画像をトレーニングデータとして用い、仮想画像をレジストレーションし、仮想画像レジストレーションモデルのネットワークパラメータを調整する。仮想画像特徴抽出ネットワークは、事前トレーニングに参与しており、即ち、仮想画像レジストレーションモデルが仮想画像をレジストレーションすることを示し、画像レジストレーションモデルのネットワークパラメータを調整する時に、仮想画像特徴抽出ネットワークのネットワークパラメータも調整する。事前トレーニングされた画像レジストレーションモデルは、仮想画像のレジストレーションに用いられてもよい。

したがって、このステップの画像レジストレーションモデルは、仮想画像を用いて事前トレーニングされている。これに基づいて、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用いて参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得る。仮想画像特徴抽出ネットワークの出力結果には、抽出された特徴情報が含まれてもよく、特徴情報は、特徴ベクトルであってもよく、例えば、１２８次元の特徴ベクトルが挙げられる。

実二次元画像を用いて画像レジストレーションモデルに対してレジストレーショントレーニングを行う時に、仮想画像を用いて事前トレーニングされた画像レジストレーションモデルを用いるため、画像レジストレーションモデルのネットワークパラメータは、事前に調整されており、これにより、実二次元画像を用いるトレーニングの進行を加速し、トレーニング効率を向上させることができる。同時に、仮想二次元画像は、仮想ターゲットに基づいて生成されてもよく、したがって、大量の仮想二次元画像をトレーニングデータとして生成することができ、大量のトレーニングデータによって、トレーニング効果を向上させることができる。また、仮想画像の取得コストが実二次元画像の取得コストより低いため、仮想画像を用いて画像レジストレーションモデルを事前トレーニングする場合、必要な実二次元画像を減少させ、トレーニングコストを低減させることができる。

ステップＳ１２において、画像レジストレーションモデルの実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第１実特徴図を得、実画像特徴抽出ネットワークは、事前トレーニングに参与していない。

本開示の実施例では、画像レジストレーションモデルは、実二次元画像に対して特徴抽出を行うための実画像特徴抽出ネットワークをさらに含み、実画像特徴抽出ネットワークの出力結果を、第１実特徴図として定義する。実画像特徴抽出ネットワークの出力結果には、抽出された特徴情報が含まれてもよく、特徴情報は、特徴ベクトルであり、例えば、１２８次元の特徴ベクトルが挙げられる。また、実画像特徴抽出ネットワークは、事前トレーニングに参与しておらず、これは、実画像特徴抽出ネットワークが、仮想画像を用いる事前トレーニングプロセスを経由していないことを示す。

実画像特徴抽出ネットワークが事前訓練に参与していないため、その後で実画像特徴抽出ネットワークをトレーニングする時に、実二次元画像を利用してトレーニングするようになり、これにより、実二次元画像に対する実画像特徴抽出ネットワークの特徴抽出効果を向上させることができる。

上記のステップＳ１１及びステップＳ１２の実行順序を限定しない。実際に実行する時に、ニーズに応じて実行順序を調整することができる。

ステップＳ１３において、第１実特徴図と第１仮想特徴図との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整する。

第１実特徴図と第１仮想特徴図を取得した後、これら２つの特徴図を用いて、特徴抽出における実画像特徴抽出ネットワークと仮想画像特徴抽出ネットワークとの差異を比較し、差異に基づいて実画像特徴抽出ネットワークのネットワークパラメータを調整することができる。差異は、抽出される特徴情報のタイプ、特徴情報の次元などであってもよい。

１つの実施シーンでは、実画像特徴抽出ネットワークによって出力される第１実特徴図と仮想画像特徴抽出ネットワークによって出力される第１仮想特徴図は、サイズにおいて一致するように維持する。２つの特徴図のサイズが一致しない場合、実画像特徴抽出ネットワークのネットワークパラメータを調整し、これら２つの特徴図は一致するように維持することができる。

１つの実施シーンでは、第１実特徴図と第１仮想特徴図の特徴情報のタイプを、一致させ、又は高い類似度を有するように維持する。例えば、第１仮想特徴図の特徴情報が特徴ベクトルである場合、第１実特徴図も特徴ベクトル情報を含む。第１仮想特徴図の特徴情報が２５６次元の特徴ベクトルである場合、第１実特徴図の特徴情報も２５６次元の特徴ベクトルであり、又は２５４などの２５６次元に近い特徴ベクトルである。

仮想画像特徴抽出ネットワークが既に事前トレーニングされており、しかも、第１実特徴図と第１仮想特徴図との間の差異に基づいて実画像特徴抽出ネットワークのネットワークパラメータを調整することにより、実画像特徴抽出ネットワークによって得られた第１実特徴図を、第１仮想特徴図に対応付けることができる。これにより、仮想データの結果で実データのトレーニングを指導することを実現し、さらに画像レジストレーションモデルのトレーニング効果を向上させることができ、それによって実画像特徴抽出ネットワークは、後続のトレーニングに利用可能であり、これにより、画像レジストレーションモデルは、より容易に実際の環境に適用することができる。実画像特徴抽出ネットワークのネットワークパラメータを調整した後、画像の特徴抽出ネットワークがその後のトレーニング要求を満たしていることを意味し、画像レジストレーションモデルのトレーニングを継続することができる。

図２を参照すると、図２は本開示の実施例による画像レジストレーションモデルのトレーニング方法のフローチャートである。この実施例では、上記の図１を基に、画像レジストレーションモデルのトレーニングプロセスを継続し、本開示の実施例は、以下のステップを含む。

ステップＳ２０において、実二次元画像と参考二次元画像を取得し、実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、参考二次元画像における実ターゲットの位置が実二次元画像とマッチングしている。

ステップＳ２１において、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用いて参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得、画像レジストレーションモデルは、既に仮想画像を用いて事前トレーニングされており、しかも仮想画像特徴抽出ネットワークは、事前トレーニングに参与しており、仮想画像は、仮想ターゲットに基づいて生成されたものである。

ステップＳ２２において、画像レジストレーションモデルの実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第１実特徴図を得、実画像特徴抽出ネットワークは、事前トレーニングに参与していない。

ステップＳ２３において、第１実特徴図と第１仮想特徴図との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整する。

上記のステップＳ２０－Ｓ２３は、それぞれ上記のステップＳ１０－Ｓ１３に１対１で対応する。詳細については、上記のステップＳ１０－Ｓ１３を参照することができ、ここでは説明を省略する。

本開示の実施例では、画像レジストレーションモデルは、事前トレーニングに参与する投影画像特徴抽出ネットワークと位置予測ネットワークとをさらに含む。投影画像特徴抽出ネットワークは、投影画像に対して特徴抽出を実行するために用いられてもよく、位置予測ネットワークは、各特徴抽出ネットワークによって抽出された特徴画像に基づいて、各特徴図における特徴点の位置情報を決定することができる。

投影画像特徴抽出ネットワークと位置予測ネットワークは事前トレーニングされており、即ち、それは、これら２つのネットワークが仮想画像を用いて事前トレーニングされており、それらの対応するネットワークパラメータが調整済みであることを示し、投影画像特徴抽出ネットワークによって出力される第１投影特徴図と仮想画像特徴抽出ネットワークによって出力される第１仮想特徴図は、サイズ及び特徴情報のタイプにおいて、同じであり、又は高い類似度を有する。よって、第２実特徴図も第１投影特徴図と、サイズ及び特徴情報のタイプにおいて同じであり、又はより高い類似度を有する。位置予測ネットワークは、事前トレーニングされていることは、位置予測ネットワークによって、仮想特徴図における特徴点の位置に基づいて、対応する点を探すことができることを示す。

仮想データを利用して実データのトレーニングを指導することを実現し、実データに対するトレーニング効果を向上させるために、本開示の実施例は、上記の事前トレーニングされた投影画像特徴抽出ネットワーク及び位置予測ネットワークを用い、実画像特徴抽出ネットワークをトレーニングし続ける。

ステップＳ２４において、調整後の実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第２実特徴図を得る。

ステップＳ２３において、実画像特徴抽出ネットワークのパラメータを調整し、調整後の実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、出力された結果を、第２実特徴図として定義する。このときの第２実特徴図と第１仮想特徴図は、サイズと特徴情報において一致させ、又は高い類似度を有するように維持する。

ステップＳ２５において、実二次元画像の第１投影モデルパラメータを用いて実三次元画像を投影し、第１投影画像を得て、第１投影画像における実ターゲットの特徴点の第１実際二次元位置を取得する。

イメージングデバイスを用いて実二次元画像をイメージングすることで取得された実二次元画像に対応する投影モデルパラメータを、第１投影モデルパラメータとして定義する。異なる位置姿勢における複数組の実二次元画像を得て、これらの実二次元画像を用いてトレーニングするために、実二次元画像の第１投影モデルパラメータを用いて実三次元画像を投影することができ、得られた画像を、第１投影画像として定義する。投影方式は、例えば模擬投影方式である。

第１投影画像を得た後、第１投影画像で特徴点を選択し、特徴点の位置情報を用いて画像レジストレーションモデルをトレーニングすることができる。三次元画像が実ターゲットによって取得されるため、実ターゲット上で特徴点を選択することができ、当該特徴点は、実ターゲット上の任意の点であると理解されてもよく、ターゲット位置を分析することにより決定することができ、又は、手動で指定することができ、又は画像レジストレーションモデルにより自らで確認することもできる。又は、第１投影画像上で特徴点を決定してから、実ターゲット上の特徴点の位置を決定する。

第１実際二次元位置を取得する時に、例えば、まず三次元画像における特徴点の実際の三次元位置を決定してから、投影モデルパラメータに基づき、第１投影画像における特徴点の第１実際二次元位置を取得することができる。三次元画像に対して三次元座標系を確立することができ、これにより、三次元画像における特徴点の実際の三次元位置の三次元座標を得ることができる。対応的に、得られた第１実際二次元位置は、二次元座標であり、例えば、ある画素点の位置（２、２）である。又は、まず第１投影画像上で特徴点の第１実際二次元位置を決定し、次に第１投影モデルパラメータを用いて換算して三次元画像における特徴点の実際の三次元位置を取得する。

ステップＳ２６において、投影画像特徴抽出ネットワークを用いて第１投影画像に対して特徴抽出を行い、第１投影特徴図を取得する。

第１投影画像を取得した後、投影画像特徴抽出ネットワークを用い、第１投影画像に対して特徴抽出を行うことができ、これにより、第１投影特徴図を取得することができる。

投影画像特徴抽出ネットワークは、ニューラルネットワークであり、例えば畳み込みニューラルネットワークである。投影画像特徴抽出ネットワークの構造を制限することなく、特徴抽出をすることができればよい。投影画像特徴抽出ネットワークを用いて第１投影画像に対して特徴抽出を行う場合、当該ネットワークによって出力された結果を第１投影特徴図として定義するように設定していてもよい。第１投影特徴図では、第１投影特徴図上の各画像素点に、対応する特徴情報が含まれる。特徴情報は、特徴ベクトルであり、例えば１２８次元の特徴ベクトルが挙げられる。

ステップＳ２７において、位置予測ネットワークを用い、第１投影特徴図において、第１実際二次元位置に対応する第１投影特徴位置を決定し、第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出し、実特徴位置を用いて実二次元画像における実ターゲットの特徴点の第１予測二次元位置を取得する。

第１投影画像における特徴点の第１実際二次元位置を取得した後、位置予測ネットワークを用い、第１投影特徴図において、第１投影画像における特徴点の第１実際二次元位置に対応する第１投影特徴位置を決定することができる。

特徴抽出ネットワーク（上記の仮想画像特徴抽出ネットワーク、実画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークを含む）によって出力される特徴図は、特徴抽出だけの結果であるため、特徴図上の位置は、特徴を抽出するための画像の位置と対応関係を有するものである。例えば、仮想二次元画像と第１仮想特徴図、実二次元画像と第１実特徴図、実二次元画像と第２実特徴図、第１投影画像と第１投影特徴図の位置はすべて対応関係がある。例えば、特徴図上の各画素点は、特徴抽出のための画像上の画素点と対応関係を有する。このような位置の対応関係は、特徴図のサイズと特徴抽出のための画像のサイズとの比例関係に基づいて決定されてもよい。

第１投影画像と第１投影特徴図を例とすると、第１投影特徴図のサイズは、第１投影画像のサイズと正数比例関係にあってもよい。例えば、入力された第１投影画像のサイズが２５６＊２５６個の画素点である場合、出力された第１投影特徴図のサイズは２５６＊２５６個の画素点、又は１２８＊１２８個の画素点、又は５１２＊５１２画素点であってもよい。この場合、第１投影特徴図と第１投影画像のサイズが一致し、２５６＊２５６個の画素点である場合、第１投影画像における特徴点の第３実際二次元位置がある画素点の位置（１、１）である場合、対応的に第２投影特徴図における第２投影特徴位置も（１、１）である。第２投影特徴図のサイズが５１２＊５１２個の画素点である場合、対応的に第２投影特徴図における第２投影特徴位置は、（１、１）、（１、２）、（２、１）又は（２、２）の少なくとも１つであり、又は、これらの４つの画素点を演算し、１つの新しい画素点を取得し、この新しい画素点の位置を第２投影特徴図における特徴点の第２投影特徴位置として用いる。演算方法は、例えば、補間演算である。

したがって、第１投影画像における特徴点の第１実際二次元位置を決定した後、位置予測ネットワークは、第１投影画像の位置と第１投影特徴図の位置の対応関係に基づいて、第１投影特徴図における特徴点の第１投影特徴位置を決定することができる。例えば、第１投影画像と第１投影特徴図のサイズが同じサイズである場合、第１投影画像における特徴点の第１実際二次元位置は、画素点（５、５）であり、第１投影特徴図における特徴点の第１投影特徴位置も画素点（５、５）である。

第１投影特徴図における特徴点の第１投影特徴位置を決定した後、位置予測ネットワークは、第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出すことができる。また、実特徴位置によって、実二次元画像における第１予測二次元位置を取得する。第１予測二次元位置は、実二次元画像における特徴点の予測位置である。

ステップＳ２５及びステップＳ２６の実行順序を限定せず、実際のニーズに応じて調整してもよいことが理解できる。

このステップで記載している「第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出す」ステップは、以下のステップによって実現されてもよい。

Ｓ２７１において、第１投影特徴図において第１投影特徴位置に位置する第１特徴情報を探し出す。

位置予測ネットワークは、第１投影特徴図における特徴点の第１投影特徴位置に基づいて、当該位置に対応する第１特徴情報を決定する。例えば、投影特徴位置（第１投影特徴位置）が画素点（１、１）の位置である場合、第１特徴情報は、画素点（１、１）に対応する特徴情報である。特徴情報は特徴ベクトルであってもよい。

ステップＳ２７２において、第２実特徴図において、第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出す。

第１投影特徴図上の特徴点の第１特徴情報を探し出した後、位置予測ネットワークは、第１特徴情報に基づいて、第２実特徴図において、第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すことができる。

第１特徴情報が特徴ベクトルである場合、位置予測ネットワークは、当該特徴ベクトルに基づいて、第２実特徴図において、プリセット類似条件を満たす第２特徴情報を探し出すことができ、第２特徴情報も特徴ベクトルである。プリセット類似条件は、人為的に設定されてもよく、例えば、類似度が９０％～９５％である場合、探した結果が受け入れることができることを示す。当然、プリセット類似条件は、適用シーンに応じて設定されてもよく、ここでは限定しない。１つのシーンにおいて、プリセット類似条件は、最も高い類似度に対応する第２特徴情報であってもよい。

ステップＳ２７３において、第２実特徴図における第２特徴情報の実特徴位置を取得する。

特徴図内の各位置には対応する特徴情報があるため、第２特徴情報を探し出してから、第２特徴情報に基づいて第２実特徴図内のそれに対応する実特徴位置を探すことができる。

位置予測ネットワークは、事前トレーニングされた後、仮想画像の特徴図における特徴点の位置に基づいて対応する特徴点を探すことができる。このとき、実画像の特徴図をさらに用い、実画像の特徴図において対応する特徴点を探すように位置予測ネットワークをトレーニングし、それによって、仮想データの結果で実データのトレーニングを指導することを実現し、トレーニング効果を向上させることができ、それによって画像レジストレーションモデルは、より容易に実際の環境に適用することができる。

第２実特徴図における特徴点の実特徴位置を決定し後、位置予測ネットワークは、第２実特徴図と実二次元画像の位置対応関係に基づいて、実二次元画像における特徴点の第１予測二次元位置を取得することができる。

ステップＳ２８において、第１予測二次元位置を用い、実二次元画像と実三次元画像の予測レジストレーション結果を取得する。

第１予測二次元位置を取得した後、それは、実二次元画像における特徴点の予測位置が位置予測ネットワークによって取得されたことを示す。これに基づいて、実二次元画像を撮影するときの第１投影モデルパラメータに基づいて、換算により、実二次元画像を撮影するときの実ターゲット上の特徴点の予測実三次元位置を取得する。また、ステップＳ２５に関する記載によれば、特徴点の第１投影画像内の実ターゲットに対応する実三次元画像における実三次元位置も既知である。したがって、実三次元画像上の特徴点の実三次元位置と得られた予測実三次元位置とに基づいて計算し、それによって実二次元画像を撮影するときの実ターゲットと実三次元画像の間の予測剛体変換パラメータを取得し、実二次元画像を撮影するときの実ターゲットの位置姿勢を実三次元画像に調整する空間変換を得ることができ、得られた予測剛体変換パラメータは、予測レジストレーション結果である。

ステップＳ２９において、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのうちの少なくとも１つのネットワークのネットワークパラメータを調整する。

予測レジストレーション結果を取得した後、予測レジストレーション結果を用いて実際レジストレーション結果と比較し、さらに比較して得られた差異に基づいて、関係するネットワークの効果を判断することができる。例えば、予測レジストレーション結果と実際レジストレーション結果に基づいて関係する損失値を取得し、さらに損失値の大きさに基づいてネットワークパラメータを調整することができる。

仮想画像を用いて投影画像特徴抽出ネットワークと位置予測ネットワークを事前トレーニングすることができる。これに基づき、位置予測ネットワークが実画像特徴抽出ネットワークによって抽出された特徴情報と投影画像特徴抽出ネットワークによって抽出された特徴情報に基づいて、より良い予測結果を取得することができるようにするために、実際レジストレーション結果と予測レジストレーション結果との間の差異を参照として利用して、実画像特徴抽出ネットワークのネットワークパラメータを調整することができる。

また、ステップＳ２３において、第１実特徴図と第１仮想特徴図との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整することが記載されているが、実画像特徴抽出ネットワークによって抽出された特徴図と第１仮想特徴図との間の差異をより小さくし、又は実画像特徴抽出ネットワークによって抽出された特徴図を位置予測ネットワークによりよく適合させるために、このとき、さらに第２実特徴図と第１仮想特徴図との間の差異、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整し、これにより、トレーニング効果を向上させることができる。

また、予測レジストレーション結果と実際レジストレーション結果の差は、位置予測ネットワークの予測の精度も表している。位置予測ネットワークの予測の精度は、実像特徴抽出ネットワークだけでなく、投影画像特徴抽出ネットワーク及び予測位置ネットワークにも関係している。したがって、予測レジストレーション結果と実際レジストレーション結果の差異に基づいて、投影画像特徴抽出ネットワークと位置予測ネットワークのネットワークパラメータを調整し、これにより位置予測ネットワークの予測の精度を向上させることができる。例えば、予測レジストレーション結果と実際レジストレーション結果の損失値に基づいて、各ネットワークのネットワークパラメータを調整する。

実画像特徴抽出ネットワークのネットワークパラメータの調整と、投影画像特徴抽出ネットワーク及び予測位置ネットワークのネットワークパラメータの調整は、同時に行われてもよく、又は、別々に行われてもよく、実画像特徴抽出ネットワークのネットワークパラメータのみを調整し、又は投影画像特徴抽出ネットワークと予測位置ネットワークのネットワークパラメータのみを調整することもでき、位置予測ネットワークの予測の精度を向上させることができれば、ネットワークパラメータの調整を限定しない。

１つの可能な実施シーンでは、安定した利用可能な画像レジストレーションモデルをトレーニングして取得するために、画像レジストレーションモデルの各ネットワークのネットワークパラメータを調整した後、上記のステップＳ２７及び以降の各ステップを再実行し、又は本開示の実施例で記載している方法を再実行し、それによって要求を満たすまで第１予測二次元位置の探し、損失値の計算及びネットワークパラメータ調整プロセスを継続的に実行することができる。ここで要求を満たすことは、損失値が事前に設定された損失閾値よりも小さく、かつ損失値が小さくならないことであってもよい。

本開示の実施例では、仮想画像でトレーニングされた仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワーク及び位置予測ネットワークを用いて、実画像特徴抽出ネットワークと共同でトレーニングすることにより、仮想データの結果で実データのトレーニングを指導することを実現し、トレーニング効果が向上し、実データでトレーニングされた画像レジストレーションモデルは、より容易に実際の環境に適用することができる。また、事前トレーニングされた画像レジストレーションモデルに対して、実二次元画像を用いて画像レジストレーションモデルをさらにトレーニングすることにより、トレーニングに必要な大量の実二次元画像を減少することができるため、画像レジストレーションのトレーニングコストを削減し、関係するトレーニングの展開がより容易になる。

図３を参照すると、図３は本開示の実施例による画像レジストレーションモデルのトレーニング方法の第１フローチャートである。本開示の実施例は、上記の２つの実施例で言及された画像レジストレーションモデルに関して事前トレーニングするプロセスであり、以下のステップを含む。

ステップ３１において、少なくとも１組の仮想二次元画像及び第２投影画像を取得し、仮想二次元画像における仮想ターゲット上の特徴点の第２実際二次元位置と第２投影画像における仮想ターゲット上の特徴点の第３実際二次元位置を取得し、ここで、仮想二次元画像が仮想ターゲットに対して模擬イメージングを行って得られたものであり、第２投影画像が仮想ターゲットに対して模擬投影を行って得られたものである。

本開示の実施例では、仮想二次元画像は、仮想ターゲットに対して模擬イメージングを行って取得されたものであり、第２投影画像は、仮想ターゲットに対して模擬投影を行って取得されたものである。仮想ターゲットは、人為的に設定されたターゲットであってもよく、実際の環境に存在する任意の物体、例えばカップ、又は人体の様々な部位の骨などであってもよい。実際の環境における物体は、通常、他の物体と接続関係を有し、又は他の物体とある方向で重なっている可能性があり、例えば人体の骨は、常に人体の他の骨又は他の筋肉組織に接続され、又はある方向に重なっている。したがって、仮想ターゲットに対して模擬イメージングを行う時に、他の物体に対しても模擬イメージングすることができ、それによって、生成された仮想画像は、実際の環境で生成された画像に近づけることができる。仮想環境で仮想ターゲットを生成することにより、画像レジストレーションモデルは、実際の環境に存在する物体をトレーニングすることができ、これにより、画像レジストレーションモデルの適用性が向上する。模擬イメージング方式は、実際の環境で三次元物体を用いて二次元画像を生成するプロセスを模擬することであってもよく、例えばＸ線装置を用いてＸ線画像を生成するプロセスを模擬することである。仮想環境で、レイトレーシング法を用いて、１つの点光源によって模擬対象物体に対して模擬投影を行って仮想二次元画像を得ることであってもよく、即ち、模擬イメージング方法は、模擬投影を含む。

また、本開示の実施例では、第２投影画像は、仮想ターゲットに対して模擬投影を行って取得されたものである。第２投影画像は、仮想ターゲット自体のみを含むことができ、つまり、仮想ターゲットのみに対して模擬投影を行い、仮想ターゲットのみを含む第２投影画像を生成する。仮想ターゲットのみを含む第２投影画像を生成することにより、画像レジストレーションモデルは、仮想ターゲットだけを意識して操作し、他の物体の影響を排除することができる。例えば、その後の特徴抽出プロセスでは、仮想ターゲットのみに対して特徴抽出を行うことにより、抽出された特徴情報がすべて有効な特徴情報であることが保証される。模擬投影は、コンピュータによって三次元物体を投影して二次元画像を生成することを模擬するプロセスであってもよく、レイトレーシングなどの方法によって実現されてもよい。

仮想二次元画像と第２投影画像は、仮想環境で生成されるものであり、当該仮想環境での各種のパラメータは、すべて既知のものであり、例えば、仮想二次元画像と第２投影画像を生成するときの投影モデルパラメータである。したがって、各種のパラメータを人為的に設定する場合、仮想二次元画像と第２投影画像のレジストレーション結果は、既知かつ正確なものであり、即ち、生成された仮想二次元画像と第２投影画像は、すべて自動的にレジストレーションしてラベリングされたものである。仮想二次元画像と第２投影画像がレジストレーション済みである場合、仮想二次元画像上の位置情報は、第２投影画像上の位置情報に対応し合っていることを意味する。例えば、１つの点が同時に仮想二次元画像と第２投影画像に位置する場合、仮想二次元画像と第２投影画像上の当該点の位置情報はすべて既知のものである。レジストレーション済みの仮想画像を用いて画像レジストレーションモデルをトレーニングすることにより、画像レジストレーションモデルのレジストレーション結果をより正確にすることができる。

仮想ターゲットと第２投影画像に対して、三次元物体投を投影して二次元画像を生成するプロセスを模擬することが可能であるため、模擬プロセスにおいて、投影モデルパラメータと仮想ターゲットの位置姿勢は生成される二次元画像に影響を与える。したがって、これら２つのパラメータに対して、対応する設定を行うことができる。仮想ターゲットの位置姿勢は、仮想オブジェクトの位置と姿勢、例えば仮想環境内の仮想物体の位置であり、又は水平、垂直、斜めなどのような実ターゲットを置く姿勢である。投影モデルパラメータは、模擬投影に関わる各種のパラメータであり、例えば、点光源の位置、点光源の角度、点光源と仮想ターゲットの間の距離などである。

１つの可能な実施シーンでは、各組の仮想二次元画像と第２投影画像に、同一の第２投影モデルパラメータを用いてプリセット位置姿勢にある仮想ターゲットに対して模擬イメージングを行って得られた仮想二次元画像、及び同一の第２投影モデルパラメータを用いて参考位置姿勢にある仮想ターゲットに対して模擬投影を行って得られた第２投影画像が含まれる。仮想二次元画像を生成する時に、第２投影モデルパラメータを事前に設定し、次に設定された投影モデルパラメータに基づいて仮想二次元画像を取得することができる。又は、仮想二次元画像を事前に生成し、次に対応する第２投影モデルパラメータを記録する。つまり、同じ組の仮想二次元画像及び第２投影画像の第２投影モデルパラメータは同じである。第２投影画像を取得する時に、このときの仮想ターゲットの位置姿勢を参考位置姿勢として定義し、仮想二次元画像を取得する時に仮想物体の位置姿勢をプリセット位置姿勢として定義する点で相違している。参考位置姿勢は、プリセット位置姿勢と同じであってもよく、即ち仮想物体は変化していない。参考位置姿勢は、プリセット位置姿勢とは異なってもよく、即ちプリセット位置姿勢における仮想ターゲットは、参考位置姿勢における仮想ターゲットに対して、仮想空間において、回転、平行移動、又は反転されてもよい。参考位置姿勢は、人為的に指定された初期位置姿勢であってもよく、即ち、プリセット位置姿勢は、すべて参考位置姿勢を平行移動又は回転させた後に取得される。異なる組の仮想二次元画像及び第２投影画像に対応する第２投影モデルパラメータ及び／又はプリセット位置姿勢が異なることを理解できる。

異なる投影モデルパラメータ及び／又はプリセット位置姿勢によって生成された複数組の仮想二次元画像及び第２投影画像を生成して画像レジストレーションモデルをトレーニングすることにより、トレーニングされた画像レジストレーションモデルは、異なる撮影視角及び異なる位置姿勢で得られた画像をレジストレーションすることができ、画像レジストレーションモデルの適用性とレジストレーションの精度が向上する。

図４を参照すると、図４は本開示の実施例による画像レジストレーションモデルのトレーニング方法の第２フローチャートである。このステップで記載している「各組の二次元画像と第２投影画像を取得する」ステップは、以下のステップを含むことができる。

ステップＳ３１１において、同一の第２投影モデルパラメータで、プリセット位置姿勢にある仮想ターゲットに対して模擬イメージングを行い、仮想二次元画像を取得し、第２投影モデルパラメータ、及び参考位置姿勢に対するプリセット位置姿勢にある仮想ターゲットの剛体変換パラメータを記録する。

プリセット位置姿勢と参考位置姿勢は、人為的に設定された、仮想三次元空間における仮想ターゲットの位置及び姿勢であってもよい。しかも、参考位置姿勢からプリセット位置姿勢への仮想ターゲットの調整は事前に設定されてもよい。即ち、仮想ターゲットを参考位置姿勢からプリセット位置姿勢に調整する剛体変換プロセスは既知である。つまり、参考位置姿勢に対するプリセット位置姿勢の仮想ターゲットの剛体変換パラメータを取得することができる。プリセット位置姿勢における仮想ターゲットに対して、設定された第２投影モデルパラメータに基づいて、模擬イメージングを行って仮想二次元画像を取得することができる。

その後の画像レジストレーションモデルのトレーニングでは、当該設定された第２投影モデルパラメータ、及び仮想ターゲットを参考位置姿勢からプリセット位置姿勢に調整する剛体変換パラメータを用いる必要があるため、仮想二次元画像を取得すると同時に、対応する投影モデルパラメータ及び剛体変換パラメータを記録することができる。

仮想二次元画像と第２投影画像を取得するときの投影モデルパラメータと、参考位置姿勢に対する剛体変換パラメータを記録することにより、その後、モデルをトレーニングする時に、これらのパラメータを比較用の依拠として用いて、画像特徴モデルのネットワークパラメータを調整し、さらに画像レジストレーションモデルのトレーニング効果を向上させることができる。

ステップＳ３１２において、同一の第２投影モデルパラメータで、参考位置姿勢にある仮想ターゲットに対して模擬投影を行い、第２投影画像を得る。

仮想二次元画像を取得した後、仮想二次元画像を取得する時と同じの第２投影モデルパラメータをさらに用いて、仮想ターゲットに対して模擬投影を行い、第２投影画像を得ることができる。仮想環境では、数多くの組の仮想二次元画像と第２投影画像を生成することができる。異なる組の仮想二次元画像及び第２投影画像は、投影モデルパラメータ、プリセット位置姿勢のいずれも、異なってもよいし、一部で異なってもよい。投影モデルパラメータが異なることは、点光源の角度（即ち撮影角度）などの投影モデルパラメータのうちの１つのパラメータだけ変わってもよいし、複数又はすべてのパラメータが変わってもよい。プリセット位置姿勢が異なることは、異なる組の仮想二次元画像に対応する仮想ターゲット物体を比較し、平行移動、回転又は反転の剛体変換が発生したことである。異なる投影モデルパラメータ、プリセット位置姿勢によって生成された複数組の仮想二次元画像及び第２投影画像を生成して画像レジストレーションモデルをトレーニングすることにより、トレーニングされた画像レジストレーションモデルは、異なる撮影視角及び異なる位置姿勢で得られた画像をレジストレーションすることができ、画像レジストレーションモデルの適用性とレジストレーションの精度が向上する。

１つの実施シーンでは、上述した仮想二次元画像は、模擬のＸ線画像であってもよく、第２投影画像は、デジタル再構成された放射線写真（ＤＲＲ：Ｄｉｇｉｔａｌｌｙ Ｒｅｃｏｎｓｔｒｕｃｔｕｒｅｄ Ｒａｄｉｏｇｒａｐｈ）画像である。この実施シーンでは、上述した画像レジストレーションモデルは、医療分野での画像レジストレーションに用いられてもよい。また、模擬のＸ線画像としての仮想二次元画像、デジタル再構成放射線画像としての第２の投影画像を利用することにより、トレーニングされた画像レジストレーションモデルは、Ｘ線画像及びデジタル再構成放射線画像に対してレジストレーションすることができ、これにより、このような画像レジストレーションに対する画像レジストレーションモデルのトレーニング効果が向上する。

仮想二次元画像と第２投影画像を取得するときの投影モデルパラメータと、参考位置姿勢に対するプリセット位置姿勢の仮想ターゲットの剛体変換パラメータを記録することにより、後続の画像レジストレーションモデルをトレーニングする時に、これらのパラメータを比較用の依拠として用いて、画像レジストレーションモデルのネットワークパラメータを調整し、それによって画像レジストレーションモデルのトレーニング効果を向上させることができる。

仮想二次元画像と第２投影画像を取得した後、特徴点の選択方法により、特徴点の位置情報を用い、画像レジストレーションモデルをトレーニングすることができる。例えば、仮想ターゲット上で少なくとも１つの特徴点を決定することができ、仮想環境における仮想ターゲットの各種のパラメータが既知のものであり、しかも仮想二次元画像及び第２投影画像を生成する第２投影モデルパラメータ、それら間の剛体変換パラメータも既知のものであるため、仮想二次元画像における特徴点の第２実際二次元位置及び第２投影画像における特徴点の第３実際二次元位置を決定することができる。第２実際二次元位置と第３実際二次元位置は、二次元座標であってもよい。

特徴点の場合、特徴点は、仮想二次元画像上の画素点と第２投影画像上の画素点であってもよく、そうすると、特徴点の仮想二次元画像及び第２投影画像における第２実際二次元位置及び第３実際二次元位置は、画素点の位置であり、例えば、画素点（１、１）、画素点（１０、１０）である。

いくつかの可能な実施例では、仮想環境で三次元座標系を確立し、これにより特徴点の三次元座標を決定し、第２投影モデルパラメータと対応する剛体変換パラメータにより第２実際二次元位置と第３実際二次元位置を計算することができる。

図５を参照すると、図５は本開示の実施例による画像レジストレーションモデルのトレーニング方法の第３フローチャートである。１つの可能な実施形態では、仮想二次元画像における仮想ターゲット上の特徴点の第２実際二次元位置と第２投影画像における仮想ターゲット上の特徴点の第３実際二次元位置を取得することは、以下のステップによって実現されてもよい。

ステップＳ３１３において、参考位置姿勢にある仮想ターゲット上の少なくとも１つの特徴点を決定する。

仮想ターゲット上で少なくとも１つの特徴点を選択する時に、参考位置姿勢にある仮想ターゲットから選択することができる。事前に設定された剛体変換パラメータは、参考位置姿勢を初期位置として得られたものであり、したがって、ここで参考位置姿勢にある仮想ターゲットから特徴点を選択することにより、その後の計算ステップを簡素化して、画像レジストレーションモデルの計算速度を向上させることができる。

１つの可能な実施シーンでは、少なくとも１つの特徴点をランダムに選択することができる。特徴点は、仮想ターゲットの内部に位置してもよいし、仮想ターゲットのエッジに位置してもよい。特徴点は、仮想ターゲット上の任意の点として理解されてもよい。当該特徴点を、仮想ターゲットの位置を分析することにより決定してもよく、又は、手動で指定してもよく、又は画像レジストレーションモデル自体で確認してもよい。

１つの可能な実施シーンでは、まず第２投影画像内の仮想ターゲットに対応するターゲット領域を識別して、第２投影画像内の仮想ターゲットの位置分布を決定することができる。次に、ターゲット領域の内部又はエッジで少なくとも１つの投影点を選択し、選択された投影点が仮想ターゲット上の点である。また、第２投影画像の第２投影モデルパラメータを用い、少なくとも１つの投影点を三次元空間に投影して、仮想ターゲット上の少なくとも１つの特徴点を取得する。第２投影画像の第２投影モデルパラメータを利用して、投影点の三次元空間における仮想ターゲット上の点を取得することができ、取得された点を特徴点として用いることができる。第２投影画像上の仮想ターゲットの位置分布において、投影点を選択して特徴点を決定することにより、仮想ターゲット上の特徴点が必ず第２投影画像に存在することを保証することができ、これにより、後続の画像レジストレーションモデルのトレーニングは継続的に実行することができる。

また、仮想ターゲットの内部又はエッジ上で特徴点を選択することにより、特徴点がその後のレジストレーショントレーニングの時に探しやすくなり、それによって画像レジストレーションモデルのトレーニング効率が向上する。

ステップＳ３１４において、仮想二次元画像に対応する投影モデルパラメータ及び剛体変換パラメータを用い、仮想二次元画像における特徴点の第２実際二次元位置を決定し、第２投影画像に対応する投影モデルパラメータを用い、第２投影画像における特徴点の第３実際二次元位置を決定する。

参考位置姿勢にある仮想ターゲットにおいて、少なくとも１つの特徴点を決定し後、第２投影画像に対応する第２投影モデルパラメータに基づいて、第２投影画像における特徴点の第３実際二次元位置を計算することができる。仮想環境で三次元座標系を確立した後、第３実際二次元位置は、特徴点の三次元座標及び第２投影モデルパラメータを用いることで計算されてもよい。

プリセット位置姿勢は、参考位置姿勢に対して、剛体変換も存在し、したがって、第２実際二次元位置を計算する時に、対応する投影モデルパラメータ以外に、対応する剛体変換パラメータも必要になり、これにより、仮想二次元画像における特徴点の第２実際二次元位置を取得することができる。第２実際二次元位置は、特徴点の参考位置姿勢における位置、参考位置姿勢に対するプリセット位置姿勢の剛体変換パラメータ及び第２投影モデルパラメータを用いることにより計算することができる。

特徴点を決定することにより、その後で画像レジストレーションのトレーニングを行う時に、特徴点の位置情報を比較用の依拠として用いて、それによって画像レジストレーションモデルのトレーニング効果を向上させることができる。

ステップＳ３２において、各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力して、仮想二次元画像における仮想ターゲット上の特徴点の第２予測二次元位置を取得する。

仮想二次元画像、第２投影画像及び第３実際二次元位置を取得した後、画像レジストレーションモデルによって、仮想ターゲット上の特徴点の仮想二次元画像における第２予測二次元位置を取得することができる。第２予測二次元位置が画像レジストレーションモデルによって予測してえられたものである（即ちニューラルネットワークを用いて計算される）ため、予測結果が正確ではない可能性がある。その後のトレーニングプロセスでは、第２予測二次元位置に対して画像レジストレーションモデルの関係するネットワークパラメータを調整することができる。

図６を参照すると、図６は本開示の実施例による画像レジストレーションモデルのトレーニング方法の第４フローチャートである。ステップＳ３２で記載している「各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力して、仮想二次元画像内の仮想ターゲット上の特徴点の第２予測二次元位置を取得する」ステップは、以下のステップによって実現されてもよい。

ステップＳ３２１において、画像レジストレーションモデルの投影画像特徴抽出ネットワークを用い、第２投影画像に対して特徴抽出を行い、第２投影特徴図を得る。

投影画像特徴抽出ネットワークを用いて第２投影画像に対して特徴抽出を行う場合、当該ネットワークによって出力された結果を、第２投影特徴図として定義する。第２投影特徴図では、第２投影特徴図上の各画像素点に対応して、対応する特徴情報が含まれる。特徴情報は、特徴ベクトルであり、例えば１２８次元の特徴ベクトルが挙げられる。

ステップＳ３２２において、仮想画像特徴抽出ネットワークを用い、仮想二次元画像に対して特徴抽出を行い、第２仮想特徴図を得る。

このステップにおいて、仮想画像特徴抽出ネットワークによって出力された画像を第２仮想特徴図として定義する。第２仮想特徴図では、第２仮想特徴図上の各画像素点は、対応する特徴情報も含まれる。特徴情報は、特徴ベクトルであり、例えば１２８次元の特徴ベクトルが挙げられる。

１つの可能な実施シーンでは、仮想二次元画像及び第２投影画像、第２投影特徴図及び第２仮想特徴図のサイズは同じである。これにより、仮想二次元画像及び第２投影画像内の特徴点の画素点位置によって、第２投影特徴図及び第２仮想特徴図内の特徴点の位置をそれぞれ直接決定することができる。

投影画像特徴抽出ネットワークと仮想画像特徴抽出ネットワークによって第２投影特徴図と第２仮想特徴図をそれぞれ取得し、同一の特徴抽出ネットワークを用いて仮想画像と投影画像に対して特徴抽出を行う場合に比べて、当該２つの特徴抽出ネットワークは、トレーニングされた後、各種の画像に対する特徴抽出がより正確になることを実現することができる。

ステップＳ３２１及びステップ３２２の実行順序を限定せず、実際のニーズに応じて調整してもよいことが理解できる。

ステップＳ３２３において、画像レジストレーションモデルの位置予測ネットワークを用い、第２投影特徴図において前記第３実際二次元位置に対応する第２投影特徴位置を決定し、第２仮想特徴図において第２投影特徴図における第２投影特徴位置に対応する仮想特徴位置を探し出し、仮想特徴位置を用いて第２予測二次元位置を取得する。

上述した特徴図の位置情報と特徴抽出のための画像の位置情報との対応関係に基づき、位置予測ネットワークは、第３実際二次元位置を用いて第２投影特徴図における第２投影特徴位置を決定することができる。さらに、位置予測ネットワークによって、第２仮想特徴図において、第２投影特徴位置に対応する仮想特徴位置を探し出し、仮想特徴位置によって仮想二次元画像上の第２予測二次元位置を取得する。第２予測二次元位置は、仮想二次元画像上の特徴点の予測位置である。

このステップで記載している「第２仮想特徴図において第２投影特徴図における第２投影特徴位置に対応する仮想特徴位置を探し出す」ステップは、以下のステップによって実現されてもよい。

Ｓ３２３１において、投影特徴図において投影特徴位置に位置する第１特徴情報を探し出す。

このステップでの投影特徴図は、第２投影特徴図である。このステップの投影特徴位置は、第２投影特徴位置である。

ニューラルネットワークは、特徴情報を用いて仮想特徴位置を探し出す。したがって、まず第２投影特徴図上で当該図上の特徴点の第２投影特徴位置、即ちこのステップの投影特徴位置を決定し、次に当該投影特徴位置に基づいてそれに対応する特徴情報を取得することができる。

例えば、第２投影特徴図における特徴点の投影特徴位置がある画素点の位置（１、１）である場合、当該投影特徴位置の画素点の特徴情報は第１特徴情報である。同様に、第１特徴情報は、ｎ次元の特徴ベクトルであってもよい。

ステップＳ３２３２において、仮想特徴図において、第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出す。

このステップでの仮想特徴図は、第２仮想特徴図である。第２投影特徴図上の特徴点の第１特徴情報を探す時に、位置予測ネットワークは、第１特徴情報に基づいて、第２仮想特徴図において、第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すことができる。

第１特徴情報が特徴ベクトルである場合、位置予測ネットワークは、当該特徴ベクトルに基づいて、第２仮想特徴図において、プリセット類似条件を満たす第２特徴情報を探し出すことができ、第２特徴情報も同様に特徴ベクトルである。プリセット類似条件は、人為的に設定されてもよく、例えば、類似度が９０％～９５％である場合、探した結果が受け入れることができることを示す。当然、プリセット類似条件は、適用シーンに応じて設定されてもよく、ここでは限定しない。１つのシーンにおいて、プリセット類似条件は、最も高い類似度に対応する第２特徴情報であってもよい。

ステップＳ３２３３において、仮想特徴図における第２特徴情報の仮想特徴位置を取得する。

特徴図内の各位置には対応する特徴情報があるため、第２特徴情報を探し出す時に、第２特徴情報に基づいて第２仮想特徴図内の対応する仮想特徴位置を探し出すことができる。

ステップＳ３３において、第２実際二次元位置及び第２予測二次元位置に基づいて、画像レジストレーションモデルのネットワークパラメータを調整する。

位置予測ネットワークで第２予測二次元位置を取得した後、第２予測二次元位置と第２実際二次元位置に基づいて比較して、位置予測ネットワークによって予測される第２予測二次元位置が要求を満たしているか否かを判定し、さらに画像レジストレーションモデルのネットワークパラメータを調整することができる。

第２予測二次元位置と第２実際二次元位置を比較して、両者の差が要求を満たす場合、位置予測ネットワークによって予測される結果は許容可能であると考えられてもよい。例えば、両者の比較により損失値が要求を満たしている場合、結果は許容可能であると考えられる。

これに基づき、要求を満たすように画像レジストレーションモデルをトレーニングするために、第２実際二次元位置と第２予測二次元位置を比較する必要がある。仮想画像特徴抽出ネットワーク及び投影画像特徴抽出ネットワークによって抽出される特徴情報は、位置予測ネットワークが特徴情報を用いて探し出す第２特徴情報及びそれに対応する位置に影響を与え、したがって、トレーニングプロセスにおいて、比較結果に基づいて、仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワーク及び位置予測ネットワークのネットワークパラメータを調整する必要がある。これにより、３つのネットワークは相互に連携し、最終的に第２予測二次元位置と第２実際二次元位置の比較結果が要求を満たさせることができる。当然、いくつかのシーンでは、３つのネットワークの一部のネットワークのネットワークパラメータのみを調整することもでき、例えば、投影画像特徴抽出ネットワークと位置予測ネットワークのパラメータのみを調整することもできる。

画像レジストレーションモデルのトレーニング効果を向上させるために、第２実際二次元位置と第２予測二次元位置を比較した後、第２実際二次元位置から得られた実際三次元位置及び第２予測二次元位置から得られた予測三次元位置を比較し、両者間の差異に基づいて画像レジストレーションモデルのネットワークパラメータを調整することができる。

１つの可能な実現シーンでは、同一のプリセット位置姿勢に対応する複数の仮想二次元画像の第２予測二次元位置を用いて、特徴点の予測三次元位置を決定することができる。仮想二次元画像上の第２予測二次元位置を取得した後、対応する予測三次元位置を取得することができる。上記のステップＳ３１で記載しているように、仮想二次元画像は、仮想ターゲットがプリセット位置姿勢にある時に取得されたものであり、したがって、第２予測二次元位置によって得られた予測三次元位置は、仮想二次元画像に対応する仮想ターゲットがプリセット位置姿勢にある時の予測三次元位置である。当然、プリセット位置姿勢にある仮想ターゲット、得られた複数の仮想二次元画像は、複数の投影モデルパラメータに対応して取得されてもよく、投影モデルパラメータが変わった場合、それに対応する予測三次元位置も分かる。

特徴点の予測三次元位置を取得した後、特徴点の予測三次元位置と実際の三次元位置との間の差異を用いて画像レジストレーションモデルのネットワークパラメータを調整することができる。第２投影画像を生成するための投影モデルパラメータと仮想二次元画像を生成するための投影モデルパラメータの両方が第２投影モデルパラメータであり、かつ第２投影画像は、仮想ターゲットが参考位置姿勢にある時に取得されたものであるため、第２実際二次元位置と第２投影モデルパラメータに基づいて参考位置姿勢での特徴点の実際の三次元位置を取得することができる。実際の三次元位置を取得した後、それを予測三次元位置と比較させ、次に両者間の差異、例えば損失値に基づいて、画像レジストレーションモデルのネットワークパラメータを調整することができる。したがって、予測された三次元位置と実際の三次元位置との間の差異を用いて画像レジストレーションモデルのネットワークパラメータを調整することにより、トレーニング効果をさらに向上させることができる。

本開示の実施例では、画像レジストレーションモデルは、仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワーク及び位置予測ネットワークの３つのネットワークを含み、画像レジストレーションモデルのネットワークパラメータを調整する時に、これら３つのネットワークのネットワークパラメータを調整する。

１つの可能な実施シーンでは、安定で利用可能な画像レジストレーションモデルをトレーニングするために、画像レジストレーションモデルのネットワークパラメータを調整した後、上記のステップＳ３２～Ｓ３３を再実行し、又は本開示の実施例で記載している方法を再実行し、それによって要求を満たすまで第２予測二次元位置の探し、画像レジストレーションモデルの損失値の計算及びそのネットワークパラメータ調整プロセスを継続的に実行することができる。要求を満たすことは、損失値が事前に設定された損失閾値より小さく、かつ損失値がそれ以上小さくならないことであってもよい。

したがって、仮想画像を用いて画像レジストレーションモデルを事前トレーニングすることにより、仮想画像の取得コストが低いため、トレーニングコストを低減させることができる。また、仮想画像が大量に生成することが可能であり、したがって、大量のトレーニングデータを提供することができ、トレーニング効果を向上させることができる。また、まず仮想画像を用いて画像レジストレーションモデルを事前トレーニングし、次に実画像を用いてトレーニングすることにより、トレーニング効果を向上させることができ、これにより、実画像でトレーニングされた画像レジストレーションモデルは、実画像レジストレーションをより良く行うことができる。

１つの可能な実施シーンでは、上述した参考二次元画像及び実際の二次元画像はＸ線画像であってもよく、第１投影画像は、デジタル再構成放射線画像であってもよく、第２投影画像もデジタル再構成放射線画像であってもよい。この実施シーンでは、上述した画像レジストレーションモデルは、医療分野での画像レジストレーションに用いられてもよい。また、Ｘ線画像としての参考二次元画像と実際の二次元画像、デジタル再構成放射線画像としての第１投影画像を利用することにより、トレーニングされた画像レジストレーションモデルは、Ｘ線画像及びデジタル再構成放射線画像に対してレジストレーションすることができ、これにより、このような画像レジストレーションに対する画像レジストレーションモデルのトレーニング効果が向上する。

別の開示された実施例では、上述した実画像特徴抽出ネットワークは、上述した仮想画像特徴抽出ネットワークからそのまま得られることができ、即ち、仮想画像特徴抽出ネットワークは、実画像特徴抽出ネットワークとして用いられる。この開示の実施例では、画像レジストレーションモデルは、仮想画像特徴抽出ネットワーク（実画像特徴抽出ネットワーク）、投影画像特徴抽出ネットワーク及び位置予測ネットワークを含む。この開示の実施例では、仮想画像特徴抽出ネットワークを実画像特徴抽出ネットワークとして直接用いることにより、ニューラルネットワークの数を削減し、画像レジストレーションモデルのトレーニングプロセスを簡素化し、画像レジストレーションモデルのトレーニングの実行がより容易になり、画像レジストレーションモデルは、より容易に実際の環境に適用することができる。

図７Ａを参照すると、図７Ａは本開示の実施例による画像レジストレーション方法の実施例のフローチャートである。画像レジストレーションを行う場合、上記実施例で記載しているトレーニング方法によって取得された画像レジストレーションモデルを用いてレジストレーションすることができる。当該画像レジストレーション方法は、以下のステップを含むことができる。

ステップＳ７１ａにおいて、実ターゲットをそれぞれイメージングして得られた二次元画像と三次元画像を取得する。

画像レジストレーションを行う時に、少なくとも２枚の画像に対してレジストレーションする必要がある。本開示の実施例では、まず実ターゲットをイメージングし、二次元画像と三次元画像を取得することができる。実ターゲットは、カップ、人体内の骨などの実際の環境における様々な物体であってもよい。ターゲットをイメージングし、即ち様々なイメージングデバイスを用い、例えばカメラ、Ｘ線装置、３Ｄスキャナなどを用いて実ターゲットをイメージングして、実ターゲットに関する二次元画像と三次元画像を取得する。

二次元画像は、例えば、カメラによってイメージングされた後に得られた二次元画像、又はＸ線装置によってイメージングされた後に得られたＸ線画像である。三次元画像は、例えば、３Ｄスキャナによって走査されて得られた三次元画像、又はＣＴによって得られた三次元画像である。

ステップＳ７２ａにおいて、二次元画像の投影モデルパラメータを用いて三次元画像を投影し、投影画像を取得する。

二次元画像を取得する時に、実ターゲットをイメージングして二次元画像を取得するときの投影モデルパラメータを同時に取得することができる。実ターゲットをイメージングして二次元画像を取得するときの投影モデルパラメータを取得した後、当該投影モデルパラメータに基づいて、実ターゲットによって取得された三次元画像を投影して、投影画像を得ることができる。投影方式については、コンピュータを用い、投影モデルパラメータに基づいて模擬投影を行うことができる。

１つの可能な実施シーンでは、投影画像と二次元画像のサイズは同じであってもよく、例えば、２５６＊２５６個の画素点である。

ステップＳ７３ａにおいて、画像レジストレーションモデルを用いて二次元画像と投影画像を処理し、二次元画像における実ターゲット上の特徴点の二次元位置を取得する。

レジストレーションのために、実ターゲット上の特徴点を決定する方法により、レジストレーションを補助することができる。１つの可能な実施シーンでは、投影画像上で特徴点を選択することができ、後続の特徴点を探しやすくし、レジストレーションの効率を向上するように、特徴点は、投影画像上の領域内部又はエッジに位置するように選択されてもよい。投影画像上で特徴点を決定した後、投影画像における特徴点の実際二次元位置を決定することができる。別の可能な実施シーンでは、三次元画像上で特徴点を選択することもでき、これにより、三次元画像上の特徴点の位置を決定し、実ターゲットをイメージングして二次元画像を取得するときの投影モデルパラメータに基づいて、投影画像における特徴点の実際二次元位置を取得することができる。例えば、三次元画像が位置する仮想環境において三次元座標系を確立することができ、これにより、特徴点の三次元座標を決定することができる。さらに投影モデルパラメータによって投影画像上の特徴点の二次元座標を計算することができ、当該二次元座標は、投影画像における特徴点の実際二次元位置である。二次元画像及び投影画像の場合、これら２つの画像内の特徴点の位置は、特徴点に対応する画素点の位置で表されてもよい。例えば、特徴点に対応する画素点の位置は（２、２）であり、二次元画像及び投影画像内の特徴点の位置も（２、２）である。

画像レジストレーションモデルを用いて二次元画像と投影画像を処理し、二次元画像における実ターゲット上の特徴点の二次元位置を取得するステップは、以下のステップを含むことができる。

ステップＳ７３１ａにおいて、画像レジストレーションモデルは、二次元画像と投影画像に対して特徴抽出をそれぞれ行い、二次元画像特徴図と投影画像特徴図を取得し、投影画像特徴図における実際二次元位置の投影特徴位置を決定する。

画像レジストレーションモデルトレーニング方法の実施例に関する記載によれば、画像レジストレーションモデルは、実画像特徴抽出ネットワークと投影画像特徴抽出ネットワークを含む。したがって、実画像特徴抽出ネットワークを用いて二次元画像に対して特徴抽出を行い、二次元画像特徴図を取得し、投影画像特徴抽出ネットワークを用いて投影画像に対して特徴抽出を行い、投影画像特徴図を取得する。これら２つの特徴図内の画素点はすべて特徴情報を含むことができ、特徴情報は、例えば、特徴ベクトルである。

二次元画像特徴図は、実画像特徴抽出ネットワークが二次元画像に対して特徴抽出を行うことにより得られたものであり、投影画像特徴図は、投影画像特徴抽出ネットワークが投影画像に対して特徴抽出を行うことにより得られたものである。したがって、特徴図上の位置は、二次元画像又は投影画像上の位置と対応関係を有している。当該対応関係については、ステップＳ１１３に関する記載を参照することができ、ここで説明を省略する。

上記の対応関係によれば、投影画像における特徴点の実際二次元位置に基づいて、投影画像上の特徴点の投影特徴位置を決定することができる。

ステップＳ７３２ａにおいて、投影画像特徴図において投影特徴位置に位置する第１特徴情報を探し出し、二次元画像特徴図において、第１特徴情報との類似度が事前に設定された要求を満たす第２特徴情報を探し出す。

当該ステップについては、ステップＳ２７１とステップＳ２７２を参照することができる。相違点は、ステップＳ２７１及びステップＳ２７２での第２投影特徴図がこのステップでの投影画像特徴図に置き換えられ、第２投影特徴位置が投影特徴位置に置き換えられ、第２仮想特徴図が二次元画像特徴図に置き換えられることである。

ステップＳ７３３ａにおいて、二次元画像特徴図における第２特徴情報の予測特徴位置を取得し、予測特徴位置を用いて二次元位置を取得する。

当該ステップについては、ステップＳ１１３３を参照することができる。相違点は、ステップＳ１１３３の仮想特徴位置がこのステップの予測特徴位置に置き換えられ、第２予測二次元位置が二次元位置に置き換えられることである。

ステップＳ７４ａにおいて、二次元位置を用い、二次元画像と三次元画像の間のレジストレーション結果を取得する。

二次元画像における特徴点の二次元位置を取得した後、当該二次元位置に基づいて演算を行い、二次元画像と三次元画像の間のレジストレーション結果を取得することができる。このステップは以下のいくつかのステップで実現されてもよい。

ステップＳ７４１ａにおいて、投影モデルパラメータを用いて二次元位置を三次元空間に投影して、特徴点の第１三次元位置を取得する。

投影モデルパラメータを用いて二次元位置を三次元空間に投影し、特徴点の第１三次元位置を取得し、即ち、二次元画像における特徴点の二次元位置を用い、ターゲットをイメージングして二次元画像を得るときの投影モデルパラメータを用い、計算を行った後、二次元画像を撮影するときのターゲット上の特徴点の三次元位置を取得する。計算方法は、本分野の慣用方法であり、ここでは説明を省略する。

ステップＳ７４２ａにおいて、三次元画像における実ターゲット上の特徴点の第２三次元位置を取得する。

上記ステップＳ６３に関する記載によれば、投影画像における特徴点の実際二次元位置は、特徴点を選択する時に、既に決定され、即ち、投影画像における特徴点の実際二次元位置は既知のものである。当該実際二次元位置に基づいて、実ターゲットをイメージングして二次元画像を取得するときの投影モデルパラメータを用いて、三次元画像における特徴点の実際の三次元位置を取得することができる。

ステップＳ７４３ａにおいて、第１三次元位置と第２三次元位置を用いて、二次元画像に対する三次元画像の剛体変換パラメータを取得することができる。

二次元画像を撮影するときのターゲット上の特徴点の三次元位置、及び三次元画像における特徴点の実際の三次元位置を得た後、これら２つの位置に基づいて計算し、特徴点の二次元画像を撮影するときのターゲット及び三次元画像上の剛体変換パラメータを取得することができる。即ち二次元画像と三次元画像のレジストレーション結果を取得することができる。

上記の画像レジストレーション方法により、ターゲットをイメージングして得られた二次元画像と三次元画像をレジストレーションすることができ、それによって、二次元画像上の点を、三次元画像の点に対応付けることができ、医療分野、工業分野などへ適用する見通しが良い。

二次元－三次元画像の剛体レジストレーションは、生体力学的分析、外科のナビゲーションなどに役立つことができ、三次元画像（ＣＴ画像など）におけるターゲット領域の空間位置及び姿勢を決定し、それを１枚又は複数枚の二次元画像（Ｘ線画像など）上のイメージングとアライメントすることを目的としている。

現在の反復して最適化するレジストレーション方法は、実行時間が長く、リアルタイム性のニーズを満たすことができなく、深層学習に基づくレジストレーション方法は、高速で実行されるが、従来方法では、二次元画像の数、撮影視角が固定でない場合のレジストレーションを満たすことができず、トレーニングのために大量のトレーニングデータが必要であり、そうでない場合、方法は無効である。手動での画像レジストレーションに長い時間がかかり、しかも不正確であるため、実際の適用環境における、大量の二次元－三次元画像を取得することが困難になり、リアルタイムレジストレーション方法のさらなる適用に影響を与える。つまり、関係技術には、最適化方法に基づくレジストレーション方法の速度が遅いこと、特定の視角でレジストレーションモデルをトレーニングし、任意の視角を処理できないこと、トレーニングデータが少ないと方法が無効であることの問題がある。

本開示の実施例は、２つのニューラルネットワークを用いて、実二次元画像及びレジストレーション補助二次元画像（ＤＲＲ画像など）の特徴をそれぞれ抽出して、二次元画像の数と撮影視角が固定されていない問題を解決する。同時に、実二次元画像の外観に近い仮想二次元画像を用いてレジストレーションネットワークをトレーニングし、仮想二次元画像が無限に生成可能であり、しかもレジストレーションラベリングが正確であるため、このステップにより、結果がより良いレジストレーションモデルを得ることができる。次に、実二次元画像と仮想二次元画像の対応関係に基づいて、トレーニングは、実二次元画像のレジストレーションモデルに用いられてもよい。

本開示の実施例によって提供されるレジストレーションネットワークのトレーニング方法は、仮想二次元画像でレジストレーションネットワークをトレーニングするという第１段階と、実二次元画像によるトレーニングという第２段階との２つの段階を含む。図７Ｂは本開示の実施例による画像レジストレーション方法の実施例の論理フローチャートである。図７Ｂに示すように、第１段階は、以下のステップＳ７１ｂ－Ｓ７３ｂによって実施され、第２段階は、以下のステップＳ７４ｂ及びＳ７５ｂによって実施される。

ステップＳ７１ｂにおいて、三次元画像におけるターゲットの空間上の異なる位置及び姿勢を模擬して、仮想二次元画像を生成する。

まず、レイトレーシングなどの方法を用い、三次元画像におけるターゲットの空間上の異なる位置及び姿勢を模擬することにより、実二次元画像と類似する大量の仮想二次元画像を生成する。同時に、三次元空間における三次元画像の剛体変換パラメータ及び投影モデルパラメータを記録する。

ステップＳ７２ｂにおいて、空間における三次元画像の初期位置及び投影モデルパラメータに基づいて、ＤＲＲ画像を生成する。

生成されたＤＲＲ画像は、レジストレーションを補助するために用いられる。ＤＲＲ画像上のレジストレーション待ちターゲットの画像に基づいて、三次元画像上のレジストレーション待ちターゲットの内部又はエッジの複数の特徴点を選択して、三次元画像内のそれらの位置を記録し、それにより、特徴点は、投影後にＤＲＲ画像にイメージングされる。投影モデル、空間における三次元画像の位置及び姿勢に基づいて、ＤＲＲ画像上の特徴点の位置、及び仮想二次元画像上の特徴点の位置を取得することができる。

ステップＳ７３ｂにおいて、仮想二次元画像及びＤＲＲ画像に対して特徴抽出をそれぞれ行うことにより、ＤＲＲ画像内の特徴点の仮想二次元画像における特徴点の投影座標を決定する。

仮想二次元画像特徴抽出ネットワークとＤＤＲ画像特徴抽出ネットワークにより、仮想二次元画像の特徴図とＤＤＲ画像の特徴図をそれぞれ抽出する。図７Ｃに示すように、複数枚のＤＲＲ画像７１ｃをＤＲＲ画像特徴抽出ネットワーク７２ｃに入力し、ネットワークの最上層は、サイズがＤＲＲのサイズと同じであり、特徴次元が仮想Ｘ線の特徴次元と一致する特徴図を出力し、複数枚の仮想Ｘ線画像７４ｃを仮想Ｘ線特徴抽出ネットワーク７５ｃに入力し、ネットワークの最上層は、仮想画像のサイズと一致し、多次元特徴を含む特徴図を出力し、ＤＲＲ画像上の特徴点の位置に基づいて、特徴図内の対応する位置の特徴ベクトルを抽出し、仮想Ｘ線の特徴ベクトルと比較して、仮想Ｘ線画像上の特徴点の視角１における特徴点投影座標７３ｃを取得する。さらに複数視角の画像に対して、このステップに従って、複数視角の仮想画像における特徴点の位置を取得する。

ネットワークによって予測された特徴点の二次元投影座標と真の値の差、ネットワークによって予測された特徴点の三次元座標と真の値の差に基づいて、逆伝播により、仮想Ｘ線特徴抽出ネットワークとＤＲＲ画像特徴抽出ネットワークをトレーニングする。

ステップＳ７４ｂにおいて、投影モデルパラメータと仮想二次元画像における特徴点の投影座標に基づいて、仮想二次元画像とＤＤＲ画像のレジストレーション結果を決定する。

投影モデルパラメータに基づき、仮想二次元画像における特徴点の投影座標によって特徴点の三次元座標を得る。初期位置の特徴点セットの三次元座標と仮想二次元画像によって得られた三次元座標とに基づいて、初期位置から実際の位置への剛体変換パラメータ、即ち仮想二次元画像とＤＤＲ画像のレジストレーション結果を計算する。

ステップＳ７５ｂにおいて、レジストレーション結果に基づいて、実二次元画像特徴抽出ネットワークをトレーニングする。

まず、仮想データを用いてトレーニングし、次に仮想データの結果で実データのトレーニングを指導する。トレーニングプロセスでは、ステップＳ７３ｂでトレーニングされたネットワークパラメータを保持し、実二次元画像特徴抽出ネットワークを確立する。既知のレジストレーション結果に基づいて、レジストレーション待ちターゲット位置が実二次元画像と完全に一致する仮想二次元画像を生成することができる。

図７Ｄに示すように、実Ｘ線画像特徴抽出ネットワークのトレーニングプロセスを例とすると、実Ｘ線画像７２ｄを実Ｘ線画像特徴抽出ネットワーク７５ｄに入力し、それに対応する仮想Ｘ線画像７３ｄをステップＳ７３ｂで形成された仮想Ｘ線画像特徴抽出ネットワーク７７ｄに入力し、２つのネットワークの中間層で出力された差異を計算し、逆伝播により実Ｘ線画像特徴抽出ネットワーク７５ｂのトレーニングを行う。数回のトレーニングが行われた後、特徴誤差７８ｄとレジストレーション誤差７６ｄを用いて実Ｘ線画像特徴抽出ネットワーク７５ｄをトレーニングし、同時にＤＲＲ画像７１ｄを用いてＤＲＲ画像特徴抽出ネットワーク７ｄをトレーニングする。

本開示の実施例は、二次元－三次元画像レジストレーション方法を実現する。当該方法は、三次元画像と数枚の非固定視角の二次元画像との高速のレジストレーションを実現することができる。深層学習技術により、二次元－三次元画像レジストレーションは、高速で行われる。

本開示の実施例は、レジストレーションネットワークのトレーニング方法を提供する。当該方法は、トレーニングデータが少ない場合のレジストレーションネットワークのレジストレーションの精度を向上させることができ、トレーニングデータが少ない場合で適用され、深層学習に基づくレジストレーション方法が小さなデータで適用しにくい問題を緩和することができる。

本開示の実施例で提供されるグリッド構造は、実画像とレジストレーション補助画像をそれぞれ処理し、単一のネットワークがすべての視角を処理する場合、任意の角度で撮影された二次元画像に適用可能である。

本開示の実施例は、外科のナビゲーションに適用されてもよい。被験者に対して手術を行う前に、膝関節のＣＴ画像を撮影し、手術中にＸ線画像をリアルタイムで撮影し、撮影するときの器具の配置位置及び撮影角度が固定されなくてもよく、この技術により、ＣＴ画像とＸ線画像を速くレジストレーションし、被験者の骨の位置及び姿勢を取得して再構築し、外科用ナビゲーションシステムに統合して、リアリティ表示の強化を実現することができる。

図８を参照すると、図８は本開示の実施例による画像レジストレーションモデルのトレーニング装置の実施例のフレームワークの概略図である。当該トレーニング装置８０は、第１取得モジュール８１、第１特徴抽出モジュール８２、第２特徴抽出モジュール８３及び第１調整モジュール８４を備える。

第１取得モジュール８１は、実二次元画像と参考二次元画像を取得するように構成され、実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、参考二次元画像における実ターゲットの位置が実二次元画像とマッチングしている。第１特徴抽出モジュール８２は、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用いて参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得るように構成され、画像レジストレーションモデルが既に仮想画像を用いて事前トレーニングされており、しかも仮想画像特徴抽出ネットワークは、事前トレーニングに参与しており、仮想画像が仮想ターゲットに基づいて生成されたものである。第２特徴抽出モジュール８３は、画像レジストレーションモデルの実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第１実特徴図を得るように構成され、ここで、実画像特徴抽出ネットワークが事前トレーニングに参与していない。第１調整モジュール８４は、第１実特徴図と第１仮想特徴図との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整するように構成される。

第１取得モジュール８１は、実二次元画像と実三次元画像との間の実際レジストレーション結果を用い、実ターゲットの所在位置が実二次元画像と一致する参考二次元画像を生成するステップを含む、参考二次元画像を取得するステップを実行するように構成される。

トレーニング装置８０は、第３特徴抽出予測モジュールと第２調整モジュールとをさらに備える。第１調整モジュール８４が第１実特徴図と第１仮想特徴図との間の差異を用いて実画像特徴抽出ネットワークのネットワークパラメータを調整するステップを実行した後、第３特徴抽出予測モジュールは、調整後の実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第２実特徴図を得るステップと、実二次元画像の第１投影モデルパラメータを用いて実三次元画像を投影し、第１投影画像を得、第１投影画像における実ターゲットの特徴点の第１実際二次元位置を取得するステップと、投影画像特徴抽出ネットワークを用いて第１投影画像に対して特徴抽出を行い、第１投影特徴図を取得するステップと、位置予測ネットワークを用い、第１投影特徴図において第１実際二次元位置に対応する第１投影特徴位置を決定し、第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出し、実特徴位置を用いて実二次元画像における実ターゲットの特徴点の第１予測二次元位置を取得するステップと、第１予測二次元位置を用いて、実二次元画像と実三次元画像の予測レジストレーション結果を取得するステップと、を実行するように構成される。第２調整モジュールは、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのうちの少なくとも１つのネットワークのネットワークパラメータを調整するように構成される。

第２調整モジュールは、第２実特徴図と第１仮想特徴図との間の差異、実際レジストレーション結果と予測レジストレーション結果との間の差異を用いて、実画像特徴抽出ネットワークのネットワークパラメータを調整するステップを含む、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整するステップを実行するように構成される。

トレーニング装置８０は、事前トレーニングモジュールをさらに備える。事前トレーニングモジュールは、画像レジストレーションモデルを事前トレーニングするために、少なくとも１組の仮想二次元画像及び第２投影画像を取得し、仮想二次元画像における仮想ターゲット上の特徴点の第２実際二次元位置と第２投影画像における仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップであって、仮想二次元画像が仮想ターゲットに対して模擬イメージングを行うことによって得られたものであり、第２投影画像が仮想ターゲットに対して模擬投影を行うことによって得られたものであるステップと、各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力し、仮想二次元画像における仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップと、第２実際二次元位置と第２予測二次元位置に基づいて、画像レジストレーションモデルのネットワークパラメータを調整するステップと、を実行するように構成される。

事前トレーニングモジュールは、画像レジストレーションモデルの投影画像特徴抽出ネットワークを用いて第２投影画像に対して特徴抽出を行い、第２投影特徴図を得るステップと、仮想画像特徴抽出ネットワークを用いて仮想二次元画像に対して特徴抽出を行い、第２仮想特徴図を得るステップと、画像レジストレーションモデルの位置予測ネットワークを用い、第２投影特徴図において前記第３実際二次元位置に対応する第２投影特徴位置を決定し、第２仮想特徴図において第２投影特徴図における第２投影特徴位置に対応する仮想特徴位置を探し出し、仮想特徴位置を用いて第２予測二次元位置を取得するステップと、を含む、各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力し、仮想二次元画像における仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップを実行するように構成される。事前トレーニングモジュールは、第２実際二次元位置と第２予測二次元位置に基づいて、仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのネットワークパラメータを調整するステップを含む、第２実際二次元位置と第２予測二次元位置に基づいて、画像レジストレーションモデルのネットワークパラメータを調整するステップを実行するように構成される。

第３特徴抽出予測モジュールは、投影特徴図において投影特徴位置に位置する第１特徴情報を探し出し、仮想特徴図又は実特徴図において、第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、仮想特徴図における第２特徴情報の仮想特徴位置又は実特徴図内の第２特徴情報の実特徴位置を取得するステップと、を含む、第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出すステップを実行するように構成される。

事前トレーニングモジュールは、投影特徴図において投影特徴位置に位置する第１特徴情報を探し出し、仮想特徴図又は実特徴図において、第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、仮想特徴図における第２特徴情報の仮想特徴位置又は実特徴図内の第２特徴情報の実特徴位置を取得するステップと、を含む、第２仮想特徴図において第２投影特徴図における第２投影特徴位置に対応する仮想特徴位置を探し出すステップを実行するように構成される。

各組の仮想二次元画像と第２投影画像には同一の第２投影モデルパラメータを用いてプリセット位置姿勢における仮想ターゲットに対して模擬イメージングを行って得られた仮想二次元画像、及び同一の第２投影モデルパラメータを用いて参考位置姿勢での仮想ターゲットに対して模擬投影を行って得られた第２投影画像が含まれ、ここで、異なる組の仮想二次元画像と第２投影画像に対応する第２投影モデルパラメータ及び／又はプリセット位置姿勢は異なる。

事前トレーニングモジュールは、画像レジストレーションモデルを事前トレーニングするために、同一のプリセット位置姿勢に対応する複数の仮想二次元画像の第２予測二次元位置を用い、特徴点の予測三次元位置を決定するステップと、特徴点の予測三次元位置と実際の三次元位置との間の差異を用い、画像レジストレーションモデルのネットワークパラメータを調整するステップと、を実行するように構成される。

事前トレーニングモジュールは、同一の第２投影モデルパラメータでプリセット位置姿勢にある仮想ターゲットに対して模擬イメージングを行い、仮想二次元画像を取得し、第２投影モデルパラメータ、及び参考位置姿勢に対するプリセット位置姿勢にある仮想ターゲットの剛体変換パラメータを記録するステップと、同一の第２投影モデルパラメータで参考位置姿勢にある仮想ターゲットに対して模擬投影を行い、第２投影画像を得るステップと、を含む、各組の二次元画像と第２投影画像を取得するステップを実行するように構成される。事前トレーニングモジュールは、参考位置姿勢にある仮想ターゲット上の少なくとも１つ特徴点を決定するステップと、仮想二次元画像に対応する第２投影モデルパラメータ及び剛体変換パラメータを用い、仮想二次元画像における特徴点の第２実際二次元位置を決定するステップと、第２投影画像に対応する第２投影モデルパラメータを用い、第２投影画像における特徴点の第３実際二次元位置を決定するステップと、を含む、仮想二次元画像における仮想ターゲット上の特徴点の第２実際二次元位置と第２投影画像における仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップを実行するように構成される。

事前トレーニングモジュールは、参考位置姿勢にある仮想ターゲットにおいて、少なくとも１つの特徴点をランダムに選択するステップ、又は、第２投影画像における、仮想ターゲットに対応するターゲット領域を識別し、ターゲット領域の内部又はエッジにおいて、少なくとも１つの投影点を選択し、第２投影画像の第２投影モデルパラメータを用い、少なくとも１つの投影点を三次元空間に投影して、仮想ターゲット上の少なくとも１つの特徴点を取得するステップを含む、参考位置姿勢にある仮想ターゲット上の少なくとも１つの特徴点を決定するステップを実行するように構成される。

図９を参照すると、図９は本開示の実施例による画像レジストレーション装置の実施例のフレームワークの概略図である。当該画像レジストレーション装置９０は、第２取得モジュール９１、投影モジュール９２、予測モジュール９３及びレジストレーションモジュール９４を備える。第２取得モジュール９１は、ターゲットをそれぞれイメージングして得られた二次元画像と三次元画像を取得するように構成され、投影モジュール９２は、二次元画像の投影モデルパラメータを用いて三次元画像を投影し、投影画像を取得するように構成され、予測モジュール９３は、画像レジストレーションモデルを用いて二次元画像と投影画像を処理し、二次元画像におけるターゲット上の特徴点の二次元位置を取得するように構成され、レジストレーションモジュール９４は、二次元位置を用い、二次元画像と三次元画像の間のレジストレーション結果を取得するように構成され、ここで、画像レジストレーションモデルは、上記画像レジストレーションモデルのトレーニング装置によってトレーニングされたものである。

本開示のいくつかの実施例では、上記のレジストレーションモジュール９４は、さらに投影モデルパラメータを用いて二次元位置を三次元空間に投影して、特徴点の第１三次元位置を取得するように構成されてもよい。上記のレジストレーションモジュール９４は、さらに三次元画像における実ターゲット上の特徴点の第２三次元位置を取得するように構成されてもよい。上記のレジストレーションモジュール９４は、さらに第１三次元位置と第２三次元位置を用い、二次元画像と三次元画像の間のレジストレーション結果を出力するように構成されてもよい。

図１０を参照すると、図１０は本開示の実施例による画像レジストレーションデバイスの実施例の構造ブロック図である。当該画像レジストレーションデバイスは、プロセッサ１０１とプロセッサに結合されたメモリ１０２とを備える。プロセッサ１０１は、上記の画像レジストレーションモデルのトレーニング方法又は画像レジストレーション方法を実行するために、メモリ１０２に記憶されたコンピュータプログラムを実行するように構成される。

図１１を参照すると、図１１は本開示の実施例による記憶装置の実施形態のフレームワークの概略図である。当該記憶装置１１０にはコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサに実行される場合、上記のいずれかの実施例におけるゲイン調整方法のステップを実現することができる。当該コンピュータ可読記憶媒体である記憶装置は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のコンピュータプログラムコードを記憶できる媒体であってもよく、又は、当該コンピュータプログラムコードを記憶しているサーバーであってもよく、当該サーバーは、記憶されたコンピュータプログラムを他のデバイスに送信して実行することができ、又は、当該記憶されたコンピュータプログラムを自ら実行することもできる。

本開示の実施例は、コンピュータプログラム製品をさらに提供する。前記コンピュータプログラム製品にはプログラム命令が記憶され、前記プログラム命令は、プロセッサによってロードされて上記ターゲットデータ更新方法の実施例におけるステップを実行する。

本開示の実施例で提供される実施例では、すべての実施例が矛盾せず、即ち、互いに組み合わせられてもよいことは理解できる。本開示で提供されるいくつかの実施例では、開示される方法及び装置が他の方式により実現されてもよいことを理解すべきである。例えば、上記の装置の実施形態は例示的なものだけであり、例えば、モジュール又はユニットの区分は、論理機能的区分だけであり、実際に実現する時に他の区分モードもあり得て、例えば複数のユニット又はコンポーネントは組み合わせられてもよく又は別のシステムに統合されてもよく、又はいくつかの特徴は無視されてもよく、又は実行されなくてもよい。また、示されるか、又は議論される相互結合又は直接結合又は通信接続は、いくつかのインターフェース、デバイス又はユニットを介した間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。

分離部材として説明されるユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち一つの箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてその中の一部又は全てのユニットを選択して本実施形態の解決策の目的を達成することができる。また、本開示の各実施例における各機能ユニットは１つの処理ユニットに統合されてもよく、個々のユニットは単独で物理的に存在してもよく、２つ以上のユニットは１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよく，ソフトウェア機能ユニットの形態で実現されてもよい。

統合されたユニットは、ソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は使用される時に、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の実施例における技術的解決策は、本質的に又は従来技術に寄与する部分又は当該技術的解決策の全て又は部分がソフトウェア製品の形で体現されてもよく、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、又はネットワークデバイス等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本開示の各実施形態の方法のステップの全て又は一部を実行させるためのいくつかの命令を含む。前記記憶媒体は、インターフェース、モバイルハードディスク、読み取り専用メモリ、ランダムアクセスメモリ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。

本開示の実施例では、実二次元画像と参考二次元画像を取得し、画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用いて参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得、ここで、画像レジストレーションモデルが既に仮想画像を用いて事前トレーニングされており、しかも仮想画像特徴抽出ネットワークが事前トレーニングに参与しており、仮想画像が仮想ターゲットに基づいて生成されたものであり、画像レジストレーションモデルの実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第１実特徴図を得、ここで、実画像特徴抽出ネットワークが事前トレーニングに参与せず、第１実特徴図と第１仮想特徴図との間の差異を用いて実画像特徴抽出ネットワークのネットワークパラメータを調整する。この方法により、画像レジストレーションモデルのトレーニング効果が向上し、トレーニングコストが削減される。

Claims (30)

1. 画像レジストレーションモデルのトレーニング方法であって、
   実二次元画像と参考二次元画像を取得するステップであって、実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、前記参考二次元画像内の実ターゲットの所在位置が、前記実二次元画像とマッチングしているステップと、
   前記画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用い、前記参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得るステップであって、前記画像レジストレーションモデルが既に仮想画像を用いて事前トレーニングされており、しかも前記仮想画像特徴抽出ネットワークが前記事前トレーニングに参与しており、前記仮想画像が仮想ターゲットに基づいて生成されたものであるステップと、
   前記画像レジストレーションモデルの実画像特徴抽出ネットワークを用い、前記実二次元画像に対して特徴抽出を行い、第１実特徴図を得るステップであって、前記実画像特徴抽出ネットワークが前記事前トレーニングに参与していないステップと、
   前記第１実特徴図と前記第１仮想特徴図との間の差異を用い、前記実画像特徴抽出ネットワークのネットワークパラメータを調整するステップと、を含む、画像レジストレーションモデルのトレーニング方法。
2. 参考二次元画像を取得するステップは、
   前記実二次元画像と実三次元画像との間の実際レジストレーション結果を用い、前記実ターゲットの所在位置が前記実二次元画像と一致している参考二次元画像を生成することを特徴とする
   請求項１に記載の方法。
3. 前記画像レジストレーションモデルは、前記事前トレーニングに参与する投影画像特徴抽出ネットワークと位置予測ネットワークとをさらに含み、
   前記第１実特徴図と前記第１仮想特徴図との間の差異を用い、前記実画像特徴抽出ネットワークのネットワークパラメータを調整した後に、前記方法は、
   調整後の前記実画像特徴抽出ネットワークを用い、前記実二次元画像に対して特徴抽出を行い、第２実特徴図を得るステップと、
   前記実二次元画像の第１投影モデルパラメータを用いて実三次元画像を投影し、第１投影画像を得て、前記第１投影画像における前記実ターゲットの特徴点の第１実際二次元位置を取得するステップと、
   前記投影画像特徴抽出ネットワークを用い、前記第１投影画像に対して特徴抽出を行い、第１投影特徴図を取得するステップと、
   前記位置予測ネットワークを用い、前記第１投影特徴図において、前記第１実際二次元位置に対応する第１投影特徴位置を決定し、前記第２実特徴図において前記第１投影特徴図における前記第１投影特徴位置に対応する実特徴位置を探し出し、前記実特徴位置を用いて前記実二次元画像における前記実ターゲットの特徴点の第１予測二次元位置を取得するステップと、
   前記第１予測二次元位置を用い、前記実二次元画像と前記実三次元画像の予測レジストレーション結果を取得するステップと、
   前記実際レジストレーション結果と前記予測レジストレーション結果との間の差異を用い、前記実画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのうちの少なくとも１つのネットワークのネットワークパラメータを調整するステップと、をさらに含むことを特徴とする
   請求項２に記載の方法。
4. 前記実際レジストレーション結果と前記予測レジストレーション結果との間の差異を用い、前記実画像特徴抽出ネットワークのネットワークパラメータを調整するステップは、
   前記第２実特徴図と前記第１仮想特徴図との間の差異、前記実際レジストレーション結果と前記予測レジストレーション結果との間の差異を用い、前記実画像特徴抽出ネットワークのネットワークパラメータを調整するステップを含むことを特徴とする請求項３に記載の方法。
5. 前記方法は、前記画像レジストレーションモデルを事前トレーニングするために、
   少なくとも１組の仮想二次元画像及び第２投影画像を取得し、前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２実際二次元位置と、前記第２投影画像における前記仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップであって、前記仮想二次元画像が、前記仮想ターゲットに対して模擬イメージングを行って取得されたものであり、前記第２投影画像が、前記仮想ターゲットに対して模擬投影を行って取得されたものであるステップと、
   各組の前記仮想二次元画像、前記第２投影画像及び前記第３実際二次元位置を前記画像レジストレーションモデルに入力して、前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップと、
   前記第２実際二次元位置及び前記第２予測二次元位置に基づいて、前記画像レジストレーションモデルのネットワークパラメータを調整するステップと、をさらに含むことを特徴とする
   請求項１－４のいずれか一項に記載の方法。
6. 各組の前記仮想二次元画像、前記第２投影画像及び前記第３実際二次元位置を前記画像レジストレーションモデルに入力して、前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップは、
   前記画像レジストレーションモデルの投影画像特徴抽出ネットワークを用い、前記第２投影画像に対して特徴抽出を行い、第２投影特徴図を得るステップと、
   前記仮想画像特徴抽出ネットワークを用い、前記仮想二次元画像に対して特徴抽出を行い、第２仮想特徴図を得るステップと、
   前記画像レジストレーションモデルの位置予測ネットワークを用い、前記第２投影特徴図において、前記第３実際二次元位置に対応する第２投影特徴位置を決定し、前記第２仮想特徴図において、前記第２投影特徴図における前記第２投影特徴位置に対応する仮想特徴位置を探し出し、前記仮想特徴位置を用いて前記第２予測二次元位置を取得するステップと、を含み、
   前記第２実際二次元位置及び前記第２予測二次元位置に基づいて、前記画像レジストレーションモデルのネットワークパラメータを調整するステップは、
   前記第２実際二次元位置及び前記第２予測二次元位置に基づいて、前記仮想画像特徴抽出ネットワーク、前記投影画像特徴抽出ネットワークと前記位置予測ネットワークのネットワークパラメータを調整するステップを含むことを特徴とする
   請求項５に記載の方法。
7. 前記第２実特徴図において前記第１投影特徴図における前記第１投影特徴位置に対応する実特徴位置を探し出すステップは、
   前記第１投影特徴図において前記第１投影特徴位置に位置する第１特徴情報を探し出すステップと、
   前記第２実特徴図において、前記第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、
   前記第２実特徴図における前記第２特徴情報の実特徴位置を取得するステップと、を含むことを特徴とする
   請求項３に記載の方法。
8. 前記第２仮想特徴図において、前記第２投影特徴図における前記第２投影特徴位置に対応する仮想特徴位置を探し出すステップは、
   前記第２投影特徴図において、前記第２投影特徴位置に位置する第１特徴情報を探し出すステップと、
   前記第２仮想特徴図において、前記第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、
   前記第２仮想特徴図における前記第２特徴情報の仮想特徴位置を取得するステップと、を含むことを特徴とする
   請求項６に記載の方法。
9. 各組の前記仮想二次元画像と前記第２投影画像に、同一の第２投影モデルパラメータを用いて、プリセット位置姿勢における前記仮想ターゲットに対して、模擬イメージングを行って得られた仮想二次元画像、及び同一の前記第２投影モデルパラメータを用いて参考位置姿勢における前記仮想ターゲットに対して模擬イメージングを行って得られた第２投影画像が含まれ、ここで、異なる組の前記仮想二次元画像と前記第２投影画像に対応する前記第２投影モデルパラメータ及び／又は前記プリセット位置姿勢は異なることを特徴とする
   請求項５又は６に記載の方法。
10. 前記方法は、前記画像レジストレーションモデルを事前トレーニングするために、
    同一の前記プリセット位置姿勢に対応する複数の仮想二次元画像の第２予測二次元位置を用いて、前記仮想ターゲット上の特徴点の予測三次元位置を決定するステップと、
    前記仮想ターゲット上の特徴点の予測三次元位置と実際三次元位置との間の差異を用い、前記画像レジストレーションモデルのネットワークパラメータを調整するステップと、をさらに含むことを特徴とする
    請求項９に記載の方法。
11. 各組の前記仮想二次元画像と第２投影画像を取得するステップは、
    同一の前記第２投影モデルパラメータで、プリセット位置姿勢にある前記仮想ターゲットに対して模擬イメージングを行い、前記仮想二次元画像を取得し、前記第２投影モデルパラメータ、及び参考位置姿勢に対する前記プリセット位置姿勢にある仮想ターゲットの剛体変換パラメータを記録するステップと、
    同一の前記第２投影モデルパラメータで、前記参考位置姿勢にある前記仮想ターゲットに対して模擬投影を行い、前記第２投影画像を得るステップと、をさらに含み、
    前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２実際二次元位置と、前記第２投影画像における前記仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップは、
    前記参考位置姿勢にある前記仮想ターゲットの少なくとも１つの特徴点を決定するステップと、
    前記仮想二次元画像に対応する前記第２投影モデルパラメータ及び前記剛体変換パラメータを用い、前記仮想二次元画像における各前記特徴点の第２実際二次元位置を決定し、前記第２投影画像に対応する前記投影モデルパラメータを用い、前記第２投影画像における各前記特徴点の第３実際二次元位置を決定するステップと、を含むことを特徴とする
    請求項９に記載の方法。
12. 前記参考位置姿勢にある前記仮想ターゲットの少なくとも１つの特徴点を決定するステップは、
    前記参考位置姿勢にある前記仮想ターゲットにおいて、少なくとも１つの特徴点をランダムに選択するステップ、又は、
    前記第２投影画像における、前記仮想ターゲットに対応するターゲット領域を識別し、前記ターゲット領域の内部又はエッジにおいて、少なくとも１つの投影点を選択し、前記第２投影画像の前記第２投影モデルパラメータを用い、前記少なくとも１つの投影点を三次元空間に投影して、前記仮想ターゲットの少なくとも１つの特徴点を取得するステップを含むことを特徴とする
    請求項１１に記載の方法。
13. 画像レジストレーション方法であって、
    実ターゲットをそれぞれイメージングして得られた二次元画像と三次元画像を取得するステップと、
    前記二次元画像の投影モデルパラメータを用いて前記三次元画像を投影し、投影画像を取得するステップと、
    画像レジストレーションモデルを用いて前記二次元画像と前記投影画像を処理し、前記二次元画像における前記実ターゲット上の特徴点の二次元位置を取得するステップと、
    前記二次元位置を用い、前記二次元画像と前記三次元画像の間のレジストレーション結果を取得するステップと、を含み、
    ここで、前記画像レジストレーションモデルは、請求項１－１０のいずれか一項に記載の方法によってトレーニングされたものである、画像レジストレーション方法。
14. 前記二次元位置を用い、前記二次元画像と前記三次元画像の間のレジストレーション結果を取得するステップは、
    前記投影モデルパラメータを用いて前記二次元位置を三次元空間に投影して、前記実ターゲット上の特徴点の第１三次元位置を取得するステップと、
    前記三次元画像における前記実ターゲット上の特徴点の第２三次元位置を取得するステップと、
    前記第１三次元位置と前記第２三次元位置を用い、前記二次元画像と前記三次元画像の間のレジストレーション結果を取得するステップと、を含むことを特徴とする
    請求項１３に記載の方法。
15. 画像レジストレーションモデルのトレーニング装置であって、
    実二次元画像と参考二次元画像を取得するように構成され、前記実二次元画像が、イメージングデバイスを利用して実ターゲットをイメージングして取得されたものであり、前記参考二次元画像内の実ターゲットの所在位置が、前記実二次元画像とマッチングしている第１取得モジュールと、
    前記画像レジストレーションモデルの仮想画像特徴抽出ネットワークを用い、前記参考二次元画像に対して特徴抽出を行い、第１仮想特徴図を得るように構成され、前記画像レジストレーションモデルが既に仮想画像を用いて事前トレーニングされており、しかも前記仮想画像特徴抽出ネットワークが前記事前トレーニングに参与しており、前記仮想画像が仮想ターゲットに基づいて生成されたものである第１特徴抽出モジュールと、
    前記画像レジストレーションモデルの実画像特徴抽出ネットワークを用い、前記実二次元画像に対して特徴抽出を行い、第１実特徴図を得るように構成され、実画像特徴抽出ネットワークが前記事前トレーニングに参与していない第２特徴抽出モジュールと、
    前記第１実特徴図と前記第１仮想特徴図との間の差異を用い、前記実画像特徴抽出ネットワークのネットワークパラメータを調整するように構成される第１調整モジュールと、を備える、画像レジストレーションモデルのトレーニング装置。
16. 前記第１取得モジュールは、さらに前記実二次元画像と実三次元画像との間の実際レジストレーション結果を用い、前記実ターゲットの所在位置が前記実二次元画像と一致している参考二次元画像を生成するように構成されることを特徴とする
    請求項１５に記載の装置。
17. 前記画像レジストレーションモデルは、前記事前トレーニングに参与する投影画像特徴抽出ネットワークと位置予測ネットワークとをさらに含み、前記装置は、第３特徴抽出予測モジュールと第２調整モジュールとをさらに備え、
    前記第３特徴抽出予測モジュールは、調整後の実画像特徴抽出ネットワークを用いて実二次元画像に対して特徴抽出を行い、第２実特徴図を得るステップと、実二次元画像の第１投影モデルパラメータを用いて実三次元画像を投影し、第１投影画像を得、第１投影画像における実ターゲットの特徴点の第１実際二次元位置を取得するステップと、投影画像特徴抽出ネットワークを用い、第１投影画像に対して特徴抽出を行い、第１投影特徴図を取得するステップと、位置予測ネットワークを用い、第１投影特徴図において、第１実際二次元位置に対応する第１投影特徴位置を決定し、第２実特徴図において第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出し、実特徴位置を用いて実二次元画像における実ターゲットの特徴点の第１予測二次元位置を取得するステップと、第１予測二次元位置を用いて、実二次元画像と実三次元画像の予測レジストレーション結果を取得するステップと、を実行するように構成され、
    前記第２調整モジュールは、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのうちの少なくとも１つのネットワークのネットワークパラメータを調整するように構成されることを特徴とする
    請求項１６に記載の装置。
18. 第２調整モジュールは、第２実特徴図と第１仮想特徴図との間の差異、実際レジストレーション結果と予測レジストレーション結果との間の差異を用い、実画像特徴抽出ネットワークのネットワークパラメータを調整するように構成されることを特徴とする
    請求項１７に記載の装置。
19. 前記装置は、前記画像レジストレーションモデルを事前トレーニングするために、
    少なくとも１組の仮想二次元画像及び第２投影画像を取得し、前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２実際二次元位置と、前記第２投影画像における前記仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップであって、前記仮想二次元画像が、前記仮想ターゲットに対して模擬イメージングを行って取得されたものであり、前記第２投影画像が、前記仮想ターゲットに対して模擬投影を行って取得されたものであるステップと、
    各組の前記仮想二次元画像、前記第２投影画像及び前記第３実際二次元位置を前記画像レジストレーションモデルに入力して、前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２予測二次元位置を取得するステップと、
    前記第２実際二次元位置及び前記第２予測二次元位置に基づいて、前記画像レジストレーションモデルのネットワークパラメータを調整するステップと、を実行するように構成される事前トレーニングモジュールをさらに備えることを特徴とする
    請求項１５－１８のいずれか一項に記載の装置。
20. 事前トレーニングモジュールにおいて実行される、各組の仮想二次元画像、第２投影画像及び第３実際二次元位置を画像レジストレーションモデルに入力して、仮想二次元画像における特徴点の第２予測二次元位置を取得するステップは、
    画像レジストレーションモデルの投影画像特徴抽出ネットワークを用いて第２投影画像に対して特徴抽出を行い、第２投影特徴図を得るステップと、仮想画像特徴抽出ネットワークを用いて仮想二次元画像に対して特徴抽出を行い、第２仮想特徴図を得るステップと、画像レジストレーションモデルの位置予測ネットワークを用い、第２投影特徴図において前記第３実際二次元位置に対応する第２投影特徴位置を決定し、第２仮想特徴図において第２投影特徴図における第２投影特徴位置に対応する仮想特徴位置を探し出し、仮想特徴位置を用いて第２予測二次元位置を取得するステップと、を含み、
    事前トレーニングモジュールにおいて実行される、第２実際二次元位置及び第２予測二次元位置に基づいて、画像レジストレーションモデルのネットワークパラメータを調整するステップは、
    第２実際二次元位置及び第２予測二次元位置に基づいて、仮想画像特徴抽出ネットワーク、投影画像特徴抽出ネットワークと位置予測ネットワークのネットワークパラメータを調整するステップを含む、ことを特徴とする
    請求項１９に記載の装置。
21. 前記第３特徴抽出予測モジュールにおいて実行される、前記第２実特徴図において前記第１投影特徴図における第１投影特徴位置に対応する実特徴位置を探し出すステップは、
    前記第１投影特徴図において前記第１投影特徴位置に位置する第１特徴情報を探し出すステップと、
    前記第２実特徴図において、前記第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、
    前記第２実特徴図における前記第２特徴情報の実特徴位置を取得するステップと、を含むことを特徴とする
    請求項１７に記載の装置。
22. 前記第３特徴抽出予測モジュールにおいて実行される、前記第２仮想特徴図において、前記第２投影特徴図における前記第２投影特徴位置に対応する仮想特徴位置を探し出すステップは、
    前記第２投影特徴図において、前記第２投影特徴位置に位置する第１特徴情報を探し出すステップと、
    前記第２仮想特徴図において、前記第１特徴情報との類似度がプリセット類似条件を満たす第２特徴情報を探し出すステップと、
    前記第２仮想特徴図における前記第２特徴情報の仮想特徴位置を取得するステップと、を含むことを特徴とする
    請求項２０に記載の装置。
23. 各組の前記仮想二次元画像と前記第２投影画像に、同一の第２投影モデルパラメータを用いて、プリセット位置姿勢における前記仮想ターゲットに対して、模擬イメージングを行って得られた仮想二次元画像、及び同一の前記第２投影モデルパラメータを用いて参考位置姿勢における前記仮想ターゲットに対して模擬イメージングを行って得られた第２投影画像が含まれ、ここで、異なる組の前記仮想二次元画像と前記第２投影画像に対応する前記第２投影モデルパラメータ及び／又は前記プリセット位置姿勢は異なることを特徴とする
    請求項１９又は２０に記載の装置。
24. 前記事前トレーニングモジュールにおいて実行される、各組の前記仮想二次元画像と第２投影画像を取得するステップは、
    同一の前記第２投影モデルパラメータで、プリセット位置姿勢にある前記仮想ターゲットに対して模擬イメージングを行い、前記仮想二次元画像を取得し、前記第２投影モデルパラメータ、及び参考位置姿勢に対する前記プリセット位置姿勢にある仮想ターゲットの剛体変換パラメータを記録するステップと、
    同一の前記第２投影モデルパラメータで、前記参考位置姿勢にある前記仮想ターゲットに対して模擬投影を行い、前記第２投影画像を得るステップと、を含み、
    前記事前トレーニングモジュールにおいて実行される、前記仮想二次元画像における前記仮想ターゲット上の特徴点の第２実際二次元位置と、前記第２投影画像における前記仮想ターゲット上の特徴点の第３実際二次元位置を取得するステップは、
    前記参考位置姿勢にある前記仮想ターゲットの少なくとも１つの特徴点を決定するステップと、
    前記仮想二次元画像に対応する前記第２投影モデルパラメータ及び前記剛体変換パラメータを用い、前記仮想二次元画像における各前記特徴点の第２実際二次元位置を決定し、前記第２投影画像に対応する前記投影モデルパラメータを用い、前記第２投影画像における各前記特徴点の第３実際二次元位置を決定するステップと、を含むことを特徴とする
    請求項２２に記載の装置。
25. 前記事前トレーニングモジュールにおいて実行される、前記参考位置姿勢にある前記仮想ターゲットの少なくとも１つの特徴点を決定するステップは、
    前記参考位置姿勢にある前記仮想ターゲットにおいて、少なくとも１つの特徴点をランダムに選択するステップ、又は、
    前記第２投影画像における、前記仮想ターゲットに対応するターゲット領域を識別し、前記ターゲット領域の内部又はエッジにおいて、少なくとも１つの投影点を選択し、前記第２投影画像の前記第２投影モデルパラメータを用い、前記少なくとも１つの投影点を三次元空間に投影して、前記仮想ターゲットの少なくとも１つの特徴点を取得するステップを含むことを特徴とする
    請求項２４に記載の装置。
26. 画像レジストレーション装置であって、
    ターゲットをそれぞれイメージングして得られた二次元画像と三次元画像を取得するように構成される第２取得モジュールと、
    前記二次元画像の投影モデルパラメータを用いて前記三次元画像を投影し、投影画像を取得するように構成される投影モジュールと、
    画像レジストレーションモデルを用いて前記二次元画像と投影画像を処理し、前記二次元画像における前記ターゲット上の特徴点の二次元位置を取得するように構成される予測モジュールと、
    前記二次元位置を用い、前記二次元画像と前記三次元画像の間のレジストレーション結果を取得するように構成されるレジストレーションモジュールと、を備え、
    ここで、前記画像レジストレーションモデルは、上記の請求項１５に記載の装置によってトレーニングされたものである、画像レジストレーション装置。
27. 前記レジストレーションモジュールは、
    前記投影モデルパラメータを用いて前記二次元位置を三次元空間に投影して、前記実ターゲット上の特徴点の第１三次元位置を取得するステップと、
    前記三次元画像における前記実ターゲット上の特徴点の第２三次元位置を取得するステップと、
    前記第１三次元位置と前記第２三次元位置を用い、前記二次元画像と前記三次元画像の間のレジストレーション結果を取得するステップと、を含む、前記二次元位置を用い、前記二次元画像と前記三次元画像の間のレジストレーション結果を取得するステップを実行するように構成されることを特徴とする
    請求項２６に記載の装置。
28. 画像レジストレーションデバイスであって、相互に結合されているプロセッサとメモリとを備え、ここで、
    前記プロセッサは、前記メモリに記憶されたコンピュータプログラムを実行し、それによって、請求項１－１２のいずれか一項に記載の画像レジストレーションモデルのトレーニング方法を実行し、又は請求項１３又は１４に記載の画像レジストレーション方法を実行するように構成される、画像レジストレーションデバイス。
29. コンピュータ可読記憶媒体であって、プロセッサで実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、請求項１－１２のいずれか一項に記載の方法を実現し、又は請求項１３又は１４に記載の方法を実現するように構成される、コンピュータ可読記憶媒体。
30. コンピュータプログラム製品であって、１つ又は複数のプログラム命令が記憶されており、前記プログラム命令は、プロセッサにロードされて実行され、それによって請求項１－１２のいずれか一項に記載の方法を実現し、又は請求項１３又は１４に記載の方法を実現する、コンピュータプログラム製品。

Images