JP2022544665A - 画像処理方法、機器、非一時的コンピュータ可読媒体 - Google Patents

Abstract

開示画像処理方法であって、複数のトレーニングデータセットを取得するステップであって、各トレーニングデータセットは第１及び第２画像のデータを含み、前記第２画像の画質は前記第１画像の画質より高く、前記第１画像の撮影コンテンツは前記第２画像の撮影コンテンツと同じである、ステップと、画像拡張モデルを構成し、前記第１画像のデータを前記モデルに入力させ、前記複数のトレーニングデータセットを使用して、前記モデルの出力と前記第２画像のデータとの間の差分特徴値が最小になるまで、前記モデルをトレーニングするステップと、処理されるべき第３画像のデータを前記モデルに入力するステップであって、画像拡張後の第４画像のデータを出力し、前記第４画像の画質は前記第３画像の画質より高い、ステップと、を含む画像処理方法が開示される。

Description

本発明は、画像処理の分野に関し、特に、画像処理方法及び機器、並びに非一時的コンピュータ可読媒体及びコンピュータプログラムに関する。

パノラマカメラにより撮影されるパノラマ画像は、通常、１８０度以上の視界を有する。しかしながら、（デジタルSLR（Single-Lens Reflex）カメラのような）高画質カメラによりキャプチャされる平面画像（planar image）と比べて、パノラマ画像は、鮮明さ、解像度、色相差、等の観点で粗悪である。

本願の目的は、画質を向上することのできる、画像処理方法及び機器並びに非一時的コンピュータ可読媒体及びコンピュータプログラムを提供することである。

本発明の第１の態様によると、画像処理方法であって、
複数のトレーニングデータセットを取得するステップであって、各トレーニングデータセットは第１画像のデータ及び第２画像のデータを含み、前記第２画像の画質は前記第１画像の画質より高く、前記第１画像の撮影コンテンツは前記第２画像の撮影コンテンツと同じである、ステップと、
画像拡張モデルを構成し、前記第１画像のデータを前記画像拡張モデルに入力させ、前記複数のトレーニングデータセットを使用して、前記画像拡張モデルの出力と前記第２画像のデータとの間の差分特徴値が最小になるまで、前記画像拡張モデルに対してトレーニングを行うステップと、
処理されるべき第３画像のデータを前記画像拡張モデルに入力するステップであって、画像拡張後の第４画像のデータを出力し、前記第４画像の画質は前記第３画像の画質より高い、ステップと、
を含む画像処理方法が提供される。

任意的に、前記第１画像は正距円筒図法又は透視図法であり、前記第２画像も正距円筒図法又は透視図法である。

任意的に、複数のトレーニングデータセットを生成する前記ステップは、
パノラマカメラを第１位置に固定し、前記パノラマカメラを使用してパノラマ画像を撮影し、前記パノラマ画像を透視図法に変換するステップと、
平面カメラを第２位置に固定し、前記平面カメラを回転して複数の平面画像をキャプチャし、前記複数の平面画像を利用して前記透視図法に対応する高画質画像を取得するステップであって、前記平面カメラは前記パノラマカメラの非平行点に揃えられ、前記高画質画像の画質は前記透視図法の画質より高く、前記高画質画像の撮影コンテンツは前記透視図法の全部の撮影コンテンツを含む、ステップと、
前記透視図法内の第１領域に対応する前記高画質画像内の第２領域を決定するステップであって、前記第１領域の位置は前記第２領域の位置に一致する、ステップと、
前記第１領域及び前記第２領域を用いて、N個の画像セットを生成するステップであって、各画像セットは前記第１画像及び前記第２画像を含み、Nは１より大きい正数である、ステップと、
を含む。

任意的に、前記第１領域及び前記第２領域を用いて、N個の画像セットを取得する前記ステップは、
前記第２領域をN個の第２部分に分割するステップであって、任意の２個の隣接する第２部分は重なり合わない、ステップと、
前記第１領域をN個の第１部分に分割するステップであって、任意の２個の隣接する第１部分は重なり合う領域を有する、ステップと、
前記N個の第２部分の中からi番目の第２部分及び前記N個の第１部分の中から前記i番目の第２部分に一致するi番目の第１部分を選択するステップであって、前記i番目の第１部分の撮影コンテンツは前記i番目の第２部分の撮影コンテンツを含み、前記i番目の第１部分のサイズは前記i番目の第２部分のサイズより大きく、iは１以上且つN以下の整数である、ステップと、
前記i番目の第２部分及び前記i番目の第１部分にピクセルマッチングを実行し、前記i番目の第１部分を利用してi番目の第３部分を獲得するステップであって、前記i番目の第３部分のサイズは前記i番目の第２部分のサイズと同じである、ステップと、
前記i番目の第３部分及び前記i番目の第２部分のマッチング精度を計算し、前記マッチング精度が所定の閾値より大きい場合に、前記i番目の第３部分を前記第１画像とし及び前記i番目の第２部分を前記第２画像とするステップと、
前記マッチング精度が前記所定の閾値より大きくない場合に、パターンマッチングを採用して、前記i番目の第１部分から前記i番目の第２部分に一致するi番目の第４部分を取得し、前記i番目の第４部分を前記第１画像として機能させ、前記i番目の第２部分を前記第２画像として機能させるステップであって、前記i番目の第４部分のサイズは前記i番目の第２部分のサイズと同じである、ステップと、
を含む。

任意的に、前記画像拡張モデルに入力される画像のデータは、前記画像の意味情報及び位置情報のうちの少なくとも１つを含む。

任意的に、データが前記画像拡張モデルに入力される画像の位置情報を決定するステップが更に含まれる。このステップは、前記画像の品質スコアを計算するステップと、前記品質スコアに対応する領域識別を決定するステップと、前記領域識別を前記位置情報にするステップと、を含む。

任意的に、前記第２画像の画質が前記第１画像の画質より高いことは、
前記第２画像の解像度が前記第１画像の解像度より高いケース、
前記第２画像の信号対雑音比が前記第１画像の信号対雑音比より高いケース、
前記第２画像の色相差が前記第１画像の色相差より低いケース、
のうちの少なくとも１つを含む。

任意的に、前記画像拡張モデルは、畳み込みニューラルネットワーク及び敵対的生成ネットワークのうちのいずれか１つを採用する。

本発明の第２の態様によると、画像処理機器であって、
複数のトレーニングデータセットを取得するよう構成される部分であって、各トレーニングデータセットは第１画像のデータ及び第２画像のデータを含み、前記第２画像の画質は前記第１画像の画質より高く、前記第１画像の撮影コンテンツは前記第２画像の撮影コンテンツと同じである、部分と、
画像拡張モデルを構成し、前記第１画像のデータを前記画像拡張モデルに入力させ、前記複数のトレーニングデータセットを使用して、前記画像拡張モデルの出力と前記第２画像のデータとの間の差分特徴値が最小になるまで、前記画像拡張モデルに対してトレーニングを行うよう構成される部分と、
処理されるべき第３画像の入力データを前記画像拡張モデルに入力し、画像拡張後の第４画像のデータを出力し、前記第４画像の画質は前記第３画像の画質より高い、部分と、
を含む画像処理機器が提供される。

本発明の第３の態様によると、コンピュータ実行可能命令が格納されている非一時的コンピュータ可読媒体が提供される。コンピュータ実行可能命令は、プロセッサにより実行されると、該プロセッサに、上述の画像処理方法を達成させる、コンピュータ実行可能命令。

低画質画像データと高画質画像データを含む複数のトレーニングデータセットを取得し、及び複数のトレーニングデータセットを利用して画像拡張モデルトレーニングを実施することにより、画質を向上することのできる画像拡張モデルを得ることが可能である。その後、処理されるべき画像データを画像拡張モデルに入力することにより、より高品質の画像データを生成することが可能であり、それにより、画質を改善することができる。

本発明の実施形態による画像処理方法のフローチャートである。 複数のトレーニングデータセットを取得する処理のフローチャートである。 本発明の実施形態による画像処理機器のブロック図である。 本発明の実施形態による画像処理のための電子機器のブロック図である。 本発明の別の実施形態による画像処理方法のフローチャートである。 パノラマカメラ及び高画質カメラにより撮影された例示的な画像を示す。 透視図法及び高画質画像を取得する処理、並びに透視図法及び高画質画像に基づき取得される第１及び第２領域を示す。 第１及び第２画像として機能する一致した第１及び第２画像ブロックのペアを示す。 マッチング結果を示す。 一致した第１及び第２領域、並びに一致した第１及び第２画像を示す。 ピクセルマッチングアプローチにより取得された小さな画像ブロックのセットを示す。 パターンマッチングアプローチを利用することにより取得された小さな画像ブロックのセットを示す。 複数の小さな画像ブロックのセットを示す。 低画質画像及びその拡張画像を示す。 別の低画質画像及びその拡張画像を示す。 異なるアプローチを使用することにより低画質画像に対する拡張の実行の比較を示す。 正距円筒図法を異なる領域に分割する例を示す。

当業者に本発明をより理解させるために、以下では、本発明の実施形態は、図面を参照して具体的に説明される。しかしながら、留意すべきことに、明細書及び図面において同じ符号は基本的に同じ機能及び構造を有する構成要素を表し、該構成要素の説明の繰り返しは省略される。

説明されるように、パノラマカメラにより撮影されるパノラマ画像は、通常、１８０度以上の視界を有する。しかしながら、（デジタルSLRカメラのような）高画質カメラによりキャプチャされる平面画像（planar image）と比べて、パノラマ画像は、鮮明さ、解像度、色相差、等の観点で粗悪である。

画像拡張及び超解像度（super resolution (SR)）は、パノラマ画像の品質を向上するために使用されてよい。画像拡張は、画像鮮明化、ノイズ除去、ブラー除去、コントラスト向上、色相差補正、等を含む。画像超解像度は、画像の解像度を増大することにより、画質を良くすることができる。しかしながら、従来の画像拡張及び超解像度のアプローチは、パノラマ画質向上に限定的な効果しか有しない。

上述の問題を解決するために、本発明の実施形態は、画質が改善され得る、画像処理方法及び機器、画像処理のための電子機器、コンピュータ可読媒体、及びコンピュータプログラムを提供する。

［第１の実施形態］
本実施形態では、画像処理方法が提供される。

図１は、画像処理方法のフローチャートである。

図１に示すように、画像処理方法は、ステップS１０１～S１０３を含む。

ステップS１０１で、複数のトレーニングデータセットが取得される。各トレーニングデータセットは、第１画像のデータ及び第２画像のデータを含む。第２画像の画質は第１画像の画質より高く、第１画像の撮影コンテンツは第２画像の撮影コンテンツと同じである。

ここで、第１画像及び第２画像の両方は、正距円筒図法（equirectangular projection）又は透視図法（perspective view）であってよく；第１画像は正距円筒図法であってよく、第２画像は透視図法であってよく；或いは、第１画像は透視図法であってよく、第２画像は正距円筒図法であってよい。勿論、第１及び第２画像は、正距円筒図法及び／又は透視図法に限定されない。それは、それらが他の種類の画像であってよいことを意味する。

トレーニングデータを取得するために、予め同じコンテンツを撮影するために、異なる画質を有するカメラを使用することが可能である。例えば、高画質を有するカメラは、高画質画像を取得するためにコンテンツAの写真を撮るために利用されてよく、次に、低画質を有するカメラが、低画質画像を取得するために同じコンテンツAを撮影するために採用されてよい。次に、第１画像及び第２画像を生成するために、高画質画像及び低画質画像に対して、マッチング処理が実行されてよい。

画質を測定するパラメータは、解像度、信号対雑音比、及び色相差を含んでよい。第２画像の画質は、第１画像の画質より高い。これは、少なくとも以下のケースのうちの少なくとも１つが含まれることを意味する：第２画像の解像度が第１画像の解像度より高いケース；第２画像の信号対雑音比が第１画像の信号対雑音比より高いケース；第２画像の色相差が第１画像の色相差より低いケース。

例では、高画質を有するカメラは、デジタルSLRカメラのような平面カメラを採用してよく、低画質を有するカメラはパノラマカメラを利用してよい。

図２は、複数のトレーニングデータセットを取得する処理のフローチャートである。

図２に示すように、複数のトレーニングデータセットを取得する処理は、ステップS１０１１～S１０１３を含む。

ステップS１０１１で、パノラマカメラは、パノラマ画像をキャプチャするために第１位置に固定され、パノラマ画像は透視図法に変換される。平面カメラは第２位置に固定され、平面カメラはパノラマカメラの非平行点に揃えられる。複数の平面画像が、平面カメラを回転することにより撮影され、透視図法に対応する高画質画像が、複数の平面画像を用いて取得される。高画質画像の画質は透視図法の画質より高く、高画質画像の撮影コンテンツは透視図法の全部の撮影コンテンツを含む。

ステップS１０１２で、透視図法内の第１領域に対応する、高画質画像内の第２領域が決定される。第１領域の位置は、第２領域の位置と一致する。

ステップS１０１３で、第１及び第２領域は、N個の画像セットを取得するために利用される。各画像セットは、第１画像及び第２画像を含む。ここで、Ｎは、１より大きい整数である。

第１及び第２領域を用いてN個の画像セットを取得するとき、第１領域をN個の第１部分に、第２領域をN個の第２部分に分割することが可能である。任意の２つの隣接する第１部分の間には重なり合う領域があるが（ここで、重なり合う領域の幅は予め決定され、例えば数個のピクセルであってよい）、任意の２つの隣接する第２部分の間には重なり合う領域がない。i番目の第２部分が、N個の第２部分から選択され、i番目の第２部分に一致するi番目の第１部分がN個の第１部分から選択される。i番目の第１部分の撮影コンテンツは、i番目の第２部分の撮影コンテンツを含み、i番目の第１部分のサイズはi番目の第２部分のサイズより大きい。ここで、ｉは、１以上且つN以下の整数である。次に、i番目の第２部分及びi番目の第１部分に対して、ピクセルマッチングが実行され、i番目の第１部分を用いて、i番目の第３部分が取得される。ここで、i番目の第３部分のサイズは、i番目の第２部分のサイズと同じである。次に、i番目の第３部分及びi番目の第２部分のマッチング精度が計算される。マッチング精度が所定の閾値より大きい場合には、i番目の第３部分は、第１画像として機能し、i番目の第２部分は第２画像として機能する。マッチング精度が所定の閾値より大きくない場合には、パターンマッチング処理を利用することにより、i番目の第２部分に一致するi番目の第４部分が、i番目の第１部分から取得される。この場合、i番目の第４部分は第１画像として機能し、i番目の第２部分は第２画像として機能する。ここで、i番目の第４部分のサイズは、i番目の第２部分のサイズと同じである。

留意すべきことに、実際の必要に従い、所定の閾値の値範囲を設定することが可能である。具体的に、PSNR（Peak Signal-to-Noise Ratio、ピーク信号対雑音比）が、閾値を計算するために使用されてよい。つまり、第１及び第２画像内の同じ位置にあるi番目の部分が、２つの部分の元のPSNR（PSNR_oriと表す）を計算するために利用され、次に一致するPSNR値が計算される。一致するPSNR値がPSNR_oriより小さい場合、閾値要件が満たされないと考えられる。

再び図１を参照すると、ステップS１０２は、画像拡張モデルを構成し、第１画像のデータを画像拡張モデルの入力にし、複数のトレーニングデータセットを利用して、画像拡張モデルの出力と第２画像のデータとの間の差分特徴値が最小になるまで、画像拡張モデルをトレーニングする。

ここで、画像拡張モデルは、畳み込みニューラルネットワーク及び敵対的生成ネットワークを採用してよい。画像拡張モデルは、数千個のパラメータを含む。低画質画像を画像拡張モデルに入力することにより、拡張画像を生成することが可能である。参照画像として機能する高画質画像は、損失関数の値を計算するために使用されてよい。損失関数の値は、拡張画像と参照画像との間の差が最小になるまで、連続的に更新される。

画像拡張モデルの性能を向上するために、画像拡張モデルに入力される画像のデータは、意味情報、位置情報、等のような画像の情報を含んでよい。

画像の位置情報は、以下のように決定されてよい。先ず、画像の品質スコアが計算され、次に、品質スコアに対応する領域識別が決定され、これは位置情報として機能する。

次に、図１のステップS１０３で、処理されるべき画像のデータは、画像拡張モデルに入力され、画像拡張後の第４画像のデータを出力する。第４画像の画質は、第３画像の画質より高い。

ここで、第３画像及び第４画像の両方は、正距円筒図法又は透視図法であってよく；第３画像は正距円筒図法であってよく、第４画像は透視図法であってよく；或いは、第３画像は透視図法であってよく、第４画像は正距円筒図法であってよい。勿論、第３及び第４画像は、正距円筒図法及び／又は透視図法に限定されない。つまり、それらは他の種類の画像であってよい。

第３画像が低画質を有するカメラによりキャプチャされた後に、第３画像のデータを画像拡張モデルに入力することにより、拡張画像のデータを出力することが可能である。次に、第４画像が、拡張画像のデータに基づき生成されてよい。ここで、第４画像の画質は、第３画像の画質より高い。このように、画質が向上される。

上述のように、画質を測定するパラメータは、解像度、信号対雑音比、及び色相差を含んでよい。第４画像の画質は、第３画像の画質より高い。それは、少なくとも以下のケースのうちの少なくとも１つが含まれることを意味する：第４画像の解像度が第３画像の解像度より高いケース；第４画像の信号対雑音比が第３画像の信号対雑音比より高いケース；第４画像の色相差が第３画像の色相差より低いケース。

本実施形態では、低画質画像データと高画質画像データを含む複数のトレーニングデータセットを獲得し、及び複数のトレーニングデータセットを利用して画像拡張モデルトレーニングを実施することにより、画質を向上することのできる画像拡張モデルを得ることが可能である。その後、処理を待っている画像データを画像拡張モデルに入力することにより、より高品質の画像データを取得することが可能であり、それにより、画質を改善することができる。

［第２の実施形態］
本実施形態では、画像処理機器が説明される。

ここで、留意すべきことに、画像処理機器は、第１の実施形態による画像処理方法を実行してよい。

図３は、本実施形態による画像処理機器２０のブロック図である。

図３に示されるように、３つの部分、つまり、取得部２１、構成部２２、及び処理部２３が、画像処理機器２０に含まれる。勿論、画像処理機器２０は、他の部分を更に含んでよい。しかしながら、これらの種類の部分は、本実施形態に密接に関連しないので、それらの図示及び説明はここでは便宜上省略される。

特に、取得部２１、構成部２２、及び処理部２３は、第１の実施形態による画像処理方法のステップS１０１～S１０３（図１に示す）を行うよう構成されてよい。ここで、留意すべきことに、これらのステップは、第１の実施形態による画像処理方法において詳細に説明された。つまり、ステップS１０１～S１０３に関する更なる情報については、第１の実施形態を参照することができ、従って、これらのステップの詳細もここでは便宜上省略される。

本実施形態では、低画質画像データと高画質画像データを含む複数のトレーニングデータセットを取得し、及び複数のトレーニングデータセットを利用して画像拡張モデルトレーニングを実行することにより、画質を向上することのできる画像拡張モデルを得ることが可能である。その後、処理されるべき画像データを画像拡張モデルに入力することにより、より高品質の画像データを生成することが可能であり、それにより、画質を改善することができる。

［第３の実施形態］
本実施形態では、画像処理のための電子機器が提供される。

図４は、本実施形態による画像処理のための電子機器３０のブロック図である。

図４に示すように、電子機器３０は、少なくとも１つのプロセッサ３２、及びプロセッサ３２に接続された記憶装置３４を含む。

具体的に、プロセッサ３２はCPU（中央処理ユニット）又はデータ処理能力及び／又は命令実施能力を有する任意の他の処理部であってよく、記憶装置３４に格納されたコンピュータプログラムを実行して、本実施形態では便宜上詳細が省略される第１の実施形態による画像処理方法のステップS１０１～S１０３を達成するよう構成されてよい。

記憶装置３４は、プロッピーディスク（登録商標）、ハードディスク、CDROM、磁気テープ装置、又は固体メモリ装置、のようなプロセッサ可読コンピュータプログラムを格納する任意の記憶媒体であってよい。

例では、図４に示されるように、記憶装置３４は、オペレーティングシステム３４１及びアプリケーションプログラム３４２を含む。オペレーティングシステム３４１は、任意の従来の種類のオペレーティングシステムであってよい。アプリケーションプログラム３４２は、第１の実施形態による画像処理方法を達成するコンピュータプログラムを含んでよい。

更に、電子機器３０は、図４に示されるように、ネットワークインタフェース３１、入力装置３３、ハードディスク３５、及びディスプレイ装置３６を更に含んでよい。これらの４個の部分は、例えば従来のものと同じであってよい。

本実施形態では、低画質画像データと高画質画像データを含む複数のトレーニングデータセットを獲得し、及び複数のトレーニングデータセットを利用して画像拡張モデルトレーニングを実施することにより、画質を向上することのできる画像拡張モデルを得ることが可能である。その後、処理を待っている画像データを画像拡張モデルに入力することにより、より高品質の画像データを取得することが可能であり、それにより、画質を改善することができる。

［第４の実施形態］
本実施形態では、コンピュータプログラム及び非一時的コンピュータ可読媒体が以下に簡単に説明される。

コンピュータプログラムは、コンピュータに、第１の実施形態による画像処理方法を実施させてよい。

更に、非一時的コンピュータ可読媒体は、プロセッサ又は処理システムを含むコンピュータによる実行のためのコンピュータ実行可能命令（つまり、コンピュータプログラム）を格納してよい。コンピュータ実行可能命令は、実行されると、プロセッサ又は処理システムに、第１の実施形態による画像処理方法を実行させてよい。

［第５の実施形態］
本実施形態では、第１の実施形態による画像処理方法に基づく画像処理方法が提供される。

図５は、本実施形態による画像処理方法のフローチャートである。

本実施形態では、低画質画像を取得するためにパノラマカメラが使用され、高画質画像を取得するためにデジタルSLRカメラのような高画質カメラが利用される。

図５に示すように、本実施形態による画像処理方法は、ステップS５０１～S５０５を含む。

ステップS５０１で、パノラマカメラは第１位置に固定され、パノラマ画像はパノラマカメラによりキャプチャされる。高画質カメラは、パノラマカメラのNPP（Non-Parallel Point）に揃えられるように、第２位置に固定され、高画質カメラを回転させることにより複数の平面画像が撮影される。

ここで、各平面画像の画質はパノラマ画像の画質より高く、複数の平面画像の撮影コンテンツの和はパノラマ画像の撮影コンテンツをカバーする必要がある
図６に一例が示され、パノラマカメラ及び高画質カメラにより撮影された例示的な画像を示す。

図６に示されるように、画像１はパノラマカメラにより撮影されたパノラマ画像であり、画像２は、高画質カメラ３をNPPの周りに回転させることによりキャプチャされた、パノラマカメラの異なる視点に対応する高画質画像である。特に、高画質カメラ３は、左から右へ及び上から下へと回転し、異なる角度で高画質画像（つまり、画像２）をキャプチャしてよい。

図５のステップS５０２で、パノラマ画像は透視図法に変換され、透視図法に対応する高画質画像を生成するために、複数の平面画像が利用される。高画質画像の画質は透視図法の画質より高く、高画質画像の撮影コンテンツは透視図法の全部の撮影コンテンツを含む。

図７に例が示され、透視図法及び高画質画像を取得する処理、並びに透視図法及び高画質画像に基づき取得される第１及び第２領域を示す。

図７に示されるように、画像４はパノラマ画像（つまり、正距円筒図法）である。パノラマ画像は、透視図法（つまり、この図では画像５）に変換されてよい。透視図法は、パノラマ画像内の点線の枠内の部分に対応し、低画質画像である。他方で、高画質カメラにより撮影された複数の平面画像は、高画質画像（つまり、この図の画像６）を取得するために利用されてよい。高画質画像の撮影コンテンツは透視図法の撮影コンテンツと同じであるが、高画質画像の画質は透視図法の画質より有意に高い。

図５のステップS５０３で、透視図法内の第１領域に対応する、高画質画像内の第２領域が決定される。第１領域及び第２領域の位置は一致する。次に、第１領域及び第２領域を利用して、N個の画像セットが取得される。各画像セットは、第１画像及び第２画像を含む。ここで、Ｎは、１より大きい整数である。

画像拡張モデルに対してトレーニングを実行するとき、複数のトレーニングデータセットを取得する必要がある。画像拡張モデルは、低画質画像を利用して高画質画像を出力することを目的とする。そのため、画像拡張モデルのトレーニングデータは、一致する第１及び第２画像の複数のセットを含む必要がある。第１画像は低画質画像から取り入れられ、第２画像は高画質画像から取り入れられ、第１画像の撮影コンテンツは第２画像の撮影コンテンツと同じである。

先ず、透視図法内の第１領域を高画質画像内の第２領域と一致させる必要がある。第１領域及び第２領域は、同じ撮影コンテンツに対応する。次に、第１領域は複数の第１画像ブロックに分割され、第２領域も同じように複数の第２画像ブロックに分割される。次に、第１領域内の第１画像ブロック及び第２領域内の第１画像ブロックに対してマッチング処理が実行されて、第１画像及び第２画像として機能する一致した第１及び第２画像ブロックのペアを出力する。

例えば、図７に示されるように、第１領域は画像７により示されてよく、第２領域は画像８により示されてよい。

図８は、第１及び第２画像として機能する一致した第１及び第２画像ブロックのペアを示す。

図８に示すように、左の画像は第１画像ブロックであり、右の画像は、第１画像ブロックとマッチングされた第２画像ブロックである。第１画像ブロックは、歪みを有する低画質画像、つまり第１画像である。第２画像ブロックは、高画質画像、つまり第２画像である。

高精度のマッチング結果を得るために、第１画像及び第１画像と一致する第２画像を取得することは以下の２つのステップを含む。第１ステップは、高画質画像及び高画質画像に一致する歪み補正後の低画質画像（透視図法）を取得することである。歪み補正された低画質画像は、歪みを有する元の低画質パノラマ画像から抽出される。第２ステップは、ブロックマッチング処理を用いて、小さな（例えば、所定のサイズを有する）画像ブロックを、歪み補正された低画質画像及び高画質画像から抽出することである。ここで、第１ステップの後に一致した第１及び第２領域を、及び第２ステップの後に一致した小さな画像ブロック（つまり、第１画像及び第１画像に一致する第２画像）を取得することが可能である。

歪みを有する元の低画質パノラマ画像及び高画質画像について、特徴マッチングが成功し、対応する視角が分かった後に、位置が一致する第１及び第２領域が取得できる。

図９は、第１ステップのマッチング結果を示す。

図９に示されるように、上側の２つの画像は低画質正距円筒図法（左側）及び高画質画像（右側）であり、下側の２つの画像は一致した第１及び第２領域である。第１領域は、歪みを有する元の低画質パノラマ画像から抽出され、その歪みは補正されている。

図１０は、一致した第１及び第２領域、並びに一致した第１及び第２画像を示す。

図１０に示されるように、上側の２つの画像は、位置が一致する第１及び第２領域であり、下側の２つの画像は、一致した第１及び第２画像である。第１画像は、第１領域から取り入れられ、第２画像は第２領域から取り入れられ、第１領域及び第１画像の両方は、歪みを有する画像から変換される。上側の２つの画像に比べて、下側の２つの画像はより狭い視界を有する。通常、視界が広いほど、より深刻な画像歪みが存在する。結果として、大きな画像の歪みは、小さな画像の歪みよりも深刻である。マッチング精度を向上するために、位置が一致する第１及び第２領域を取得した後に、第１及び第２領域は、それぞれ、複数の小さな画像ブロックに分割されて、第１及び第２画像として機能する。このように、歪みを有する画像を透視図法へと変換するときに生成されたエラーを小さくすることができる。

第１及び第２領域を利用して第１及び第２画像を取得するとき、高画質画像の第２領域をN個の小さな画像ブロックに分割することが可能であり、任意の２つの隣接する小さな画像ブロックの間に重なり合いがない。ここで、Nは、正整数であってよく、例えばNは９であってよい。同様に、第２領域に一致する第１領域も、N個の小さな画像領域に分割される必要があるが、任意の２つの隣接する小さなブロックの間に重なり合う領域が存在する（ここで、重なり合う領域の幅は予め定められ、例えば数個のピクセルであってよい）。高画質を有する各々の小さな画像ブロックは、低画質を有する対応する小さな画像ブロックと一致する。高画質を有する画像ブロックは、第２画像として出力され、高画質を有する画像ブロックに一致する低画質を有する画像ブロックは、第２画像と一致する第１画像として出力される。全体のマッチング処理は、変換行列Mを計算し、変換行列Mを使用して歪み補正後の一致した画像を取得し、最終的に低画質を有する一致した大きな画像を取得することを含んでよい。

第１画像及び第２画像にマッチング処理を実行するとき、先ず、小さな画像ブロックが高画質画像の第２領域から選択され、次に、小さな画像ブロックも、低画質画像の対応する位置から選択される。ここで、低画質を有する小さな画像ブロックのピクセル数は、高画質を有する小さな画像ブロックのピクセル数よりも僅かに（所定のピクセル数（例えば、数個のピクセル））大きい。これらの２つの小さな画像ブロックに対してピクセルマッチングを実行することにより、同じサイズを有する２つの一致した小さな画像ブロックを取得することができる。次に、この小さな画像セットのマッチング精度が決定される。マッチング精度が所定の要件を満たす場合（例えば、所定の閾値より大きい）、この小さな画像セットが出力される。その他の場合、パターンマッチングアルゴリズムが採用されて、２つの小さな画像ブロックに関してマッチング処理を行い、一致する小さな画像ブロックのセットを出力する。ここで、最初にピクセルマッチングを選択する理由は、そのマッチング効果がパターンマッチングの効果より高いからである。しかしながら、画像特徴が均等に分布していない場合、ピクセルマッチングは歪みを生じるが、パターンマッチングは歪みを生じない。これに基づき、ピクセルマッチングが適切ではない場合、パターンマッチングが代わりに使用されてよい。

図１１Aは、ピクセルマッチングアプローチにより取得された小さな画像ブロックのセットを示す。図１１Bは、パターンマッチングアプローチを利用することにより取得された小さな画像ブロックのセットを示す。

画像特徴の分布が一様ではない場合、ピクセルマッチングアプローチは歪みを生じ、パターンマッチングアプローチはずれ（misalignment）を生じ得る。パターンマッチングアプローチの効果はピクセルマッチングアプローチの効果ほど良好ではないが、パターンマッチングアプローチは、後続の処理に僅かな影響しか与えない。従って、ピクセルマッチング精度が所定の要件を満たさないとき、パターンマッチングアプローチを候補ソリューションとして選択することができる。

図１２は、このステップを実行した後に必要とされる、複数の小さな画像ブロックのセットを示す。

図１２に示されるように、各々の点線の枠は、小さな画像ブロックのセットを取り囲む。ここで、左の画像は高画質画像、つまり第２画像であり、右の画像は低画質画像、つまり第１画像である。

再び図５を参照すると、ステップS５０４で、画像拡張モデルをトレーニングするために、N個の画像セットが利用される。

特に画像拡張モデルは、ニューラルネットワークを採用してよい。画像拡張モデルは、低画質画像ブロックから高画質画像ブロックへのマッピングモデルであり、数千個のパラメータを含む。低画質画像、つまり第１画像は、拡張画像を生成するために画像拡張モデルに入力され、高画質画像、つまり第２画像は、参照のための実際の画像であり、損失関数の値を計算するために使用される。損失関数の値は、画像拡張モデルにより生成される拡張画像と参照のための画像との間の差が最小になるまで、連続的に更新される。

画像拡張モデルを利用して超解像度を達成するために、取得されたトレーニングデータは、第２画像の解像度が第１画像の解像度より大きいという条件を満たす必要がある。従って、画像拡張モデルは、低解像度画像ブロックから高解像度画像ブロックへのマッピングモデルを学習してよい。低画質画像、つまり第１画像は、超解像度画像を生成するために画像拡張モデルに入力され、高画質画像、つまり第２画像は、参照のための実際の画像であり、損失関数の値を計算するために使用される。損失関数の値は、画像拡張モデルにより生成される拡張画像と参照のための画像との間の差が最小になるまで、連続的に更新される。

次に、図５のステップS５０５で、画像拡張モデル及び低画質画像は、高画質画像を生成するために利用される。

画像拡張モデルがトレーニングされた後に、処理されるべき低画質画像のデータを画像拡張モデルに入力して、高画質画像データを出力し、及び高画質画像データを利用して高画質を有する画像を生成することができる。

図１３は、低画質画像及びその拡張画像を示す。

図１３に示されるように、左側にあるのは、処理を待っている（屋内でキャプチャされた）低画質正距円筒図法であり、右側にあるのは、本実施形態による技術ソリューションを用いて取得された拡張画像である。この図から、画質が改善されたことが明らかである。

図１４も、低画質画像及びその拡張画像を示す。

図１４に示されるように、左側にある画像は、処理されるべき（屋外でキャプチャされた）低画質正距円筒図法であり、右側にある画像は、本実施形態による技術ソリューションを用いて取得された拡張画像である。図１４から、画質が改善されたことが明らかである。

図１５は、異なるアプローチを使用することにより低画質画像に対する拡張の実行の比較を示す。

図１５に示されるように、鮮明化フィルタを用いて低画質を有する画像を処理した結果は左側にあり、本実施形態による技術ソリューションを利用して低画質を有する画像を処理した結果は右側にある。この図から、鮮明化フィルタを用いることと比べて、本実施形態による技術ソリューションを用いて画質を向上できることが明らかである。

更に、画質を更に良好に向上するために、画像拡張モデルに対してトレーニングを行うとき、画像拡張モデルに入力される画像データは、画像の位置情報を含んでよい。具体的に、関連するパノラマ画像内の小さな画像のペアに対応する視野の角度を位置情報として機能させ、位置情報を定義するために１ホット（one hot）ベクトルを使用し、それを画像拡張モデルの生成器（G）及び識別器（D）にリンクすることが可能である。

図１６は、正距円筒図法を異なる領域に分割する例を示す。

図１６に示されるように、正距円筒図法を、異なる画質に従い異なる領域に分割することができる。この図では、正距円筒図法は３個の領域に分割される。同じ番号（つまり、１、２、又は３）を有する各画像は、同じ画質を有し、その対応する角度は正距円筒図法の下に示される。

小さな画像ブロックの品質スコアを計算することにより、小さな画像ブロックのペアが属する領域を決定することができる。例えば、小さな画像ブロックのPSNR（Peak Signal-to-Noise Ratio）及び／又はSSIM（Structural SIMilarity）インデックスは、品質スコアとして機能するために計算されてよい。品質スコアが第１閾値より大きい又は等しい場合、小さな画像ブロックの関連するペアは、領域１に属すると決定されてよく、最良の画質を有する。品質スコアが第２閾値より大きい又は等しいが第１閾値より小さい場合、小さな画像ブロックの関連するペアは、領域２に属すると決定されてよく、良好な画質を有する。品質スコアが第３閾値より大きい又は等しいが第２閾値より小さい場合、小さな画像ブロックの関連するペアは、領域３に属すると決定されてよく、最も悪い画質を有する。小さな画像ブロックに対応する領域識別は、小さな画像ブロックの位置情報のピースとして機能してよい。

更に、画質を更に改善するために、画像拡張モデルに対してトレーニングを実行するとき、画像拡張モデルに入力される画像データは、画像の位置情報に加えて、画像の意味情報を含んでよい。例えば、意味情報の異なるピースに従い、正距円筒図法を、空、木、草、のような異なる領域に分割することができる。画像拡張モデルをトレーニングするとき、画像ブロックに対応する意味情報も、画像拡張モデルに入力される。

本実施形態による技術ソリューションを利用して、パノラマ画像の画質は、SLRカメラによりキャプチャされた対応する平面画像の画質に等しくなるよう向上され得る。

更に、本実施形態では、第１画像は、正距円筒図法を採用し、第２画像は透視図法を使用した。しかしながら、本実施形態による技術ソリューションは、これに限定されない。例えば、第１画像は透視図法を使用してよく、第２画像は正距円筒図法を採用してよい。この場合、第２画像のソースとして機能するようにするために、高画質カメラにより撮影される高画質画像を正距円筒図法に変換する必要がある。

ここで、留意すべきことに、本発明の実施形態は、任意の都合のよい形式で、例えば専用のハードウェア又は専用ハードウェアとソフトウェアとの混合を用いて実装されてよい。本発明の実施形態は、１つ以上のネットワーク接続された処理機器により実行されるコンピュータソフトウェアとして実装されてよい。ネットワークは、従来の地上波又はインターネットのような無線通信ネットワークを含んでよい。処理機器は、汎用コンピュータ、パーソナルデジタルアシスタント、携帯電話機（例えば、WAP又は３G準拠電話機）等のような任意の適切にプログラミングされた機器を含んでよい。本発明の実施形態はソフトウェアとして実装できるので、本発明の各々の全ての態様は、プログラマブル装置に実装可能なコンピュータソフトウェアを包含する。

コンピュータソフトウェアは、プロッピーディスク（登録商標）、ハードディスク、CDROM、磁気テープ装置、又は固体メモリ装置、のようなプロセッサ可読コードを格納する任意の記憶媒体を使用するプログラマブル装置に提供されてよい。

ハードウェアプラットフォームは、例えば、中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）、及びハードディスクドライブ（HDD）を含む任意の専用ハードウェアリソースを含む。CPUは、任意の所望の種類及び数のプロセッサを含んでよい。RAMは、任意の所望の揮発性又は不揮発性メモリを含んでよい。HDDは、大容量データを格納できる任意の所望の不揮発性メモリを含んでよい。ハードウェアリソースは、機器の種類に従い、入力装置、出力装置、及びネットワーク装置を更に含んでよい。HDDは、HDDが機器からアクセス可能である限り、機器の外部に設けられてよい。この場合、CPU、例えばCPUのキャッシュメモリ、及びRAMは、機器の物理メモリ又は１次メモリとして動作してよく、一方で、HDDは、機器の２次メモリとして動作してよい。

本発明は説明の目的で選択された特定の実施形態を参照して説明されたが、本発明はこれらの実施形態に限定されず、本発明の基本概念及び技術的範囲から逸脱することなく当業者により種々の変更がそれに行われ得ることが理解されるべきである。

本願は、参照により全内容がここに組み込まれる、２０１９年８月１５日に出願した中国特許出願番号２０１９１０７５３２７６.Xに基づき、その優先権の利益を主張する。

Claims (11)

1. 画像処理方法であって、
   複数のトレーニングデータセットを取得するステップであって、各トレーニングデータセットは第１画像のデータ及び第２画像のデータを含み、前記第２画像の画質は前記第１画像の画質より高く、前記第１画像の撮影コンテンツは前記第２画像の撮影コンテンツと同じである、ステップと、
   画像拡張モデルを構成し、前記第１画像のデータを前記画像拡張モデルに入力させ、前記複数のトレーニングデータセットを使用して、前記画像拡張モデルの出力と前記第２画像のデータとの間の差分特徴値が最小値に達するまで、前記画像拡張モデルに対してトレーニングを行うステップと、
   処理されるべき第３画像のデータを前記画像拡張モデルに入力するステップであって、画像拡張後の第４画像のデータを出力し、前記第４画像の画質は前記第３画像の画質より高い、ステップと、
   を含み、
   複数のトレーニングデータセットを取得する前記ステップは、
   パノラマカメラを第１位置に固定し、前記パノラマカメラを使用してパノラマ画像を撮影し、前記パノラマ画像を透視図法に変換するステップと、
   平面カメラを第２位置に固定し、前記平面カメラを回転して複数の平面画像をキャプチャし、前記複数の平面画像を利用して前記透視図法に対応する高画質画像を取得するステップであって、前記平面カメラは前記パノラマカメラの非平行点に揃えられ、前記高画質画像の画質は前記透視図法の画質より高く、前記高画質画像の撮影コンテンツは前記透視図法の全部の撮影コンテンツを含む、ステップと、
   前記透視図法内の第１領域に対応する前記高画質画像内の第２領域を決定するステップであって、前記第１領域の位置は前記第２領域の位置に一致する、ステップと、
   前記第１領域及び前記第２領域を用いて、N個の画像セットを取得するステップであって、各画像セットは前記第１画像及び前記第２画像を含み、Nは１より大きい正数である、ステップと、
   を含む、画像処理方法。
2. 前記第１画像は正距円筒図法又は透視図法であり、前記第２画像も正距円筒図法又は透視図法である、請求項１に記載の画像処理方法。
3. 前記第１領域及び前記第２領域を用いて、N個の画像セットを取得する前記ステップは、
   前記第２領域をN個の第２部分に分割するステップであって、任意の２個の隣接する第２部分は重なり合わない、ステップと、
   前記第１領域をN個の第１部分に分割するステップであって、任意の２個の隣接する第１部分は重なり合う領域を有する、ステップと、
   前記N個の第２部分の中からi番目の第２部分及び前記N個の第１部分の中から前記i番目の第２部分に一致するi番目の第１部分を選択するステップであって、前記i番目の第１部分の撮影コンテンツは前記i番目の第２部分の撮影コンテンツを含み、前記i番目の第１部分のサイズは前記i番目の第２部分のサイズより大きく、iは１以上且つN以下の整数である、ステップと、
   前記i番目の第２部分及び前記i番目の第１部分にピクセルマッチングを実行し、前記i番目の第１部分を利用してi番目の第３部分を獲得するステップであって、前記i番目の第３部分のサイズは前記i番目の第２部分のサイズと同じである、ステップと、
   前記i番目の第３部分及び前記i番目の第２部分のマッチング精度を計算し、前記マッチング精度が所定の閾値より大きい場合に、前記i番目の第３部分を前記第１画像とし及び前記i番目の第２部分を前記第２画像とするステップと、
   前記マッチング精度が前記所定の閾値より大きくない場合に、パターンマッチングを採用して、前記i番目の第１部分から前記i番目の第２部分に一致するi番目の第４部分を取得し、前記i番目の第４部分を前記第１画像として機能させ、前記i番目の第２部分を前記第２画像として機能させるステップであって、前記i番目の第４部分のサイズは前記i番目の第２部分のサイズと同じである、ステップと、
   を含む請求項１に記載の画像処理方法。
4. 前記画像拡張モデルに入力される画像のデータは、前記画像の意味情報及び位置情報のうちの少なくとも１つを含む、請求項１に記載の画像処理方法。
5. 前記画像の前記位置情報を決定するステップを更に含み、
   前記画像の前記位置情報を決定するステップは、
   前記画像の品質スコアを計算し、前記品質スコアに対応する領域識別を決定し、前記領域識別を前記位置情報にするステップを含む、請求項４に記載の画像処理方法。
6. 前記第２画像の画質が前記第１画像の画質より高いことは、
   前記第２画像の解像度が前記第１画像の解像度より高いケース、
   前記第２画像の信号対雑音比が前記第１画像の信号対雑音比より高いケース、
   前記第２画像の色相差が前記第１画像の色相差より低いケース、
   のうちの少なくとも１つを含む、請求項１に記載の画像処理方法。
7. 前記画像拡張モデルは、畳み込みニューラルネットワーク及び敵対的生成ネットワークのうちのいずれか１つを採用する、請求項１に記載の画像処理方法。
8. 画像処理機器であって、
   複数のトレーニングデータセットを取得するよう構成される取得部であって、各トレーニングデータセットは第１画像のデータ及び第２画像のデータを含み、前記第２画像の画質は前記第１画像の画質より高く、前記第１画像の撮影コンテンツは前記第２画像の撮影コンテンツと同じである、取得部と、
   画像拡張モデルを構成し、前記第１画像のデータを前記画像拡張モデルに入力させ、前記複数のトレーニングデータセットを使用して、前記画像拡張モデルの出力と前記第２画像のデータとの間の差分特徴値が最小値に達するまで、前記画像拡張モデルに対してトレーニングを行うよう構成される構成部と、
   処理されるべき第３画像のデータを前記画像拡張モデルに入力し、画像拡張後の第４画像のデータを出力するよう構成される処理部であって、前記第４画像の画質は前記第３画像の画質より高い、処理部と、
   を含み、
   前記取得部は、
   パノラマカメラを第１位置に固定し、前記パノラマカメラを使用してパノラマ画像を撮影し、前記パノラマ画像を透視図法に変換することと、
   平面カメラを第２位置に固定し、前記平面カメラを回転して複数の平面画像をキャプチャし、前記複数の平面画像を利用して前記透視図法に対応する高画質画像を取得することであって、前記平面カメラは前記パノラマカメラの非平行点に揃えられ、前記高画質画像の画質は前記透視図法の画質より高く、前記高画質画像の撮影コンテンツは前記透視図法の全部の撮影コンテンツを含む、ことと、
   前記透視図法内の第１領域に対応する前記高画質画像内の第２領域を決定することであって、前記第１領域の位置は前記第２領域の位置に一致する、ことと、
   前記第１領域及び前記第２領域を用いて、N個の画像セットを取得することであって、各画像セットは前記第１画像及び前記第２画像を含み、Nは１より大きい正数である、ことと、
   を実行する、画像処理機器。
9. 画像処理のための電子機器であって、
   コンピュータ実行可能命令を格納する記憶装置と、
   前記記憶装置に接続されるプロセッサと、
   を含み、
   前記コンピュータ実行可能命令は、実行されると、前記プロセッサに、請求項１～７のいずれか一項に記載の画像処理方法を実施させる、電子機器。
10. プロセッサによる実行のためのコンピュータ実行可能命令を格納する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、前記プロセッサに、請求項１～７のいずれか一項に記載の画像処理方法を実行させる非一時的コンピュータ可読媒体。
11. コンピュータに請求項１～７のいずれか一項に記載の画像処理方法を実施させるためのコンピュータプログラム。

Images