JP2021170271A - プログラム - Google Patents

Abstract

【課題】高解像度画像を表示する処理速度を向上させる。【解決手段】プログラムは、対象画像を複数の領域に分割し、対象画像のうち、複数の領域から選択された第１領域、及び当該第１領域に隣接する第２領域のうち当該第１領域に接する一部の拡張領域を含む画像に対する超解像処理によって、少なくとも当該第１領域の画像を高解像度化した高解像度画像に変換し、対象画像を表示するときに、第１領域の画像を高解像度画像に置換して表示する。【選択図】図２

Description

本発明は、画像処理方法及びプログラムに関し、特に、低解像度画像を高解像度画像に変換する処理を実行する画像処理方法及びプログラムに関する。

従来から、パノラマ画像の一部の領域を画面に表示する技術が知られている。このパノラマ画像としては、全天球カメラや半天球カメラで撮影された３６０度画像が挙げられ、概念的には、全球体や半球体の内側に投影された画像の一部領域を画面に表示するものである。また、コンピュータやモバイル機器向けに、高解像度ディスプレイが普及してきており、高品質なパノラマ画像を表示したいという要求が高まっている。

例えば、特許文献１には、複数の画像データを結合することで、高解像度のパノラマ画像を生成する方法について開示されている。

特開２０１３−０４２２１３号公報

しかしながら、モバイル機器や表示装置などの電子機器で、４Ｋ、８Ｋ、１６Ｋ以上の高解像度の３６０度画像を表示するためには様々な制約がある。例えば、モバイル機器における最大テクスチャサイズは小さいため、高解像度画像を表示することが困難である。また、電子機器において、ＣＰＵやＧＰＵの処理速度が遅いと、高解像度画像を表示する際に、表示処理が遅くなるという問題が生じる場合がある。また、低解像度画像を、高解像度画像に変換する処理は、高コストで処理時間や消費メモリが大きいという問題がある。

そこで、本発明の一実施形態では、高解像度画像を表示する処理速度を向上させることを目的の一つとする。

本発明の一実施形態に係るプログラムは、対象画像を複数の領域に分割し、対象画像のうち、複数の領域から選択された第１領域、及び当該第１領域に隣接する第２領域のうち当該第１領域に接する一部の拡張領域を含む画像に対する超解像処理によって、少なくとも当該第１領域の画像を高解像度化した高解像度画像に変換し、対象画像を表示するときに、第１領域の画像を高解像度画像に置換して表示する。

上記において、超解像処理が実行された拡張領域を除去した後、第１領域の画像を高解像度画像に置換して表示する。

上記において、超解像処理が実行された拡張領域を除去した後、高解像度画像を記憶部に格納し、対象画像を表示するときに、高解像度画像が記憶部に格納されている場合、記憶部から高解像度画像を読み出し、第１領域の画像を高解像度画像に置換して表示する。

上記において、複数の領域各々に拡張領域を設定した後、対象画像のうち、複数の領域から第１領域を選択する。

上記において、複数の領域から選択された第１領域に、当該第１領域に隣接する第２領域のうち当該第１領域に接する一部の拡張領域を設定する。

上記において、対象画像は、正距円筒図法によって表された画像であって、対象画像の右端と、左端とが隣接するように表示される。

上記において、対象画像を、全て同一サイズであって、正方形の領域となるように分割する。

上記において、対象画像を、正方形の領域と、正方形の領域と隣接する長方形の領域とに分割する。

上記において、拡張領域は、第１領域の一辺の画素数と、第１領域の一辺の画素数の１／６以上１／３以下とで画定される領域である。

上記において、選択された第１領域は、ユーザが見ている範囲に含まれる。

上記において、超解像処理は、機械学習モデルを用いて実行し、機械学習モデルは、低解像度画像及び低解像度画像に対応する高解像度画像に基づいてフィルタを学習し、学習したフィルタを用いて低解像度画像を拡大する。

本発明の一実施形態では、高解像度画像を表示する処理速度を向上させることができる。

通信端末のハードウェア構成について説明する図である。 本発明の一実施形態に係る画像処理サーバの機能ブロックについて説明する図である。 複数の分割領域に分割された対象画像の一例である。 分割領域に拡張領域を設定する方法ついて説明する図である。 複数の分割領域のうち、ユーザが見ている範囲を設定する処理を説明する図である。 超解像処理が実行された分割領域及び拡張領域について説明する図である。 高解像度の分割領域がユーザの見ている範囲で表示された図である。 低解像度の対象画像を、高解像度画像に変化する画像処理方法を説明するフローチャートである。 対象画像のうち、通信端末においてユーザが見ている範囲に対応する領域を示す図である。 分割領域に拡張領域を設定する方法ついて説明する図である。 （Ａ）複数の分割領域に分割された対象画像の一例である。（Ｂ）〜（Ｊ）分割領域に拡張領域を設定する方法ついて説明する図である。 （Ａ）複数の分割領域に分割された対象画像の一例である。（Ｂ）〜（Ｄ）分割領域に拡張領域を設定する方法ついて説明する図である。

以下、本発明の実施の形態を、図面等を参照しながら説明する。但し、本発明は多くの異なる態様で実施することが可能であり、以下に例示する実施の形態の記載内容に限定して解釈されるものではない。また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

（第１実施形態）
本実施形態では、本発明の一実施形態に係るプログラムについて、図１乃至図１２を参照して説明する。

本発明の一実施形態に係るプログラムでは、通信端末１０において、対象画像が選択されると、対象画像に超解像処理を実行して、高解像度画像に変換された対象画像を表示する。また、本明細書等において、低解像度画像及び高解像度画像とは、相対関係を表すだけであり、その解像度については特に限定されない。本実施形態では、低解像度画像を、７２０×１４４０（約１００万ピクセル）とし、高解像度画像（４Ｋ）を、２０４８×４０９６（約８９０万画素）として説明する。

［通信端末のハードウェア構成］
通信端末１０は、通信部１１、表示部１２、操作部１３、検出部１４、画像撮像部１５、記憶部１６、及び制御部１７を有する。本実施形態では、通信端末１０は、スマートフォンを例として説明する。通信端末１０とは、データ通信機能を有するコンピュータをいう。通信端末１０の種類は、特に限定されない。通信端末１０は、携帯端末であってもよいし、据え置き型の端末であってもよいし、移動体などの任意の装置に取り付けられた端末であってもよい。通信端末１０は、スマートフォン、ヘッドマウントディスプレイ、タブレット端末、携帯ゲーム機、パーソナルコンピュータ、又は車載器であってもよい。また、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグル（ヘッドマウントアダプタ）にスマートフォンが装着されてもよい。この場合、ＶＲゴーグルに装着されたスマートフォンは、ヘッドマウントディスプレイの一種である。

通信部１１は、例えば、インターネット等のネットワーク３０を介して外部のサーバや他の通信端末と、有線又は無線通信によって、データの送受信が可能な状態で接続されている。例えば、通信部１１は、外部サーバから低解像度画像を受信する。また、他の通信端末のカメラで撮影された低解像度画像を受信してもよい。

表示部１２は、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置であって、制御部１７の制御に基づいて表示領域に各種の画面を表示する。表示部１２は、低解像度画像又は高解像度画像を表示する。ここで、表示部１２は、高解像度画像をＶＲ表示してもよい。ＶＲ表示とは、高解像度画像のうち、通信端末１０の姿勢に応じた視野範囲の映像を表示する。通信端末１０として、例えば、ヘッドマウントディスプレイを用いる場合には、ヘッドマウントディスプレイを装着したユーザの顔の向きに応じた視野範囲の画像を表示する。

操作部１３は、例えば、タッチセンサを含み、ユーザが操作した位置に対応した情報を制御部１７に出力する。このタッチセンサは、表示部１２の表示領域上に設けられている。すなわち、表示部１２と操作部１３とでタッチパネルが構成されている。

検出部１４は、通信端末１０の周囲環境に関する情報を検知して取得するセンサである。検出部１４は、例えば、加速度センサ、ジャイロセンサ等のセンサを含む。検出部１４によって、通信端末１０の姿勢を検出する。検出部１４によって検出された通信端末１０の姿勢に応じて、表示部１２に対象画像の一部が表示される。

画像撮像部１５は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサを含むカメラであって、撮像範囲における画像を、制御部１７の制御に基づいて表示部１２に出力する。また、画像撮像部１５は、撮像範囲における画像を取得して、取得した画像を記憶部２０５に格納する。画像撮像部１５は、標準的なカメラであってもよいし、さらに、パノラマ撮影機能又は広角撮影機能を有していてもよい。画像撮像部１５は、１８０度カメラであってもよいし、上下左右全方位の３６０度カメラであってもよい。また、３６０度カメラは、画像撮像部１５に装着されるものであってもよい。本実施形態では、画像撮像部１５によって取得した画像は、低解像度画像であるとして説明する。

記憶部１６は、プログラム３１、低解像度画像格納部３２、高解像度画像格納部３３、及び機械学習モデル３４を含む。プログラム３１は、本発明の一実施形態に係るプログラムであり、ネットワーク経由でダウンロードしてインストールされたものであってもよい。なお、このプログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記録した状態で提供されてもよい。なお、プログラム３１の詳細については、後に詳細に説明する。

低解像度画像格納部３２は、低解像度画像が格納されている。当該画像は、通常の矩形の画像のみならず、例えば、全天球カメラ（全方位カメラ）で撮影された上下左右全方位の３６０度画像や、通信端末１０の表示部１２に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）をもつパノラマ画像などが含まれる。当該パノラマ画像は、正距円筒図法によって表された画像である。また、画像は、通常のカメラで撮影された画像であってもよい。また、画像には、静止画だけでなく、動画やライブビュー画像（カメラによってほぼリアルタイムで取得された画像）も含まれる。また、低解像度画像格納部３２に格納される画像は、通信端末１０の画像撮像部１５で撮影された画像に限定されない。例えば、ネットワークを介して他の通信端末１０から受信した画像であってもよいし、サーバから受信した画像であってもよい。

高解像度画像格納部３３は、高解像度画像が格納されている。ここで、高解像度画像とは、低解像度画像格納部３２に格納された低解像度画像が超解像処理された高解像度画像であってもよいし、低解像度の分割領域が超解像処理された高解像度の分割領域であってもよい。高解像度格納部３３は、低解像度の分割領域が、超解像処理がされた順に格納される。したがって、高解像度格納部３３は、一つの対象画像に対して、部分的に超解像処理がされた高解像度の分割領域を格納してもよいし、一つの対象画像に対して、全てが超解像処理された高解像度の分割領域を格納してもよい。

機械学習モデル３４は、超解像ディープラーニングによって生成されたものである。例えば、高解像度画像と、低解像度画像との対応関係に基づいて、機械学習によって生成されたものであってもよい。また、機械学習モデル３４として、例えば、ＲＡＩＳＲ（Ｒａｐｉｄ ａｎｄ Ａｃｃｕｒａｔｅ Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）を使用してもよい。ＲＡＩＳＲでは、２つのステップによって機械学習モデル３４を生成する。まず、低解像度画像と、高解像度画像とのペアからフィルタを学習する。その後、学習したフィルタを使用して実際に画像を拡大している。これにより、低解像度画像を、高解像度画像に変換することができる。

記憶部１６には、プログラム３１が実行されるときに用いられる各種データについても記憶される。記憶部１６は制御部１７の制御により、情報を書き込んだり、読み出したりすることができる。

制御部１７は、中央演算処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、当該ＣＰＵ及びＧＰＵに接続されたレジスタやメモリなどの記憶部を含む。制御部１７は、記憶部１６に記憶された、アプリケーションプログラムを、ＣＰＵ、ＧＰＵにより実行して、各機能を通信端末１０において実行させる。

通信端末において、４Ｋ、８Ｋ、１６Ｋ以上の高解像度の３６０度画像を表示するためには様々な制約がある。例えば、通信端末における最大テクスチャサイズは小さいため、高解像度画像を表示することが困難である。また、通信端末において、ＣＰＵやＧＰＵの処理速度が遅いと、高解像度画像を表示する際に、表示処理が遅くなるという問題が生じる場合がある。また、低解像度画像を、高解像度画像に変換する処理は、高コストで処理時間や消費メモリが大きいという問題がある。

そこで、本発明の一実施形態に係るプログラムでは、通信端末によって、低解像度の対象画像が選択されると、対象画像を複数の分割領域に分割し、複数の分割領域のうち、ユーザが見ている範囲に対応した分割領域を選択する。次に、選択された分割領域に対して、超解像処理を実行することにより、高解像度の分割領域に変換する。対象画像を表示部に表示するときに、低解像度の分割領域の画像を高解像度の分割領域の画像に置換して表示部に表示する。

本発明の一実施形態に係るプログラムによれば、低解像の対象画像であっても、ユーザが見ている範囲については、高解像度画像に変換して通信端末に表示することができる。したがって、最大テクスチャサイズが大きい高解像度画像であっても、ユーザが見ている範囲に高解像度画像を選択的に表示することができる。そのため、最大テクスチャサイズが小さい通信端末であっても、高解像度画像を部分的に表示することができる。また、通信端末において、ＣＰＵやＧＰＵの処理速度が遅い場合であっても、対象画像のうち、選択された範囲の高解像度画像を部分的に表示するため、高解像度画像の表示処理の時間を短縮することができる。また、対象画像を分割して、分割領域に対して超解像処理を実行するため、低コスト、処理時間の短縮、消費メモリを小さくすることができる。

［ソフトウェア構成］
次に、ソフトウェア構成について、図２を参照して説明する。分割部１０１、選択部１０２、予測部１０３、表示制御部１０４を有する。

分割部１０１は、低解像度画像格納部３２から対象画像２００を取得して、複数の分割領域に分割する。ここでは、対象画像２００は、通信端末１０の表示部１２に一度に表示できる表示範囲より広い映像範囲（有効映像範囲）をもつパノラマ画像を用いる場合について説明する。当該パノラマ画像は、正距円筒図法によって表された画像である。そのため、表示部１２では、対象画像の右端と、対象画像の左端とが隣接するように表示される。このとき、分割部１０１は、対象画像２００を、全て同一サイズであって、正方形となるように分割する。

図３は、複数の分割領域に分割された対象画像２００の一例である。図３に示すように、対象画像２００は、全て同一サイズであって、正方形となるように分割されている。本実施形態では、対象画像２００は、分割領域Ａ１〜Ａ３２に分割される。本実施形態では、対象画像２００は、一つの分割領域当たり、１８０×１８０画素数となるように、３２個の分割領域に分割する。なお、本発明の一実施形態に係るプログラムでは、分割領域の数は特に限定されない。また、分割領域の形状も、正方形に限定されない。

また、分割部１０１では、対象画像２００の座標と、分割領域Ａ１〜Ａ３２との対応情報を設定し、記憶部１６に格納してもよい。例えば、対象画像２００において、分割領域Ａ２７が設定される座標は、（５４０，１８０）である。

また、分割部１０１では、分割領域Ａ１〜Ａ３２の各々について、拡張領域を設定する。ここでは、分割領域Ａ２８、分割領域Ａ２１、分割領域Ａ５に着目して、超解像処理の際に必要な拡張領域について説明する。

図４は、分割領域に拡張領域を設定する方法ついて説明する図である。図４（Ａ）は、分割領域Ａ２８であり、図４（Ｂ）は、分割領域Ａ２１であり、図４（Ｃ）は、分割領域Ａ５である。分割領域Ａ２８、Ａ２１、Ａ５に着目した際の拡張領域を、図４（Ｄ）、図４（Ｅ）、図４（Ｆ）に示す。図４（Ｄ）は、分割領域Ａ２８において、超解像処理の際に必要な拡張領域の一例であり、図４（Ｅ）は、分割領域Ａ２１において、超解像処理に必要な拡張領域の一例であり、図４（Ｆ）は、分割領域Ａ５において、超解像処理の際に必要な拡張領域の一例である。

図４（Ｄ）に示すように、分割領域Ａ２８では、右端の境界で隣接する分割領域Ａ２９の一部、左端の境界で隣接する分割領域Ａ２７の一部、下端の境界で隣接する分割領域Ａ２０の一部、右下隅の境界で隣接する分割領域Ａ２１の一部、及び左下隅の境界で隣接するＡ１９の一部が、分割領域Ａ２８の拡張領域として設定される。また、分割領域Ａ２８は、対象画像２００の上端部に位置するため、上端の境界に拡張領域は設定されない。なお、分割領域Ａ２８と同じ行にある分割領域Ａ２５〜Ａ２７、Ａ２９〜Ａ３２も、分割領域Ａ２８と同様に拡張領域が設定される。拡張領域は、分割領域の一辺の画素数と、分割領域の一辺の画素数の数分の一とで画定される領域である。拡張領域の幅は、分割領域の一辺の画素数の１／６以上１／３以下であることが好ましい。拡張領域の幅が１／６未満であると、隣接する分割領域との境界が見えてしまう可能性がある。また、拡張領域の幅が１／３を超えると、超解像処理の際に処理速度が遅くなる可能性がある。なお、図４（Ｄ）〜（Ｆ）において、隣接する分割領域の一部の幅は、例えば、対象の分割領域の端から、隣接する分割領域の一辺の画素数に対する１／４である場合について図示している。具体的には、分割領域Ａ２８の右端の境界で隣接する分割領域Ａ２９の画素数は、４５×１８０であり、下端の境界で隣接する分割領域Ａ２０の画素数は、１８０×４５である。なお、分割領域Ａ２８の右下隅の境界で隣接する分割領域Ａ２１の画素数は、４５×４５である。なお、隣接する分割領域の一部の幅は、全て同じであってもよいし、それぞれ異なっていてもよい。

図４（Ｅ）に示すように、分割領域Ａ２１では、右端の境界で隣接する分割領域Ａ２２の一部、左端の境界で隣接する分割領域Ａ２０の一部、下端の境界で隣接する分割領域Ａ１３の一部、上端の境界で隣接する分割領域Ａ２９の一部、右下隅の境界で隣接する分割領域Ａ１４の一部、及び左下隅の境界で隣接する分割領域Ａ１２の一部、右上隅の境界で隣接する分割領域Ａ３０の一部、及び左上隅の境界で隣接する分割領域Ａ２８の一部が、分割領域Ａ２１の拡張領域として設定される。なお、分割領域Ａ２１と同じ行にある分割領域Ａ１７〜Ａ２０、Ａ２２〜Ａ２４、及び分割領域Ａ２１の下の行にある分割領域Ａ９〜Ａ１６も、分割領域Ａ２１と同様に拡張領域が設定される。

図４（Ｆ）に示すように、分割領域Ａ５では、右端の境界で隣接する分割領域Ａ６の一部、左端の境界で隣接する分割領域Ａ４の一部、上端の境界で隣接する分割領域Ａ１３の一部、右上隅の境界で隣接する分割領域Ａ１４の一部、及び左上隅の境界で隣接する分割領域Ａ１２の一部が、分割領域Ａ５の拡張領域として設定される。また、分割領域Ａ５は、対象画像２００の下端部に位置するため、下端の境界に拡張領域は設定されない。なお、分割領域Ａ５と同じ行にある分割領域Ａ１〜Ａ４、Ａ６〜Ａ８も、分割領域Ａ５と同様に拡張領域が設定される。

選択部１０２は、分割領域Ａ１〜Ａ３２のうちから、分割領域を選択する。ここで、選択部１０２によって選択される分割領域は、例えば、ユーザの視点を検出して、ユーザの視点から一定の範囲にある領域としてもよい。または、選択部１０２によって選択される分割領域は、表示部１２に表示された画像の中央部をユーザの視点として設定し、ユーザの視点から一定の範囲にある領域としてもよい。または、選択部１０２によって選択される分割領域は、表示領域に表示された画像のうち、ユーザがタッチセンサによって選択した範囲であってもよい。本実施形態では、ユーザの視点から一定の範囲にある分割領域を、ユーザが見ている範囲であるとし、選択部１０２は、ユーザが見ている範囲に含まれる分割領域を選択するものとして説明する。

図５は、対象画像２００のうち、ユーザの視点２０１及びユーザが見ている範囲２０３を示す図である。本実施形態では、対象画像２００は、正距円筒図法の画像であり、正距円筒球のポリゴンの内側に貼り付けられている。球体の中心にカメラを設置してユーザに見せることで、あたかも自分の周りに景色があるかのように見せることができる。図５において、ユーザは正距円筒球の中心から対象画像２００を見ている場合について説明する。図５において、ユーザの視点２０１は、対象画像２００の中央部であり、かつ表示部１２に表示された画像の中央部にある。よって、ユーザが見ている範囲２０３は、ユーザの視点２０１から一定の範囲にある領域である。図５に示すように、ユーザが見ている範囲２０３に含まれる分割領域は、分割領域Ａ４、Ａ５、Ａ１１〜Ａ１４、Ａ１９〜Ａ２２、Ａ２８、Ａ２９である。よって、選択部１０２は、分割領域Ａ４、Ａ５、Ａ１１〜Ａ１４、Ａ１９〜Ａ２２、Ａ２８、Ａ２９を選択する。

ここで、選択部１０２は、ユーザが見ている範囲２０３に含まれる分割領域が、低解像度の分割領域を含むか否かを判定してもよい。選択部１０２は、ユーザが見ている範囲２０３に含まれる分割領域が全て高解像度の分割領域であると判定する場合には、予測部１０３における処理を省略して、表示制御部１０４における表示処理を実行してもよい。

選択部１０２が、ユーザが見ている範囲に含まれる分割領域に、低解像度の分割領域を含むと判定する場合には、ユーザが見ている範囲２０３に含まれる分割領域のそれぞれに対して、超解像処理が実行されているか否かを判定してもよい。選択部１０２において、分割領域が高解像度画像であると判定する場合には、予測部１０３における処理を省略して、表示制御部１０４における表示処理を実行してもよい。また、選択部１０２で、分割領域が低解像度画像であると判定する場合には、予測部１０３において、超解像処理を実行させる。ここでは、選択部１０２で選択された分割領域が、低解像度画像である場合について説明する。

予測部１０３は、選択された分割領域及び分割領域の各々に設定された拡張領域を含む画像に対して、機械学習モデル３４によって、超解像処理を実行する。これにより、低解像度の分割領域及び拡張領域を含む画像は、高解像度の分割領域及び拡張領域を含む画像となる。ここでは、分割領域Ａ２８、分割領域Ａ２１、分割領域Ａ５に着目して説明するが、選択部１０２によって選択された他の分割領域についても同様の処理を実行する。

予測部１０３が選択された分割領域に対して超解像処理を実行する順序は、例えば、ユーザの視点２０１により近い分割領域から実行してもよい。例えば、図５では、分割領域Ａ２０から、分割領域Ａ２１、Ａ１３、Ａ１２、Ａ１１、Ａ１９、Ａ２８、Ａ２８、Ａ２２、Ａ１４、Ａ５、Ａ４の順で超解像処理を実行してもよい。または、ユーザが見ている範囲２０３のうち、右端にある分割領域Ａ２８から、分割領域Ａ２９、Ａ１９、Ａ２０、Ａ２１、Ａ２２、Ａ１１、Ａ１２、Ａ１３、Ａ１４、Ａ４、Ａ５の順に超解像処理を実行してもよい。このように、予測部１０３が分割領域に対して超解像処理を実行する順序は、特に限定されない。

図６（Ａ）に示すように、超解像処理により、分割領域Ａ２８’では、右端の境界で隣接する分割領域Ａ２９’の一部、左端の境界で隣接する分割領域Ａ２７’の一部、下端の境界で隣接する分割領域Ａ２０’の一部、右下隅の境界で隣接する分割領域Ａ２１’の一部、及び左下隅の境界で隣接するＡ１９’の一部が、高解像度の画像に変換される。

図６（Ｂ）に示すように、超解像処理により、分割領域Ａ２１’、右端の境界で隣接する分割領域Ａ２２’の一部、左端の境界で隣接する分割領域Ａ２０’の一部、下端の境界で隣接する分割領域Ａ１３’の一部、上端の境界で隣接する分割領域Ａ２９’の一部、右下隅の境界で隣接する分割領域Ａ１４’の一部、及び左下隅の境界で隣接するＡ１２’の一部、右上隅の境界で隣接する分割領域Ａ３０’の一部、及び左上隅の境界で隣接する分割領域Ａ２８’の一部が、高解像度の画像に変換される。

図６（Ｃ）に示すように、超解像処理により、分割領域Ａ５’、右端の境界で隣接する分割領域Ａ６’の一部、左端の境界で隣接する分割領域Ａ４’の一部、上端の境界で隣接する分割領域Ａ１３’の一部、右上隅の境界で隣接する分割領域Ａ１４’の一部、及び左上隅の境界で隣接する分割領域Ａ１２’の一部が、高解像度の画像に変換される。

超解像処理が実行されることで、分割領域Ａ２８、分割領域Ａ２１、分割領域Ａ５は、１８０×１８０の画素数から、５１２×５１２の画素数の分割領域Ａ２８’、分割領域Ａ２１’、分割領域Ａ５’に変換される。なお、分割領域Ａ２８’、分割領域Ａ２１’、分割領域Ａ５’の５１２×５１２の画素数には、拡張領域は含まれない。拡張領域は、分割部１０１で設定された画素数に応じて、分割領域の倍率と同様に、超解像処理後の画素数が変化する。具体的には、分割領域Ａ２８’の右端の境界で隣接する分割領域Ａ２９’の画素数は、１２８×５１２であり、下端の境界で隣接する分割領域Ａ２０’の画素数は、５１２×１２８である。なお、分割領域Ａ２８’の右下隅の境界で隣接する分割領域Ａ２１’の画素数は、１２８×１２８である。

また、予測部１０３では、対象画像２００と、分割領域Ａ１’〜Ａ３２’の対応情報（又は座標）を設定し、記憶部１６に格納してもよい。例えば、対象画像２００において、分割領域Ａ２７’が設定される座標は、（１５３６，５１２）である。

また、予測部１０３は、超解像処理された画像から拡張領域を除去する。図６（Ｄ）では、拡張領域が除去された分割領域Ａ２８’であり、図６（Ｅ）では、拡張領域が除去された分割領域Ａ２１’であり、図６（Ｆ）では、拡張領域が除去された分割領域Ａ５’である。その後、超解像処理された高解像度の分割領域を、高解像度画像格納部３３に格納してもよい。

表示制御部１０４は、高解像度の分割領域をユーザが見ている範囲２０３の所定の位置に表示する。図７は、対象画像２００のうち、ユーザが見ている範囲２０３を示す図である。表示制御部１０４は、対象画像２００のうち、低解像度の分割領域の画像を、高解像度の分割領域の画像に置換して表示する。高解像度の分割画像は、記憶部１６に格納された対象画像２００と、分割領域Ａ１’〜Ａ３２’の対応情報に基づいて置換される。表示制御部１０４は、例えば、対象画像２００のうち、図５に示す分割領域Ａ５を、図７に示す分割領域Ａ５’に置換して表示する。他の高解像度の分割領域も、同様に、所定の位置に配列される。本実施形態では、Ａ４’、Ａ５’、Ａ１１’〜Ａ１４’、Ａ１９’〜Ａ２２’、Ａ２８’、Ａ２９’に各々置換されて、ユーザが見ている範囲２０３に表示される。

本発明の一実施形態に係るプログラムによれば、低解像の対象画像であっても、ユーザが見ている範囲については、高解像度画像に変換されて通信端末に表示することができる。したがって、最大テクスチャサイズが大きい高解像度画像であっても、高解像度に変換された分割領域をユーザが見ている範囲に表示することができる。そのため、最大テクスチャサイズが小さい通信端末であっても、高解像度画像を部分的に表示することができる。また、通信端末において、ＣＰＵやＧＰＵの処理速度が遅い場合であっても、対象画像のうち、選択された領域のみを部分的に表示するため、表示処理の時間を短縮することができる。また、対象画像を分割して、分割領域に対して超解像処理を実行するため、低コスト、処理時間の短縮、消費メモリを小さくすることができる。

本発明の一実施形態において、対象画像２００を複数の分割領域Ａ１〜Ａ３０に分割して、選択された分割領域に超解像処理をした後、低解像度の分割領域を高解像度の分割領域に置換してもよい。しかしながら、隣接する高解像度の分割画像の境界部が目立ってしまう場合がある。

そこで、本発明の一実施形態では、低解像度の分割領域に超解像処理を実行する際に、分割領域と、隣接した分割領域の一部の領域まで拡張された拡張領域とともに超解像処理を実行している。これにより、分割領域だけでなく、拡張領域についても一連の画像として超解像処理を実行して、高解像度の分割領域に変換している。その後、拡張領域を除去した後、低解像度の分割領域の画像を高解像度の分割領域の画像に置換して、ユーザが見ている範囲２０３に表示する。これにより、隣接する高解像度の分割領域における境界部が目立つことなく、なめらかな高解像度画像を表示することができる。

本実施形態では、機械学習モデル３４は、教師データとして、高解像度画像と低解像度画像との対応関係に基づいて、機械学習によって生成されたものである。この教師データの低解像度画像は、一般的な線形補完系のアルゴリズムを利用して、高解像度画像から作成されたものである。そのため、機械学習モデル３４に、線形補完系アルゴリズムの補完や、平均値を算出する特性が反映されている。このような機械学習モデル３４を用いて、低解像度の分割領域及び拡張領域に超解像処理を実行した後、拡張領域を除去する。そして、低解像度の分割画像に拡張領域を除去した分割領域を置換することで、隣接する高解像度の分割領域における境界部が目立つことなく、なめらかな高解像度画像を表示することが可能となる。

［画像処理方法のフローチャート］
次に、本発明の一実施形態に係る画像処理方法について、図８を参照して説明する。通信端末１０は、記憶部１６に格納された本発明の一実施形態に係るプログラム３１をメモリに展開し、制御部１７によって実行させる。

図８は、低解像度の対象画像２００を、高解像度画像に変換させる画像処理方法を説明するフローチャートである。まず、処理が開始されると（ＳＴＡＲＴ）、分割部１０１は、低解像度画像格納部３２からユーザに選択された対象画像２００を取得する（ステップＳ４０１）。次に、分割部１０１は、対象画像２００を複数の分割領域に分割する（ステップＳ４０２）。分割部１０１は、例えば、図３に示すように、対象画像２００を複数の分割領域に分割する。次に、分割部１０１は、複数の分割領域の各々に対して、拡張領域を設定する（ステップＳ４０３）。分割部１０１は、例えば、図４（Ｄ）〜（Ｆ）に示すように、分割領域の各々に対して拡張領域を設定する。次に、選択部１０２は、複数の分割領域のうち、図５に示すように、ユーザの視点２０１から一定の範囲におけるユーザが見ている範囲２０３に含まれる分割領域を選択する（ステップＳ４０４）。

選択部１０２は、選択された分割領域のうち、超解像処理がされていない分割領域を含むか否かを判定する（ステップＳ４０５）。選択部１０２は、選択された分割領域のうち、超解像処理がされていない分割領域を含むと判定する場合（ステップＳ４０５；Ｙｅｓ）、ステップＳ４０６の処理に進む。選択部１０２は、選択された分割領域のうち、超解像処理がされていない分割領域を含まないと判定する場合（ステップＳ４０５；Ｎｏ）、ステップＳ４０９の処理に進む。

選択部１０２が選択された分割領域のうち、超解像処理がされていない分割領域を含むと判定する場合（ステップＳ４０５；Ｙｅｓ）、選択部１０２は、選択された分割領域のそれぞれについて超解像処理済みか否かを判定する（ステップＳ４０６）。選択部１０２が、分割領域に超解像処理がされていると判定する場合（ステップＳ４０６；Ｙｅｓ）、ステップＳ４０９の処理に進み、分割領域に超解像処理がされていないと判定する場合（ステップＳ４０６；Ｎｏ）、ステップＳ４０７の処理に進む。ここでは、選択された分割領域は、全て超解像処理がされていない場合であるとして説明する。

次に、予測部１０３は、選択された分割領域及び拡張領域に対して、超解像処理を実行する（ステップＳ４０７）。ここでは、予測部１０３は、分割領域及び拡張領域に対して、機械学習モデル３４を用いて、超解像処理を実行する。これにより、低解像度の分割領域及び拡張領域は、高解像度の分割領域及び拡張領域に変換される。予測部１０３は、例えば、図６（Ａ）〜図６（Ｃ）に示すように、高解像度の分割領域及び拡張領域を含む画像に変換する。予測部１０３は、選択された分割領域の全てに対して、順番に超解像処理を実行する。

次に、予測部１０３は、高解像度の分割領域及び拡張領域を含む画像のうち、拡張領域を除去する（ステップＳ４０８）。予測部１０３は、例えば、図６（Ｄ）〜図６（Ｆ）に示すように、拡張領域を除去して、高解像度の分割領域の画像にする。

表示制御部１０４は、低解像度の分割領域の画像に、超解像処理がされた高解像度の分割領域の画像を置換して表示する（ステップＳ４０９）。表示制御部１０４は、例えば、図５に示す分割領域Ａ２８の画像を、図７に示すように、超解像処理がされた高解像度の分割領域Ａ２８’の画像に置換して表示する。表示制御部１０４は、選択された分割領域の画像に対して、超解像度処理がされた高解像度の分割領域の画像を順番に置換して表示部１２に表示する。高解像度の分割領域の画像を置換する順序は、例えば、超解像処理が実行された順序であるが、この順序に限定されない。

最後に、制御部１７が終了の指示を受信した場合（ステップＳ４１０；Ｙｅｓ）は、画像の表示処理を終了する（ＥＮＤ）。終了の指示を受信しない場合（ステップＳ４１０；Ｎｏ）は、ステップＳ４０４の処理に戻る。

対象画像２００について、選択部２０２で選択されたユーザが見ている範囲２０３に含まれる分割領域が、全て高解像度画像に変換済みである場合がある。つまり、ステップＳ４０５において、選択された分割領域のうち、超解像処理がされていない分割領域を含まないと判定する場合（ステップＳ４０５；Ｎｏ）には、ステップＳ４０９の処理に進み、表示制御部１０４は、高解像度画像格納部３３から対応する高解像度の分割領域の画像を読み出して、ユーザが見ている範囲２０３含まれる低解像度の分割領域の画像に置換して表示すればよい。このとき、記憶部１６に格納された高解像度の分割領域の画像を読み出して、置換する順序は、超解像処理を実行する順序と同様に、ユーザの視点２０１により近い分割領域から置換してもよいし、ユーザが見ている範囲２０３のうち、右端にある分割領域から順に置換してもよい。

また、対象画像２００について、選択部２０２で選択されたユーザが見ている範囲２０３に含まれる分割領域のうち、低解像度の分割領域と、高解像度の分割領域とが混在している場合がある。つまり、ステップＳ４０５において、選択部１０２は、選択された分割領域のうち、超解像処理がされていない分割領域を含むと判定する場合（ステップＳ４０５；Ｙｅｓ）である。この場合には、低解像度の分割領域には、拡張領域とともに超解像処理を実行する（ステップＳ４０７）。そして、高解像度の分割領域及び拡張領域に変換し、高解像度の拡張領域を除去（ステップＳ４０８）して、高解像度の分割領域の画像をユーザが見ている範囲２０３に表示する（ステップＳ４０９）。また、選択された分割領域に対応する高解像度の分割領域が高解像度画像格納部３３に格納されている場合には、当該高解像度の分割領域の画像を読み出して、ユーザが見ている範囲２０３に置換して表示すればよい（ステップＳ４０９）。

次に、対象画像２００において、ユーザの視点２０１が対象画像２００の端にある場合について、図９及び図１０を参照して説明する。図９は、対象画像２００のうち、ユーザの視点２０１Ａ及びユーザが見ている範囲２０３Ａを示す図である。ここでは、対象画像２００は、正距円筒図法によって表された画像である。そのため、図９に示す対象画像２００では、分割領域Ａ２５と分割領域Ａ３２とは互いに隣接する。同様に、分割領域Ａ１７と分割領域Ａ１２とは互いに隣接する。分割領域Ａ９と分割領域Ａ１６とは互いに隣接する。分割領域Ａ１と分割領域Ａ８とは互いに隣接する。したがって、ユーザが見ている範囲２０３Ａが、上記に挙げた分割領域を含む場合には、互いに隣接する分割領域は、連続して表示される。図９において、ユーザの視点２０１Ａは、対象画像２００の右端又は左端であり、かつ表示部１２に表示された画像の中央部にある。

ここで、対象画像２００の右端又は左端の境界領域における拡張領域の設定方法について説明する。分割領域Ａ３２、分割領域Ａ１７、分割領域Ａ１に着目して、超解像処理の際に必要な拡張領域について説明する。図１０は、分割領域に拡張領域を設定する方法について説明する図である。図１０（Ａ）は、分割領域Ａ３２であり、図１０（Ｂ）は、分割領域Ａ１７であり、図１０（Ｃ）は、分割領域Ａ１である。

次に、分割部１０１が対象画像２００の右端又は左端の境界領域における分割領域に拡張領域を設定する方法について説明する。分割領域Ａ３２、Ａ１７、Ａ１に着目した際の拡張領域を、図１０（Ｄ）、図１０（Ｅ）、図１０（Ｆ）に示す。すなわち、図１０（Ｄ）は、分割領域Ａ３２において、超解像処理の際に必要な拡張領域の一例であり、図１０（Ｅ）は、分割領域Ａ１７において、超解像処理に必要な拡張領域の一例であり、図１０（Ｆ）は、分割領域Ａ１において、超解像処理の際に必要な拡張領域の一例である。

図１０（Ｄ）に示すように、分割領域Ａ３２では、右端の境界で隣接する分割領域Ａ２５の一部、左端の境界で隣接する分割領域Ａ３１の一部、下端の境界で隣接する分割領域Ａ２４の一部、右下隅の境界で隣接する分割領域Ａ１７の一部、及び左下隅の境界で隣接する分割領域Ａ２３の一部が、分割領域Ａ３２の拡張領域として設定される。

図１０（Ｅ）に示すように、分割領域Ａ１７では、右端の境界で隣接する分割領域Ａ１８の一部、左端の境界で隣接する分割領域Ａ２４の一部、下端の境界で隣接する分割領域Ａ９の一部、上端の境界で隣接する分割領域Ａ２５の一部、右下隅の境界で隣接する分割領域Ａ１０の一部、及び左下隅の境界で隣接する分割領域Ａ１６の一部、右上隅の境界で隣接する分割領域Ａ２６の一部、及び左上隅の境界で隣接する分割領域Ａ３２の一部が、分割領域Ａ１７の拡張領域として設定される。

図１０（Ｆ）に示すように、分割領域Ａ１では、右端の境界で隣接する分割領域Ａ２の一部、左端の境界で隣接する分割領域Ａ８の一部、上端の境界で隣接する分割領域Ａ９の一部、右上隅の境界で隣接する分割領域Ａ１０の一部、及び左上隅の境界で隣接する分割領域Ａ１６の一部が、分割領域Ａ１の拡張領域として設定される。

図９に示す対象画像２００の場合、分割領域Ａ１、Ａ９、Ａ１７、Ａ２５と、分割領域Ａ８、Ａ１６、Ａ２４、Ａ３２とは、互いに隣接する。よって、対象画像２００が正距円筒図法によって表された画像を用いる場合には、分割領域に設定される拡張領域は、図１０（Ｄ）〜図１０（Ｅ）に示すように、３通りのいずれかで表される。

ユーザが見ている範囲２０３Ａが、分割領域Ａ３２、分割領域Ａ１７、分割領域Ａ１を含み、選択部１０２によって、これらの分割領域が選択されると、予測部１０３は、低解像度の分割領域及び拡張領域を、超解像処理によって、高解像度の分割領域に変換する。その後、拡張領域を除去した後、低解像度の分割領域の画像を、高解像度の分割領域の画像に置換して、ユーザが見ている範囲２０３に表示する。これにより、対象画像２００の右端又は左端においても、隣接する高解像度の分割領域における境界部が目立つことなく、なめらかな高解像度画像を表示することができる。

（変形例）
以上、本発明の一実施形態について説明したが、上述した各実施形態は、互いに組み合わせたり、置換したりして適用することができる。また、上述した各実施形態では、以下の通り少なくとも一部を変形して実施することができる。

（１）本発明の一実施形態では、通信端末１０の表示部１２に表示させる対象画像として、正距円筒図法によって表された画像を用いる場合について説明したが、本発明の一実施形態は、これに限定されない。画像は、全天球カメラで撮影された画像ではなく、通常のカメラで撮影された画像を用いてもよい。通常のカメラで撮影された画像の場合は、正距円筒図法によって表された画像の場合と比較して、分割領域に設定される拡張領域は、さらに細かく設定される。

図１１（Ａ）は、複数の分割領域に分割された対象画像２００の一例である。図１１では、対象画像２００は、四角形の板状のポリゴンに貼り付けられている。対象画像２００は、通常のカメラで撮影した画像であるが、分割の方法は、全天球カメラで撮影された画像と同様である。図１１（Ｂ）〜図１１（Ｊ）は、分割領域の配置された位置に応じた拡張領域の設定方法の例である。図１１（Ｂ）〜図１１（Ｄ）は、対象画像３００の四隅に配置された分割領域である。分割領域２５は、対象画像２００の左上隅に配置され、分割領域Ａ３２は、右上隅に配置され、分割領域Ａ１は、左下隅に配置され、分割領域Ａ８は、右下隅に配置される。また、図１１（Ｆ）〜図１１（Ｉ）は、対象画像３００の四隅の間に配置された分割領域である。分割領域Ａ９、Ａ１７は、対象画像２００の左端に配置され、分割領域Ａ１６、Ａ２４は、右端に配置され、分割領域Ａ２６〜Ａ３１は上端に配置され、分割領域Ａ２〜Ａ７は下端に配置される。図１１（Ｊ）は、対象画像２００の四隅と、四隅の間以外の領域に配置された分割領域である。例えば、分割領域Ａ１０〜Ａ１５、分割領域Ａ１８〜Ａ２３は、対象画像２００の内部に配置される。

図１１（Ｂ）〜図１１（Ｊ）に示すように、分割領域が配置された位置に応じて、分割領域と拡張領域を設定する。予測部１０３は、低解像度の分割領域及び拡張領域を、超解像処理によって、高解像度の分割領域に変換する。その後、拡張領域を除去した後、低解像度の分割領域の画像を、高解像度の分割領域の画像に置換して、ユーザが見ている範囲に表示する。これにより、隣接する高解像度の分割領域における境界部が目立つことなく、なめらかな高解像度画像を表示することができる。

（２）本発明の一実施形態では、分割部１０１は、対象画像２００を、全て同一サイズであって、正方形となるように分割する例について説明したが、これに限定されない。必ずしも、対象画像が正方形に割り切れない場合がある。この場合には、対象画像を、例えば、正方形と、正方形と隣接する長方形となるように分割してもよい。

図１２（Ａ）は、複数の分割領域に分割された対象画像３００の一例である。対象画像３００は、横に長い画像である。分割部１０１は、対象画像３００の縦の画素数に合わせて、対象画像３００の横の画素数で割ってもよい。これにより、対象画像３００は、同一サイズであって正方形の分割領域Ａ４１、Ａ４２、Ａ４３、Ａ４４と、長方形の分割領域Ａ４５が設定される。

図１２（Ｂ）〜図１２（Ｄ）は、拡張領域が設定された分割領域である。図１２（Ａ）では、分割領域Ａ４１は、右端の境界で隣接する分割領域Ａ４２の一部が拡張領域として設定される。また、図１２（Ｂ）では、分割領域Ａ４２は、右端の境界で隣接する分割領域Ａ４３の一部と、左端の境界で隣接する分割領域Ａ４１の一部とが、拡張領域として設定される。また、図１２（Ｃ）では、分割領域Ａ４５は、左端の境界で隣接する分割領域Ａ４４の一部が拡張領域として設定される。なお、対象画像が正方形に割り切れない場合、拡張領域は正方形の分割画像の拡張領域と同様に設定すればよい。例えば、分割領域Ａ４２の画素数が、１８０×１８０であって、拡張領域の幅を１／４と設定した場合を仮定する。この場合、分割領域Ａ４５の拡張領域（ここでは、分割領域Ａ４４の一部）の幅も、１／４とすればよく、拡張領域の画素数を４５×１８０とすればよい。

図１２（Ｂ）〜図１２（Ｄ）に示すように、対象画像３００が正方形に割り切れない場合であっても、分割領域が配置された位置に応じて、拡張領域を設定する。予測部１０３は、低解像度の分割領域及び拡張領域を、超解像処理によって、高解像度画像に変換する。その後、拡張領域を除去した後、高解像度画像を合成して、ユーザが見ている範囲に表示する。これにより、隣接する高解像度の分割領域における境界部が目立つことなく、なめらかな高解像度画像を表示することができる。

（３）本発明の一実施形態では、分割部１０１で、対象画像２００を分割した後、全ての分割領域に対して、拡張領域を設定する場合について説明したが、これに限定されない。分割領域に対する拡張領域の設定は分割部１０１で実行せず、超解像度処理を実行する直前に実行してもよい。つまり、選択部１０２によって、超解像処理を実行する分割領域が選択された後、予測部１０３において、分割領域に対して拡張領域を設定する処理を実行してもよい。

（４）本発明の一実施形態では、分割部１０１は、対象画像２００を分割領域Ａ１〜Ａ３２に分割する場合について説明したが、これに限定されない。例えば、分割領域Ａ１〜Ａ１６と、分割領域Ａ１７〜Ａ３２との２つのグループにグルーピングする。質感などの定義をグループ内の複数の分割領域で共通利用してもよい。これにより、超解像処理のパフォーマンスを向上させることができる。なお、対象画像２００を分割した分割領域の数と、グループの数は特に限定されない。例えば、通信端末１０の性能に応じて、適宜設定してもよい。

（５）本発明の一実施形態では、対象画像２００は静止画である場合について説明したが、これに限定されない。対象画像２００は動画であってもよい。この場合、画像撮像部１５によって撮影された動画を、ライブビュー画像のように連続する静止画に変換する。当該連続する静止画の各々を対象画像に対して、図８に示す高解像度画像に変換させる画像処理方法を適用する。これにより、連続する静止画の各々を高解像度画像に変換することができる。通信端末１０に当該高解像度画像に変換された連続する静止画を、連続的に表示することで、高解像度の動画を提供することができる。

また、対象画像２００が動画である場合には、処理の負荷を低減するため、同じサイズの静止画と比較して、分割領域の数を少なくすることが好ましい。また、対象画像２００の全ての分割領域に対して、予め超解像処理を実行して高解像度の分割領域を、高解像度格納部３３に格納することが好ましい。これにより、ユーザが対象画像を見る際には、高解像度格納部３３から、ユーザが見ている範囲に対応した分割領域を読み出して表示すればよいため、処理の負荷を低減することができる。ユーザが見ている範囲に対応した分割領域のうち、画像に変化がない（物体が動いていない）分割領域に対しては、高解像度の分割領域に置換せず、画像に変化がある（物体が動いている）分割領域に対してのみ、連続的に高解像度の分割領域を置換し続けてもよい。これにより、ユーザが見ている範囲に対応した分割領域の全てを、高解像度の分割領域に置換し続ける場合と比較して、高解像度画像を表示する処理速度を向上させることができる。

また、対象画像２００が動画である場合には、機械学習モデル３４として、ＴｅｃｏＧＡＮ（Ｔｅｍｐｏｒａｌｌｙ Ｃｏｈｅｒｅｎｔ ＧＡＮ）を使用してもよい。機械学習モデル３４として、ＴｅｃｏＧＡＮを使用することで、詳細なフレーム画像を生成することができ、時間的に一致させることができる。

（６）本発明の一実施形態では、静止画又は動画の対象画像２００として、正距円筒球のポリゴンや四角形の板状のポリゴンに貼り付ける例について説明したが、これに限定されない。例えば、３６０度画像、３６０度動画を対象画像２００として、球体のポリゴンの外側に貼り付けてもよい。また、ポリゴンの形状は、立方体、多面体、その他、任意の形状に対して適用可能である。これらの任意の形状の内側に対象画像２００を貼り付けてもよいし、外側に対象画像２００を貼り付けてもよい。また、これらの任意の形状のポリゴンの内側に対象画像２００に貼り付けてもよい。また、これらの任意の形状のポリゴンに、対象画像２００を貼り付ける場合には、分割領域の形状は、四角形に限定されず、三角形や、その他の形状であってもよい。

なお、本発明の好適な実施の形態により、特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１０：通信端末、１１：通信部、１２：表示部、１３：操作部、１４：検出部、１５：画像撮像部、１６：記憶部、１７：制御部、３１：プログラム、３２：低解像度画像格納部、３３：高解像度画像格納部、３４：機械学習モデル、１０１：分割部、１０２：選択部、１０３：予測部、１０４：表示制御部、２００：対象画像、２０１、２０１Ａ：ユーザの視点、２０３、２０３Ａ：ユーザが見ている範囲、２１０：出力画像

Claims (11)

1. 対象画像を複数の領域に分割し、
   前記対象画像のうち、前記複数の領域から選択された第１領域、及び当該第１領域に隣接する第２領域のうち当該第１領域に接する一部の拡張領域を含む画像に対する超解像処理によって、少なくとも当該第１領域の画像を高解像度化した高解像度画像に変換し、
   前記対象画像を表示するときに、前記第１領域の画像を前記高解像度画像に置換して表示する、ことをコンピュータに実行させるためのプログラム。
2. 前記超解像処理が実行された前記拡張領域を除去した後、
   前記第１領域の画像を前記高解像度画像に置換して表示する、請求項１に記載のプログラム。
3. 前記超解像処理が実行された前記拡張領域を除去した後、前記高解像度画像を記憶部に格納し、
   前記対象画像を表示するときに、前記高解像度画像が前記記憶部に格納されている場合、前記記憶部から前記高解像度画像を読み出し、前記第１領域の画像を前記高解像度画像に置換して表示する、請求項２に記載のプログラム。
4. 前記複数の領域各々に前記拡張領域を設定した後、前記対象画像のうち、前記複数の領域から前記第１領域を選択する、請求項１乃至３のいずれか一項に記載のプログラム。
5. 前記複数の領域から選択された前記第１領域に、当該第１領域に隣接する第２領域のうち当該第１領域に接する一部の前記拡張領域を設定する、請求項１乃至３のいずれか一項に記載のプログラム。
6. 前記対象画像は、正距円筒図法によって表された画像であって、前記対象画像の右端と、左端とが隣接するように表示される、請求項１乃至５のいずれか一項に記載のプログラム。
7. 前記対象画像を、全て同一サイズであって、正方形の領域となるように分割する、請求項１乃至６のいずれか一項に記載のプログラム。
8. 前記対象画像を、正方形の領域と、前記正方形の領域と隣接する長方形の領域とに分割する、請求項１乃至７のいずれか一項に記載のプログラム。
9. 前記拡張領域は、前記第１領域の一辺の画素数と、前記第１領域の一辺の画素数の１／６以上１／３以下とで画定される領域である、請求項１乃至８のいずれか一項に記載のプログラム。
10. 選択された前記第１領域は、ユーザが見ている範囲に含まれる、請求項１乃至９のいずれか一項に記載のプログラム。
11. 前記超解像処理は、機械学習モデルを用いて実行し、
    前記機械学習モデルは、
    低解像度画像及び前記低解像度画像に対応する高解像度画像に基づいてフィルタを学習し、
    前記学習したフィルタを用いて前記低解像度画像を拡大する、請求項１乃至１０のいずれか一項に記載のプログラム。

Images