JP2020013225A - 高画質化学習装置および高画質化装置 - Google Patents

Abstract

【課題】 小さい処理負荷で効率的に高画質化を行うことが可能な高画質化学習装置、高画質化装置を提供する。【解決手段】 解像度変換画像（ａ）から注目画素Ａを含む隣接領域（ｃ）と、注目画素Ａを含む周辺領域（ｂ）を抽出する領域抽出手段１１と、注目画素Ａに対応する高画質画像（ｄ）上の画素を目標画素Ｒとして取得し、隣接領域内の画素のうち目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段１２と、入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、入力層は、周辺領域に含まれる各画素を取り込む手段を備え、出力層は、隣接領域に含まれる各画素に対応した数のニューロンを備え、出力層における近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させる学習手段１３を有する。【選択図】 図２

Description

本発明は画像を拡大する技術に関しており、例えば、パソコンやTV受像機などデジタル表示ディスプレイに対して、画素数が少ない入力画像信号を、表示画素数まで拡大して表示するための技術に関する。

従来、画素数が少なく、粗い低解像度の画像を、高精細な画像表示装置において表示させるため、高解像度の画像に変換することが行われている。このような高解像度化の手法としては、線形補間処理やニアレストネイバー処理等、様々な手法が用いられている。また、ニューラルネットワークを用いて高解像度化を行う技術も開発されている（特許文献1参照）。

特許文献1では、図１に示された、低解像度の画素グリッドの画像Bの特定画素A(i,j)の高解像度化の画素領域(m1×m2)を生成するため、図２に示されたように特定画素A(i,j)の近隣画素N1×N2をニューラルネットに入力することにより得られる。そしてこれら(m1×m2)画素領域の多くによって形成されM1×M2の完全な高解像度画像が得られる。またそのニューラルネットの学習用トレーニングセットは、高解像度画像を低解像度画像に変換し、先のN1×N2に相当するニューラルネットの入力とそれに対する目標画素を高解像度画像から得ることにより、トレーニングセットを生成する。

特開平８−２６３６４９

しかしながら、上記特許文献1では、ニューラルネットの出力に高解像度画像の画素グリッド (m1×m2)画素領域の画素を出力する構造になっている。この態様では、テキストなどの2値画像程度であれば、比較的小さな処理負荷で実現できることが想定できるが、それ以外のカラー値を実現する場合は、大きな処理負荷となり、安価なシステムの構築は難しくなることが容易に想定できる。特に、安価な表示システム向けの解像度変換機能の構築には、不向きである。

そこで、本発明は、小さい処理負荷で効率的に高画質化を行うことが可能な高画質化学習装置、高画質化装置を提供することを課題とする。

上記課題を解決するため、本発明では、
原画像と、当該原画像より画素数の多い高画質画像を用いて高画質化のための学習を行う高画質化学習装置であって、
原画像の画素数を増加させて前記高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段と、
前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段と、
前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段と、
入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させる学習手段と、
を有することを特徴とする高画質化学習装置を提供する。

また、本発明の高画質化学習装置は、
前記学習手段は、前記入力層が前記周辺領域に含まれる各画素の画素値を取得し、前記出力層の各ニューロンは、前記隣接領域に含まれる各画素の確率を出力し、前記近似画素に対応するニューロンの値である確率を大きくするように、前記ニューロン間の係数を変化させることを特徴とする。

また、本発明では、
原画像に対して高画質化を行う高画質化装置であって、
原画像の画素数を増加させて解像度変換画像を得る解像度変換手段と、
前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段と、
入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域内の１つ画素を最適画素として特定する最適画素特定手段と、
前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段と、
を有することを特徴とする高画質化装置を提供する。

また、本発明の高画質化装置は、
前記最適画素特定手段は、前記入力層の各ニューロンが前記周辺領域に含まれる各画素の画素値を取得し、前記出力層の各ニューロンは、前記隣接領域に含まれる各画素の確率を出力し、前記確率の値が最も大きい出力層のニューロンに対応する前記隣接領域の画素を特定することを特徴とする。

また、本発明では、
原画像と、当該原画像より画素数の多い高画質画像を用いて高画質化のための学習を行いながら、前記原画像の高画質化を行う高画質化学習装置であって、
原画像の画素数を増加させて前記高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段と、
前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段と、
前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段と、
入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させるとともに、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域における画素を特定する最適画素特定手段と、
前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段と、
を有することを特徴とする高画質化装置を提供する。

また、本発明の高画質化装置は、
前記最適画素特定手段は、前記入力層が前記周辺領域に含まれる各画素の画素値を取得し、前記出力層の各ニューロンは、前記隣接領域に含まれる各画素の確率を出力し、前記近似画素に対応するニューロンの値である確率を大きくするように、前記ニューロン間の係数を変化させるとともに、前記確率の値が最も大きい出力層のニューロンに対応する前記隣接領域の画素を特定することを特徴とする。

また、本発明では、
原画像の画素数を増加させて当該原画像より画素数の多い高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段、
前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段、
前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段、
入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させる学習手段、
としてコンピュータを機能させるためのプログラムを提供する。

また、本発明では、
原画像の画素数を増加させて解像度変換画像を得る解像度変換手段、
前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段、
入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域内の１つ画素を最適画素として特定する最適画素特定手段、
前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段、
としてコンピュータを機能させるためのプログラムを提供する。

また、本発明では、
原画像の画素数を増加させて当該原画像より画素数の多い高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段、
前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段、
前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段、
入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させるとともに、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域における画素を特定する最適画素特定手段、
前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段、
としてコンピュータを機能させるためのプログラムを提供する。

本発明によれば、小さい処理負荷で効率的に画像の高画質化を行うことが可能となる。

本発明の一実施形態に係る高画質化学習装置のハードウェア構成図である。 高画質化学習装置１００の機能ブロックを含む学習処理の概念図である。 最適画素特定手段１３ａが有するニューラルネットワークの構成の概略を示す図である。 本実施形態に係る高画質化装置２００の機能ブロック図である。 解像度変換手段１４による解像度変換の概念図である。 領域抽出手段１１による領域抽出の概念図である。 最適画素特定手段１３ａによるラベル出力の概念図である。 画素値決定手段２２による画素の特定の概念図である。 学習と並行処理を行う高画質化装置２１０の機能ブロック図である。

以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
本発明では、ニューラルネットワークに対して学習用のデータを与えて画像の高画質化のための学習を行い、学習済みのニューラルネットワークを用いて画像の高画質化を行う。または、ニューラルネットワークを用いて高画質化を行う際に、並行して学習を行ってニューラルネットワークを変化させる。

＜１．学習時＞
まず、ニューラルネットワークを用いた高画質化学習装置について説明する。図１は、本発明の一実施形態に係る高画質化学習装置のハードウェア構成図である。本実施形態に係る高画質化学習装置１００は、汎用のコンピュータで実現することができ、図１に示すように、ＣＰＵ（Central Processing Unit）１と、コンピュータのメインメモリであるＲＡＭ（Random Access Memory）２と、ＣＰＵ１が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置３と、キーボード、マウス等の指示入力Ｉ／Ｆ（インターフェース）４と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力Ｉ／Ｆ（インターフェース）５と、液晶ディスプレイ等の表示デバイスである表示部６と、を備え、互いにバスを介して接続されている。

学習用のデータを用いた高画質化学習装置１００による機械学習について説明する。高画質化学習装置１００による機械学習を行う際、高解像度化の対象とする画像である原画像と同内容を含む高画質画像を用意する。例えば、原画像と高画質画像は、同じ位置から解像度を変えて撮影した２つの画像のうち、低解像度の画像を原画像、高解像度の画像を高画質画像とすることにより得られる。このようにして、横Ｎ１画素×縦Ｎ２画素の原画像と、同一内容の横Ｍ１画素×縦Ｍ２画素の高画質画像を用意する（Ｎ１＜Ｍ１、Ｎ２＜Ｍ２）。原画像、高画質画像においては、各画素は画素値を有している。ここで、画素値とは、各座標に対応した画素が有する値であり、本実施形態では、Ｒ、Ｇ、Ｂの各色について８ビットで記録された輝度値である。すなわち、本実施形態では、各画素には、３色について計２４ビットで表現された輝度値が、画素値として記録されている。

図２は、高画質化学習装置１００の機能ブロックを含む学習処理の概念図である。図２において、１１は領域抽出手段、１２は近似画素特定手段、１３は学習手段である。また、図２（ａ）は解像度変換画像、図２（ｂ）は周辺領域、図２（ｃ）は隣接領域、図２（ｄ）は高画質画像である。領域抽出手段１１は、原画像を解像度変換して得られた解像度変換画像における注目画素Ａの周辺領域、隣接領域を抽出する手段である。周辺領域、隣接領域は、これらの領域に含まれる画素で構成される画像である。近似画素特定手段１２は、注目画素Ａに対応する高画質画像上の画素である目標画素Ｒが、隣接領域のどの画素に近いかを検索し、最も近い画素である近似画素を特定する手段である。学習手段１３は、学習用セットとして学習用画像データと学習用ラベルを入力して、ニューロン間の係数を変化させることにより、学習を行う手段である。

領域抽出手段１１、近似画素特定手段１２、学習手段１３は、ＣＰＵ１が、記憶装置３に記憶されているプログラムを実行することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、ＣＰＵ等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、タブレット端末やスマートフォン等の携帯型端末も含む。

高画質化学習装置１００の処理動作について説明する。まず、高画質化学習装置１００は、原画像を読み込む。読み込んだ原画像に対して解像度変換手段１４（図５参照）が解像度変換を行う。具体的には、横ｎ１倍、縦ｎ２倍に画素数を増やすことにより解像度変換を行って、図２（ａ）に示すような横Ｍ１画素×縦Ｍ２画素の解像度変換画像を得る。すなわち、教師データとする高画質画像に合わせた画素数になるように解像度変換を行う。画素数を増やす解像度変換の手法としては、公知の線形補間処理やニアレストネイバー処理を用いることができる。本実施形態では、ニアレストネイバー処理を行っている。

次に、領域抽出手段１１が、解像度変換画像から注目画素Ａを中心とした横ｍ１×縦ｍ２画素を周辺領域として抽出する。さらに、注目画素Ａを中心とした横３×縦３画素を隣接領域として抽出する。周辺領域、隣接領域のいずれも注目画素Ａを含んだ領域である。周辺領域は、隣接領域と隣接領域外の画素を含む領域である。図２の例では、図２（ｂ）に示すように、周辺領域はｍ１＝ｍ２＝７であり、４９画素の領域である。ｍ１、ｍ２は適宜設定することができるが、隣接領域の横３×縦３画素のさらに周囲の画素を全て含むようにｍ１、ｍ２とも５以上であることが好ましい。また、ｍ１＝ｍ２として周辺領域が正方形状となることが好ましい。この周辺領域は学習手段１３の学習のための学習用画像データとして用いられる。また、隣接領域は、図２（ｃ）に示すように、注目画素Ａに隣接する、いわゆる８近傍の画素と、注目画素Ａの計９画素の領域である。

次に、近似画素特定手段１２は、注目画素Ａと同一座標となる高画質画像上の画素を目標画素Ｒとして抽出する。具体的には、目標画素Ｒの画素値を取得する。解像度変換画像と高画質画像は、いずれも横Ｍ１画素×縦Ｍ２画素であるため、各画素が１対１で対応している。したがって、解像度変換画像の注目画素Ａに対応する目標画素Ｒは一意に定まる。また、近似画素特定手段１２は、領域抽出手段１１により抽出された隣接領域を取得する。具体的には、隣接領域に含まれる注目画素Ａおよび隣接画素Ｃ１〜Ｃ４、Ｃ６〜Ｃ９の９画素の画素値を取得する。次に、近似画素特定手段１２は、解像度変換画像から抽出された隣接領域内の９画素の中から目標画素Ｒの画素値に最も近い画素値をもつ画素を１つ検索する。目標画素Ｒの画素値に最も近い画素値をもつ画素は近似画素として特定される。目標画素Ｒの画素値に最も近い画素値をもつ近似画素は、例えば、１画素がＲ、Ｇ、Ｂ３色の計２４ビットで記録された画素値の差分演算を、目標画素Ｒと隣接領域内の９画素それぞれについて行い、差分の絶対値が最も小さい画素とすることにより特定することができる。注目画素Ａが近似画素である場合は、ラベルＬＡを出力し、隣接画素Ｃ１〜Ｃ４、Ｃ６〜Ｃ９が近似画素である場合は、それぞれラベルＬ１〜Ｌ４、Ｌ６〜Ｌ９を出力する。ここで、ラベルとは、隣接領域内において画素を識別するための情報であり、注目画素Ａとの相対的な位置関係を特定することができる情報である。例えば、図２（ｃ）に示すような隣接領域の場合、ラベルＬ１は、注目画素Ａから見て左上の位置にある画素であることを特定し、ラベルＬ２は、注目画素Ａから見て真上の位置にある画素であることを特定している。ここで出力された１つのラベルが学習手段１３の学習のための学習用ラベルとして用いられる。学習用画像データである周辺領域と、学習用ラベルは、１つの学習用セットとして学習手段１３に与えられる。

続いて、学習手段１３が、領域抽出手段１１から抽出された周辺領域と、近似画素特定手段１２から出力されたラベルを取得する。周辺領域としては、周辺領域に含まれる全ての画素、すなわち注目画素Ａおよび隣接画素Ｃ１〜Ｃ４、Ｃ６〜Ｃ９の９画素を含むｍ１×ｍ２画素の画素値を取得する。学習手段１３は、入力層がｍ１×ｍ２の画像取り込み手段、出力層が９ニューロンのニューラルネットワーク構成を有する。入力層と出力層の間には複数の中間層を有している。入力層には、周辺領域に含まれる各画素の画素値が入力され、出力層の９個の各ニューロンには、隣接領域に含まれる各画素のラベルに対応した確率が出力される。各層を結ぶニューロン間には演算時に乗じる係数（重み）が設定されており、ニューラルネットワークは、この係数を変化させることにより、出力層に出力させる値を学習用データに近付けていく。ここで、確率とは、そのラベルに対応した画素である可能性を示す数値であり、９個の出力ラベルの値の総和が“１”や“１００”等のきりのよい数になるように設定されていてもよいし、単に９個の出力ラベルの大小を比較できる数であってもよい。

ここで、学習手段１３が有するニューラルネットワークの構成について説明する。図３は、学習手段１３が有するニューラルネットワークの構成の概略を示す図である。図３（ａ）は、入力される周辺領域との関係を示しており、図３（ｂ）は、学習手段１３が有するニューラルネットワークの構成の概略を示す図である。図３（ｂ）に示すように、本実施形態では、学習手段１３が有するニューラルネットワークは、入力層、畳み込み層、第１全結合層、第２全結合層の４層構成であり、ディープラーニングとしては、かなり小さな構成となっている。第２全結合層は出力層である。本実施形態では、ｍ１＝ｍ２＝９とし、隣接領域に含まれる９×９画素を入力する。畳み込み（Convolution）層は、３×３の行列係数を８セットで、画像の特徴を抽出する。第１全結合（Fully Connected）層では３６個の出力を行い、第２全結合（Fully Connected）層では各ラベルに対応した９（＝３×３）個の出力を行う。学習後は、学習手段１３を実現するニューラルネットワークは、最適画素特定手段１３ａに変化し、後述する高画質化装置２００において、第２全結合層であるは出力層の９ニューロンのうちの１つに対応したラベルを出力する。

したがって、学習手段１３は、領域抽出手段１１から周辺領域を取得すると、周辺領域内の各画素の画素値を入力して、隣接領域に含まれる各画素のラベルに対応した確率を出力する。この結果、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９それぞれの確率が出力値として得られる。そして、学習手段１３は、近似画素特定手段１２から取得したラベルの確率を特定し、そのラベルの確率を大きくし、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９のうち、他の８個のラベルの確率を小さくするように、各ニューロン間の係数を変化させる。このようにして、学習手段１３は、ニューロン間の係数を変化させることにより、高画質画像に近付くように学習していく。

上記処理は、解像度変換画像の各画素を注目画素Ａとし、注目画素を解像度変換画像の上において順次変更しながら行う。現実的な処理としては、注目画素を中心とした周辺領域のｍ１×ｍ２画素が解像度変換画像に収まるような範囲で行うことになる。したがって、解像度変換画像の全ての画素を注目画素Ａとできるわけではなく、解像度変換画像の周縁部の一部の画素は、注目画素Ａとして扱われないことになるが、実用上問題ないレベルである。多くの原画像に対応する解像度変換画像、高画質画像を用意し、上記のようにして学習を繰り返していくことによりニューラルネットワークが学習済みモデルとなった最適画素特定手段１３ａが得られる。このようにして、本実施形態に係る高画質化学習装置１００は、原画像と画素数の多い高画質画像を用い、原画像から得られた解像度変換画像から注目画素Ａを含む隣接領域と、注目画素Ａを含む周辺領域を抽出し、注目画素Ａに対応する高画質画像上の画素を目標画素Ｒとし、目標画素Ｒに最も近い画素値をもつ画素を近似画素として特定し、抽出された周辺領域と、特定された近似画素の位置を学習用セットとしてニューラルネットワークに与え、ニューラルネットワークの層間におけるニューロン間の係数を変化させるようにしたので、注目画素Ａに与えるべき画素値自体を演算することなく、特定された画素の画素値をそのまま利用することができるため、小さい演算処理負荷で高画質化のための学習を効率的に行うことが可能となる。

＜２．学習後の高解像度化＞
次に、学習済みモデルを備えたニューラルネットワークを有する高画質化装置の処理動作について説明する。図４は、本実施形態に係る高画質化装置２００の機能ブロック図である。図４において、１４は解像度変換手段、１１は領域抽出手段、１３ａは最適画素特定手段、２２は画素値決定手段である。解像度変換手段１４は、原画像に対して解像度変換を行い、横ｎ１倍、縦ｎ２倍に画素を増加させて解像度変換画像を作成する手段であり、高画質化学習装置１００が備える解像度変換手段１４と同様のものである。領域抽出手段１１は、図２に示した高画質化学習装置１００が備えるものと同様の機能を有しており、解像度変換画像における注目画素Ａの周辺領域、隣接領域を抽出する手段である。最適画素特定手段１３ａは、図２に示した高画質化学習装置１００において学習手段１３が高画質化を学習した結果であるニューラルネットワークの学習済みモデルを有し、領域抽出手段１１により抽出された周辺領域内のｍ１×ｍ２画素を入力層に入力し、隣接領域内の１画素のラベルを出力する手段である。画素値決定手段２２は、最適画素特定手段１３ａから取得したラベルに応じて、領域抽出手段１１により抽出された隣接領域内から１画素を最適画素として選択する手段である。

本実施形態に係る高画質化装置２００は、高画質化学習装置１００と同様、汎用のコンピュータで実現することができる。高画質化装置２００のハードウェア構成は、高画質化学習装置１００と同様、図１に示したような構成となっている。

図４に示した解像度変換手段１４、領域抽出手段１１、最適画素特定手段１３ａ、画素値決定手段２２は、ＣＰＵ１が、記憶装置３に記憶されているプログラムを実行することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

高画質化装置２００の処理動作について説明する。まず、解像度変換手段１４が、原画像に対して解像度変換を行い、横ｎ１倍、縦ｎ２倍に画素を増加させた解像度変換画像を得る。解像度変換手段１４は、公知の解像度変換アルゴリズムを用いて解像度変換を行う。公知の解像度変換アルゴリズムとしては、線形補間処理やニアレストネイバー処理等を用いることができる。本実施形態では、演算処理負荷が小さく、回路設計した際にも、より回路規模が小さくて済むニアレストネイバー処理を用いている。線形補間処理など数値演算処理でも演算処理負荷が小さいが、画像のボケ感、あるいは画像エッジの強調処理では、不自然差が残る。このような数値演算処理では、さらなる高画質化を図ろうとすると、演算処理負荷、演算回路規模が膨大なものとなってしまう。一方、ニアレストネイバー処理に関しては、演算処理負荷は小さく、画像のボケ感は無く、形状のくっきり感が維持できる。ただし、高画質感には欠けた画像形状のガタガタ感が生じる。そこで、本実施形態では、数値演算処理の問題点を避けて、ニアレストレイバー処理の良い面を生かす。ニアレストネイバー処理を行って得られる解像度変換画像を用いることにより、後に行われるニューラルネットワークを備えた最適画素特定手段１３ａによる処理により、数値演算処理を少なくして、ガタガタ感を無くすなどして円滑に高画質化が進むようにしている。図５は、解像度変換手段１４による解像度変換の概念図である。図５に示すように、横Ｎ１×縦Ｎ２画素の原画像は、解像度変換手段１４により横ｎ１×縦ｎ２倍に解像度変換されて、横Ｍ１×縦Ｍ２画素の解像度変換画像が得られる。

次に、領域抽出手段１１が、解像度変換画像から注目画素Ａを中心とした横ｍ１×縦ｍ２画素を周辺領域として抽出する。さらに、注目画素Ａを中心とした横３×縦３画素を隣接領域として抽出する。周辺領域、隣接領域のいずれも注目画素Ａを含んだ領域である。図２の例では、周辺領域はｍ１＝ｍ２＝７であり、４９画素の領域である。また、隣接領域は注目画素Ａに隣接する、いわゆる８近傍の画素と、注目画素Ａの計９画素の領域である。図６は、領域抽出手段１１による領域切出しの概念図である。図６に示すように、横Ｍ１×縦Ｍ２画素の解像度変換画像から、解像度変換手段１４は、注目画素Ａを中心とした横３×縦３画素の隣接領域と、注目画素Ａを中心とした横ｍ１×縦ｍ２画素の周辺領域を抽出する。

次に、最適画素特定手段１３ａが、領域抽出手段１１から抽出された周辺領域を取得する。周辺領域としては、周辺領域に含まれる全ての画素、すなわち注目画素Ａおよび隣接画素Ｃ１〜Ｃ４、Ｃ６〜Ｃ９の９画素を含むｍ１×ｍ２画素の画素値を取得する。最適画素特定手段１３ａは、入力層がｍ１×ｍ２の画像取り込み手段、出力層が９ニューロンのニューラルネットワークを有する。入力層のｍ１×ｍ２個の各ニューロンには、周辺領域に含まれる各画素の画素値が入力され、出力層の９個の各ニューロンには、隣接領域に含まれる各画素のラベルに対応した確率が出力される。

したがって、最適画素特定手段１３ａは、領域抽出手段１１から周辺領域を取得すると、周辺領域内の各画素の画素値を入力して、隣接領域に含まれる各画素のラベルに対応した確率を出力層に出力する。そして、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９のうち、最も高い確率を有するラベルを出力する。図７は、最適画素特定手段１３ａによるラベル出力の概念図である。図７に示すように、横ｍ１×縦ｍ２画素の周辺領域から、最適画素特定手段１３ａは、横３×縦３画素の隣接領域内の１つの画素を最適画素として特定するラベルを出力する。最適画素とは、隣接領域内の画素のうち、注目画素の画素値として与えるべき画素値をもつ画素である。

次に、画素値決定手段２２は、領域抽出手段１１から抽出された隣接領域と、最適画素特定手段１３ａから出力されたラベルを取得する。そして、画素値決定手段２２は、最適画素特定手段１３ａから取得したラベルに対応する隣接領域内の画素を特定し、その画素の画素値を注目画素Ａに与えるべき画素値として出力する。図８は、画素値決定手段２２による画素の特定の概念図である。図８に示すように、画素値決定手段２２は、最適画素特定手段１３ａから取得したラベル（Ｌ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９のうちの１つ）に対応する画素を、領域抽出手段１１から取得した隣接領域内から特定し、隣接領域内の画素（Ｃ１〜Ｃ４、ＣＡ、Ｃ６〜Ｃ９のうちの１つ）の画素値を出力する。この結果、解像度変換画像の注目画素Ａに与えるべき画素値が得られる。

解像度変換手段１４により得られた横Ｍ１×縦Ｍ２画素の解像度変換画像を走査しながら、解像度変換画像の各画素を注目画素Ａとし、各注目画素Ａについて画素値決定手段２２により与えるべき画素値を決定することができる。画素値決定手段２２により得られた画素値で解像度変換画像の各画素の画素値を置き換えていくことにより、高画質化画像が得られる。このようにして、本実施形態に係る高画質化装置２００は、原画像から得られた解像度変換画像から注目画素Ａを含む隣接領域と、注目画素Ａを含む周辺領域を抽出し、学習済みモデルに入力された周辺領域に応じて出力された値に基づいて、隣接領域内の１つの画素の画素値を注目画素Ａに与えるようにしたので、注目画素Ａに与えるべき画素値自体を演算することなく、隣接領域内で特定された画素の画素値をそのまま利用することができるため、小さい演算処理負荷で高画質化を行うことが可能となる。

＜３．高解像度化と学習の並行処理＞
次に、高解像度化と学習の並行処理について説明する。図９は、学習と並行処理を行う高画質化装置２１０の機能ブロック図である。図４に示した高画質化装置２００と比較すると、近似画素特定手段１２を備え、高画質画像を用いて、最適画素特定手段１３ｂが学習を行う点が異なっている。近似画素特定手段１２は、図２に示した高画質化学習装置１００が備えるものと同様の機能を有している。また、最適画素特定手段１３ｂは、図２に示した高画質化学習装置１００が備える学習手段１３、図４に示した高画質化装置２００が備える最適画素特定手段１３ａの双方の機能を備えており、学習をしてニューロン間の係数を変化させるとともに、１つのラベルを出力する機能を有する。

本実施形態に係る高画質化装置２１０は、高画質化学習装置１００、高画質化装置２００と同様、汎用のコンピュータで実現することができる。高画質化装置２１０のハードウェア構成は、高画質化学習装置１００、高画質化装置２００と同様、図１に示したような構成となっている。

図９に示した解像度変換手段１４、領域抽出手段１１、最適画素特定手段１３ｂ、画素値決定手段２２、近似画素特定手段１２は、ＣＰＵ１が、記憶装置３に記憶されているプログラムを実行することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。

高画質化装置２１０の処理動作について説明する。図２に示した高画質化装置２００と同様に、まず、解像度変換手段１４が、原画像に対して解像度変換を行い、横ｎ１倍、縦ｎ２倍に画素を増加させた解像度変換画像を得る。解像度変換手段１４は、公知の解像度変換アルゴリズムを用いて解像度変換を行う。次に、領域抽出手段１１が、図４に示した高画質化装置２００と同様に、解像度変換画像から注目画素Ａを中心とした横ｍ１×縦ｍ２画素を周辺領域として抽出する。さらに、注目画素Ａを中心とした横３×縦３画素を隣接領域として抽出する。

近似画素特定手段１２が、解像度変換画像の注目画素Ａと同一座標となる高画質画像上の画素を目標画素Ｒとして抽出し、領域抽出手段１１により抽出された隣接領域を取得する。そして、近似画素特定手段１２は、解像度変換画像から抽出された隣接領域内の９画素の中から目標画素Ｒの画素値に最も近い画素値をもつ画素を１つ検索し、近似画素として特定し、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９の中から近似画素に対応する１つのラベルを出力する。

次に、最適画素特定手段１３ｂが、領域抽出手段１１から取得した周辺領域内の各画素の画素値を入力して、隣接領域に含まれる各画素のラベルに対応した確率を出力する。この結果、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９それぞれの確率が出力値として得られる。そして、最適画素特定手段１３ｂは、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９のうち、最も高い確率を有するラベルを画素値決定手段２２に出力する。画素値決定手段２２により決定された画素値を注目画素Ａに与えることにより高画質化が行われる。

高画質化と並行して、最適画素特定手段１３ｂは、近似画素特定手段１２から取得したラベルの確率を特定し、そのラベルの確率を大きくし、ラベルＬ１〜Ｌ４、ＬＡ、Ｌ６〜Ｌ９のうち、他の８個のラベルの確率を小さくするように、各ニューロン間の係数を変化させる。このようにして、最適画素特定手段１３ｂは、ニューロン間の係数を変化させることにより、高画質画像に近付くように学習する。

このようにして、本実施形態に係る高画質化装置２１０は、原画像と画素数の多い高画質画像を用い、原画像から得られた解像度変換画像から注目画素Ａを含む隣接領域と、注目画素Ａを含む周辺領域を抽出し、注目画素Ａに対応する高画質画像上の画素を目標画素Ｒとし、目標画素Ｒに最も近い画素値をもつ画素を近似画素として特定し、抽出された周辺領域と、特定された近似画素の位置を学習セットとしてニューラルネットワークに与え、ニューラルネットワークの層間におけるニューロン間の係数を変化させるとともに、ニューラルネットワークの学習により得られた学習済みモデルに入力された周辺領域に応じて出力された値に基づいて、隣接領域内の１つの画素の画素値を注目画素Ａに与えるようにしたので、注目画素Ａに与えるべき画素値自体を演算することなく、隣接領域内で特定された画素の画素値をそのまま利用することができるため、小さい演算処理負荷で、高画質化のための学習を効率的に行いながら、並行して高画質化を行うことが可能となる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、コンピュータにおいて、ＣＰＵがプログラムを実行することにより、上記各手段を実現するようにしたが、上記各手段を演算回路としてハードウェアに組み込むようにしても良い。この場合、例えば液晶ディスプレイ等の表示装置に組み込むことにより、入力された原画像を高画質化して表示することも可能となる。

１・・・ＣＰＵ（Central Processing Unit）
２・・・ＲＡＭ（Random Access Memory）
３・・・記憶装置
４・・・指示入力Ｉ／Ｆ
５・・・データ入出力Ｉ／Ｆ
６・・・表示部
１１・・・領域抽出手段
１２・・・近似画素特定手段
１３・・・学習手段
１３ａ、１３ｂ・・・最適画素特定手段
１４・・・解像度変換手段
２２・・・画素値決定手段
１００・・・高画質化学習装置
２００、２１０・・・高画質化装置

Claims (9)

1. 原画像と、当該原画像より画素数の多い高画質画像を用いて高画質化のための学習を行う高画質化学習装置であって、
   原画像の画素数を増加させて前記高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段と、
   前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段と、
   前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段と、
   入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させる学習手段と、
   を有することを特徴とする高画質化学習装置。
2. 前記学習手段は、前記入力層が前記周辺領域に含まれる各画素の画素値を取得し、前記出力層の各ニューロンは、前記隣接領域に含まれる各画素の確率を出力し、前記近似画素に対応するニューロンの値である確率を大きくするように、前記ニューロン間の係数を変化させることを特徴とする請求項１に記載の高画質化学習装置。
3. 原画像に対して高画質化を行う高画質化装置であって、
   原画像の画素数を増加させて解像度変換画像を得る解像度変換手段と、
   前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段と、
   入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域内の１つ画素を最適画素として特定する最適画素特定手段と、
   前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段と、
   を有することを特徴とする高画質化装置。
4. 前記最適画素特定手段は、前記入力層が前記周辺領域に含まれる各画素の画素値を取得し、前記出力層の各ニューロンは、前記隣接領域に含まれる各画素の確率を出力し、前記確率の値が最も大きい出力層のニューロンに対応する前記隣接領域の画素を特定することを特徴とする請求項３に記載の高画質化装置。
5. 原画像と、当該原画像より画素数の多い高画質画像を用いて高画質化のための学習を行いながら、前記原画像の高画質化を行う高画質化学習装置であって、
   原画像の画素数を増加させて前記高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段と、
   前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段と、
   前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段と、
   入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させるとともに、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域における画素を特定する最適画素特定手段と、
   前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段と、
   を有することを特徴とする高画質化装置。
6. 前記最適画素特定手段は、前記入力層が前記周辺領域に含まれる各画素の画素値を取得し、前記出力層の各ニューロンは、前記隣接領域に含まれる各画素の確率を出力し、前記近似画素に対応するニューロンの値である確率を大きくするように、前記ニューロン間の係数を変化させるとともに、前記確率の値が最も大きい出力層のニューロンに対応する前記隣接領域の画素を特定することを特徴とする請求項５に記載の高画質化装置。
7. 原画像の画素数を増加させて当該原画像より画素数の多い高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段、
   前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段、
   前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段、
   入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させる学習手段、
   としてコンピュータを機能させるためのプログラム。
8. 原画像の画素数を増加させて解像度変換画像を得る解像度変換手段、
   前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段、
   入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域内の１つ画素を最適画素として特定する最適画素特定手段、
   前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段、
   としてコンピュータを機能させるためのプログラム。
9. 原画像の画素数を増加させて当該原画像より画素数の多い高画質画像と同じ画素数の解像度変換画像を得る解像度変換手段、
   前記解像度変換画像から注目画素を含み当該注目画素に隣接する画素を含む隣接領域と、前記隣接領域と隣接領域外の画素を含む周辺領域を抽出する領域抽出手段、
   前記注目画素に対応する前記高画質画像上の画素を目標画素として取得し、前記隣接領域内の画素のうち前記目標画素に最も近い画素値をもつ画素を近似画素として特定する近似画素特定手段、
   入力層と複数の中間層と出力層を有するニューラルネットワーク構成を有し、前記入力層は、前記周辺領域に含まれる各画素を取り込む手段を備え、前記出力層は、前記隣接領域に含まれる各画素に対応した数のニューロンを備え、前記出力層における前記近似画素に対応するニューロンの値を変化させるように、層間におけるニューロン間の係数を変化させるとともに、前記出力層における各画素に対応したニューロンの値に基づいて、隣接領域における画素を特定する最適画素特定手段、
   前記領域抽出手段により抽出された隣接領域内の画素の中から、前記最適画素特定手段により特定された画素に対応する画素の画素値を前記注目画素の画素値として与える画素値決定手段、
   としてコンピュータを機能させるためのプログラム。

Images