JP2007328735A

JP2007328735A - 画像処理装置及び画像処理プログラム

Info

Publication number: JP2007328735A
Application number: JP2006161491A
Authority: JP
Inventors: Kunio Yamada; 邦男山田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-06-09
Filing date: 2006-06-09
Publication date: 2007-12-20
Anticipated expiration: 2026-06-09
Also published as: JP4692401B2

Abstract

【課題】ニューラルネットワークを効果的に利用して、画像の処理（例えば画素補間処理）を行う。
【解決手段】第１のニューラルネットワーク部１０１は、周辺画素の画素データに対して、その補間画素の画素データ（ＮＮ補間結果）を出力するニューラルネットワークを有している。また、バイキュービック補間処理部１０３は、周辺画素の画素データに対してバイキュービック補間法による処理を行い、補間画素の画素データ（バイキュービック補間結果）を出力する。一方、第２のニューラルネットワーク部１０２には、第１のニューラルネットワーク部が周辺画素の画素データに対して適切な補間結果を出力できるか否かを判断するニューラルネットワークが構築される。そして、混合比決定部１０４が、第２のニューラルネットワーク部による判断結果（峻別結果）に基づいて、バイキュービック補間結果とＮＮ補間結果とを混合し、補間画素の画素データとして出力する。
【選択図】図１

Description

本発明は、画像（静止画像又は動画像）の処理を行う画像処理装置及び画像処理プログラムに関し、特に、主に画像の解像度や倍率を変更するための画像補間処理を行う画像処理装置及び画像処理プログラムに関する。

ニューラルネットワークを用いた画像処理に関して、１９８０年代から１９９０年代にかけて多くの研究開発や技術提案がなされている。例えば、下記の特許文献１〜３には、階層型ニューラルネットワークをバックプロパゲーション法によって学習を施したものを用いて処理を行うことにより、インタレースをプログレッシブ化するためのライン補間を行う技術が開示されている。

一方、下記の特許文献４〜７には、解像度や滑らかな補間性能の向上を図るために、階層型ニューラルネットワークを用いて解像度や倍率を変更するための補間を行う技術が開示されている。
特開平５−３７９１０号公報特開平７−２４０９０１号公報特開平８−１８９２６号公報特開平６−１２４８６号公報特開平９−５１４３０号公報特開平９−３１９８６６号公報特開平１０−１６４５１９号公報

しかしながら、上述の特許文献１〜７に開示されている技術はそれぞれ下記の問題を有している。例えば、特許文献４に開示されている技術では、あらかじめ画像の統計的データを用意する必要があるという問題がある。

また、特許文献５に開示されている技術は、従来用いられていたフィルタの組み合わせ係数をニューラルネットワークによって制御することで、複雑な論理選択をパターン処理的にニューラルネットワークで代行させるものである。しかしながら、ここでは、原画像に対するフィルタ選択の方法を学習させて他の画像に適用することになるため、学習パターンは事実上限られたものになり、どのような画像であっても対応可能な画像処理機構を構築することは困難であるという問題がある。

また、特許文献６、７に開示されている技術は、画素値及び画素位置を入力信号とするニューラルネットワークを用いて画像１フレーム（フィールド）の階調曲面を推定して、これを用いて補間するものであるが、１フレーム（フィールド）ごとのニューラルネットワークの荷重の更新が必要な上、ニューラルネットワークで再現が可能な曲面の形態には限界があると考えられるため、高精度の動画の補間処理には不向きであるという問題がある。

さらに、特許文献１に開示されている技術では、教師信号を実画像とした場合には、学習に用いられた画像以外に対する入力画像に関しては、その性能を十分に発揮できるとは言えない。

一方、特許文献２、３に開示されている技術では、入出力の双方を含む学習対象となる周辺画素値の組み合わせを人工的に生成させているため、様々なパターンに対して万遍なく学習を行うことが可能になる。しかしながら、この場合においても、学習済みではないパターンが入力された場合には、ニューラルネットワークの汎化能力をもってしても正しい補間が行われず、結果的にノイズ的な補間信号が出力されてしまうことがある。

上記の問題を解決するため、本発明は、ニューラルネットワークを効果的に利用して、画像の処理を行うための画像処理装置及び画像処理プログラムを提供することを目的とする。

上記の目的を達成するため、本発明では、第１のニューラルネットワークを用いた画像処理による結果の適合性を第２のニューラルネットワークによって判断し、この判断結果に基づいて、第１のニューラルネットワークを用いた画像処理による結果と、それ以外の画像処理による結果との混合比を決定して、これらの画像処理による結果を混合したものを画像処理による結果として出力する。

すなわち、本発明によれば、複数の画素の画素データを入力値とし、前記複数の画素を補間する補間画素の画素データを出力値とする画像処理装置であって、
前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第１画素データを出力する第１ニューラルネットワークで構成される手段であり、前記第１ニューラルネットワークは、あらかじめ生成されている複数の画素の画素データと、前記複数の画素の画素データに対応する補間画素の画素データとの関係が学習されているニューラルネットワークである第１画像処理手段と、
前記第１画像処理手段とは異なる画像処理を実行し、前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第２画素データを出力する第２画像処理手段と、
前記複数の画素の画素データに対する前記第１画像処理手段による画像処理の適合性を判断して、前記第１画像処理手段の適合性を示す値を出力する第２ニューラルネットワークで構成される手段であり、前記第２ニューラルネットワークは、前記第１ニューラルネットワークの学習に用いられた前記あらかじめ生成されている複数の画素の画素データと、前記第１ニューラルネットワークが学習済みであることを示す第１の特定値との関係があらかじめ学習されているとともに、ランダムに生成される複数の画素の画素データと、前記第１ニューラルネットワークによって学習済みではないことを示す特定の値との関係が学習されているニューラルネットワークである適合性判断手段と、
前記適合性判断手段から出力される前記第１画像処理手段の適合性を示す値に基づいて、前記第１画像処理手段から出力される前記第１画素データと、前記第２画像処理手段から出力される前記第２画素データとを混合し、前記複数の画素を補間する補間画素の画素データを前記出力値として出力する画素値混合手段とを、
有する画像処理装置が提供される。

また、本発明によれば、複数の画素の画素データを入力値とし、前記複数の画素を補間する補間画素の画素データを出力値とする画像処理方法をコンピュータに実行させる画像処理プログラムであって、
前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第１画素データを出力する第１ニューラルネットワークで構成される第１画像処理機構を実現する第１画像処理機構実現ステップと、
前記第１画像処理機構が、あらかじめ生成されている複数の画素の画素データと、前記複数の画素の画素データに対応する補間画素の画素データとの関係を学習する第１学習ステップと、
前記第１画像処理手段とは異なる画像処理を実行し、前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第２画素データを出力する第２画像処理機構を実現する第２画像処理機構実現ステップと、
前記複数の画素の画素データに対する前記第１画像処理機構による画像処理の適合性を判断して、前記第１画像処理機構の適合性を示す値を出力する第２ニューラルネットワークで構成される適合性判断機構を実現する適合性判断機構実現ステップと、
前記適合性判断機構が、前記第１ニューラルネットワークの学習に用いられた前記あらかじめ生成されている複数の画素の画素データと、前記第１ニューラルネットワークが学習済みであることを示す第１の特定値との関係があらかじめ学習されているとともに、ランダムに生成される複数の画素の画素データと、前記第１ニューラルネットワークが学習済みではないことを示す第２の特定値との関係を学習する第２学習ステップと、
前記適合性判断機構から出力される前記第１画像処理機構の適合性を示す値に基づいて、前記第１画像処理機構から出力される前記第１画素データと、前記第２画像処理機構から出力される前記第２画素データとを混合し、前記複数の画素を補間する補間画素の画素データを前記出力値として出力する画素値混合ステップとを、
有する画像処理方法をコンピュータに実行させる画像処理プログラムが提供される。

本発明は、上記の構成を有しており、ニューラルネットワークを用いた画像処理結果が適切か否かの判断を行うことで、ニューラルネットワークを効果的に利用して、自然で高品位な画像を生成するための処理を実現するという効果を有している。

以下、図面を参照しながら、本発明の実施の形態について説明する。

まず、図１を参照しながら、本発明の実施の形態における画像処理装置の構成について説明する。図１は、本発明の実施の形態における画像処理装置の構成の一例を示すブロック図である。なお、以下の説明では、図１に図示されている画像処理装置が、図２に図示されているような４×４の画素を周辺画素（入力画素）として、これらの周辺画素の中心付近に存在する５点の補間画素を求める画像処理を行う場合について説明する。図２において、○（白抜きの丸）が周辺画素、●（黒塗りの丸）が補間画素である。図２に図示されている周辺画素と補間画素の関係によれば、事実上、正方格子状に配列された周辺画素の水平方向・垂直方向（正方格子を形成する垂直な２軸方向）共に、４×４の周辺画素を２倍の画素数にするための解像度変換の処理が行われることに相当する。

図１において、周辺画素（例えば、図２に図示されている４×４の画素）を入力画素として、周辺画素の画素値が、第１のニューラルネットワーク部（第１のＮＮ部）１０１、第２のニューラルネットワーク部（第２のＮＮ部）１０２、バイキュービック補間処理部１０３に入力される。

第１のニューラルネットワーク部１０１は、４×４の周辺画素を入力画素とし、ニューラルネットワークを利用して５点の補間画素の画素値（５値のＮＮ補間結果）を出力する機能を有している。なお、第１のニューラルネットワーク部１０１には、例えば後述の斜め線補間に特化した学習が施される。

一方、第２のニューラルネットワーク部１０２は、４×４の周辺画素を入力画素とし、ニューラルネットワークを利用して第１のニューラルネットワーク部１０１の適合性の峻別結果（第１のニューラルネットワーク部１０１によるＮＮ補間結果の妥当性）を出力する機能を有している。なお、第２のニューラルネットワーク部１０２には、後述のように、第１のニューラルネットワーク部１０１の適合性を峻別することに特化した学習が施される。すなわち、第２のニューラルネットワーク部１０２は、第１のニューラルネットワーク部１０１にとって学習済みの画素パターンが入力画素として入力されたか否かを判断することが可能である。

また、バイキュービック補間処理部１０３は、４×４の周辺画素を入力画素とし、これらの周辺画素に関する補間画素の画素値（５値のバイキュービック補間結果）を求めるバイキュービック補間法を実行する機能を有している。

第１のニューラルネットワーク部１０１によるＮＮ補間結果、及びバイキュービック補間処理部１０３によるバイキュービック補間結果は共に、図２に図示されているように５値であり、混合比決定部１０４に供給される。また、第２のニューラルネットワーク部１０２によって演算される第１のニューラルネットワーク部１０１の適合性の峻別結果も混合比決定部１０４に供給される。

そして、混合比決定部１０４では、ＮＮ補間結果の５値及びバイキュービック補間結果の５値のそれぞれに関して、第２ニューラルネットワーク部１０２の峻別結果に基づく混合比が決定され、決定された混合比に基づいてＮＮ補間結果及びバイキュービック補間結果が混合された５値の補間結果が出力される。すなわち、混合比決定部１０４では、第１ニューラルネットワーク部１０１による画像処理の長所をいかすことができる場合に限定して、最終的に出力される補間結果に、第１ニューラルネットワーク部１０１による画像処理結果が反映されるようにすることが可能となる。

上記の第１及び第２ニューラルネットワーク部１０１、１０２は共に、例えばバックプロパゲーションを学習アルゴリズムとする層状の構造（入力層、中間層、出力層の３層）を有する周知のニューラルネットワークであり、可変の重みで結ばれた多数のユニット（ニューロン）の結合体である。

例えば、第１及び第２のニューラルネットワーク部１０１、１０２は両方共、周辺画素に対応した１６個のユニットの入力層を有している。また、中間層に関しては、例えば、第１のニューラルネットワーク部１０１では２４個のユニット、第２のニューラルネットワーク部１０２では１６個のユニットにより構成されており、出力層に関しては、それぞれ５個のユニット及び１個のユニットにより構成されている。なお、周知のニューラルネットワークと同様に、各ユニットは、非線形の入出力特性を有する変換系であり、各ユニットには、前層からの出力値に独立した重みが乗算されて得られた前層からの総和が入力され、この総和が非線形変換されて後層に出力されるように構成されている。

そして、第１及び第２のニューラルネットワーク部１０１、１０２では、後述のように学習用の情報信号（すなわち、補間すべき画素と周辺画素との関係など）を利用して、上記のニューラルネットワークの学習が行われ、ユニット間の重みをあらかじめ定めたニューラルネットワークが学習構築される。すなわち、ニューラルネットワークの出力信号と、学習用の教師信号とを比較して、その差が小さくなるように、例えばバックプロパゲーションの学習アルゴリズムに基づいて、ユニット間の重みが変更されて、各ユニット間の重みが決定される。

次に、本発明の実施の形態における第１のニューラルネットワーク部１０１の学習動作の一例について説明する。なお、以下の説明では、図４に図示されている入出力データを参照しながら、図３に図示されているフローチャートに係る動作について説明する。

図３は、本発明の実施の形態において、第１のニューラルネットワーク部の学習動作の一例を説明するためのフローチャートであり、図４は、本発明の実施の形態において、人工的な生成パターンで分割された領域における入出力データの組み合わせの一例を示す図である。

図３において、第１のニューラルネットワーク部１０１は、周辺画素ｉ００〜ｉ１５が入力された場合、周辺画素ｉ００〜ｉ１５と出力すべき補間画素ｏ０〜ｏ４とを含む領域を、ライン（画素配列における水平方向及び垂直方向）に対して斜めの線分で複数の領域に分割する（ステップＳ３０１）。

すなわち、第１のニューラルネットワーク部１０１は、図４に示すように、周辺画素ｉ００〜ｉ１５と補間画素ｏ０〜ｏ４とを含む領域を、２本の線分で３つの領域（エリア）Ａ、Ｂ、Ｃに分割する。これらの線分は、ライン（水平画素ライン）に対して斜めの線分であり、例えば点線で示す直線ｙ＝ａｘ＋ｂを中心とし、両側の幅（距離）ｔの位置にある線分（直線ｙ＝ａｘ＋ｂとの距離がそれぞれｔ／２の傾きａの線分）である。

なお、説明のため、図４では、周辺画素ｉ００〜ｉ１５と補間画素ｏ０〜ｏ４とを含むフィールド画面を、ｏ０を中心としてｘ軸及びｙ軸の座標で表示し、変数ａ、ｂ、ｔは、−１．５≦ａ≦１．５、−２≦ｂ≦２、０≦ｔ≦４の範囲に限定して、周辺画素ｉ００〜ｉ１５と補間画素ｏ０〜ｏ４とを含む領域が分割されるものとする。これらの変数ａ、ｂ、ｔは、上記の範囲内で、乱数発生させてランダムに生成されたものであり、周辺画素ｉ００〜ｉ１５と補間画素ｏ０〜ｏ４とを含む領域は、ランダムに生成された様々な斜めの線分により分割されることになる。なお、上記の変数ａ、ｂ、ｔの範囲は一例であり、これらに限定されるものではない。

また、第１のニューラルネットワーク部１０１は、垂直方向に近い線分（水平方向に対して傾きの非常に大きな線分）についての学習も実行するために、ｘとｙとを入れ替えたｘ＝ａｙ＋ｂをベースとするパターンについても学習を行う。

ステップＳ３０１の領域分割の結果、周辺画素ｉ００〜ｉ１５及び補間画素ｏ０〜ｏ４は、分割された領域のいずれかに属することになる。例えば、図４に示す例では、領域（エリア）Ａには周辺画素ｉ００、ｉ０１が属し、領域（エリア）Ｂには周辺画素ｉ０２〜ｉ０９と補間画素ｏ００〜ｏ０３とが属し、領域（エリア）Ｃには周辺画素ｉ１０〜ｉ１５と補間画素ｏ０４とが属している。

続いて、第１のニューラルネットワーク部１０１は、分割された各領域内で共通となるように、各領域における画素データを生成する（ステップＳ３０２）。すなわち、画素データが８ビットの輝度レベルで表現される場合には、０から２５５までのレベル値を乱数発生させ、３つの領域（エリアＡ〜Ｃ）のそれぞれに属する画素レベルとして３つのレベル値を生成する。

例えば、領域（エリア）Ａの画素レベルは「４０」、領域（エリア）Ｂの画素レベルは「５５」、領域（エリア）Ｃの画素レベルは「１００」などのように、領域単位で画素レベルがランダムに生成される。上記の場合には、領域（エリア）Ａに属する周辺画素ｉ００、ｉ０１のレベルは「４０」であり、領域（エリア）Ｂに属する周辺画素ｉ０２〜ｉ０９、補間画素ｏ００〜ｏ０３のレベルは「５５」であり、領域（エリア）Ｃに属する周辺画素ｉ１０〜ｉ１５、補間画素ｏ０４のレベルは「１００」であることを意味する。

そして、ステップＳ３０２で各領域単位で設定された周辺画素の画素データが、第１のニューラルネットワーク部１０１内のニューラルネットワークに入力され、その入力値に対応したニューラルネットワークの出力値が出力される。第１のニューラルネットワーク部１０１に入力された周辺画素の画素データと、ステップＳ３０２での補間画素ｏ０〜ｏ４の画素データとの関係に基づいて、ニューラルネットワークの学習が実行されていく（ステップＳ３０３）。

すなわち、領域（エリア）Ａに属する周辺画素ｉ００、ｉ０１の画素レベルは「４０」、領域（エリア）Ｂに属する周辺画素ｉ０２〜ｉ０９、補間画素ｏ００〜ｏ０３のレベルは「５５」、領域（エリア）Ｃに属する周辺画素ｉ１０〜ｉ１５、補間画素ｏ０４のレベルは「１００」となり、第１ニューラルネットワーク部１０１内のニューラルネットワークから、それまでに設定された重みに基づいて出力値が出力される。そして、補間画素ｏ００〜ｏ０３に係る出力値と補間画素ｏ００〜ｏ０３の画素レベル「５５」との差や、補間画素ｏ０４に係る出力値と補間画素ｏ０４の画素レベル「１００」との差が小さくなるように重みが計算、変更される。

また、上述のステップＳ３０１〜Ｓ３０３の処理による学習は、例えば、図５Ａ〜図５Ｄに図示されているような様々な分割例に関して繰り返し行われる。その結果、様々な周辺画素の画素データの組み合わせに対して学習が行われる。なお、上述のステップＳ３０１〜Ｓ３０３の処理による学習は、例えばあらかじめ定められた所定の学習回数だけ行われ（ステップＳ３０４）、第１のニューラルネットワーク部１０１内のニューラルネットワークが学習によって徐々に構築されていく。

以上、説明したように、第１のニューラルネットワーク部１０１では、斜めの線分によって分割された各領域に関する補間パターンが効率的に学習されて、ニューラルネットワークが構築されるので、水平方向及び垂直方向のそれぞれに対して傾きの小さな斜めの線分のエイリアシングが少ない自然な補間が可能になる。

次に、本発明の実施の形態における第２のニューラルネットワーク部１０２の学習動作の一例について説明する。図６は、本発明の実施の形態において、第２のニューラルネットワーク部の学習動作の一例を説明するためのフローチャートである。

第２のニューラルネットワーク部１０２は、学習の繰り返し回数を管理するカウンタを有しており、学習動作の開始と共に、まずカウンタｋの値をリセット（ｋ＝０）する（ステップＳ４０１）。

第２のニューラルネットワーク部１０２は、このカウンタｋの値に基づいて異なる処理を行う。すなわち、第２のニューラルネットワーク部１０２は、カウンタｋの値の偶奇を判断し、カウンタｋが偶数の場合（ただし、ここではｋ＝０は偶数と判断されるものとする）には、上述の第１のニューラルネットワーク部１０１における処理（図３のステップＳ３０１、Ｓ３０２）と同様に、斜めの線分による補間で用いたパターンの信号を生成して設定するとともに（ステップＳ４０３、Ｓ４０４）、出力側の教師信号として『１』を与えて、ニューラルネットワークを学習させる（ステップＳ４０５）。そして、カウンタｋを１つインクリメント（ｋ＝ｋ＋１）して（ステップＳ４０６）、カウンタｋが所定の回数に達しているか否かを判断し（ステップＳ４０８）、カウンタｋが所定の回数に達していない場合には、再びステップＳ４０２に戻る。

一方、カウンタｋが奇数の場合には、入力信号（１６値）すべてを乱数発生させた０から２５５までの画素レベルに設定し、出力側の教師信号として『０』を与えて、ニューラルネットワークを学習させる（ステップＳ４０９）。そして、カウンタｋを１つインクリメント（ｋ＝ｋ＋１）して（ステップＳ４０６）、カウンタｋが所定の回数に達しているか否かを判断し（ステップＳ４０８）、カウンタｋが所定の回数に達していない場合には、再びステップＳ４０２に戻る。また、カウンタｋが所定の回数に達した場合には、学習動作は終了となる。

このように、第２のニューラルネットワーク部１０２は、斜めの線分による補間に対して『１』の出力信号を、ランダムパターンに対して『０』の出力信号をニューラルネットワークに交互に学習させることによって、第１のニューラルネットワーク部１０２による入力信号パターンに対する適合性を判定する峻別能力を持つことが可能になる。すなわち、第２のニューラルネットワーク部１０２は、第１のニューラルネットワーク部１０１によるＮＮ補間結果の適合性が高いと判定できる場合には、『１』に近い値の出力信号を出力し、第１のニューラルネットワーク部１０１によるＮＮ補間結果の適合性が低いと判定できる場合には、『０』に近い値の出力信号を出力する。

そして、第２のニューラルネットワーク部１０２からの出力信号は混合比決定部１０４に供給され、この出力信号に基づいて、混合比決定部１０４で、ＮＮ補間結果とバイキュービック補間結果の混合比が決定される。例えば、混合比決定部１０４は、第２のニューラルネットワーク部１０２から出力信号の値『ｍ』（ただし、０≦ｍ≦１）を受けた場合、各補間画素に関して『ｍ』を内分比として用い、（１−ｍ）×｛ＮＮ補間結果｝＋ｍ×｛バイキュービック補間結果｝を補間結果として出力することが可能である。なお、ＮＮ補間結果とバイキュービック補間結果との混合は、上記の内分を用いた演算に限定されるものではなく、任意の混合方法を用いることが可能である。

以上、説明したように、第２のニューラルネットワーク部１０２では、第１のニューラルネットワーク部１０１によるＮＮ補間結果の適合性を判定するニューラルネットワークが構築され、ＮＮ補間結果の適合性（峻別結果）が出力されるようになる。その結果、第２のニューラルネットワーク部１０２からの峻別結果に基づいて、混合比決定部１０４が、第１のニューラルネットワーク部１０１によるＮＮ補間結果と、バイキュービック補間処理部１０３によるバイキュービック補間結果とを適切な混合比で混合することが可能となり、自然で高品位な補間画像を得ることが可能となる。

なお、上述の実施の形態では、混合比決定部１０４から、第１のニューラルネットワーク部１０１によるＮＮ補間結果と、バイキュービック補間処理部１０３によるバイキュービック補間結果とが混合されて出力される場合について説明しているが、第２のニューラルネットワーク部１０２から出力されるＮＮ補間結果の適合性に基づいて、第１のニューラルネットワーク部１０１によるＮＮ補間結果、及びバイキュービック補間処理部１０３によるバイキュービック補間結果のいずれか一方が選択され、補間結果として出力されるようにしてもよい。また、上述の実施の形態では、第１のニューラルネットワーク部１０１による画像処理方式とは異なる画像処理方式によって補間画素の画素データを計算する画像処理部として、バイキュービック補間法を実行するバイキュービック画像処理部１０３が設けられているが、必ずしもバイキュービック補間法に限定されるものではなく、他の任意の画像補間方式を実行することが可能な画像処理部が設けられてもよい。

なお、上述の実施の形態では、本発明に係る画像処理装置の機能がブロックによって図示されているが、これらの各機能はハードウェア及び／又はソフトウェア（プログラム）によって実現可能である。また、上述の説明で用いた各フローチャートの処理は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）に所定のプログラムを実行させることによって実現することも可能である。また、本発明に係る画像処理装置の機能を実現するプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよく、また、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明は、ニューラルネットワークを効果的に利用して、画像の処理を行うことを可能にするという効果を有しており、画像処理技術（特に、主に画像の解像度や倍率を変更するための画像補間技術）に適用可能である。

本発明の実施の形態における画像処理装置の構成の一例を示すブロック図である。本発明の実施の形態における画像処理装置に入力される周辺画素と、同画像処理装置から出力される補間画素の一例を模式的に示す図である。本発明の実施の形態において、第１のニューラルネットワーク部の学習動作の一例を説明するためのフローチャートである。本発明の実施の形態において、人工的な生成パターンで分割された領域における入出力データの組み合わせの一例を示す図である。本発明の実施の形態において、入力画素に対する分割例の第１の例を示す図である。本発明の実施の形態において、入力画素に対する分割例の第２の例を示す図である。本発明の実施の形態において、入力画素に対する分割例の第３の例を示す図である。本発明の実施の形態において、入力画素に対する分割例の第４の例を示す図である。本発明の実施の形態において、第２のニューラルネットワーク部の学習動作の一例を説明するためのフローチャートである。

符号の説明

１０１第１のニューラルネットワーク部（第１のＮＮ部）
１０２第２のニューラルネットワーク部（第２のＮＮ部）
１０３バイキュービック補間処理部
１０４混合比決定部

Claims

複数の画素の画素データを入力値とし、前記複数の画素を補間する補間画素の画素データを出力値とする画像処理装置であって、
前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第１画素データを出力する第１ニューラルネットワークで構成される手段であり、前記第１ニューラルネットワークは、あらかじめ生成されている複数の画素の画素データと、前記複数の画素の画素データに対応する補間画素の画素データとの関係が学習されているニューラルネットワークである第１画像処理手段と、
前記第１画像処理手段とは異なる画像処理を実行し、前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第２画素データを出力する第２画像処理手段と、
前記複数の画素の画素データに対する前記第１画像処理手段による画像処理の適合性を判断して、前記第１画像処理手段の適合性を示す値を出力する第２ニューラルネットワークで構成される手段であり、前記第２ニューラルネットワークは、前記第１ニューラルネットワークの学習に用いられた前記あらかじめ生成されている複数の画素の画素データと、前記第１ニューラルネットワークが学習済みであることを示す第１の特定値との関係があらかじめ学習されているとともに、ランダムに生成される複数の画素の画素データと、前記第１ニューラルネットワークによって学習済みではないことを示す特定の値との関係が学習されているニューラルネットワークである適合性判断手段と、
前記適合性判断手段から出力される前記第１画像処理手段の適合性を示す値に基づいて、前記第１画像処理手段から出力される前記第１画素データと、前記第２画像処理手段から出力される前記第２画素データとを混合し、前記複数の画素を補間する補間画素の画素データを前記出力値として出力する画素値混合手段とを、
有する画像処理装置。
複数の画素の画素データを入力値とし、前記複数の画素を補間する補間画素の画素データを出力値とする画像処理方法をコンピュータに実行させる画像処理プログラムであって、
前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第１画素データを出力する第１ニューラルネットワークで構成される第１画像処理機構を実現する第１画像処理機構実現ステップと、
前記第１画像処理機構が、あらかじめ生成されている複数の画素の画素データと、前記複数の画素の画素データに対応する補間画素の画素データとの関係を学習する第１学習ステップと、
前記第１画像処理手段とは異なる画像処理を実行し、前記複数の画素の画素データに対して、前記複数の画素を補間する補間画素の第２画素データを出力する第２画像処理機構を実現する第２画像処理機構実現ステップと、
前記複数の画素の画素データに対する前記第１画像処理機構による画像処理の適合性を判断して、前記第１画像処理機構の適合性を示す値を出力する第２ニューラルネットワークで構成される適合性判断機構を実現する適合性判断機構実現ステップと、
前記適合性判断機構が、前記第１ニューラルネットワークの学習に用いられた前記あらかじめ生成されている複数の画素の画素データと、前記第１ニューラルネットワークが学習済みであることを示す第１の特定値との関係があらかじめ学習されているとともに、ランダムに生成される複数の画素の画素データと、前記第１ニューラルネットワークが学習済みではないことを示す第２の特定値との関係を学習する第２学習ステップと、
前記適合性判断機構から出力される前記第１画像処理機構の適合性を示す値に基づいて、前記第１画像処理機構から出力される前記第１画素データと、前記第２画像処理機構から出力される前記第２画素データとを混合し、前記複数の画素を補間する補間画素の画素データを前記出力値として出力する画素値混合ステップとを、
有する画像処理方法をコンピュータに実行させる画像処理プログラム。