JP2021009543A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】幾何変形処理において、画質劣化を抑制しつつ、モアレの発生を抑制することができる画像処理装置を提供する。【解決手段】入力画像を複数の画像片に細分化する画像細分化部２０１と、画像片に対する幾何変形処理によるモアレの発生程度を学習済みであって、入力画像の画像片が入力され、入力された該画像片の幾何変形処理によるモアレの発生程度を出力する畳み込みニューラルネットワーク（ＣＮＮ）部２０２を有し、画像片ごとにモアレの発生程度を取得できるようにする。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

入力画像と表示画像に解像度の違いがある場合、拡大縮小処理が行われる。また、プロジェクタ等の投影装置においては、スクリーンに表示する投影画像が台形状になることを防止するために、キーストーン変形処理とも呼ばれる台形補正処理が行われる。このような解像度の拡大縮小処理や台形補正処理をまとめて幾何変形処理と呼ぶ。

幾何変形処理における画質上の課題としてモアレがある。モアレは原画像には存在しない縞状の模様であり、主に空間周波数の高い縞模様状の領域で起こる。モアレが発生すると非常に目立つので、大きな画質劣化となってしまう。ローパスフィルタ（ＬＰＦ）を用いて画像をぼかしてから幾何変形処理を行うと、モアレの発生を抑制することができるが、モアレが発生しない画像領域までぼかしてしまい、画質が劣化する。また、例えば、特許文献１には、モアレが発生しやすい周期性画像領域を見つけて、予め周期性画像領域をシフトしながら足し合わせる処理によってＬＰＦ処理と同様にぼかし、幾何変形処理によるモアレの発生を抑制する技術が提案されている。

特開２００１−８６３６８号公報

しかしながら、特許文献１に記載の技術では、モアレ発生部の検出に縞模様フィルタを用いているので、想定する縞模様の幅やピッチや角度から外れるような縞模様を検知することは難しい。また、原理的に縞模様以外のモアレ発生箇所を検出することができない。また、縞模様フィルタ以外の他の方法を用いても、モアレが発生する画像領域だけを高確度に予想することは難しかった。また、幾何変形処理後の画像からモアレが発生した画像領域を縞模様フィルタで検知して幾何変形処理前の画像領域をぼかす方法でも、同様にモアレが発生した画像領域を高確度に検知することは難しかった。

本発明は、このような事情に鑑みてなされたものであり、画質劣化を抑制しつつ、幾何変形処理におけるモアレの発生を抑制できるようにすることを目的とする。

本発明に係る画像処理装置は、入力画像を複数の画像片に細分化する細分化手段と、画像片に対する幾何変形処理によるモアレの発生程度を学習済みであって、前記入力画像の画像片が入力され、入力された該画像片の前記幾何変形処理によるモアレの発生程度を出力する予測手段とを有することを特徴とする。

本発明によれば、幾何変形処理において、画質劣化を抑制しつつ、モアレの発生を抑制することが可能となる。

本発明の実施形態における画像処理装置のハードウェア構成例を示す図である。 第１の実施形態における画像処理装置の構成例を示す図である。 第１の実施形態において適用されるローパスフィルタの一例を示す図である。 第１の実施形態におけるＣＮＮ部を説明する図である。 第１の実施形態における画像処理装置の動作例を示すフローチャートである。 第１の実施形態における学習フェーズを説明する図である。 第１の実施形態における学習フェーズの入出力画像データの一例を示す図である。 第１の実施形態におけるＣＮＮ部を説明する図である。 第１の実施形態における画像処理装置の動作例を示すフローチャートである。 第２の実施形態における画像処理装置の構成例を示す図である。 第３の実施形態における画像処理装置の構成例を示す図である。 第３の実施形態におけるＣＮＮ部を説明する図である。 第３の実施形態における学習フェーズを説明する図である。 第３の実施形態における学習フェーズの入出力画像データの一例を示す図である。 第４の実施形態における画像処理装置の構成例を示す図である。 第４の実施形態におけるＣＮＮ部を説明する図である。 第４の実施形態における画像処理装置の動作例を示すフローチャートである。 第４の実施形態における学習フェーズを説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

本発明の実施形態における画像処理装置は、機械学習を利用した画像処理装置であり、例えば畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用した画像処理装置である。機械学習は、主に学習フェーズと適用（推論）フェーズとに分類される。学習フェーズにおいて多くの学習セットを教師データとして与えることで、畳み込み演算(積和演算)における最適なフィルタ係数を探索する。適用フェーズにおいては、そのフィルタ係数を用いて未知のデータを推定することで、学習フェーズで与えた教師データに近い処理結果を得ることが可能となる。

本発明の一実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、表示部１０５、操作部１０６、通信Ｉ／Ｆ（インタフェース）１０７、及びバス１０８を有する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて画像処理装置１００の全体を制御することで、各実施形態における画像処理装置の各機能を実現する。なお、画像処理装置１００がＣＰＵ１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１０３は、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、画像データなどの種々のデータを記憶する。

表示部１０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザーが画像処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザーによる操作を受けて各種の指示をＣＰＵ１０１に入力する。通信Ｉ／Ｆ１０７は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１０７に接続される。また、例えば、画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１０７はアンテナを備える。バス１０８は、画像処理装置１００の各部をつないで情報を伝達する。

本実施形態では表示部１０５と操作部１０６が画像処理装置１００の内部に存在するものとするが、表示部１０５と操作部１０６との少なくとも一方が画像処理装置１００の外部に別の装置として存在していてもよい。この場合、ＣＰＵ１０１が、表示部１０５を制御する表示制御部、及び操作部１０６を制御する操作制御部として動作してもよい。

（第１の実施形態）
第１の実施形態について説明する。図２は、第１の実施形態における画像処理装置の構成例を示すブロック図である。図２には、画像処理装置における適用（推論）フェーズに係る構成を示している。第１の実施形態における画像処理装置は、画像細分化部２０１、畳み込みニューラルネットワーク（ＣＮＮ）部２０２、ローパスフィルタ（ＬＰＦ）部２０３、変換部２０４、混合部２０５、画像統合部２０６、及び幾何変形部２０７を有する。

画像細分化部２０１は、入力データである入力画像を受信し、受信した画像を小領域に細分化した複数の画像片に分解して順次出力する。画像片のサイズは、８×８〜１２８×１２８画素程度が好適な範囲である。本実施形態では、画像細分化部２０１は、例えば、入力画像を３２×３２画素に細分化を行うものとする。また、画像片同士が一部重なるようにずらして細分化しても良く、このようにした場合には画像片同士の境界部で発生するモアレを見落とすことを防止できる。詳細は後述するが、画像細分化部２０１は、後段のＣＮＮ部２０２の構成に応じた画像片に細分化する。

ＣＮＮ部２０２は、画像片に対するモアレ発生程度が学習されている畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。ＣＮＮ部２０２は、入力された画像片に対して幾何変形処理後にモアレが発生する確率を表すモアレ発生程度を出力する。つまりＣＮＮ部２０２は、モアレ検出部として機能する。ＬＰＦ部２０３は、画像片にローパスフィルタ（ＬＰＦ：Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理を行い、低周波画像片を出力する。変換部２０４は、モアレ発生程度を低周波画像混合比率に変換する。変換部２０４は、ＣＮＮ部２０２から出力されたモアレ発生程度に応じた低周波画像混合比率を出力する。

混合部２０５は、低周波画像混合比率に従い、ＬＰＦ部２０３の出力とオリジナルの画像片とを混合して出力する。画像統合部２０６は、混合部２０５から出力される画像片を１枚の画像に統合して出力する。幾何変形部２０７は、縮小、拡大あるいは台形変形などの指示された変形内容に応じて、画像統合部２０６の出力画像に対して幾何変形処理を行う。幾何変形処理は、例えば、アフィン変換や射影変換等のマッピング処理と、線形補間やキュービック補間等の画素補間処理によって行うものとする。

このようにして本実施形態における画像処理装置は、画像片に対するモアレ発生程度を学習済みのＣＮＮ部２０２を用いて、画像片ごとのモアレの発生程度を予測し、画像片をモアレの発生程度に応じて必要な量だけぼかした画像を幾何変形することができる。つまり、入力画像全体を一様にぼかすのではなく、入力画像においてモアレが発生する画像領域だけにボケを限定しながら、モアレの発生を抑制した幾何変形処理を行うことが可能になる。

図３は、第１の実施形態における画像処理装置のＬＰＦ部２０３において適用されるローパスフィルタの一例を示す図である。ローパスフィルタは、例えば、ガウスフィルタ又は平均値フィルタを用いることで構成できる。図３（Ａ）には３×３画素サイズのガウスフィルタを示しており、図３（Ｂ）には３×３画素サイズの平均値フィルタを示している。また、図３（Ｃ）には５×５画素サイズのガウスフィルタを示しており、図３（Ｄ）には５×５画素サイズの平均値フィルタを示している。

図３（Ａ）、図３（Ｂ）、図３（Ｃ）、図３（Ｄ）の順で、ローパスフィルタのカットオフ周波数が低くなる。ローパスフィルタのカットオフ周波数が低いほど、フィルタ処理後の画像として、ぼける度合いを強くした低周波画像が出力される。このように、ローパスフィルタのサイズならびに各画素のフィルタ係数、あるいはローパスフィルタを通した画像片とオリジナルの画像片との混合比率を変えることによって、ボケの強度を変えることができる。本実施形態では、混合比率によるローパスフィルタ処理の強度の調整例を説明する。

幾何変形処理による縮小率が、画像の全範囲において０．５倍より小さくならないときは、隣接した画素を参照する３×３画素サイズのローパスフィルタを用いることができる。例えば、モアレ発生程度が１．０の画像で、図３（Ａ）に示したフィルタを用いた低周波画像片の比率を１．０、オリジナルの画像片の比率を０．０とすればモアレの発生を防げる場合、変換部２０４の変換比率は１倍（スルー）とすればよい。また、モアレ発生程度が１．０の画像で、図３（Ｂ）に示したフィルタを用いた低周波画像片の比率を０．５、オリジナルの画像片の比率を０．５とすればモアレの発生を防げる場合、変換部２０４の変換比率は０．５倍とすればよい。あるいは、単純な乗算（倍数）とせずに、非線形なテーブル等を用いて変換することで、低周波画像の混合比率を非線形に設定することが可能となり、ぼかす度合いをモアレ発生程度に対して非線形に調整することが可能となる。

画像の幾何変形処理による縮小率が、一部の領域でも０．５倍以下になるときは、５×５画素のサイズ以上のＬＰＦを用いる必要がある。必要なフィルタサイズの最小値は、幾何変形処理の縮小率の仕様によって予め決まる。必要なフィルタサイズの最小値以上であれば、大きなサイズのローパスフィルタを用いてもかまわない。フィルタサイズが大きくなるとローパスフィルタ処理によってぼかす強度が強くなるので、その分だけ、変換部２０４の変換比率を小さくする。

このように本実施形態では、フィルタの強度の違いに応じて、モアレ発生程度に応じた必要十分なぼかし量になるように、変換部２０４の変換比率を適切に設定する。以上、混合比率を変える例で示したが、必要十分なぼかし量を得られさえすれば、他の方法でも良い。前述したように、ローパスフィルタのサイズや各フィルタ係数を画像片ごとに細かく変えることによっても良いし、画像の高周波領域を減じるなどの方法でも良い。

図４は、第１の実施形態における適用フェーズでのＣＮＮ部２０２を説明する図である。図４（Ａ）に示すように、畳み込みニューラルネットワーク（ＣＮＮ）は、入力画像を入力する入力層４０１、畳み込み（積和）フィルタに依る特徴抽出を行う隠れ層４０２、特徴に応じた認識や結合等の処理を行う結合層４０３、及び出力層４０４を有する。隠れ層４０２では、畳み込み演算処理、非線形変換（ＲｅＬＵ）処理、及びプーリング処理等が実施され、結合層４０３では、全結合（再構築）処理やドロップアウト処理等が実施される。また、図４（Ｂ）に示すように、ＣＮＮ部４２０は、入力画像４１１に対する各種処理を行うためのフィルタ等を有している。例えば、隠れ層には、平滑化フィルタ４２１、エッジの縦横相関の特徴を検出するためのエッジ抽出フィルタ４２２、周辺近傍の画素の変化量の特徴を取得するための画素勾配抽出等の畳み込みフィルタ４２３、及び相関度算出処理４２４等が含まれる。また、結合層において、畳み込みフィルタの抽出した特徴及び画素の相関度に基づいてフィルタの入力ゲインを調整し、畳み込み計算結果の結合処理４２５を行うことでモアレ発生程度４２６を生成する。

次に、第１の実施形態における画像処理装置の適用フェーズにおける動作について説明する。図５は、第１の実施形態における画像処理装置の動作例（適用フェーズ）を示すフローチャートである。
ステップＳ５０１にて、学習フェーズでの学習によって得られたＣＮＮのフィルタ係数がＣＮＮ部２０２に設定される。
次に、ステップＳ５０２にて、画像細分化部２０１が、入力画像を小領域に細分化して画像片に分解する。画像細分化部２０１により細分化された画像片は、ＣＮＮ部２０２、ＬＰＦ部２０３、及び混合部２０５に出力される。

ステップＳ５０３にて、ＬＰＦ部２０３が、入力される画像片に対しローパスフィルタ処理を行い、低周波画像片を得る。
また、ステップＳ５０４にて、ＣＮＮ部２０２が、設定されたフィルタ係数に従って入力された画像片に対して認識処理を実施し、画像片に対するモアレ発生程度を生成し変換部２０４に出力する。
次に、ステップＳ５０５にて、変換部２０４が、入力されるモアレ発生程度を混合比率に変換する。変換部２０４で変換して得られた混合比率は、混合部２０５に出力される。
なお、ステップＳ５０３の処理と、ステップＳ５０４及びＳ５０５の処理との実行順序は順不同であり、また並列して行ってもよい。

次に、ステップＳ５０６にて、混合部２０５が、入力される混合比率に応じて、ステップＳ５０３において得られた低周波画像片と、ステップＳ５０１において細分化されたオリジナルの画像片とを混合し、混合比率に従って混合した画像片を得る。
次に、ステップＳ５０７にて、画像統合部２０６が、ステップＳ５０６において得られた混合した画像片を統合して１枚の画像を得る。
次に、ステップＳ５０８にて、幾何変形部２０７が、ステップＳ５０７において統合化された画像に対して、設定された変形指示に応じた幾何変形処理を行い、幾何変形した画像を出力する。

以上のようにして、画像片に対するモアレ発生程度を学習済みのＣＮＮを用いて、入力画像を細分化した画像片ごとのモアレの発生程度を予測し、画像片をモアレの発生程度に応じてぼかして画像を幾何変形することができる。このように、入力画像においてモアレが発生する画像領域だけをぼかすことで、幾何変形処理において、画質劣化を抑制しつつ、モアレの発生を抑制することが可能になる。

図６は、第１の実施形態における画像処理装置での学習フェーズを説明する図である。教師画像である変形前画像片６０１に、図２に示した幾何変形部２０７と同様の幾何変形部６０２が指定された各種変形内容に応じた幾何変形処理を行い、変形後画像片６０３を得る。この変形後画像片６０３に基づいて教師データであるモアレ発生程度を得る。例えば、変形後画像片６０３をモニターに表示させて作業者がモアレの有無を確認することによってモアレが発生した枚数を計測し、全体の枚数で割って計算された確率をモアレ発生程度とする。なお、この時の全体の枚数は、確率が計算できるように４枚以上２０枚以下ぐらいが望ましい。このモアレ発生程度を得る過程の具体例は、図７を用いて後述する。

そして、学習フェーズ（学習中）のＣＮＮ部６０４に、教師画像となる変形前画像片６０１と、教師データとして幾何変形処理後の画像片にモアレが発生した確率であるモアレ発生程度（確率）との組み合わせを入力する。ＣＮＮ部６０４には、変形前画像片６０１とモアレ発生程度（確率）との組み合わせを大量に入力する。例えば、ＣＮＮ部６０４に入力する変形前画像片６０１の枚数は、少なくとも１０００枚以上、数万枚のオーダーが望ましい。

学習フェーズにおいては、学習中のＣＮＮ部６０４が演算して得られるモアレ発生程度と、入力した教師データであるところのモアレ発生程度の両者の差分を誤差とする。その誤差を図４に示したＣＮＮ中の各層のフィルタに逆伝播して、各層のフィルタ係数を微修正していく。差分（誤差）が十分に小さくなって、学習が終了した時の各層のフィルタ係数を学習データ保持部６０５に記憶し、適用フェーズのＣＮＮ部２０２で用いる。

図７に学習フェーズにおける入出力画像データの一例を示す。図７において、図６に示した構成要素と同一の構成要素には同一の符号を付している。教師画像である変形前画像片６０１を、変形内容を指示しながら幾何変形部６０２に入力する。この時の幾何変形部６０２での幾何変形処理は、適用フェーズと同じ変形処理方法及び同じ補間処理方法を行うものであることが望ましい。

例えば、本実施形態における表示部１０５がディスプレイやデジタルカメラにおけるディスプレイとすると、幾何変形処理は拡大処理又は縮小処理だけである場合にあたり、拡大処理又は縮小処理のみを行った場合のモアレ発生程度を教師データとして求める。本実施形態では、縮小率０．７倍、縮小率０．９倍、拡大率１．３倍の処理を実施するものとして説明する。アスペクト比一定で縦横、横方向のみ、縦方向のみの３種類の処理をそれぞれ行うものとすると、合計で９種類の変形後画像片７０１が出力される。モアレ発生程度は、この９種類の変形後画像片７０１に対し、何枚の画像片にモアレが発生しているかを数えることで求める。モアレが発生している画像片の数が１枚であれば、確率は１／９なので、モアレ発生程度を０．１１とする。３枚であれば、発生程度は０．３３とする。

また、表示部１０５として例えば投影装置に適用する場合、変形内容として拡大縮小もあるが、キーストーン変形処理が主となるので、幾何変形部６０２にてキーストーン変形処理を行い、キーストーン変形処理した変形後画像片７０２を得る。本実施形態においては、画像片の４隅のうち、１隅のみ動かした４枚と２隅のみ動かした４枚の計８種類の変形後画像片７０２が出力されるものとする。この時の変形程度は、それぞれの４枚の中で異なる変形程度としておく方が、発生確率をより忠実に示すので望ましい。この８種類の変形後画像片７０２に対し、何枚の画像片にモアレが発生しているかを数える。モアレが発生している画像片の数が１枚であれば、確率は１／８なので、モアレ発生程度を０．１２５とする。３枚であれば、発生程度は０．３７５とする。

なお、発生したモアレの目立ちやすさによって、モアレが発生した画像片１枚あたりの重み付けを調整しても良い。例えば、目立つモアレは普通のモアレの２倍とし、微かしか目立たないモアレは普通のモアレの半分である０．５倍とする。そうすれば、モアレが発生した画像片が同じ２枚でも、目立つ場合には確率が４／８で発生程度は０．５となり、目立たないモアレの場合には確率が１／８で発生程度は０．１２５となる。ただし、重み付け調整により発生程度が１．０を超える場合には、１．０を上限する。このようにすれば、適用フェーズにおいて目立つモアレは低周波画像比率を上げて抑制し、僅かなモアレは少ない低周波画像比率で抑制できるので、画像の先鋭度をほとんど落とさずにモアレを抑制して幾何変形を行うことができるので、さらに好適である。

なお、実際に使用する幾何変形処理の内容によって、変形する画像片の種類や枚数を変更することが可能である。例えば、拡大処理とキーストーン変形処理との両方を行う場合、拡大処理した画像片３枚と、キーストーン変形処理した画像片８枚を用いて、モアレの発生程度を決定すればよい。曲面への幾何変換処理の場合も同様に、曲面に変換処理した画像片を用いればよい。

図８は、第１の実施形態における学習フェーズでのＣＮＮ部を説明する図である。基本的な構成は、図４に示した適用フェーズにおける構成と同様である。図８（Ａ）に示すように、畳み込みニューラルネットワーク（ＣＮＮ）は、入力画像を入力する入力層８０１、畳み込み（積和）フィルタに依る特徴抽出を行う隠れ層８０２、特徴に応じた認識や結合等の処理を行う結合層８０３、及び出力層８０４を有する。また、図８（Ｂ）に示すように、ＣＮＮ部８２０は、入力画像８１１に対する各種処理を行うためのフィルタ等を有している。例えば、隠れ層には、平滑化フィルタ８２１、エッジの縦横相関の特徴を検出するためのエッジ抽出フィルタ８２２、周辺近傍の画素の変化量の特徴を取得するための画素勾配抽出等の畳み込みフィルタ８２３、及び相関度算出処理８２４等が含まれる。また、結合層において、畳み込みフィルタの抽出した特徴及び画素の相関度に基づいてフィルタの入力ゲインを調整し、畳み込み計算結果の結合処理８２５を行うことでモアレ発生程度８２６を生成する。

ただし、学習フェーズでは、最適なフィルタ係数を見つけるために発生程度比較部８３１から受信する誤差を逆伝搬するバックプロパゲーションの機能が活性化される。生成した補間データに対する誤差が小さくなるようにＣＮＮ部８２０内部の各層のフィルタ係数が更新される。学習セットを増やし、繰り返し学習を重ねることでフィルタ係数の最適化を実施し、最適化したＣＮＮのフィルタ係数を学習データ保持部６０５へ登録する。

次に、第１の実施形態における画像処理装置の学習フェーズにおける動作について説明する。図９は、第１の実施形態における画像処理装置の動作例（学習フェーズ）を示すフローチャートである。
ステップＳ９０１にて、ＣＮＮの初期のフィルタ係数がＣＮＮ部６０４に設定される。初期のフィルタ係数は、０．０１〜０．５の範囲とし、例えば、０．１や０．２とすればよい。

次に、ステップＳ９０２にて、教師用画像となる細分化された画像片６０１を１枚、画像処理装置に入力する。
ステップＳ９０３にて、ＣＮＮ部６０４が、ステップＳ９０２において入力された画像片６０１に対して畳み込みニューラルネットワーク処理を行う。
そして、次のステップＳ９０４にて、ＣＮＮ部６０４が、処理結果である画像片６０１に対するモアレ発生程度を出力する。

次に、ステップＳ９０５にて、ＣＮＮ部６０４が、ステップＳ９０３での処理で得られたモアレ発生程度と、教師データであるモアレ発生程度との誤差を算出する。
次に、ステップＳ９０６にて、ＣＮＮ部６０４が、ステップＳ９０５において算出された誤差を逆伝搬し誤差が小さくなるように各層のフィルタ係数を更新する。なお、フィルタ係数は、一度には若干しか変更せず、回数をかけて徐々に誤差が小さくなるようにしていく。例えば、誤差の数十分の１だけ係数を変更すればよい。

次に、ステップＳ９０７にて、教師画像としての細分化された画像片６０１が残っているか否かを判定する。教師画像としての画像片６０１が残っていれば、ステップＳ９０２へ戻り、次の画像片を入力画像片としてステップＳ９０２以降の処理を実行する。以後、教師画像としての細分化された画像片がなくなるまで繰り返す。
学習に使用するために用意した教師用画像片についての処理が終了し、教師画像としての画像片６０１が残っていなければ、ステップＳ９０８へ進む。ステップＳ９０８にて、ＣＮＮ部６０４が、学習によって得られたフィルタ係数を学習データ保持部６０５へ登録し、学習フェーズにおける動作を終了する。この学習データ（フィルタ係数）を適用フェーズで使用する。

第１の実施形態によれば、画像片に対するモアレ発生程度を学習済みのＣＮＮを用いて、入力画像を細分化した画像片ごとのモアレの発生程度を予測し、画像片をモアレの発生程度に応じてぼかして画像を幾何変形することができる。このように、モアレ発生領域の学習及びモアレ発生の抑制にＣＮＮを適用し、幾何変形処理において、画質劣化を抑制しつつ、モアレの発生を抑制することが可能になる。なお、モアレの発生を抑制するために画像片をぼかす方法は、ローパスフィルタを使用する方法に限定されるものではなく、他の方法でもよい（以下に説明する第２〜第４の実施形態でも同様である）。

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態では、適用（推論）フェーズにおける画像処理装置の変換部に、モアレの発生に影響を及ぼす縮小率（変形率）を入力する。なお、第２の実施形態における画像処理装置での学習フェーズは、第１の実施形態と同様であるので説明は省略する。

図１０は、第２の実施形態における画像処理装置の構成例を示すブロック図である。図１０には、画像処理装置における適用（推論）フェーズに係る構成を示している。図１０において、図２に示した構成要素と同一の構成要素には同一の符号を付し、重複する説明は省略する。第２の実施形態における画像処理装置は、画像細分化部２０１、ＣＮＮ部２０２、ＬＰＦ部２０３、変換部１００１、混合部２０５、画像統合部２０６、及び幾何変形部２０７を有する。

変換部１００１は、モアレ発生程度と画像の縮小率を低周波画像混合比率に変換する。変換部１００１は、入力される画像の縮小率及びＣＮＮ部２０２から出力されたモアレ発生程度に応じた低周波画像混合比率を出力する。画像片を縮小する場合、特に縮小率（変形率）が小さいと、画像の空間周波数が高くなるのでモアレが発生しやすい。そこで、変換部１００１は、ＣＮＮ部２０２から出力されるモアレ発生程度（発生確率）と、幾何変形処理における縮小率との２つの要素を入力とし、低周波画像混合比率を出力する。ここで、縮小率は、元の画像サイズに対する縮小後の画像サイズを示しており、縮小率が小さいことは画像が大幅に縮小されることを意味する。

一例として、縮小率０．５倍の時に、モアレ発生程度１．０の画像片を低周波画像混合比率０．５に設定すればモアレの発生を抑制できる場合を説明する。混合比率はモアレ発生程度に対して比例し、縮小率に対して２倍に反比例するとし、上記数値を満足させるには、
低周波画像混合比率＝モアレ発生程度／（縮小率×４）
とすればよい。ただし、低周波画像混合比率の上限は１．０とする。

また、別の例として、縮小率０．３３倍の時に、モアレ発生程度１．０の画像片を低周波画像混合比率１．０に設定すればモアレの発生を抑制できる場合を説明する。この場合には、
低周波画像混合比率＝モアレ発生程度／（縮小率×３）
とすればよい。ただし、低周波画像混合比率の上限は１．０とする。

このように線形処理する場合には簡単な構成で実現可能であるが、変換部１００１での変換条件を細かく設定する場合には、モアレ発生程度と縮小率との２つの要素から、非線形な変換テーブルを用いて変換することで細かく対応できる。第２の実施形態によれば、画像片ごとのモアレ発生程度及び画像の縮小率によって、画像片をぼかす程度を変えているので、ボケの発生をより少なく画質劣化を抑制しながらモアレの発生を抑制することが可能となる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態においては、画像処理装置のＣＮＮ部に、変形前画像片とともに、モアレの発生に影響を与える画像片ごとの縮小率（変形率）を入力する。

図１１は、第３の実施形態における画像処理装置の構成例を示すブロック図である。図１１には、画像処理装置における適用（推論）フェーズに係る構成を示している。図１１において、図２に示した構成要素と同一の構成要素には同一の符号を付し、重複する説明は省略する。第３の実施形態における画像処理装置は、画像細分化部２０１、ＣＮＮ部１１０１、ＬＰＦ部２０３、変換部２０４、混合部２０５、画像統合部２０６、及び幾何変形部２０７を有する。

ＣＮＮ部１１０１は、縮小率を加味したＣＮＮ部であり、変形前画像片及び縮小率を入力としモアレ発生程度を出力とする。本実施形態では、縮小率を加味したＣＮＮ部１１０１を用いて、画像片ごとのモアレ発生程度を出力する。本実施形態によれば、モアレが発生しやすい小さい縮小率ほどモアレ発生程度が大きくなることで、低周波画像混合比率を大きくして、必要に応じた画質劣化に留め、モアレの発生を抑制することができる。

図１２は、第３の実施形態における適用フェーズでのＣＮＮ部１００１を説明する図である。図１２（Ａ）に示すように、畳み込みニューラルネットワーク（ＣＮＮ）は、入力層１２０１、畳み込み（積和）フィルタに依る特徴抽出を行う隠れ層１２０２、特徴に応じた認識や結合等の処理を行う結合層１２０３、及び出力層１２０４を有する。第３の実施形態におけるＣＮＮでは、結合層１２０３に対して縮小率ｋを入力することにより、縮小率ごとのモアレ発生程度を生成する。

また、図１２（Ｂ）に示すように、ＣＮＮ部１２２０は、入力画像１２１１に対する各種処理を行うためのフィルタ等を有している。例えば、隠れ層には、平滑化フィルタ１２２１、エッジの縦横相関の特徴を検出するためのエッジ抽出フィルタ１２２２、周辺近傍の画素の変化量の特徴を取得するための画素勾配抽出等の畳み込みフィルタ１２２３、及び相関度算出処理１２２４等が含まれる。また、結合層において、畳み込みフィルタの抽出した特徴及び画素の相関度に基づいてフィルタの入力ゲインを調整し、縮小率１２１２を考慮した畳み込み計算結果の結合処理１２２５を行うことでモアレ発生程度１２２６を生成する。

図１３は、第３の実施形態における画像処理装置での学習フェーズを説明する図である。教師画像である変形前画像片１３０１に、図１１に示した幾何変形部２０７と同様の幾何変形部１３０２が指定された縮小率ｋを含む各種変形内容に応じた幾何変形処理を行い、変形後画像片１３０３を得る。この変形後画像片１３０３に基づいて教師データであるモアレ発生程度を得る。例えば、変形後画像片１３０３をモニターに表示させて作業者がモアレの有無を確認することによってモアレが発生した枚数を計測し、全体の枚数で割って計算された確率をモアレ発生程度とする。このモアレ発生程度を得る過程の具体例は、図１４を用いて後述する。

そして、学習フェーズ（学習中）のＣＮＮ部１３０４に、教師画像となる変形前画像片１３０１及び縮小率ｋと、教師データとして幾何変形処理後の画像片にモアレが発生した確率であるモアレ発生程度（確率）との組み合わせを入力する。ＣＮＮ部１３０４には、変形前画像片１３０１及び縮小率ｋとモアレ発生程度（確率）との組み合わせを大量に入力する。例えば、ＣＮＮ部１３０４に入力する変形前画像片１３０１の枚数は、少なくとも１０００枚以上、数万枚のオーダーが望ましい。

学習フェーズにおいては、学習中のＣＮＮ部１３０４が演算して得られるモアレ発生程度と、入力した教師データであるところのモアレ発生程度の両者の差分を誤差とする。その誤差を図１２に示したＣＮＮ中の各層のフィルタに逆伝播して、各層のフィルタ係数を微修正していく。差分（誤差）が十分に小さくなって、学習が終了した時の各層のフィルタ係数を学習データ保持部１３０５に記憶し、適用フェーズのＣＮＮ部１１０１で用いる。

図１４に学習フェーズにおける入出力画像データの一例を示す。図１４において、図１３に示した構成要素と同一の構成要素には同一の符号を付している。教師画像である変形前画像片１３０１を、縮小率ｋを含む変形内容を指示しながら幾何変形部１３０２に入力する。この時の幾何変形部１３０２での幾何変形処理は、適用フェーズと同じ変形処理方法及び同じ補間処理方法を行うものであることが望ましい。

例えば、表示部１０５がディスプレイやデジタルカメラにおけるディスプレイであれば、幾何変形処理は拡大処理又は縮小処理だけである場合にあたり、拡大処理又は縮小処理のみを行った場合のモアレ発生程度を教師データとして求める。本実施形態では、縮小率ｋ倍の処理を実施するものとして説明する。アスペクト比一定の縮小と、横方向のみの縮小と、縦方向のみの縮小との３種類の処理をそれぞれ行うものとすると、合計で３種類の縮小率ｋの変形後画像片１４０１が出力される。この３種類の変形後画像片１４０１に対し、何枚の画像片にモアレが発生しているかを数える。モアレが発生している画像片の数が１枚であれば、確率は１／３なので、モアレ発生程度を０．３３とする。３枚であれば、発生程度は１．０とする。

また、例えば表示部１０５として投影装置に適用する場合、変形内容がキーストーン変形処理となる。そこで、幾何変形部１３０２にて、縮小率ｋだけ、隅の位置を対角線上に縮小した点に移動するようなキーストーン変形処理を行い、縮小率ｋの変形後画像片１４０２を得る。本実施形態においては、画像片の４隅のうち、１隅のみ動かした４枚と２隅のみ動かした４枚の計８種類の変形後画像片１４０２が出力されるものとする。この８種類の変形後画像片１４０２に対し、何枚の画像片にモアレが発生しているかを数える。モアレが発生している画像片の数が１枚であれば、確率は１／８なので、モアレ発生程度を０．１２５とする。３枚であれば、発生程度は０．３７５とする。

なお、第１の実施形態と同様に、発生したモアレの目立ちやすさによって、モアレが発生した画像片１枚あたりの重み付けを調整しても良い。例えば、目立つモアレは普通のモアレの２倍とし、微かしか目立たないモアレは普通のモアレの半分である０．５倍とする。そうすれば、モアレが発生した画像片が同じ２枚でも、目立つ場合には確率が４／８で発生程度は０．５となり、目立たないモアレの場合には確率が１／８で発生程度は０．１２５となる。ただし、重み付け調整により発生程度が１．０を超える場合には、１．０を上限する。このようにすれば、適用フェーズにおいて目立つモアレは低周波画像比率を上げて抑制し、僅かなモアレは少ない低周波画像比率で抑制できるので、画像の先鋭度をほとんど落とさずにモアレを抑制して幾何変形を行うことができるので、さらに好適である。

また、第１の実施形態と同様に、実際に使用する幾何変形処理の内容によって、教師用の画像片の種類を変更することが可能である。また、曲面への幾何変換処理の場合も同様に、曲面に変換処理した画像片を用いればよい。

第３の実施形態によれば、縮小率を限定していることで、モアレ発生程度をより正確に得ることができるので、画質劣化やモアレの発生をより効果的に抑制することが可能である。

（第４の実施形態）
次に、第４の実施形態について説明する。第１〜第３の実施形態では、モアレの発生を発生前にＣＮＮで予測してモアレが発生することを抑制していた。本実施形態は、モアレの発生を発生後にＣＮＮで検出して、モアレが発生することを抑制することでも実現できる。また、第１〜第３の実施形態における学習フェーズでは、人が確認して幾何変形処理された出力画像片にモアレが発生している枚数を確認していた。第４の実施形態で説明するような、幾何変形によって発生したモアレを検知するＣＮＮを用いれば、モアレが発生した変形後画像片の枚数及び確率を自動的に計算することができ、人手を省くことができる。

第４の実施形態では、幾何変形処理後の画像片にモアレが発生しているか否かをＣＮＮによって検出して、ぼかす量を調整することで、モアレの発生を抑制する。図１４は、第４の実施形態における画像処理装置の構成例を示すブロック図である。図１４には、画像処理装置における適用（推論）フェーズに係る構成を示している。図１４において、図２に示した構成要素と同一の構成要素には同一の符号を付し、重複する説明は省略する。第４の実施形態における画像処理装置は、画像細分化部２０１、幾何変形部１５０１、ＣＮＮ部１５０２、ＬＰＦ部２０３、変換部１５０３、遅延部１５０４、混合部２０５、画像統合部２０６、及び幾何変形部２０７を有する。

幾何変形部１５０１は、入力される画像片に対して、幾何変形部２０７と同様の幾何変形処理を行う。幾何変形部１５０１は、予め設定された幾何変形内容に応じて幾何変形処理を行い、変形後画像片を出力する。ＣＮＮ部１５０２は、モアレ有無が学習されている畳み込みニューラルネットワーク（ＣＮＮ）であり、幾何変形処理された画像片におけるモアレの発生を検出する。ＣＮＮ部１５０２は、入力された変形後画像片に対するモアレの有無あるいはモアレの強弱を出力する。

変換部１５０３は、ＣＮＮ部１５０２から出力されたモアレの有無あるいは強弱に係る情報を低周波画像混合比率に変換する。モアレの有無あるいは強弱に係る情報は、例えば、モアレ発生有りを１．０、モアレ発生なしを０、弱い（微かな）モアレが発生する場合は０．５とする。変換部１５０３は、例えばモアレの有無あるいは強弱に係る情報が１．０の時に低周波画像混合比率を０．５とすればモアレの発生を抑制できる場合には、変換比率を０．５とすればよい。

遅延部１５０４は、画像細分化部２０１により細分化された変形前の画像片を記憶し、記憶した画像片を幾何変形部１５０１での幾何変形処理及びＣＮＮ部１５０２でのＣＮＮ処理にかかる時間だけ遅延させてから出力する。遅延部で幾何変形処理及びＣＮＮ処理の時間分だけ遅延されて出力された画像片は、ＬＰＦ部２０３及び混合部２０５に出力される。なお、混合部２０５を設けずに、低周波画像混合比率に基づいてＬＰＦ部２０３のフィルタ係数を変えて、ＬＰＦ部２０３の出力とオリジナルの画像片との混合を実現するようにしてもよい。

第４の実施形態においては、学習済みのＣＮＮ部１５０２を用いて、画像片ごとのモアレの発生の有無あるいは強弱を確認し、画像片を必要な量だけぼかした画像を幾何変形することができる。したがって、モアレが発生する領域だけにボケを限定しながら、画像にモアレの発生を抑制した幾何変形処理を行うことが可能になる。

図１６は、第４の実施形態における適用フェーズでのＣＮＮ部１５０２を説明する図である。図１６（Ａ）に示すように、畳み込みニューラルネットワーク（ＣＮＮ）は、入力層１６０１、畳み込み（積和）フィルタに依る特徴抽出を行う隠れ層１６０２、特徴に応じた認識や結合等の処理を行う結合層１６０３、及び出力層１６０４を有する。また、図１６（Ｂ）に示すように、ＣＮＮ部１６２０は、入力画像１６１１に対する各種処理を行うためのフィルタ等を有している。例えば、隠れ層には、平滑化フィルタ１６２１、エッジの縦横相関の特徴を検出するためのエッジ抽出フィルタ１６２２、周辺近傍の画素の変化量の特徴を取得するための画素勾配抽出等の畳み込みフィルタ１６２３、及び相関度算出処理１６２４等が含まれる。また、結合層において、畳み込みフィルタの抽出した特徴及び画素の相関度に基づいてフィルタの入力ゲインを調整し、畳み込み計算結果の結合処理１６２５を行うことでモアレの発生の有無あるいは強弱に係る情報１６２６を生成する。

次に、第４の実施形態における画像処理装置の適用フェーズにおける動作について説明する。図１７は、第４の実施形態における画像処理装置の動作例（適用フェーズ）を示すフローチャートである。
ステップＳ１７０１にて、学習フェーズでの学習によって得られたＣＮＮのフィルタ係数がＣＮＮ部１５０２に設定される。
次に、ステップＳ１７０２にて、画像細分化部２０１が、入力画像を小領域に細分化して画像片に分解する。画像細分化部２０１により細分化された画像片は、幾何変形部１５０１及び遅延部１５０４に出力される。
次に、ステップＳ１７０３にて、遅延部１５０４が、入力される画像片を一時的に記憶する。

ステップＳ１７０４にて、幾何変形部１５０１が、入力される画像片に対して、設定された変形指示に応じた幾何変形処理を行い、幾何変形した画像を出力する。
次に、ステップＳ１７０５にて、ＣＮＮ部１５０２が、設定されたフィルタ係数に従って入力された変形後画像片に対して認識処理を実施し、モアレ発生の有無あるいは強弱を認識する。
次に、ステップＳ１７０６にて、変換部１５０３が、入力されるモアレの発生の有無あるいは強弱に係る情報を混合比率に変換する。変換部１５０３で変換して得られた混合比率は、混合部２０５に出力される。

次に、ステップＳ１７０７にて、遅延部１５０４に一時的に記憶されていた画像片が読み出される。
次に、ステップＳ１７０８にて、ＬＰＦ部２０３が、入力される画像片に対しローパスフィルタ処理を行い、低周波画像片を得る。
次に、ステップＳ１７０９にて、混合部２０５が、入力される混合比率に応じて、ステップＳ１７０８において得られた低周波画像片と、ステップＳ１７０７において読み出されたオリジナルの画像片とを混合し、混合比率に従って混合した画像片を得る。

次に、ステップＳ１７１０にて、画像統合部２０６が、ステップＳ１７０９において得られた混合した画像片を統合して１枚の画像を得る。
ステップＳ１７１１にて、幾何変形部２０７が、ステップＳ１７１０において統合化された画像に対して、設定された変形指示に応じた幾何変形処理を行い、幾何変形した画像を出力する。

図１８は、第４の実施形態における画像処理装置での学習フェーズを説明する図である。変形前画像片１８０１に、図１５に示した幾何変形部２０７と同様の幾何変形部１８０２が指定された各種変形内容に応じた幾何変形処理を行い、変形後画像片１８０３を得る。第４の実施形態では、この変形後画像片１８０３を教師画像とするとともに、この変形後画像片１８０３に基づいて教師データであるモアレ発生の有無あるいは強弱に係る情報を得る。例えば、変形後画像片１８０３をモニターに表示させて作業者がモアレの有無及び強弱を確認する。

そして、学習フェーズ（学習中）のＣＮＮ部１８０４に、教師画像となる変形後画像片１８０３と、教師データとして用意したモアレ発生の有無あるいは強弱に係る情報との組み合わせを大量に入力する。例えば、ＣＮＮ部１８０４に入力する変形後画像片１８０３の枚数は、少なくとも１０００枚以上、数万枚のオーダーが望ましい。

学習フェーズにおいては、学習中のＣＮＮ部１８０４が演算して得られるモアレ発生の有無あるいは強弱に係る情報と、入力した教師データであるところのモアレ発生の有無あるいは強弱に係る情報の両者の差分を誤差とする。その誤差を図１６に示したＣＮＮ中の各層のフィルタに逆伝播して、各層のフィルタ係数を微修正していく。差分（誤差）が十分に小さくなって、学習が終了した時の各層のフィルタ係数を学習データ保持部１８０５に記憶し、適用フェーズのＣＮＮ部１５０２で用いる。

第４の実施形態における学習フェーズでのＣＮＮの構成例は、図１６に示したＣＮＮを図８に示したように逆伝播させたものであるので、詳細な説明は省略する。また、第４の実施形態における画像処理装置の学習フェーズにおける動作については、教師用画像を、幾何変形前の画像片から、幾何変形した後の画像片に変更したものとする点が異なり、他は第１の実施形態と同様であるので、詳細な説明は省略する。

第４の実施形態によれば、幾何変形処理した画像片におけるモアレ発生の有無あるいは強弱について学習済みのＣＮＮを用いて、入力画像を細分化した画像片ごとに発生するモアレを予測し、それに応じて画像片をぼかして画像を幾何変形することができる。このように、モアレの発生をＣＮＮを用いて学習させ、学習済みのＣＮＮを用いてモアレの発生を高確度に検知でき、幾何変形処理において、画質劣化を抑制しつつ、モアレの発生を抑制することが可能になる。また、第４の実施形態では、幾何変形処理が２回必要になり遅延が生じるが、幾何変形処理後の画像片を用いて、発生したモアレを検出するので、より確実にモアレの発生を抑制することができる。

なお、本発明は、ハードウェア回路として実現するだけでなく、フローチャートに示したようにコンピュータプログラムで処理すれば、ソフトウエアによって実現することも可能である。また、本発明による画像処理装置及び画像処理方法は、ディスプレイやプロジェクタ等の表示装置をはじめとして、プリンタやオフセット印刷装置、又はカメラやビデオカメラ等の撮影装置等、画像の解像度を変えたり形状を変形したりする装置に適用できる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２０１：画像細分化部 ２０２、１１０１、１５０２：畳み込みニューラルネットワーク（ＣＮＮ）部 ２０３：ローパスフィルタ部 ２０４、１００１、１５０２：変換部 ２０５：混合部 ２０６：画像統合部 ２０７、１５０１：幾何変形部 ６０２、１３０２、１８０２：幾何変形部 ６０４、１３０４、１８０４：畳み込みニューラルネットワーク（ＣＮＮ）部 ６０５、１３０５、１８０５：学習データ保持部 １５０４：遅延部

Claims (21)

1. 入力画像を複数の画像片に細分化する細分化手段と、
   画像片に対する幾何変形処理によるモアレの発生程度を学習済みであって、前記入力画像の画像片が入力され、入力された該画像片の前記幾何変形処理によるモアレの発生程度を出力する予測手段とを有することを特徴とする画像処理装置。
2. 前記入力画像の画像片ごとに、前記予測手段から出力される前記モアレの発生程度に基づいた強度でぼかした前記画像片を出力する出力手段と、
   前記出力手段から出力された前記画像片を統合して得られる画像に幾何変形処理を行う幾何変形手段とを有することを特徴とする請求項１記載の画像処理装置。
3. 前記出力手段は、
   前記入力画像の画像片にフィルタ処理を行うフィルタ手段と、
   前記細分化手段からの前記入力画像の画像片と、前記フィルタ手段からの前記入力画像の画像片とを、前記予測手段から出力される前記モアレの発生程度に基づいて混合して出力する混合手段とを有することを特徴とする請求項２記載の画像処理装置。
4. 前記フィルタ処理は、ローパスフィルタ処理であることを特徴とする請求項３記載の画像処理装置。
5. 前記強度は、画像の縮小率及び前記予測手段から出力される前記モアレの発生程度に基づいて変更することを特徴とする請求項２〜４の何れか１項に記載の画像処理装置。
6. 前記予測手段は、画像の縮小率がさらに入力され、入力された前記画像片及び前記画像の縮小率に応じた前記モアレの発生程度を出力することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記予測手段は、前記画像片に対するモアレの発生程度が学習されている畳み込みニューラルネットワークを用いることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 入力画像を複数の画像片に細分化する細分化手段と、
   幾何変形処理後の画像片に対するモアレの発生程度を学習済みであって、前記入力画像の前記幾何変形処理後の画像片が入力され、入力された該画像片のモアレの発生程度に基づいて該画像片における前記モアレの発生を検知する予測手段とを有することを特徴とする画像処理装置。
9. 前記入力画像の画像片ごとに、前記予測手段から出力される前記モアレの発生に係る情報に基づいた強度でぼかした前記画像片を出力する出力手段と、
   前記出力手段から出力された前記画像片を統合して得られる画像に幾何変形処理を行う幾何変形手段とを有することを特徴とする請求項８記載の画像処理装置。
10. 前記幾何変形処理は、前記入力画像に対する拡大処理、縮小処理、及びキーストーン変形処理の少なくとも１つの処理を含むことを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 入力画像を複数の画像片に細分化する細分化工程と、
    画像片に対する幾何変形処理によるモアレの発生程度を学習済みであって、前記入力画像の画像片が入力され、入力された該画像片の前記幾何変形処理によるモアレの発生程度を出力する予測工程とを有することを特徴とする画像処理方法。
12. 前記入力画像の画像片ごとに、前記予測工程にて出力される前記モアレの発生程度に基づいた強度でぼかした前記画像片を出力する出力工程と、
    前記出力工程にて出力された前記画像片を統合して得られる画像に幾何変形処理を行う幾何変形工程とを有することを特徴とする請求項１１記載の画像処理方法。
13. 前記出力工程は、
    前記入力画像の画像片にフィルタ処理を行うフィルタ工程と、
    前記細分化工程にて出力された前記入力画像の画像片と、前記フィルタ工程にて出力された前記入力画像の画像片とを、前記予測工程にて出力される前記モアレの発生程度に基づいて混合して出力する混合工程とを有することを特徴とする請求項１２記載の画像処理方法。
14. 前記フィルタ処理は、ローパスフィルタ処理であることを特徴とする請求項１３記載の画像処理方法。
15. 前記強度は、画像の縮小率及び前記予測工程にて出力される前記モアレの発生程度に基づいて変更することを特徴とする請求項１２〜１４の何れか１項に記載の画像処理方法。
16. 前記予測工程では、画像の縮小率がさらに入力され、入力された前記画像片及び前記画像の縮小率に応じた前記モアレの発生程度を出力することを特徴とする請求項１１〜１５の何れか１項に記載の画像処理方法。
17. 前記予測工程は、前記画像片に対するモアレの発生程度が学習されている畳み込みニューラルネットワークを用いることを特徴とする請求項１１〜１６の何れか１項に記載の画像処理方法。
18. 入力画像を複数の画像片に細分化する細分化工程と、
    幾何変形処理後の画像片に対するモアレの発生程度を学習済みであって、前記入力画像の前記幾何変形処理後の画像片が入力され、入力された該画像片のモアレの発生程度に基づいて該画像片における前記モアレの発生を検知する予測工程とを有することを特徴とする画像処理方法。
19. 前記入力画像の画像片ごとに、前記予測工程にて出力される前記モアレの発生に係る情報に基づいた強度でぼかした前記画像片を出力する出力工程と、
    前記出力工程にて出力された前記画像片を統合して得られる画像に幾何変形処理を行う幾何変形工程とを有することを特徴とする請求項１８記載の画像処理方法。
20. 前記幾何変形処理は、前記入力画像に対する拡大処理、縮小処理、及びキーストーン変形処理の少なくとも１つの処理を含むことを特徴とする請求項１１〜１９の何れか１項に記載の画像処理方法。
21. 請求項１１〜２０の何れか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。

Images