JP2019185817A - 画像処理装置及び画像処理方法、コンピュータプログラム - Google Patents

Abstract

【課題】画像の縮小・拡大や幾何変形等の変形処理ならびに、ＡＭスクリーニング処理ならびに、レジストレーション処理ならびに、撮影あるいは読み取りによるデジタル画像化処理を行っても、モアレおよびボヤケの両方の発生を抑制することが可能な技術を提供する。【解決手段】画像処理装置は、被写体像の空間周波数に対して低周波成分からなる第１の画像を取得する第１の取得部と、被写体像の空間周波数に対して前記低周波成分より高い周波数成分を含む第２の画像を取得する第２の取得部と、第２の取得部で取得した第２の画像の低周波成分のみからなる第３の画像を得る第３の取得部と、第１の画像と第２の画像と第３の画像とに基づいて、出力画像を生成する生成部と、を備える。【選択図】 図１９

Description

本発明は画像処理装置及び画像処理方法、コンピュータプログラムに関する。

従来から、入力画像と出力画像の解像度を変更することが知られている。例えば、撮影した解像度と記録する解像度を異なるものにしたり、放送されている動画信号をその解像度と異なる解像度の表示装置に表示するために縮小処理あるいは拡大処理と呼ばれる画像変換処理を行ったりすることが知られている。また、プロジェクターを斜め方向から投射したり曲面のスクリーンに投射したりするために、幾何変形処理と呼ばれる画像変換処理を行うことが知られている。また従来から、デジタルカメラ、デジタルビデオカメラ、フラットベッドスキャナーなどで、光学的に結像された対象物をデジタル撮像素子でデジタル画像化することが、行われている。以下、これらの画像変換処理をまとめて変換処理と呼ぶ。

このような変換処理のうち、画像変形処理を行う場合に、画像の内容によってはモアレと呼ばれる妨害（ノイズ）が発生することがある。モアレとは干渉縞ともいい、画像内の繰り返し模様とサンプリング周波数の間に起こる空間周波数のうなり現象である。モアレが発生すると非常に目立つので、画質を維持するためにモアレの発生を防止する必要がある。また変換処理のうち、デジタル画像化処理を行う場合にも、対象物の内容によっては、モアレが発生することがあるので、モアレの発生を防止する必要がある。またデジタル撮像素子のＲＧＢ素子の配列がＢａｙｅｒ配列と呼ばれる並びになっている場合には、モアレだけでなく偽色と言われる妨害が発生することがあるので、これも防止する必要がある。

例えば、幾何変形処理を含む縮小処理の場合には、入力画像にローパスフィルター（以下、ＬＰＦと略す）を適用して、高周波領域を削減してから、幾何変形処理を含む縮小処理を行うことにより、モアレの発生を防ぐことが知られている。この処理を行うと画像がボヤケてしまうので、後段で高周波領域の強調処理を行うこともある。また例えば、撮像素子の前面に光学的ＬＰＦを配置して、被写体像の高周波領域を削減してから、デジタル画像化することにより、モアレ及び偽色の発生を防ぐことが知られている。

また、モアレやボヤケを防止するために、特許文献１には、あらかじめ入力画像の高周波領域を強調しておき、縮小処理後に発生したモアレを除去することが記載されている。この構成では、高周波領域の劣化は少ない。また、特許文献２には、画像の縮小率に応じて、ＬＰＦの強度を変更することが記載されている。この構成は、縮小処理によってナイキスト周波数をオーバーする画像の高周波成分をＬＰＦによって削除することで、モアレの発生を防止する。また、特許文献３には、縮小によるボヤケを防ぐために、画像を低周波成分と高周波成分とに分けて変形し、高周波成分にのみエッジ強調を行うことが記載されている。この構成によれば、縮小による高周波成分のボヤケをある程度防ぐことができる。また、特許文献４には、光学ＬＰＦの特性を変えて複数回のデジタル画像化処理を行って得られた複数の画像から、モアレや偽色のある一部分を入れ替えて合成することが記載されている。これにより、モアレや偽色を防ぐことができる。

特開平３−４０１７９号公報 特開２０１２−６０５１７号公報 特開平２−２４４８７６号公報 特開２００６−８０８４５号公報

ローパスフィルターを通してから変形処理を行った後に高周波強調処理を行うと、一度失われた高周波領域の情報は強調しても取り戻すことはできないので、画質が劣化してしまう。

特許文献１の構成のように、入力画像の高周波領域を強調しておき、縮小処理後にモアレを除去する場合、モアレ除去のために移動フィルターなどのローパスフィルターをモアレ周波数に対して適用することになる。そうすると、モアレ周波数と同じ周波数の画像成分が減少して、低周波成分の画質が劣化してしまう。

特許文献２の構成では、縮小処理によってナイキスト周波数をオーバーする画像の高周波成分を除去するものである。これはナイキスト周波数をオーバーしてモアレが発生する場合にはモアレ除去に有効であるが、画像を拡大する場合や、画像の縮小により画像内の縞模様とサンプリング周波数とが干渉してモアレが発生する場合には、必ずしも有効ではない。また、画像の縮小率が大きい箇所にボヤケが残ってしまう。

特許文献３の構成のように、画像を低周波成分と高周波成分に分けて変形し、高周波成分にのみエッジ強調を行うと、高周波成分に発生したモアレは、エッジ強調を行っても残存する。このため、出力画像にはモアレが発生してしまう。また、特許文献４のように、光学ＬＰＦの特性を変えた強弱２枚の画像を得、光学ＬＰＦの弱い画像を種として用い、モアレや偽色のある部分のみを光学ＬＰＦの強い画像に入れ替えるように合成したとする。この場合、その入れ替えた部分においては、モアレや偽色がない代わりにボヤケがある画像になってしまう。

本発明は上記課題に鑑みなされたものであり、入力画像に対する変換処理によるモアレおよびボヤケを低減する技術を提供することを目的とする。

上記目的を達成するため、本発明による画像処理装置は以下の構成を備える。即ち、
被写体像の空間周波数に対して低周波成分からなる第１の画像を取得する第１の取得手段と、
前記被写体像の空間周波数に対して前記低周波成分より高い周波数成分を含む第２の画像を取得する第２の取得手段と、
前記第２の取得手段で取得した第２の画像の低周波成分のみからなる第３の画像を得る第３の取得手段と、
前記第１の画像と前記第２の画像と前記第３の画像とに基づいて、出力画像を生成する生成手段と、を備える。

本発明によれば、入力画像に対する変換処理によるモアレおよびボヤケを低減することができる。

画像の空間周波数とモアレの関係を表す図 ＬＰＦおよびＨＰＦの周波数特性を説明する図 画像処理装置の構成を示すブロック図 元画像に対するＬＰＦと変形画像に対するＬＰＦの特性の関係を示す図 ＬＰＦを平均値フィルターで実現した例を示す図 ＬＰＦをガウスフィルターで実現した例を示す図 ＨＰＦの構成例を示す図 画像処理装置の構成を示すブロック図 各変形画像の比率を変えて合成する場合の構成を示すブロック図 画像処理装置の構成を示すブロック図 マイクロプロセッサを用いた画像処理装置の構成を示すブロック図 画像処理装置の処理手順を示すフローチャート ＡＭスクリーニング処理を説明する図 ＡＭスクリーニング処理を行う画像処理装置の構成を示すブロック図 レジストレーションずれを説明する図 ごく小さい変形を行う画像処理装置の構成を示すブロック図 画像処理装置の構成を示すブロック図 光学系の例を示した図 画像処理装置の構成を示すブロック図 画像処理装置の構成を示すブロック図 画像処理装置の構成を示すブロック図

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜＜第１実施形態＞＞
（モアレ発生とその抑制）
まず、図１、図２を参照して、モアレの発生する空間周波数とサンプリング周波数の関係を説明する。図１は、画像の空間周波数とモアレの関係を模式的に表した図である。図１（Ａ）は元画像（入力画像）における空間周波数の分布を示したグラフであり、図１（Ｂ）は、縮小画像における空間周波数の分布を示したグラフである。図１（Ｃ）は、縮小画像におけるモアレの原因となる空間周波数と発生したモアレの空間周波数の分布を示したグラフである。

各グラフの横軸は空間周波数を表し、縦軸は画像の度数、すなわち、画像における当該周波数の成分の強度を表している。なお、図１では、サンプリング周波数を「ＳＦ」（Sampling Frequency）と略記している。

図１において、３１はサンプリング周波数の２分の１の空間周波数（ＳＦ／２）の位置であり、ナイキスト周波数と一致する。３２は入力画像の度数分布、３３は入力画像を縮小した縮小画像の度数分布、３４はナイキスト周波数を超えた部分の度数分布を示している。３５はサンプリング周波数の４分の１の空間周波数（ＳＦ／４）の位置を示し、３６はナイキスト周波数を超えたことによるモアレ発生の原因となる周波数成分を示している。３７は画像とサンプリング周波数との干渉によるモアレ発生の原因となる周波数成分を示し、３８はモアレの発生する周波数成分を示している。

図１（Ａ）における入力画像の空間周波数３２は、ナイキストの定理（標本化定理）により、画素のＳＦ／２の位置３１に制限されている。ナイキストの定理によれば、元の信号の２倍の周波数でサンプリングを行えば、デジタル化したデータから元の信号を正確に復元でき、デジタル化された信号からはＳＦ／２の周波数までの信号しか正確に復元できないことになる。

この入力画像を縮小処理すると、ＳＦに対して画像の空間周波数３３は上がる。このとき、画像の空間周波数３３がＳＦ／２の位置３１を超える周波数に度数分布３４が存在する場合では、モアレが発生する。また、ＳＦ／２を超える周波数成分がなくても、画像内の高周波成分の部分とＳＦ／２以下の周波数成分の部分との干渉により、モアレが発生しうる。

この様子を、空間周波数で見たのが図１（Ｃ）である。ＳＦ／２を超える周波数成分３６、および、ＳＦ／４（３５）からＳＦ／２までの周波数成分３７の空間周波数の画像成分によって、ＳＦ／４（３５）以下の低周波成分の部分３８にモアレが発生する。すなわち、ＳＦ／４以下の低周波成分３８それ自体はモアレの発生原因ではなく、ＳＦ／４を超える周波数成分３６、３７により、低周波成分３８にモアレが発生する。本発明の各実施形態では、このようなモアレが発生する空間周波数の原因部分（周波数成分３６、３７）と結果部分（周波数成分３８）とが異なることを利用して、ボヤケることなくモアレを除去する。

図２は、以下の実施形態で使用するＬＰＦおよびハイパスフィルター（ＨＰＦと略す）の周波数特性を説明する図である。図２（Ａ）は、画像の縮小率があまり高くない（縮小率が１に近い）場合を示し、図２（Ｂ）は縮小率が高い（縮小率が１から離れて大きい）場合を示す。図２に示すグラフの横軸は空間周波数を表し、縦軸は画像の度数を表している。図２では、図１と同様に、サンプリング周波数をＳＦと略記している。図２（Ａ）中、３５は図１と同様に、ＳＦ／４の位置を示している。４１はＬＰＦの周波数特性、４２はＨＰＦの周波数特性、４３はＬＰＦのカットオフ周波数、４４はＨＰＦのカットオフ周波数を示している。

図１（Ｃ）を参照して説明したように、ＳＦ／４以下の周波数成分は変形処理によりモアレが発生する部分であり、モアレの原因部分ではない。モアレの原因となるのはＳＦ／４以上の周波数成分である。このため、カットオフ周波数４３がＳＦ／４付近にある周波数特性４１のＬＰＦを用いて入力画像を処理すると、モアレの原因部分が除去される。したがって、その後に、縮小などの変形をした場合にもモアレは発生しない。一方で、高周波成分が失われて、画像にボヤケが生じてしまう。

また、ＳＦ／４以上の周波数成分はモアレの原因部分であり、モアレが発生する部分ではない。このため、入力画像から縮小などの変形をしてモアレの発生した画像に対し、カットオフ周波数４４がＳＦの４分の１付近にある周波数特性４２のＨＰＦを用いて処理すれば、モアレは除去される。一方で、低周波成分が失われてしまう。

そこで、本実施形態では、周波数を切り分ける処理および変形する処理する順番を、空間周波数の高い部分と低い部分で逆にすることによって、モアレとボヤケの発生を同時に回避することを可能とする。すなわち、変形画像の低周波成分と変形画像の高周波成分を演算し、この２つの画像を合成することで、全周波数の変形画像を取得する。２つの画像にモアレはないので、合成した画像にもモアレは生じない。２つの画像のカットオフ周波数が同じであれば、失われたり強調されたりするような周波数成分もない。また、取得画像には高周波成分も含まれるので、画像のボヤケも生じない。

ただし、変形率が高くなれば、変形の前後におけるカットオフ周波数をＬＰＦとＨＰＦとの間で調整しないと、モアレを適切に除去できなかったり、合成後の画像の周波数成分の一部が失われたり強調されたりする場合がある。このことについて、図２（Ｂ）を参照して、変形率が高い場合のフィルターの空間周波数を説明する。図２（Ｂ）中、図２（Ａ）と同様に、３５はＳＦ／４、４２はＨＰＦの周波数特性、４４はＨＰＦのカットオフ周波数を示している。４５はＬＰＦの周波数特性、４６はＬＰＦのカットオフ周波数、４７は縮小率ＡにＳＦの４分の１を掛けた周波数の位置（Ａ×ＳＦ／４）を示している。

縮小によって、画像の空間周波数が高くなることは、図１（Ｂ）において述べたとおりである。画像を縮小すると、縮小率Ａについて、縮小率の逆数（１／Ａ）だけ空間周波数が高くなる。例えば、縮小率が０．６倍の場合は、１．６７倍だけ画像の空間周波数が高くなる。そこで、縮小率に応じて、ＬＰＦのカットオフ周波数を下げて、カットオフ周波数＝Ａ×ＳＦ／４としておけば、ＬＰＦを通した画像の空間周波数は、縮小後に１／Ａ倍になり、ＳＦ／４になる。これは、ＨＰＦのカットオフ周波数と一致する。

このように、縮小率が高い場合は、このようにＬＰＦとＨＰＦのカットオフ周波数を調整することで、モアレを除去できるし、失われたり強調されたりするような周波数成分もない。以上のような原理で、ボヤケることなくモアレを除去して縮小・拡大・幾何変形することが可能である。以下、このような原理により画像処理を行う具体的な実施形態例を説明する。

（画像処理装置）
次に、図３〜図７を用いて、本発明の一実施形態例（第１実施形態）を説明する。図３は、本発明の第１実施形態に係る画像処理装置の機能構成を示すブロック図である。図３中、１１は入力信号の高周波成分を除去する第１のＬＰＦ部であり、１２は縮小拡大や幾何変形を行う第１の変形部である。１３は縮小拡大や幾何変形を行う第２の変形部である。１４は入力信号の低周波成分を除去するＨＰＦ部であり、１５はＨＰＦ部１４の一部を構成する第２のＬＰＦ部、１６はＨＰＦ部１４の一部を構成する減算器である。１７は加算器であり、第２の変形部１２において変形された低周波成分画像と、ＨＰＦ部１４において高周波成分が抽出された変形画像とを加算して出力画像を生成する。

図３のように、本実施形態では、入力画像の低周波成分については、第１のＬＰＦ部１１において低周波成分を抽出してから、第１の変形部１２において変形を行う。このため、入力画像の高周波成分が低周波成分に影響することによるモアレの発生を抑制することができる。さらに、入力画像を第２の変形部１３において変形を行ってから、第２のＨＰＦ部１４において高周波成分画像を抽出し、変形済みの低周波成分と、高周波成分とを加算器１７において加算する。このように、画像の高周波成分も出力画像に反映されるため、画像のボヤケを抑制することができる。また、変形済みの画像から高周波成分画像を抽出することで、低周波成分に発生したモアレを取り除いてから加算することで、低周波成分に対してモアレを発生させることもない。したがって、モアレ発生の抑止と画像の鮮明さとを両立した画像処理を行うことが可能となる。

ＨＰＦ部１４は単に通常のＨＰＦを用いて構成してもよいが、第２のＬＰＦ部１５と減算器１６を組み合わせて、ＨＰＦ部１４を構成すると、第１のＬＰＦ部１１の周波数特性を合わせやすい。すなわち、同等の構成のＬＰＦを第１、第２のＬＰＦ部１１、１５に用いることで、第１のＬＰＦ部１１のカットオフ周波数（第１のカットオフ周波数）とＨＰＦ部１４のカットオフ周波数（第２のカットオフ周波数）を容易に整合させることができる。このため、加算器１７において加算後の画像において、同一周波数成分の重複や特定の周波数のもれを低減することが可能となる。そこで、本実施形態では、第２のＬＰＦ部１５と減算器１６を組み合わせてＨＰＦ部１４を実現した構成例について説明する。

なお、第１のＬＰＦ部１１および第２のＬＰＦ部１５は、一般的に使用されている様々なＬＰＦで構成することができる。例えば、平均値フィルター、ガウスフィルター、バタワースフィルター、などである。ＬＰＦにおけるカットオフ周波数がサンプリング周波数の４分の１に近いものとして、平均値フィルターであれば、縦×横のサイズが１．２５×１．２５〜５×５のもの、例えば２×２のサイズのものを用いることができる。なお、小数点を用いたサイズのフィルターは、小数点となる座標位置の定数を小さくすることで実現することができる。同様に、ガウスフィルターであれば、フィルター半径が１．５〜６のもの、例えば、半径が２のサイズのものを用いることができる。また、バタワースフィルターであれば、例えば、カットオフ周波数をサンプリング周波数の４分の１にしたフィルター定数のものを用いることができる。

また、第１および第２の変形部１２，１３は、一般的に使われている様々な補間演算回路で構成可能である。例えば、最近傍補間回路、線形補間回路、キュービック補間回路、などである。第１と第２の変形部１２、１３は、同じ変形比率で、縮小拡大幾何変形などの変形処理を行う。

同じ変形比率であれば、第１と第２の変形部の具体的な構成の種類を変えてもよい。例えば、第１の変形部１２を最近傍補間回路あるいは線形補間回路とし、第２の変形部１３をキュービック補間回路とすることができる。この場合、視認されにくい低周波成分を回路規模の小さな最近傍補間回路や線形補間で実現し、視認されやすい高周波成分を精度の高いキュービック補間回路で行うことになる。このため、小さな回路規模で、視覚特性に応じた画像処理を行うことが可能となる。また、第１の変形部１２を最近傍補間回路とし、第２の変形部１３を線形補間回路とすることで、回路規模をさらに削減することも可能である。また、第１の変形部１２を最近傍補間回路の代わりに、近傍４点の平均値で補間する回路により実現することで、より簡略な回路で構成することも可能である。

なお、第１の変形部１２、第２の変形部１３において画像の変形を行うと、変形部の入力と出力では画素ごとに処理のタイミングが変わってしまう。このため、第１の変形部１２、第２の変形部１３内にはバッファメモリを用意する必要があるが、図３では省略している。また、第１、第２のＬＰＦ部１１、１５内にもバッファメモリが必要であるが、これも省略している。

（画像処理装置の動作）
以下、本実施形態に係る画像処理装置の動作を説明する。入力画像は動画像であり、フレーム内の各画素が順番に本構成ブロックに入力される場合を説明する。入力画像は第１のＬＰＦ部１１でカットオフ周波数以下の低周波成分のみが抽出され、次に第１の変形部１２において、所望の変形率の画像に変形され、第１の変形画像が得られる。

また、入力画像は第２の変形部１３にも入力されて、所望の変形率の画像に変形されて、第２の変形画像が得られる。第２の変形画像は、減算器１６のプラス側および第２のＬＰＦ部１５に入力される。第２のＬＰＦ部１５によって、第２の変形画像の低周波成分が抽出されるので、これを減算器のマイナス側に入力する。減算器１６において第２の変形画像からその低周波成分を減算することにより、第２の変形画像の高周波成分のみが得られる。

このようにして得られた、低周波成分のみの第１の変形画像と第２の変形画像の高周波成分を加算器１７で合成することによって、全周波数成分からなる変形画像である出力画像が得られる。

ここで、第１のＬＰＦ部１１と第２のＬＰＦ部１５は変形率が低い場合には、同じ特性のものを使用しうる。具体的には、０．７５倍〜１．２５倍程度までは、同じものが使える。縮小率や拡大率、幾何変形率が高い部分においては、第１のＬＰＦ部１１ないし第２のＬＰＦ部１５のどちらかのカットオフ周波数ないし、カットオフ周波数に比例するフィルターサイズを調節する必要がある。

（ＬＰＦの特性の関係）
次に、第１のＬＰＦ部１１と第２のＬＰＦ部１５の特性の関係を、図４を用いて説明する。図４は、本発明の第１実施形態における、元画像に適用する第１のＬＰＦ部１１と変形画像に適用する第２のＬＰＦ部１５の特性の関係を示した図である。

図４（Ａ）（Ｂ）（Ｃ）（Ｄ）は、元画像に適用する第１のＬＰＦ部１１の特性を一定として、第１の変形部１２、第２の変形部１３における様々な変形について、第２のＬＰＦ部１５における特性を変化させる場合を示している。すなわち、図４（Ａ）は、縮小画像に適用する第２のＬＰＦ部１５の特性を変えた場合を示し、図４（Ｂ）は、拡大画像に適用する第２のＬＰＦ部１５の特性を変えた場合を示している。図４（Ｃ）は、幾何変形画像に適用する第２のＬＰＦ部１５の特性を変えた場合を示し、図４（Ｄ）は、変形率の小さい微変形画像に適用する第２のＬＰＦ部１５の特性を変えた場合を示す。

図４（Ｅ）（Ｆ）（Ｇ）（Ｈ）は、変形画像に適用する第２のＬＰＦ部１５の特性を一定として、第１の変形部１２、第２の変形部１３における様々な変形について、第１のＬＰＦ部１１における特性を変化させる場合を示している。すなわち、図４（Ｅ）は、縮小前に元画像に適用する第１のＬＰＦ部１１の特性を変えた場合を示し、図４（Ｆ）は、拡大前に元画像に適用する第１のＬＰＦ部１１の特性を変えた場合を示している。図４（Ｇ）は、幾何変形前に元画像に適用する第１のＬＰＦ部１１の特性を変えた場合を示し、図４（Ｈ）は、変形率の小さい変形前に元画像に適用する第１のＬＰＦ部１１の特性を変えた場合を示す。

図４中、２１は元画像、２２は縮小画像、２３は拡大画像、２４は幾何変形画像、２５は変形率の小さい微変形画像、２６は標準的なフィルターサイズ、２７は変形率だけ小さいフィルターサイズ、２８は変形率だけ大きいフィルターサイズを示している。なお、フィルターサイズとは、フィルタリング処理を行う際に、対象画素のまわりの参照する画素の範囲を示すものである。平均値フィルターを例にとると、縦横に３×３〜９×９程度の範囲が通常使われるが、本実施形態においては、変形率に応じて、それよりも大きな範囲のフィルターを使用しうる。

平均値フィルターやガウスフィルターでは、フィルターサイズとカットオフ周波数の関係は比例関係にある。そこで、第１、第２のＬＰＦ部１１、１５のフィルターサイズを、第１、第２の変形部１２、１３における変形率に応じて変えることにより、カットオフ周波数を、画像の変形により変化した空間周波数に合わせることができる。

図４（Ａ）（Ｂ）（Ｃ）（Ｄ）は、変形前の第１のＬＰＦ部１１のフィルターサイズを一定とするものである。図４（Ａ）では、縮小画像２２に適用する第２のＬＰＦ部１５のフィルターサイズを、変形率だけ小さなフィルターサイズ２７とする。図４（Ｂ）では、拡大画像２３に適用する第２のＬＰＦ部１５のフィルターサイズを、変形率だけ大きなフィルターサイズ２８とする。図４（Ｃ）では、幾何変形画像２４に適用する第２のＬＰＦ部１５のフィルターサイズを、画像内の変形率の高い領域に対して標準より小さなフィルターサイズ２７とし、変形率が低い領域に対しては、標準的なフィルターサイズ２６とする。図４（Ｄ）では、変形率の低い画像２５に適用するＬＰＦのフィルターサイズを、標準的なフィルターサイズ２６とする。このように、これらの例では、第１、第２の変形部１２、１３は対象画像に対して所定の同一の変形率で変形を行い、第２のＬＰＦ部１１のカットオフ周波数は、第１のＬＰＦ部１５のカットオフ周波数に対して変形率を乗算したものである。

図４（Ｅ）（Ｆ）（Ｇ）（Ｈ）では、変形後の第２のＬＰＦ部１５のフィルターサイズを一定とするものである。図４（Ｅ）では、元画像２１に適用する第１のＬＰＦ部１１のフィルターサイズを、縮小画像２２の変形率の逆数だけ大きなフィルターサイズ２８とする。図４（Ｆ）では、元画像２１に適用する第１のＬＰＦ部１１のフィルターサイズを、拡大画像２３の変形率の逆数だけ小さなフィルターサイズ２７とする。図４（Ｇ）では、元画像２１に適用する第１のＬＰＦ部１１のフィルターサイズを、幾何変形画像２４の領域ごとの変形率に応じてその逆数だけ変化させる。変形率が高い領域のみ、縮小率の逆数だけ標準より大きなフィルターサイズ２８とする。図４（Ｈ）では、元画像２１に適用する第１のＬＰＦ部１１のフィルターサイズを、変形率が低い微変形画像に応じて、標準的なフィルターサイズ２６とする。このように、これらの例では、第１、第２の変形部１２、１３は対象画像に対して同一の変形率で変形を行い、第１のＬＰＦ部１５のカットオフ周波数は、第２のＬＰＦ部１１のカットオフ周波数を変形率で除算したものである。

上述のように、フィルターサイズを可変とするのは、第１のＬＰＦ部１１および第２のＬＰＦ部１５のどちらでも構わないし、或いは、両方のフィルターサイズを可変として、変形前後のカットオフ周波数が一致するようにすればよい。ただ、変形後の画像のカットオフ周波数をＳＦ／４に近づけるとより効果的にモアレを抑制することができるので、変形前の第１のＬＰＦ部１１のフィルターサイズを可変とするとより効果的である。

（フィルターサイズ）
次に、ＬＰＦのフィルターサイズを具体的に説明する。変形率によって変えない側のＬＰＦのフィルターサイズは、前述の標準的なフィルターサイズとすることができる。ＬＰＦでは、フィルターサイズが大きくなるほどカットオフ周波数が下がり、カットオフ周波数とサンプリング周波数とは比例する関係にある。ナイキスト周波数はＳＦ／２であり、２画素で１周期になる画像成分である。そこで、標準的なフィルターとしては、ナイキスト周波数の半分つまりＳＦ／４をカットオフ周波数とするフィルターである。このようなフィルターは、２画素で１周期になるような周波数成分を完全に無くし、最大４画素で１周期になるような周波数成分を残すフィルターである。

平均値フィルターにおいては、２×２のサイズのものでは、２画素の範囲の平均をとるフィルターなので、２画素で１周期になる周波数成分を取ることができるが、４画素で１周期になる成分は取ることができない。

そこで、本実施形態では、平均値フィルターの標準的なサイズを２×２とする場合を説明する。そして、標準サイズとするＬＰＦのカットオフ周波数がサンプリング周波数の４分の１から離れるに従って、モアレが残る可能性が出てくるので、カットオフ周波数は、サンプリング周波数（ＳＦ）の８分の１から１６分の７の間の値の周波数である。その場合のＬＰＦの標準的なフィルターサイズは、平均値フィルターでは１．２５×１．２５〜５×５の間である。またガウスフィルターでは中央を加重的に平均化するので、平均値フィルターの画素範囲の１．５倍程度である３×３サイズとすることができる。そして、ＳＦの１／８〜７／１６の間になるのは、２×２〜７×７の間であり、この範囲にフィルターサイズを設定することができる。そして、変形率によってフィルターサイズを変える側のＬＰＦでは変形率に応じて、平均値フィルターのサイズを変えることになる。

標準的なフィルターサイズに対応して変形率によって変更するフィルターサイズを、具体的に説明する。例えば、図４（Ｂ）において、拡大率が１．８倍の場合で、拡大前の第１のＬＰＦ部１１の平均値フィルターを標準的なサイズの中心値である２×２とする場合を説明する。第２のＬＰＦ部１５のサイズ＝第１のＬＰＦ部１１のサイズ×変形率＝２×１．８＝３．６であるので、拡大後の第２のＬＰＦ部１５の平均値フィルターのサイズは３×３にすればよい。

また、例えば、図４（Ｅ）において、縮小率が０．７倍の場合で、縮小後の第２のＬＰＦ部１５の平均値フィルターを標準的なサイズの中心値である２×２とする場合を説明する。第１のＬＰＦ部１１のサイズ＝第２のＬＰＦ部１５のサイズ／変形率＝２／０．７≒３であるので、縮小前の第１のＬＰＦ部１１の平均値フィルターを３×３とすればよい。最適値がない場合も近い値にすれば、出力画像の周波数分布の劣化を極力防ぐことができる。

（フィルターの構成例）
以下、図５〜図７を用いて、各サイズのＬＰＦあるいはＨＰＦの具体例を説明する。図５は、平均値フィルターで実現したＬＰＦの構成例を示す図である。図５において、格子全体の中心のハッチングが施された格子は対象画素を示し、各格子内の数字は対象画素および周辺に位置する画素に対する倍率を示している。

ＬＰＦは、画素値に図に示す倍率を乗算したもの合計値を倍率の合計値で割り算することによって、出力を得る。あるいは割り算の代わりに、近似的に乗算とシフト演算によって演算することにより、出力を得る。

図５（Ａ）は、２×２サイズの平均値フィルターおよび３ｘ３サイズの平均値フィルターに置き換えたものを示す。（Ａ１）は２×２の座標を用いたものであるが画素の重心がずれてしまうので、代わりに（Ａ２）として重心位置をずらして３×３で表した等価なフィルターを用いる。各画素用の倍率０．２５〜１を対応する画素の画素値に乗算したものの合計値を、倍率の合計値である４で除算することにより、対象画素のフィルタリング出力が演算される。上述したように、このサイズの平均値フィルターは、カットオフ周波数がＳＦ／４に近いので標準的なサイズのＬＰＦとなる。

図５（Ｂ）は、１．５×１．５サイズの平均値フィルターとして３×３の座標の定数で実現したものを示す。各画素用の倍率１を対応する画素の画素値に乗算したものの合計値を、倍率の合計値である２で除算することにより、対象画素のフィルタリング出力が演算される。このサイズの平均値フィルターは、標準的なサイズより小さなサイズのＬＰＦであり、カットオフ周波数がＳＦ／４よりも高くなる。

図５（Ｃ）は、３×３サイズの平均値フィルターを示す。各画素用の倍率１を対応する画素の画素値に乗算したものの合計値を、倍率の合計値である９（図５（Ｂ）の例では、倍率１が、９個設定されている）で除算することにより、対象画素のフィルタリング出力が演算される。近似値を算出する場合は、対象画素の画素値に７を乗算して６４で除算する（６ビット切り捨てる）ことによりフィルタリング出力が演算される。このサイズの平均値フィルターは、標準的なサイズより大きなサイズのＬＰＦであり、カットオフ周波数がＳＦ／４よりも低くなる。

次に、図６は、ガウスフィルターで実現したＬＰＦの構成例を示す図である。図６（Ａ）は、３×３サイズ（半径２）のガウスフィルターを示す。各画素用の倍率を対応する画素の画素値に乗算したものの合計値を１６で除算する（４ビット切り捨てる）ことにより、対象画素のフィルタリング出力が演算される。上述したように、このサイズの平均値フィルターは、カットオフ周波数がＳＦ／４に近いので標準的なサイズのＬＰＦとなる。

図６（Ｂ）は、３×３サイズ（半径１．５）のガウスフィルターを示す。各画素用の倍率を対応する画素の画素値に乗算したものの合計値を８で除算する（３ビット切り捨てる）ことにより、対象画素のフィルタリング出力が演算される。このサイズのガウスフィルターは、カットオフ周波数がＳＦ／４に近いが若干高いので、標準的なサイズあるいは標準的なサイズより小さなサイズのＬＰＦとして使用する。

図６（Ｃ）は、５×５サイズ（半径６）のガウスフィルターを示す。各画素用の倍率を対応する画素の画素値に乗算したものの合計値を２５６で除算する（８ビット切り捨てる）ことにより、対象画素のフィルタリング出力が演算される。このサイズのガウスフィルターは、カットオフ周波数がＳＦ／４に近いが若干低いので、標準的なサイズあるいは標準的なサイズより大きなサイズのＬＰＦとして使用する。

図７は、ＨＰＦの構成例を示す図である。図３において、第２のＬＰＦ部１５と減算器１６を組み合わせずに、専用のＨＰＦを設けて一度に演算する場合に、ここに説明するＨＰＦが使用される。

図７（Ａ）は、２×２サイズのＨＰＦを３×３サイズに置き直したＨＰＦを示す。各画素用の倍率を対応する画素の画素値に乗算したものの合計値を、正または負の倍率の合計値である３で除算することにより、対象画素のフィルタリング出力が演算される。近似値を算出する場合は、対象画素の画素値に８５を乗算して２５６で除算する（８ビット切り捨てる）ことによりフィルタリング出力が演算される。上述したように、このサイズのＨＰＦは、カットオフ周波数がＳＦ／４に近いので標準的なサイズのＨＰＦとなる。

図７（Ｂ）は、１．５×１．５サイズのＨＰＦを３×３サイズの定数で実現したＨＰＦを示す。各画素用の倍率を対応する画素の画素値に乗算したものの合計値を計算することにより、対象画素のフィルタリング出力が演算される。このサイズの平均値フィルターは、標準的なサイズより小さなサイズのＨＰＦであり、カットオフ周波数がＳＦ／４よりも高くなる。

図７（Ｃ）は、３×３サイズのＨＰＦを示す。各画素用の倍率を対応する画素の画素値に乗算したものの合計値を、正または負の倍率の合計値である８で除算する（３ビット切り捨てる）ことにより、対象画素のフィルタリング出力が演算される。このサイズの平均値フィルターは、標準的なサイズより大きなサイズのＨＰＦであり、カットオフ周波数がＳＦ／４よりも低くなる。

上記のように、本実施形態では、モアレの発生原理に着目して、入力画像の低周波成分についてはＬＰＦを経由してから画像の変形を行い、高周波成分については画像の変形を行ってからＨＰＦを経由して、両者を合成する。このように、高周波成分と低周波成分を別に処理することにより、画像の変形におけるサンプリング周波数と高周波成分の干渉等に起因するモアレの発生を抑制すると共に、高周波成分を出力画像に反映させることで画像のボヤケを抑制することが可能となる。

第１実施形態において、変形後の高周波成分を求める構成は、通常のＨＰＦでもよいが、ＬＰＦと減算器を組み合わせたものでもよいことなどを説明した。このように、本発明は上記実施形態の具体的構成に限ることはなく、発明の趣旨を同じとする別の構成によっても実施することができる。

＜＜第２実施形態＞＞
第１実施形態の画像処理装置は、入力画像と出力画像の画素の階調値が、ガンマ系でもリニア系でも適用することができる。もっとも、階調値がガンマ系で表される場合とリニア系で表される場合とでは、その特性により、回路規模や変形処理に対する反応が異なる。すなわち、階調値がガンマ系である場合には、階調ビット数が８〜１０ビットあればよいので、ＬＰＦや変形処理回路が小さくできる。階調値がリニア系である場合には、階調ビット数が１２〜１６ビット必要となり処理回路が大きくなる。一方、リニア系における変形処理の補間値は正確であるが、ガンマ系の変形処理においては線形補間やキュービック補間で求めた値が正確でなくなるので、出力画像にモアレではないがモアレに似た妨害（ノイズ）が現れることがある。そこで本実施形態（第２実施形態）では、ガンマ系処理とリニア系処理の長所を組み合わせて、比較的小さな処理回路で正確な出力画像を得られる構成を説明する。

図８は、本発明の第２施形態に係る画像処理装置の構成を示すブロック図である。図８中、１１〜１７の構成要素は、図３の構成要素と同様であり、詳細な説明は省略する。５１はガンマ系階調値をリニア系階調値に変換するガンマ２．２処理部、５２はリニア系階調値をガンマ系階調値に変換するガンマ０．４５処理部である。

ガンマ２．２処理部５１は入力値を２．２乗に演算する回路であり、ガンマ０．４５処理部５２は入力値を０．４５乗に演算する回路である。ガンマ２．２処理部５１およびガンマ０．４５処理部５２は、例えば、ルックアップテーブルによって構成することができる。あるいは、入力値を２乗あるいは０．５乗とする乗算器および平方根演算器を用いて、簡易に構成することもできる。

第２実施形態では、入力画像としてガンマ系の階調値が入ってくる場合を想定している。第１のＬＰＦ部１１、第１の変形部１２、第２のＬＰＦ部１５、減算器１６、加算器１７はガンマ系のまま処理を行う。第２の変形部１３はリニア系の処理を行う。ガンマ系の入力画像を、ガンマ２．２処理部５１でリニア系に直してから、第２の変形部１３で縮小拡大幾何変形などの変形処理を行い、第２の変形画像（リニア系）を得る。第２の変形画像（リニア系）をガンマ０．４５処理部５２でガンマ系に直してから、第２のＬＰＦ部１５および加算器１７に供給する。

上記のように、本実施形態では、入力画像の高周波成分についての変形を行う際は、ガンマ系階調値として表された入力画像をリニア系階調値に変換してから変形処理を行い、この変形された入力画像をガンマ系階調値に変換して、ＨＰＦの処理を行う。このため、リニア系で処理する回路を第２の変形部１３のみとできるので、全処理回路をリニア系とするより、処理回路が少なくて済む。また、正確な補間値を用いて、第２の変形画像を作成するので、その高周波成分も正確な値となり、モアレに似た妨害が発生することもない。

なお本実施形態では、減算器１６と加算器１７の処理順番が図３と逆になっているが、この順番であれば、減算器１６による演算が本構成による最後の処理になるので、加算器１７で負の値を計算処理する必要がなくなり、処理回路が簡便で済む利点がある。

＜＜第３実施形態＞＞
次に、本発明の第３実施形態として、第１の変形画像と第２の変形画像の使用割合を調整する画像処理装置の構成について説明する。図９は、各変形画像の比率を変えて合成する画像処理装置の構成を示すブロック図である。図９中、１１〜１７の構成要素は図３の構成要素と同様であり、詳細な説明は省略する。６１は低周波成分を変形した第１の変形画像に対する乗算器、６２は第２の変形画像に対する乗算器、６３は第２の変形画像の低周波成分に対する乗算器である。

６１〜６３の各乗算器には、それぞれに対して別の値の定数を乗算することができる。乗算器６１〜６３において乗算する定数をそれぞれａ，ｂ，ｃとし、本実施形態では定数ａ，ｂ，ｃはいずれも０．５〜２．０の範囲内にある値である。

入力画像は、第１のＬＰＦ部１１によって低周波成分のみが抽出されてから、第１の変形部１２によって変形されて第１の変形画像となる。乗算器６１は、この第１の変形画像に対してａ倍の乗算を行う。乗算器６２は、第２の変形部１３によって変形された入力画像（第２の変形画像）に対して、ｂ倍の乗算を行う。乗算器６３は、第２の変形部１３によって変形された第２の変形画像から第２のＬＰＦ部１５により低周波成分のみを抽出した画像に対して、ｃ倍の乗算を行う。乗算器６１の出力と乗算器６２の出力を加算器１７で加算したものに、乗算器６３の出力を減算器１６で減算することにより、出力画像を得る。なお、乗算器６１〜６３は対象画像の階調値に対して定数を乗じる演算を行う。

本実施形態においては、画像処理の途中で３種類の画像の比率を変えることができるので、出力画像に対して様々な調整や効果を加えることができる。例えば、第２の変形部１３において拡大や幾何変形などの変形処理を行うと、一般的にシャープネスが不足した画像になることが多い。そこで、各定数を、例えば、ａ＝１．０，ｂ＝ｃ＝１．２とすることにより、画像における高周波成分の比率を低周波成分に比べて増やすことができるので、出力画像としてシャープな変形画像を得ることができる。

また、実施形態１の構成においてＬＰＦのカットオフ特性がなだらかであるなどの原因により、モアレが若干残ってしまう場合に、本実施形態の処理で対応することが可能である。モアレを抑制する効果を高めるために、第２の変形後に画像の低周波成分を大きくし、その分だけ、低周波成分の第１の変形画像を大きくすると、減算器１６でモアレの原因となる成分をより大きく減算することになる。例えば、各乗算器の定数をａ＝１．１，ｂ＝１．０，ｃ＝１．１とすることにより、このようなモアレの抑制を実現できる。

なお、図９の構成例では、乗算器６１の出力と乗算器６２の出力とを加算器１７において加算したものから、減算器１６において、乗算器６３の出力を減算しているが、回路構成はこれに限られない。例えば、図３の構成例と同様に、入力画像の高周波成分について乗算器６２の出力から乗算器６３の出力を減算し、この減算結果に低周波成分についての乗算器６１の出力を加算するようにしてもよい。

＜＜第４実施形態＞＞
次に、入力画像が静止画である場合や、入力画像のフレームレートが、変形処理回路で処理可能なフレームレートの半分以下である場合に、実施可能な形態を第４実施形態として説明する。図１０は、第４実施形態における、入力画像が静止画またはフレームレートが遅い場合の画像処理装置の構成を示すブロック図である。

図１０中、１１〜１７の構成要素は図３の構成要素と同様であり、詳細な説明は省略する。７１は入力画像を一時記憶する第１のフレームバッファ、７２は変形画像を一時記憶する第２のフレームバッファ、７３は拡大縮小幾何変形などを行う変形部である。

このような構成による画像処理装置の動作を説明する。入力画像は、第１のＬＰＦ部１１に入力されるとともに、第１のフレームバッファ７１に一時記憶・保持される。第１のＬＰＦ部１１の出力は変形部７３によって変形されて第１の変形画像となり、第２のフレームバッファ７２に一時記憶・保持される。

その動作が終わった後に、第１のフレームバッファ７１から入力画像が読み出され、変形部７３に入力される。変形部７３で変形された第２の変形画像は、加算器１７および第２のＬＰＦ部１５に入力される。第２のフレームバッファから第１の変形画像が読み出され、加算器１７によって第２の変形画像と加算される。その出力から、減算器１６によって、第２のＬＰＦ部１５の出力が減算され、出力画像を得る。

本実施形態においては、回路規模の大きい変形部は１構成だけあればよいので、回路規模を小さくすることが可能となる。

＜＜第５実施形態＞＞
第１〜第４の実施形態では、画像処理装置の各構成要素を専用のハードウェアにより構成する例を説明したが、汎用の情報処理装置を用いても同様の処理を行うことができる。本実施形態では、汎用の情報処理装置による構成例として、マイクロプロセッサなどを用いた構成によって、変形等の画像処理を行う場合を、図１１、図１２を用いて説明する。

図１１は、第５実施形態における、マイクロプロセッサを用いた構成によるブロック図である。図１１中、８１は演算および制御を行うマイクロプロセッサ（ＭＰＵ）、８２は入力インターフェース、８３は出力インターフェースである。８４はコンピュータプログラムを格納するＲＯＭ（読出し専用メモリ）、８５はワーキングメモリとして使用するＲＡＭ（書込み可能メモリ）、８６は画像の一時記憶を行うストレージ、である。なお、ＲＡＭ８５が複数枚の画像を記憶できるほど大きなものである場合は、ストレージ８６はなくても構わない。図１１の構成を有する汎用の情報処理装置として、組込み装置、パーソナルコンピュータ（ＰＣ）、タブレット端末、スマートフォン、クラウドサーバー等の装置を用いることが可能である。

図１２は、第５実施形態における、マイクロプロセッサによって行う処理を示したフローチャートである。図１１の構成において、ＭＰＵ８１が、ＲＯＭ８４やストレージ８６等に書き込まれたコンピュータプログラムに従い、図１２のフローチャートに示した各ステップの処理を実行する。以下、処理のステップごとに説明する。

まず、ステップ９０１において、入力画像を入力インターフェース８２よりＲＡＭ８５に読み込む。ステップ９０２において、読み込んだ入力画像を、ストレージ８６にも一時記憶する。ステップ９０３において、ＲＡＭ８５上の入力画像に対し、ＬＰＦ処理を行い、ＬＰＦ画像１としてＲＡＭ８５上に一時記憶する。このＬＰＦ処理は、第１実施形態で説明した第１のＬＰＦ部１１の処理と同様の処理である。

ステップ９０４において、そのＬＰＦ画像１に対し、拡大縮小幾何変形などの変形処理を行い第１の変形画像を得る。ステップ９０５において、第１の変形画像をストレージ８６に一時記憶する。ステップ９０６において、ストレージ８６から入力画像を読み出し、拡大縮小幾何変形などの変形処理を行い第２の変形画像を得て、ＲＡＭ８５上に一時記憶する。ステップ９０７において、第２の変形画像をストレージ８６に一時記憶する。

ステップ９０８において、ＲＡＭ８５上の第２の変形画像に対し、ＬＰＦ処理を行い、ＬＰＦ画像２を得る。このＬＰＦ処理は、第１実施形態で説明した第２のＬＰＦ部１５の処理と同様の処理である。ステップ９０９において、ＬＰＦ画像２をストレージ８６に一時記憶する。

ステップ９１０において、第１の変形画像と第２の変形画像をストレージ８６から読み出して、加算を行い、加算画像を得る。ステップ９１１において、その加算画像から、ストレージ８６から読み出したＬＰＦ画像２を減算して、処理結果を得る。処理結果をステップ９１２で一時記憶する。一時記憶した処理結果を、ステップ９１３において、出力インターフェース８３を通じて出力画像として出力する。

以上の動作によって、第１実施形態と同様の処理をマイクロプロセッサによって行う工程を説明した。同様にマイクロプロセッサを用いて、第２実施形態ならびに第３実施形態の処理を行えることは自明であるため、説明を省略する。本実施形態のように、汎用の情報処理装置において前述の実施形態に係る画像処理装置と同様の動作を行うことで、モアレとボヤケの両方を抑制しつつ画像処理を行うことが可能となる。

上記実施形態における画像の拡大縮小幾何変形の別の例として、輝度色差信号における色差成分の間引き処理が行われても良い。

一般的に、輝度色差信号ＹＰｂＰｒの画素数比率が同じものである４：４：４信号から、水平方向の色差信号を半分に間引いた４：２：２信号や、水平および垂直方向の色差信号を半分に間引いて４分の１とした４：２：０信号を作成している。この時に行なう間引き処理はＬＰＦを使った縮小処理であるので、上記実施形態の動作に適用することができる。適用する場合には、４：４：４信号における輝度信号Ｙに対しては上記の画像処理を行なわず、色差信号ＰｂおよびＰｒについて上記の画像処理を行なった後、元のままの輝度信号Ｙと座標位置を合わせる。これにより、色差信号のモアレとボヤケの両方を抑制した４：２：２信号や４：２：０信号を得ることができる。

＜＜第６実施形態＞＞
上記実施形態においては、主に画像の拡大縮小幾何変形をする場合について述べてきた。本発明の第６の実施形態（第６実施形態）では、スクリーン印刷におけるＡＭスクリーン（網点）の作成において、画像をスクリーン線数に合わせて縮小拡大する場合の処理について説明する。

図１３は、ＡＭスクリーニング処理を説明する図であり、図１３（Ａ）は入力画像、図１３（Ｂ）はスクリーン画像、を表す。

図１３（Ａ）中、１５１は入力画像の一部、１５２は入力画像中の一つの画素、１５３はＡＭスクリーンにおけるスクリーン線、である。図１３（Ｂ）において、１５４はスクリーン線の１つの交点におけるインク量、１５５はインク量を決定する画素範囲、である。

ＡＭ（Amplitude Modulated）スクリーニング処理とは、スクリーン線１５３の交点ごとに印刷するべきインク量１５４を演算する処理である。図１３では、入力画像の１２×１２の画素から、スクリーン画像における５×５のスクリーン線に変換する処理を示しており、入力画像１５１の解像度からスクリーン線１５３の解像度に変換する縮小変形の演算処理となる。なお、スクリーン線１５３は、インクの色ごとに斜めに配置することが一般的であるので、その場合のスクリーニング処理は、縮小処理に加えて幾何変形処理になる。

図１４は、本発明の第６実施形態に係る画像処理装置の構成を示すブロック図である。図１４中、１１、１４〜１７の構成要素は、第１実施形態で説明した図３の構成要素と同様であり、詳細な説明は省略する。１３１は低周波画像のＡＭスクリーン画像を作る第１のＡＭスクリーニング処理部であり、１３２は入力画像のＡＭスクリーン画像を作る第２のＡＭスクリーニング処理部である。

入力画像は、第１のＬＰＦ部１１によって低周波成分のみが抽出されてから、第１のＡＭスクリーニング処理部１３１によって所望の線数に合わせたＡＭスクリーンが生成されて、第１のＡＭスクリーン画像となる。

また、入力画像は第２のＡＭスクリーニング処理部１３２にも入力されて、所望の線数である第２のＡＭスクリーン画像が得られる。第２の第２のＡＭスクリーン画像は、減算器１６のプラス側および第２のＬＰＦ部１５に入力される。第２のＬＰＦ部１５によって、第２のＡＭスクリーン画像の低周波成分が抽出されるので、これを減算器のマイナス側に入力する。減算器１６において第２のＡＭスクリーン画像からその低周波成分を減算することにより、第２のＡＭスクリーン画像の高周波成分のみが得られる。

このようにして得られた、低周波成分のみの第１のＡＭスクリーン画像と第２のＡＭスクリーン画像の高周波成分を加算器１７で合成することによって、全周波数成分からなるＡＭスクリーン画像である出力画像が得られる。以上のように、本実施形態においては、入力画像の低周波成分についてはＬＰＦを経由してからＡＭスクリーン処理を行い、高周波成分についてはＡＭスクリーン処理を行ってからＨＰＦを経由して、両者を合成する。このように、ＡＭスクリーン処理を行う場合であっても、高周波成分と低周波成分を別に処理することにより、第１実施形態と同様に、モアレの発生を抑制すると共に画像のボヤケを抑制することが可能となる。

＜＜第７実施形態＞＞
上記実施形態においては、拡大縮小変形における変形率が任意のものに対応できる場合を述べてきた。本発明の第７の実施形態（第７実施形態）では、３板式プロジェクターの各素子の微妙なずれを補正するレジストレーション補正処理など、変形率がごく小さい変形処理に、上記手法を適用する場合を説明する。

図１５は、レジストレーションずれを説明する図である。図１５中、点線で表した１６１はＲ色（赤色）の投影画像（放射画像）、実線で表した１６２はＧ色（緑色）の投影画像、一点鎖線で表した１６３はＢ色（青色）の投影画像、である。

３板式のプロジェクターでは、ランプ光をＲＧＢ色に分けて、色ごとに液晶またはデジタルミラーデバイスなどの光学変調素子で入力画像に応じて変調して、変調後の３色を光学系で統合し、統合した変調光を投影レンズによってスクリーンに投影する。この時に、変調素子の位置と統合する光学系の間に設計値からのわずかなずれがあると、各色の投影光がぴったり重ならずに、ずれて投影されてしまう。そこで変調位置の位置と光学系を微調整することで、投影画像のずれ量を通常１画素以下に抑えることができる。しかしながら、図１５に示すように、Ｇ色の放射画像１６２に対し、Ｒ色の放射画像１６１やＢ色の放射画像１６３の位置が、１画素以下のずれ量で投影されることになる。この時、投影した画像には色ずれと呼ばれる妨害が発生してしまう。色ずれとは、単色の線の縁にＲ色やＢ色の色が表示されてしまうことにより、単色なのに色が見えてしまう妨害である。

この色ずれ妨害を軽減するために、レジストレーション補正と呼ばれる処理が一般に行われている。レジストレーション補正とは、Ｒ色とＢ色の入力画像に幾何変形処理を行い、Ｒ色の投影画像１６１およびＢ色の投影画像１６３を、Ｇ色の投影画像１６２に一致させるものである。なお、レジストレーション処理を行っても投影された各色の画素が完全に一致するわけではないので、わずかな色ずれが残るが、視聴者に認識できない程度まで軽減させることが可能である。

図１６は、本発明の第７施形態に係る画像処理装置の構成を示すブロック図である。図１６中、１１、１４〜１７の構成要素は、第１実施形態で説明した図３の構成要素と同様であり、詳細な説明は省略する。１４１は入力画像のレジストレーション補正処理部である。

本構成において入力画像は、第１のＬＰＦ部１１による低周波成分画像には、変形処理であるレジストレーション補正を行わない。これは、レジストレーション補正処理における変形処理が数画素以下であり、そのほとんどは１画素程度の変形処理であるので、低周波画像に対してレジストレーション補正を行っても、画像の変化は少ないからである。

他方、入力画像はレジストレーション補正処理部１４１にも入力されて、所望のレジストレーション補正を行ったレジストレーション補正画像が得られる。レジストレーション補正画像は、減算器１６のプラス側および第２のＬＰＦ部１５に入力される。第２のＬＰＦ部１５によって、レジストレーション補正画像の低周波成分が抽出されるので、これを減算器のマイナス側に入力する。減算器１６においてレジストレーション補正画像からその低周波成分を減算することにより、レジストレーション補正画像の高周波成分のみが得られる。

このようにして得られた、低周波成分のみの画像とレジストレーション補正画像の高周波成分を加算器１７で合成することによって、全周波数成分からなるレジストレーション補正画像である出力画像が得られる。

本実施形態においては、第１実施形態と同様に、モアレの抑制とボヤケの抑制を両立することに加えて、レジストレーション補正処理を１回しか行わないので、処理回路がコンパクトになる。プログラムで行う場合は、高速に処理できるという利点がある。

＜＜第８実施形態＞＞
以上の実施形態においては、主に縮小拡大変形処理やＡＭスクリーニング処理によって発生するモアレを防止する例を説明してきた。本発明の第８の実施形態（第８実施形態）では、デジタルの撮像素子を用いた光学撮影や読み取りにおける、デジタル画像化処理において発生するモアレおよび偽色を防止する実施形態について、説明する。

図１７は、本実施形態に係る画像処理装置の構成を示すブロック図である。図１７中、１４〜１７の構成要素は、第１実施形態で説明した図３の構成要素と同様であり、詳細な説明は省略する。１７１は結像面の前に設置されて被写体像に対して光学的にぼかす働きをする光学ＬＰＦ（光学的ローパスフィルター）である。１７２は光学ＬＰＦ部１７１でボヤケた被写体像をデジタル画像化する撮像素子などの第１のデジタル画像化部である。１７３はボヤケていない被写体像をデジタル画像化する撮像素子などの第２のデジタル画像化部である。

光学的に入力した被写体像は、第１の光学ＬＰＦ１７１によって被写体像の低周波成分（低周波域）のみが抽出されてから、第１のデジタル画像化部１７２によって、第１のデジタル画像となる。第１の光学ＬＰＦ１７１のカットオフ周波数は、撮像素子の空間周波数よりも低い値に設定される。

また、光学的に入力した被写体像（低周波域だけでなく、低周波域より高い周波数域を含む）は第２のデジタル画像化部１７３によって、所望の解像度を持つデジタル画像である第２のデジタル画像にデジタル化される。

第２のデジタル画像は、減算器１６のプラス側および第２のＬＰＦ部１５に入力される。第２のＬＰＦ部１５によって、第２のデジタル画像の低周波成分が抽出されるので、これを減算器のマイナス側に入力する。減算器１６において第２のデジタル画像からその低周波成分を減算することにより、第２のデジタル画像の高周波成分のみが得られる。

このようにして得られた、低周波成分のみの第１のデジタル画像と第２のデジタル画像の高周波成分を加算器１７で合成することによって、全周波数成分からなるデジタル画像である出力画像が得られる。

ここで、第１の光学ＬＰＦ部１７１の空間カットオフ周波数と、第２のＬＰＦ部１５の空間カットオフ周波数は、近い周波数に合わせておくことにより、合成によって全周波数からなるデジタル画像となる。２つのＬＰＦのカットオフ周波数が大きくずれている場合、合成した画像がボヤケたりシャープすぎたりすることになるためである。そこで、例えば、一方のカットオフ周波数を、他方のカットオフ周波数の１／２〜２倍の間の値とすることができる。また、第１の光学ＬＰＦ部１７１のカットオフ周波数と第２のＬＰＦ部１５のカットオフ周波数とは、例えば、被写体像を撮像する撮像素子のサンプリング周波数の８分の１以上２分の１以下とすることができる。

上記のように、本実施形態においては、光学的な被写体像をデジタル画像化する際に高周波成分と低周波成分を別に処理する。すなわち、低周波成分については光学ＬＰＦにより低周波成分を抽出してから、デジタル画像化を行い、高周波成分についてはデジタル画像化を行ってから、高周波成分を抽出する。このため、光学的な被写体像のデジタル画像化に伴うモアレの抑制とボヤケの抑制を両立することが可能となる。本実施形態の構成は、静止画の撮影ならびに動画の撮影あるいは、スキャナーによる書類の読み取りなど、モアレの発生する恐れのあるあらゆる撮影において、用いることが可能である。

次に、本実施形態に係る画像処理装置のより具体的な装置構成について、図１８を参照して説明する。図１８は、本実施形態における光学系の例を複数示しており、図１８（Ａ）は光学系の第１の例を示した図である。図１８（Ａ）中、１８１は被写体を結像させるためのレンズ光学系、１８２は被写体像を２方向に分けるプリズムあるいはハーフミラーである。１８３は被写体像のピントをずらしてぼかす光学ＬＰＦ、１８４はぼかした被写体像をデジタル画像化する第１の撮像素子、１８５はぼけていない解像度の高い被写体像をデジタル画像化する第２の撮像素子、である。つまり、図１８（Ａ）の光学ＬＰＦ１８３、第１の撮像素子１８４、第２の撮像素子１８５は、図１７の第１の光学ＬＰＦ１７１、第１のデジタル画像化部１７２、第２のデジタル画像化部１７３にそれぞれ対応する。

図１８（Ａ）のように、被写体はレンズ光学系１８１によって結像させられ、レンズ光学系１８１を通過した光は、結像位置までの間に位置するプリズムあるいはハーフミラー１８２によって２方向に分けられる。第１の結像面には光学ＬＰＦ１８３および第１の撮像素子１８４が設置され、第２の結像面には撮像素子２が設置される。

そうして各撮像素子の各画素の値を読み取ることによって、撮像素子１によって第１のボヤケたデジタル画像が得られ、第２の撮像素子１８５によって、解像度の高い第２のデジタル画像が得られる。それ以後の説明は図１７を参照して説明したとおりである。

図１８（Ｂ）、図１８（Ｃ）、図１８（Ｄ）は、本実施形態における光学系の第２の例を示した図である。図１８（Ｂ）は撮影開始前の状態、図１８（Ｃ）はボヤケたデジタル画像を撮影する状態、図１８（Ｄ）は解像度の高いデジタル画像を撮影する状態を示す。図中、１８１は図１８（Ａ）と同様に被写体を結像させるためのレンズ光学系である。１９１は被写体像を２方向に切り変えるクイックリターンミラー、１９２は結像を実視化させるスクリーン、１９３はスクリーン上に結像された被写体像を正立させるためのダハミラーである。１９４は被写体像をぼかす光学可動式のＬＰＦ、１９５は被写体像をデジタル画像化する撮像素子、である。

被写体はレンズ光学系１８１によって結像させられるが、図１８（Ｂ）の撮影開始前の状態では、クイックリターンミラー１９１によって、被写体はスクリーン１９２に結像する。スクリーン１９２に結像した光はダハミラー１９３で正立像に変換されて、ユーザーが正立で見えるようになる。

ユーザーが撮影を開始するために不図示のシャッターボタンを押すと、まずクイックリターンミラーがアップされて、図１８（Ｃ）のボヤケたデジタル画像を撮影する状態に移行する。この状態では、可動式光学ＬＰＦ１９４が挿入されているため、ボヤケさせた被写体像が、撮像素子１９５に結像する。そこで、撮像素子１９５によってボヤケた被写体像がデジタル画像化される。

次に、可動式光学ＬＰＦ１９４が光路内から外れるように移動させられて、図１８（Ｄ）の解像度の高いデジタル画像を撮影する状態に移行する。この状態では、被写体の像が解像度の高いまま、直接撮像素子１９５に結像するので、撮像素子１９５によって解像度の高い被写体像がデジタル画像化される。

２回のデジタル画像化処理が終了したら、可動式光学ＬＰＦ１９４およびクイックリターンミラーを図１８（Ｂ）の撮影前の位置に戻して、一連の撮影動作は終了する。このように可動式光学ＬＰＦ１９４光路上にある場合とない場合の２回のデジタル画像化処理を行うことによって、一枚の撮像素子１９５によって第１のボヤケたデジタル画像と第２のデジタル画像が得られる。それ以後の説明は図１７を参照して説明したとおりである。

図１８（Ｅ）、図１８（Ｆ）、図１８（Ｇ）は、本実施形態における光学系の第３の例を示した図である。１８（Ｅ）は撮影開始前の状態、図１８（Ｆ）はボヤケたデジタル画像を撮影する状態、図１８（Ｇ）は解像度の高いデジタル画像を撮影する状態を示す。図中、１８１は図１８（Ａ）同様であり、１９１から１９３および１９５は図１８（Ｂ）、図１８（Ｃ）、図１８（Ｄ）と同様である。２０１は電気的にＬＰＦ特性をＯＮＯＦＦすることのできる特性変化光学ＬＰＦ、である。

ここで、特性変化光学ＬＰＦ２０１は、特許第２５５６８３１号や特開２００３−５０３９８号に述べられているような、電気的にＬＰＦ特性をＯＮＯＦＦすることのできる光学ＬＰＦである。本実施形態の特性変化光学ＬＰＦ２０１は、電気信号が与えられていないときは光学ＬＰＦとして作用し、電気信号が与えられると入射光をそのまま透過させる性質を有する。このように特性変化光学ＬＰＦ２０１は、電気光学素子によってローパスフィルター化することができる。

図１８（Ｅ）の撮影開始前の状態は図１８（Ｂ）と同じである。ユーザーがシャッターボタンを押すと、図１８（Ｃ）、図１８（Ｄ）と同様に、図１８（Ｆ）、図１８（Ｇ）の状態に移行する。図１８（Ｆ）のボヤケたデジタル画像を撮影する状態では、特性変化光学ＬＰＦ２０１に対し、電気信号を与えないでおくことにより、特性変化光学ＬＰＦ２０１において被写体像をボヤケさせてから撮像素子１９５に結像させる。

図１８（Ｇ）の解像度の高いデジタル画像を撮影する状態では、特性変化光学ＬＰＦ２０１に対し、電気信号を与えることにより、被写体像をボヤケさせないで撮像素子１９５に解像度の高い像を結像させる。

このように光路上にある、特性変化光学ＬＰＦ２０１の特性を変えながら、２回のデジタル画像化処理を行うことによって、撮像素子１９５によって第１のボヤケたデジタル画像と第２のデジタル画像が得られる。それ以後の説明は図１７における説明でなされている。

図１８（Ｈ）、図１８（Ｉ）、図１８（Ｊ）は、本実施形態における光学系の第４の例を示した図である。１８（Ｈ）は撮影開始前の状態、図１８（Ｉ）はボヤケたデジタル画像を撮影する状態、図１８（Ｊ）は解像度の高いデジタル画像を撮影する状態を示す。図中、１８１は図１８と同様であり、１９１から１９３および１９５は図１８（Ｂ）、図１８（Ｃ）、図１８（Ｄ）と同様である。２１１は電気的に撮像素子１９５を微振動させる機構、である。

ここで、微振動機構２１１は、ピエゾ素子や電磁コイルなどを用いて、電気信号を撮像素子１９５の位置の変化に変換することで、撮像素子１９５を微振動させる機構である。図１８（Ｈ）の撮影開始前の状態は図１８（Ｂ）と同様である。ユーザーがシャッターボタンを押すと、図１８（Ｃ）、図１８（Ｄ）と同様に、図１８（Ｉ）、図１８（Ｊ）の状態に移行する。

図１８（Ｉ）のボヤケたデジタル画像を撮影する状態では、微振動機構２１１を駆動し、撮像素子１９５を微振動させながら、撮像素子１９５は被写体像をデジタル画像化する。微振動しながら撮影したデジタル画像は、光学ＬＰＦを通さなくてもボヤケたデジタル画像となる。

図１８（Ｊ）の解像度の高いデジタル画像を撮影する状態では、微振動機構２１１の駆動を停止することにより、撮像素子を微振動させない。そうすると被写体像はボヤケないので撮像素子１９５に解像度の高い像が結像させられる。

このように撮像素子１９５に微振動を与えた状態と与えない状態で、２回のデジタル画像化処理を行うことによって、撮像素子１９５によって第１のボヤケたデジタル画像と第２のデジタル画像が得られる。それ以後の説明は図１７における説明でなされている。

ここで、微振動で生じさせたボヤケの空間カットオフ周波数と、第２のＬＰＦ部１５の空間カットオフ周波数は、近い周波数に合わせておくことにより、合成によって全周波数からなるデジタル画像となる。このため、あらかじめ、微振動させた画像を解析して、第２のＬＰＦ部の空間カットオフを調整しておくことが肝要である。

なお、ボヤケた第１のデジタル画像と解像度の高い第２のデジタル画像を得る方法は、上記で示した以外の方法を取ることもできる。例えば、オートフォーカス機構を用いて、フォーカスをわずかにずらした画像を結像させた状態で、ボヤケた第１のデジタル画像を撮影し、フォーカスを合掌させた画像を結像させた状態で、解像度の高い第２のデジタル画像を撮影してもよい。

以上のような構成により、光学的な被写体像についてその高周波成分と低周波成分とを別々に処理することで、デジタル画像化に伴うモアレの抑制とボヤケの抑制を両立することが可能となる。なお、ここでは主に一眼レフカメラにおける光学配置を想定した構成例を説明したが、これに限られない。例えば、スキャナーなどの読み取り装置においても、同様にＬＰＦの位置を変えたりオンオフしたりすることなどによって、ボヤケたデジタル画像と解像度の高いデジタル画像の２種類を得て、以降も同様の処理を行うことによって、同様の効果を得ることができる。

ところで、第８実施形態の光学系の例２から例４においては、一つの撮像素子を用いるので、撮像素子を２つ用いるより例１より小型化できコストを低くすることができる。もっとも、２回のデジタル画像化を行っている間に、被写体の一部が動いてしまうと、出力画像中で動いている被写体部分で動きブレが生じてしまう場合がある。

しかしながら、動きのある部分は撮像素子中の複数の画素をまたいで動くので、撮像素子のピッチと干渉せずモアレや偽色が生じない。この特徴を利用すれば、２回のデジタル画像化を行ってモアレおよび偽色の除去と動きブレの解消を両立することができる。

＜＜第９実施形態＞＞
次に、本発明の第９の実施形態（第９実施形態）として、動いている被写体に対応しながら、モアレ及び偽色を除去する構成につき、第１例と第２例の２種類を示す。図１９は、本実施形態に係る画像処理装置の構成例を示しており、図１９（Ａ）は第１例に係る画像処理装置の構成を示すブロック図である。図１９（Ａ）中、１４〜１７の構成要素は、図３の構成要素と同様で、１７１〜１７３の構成要素は図１７の構成要素と同様であり、詳細な説明は省略する。

２２１は比較器であり、第１のデジタル画像化部１７２から出力されるボヤケたデジタル画像１の各画素と、第２のＬＰＦ部１５から出力されるぼかしたデジタル画像２の各画素を比較する。２２２はセレクタであり、比較器２２１の判定に応じて、出力画像とする画素を切り替える。

本構成においては、入力した被写体像を光学ＬＰＦ１７１でぼかした後でデジタル画像化したボヤケたデジタル画像１の各画素のＧ成分１を比較器２２１へ入力する。さらに、被写体像をそのままデジタル画像化した後に、ＬＰＦ２によってぼかしたデジタル画像２の各画素のＧ成分２を比較器２２１へ入力する。比較器２２１は、これらのＧ成分１とＧ成分２とを比較する。

この比較器２２１において、２つのデジタル画像の各画素のＧ成分について、以下の判定１，２，３のうちいずれに当たるか判定を行う。なお、判定にＧ成分のみを使うのは、Ｒ成分とＢ成分は偽色の影響を受けやすいからである。

判定１ Ｇ成分１＝Ｇ成分２
判定２ ｜Ｇ成分１−Ｇ成分２｜＜閾値
判定３ ｜Ｇ成分１−Ｇ成分２｜＞閾値
このように、比較器２２１は、画素値の差分の絶対値を演算し、当該差分の絶対値と所定の閾値との大小を比較する。

次に、上記判定によって、セレクタ２２２において、２つのデジタル画像の各画素を切り替える。１つ目のデジタル画像の画素１は、図１７における出力画像の画素と同じもの、つまり本画像処理を加えた画素である。２つ目の画素２は被写体像をそのままデジタル画像化した画素である。

セレクタは、判定１，２，３の結果に応じて、出力する画素を以下のように切り替える。判定１の場合は、Ｇ成分は同じであるが、偽色の影響でＲとＢ成分は異なっている可能性があるので、出力画像の画素として画素１を出力する。判定２の場合は、動いていない画素と判断し、出力画像の画素として画素１を出力する。判定３の場合は、動いている画素と判断し、出力画像の画素として画素２を出力する。

ここで閾値は、モアレ除去を重視するか、動きブレを起こさないことを重視するかで、異なる値を用いることができる。例えば、閾値を１０％（＝０．１）とすれば、モアレの強さが１０％以下のものは除去できるが、１０％以上強く出たモアレは除去できない。一方、動きブレは１０％以下の差があるもののみが残るので、あまり目立たない。

同様に、閾値を４０％（＝０．４）とすれば、モアレの強さが４０％以下のものまで除去できる。一方、動きブレは４０％までの差があるものまで残るので、ある程度目立ってしまう。よって、この閾値は、発生するモアレの強度によって、変更できるようにすることができる。

図１９（Ｂ）は、本発明の第９実施形態の第２例に係る画像処理装置の構成を示すブロック図である。図１９（Ｂ）中、１４〜１７の構成要素は、図３の構成要素と同様で、１７１〜１７３の構成要素は図１７の構成要素と同様であり、詳細な説明は省略する。

２３１は類似度計算器であり、ボヤケたデジタル画像１の各画素のＧ成分１とぼかしたデジタル画像２の各画素のＧ成分２の類似度を計算する。２３２は合成処理部であり、類似度計算器２３１が計算した類似度に応じて、ボヤケたデジタル画像１の各画素とぼかしたデジタル画像２の各画素の合成比率を変更・制御する。

画像の類似度は、様々な計算方式が知られており、いずれの方式を用いてもよいが、例えば、演算対象画素の周辺画素の平均値の差を類似度として算出することができる。ここでは、画素値の差分の２乗に基づき類似度を計算する例を示す。
Ａ＝（Ｇ成分１−Ｇ成分２）２
なおＧ成分の値は、その最大値が１．０となるように正規化しておけば、Ａの値の範囲は０〜１．０となる。

このＡの値が小さいほど類似度が大きく、対象画素が動いている可能性が低い。そこで、合成処理部２３２では、例えば以下の合成処理を行う。
Ｓ＝画素１＊（１−Ａ）＋画素２＊Ａ
動いている可能性が高いほどＡの値は大きいので、合成処理した画素Ｓは、デジタル画像２をぼかした画素２の比率が大きくなり、逆に動いている可能性が高いほどＡの値は小さいので、ボヤケたデジタル画像１の画素１の比率が大きくなる。このようにして、第１の画像＋第２の画像−第３の画像を演算した画素および第２の画像の演算対象画素が、積和演算によって合成される。

この合成処理した画素Ｓに対し、減算器（差分器）１６の出力であるところのデジタル画像２の高周波成分を加算器１７で加えることにより、出力画像の各画素となる。この構成に置いて結局、出力画像の各画素は、動いている可能性が高い画素はデジタル画像２に近いものとなり、動いている可能性の低い画素は、ボヤケたデジタル画像１とデジタル画像２の高周波成分を加えたものに近いものとなる。よって、モアレ除去と動きブレの両方が適度に抑えられた出力画像が得られる。

以上の第８から第９の実施形態の説明において、撮影における静止画撮影の場合を主として説明してきたが、フレームレートに合わせて高速に処理を繰り返し行うことにより、動画の撮影に用いることができることは明らかであり、説明は省略する。

＜＜第１０実施形態＞＞
次に、本発明の第１０の実施形態（第１０実施形態）として、モアレを除去しながらキレの良い動画撮影を行う構成を説明する。図２０は、本実施形態に係る画像処理装置の構成を示すブロック図である。図２０中、１５と１６は図１４と同じ、１７２は図１７と同じであるので、説明を省略する。

２４１は動画撮影のフレームレートの倍速のタイミング信号の発生器であり、２４２は電気的にＬＰＦをＯＮＯＦＦする特性変化光学ＬＰＦである。２４３はボヤケたデジタル画像１もしくはデジタル画像２の高周波成分を切り変えるセレクタである。

この構成において、例えば動画撮影のフレームレートが６０Ｐ（フレーム毎秒）の場合は、倍速タイミング発生器２４１は倍の１２０Ｐのタイミングを発生する。この倍速で、特性変化光学ＬＰＦ1は、ＬＰＦ特性をオン、オフを周期的に繰り返す。そうすれば、デジタル画像化部１７２において、ボヤケたデジタル画像１と解像度の高いデジタル画像２が周期的に出力することになる。この出力をＨＰＦ部１４によって、高周波成分を取り出す。

次に倍速タイミングで切り替えるセレクタ２４３によって、ボヤケたデジタル画像１と解像度の高いデジタル画像の高周波成分を切り替えて出力画像（動画）とする。このため、モアレおよび偽色の含まれない出力画像（画像１）と、１２０Ｐの半分だけに存在する高周波成分画像（画像２）とが交互に出力される。したがって、全体として、モアレおよび偽色を抑制しつつ、キレのよい動画を出力することが可能となる。

＜＜第１１実施形態＞＞
次に、本発明の第１１の実施形態（第１１実施形態）として、モアレや偽色を除去する画像処理ソフトに適応した構成を、第１例および第２例により説明する。

図２１は、本実施形態に係る画像処理装置の構成例を示しており、図２１（Ａ）は第１例に係る画像処理装置の構成を示すブロック図である。

図中、１４〜１７は図１４と同じ、１７１〜１７３は図１７と同じであるので、説明を省略する。２５１は画像を記録するメモリカードである。

本実施形態においては、被写体像を光学ＬＰＦ１７１でボヤケさせてからデジタル画像化したボヤケたデジタル画像１と、被写体像をそのままデジタル画像化した解像度の高いデジタル画像２の両方をメモリカード２５１に記憶しておく。

そして画像処理ソフトは、メモリカード２５１から、解像度の高いデジタル画像２を読み出し、ＬＰＦ部１５および減算器１６によって高周波成分を抜き出す。また、ボヤケたデジタル画像１を読み出し、これに加えることによって、出力画像を得る。

本実施形態においては、２つの画像を撮影しておき、モアレが発生している場合のみ、画像処理ソフトでモアレを除去した画像を得られる。モアレが発生していない場合は、解像度の高いデジタル画像をそのまま使えばよいという利点がある。

図２１（Ｂ）は、本発明の第１１実施形態の第２例に係る画像処理装置の構成を示すブロック図である。図中、１５〜１７は図１４と同じ、１７１〜１７３は図１７と同じ、２５１は図２１（Ａ）と同じであるので、説明を省略する。２６１はユーザーにより示されたモアレ領域、２６２セレクタである。

本実施形態においては、画像処理ソフトにおいてユーザーによって指示された領域２６１のみセレクタ２６２によって、本画像処理を行った画素を出力画像とし、その他の画素は解像度の高いデジタル画像２の画素を出力画素とする。こうすることによって、モアレの発生している部分のみ本処理を行うので、全体としてモアレの無く元の解像度の高い画像の比率の多い高画質な出力画像が得られる。

以上に上げた実施形態８から１２による本画像処理の適用は、静止画の撮影ならびに動画の撮影あるいは、スキャナーによる書類の読み取りなど、モアレの発生する恐れのあるあらゆる撮影において、用いることが可能である。

以上、各実施形態を挙げて、本発明を実現する構成例を説明したが、本発明の趣旨を実現する構成が、上記実施形態に限るものではないことは言うまでもない。上記の各実施形態は、拡大縮小幾何変形などの変形処理をデジタル演算で行う装置やプログラムに幅広く利用可能である。例えば、ＴＶにおいて入力解像度を表示パネルの解像度に合わせて変換する機能や、ピクチャーインピクチャー機能における解像度変換に用いることができる。あるいは、プロジェクターにおけるキーストーンや曲面変形機能や、デジタルカメラにおける解像度変換機能や、画像処理アプリケーションにおける解像度変換や画像回転などの機能にも用いることができる。さらには、プリンターにおいてはプリンタードライバーおよびプリンター本体内における画像解像度の変換処理などにも幅広く利用可能である。以上の各実施形態の構成によれば、光電変換される前の被写体像か、被写体像を光電変換して取得された撮影画像かに関わらず、その低周波成分と高周波成分とで異なる処理をすることで、モアレとボヤケをともに低減することができる。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１：第１のＬＰＦ部、１２：第１の変形部、１３：第２の変形部、１４：ＨＰＦ部、１５：第２のＬＰＦ部、１６：減算器、１７：加算器

Claims (16)

1. 被写体像の空間周波数に対して低周波成分からなる第１の画像を取得する第１の取得手段と、
   前記被写体像の空間周波数に対して前記低周波成分より高い周波数成分を含む第２の画像を取得する第２の取得手段と、
   前記第２の取得手段で取得した第２の画像の低周波成分のみからなる第３の画像を得る第３の取得手段と、
   前記第１の画像と前記第２の画像と前記第３の画像とに基づいて、出力画像を生成する生成手段と、を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記第２の画像と前記第３の画像との差分を、前記第１の画像に加算することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第１の画像と前記第３の画像の画素値の差分の絶対値を演算し、
   当該差分の絶対値が所定の閾値より小さい画素については前記第１の画像＋前記第２の画像−前記第３の画像を演算した画素値が出力され、該閾値より高い画素については撮影画像の画素の画素値が出力される、ことを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、前記第１の画像および前記第３の画像の演算対象画素の周辺画素の平均値の差を類似度として算出し、
   前記第１の画像＋前記第２の画像−前記第３の画像を演算した画素および前記第２の画像の演算対象画素を積和演算によって合成する手段と、
   前記類似度によって合成手段の各画像の合成比率を制御する手段と、をさらに備えることを特徴とする請求項１に記載の画像処理装置。
5. 撮像素子の空間周波数よりも低周波成分からなる第１の撮影画像を入力する手段と、
   前記低周波成分よりも高い周波数成分を含む空間周波数を持つ第２の撮影画像を入力する手段と、
   前記第２の撮影画像から高周波成分のみの第３の画像を抜き出す手段と、
   前記低周波成分である前記第１の撮影画像と前記高周波成分のみの第３の画像を合成して出力とする手段と、を備えることを特徴とする画像処理装置。
6. 前記第１の撮影画像のカットオフ周波数は、前記第３の画像における空間周波数のカットオフ周波数の１／２〜２倍の間にあることを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の撮影画像のカットオフ周波数と前記第３の画像のカットオフ周波数とは、被写体像を撮像する撮像素子のサンプリング周波数の８分の１以上２分の１以下であることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記第１の撮影画像を得るための撮影は、前記第２の撮影画像を得るための撮影より先に行われることを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
9. 前記第１の撮影画像を得るための撮影と前記第２の撮影画像を得るための撮影が交互に行われることを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
10. 前記第１の撮影画像を得るための撮影には、ピントをずらすことによる手段が用いられることを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
11. 前記第１の撮影画像を得るための撮影には、光学的ローパスフィルターを挿入する手段もしくは電気光学素子によってローパスフィルター化する手段が用いられることを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
12. 前記第１の撮影画像を得るための撮影には、撮像素子を微振動する手段が用いられることを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
13. 前記第１の撮影画像を得るための撮影には、通常の撮像素子とは別の撮像素子が用いられることを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
14. 被写体像の空間周波数に対して低周波成分からなる第１の画像を取得する第１の取得工程と、
    前記被写体像の空間周波数に対して前記低周波成分より高い周波数成分を含む第２の画像を取得する第２の取得工程と、
    前記第２の取得工程で取得した第２の画像の低周波成分のみからなる第３の画像を得る第３の取得工程と、
    前記第１の画像と前記第２の画像と前記第３の画像とに基づいて、出力画像を生成する生成工程と
    を備えることを特徴とする画像処理方法。
15. 撮像素子の空間周波数よりも低周波成分からなる第１の撮影画像を入力する工程と、
    前記低周波成分よりも高い周波数成分を含む空間周波数を持つ第２の撮影画像を入力する工程と、
    前記第２の撮影画像から高周波成分のみの第３の画像を抜き出す工程と、
    前記低周波成分である前記第１の撮影画像と前記高周波成分のみの第３の画像を合成して出力とする工程と
    を備えることを特徴とする画像処理方法。
16. コンピュータを請求項１から１３のいずれか１項に記載の画像処理装置が備える各手段として機能させるためのコンピュータプログラム。

Images