JP2006139697A

JP2006139697A - 画像処理装置及び画像処理方法

Info

Publication number: JP2006139697A
Application number: JP2004330738A
Authority: JP
Inventors: Hiroyuki Kurase; 弘之倉瀬
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-11-15
Filing date: 2004-11-15
Publication date: 2006-06-01
Anticipated expiration: 2024-11-15
Also published as: JP4689243B2

Abstract

【課題】画像の拡大または縮小を行う際に、中心ずれの無い高品質な出力画像の画像データを簡易に得ることができる画像処理装置及び画像処理方法を提供する。
【解決手段】入力画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、出力画像を表す各画素の出力画像の中心を基準とした相対座標とに基づいて、出力画像の各画素の入力画像における位置座標を算出し、入力画像上の前記算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する出力画像の画素の画素データを各々算出する。
【選択図】図３

Description

本発明は、原画像を所定サイズの出力画像に拡大または縮小するときに、該出力画像の各画素の画素データを生成する画像処理装置及び画像処理方法に関し、例えば、デジタルカメラ等の撮像機器の画像処理に用いて好適な画像処理装置及び画像処理方法に関する。

従来より、画像を拡大あるいは縮小（以下、リサイズ）する場合には、原画像データに対して所定の補間方法を用いて補間処理を施して、原画像データの画素数とは異なる画素数、具体的には、拡大する場合には水平方向及び垂直方向の双方の画素数が原画像データよりも多い画像データ、縮小する場合には水平方向及び垂直方向の双方の画素数が原画像データよりも少ない画素数の画像データを求め、画像の画質劣化を防止する処理が行われている。

具体的には、従来は画像端部から拡大率あるいは縮小率に応じて等間隔に画素位置を算出し、算出した画素位置の近傍画素を用いて補間演算して画像データ（各画素の画素データ）を求めることにより、リサイズした画像（出力画像）を得ていた。このように、従来は画素端から順次画素位置を算出していくため、出力画像の中心が原画像の中心に対してずれてしまう、という問題があった。

例えば、２４８０画素×１８６０ラインの原画像を６４０画素×４８０ラインの出力画像に縮小する場合（縮小率は、1/3.875）を例に挙げると、出力画像の各画素（出力画素）の画素データを出力画像の左上端から水平方向右側に順に求めていくときに、従来は、各出力画素の出力画像における座標（左上を（０，０）とする座標系）に縮小率の逆数を乗算することにより出力画素の原画像における座標を求め、原画像を構成する画素のうち、求めた座標周辺に存在する画素を用いて補間処理を行って、出力画素の画素データを求めていた。しかしながら、このように処理すると、出力画素の水平方向の座標値は、0、3.875、7.75、・・・、2476.125、となり、出力画像は左側に偏ってしまう。また、垂直方向でも同様に処理するため、出力画像は上側に偏ってしまう。すなわち、従来の方法により得られた出力画像は、中心が左上にずれた画像になってしまう、という問題があった。

このような中心ずれの問題を解決するための方法として、画素端にオフセットを与えて中心ずれを補正する方法や、ずれ量を逆算していく方法等が知られている（例えば、特許文献１参照。）。
特開平８−２７９９４９号公報

しかしながら、上述した中心ずれを解消するための従来の技術では、拡大率あるいは縮小率（リサイズ率）に応じてその都度オフセット量及び画素開始位置を計算しなくてはならないため、計算が煩雑になる。また、原画像の一部分をトリミングし、該トリミングした画像に対してリサイズ率を自由に変えてリサイズ処理する場合にも同様に、リサイズ率を変更するたびに毎回オフセット量及び画素開始位置を計算する必要があり、計算が煩雑になる。

本発明は、上記問題点を解決するためになされたものであり、画像の拡大または縮小を行う際に、中心ずれの無い高品質な出力画像の画像データを簡易に得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、原画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、前記出力画像を表す各画素の前記出力画像の中心を基準とした相対座標とに基づいて、前記出力画像の各画素の前記原画像における位置座標を算出する位置算出手段と、前記原画像上の前記位置算出手段により算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する前記出力画像の画素の画素データを各々算出する画素データ算出手段と、を含んで構成されている。

この画像処理装置は、位置算出手段と画素データ算出手段とを備えている。位置算出手段は、原画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率（以下、拡大率または縮小率をリサイズ率と呼称）と、該出力画像を表す各画素の該出力画像の中心を基準とした相対座標とに基づいて、該出力画像の各画素の前記原画像における位置座標を算出する。例えば、出力画像を表す各画素の該出力画像の中心を基準とした相対座標に、リサイズ率の逆数を乗算すれば、該出力画像の各画素の前記原画像における位置座標が求められる。なお、このように相対座標にリサイズ率の逆数を乗算して求めた位置座標は、原画像の中心を基準とした相対座標であるので、更に、該相対座標を入力画像における所定の座標系（例えば左上の座標を（０，０）として水平方向右方及び垂直方向下方にいくほど大きくなる座標系）の座標に変換し、該変換した座標を該出力画像の各画素の原画像における位置座標として算出してもよい。

なお、通常は、上記算出された位置座標は整数値にならず、原画像には該座標に対応する画素データが存在しないため、原画像上の位置座標の周辺に存在する画素（周辺画素）の画素データから、画素データ算出手段は、出力画像の画素の画素データを補間する処理を行う。すなわち、画素データ算出手段は、原画像上の位置算出手段により算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する出力画像の画素の画素データを各々算出する。

画素データの算出方法は特に限定されず、例えば、最近傍補間法や線形補間法、あるいはスプライン補間法など様々な方法を適用することができる。

このように、画像の中心を基準として、出力画像の各画素の原画像における位置座標を求め、各画素の画素データを求めるようにしたため、中心ずれの無い高品質な出力画像を簡易に得ることができる。

なお、上記原画像は、撮影光学系を介した撮影により得られた画像であってもよい。このような原画像の場合には、原画像に撮影光学系の光学歪みが生じることもある。出力画像の画素データを算出するにあたり、出力画像にこの光学歪みが生じないように、前記位置算出手段は、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記拡大率または縮小率とに応じた量だけ前記原画像が歪んでいる方向に前記相対座標を移動させることができる。

例えば、出力画像の中心を基準とした相対座標から、出力画像における処理対象の画素の出力画像の中心からの距離を求め、該距離を用いてリサイズ率に応じた所定の多次元関数式により光学歪み量を算出し、該光学歪み量だけ原画像が歪んでいる方向に相対座標を移動させるようにする。位置算出手段は、この相対座標を用いて、出力画像の各画素の原画像における位置座標を算出することができる。なお、リサイズ率に応じた多次元関数式を用いるのは、出力画像のサイズが原画像をリサイズ率に応じてリサイズしたときのサイズであるためである。

これにより、原画像に生じた光学歪みと同様に位置算出手段で算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを算出するために必要かつ適切な周辺画素の画素データを取得でき、出力画像の画素の画素データを算出することができる。

なお、ここでは出力画像の画素の画素データを算出するために必要かつ適切な周辺画素の画素データを得るために出力画像の相対座標を歪ませるのであって、実際に生成される出力画像の画素は歪み無く配列されるため、上記算出された画素データにより歪みのない高品質な出力画像を生成することができる。

また、出力画像に上記光学歪みが生じないように、前記位置算出手段は、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させることもできる。

例えば、出力画像の画素の原画像の中心を基準とした位置座標に基づいて出力画素の位置から原画像の中心までの距離を求め、該距離から所定の多次元関数式を用いて光学歪み量を求め、出力画素の入力画像における位置座標を該光学歪み量だけ原画像が歪んでいる方向に移動させるようにすることができる。

なお、位置算出手段が、例えば、出力画像を表す各画素の該出力画像の中心を基準とした相対座標にリサイズ率の逆数を乗算して求めた座標を位置座標として算出する場合には、該求めた座標を光学歪み量だけ原画像が歪んでいる方向に移動させることができる。また、さらに該求めた座標を入力画像における所定の座標系（例えば左上の座標を（０，０）として水平方向右側及び垂直方向下方にいくほど大きくなる座標系）の座標に変換し、該変換した座標を位置座標として算出する場合には、該所定の座標系に変換する前の座標を光学歪み量だけ原画像が歪んでいる方向に移動させてから、該所定の座標系の座標に変換してもよいし、まず該所定の座標系に変換してから、該所定の座標系の座標を光学歪み量だけ原画像が歪んでいる方向に移動させるようにしてもよい。

すなわち、これによっても、原画像に生じた光学歪みと同様に位置算出手段で算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを算出するために必要かつ適切な周辺画素の画素データを取得でき、該画素データを算出することができる。

また、原画像自体は、リサイズ率とは関係ない（すなわち、その画像サイズはリサイズ処理前のサイズである）ため、光学歪み量を算出する多次元関数式をリサイズ率に応じて変更する必要はない。従って、出力画像を表す各画素の該出力画像の中心を基準とした相対座標を移動させる場合に比べて、簡易に出力画像の各画素の入力画像における位置座標を求めることができる。

本発明の画像処理方法は、原画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、前記出力画像を表す各画素の前記出力画像の中心を基準とした相対座標とに基づいて、前記出力画像の各画素の前記原画像における位置座標を算出する位置算出ステップと、前記原画像上の前記位置算出手段により算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する前記出力画像の画素の画素データを各々算出する画素データ算出ステップと、を含んでいる。

本発明の画像処理方法も、上記本発明の画像処理装置と同様に作用するため、中心ずれの無い高品質な出力画像を簡易に得ることができる。

なお、前記位置算出ステップにおいて、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記拡大率または縮小率とに応じた量だけ前記原画像が歪んでいる方向に前記相対座標を移動させることもできる。

また、前記位置算出ステップにおいて、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させることもできる。

これによっても、原画像に生じた光学歪みと同様に位置算出手段で算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを算出するために必要かつ適切な周辺画素の画素データを取得でき、出力画像の画素の画素データを算出することができる。

以上説明したように本発明によれば、原画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、出力画像を表す各画素の出力画像の中心を基準とした相対座標とに基づいて、出力画像の各画素の原画像における位置座標を算出し、原画像上の前記算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する出力画像の画素の画素データを各々算出するようにしたため、中心ずれの無い高品質な出力画像の画像データを簡易に得ることができる、という優れた効果を奏する。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

［第１の実施の形態］
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。ここでは、本発明の画像処理装置をデジタルカメラ１０に搭載されたデジタル信号処理部３０のリサイズ処理部６０に適用した場合を例に挙げて説明する。

同図に示すように、デジタルカメラ１０は、レンズを含んで構成された光学ユニット２２と、レンズの光軸後方に配設されたＣＣＤ２４と、ＣＣＤ２４の出力信号に含まれるノイズ等を軽減するための相関二重サンプリング回路を含んで構成されたアナログ信号処理部２６と、アナログ信号処理部２６で処理されたＲ（赤）、Ｇ（緑）、Ｂ（青）のアナログ信号を各々Ｒ、Ｇ、Ｂのデジタル信号（デジタル画像データ）に変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、ＡＤＣ２８で変換されたデジタル画像データに対して各種の画像処理を行うデジタル信号処理部３０と、を含んで構成されている。

また、デジタルカメラ１０は、デジタル画像データにより示される画像やメニュー画面等をＬＣＤ４４に表示させるための信号を生成してＬＣＤ４４に供給するＬＣＤインタフェース４２と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）５０と、主として撮影により得られたデジタル画像データを記憶するＶＲＡＭ（Video RAM）により構成されたメモリ７２と、メモリ７２に対するアクセスの制御を行うメモリインタフェース７０と、撮影により得られたデジタル画像データを記憶するためのメモリカード８２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース８０と、所定の圧縮形式でデジタル画像データに対して圧縮処理を施す一方、圧縮処理されたデジタル画像データに対して圧縮形式に応じた伸張処理を施す圧縮・伸張処理回路８６と、を含んで構成されている。

デジタル信号処理部３０、ＬＣＤインタフェース４２、ＣＰＵ５０、メモリインタフェース７０、外部メモリインタフェース８０、及び圧縮・伸張処理回路８６はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ５０は、デジタル信号処理部３０及び圧縮・伸張処理回路８６の作動の制御、ＬＣＤ４４に対するＬＣＤインタフェース４２を介した各種情報の表示、メモリ７２及びメモリカード８２へのメモリインタフェース７０または外部メモリインタフェース８０を介したアクセスを行うことができる。

ここで、デジタル信号処理部３０は、具体的には、入力されたデジタル画像データに対し、ホワイトバランス調整処理、ガンマ処理、シャープネス処理、更に輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」）を生成するＹＣ信号処理等の各種画像処理を施す。更に、デジタル信号処理部３０は、該画像処理が施されたデジタル画像データから、該デジタル画像データの画像を拡大または縮小する処理（リサイズ処理）を施して、ＬＣＤ４４に表示するための画像データを生成したり、あるいはメモリカード８２に記録するための画像データを生成したりする。

図２は、デジタル信号処理部３０に含まれる、前記リサイズ処理を行うリサイズ処理部６０の構成を示した図である。同図に示されるように、リサイズ処理部６０は、画素位置算出部６２と出力画素データ算出部６４とを備えている。

画素位置算出部６２には、リサイズ処理前のデジタル画像データの画像（以下、「入力画像」と呼称）の画像サイズと、入力画像をリサイズして得られる画像（以下、「出力画像」）の画像サイズとがＣＰＵ５０から入力される。画素位置算出部６２は、入力画像を出力画像に拡大するための拡大率または縮小するための縮小率（以下、拡大率または縮小率をリサイズ率と呼称）と、出力画像を表す各画素の出力画像の中心を基準とした相対座標とに基づいて、出力画像の各画素の入力画像における位置座標を算出する。なお、ここでいう入力画像は、本発明の原画像に相当する。

出力画素データ算出部６４には、画素位置算出部６２により算出された出力画像の各画素の位置座標、及び上記ＹＣ信号処理等の画像処理が施された入力画像のデジタル画像データ（入力画像を構成する各画素の画素データ）が入力される。出力画素データ算出部６４は、入力画像を構成する画素のうち画素位置算出部６２により算出された出力画像の各画素の位置座標の周辺に存在する画素の画素データに基づいて所定の補間処理を施して、出力画像を構成する各画素の画素データを算出する。

例えば、ＬＣＤ４４をファインダとして使用する場合には、ＣＣＤ２４から出力されてデジタル信号処理部３０で上記ＹＣ処理等の画像処理を施して得られたデジタル画像データが、リサイズ処理部６０において、例えばＶＧＡサイズの６４０画素×４８０ラインの画像サイズにリサイズ処理されて、ＬＣＤインタフェース４２を介して順次ＬＣＤ４４に出力される。これによってＬＣＤ４４に、ＣＣＤ２４による連続的な撮像によって得られた動画像（スルー画像）が表示される。

また、撮影された被写体の画像を所望の画像サイズに拡大または縮小してメモリカード８２に記録する場合、あるいは、メモリカード８２に記録されたデジタル画像データをＬＣＤ４４に表示させる場合にも、上記リサイズ処理部６０でリサイズ処理されてメモリカード８２またはＬＣＤ４４に出力される。

また、図１に示されるように、デジタルカメラ１０には、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２が備えられており、ＣＣＤ２４の駆動はＣＰＵ５０によりタイミングジェネレータ３２を介して制御される。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられており、光学ユニット２２に備えられた焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ５０によりモータ駆動部３４を介して制御される。

ＣＰＵ５０は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット２２に含まれるレンズの焦点距離を変化させる。

また、ＣＰＵ５０は、ＣＣＤ２４による撮像によって得られた画像のコントラスト値が最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、本実施の形態に係るデジタルカメラ１０では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂ＴＴＬ（Through The Lens）方式を採用している。

更に、レリーズボタン、電源スイッチ、モード切替スイッチ、等の各種ボタン類及びスイッチ類（図１では、「操作部９０」と総称。）がＣＰＵ５０に接続されており、ＣＰＵ５０は、これらの操作部９０に対する操作状態を常時把握できる。

次に、リサイズ処理部６０で行われるリサイズ処理について図３及び図４のフローチャートを用いて説明する。

図３は、本実施の形態に係るリサイズ処理の流れを示すフローチャートである。

ステップ１００では、入力画像の画像サイズの情報及び出力画像の画像サイズの情報の入力待ちを行い、入力されたときにステップ１０２に移行する。

例えば、撮影により得られた２４８０画素×１８６０ラインのデジタル画像データをＬＣＤ４４にスルー画像として表示するときには、例えば図５に示されるように、入力画像の画像サイズの情報として、２４８０画素×１８６０ラインの画像サイズを示す情報、出力画像の画像サイズの情報として、ＶＧＡサイズ（６４０画素×４８０ラインの画像サイズ）の情報がＣＰＵ５０より入力される。

また、撮影により得られたデジタル画像データを所望の画像サイズに縮小してメモリカード８２に記録する場合には、操作部９０からユーザにより入力された画像サイズの情報（または縮小率の情報）が出力画像の画像サイズの情報として入力される。さらにまた、メモリカード８２に記録されたデジタル画像データをＬＣＤ４４に表示させる場合には、入力画像の画像サイズの情報として、メモリカード８２に記録されたデジタル画像データの画像サイズの情報が入力され、出力画像の画像サイズの情報として、例えばＶＧＡサイズの情報が入力される。なお、以下では、図５に示された画像サイズの入力画像を同図に示される画像サイズの出力画像に縮小する場合を例に挙げながら説明する。

ステップ１０２では、入力画像の中心座標（以下、「入力中心」と呼称）及び出力画像の中心座標（以下、「出力中心」と呼称）を設定する。ここでは、画像の左上の座標を（０，０）とし、水平方向右側にいくほどｘ座標値が大きくなり、垂直方向下側にいくほどｙ座標値が大きくなる絶対座標系で、各中心座標を設定する。具体的には、上記入力された画像サイズを２で除算して得られた数値を中心座標として設定する。例えば図５に示される例では、入力中心は（1239.5，929.5）に設定され、出力中心は、（319.5，239.5）に設定される。

ステップ１０４では、出力画像を構成する画素ｐ（出力画素ｐ）を１つ選択して、この出力画素ｐの出力画像における絶対座標系の座標（絶対座標）を出力中心からの相対座標に変換する。ここで、ステップ１０４の処理を具体的に説明する。

本実施の形態において、出力画素の選択は、入力画像の画素データの読み出し方向（スキャン方向）と同様の順に行われる。本実施の形態において、入力画像の画素データを読み出す際には、図５に示されるように、入力画像の左上端の画素から始まり水平方向右へ順次画素を読み出し、右端に来たら次ラインの画素を順次読み出すようにするため、出力画像の画素もこの読み出し方向（スキャン方向）の順に選択される。従って、ここでは、まず、左上の絶対座標（０，０）の出力画素が選択され、（０，１）、（０，２）・・・と順次選択されてリサイズ処理されることとなる。右端の画素まで処理が終了したときには、次ラインの左端（１，０）の画素が選択され、（１，１）、（１，２）・・・と順次選択されリサイズ処理されることとなる。

続いて、上記選択された出力画素ｐの絶対座標を出力画像の中心座標を基準とした相対座標に変換する。具体的には、出力画素ｐの絶対座標のｘ座標値から中心座標のｘ座標値を差し引いた値を相対座標のｘ座標値として求め、出力画素ｐの絶対座標のｙ座標値から中心座標のｙ座標値を差し引いた値を相対座標のｙ座標値として求める。これにより、例えば絶対座標（０，０）を相対座標に変換する場合には、絶対座標のｘ座標値０から中心座標のｘ座標値３１９．５を差し引いた値−３１９．５が相対座標のｘ座標値に、絶対座標のｙ座標値０から中心座標のｙ座標値２３９．５を差し引いた値−２３９．５が相対座標のｙ座標値になる。従って、絶対座標（０，０）は相対座標（−３１９．５，−２３９．５）に変換される。図６は、図５の出力画像を構成する各画素の出力画像における座標を示した図である。各画素は黒の円形ドットで図示されている。各画素の位置を示す２つの座標のうち、上段の座標が絶対座標であり、下段の座標が出力中心を基準とした相対座標である。

ステップ１０６では、上記出力中心を基準とした相対座標に、リサイズ率ｋの逆数を乗算し、入力中心を基準とした相対座標を算出する。ここで、リサイズ率ｋは、入力画像の画像サイズ及び出力画像の画像サイズから導出される。なお、リサイズ率ｋが直接ＣＰＵ５０から入力されるようにしてもよい。

図５では、リサイズ率が１／３．８７５であるため、この逆数３．８７５を上記変換された相対座標（図６の各画素の下段の座標）のｘ座標値及びｙ座標値に各々に乗算する。乗算して得られた座標が、入力中心を基準とした相対座標となる。これにより、例えば出力画素ｐの相対座標（−３１９．５，−２３９．５）は、入力画像における入力中心を基準とした相対座標（−１２３８．０６２５，−９２８．０６２５）に変換される（図７の矩形ドットＡ参照。）。これにより、出力画素の入力画像における位置を示す相対座標が求まる。ここで求められた相対座標を用いて後述する出力画素データ算出処理を行うこともできるが、ここでは更に、以下に説明するステップ１０８の処理を行って、該相対座標を絶対座標に変換する。

ステップ１０８では、上記入力中心を基準とした相対座標を、入力画像における絶対座標に変換する。具体的には、相対座標のｘ座標値に入力中心のｘ座標値を加算して、入力画像における絶対座標のｘ座標値を求め、相対座標のｙ座標値に入力中心のｙ座標値を加算して、入力画像における絶対座標のｙ座標値を求める。

例えば、上記で例示した相対座標（−３１９．５，−２３９．５）を絶対座標に変換する場合には、該相対座標のｘ座標値−１２３８．０６２５に入力中心のｘ座標値１２３９．５を加算した値１．４３７５が絶対座標のｘ座標値に、該相対座標のｙ座標値−１２３８．０６２５に入力中心のｙ座標値１２３９．５を加算した値１．４３７５が絶対座標のｙ座標値になる。従って、相対座標（−３１９．５，−２３９．５）は、絶対座標（１．４３７５，１．４３７５）に変換される。これにより、出力画素の入力画像における位置を示す絶対座標が求まる。

図７は、図５の出力画像について上記のように変換して得られた、入力画像における出力画素の位置を示した図である。ここでは、入力画像の左上部分のみが拡大されて図示されている。図中の丸形の黒ドットは入力画像の各画素の位置を示しており、矩形の白ドットは出力画像の各画素の位置を示している。なお、矩形の白ドットの位置を示す２つの座標のうち、上段に示される座標がステップ１０８で算出された絶対座標であり、下段がステップ１０６で算出された相対座標である。また、同様に、入力画像の各画素の位置を示す２つの座標のうち、上段に示される座標が入力画像における絶対座標であり、下段が入力中心を基準とした相対座標である。

ステップ１１０では、上記求めた出力画素ｐの入力画像における絶対座標から、該出力画素ｐの画素データを求める処理（出力画素データ算出処理、いわゆる補間処理）が行われる。

通常は、上記求めた出力画素ｐの絶対座標は整数値にならず、入力画像には該座標に対応する画素データが存在しない。このため、入力画像上の出力画素ｐ周辺に存在する画素（周辺画素）の画素データから、出力画素ｐの画素データを補間する処理を行う。この処理が出力画素データ算出処理である。補間の方法は特に限定されず、最近傍補間法やスプライン補間法など様々な方法を用いることができるが、ここでは、線形補間法を用いて出力画素データ算出処理（補間処理）を行う。

図４は、出力画素データ算出処理の流れを示したフローチャートである。

ステップ２００では、入力画像の画素データをスキャン方向に沿って順次入力する（読み出す）。ステップ２０２では、処理対象の出力画素ｐの補間処理に必要な周辺画素の画素データが入力されたか否かを判定する。本実施の形態では、出力画素ｐの画素データを算出するにあたり、図８に示されるように、出力画素ｐの周辺の４画素の画素データＰ１、Ｐ２、Ｐ３、Ｐ４を用いて内挿する線形補間法を用いる。従って、該周辺４画素の画素データが入力された時点で出力画素ｐに関する補間処理が行われる。

なお、補間方法に応じてステップ２０２での判定条件は異なるが、出力画素ｐの入力画像における絶対座標の整数部と、入力画像の画素データの画素の絶対座標とを比較することにより、周辺４画素が全て入力されたか否かを判定することができる。

ここで、該周辺４画素の画素データが全て入力されていない場合には、ステップ２００に戻って、次の画素データを入力する。また、該周辺４画素の画素データが全て入力された場合には、ステップ２０４に移行し、各周辺画素について、出力画素ｐの位置からの距離に応じて重みを決定し、周辺４画素の画素データＰ１、Ｐ２、Ｐ３、Ｐ４の重み付け平均を求め、該重み付け平均を出力画素ｐの画素データとして出力する。

具体的には、出力画素ｐの絶対座標の小数部から各周辺画素について重みを決定することができる。上記例示した出力画素ｐ（図７の矩形ドットＡ）では小数部（０．４３７５，０．４３７５）から重みを決定することができる。

図８に示されるように、出力画素ｐの入力画像における絶対座標（Ｘ、Ｙ）の整数部を（intＸ、intＹ）とし、小数部を（Δｘ、Δｙ）とすると、周辺４画素の画素のデータＰ1、Ｐ2、Ｐ3、Ｐ4の座標は、（intＸ、intＹ）、（intＸ、intＹ＋１）、（intＸ＋１、intＹ）、（intＸ＋１、intＹ＋１）となる。また、それぞれの画素データＰ1、Ｐ2、Ｐ3、Ｐ4の重みは、（１−Δｘ）×（１−Δｙ）、（１−Δｘ）×Δｙ、Δｘ×（１−Δｙ）、Δｘ×Δｙとなる。

従って、求める出力画素ｐの画素データは、周辺４画素の画素データの値をＰ1、Ｐ2、Ｐ3、Ｐ4とすると、次の式のようになる。
ｐ＝Ｐ1×（１−Δｘ）×（１−Δｙ）＋Ｐ2×（１−Δｘ）×Δｙ
＋Ｐ3×Δｘ×（１−Δｙ）＋Ｐ4×Δｘ×Δｙ・・・（１）
上記（１）式により、出力画素ｐの画素データを求めることができる。

図３に戻り、ステップ１１２で、全出力画素の処理が終了したか否かを判定し、終了していないと判定した場合には、ステップ１０４に戻り、次の出力画素を選択して（例えば前回処理した出力画素の絶対座標が（０，０）である場合には、絶対座標が（１，０）の出力画素を選択する）、上記と同様の処理を行って該選択した出力画素の画素データを求める。ステップ１１２で、全出力画素の処理が終了したと判定されるまで、上記処理が繰り返される。

このように、全出力画素に対して同様の処理を行うことにより、最終的にリサイズされた出力画像の画像データを得ることができる。

以上説明したように、入力画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、出力画像を表す各画素の出力画像の中心を基準とした相対座標とに基づいて、出力画像の各画素の入力画像における位置座標を算出し、入力画像上の前記算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する出力画像の画素の画素データを各々算出するようにしたため、中心ずれの無い高品質な出力画像を簡易に得ることができる。

より詳述すると、従来は、リサイズ率に応じてオフセット量、画素開始位置を計算することにより中心ずれを解消していたが、上記のように出力画像の中心座標を基準とした相対座標及びリサイズ率から入力画像における出力画素の位置座標を求めることで、簡易に中心位置ずれの無い出力画像の画像データを求めることができ、煩雑な計算が不要となる。特に、デジタルカメラ等に搭載されている電子ズーム機能において、ズーム倍率を頻繁に変動させる場合には、中心位置を固定にしてリサイズ率を変更するだけで容易に出力画素の入力画像における位置座標を求めることができ、容易かつ高品質に各画素の画素データを求めることができる。

なお、上記実施の形態では、水平方向及び垂直方向のリサイズ処理を同時に行って出力画像の画像データを得ていたが、図９に示すように、まず水平方向だけを縮小した中間画像の画像データを作成し、その後に垂直方向を縮小して出力画像の画像データを得るようにしてもよい。また、逆に、垂直方向のリサイズ処理を先に行い、その後に水平方向をリサイズ処理するようにしてもよい。

更にまた、図１０に示すように、入力画像の一部分を切り出して（トリミングして）リサイズ処理を行う場合も、上記実施の形態と同様に処理することができる。具体的には、入力画像の中心座標（1239.5，929.5）ではなく、トリミングして得られたトリミング画像の中心座標（図１０では（1639.5，1229.5））を、上記実施の形態における入力中心として設定する。上記実施の形態では、入力画像そのものをリサイズ処理する例について説明したため、ステップ１０２で入力画像の中心座標と出力画像の中心座標を自動的に設定することができたが、ユーザの指定によりトリミングされたトリミング画像をリサイズ処理する場合には、ユーザにより指定されたトリミング画像の画像サイズが入力画像の画像サイズとして入力され、かつ入力中心もユーザにより指定され設定される。これ以外は、上記と同様に処理することができる。このように、トリミングした画像をリサイズ処理する場合であっても、中心ずれの無い出力画像の画像データを簡易に得ることができる。

また、上記実施の形態では、入力画像を縮小処理する場合を例に挙げて説明したが、拡大処理する場合であっても、上記と同様に処理できる。

なお、上記実施の形態において、上記リサイズ処理で説明したステップ１００の処理で、入力画像の画像サイズの情報と出力画像の画像サイズの情報を入力する例について説明したが、これに限定されず、例えば、入力画像の画像サイズの情報とリサイズ率の情報を入力するようにしてもよい。

また、上記実施の形態では、出力画素の入力画像における絶対座標を算出して補間処理を行う例について説明したが、これに限定されず、例えば該絶対座標まで計算せずに、入力画像の中心座標を基準とした相対座標を用いて補間処理を行うこともできる。このように処理する場合には、上記ステップ１０８の処理を省略し、出力画素データ算出処理のステップ２０２では、入力画像の各画素の入力中心からの相対座標を該出力画素の相対座標と比較しながら、補間処理に必要な周辺画素の画素データを得るように処理する。このようにリサイズ処理を行う場合でも、上記と同様の効果が得られる。

［第２の実施の形態］
本実施の形態では、リサイズ処理とディストーション補正処理とを同時に行う例について説明する。まず、ディストーションについて簡単に説明する。

デジタルカメラなどの撮像装置では、光学レンズを通して被写体像を撮像して、被写体像を表す画像を取得するため、レンズの屈折により取得した画像の周辺に歪みが生じてしまう。この歪みは、一般に光学歪み（ディストーション）と称される。

光学歪みは、画像の角部が外側に伸びる「糸巻き型」と、逆に角部が縮む「たる型」の２種類に分けられ、何れも各画素が本来の画素位置から画像の中心に対して移動したような形になっており、その移動量（変位量）は画像中心からの距離の多次元関数で近似表現することができる。

本実施の形態では、画像中心からの距離をＤとした場合の移動量ΔＤを、以下の式で表す。
ΔＤ＝α×Ｄ＋β×Ｄ²＋γ×Ｄ³ ・・・（２）
α、β、γは、予め定められた係数である。

なお、ここで示した移動量ΔＤを求める非線形の多次元関数式は一例であって、これに限定されず、適用するレンズ及びレンズの配設位置等に応じて適宜好適な非線形の多次元関数式を用いて算出することができる。

このように移動量ΔＤを算出して元の画素位置を逆算することにより、ディストーション補正された画像の画素データを得ることが可能となる。

以下、本実施の形態について詳細に説明する。なお、本実施の形態に係るデジタルカメラ１０の構成及び本発明の画像処理装置としてのリサイズ処理部６０の構成は第１の実施の形態と同様であるため、説明を省略する。ただし、本実施の形態においてリサイズ処理部６０の画素位置算出部６２では、リサイズ処理中にディストーション補正処理も行われる。

図１１は、本実施の形態に係るリサイズ処理の流れを示すフローチャートである。

ステップ３００からステップ３０６までの処理は、第１の実施の形態におけるリサイズ処理のステップ１００から１０６までの処理と同様であるため、説明を省略する。

ステップ３０８では、出力画素ｐの位置から入力中心までの距離Ｄを算出する。出力画素ｐの入力中心からの相対座標を（ｘ、ｙ）とすると、距離Ｄは次式で算出することができる。
Ｄ＝（ｘ²＋ｙ²）^1/2 ・・・（３）
ステップ３１０では、上記（３）式で求めたＤを上記（２）式に代入して、移動量（変位量）ΔＤを算出する。

ステップ３１２では、上記ステップ３０６で求めた入力中心を基準とした相対座標を、上記ステップ３１０で求めたΔＤで補正して、入力画像における絶対座標に変換する。

以下、ステップ３１２での処理について詳細に説明する。まず、出力画素ｐの入力画像における位置が、入力中心に対してΔＤだけ移動するように相対座標を補正する。具体的には、出力画素ｐの入力画像における相対座標のｘ座標値及びｙ座標値の各々に、以下の式で算出した補正値を加算または減算する。
ΔＤ（ｘ）＝ΔＤ×（｜ｘ｜／Ｄ）・・・（４）
ΔＤ（ｙ）＝ΔＤ×（｜ｙ｜／Ｄ）・・・（５）
上記（４）及び（５）式により算出した補正値を、相対座標に加算または減算することにより、ｘとｙの比を変化させずに、出力画素ｐの相対座標をΔＤだけ移動させることができる。

入力画像にたる型のディストーションが発生している場合には、出力画素ｐの位置が入力中心に近づくように、マイナスの座標値には上記（４）式、または（５）式で算出したΔＤ（ｘ）またはΔＤ（ｙ）を加算し、プラスの座標値にはΔＤ（ｘ）またはΔＤ（ｙ）を減算する。入力画像に糸巻き型のディストーションが発生している場合には、出力画素ｐの位置が入力中心から離れるように、マイナスの座標値にはΔＤ（ｘ）またはΔＤ（ｙ）を減算し、プラスの座標値にはΔＤ（ｘ）またはΔＤ（ｙ）を加算する。

すなわち、ここでは、出力画素ｐの入力画像における相対座標をΔＤだけ移動させて、入力画像と同様に歪ませることによって、後段の出力画素データ算出処理で、出力画素ｐの画素データを算出するために必要かつ適切な周辺画素を適切に読み出すことができるようにしている。

このようにΔＤを用いて補正した後に、該補正後の相対座標のｘ座標に入力中心のｘ座標値を加算して、入力画像における絶対座標のｘ座標値を求め、該相対座標のｙ座標値に入力中心のｙ座標値を加算して、入力画像における絶対座標のｙ座標値を求める。なお、相対座標を絶対座標に変換してから、ΔＤを用いて該絶対座標を補正するようにしてもよい。

ここで、ステップ３１２の処理を具体例を挙げて説明する。例えば、図１２に示されるように、点線で示される「たる型歪み」が発生している入力画像からリサイズ率１の出力画像を出力する場合には、出力画素ｐの入力画像における位置がΔＤだけ入力中心に近づくように上記相対座標（または上記絶対座標）移動させる。

図１３は、図１２の入力画像における出力画像の各画素の位置を示しており、ここでは、出力画像の左上部分のみを抽出して示してある。円形の黒ドットは、ディストーション補正前の出力画素の位置を示している。円形の黒ドットの位置を示す２つの座標のうち、上段の座標は絶対座標を示し、下段の座標は入力中心を基準とした相対座標を示している。なお、ここではリサイズ率が１であるため、入力中心と出力中心は等しくなっている。また、矩形の白ドットは、ΔＤを用いてディストーション補正して得られた各出力画素の位置を示している。

図示されるように、ディストーション補正前の絶対座標（０，０）の出力画素は、上記のようにディストーション補正することによりΔＤだけ入力中心側に移動する。他の画素についても同様にディストーション補正することにより、各画素の位置は該ΔＤだけ入力中心側に移動する。

このように、出力画素の入力画像における位置をΔＤを用いて入力画像と同様に歪ませることによって、後段の出力画素データ算出処理で、出力画素ｐの画素データを算出するために必要な周辺画素を適切に読み出すことができるようにしている。

ステップ３１４及びステップ３１６は、第１の実施の形態におけるリサイズ処理のステップ１１０及びステップ１１２の処理と同様であるため、説明を省略する。

ここでは出力画素ｐの画素データを算出するために適切な周辺画素の画素データを得るために出力画素の入力画像における位置座標（相対座標あるいは絶対座標）を歪ませるのであって、実際に生成される出力画像の画素は歪み無く配列されて、上記算出された画素データにより歪みのない高品質な出力画像を生成することができる。

なお、上記では、リサイズ率が１の場合を例に挙げて説明したが、図１４に示されるように、リサイズ率が１以外の場合についても、上記図１１を用いて説明したリサイズ処理と同様に処理できる。

なお、本実施の形態においてディストーション補正のみを行う場合には、上述したようにリサイズ率をｋ＝１とすればよく、リサイズ処理のみを行う場合には、ΔＤを求める多次元関数式（２）の各係数（α，β，γ）を０とすればよい。これにより、図１１で示したアルゴリズムをリサイズ処理とディストーション補正処理とで共通して用いることができる。

以上説明したように、出力画素の入力中心を基準とした相対座標からディストーションの変位量ΔＤを求め、該ΔＤを用いて出力画素の入力画像における位置座標（相対座標または絶対座標）を補正するようにしたため、ディストーション補正された出力画像の画像データを得ることができる。また、第１の実施の形態と同様のアルゴリズムで、共通の回路を用いてディストーション補正を行うことができるため、リサイズ処理を行う回路とディストーション補正を行う回路の共通化を図ることができる。

より詳述すると、従来は、ディストーション補正処理とリサイズ処理とを互いに異なるアルゴリズムで別々に行っていたため、ディストーション補正を行う回路とリサイズ処理を行う回路とを各々別々に設ける必要があったが、本実施の形態では、リサイズ処理を行う回路でディストーション補正も行うことができるため、回路の共通化を図ることができる。また、従来は、ディストーション補正処理とリサイズ処理とを互いに異なるアルゴリズムで別々に行っていたため、双方の処理を同時に行うことはできず、処理効率が悪かったが、上述したように、ディストーション補正処理とリサイズ処理とを同時に行うようにしたため、処理効率を向上させることができる。

なお、上記第２の実施の形態では、出力画素の入力中心を基準とした相対座標に基づいて出力画素の位置から入力中心までの距離Ｄを求め、該距離Ｄからディストーションの変位量ΔＤを求めて出力画素の入力画像における位置座標を補正する例について説明したが、これに限定されず、例えば、出力画素の出力中心を基準とした相対座標に基づいて出力画素の位置から出力中心までの距離ｄを求め、該距離ｄから所定の多次元関数式を用いてディストーションの変位量Δｄを求めて、出力画素の出力画像における相対座標を補正するようにしてもよい。

このように、出力中心を基準としてディストーション補正を行う場合には、図１１を用いて説明したリサイズ処理のステップ３０４とステップ３０６の間に、ステップ３０５として、出力中心からの距離ｄを算出し、該距離ｄからディストーションの変位量Δｄを求める処理を挿入し、ステップ３０６で、出力中心からの相対座標をΔｄにより補正してからリサイズ率ｋの逆数を乗算し、入力中心からの相対座標を算出するようにする。また、ステップ３１０を削除し、ステップ３１２では、第１の実施の形態のリサイズ処理におけるステップ１０８と同様に絶対座標に変換する。

このように処理する場合であっても、上記第２の実施の形態と同様の効果を奏する。

なお、出力画素データ算出処理において各画素データを適正に算出するためには、最終的に、入力画像の歪み量と同様に入力画像における出力画素の位置が歪むように、出力画像における出力画素の位置（相対座標）を移動させる必要がある。

出力画像のリサイズ率はｋであるため、Δｄを求めるための多次元関数式の係数をリサイズ率に応じて変更しないと、入力画像と同様に歪ませた位置座標を得ることはできない。すなわち、出力画素の出力画像における相対座標を移動させることによってディストーション補正する場合には、ΔＤ＝ｋ×Δｄ（Δｄ＝ΔＤ／ｋ）の関係が成立するように、Δｄを求めるための多次元関数式の係数をリサイズ率に応じて変更する必要がある。

従って、出力画素の位置から出力中心までの距離ｄからディストーションの変位量Δｄを求めて補正するよりも、上記実施の形態で説明したように、リサイズ率に無関係な入力画像を基準として考え、出力画素の入力画像における位置をΔＤで補正するほうが、簡易に処理できるため好ましい。またΔＤを算出する多次元関数式の係数も、等倍リサイズ率（ｋ＝１）を元に導出すればよいため、より簡易に装置を構築することができる。

また、上記第２の実施の形態では、出力中心を基準とした相対座標にリサイズ率ｋの逆数を乗算して入力中心を基準とした相対座標に変換し、別途ΔＤを計算して、該入力中心を基準とした相対座標を補正する例について説明したが、本発明はこれに限定されず、例えば、上記ステップ３０６からステップ３１２の処理を以下のような処理に変更してディストーション補正された相対座標を直接的に求めることができる。

まず、ステップ３０４の後に、出力画素の出力中心を基準とした相対座標に基づいて出力画素の位置から出力中心までの距離ｄを求め、更に、以下に示す出力画素の出力中心を基準とした相対座標のｘ座標値及びｙ座標値を変換するための関数を算出する。
Ｆｘ（ｄ）＝１／ｋ｛１＋（ｕ×ｄ＋ｖ×ｄ²＋ｗ×ｄ³）×ｘ／ｄ｝・・・（６）
Ｆｙ（ｄ）＝１／ｋ｛１＋（ｕ×ｄ＋ｖ×ｄ²＋ｗ×ｄ³）×ｙ／ｄ｝・・・（７）
ここで、ｕ、ｖ、ｗは、予め定められた係数である。

また、上記（６）式及び（７）式において、（ｕ×ｄ＋ｖ×ｄ²＋ｗ×ｄ³）は、出力中心を基準としたディストーションの変位量Δｄに相当するが、これに、（ｘ／ｄ）または（ｙ／ｄ）を乗算することにより、ｘとｙの比を変化させずに、出力画素ｐの相対座標のｘ座標値及びｙ座標値を移動させることができる。なお、ｕ、ｖ、ｗに符号を持たせることにより、出力画素ｐの相対座標を画像の中心に向かって移動させるか、あるいは画像の中心から離れるように移動させるかを制御することができ、出力画素ｐの位置を適切に移動させることができる。

この（６）式及び（７）式でＦｘ（ｄ）、Ｆｙ（ｄ）の値を、出力中心を基準とした相対座標のｘ座標値、ｙ座標値に乗算する。これにより、出力画素ｐの入力中心を基準とした相対座標であってディストーション補正された相対座標を直接的に求めることができる。相対座標を求めた後は、上記第２の実施の形態と同様に、入力中心を基準とした絶対座標を求め、ステップ３１４に移行する。

このように処理しても、上記第２の実施の形態と同様の効果を奏する。

なお、上記第１及び第２の実施の形態では、本発明の画像処理装置に相当するリサイズ処理部がデジタルカメラに搭載されている例について説明したが、これに限定されず、デジタルカメラ以外のリサイズ処理を行う様々な画像処理装置に適用可能である。

第１及び第２の実施の形態に係るデジタルカメラの構成を説明する。デジタル信号処理部に含まれる、リサイズ処理を行うリサイズ処理部の構成を示した図である。第１の実施の形態に係るリサイズ処理の流れを示すフローチャートである。出力画素データ算出処理の流れを示したフローチャートである。図５に示されるように、入力画像の画像サイズの情報として、２４８０画素×１８６０ラインの入力画像をＶＧＡサイズ（６４０画素×４８０ラインの画像サイズ）の出力画像にリサイズする処理を説明した説明図である。図５の出力画像を構成する各画素の座標を示した図である。図５の出力画像について、出力中心からの相対座標にリサイズ率ｋの逆数を乗算して得られた、入力画像における出力画素の位置を示した図である。線形補間法を説明する説明図である。先に水平方向だけを縮小した中間画像を作成し、その後に垂直方向を縮小して出力画像を得る場合のリサイズ処理を説明する説明図である。原画像の一部分を切り出して（トリミングして）リサイズ処理を行う場合のリサイズ処理を説明する説明図である。第２の実施の形態に係るリサイズ処理の流れを示すフローチャートである。「たる型歪み」が発生している入力画像からリサイズ率１の出力画像を出力する場合の処理を説明する説明図である。図１２の入力画像における出力画像の各画素の位置を出力画像の左上部分のみを抽出して示した図である。「たる型歪み」が発生している入力画像からリサイズ率１以外の出力画像を出力する場合の処理を説明する説明図である。

符号の説明

１０デジタルカメラ
２２光学ユニット
３０デジタル信号処理部
５０ＣＰＵ
６０リサイズ処理部
６２画素位置算出部
６４出力画素データ算出部

Claims

原画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、前記出力画像を表す各画素の前記出力画像の中心を基準とした相対座標とに基づいて、前記出力画像の各画素の前記原画像における位置座標を算出する位置算出手段と、
前記原画像上の前記位置算出手段により算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する前記出力画像の画素の画素データを各々算出する画素データ算出手段と、
を含む画像処理装置。
前記位置算出手段は、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記拡大率または縮小率とに応じた量だけ前記原画像が歪んでいる方向に前記相対座標を移動させる
請求項１記載の画像処理装置。
前記位置算出手段は、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させる
請求項１記載の画像処理装置。
原画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、前記出力画像を表す各画素の前記出力画像の中心を基準とした相対座標とに基づいて、前記出力画像の各画素の前記原画像における位置座標を算出する位置算出ステップと、
前記原画像上の前記位置算出手段により算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する前記出力画像の画素の画素データを各々算出する画素データ算出ステップと、
を含む画像処理方法。
前記位置算出ステップにおいて、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記拡大率または縮小率とに応じた量だけ前記原画像が歪んでいる方向に前記相対座標を移動させる
請求項４記載の画像処理方法。
前記位置算出ステップにおいて、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させる
請求項４記載の画像処理方法。