JP2009289079A - 画像出力装置 - Google Patents

Abstract

【課題】カメラ等の負担を軽減しつつ劣化した画像を是正することを可能にする画像出力装置を提供する。
【解決手段】劣化等の変化が生じた原画像のデータから、劣化する前の画像若しくは本来取得されるべきであった画像またはそれらの近似画像（元画像）の復元をする処理部４を有し、処理部４は、変化の要因となる変化要因情報のデータを新規に生成する処理と、生成された変化要因情報のデータに基づいて元画像の復元をする復元処理を行い、得られた元画像を出力する。
【選択図】図１

Description

本発明は、画像出力装置に関する。

従来から、カメラ等で撮影した際には、画像には時々劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ブレ、光学系の各種の収差、レンズの歪み等がある。

撮影時の手ぶれによって、劣化した撮影画像を是正するには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで是正する方式が知られている（特許文献１参照）。また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、劣化した画像を是正するものが知られている（特許文献２参照）。

また、一般の撮影画像以外にも、Ｘ線写真、顕微鏡画像等、種々の画像が、ぶれやその他の原因によって劣化したり、変化したりすることが知られている。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

特許文献１および特許文献２の技術は、共にカメラ等に劣化した撮影画像を是正する機器等を搭載することを前提としている。しかしながらカメラ等は小型化が進んでいるため、劣化した撮影画像を是正する機器等を搭載すること、およびそれを動作させることは、カメラ等にとって負担である。

そこで、本発明の目的は、カメラ等の負担を軽減しつつ劣化した画像を是正することを可能にする画像出力装置を提供することである。

上記目的を達成するため、本発明の画像出力装置は、劣化等の変化が生じた原画像のデータから、変化する前の画像若しくは本来取得されるべきであった画像またはそれらの近似画像（以下、元画像という）の復元をする処理部を有し、処理部は、変化の要因となる変化要因情報のデータを新規に生成する処理と、生成された変化要因情報のデータに基づいて元画像の復元をする復元処理を行い、得られた元画像を出力する。

この発明によれば、印刷装置等の画像出力装置側に劣化した画像を是正する処理をプリンタ等の画像出力装置側が負担することとなるため、カメラ等の負担を軽減しつつ劣化した画像を是正できる。

他の発明に係る画像出力装置は、上述した発明に加え、変化要因情報のデータを生成する処理は、処理部が任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、（１）そのデータを利用して、任意の画像データから比較用画像データを生成して、（２）原画像のデータまたはその原画像のデータを加工したデータと比較用画像データとを比較し、（３）得られた差分のデータを最初の変化要因情報のデータを利用して任意の画像データに配分することで最初の復元画像データを生成し、（４）その最初の復元画像データを任意の画像データの代わりに用い、必要に応じて、同様の処理を繰り返し、（５）その結果得られた、復元画像データと原画像のデータまたはその原画像のデータを加工したデータとから最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成する処理を行うものである。この構成を採用することによって、変化要因情報のデータが未知であっても妥当な変化要因情報のデータを生成でき、画像復元が可能となる。なお、（５）における「復元画像データ」は、最初の復元画像データおよび（４）において必要に応じて処理を繰り返して得られる復元画像データの両者を含む。

他の発明に係る画像出力装置は、上述した発明に加え、復元処理は、処理部が変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して、任意の画像信号データから比較用画像信号データを生成して、処理対象となる原画像のデータと比較用画像信号データとを比較し、得られた差分のデータを変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して任意の画像信号データに配分することで復元画像信号データを生成し、この復元画像信号データを任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うものである。この構成を採用することによって、実用的な画像復元が可能となる。

他の発明に係る画像出力装置は、上述した発明に加え、原画像のデータを受信する通信部を有し、処理部は通信部によって受信される原画像のデータに対して復元処理を行う。この構成を採用することによって、パソコンまたはカメラ等からの有線または無線の送信データを受信したプリンタ等が画像の復元処理を行うため、パソコンまたはカメラ等の処理負担が軽減される。

他の発明に係る画像出力装置は、上述した発明に加え、処理部が行う復元処理を行うか否かを決定する決定手段を有する。この構成を採用することによって、画像の復元の処理を要しない画像についてはその処理を省略して画像出力装置の処理負担を軽減することができる。

他の発明に係る画像出力装置は、上述した発明に加え、復元処理の進行を調整する調整手段を有する。この調整手段を設けることによって、復元が十分でない場合にはさらに復元の進行を進めることが可能であり、復元が十分な場合には、復元の進行を抑えて画像出力装置の処理負担を軽減できる。

他の発明に係る画像出力装置は、上述した発明に加え、処理部は、表示部に原画像および元画像を並べて表示する処理を行う。この表示部を設けることによって、画像復元の前後の画像をユーザが見比べることができ、必要に応じていずれの画像を出力するか等を決定することが可能となる。

他の発明に係る画像出力装置は、上述した発明に加え、原画像を読み取って原画像のデジタルデータを生成する読み取り部を有し、処理部は読み取り部によって読み取られる原画像のデジタルデータに対して復元処理を行う。この読み取り部を設けることによって、たとえば複写装置、スキャナー装置またはファクシミリ装置等に直接劣化画像（原画像）を読み込ませ、処理部によって元画像を出力させることができる。

本発明では、カメラ等の負担を軽減しつつ劣化した画像を是正することを可能にする画像出力装置を提供することができる。

（画像出力装置の構成）
以下、本発明の実施の形態に係る画像出力装置を、図を参照しながら説明する。なお、この画像出力装置は、民生用のプリンタ１としているが、ファクシミリ装置、複写装置、スキャナー装置、またはこれらの装置のうち２以上の機能を実現する複合装置にも適用できる。

図１は、本発明の実施の形態に係る画像出力装置
の一実施例であるプリンタ１の主要な基本構成を示すブロック図 である。外部機器２は、デジタルカメラ、デジタルカメラが搭載された携帯電話またはパーソナルコンピュータ等で、プリンタ１に画像データや各種コマンド等を出力している。以下、外部機器２がデジタルカメラであるものとして説明する。このプリンタ１は、インターフェース部３（通信部）と、処理部４と、表示／操作部５と、メモリ部６と、メモリ制御部７と、駆動部１０と、を主要構成として有している。

インターフェース部３は、外部機器２とのデータ及びコマンド等の通信制御を行なう。処理部４は、主にＣＰＵとプログラム用ＲＯＭ，ワーク用ＲＡＭ，Ｉ／Ｏポート等の周辺回路等で構成され、プリンタ１全体の動作制御を行なう。表示／操作部５（ＬＣＤ等の表示部とキースイッチ等の操作部を含む。決定手段、調整手段および表示部となる。）は、ユーザに対しプリンタ１の操作に必要な情報を表示し、かつ、ユーザがプリンタ１を操作する際のタッチパネルとなる。メモリ部６は、Ｄ−ＲＡＭまたはＳ−ＲＡＭ等の半導体メモリからなり、画像データおよび生成された変化要因情報のデータ等を格納する。メモリ制御部７は、メモリ部６へのリードおよびライトを制御し、主に表示／操作部５からのパラメータを格納するパラメータ記憶部８と、メモリ部６のリード及びライトのアドレスを発生させるアドレス制御部９とを有する。駆動部１０は、用紙等の被記録媒体を移動するための駆動源である搬送モータ（図示省略）と、記録用インクを吐出する記録ヘッド部（図示省略）と、記録ヘッド部を画像信号に応じて駆動するヘッド駆動部（図示省略）と、各種の駆動を制御するモータ駆動部（図示省略）と、キャリッジ部（図示省略）を移動するための駆動源であるキャリッジモータ（図示省略）等からなる。これら駆動部１０等の各構成要素の動作によって、デジタルカメラに格納されている画像データが、用紙等の被記録媒体へと出力（印刷）されることとなる。

図１に示す破線で囲んだ画像復元処理部１１について詳述する。画像復元処理部１１は、プリンタ１の構成要素のうち、インターフェース部３、処理部４、メモリ部６およびメモリ制御部７の各機能の全部または一部によって構成されている。インターフェース部３が外部機器２との通信によって受信した原画像のデータは、処理部４に送られ処理部４によって処理される。その処理の際の各種データは、メモリ制御部７を介してメモリ部６に記録される。その各種データは、変化要因情報のデータおよびその生成過程に生成されるデータ、ならびに復元画像のデータ（元画像のデータ）およびその復元過程に生成されるデータを含む。

処理部４は、画像処理プロセッサを有しており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。そして、処理部４は、後述する変化要因情報のデータの生成に係る処理および画像の復元処理を実行する。

また、この処理部４は、各種データを記憶する記憶部（図示省略）を有し、その記憶部には後述する比較用画像データおよび比較用画像信号データを生成する際の元となる画像のデータが保管されることがある。さらに処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。

また、メモリ部６は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等を使用する光記録手段等を採用しても良い。また、メモリ部６は、変化要因情報のデータまたはそのデータを加工したデータを記録する。そして、メモリ部６は、その変化要因情報のデータの中枢をなすブレの軌跡（履歴）と、その軌跡上の各点にとどまっていた時間（重み）を記憶する。メモリ部６で記録されたデータは、撮影された原画像（劣化等の変化が生じた画像）から元画像（変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像）への復元処理の際に、処理部４で用いられる。よって、処理部４とメモリ部６との間では、メモリ制御部７を介して相互にデータの受け渡しが可能となっている。

（変化要因情報のデータの生成）
図２に、処理部４が行う変化要因情報のデータの生成処理の一例のフローチャートを示す。

まず、処理部４は、最初の変化要因情報のデータである点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の任意の初期値（Ｐ_０）を設定する（ステップＳ１０１）。ここでは、その初期値を強度分布がガウス分布のデータであるガウシアンディスクとして設定する。

次に、処理部４は、ステップＳ１０１の処理と併行してまたはその処理の前若しくは後に、受信した原画像のデータＩｍｇ’を１／４に縮小する。すなわち、原画像のデータＩｍｇ’のデータを間引いて２５％の容量値とする縮小処理（加工）を行う（ステップＳ１０２）。この縮小処理を経たデータである縮小データをＳＩｍｇ’と記す。

次に、処理部４は、その縮小データＳＩｍｇ’と同一容量の任意の画像データとしてＩ_０を用い、Ｉ_０とＰ_０とを重畳積分してブレた比較用の画像データＩ_０’を得る（ステップＳ１０３）。なお、任意の画像データＩ_０としては、縮小された原画像のデータＳＩｍｇ’が好ましい。

次に、処理部４は、ＳＩｍｇ’とＩ_０’とを比較し、その差分のデータΔを得る（ステップＳ１０４）。その差分のデータΔが所定値以内かを判定し（ステップＳ１０５）、所定値以内であればステップＳ１２０へ移行し、所定値以内でなければステップＳ１０６へ移行する。ステップＳ１０６では、その差分のデータΔに係数ｋ（変化要因情報（ＰＳＦ）に基づいた係数）を乗じたものをＩ_０に配分して、最初の復元画像データＩ_０＋ｎ（今回はＩ_０＋１）を得る。ステップＳ１０６において、Ｉ_０に配分する際には、その配分値（更新量）の妥当性を判断する処理を行う（ステップＳ１０７）。そして、その妥当性に応じてＩ_０＋ｎを修正する処理を行う（ステップＳ１０８）。次に、ステップＳ１０９に移行し、この処理が所定回数に達したか否かを判断し、所定回数（たとえば１０回）に達したらステップＳ１２０へ移行し、所定回数に達していないときはステップＳ１１０へ移行する。

そして処理部４は、Ｉ_０＋１をＩ_０の代わりに用いて（ステップＳ１１０）ステップＳ１０３の処理を行い、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０７、ステップＳ１０８、ステップＳ１０９およびステップＳ１１０の処理を所定回数（今回は１０回）繰り返す。その所定回数に達したか否かの判断をステップＳ１０９にて行う。

ステップＳ１０６の処理は、縮小した原画像のデータＳＩｍｇ’および復元画像データＩ_０＋ｎを構成する画素のデータの一部または全部を移動（配分）させる処理である。なお、ステップＳ１０７およびステップＳ１０８の詳細については後述する。

次に、ステップＳ１０９にて所定回数に達したと判断された場合は、処理部４は、ＰＳＦを算出する処理を行う（ステップＳ１２０）。その処理は、得られた復元画像データＩ_０＋ｎと縮小された原画像のデータＳＩｍｇ’から新たなＰＳＦ（＝Ｐ）を得る処理である。その処理の具体例は、得られた復元画像データＩ_０＋ｎと原画像の縮小データＳＩｍｇ’をそれぞれフーリエ変換し、周波数空間での割り算によってＰＳＦの周波数特性を算出し、その周波数特性をフーリエ逆変換することによってＰＳＦ（＝Ｐ）を得る。

次に、処理部４は、Ｐのデータの中枢をなすブレの軌跡の部分（骨格部）のデータの値を２倍にして、骨格部を強調する処理を行う（ステップＳ１２１）。図３（Ａ）は、現段階の時点で推定されるＰＳＦをＸ−Ｙ平面上に示したものである。このＸ−Ｙ平面は、後述する図６に示す外部機器２であるデジタルカメラのブレが生じやすいＸ−Ｙ平面に相当する。ＰＳＦは、そのデータの中枢をなすブレの軌跡に相当する部分（骨格部）Ａと、その周辺のデータ値の小さな部分Ｂ（ボケ等の部分）とからなる。この小さな値となる部分Ｂは、ボケの部分と考えられる。図３（Ｂ）は、Ａの部分を強調する処理（ステップＳ１２１）を行った後のＰＳＦの状態を示している。Ａの骨格部分が若干強調されていることがわかる。この処理に当っては、細線化処理が採用されているが、他の強調方法を採用してもよい。この処理の結果、ステップＳ１２０で得られたＰのデータは、Ｐ’のデータとなる。その後、移動エネルギーが最小となるようにＰ’の原点を設定する処理（詳細は後述する）を行う（ステップＳ１２２）。

次に、処理部４は、Ｐ’が妥当なＰＳＦか否かを判断する。具体的には、処理部４は、ステップＳ１２０からＳ１２２までの処理を３回繰り返したか否かを判断する（ステップＳ１２３）。繰り返しの回数、すなわちＰＳＦの算出回数が３回を満たしていなければ（Ｎ）、Ｐ’のデータをＰ_０の代わりに用いて（ステップＳ１２４）、ステップＳ１０３からＳ１１０までの処理を繰り返し、その後再度ステップＳ１２０〜Ｓ１２２を実行する。

そして、ステップＳ１２３の判断において、ＰＳＦ算出の回数、すなわち繰り返しの回数が３回を満たしていれば（Ｙ）、処理部４は、後述する拡大処理（ステップＳ１２５）において予め定められていた縮小率、すなわち、原画像に対する縮小の程度に至ったか否か、つまり、所定の縮小率に達したかを判断する（ステップＳ１２６）。この判断が（Ｎ）ならば、得られたＰ’のデータおよびＩ_０＋ｎのデータを同じ比率で拡大処理する（ステップＳ１２５）。この実施の形態では、最後に得られたＰ’とＩ_０＋ｎを４／３倍する。所定の縮小率に至っていないと判断すると、拡大処理したＩ_０＋ｎのデータをＩ_０のデータの代わりに用い（ステップＳ１２７）、拡大処理したＰ’のデータをＰ_０の代わりに用いる（ステップＳ１２４）。そして、原画像のデータを１／３に縮小した新たな縮小画像ＳＩｍｇ’を得る。この１／３に縮小した画像は先に４／３倍したデータとは同じサイズの画像となる。そして、処理部４は、新たな各データを用い、ステップＳ１０３からＳ１１０までの処理を繰り返し、また、ステップＳ１２０からＳ１２４までの処理を繰り返す。この繰り返しは、ステップＳ１２６で所定の縮小率、たとえば原画像のデータに対して１／３の縮小率に達していると判定されたとき（Ｙ）は、ステップＳ１２８へ移行する。なお、ステップＳ１２５では、得られたＰ’のデータおよびＩ_０＋ｎのデータを同じ比率で拡大処理しているが、拡大処理するのはＰ’のデータのみとし、拡大処理したＩ_０＋ｎのデータの代わりに任意の画像データを用い、ステップＳ１２５を実行しても良い。その任意の画像データは、たとえばＳＩｍｇ’のデータ等である。但し、ステップＳ１２５では、本実施の形態のように得られたＰ’のデータおよびＩ_０＋ｎのデータを同じ比率で拡大処理した方が、復元処理を経たＩ_０＋ｎのデータを用いるため、良質なＰＳＦを生成できる場合がある。

なお、ステップＳ１２５におけるＰ’のデータの拡大処理は、処理部４が、隣接する画素の間にその隣接する画素の値の平均値の新たな画素のデータを挿入すること（補完法）により行う。また、Ｉ_０＋ｎのデータの拡大処理は、処理部４が、隣り合う画素の間に新たな画素を挿入することにより行う。その新たな画素の画素値は、隣り合う画素の画素値を平均した値とする。この拡大処理によって所定の縮小率に達したか否かの判断は、処理部４がステップＳ１２６で行う。拡大処理によって所定の縮小率に達したら（Ｙ）、処理部４は、現段階で得られているＰ’を実寸大に拡大する（ステップＳ１２８）。すなわち、現段階で得られているＰ’は、実寸の１／３のものであるから、処理部４は、現段階で得られているＰ’を３倍に拡大する。この拡大処理も、処理部４が隣り合う画素の間に新たな画素を挿入することにより行う。その新たな画素の画素値は、隣り合う画素の画素値を平均した値とする。なお、ステップＳ１０５，Ｓ１２８の各拡大処理に当っては、上述の補間法以外に、処理部４が、隣り合う画素の間にその隣り合う画素の一方の画素の画素値の画素を挿入することにより行う補間法を採用してもよい。

以上の処理によって、プリンタ１によって変化要因情報のデータが新規に生成され（ステップＳ１２９）、画像情報からＰＳＦが生成されることとなる。このＰＳＦは、処理部４によってメモリ部６に記憶され、画像の復元処理の際に用いられる。以上の過程を経て得られたＰＳＦを「Ｇ」と表す。

（配分値の妥当性を判断する処理）
上述のステップＳ１０７で行う、配分値の妥当性を判断する処理について図を用いて説明する。

図４および図５は、図２におけるステップＳ１０７およびＳ１０８の処理の詳細を説明するための図である。この処理の基本的な考え方は、次の通りである。この処理は、復元画像データＩ_０＋ｎに対し一括して行うものではなく、復元画像データＩ_０＋ｎを構成する画素毎に行うものである。この点はステップＳ１０３，Ｓ１０５およびＳ１０６の画像全体の処理とは大きく異なる。まず、ＰＳＦ初期値であるＰ_０によって一つの画素が影響を受ける範囲の複数の画素のうち、更新によって画素値の変化が大きくなるものがある場合は、その複数の画素の範囲にエッジとなる部分が存すると考える。そのエッジとなる部分は、対応する部分の差分のデータΔに基づく更新量が適切な量となり難い。なぜならば、エッジ部分を跨ぐ２つの画素の画素値は、その違いが大きすぎるため、一方の画素から他方の画素へとエッジ部分を越えて画素値を配分しても、その配分は適切なものとはなりにくいためである。そこで、更新によって画素値の変化が周囲に比べ不自然に大きくなる画素については、更新量の絶対値を小さくすることで、エッジ近傍への更新量を適切なものに近づける。

そのためには、まず、所定の差分のデータΔからある画素の更新量（Ｄｃ）を算出する（ステップＳ２０１）。そして、ブレによって一つの画素が影響を及ぼす範囲の複数の画素（一部の画素）およびその一つの画素との集合を参照し、その参照する各々の画素の更新前の画素値（＝Ｉｂ）の最小値（＝Ｍｉｎ）、最大値（＝Ｍａｘ）および平均値（＝Ａｖ）を算出する（ステップＳ２０２）。なお、この一部の画素（参照する画素）は、単純に隣接する複数の画素、あるいは所定の画素を中心としてそこから所定の距離に含まれる複数の画素としても良い。

次に、参照する画素のうちの一つの画素の更新後の画素値となるデータ（＝Ｉａ）を算出する（ステップＳ２０３）。この更新後の画素値Ｉａは、ある画素に対応した差分のデータδから算出した各画素毎の更新量（Ｄｃ）を用いて更新した場合の各画素毎の画素値であり、次の（１）式によって導かれる。
Ｉａ＝Ｉｂ＋Ｄｃ ……（１）

次に、修正前の更新量（Ｄｃ）の妥当性を判断する。まず、復元画像データを構成する画素のデータとなる更新後の画素値Ｉａが最小値Ｍｉｎ以上であり最大値Ｍａｘ以下である場合には（ステップＳ２０４の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが自然であり、更新量Ｄｃは、修正せずにそのまま修正後の更新量（Ｄｐ）とし、修正値Ｉａ’を得る（ステップＳ２０５，Ｓ２１４）。なおステップＳ２１４は、修正後の更新量Ｄｐによって修正値Ｉａ’を得るステップである。図５の（Ａ）に示す矢印は、ステップＳ２０５およびステップＳ２１４の処理を経た状態を概略的に表しており、矢印の黒丸は画素の更新前の画素値Ｉｂを示し、三角の矢示はＤｐによって更新した後の修正値Ｉａ'を示し、矢印の長さは更新量（Ｄｃ＝Ｄｐ）を示している。左側の矢印は、修正前の更新量Ｄｃの値が正の値の場合、右側の矢印は、修正前の更新量Ｄｃの値が負の値の場合についての一例を示している。

そして、ステップＳ２０４の判断が「Ｎ」（＝Ｎｏ）の場合は、ステップＳ２０６へと進む。ここでは、更新後の画素値Ｉａが最大値Ｍａｘを超えてしまっている場合であって更新前の画素値Ｉｂが平均値Ａｖ以下である場合には（ステップＳ２０６の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが不自然であると判断する。そして、更新量Ｄｃは、最大値Ｍａｘから更新前の画素値Ｉｂを差し引いた値Ｄｐへと変更される（ステップＳ２０７）。この結果、修正値Ｉａ’の画素値は、最大値Ｍａｘと等しくなる。図５の（Ｂ）に示す矢印は、ステップＳ２０７およびステップＳ２１４を経た状態を、図５（Ａ）と同様に概略的に表している。左側の矢印は、Ｄｃによって更新した場合のＩａ、右側の矢印は、Ｄｐによって更新した場合の修正値Ｉａ’を示している。

そして、ステップＳ２０６の判断が「Ｎ」（＝Ｎｏ）の場合は、ステップＳ２０８へと進む。ここでは、更新後の画素値Ｉａが最大値Ｍａｘを超えてしまっている場合であって更新前の画素値Ｉｂが平均値Ａｖを越える場合には（ステップＳ２０８の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが不自然であると判断する。その場合、更新量Ｄｃは、以下の（２）式から得られる値Ｄｐへと変更される（ステップＳ２０９）。この結果、修正値Ｉａ’の画素値は、更新後の画素値Ｉａが最大値Ｍａｘをプラス側に超えた分の１／４を最大値Ｍａｘに加えた値となる。図５の（Ｃ）に示す矢印は、ステップＳ２０９およびステップＳ２１４を経た状態を、図５（Ｂ）と同様に概略的に表している。
Ｄｐ=０．２５（Ｉａ−Ｍａｘ）＋（Ｍａｘ−Ｉｂ） …（２）

そして、ステップＳ２０８の判断が「Ｎ」（＝Ｎｏ）の場合は、ステップＳ２１０へと進む。ここでは、更新後の画素値Ｉａが最小値Ｍｉｎ未満であって更新前の画素値Ｉｂが平均値Ａｖ以下である場合には（ステップＳ２１０の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが不自然であると判断する。そして、更新量Ｄｃは、以下の（３）式から得られる値Ｄｐへと変更される（ステップＳ２１１）。この結果、修正値Ｉａ’の画素値は、更新後の画素値Ｉａが最小値Ｍｉｎをマイナス側に超えた分の１／４を最小値Ｍｉｎから引いた値となる。図５の（Ｄ）に示す矢印は、ステップＳ２１１およびステップＳ２１４を経た状態を、図５（Ｂ）と同様に概略的に表している。
Ｄｐ=−（Ｉｂ−Ｍｉｎ）−０．２５（Ｍｉｎ−Ｉａ） …（３）

そして、ステップＳ２１０の判断が「Ｎ」（＝Ｎｏ）の場合は、更新後の画素値Ｉａが最小値Ｍｉｎ未満であって更新前の画素値Ｉｂが平均値Ａｖを超えている場合となる（ステップＳ２１２）。その場合には、その画素は、周囲の画素との画素値のバランスが不自然である。そして、更新量Ｄｃは、最小値Ｍｉｎから更新前の画素値Ｉｂを差し引いた値Ｄｐへと変更される（ステップＳ２１３）。この結果、修正値Ｉａ’の画素値は、最小値Ｍｉｎと等しくなる。図５の（Ｅ）に示す矢印は、ステップＳ２１３およびステップＳ２１４を経た状態を、図５（Ｂ）と同様に概略的に表している。

以上のステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０に示す判断の処理は、所定の基準を満たすか否かを判定する処理となる。なお、このステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０の判断、およびステップＳ２１２の条件を満足するか否かを判断基準としたものの判断の順序は、適宜変更できる。その変更を行ったときも、実際に判断するのは最初から４つめまでである。その４つに該当しなかった場合は、必ず残りの条件に当てはまることとなるため、残りの条件に該当するか否かは、図４におけるステップＳ２１２と同様に所定の基準を満たすか否かを判定する処理とはならない。

このように、得られたＤｐを修正した更新量とし、修正値Ｉａ’が得られることとなる（ステップＳ２１４）。この結果、ある画素が更新される（ステップＳ２１５）。そして、全ての画素が更新されたか否かの判断を行う（ステップＳ２１６）。その判断が「Ｎ」（＝Ｎｏ）の場合は、参照する画素を変更して（ステップＳ２１７）、変更後の参照する画素（他の一部の画素）から所定の基準を求めるためおよび次の画素の修正値Ｉａ’を得るためにステップＳ２０２に戻り、ステップＳ２０２〜２１７の処理を繰り返す。この処理では、一つの画素の更新量を修正したら、参照する画素を変更して別の一つの画素の更新量を変更している。そして、ステップＳ２１６の判断が「Ｙ」（＝Ｙｅｓ）の場合は、全ての画素の修正値Ｉａ’を用いて復元画像データＩ_０＋ｎを修正する（ステップＳ２１８）。以上で図２におけるステップＳ１０７，１０８が終了する。

（Ｐ’の原点を設定する処理）
上述の図２におけるステップＳ１２２で行う、骨格部が強調されたＰＳＦの値であるＰ’の原点を設定する処理について図１、図６、図７等を用いて説明する。

メモリ部６には、上述の図２におけるステップＳ１２２の段階のデータが保存される。すなわち、図６に示す外部機器２であるデジタルカメラのブレと推定できるデータがメモリ部６に保存される。この図６には、図１に示す外部機器２であるデジタルカメラの外観が示されている。この外部機器２の図に示すＸＹＺの各方向軸を中心とした回転がブレとなるが、特に現れやすいのはＸとＹの方向軸回りである。図７に示すブレに関するデータは、図６におけるＸ−Ｙ平面上における座標データの経時変化のデータである。そのデータは、図７に示すＸ−Ｙ平面で表されるようなブレの軌跡の情報およびその軌跡上の各位置にどの程度の期間とどまっていたかの情報を含む。図７に示すＸ−Ｙ平面の始点Ａ（Ｘ_１，Ｙ_１）は、撮影開始位置であり、軌跡の終点Ｂ（Ｘ_Ｎ，Ｙ_Ｎ）は、撮影終了位置である。

ブレによる画像の劣化は、光エネルギーが１点に集中せずに、光エネルギーが図７に示す軌跡Ａ−Ｂ上に分散する現象である。よって分散した光エネルギーを１点に集中させることが、原画像を元画像へと復元することとなる。その光エネルギーを集中させる１点は、自由に決定できる。たとえば図７におけるＡ点、Ｂ点、Ａ−Ｂの軌跡上またはＡ−Ｂの軌跡を外れた点に決定できる。

ここで、分散した光エネルギーを集中させる点を「原点位置」と言うこととし、原点位置は、図７に示すＸ−Ｙ平面上の点０座標（０ｘ，０ｙ）で表すこととする。また、上述したステップＳ１２０で算出したＰＳＦの骨格部をステップＳ１２１の処理で強調したデータ（Ｐ’）をＧ（Ｘｎ，Ｙｎ）で表すこととする。これは、各位置（Ｘｎ，Ｙｎ）においてどの程度の期間とどまっていたかの情報である「重さ」を示し、（４）式を満たす。（４）式は、光エネルギーを１と正規化して取り扱うことを示す。なお、（Ｘｎ，Ｙｎ）は、図７に示すＸ−Ｙ平面上の座標である。

・・・（４）

また、分散した光エネルギーを原点位置である点０へ集中させる移動エネルギーをＥ（０ｘ，０ｙ）で表すこととする。すると分散したエネルギーを原点位置（０ｘ、０ｙ）に集中させる移動エネルギーは、移動距離と重さの関数で表現することができ、たとえば以下の式（５）（ｎ＝１，２，・・・Ｎ：Ｎは分散して広がった領域数）で表わすことができる。

・・・（５）
また、より移動距離に重きを置く場合は、以下の式（６）を用いることもできる。この（６）式の方が平方根の計算が無く、計算が楽になる利点がある。

・・・（６）
さらに、より計算を楽にするためには、以下の式（７）を用いることもできる。

・・・（７）

そして、移動エネルギーＥ（０ｘ，０ｙ）を最小値とする原点位置（０ｘ，０ｙ）を設定する。この設定は、処理部４で行われる。また、処理部４は、新たに原点位置が設定されたデータを、その設定の前にメモリ部６に保存されていたデータに代えて保存する。

（画像復元処理）
次に、以上のように構成された本実施の形態に係るプリンタ１の処理部４の画像復元処理方法（復元手段）の概要を、図８および図９に基づいて説明する。なお、画像復元処理方法は先に説明したステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６，Ｓ１０７，Ｓ１０８，Ｓ１１０の処理とほぼ同様であり、繰り返し処理となっている。

ここで、変化要因情報のデータを新規に生成する処理を実行する時期または原画像の元画像への復元処理を実行する時期は、処理部４の稼働率が低い時等、プリンタ１へ画像の出力の命令を行った時期から遅らせた時期とすることができる。その場合には、メモリ部６に保存された原画像のデータおよびその原画像についての変化要因情報のデータが、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を実行するプリンタ１の処理部４の負担を軽減できることである。

図８中、「Ｉｍ_０」は、任意の初期画像信号であって、メモリ部６に予め保存されている画像信号のデータである。「Ｉｍ_０’」は、その初期画像信号のデータのＩｍ_０の劣化画像のデータを示し、比較のための比較用画像信号データである。「Ｇ」は、図２に示す処理で推定された変化要因情報（＝劣化要因情報（伝達関数））のデータで、メモリ部６に保存されるものである。「Ｉｍｇ’」は、原画像のデータである。

「δ」は、原画像のデータＩｍｇ’と、比較用画像信号データＩｍ_０’との差分のデータである。「ｋ」は、変化要因情報のデータに基づく配分比である。「Ｉｍ_０＋ｎ」は、初期画像信号のデータＩｍ_０に、差分のデータδを変化要因情報のデータＧに基づいて配分して新たに生成した復元画像信号のデータである。「Ｉｍｇ」は、元画像のデータである。ここで、ＩｍｇとＩｍｇ’の関係は、次の（８）式で表されるものとする。
Ｉｍｇ’＝Ｉｍｇ＊Ｇ ……（８）
ここで、「＊」は、重畳積分を表す演算子である。

なお、差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧにより異なり、次の（９）式で表される。
δ＝ｆ（Ｉｍｇ’，Ｉｍｇ，Ｇ） …（９）

処理部４の処理ルーチンは、まず、分散した光エネルギーを集中させる原点位置を決定する（ステップＳ３００）。この決定は、既に図２に示すステップＳ１２２で行っている。よって、この処理の詳細な説明は省略する。そして、任意の画像信号データＩｍ_０を用意する（ステップＳ３０１）。この初期画像信号のデータＩｍ_０としては、劣化している原画像のデータＩｍｇ’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像信号のデータを用いても良い。ステップＳ３０２で、（８）式のＩｍｇの代わりに初期画像信号となる任意の画像信号のデータＩｍ_０を入れ、劣化画像信号である比較用画像信号データＩｍ_０’を求める。次に、原画像のデータＩｍｇ’と比較用画像信号データＩｍ_０’とを比較し、差分のデータδを算出する（ステップＳ３０３）。

そして、差分のデータδの各々の絶対値が所定値未満であるか否かを判断する（ステップＳ３０４）。ステップＳ３０４で差分のデータδが所定値以上であれば、ステップＳ３０５で新たな復元画像信号のデータを生成する処理を行う。すなわち、個々の画素が得られた個々の差分のデータδを変化要因情報のデータＧに基づいて、任意の画像信号データＩｍ_０に配分し、新たな復元画像信号データＩｍ_０＋ｎを生成する。

そして、復元画像信号データＩｍ_０＋ｎを生成する際に用いる更新量（配分値）の妥当性を判断し（ステップＳ３０６）、復元画像信号データＩｍ_０＋ｎを修正する（ステップＳ３０７）。このステップＳ３０６およびステップＳ３０７の処理は、上述した図２に示すステップＳ１０６、Ｓ１０７で行う、配分値の妥当性を判断し修正する処理と同様に行う。よって、この処理の詳細な説明は省略する。

その後、図８のステップＳ３０２〜Ｓ３０７を繰り返す。この繰り返しの最中の復元画像信号データＩｍ_０＋ｎは、処理が行われた途中段階の復元画像信号データとなる。ステップＳ３０４において、各画素の差分のデータδの各々の絶対値が所定値未満となったら、繰り返し処理を終了する。そして、繰り返し処理を終了した時点での復元画像信号データＩｍ_０＋ｎを元画像のデータＩｍｇと推定する。すなわち、各画素の差分のデータδの各々の絶対値の最高値または平均値が所定値より小さくなった場合、比較用画像信号データＩｍ_０＋ｎ’の元となった復元画像信号データＩｍ_０＋ｎは元画像のデータＩｍｇと非常に近似したものとなることから、その復元画像信号データＩｍ_０＋ｎを元画像のデータＩｍｇと推定するのである。なお、メモリ部６には、初期画像信号のデータＩｍ_０、変化要因情報のデータＧ、を記録しておき、必要によりメモリ制御部７によって処理部４に渡すようにしても良い。

表示／操作部５には、図８に示す画像復元の処理を行うか否かを決定する決定ボタン（決定手段）が表示され、ユーザがその決定ボタンを操作することで図８に示す画像復元の処理の実行または不実行が決定される。また、表示／操作部５には、図８に示すステップＳ３０２〜Ｓ３０７を繰り返す回数、その繰り返しの期間、またはステップＳ３０３で算出される差分のデータδのいずれか一つ以上に基づく情報が表示されるボタンを有し、ユーザは、画像の復元処理の進行をそのボタンの操作によって調整する（この機能が調整手段となる）。たとえば、ユーザーは、極力良質な元画像を取得したい場合には、そのボタンの操作によってステップＳ３０２〜Ｓ３０７を繰り返す回数を多く設定したり、その繰り返しの期間を長く設定したり、またはステップＳ３０３で算出される差分のデータδを小さく設定する。さらに、表示／操作部５には、原画像および元画像が並べて２つ表示される。そしてユーザは、その原画像および元画像を見比べて、必要に応じていずれの画像を印刷するかを決定するための操作を表示／操作部５によって行う。表示／操作部５に表示する画像としては、原画像および最終の元画像に加えて、途中段階の画像に一つまたは複数を表示するようにしても良い。

上述した繰り返し処理方法（復元手段）の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。

最適化問題として解く場合において、本実施の形態では、次のような条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新し、その更新量を妥当な値に修正しながら反復処理することにより、解を収束させていく。

このことを換言すれば、図９（Ａ）（Ｂ）に示すように、原画像のデータＩｍｇ’と近似である比較用画像信号データＩｍ_０’（Ｉｍ_０＋ｎ’）を生成できれば、その生成の元データとなる初期画像信号のデータＩｍ_０または復元画像信号データＩｍ_０＋ｎは、元画像のデータＩｍｇとなる。

なお、この実施の形態では、差分のデータδの判定基準となる値は、各データを８ビット（０〜２５５）で表した場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。

次に、図８に示す手ブレの復元処理方法（ステップＳ３０２，Ｓ３０３，Ｓ３０４，Ｓ３０５，Ｓ３０６，Ｓ３０７の反復処理）の詳細を、図１０，図１１，図１２，図１３，図１４，図１５，図１６および図１７に基づいて説明する。

（手ブレの復元アルゴリズム）
手ブレが無いとき、所定の画素に対応する光エネルギーは、外部機器２であるデジタルカメラの露光時間中、その画素に集中する。また、手ブレがある場合、光エネルギーは、露光時間中にブレた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ブレた画像からブレの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にＳ−１，Ｓ，Ｓ＋１，Ｓ＋２，Ｓ＋３，・・・，とし、ある画素Ｓに注目する。ブレが無いとき、外部機器２であるデジタルカメラの露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図１０に示す。このときの撮影結果を、図１１の表に示す。図１１に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表している。

露光時間中にブレがあり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれブレていたとする。エネルギーの分散の仕方は、図１２に示す表のとおりとなる。これが本来の変化要因情報のデータとなる。

露光時間中にブレがあり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれブレていたとする。エネルギーの分散の仕方は、図１２に示す表のとおりとなる。これが変化要因情報のデータＧとなる。上述の式（５）における「Ｎ」の値は「３」となり、「重み」としての５０％、３０％、および２０％の総和が「１」となる。よって、この変化要因情報Ｇ（ここでは、横一次元で考えるため、Ｇ（Ｘｎ）となる）は、上述の式（４）を満たす。

この図１２および式（５）に基づいて、移動エネルギーＥ（０ｘ，０ｙ）を算出する。ここでは、横一次元で考えるため、移動エネルギーは、Ｅ（０ｘ）となる。また、移動距離は、画素一つ分の移動距離を「１」として計算する。すると、分散した光エネルギーを画素「Ｓ」に集中させる場合の移動エネルギーは、Ｅ（０ｘ）は、以下のように計算され、求められる。
（１×０）＋（０×０．５）＋（１×０．３）＋（２×０．２）＝０．７

同様に、分散した光エネルギーを画素「Ｓ＋１」に集中させる場合の移動エネルギーは、Ｅ（０ｘ）は、以下のように計算され、求められる。
（１×０．５）＋（０×０．３）＋（１×０．２）＝０．７

同様に、分散した光エネルギーを画素「Ｓ＋２」に集中させる場合の移動エネルギーは、Ｅ（０ｘ）は、以下のように計算され、求められる。
（２×０．５）＋（１×０．３）＋（０×０．２）＝１．３

以上の結果から、図１２の場合は、分散した光エネルギーを画素「Ｓ」または「Ｓ１」に集中させることで、移動エネルギーを最小値の「０．７」とすることができる。また、図１２の代わりに「Ｓ＝０．４５」「Ｓ＋１＝０．３」「Ｓ＋２＝０．２５」の場合は、画素「Ｓ＋１」への移動エネルギーの総和が最も小さくなる。すなわち、画素「Ｓ」への移動は「０．８」となり画素「Ｓ＋１」への移動は「０．７」となり、画素「Ｓ＋２」への移動が「１．２」となるためである。以下、分散した光エネルギーを移動エネルギーが最も小さい位置、すなわち上述の図１２の例で画素「Ｓ」へと、集中させる場合の繰り返し処理の詳細について説明する。

ブレは、全ての画素で一様であり、線形問題として把握される。そして、上ブレ（縦ブレ）が無いとすると、ブレの状況は、図１３に示す表のとおりとなる。図１３中の「ブレ画像」として示されるデータが、劣化している原画像のデータＩｍｇ’となる。具体的には、たとえば「Ｓ−３」の画素の「１２０」は、ブレ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「Ｓ−３」の画素に「６０」、「Ｓ−２］の画素に「３６」、「Ｓ−１」の画素に「２４」というように分散する。同様に、「Ｓ−２」の画素データである「６０」は、「Ｓ−２」に「３０」、「Ｓ−１」に「１８」、「Ｓ」に「１２」として分散する。この劣化している原画像のデータＩｍｇ’と、図１２に示す変化要因情報のデータＧから元画像データＩｍｇを算出することとなる。

ステップＳ３０１に示す任意の画像信号データＩｍ_０としては、どのようなものでも採用できるが、この説明に当たっては、原画像のデータＩｍｇ’を用いる。すなわち、Ｉｍ_０＝Ｉｍｇ’として処理を開始する。図１４の表中に「入力」とされたものが初期画像信号のデータＩｍ_０に相当する。このデータＩｍ_０すなわちＩｍｇ’と、ステップＳ３０２で変化要因情報のデータＧとを重畳積分する。すなわち、たとえば、初期画像信号のデータＩｍ_０の「Ｓ−３」の画素の「６０」は、Ｓ−３の画素に「３０」が、「Ｓ−２」の画素に「１８」が、「Ｓ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉｍ_０’」として示される比較用画像信号データＩｍ_０’が生成される。このため、ステップＳ３０３の差分のデータδは、図１４の最下欄に示すようになる。この差分のデータδの絶対値の最高値が所定値、たとえば１０未満となるか判断する（ステップＳ３０４）、この例では「Ｓ−３」の画素の差分のデータδが３０であり、ステップＳ３０４でＮｏ（＝Ｎ）となり、ステップＳ３０５へ移行する。

差分のデータδの配分は、図１５に示すように、たとえば「Ｓ−３」の画素データ「３０」に、自分の所（＝「Ｓ−３」の画素）の配分比である０．５をかけた「１５」を「Ｓ−３」の画素に配分し、また「Ｓ−２」の画素のデータ「１５」にその「Ｓ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「Ｓ−１」の画素のデータ「９．２」に、その「Ｓ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「Ｓ−３」の画素に配分された総量（各画素毎の更新量Ｄｃ）は、「２１．３４」となり、この値を図４における初期画像信号のデータＩｍ_０である、図４におけるＩｂ（ここでは原画像のデータＩｍｇ’を使用）にプラスして、図８における復元画像信号データＩｍ_０＋１である、図４における更新後の画素値Ｉａが算出される。この例では、図１５に示すように更新後の画素値Ｉａは「８１．３４」となる。このように、差分のデータδを変化要因情報のデータＧを使用して、任意の画像信号のデータＩｍ_０に配分して、図１５中の「次回入力」として示される復元画像信号データＩｍ_０＋ｎを生成する。この場合、第１回目であるため、図１５では、Ｉｍ_０＋１と表している。

この後、図８におけるステップＳ３０６にて更新量の妥当性を判断する。この判断に際しては、変化要因情報のデータを生成する際の、図２におけるステップＳ１０７，Ｓ１０８と同様の処理（図４および図５に示す処理）を行う。ここで、図２における「任意の画像データＩ_０」は、「任意の画像信号データ任意の画像信号データＩｍ_０」と、「比較用の画像データＩ_０’」は、「比較用の画像信号データＩｍ_０’」と、「復元画像データＩ_０＋ｎ」は、「復元画像信号データＩｍ_０＋ｎ」となる。

具体的には、この復元画像信号データＩｍ_０＋１を修正するために、画素毎の更新後の画素値（＝Ｉａ）を算出する。この算出は、上述の通り（１）式による。そこで、差分のデータδを各画素に配分する。そして、図１５に示すように、各画素ごとに、参照する各々の画素の更新前の画素値（＝Ｉｂ）の最小値（＝Ｍｉｎ）、最大値（＝Ｍａｘ）および平均値（＝Ａｖ）を算出する（図４におけるステップＳ２０２）。たとえば画素「Ｓ−３」は、画素「Ｓ−３」、画素「Ｓ−２」および画素「Ｓ−１」を参照している。よって、図１５に示すように、画素「Ｓ−３」、画素「Ｓ−２」および画素「Ｓ−１」の最小値（＝Ｍｉｎ）、最大値（＝Ｍａｘ）および平均値（＝Ａｖ）を算出する。図に示す例では、画素「Ｓ−３」に関しては、最大値が画素「Ｓ−１」に「８２．００」で、最小値が画素「Ｓ−３」の「６６．００」となり、平均値は、画素「Ｓ−３」「Ｓ−２」「Ｓ−１」の各値の合計を３で割った値で「６９．３３」となる。画素「Ｓ−２」〜「Ｓ＋４」についても同様の算出を行う。

そして、ＩａおよびＩｂが図４におけるステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０およびＳ２１２のいずれかの条件を満足するのかを判定する。たとえば画素「Ｓ−３」のＩａは、「Ｍｉｎ（６０．００）≦Ｉａ（８１．３４）≦Ｍａｘ（８２．００）」の条件を満足するため、図４におけるステップＳ２０４の条件を満足する。よって、ステップＳ２０５の処理を行い図１５の画素「Ｓ−３」の欄に示すように、Ｄｃである更新量「２１．３４」をそのまま修正後の更新量Ｄｐとして用い、修正値Ｉａ’は、修正前のＩａと等しい「８１．３４」となる。「Ｓ−２」〜「Ｓ」、「Ｓ＋２」および「Ｓ＋３」の更新後の画素値Ｉａについても同様の修正を行う。この修正値Ｉａ’が復元画像信号データＩｍ_０＋ｎの修正値となる。

しかし、画素「Ｓ＋１」では、ステップＳ２０４、Ｓ２０６の条件を満足せず、ステップＳ２０８に移行する。そして、「Ｉｂ（１２１．００）＞Ａｖ（１１３．３３）」であり、「Ｉａ（１３０．１１）＞Ｍａｘ（１２１．００）」の条件を満足するため、図４におけるステップＳ２０８の条件を満足することになる。よって、図１５に示すようにステップＳ２０９の処理を行い、「２．２８」を修正後の更新量Ｄｐとして用い、修正値Ｉａ’は「１２３．２８」となる。画素「Ｓ＋４」のＩａについては、ステップＳ２０６の条件を満足しステップＳ２０７の処理を行う。このＩａ’が復元画像信号データＩｍ_０＋ｎの修正値となる。

図１６に示すように、この修正された復元画像信号データＩｍ_０＋１（Ｉａ'）がステップＳ３０２の新たな入力画像のデータ（＝初期画像信号のデータＩｍ_０に代わるもの）になり、ステップＳ３０２が実行され、ステップＳ３０３へと移行し、新しい差分のデータδを得る。その差分のデータδの大きさをステップＳ３０４で判断し、所定値より大きい場合、ステップＳ３０５で新しい差分のデータδを前回の修正された復元画像信号データＩｍ_０＋１に配分し、新しい復元画像信号データＩｍ_０＋２を生成することとなるが、その際に、図１５の説明と同様にして新しい復元画像信号データＩｍ_０＋２を修正する（図１７参照）。たとえば、画素「Ｓ−３」および「Ｓ」の更新後の画素値Ｉａについては、上述の図１５における画素「Ｓ−３」と同様の修正を行う。すなわち、更新後の画素値Ｉａがそのまま修正値Ｉａ’となる。

また、たとえば画素「Ｓ＋１」では、ステップＳ２０４，Ｓ２０６の条件を、満足せず、ステップＳ２０８に移行する。そして「Ｉｂ（１２３．２８）＞Ａｖ（１１６．９１）」であり、「Ｉａ（１２８．００）＞Ｍａｘ（１２３．２８）」の条件を満足するため、図４におけるステップＳ２０８の条件を満足することとなる。よって、図１７に示すようにステップＳ２０９の処理を行い、上述の（２）式による値「１．１８１」を修正後の更新量Ｄｐとして用い、修正値Ｉａ’は「１２４．４６」となる。画素「Ｓ＋４」の更新後の画素値Ｉａについては、ステップＳ２０６の条件を満足しステップＳ２０７の処理を行う。この修正値Ｉａ’が復元画像信号データＩｍ_０＋ｎの修正値となる。

また、たとえば画素「Ｓ−２」では、ステップＳ２０４，Ｓ２０６，Ｓ２０８の条件を、満足せず、ステップＳ２１０に移行する。そして「Ｉｂ（７７．３０）≦Ａｖ（８７．６７）」であり、「Ｉａ（７６．９７）＜Ｍｉｎ（７７．３０）」の条件を満足するため、図４におけるステップＳ２１０の条件を満足することとなる。よって、ステップＳ２１１の処理を行い、図１７に示すように上述の（３）式による値「−０．０８２」を修正後の更新量Ｄｐとして用い、修正値Ｉａ’は「７７．２２」となる。画素「Ｓ−１」および「Ｓ＋２」の更新後の画素値Ｉａについても同様の修正を行う。この修正値Ｉａ’が復元画像信号データＩｍ_０＋ｎの修正値となる。

その後、修正された復元画像信号データＩｍ_０＋２を用いてステップＳ３０２を遂行することにより、修正された復元画像信号データＩｍ_０＋２から新しい比較用画像信号データＩｍ_０＋２ ^’が生成される。このように、ステップＳ３０２，Ｓ３０３が実行された後、ステップＳ３０４へ行き、そこでの判断によりステップＳ３０５へ移行する。このような処理を繰り返す。

（本実施の形態によって得られる主な効果）
本実施の形態に係るプリンタ１によって、プリンタ１側に劣化した画像を是正する処理を負担させることができ、カメラ等の負担を軽減しつつ劣化した画像を是正できる。また、画像復元処理部１１は、変化要因情報のデータが未知であっても妥当な変化要因情報のデータを生成でき、画像復元を可能とする。また、プリンタ１は、図８に示す差分を利用した繰り返し処理による画像復元の処理を行うため、実用的な画像復元を可能とする。また、プリンタ１は、原画像のデータを受信するインターフェース部３を有し、処理部４はインターフェース部３によって受信される原画像のデータに対して復元処理を行うため、外部機器２の処理負担が軽減される。またプリンタ１は、処理部４の行う処理を行うか否かを決定する決定手段を有するため、画像の復元の処理を要しない画像についてはその処理を省略してプリンタ１の処理負担を軽減することができる。また、プリンタ１は、復元処理の進行を調整する調整手段を有するため、復元が十分でない場合にはさらに復元の進行を進めることが可能であり、復元が十分な場合には、復元の進行を抑えてプリンタ１の処理負担を軽減できる。また、プリンタ１は、原画像および元画像を並べて表示する表示部を有するため、画像復元の前後の画像をユーザが見比べることができ、必要に応じていずれの画像を出力するか等を決定することが可能となる。

また、変化要因情報のデータＧ（ＰＳＦ）を生成する処理の際に、処理部４が、図２に示すステップＳ１０３からＳ１０８の処理を２回以上（たとえば１０回）繰り返していることによって、より妥当なＰＳＦが生成される。また、この処理の際に、処理部４が、配分値の妥当性を判断し修正する処理（ステップＳ１０７、Ｓ１０８）をすることによって、配分による極端なデータの値の変化を抑制でき、より妥当なＰＳＦが生成される。また、この処理の際に、処理部４が、Ｐ’の原点を再設定する処理をすることによって、配分による極端なデータの値の変化を抑制でき、より妥当なＰＳＦが生成される。また、この処理の際に、処理部４が、縮小処理（ステップＳ１０２）を実行することによって、変化の大きさも縮小されることから、ＰＳＦを推定し易くなり、より妥当なＰＳＦが生成される。

また、ＰＳＦを生成する処理の際に、処理部４が、拡大処理（ステップＳ１２５）の拡大率を徐々に大きくして繰り返し行うことによって、縮小処理を行って得た妥当な骨格部を有するＰＳＦに基づいて良質でかつ大きなＰＳＦの推定をすることができる。また、この処理の際に、処理部４が、ＰＳＦの骨格部の強調をする処理（ステップＳ１２１）を行うことによって、ブレに相当する変化の推定に重きを置くＰＳＦを生成できる。また、この処理の際に、処理部４が、ＰＳＦ初期値をガウシアンディスクに設定することで（ステップＳ１０１）、変化がどのようなブレまたはボケを含んでいても、良好なＰＳＦの推定をすることができる。

本実施の形態に係るプリンタ１は、ＰＳＦが未知であっても妥当なＰＳＦを生成でき、実用的な画像復元が可能である。よって、ブレ等を機械的に測定する速度センサまたは加速度センサをカメラ等の構成要素から省略することができる。

また、プリンタ１は、図８に示すステップＳ３０２〜ステップＳ３０７を繰り返すことで、差分のデータδが徐々に小さくなっていき、所定値より小さくなると、ブレていないまたはブレが少ない元画像データＩｍｇが得られる。また、このとき、修正処理（図４，図５）を行っているため、得られる元画像データＩｍｇと推定される画像データは、リンギングの発生が軽減され、画像の復元状態が良好なものとなる。また、修正処理（図４,図５）によって、復元画像信号データを構成する画素のデータのうち、不自然と思われるものを修正し、画素値の大きな変化を抑制しているため、仮に図２に示す処理によって推定される変化要因情報のデータＧが信頼性の低いものであったとしても、妥当な画像の復元が可能となる。

（他の形態）
以上、本実施の形態における画像出力装置としてのプリンタ１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、変化要因情報の生成の際には、処理部４が、図２に示すステップＳ１０３からＳ１０８の処理を２回以上繰り返しているが、１回のみとすることができる。さらに、処理部４が、配分値の妥当性を判断し修正する処理（ステップＳ１０７、Ｓ１０８）、Ｐ’の原点を再設定する処理（ステップＳ１２２）、縮小処理（ステップＳ１０２）、拡大処理（ステップＳ１２５）、最終的に初期の画像データ用のＰＳＦのデータと同じ大きさのデータとする拡大処理（ステップＳ１２８）およびＰＳＦの骨格部の強調をする処理（ステップＳ１２１）の全部または一部は、省略できる。さらに、ＰＳＦの初期値は、ガウシアンディスクに設定（ステップＳ１０１）せず、任意の値を設定できる。

また、上述のように本発明の実施の形態に係る画像出力装置は、プリンタ１に限定されず、ファクシミリ装置、複写装置、スキャナー装置、またはこれらの装置のうち２以上の機能を実現する複合装置とすることができる。また、画像出力装置は、画像復元の処理を終えた画像データを紙媒体に印刷することなく、電子データとして記憶媒体に出力する装置であっても良い。また、画像出力装置がファクシミリ装置の場合には、送信側および受信側の一方または双方の装置によって画像復元の処理を行ってもよく、さらに、送信側の装置によって変化要因情報のデータを新規に生成し、そのデータを受信側の装置に送信し、受信側の装置によって画像復元の処理を行うこととし、送信側および受信側の双方の装置によって画像出力装置が構成されることとしても良い。そのような画像出力装置は、送信側および受信側の装置のそれぞれが処理を分担することとなり、全体としての処理時間が短縮される。

また、図２に示すプリンタ１における変化要因情報のデータを新規に生成する処理は、劣化した画像を唯一の情報として、そのブレの原因となるＰＳＦを推定し、元の物体画像を求める処理であれば、他の処理に代えても良い。たとえば、次の処理を採用しても良い。この処理は、被写体の変化前の画像データ（Ａ_０）にＰＳＦ（Ｇ_０）を乗じると、撮影された劣化画像のデータ（Ａ’）となることを前提としている。すなわち「Ａ_０・Ｇ_０＝Ａ’」が満たされることを前提とする。そして、Ａ_０およびＧ_０に任意の値を与えて、「Ｇ_０＝Ａ’／Ａ_０」の計算をする。そしてＧ_０は負の値にならない等の拘束条件を与え、Ｇ_１を得る。そして、「Ａ’／Ｇ_１＝Ａ_１」とし、Ａ_０をＡ_１へと変える。そして、Ａ_１は負の値にならない等の拘束条件を与え、Ａ_２を得る。そして、「Ａ’／Ａ_２＝Ｇ_２」とし、Ｇ_１をＧ_２へと変える。そして、Ｇ_２は負の値にならない等の拘束条件を与え、Ｇ_３を得る。このような計算を多数回繰り返して、妥当なＰＳＦ得る（たとえば、竹田、小松「ブラインド・デコンボリューションのためのフーリエ反復アルゴリズムにおける非負拘束条件の検討」、光学、日本光学会、平成８年、第２５巻、５号、ｐ２７４−２８１を参照）。ただし、この処理は、あらゆる画像に対応する拘束条件の設定が困難であり、また、処理時間が長くなることから汎用装置への採用は困難な状況となっている。そのため、図２に示すプリンタ１の処理を採用することが好ましい。

また、たとえばプリンタ１における画像復元処理には、図８に示す処理を採用しているが、他の処理、たとえばウィナーフィルターを用いる処理等を採用できる。また、図８に示す処理を採用する場合でも、原点位置を設定する処理（ステップＳ３００）および更新量の妥当性を判断し修正する処理（ステップＳ３０６、Ｓ３０７）の双方または一方は、省略することができる。さらに更新量の妥当性を判断し修正する処理（ステップＳ３０６、Ｓ３０７）を採用する場合でも、復元画像信号データＩｍ_０＋ｎを修正する方法は、図４および図５に示す方法に限定されない。特に図４に示すステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０およびＳ２１２における場合分け、ステップＳ２０５，Ｓ２０７，Ｓ２０９，Ｓ２１１およびＳ２１３における差分のデータδを修正する方法は、それぞれ適宜変更することができる。

また、表示／操作部５は、決定ボタン、調整手段のボタンを有し、さらに、原画像および元画像を並べて表示し必要に応じていずれの画像を印刷するかを決定するための操作を行う手段を有している。しかし、これらの一部または全部は省略することができる。また、画像復元処理部１１は、プリンタ１の印刷機能を実現する各構成要素の機能の一部を利用して構成されているが、画像復元処理部１１にのみ用いられる構成要素が含まれていても良い。また、画像復元処理部１１は、画像復元処理部１１の機能を実現する単独の部品からなることとしても良い。そのような部品は、プリンタ１へ脱着が自由になるものとすることができる。また、画像復元処理部１１は、プログラム化されていても良く、そのプログラムはプリンタ１にインストールおよびアンインストールできるものとされても良い。

また、プリンタ１は、原画像のデータを外部機器２との通信によってインターフェース部３で受信して取得している。しかし、原画像のデータは、原画像を読み取って原画像のデジタルデータを生成する読み取り部をプリンタ１が有し、その読み取り部によって読み取られることとしても良い。その場合は、処理部４は、読み取られた原画像のデジタルデータを用いて変化要因情報のデータを作成し、原画像のデジタルデータに対して復元処理を行うこととなる。このような構成を採用することで、原画像としてデジタルデータ化されていない写真のようなものの画像復元の処理が可能となる。

また、処理部４が、図２に示すステップＳ１０３からＳ１０８の処理を１０回繰り返すこととしており、また、ステップＳ１２３において、ステップＳ１０３からＳ１２２までを繰り返すこととしているが、処理部４の処理速度の状況等によってそれらの回数を増減できる。また、プリンタ１のユーザがそれらの回数を任意に設定できることとしても良い。さらに、縮小処理（ステップＳ１０２）および拡大処理（ステップＳ１２５）の画像の大きさの比率、拡大処理（ステップＳ１２５）の画像の大きさの比率の変更回数は、復元画像の画質等によってそれらの回数を増減できる。

また、縮小処理（ステップＳ１０２）および拡大処理（ステップＳ１２５）における縮小・拡大の仕方は、画素の間引き・隣り合う画素の画素値を平均した値の新たな画素の挿入によって行っている。しかし、他の手段、たとえば隣接する複数の画素の平均画素値の画素をその複数の画素の代わりに用いる縮小処理、隣り合う画素の画素値をそのまま新たな画素の画素値としてその新たな画素を挿入することによって拡大処理を行っても良い。さらに、ＰＳＦの骨格部の強調をする処理（ステップＳ１２１）において、骨格部のデータの値を２倍にしているが、１．５倍、３倍、４倍、または５倍等としても良い。

また、処理部４は、最終的に初期画像用のＰＳＦのデータと同じ大きさのデータとする拡大処理（ステップＳ１２８）を行っている。しかしこの処理によって初期画像用のＰＳＦのデータと同じ大きさのデータとする必要はなく、初期画像用のＰＳＦのデータと異なる大きさのデータへと拡大処理することができる。

また、処理部４は、ＰＳＦを算出する処理を行い（ステップＳ１２０）、その処理は、得られた復元画像信号データＩｍ_０＋ｎと原画像のデータＩｍｇ’をそれぞれフーリエ変換し、周波数空間での割り算によってＰＳＦの周波数特性を算出し、その周波数特性をフーリエ逆変換することによってＰＳＦ（＝Ｐ）を得るものである。しかし、他の手段によって、得られる復元画像信号データＩｍ_０＋ｎと原画像のデータＩｍｇ’から新たなＰＳＦ（＝Ｐ）を得る処理を採用できる。

更新量の妥当性を判断し修正する処理（ステップＳ３０６、Ｓ３０７）は、必須のものではないが、これらのステップを加えると好ましい復元画像が得られやすくなる。これらのステップにおいては、たとえば、参照する画素としては、影響を及ぼす範囲（影響範囲）のもの以外に、その影響範囲を囲む画素一つ分大きくした範囲としたり、修正しようとする画素を中心として所定の距離の範囲としても良い。また、所定の基準としては、参照する画素の最大値、最小値、平均値を利用してのものではなく、最大値と最小値のみを利用し、修正値を最大・最小を超えた分の１／４や１／３の値を最大値や最小値に付加するようにしても良い。また、上限を最大値の１．２倍、下限を最小値の０．８倍とし、その範囲に入れば、修正しないようにしても良い。すなわち、最大値のＸ倍、最小値のＹ倍の範囲に更新後の画素値Ｉａが入れば修正しないようにしても良い。

上述の繰り返し処理では、処理部４は、図２におけるステップＳ１０５や図８におけるステップＳ３０４の一旦得た画像を再度処理するかの判断では、画像を構成する複数の各画素毎の差分のデータΔ、δの絶対値が全て所定値未満または絶対値の平均値が所定値未満であるか否かを判断し、画像全体の処理を行うか判断している。しかし、所定値との比較の対象を、画像を構成する複数の各画素毎の差分のデータとし、各画素毎に繰り返し処理を停止するか否かを判断するようにしたりしても良い。また、所定値との比較対象を、各画素の差分のデータδの総和、もしくは各画素の差分のデータΔ、δの絶対値の総和、または以上の４つのうちの２つ以上とすることができる。たとえば、各画素毎の差分のデータΔ、δの中で零から最も離れた値と、各画素毎の差分のデータδの総和の値とが、別々の基準を共に満たすか否かを判断するようにしても良い。このように、所定値と比較する値を適宜選択することで、原画像の種類、変化の状態または復元処理の状況に応じて、適切な処理を行うことができる。

上述の実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法は、あらゆるデジタルデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。その適用の結果、リンギングのように一部に不正確な音声データ等が発生することを効率よく抑制でき、また変化要因情報のデータが不正確であっても、妥当な結果が得られる復元処理が可能となる。

また、上述した処理部４が行う各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像出力装置１は、その記憶媒体内のプログラム化されたものが画像出力装置１の外部サーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像出力装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

図２、図４、図８等に示す各処理方法においては、処理部４で行った処理をソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータＧとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

また、処理の反復回数（ステップＳ１０９，ステップＳ１２３，ステップＳ３０４）が画像出力装置１側で自動的にまたは固定的に設定されている場合、その設定された回数をＰＳＦの値（Ｐ，Ｐ’）または変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

さらに、反復処理中に、差分のデータΔ、δが発散してきたり、エネルギーが移動した後の画像データのエネルギーが小さくならず大きくなってきたら、処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータΔ、δの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。

また、出力画像となる復元画像信号データを生成する際、ＰＳＦの値（Ｐ，Ｐ’）や変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。

表１に、上述の各処理を実行した復元画像の評価を示す。撮影されブレなどにより劣化したままの画像（Ｉｍｇ’）を従来例とする。図２に示した処理によって得られたＰＳＦのデータを用い、図８に示した処理によって得た画像を実施例１とする。図２に示した処理から、表１に示す所定のステップを省略して得られたＰＳＦのデータを用い、図８に示した処理から、表１に示す所定のステップを省略して得た画像を実施例２から１２とする。なお、実施例１２は、図８の処理に代えて、画像復元処理にウィナーフィルターを用いた画像である。また、比較例として、図２の処理を行わず、代わりに速度センサによってブレを測定してＰＳＦとしたものの画像についても検討した。

従来例および実施例１から１２ならびに比較例の画像について、「ブレの有無」「リンギングの有無」「ボケ（いわゆるピンボケ）の有無」について目視による検査を行った。その検査結果を表１に併せて示す。検査を行った者は、色弱、色盲ではなく視力が両目とも１．０の者である。「有り」と判断する場合は、一見してブレ等があると判断できたものである。「若干有り」と判断する場合は、５秒以下目視して、他の画像と比較しながらブレ等が有ることが判断できるものである。「無い」と判断する場合は、５秒を超えて目視して、他の画像と比較しながらブレ等が無いことが判断できるものである。画像の種類は、風景および人物の２種類である。画像は、市販のカラープリンターで印刷したもので、印刷条件による画像への影響を排除して印刷したものである。

従来例は、劣化している画像であるため、ブレおよびボケが明確に確認できた。実施例１は、ブレ、リンギング、ボケが共に確認されなかった。ブレが消えていたのは、ＰＳＦの中枢をなすブレ情報に相当する情報（図３のＡの部分）が妥当なものだったためと考えられる。ボケが消えていたのは、ＰＳＦの中枢をなすブレ情報に相当する情報以外の情報（図３のＢの部分）による作用と考えられる。比較例では、図３のＢの部分のＰＳＦを得ることができないため、この作用が得られておらず、ボケを消すことはできていない。

実施例２は、図２におけるステップＳ１０３からＳ１０８の過程を１回のみとした画像である。この画像は、従来例の画像よりもブレおよびボケが改善されていた。なお、図２におけるステップＳ１０３からＳ１０８の過程の繰り返し数は、多い程ブレおよびボケがより改善される傾向がみられた。

実施例３は、図２におけるステップＳ１０７、Ｓ１０８、Ｓ１２２を省略して処理した画像である。この画像は、従来例の画像よりもブレおよびボケが改善されていた。

実施例４は、図２におけるステップＳ１０７、Ｓ１０８を省略して処理した画像である。実施例５は、図２におけるステップＳ１２２を省略して処理した画像である。これらの画像は、ブレおよびボケが観測されなかった。

実施例６は、図２におけるステップＳ１０２、Ｓ１２５、Ｓ１２６を省略して、徐々に画像を拡大処理せずに処理した画像である。実施例７は、図２におけるステップＳ１２３を省略し、繰り返しの回数を１回として処理した画像である。これらの画像は、従来例の画像よりもブレおよびボケが改善されていた。

実施例８は、図２におけるステップＳ１２１を省略して処理した画像である。この画像は、ブレが若干観測されたが、ボケは、ブレに起因するものを除き観測されなかった。なお、このボケを消す効果をより得るためには、図２におけるステップＳ１２１の処理を省略または軽減する（たとえば骨格部のデータを１．５倍にする等）。そして、ブレを消す効果をより得るためには、図２におけるステップＳ１２１の処理をより強調する（たとえば骨格部のデータを３倍にする等）。

実施例９は、図８におけるステップＳ３００、Ｓ３０６、Ｓ３０７を省略して処理した画像である。この画像は、ブレおよびボケは観測されなかったが、リンギングが観測された。しかし、図８におけるステップＳ３００、Ｓ３０６、Ｓ３０７を省略した繰り返し処理を極めて多数回（たとえば１００回以上）行うことによって、そのリンギングの発生が軽減されまたは観測されないことが確認された。

実施例１０は、図８におけるステップＳ３００を省略して処理した画像である。この画像は、ブレおよびボケは観測されず、リンギングも観測されなかった。実施例１１は、図８におけるステップＳ３０６、Ｓ３０７を省略して処理した画像である。この画像は、ブレおよびボケは観測されなかったが、リンギングが若干観測された。すなわち、原点位置を決定する処理（ステップＳ３００）、更新量の妥当性を判断しＩｍ_０＋ｎを修正する処理（ステップＳ３０６、Ｓ３０７）のいずれかを実行することによって、リンギングの発生を抑制できることがわかった。また、ステップＳ３０６、Ｓ３０７によるリンギング抑制効果は、ステップＳ３００の処理によるリンギング抑制効果よりも若干優れていることがわかった。

実施例１２は、図８における全ての処理を省略し、代わりにウィナーフィルターにて画像の復元処理した画像である。この画像は、従来例にくらべブレおよびボケが改善されていたが、リンギングが観測された。

次に、図８におけるステップＳ３０６、Ｓ３０７を省略し、なおかつステップＳ３００の条件を変更した処理について検討した。図１２の変形例となる画素「Ｓ」が０．８５、画素「Ｓ＋１」が０．３、画素「Ｓ＋２」が０．２５の場合、画素「Ｓ」、「Ｓ＋１」、「Ｓ＋２」に分散した光エネルギーを各々集中させ原点位置とし、図８に示す繰り返し処理を行った。それらの各場合の復元画像を目視で観察し、リンギングの有無を判定した。また、式（５）の計算範囲である「Ｎ＝３」を若干拡大し、分散した光エネルギーを図９における画素「Ｓ−１」、「Ｓ＋３」に各々集中させ原点位置とし、図８に示す繰り返し処理を行った場合の、復元画像のリンギングの有無を同様に判定した。表２に判定結果を示した。

なお、分散した光エネルギーを画素「Ｓ−１」に集中させる場合の移動エネルギーは、画素「Ｓ」、「Ｓ＋１」、「Ｓ＋２」の場合と略同様に以下のように計算され、求められる。
（０×０）＋（１×０．４５）＋（２×０．３）＋（３×０．２５）＋（４×０）＝１．８０
また、同様に、分散した光エネルギーを画素「Ｓ＋３」に集中させる場合の移動エネルギーは、以下のように計算され、求められる。
（４×０）＋（３×０．４５）＋（２×０．３）＋（１×０．２５）＋（０×０）＝２．２０

表２の結果および多数の他の例から、移動エネルギー値が所定値を超えるとリンギングが観測され、移動エネルギー値を所定値以内に抑えるとリンギングの発生を抑えることができることがわかった。すなわち、式（５）から導かれる移動エネルギーの総和の最小値をＭｉｎとしたとき、その移動エネルギーがＭｉｎを超えた場合であってもＭｉｎ×１．２以下となる値であればリンギングの発生を従来に比べかなり抑えることができた。

表２に示すような、図８におけるステップＳ３００の条件を変更した処理は、種々変更実施可能である。たとえば、移動エネルギーＥ（０ｘ，０ｙ）の総和を最小とする原点位置（０ｘ，０ｙ）を設定しているが、移動エネルギーＥ（０ｘ，０ｙ）の最小値を超え、所定値以下となる原点位置（０ｘ，０ｙ）を設定しても良い。図１２の変形例である「Ｓ＝０．４５」「Ｓ＋１＝０．３」「Ｓ＋２＝０．２５」の場合、移動エネルギーが最も小さい画素「Ｓ＋１」ではなく、画素「Ｓ」を原点位置（０ｘ，０ｙ）としても良い。このときの各移動エネルギーは、画素「Ｓ」が０．８、画素「Ｓ＋１」が０．７、画素「Ｓ＋２」が１．２となる。画素「Ｓ」は最小値である０．７に１．２を乗じた値である０．８４より小さい値となっている。

また、本実施例では原点位置を図７におけるＸ−Ｙ平面のいずれかの位置としている。よって、原点位置は、図７のＡ−Ｂの軌跡上の範囲内で決定するものとしても良い。すなわち、たとえば図７におけるＡ−Ｂの軌跡上の範囲内である図１２における画素「Ｓ」「Ｓ＋１」「Ｓ＋２」のいずれかとすること、または画素「Ｓ−１」もしくは「Ｓ＋３」を原点位置とすることが、移動エネルギーの総和を小さくするのであれば、そのようにすることが好ましい。また、図７のＸ−Ｙ平面で表されるブレの軌跡をＸ軸またはＹ軸に投影したものをブレの軌跡とし、その軌跡上で移動エネルギーの最小値や上述の実施例のような値となる位置を求めるようにしても良い。

本発明の実施の形態に係る画像出力装置の主要構成を示すブロック図である。 図１に示す画像出力装置の処理部で行う変化要因情報のデータの生成の際の処理ルーチンを説明するための処理フロー図である。 図２に示すＰＳＦの骨格部を強調する処理を説明する図で、（Ａ）は、その処理の前に推定されるＰＳＦ、（Ｂ）は、その処理の後に推定されるＰＳＦの一例を示している。 図２に示す更新量の妥当性判断および復元画像データを修正する処理ルーチンを説明するためのフロー図である。 図４に示す処理フローに係る修正を行う前後の更新量の一例を概略化して示す図である。 図１に示す画像出力装置の概要を示す外観斜視図で、図７におけるＸ−Ｙ平面が画像出力装置１のどの平面を示しているかを説明するための図である。 図２に示す変化要因情報のデータの生成の際の処理ルーチンのステップＳ１２２の処理を説明する図で、Ｘ−Ｙ平面で表されるブレの軌跡を示す図である。 図１に示す画像出力装置の処理部で行う画像復元処理方法（反復処理）の際の処理ルーチンを説明するための処理フロー図である。 図８に示す処理方法の概念を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときのエネルギーの集中を示す表である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときの画像データを示す図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレが生じたときのエネルギーの分散を示す図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、任意の画像から比較用画像信号データを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、比較用画像信号データと、処理対象となるブレた原画像とを比較して、差分のデータを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元画像信号データを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、生成された復元画像信号データから新たな比較用画像信号データを生成し、そのデータと処理対象となるブレた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元画像信号データを生成する状況を説明するための図である。

符号の説明

１ プリンタ（画像出力装置）
３ インターフェース部（通信部）
４ 処理部
５ 表示／処理部（決定手段、調整手段、表示部）
Ｓ１０１ 最初の変化要因情報のデータ（を設定する処理）
Ｉ_０ 初期画像のデータ（任意の画像データ）
Ｉｍ_０ 初期画像信号のデータ（任意の画像信号データ）
Ｉ_０’ 比較用画像データ
Ｉ_０’ 比較用画像信号データ
Ｇ 変化要因情報のデータ
Ｉｍｇ’ 原画像のデータ
ＳＩｍｇ’ 縮小された原画像のデータ（原画像のデータを加工したデータ）
Ｉ_０＋ｎ 復元画像データ
Ｉｍ_０＋ｎ 復元画像信号データ
Ｉｍｇ 元画像
Δ、δ 差分のデータ

Claims (8)

1. 劣化等の変化が生じた原画像のデータから、変化する前の画像若しくは本来取得されるべきであった画像またはそれらの近似画像（以下、元画像という）の復元をする処理部を有する画像出力装置において、
   上記処理部は、上記変化の要因となる変化要因情報のデータを新規に生成する処理と、上記生成された変化要因情報のデータに基づいて上記元画像の復元をする復元処理を行い、得られた上記元画像を出力することを特徴とする画像出力装置。
2. 前記変化要因情報のデータを生成する処理は、前記処理部が任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、
   （１）そのデータを利用して、任意の画像データから比較用画像データを生成して、
   （２）前記原画像のデータまたはその原画像のデータを加工したデータと上記比較用画像データとを比較し、
   （３）得られた差分のデータを上記最初の変化要因情報のデータを利用して上記任意の画像データに配分することで最初の復元画像データを生成し、
   （４）その最初の復元画像データを上記任意の画像データの代わりに用い、必要に応じて、同様の処理を繰り返し、
   （５）その結果得られた、上記復元画像データと上記原画像のデータまたはその原画像のデータを加工したデータとから上記最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成する処理を行うものであることを特徴とする請求項１記載の画像出力装置。
3. 前記復元処理は、前記処理部が前記変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して、任意の画像信号データから比較用画像信号データを生成して、処理対象となる前記原画像のデータと上記比較用画像信号データとを比較し、得られた差分のデータを前記変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して上記任意の画像信号データに配分することで復元画像信号データを生成し、この復元画像信号データを上記任意の画像データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うものであることを特徴とする請求項１または２記載の画像出力装置。
4. 前記原画像のデータを受信する通信部を有し、前記処理部は上記通信部によって受信される前記原画像のデータに対して前記復元処理を行うことを特徴とする請求項１，２または３のいずれか１項に記載の画像出力装置。
5. 前記処理部が行う前記復元処理を行うか否かを決定する決定手段を有することを特徴とする請求項１，２，３または４のいずれか１項に記載の画像出力装置。
6. 前記復元処理の進行を調整する調整手段を有することを特徴とする請求項１，２，３，４または５のいずれか１項に記載の画像出力装置。
7. 前記処理部は、表示部に前記原画像および前記元画像を並べて表示する処理を行うことを特徴とする請求項１，２，３，４，５または６のいずれか１項に記載の画像出力装置。
8. 前記原画像を読み取って原画像のデジタルデータを生成する読み取り部を有し、前記処理部は上記読み取り部によって読み取られる上記原画像のデジタルデータに対して前記復元処理を行うことを特徴とする請求項１，２，３，４，５，６または７のいずれか１項に記載の画像出力装置。

Images