JP2009211337A - 変化要因情報のデータの生成法および信号処理装置 - Google Patents

Abstract

【課題】変化要因情報のデータが未知であっても実用的な信号復元を可能とする変化要因情報のデータの生成法および信号処理装置を提供する。
【解決手段】変化要因情報の生成法は、任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、（１）そのデータを利用して、任意の信号データから比較用データを生成して、（２）原信号のデータまたはその原信号のデータを加工したデータと比較用データとを比較し、（３）得られた差分のデータを最初の変化要因情報のデータを利用して任意の信号データに配分することで最初の復元データを生成し、（４）必要に応じて、その最初の復元データを任意の信号データの代わりに用い、同様の処理を繰り返し、（５）その結果得られた、復元データと原信号のデータまたはその原信号のデータを加工したデータとから最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成する。
【選択図】図１

Description

本発明は、変化要因情報のデータの生成法および信号処理装置に関する。

従来から、カメラ等の信号処理装置で撮影した際には、信号には時々劣化が生ずることが知られている。信号劣化の要因としては撮影時の手ブレ、光学系の各種の収差、レンズの歪み等がある。

本出願人は、過去に、撮影時の手ブレによって劣化した画像（信号）を復元する方法を提案した（特許文献１参照）。この特許文献１記載の技術は、信号を処理する処理部を有する信号処理装置において、処理部は、信号変化の要因となる変化要因情報のデータを利用して、任意の信号のデータから比較用データを生成し、処理対象となる原信号のデータと上記比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、変化する前の原信号に近似する復元データを生成する処理を行うものである。

また、撮影時の手ブレ等によって劣化した画像を唯一の情報として、そのブレの原因となる点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定し、元の物体画像を求める技術が提案されている（非特許文献１参照）。この技術は、被写体の変化前の画像データ（Ａ_０）にＰＳＦ（Ｇ_０）を乗じると、撮影された劣化画像のデータ（Ａ’）となることを前提としている。すなわち「Ａ_０・Ｇ_０＝Ａ’」が満たされることを前提とする。そして、Ａ_０およびＧ_０に任意の値を与えて、「Ｇ_０＝Ａ’／Ａ_０」の計算をする。そしてＧ_０は負の値にならない等の拘束条件を与え、Ｇ_１を得る。そして、「Ａ’／Ｇ_１＝Ａ_１」とし、Ａ_０をＡ_１へと変える。そして、Ａ_１は負の値にならない等の拘束条件を与え、Ａ_２を得る。そして、「Ａ’／Ａ_２＝Ｇ_２」とし、Ｇ_１をＧ_２へと変える。そして、Ｇ_２は負の値にならない等の拘束条件を与え、Ｇ_３を得る。このような計算を多数回繰り返して、妥当なＰＳＦおよび復元画像データを得る。

なお、一般の撮影画像以外にも、Ｘ線写真、顕微鏡画像等、種々の画像や信号が、ブレやその他の原因によって劣化したり、変化したりすることが知られている。

特開２００７−４８２５７号公報 竹田、小松「ブラインド・デコンボリューションのためのフーリエ反復アルゴリズムにおける非負拘束条件の検討」、光学、日本光学会、平成８年、第２５巻、５号、ｐ２７４−２８１

特許文献１では、既知の変化要因情報のデータを利用する信号の復元処理についての記載がある。そのような復元処理を行うためには、速度センサまたは加速度センサ等を構成要素とする必要がある。

非特許文献１に記載されている技術を採用すると、速度センサまたは加速度センサ等を用いることなく、変化要因情報のデータが未知であっても画像を復元することができる。しかし、この技術はあらゆる画像に対応する拘束条件の設定が困難であり、また、処理時間が長くなることから汎用装置への採用は困難な状況となっている。

そこで、本発明の目的は、変化要因情報のデータが未知であっても実用的な信号復元を可能とする変化要因情報のデータの生成法および信号処理装置を提供することである。

上記目的を達成するため、本発明の変化要因情報の生成法は、劣化等の変化が生じた原信号データの、その信号変化の要因となる変化要因情報のデータを生成する変化要因情報のデータの生成法において、任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、（１）そのデータを利用して、任意の信号データから比較用データを生成して、（２）原信号のデータまたはその原信号のデータを加工したデータと比較用データとを比較し、（３）得られた差分のデータを最初の変化要因情報のデータを利用して任意の信号データに配分することで最初の復元データを生成し、（４）その最初の復元データを任意の信号データの代わりに用い、必要に応じて、同様の処理を繰り返し、（５）その結果得られた、復元データと原信号のデータまたはその原信号のデータを加工したデータとから最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成する。

この発明によれば、変化要因情報のデータが未知であっても妥当な変化要因情報のデータを生成でき、実用的な信号復元が可能となる。なお、（５）における「復元データ」は、最初の復元データおよび（４）において必要に応じて処理を繰り返して得られる復元データの両者を含む。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、新たな変化要因情報のデータを最初の変化要因情報のデータの代わりに用いて（１）から（３）と同様の処理を１回以上行う。この方法を採用することによって、より妥当な変化要因情報のデータを生成できる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、（３）の処理は、原信号のデータまたはその原信号のデータを加工したデータおよび復元データを構成する信号要素のデータの一部または全部を移動させる方法にて行い、復元データを構成する信号要素のデータが所定の基準を満たすか否かを判定し、所定の基準を満たさない場合には、差分のデータを利用して算出された配分値を修正し、その満たされないデータの代わりに修正された配分値によって得られたデータを使用する修正処理を行う。この方法を採用することによって、最初の復元データまたは復元データの品質が向上し、より妥当な変化要因情報のデータを生成できる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、新たな変化要因情報のデータを生成する処理は、得られた変化要因情報のデータの原点位置を、各々の信号要素のデータの移動に要する移動エネルギーの総和の最小値をＭｉｎとしたとき、その移動エネルギーがＭｉｎ以上で、Ｍｉｎ×１．２以下となる位置に設定する。この方法を採用することによって、最初の復元データまたは復元データの品質が向上し、より妥当な変化要因情報のデータを生成できる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、原信号のデータを加工したデータは、原信号を小さくする縮小処理を行った縮小データで、任意の信号データは縮小データと同サイズのデータとする。この方法を採用することによって、変化の大きさも縮小されることから、変化要因情報のデータを推定し易くなり、より妥当な変化要因情報のデータを生成できる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、縮小処理をしたデータから新たな変化要因情報のデータを得た後、新たな変化要因情報のデータを大きくする拡大処理を行い、拡大処理した前記変化要因情報のデータを前記新たな変化要因情報のデータの代わりに用い、（１）から（３）の処理と同様の処理を１回以上行い、必要に応じて拡大処理以降の処理を繰り返す。この方法を採用することによって、縮小処理を行って得た良質な変化要因情報のデータに基づいて大きな変化要因情報のデータの推定をすることができる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、縮小処理をしたデータから新たな変化要因情報のデータを得た後、（５）における前記得られた復元データおよび新たな変化要因情報のデータをそれぞれ同じ比率で大きくする拡大処理を行い、拡大処理した変化要因情報のデータを新たな変化要因情報のデータの代わりに用い、拡大処理した復元データを任意の信号データの代わりに用い、（１）から（３）の処理と同様の処理を１回以上行い、必要に応じて拡大処理以降の処理を繰り返す。この方法を採用することによって、縮小処理を行って得た良質な変化要因情報のデータに基づいて大きな変化要因情報のデータの推定をすることができる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、新たな変化要因情報のデータを構成する中枢となる部分のデータの値を大きくする。この方法を採用することによって、ブレに相当する変化の推定に重きを置く変化要因情報のデータを生成できる。

他の発明に係る変化要因情報の生成法は、上述した発明に加え、最初の変化要因情報のデータは、強度分布がガウス分布のデータである。この方法を採用することによって、変化がどのようなブレまたはボケを含んでいても、良好な変化要因情報のデータの推定をすることができる。

上記目的を達成するため、本発明の信号処理装置は、劣化等の変化が生じた原信号データから、変化する前の信号若しくは本来取得されるべきであった信号またはそれらの近似信号（以下、元信号という）の復元をする処理部を有し、処理部は、任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、（１）そのデータを利用して、任意の信号データから比較用データを生成して、（２）原信号のデータまたはその原信号のデータを加工したデータと比較用データとを比較し、（３）得られた差分のデータを最初の変化要因情報のデータを利用して任意の信号データに配分することで最初の復元データを生成し、（４）その最初の復元データを任意の信号データの代わりに用い、必要に応じて、同様の処理を繰り返し、（５）その結果得られた、復元データと原信号のデータまたはその原信号のデータを加工したデータとから最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成する処理を行い、（６）生成された新たな変化要因情報のデータまたはその変化要因情報のデータを加工したデータに基づいて元信号の復元を行う。

この発明によれば、変化要因情報のデータが未知であっても妥当な変化要因情報のデータを生成でき、実用的な信号復元が可能となる。なお、（５）における「復元データ」は、最初の復元データおよび（４）において必要に応じて処理を繰り返して得られる復元データの両者を含む。

他の発明に係る信号処理装置は、上述した発明に加え、元信号の復元をする処理は、処理部が変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して、任意の信号データから比較用データを生成して、処理対象となる原信号のデータと比較用のデータとを比較し、得られた差分のデータを変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して任意の信号データに配分することで復元データを生成し、この復元データを任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことである。この構成を採用することによって、より実用的な信号復元が可能となる。

他の発明に係る信号処理装置は、上述した発明に加え、（３）の処理は、原信号のデータまたはその原信号のデータを加工したデータおよび復元データを構成する信号要素のデータの一部または全部を移動させる方法にて行い、復元データを構成する信号要素のデータが所定の基準を満たすか否かを判定し、所定の基準を満たさない場合には、差分のデータを利用して算出された配分値を修正し、その満たされないデータの代わりに修正された配分値によって得られたデータを使用する修正処理を行う。この構成を採用することによって、最初の復元データまたは復元データの品質が向上し、より妥当な変化要因情報のデータを生成できる。

他の発明に係る信号処理装置は、上述した発明に加え、新たな変化要因情報のデータを生成する処理は、得られた変化要因情報のデータの原点位置を、各々の信号要素のデータの移動に要する移動エネルギーの総和の最小値をＭｉｎとしたとき、その移動エネルギーがＭｉｎ以上で、Ｍｉｎ×１．２以下となる位置に設定する。この構成を採用することによって、最初の復元データまたは復元データの品質が向上し、より妥当な変化要因情報のデータを生成できる。

他の発明に係る信号処理装置は、上述した発明に加え、復元手段は、処理部が信号変化の要因となる変化要因情報のデータを利用して、任意の信号データから比較用データを生成して、処理対象となる原信号のデータと比較用のデータとを比較し、得られた差分のデータを原点位置が設定された変化要因情報のデータを利用して任意の信号データに配分することで復元データを生成し、この復元データを任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行う手段である。この繰り返し処理を極めて多数回行えば、リンギングが発生していない画像等の信号を復元できる。よって、この構成を採用することで、より確実にリンギング等の発生を抑えることができる。

本発明では、変化要因情報のデータが未知であっても実用的な信号復元を可能とする変化要因情報のデータの生成法および信号処理装置を提供することができる。

（信号処理装置の構成）
以下、本発明の実施の形態に係る信号処理装置を、図を参照しながら説明する。なお、この信号処理装置は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置、画像を印刷するプリンタ、画像を読み込むスキャナ等、カメラ以外の機器にも適用できる。

図１には信号処理装置１の構成の概要を示している。信号処理装置１は、人物等の画像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、撮影部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る信号処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、画像劣化等を生じさせる変化要因情報のデータを保存する要因情報保存部７を有する。

撮影部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮影素子を備える部分である。制御系部３は、撮影部２，処理部４，記録部５，および要因情報保存部７等、信号処理装置内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。そして、処理部４は、後述する変化要因情報のデータの生成法に係る処理および画像の復元処理を実行する。

また、この処理部４には、後述する比較用データを生成する際の元となる画像のデータが保管されることもある。さらに処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等を使用する光記録手段等を採用しても良い。

要因情報保存部７は、本発明の実施の形態に係る変化要因情報のデータの生成法によって生成される変化要因情報のデータまたはそのデータを加工したデータを保存しておく記録部である。そして要因情報保存部７は、そのデータの中枢をなすブレの軌跡（履歴）と、その軌跡上の各点にとどまっていた時間（重み）を記憶する。要因情報保存部７で記録されたデータは、撮影された原画像（劣化等の変化が生じた画像）から元画像（変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像）への復元処理の際に、処理部４で用いられる。よって、処理部４と要因情報保存部７との間では、相互にデータの受け渡しが可能となっている。

（変化要因情報のデータの生成）
図２に、処理部４が行う本発明の実施の形態に係る変化要因情報のデータの生成法の一例のフローチャートを示す。

まず、処理部４は、最初の変化要因情報のデータ（ＰＳＦ）の任意の初期値（Ｐ_０）を設定する（ステップＳ１０１）。ここでは、その初期値を強度分布がガウス分布のデータであるガウシアンディスクとして設定する。

次に、処理部４は、ステップＳ１０１の処理と併行してまたはその処理の前若しくは後に、撮影した原画像のデータ（原信号のデータ）Ｉｍｇ’を１／４に縮小する。すなわち、原信号のデータＩｍｇ’のデータを間引いて２５％の容量値とする縮小処理（加工）を行う（ステップＳ１０２）。この縮小処理を経たデータである縮小データをＳＩｍｇ’と記す。

次に、処理部４は、その縮小データＳＩｍｇ’と同一容量の任意の信号データとしてＩ_０を用い、Ｉ_０とＰ_０とを重畳積分して比較用のブレたデータＩ_０’を得る（ステップＳ１０３）。なお、任意の信号データＩ_０としては、縮小された原画像のデータＳＩｍｇ’が好ましい。

次に、処理部４は、ＳＩｍｇ’とＩ_０’とを比較し、その差分のデータΔを得る（ステップＳ１０４）。その差分のデータΔが所定値以内かを判定し（ステップＳ１０５）、所定値以内であればステップＳ１２０へ移行し、所定値以内でなければステップＳ１０６へ移行する。ステップＳ１０６では、その差分のデータΔに係数ｋ（変化要因情報（ＰＳＦ）に基づいた係数）を乗じたものをＩ_０に配分して、最初の復元データＩ_０＋ｎ（今回はＩ_０＋１）を得る。ステップＳ１０６において、Ｉ_０に配分する際には、その配分値（更新量）の妥当性を判断する処理を行う（ステップＳ１０７）。そして、その妥当性に応じてＩ_０＋ｎを修正する処理を行う（ステップＳ１０８）。次に、ステップＳ１０９に移行し、この処理が所定回数に達したか否かを判断し、所定回数（たとえば１０回）に達したらステップＳ１２０へ移行し、所定回数に達していないときはステップＳ１１０へ移行する。

そして処理部４は、Ｉ_０＋１をＩ_０の代わりに用いて（ステップＳ１１０）ステップＳ１０３の処理を行い、ステップＳ１０３、ステップＳ１０４、ステップＳ１０５、ステップＳ１０６、ステップＳ１０７、ステップＳ１０８、ステップＳ１０９およびステップＳ１１０の処理を所定回数（今回は１０回）繰り返す。その所定回数に達したか否かの判断をステップＳ１０９にて行う。

ステップＳ１０６の処理は、縮小した原画像のデータＳＩｍｇ’および復元データＩ_０＋ｎを構成する画素のデータの一部または全部を移動（配分）させる処理である。なお、ステップＳ１０７およびステップＳ１０８の詳細については後述する。

次に、ステップＳ１０９にて所定回数に達したと判断された場合は、処理部４は、ＰＳＦを算出する処理を行う（ステップＳ１２０）。その処理は、得られた復元データＩ_０＋ｎと縮小された原画像のデータＳＩｍｇ’から新たなＰＳＦ（＝Ｐ）を得る処理である。その処理の具体例は、得られた復元データＩ_０＋ｎと原画像の縮小データＳＩｍｇ’をそれぞれフーリエ変換し、周波数空間での割り算によってＰＳＦの周波数特性を算出し、その周波数特性をフーリエ逆変換することによってＰＳＦ（＝Ｐ）を得る。

次に、処理部４は、Ｐのデータの中枢をなすブレの軌跡の部分（骨格部）のデータの値を２倍にして、骨格部を強調する処理を行う（ステップＳ１２１）。図３（Ａ）は、現段階の時点で推定されるＰＳＦをＸ−Ｙ平面上に示したものである。このＸ−Ｙ平面は、後述する図６に示す信号処理装置１のブレが生じやすいＸ−Ｙ平面に相当する。ＰＳＦは、そのデータの中枢をなすブレの軌跡に相当する部分（骨格部）Ａと、その周辺のデータ値の小さな部分Ｂ（ボケ等の部分）とからなる。この小さな値となる部分Ｂは、ボケの部分と考えられる。図３（Ｂ）は、Ａの部分を強調する処理（ステップＳ１２１）を行った後のＰＳＦの状態を示している。Ａの骨格部分が若干強調されていることがわかる。この処理に当っては、細線化処理が採用されているが、他の強調方法を採用してもよい。この処理の結果、ステップＳ１２０で得られたＰのデータは、Ｐ’のデータとなる。その後、移動エネルギーが最小となるようにＰ’の原点を設定する処理（詳細は後述する）を行う（ステップＳ１２２）。

次に、処理部４は、Ｐ’が妥当なＰＳＦか否かを判断する。具体的には、処理部４は、ステップＳ１２０からＳ１２２までの処理を３回繰り返したか否かを判断する（ステップＳ１２３）。繰り返しの回数、すなわちＰＳＦの算出回数が３回を満たしていなければ（Ｎ）、Ｐ’のデータをＰ_０の代わりに用いて（ステップＳ１２４）、ステップＳ１０３からＳ１１０までの処理を繰り返し、その後再度ステップＳ１２０〜Ｓ１２２を実行する。

そして、ステップＳ１２３の判断において、ＰＳＦ算出の回数、すなわち繰り返しの回数が３回を満たしていれば（Ｙ）、処理部４は、得られたＰ’のデータおよびＩ_０＋ｎのデータを同じ比率で拡大処理する（ステップＳ１２５）。この実施の形態では、最後に得られたＰ’とＩ_０＋ｎを４／３倍する。その拡大処理が予め定められていた縮小率、すなわち、原画像に対する縮小の程度に至ったか否かを判断する（ステップＳ１２６）。所定の縮小率に至っていないと判断すると、拡大処理したＩ_０＋ｎのデータをＩ_０のデータの代わりに用い（ステップＳ１２７）、拡大処理したＰ’のデータをＰ_０の代わりに用いる（ステップＳ１２４）。一方、原画像のデータを１／３に縮小した新たな縮小画像ＳＩｍｇ’を得る。この１／３に縮小した画像は先に４／３倍したデータとは同じサイズの画像となる。そして、処理部４は、新たな各データを用い、ステップＳ１０３からＳ１１０までの処理を繰り返し、また、ステップＳ１２０からＳ１２４までの処理を繰り返す。この繰り返しは、ステップＳ１２６で所定の縮小率、たとえば原画像データに対して１／３の縮小率に達していると判定されたときは、ステップＳ１２８へ移行する。なお、ステップＳ１２５では、得られたＰ’のデータおよびＩ_０＋ｎのデータを同じ比率で拡大処理しているが、拡大処理するのはＰ’のデータのみとし、拡大処理したＩ_０＋ｎのデータの代わりに任意の信号データを用い、ステップＳ１２５を実行しても良い。その任意の信号データは、たとえばＳＩｍｇ’のデータ等である。但し、ステップＳ１２５では、本実施の形態のように得られたＰ’のデータおよびＩ_０＋ｎのデータを同じ比率で拡大処理した方が、復元処理を経たＩ_０＋ｎのデータを用いるため、良質なＰＳＦを生成できる場合がある。

なお、ステップＳ１２５におけるＰ’のデータの拡大処理は、処理部４が、隣接する信号要素の間にその隣接する信号要素の値の平均値の新たな信号要素のデータを挿入することにより行う。また、Ｉ_０＋ｎのデータの拡大処理は、処理部４が、隣り合う画素の間に新たな画素を挿入することにより行う。その新たな画素の画素値は、隣り合う画素の画素値を平均した値とする。この拡大処理によって所定の縮小率に達したか否かの判断は、処理部４がステップＳ１２６で行う。拡大処理によって所定の縮小率に達したら（Ｙ）、処理部４は、現段階で得られているＰ’を実寸大に拡大する（ステップＳ１２８）。すなわち、現段階で得られているＰ’は、実寸の１／３のものであるから、処理部４は、現段階で得られているＰ’を３倍に拡大する。この拡大処理も、処理部４が隣り合う画素の間に新たな画素を挿入することにより行う。その新たな画素の画素値は、隣り合う画素の画素値を平均した値とする。なお、ステップＳ１０５，Ｓ１２８の各拡大処理に当っては、上述の補間法以外に、処理部４が、隣り合う画素の間にその隣り合う画素の一の画素の画素値の画素を挿入することにより行う補間法を採用してもよい。

以上の処理によって、本発明の実施の形態に係る変化要因情報のデータの生成法が終了し（ステップＳ１２９）、ＰＳＦが生成される。このＰＳＦは、処理部４によって要因情報保存部７に記憶され、信号の復元処理の際に用いられる。以上の過程を経て得られたＰＳＦを「Ｇ」と表す。

（配分値の妥当性を判断する処理）
上述のステップＳ１０７で行う、配分値の妥当性を判断する処理について図を用いて説明する。

図４および図５は、図２におけるステップＳ１０７およびＳ１０８の処理の詳細を説明するための図である。この処理の基本的な考え方は、次の通りである。この処理は、復元データＩ_０＋ｎに対し一括して行うものではなく、復元データＩ_０＋ｎを構成する信号要素毎に行うものである。この点はステップＳ１０３，Ｓ１０５およびＳ１０６の信号（画像）全体の処理とは大きく異なる。まず、Ｐ_０によって一つの信号要素となる一つの画素が影響を受ける範囲の複数の画素のうち、更新によって画素値の変化が大きくなるものがある場合は、その複数の画素の範囲にエッジとなる部分が存すると考える。そのエッジとなる部分は、対応する部分の差分のデータΔに基づく更新量が適切な量となり難い。なぜならば、エッジ部分を跨ぐ２つの画素の画素値は、その違いが大きすぎるため、一方の画素から他方の画素へとエッジ部分を越えて画素値を配分しても、その配分は適切なものとはなりにくいためである。そこで、更新によって画素値の変化が周囲に比べ不自然に大きくなる画素については、更新量の絶対値を小さくすることで、エッジ近傍への更新量を適切なものに近づける。

そのためには、まず、所定の差分のデータΔからある画素の更新量（Ｄｃ）を算出する（ステップＳ２０１）。そして、変化要因情報Ｇによって一つの画素が影響を及ぼす範囲の複数の画素（一部の信号要素）およびその一つの画素との集合を参照し、その参照する各々の画素の更新前の画素値（＝Ｉｂ）の最小値（＝Ｍｉｎ）、最大値（＝Ｍａｘ）および平均値（＝Ａｖ）を算出する（ステップＳ２０２）。なお、この一部の画素（参照する画素）は、単純に隣接する複数の画素、あるいは所定の画素を中心としてそこから所定の距離に含まれる複数の画素としても良い。その所定の距離は、たとえば変化要因情報のデータＧを利用して決定される。

次に、参照する画素のうちの一つの画素（＝一つの信号要素）の更新後の画素値となるデータ（＝Ｉａ）を算出する（ステップＳ２０３）。この更新後の画素値Ｉａは、ある画素に対応した差分のデータδから算出した各画素毎の更新量（Ｄｃ）を用いて更新した場合の各画素毎の画素値であり、次の（１）式によって導かれる。
Ｉａ＝Ｉｂ＋Ｄｃ ……（１）

次に、修正前の更新量（Ｄｃ）の妥当性を判断する。まず、復元データを構成する信号要素のデータとなる更新後の画素値Ｉａが最小値Ｍｉｎ以上であり最大値Ｍａｘ以下である場合には（ステップＳ２０４の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが自然であり、更新量Ｄｃは、修正せずにそのまま修正後の更新量（Ｄｐ）とし、修正値Ｉａ’を得る（ステップＳ２０５，Ｓ２１４）。なおステップＳ２１４は、修正後の更新量Ｄｐによって修正値Ｉａ’を得るステップである。図５の（Ａ）に示す矢印は、ステップＳ２０５およびステップＳ２１４の処理を経た状態を概略的に表しており、矢印の黒丸は画素の更新前の画素値Ｉｂを示し、三角の矢示はＤｐによって更新した後の修正値Ｉａ'を示し、矢印の長さは更新量（Ｄｃ＝Ｄｐ）を示している。左側の矢印は、修正前の更新量Ｄｃの値が正の値の場合、右側の矢印は、修正前の更新量Ｄｃの値が負の値の場合についての一例を示している。

そして、ステップＳ２０４の判断が「Ｎ」（＝Ｎｏ）の場合は、ステップＳ２０６へと進む。ここでは、更新後の画素値Ｉａが最大値Ｍａｘを超えてしまっている場合であって更新前の画素値Ｉｂが平均値Ａｖ以下である場合には（ステップＳ２０６の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが不自然であると判断する。そして、更新量Ｄｃは、最大値Ｍａｘから更新前の画素値Ｉｂを差し引いた値Ｄｐへと変更される（ステップＳ２０７）。この結果、修正値Ｉａ’の画素値は、最大値Ｍａｘと等しくなる。図５の（Ｂ）に示す矢印は、ステップＳ２０７およびステップＳ２１４を経た状態を、図５（Ａ）と同様に概略的に表している。左側の矢印は、Ｄｃによって更新した場合のＩａ、右側の矢印は、Ｄｐによって更新した場合の修正値Ｉａ’を示している。

そして、ステップＳ２０６の判断が「Ｎ」（＝Ｎｏ）の場合は、ステップＳ２０８へと進む。ここでは、更新後の画素値Ｉａが最大値Ｍａｘを超えてしまっている場合であって更新前の画素値Ｉｂが平均値Ａｖを越える場合には（ステップＳ２０８の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが不自然であると判断する。その場合、更新量Ｄｃは、以下の（２）式から得られる値Ｄｐへと変更される（ステップＳ２０９）。この結果、修正値Ｉａ’の画素値は、更新後の画素値Ｉａが最大値Ｍａｘをプラス側に超えた分の１／４を最大値Ｍａｘに加えた値となる。図５の（Ｃ）に示す矢印は、ステップＳ２０９およびステップＳ２１４を経た状態を、図５（Ｂ）と同様に概略的に表している。
Ｄｐ=０．２５（Ｉａ−Ｍａｘ）＋（Ｍａｘ−Ｉｂ） …（２）

そして、ステップＳ２０８の判断が「Ｎ」（＝Ｎｏ）の場合は、ステップＳ２１０へと進む。ここでは、更新後の画素値Ｉａが最小値Ｍｉｎ未満であって更新前の画素値Ｉｂが平均値Ａｖ以下である場合には（ステップＳ２１０の判断が「Ｙ」（＝Ｙｅｓ））、その画素は、周囲の画素との画素値のバランスが不自然であると判断する。そして、更新量Ｄｃは、以下の（３）式から得られる値Ｄｐへと変更される（ステップＳ２１１）。この結果、修正値Ｉａ’の画素値は、更新後の画素値Ｉａが最小値Ｍｉｎをマイナス側に超えた分の１／４を最小値Ｍｉｎから引いた値となる。図５の（Ｄ）に示す矢印は、ステップＳ２１１およびステップＳ２１４を経た状態を、図５（Ｂ）と同様に概略的に表している。
Ｄｐ=−（Ｉｂ−Ｍｉｎ）−０．２５（Ｍｉｎ−Ｉａ） …（３）

そして、ステップＳ２１０の判断が「Ｎ」（＝Ｎｏ）の場合は、更新後の画素値Ｉａが最小値Ｍｉｎ未満であって更新前の画素値Ｉｂが平均値Ａｖを超えている場合となる（ステップＳ２１２）。その場合には、その画素は、周囲の画素との画素値のバランスが不自然である。そして、更新量Ｄｃは、最小値Ｍｉｎから更新前の画素値Ｉｂを差し引いた値Ｄｐへと変更される（ステップＳ２１３）。この結果、修正値Ｉａ’の画素値は、最小値Ｍｉｎと等しくなる。図５の（Ｅ）に示す矢印は、ステップＳ２１３およびステップＳ２１４を経た状態を、図５（Ｂ）と同様に概略的に表している。

以上のステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０に示す判断の処理は、所定の基準を満たすか否かを判定する処理となる。なお、このステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０の判断、およびステップＳ２１２の条件を満足するか否かを判断基準としたものの判断の順序は、適宜変更できる。その変更を行ったときも、実際に判断するのは最初から４つめまでである。その４つに該当しなかった場合は、必ず残りの条件に当てはまることとなるため、残りの条件に該当するか否かは、図４におけるステップＳ２１２と同様に所定の基準を満たすか否かを判定する処理とはならない。

このように、得られたＤｐを修正した更新量とし、修正値Ｉａ’が得られることとなる（ステップＳ２１４）。この結果、ある画素が更新される（ステップＳ２１５）。そして、全ての画素が更新されたか否かの判断を行う（ステップＳ２１６）。その判断が「Ｎ」（＝Ｎｏ）の場合は、参照する画素を変更して（ステップＳ２１７）、変更後の参照する画素（他の一部の信号要素）から所定の基準を求めるためおよび次の画素の修正値Ｉａ’を得るためにステップＳ２０２に戻り、ステップＳ２０２〜２１７の処理を繰り返す。この処理では、一つの画素の更新量を修正したら、参照する画素を変更して別の一つの画素の更新量を変更している。そして、ステップＳ２１６の判断が「Ｙ」（＝Ｙｅｓ）の場合は、全ての画素の修正値Ｉａ’を用いて復元データＩ_０＋ｎを修正する（ステップＳ２１８）。以上で図２におけるステップＳ１０７，１０８が終了する。

（Ｐ’の原点を設定する処理）
上述の図２におけるステップＳ１２２で行う、Ｐ’の原点を設定する処理について図を用いて説明する。

要因情報保存部７には、上述の図２におけるステップＳ１２２の段階のデータが保存される。すなわち、図６に示す信号処理装置１のブレと推定できるデータが要因情報保存部７に保存される。この図６には、図１に示す信号処理装置１の外観が示されている。この信号処理装置１の図に示すＸＹＺの各方向軸を中心とした回転がブレとなるが、特に現れやすいのはＸとＹの方向軸回りである。図７に示すブレに関するデータは、図６におけるＸ−Ｙ平面上における座標データの経時変化のデータである。そのデータは、図７に示すＸ−Ｙ平面で表されるようなブレの軌跡の情報およびその軌跡上の各位置にどの程度の期間とどまっていたかの情報を含む。図７に示すＸ−Ｙ平面の始点Ａ（Ｘ_１，Ｙ_１）は、撮影開始位置であり、軌跡の終点Ｂ（Ｘ_Ｎ，Ｙ_Ｎ）は、撮影終了位置である。

ブレによる画像の劣化は、光エネルギーが１点に集中せずに、光エネルギーが図７に示す軌跡Ａ−Ｂ上に分散する現象である。よって分散した光エネルギーを１点に集中させることが、原画像を元画像へと復元することとなる。その光エネルギーを集中させる１点は、自由に決定できる。たとえば図４におけるＡ点、Ｂ点、Ａ−Ｂの軌跡上またはＡ−Ｂの軌跡を外れた点に決定できる。

ここで、分散した光エネルギーを集中させる点を「原点位置」と言うこととし、原点位置は、図７に示すＸ−Ｙ平面上の点０座標（０ｘ，０ｙ）で表すこととする。また、上述したステップＳ１２０で算出したＰＳＦの骨格部をステップＳ１２１の処理で強調したデータ（Ｐ’）をＧ（Ｘｎ，Ｙｎ）で表すこととする。これは、各位置（Ｘｎ，Ｙｎ）においてどの程度の期間とどまっていたかの情報である「重さ」を示し、（４）式を満たす。（４）式は、光エネルギーを１と正規化して取り扱うことを示す。なお、（Ｘｎ，Ｙｎ）は、図７に示すＸ−Ｙ平面上の座標である。

・・・（４）

また、分散した光エネルギーを原点位置である点０へ集中させる移動エネルギーをＥ（０ｘ，０ｙ）で表すこととする。すると分散したエネルギーを原点位置（０ｘ、０ｙ）に集中させる移動エネルギーは、移動距離と重さの関数で表現することができ、たとえば以下の式（５）（ｎ＝１，２，・・・Ｎ：Ｎは分散して広がった領域数）で表わすことができる。

・・・（５）
また、より移動距離に重きを置く場合は、以下の式（６）を用いることもできる。この（６）式の方が平方根の計算が無く、計算が楽になる利点がある。

・・・（６）
さらに、より計算を楽にするためには、以下の式（７）を用いることもできる。

・・・（７）

そして、移動エネルギーＥ（０ｘ，０ｙ）を最小値とする原点位置（０ｘ，０ｙ）を設定する。この設定は、処理部４で行われる。また、処理部４は、新たに原点位置が設定されたデータを、その設定の前に要因情報保存部７に保存されていたデータに代えて保存する。

（信号復元処理）
次に、以上のように構成された本実施の形態に係る信号処理装置１の処理部４の画像復元処理方法（復元手段）の概要を、図８および図９に基づいて説明する。なお、画像復元処理方法は先に説明したステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６，Ｓ１０７，Ｓ１０８，Ｓ１１０の処理とほぼ同様であり、繰り返し処理となっている。

ここで、原画像の元画像への復元処理を実行する時期は、撮影用の電源がオフされている時、処理部４が稼働していない時、処理部４の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部５に保存された原画像データおよび、要因情報保存部７に保存された、その原画像についての伝達関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部４の負担を軽減できることである。

図８中、「Ｉ_０」は、任意の初期画像であって、処理部４の記録部に予め保存されている画像のデータである。「Ｉ_０’」は、その初期画像のデータのＩ_０の劣化画像のデータを示し、比較のための比較用データである。「Ｇ」は、図２に示す処理で推定された変化要因情報（＝劣化要因情報（伝達関数））のデータで、要因情報保存部７に保存されていたものを処理部４が抽出し、処理部４の記録部に保存されるものである。「Ｉｍｇ’」は、原画像のデータである。

「δ」は、原画像データＩｍｇ’と、比較用データＩ_０’との差分のデータである。「ｋ」は、変化要因情報のデータに基づく配分比である。「Ｉ_０＋ｎ」は、初期画像のデータＩ_０に、差分のデータδを変化要因情報のデータＧに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。「Ｉｍｇ」は、元画像のデータである。ここで、ＩｍｇとＩｍｇ’の関係は、次の（８）式で表されるものとする。
Ｉｍｇ’＝Ｉｍｇ＊Ｇ ……（８）
ここで、「＊」は、重畳積分を表す演算子である。

なお、差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータＧにより異なり、次の（９）式で表される。
δ＝ｆ（Ｉｍｇ’，Ｉｍｇ，Ｇ） …（９）

処理部４の処理ルーチンは、まず、分散した光エネルギーを集中させる原点位置を決定する（ステップＳ３００）。この決定は、既に図２に示すステップＳ１２２で行っている。よって、この処理の詳細な説明は省略する。そして、任意の画像データＩ_０を用意する（ステップＳ３０１）。この初期画像のデータＩ_０としては、劣化している原画像のデータＩｍｇ’を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ３０２で、（８）式のＩｍｇの代わりに初期画像となる任意の画像のデータＩ_０を入れ、劣化画像である比較用データＩ_０’を求める。次に、原画像データＩｍｇ’と比較用データＩ_０’とを比較し、差分のデータδを算出する（ステップＳ３０３）。

そして、差分のデータδの各々の絶対値が所定値未満であるか否かを判断する（ステップＳ３０４）。ステップＳ３０４で差分のデータδが所定値以上であれば、ステップＳ３０５で新たな復元画像のデータ（＝復元データ）を生成する処理を行う。すなわち、個々の信号要素が得られた個々の差分のデータδを変化要因情報のデータＧに基づいて、任意の画像データＩ_０に配分し、新たな復元データＩ_０＋ｎを生成する。

そして、復元データＩ_０＋ｎを生成する際に用いる更新量（配分値）の妥当性を判断し（ステップＳ３０６）、復元データＩ_０＋ｎを修正する（ステップＳ３０７）。このステップＳ３０６およびステップＳ３０７の処理は、上述した図２に示すステップＳ１０６、Ｓ１０７で行う、配分値の妥当性を判断し修正する処理と同様に行う。よって、この処理の詳細な説明は省略する。

その後、図８のステップＳ３０２〜Ｓ３０７を繰り返す。この繰り返しの最中の復元データＩ_０＋ｎは、処理が行われた途中段階の復元データとなる。ステップＳ３０４において、各画素の差分のデータδの各々の絶対値が所定値未満となったら、繰り返し処理を終了する。そして、繰り返し処理を終了した時点での復元データＩ_０＋ｎを元画像のデータＩｍｇと推定する。すなわち、各画素の差分のデータδの各々の絶対値の最高値または平均値が所定値より小さくなった場合、比較用データＩ_０＋ｎ’の元となった復元データＩ_０＋ｎは元画像のデータＩｍｇと非常に近似したものとなることから、その復元データＩ_０＋ｎを元画像のデータＩｍｇと推定するのである。なお、記録部５には、初期画像のデータＩ_０、変化要因情報のデータＧ、を記録しておき、必要により処理部４に渡すようにしても良い。

上述した繰り返し処理方法（復元手段）の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、理論上は可能であるが、現実問題としては困難である。

最適化問題として解く場合において、本実施の形態では、次のような条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新し、その更新量を妥当な値に修正しながら反復処理することにより、解を収束させていく。

このことを換言すれば、図９（Ａ）（Ｂ）に示すように、原画像のデータＩｍｇ’と近似である比較用データＩ_０’（Ｉ_０＋ｎ’）を生成できれば、その生成の元データとなる初期画像のデータＩ_０または復元データＩ_０＋ｎは、元画像のデータＩｍｇに近似したものとなる。

なお、この実施の形態では、差分のデータδの判定基準となる値は、各データを８ビット（０〜２５５）で表した場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。

次に、図８に示す手ブレの復元処理方法（ステップＳ３０２，Ｓ３０３，Ｓ３０４，Ｓ３０５，Ｓ３０６，Ｓ３０７の反復処理（復元手段））の詳細を、図１０，図１１，図１２，図１３，図１４，図１５，図１６および図１７に基づいて説明する。

（手ブレの復元アルゴリズム）
手ブレが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ブレがある場合、光エネルギーは、露光時間中にブレた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ブレた画像からブレの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にＳ−１，Ｓ，Ｓ＋１，Ｓ＋２，Ｓ＋３，・・・，とし、ある画素Ｓに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「１．０」である。この状態を図１０に示す。このときの撮影結果を、図１１の表に示す。図１１に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表している。

露光時間中にブレがあり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれブレていたとする。エネルギーの分散の仕方は、図１２に示す表のとおりとなる。これが変化要因情報のデータＧとなる。

露光時間中にブレがあり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれブレていたとする。エネルギーの分散の仕方は、図１２に示す表のとおりとなる。これが変化要因情報のデータＧとなる。上述の式（５）における「Ｎ」の値は「３」となり、「重み」としての５０％、３０％、および２０％の総和が「１」となる。よって、この変化要因情報Ｇ（ここでは、横一次元で考えるため、Ｇ（Ｘｎ）となる）は、上述の式（４）を満たす。

この図１２および式（５）に基づいて、移動エネルギーＥ（０ｘ，０ｙ）を算出する。ここでは、横一次元で考えるため、移動エネルギーは、Ｅ（０ｘ）となる。また、移動距離は、画素一つ分の移動距離を「１」として計算する。すると、分散した光エネルギーを画素「Ｓ」に集中させる場合の移動エネルギーは、Ｅ（０ｘ）は、以下のように計算され、求められる。
（１×０）＋（０×０．５）＋（１×０．３）＋（２×０．２）＝０．７

同様に、分散した光エネルギーを画素「Ｓ＋１」に集中させる場合の移動エネルギーは、Ｅ（０ｘ）は、以下のように計算され、求められる。
（１×０．５）＋（０×０．３）＋（１×０．２）＝０．７

同様に、分散した光エネルギーを画素「Ｓ＋２」に集中させる場合の移動エネルギーは、Ｅ（０ｘ）は、以下のように計算され、求められる。
（２×０．５）＋（１×０．３）＋（０×０．２）＝１．３

以上の結果から、図１２の場合は、分散した光エネルギーを画素「Ｓ」または「Ｓ１」に集中させることで、移動エネルギーを最小値の「０．７」とすることができる。また、図１２の代わりに「Ｓ＝０．４５」「Ｓ＋１＝０．３」「Ｓ＋２＝０．２５」の場合は、画素「Ｓ＋１」への移動エネルギーの総和が最も小さくなる。すなわち、画素「Ｓ」への移動は「０．８」となり画素「Ｓ＋１」への移動は「０．７」となり、画素「Ｓ＋２」への移動が「１．２」となるためである。以下、分散した光エネルギーを移動エネルギーが最も小さい位置、すなわち上述の図１２の例で画素「Ｓ」へと、集中させる場合の繰り返し処理の詳細について説明する。

ブレは、全ての画素で一様であり、線形問題として把握される。そして、上ブレ（縦ブレ）が無いとすると、ブレの状況は、図１３に示す表のとおりとなる。図１３中の「ブレ画像」として示されるデータが、劣化している原画像のデータＩｍｇ’となる。具体的には、たとえば「Ｓ−３」の画素の「１２０」は、ブレ情報である変化要因情報のデータＧの「０．５」「０．３」「０．２」の配分比に従い、「Ｓ−３」の画素に「６０」、「Ｓ−２］の画素に「３６」、「Ｓ−１」の画素に「２４」というように分散する。同様に、「Ｓ−２」の画素データである「６０」は、「Ｓ−２」に「３０」、「Ｓ−１」に「１８」、「Ｓ」に「１２」として分散する。この劣化している原画像データＩｍｇ’と、図１２に示す変化要因情報のデータＧから元画像データＩｍｇを算出することとなる。

ステップＳ３０１に示す任意の画像データＩ_０としては、どのようなものでも採用できるが、この説明に当たっては、原画像データＩｍｇ’を用いる。すなわち、Ｉ_０＝Ｉｍｇ’として処理を開始する。図１４の表中に「入力」とされたものが初期画像のデータＩ_０に相当する。このデータＩ_０すなわちＩｍｇ’と、ステップＳ３０２で変化要因情報のデータＧとを重畳積分する。すなわち、たとえば、初期画像のデータＩ_０の「Ｓ−３」の画素の「６０」は、Ｓ−３の画素に「３０」が、「Ｓ−２」の画素に「１８」が、「Ｓ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Ｉ_０’」として示される比較用データＩ_０’が生成される。このため、ステップＳ３０３の差分のデータδは、図１４の最下欄に示すようになる。この差分のデータδの絶対値の最高値が所定値、たとえば１０未満となるか判断する（ステップＳ３０４）、この例では「Ｓ−３」の画素の差分のデータδが３０であり、ステップＳ３０４でＮｏ（＝Ｎ）となり、ステップＳ３０５へ移行する。

差分のデータδの配分は、図１５に示すように、たとえば「Ｓ−３」の画素データ「３０」に、自分の所（＝「Ｓ−３」の画素）の配分比である０．５をかけた「１５」を「Ｓ−３」の画素に配分し、また「Ｓ−２」の画素のデータ「１５」にその「Ｓ−２」の画素にきているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「Ｓ−１」の画素のデータ「９．２」に、その「Ｓ−１」の画素にきているはずの配分比である０．２をかけた「１．８４」を配分する。「Ｓ−３」の画素に配分された総量（各画素毎の更新量Ｄｃ）は、「２１．３４」となり、この値を図４における初期画像のデータＩ_０である、図４におけるＩｂ（ここでは原画像データＩｍｇ’を使用）にプラスして、図８における復元データＩ_０＋１である、図４における更新後の画素値Ｉａが算出される。この例では、図１５に示すように更新後の画素値Ｉａは「８１．３４」となる。このように、差分のデータδを変化要因情報のデータＧを使用して、任意の画像のデータＩ_０に配分して、図１５中の「次回入力」として示される復元データＩ_０＋ｎを生成する。この場合、第１回目であるため、図１５では、Ｉ_０＋１と表している。

この後、図８におけるステップＳ３０６にて更新量の妥当性を判断する。具体的には、この復元データＩ_０＋１を修正するために、画素毎の更新後の画素値（＝Ｉａ）を算出する。この算出は、上述の通り（１）式による。そこで、差分のデータδを各画素に配分する。そして、図１５に示すように、各画素ごとに、参照する各々の画素の更新前の画素値（＝Ｉｂ）の最小値（＝Ｍｉｎ）、最大値（＝Ｍａｘ）および平均値（＝Ａｖ）を算出する（図４におけるステップＳ２０２）。たとえば画素「Ｓ−３」は、画素「Ｓ−３」、画素「Ｓ−２」および画素「Ｓ−１」を参照している。よって、図１５に示すように、画素「Ｓ−３」、画素「Ｓ−２」および画素「Ｓ−１」の最小値（＝Ｍｉｎ）、最大値（＝Ｍａｘ）および平均値（＝Ａｖ）を算出する。図に示す例では、画素「Ｓ−３」に関しては、最大値が画素「Ｓ−１」に「８２．００」で、最小値が画素「Ｓ−３」の「６６．００」となり、平均値は、画素「Ｓ−３」「Ｓ−２」「Ｓ−１」の各値の合計を３で割った値で「６９．３３」となる。画素「Ｓ−２」〜「Ｓ＋４」についても同様の算出を行う。

そして、ＩａおよびＩｂが図４におけるステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０およびＳ２１２のいずれかの条件を満足するのかを判定する。たとえば画素「Ｓ−３」のＩａは、「Ｍｉｎ（６０．００）≦Ｉａ（８１．３４）≦Ｍａｘ（８２．００）」の条件を満足するため、図４におけるステップＳ２０４の条件を満足する。よって、図１５に示すようにステップＳ２０５の処理を行い、Ｄｃである更新量「２１．３４」をそのまま修正後の更新量Ｄｐとして用い、修正値Ｉａ’は、修正前のＩａと等しい「８１．３４」となる。「Ｓ−２」〜「Ｓ」、「Ｓ＋２」および「Ｓ＋３」の更新後の画素値Ｉａについても同様の修正を行う。この修正値Ｉａ’が復元データＩ_０＋ｎの修正値となる。

たとえば画素「Ｓ＋１」では、ステップＳ２０４、Ｓ２０６の条件を満足せず、ステップＳ２０８に移行する。そして、「Ｉｂ（１２１．００）＞Ａｖ（１１３．３３）」であり、「Ｉａ（１３０．１１）＞Ｍａｘ（１２１．００）」の条件を満足するため、図４におけるステップＳ２０８の条件を満足することになる。よって、図１５に示すようにステップＳ２０９の処理を行い、「２．２８」を修正後の更新量Ｄｐとして用い、修正値Ｉａ’は「１２３．２８」となる。画素「Ｓ＋４」のＩａについても同様の修正を行う。このＩａ’が復元データＩ_０＋ｎの修正値となる。

図１６に示すように、この修正された復元データＩ_０＋１（Ｉａ'）がステップＳ３０２の新たな入力画像のデータ（＝初期画像のデータＩ_０に代わるもの）になり、ステップＳ３０２が実行され、ステップＳ３０３へと移行し、新しい差分のデータδを得る。その差分のデータδの大きさをステップＳ３０４で判断し、所定値より大きい場合、ステップＳ３０５で新しい差分のデータδを前回の修正された復元データＩ_０＋１に配分し、新しい復元データＩ_０＋２を生成することとなるが、その際に、図１５の説明と同様にして新しい復元データＩ_０＋２を修正する（図１７参照）。たとえば、画素「Ｓ−３」、「Ｓ」および「Ｓ＋３」の更新後の画素値Ｉａについては、上述の図１５における画素「Ｓ−３」と同様の修正を行う。すなわち、更新後の画素値Ｉａがそのまま修正値Ｉａ’となる。

また、たとえば画素「Ｓ＋１」では、ステップＳ２０４，Ｓ２０６の条件を、満足せず、ステップＳ２０８に移行する。そして「Ｉｂ（１２１．００）＞Ａｖ（１１６．１５）」であり、「Ｉａ（１２５．４３）＞Ｍａｘ（１２１．００）」の条件を満足するため、図４におけるステップＳ２０８の条件を満足することとなる。よって、図１７に示すようにステップＳ２０９の処理を行い、上述の（２）式による値「１．１０６」を修正後の更新量Ｄｐとして用い、修正値Ｉａ’は「１２２．１１」となる。画素「Ｓ＋４」の更新後の画素値Ｉａについても同様の修正を行う。この修正値Ｉａ’が復元データＩ_０＋ｎの修正値となる。

また、たとえば画素「Ｓ−２」では、ステップＳ２０４，Ｓ２０６，Ｓ２０８の条件を、満足せず、ステップＳ２１０に移行する。そして「Ｉｂ（７７．３０）≦Ａｖ（８７．６７）」であり、「Ｉａ（７６．９７）＜Ｍｉｎ（７７．３０）」の条件を満足するため、図４におけるステップＳ２１０の条件を満足することとなる。よって、図１７に示すようにステップＳ２１１の処理を行い、上述の（３）式による値「−０．０８２」を修正後の更新量Ｄｐとして用い、修正値Ｉａ’は「７７．２２」となる。画素「Ｓ−１」および「Ｓ＋２」の更新後の画素値Ｉａについても同様の修正を行う。この修正値Ｉａ’が復元データＩ_０＋ｎの修正値となる。

その後、修正された復元データＩ_０＋２を用いてステップＳ３０２を遂行することにより、修正された復元データＩ_０＋２から新しい比較用データＩ_０＋２ ^’が生成される。このように、ステップＳ３０２，Ｓ３０３が実行された後、ステップＳ３０４へ行き、そこでの判断によりステップＳ３０５へ移行する。このような処理を繰り返す。

（本実施の形態によって得られる主な効果）
本実施の形態に係る変化要因情報の生成法の処理（図２）を実行することによって、変化要因情報のデータ（ＰＳＦ）が未知であっても妥当なＰＳＦを生成でき、実用的な信号復元が可能となる。よって、ブレ等を機械的に測定する速度センサまたは加速度センサをカメラ等の信号処理装置１の構成要素から省略することができる。また、この処理の際に、処理部４が、図２に示すステップＳ１０３からＳ１０８の処理を２回以上（たとえば１０回）繰り返していることによって、より妥当なＰＳＦが生成される。また、この処理の際に、処理部４が、配分値の妥当性を判断し修正する処理（ステップＳ１０７、Ｓ１０８）をすることによって、配分による極端なデータの値の変化を抑制でき、より妥当なＰＳＦが生成される。また、この処理の際に、処理部４が、Ｐ’の原点を再設定する処理をすることによって、配分による極端なデータの値の変化を抑制でき、より妥当なＰＳＦが生成される。また、この処理の際に、処理部４が、縮小処理（ステップＳ１０２）を実行することによって、変化の大きさも縮小されることから、ＰＳＦを推定し易くなり、より妥当なＰＳＦが生成される。

また、この処理の際に、処理部４が、拡大処理（ステップＳ１２５）の拡大率を徐々に大きくして繰り返し行うことによって、縮小処理を行って得た妥当な骨格部を有するＰＳＦに基づいて良質でかつ大きなＰＳＦの推定をすることができる。また、この処理の際に、処理部４が、ＰＳＦの骨格部の強調をする処理（ステップＳ１２１）を行うことによって、ブレに相当する変化の推定に重きを置くＰＳＦを生成できる。また、この処理の際に、処理部４が、ＰＳＦ初期値をガウシアンディスクに設定することで（ステップＳ１０１）、変化がどのようなブレまたはボケを含んでいても、良好なＰＳＦの推定をすることができる。

本実施の形態に係る信号処理装置１は、ＰＳＦが未知であっても妥当なＰＳＦを生成でき、実用的な信号復元が可能である。よって、ブレ等を機械的に測定する速度センサまたは加速度センサをカメラ等は、信号処理装置１の構成要素から省略することができる。

また、信号処理装置１は、図８に示すステップＳ３０２〜ステップＳ３０７を繰り返すことで、差分のデータδが徐々に小さくなっていき、所定値より小さくなると、ブレていない元画像データＩｍｇが得られる。また、このとき、修正処理（図４，図５）を行っているため、得られる元画像データＩｍｇと推定される画像データは、リンギングの発生が軽減され、画像の復元状態が良好なものとなる。また、修正処理（図４,図５）によって、復元データを構成する信号要素のデータのうち、不自然と思われるものを修正し、画素値の大きな変化を抑制しているため、仮に図２に示す処理によって推定される変化要因情報のデータＧが信頼性の低いものであったとしても、妥当な画像の復元が可能となる。

（他の形態）
以上、本実施の形態における変化要因情報の生成法および信号処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、変化要因情報の生成法においては、処理部４が、図２に示すステップＳ１０３からＳ１０８の処理を２回以上繰り返しているが、１回のみとすることができる。さらに、処理部４が、配分値の妥当性を判断し修正する処理（ステップＳ１０７、Ｓ１０８）、Ｐ’の原点を再設定する処理（ステップＳ１２２）、縮小処理（ステップＳ１０２）、拡大処理（ステップＳ１２５）、最終的に初期の画像データ用のＰＳＦのデータと同じ大きさのデータとする拡大処理（ステップＳ１２８）およびＰＳＦの骨格部の強調をする処理（ステップＳ１２１）の全部または一部は、省略できる。さらに、ＰＳＦの初期値は、ガウシアンディスクに設定（ステップＳ１０１）せず、任意の値を設定できる。

また、たとえば信号処理装置１における信号復元処理には、図８に示す処理を採用しているが、他の処理、たとえばウィナーフィルターを用いる処理等を採用できる。また、図８に示す処理を採用する場合でも、原点位置を設定する処理（ステップＳ３００）および更新量の妥当性を判断し修正する処理（ステップＳ３０６、Ｓ３０７）の双方または一方は、省略することができる。さらに更新量の妥当性を判断し修正する処理（ステップＳ３０６、Ｓ３０７）を採用する場合でも、復元データＩ_０＋ｎを修正する方法は、図４および図５に示す方法に限定されない。特に図４に示すステップＳ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０およびＳ２１２における場合分け、ステップＳ２０５，Ｓ２０７，Ｓ２０９，Ｓ２１１およびＳ２１３における差分のデータδを修正する方法は、それぞれ適宜変更することができる。

また、処理部４が、図２に示すステップＳ１０３からＳ１０８の処理を１０回繰り返すこととしており、また、ステップＳ１２３において、ステップＳ１０３からＳ１２２までを繰り返すこととしているが、処理部４の処理速度の状況等によってそれらの回数を増減できる。また、信号処理装置１のユーザがそれらの回数を任意に設定できることとしても良い。さらに、縮小処理（ステップＳ１０２）および拡大処理（ステップＳ１２５）の画像の大きさの比率、拡大処理（ステップＳ１２５）の画像の大きさの比率の変更回数は、復元画像の画質等によってそれらの回数を増減できる。

また、縮小処理（ステップＳ１０２）および拡大処理（ステップＳ１２５）における縮小・拡大の仕方は、画素の間引き・隣り合う画素の画素値を平均した値の新たな画素の挿入によって行っている。しかし、他の手段、たとえば隣接する複数の画素の平均画素値の画素をその複数の画素の代わりに用いる縮小処理、隣り合う画素の画素値をそのまま新たな画素の画素値としてその新たな画素を挿入することによって拡大処理を行っても良い。さらに、ＰＳＦの骨格部の強調をする処理（ステップＳ１２１）において、骨格部のデータの値を２倍にしているが、１．５倍、３倍、４倍、または５倍等としても良い。

また、処理部４は、最終的に初期画像用のＰＳＦのデータと同じ大きさのデータとする拡大処理（ステップＳ１２８）を行っている。しかしこの処理によって初期画像用のＰＳＦのデータと同じ大きさのデータとする必要はなく、初期画像用のＰＳＦのデータと異なる大きさのデータへと拡大処理することができる。

また、処理部４は、ＰＳＦを算出する処理を行い（ステップＳ１２０）、その処理は、得られた復元データＩ_０＋ｎと原画像のデータＩｍｇ’をそれぞれフーリエ変換し、周波数空間での割り算によってＰＳＦの周波数特性を算出し、その周波数特性をフーリエ逆変換することによってＰＳＦ（＝Ｐ）を得るものである。しかし、他の手段によって、得られる復元データＩ_０＋ｎと原画像のデータＩｍｇ’から新たなＰＳＦ（＝Ｐ）を得る処理を採用できる。

更新量の妥当性を判断し修正する処理（ステップＳ３０６、Ｓ３０７）においては、たとえば、参照する画素としては、影響を及ぼす範囲（影響範囲）のもの以外に、その影響範囲を囲む画素一つ分大きくした範囲としたり、修正しようとする画素を中心として所定の距離の範囲としても良い。また、所定の基準としては、参照する画素の最大値、最小値、平均値を利用してのものではなく、最大値と最小値のみを利用し、修正値を最大・最小を超えた分の１／４や１／３の値を最大値や最小値に付加するようにしても良い。また、上限を最大値の１．２倍、下限を最小値の０．８倍とし、その範囲に入れば、修正しないようにしても良い。すなわち、最大値のＸ倍、最小値のＹ倍の範囲に更新後の画素値Ｉａが入れば修正しないようにしても良い。

本実施の形態に係る繰り返し処理では、処理部４は、図２におけるステップＳ１０５や図８におけるステップＳ３０４の一旦得た画像を再度処理するかの判断では、画像を構成する複数の各画素毎の差分のデータΔ、δの絶対値が全て所定値未満または絶対値の平均値が所定値未満であるか否かを判断し、画像全体の処理を行うか判断している。しかし、所定値との比較の対象を、画像を構成する複数の各画素毎の差分のデータとし、各画素毎に繰り返し処理を停止するか否かを判断するようにしたりしても良い。また、所定値との比較対象を、各画素の差分のデータδの総和、もしくは各画素の差分のデータΔ、δの絶対値の総和、または以上の４つのうちの２つ以上とすることができる。たとえば、各画素毎の差分のデータΔ、δの中で零から最も離れた値と、各画素毎の差分のデータδの総和の値とが、別々の基準を共に満たすか否かを判断するようにしても良い。このように、所定値と比較する値を適宜選択することで、原画像の種類、変化の状態または復元処理の状況に応じて、適切な処理を行うことができる。

上述の実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法は、あらゆるデジタルデータの復元処理に適用できる。たとえば、デジタルの音声データの復元等への適用が可能である。その適用の結果、リンギングのように一部に不正確な音声データ等が発生することを効率よく抑制でき、また変化要因情報のデータが不正確であっても、妥当な結果が得られる復元処理が可能となる。

また、上述の実施の形態では、信号処理装置１を民生用のカメラとしているが、信号処理装置１は、デジタルカメラ等で撮影した画像のデータを図２、図４、図８および図９等に示す処理の一つまたは複数を実行した上で印刷するプリンタ機器としても良い。また、信号処理装置１は、プリンタ機器に対して図２、図４、図８および図９等に示す処理の一つまたは複数を実行させつつ操作するソフトウェアがインストールされたコンピュータ、さらには図２、図４、図８および図９等に示す処理の一つまたは複数を実行するソフトウェアがインストールされたコンピュータ等としても良い。

また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、信号処理装置１は、その記憶媒体内のプログラム化されたものが信号処理装置１の外部サーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、信号処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

図２、図４、図８等に示す復元処理方法においては、処理部４で行った処理をソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータＧとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

また、処理の反復回数（ステップＳ１０９，ステップＳ１２３，ステップＳ３０４）が信号処理装置１側で自動的にまたは固定的に設定されている場合、その設定された回数をＰＳＦの値（Ｐ，Ｐ’）や変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

さらに、反復処理中に、差分のデータΔ、δが発散してきたり、エネルギーが移動した後の画像データのエネルギーが小さくならず大きくなってきたら、処理を中止させるようにしても良い。発散しているか否かは、たとえば差分のデータΔ、δの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば８ビットの場合、変更されようとする値が２５５を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、８ビットの０〜２５５の中で、２５５を超える値を入力データとしようとした際は、マックスの値である２５５として処理するようにする。

また、出力画像となる復元データを生成する際、ＰＳＦの値（Ｐ，Ｐ’）や変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。

表１に、上述の各処理を実行した復元画像の評価を示す。撮影されブレなどにより劣化したままの画像（Ｉｍｇ’）を従来例とする。図２に示した処理によって得られたＰＳＦのデータを用い、図８に示した処理によって信号を復元して得た画像を実施例１とする。図２に示した処理から、表１に示す所定のステップを省略して得られたＰＳＦのデータを用い、図８に示した処理から、表１に示す所定のステップを省略して信号を復元して得た画像を実施例２から１２とする。なお、実施例１２は、図８の処理に代えて、画像復元処理にウィナーフィルターを用いた画像である。また、比較例として、図２の処理を行わず、代わりに速度センサによってブレを測定してＰＳＦとしたものの画像についても検討した。

従来例および実施例１から１２ならびに比較例の画像について、「ブレの有無」「リンギングの有無」「ボケ（いわゆるピンボケ）の有無」について目視による検査を行った。その検査結果を表１に併せて示す。検査を行った者は、色弱、色盲ではなく視力が両目とも１．０の者である。「有り」と判断する場合は、一見してブレ等があると判断できたものである。「若干有り」と判断する場合は、５秒以下目視して、他の画像と比較しながらブレ等が有ることが判断できるものである。「無い」と判断する場合は、５秒を超えて目視して、他の画像と比較しながらブレ等が無いことが判断できるものである。画像の種類は、風景および人物の２種類である。画像は、市販のカラープリンターで印刷したもので、印刷条件による画像への影響を排除して印刷したものである。

従来例は、劣化している画像であるため、ブレおよびボケが明確に確認できた。実施例１は、ブレ、リンギング、ボケが共に確認されなかった。ブレが消えていたのは、ＰＳＦの中枢をなすブレ情報に相当する情報（図３のＡの部分）が妥当なものだったためと考えられる。ボケが消えていたのは、ＰＳＦの中枢をなすブレ情報に相当する情報以外の情報（図３のＢの部分）による作用と考えられる。比較例では、図３のＢの部分のＰＳＦを得ることができないため、この作用が得られておらず、ボケを消すことはできていない。

実施例２は、図２におけるステップＳ１０３からＳ１０８の過程を１回のみとした画像である。この画像は、従来例の画像よりもブレおよびボケが改善されていた。なお、図２におけるステップＳ１０３からＳ１０８の過程の繰り返し数は、多い程ブレおよびボケがより改善される傾向がみられた。

実施例３は、図２におけるステップＳ１０７、Ｓ１０８、Ｓ１２２を省略して処理した画像である。この画像は、従来例の画像よりもブレおよびボケが改善されていた。

実施例４は、図２におけるステップＳ１０７、Ｓ１０８を省略して処理した画像である。実施例５は、図２におけるステップＳ１２２を省略して処理した画像である。これらの画像は、ブレおよびボケが観測されなかった。

実施例６は、図２におけるステップＳ１０２、Ｓ１２５、Ｓ１２６を省略して、徐々に画像を拡大処理せずに処理した画像である。実施例７は、図２におけるステップＳ１２３を省略し、繰り返しの回数を１回として処理した画像である。これらの画像は、従来例の画像よりもブレおよびボケが改善されていた。

実施例８は、図２におけるステップＳ１２１を省略して処理した画像である。この画像は、ブレが若干観測されたが、ボケは、ブレに起因するものを除き観測されなかった。なお、このボケを消す効果をより得るためには、図２におけるステップＳ１２１の処理を省略または軽減する（たとえば骨格部のデータを１．５倍にする等）。そして、ブレを消す効果をより得るためには、図２におけるステップＳ１２１の処理をより強調する（たとえば骨格部のデータを３倍にする等）。

実施例９は、図８におけるステップＳ３００、Ｓ３０６、Ｓ３０７を省略して処理した画像である。この画像は、ブレおよびボケは観測されなかったが、リンギングが観測された。しかし、図８におけるステップＳ３００、Ｓ３０６、Ｓ３０７を省略した繰り返し処理を極めて多数回（たとえば１００回以上）行うことによって、そのリンギングの発生が軽減されまたは観測されないことが確認された。

実施例１０は、図８におけるステップＳ３００を省略して処理した画像である。この画像は、ブレおよびボケは観測されず、リンギングも観測されなかった。実施例１１は、図８におけるステップＳ３０６、Ｓ３０７を省略して処理した画像である。この画像は、ブレおよびボケは観測されなかったが、リンギングが若干観測された。すなわち、原点位置を決定する処理（ステップＳ３００）、更新量の妥当性を判断しＩ_０＋ｎを修正する処理（ステップＳ３０６、Ｓ３０７）のいずれかを実行することによって、リンギングの発生を抑制できることがわかった。また、ステップＳ３０６、Ｓ３０７によるリンギング抑制効果は、ステップＳ３００の処理によるリンギング抑制効果よりも若干優れていることがわかった。

実施例１２は、図８における全ての処理を省略し、代わりにウィナーフィルターにて画像の復元処理した画像である。この画像は、従来例にくらべブレおよびボケが改善されていたが、リンギングが観測された。

次に、図８におけるステップＳ３０６、Ｓ３０７を省略し、なおかつステップＳ３００の条件を変更した処理について検討した。図１２の変形例となる画素「Ｓ」が０．８５、画素「Ｓ＋１」が０．３、画素「Ｓ＋２」が０．２５の場合、画素「Ｓ」、「Ｓ＋１」、「Ｓ＋２」に分散した光エネルギーを各々集中させ原点位置とし、図８に示す繰り返し処理を行った。それらの各場合の復元画像を目視で観察し、リンギングの有無を判定した。また、式（５）の計算範囲である「Ｎ＝３」を若干拡大し、分散した光エネルギーを図９における画素「Ｓ−１」、「Ｓ＋３」に各々集中させ原点位置とし、図８に示す繰り返し処理を行った場合の、復元画像のリンギングの有無を同様に判定した。表２に判定結果を示した。

なお、分散した光エネルギーを画素「Ｓ−１」に集中させる場合の移動エネルギーは、画素「Ｓ」、「Ｓ＋１」、「Ｓ＋２」の場合と略同様に以下のように計算され、求められる。
（０×０）＋（１×０．４５）＋（２×０．３）＋（３×０．２５）＋（４×０）＝１．８０
また、同様に、分散した光エネルギーを画素「Ｓ＋３」に集中させる場合の移動エネルギーは、以下のように計算され、求められる。
（４×０）＋（３×０．４５）＋（２×０．３）＋（１×０．２５）＋（０×０）＝２．２０

表２の結果および多数の他の例から、移動エネルギー値が所定値を超えるとリンギングが観測され、移動エネルギー値を所定値以内に抑えるとリンギングの発生を抑えることができることがわかった。すなわち、式（５）から導かれる移動エネルギーの総和の最小値をＭｉｎとしたとき、その移動エネルギーがＭｉｎを超えた場合であってもＭｉｎ×１．２以下となる値であればリンギングの発生を従来に比べかなり抑えることができた。

表２に示すような、図８におけるＳ３００の条件を変更した処理は、種々変更実施可能である。たとえば、移動エネルギーＥ（０ｘ，０ｙ）の総和を最小とする原点位置（０ｘ，０ｙ）を設定しているが、移動エネルギーＥ（０ｘ，０ｙ）の最小値を超え、所定値以下となる原点位置（０ｘ，０ｙ）を設定しても良い。図１２の変形例である「Ｓ＝０．４５」「Ｓ＋１＝０．３」「Ｓ＋２＝０．２５」の場合、移動エネルギーが最も小さい画素「Ｓ＋１」ではなく、画素「Ｓ」を原点位置（０ｘ，０ｙ）としても良い。このときの各移動エネルギーは、画素「Ｓ」が０．８、画素「Ｓ＋１」が０．７、画素「Ｓ＋２」が１．２となる。画素「Ｓ」は最小値である０．７に１．２を乗じた値である０．８４より小さい値となっている。

また、本実施例では原点位置を図７におけるＸ−Ｙ平面のいずれかの位置としている。よって、原点位置は、図７のＡ−Ｂの軌跡上の範囲内で決定するものとしても良い。すなわち、たとえば図７におけるＡ−Ｂの軌跡上の範囲内である図１２における画素「Ｓ」「Ｓ＋１」「Ｓ＋２」のいずれかとすること、または画素「Ｓ−１」もしくは「Ｓ＋３」を原点位置とすることが、移動エネルギーの総和を小さくするのであれば、そのようにすることが好ましい。また、図７のＸ−Ｙ平面で表されるブレの軌跡をＸ軸またはＹ軸に投影したものをブレの軌跡とし、その軌跡上で移動エネルギーの最小値や上述の実施例のような値となる位置を求めるようにしても良い。

本発明の実施の形態に係る信号処理装置の主要構成を示すブロック図である。 図１に示す信号処理装置の処理部で行う変化要因情報のデータの生成法に係る処理ルーチンを説明するための処理フロー図である。 図２に示すＰＳＦの骨格部を強調する処理を説明する図で、（Ａ）は、その処理の前に推定されるＰＳＦ、（Ｂ）は、その処理の後に推定されるＰＳＦの一例を示している。 図２に示す更新量の妥当性判断および復元データを修正する処理ルーチンを説明するためのフロー図である。 図４に示す処理フローに係る修正を行う前後の更新量の一例を概略化して示す図である。 図１に示す信号処理装置の概要を示す外観斜視図で、図７におけるＸ−Ｙ平面が信号処理装置１のどの平面を示しているかを説明するための図である。 図２に示す変化要因情報のデータの生成法に係る処理ルーチンのステップＳ１１２の処理を説明する図で、Ｘ−Ｙ平面で表されるブレの軌跡を示す図である。 図１に示す信号処理装置の処理部で行う画像復元処理方法（反復処理）に係る処理ルーチンを説明するための処理フロー図である。 図８に示す処理方法の概念を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときのエネルギーの集中を示す表である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレのないときの画像データを示す図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、手ブレが生じたときのエネルギーの分散を示す図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、比較用データと、処理対象となるブレた原画像とを比較して、差分のデータを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるブレた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図８に示す処理方法を、手ブレを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。

符号の説明

１ 信号処理装置
４ 処理部
Ｓ１０１ 最初の変化要因情報のデータ（を設定する処理）
Ｉｏ 初期画像のデータ（任意の信号データ）
Ｉｏ’ 比較用データ
Ｇ 変化要因情報のデータ
Ｉｍｇ’ 原画像のデータ（原信号のデータ）
ＳＩｍｇ’ 縮小された原画像のデータ
Ｉ_０＋ｎ 復元データ
Ｉｍｇ 元画像（元信号）
Δ、δ 差分のデータ
Ｐ_０ 縮小データ
Ａ 骨格部（新たな変化要因情報のデータを構成する中枢となる部分のデータ）
Ｄｃ 更新量（配分値）
Ｓ２０４，Ｓ２０６，Ｓ２０８，Ｓ２１０ 所定の基準

Claims (13)

1. 劣化等の変化が生じた原信号データの、その信号変化の要因となる変化要因情報のデータを生成する変化要因情報のデータの生成法において、
   任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、
   （１）そのデータを利用して、任意の信号データから比較用データを生成して、
   （２）上記原信号のデータまたはその原信号のデータを加工したデータと上記比較用データとを比較し、
   （３）得られた差分のデータを上記最初の変化要因情報のデータを利用して上記任意の信号データに配分することで最初の復元データを生成し、
   （４）その最初の復元データを上記任意の信号データの代わりに用い、必要に応じて、同様の処理を繰り返し、
   （５）その結果得られた、上記復元データと上記原信号のデータまたはその原信号のデータを加工したデータとから上記最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成することを特徴とする変化要因情報のデータの生成法。
2. 前記新たな変化要因情報のデータを前記最初の変化要因情報のデータの代わりに用いて前記（１）から（３）と同様の処理を１回以上行うことを特徴とする請求項１記載の変化要因情報のデータの生成法。
3. 前記（３）の処理は、前記原信号のデータまたはその原信号のデータを加工したデータおよび前記復元データを構成する信号要素のデータの一部または全部を移動させる方法にて行い、前記復元データを構成する信号要素のデータが所定の基準を満たすか否かを判定し、所定の基準を満たさない場合には、前記差分のデータを利用して算出された配分値を修正し、その満たされないデータの代わりに前記修正された配分値によって得られたデータを使用する修正処理を行うこと、を特徴とする請求項１または２記載の変化要因情報のデータの生成法。
4. 前記新たな変化要因情報のデータを生成する処理は、得られた前記変化要因情報のデータの原点位置を、各々の前記信号要素のデータの移動に要する移動エネルギーの総和の最小値をＭｉｎとしたとき、その移動エネルギーがＭｉｎ以上で、Ｍｉｎ×１．２以下となる位置に設定することを特徴とする請求項１または２記載の変化要因情報のデータの生成法。
5. 前記原信号のデータを加工したデータは、前記原信号を小さくする縮小処理を行った縮小データで、前記任意の信号データは上記縮小データと同サイズのデータとすることを特徴とする請求項１から４のいずれか１項に記載の変化要因情報のデータの生成法。
6. 前記縮小処理をしたデータから前記新たな変化要因情報のデータを得た後、前記新たな変化要因情報のデータを大きくする拡大処理を行い、上記拡大処理した前記変化要因情報のデータを前記新たな変化要因情報のデータの代わりに用い、前記（１）から（３）の処理と同様の処理を１回以上行い、必要に応じて上記拡大処理以降の処理を繰り返すことを特徴とする請求項５記載の変化要因情報のデータの生成法。
7. 前記縮小処理をしたデータから前記新たな変化要因情報のデータを得た後、前記（５）における前記得られた復元データおよび前記新たな変化要因情報のデータをそれぞれ同じ比率で大きくする拡大処理を行い、上記拡大処理した前記変化要因情報のデータを前記新たな変化要因情報のデータの代わりに用い、上記拡大処理した復元データを前記任意の信号データの代わりに用い、前記（１）から（３）の処理と同様の処理を１回以上行い、必要に応じて上記拡大処理以降の処理を繰り返すことを特徴とする請求項５記載の変化要因情報のデータの生成法。
8. 前記新たな変化要因情報のデータを構成する中枢となる部分のデータの値を大きくすることを特徴とする請求項１から７のいずれか１項に記載の変化要因情報のデータの生成法。
9. 前記最初の変化要因情報のデータは、強度分布がガウス分布のデータであることを特徴とする請求項１から８のいずれか１項に記載の変化要因情報のデータの生成法。
10. 劣化等の変化が生じた原信号データから、変化する前の信号若しくは本来取得されるべきであった信号またはそれらの近似信号（以下、元信号という）の復元をする処理部を有し、
    上記処理部は、任意の変化要因情報のデータを最初の変化要因情報のデータとして設定し、
    （１）そのデータを利用して、任意の信号データから比較用データを生成して、
    （２）上記原信号のデータまたはその原信号のデータを加工したデータと上記比較用データとを比較し、
    （３）得られた差分のデータを上記最初の変化要因情報のデータを利用して上記任意の信号データに配分することで最初の復元データを生成し、
    （４）その最初の復元データを上記任意の信号データの代わりに用い、必要に応じて、同様の処理を繰り返し、
    （５）その結果得られた、上記復元データと上記原信号のデータまたはその原信号のデータを加工したデータとから上記最初の変化要因情報のデータとは異なる新たな変化要因情報のデータを生成する処理を行い、
    （６）生成された上記新たな変化要因情報のデータまたはその変化要因情報のデータを加工したデータに基づいて上記元信号の復元を行うことを特徴とする信号処理装置。
11. 前記元信号の復元をする処理は、前記処理部が前記変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して、任意の信号データから比較用データを生成して、処理対象となる前記原信号のデータと比較用のデータとを比較し、得られた差分のデータを前記変化要因情報のデータまたはその変化要因情報のデータを加工したデータを利用して上記任意の信号データに配分することで復元データを生成し、この復元データを上記任意の信号データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことを特徴とする請求項１０記載の信号処理装置。
12. 前記（３）の処理は、前記原信号のデータまたはその原信号のデータを加工したデータおよび前記復元データを構成する信号要素のデータの一部または全部を移動させる方法にて行い、前記復元データを構成する信号要素のデータが所定の基準を満たすか否かを判定し、所定の基準を満たさない場合には、前記差分のデータを利用して算出された配分値を修正し、その満たされないデータの代わりに前記修正された配分値によって得られたデータを使用する修正処理を行うこと、を特徴とする請求項１０または１１記載の信号処理装置。
13. 前記新たな変化要因情報のデータを生成する処理は、得られた前記変化要因情報のデータの原点位置を、各々の前記信号要素のデータの移動に要する移動エネルギーの総和の最小値をＭｉｎとしたとき、その移動エネルギーがＭｉｎ以上で、Ｍｉｎ×１．２以下となる位置に設定することを特徴とする請求項１０または１１記載の信号処理装置。

Images