JP2013162280A - 画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法 - Google Patents

Abstract

【課題】光学系の製造工程における誤差、経年変化等に起因する画像の劣化を確実に補償する。
【解決手段】画像処理装置は、撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、を備える。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、プログラム、サーバ、クライアント端末、画像処理システム、及び画像処理システムにおける方法に関する。

撮像装置によって劣化した特性（ボケ、歪曲収差等）を補正する技術については、下記の特許文献１に記載されているように、予めシミュレーションなどで計測しておいた撮像装置の種類毎の劣化特性に対応した補正量を記録させておき、実際に画像を撮像した後に画像処理によって補正を行う技術が一般的である。

また、下記の特許文献２には、個々の撮像機器毎に補正を行う技術が記載されている。特許文献２には、生産工程において予め設定した画像を撮影し、そこから機器毎の直線ブレや焦点ボケを補正する技術について記載されている。

特開２００３−５０９９０号公報 特開２００６−５０４９４号公報

しかしながら、特許文献１に記載された技術では、実際の撮像装置においては製造における誤差などが含まれているため、同じ種類の撮像装置であっても個々の機器毎に収差や画像のボケなどの劣化特性が変化する。そのため、予め記録させた補正量と実際の劣化特性の不一致が起きてしまう。

また、特許文献１に記載された技術は、予め補正量を記録させるという処理のため、レンズやイメージャーなどの撮像装置の種類ごとにシミュレーションによる計測が必要となり、また補正量を書き込むメモリも必要となる。

また、特許文献２に記載された技術では、生産工程においてレンズの様々な条件（ズーム、フォーカス、絞り）を変えて撮影することは多大な時間がかかるため、生産効率の障害となる可能性がある。更に、生産工程で個々の機器毎の補正量を決定してしまうため、レンズなどの撮像装置の経年劣化による特性の変化に対応できないという問題がある。更に、撮像装置が交換式レンズと交換可能な場合、交換レンズ毎に製造誤差や経年変化が異なるため、交換レンズ毎の補正どに対応しきれないという欠点が残ってしまう。

そこで、光学系の製造工程における誤差、経年変化等に起因する画像の劣化を確実に補償することが求められていた。

本開示によれば、撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、を備える、画像処理装置が提供される。

また、前記画像補正情報に基づいて画像を補正する補正部を備えるものであってもよい。

また、前記画像補正情報に基づいて画像を撮像する光学系を駆動する駆動部を備えるものであってもよい。

また、前記補正処理に利用可能と判定された１又は複数の画像の被写体情報を取得するものであってもよい。

また、前記補正処理に利用可能と判定された１又は複数の画像は、所定のパターンを有する画像であってもよい。

また、補正処理に利用可能と判定された複数の画像を統計処理する統計処理部を備え、前記劣化検出部は、前記統計処理の結果に基づいて、画像の劣化状態を検出するものであってもよい。

また、前記統計処理部は、前記統計処理として画像の領域毎の平均パワースペクトルを算出するものであってもよい。

また、本開示によれば、撮影された複数の画像を統計処理する統計処理部と、前記統計処理の結果に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、を備える、画像処理装置が提供される。

また、前記統計処理部は、前記統計処理として画像の領域毎の平均パワースペクトルを算出するものであってもよい。

また、本開示によれば、撮像された画像が補正処理に利用可能な画像であるか否かを判定することと、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出することと、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、を備える、画像処理方法が提供される。

また、本開示によれば、撮像された画像が補正処理に利用可能な画像であるか否かを判定する手段、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する手段、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、としてコンピュータを機能させるためのプログラムが提供される。

また、本開示によれば、撮影された複数の画像を統計処理することと、前記統計処理の結果に基づいて、画像の劣化状態を検出することと、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、を備える、画像処理方法が提供される。

また、本開示によれば、撮影された複数の画像を統計処理する手段、前記統計処理の結果に基づいて、画像の劣化状態を検出する手段、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、としてコンピュータを機能させるためのプログラムが提供される。

また、本開示によれば、ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
を備える、サーバが提供される。

また、本開示によれば、ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出することと、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、を備える、画像処理方法が提供される。

また、本開示によれば、ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する手段、前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、としてコンピュータを機能させるためのプログラムが提供される。

また、本開示によれば、撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信する送信部と、前記サーバにおいて、前記１又は複数の画像の劣化状態に基づいて算出された画像補正情報を受信する受信部と、前記画像補正情報に基づいて、画像を補正する補正部と、を備える、クライアント端末が提供される。

また、本開示によれば、画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信する送信部と、前記サーバにおいて、前記１又は複数の画像の劣化状態に基づいて算出された画像補正情報を受信する受信部と、前記画像補正情報に基づいて、画像を補正する補正部と、を備える、クライアント端末と、ネットワークを介して前記クライアント端末から取得した前記１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する前記画像補正情報を算出する画像補正情報算出部と、を備える、前記サーバと、を備える、画像処理システムが提供される。

また、本開示によれば、クライアント端末が、画像が補正処理に利用可能な画像であるか否かを判定することと、前記クライアント端末が、補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信することと、前記サーバが、前記クライアント端末から取得した前記１又は複数の画像に基づいて、画像の劣化状態を検出することと、前記サーバが、前記劣化検出部で検出された劣化状態に対応する前記画像補正情報を算出することと、前記クライアント端末が、前記画像補正情報を前記サーバから受信することと、前記クライアント端末が、前記画像補正情報に基づいて、画像を補正することと、を備える、画像処理システムにおける方法が提供される。

本開示によれば、光学系の製造工程における誤差、経年変化等に起因する画像の劣化を確実に補償することが可能となる。

第１の実施形態に係る画像処理装置の構成を示す模式図である。 第１の実施形態に係る処理を示すフローチャートである。 劣化検出部と補正量算出部における逆フィルタの算出方法の一例を示す模式図である。 第２の実施形態に係る画像処理装置の構成を示す模式図である。 第２の実施形態に係る処理を示すフローチャートである。 第３の実施形態に係る画像処理装置の構成を示す模式図である。 過去に撮影された画像の統計情報を用いて劣化特性を検出する手法を示す模式図である。 第３の実施形態に係る処理を示すフローチャートである。 統計情報として用いない入力画像の例を示す模式図である。 第４の実施形態に係る画像処理装置の構成を示す模式図である。 第５の実施形態のシステム構成を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１．１．装置構成例
１．２．処理フロー
２．第２の実施形態
２．１．装置構成例
２．２．処理フロー
３．第３の実施形態
３．１．装置構成例
３．２．処理フロー
４．第４の実施形態
４．１．装置構成例
５．第５の実施形態
５．１．システム構成例

１．第１の実施形態
［１．１．装置構成例］
個々の撮像機器に対して、製造誤差、経年劣化、交換式レンズなどによる光学系の劣化特性の変化に対応した補正を行う。より詳細には、本実施形態は、予め計測するのではなく個々の撮像装置毎に適した劣化特性を算出し、それに合った補正を行う方法を提供する。

図１は、第１の実施形態に係る画像処理装置１００の構成を示す模式図である。図１に示すように、画像処理装置１００は、画像判定部１０２、劣化検出部１０４、補正量算出部（画像補正情報算出部）１０６、補正部１０８を有して構成される。図１に示す構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。

画像処理装置１００は、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子で撮像された画像に対して補正処理を行う。撮像素子は、画像処理装置１００と一体であっても良いし、画像処理装置１００とは別体の装置に設けられていても良い。撮像素子と被写体像を撮像素子の撮像面に結像する光学系が画像処理装置１００と一体に設けられている場合、画像処理装置１００は撮像装置の一部として構成されることができる。

撮像素子で撮像された画像データは、入力画像として画像判定部１０２へ入力される。画像判定部１０２では、入力画像が、劣化特性を検出するために用いることのできる画像であるか否かを判定する。入力画像が劣化特性を検出するために用いることのできる画像として判定された場合は、入力画像は劣化検出部１０４へ送られる。

画像判定部１０２は、ユーザが画像処理装置１００における補正処理を意識することなく、通常通りに撮影した入力画像の中から、劣化特性を検出するために入力画像が適切か否かを判定する。

ここで、劣化特性を検出するために用いることのできる画像は、例えば夜景を撮影した場合に、星や照明の画像が該当する。星は基本的に点光源であるため、星の画像にボケが生じている場合は、点光源との対比で劣化特性を検出することができる。従って、例えば入力画像の全体的な輝度が低く、入力画像が夜景の画像と判断される場合に、画面に点状の光源が存在する場合は、その光源を星と判断することにより、当該画像が劣化特性を検出するために用いることのできる画像であると判定できる。なお、画像処理装置１００が撮像装置に含まれる場合、夜景を撮影しているか否かは、夜景モードで撮影が行われたか否かによっても判別することができる。

一方、入力画像が劣化特性を検出するために用いることができない画像と判定された場合は、入力画像は補正部１０８へ送られ、入力画像は今までに算出された補正パラメータを用いて補正部１０８で補正され、出力される。

入力画像が劣化検出部１０４へ送られた場合、劣化検出部１０４は、入力画像の劣化している部分から劣化特性を検出する。劣化検出部１０４は、画像判定部１０２によって劣化特性を検出するために用いることのできる画像として選択された画像から、劣化特性を検出する。

補正量算出部１０６では、劣化検出部１０４において検出された劣化特性から、新たに補正パラメータを算出する。補正量算出部１０６で算出された補正パラメータは、補正部１０８に送られ、補正部１０８にて保持される。

補正部１０８は、入力された入力画像を、補正パラメータを用いて補正する。補正量算出部１０６から新たに算出された補正パラメータが送られた場合、補正部１０８は、保持している補正パラメータを新たな補正パラメータに更新する。補正部１０８は、補正パラメータが新たな値に更新されるまでの間は、今までに算出された補正パラメータのうち、最新のものを引き続き使用する。

補正部１０８における補正は、入力画像の複数の領域毎に行うことができる。このため、劣化検出部１０４は、入力画像の複数の領域毎に劣化特性を検出し、補正量算出部１０６は、複数の領域毎に補正パラメータを算出して補正部１０８へ送る。補正部１０８は、領域毎の補正パラメータに基づいて、入力画像を領域毎に補正する。

このように、画像処理装置１００は、その内部に撮像光学系の劣化特性を検出して補正量を算出する構成要素を備えている。また、その光学系の劣化特性を検出する際に、撮影された画像が劣化特性を検出するための画像として適切かどうかを判定する構成要素も備えている。

［１．２．処理フロー］
次に、図２に基づいて、本実施形態の処理フローについて説明する。図２に示すように、先ずステップＳ１０では、画像判定部１０２で夜景の入力画像を認識して、星や照明などが含まれている画像か否かの判定を行う。星や照明が含まれている場合は、ステップＳ１２へ進む。ステップＳ１２では、劣化検出部１０４は、星や照明が点光源（インパルス応答）であると仮定したときのボケ（ＰＳＦ（Ｐｏｉｎｔ
Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点拡がり関数））を検出する。次のステップＳ１４では、補正量算出部１０６がＰＳＦに対する逆フィルタを算出する。この逆フィルタが補正パラメータに相当する。次のステップＳ１６では、補正部１０８が入力画像とステップＳ１４で求めた逆フィルタの畳み込みを行うことで画像を補正する。以後、補正部１０８の補正パラメータは、次の新たな補正パラメータが算出されるまでは、今回の処理のステップＳ１４で求めた逆フィルタを用いる。

なお、画像判定部１０２が入力画像を劣化検出部１０４と補正部１０８の双方へ送ることで、補正部１０８では、入力画像から求められた補正パラメータによりその入力画像を補正することができる。

図３は、劣化検出部１０４と補正量算出部１０６における逆フィルタの算出方法の一例を示す模式図である。劣化検出部１０４と補正量算出部１０６は、例えば図３のような方法でまとめて逆フィルタを算出する。

図３において、入力画像Ｐ１の画面上部には、星の画像Ｐ２が含まれている。星の画像Ｐ２は、入力画像Ｐ１の星の部分を拡大した画像である。図３に示すように、星の画像Ｐ２は、光学系の収差により白い点が完全な円となっておらず、左右に膨らんだ形状に劣化している。劣化検出部１０４では、この星の形状の劣化を検出する。補正量算出部１０６では、星の画像Ｐ２に補正フィルタを乗算して得られた値とインパルスの画像Ｐ３（点の画像）を比較し、乗算結果がインパルスの画像に近づくように比較結果をフィードバックし、逆フィルタの最適化を行う。この処理を繰り返すことにより、星の画像Ｐ２をインパルス画像Ｐ３に補正するための逆フィルタ（補正パラメータ）を算出することができる。

以上の処理により、ボケ補正、歪曲などの光学系の誤差（収差）に起因する画像の劣化を補正するための補正パラメータを算出することができる。また、同様にして、色ずれ補正などの各種補正を行うことで画質構造の効果を達成することが可能となる。これにより、製造時の光学系の誤差を補正できるとともに、製造後の経年変化による光学系の誤差を補正することが可能となる。

更に、レンズ交換式のシステムにおいては、各交換レンズ毎に補正パラメータを算出することができる。従って、各交換レンズ毎の補正パラメータを補正部１０８が保持しておくことで、交換レンズ毎に最適な補正をすることが可能となる。なお、この場合、補正部１０８は、装着された交換レンズの種類を示す識別情報を交換レンズから取得し、識別情報に対応する補正パラメータを更新するとともに、識別情報に対応する補正パラメータを用いて補正処理を行う。

また、図３の処理は、入力画像Ｐ１を分割した複数のブロック毎に行われる。これにより、画面上部左側のブロックに含まれる星の画像Ｐ２に基づいて、画面上部左側のブロックの逆フィルタを算出することができる。また、画面上部右側のブロックに含まれる星の画像Ｐ２に基づいて、画面上部右側のブロックの逆フィルタを算出することができる。

以上説明したように第１の実施形態によれば、ユーザが通常の撮影によって撮影した画像に基づいて、光学系の誤差等に基づくボケ補正、歪曲補正、色ずれ補正などの補正処理を行うことで、画質の向上を達成することが可能となる。これにより、製造ばらつきによる欠陥レンズを自動調整して補正することで救済することができ、歩留りを向上することが可能となる。更に、レンズ光学系の経年劣化や、交換式レンズなどでレンズ交換をした場合など、設計以後、販売以後に光学系が変化した場合であっても、光学系毎に最適な補正が可能となる。

２．第２の実施形態
［２．１．装置構成例］
図４は、第２の実施形態の構成を示す模式図である。図４に示すように、画像処理装置１００は、特定パターン検出部１１０、劣化検出部１０４、補正量算出部１０６、補正部１０８を有して構成される。図４に示す構成例では、図１の画像判定部１０２の代わりに、特定パターン検出部１１０が設けられている。図４に示す構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。

特定パターン検出部１１０は、ＱＲコードやバーコードのように特定の情報をエンコードして、ある程度同じようなパターンを検出することで劣化特性の情報として用いる。この場合、パターンによりある程度既知の情報がとれるため、劣化特性の情報としてボケ特性に加え、色ずれや歪曲などの位置ずれの情報も正確に取得することが可能である。

例えば、ＱＲコードを検出した場合、ＱＲコードは所定の配列でパターンが並んでいるため、配列に歪みや位置ずれが生じている場合は、その歪みを劣化検出部１０４で検出することができる。また、バーコードを検出した場合も、バーコードは複数の直線が所定位置に平行に並んでいることが前提であるため、バーコードの直線が歪んで曲線として検出された場合は、その歪みを劣化検出部１０４で検出することができる。また、バーコードの直線の位置に基づいて、位置ズレを検出することができる。

［２．２．処理フロー］
次に、図５に基づいて、本実施形態の処理フローについて説明する。図５に示すように、先ずステップＳ２０では、特定パターン検出部１１０で入力画像を認識して、ＱＲコードやバーコードなどの特定パターンが含まれている画像か否かの判定を行う。特定パターンが含まれている場合は、ステップＳ２２へ進む。ステップＳ２２では、劣化検出部１０４が、特定パターンからボケ量、位置ずれ量等を算出する。次のステップＳ２４では、補正量算出部１０６が、ボケに対応する逆フィルタを算出する。また、ステップＳ２６では、位置ずれに対する逆フィルタを算出する。この逆フィルタが補正パラメータに相当する。なお、ここではボケ量、位置ずれ量を算出しているが、歪曲、色ずれ量も同様に算出することができる。ステップＳ２８では、補正部１０８が、入力画像とステップＳ２４で求めた逆フィルタの畳み込みを行うことで入力画像のボケを補正する。ステップＳ３０では、補正部１０８が、入力画像とステップＳ２６で求めた逆フィルタの畳み込みを行うことで入力画像の位置ズレを補正する。以後、補正部１０８の補正パラメータは、次の新たな補正パラメータが算出されるまでは、今回の処理のステップＳ２４，Ｓ２６で求めた逆フィルタを用いる。

以上説明したように第２の実施形態によれば、ＱＲコードやバーコードのように特定の情報に基づいて画像を補正するため、補正パラメータを高精度に算出することが可能となる。従って、入力画像を高い精度で補正することが可能となる。

３．第３の実施形態
［３．１．装置構成例］
図６は、第３の実施形態の構成を示す模式図である。図６に示すように、画像処理装置１００は、統計情報抽出・統合部１１２、劣化検出部１０４、補正量算出部１０６、補正部１０８を有して構成される。図６に示す構成例では、図１の画像判定部１０２の代わりに、統計情報抽出・統合部１１２が設けられている。図６に示す構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。

第３の実施形態では、過去に撮影された画像の統計情報を用いて劣化特性を検出して、入力画像を補正する。図７は、過去に撮影された画像の統計情報を用いて劣化特性を検出する手法を示す模式図である。図７に示すように、統計情報抽出・統合部１１２は、今までに撮影された画像群１５０の２次元のパワースペクトルの平均を保持しておく。この２次元のパワースペクトルの平均値は、入力画像において、ブロックに区切られた各領域毎に算出する。その後、画像全体のパワースペクトルの平均を認識して比較することで、周波数の低い領域（位置）の劣化特性を推測して補正情報として用いる。

具体的に説明すると、図７に示すパワースペクトルＡは、画面左上の領域Ａにおける画像の平均パワースペクトルを示している。ここで、パワースペクトルＡは、統計情報として、今までに取得した全ての画像群１５０から作成することができる。また、後述するように、統計情報として適当でない入力画像を画像群１５０から除外した上で、パワースペクトルＡを作成することもできる。

同様に、図７に示すパワースペクトルＢは、画面左上の領域Ｂにおける画像の平均パワースペクトルを示している。ここで、パワースペクトルＢもパワースペクトルＡと同様に、今までに取得した全ての画像群１５０から作成することができ、また、統計情報として適当でない入力画像を画像群１５０から除外した上でパワースペクトルＢを作成することもできる。

パワースペクトルＡ，Ｂにおいては、周波数のサンプルを白いプロットで表しており、中心のプロットほど高周波であり、周辺ほど低周波であることを示している。また、縦軸方向、横軸方向は、それぞれ画面縦方向の周波数と画面横方向の周波数を示している。

パワースペクトルＡとパワースペクトルＢを比較すると、パワースペクトルＡの方がパワースペクトルＢに比べて高周波のプロットが多く、画像がより鮮明であることが判る。換言すれば、画面右上の領域Ｂの画像に比べて画面左上の領域Ａの画像の方がシャープであり、ボケの少ない画像であることが判る。従って、パワースペクトルＡとパワースペクトルＢの統計情報から、入力画像を撮像した光学系は画面右上の画像にボケが発生する傾向があり、画面右上の画像を補正して画面左上の画像と同等のシャープネスを確保することで、画像が鮮明になることが判る。

統計情報抽出・統合部１１２は、図７に示すパワースペクトルを入力画像の全領域について算出する。劣化検出部１０４は、パワースペクトルに基づいて、画像の劣化を検出する。図７に示す例では、劣化検出部１０４は、パワースペクトルＡ，Ｂに基づいて、画面右上の領域Ｂでボケなどの画像の劣化が生じることを検出する。補正量算出部１０６は、劣化検出部１０４が検出した画像の劣化に応じて補正パラメータを算出する。図７の例では、補正量算出部１０６は、画面右上の画像が画面左上の画像と同等のシャープネスを確保できるように、パワースペクトルが低い部分を補償する逆フィルタを算出する。補正部１０８における処理は、第１の実施形態と同様である。

［３．２．処理フロー］
次に、図８に基づいて、本実施形態における、統計情報を用いた場合のフローについて説明する。先ず、ステップＳ４０では、統計情報抽出・統合部１１２が、平均パワースペクトラムを検出する。ステップＳ４２では、統計情報抽出・統合部１１２は、入力画像（撮像画像）を受けて、パワースペクトルを計算して平均をとる。

次に、ステップＳ４４では、劣化検出部１０４が、入力画像からパワースペクトルの低い部分を検出する。ステップＳ４６では、補正量算出部１０６が、パワースペクトルが低い部分を補償する逆フィルタを算出する。ステップＳ４８では、補正部１０８が、撮像画像に逆フィルタを畳み込む処理を行う。

統計的手法を用いる場合においても、入力画像が劣化検出に用いることができるか否かを判定し、劣化検出に用いることができる画像のみ、統計情報として用いることができる。例えば、あからさまに撮影に失敗している写真などは使用せず、統計情報として用いない。図９は、統計情報として用いない入力画像の例を示す模式図である。図９（Ａ）は、手ブレがひどい入力画像を示している。手ブレがひどい入力画像は原則として統計情報としては用いないが、この場合においても、周波数上である程度劣化を判別できる場合があり、この場合は統計情報として用いる。

図９（Ｂ）は、露出が適切ではなくて暗すぎる入力画像を示しており、図９（Ｃ）は、露出が適切ではなく明るすぎる入力画像を示している。これらの場合も、原則として入力画像は統計情報として用いられない。また、逆光などで白とびしている画像、ピンボケしている画像なども原則として統計情報としては用いられない。

一方、上述したように、入力画像が劣化検出に用いることができるか否かを判定することなく、撮影した全ての画像を用いて劣化検出を行うことも可能である。

以上説明したように第３の実施形態によれば、今までに撮影した画像群の統計情報を用いることで、より多くの情報に基づいて画像の劣化を検出することができる。従って、統計的処理により、入力画像を最適に補正することが可能となる。

４．第４の実施形態
［４．１．装置構成例］
図１０は、第４の実施形態の構成を示す模式図である。図１０に示すように、画像処理装置（撮像装置）１００は、撮像部１２０、光学系駆動部１２２、画像判定部１０２、劣化検出部１０４、補正量算出部１０６、補正部１０８を有して構成される。図１０に示す構成例では、図１の構成に対して、撮像部１２０、及び光学系駆動部１２２が付加されている。図１０に示す構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。

第４の実施形態では、例えば液体レンズなど撮像機器に搭載された後でも光学系を操作できる可変レンズが搭載されている場合を例示する。撮像部１２０は、液体レンズなどの撮像光学系と、撮像素子とを含む。光学系駆動部１２２の可変レンズを駆動する。

第４の実施形態では、図１０に示すように、補正量算出部１０６で可変レンズを調整するためのパラメータを算出する。また、補正量算出部１０６は、上述した実施形態と同様に、画像処理によって補正する補正パラメータを算出する。そして、補正量算出部１０６が算出したパラメータに基づいて、光学系（撮像部１２０の可変レンズ）と画像処理（補正部１０８）の双方で調整を行う。光学系の調整は光学系駆動部１２２が行い、画像処理の調整は補正部１０８が行う。なお、補正部１０８では、上述した各実施形態のいずれの方法で補正パラメータを求めても良い。但し、補正パラメータを求めた際は、既に入力画像の撮影が完了しているため、光学系の調整が実際に行われるのは、補正パラメータを算出した撮影の次の撮影からである。

なお、撮像部１２０の光学系を変更する構成要素は、液体レンズに限定されるものではなく、レンズの傾きを調整する機構や、ミラーの出し入れ等により光路を変更するものなど、何らかの手法で光学系に変更を加えるものであれば良い。

以上説明したように第４の実施形態によれば、補正部１０８における画像処理による補正に加えて、劣化に応じて撮像部１０８の光学系を補正することができる。従って、撮像部１０８の画像処理による補正と撮像部１０８の光学系の補正の併用により、入力画像を高い精度で補正することが可能となる。

５．第５の実施形態
［５．１．システム構成例］
図１１は、第５の実施形態のシステム構成を示す模式図である。図１１に示すように、第５の実施形態に係るシステム２００は、第１の実施形態と同様に、画像判定部１０２、劣化検出部１０４、補正量算出部１０６、補正部１０８を有して構成される。ここで、劣化検出部１０４、および補正量算出部１０６は、ネットワーク上のクラウドサーバ３００に設けられている。また、画像判定部１０２、および補正部１０８は、クライアントである画像処理装置２００に設けられている。図１１に示す構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）から構成されることができる。

画像判定部１０２による判定の結果、入力画像が劣化特性を検出するために用いることのできる場合は、画像処理装置２００の送信部２０２がネットワークを介して入力画像をクラウドサーバ３００へ送信する。

クラウドサーバ３００の受信部３０２は、画像処理装置２００の送信部２０２から送られた入力画像を受信する。劣化検出部１０４は、画像処理装置２００から入力画像を受け取ると、第１の実施形態と同様に、入力画像の劣化している部分から劣化特性を検出する。また、補正量算出部１０６では、劣化検出部１０４において検出された劣化特性から、新たに補正パラメータを算出する。

補正量算出部１０６が算出した補正パラメータは、クラウドサーバ３００の送信部３０４からネットワークを介して画像処理装置２００へ送られる。画像処理装置２００の受信部２０４は、補正パラメータを受信する。画像処理装置２００の補正部１０６は、クラウドサーバ３００から送られた補正パラメータを用いて入力画像を補正する。

図１１の構成によれば、劣化検出部１０４、および補正量算出部１０６における計算をクラウドサーバ３００上で行うため、画像処理装置１００側で計算が不要となる。また、同一のレンズ（光学系）を使用しているカメラからの情報をクラウド上で集約することで、そのレンズの製造時に発生する特有の光学劣化情報などを取得することができ、そのレンズが搭載されている全ての撮像装置の補正に適用が可能となる。更に、ネットワーク上のクラウドサーバ３００ではメモリに制約がないため、画像撮像装置１００のメモリ容量に制約を受けることがなく、補正した何パターンかの画像を提示してユーザに選択させることも可能となる。これにより、光学劣化をユーザに特化させて補正することも可能となる。

なお、図１１では、画像判定部１０２、および補正部１０８が撮像装置に設けられている例を示したが、画像判定部１０２、および補正部１０８についてもクラウドサーバ３００上に設けることが可能である。更には、画像処理装置２００が撮像装置に含まれる場合、撮像光学系と撮像素子以外の構成要素は、クラウドサーバ３００上に設けることも可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、
前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
を備える、画像処理装置。
（２）前記画像補正情報に基づいて画像を補正する補正部を備える、前記（１）に記載の画像処理装置。
（３）前記画像補正情報に基づいて画像を撮像する光学系を駆動する駆動部を備える、前記（１）に記載の画像処理装置。
（４）前記補正処理に利用可能と判定された１又は複数の画像の被写体情報を取得する、前記（１）に記載の画像処理装置。
（５）前記補正処理に利用可能と判定された１又は複数の画像は、所定のパターンを有する画像である、前記（１）に記載の画像処理装置。
（６）補正処理に利用可能と判定された複数の画像を統計処理する統計処理部を備え、
前記劣化検出部は、前記統計処理の結果に基づいて、画像の劣化状態を検出する、前記（１）に記載の画像処理装置。
（７）前記統計処理部は、前記統計処理として画像の領域毎の平均パワースペクトルを算出する、前記（６）に記載の画像処理装置。
（８）撮影された複数の画像を統計処理する統計処理部と、
前記統計処理の結果に基づいて、画像の劣化状態を検出する劣化検出部と、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
を備える、画像処理装置。
（９）前記統計処理部は、前記統計処理として画像の領域毎の平均パワースペクトルを算出する、前記（８）に記載の画像処理装置。
（１０）撮像された画像が補正処理に利用可能な画像であるか否かを判定することと、
前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出することと、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、
を備える、画像処理方法。
（１１）撮像された画像が補正処理に利用可能な画像であるか否かを判定する手段、
前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する手段、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、
としてコンピュータを機能させるためのプログラム。
（１２）撮影された複数の画像を統計処理することと、
前記統計処理の結果に基づいて、画像の劣化状態を検出することと、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、
を備える、画像処理方法。
（１３）撮影された複数の画像を統計処理する手段、
前記統計処理の結果に基づいて、画像の劣化状態を検出する手段、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、
としてコンピュータを機能させるためのプログラム。
（１４）ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
を備える、サーバ。
（１５）ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出することと、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、
を備える、画像処理方法。
（１６）ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する手段、
前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、
としてコンピュータを機能させるためのプログラム。
（１７）撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、
前記画像判定部で補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信する送信部と、
前記サーバにおいて、前記１又は複数の画像の劣化状態に基づいて算出された画像補正情報を受信する受信部と、
前記画像補正情報に基づいて、画像を補正する補正部と、
を備える、クライアント端末。
（１８）画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信する送信部と、前記サーバにおいて、前記１又は複数の画像の劣化状態に基づいて算出された画像補正情報を受信する受信部と、前記画像補正情報に基づいて、画像を補正する補正部と、を備える、クライアント端末と、
ネットワークを介して前記クライアント端末から取得した前記１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する前記画像補正情報を算出する画像補正情報算出部と、を備える、前記サーバと、
を備える、画像処理システム。
（１９）クライアント端末が、画像が補正処理に利用可能な画像であるか否かを判定することと、
前記クライアント端末が、補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信することと、
前記サーバが、前記クライアント端末から取得した前記１又は複数の画像に基づいて、画像の劣化状態を検出することと、
前記サーバが、前記劣化検出部で検出された劣化状態に対応する前記画像補正情報を算出することと、
前記クライアント端末が、前記画像補正情報を前記サーバから受信することと、
前記クライアント端末が、前記画像補正情報に基づいて、画像を補正することと、
を備える、画像処理システムにおける方法。

１００ 画像処理装置
１０２ 画像判定部
１０４ 劣化検出部
１０６ 補正量算出部
１０８ 補正部
１１２ 統計情報抽出・統合部
１２２ 光学装置駆動部
２００ 画像処理装置（クライアント端末）
２０２ 送信部
２０４ 受信部
３００ クラウドサーバ

Claims (19)

1. 撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、
   前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、
   前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
   を備える、画像処理装置。
2. 前記画像補正情報に基づいて画像を補正する補正部を備える、請求項１に記載の画像処理装置。
3. 前記画像補正情報に基づいて画像を撮像する光学系を駆動する駆動部を備える、請求項１に記載の画像処理装置。
4. 前記補正処理に利用可能と判定された１又は複数の画像の被写体情報を取得する、請求項１に記載の画像処理装置。
5. 前記補正処理に利用可能と判定された１又は複数の画像は、所定のパターンを有する画像である、請求項１に記載の画像処理装置。
6. 補正処理に利用可能と判定された複数の画像を統計処理する統計処理部を備え、
   前記劣化検出部は、前記統計処理の結果に基づいて、画像の劣化状態を検出する、請求項１に記載の画像処理装置。
7. 前記統計処理部は、前記統計処理として画像の領域毎の平均パワースペクトルを算出する、請求項６に記載の画像処理装置。
8. 撮影された複数の画像を統計処理する統計処理部と、
   前記統計処理の結果に基づいて、画像の劣化状態を検出する劣化検出部と、
   前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
   を備える、画像処理装置。
9. 前記統計処理部は、前記統計処理として画像の領域毎の平均パワースペクトルを算出する、請求項８に記載の画像処理装置。
10. 撮像された画像が補正処理に利用可能な画像であるか否かを判定することと、
    前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出することと、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、
    を備える、画像処理方法。
11. 撮像された画像が補正処理に利用可能な画像であるか否かを判定する手段、
    前記画像判定部で補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する手段、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、
    としてコンピュータを機能させるためのプログラム。
12. 撮影された複数の画像を統計処理することと、
    前記統計処理の結果に基づいて、画像の劣化状態を検出することと、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、
    を備える、画像処理方法。
13. 撮影された複数の画像を統計処理する手段、
    前記統計処理の結果に基づいて、画像の劣化状態を検出する手段、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、
    としてコンピュータを機能させるためのプログラム。
14. ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する画像補正情報算出部と、
    を備える、サーバ。
15. ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出することと、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出することと、
    を備える、画像処理方法。
16. ネットワークを介して取得した補正処理に利用可能と判定された１又は複数の画像に基づいて、画像の劣化状態を検出する手段、
    前記劣化検出部で検出された劣化状態に対応する画像補正情報を算出する手段、
    としてコンピュータを機能させるためのプログラム。
17. 撮像された画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、
    前記画像判定部で補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信する送信部と、
    前記サーバにおいて、前記１又は複数の画像の劣化状態に基づいて算出された画像補正情報を受信する受信部と、
    前記画像補正情報に基づいて、画像を補正する補正部と、
    を備える、クライアント端末。
18. 画像が補正処理に利用可能な画像であるか否かを判定する画像判定部と、前記画像判定部で補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信する送信部と、前記サーバにおいて、前記１又は複数の画像の劣化状態に基づいて算出された画像補正情報を受信する受信部と、前記画像補正情報に基づいて、画像を補正する補正部と、を備える、クライアント端末と、
    ネットワークを介して前記クライアント端末から取得した前記１又は複数の画像に基づいて、画像の劣化状態を検出する劣化検出部と、前記劣化検出部で検出された劣化状態に対応する前記画像補正情報を算出する画像補正情報算出部と、を備える、前記サーバと、
    を備える、画像処理システム。
19. クライアント端末が、画像が補正処理に利用可能な画像であるか否かを判定することと、
    前記クライアント端末が、補正処理に利用可能と判定された１又は複数の画像を、ネットワークを介してサーバに送信することと、
    前記サーバが、前記クライアント端末から取得した前記１又は複数の画像に基づいて、画像の劣化状態を検出することと、
    前記サーバが、前記劣化検出部で検出された劣化状態に対応する前記画像補正情報を算出することと、
    前記クライアント端末が、前記画像補正情報を前記サーバから受信することと、
    前記クライアント端末が、前記画像補正情報に基づいて、画像を補正することと、
    を備える、画像処理システムの方法。