JP2012073703A - 画像ボケ量計算装置およびそのプログラム - Google Patents

Abstract

【課題】本発明は、処理時間が短く、計算コストが低い画像ボケ量計算装置を提供する。
【解決手段】画像ボケ量計算装置１は、微分画像を生成するソーベルフィルタ１０と、微分画像に含まれるエッジを検出するエッジ検出手段２０と、エッジの開始点および終了点を検出する開始点・終了点検出手段３０と、開始点・終了点検出手段３０が検出した開始点と終了点との輝度値の差と、開始点と前記終了点との輝度勾配の平均値とを算出すると共に、輝度値の差を輝度勾配の平均値で除算した値に基づいて画像ボケ量を計算する画像ボケ量計算手段４０と、画像ボケ量計算手段４０が計算した水平方向および垂直方向の画像ボケ量を平均する画像ボケ量平均手段５０とを備える。
【選択図】図１

Description

本発明は、被写体が撮影された入力画像の画像ボケ量を計算する画像ボケ量計算装置およびそのプログラムに関する。

従来から、被写体を撮影した入力画像において、ボケを検出することは広く行われている。この入力画像において、ボケが発生しているボケ領域は、被写体または他の模様のエッジ付近に発生することが多い。

エッジ付近のボケが輝度勾配を生じるため、この輝度勾配を得られるソーベルフィルタが、広く利用されている（例えば、非特許文献１）。ここで、ソーベルフィルタは、入力画像に適用することで微分画像を生成し、その微分画像から輝度勾配を得ることができる。より具体的には、ソーベルフィルタは、下記の式（１）に示すように、入力画像Ａに対して、垂直方向および水平方向にそれぞれ３×３カーネルを畳み込むことで、水平方向の微分画像Ｇ_ｘと、垂直方向の微分画像Ｇ_ｙとを生成する。なお、式（１）において、「＊」は、２次元の畳み込みオペレータを示す。

また、従来から、ソーベルフィルタを利用したボケ、絵柄などの検出手法が提案されている（例えば、特許文献１）。この特許文献１に記載の発明は、リファレンス画像を用いた検出手法である。

特開平７−１７５９２６号公報

Sobel operator:http://en.wikipedia.org/wiki/Sobel_operator

しかし、特許文献１に記載の発明は、リファレンス画像を生成するために処理時間が余計に必要となる。ここで、例えば、カメラレンズのフォーカスチェック、カメラトラッキング、被写体トラッキングなどのボケ検出を利用するアプリケーションでは、ボケ検出にかかる時間が重要な要素となる。このため、処理時間が短く、計算コストが低いボケ検出手法が、ユーザから強く要望されている。

そこで、本発明は、前記した問題を解決し、処理時間が短く、計算コストが低い画像ボケ量計算装置およびそのプログラムを提供することを目的とする。

前記した課題に鑑みて、本願第１発明に係る画像ボケ量計算装置は、被写体を撮影した入力画像の画像ボケ量を計算する画像ボケ量計算装置において、一次微分フィルタと、エッジ検出手段と、開始点・終了点検出手段と、画像ボケ量計算手段と、画像ボケ量平均手段とを備えることを特徴とする。

かかる構成によれば、画像ボケ量計算装置は、一次微分フィルタによって、前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する。また、画像ボケ量計算装置は、エッジ検出手段によって、前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出する。そして、画像ボケ量計算装置は、開始点・終了点検出手段によって、前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する。

また、画像ボケ量計算装置は、画像ボケ量計算手段によって、前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する。つまり、画像ボケ量計算手段は、画像ボケ量が輝度勾配に反比例する性質を利用して、前記輝度値の差および前記輝度勾配の平均値を用いて画像ボケ量を計算するので、リファレンス画像を用いる必要がない。

また、画像ボケ量計算装置は、画像ボケ量平均手段によって、前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する。

本願第２発明に係る画像ボケ量計算装置は、前記画像ボケ量計算手段が、前記エッジの数をＮとし、ｋ番目の前記エッジの開始点をｘ_Ｓとし（１≦ｋ≦Ｎ）、前記ｋ番目のエッジの終了点をｘ_Ｅとし、前記ｋ番目のエッジの開始点ｘ_Ｓの輝度値をｅ_ｋ（ｘ_Ｓ）とし、前記ｋ番目のエッジの終了点ｘ_Ｅの輝度値をｅ_ｋ（ｘ_Ｅ）とし、前記ｋ番目のエッジの開始点ｘ_Ｓと終了点ｘ_Ｅとの輝度値の差をＨ_ｋとし、前記ｋ番目のエッジの開始点ｘ_Ｓから終了点ｘ_Ｅまでの輝度勾配∇ｅ_ｋ（ｘ）の平均値をＳ_ｋとしたとき、下記の式（２）を用いて、前記水平方向および前記垂直方向で前記画像ボケ量σを計算することが好ましい。

なお、本願第１発明に係る画像ボケ量計算装置は、コンピュータを、一次微分フィルタ、エッジ検出手段、開始点・終了点検出手段、画像ボケ量計算手段、画像ボケ量平均手段として機能させる画像ボケ量計算プログラムによって実現することもできる。

本発明によれば、リファレンス画像を用いることなく、画像ボケ量を計算できるため、処理時間を短く、計算コストを低くすることができる。

本発明の実施形態に係る画像ボケ量計算装置の構成を示すブロック図である。 本発明の実施形態において、入力画像の一例を示す図である。 本発明の実施形態において、水平方向の微分画像の一例を示す図である。 本発明の実施形態において、垂直方向の微分画像の一例を示す図である。 本発明の実施形態において、水平エッジの開始点および終了点の検出を説明する図である。 本発明の実施形態において、プロファイルを示す図である。 本発明の実施形態において、垂直エッジの開始点および終了点の検出を説明する図である。 図１の画像ボケ量計算装置の動作を示すフローチャートである。 本発明の実施例１において、画像ボケ量の計算結果を示すグラフである。 本発明の実施例２において、ジッター抑制前のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの並進させたときのグラフである。 本発明の実施例２において、ジッター抑制前のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの回転させたときのグラフである。 本発明の実施例２において、ジッター抑制後のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの並進させたときのグラフである。 本発明の実施例２において、ジッター抑制後のカメラ姿勢推定結果を示すグラフであり、（ａ）〜（ｃ）はそれぞれカメラの回転させたときのグラフである。 本発明の実施例２において、カメラの動き強度を示すグラフである。

［画像ボケ量計算装置の構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１に示すように、本発明の実施形態に係る画像ボケ量計算装置１は、被写体を撮影した入力画像の画像ボケ量を計算するものであり、ソーベルフィルタ（一次微分フィルタ）１０と、エッジ検出手段２０と、開始点・終了点検出手段３０と、画像ボケ量計算手段４０と、画像ボケ量平均手段５０とを備える。なお、画像ボケ量とは、入力画像Ｉに含まれる被写体がどの程度ボケているかを示す数値である。

ソーベルフィルタ１０は、図示を省略したカメラから入力画像（静止画）Ｉが入力されると共に、この入力画像Ｉから、水平方向および垂直方向の微分画像Ｇ_ｘ，Ｇ_ｙを生成するものである。具体的には、ソーベルフィルタ１０は、前記した式（１）に示すように、入力画像Ｉに対して、垂直方向および水平方向にそれぞれ３×３カーネルを畳み込むことで、水平方向の微分画像Ｇ_ｘと、垂直方向の微分画像Ｇ_ｙとを生成する。そして、ソーベルフィルタ１０は、生成した微分画像Ｇ_ｙを水平エッジ検出部２１に出力し、生成した微分画像Ｇ_ｘを垂直エッジ検出部２３に出力する。なお、ソーベルフィルタ１０としては、例えば、前記した非特許文献１に記載された技術を利用することができる。

水平方向の微分画像Ｇ_ｘは、入力画像Ｉに含まれる垂直エッジを示す画像である。例えば、図２の入力画像Ｉをソーベルフィルタ１０に入力した場合、図３に示すような微分画像Ｇ_ｘが生成される。
垂直方向の微分画像Ｇ_ｙは、入力画像Ｉに含まれる水平エッジを示す画像である。例えば、図２の入力画像Ｉをソーベルフィルタ１０に入力した場合、図４に示すような微分画像Ｇ_ｙが生成される。

エッジ検出手段２０は、ソーベルフィルタ１０が生成した微分画像Ｇ_ｘ，Ｇ_ｙからエッジを検出するものであり、水平エッジ検出部２１と、垂直エッジ検出部２３とを備える。

水平エッジ検出部２１は、ソーベルフィルタ１０から微分画像Ｇ_ｙが入力されると共に、入力された微分画像Ｇ_ｙに含まれる水平エッジを検出する。例えば、水平エッジ検出部２１は、この微分画像Ｇ_ｙに閾値処理を施して、画像ボケ量の計算対象となる水平エッジを検出する。そして、水平エッジ検出部２１は、検出した水平エッジの各画素位置をボケ計算対象座標（ｘ，ｙ）として、水平エッジ開始点・終了点検出部３１に出力する。

垂直エッジ検出部２３は、ソーベルフィルタ１０から微分画像Ｇ_ｘが入力されると共に、入力された微分画像Ｇ_ｘに含まれる垂直エッジを検出する。例えば、垂直エッジ検出部２３は、この微分画像Ｇ_ｘに閾値処理を施して、画像ボケ量の計算対象となる垂直エッジを検出する。そして、垂直エッジ検出部２３は、検出した垂直エッジの各画素位置をボケ計算対象座標（ｘ，ｙ）として、垂直エッジ開始点・終了点検出部３３に出力する。

開始点・終了点検出手段３０は、エッジ検出手段２０が検出したエッジごとに、開始点ｘ_Ｓおよびエッジの終了点ｘ_Ｅを検出するものであり、水平エッジ開始点・終了点検出部３１と、垂直エッジ開始点・終了点検出部３３とを備える。

水平エッジ開始点・終了点検出部３１は、カメラから入力画像Ｉが入力され、水平エッジ検出部２１からボケ計算対象座標（ｘ，ｙ）が入力される。そして、水平エッジ開始点・終了点検出部３１は、入力画像Ｉのボケ計算対象座標（ｘ，ｙ）で表される水平エッジに対して、その水平エッジの上部および下部である開始点（最近傍極大値）ｘ_Ｓと終了点（最近傍極小値）ｘ_Ｅとを検出する。その後、水平エッジ開始点・終了点検出部３１は、検出した開始点ｘ_Ｓおよび終了点ｘ_Ｅと、入力画像Ｉとを垂直方向画像ボケ量計算部４１に出力する。

ここで、図５を参照して、水平エッジでの開始点ｘ_Ｓおよび終了点ｘ_Ｅの検出について説明する。図５では、被写体Ｏｂｊの外周部でボケが発生しており、ドットの濃淡で輝度値の高低を図示した。つまり、被写体Ｏｂｊの中心部では輝度値が最も低く、被写体Ｏｂｊの外周部に向かうにつれ、輝度値が徐々に高くなることを示している。

また、図５では、水平エッジの方向を矢印Ｅｇとして図示すると共に、矢印Ｅｇに直交する仮想線αを図示した。仮想線αは開始点ｘ_Ｓおよび終了点ｘ_Ｅの検出を説明するために図示したものである。

図５に示すように、微分画像Ｇ_ｙでは、例えば、被写体Ｏｂｊの上部に矢印Ｅｇの方向で水平エッジが検出される。この場合、水平エッジ開始点・終了点検出部３１は、垂直方向の画像ボケ量を計算するために、矢印Ｅｇに直交する仮想線αの方向で水平エッジの開始点ｘ_Ｓおよび終了点ｘ_Ｅを検出する。具体的には、水平エッジ開始点・終了点検出部３１は、仮想線α上でボケが始まる位置、すなわち、水平エッジの下部を開始点（最近傍極大値）ｘ_Ｓとして検出する。また、水平エッジ開始点・終了点検出部３１は、仮想線α上でボケが終了する位置、すなわち、水平エッジの上部を終了点（最近傍極小値）ｘ_Ｅとして検出する。

この水平エッジのプロファイルを図示すると、図６のようになる。図６は、画素位置と輝度値との関係を示しており、横軸が画素位置（Pixel Position）であり、縦軸が輝度値（Pixel intensity）である。この場合、図６のプロファイルに微分処理を施すと、開始点ｘ_Ｓおよび終了点ｘ_Ｅにそれぞれ、最近傍極大値と最近傍極小値とが現れる。つまり、水平エッジ開始点・終了点検出部３１は、微分処理によって現れる最近傍極大値および最近傍極小値を、開始点ｘ_Ｓおよび終了点ｘ_Ｅとしてそれぞれ検出することになる。

垂直エッジ開始点・終了点検出部３３は、カメラから入力画像Ｉが入力され、垂直エッジ検出部２３からボケ計算対象座標（ｘ，ｙ）が入力される。そして、垂直エッジ開始点・終了点検出部３３は、水平エッジ開始点・終了点検出部３１と同様、入力画像Ｉのボケ計算対象座標（ｘ，ｙ）で表される垂直エッジに対して、その垂直エッジの左右の開始点（最近傍極大値）ｘ_Ｓおよび終了点（最近傍極小値）ｘ_Ｅを検出する。その後、垂直エッジ開始点・終了点検出部３３は、検出した開始点ｘ_Ｓおよび終了点ｘ_Ｅと、入力画像Ｉとを水平方向画像ボケ量計算部４３に出力する。

例えば、図７に示すように、被写体Ｏｂｊの左右において、矢印Ｅｇの方向で垂直エッジがそれぞれ検出されたとする。この場合、各垂直エッジは、被写体Ｏｂｊの左右反対側に位置するため、輝度勾配が逆方向になるプロファイルとして表すことができる（図７拡大図参照）。

画像ボケ量計算手段４０は、開始点・終了点検出手段３０が検出した開始点ｘ_Ｓおよび終了点ｘ_Ｅとの輝度値の差と、開始点ｘ_Ｓおよび終了点ｘ_Ｅとの輝度勾配の平均値とを算出すると共に、輝度値の差を輝度勾配の平均値で除算した値に基づいて、水平方向および垂直方向で画像ボケ量を計算するものである。このため、画像ボケ量計算手段４０は、垂直方向画像ボケ量計算部４１と、水平方向画像ボケ量計算部４３とを備える。

垂直方向画像ボケ量計算部４１は、水平エッジ開始点・終了点検出部３１から開始点ｘ_Ｓおよび終了点ｘ_Ｅと入力画像Ｉとが入力されると共に、入力画像Ｉ上において、開始点ｘ_Ｓおよび終了点ｘ_Ｅとの輝度値の差Ｈ_ｋと、開始点ｘ_Ｓから終了点ｘ_Ｅまでの輝度勾配の平均値Ｓ_ｋとを算出する。

以下、図６に戻り、垂直方向画像ボケ量計算部４１の詳細について説明する（適宜図１参照）。図６に示すように、垂直方向画像ボケ量計算部４１は、入力画像Ｉ上において、水平エッジの開始点ｘ_Ｓにおける輝度値ｅ_ｋ（ｘ_Ｓ）と、水平エッジの終了点ｘ_Ｅにおける輝度値ｅ_ｋ（ｘ_Ｅ）との差分絶対値を、輝度値の差Ｈ_ｋとして計算する。

また、垂直方向画像ボケ量計算部４１は、入力画像Ｉ上において、水平エッジの輝度値がｅ_ｋ（ｘ）であるとき、開始点ｘ_Ｓから終了点ｘ_Ｅまでの間、隣接画素同士の輝度勾配∇ｅ_ｋ（ｘ）を計算する。そして、垂直方向画像ボケ量計算部４１は、隣接画素同士の輝度勾配∇ｅ_ｋ（ｘ）を開始点ｘ_Ｓから終了点ｘ_Ｅまでの間で平均して、輝度勾配の平均値Ｓ_ｋを計算する。

そして、垂直方向画像ボケ量計算部４１は、輝度値の差Ｈ_ｋを輝度勾配の平均値Ｓ_ｋで除算した値に基づいて、垂直方向の画像ボケ量を計算する。具体的には、垂直方向画像ボケ量計算部４１は、下記の式（２）に示すように、水平エッジの輝度値の差Ｈ_ｋを輝度勾配の平均値Ｓ_ｋで除算した除算値を計算し、水平エッジにおける除算値の平均を計算して、画像ボケ量σを計算する。つまり、垂直方向画像ボケ量計算部４１は、画像ボケ量が輝度勾配に反比例する性質を利用して、画像ボケ量σを計算している。その後、垂直方向画像ボケ量計算部４１は、計算した画像ボケ量σを、垂直方向の画像ボケ量σ_ｖとして画像ボケ量平均手段５０に出力する。なお、式（２）において、Ｎは微分画像Ｇ_ｙから検出された水平エッジの数を示し、ｋは何番目のエッジであるかを示す（１≦ｋ≦Ｎ）。

水平方向画像ボケ量計算部４３は、垂直エッジ開始点・終了点検出部３３から開始点ｘ_Ｓおよび終了点ｘ_Ｅと入力画像Ｉとが入力されると共に、入力画像Ｉ上において、開始点ｘ_Ｓおよび終了点ｘ_Ｅとの輝度値の差Ｈ_ｋと、開始点ｘ_Ｓおよび終了点ｘ_Ｅとの輝度勾配の平均値Ｓ_ｋとを算出する。そして、水平方向画像ボケ量計算部４３は、垂直方向画像ボケ量計算部４１と同様、前記した式（２）を用いて、水平方向の画像ボケ量σ_ｈを計算して画像ボケ量平均手段５０に出力する。

なお、水平方向画像ボケ量計算部４３で画像ボケ量を計算する場合、前記した式（２）において、垂直エッジの開始点ｘ_Ｓにおける輝度値をｅ_ｋ（ｘ_Ｓ）、垂直エッジの終了点ｘ_Ｅにおける輝度値をｅ_ｋ（ｘ_Ｅ）、垂直エッジの輝度値をｅ_ｋ（ｘ）、垂直エッジにおける隣接画素同士の輝度勾配∇ｅ_ｋ（ｘ）、垂直エッジの輝度値の差をＨ_ｋ、垂直エッジの輝度勾配の平均値をＳ_ｋ、微分画像Ｇ_ｘから検出された垂直エッジの数をＮと読み替える。

画像ボケ量平均手段５０は、垂直方向画像ボケ量計算部４１から垂直方向の画像ボケ量σ_ｖが入力され、水平方向画像ボケ量計算部４３から水平方向の画像ボケ量σ_ｈが入力される。そして、画像ボケ量平均手段５０は、水平方向の画像ボケ量σ_ｈと、垂直方向の画像ボケ量σ_ｖとの平均（σ_ｈ＋σ_ｖ）／２を計算し、この平均値を画像ボケ量σ´として出力する。

［画像ボケ量計算装置の動作］
以下、図８を参照して、図１の画像ボケ量計算装置１の動作について説明する。
画像ボケ量計算装置１は、ソーベルフィルタ１０によって、入力画像Ｉから微分画像Ｇ_ｘ，Ｇ_ｙを生成する（ステップＳ１）。そして、画像ボケ量計算装置１は、水平エッジ検出部２１によって、微分画像Ｇ_ｙに含まれる水平エッジを検出する（ステップＳ２）。

画像ボケ量計算装置１は、水平エッジ開始点・終了点検出部３１によって、水平エッジから開始点ｘ_Ｓおよび終了点ｘ_Ｅを検出する（ステップＳ３）。そして、画像ボケ量計算装置１は、垂直方向画像ボケ量計算部４１によって、前記した式（２）を用いて、垂直方向の画像ボケ量σ_ｖを計算する（ステップＳ４）。

画像ボケ量計算装置１は、垂直エッジ検出部２３によって、微分画像Ｇ_ｘに含まれる垂直エッジを検出する（ステップＳ５）。また、画像ボケ量計算装置１は、垂直エッジ開始点・終了点検出部３３によって、垂直エッジから開始点ｘ_Ｓおよび終了点ｘ_Ｅを検出する（ステップＳ６）。そして、画像ボケ量計算装置１は、水平方向画像ボケ量計算部４３によって、前記した式（２）を用いて、水平方向で画像ボケ量σ_ｈを計算する（ステップＳ７）。さらに、画像ボケ量計算装置１は、画像ボケ量平均手段５０によって、水平方向の画像ボケ量σ_ｈと、垂直方向の画像ボケ量σ_ｖとの平均値を画像ボケ量σ´として出力する（ステップＳ８）。

以上のように、本発明の実施形態に係る画像ボケ量計算装置１は、画像ボケ量が輝度勾配に反比例する性質を利用して、前記した式（２）に示すように、輝度値の差を輝度勾配の平均値で除算した値に基づいて画像ボケ量を計算するので、リファレンス画像を用いる必要がない。このため、画像ボケ量計算装置１は、処理時間を短く、計算コストを低くすることができる。

なお、本実施形態では、一次微分フィルタの一例としてソーベルフィルタ３０を説明したが、本発明に適用可能な一次微分フィルタは、これに限定されない。例えば、本発明では、一次微分フィルタとして、ＲｏｂｅｒｔｓフィルタまたはＰｒｅｗｉｔｔフィルタを用いることもできる。

なお、本実施形態では、画像ボケ量計算装置１が、入力画像Ｉとして静止画を扱うこととして説明したが、入力画像Ｉとして静止画を扱うこともできる。

なお、本実施形態では、画像ボケ量計算装置１を独立した装置として説明したが、本発明では、一般的なコンピュータのハードウェア資源を、前記した各手段として協調動作させる画像ボケ量計算プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

なお、図８では、ステップＳ２〜Ｓ４の処理を実行してから、ステップＳ５〜Ｓ７の処理を実行することとして説明したが、本発明は、これに限定されない。例えば、図８において、ステップＳ２〜Ｓ４の処理と、ステップＳ５〜Ｓ７の処理とを実行する順番を入れ替えてもよい。

（実施例１）
以下、本発明の実施例１として、本発明の効果について説明する。ここでは、クロック周波数が２．８ＧＨｚでデュアルコアのコンピュータに画像ボケ量計算プログラムをインストールして、図１と同等の画像ボケ量計算装置を準備した。以下、本発明の実施例１に係る画像ボケ量計算装置を「画像ボケ量計算装置１Ｂ」と呼ぶ。

また、劣化が少ない非圧縮の高品質実写画像に対して、１×５、１×９、１×１３、１×１７、１×２１、１×２５の水平方向平滑化（移動平均）フィルタをそれぞれ適用して、ボケを発生させた入力画像Ｉを複数準備した。そして、この画像ボケ量計算装置１Ｂに各入力画像Ｉを入力して、各入力画像Ｉの画像ボケ量を計算させると共に、画像ボケ量の計算に要する処理時間（平均値）を測定した。

ここで、画像ボケ量計算装置１Ｂが計算した画像ボケ量を図９に示す。この図９では、横軸が水平方向平滑化フィルタにおける平滑化画素数であり、縦軸が画像ボケ量計算装置１Ｂで計算した画像ボケ量である。図９に示すように、各水平方向平滑化フィルタで発生させたボケに対して、画像ボケ量計算装置１Ｂで計算した画像ボケ量が線形で単調増加している。つまり、画像ボケ量計算装置１Ｂは、画像ボケ量を正確に計算できることがわかる。

以下、画像ボケ量計算装置１Ｂの計算コストと、従来技術の計算コストを比較した結果を説明する。ここで、従来技術として知られている画像ボケ検出手法を、実施例１と同一性能のコンピュータで実装した。これら従来技術を比較例１〜３とする。そして、比較例１〜３の手法でそれぞれ、実施例１と同一の入力画像Ｉから画像ボケ量を計算し、そのときの処理時間（平均値）を計測した。その結果を下記の表１に示す。この表１に示すように、画像ボケ量計算装置１Ｂは、比較例１〜３の手法と比べて処理時間が短く、計算コストを低減できることがわかる。

なお、比較例１〜３の手法は、下記の文献に記載されている。
比較例１：Y.-C. Chung, J.-M. Wang, R. R. Bailey, S.-W. Chen, and S.-L. Chang, “A non-parametric blur measure based on edge analysis for image processing applications,” Proc. of IEEE CIS, 2004, pp. 356-360.
比較例２：R. Ferzli and L. J. Karam, “Human visual system based no-reference objective image sharpness metric,” Proc. of ICIP, 2006, pp. 2949-2952.
比較例３：J. Ko and C. Kim, “Low cost blur image detection and estimation for mobile devices,” Proc. of ICACT, 2009, pp. 1605-1610.

（実施例２）
近年、ジッター抑制機能を付加したＡＲ（拡張現実：Augmented Reality）が注目されている。このＡＲアプリケーションでは、撮影映像のフレーム毎にカメラの姿勢を正確に推定する必要がある。一般的には、エッジや点など画像特徴を追跡し、その追跡情報からカメラ姿勢を推定できる。例えば、動きボケを誤って追跡した場合、ＡＲアプリケーションには、動きボケがジッターとして現れる。すなわち、動きボケを正確かつ高速に推定することがＡＲアプリケーションとって重要である。つまり、本発明に係る画像ボケ量計算装置１は、ＡＲアプリケーションに最適と言える。

ここで、動きボケ量とカメラの動き強度とが、本発明者らの実験によって、線形関係であることがわかった。従って、動きボケ量を用いて、カメラの動き強度の推定精度を向上させることができる。すなわち、推定したカメラの動きより大きい画像特徴の動きを無視することで、ＡＲアプリケーションにおいて、ジッターを抑制できる。以下、この手法を実現したカメラ姿勢推定装置の効果について、実施例２として説明する。

図１０（ａ）〜（ｃ）および図１１（ａ）〜（ｃ）では推定結果を示す線が細かく揺れており、ジッターが強く現れている。その一方、カメラ姿勢推定装置は、図１２（ａ）〜（ｃ）および図１３（ａ）〜（ｃ）に示すように、その線の揺れが少なく、ジッターを抑制している。なお、図１０〜図１３において、横軸が撮影映像のフレームであり、縦軸がカメラの動き強度である。また、図１０，図１２のｔ１，ｔ２，ｔ３がカメラの並進であり、図１１および図１３のｒ１，ｒ２，ｒ３がカメラの回転である。

また、ジッター抑制前とジッター抑制後とにおいて、カメラの姿勢推定値の空間上の誤差を求めた結果を下記の表２に示す。さらに、カメラ姿勢推定装置が求めたカメラの動き強度を図１４に示す。以上のように、図１０〜図１４および表２から、本発明の実施例２に係るカメラ姿勢推定装置は、ジッターを大きく抑制できることがわかる。

本発明に係る画像ボケ量計算装置は、例えば、画像解析、画像修復、画像強調、画像セグメンテーション、カメラトラッキングまたは被写体トラッキングに利用することができる。

１ 画像ボケ量計算装置
１０ ソーベルフィルタ（一次微分フィルタ）
２０ エッジ検出手段
２１ 水平エッジ検出部
２３ 垂直エッジ検出部
３０ 開始点・終了点検出手段
３１ 水平エッジ開始点・終了点検出部
３３ 垂直エッジ開始点・終了点検出部
４０ 画像ボケ量計算手段
４１ 垂直方向画像ボケ量計算部
４３ 水平方向画像ボケ量計算部
５０ 画像ボケ量平均手段

Claims (3)

1. 被写体を撮影した入力画像の画像ボケ量を計算する画像ボケ量計算装置において、
   前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する一次微分フィルタと、
   前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出するエッジ検出手段と、
   前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する開始点・終了点検出手段と、
   前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する画像ボケ量計算手段と、
   前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する画像ボケ量平均手段と、
   を備えることを特徴とする画像ボケ量計算装置。
2. 前記画像ボケ量計算手段は、前記エッジの数をＮとし、ｋ番目の前記エッジの開始点をｘ_Ｓとし（１≦ｋ≦Ｎ）、前記ｋ番目のエッジの終了点をｘ_Ｅとし、前記ｋ番目のエッジの開始点ｘ_Ｓの輝度値をｅ_ｋ（ｘ_Ｓ）とし、前記ｋ番目のエッジの終了点ｘ_Ｅの輝度値をｅ_ｋ（ｘ_Ｅ）とし、前記ｋ番目のエッジの開始点ｘ_Ｓと終了点ｘ_Ｅとの輝度値の差をＨ_ｋとし、前記ｋ番目のエッジの開始点ｘ_Ｓから終了点ｘ_Ｅまでの輝度勾配∇ｅ_ｋ（ｘ）の平均値をＳ_ｋとしたとき、下記の式（２）を用いて、前記水平方向および前記垂直方向で前記画像ボケ量σを計算することを特徴とする請求項１に記載の画像ボケ量計算装置。
   
3. 被写体を撮影した入力画像の画像ボケ量を計算するために、コンピュータを、
   前記入力画像が入力されると共に、入力された前記入力画像から、当該入力画像のエッジを示す水平方向および垂直方向の微分画像を生成する一次微分フィルタ、
   前記一次微分フィルタが生成した水平方向および垂直方向の微分画像から、前記エッジを検出するエッジ検出手段、
   前記エッジ検出手段が検出したエッジごとに、前記エッジの開始点および終了点を検出する開始点・終了点検出手段、
   前記開始点・終了点検出手段が検出した開始点と終了点との輝度値の差と、前記開始点と前記終了点との輝度勾配の平均値とを算出すると共に、前記輝度値の差を前記輝度勾配の平均値で除算した値に基づいて、前記水平方向および前記垂直方向で前記画像ボケ量を計算する画像ボケ量計算手段、
   前記画像ボケ量計算手段が計算した前記水平方向および前記垂直方向の前記画像ボケ量を平均する画像ボケ量平均手段、
   として機能させるための画像ボケ量計算プログラム。