JP2007104649A - 画像補正装置及び画像補正方法 - Google Patents

Abstract

【課題】撮影画像に対する適応的な補正処理を簡単な構成によって短時間で行なうことができるようにする画像補正装置および画像補正方法を提供する。
【解決手段】画像補正方法は、入力画像の画面領域の全体または一部からなる領域において、当該領域内の各画素と当該画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出するステップと、この局所画素間相関算出ステップにおいて得られる前記領域内の各画素間の局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択するステップと、この固有相関値決定ステップにおいて得られる固有相関値に基づいて入力画像の特性を反映した閾値を決定するステップと、前記閾値を用いて入力画像の適応フィルタ係数を生成するフィルタ係数生成ステップと、適応フィルタ係数を用いて入力画像にフィルタ演算を行なうフィルタ処理ステップとを有する。
【選択図】図５

Description

本発明は、デジタルカメラ、カメラ付き携帯端末機器、テレビジョン（ＴＶ）システム、及びパーソナルコンピュータ（ＰＣ）等に適用される画像補正装置及び画像補正方法に関し、特に、手振れ等に起因する画像劣化をデータ処理によって補正するための画像補正装置及び画像補正方法に関するものである。

従来から、デジタルカメラやカメラ付き携帯端末機器における絞り値、焦点距離、フォーカス等に依存する収差による画像劣化や、手振れによる画像劣化を補正又は修復する機能が、種々提案されている。例えば、レンズ等の光学系と、ＣＣＤやＣ−ＭＯＳセンサ等の撮像素子とを有する近年のデジタルカメラは、手振れを補正するために、光学系の振動を軽減する機械的な機構を備えている（例えば、特許文献１参照）。また、撮像素子で撮影された画素データを変換する演算回路を用いて、取得された画像を補正する技術の提案もある（例えば、特許文献２参照）。

上記従来技術においては、手振れによりカメラが振動したときに、その振動をセンサで検出し、検出された信号、すなわち、手振れによるカメラの移動速度に基づいて補正量を算出する。そして、算出した補正量に基づいて、光学レンズ及び／又は撮像素子を移動させる、又は、画像処理演算によって撮像素子の各画素の値を補正することによって、手振れに起因する画像劣化を補正又は防止する。その結果、手振れに起因する画像劣化を補正した画像又は画像劣化を防止した画像が、フラッシュメモリ等の記憶媒体に記録される。

特開２００１−１８８２７２号公報（第１３頁、図１） 特開２０００−２２４４６１号公報（第１６頁、図１）

しかしながら、上記従来技術においては、撮影時におけるカメラの移動速度を検出するための手振れセンサが必要となるので、装置の構成が複雑になるという問題があった。

また、手振れセンサの出力に基づいて、画像劣化を画像処理演算によって補正する場合には、画像演算処理に時間を要するので、撮影してから撮像画像データを記録媒体に記録するまでに時間がかかるという問題があった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、撮影した画像に対する適応的な補正処理を簡単な構成によって短時間で行なうことができる画像補正装置および画像補正方法を提供することにある。

本発明の画像補正装置は、入力画像の画面領域の全体または一部からなる領域において、当該領域内の各画素と当該画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出する局所画素間相関算出手段と、前記局所画素間相関算出手段から出力される前記領域内の各画素間の局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択する固有相関値決定手段と、前記固有相関値決定手段から出力される前記固有相関値に基づいて入力画像の特性を反映した閾値を決定する入力画像評価手段と、前記閾値を用いて前記入力画像の適応フィルタ係数を生成するフィルタ係数生成手段と、前記適応フィルタ係数を用いて前記入力画像にフィルタ演算を行なうフィルタ処理手段とを有することを特徴としている。

また、本発明の画像補正方法は、入力画像の画面領域の全体または一部からなる領域において、当該領域内の各画素と当該画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出する局所画素間相関算出ステップと、前記局所画素間相関算出ステップにおいて得られる前記領域内の各画素間の局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択する固有相関値決定ステップと、前記固有相関値決定ステップにおいて得られる前記固有相関値に基づいて入力画像の特性を反映した閾値を決定する入力画像評価ステップと、前記閾値を用いて前記入力画像の適応フィルタ係数を生成するフィルタ係数生成ステップと、前記適応フィルタ係数を用いて前記入力画像にフィルタ演算を行なうフィルタ処理ステップとを有することを特徴としている。

本発明によれば、撮影した画像に対する適応的な補正処理を簡単な構成によって短時間で行なうことができるという効果がある。

実施の形態１．
＜１−１．画像補正装置を搭載した携帯端末機器の説明＞
図１（ａ）及び（ｂ）は、本発明の実施の形態１に係る画像補正装置（すなわち、実施の形態１に係る画像補正方法を実施する装置）１１を搭載したカメラ付き携帯端末機器１の外観を概略的に示すものであり、同図（ａ）は正面図、同図（ｂ）は背面図である。また、図２は、携帯端末機器１の構成を示すブロック図である。

図１（ａ）及び（ｂ）又は図２に示されるように、携帯端末機器１は、外部と通信するためのアンテナ２と、外部と通信するための固有番号、文字やアルファベット等のキャラクターを入力するためのコマンド入力部３と、外部への送信番号、外部からの着信番号、ユーザがコマンド入力部３を使用して入力した各種文字情報、及びカメラ機能を用いて撮影した画像等の情報を表示するメインディスプレイ部４と、日時情報、電池残量、及び着信表示等の情報を表示するサブディスプレイ部５とを有している。また、携帯端末機器１は、カメラレンズを格納したレンズユニット部６と、レンズユニット部６を介して光学像を受光して光電変換するＣＣＤやＣ−ＭＯＳセンサ等の撮像素子部７と、メインディスプレイ部４に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）情報をユーザが操作・選択するためのボタン、カメラ機能におけるシャッターボタン、及びその他カメラ機能における設定操作ボタン等として使用することができる操作入力部８と、カメラ機能を用いて取得した画像等の情報を格納するメモリカード等の外部メモリ９を装着することができる外部メモリ用インターフェース（Ｉ／Ｆ）部１０とを有している。

また、図２に示されるように、携帯端末機器１は、機器全体の動作を制御するＣＰＵ１２と、ＣＰＵ１２によって実行されるソフトウェアプログラム等を格納するＲＯＭ１３と、画像データ等を記憶するＲＡＭ１４と、ＰＣ等の外部機器と接続するための外部機器用インターフェース（Ｉ／Ｆ）部１５とを有している。ＣＰＵ１２は、ＲＯＭ１３に格納されたプログラムにしたがって、後述する差分値決定、入力画像評価、フィルタ係数生成、及びフィルタ処理等の各種動作を実行する。ＲＯＭ１３に格納されるプログラムは、例えば、インストール用プログラムを格納したＣＤ−ＲＯＭ等の情報記録媒体の情報を読み取ることができるＰＣ等の外部機器であって、外部機器用Ｉ／Ｆ部１５に接続されたものを通して、ＲＯＭ１３にインストールされる。また、通信回線を介してダウンロードされたインストール用プログラムを用いてＲＯＭ１３にプログラムをインストールすることもできる。ＣＰＵ１２、ＲＯＭ１３、及びＲＡＭ１４は、携帯端末機器１において画像の補正機能を実行する画像補正装置１１として動作する。

図１（ｂ）に示されるレンズユニット部６の内部には、レンズ、レンズ駆動部、絞り、絞り駆動部、及び光学ローパスフィルタ等の光学系の構成（図示せず）が配置されている。撮影時には、測距センサ（図示せず）の出力及び被写体の明るさに応じてレンズ及び絞りを逐次制御し、被写体像を、レンズ、絞り、及び光学ローパスフィルタを介して撮像素子部７上に形成する。ユーザがシャッターボタンとして機能する操作入力部８を押すと、撮像素子部７は被写体像を、画像信号としてＡ／Ｄ変換部（図示せず）へ出力する。画像信号は、Ａ／Ｄ変換部においてデジタル画像信号（以下「画像データ」と言う。）に変換された後、外部メモリ９に記録される。

＜１−２．手振れ画像の説明＞
図３は、携帯端末機器１によって撮影された手振れ画像の一例を示す図である。被写体と、ユーザが手に持つ携帯端末機器１のいずれもが静止しており、被写体までのフォーカスが完全に合致している場合には、携帯端末機器１のカメラによって取得された撮影画像は手振れのない静止画像になる。しかし、被写体は静止しているが、携帯端末機器１を動かしながら撮影動作を行った場合には、撮影画像２１は、ある方向の手振れの影響を受けた画像（以下「ブレ画像」とも言う。）になる。手振れによるカメラの移動方向が２次元平面上の方向である場合には、その撮影画像２１は、例えば、図３に示されるようなブレ画像になる。ここで、ｉ_ｍ及びｊ_ｍはそれぞれ、手振れを示すベクトル（図３において、矢印Ｐ_０Ｐ_１で示す。）のｘ方向成分（単位：Ｐｉｘｅｌ又は画素）及びｙ方向成分（単位：Ｐｉｘｅｌ又は画素）である。ｉ_ｍ及びｊ_ｍはそれぞれ、ｘ方向のブレ量及びｙ方向のブレ量とも言う。図３には、被写体画像２２からｘ方向にｉ画素、ｙ方向にｊ画素だけずれた位置までの間にブレ画像２３が取得される。

図３に示されるブレ量（ｘ方向にｉ_ｍ画素、ｙ方向にｊ_ｍ画素）は、被写体撮影時における携帯端末機器１の移動速度（移動の方向と速さであり、以下「ブレ速度」とも言う。）と、シャッター速度によって変化する。シャッター速度が速い場合は、ブレ速度が速くても、ｉ_ｍ及びｊ_ｍの値は小さくなり、逆に、シャッター速度が遅い場合は、ブレ速度が遅くても、ｉ_ｍ及びｊ_ｍの値は大きくなる。シャッター速度は被写体の明るさが明るい程早くすることができるので、明るい被写体を撮影した場合は、撮影画像における手振れの影響が現れ難い。しかしながら、暗い環境下における撮影や、夜間室内における撮影等の場合には、必然的にシャッター速度が遅くなる傾向にあることから、撮影画像における手振れの影響が現れ易い。以上のように、携帯端末機器１によるカメラ撮影においては、撮影条件等により、取得した画像に手振れの影響が現れることがある。そこで、本発明においては、取得した画像データに対して、あるアルゴリズムにしたがった画像処理を行なうことによって補正処理を行ない、手振れの影響を軽減している。

＜１−３．画像補正方法の概要＞
図４は、実施の形態１に係る画像補正方法を概略的に示すフローチャートである。図４に示される処理は、ユーザがカメラ撮影することによって取得された画像データに対して、ＣＰＵ１２がＲＯＭ１３内のプログラムにしたがって行う処理である。

実施の形態１に係る画像補正方法においては、先ず、撮影によって又は外部メモリ９から又は外部機器用Ｉ／Ｆ部１５を介して外部機器から画像補正装置１１に入力画像データが入力される（ステップＳ１０）。

次に、ＣＰＵ１２は、差分値決定手段として動作する（ステップＳ１１）。ステップＳ１１においては、ＣＰＵ１２は、入力画像の画面領域の全体又は一部からなる差分値決定領域（後述する図５の符合３２）内の注目画素（後述する図５の符合３３ａ）の画像データと、注目画素の周辺に設定された窓領域（後述する図５及び図６の符合３３）内の近傍画素の画像データとの差分値である局所差分値Ｄを複数の近傍画素について算出し、差分値決定領域内の全ての注目画素について算出した局所差分値の中から、最大局所差分値Ｄ_ｍａｘを決定する。なお、画素間の画素データの差分値として、画素間の画素データの差そのものではなく、画素間の画素データの差に応じて変化する他の指標（相違度）を用いることもできる。

次に、ＣＰＵ１２は、入力画像評価手段として動作する（ステップＳ１２）。ステップＳ１２においては、ＣＰＵ１２は、最大局所差分値Ｄ_ｍａｘに基づいて撮像画像内容を評価し、入力画像の特性を反映した閾値Ｄ_ｔを決定する。

次に、ＣＰＵ１２は、フィルタ係数生成手段として動作する（ステップＳ１３）。ステップＳ１３においては、ＣＰＵ１２は、閾値Ｄ_ｔを用いて入力画像の各画素について適応フィルタ係数を生成する。入力画像の各画素の座標を（ｉ，ｊ）とした場合に、適応フィルタ係数はＣ（ｉ，ｊ）で表す。

次に、ＣＰＵ１２は、フィルタ処理手段として動作する（ステップＳ１４）。ステップＳ１４においては、ＣＰＵ１２は、生成された画素毎の適応フィルタ係数Ｃ（ｉ，ｊ）を用いて入力画像に対してフィルタ演算を行なうことによって、画像データを補正し（ステップＳ１４）、補正された画像データを外部メモリ９へ出力する（ステップＳ１５）。

なお、図４に示される画像補正処理は、例えば、以下に示す第１乃至第３の手順で開始される。第１の手順は、撮影画像データをＲＡＭ１４に一時格納し、格納した画像データに対して自動的に図４に示される画像補正処理を行うものである。この場合、手振れの有無にかかわらず、撮影した画像データすべてについて、補正処理を行なうことになる。また、あるアルゴリズムに沿って、撮像画像データの手振れの有無を自動的に機器が判断し、その結果にしたがって補正を行うか否かを判断して動作する場合も、第１の手順に含まれる。第２の手順は、撮影画像データをＲＡＭ１４に一時格納し、その画像データをメインディスプレイ部４に表示させ、表示画像を視認したユーザの操作にしたがって図４に示される画像演算処理を開始するものである。この場合、ユーザの判断にしたがって、撮影した画像データの補正処理を行なうことになる。第３の手順は、撮影画像データを外部メモリ９へ撮影画像データを書き込み、後日、その画像データをメインディスプレイ部４に表示させ、表示画像を視認したユーザの操作にしたがって図４に示される画像補正処理を開始するものである。この場合も、ユーザの判断にしたがって、撮影した画像データの補正処理を行なうことになる。

＜１−４．最大局所差分値決定ステップの説明＞
次に、画像補正処理の内容を詳細に説明する。図５は、実施の形態１に係る画像補正方法において用いられる差分値決定領域３２と窓領域３３を示す図である。また、図６は、実施の形態１に係る画像補正方法において求められる窓領域局所差分値Ｄ_ｗを説明するための図である。

ユーザが携帯端末機器１を手に持ち、被写体を撮影したときの画像データは、通常Ｒ，Ｇ，Ｂ各８ビット（０〜２５５）のデータで構成される。撮影によって取得されたＲＧＢデジタル画像データは、例えば、ＲＡＭ１４又は外部メモリ９から入力され、Ｙデータを得るため、Ｙ，Ｃｂ，Ｃｒ各８ビット（０〜２５５）からなるデジタル画像データへのマトリクス変換処理を行なう。ここで、Ｙデータは輝度データ、Ｃｂデータ及びＣｒデータは色差データである。

ＣＰＵ１２は、マトリクス変換処理を行って出力されたＹ，Ｃｂ，Ｃｒの各データのうち、輝度情報を持つＹデータについて以下に示す最大局所差分値決定の処理（ステップＳ１１）を行なうことで、撮影された画像特性毎に固有の相関値を求める（本実施の形態においては、相関値に対応する指標として差分値を求める）。ここで、図５に示されるように、撮像された画像データサイズが、横方向にＸ_ｈ画素、縦方向にＹ_ｖ画素である場合、入力されるＹデータも横方向にＸ_ｈ画素、縦方向にＹ_ｖ画素（各８ビット）の大きさとなる画像データとなる。以下、座標（ｘ，ｙ）における画素のＹデータを、Ｙ（ｘ，ｙ）と表す。

最大局所差分値Ｄ_ｍａｘを決定する際（図４のステップＳ１１）には、入力画像データに対して、画面領域の中心を基準点３２ａとした差分値決定領域３２のサイズｘ_ＣＲ，ｙ_ＣＲを最初に定義する。差分値決定領域３２のサイズｘ_ＣＲ，ｙ_ＣＲは、
ｘ_ＣＲ≦Ｘ_ｈ
ｙ_ＣＲ≦Ｙ_ｖ
であり、例えば、
（１／４）Ｘ_ｈ≦ｘ_ＣＲ≦（３／４）Ｘ_ｈ
（１／４）Ｙ_ｖ≦ｙ_ＣＲ≦（３／４）Ｙ_ｖ
のように定義される。

なお、図５においては、差分値決定領域３２を画面中央部の部分領域としているが、入力画像データの全体領域を差分値決定領域３２としてもよい。また、差分値決定領域３２の大きさを、任意に変更できるようにしてもよい。

次に、上記方法で決定した差分値決定領域３２内の各々の画像データＹ（ｘ，ｙ）に対して、画素毎に、窓領域３３内の画素との間の局所差分値Ｄ（ｉ，ｊ）を算出する。窓領域３３は、例えば、図５に示した領域となり、その詳細を図６に示す。図６において、黒丸で示された画素３３ａが、差分値決定領域３２内の注目画素である。窓領域３３は、注目画素３３ａに対して水平方向及び垂直上方向に広がる長方形の領域（図５及び図６において、クロスハッチング領域）となる。図６においては、水平方向に３３画素、垂直方向に１７画素の領域を例示しているが、水平方向の画素数が奇数であれば、他の大きさの窓領域３３を定義してもよい。ここで、窓領域３３を、注目画素３３ａの垂直上方向に広がる領域として定義した理由は、以降の処理にかかる演算処理時間の低減を図るためである。したがって、演算処理時間の低減を図る必要がない場合には、窓領域は注目画素の垂直上方向及び垂直下方向の両方に広がる領域として定義することもできる。また、窓領域３３を、注目画素３３ａの垂直下方向に広がる領域、水平右方向に広がる領域、又は、水平左方向に広がる領域として定義することもできる。

図６において、注目画素３３ａに対する窓領域３３の座標を、注目画素３３ａの位置を基準点として、その座標を（０，０）とすると、窓領域３３の右上の画素の座標は（１６，１６）となり、注目画素３３ａと右上の画素の画像データはそれぞれ、Ｙ（ｘ，ｙ）、Ｙ（ｘ＋１６，ｙ＋１６）で表わすことができる。ここで、図５に示される差分値決定領域３２内に存在するある注目画素３３ａの画像データＹ（ｘ，ｙ）と、図６に示される窓領域３３内の座標（ｉ，ｊ）を持つある画素との局所差分値Ｄ（ｉ，ｊ）を、次式で定義する。
Ｄ（ｉ，ｊ）＝｜Ｙ（ｘ，ｙ）−Ｙ（ｘ＋ｉ，ｙ＋ｊ）｜ 式１
ここで、ｉ及びｊは、以下の範囲内の整数である。
−１６≦ｉ≦１６
０≦ｊ≦１６

図７は、実施の形態１に係る画像補正方法において注目画素３３ａからの相対位置に対する局所差分値Ｄ（ｉ，ｊ）の例を示す図である。図７は、式１に示した局所差分値Ｄ（ｉ，ｊ）がとる値の代表的な内容を、１次元方向（ｉ方向又はｊ方向）について示したものである。注目画素３３ａ上における局所差分値Ｄ（ｉ，ｊ）は、０である。注目画素３３ａから離れた位置にある画素との局所差分値Ｄ（ｉ，ｊ）は、図７に示すように、注目画素３３ａから離れるにしたがって大きくなる傾向がある。また、フォーカスや絞り値が適切に合致した場合の手振れのない撮像画像データは、画素同士の相関性が低くなり、手振れがある撮像画像データは、画素同士の相関性が高くなる傾向にある。したがって、手振れ画像データの場合、手振れがないときの画像と比較すると、隣接画素との相関性が高くなり、局所差分値は小さくなる傾向にある。以上のことから、差分値決定領域３２内の注目画素に対して求められた局所差分値Ｄ（ｉ，ｊ）を、取得した撮像画像データ毎に手振れが発生している頻度を示すパラメータとして用いることができる。

上記方法を用いることにより、予め決められた差分値決定領域３２内のすべての画素毎に、窓領域３３における局所差分値Ｄ（ｉ，ｊ）を求める。このとき、例えば、図５に矢印で示したスキャン方法を採用することができる。ここで、差分値決定領域３２内のすべての注目画素３３ａ毎に求めた窓領域３３内の座標（ｉ，ｊ）に対応する局所差分値Ｄ（ｉ，ｊ）について、スキャンした中で一番大きな値を持つ局所差分値を、その撮像画像の窓領域局所差分値と定義し、Ｄ_ｗ（ｉ，ｊ）で表す。

図８は、実施の形態１に係る画像補正方法において窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）を求めるための動作を説明するための図である。図８において、注目画素３３ａの座標を（０，０）とした場合、窓領域３３内の座標（ｉ，ｊ）毎に求めた局所差分値Ｄ（ｉ，ｊ）について、差分値決定領域３２内のすべての画素をスキャンして算出したすべての局所差分値の中で、各座標（ｉ，ｊ）に対応する最大の局所差分値が、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）として示されている。以上の動作を式で表すと、次式２のようになる。なお、「ＭＡＸ_{（ｘ，ｙ）}｛ｆ（ｘ，ｙ）｝」は、差分値決定領域３２内の各座標（ｘ，ｙ）における関数ｆ（ｘ，ｙ）の最大値を意味する。
Ｄ_ｗ（ｉ，ｊ）＝ＭＡＸ_{（ｘ，ｙ）}｜Ｙ（ｘ，ｙ）−Ｙ（ｘ＋ｉ，ｙ＋ｊ）｜ 式２
ここで、ｉ及びｊは、以下の範囲内の整数である。
−１６≦ｉ≦１６
０≦ｊ≦１６

式２における窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）は、撮像画像データの差分値決定領域３２内における画像特性に対して決定されるものであり、取得した手振れ撮像画像の性質（差分値）を表している。また、この場合のｉ及びｊの範囲は、図８と対応させたものであり、実際は使用する窓領域３３の大きさにしたがって他の値をとってもよい。

次に、差分値決定領域３２内をスキャンして求めた窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）をもとに、その中から最大局所差分値Ｄ_ｍａｘを求める。方法としては、図８におけるすべての窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）の中から最大局所差分値Ｄ_ｍａｘを求めてもよいし、演算時間を短くするために、例えば、図８における特定の４点の窓領域局所差分値Ｄ_ｗ（１６，１６）、Ｄ_ｗ（０，１６）、Ｄ_ｗ（−１６，１６）、Ｄ_ｗ（１６，０）だけを抽出し、その中から最大局所差分値Ｄ_ｍａｘを選んでもよい。以上の動作を式で表すと、次式３のようになる。
Ｄ_ｍａｘ＝ＭＡＸ_{（ｉ，ｊ）}｛Ｄ_ｗ（ｉ，ｊ）｝ 式３
ここで、ｉ及びｊは、以下の範囲内の整数である。
−１６≦ｉ≦１６
０≦ｊ≦１６
以上で、最大局所差分値Ｄ_ｍａｘの決定処理を終了する。

＜１−５．入力画像評価ステップの説明＞
次に、ＣＰＵ１２は、入力画像評価（図４のステップＳ１２）を実施する。入力画像評価においては、以下に示す動作を行うことで、取得した撮像画像データ毎に固有の特性値（評価値）を決定する。式３における最大局所差分値Ｄ_ｍａｘは、撮像画像データ毎に差分値決定領域３２内の画像特性に対して決定された一つの定数であり、この値は、取得した手振れ撮像画像の性質（最大の差分値）を表している。また、ｉ及びｊの範囲は、図８と対応させたものであり、実際は使用する窓領域３３の大きさにしたがって他の値をとってもよい。以上の方法によって取得した、ある取得画像データに対応する最大局所差分値Ｄ_ｍａｘを用いて、以下の式に示す閾値Ｄ_ｔを決定する。
Ｄ_ｔ＝ｋ・Ｄ_ｍａｘ 式４

式４におけるｋは、０〜１の範囲内で定められた定数であり、取得した画像データ毎にｋの値を予め決定しておく。通常は、ｋ＝１／２の固定値である。また、ｋを可変値とし、取得した画像データに応じて、ｋを１／２から増加又は減少させてもよい。例えば、取得画像の特性を判断し、ｋの値に反映するような方法が考えられる。以上の動作を行うことで、取得した画像データ毎に画像特性を評価した結果となる閾値Ｄ_ｔを決定し、入力画像評価の動作（図４のステップＳ１２）は終了する。

＜１−５．フィルタ係数生成ステップの説明＞
次に、ＣＰＵ１２は、適応フィルタ係数生成（図４のステップＳ１３）を実施する。入力画像評価の動作を行うことで決定した閾値Ｄ_ｔに基づいて、適応フィルタ係数を生成するステップＳ１３においては、撮像画像データに掛ける適応フィルタ係数Ｃ（ｉ，ｊ）を以下に示す式５，６又は式７〜９で決定する。基本的に、ここで求めるフィルタ係数領域は、窓領域３３の２倍（下半分領域にも拡張）の大きさ（領域）を持つ。

Ｃ（ｉ，ｊ）＝α｛Ｄ_ｗ（ｉ，ｊ）−Ｄ_ｔ｝／Ｄ_ｔ 式５
ここで、ｉ及びｊは、以下の条件を満たす整数である。
（ｉ，ｊ）≠（０，０）

Ｃ（ｉ，ｊ）＝Ｃ（−ｉ，−ｊ） 式６
ここで、ｉ及びｊは、以下の範囲内の整数である。
０＜ｉ≦１６
０＜ｊ≦１６

式２において決定された、窓領域３３の各座標（ｉ，ｊ）に対応した最大の局所差分値である、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）を用いて、式５において定義された適応フィルタ係数の決定方法は、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）と閾値Ｄ_ｔとの差分値｛Ｄ_ｗ（ｉ，ｊ）−Ｄ_ｔ｝を、閾値Ｄ_ｔで正規化することで、窓領域３３の各座標に対応する適応フィルタ係数Ｃ（ｉ，ｊ）とする。

式５は、中心の適応フィルタ係数Ｃ（０，０）を除く、窓領域３３の大きさによって決定されたｉ，ｊの範囲におけるすべての適応フィルタ係数について定義している。

Ｃ（ｉ，ｊ）＝α｛Ｄ_ｗ（ｉ，ｊ）−Ｄ_ｔ｝／Ｄ_ｔ 式７
ここで、ｉ及びｊは、以下の条件を満たす整数である。
Ｄ_ｗ（ｉ，ｊ）＜Ｄ_ｔ
（ｉ，ｊ）≠（０，０）

Ｃ（ｉ，ｊ）＝０ 式８
ここで、ｉ及びｊは、以下の条件を満たす整数である。
Ｄ_ｗ（ｉ，ｊ）≧Ｄ_ｔ
（ｉ，ｊ）≠（０，０）

Ｃ（ｉ，ｊ）＝Ｃ（−ｉ，−ｊ） 式９
ここで、ｉ及びｊは、以下の範囲内の整数である。
０＜ｉ≦１６
０＜ｊ≦１６

図９は、実施の形態１に係る画像補正方法において窓領域３３から有効フィルタ領域３５を決定する方法を説明するための図である。式２において決定された、窓領域３３の各座標（ｉ，ｊ）に対応した最大の局所差分値である、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）を用いて、式５において定義された適応フィルタ係数の決定方法は、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）と閾値Ｄ_ｔとの差分値｛Ｄ_ｗ（ｉ，ｊ）−Ｄ_ｔ｝を、閾値Ｄ_ｔで正規化することで、窓領域３３の各座標に対応する適応フィルタ係数Ｃ（ｉ，ｊ）とするものである。

また、式７乃至９において定義された適応フィルタ係数の決定方法は、式５及び６と同様の方法で決定したフィルタ係数に対して、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）を閾値Ｄ_ｔと比較し、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）が閾値Ｄ_ｔよりも大きな値を持つ座標（ｉ_ｍａｘ，ｊ_ｍａｘ）のフィルタ係数に対しては、０に固定する処理を加えるものである。

式５及び式７においてαは、フィルタの効果を可変できる変数であり、通常はα＝１（固定値）を使用するが、取得された画像毎にαの値を変化させるような可変値をαの値に用いてもよい。

以上に示した方法により、各窓領域３３内の座標（ｉ，ｊ）に対応する適応フィルタ係数Ｃ（ｉ，ｊ）を決定する。ここで、注目画素３３ａの上半分領域のみで定義される窓領域３３から決定された窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）は、図８に示したように上半分領域のみとなることから、決定可能なフィルタ係数も、同じく図９の上半分領域（窓領域３３）のみとなる。そこで、有効画素よりも下半分の係数は、注目画素３３ａを中心とする点対象Ｃ（ｉ，ｊ）＝Ｃ（−ｉ，−ｊ）であると定義することで、図９に全体窓領域３４（窓領域３３を含む）として示した領域全体のフィルタ係数を決定する。

ここで、上記フィルタ係数決定方法を用いた場合、決定されるフィルタ領域は、図９に示した全体窓領域３４の大きさを持つ。しかし、式７乃至９の方法によって決定されたフィルタ領域は、撮像画像の種類によっては閾値Ｄ_ｔの値によりフィルタ係数が０となる座標が多いため、演算時間を考慮すると無駄な演算処理時間が多くなる。そこで、式７乃至９の方法を用いる場合、上記方法で決定した適応フィルタ係数Ｃ（ｉ，ｊ）をいったんＣＰＵ１２にて判断し、ｉ及びｊの各座標軸毎に０でないフィルタ係数が存在する最大座標範囲を求め、求めた座標から得られる小さなフィルタ領域を、新たな有効フィルタ領域３５として使用する方法を用いてもよい。

以上の動作方法を具体的な動作例で示す。例えば、ある取得画像データにおいて式７の方法で決定した、０でない有効なフィルタ係数領域が、図９に示される、格子状ハッチング領域３５ａであった場合、そのフィルタ領域は、ｉ及びｊ毎に有効な最大領域を判断すると、−３≦ｉ≦３及び０≦ｊ≦３の範囲となる。よって、この場合に決定される図９に示した有効フィルタ領域３５は、全体窓領域３４よりも小さな領域として決定される。そこで、ＣＰＵ１２は、図１０に示すように、Ｃ（３，３）を始点として図１０の破線に沿ってスキャンした、Ｃ（１，０）までのフィルタ係数を、Ｃ（０，０）を中心とする点対称位置の座標に配置することで、有効フィルタ領域３５とそのフィルタ係数を決定する。

図１０は、実施の形態１に係る画像補正方法において有効フィルタ領域３５内の各画素の適応フィルタ係数を示す図である。以上の方法により、中心位置以外のフィルタ係数が決定できる。そこで、中心位置の適応フィルタ係数Ｃ（０，０）については、上記の方法で決定したフィルタ領域と係数が、例えば、図１０の範囲（−３≦ｉ≦３，−３≦ｊ≦３）であった場合、以下に示す式１０で決定する。

式１０の方法により、中心位置のフィルタ係数を求めたことで、すべてのフィルタ係数が決定されることになる。ここで、式５，６及び式１０の組み合わせにより決定されたフィルタ係数は、全体窓領域のフィルタサイズを持つことにより、取得した手振れ画像に対して求められた適応フィルタ係数を使用したフィルタ処理をした場合、ハイパスフィルタとなるエッジ強調効果を与えることになる。このように、手振れした撮像画像に対してエッジ強調効果を与えることで、補正画像を視認したユーザは、人間の視覚特性から手振れを認識しにくくなる。

また、式７乃至９及び式１０の組み合わせにより決定された適応フィルタ係数を用いる場合は、式５，６及び式１０の組み合わせにより決定された適応フィルタ係数を用いる場合と比べて、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）が、閾値Ｄ_ｔよりも小さな領域のみのフィルタ係数しか有効にしない手法をとることで、予めエッジが目立つ画像等により、手振れが認識されにくい画像に対しては、フィルタ処理を極力行わないように制御することが可能となる。

さらに、式７乃至９及び式１０の組み合わせにより決定された適応フィルタ係数を用いる場合は、フィルタ係数の値が０となるフィルタ領域をできるだけ削除し、フィルタ係数の値が０でない有効な係数のみを持つフィルタ領域を、取得画像に適用する新たなフィルタサイズとして決定することで、フィルタサイズに全体窓領域を用いる前者の場合と比べて、その処理時間を高速化することが可能となる。

以上の動作を行うことにより、適応フィルタ係数生成手段（ステップＳ１３）は、取得した画像データの特性をある程度考慮した形で、適応的に最適なサイズのフィルタ生成を行ない、フィルタ係数生成処理を終了する。

＜１−６．フィルタ処理ステップの説明＞
適応フィルタ係数生成の処理（図４のステップＳ１３）を行なった後、フィルタ処理の動作（図４のステップＳ１４）として、取得したＹ，Ｃｂ，Ｃｒの各データに対して生成された画素毎の適応フィルタ係数を掛ける。この場合、生成されたフィルタ係数を用い、このフィルタ係数を空間領域の線形フィルタ係数として、例えば、２次元ＦＩＲフィルタ処理をＹ，Ｃｂ，Ｃｒの各データに対して行う。

また、Ｙデータだけに対して適応フィルタ係数を掛けるフィルタリング処理を行い、ＣｂデータとＣｒデータに関してはフィルタリング処理を行わない手法を採用することによって、演算時間を短縮することもできる。また、折り返しによる影響の排除と処理の高速化のために、取得画像毎に、上記方法で決定したフィルタサイズ分に相当する画像の輪郭部分を除いた有効データを、フィルタリング処理後のデータとして出力する処理動作としてもよい。この場合の除いた輪郭部分（余白）には、グレー（階調レベル１２８）又は黒（階調レベル２５５）又は輪郭画素値で埋める等の動作が考えられる。

以上の説明においては、画像の補正をカメラ付き携帯端末機器１で行なうものとして説明したが、デジタルカメラや、デジタルカメラやカメラ付き携帯端末機器で取得した画像（静止画、動画）が入力されたＴＶシステムによって、以上の処理を実施させるようにすることもできる。

また、デジタルカメラやカメラ付き携帯端末機器で撮像した画像を、コンピュータ等の外部機器により補正してもよい。この場合、図４の画像補正処理内容をプログラム化し、ネットワークや記録媒体を介してコンピュータに取り込ませ、コンピュータ上で実行可能にすることもできる。

＜１−７．実施の形態１の効果＞
以上説明したように、実施の形態１に係る画像補正装置１１を搭載したカメラ付き携帯端末機器１によれば、手振れ等の補正要因となる物理量を検出するためのセンサを不要とし、かつ、撮影した手振れ画像に対して適応的な補正処理を簡単な構成で行なうことができ、手振れの軽減された良好な画像を得ることができる。

また、実施の形態１に係る画像補正装置１１によれば、取得画像にフィルタ処理を実行する際に用いられる適応フィルタ係数とフィルタサイズについて、窓領域局所差分値Ｄ_ｗ（ｉ，ｊ）が閾値Ｄ_ｔよりも小さな領域のみのフィルタ係数しか有効にしない手法をとることができるので、予めエッジが目立つ画像等により、手振れが認識されにくい画像に対しては、フィルタ処理を極力行わないように制御することが可能となる。さらに、この動作に加えて、０でない有効な係数のみを持つフィルタ領域を新たに決定することで、処理時間を高速化することが可能となる。

さらに、実施の形態１に係る補正処理方法を、ＰＣによって記録媒体から読み取り可能な又はインターネット等を介したダウンロードによって取得可能なソフトウェアプログラムとした場合には、ＰＣ等の外部機器によって、デジタルカメラやカメラ付き携帯端末機器１で撮像した画像を補正することができる。

実施の形態２．
＜２−１．実施の形態２の構成＞
上記実施の形態１においては、画像補正方法における差分値決定の動作（図４のステップＳ１１）において、その差分値決定領域３２を決定する方法として、撮像画像中心部を基準点とし、撮像画像サイズ以内の任意サイズを設定するように構成した。しかし、撮像画像によっては意図的にユーザが被写体を画面端に寄せて撮影する場合があり、このような場合は撮像画像のフォーカスを画面中央位置ではなく、被写体がある画面端に合わせることとなる。このような状況下で撮影された撮影画像に関しては、実施の形態１の動作の場合、画像中央を基準点として差分値決定領域３２を求めるため、正確な手振れの判断ができない状況が発生する。そこで、実施の形態２においては、画面中央以外の領域（例えば、画面端）にフォーカスを合わせた場合についての手振れ画像撮影時にも、良好な補正ができるように構成した。

一般的に、画面端にフォーカスが合う場合とは、ユーザが意図的に被写体を画面端に配置し、その被写体にカメラの機能を用いてフォーカスを合わせて撮影する場合がほとんどである。これを実現するカメラの機能には、様々な方法が考えられるが、代表的なものとして以下に（１）〜（３）として示す３種の方法が考えられる。
（１）フォーカスロック機能を用いた場合
カメラのフォーカス検出センサ領域が画面中央のみにあり、ユーザは画面中央位置で被写体へのフォーカスを合わせた後、ボタン操作等の何らかの方法でフォーカスをロックし、ロックしたまま被写体を画面内の任意の位置に配置して撮影する方法である。
（２）マルチフォーカス機能を用いた場合
カメラのフォーカス検出センサ領域が、画面中央領域だけでなく、複数の領域にフォーカス検出センサが配置されており、複数のセンサからユーザがフォーカスを合わせたい領域にあるセンサを選択したり、又はカメラが画像処理機能を使用して、自動的に被写体のある領域のセンサを選択することによって、画面中央位置以外の領域にある被写体にフォーカスを合わせて撮影する方法である。
（３）画像処理機能を用いた場合
マルチフォーカス機能のように、予め撮像エリアを分割してあり、その中からユーザがフォーカスを合わせたい領域にある撮像エリアを選択したり、自動的に被写体位置を検出し、分割されたエリアから特定のエリアを選択できる方法である。画像処理機能を用いた場合、フォーカスの検出にはフォーカスロック機能やマルチフォーカス機能のようなセンサを用いず、画像処理によってフォーカス検出を行なう。

以上に示した３種の方法について、実施の形態２においては、マルチフォーカス機能及び画像処理機能で示した撮影画面中央以外の領域へのフォーカス合致機能を装置本体が備える場合、そのフォーカス位置領域設定情報又はフォーカス検出領域情報を、差分値決定領域３２の決定方法に利用することで、画面中央以外の領域にフォーカスが合った手振れ画像に対しても、正常な補正動作を行う。そこで、実施の形態２においては、実施の形態１において説明した、図４で示した画像補正処理方法の動作において、差分値決定（図４のステップＳ１１）における差分値決定領域３２の決定方法のみが実施の形態１と異なる。

図１１は、実施の形態２に係る画像補正方法について、差分値決定領域３２の決定方法を示した説明図である。図１１には、例えば、カメラの機能として撮影画像エリアが領域Ａ１からＡ９までに９分割されているようなフォーカスエリア情報を持つカメラの撮影画像領域が示されている。ここで、ユーザが意図的に、図１１で示された、領域Ａ４を指定してフォーカスを合わせたり、カメラの画像処理機能によって被写体のある領域Ａ４を自動的にカメラが認識した場合、その位置情報をＣＰＵ１２は、差分値決定の動作（図４のステップＳ１１）における、差分値決定領域３２を求める動作に使用する。例えば、図１１においてフォーカス合致領域が領域Ａ４であった場合、領域Ａ４や、領域Ａ４を含むその周辺領域を差分値決定領域３２として使用する方法が考えられる。以上の動作における撮影画像エリア分割数は任意であり、図１１で示した９分割以外の分割数もあり得る。また、上記補正方法を用いた処理を、画像補正装置ではなく、プログラムに記述して他のＰＣ等で行う場合、取得画像データのＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｏｒｍａｔ）情報等に付加されたフォーカスエリア情報を読み取り、その情報から差分値決定領域３２を決定するように動作させてもよい。

＜２−２．実施の形態２の効果＞
以上の動作を、差分値決定処理（図４のステップＳ１１）における差分値決定領域３２の決定方法に使用することで、フォーカスが画面中央以外の領域に合致した手振れ画像に対しても、取得画像の適切な差分値を決定することが可能となり、良好な画像補正効果を得ることができる。

本発明の実施の形態１に係る画像補正装置（すなわち、実施の形態１に係る画像補正方法を実施する装置）を搭載したカメラ付き携帯端末機器の外観を概略的に示すものであり、（ａ）は正面図、（ｂ）は背面図である。 実施の形態１に係る画像補正装置を搭載したカメラ付き携帯端末機器の構成を示すブロック図である。 実施の形態１における携帯端末機器によって撮影された手振れ画像の一例を示す図である。 実施の形態１に係る画像補正方法を示すフローチャートである。 実施の形態１に係る画像補正方法において用いられる差分値決定領域と窓領域を示す図である。 実施の形態１に係る画像補正方法において求められる窓領域局所差分値を説明するための図である。 実施の形態１に係る画像補正方法において注目画素からの相対位置に対する局所差分値の例を示す図である。 実施の形態１に係る画像補正方法において窓領域局所差分値を求めるための動作を説明するための図である。 実施の形態１に係る画像補正方法において窓領域から有効フィルタ領域を決定する方法を説明するための図である。 実施の形態１に係る画像補正方法において有効フィルタ領域内の各画素のフィルタ係数を示す図である。 本発明の実施の形態２に係る画像補正装置（すなわち、実施の形態２に係る画像補正方法を実施する装置）において用いられる分割フォーカスエリアを説明するための図である。

符号の説明

１ 携帯端末機器、 ２ アンテナ、 ３ コマンド入力部、 ４ メインディスプレイ部、 ５ サブディスプレイ部、 ６ レンズユニット部、 ７ 撮像素子部、 ８ 操作入力部、 ９ 外部メモリ、 １０ 外部メモリ用Ｉ／Ｆ部、 １１ 画像補正装置、 １２ ＣＰＵ、 １３ ＲＯＭ、 １４ ＲＡＭ、 １５ 外部機器用Ｉ／Ｆ部、 ２１ 撮影画像、 ２２ 被写体画像、 ２３ ブレ画像、 ３１ 入力画像、 ３２ 差分値決定領域、 ３２ａ 基準点、 ３３ 窓領域、 ３３ａ 注目画素、 ３４ 全体窓領域、 ３５ 有効フィルタ領域、 Ａ１〜Ａ９ フォーカス決定領域（差分値決定領域）。

Claims (10)

1. 入力画像の画面領域の全体または一部からなる領域において、当該領域内の各画素と当該画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出する局所画素間相関算出手段と、
   前記局所画素間相関算出手段から出力される前記領域内の各画素間の局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択する固有相関値決定手段と、
   前記固有相関値決定手段から出力される前記固有相関値に基づいて入力画像の特性を反映した閾値を決定する入力画像評価手段と、
   前記閾値を用いて前記入力画像の適応フィルタ係数を生成するフィルタ係数生成手段と、
   前記適応フィルタ係数を用いて前記入力画像にフィルタ演算を行なうフィルタ処理手段と
   を有することを特徴とする画像補正装置。
2. 前記局所相関値として、画素間の画像データの差分値を用いることを特徴とする請求項１記載の画像補正装置。
3. 画像の水平方向および垂直方向にそれぞれ所定の水平画素数および所定の垂直画素数だけ離れた画素間の画像データに関する相関を表す局所相関値から選択した相関の弱い画素間の局所相関値を、前記所定の水平画素数および所定垂直画素数に対する窓領域局所相関値と定義した場合、
   前記フィルタ係数生成手段による適応フィルタ係数の生成は、
   前記窓領域局所相関値が前記閾値よりも小さい前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を算出する処理と、
   前記窓領域局所相関値が前記閾値以上の前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を０にする処理と
   を含むことを特徴とする請求項１または２に記載の画像補正装置。
4. 前記適応フィルタ係数が０でない領域に基づいて前記フィルタ処理手段によるフィルタ処理を行う有効フィルタ領域を決定することを特徴とする請求項３に記載の画像補正装置。
5. 前記固有相関値決定手段は、前記入力画像の画面領域の一部をフォーカス位置として指定するフォーカス位置情報に基づいて前記固有相関値決定領域を決定することを特徴とする請求項１乃至４のいずれかに記載の画像補正装置。
6. 入力画像の画面領域の全体または一部からなる領域において、当該領域内の各画素と当該画素の近傍の画素との間の画像データに関する相関を表す局所相関値を算出する局所画素間相関算出ステップと、
   前記局所画素間相関算出ステップにおいて得られる前記領域内の各画素間の局所相関値から相関の弱い画素間の局所相関値を固有相関値として選択する固有相関値決定ステップと、
   前記固有相関値決定ステップにおいて得られる前記固有相関値に基づいて入力画像の特性を反映した閾値を決定する入力画像評価ステップと、
   前記閾値を用いて前記入力画像の適応フィルタ係数を生成するフィルタ係数生成ステップと、
   前記適応フィルタ係数を用いて前記入力画像にフィルタ演算を行なうフィルタ処理ステップと
   を有することを特徴とする画像補正方法。
7. 前記局所相関値として、画素間の画像データの差分値を用いることを特徴とする請求項６記載の画像補正方法。
8. 画像の水平方向および垂直方向にそれぞれ所定の水平画素数および所定の垂直画素数だけ離れた画素間の画像データに関する相関を表す局所相関値から選択した相関の弱い画素間の局所相関値を、前記所定の水平画素数および所定垂直画素数に対する窓領域局所相関値と定義した場合、
   前記フィルタ係数生成ステップにおける適応フィルタ係数の生成は、
   前記窓領域局所相関値が前記閾値よりも小さい前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を算出する処理と、
   前記窓領域局所相関値が前記閾値以上の前記所定の水平画素数および所定垂直画素数について適応フィルタ係数を０にする処理と
   を含むことを特徴とする請求項６または７に記載の画像補正方法。
9. 前記適応フィルタ係数が０でない領域に基づいて前記フィルタ処理ステップにおけるフィルタ処理を行う有効フィルタ領域を決定することを特徴とする請求項８に記載の画像補正方法。
10. 前記固有相関値決定ステップは、前記入力画像の画面領域の一部をフォーカス位置として指定するフォーカス位置情報に基づいて前記固有相関値決定領域を決定することを特徴とする請求項６乃至９のいずれかに記載の画像補正方法。

Images