JP2009070384A - 映像復元装置および方法 - Google Patents

Abstract

【課題】 映像を復元する装置および方法が提供される。
【解決手段】 本発明の実施形態による映像復元装置は入力映像から赤、緑および青チャネル別にエッジ強度を検出して赤、緑および青チャネル別にエッジマップを生成するエッジ強度検出部と、検出された緑チャネルのエッジ強度を用いて検出された赤および青チャネルのエッジ強度を補正するエッジ強度補正部と、補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する有効値生成部と、有効値に対応する点拡散関数を推定する点拡散関数推定部および点拡散関数を用いて入力映像を復元する映像復元部を含む。
【選択図】 図２

Description

本発明は映像処理技術に関するものであって、より詳細には入力映像（ｉｍａｇｅ）の赤、緑、青チャネル別のエッジ強度を用いて距離に対応する有効値を生成し、これを用いて鮮明度が最も高いチャネルとこれに対応する点拡散関数を推定して映像を復元する装置および方法に関するものである。

映像撮影装置において画質低下をもたらす重要な要因として不正確な焦点距離調節にともなう焦点の劣化がある。多くの商用化された製品には焦点劣化を防止するための多様な方式の自動焦点（ａｕｔｏ−ｆｏｃｕｓｉｎｇ、ＡＦ）システムを採用している。

従来の映像処理システムに適用されている自動焦点調節方法には赤外線方式（Ｉｎｆｒａｒｅｄ ａｕｔｏ−ｆｏｃｕｓｉｎｇ、ＩＲＡＦ）とセミデジタル焦点調節方式（Ｓｅｍｉ−ｄｉｇｉｔａｌ ａｕｔｏ−ｆｏｃｕｓｉｎｇ、ＳＤＡＦ）の二つの種類がある。赤外線方式は、解釈モジュールで波長の往復の距離を用いて焦点が正確であるかを把握し、解釈モジュールで判断した結果を用いて制御モジュールでレンズの位置を移動させることによって焦点を調節する。また、セミデジタル焦点調節方式は、解釈モジュールで高周波成分を計算することによって焦点が正確であるかを判断し、制御モジュールでは赤外線方式と同様にレンズの位置を移動させることによって焦点を調節する。しかし、このような方式は解釈モジュールでの焦点との関係に対する信頼性および制御モジュールでレンズの動きに伴うモータ駆動部の必要性と焦点映像を調べるあいだの時間が遅れる問題点があった。

前記した問題を解決するため、レンズの駆動を必要とせず映像処理システムの特性に合わせて劣化した映像を復元する完全デジタル焦点調節方法（Ｆｕｌｌｙ ｄｉｇｉｔａｌ ａｕｔｏ−ｆｏｃｕｓｉｎｇ、ＦＤＡＦ）に代替する必要性が提起された。

完全デジタル焦点調節方法（Ｆｕｌｌｙ ｄｉｇｉｔａｌ ａｕｔｏ−ｆｏｃｕｓｉｎｇ、ＦＤＡＦ）は、解釈モジュールと制御モジュールすべてがデジタル信号処理によって具現される。完全デジタル焦点調節方法は、解釈モジュールで焦点程度を測定する代わりに入力映像で点拡散関数（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ、ＰＳＦ）を推定する。そして、制御モジュールでは解釈モジュールで推定された点拡散関数と映像復元技法を用いて焦点が合った映像を提供する。

一般的に入力映像で適切な点拡散関数を推定するために入力映像のブラーレベル（Ｂｌｕｒ Ｌｅｖｅｌ）を推定（Ｂｌｕｒ Ｅｓｔｉｍａｔｉｏｎ）するようになる。従来に入力映像を通してブラーレベルを推定するために使用する方法は多様である。

先ず、リブラー（Ｒｅ−ｂｌｕｒｒｅｄ）された多数のイメージと入力映像との間に存在する差を使用して知らされていないブラー半径（Ｂｌｕｒ ｒａｄｉｕｓ）を決定することによってブラーレベルを推定した。しかし、このような方法は複雑な映像の形態またはノイズによってブラーレベルを推定する時にエラーが発生し、距離別のブラーレベルに該当する点拡散関数を推定することができないという問題点があった。

一方、イメージのブラーレベルを推定するためにＲＧＢチャネルを検出して比較する方法として、鮮明なチャネル（Ｓｈａｒｐ ｃｈａｎｎｅｌ）とぼやけたチャネル（Ｂｌｕｒｒｅｄ ｃｈａｎｎｅｌ）との間の相関関係を分析してブラーカーネル（Ｂｌｕｒ Ｋｅｒｎｅｌ）を推定する方法がある。また、イメージのＨＦＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ Ｆｅａｔｕｒｅ）に該当する第１および第２カラーチャネルを比較してブラー現象によって第２チャネルから漏れた情報を抽出してブラーレベルを推定する方法がある。

しかし、前記のような方法を使用する場合にも複雑な映像の形態によってブラーレベルを推定する時にエラーが生ずる問題点が発生した。また、チャネル間のブラーレベル程度の相対的な差の確認は可能であったが、距離別のブラーレベルに該当する点拡散関数を推定することはできないという問題点があった。

したがって、多様な映像に対して距離に応じる正確な点拡散関数を推定することが非常に重要であると見られる。

日本特開平5-168029号公報

本発明は前記した問題点を改善するために考案されたものであって、本発明が解決しようとする課題は多様な入力映像に対して距離別のブラーレベルを代表する有効値を計算し、これによって距離に応じる正確な点拡散関数および鮮明度が最も高いチャネルを推定し、入力映像を復元する装置および方法を提供しようとするものである。

本発明の技術的課題は以上に言及したものに制限されず、言及されていないまた他の技術的課題は次の記載から当業者に明確に理解できるであろう。

前記した技術的課題を達成するため、本発明の一実施形態による映像復元装置は、入力映像から赤、緑および青チャネル別にエッジ強度を検出して、前記赤、緑および青チャネル別にエッジマップを生成するエッジ強度検出部と、前記検出された緑チャネルのエッジ強度を用いて、前記検出された赤および青チャネルのエッジ強度を補正するエッジ強度補正部と、前記補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する有効値生成部と、前記有効値に対応する点拡散関数を推定する点拡散関数推定部および前記点拡散関数を用いて、前記入力映像を復元する映像復元部を含む。

前記した技術的課題を達成するために、本発明の一実施形態による映像キャプチャーシステムは、被写体から映像を撮影する撮像素子と、前記撮影のためのレンズおよび絞りを調節する駆動回路および前記撮影された映像に含まれたブラーを除去する映像復元装置を含み、前記映像復元装置は入力映像から赤、緑および青チャネル別にエッジ強度を検出して、前記赤、緑および青チャネル別にエッジマップを生成するエッジ強度検出部と、前記検出された緑チャネルのエッジ強度を用いて前記検出された赤および青チャネルのエッジ強度を補正するエッジ強度補正部と、前記補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する有効値生成部と、前記有効値に対応する点拡散関数を推定する点拡散関数推定部および前記点拡散関数を用いて前記入力映像を復元する映像復元部を含む。

前記した技術的課題を達成するために、本発明の一実施形態による映像復元方法は、入力映像から赤、緑および青チャネル別にエッジ強度を検出して、前記赤、緑および青チャネル別にエッジマップを生成する段階と、前記検出された緑チャネルのエッジ強度を用いて前記検出された赤および青チャネルのエッジ強度を補正する段階と、前記補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する段階と、前記有効値に対応する点拡散関数を推定する段階および前記点拡散関数を用いて前記入力映像を復元する段階を含む。

前記したような本発明の映像復元装置および方法によれば次のような効果が一つまたはそれ以上ある。

第一に、多様な入力映像に対して距離別のブラーレベルを代表する有効値を計算し、これによって距離に応じる正確な点拡散関数および鮮明度が最も高いチャネルを推定することができる。

第二に、本発明によれば、アクチュエータを必要とする撮影装置の自動フォーカス機能を映像処理によるデジタル自動フォーカス機能に代替することができるため、カメラの小型化、低価額化に寄与することができる。

本発明の効果は、以上で言及した効果に制限されず、言及されていないまた他の効果は請求範囲の記載から当業者に明確に理解できるであろう。

本発明の利点及び特徴、そして、それらを達成する方法は、図面と共に詳細に後述する実施形態を参照すると明確になる。しかし、本発明は以下で開示される実施形態に限定されず、互いに異なる多様な形態で具現することができ、単に本実施形態は、本発明の開示が完全になるように、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものである。明細書全体において同一参照符号は同一構成要素を示す。

以下添付された図を参照し、本発明の実施形態を詳細に説明する。

図１は、本発明の一実施形態による映像キャプチャーシステムの構成を示すブロック図である。

映像キャプチャーシステム２００は、例えば、レンズ２０５、絞り２１０、イメージセンサ２１５、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ、２２０）、映像復元装置１００、メモリ２２５、駆動回路２３０、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、２３５）、および操作手段２４０を含み構成され得る。映像キャプチャーシステム２００は映像撮影装置など多様な映像処理システムを含み得る。

被写体からの映像光はレンズ２０５および絞り２１０を通じてイメージセンサ２１５に入射される。イメージセンサ２１５（Ｉｍａｇｅ Ｓｅｎｓｏｒ）は、被写体情報を検知して電気的な映像情報に変換する部分であって、ＣＣＤ、ＣＭＯＳ、その他当業界に知らされた映像獲得手段でなされ得る。イメージセンサ２１５の撮像面に結像された画像のアナログ信号はＡＤＣ２２０によってデジタル映像信号に変換される。前記変換されたデジタル映像信号は本発明の一実施形態による映像復元装置１００に入力される。映像復元装置１００は入力された映像信号を処理して出力映像の品質を向上させる。映像復元装置１００に関するより詳しい説明は図２を参照して後述する。

映像復元装置１００によって処理された映像はメモリ２２５に保存される。メモリ２２５は例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、およびフラッシュメモリ（Ｆｌａｓｈ ｍｅｍｏｒｙ）のような非揮発性メモリ素子またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリ素子、ハードディスク、光ディスクのような保存媒体などで具現され得る。

一方、任意の操作手段２４０からの信号がシステム制御用のＣＰＵ２３５に供給され、ＣＰＵ２３５からの制御信号が映像復元装置１００やメモリ２２５に供給され、映像復元装置１００によって補正された映像の記録が制御される。また、ＣＰＵ２３５は絞り２１０を調節したりイメージセンサ２１５での露光時間（シャッターの速度）またはＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）を調節したりする駆動回路２３０に制御信号を供給する。

図２は本発明の一実施形態による映像復元装置１００の構成を示すブロック図である。

本発明の一実施形態による映像復元装置１００は、映像入力部１１０、エッジ強度検出部１２０、エッジ強度補正部１３０、有効値生成部１４０、点拡散関数推定部１５０、映像復元部１６０を含み構成され得る。

映像復元装置１００は、図１のように映像キャプチャーシステム２００での内部構成要素として動作することもできるが、独立的装置としてコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、携帯電話などに搭載し動作することもできる。

映像入力部１１０は、所定のメモリに保存された映像の入力を受ける。この時、映像入力部１１０は前記原映像を各成分別（例：ＲＧＢ、ＹＣｂＣｒ）に分離することもできる。一般的に、映像は単一成分で形成されるものではなく、３次元成分で形成されるからである。本発明において映像復元装置１００は前記元の映像のそれぞれの成分に対して同一に適用され得る。

エッジ強度検出部１２０は、入力映像から赤、緑および青チャネル別にエッジ強度（Ｅｄｇｅ Ｓｔｒｅｎｇｔｈ、ＥＳ）を検出して赤、緑および青チャネル別にエッジマップ（Ｅｄｇｅ Ｍａｐ）を生成する。

これは各チャネル別のブラー（Ｂｌｕｒ）の程度、すなわちブラーレベル（Ｂｌｕｒ Ｌｅｖｅｌ）を計算するためである。映像のブラーレベルはイメージの鮮明度（Ｓｈａｒｐｎｅｓｓ）と密接な関連がある。

一般的に、映像キャプチャーシステム２００で映像を撮影する時には光の波長（Ｗａｖｅｌｅｎｇｔｈ）にともなう屈折率（Ｉｎｄｅｘ ｏｆ ｒｅｆｒａｃｔｉｏｎ）の差は結像の差を発生させるため、赤、緑または青チャネルとの間に鮮明度（Ｓｈａｒｐｎｅｓｓ）の差を形成する。したがって、レンズ２０５とイメージセンサ２１５の位置が決まった場合、イメージセンサ２１５での結像は被写体の位置によって変わる。このような現象は軸上色収差（Ｌｏｎｇｉｔｕｄｉｎａｌ ｃｈｒｏｍａｔｉｃ ａｂｅｒｒａｔｉｏｎ）によって発生する。色収差（Ｃｈｒｏｍａｔｉｃ ａｂｅｒｒａｔｉｏｎ）とは、光の波長に応じて像の位置とサイズが変わる収差であって、光学ガラスの屈折率が光の波長に応じて変わるため生ずる収差である。軸上色収差は、軸上物体の結像で波長に応じる像の位置の変化量を意味する。

図３は、被写体からイメージセンサ２１５までの距離に応じる赤、緑および青チャネル別の鮮明度を比較したグラフである。

図３において被写体からイメージセンサ２１５までの距離（被写体からレンズまでの距離であり得る。以下同様）に対応するチャネル別の鮮明度は距離別、チャネル別の点拡散関数データをＭＴＦ５０値に換算した数値を用いて示し得る。ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）データは実験レンズの性能を測定する最も客観的な方法であって、距離別の点拡散関数データをフーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）することで得ることができる。ＭＴＦ５０値はＭＴＦデータの最も大きい値の５０％の値を意味する。ＭＴＦ５０値は距離およびチャネルに応じて決定され得る。

図３に示すように、近くにある被写体の場合、赤および緑チャネルでブラー（Ｂｌｕｒ）現象が生じ、遠く離れている被写体の場合、青および緑チャネルでブラー現象が生ずる。すなわち、近くにある被写体の場合、青チャネルが最も鮮明になり、遠く離れている被写体の場合、赤チャネルで最も鮮明になる。本発明の一実施形態による映像復元装置および方法は光の波長に応じ屈折率の差があるという光学的特徴（Ｏｐｔｉｃａｌ Ｆｅａｔｕｒｅ）を適用する。

図４は、入力映像から赤、緑および青チャネル別にエッジ強度を検出してエッジマップを生成する過程を示す図である。

先ず、赤、緑および青チャネルそれぞれのエッジ強度を検出するため、入力映像１２１から赤、緑および青チャネル別にイメージ１２２、１２４、１２６を分離することができる。前述したように、映像入力部１１０で入力映像１２１をチャネル別に分離することもできる。

入力映像１２１から分離された赤、緑および青チャネルそれぞれのイメージ１２２、１２４、１２６から赤、緑および青チャネルのエッジ強度を検出するためにハイパスフィルタ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ、ＨＰＦ）を適用することができる。ハイパスフィルタは遮断周波数（通過帯と減衰帯との間の境界周波数）より高い周波数の信号は減衰せず通過するが、これより低い周波数信号に対しては減衰を与えるようにしたフィルタである。ハイパスフィルタの例として、（式１）のようなラプラシアンフィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）を用いることができる。

また、入力映像１２１から赤、緑および青チャネルのエッジ強度は２次元フィルタ（２−Ｄ Ｆｉｌｔｅｒ）によって検出され得る。２次元フィルタの例として、（式２）のようなゾーベルフィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）などを用いることができる。

前記のような方法で赤、緑および青チャネルのエッジ強度を検出した後、各チャネル別にエッジ強度を表すエッジマップ（Ｅｄｇｅ Ｍａｐ） １２３、１２５、１２７を形成することができる。一方、赤、緑および青チャネルのエッジ強度は被写体からイメージセンサ２１５までの距離によって決まる。

また図２を参照するに、エッジ強度補正部１３０は検出された緑チャネルのエッジ強度を用いて検出された赤および青チャネルのエッジ強度を補正する。

赤および青チャネルのエッジ強度を補正する理由は、赤および青チャネルのエッジ強度を用いた各種数値計算においてノイズ（Ｎｏｉｓｅ）による影響を減少させるためである。すなわち、補正によるノイズに影響を受けない赤および青チャネルのエッジマップを形成する。

一般的にイメージセンサ２１５は緑チャネルのノイズに対して比較的敏感に反応しないため、緑チャネルのノイズは赤または青チャネルのノイズより少ない。したがって、赤または青チャネルにおいてイメージセンサ２１５などによるノイズがエッジとみなされる副作用を減少させるため、緑チャネルを用いて主要なエッジ強度を形成する。

好ましくは、赤および青チャネルのエッジ強度を補正するため、緑チャネルのエッジ強度によって形成されたウェイト（Ｗｅｉｇｈｔ）を用いることができる。

図５Ａは、緑チャネルのエッジマップ上の任意の点（ｘ、ｙ）でのエッジ強度によって形成されたウェイトを示すグラフであり、図５Ｂは、緑チャネルのエッジ強度によって形成されたウェイトを適用して赤および青チャネルのエッジ強度を補正することを示す図である。

図５Ａに示すように、ウェイトは緑チャネルのエッジマップ上の任意の点（ｘ、ｙ）でのエッジ強度を示す相対的な値であり、緑チャネルのエッジマップ上のエッジ強度全体範囲において０から１との間の値を有するように正規化（Ｎｏｒｍａｌｉｚｉｎｉｇ）されている。

図５Ｂに示すように、エッジ強度検出部１２０から検出された緑チャネルのエッジ強度１２５からウェイト１３１を計算し、ウェイト１３１を検出された赤および青チャネルのエッジ強度１２３、１２７に適用して補正された赤および青チャネルのエッジ強度１３２、１３３を算出する。このような補正は赤または青チャネルのエッジマップに対する全体領域にかけてなされ得る。

好ましくは、本発明の一実施形態による映像復元装置において赤または青チャネルのエッジマップ上の任意の点（ｘ、ｙ）でのエッジ強度を補正する方法は次の通りである。
（式３）
Ｒｅｄ ＥＳ Ｃｏｍｐｅｎｓａｔｉｏｎ（ｘ， ｙ） ＝ Ｗ × ＥＳ ｏｆ Ｒｅｄ（ｘ， ｙ）
Ｂｌｕｅ ＥＳ Ｃｏｍｐｅｎｓａｔｉｏｎ（ｘ， ｙ） ＝ Ｗ × ＥＳ ｏｆ Ｂｌｕｅ（ｘ， ｙ）

ここで、Ｗは緑チャネルのエッジマップ上の任意の点（ｘ、ｙ）でのエッジ強度にともなうウェイトを、ＥＳ ｏｆ Ｒｅｄ（ｘ、ｙ）またはＥＳ ｏｆ Ｂｌｕｅ（ｘ、ｙ）は、それぞれ赤または青チャネルのエッジマップ上の点（ｘ、ｙ）でのエッジ強度を、Ｒｅｄ ＥＳ Ｃｏｍｐｅｎｓａｔｉｏｎ（ｘ、ｙ）またはＢｌｕｅ ＥＳ Ｃｏｍｐｅｎｓａｔｉｏｎ（ｘ、ｙ）は、それぞれ赤または青チャネルのエッジマップ上の点（ｘ、ｙ）での補正されたエッジ強度を表す。すなわち、赤または青チャネルのエッジマップ上の任意の点（ｘ、ｙ）でのエッジ強度に緑チャネルのエッジマップ上に対応する点（ｘ、ｙ）でのエッジ強度にともなうウェイトを乗じ、赤または青チャネルのエッジマップ上の任意の点（ｘ、ｙ）での補正されたエッジ強度を算出する。

例えば、緑チャネルのエッジマップ上には存在せず赤または青チャネルのエッジマップ上にのみ存在するエッジは、ウェイト値が０であるため、補正によって存在しないエッジとして処理される。すなわち、ノイズとして認識し除去することによって、ノイズがエッジとみなされる副作用を減少させることができる。

また図２を参照するに、有効値生成部１４０は、補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する。

ブラーレベルを示す有効値とは、被写体からイメージセンサ２１５までの距離に対応する絶対的な値を意味する。したがって、有効値は入力映像の形態に影響を受けない。また、前述したように、エッジ強度補正部１３０によって補正された赤または青チャネルのエッジ強度を用いるため、有効値はノイズに対しても影響を受けない。

前述したように、従来にはブラーレベルを推定する時に入力映像の形態またはノイズによってエラーが生ずる問題点があった。しかし、本発明の一実施形態による映像復元装置によれば、ブラーレベルを推定するにおいて入力映像の形態またはノイズに影響を受けず、被写体からイメージセンサ２１５までの距離に対応する有効値だけを用いるため、前記のような問題点を解決することができる。

好ましくは、本発明の一実施形態による映像復元装置において被写体からイメージセンサ２１５までの距離の対応にともなうブラーレベルを表す有効値を生成する方法は次の通りである。

（式４）に示すように、有効値は補正された赤チャネルのエッジ強度の全体の合計（Ｓｕｍｍａｔｉｏｎ）と補正された青チャネルのエッジ強度の全体合計の比（Ｒａｔｉｏ）で示し得る。前述したように、赤または青チャネルのエッジ強度は被写体からイメージセンサ２１５までの距離によって決まるため、前記有効値もやはり距離に対応する絶対的な値となる。

一方、また図３を参照するに、近くにある被写体の場合、赤チャネルのエッジ強度は相対的に小さく、青チャネルのエッジ強度は大きいため、有効値は１より小さくなる。反対に、遠く離れている被写体の場合には有効値は１より大きくなるであろう。

また図２を参照するに、点拡散関数推定部１５０は有効値に対応する点拡散関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、ＰＳＦ）を推定する。好ましくは、有効値生成部で生成した有効値を多様な距離で撮影された映像の有効値と比較することによって、有効値生成部で生成した有効値とマッチされる被写体からイメージセンサ２１５までの距離を算出し、算出した距離に応じる鮮明度が最も高いチャネル（Ｓｈａｒｐｅｓｔ Ｃｈａｎｎｅｌ）とこれに該当する点拡散関数を推定することができる。

本発明の一実施形態による映像復元装置は有効値に対応する点拡散関数を推定するために多様な距離で撮影された映像の有効値を用いることができる。好ましくは、オフライン（Ｏｆｆ−ｌｉｎｅ）上において繰り返して多様な距離で撮影された映像から得た有効値と被写体からイメージセンサ２１５までの距離との関係を示すグラフまたは表を用いることができる。すなわち、有効値とマッチングされる被写体からイメージセンサ２１５までの距離を実験的に算出することができる。

図６は、多様な距離で撮影された映像から得た有効値と距離との関係を示すグラフとこれに対応する表を示す例示図である。

多様な距離で撮影された映像から得た有効値と距離との関係は次のように算出することができる。先ず、所定の距離で撮影された映像を赤、緑および青チャネルに分離し、鮮明度が最も高いチャネルを求め、所定の距離および鮮明度が最も高いチャネルに該当する点拡散関数を算出する。一般的に、撮影装置のレンズの距離に応じる点拡散関数はレンズの仕様であるため、被写体からイメージセンサ２１５までの距離が与えられればその距離に対応する点拡散関数を算出することができる。

次に、赤、緑および青チャネル別にエッジ強度を抽出して緑チャネルのエッジ強度を用い、赤および青チャネルのエッジ強度を補正した後、補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を求める。有効値は前述したように、（式１）によって算出することができる。

最後に、有効値と被写体からイメージセンサ２１５までの距離との関係を整理して図６のようなグラフを構成する。また、有効値と距離、該当距離において鮮明度が最も高いチャネルおよび点拡散関数の関係を表で構成することもできる。

このように作成されたグラフまたは表を用い、有効値生成部で生成した有効値から正確な点拡散関数を推定することができる。例えば、有効値生成部で生成した有効値１５１が０．５であると仮定すれば、生成された有効値に該当する距離１５２は図６のグラフまたは表によって、約３０ｃｍであり、この距離に該当する鮮明度が最も高いチャネル１５３は青チャネルであることが分かる。したがって、距離３０ｃｍと青チャネルに該当する点拡散関数を推定することができる。距離別、チャネル別点拡散関数は光学用設計プログラムなどを用いて簡単に算出することができるため、これに対する説明は省略する。

また図２を参照するに、映像復元部１６０は点拡散関数推定部１５０で求めた点拡散関数を用いて入力映像を復元する。

本発明の一実施形態による映像復元装置によれば、映像復元部１６０は点拡散関数にデコンボリューションフィルタ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ Ｆｉｌｔｅｒ）を適用してブラーを除去することによって映像を復元するようになる。ブラーを除去するために、与えられた点拡散関数に適用されるデコンボリューションフィルタとして代表的にウイナーフィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）、ルーシーリチャードソンフィルタ（Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ ｆｉｌｔｅｒ）などが知られている。

例えば、ウイナーフィルタ（Ｈ_ｗ）は次の（式５）のように定義されると知られている。

ここで、ｕ、ｖは周波数ドメインでの二つの座標成分であり、Ｄ（ｕ、ｖ）は前記精製されたＰＳＦを周波数ドメインに変換したＰＳＦであり、Ｄ^＊（ｕ、ｖ）はＤ（ｕ、ｖ）の共役（ｃｏｎｊｕｇａｔｅ）である。そして、Ｓｎ（ｕ、ｖ）は雑音のパワースペクトラムであり、Ｓｉ（ｕ、ｖ）は理想的イメージのパワースペクトラムである。Ｈ_ｗをフィルタリングしようとするピクセルを中心とした映像の領域に適用し、Ｈ_ｗと映像の領域間のコンボリューション（対応される値との間の積の合計を意味する）を計算すれば、ピクセルがフィルタリングされた結果、すなわちデブラー（ｄｅｂｌｕｒｒｅｄ）された結果のピクセル値が算出される。

今まで図２の各構成要素はメモリ上の所定領域で遂行されるタスク、クラス、サブ ルーチン、プロセス、オブジェクト、実行スレッド、プログラムのようなソフトウェアや、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェアで具現され得、また前記ソフトウェアおよびハードウェアの組み合わせで形成され得る。前記構成要素はコンピュータで判読可能な保存媒体に含み得、複数のコンピュータにその一部が分散されて分布され得る。

前記のように構成される本発明による映像復元装置の作用を説明すれば次の通りである。

図７は、本発明の一実施形態による映像復元方法を示す順序図であり、図８は本発明の一実施形態による映像復元方法を示すブロック図である。

先ず、入力映像１２１から赤、緑および青チャネル別にイメージ１２２、１２４、１２６を分離して（Ｓ３０１）、赤、緑および青チャネル別にエッジ強度を検出して赤、緑および青チャネル別にエッジマップを生成する（Ｓ３０２）。

そして、検出された緑チャネルのエッジ強度１２５を用いて検出された赤および青チャネルのエッジ強度１２３、１２７を補正する（Ｓ３０３）。赤および青チャネルのエッジ強度１２３、１２７を補正することによってノイズに影響を受けない赤および青チャネルのエッジマップを形成する。

次に、補正された赤および青チャネルのエッジ強度１３２、１３３からブラーレベルを示す有効値を生成する。有効値は入力映像１２１の形態またはノイズの影響を受けず、ただ被写体からイメージセンサ２１５までの距離に対応される値である。有効値は前述したように（式１）によって算出することができる。

次に、有効値に対応する点拡散関数を推定する（Ｓ３０５）。好ましくは、有効値生成部で生成した有効値を多様な距離で撮影された映像の有効値と比較することによって、有効値生成部で生成した有効値とマッチされる被写体からイメージセンサ２１５までの距離を算出し、算出した距離に応じる鮮明度が最も高いチャネルとこれに該当する点拡散関数を推定することができる。この時、繰り返しによって、多様な距離で撮影された映像から得た有効値と被写体からイメージセンサ２１５までの距離との関係を示すグラフまたは表を用いることができる。

最後に、点拡散関数を用い、入力映像を復元する（Ｓ３０６）。

本発明が属する技術分野の通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず他の具体的な形態で実施され得るということを理解できるものである。したがって以上で記述した実施形態はすべての面で例示的なものであり、限定的でないものと理解しなければならない。本発明の範囲は前記詳細な説明よりは特許請求の範囲によって規定される。特許請求の範囲の意味および範囲そしてその均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈されなければならない。

本発明の一実施形態による映像キャプチャーシステムの構成を示すブロック図である。 本発明の一実施形態による映像復元装置の構成を示すブロック図である。 被写体からイメージセンサまでの距離に応じる赤、緑および青チャネル別鮮明度を比較したグラフである。 入力映像から赤、緑および青チャネル別にエッジ強度を検出し、エッジマップを生成する過程を示す図である。 緑チャネルのエッジマップ上の任意の点（ｘ、ｙ）でのエッジ強度によって形成されたウェイトを示すグラフである。 緑チャネルのエッジ強度によって形成されたウェイトを適用して赤および青チャネルのエッジ強度を補正することを示す図である。 多様な距離で撮影された映像から得た有効値と距離との関係を示すグラフとこれに対応するテーブルを示す例示図である。 本発明の一実施形態による映像復元方法を示す順序図である。 本発明の一実施形態による映像復元方法を示すブロック図である。

符号の説明

１００ 映像復元装置
１１０ 映像入力部
１２０ エッジ強度検出部
１３０ エッジ強度補正部
１４０ 有効値生成部
１５０ 点拡散関数推定部
１６０ 映像復元部
２００ 映像キャプチャーシステム
２０５ レンズ
２１０ 絞り
２１５ イメージセンサ
２２０ ＡＤＣ
２２５ メモリ
２３０ 駆動回路
２３５ ＣＰＵ
２４０ 操作手段

Claims (19)

1. 入力映像から赤、緑および青チャネル別にエッジ強度を検出して、前記赤、緑および青チャネル別にエッジマップを生成するエッジ強度検出部と、
   前記検出された緑チャネルのエッジ強度を用いて前記検出された赤および青チャネルのエッジ強度を補正するエッジ強度補正部と、
   前記補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する有効値生成部と、
   前記有効値に対応する点拡散関数を推定する点拡散関数推定部、および
   前記点拡散関数を用いて前記入力映像を復元する映像復元部を含む映像復元装置。
2. 前記エッジ強度検出部は、ハイパスフィルタを適用してチャネル別にエッジ強度を検出する、請求項１に記載の映像復元装置。
3. 前記ハイパスフィルタはラプラシアンフィルタである、請求項２に記載の映像復元装置。
4. 前記エッジ強度補正部は、前記緑チャネルのエッジ強度によって形成されたウェイトを用いて前記赤または青チャネルのエッジ強度を補正する、請求項１に記載の映像復元装置。
5. 前記補正された赤または青チャネルのエッジ強度は、前記検出された赤または青チャネルのエッジ強度と前記緑チャネルのエッジ強度によって形成されたウェイトを乗じて算出する、請求項４に記載の映像復元装置。
6. 前記有効値は前記補正された赤チャネルのエッジ強度の全体の合計と前記補正された青チャネルのエッジ強度の全体の合計の比で算出する、請求項１に記載の映像復元装置。
7. 前記点拡散関数推定部は、前記有効値を多様な距離で撮影された映像の有効値と比較することによって、前記有効値とマッチされる被写体からイメージセンサまでの距離を算出し、前記算出した距離に応じる鮮明度が最も高いチャネルとこれに該当する点拡散関数を推定する、請求項１に記載の映像復元装置。
8. 前記映像復元部は、前記点拡散関数にデコンボリューションフィルタを適用してブラーを除去することによって前記入力映像を復元する、請求項１に記載の映像復元装置。
9. 前記デコンボリューションフィルタはＷｉｅｎｅｒフィルタまたはＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎフィルタである、請求項８に記載の映像復元装置。
10. 被写体から映像を撮影する撮像素子と、
    前記撮影のためのレンズおよび絞りを調節する駆動回路、および
    前記撮影された映像に含まれたブラーを除去する映像復元装置を含む映像キャプチャーシステムにおいて、
    前記映像復元装置は、
    入力映像から赤、緑および青チャネル別にエッジ強度を検出し、前記赤、緑および青チャネル別にエッジマップを生成するエッジ強度検出部と、
    前記検出された緑チャネルのエッジ強度を用いて、前記検出された赤および青チャネルのエッジ強度を補正するエッジ強度補正部と、
    前記補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する有効値生成部と、
    前記有効値に対応する点拡散関数を推定する点拡散関数推定部、および
    前記点拡散関数を用いて、前記入力映像を復元する映像復元部を含む映像キャプチャーシステム。
11. 入力映像から赤、緑および青チャネル別にエッジ強度を検出して、前記赤、緑および青チャネル別にエッジマップを生成する段階と、
    前記検出された緑チャネルのエッジ強度を用いて、前記検出された赤および青チャネルのエッジ強度を補正する段階と、
    前記補正された赤および青チャネルのエッジ強度からブラーレベルを示す有効値を生成する段階と、
    前記有効値に対応する点拡散関数を推定する段階、および
    前記点拡散関数を用いて、前記入力映像を復元する段階を含む映像復元方法。
12. 前記チャネル格別にエッジ強度を検出する段階は、ハイパスフィルタを適用して、チャネル別にエッジ強度を検出する、請求項１１に記載の映像復元方法。
13. 前記ハイパスフィルタはラプラシアンフィルタである、請求項１２に記載の映像復元方法。
14. 前記検出された赤および青チャネルのエッジ強度を補正する段階は、前記緑チャネルのエッジ強度によって形成されたウェイトを用いて、前記赤または青チャネルのエッジ強度を補正する、請求項１１に記載の映像復元方法。
15. 前記補正された赤または青チャネルのエッジ強度は、前記検出された赤または青チャネルのエッジ強度と前記緑チャネルのエッジ強度によって形成されたウェイトを乗じて算出する、請求項１４に記載の映像復元方法。
16. 前記有効値は前記補正された赤チャネルのエッジ強度の全体の合計と前記補正された青チャネルのエッジ強度の全体の合計の比で算出する、請求項１１に記載の映像復元方法。
17. 前記点拡散関数を推定する段階は、前記有効値を多様な距離で撮影された映像の有効値と比較することによって、前記有効値とマッチされる被写体からイメージセンサまでの距離を算出し、前記算出した距離に応じる鮮明度が最も高いチャネルとこれに該当する点拡散関数を推定する、請求項１１に記載の映像復元方法。
18. 前記入力映像を復元する段階は、前記点拡散関数にデコンボリューションフィルタを適用してブラーを除去することによって前記入力映像を復元する、請求項１１に記載の映像復元方法。
19. 前記デコンボリューションフィルタはＷｉｅｎｅｒフィルタまたはＬｕｃｙ−Ｒｉｃｈａｒｄｓｏｎフィルタである、請求項１８に記載の映像復元方法。