JP2013508811A5 - - Google Patents

Claims (21)

1. ぼけ修正画像を決定する方法であって、前記方法は、データ処理システムにより少なくとも一部が実施され、
   （ａ）短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
   （ｂ）前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラーを有する、ステップ、
   （ｃ）前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
   （ｄ）前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップであって、
   特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準デジタル画像は、異なる所定の相対位置に関連付けられる、ステップ、
   （ｅ）前記基準差分画像と候補ぼけ修正画像について計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像について計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
   （ｆ）前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
   （ｇ）前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
   を有する方法。
2. 前記ぼけの中核は、前記候補画像と前記鮮明な画像をぼけの中核の候補と畳み込むことにより決定された候補ぼけ画像との間の差の関数である項を含むエネルギ関数を最小化する最適化方法を用いることにより決定される、請求項１に記載の方法。
3. 前記ぼけの中核は、前記鮮明な画像内の画像ピクセルのサブセット及び前記ぼけ画像内の画像ピクセルの対応するサブセットのみを分析することにより決定され、２つの前記サブセットは、重要な画像の詳細を含むよう決定される、請求項２に記載の方法。
4. 前記鮮明な画像のピクセルのサブセットは、
   前記鮮明な画像若しくは前記ぼけ画像又はそれらの両方からラプラシアン画像を決定し、
   前記ラプラシアン画像を分析して重要な画像の詳細を含む画像ピクセルのサブセットを決定することにより、前記鮮明な画像内の画像ピクセルのサブセット及び前記ぼけ画像内の画像ピクセルの対応するサブセットを選択する、
   ことにより選択される、請求項３に記載の方法。
5. 前記画像ピクセルのサブセットは、所定の閾を超える前記ラプラシアン画像内のピクセルを含む、請求項４に記載の方法。
6. ノイズ除去アルゴリズム若しくはトーン・スケール調整アルゴリズム又はそれらの両方は、前記ぼけの中核を決定するために用いられる前に、前記鮮明な画像に適用される、請求項２に記載の方法。
7. 前記ぼけの中核は、複数のサイズ変更された前記鮮明な画像及び異なる解像度を有する前記ぼけ画像を分析することにより決定される、請求項２に記載の方法。
8. 前記１又は複数の基準差分画像は、水平方向のオフセットを有する所定の相対位置に対応する水平差分画像及び垂直方向のオフセットを有する所定の相対位置に対応する垂直差分画像を有する、請求項１に記載の方法。
9. 前記ぼけ修正画像は、ベイズ推定方法を用いて決定される、請求項１に記載の方法。
10. 前記ベイズ推定方法は、エネルギ関数を用いて候補ぼけ修正画像を評価することを含む、請求項９に記載の方法。
11. 前記エネルギ関数は、
    前記ぼけ画像と候補ぼけ修正画像を前記ぼけの中核と畳み込むことにより決定された候補ぼけ画像との間の差の関数である画像忠実度の項、
    を含む、請求項１０に記載の方法。
12. 前記エネルギ関数は、前記候補ぼけ修正画像の勾配の関数である項を更に含む、請求項１１に記載の方法。
13. 前記エネルギ関数は、共役勾配アルゴリズムを用いて最適化される、請求項１０に記載の方法。
14. 前記ぼけ修正画像は、周波数領域の逆畳み込み方法を用いて決定される、請求項１に記載の方法。
15. 前記鮮明な画像を前記ぼけ画像と良好に協調させるために、前記鮮明な画像及び前記ぼけ画像にアフィン変換を適用するステップ、を更に有する請求項１に記載の方法。
16. 前記鮮明な画像及び前記ぼけ画像は、１回のボタン押下に応答して、デジタル・カメラを用いて順次キャプチャされる、請求項１に記載の方法。
17. 前記モーション・ブラーは、少なくとも部分的に、前記鮮明な画像及び前記ぼけ画像がキャプチャされる時間中の前記デジタル・カメラの動きによる、請求項１６に記載の方法。
18. 前記モーション・ブラーは、少なくとも部分的に、前記鮮明な画像及び前記ぼけ画像がキャプチャされる時間中の前記シーン内の被写体の動きによる、請求項１４に記載の方法。
19. 前記鮮明な画像及び前記ぼけ画像は、デジタル・ビデオのフレームである、請求項１に記載の方法。
20. デジタル・カメラ・システムであって、
    シーンの画像をキャプチャする画像センサ、
    前記画像センサに前記シーンを画像化するレンズ・システム、
    プロセッサによりアクセス可能なメモリ・システム、
    データ処理システム、
    を有し、前記データ処理システムは、
    短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
    前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラー及び低いレベルの画像ノイズを有する、ステップ、
    前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
    前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップ、であって、
    特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準デジタル画像は、異なる所定の相対位置に関連付けられる、ステップ、
    前記基準差分画像と候補ぼけ修正画像のために計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像のために計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
    前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
    前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
    を実行する、デジタル・カメラ・システム。
21. ぼけ修正画像を決定するコンピュータ・プログラムであって、非一時的プロセッサ可読媒体に格納された実行可能ソフトウェア・アプリケーションを有し、前記実行可能ソフトウェア・アプリケーションは、データ処理システムに、
    （ａ）短い露光時間でキャプチャされたシーンの鮮明な画像を受信するステップ、
    （ｂ）前記鮮明な画像より長い露光時間でキャプチャされた前記シーンのぼけ画像を受信するステップであって、前記ぼけ画像は前記鮮明な画像より高いレベルのモーション・ブラーを有する、ステップ、
    （ｃ）前記鮮明な画像及び前記ぼけ画像に応答してぼけの中核を決定するステップ、
    （ｄ）前記鮮明な画像に応答して１又は複数の基準差分画像を決定するステップであって、
    特定の基準差分画像の各ピクセルは、前記鮮明な画像内の対応するピクセルと所定の相対位置にある前記鮮明な画像内の近隣ピクセルとの間の差を計算することにより決定され、各基準差分画像は、異なる所定の相対位置に関連付けられる、ステップ、
    （ｅ）前記基準差分画像と候補ぼけ修正画像のために計算された候補差分画像の対応するセットとの間の差の関数である画像差分項を含むエネルギ関数を定めるステップであって、前記候補ぼけ修正画像のために計算された候補差分画像は、対応する基準差分画像と関連付けられた前記所定の相対位置を用いて計算される、ステップ、
    （ｆ）前記エネルギ関数を用いて候補ぼけ修正画像を評価することにより、前記ぼけ画像、前記ぼけの中核に応答してぼけ修正画像を決定するステップ、
    （ｇ）前記ぼけ修正画像をプロセッサによりアクセス可能なメモリ・システムに格納するステップ、
    を実行させる、コンピュータ・プログラム。