JP2008061101A - 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム - Google Patents
画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム Download PDFInfo
- Publication number
- JP2008061101A JP2008061101A JP2006237857A JP2006237857A JP2008061101A JP 2008061101 A JP2008061101 A JP 2008061101A JP 2006237857 A JP2006237857 A JP 2006237857A JP 2006237857 A JP2006237857 A JP 2006237857A JP 2008061101 A JP2008061101 A JP 2008061101A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- restoration
- noise
- matrix
- blur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 215
- 239000013598 vector Substances 0.000 claims abstract description 92
- 230000006870 function Effects 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 74
- 238000012546 transfer Methods 0.000 claims description 44
- 238000005070 sampling Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 26
- 230000008439 repair process Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000000872 buffer Substances 0.000 description 8
- 230000006837 decompression Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像データ修復部は、撮像時における撮像素子のY方向へのぶれに関するぶれ情報を内部メモリから取得し、ぶれ情報に基づいて、ぶれ情報に基づくぶれがない状態で被写体を撮像したときに得られる理想的な画像データを、内部メモリに記録されている静止画像データから復元するための復元行列であって、該理想的な画像データのY方向への広がりを表すぶれ伝達関数の行列表現であるぶれ行列の擬似逆行列である復元行列を生成し、この復元行列と静止画像データとにより、理想的な画像データを復元する。ここで、復元行列は、静止画像データのY方向の総画素データ数nと同じ数のデータからなるn個の行ベクトルDtで構成される。
【選択図】図6
Description
図1に示すデジタルカメラ100は、撮像部1、アナログ信号処理部2、A/D変換部3、駆動部4、ぶれ検出部5、デジタル信号処理部6、圧縮/伸張処理部7、システム制御部9、内部メモリ10、メディアインタフェース(I/F)11、記録メディア12、操作部13、画像データ修復部60、及びシステムバス14を有する。
撮像素子1bが全くぶれない状態で被写体を撮像したときにデジタル信号処理部6で生成されるぶれのない理想的な静止画像データOの模式図を図2(a)に示す。静止画像データOは、垂直方向Yに順番に配列された画素データO1〜O10の10個の画素データからなる画素データ列が、垂直方向Yに直交する水平方向Xに多数配列されたもの、又は、水平方向Xに配列された多数の画素データからなる画素データ行が、垂直方向Yに10個配列されたものとなっている。
画像データ修復部60は、内部メモリ10からぶれ情報(以下、Aとする)を取得するぶれ情報取得部62と、ぶれ情報Aに基づいて復元行列Wを生成する復元行列生成部63と、復元行列生成部63で生成された復元行列Wと内部メモリ10に記録されているぶれ情報Aに対応する静止画像データSとにより、理想的な静止画像データOを復元する画像データ復元部64と、復元行列生成部63で生成された復元行列Wに起因して、画像データ復元部64によって復元された復元画像データOの各画素データ列にY方向に向かって周期的に重畳されるノイズの種類及び重畳周期に関するノイズ周期情報を生成するノイズ周期情報生成部67と、該ノイズを算出するノイズ算出部65と、該算出されたノイズを画像データ復元部64によって復元された復元画像データOから除去するノイズ除去部66とを備える。
復元行列生成部63は、ぶれ情報取得部62で取得されたぶれ情報に対応するぶれ伝達関数を設定するぶれ伝達関数設定部63aと、IIRフィルタ処理を行うIIRフィルタ処理部63cと、IIRフィルタ処理部63cで行うIIRフィルタ処理のフィルタ係数を設定するフィルタ係数設定部63bと、IIRフィルタ処理部63cに単位インパルスを入力する単位インパルス入力部63dと、IIRフィルタ処理部63cの出力から行ベクトルdtを生成する行ベクトルdt生成部63eと、行ベクトルdtからデータd’tを生成するデータd’t生成部63fと、行ベクトルdtとデータd’tから行ベクトルDtを生成する行ベクトルDt生成部63gとを備える。
IIRフィルタ処理部63cは、直列接続されたp個(pは、デジタルカメラ100において発生しうる手振れの大きさの最大値)の加算器Kq(q=1〜p)と、直列接続されたp個の遅延バッファBqと、乗算器J0と、p個の乗算器Jqとを備えるIIRフィルタ回路で構成される。
Σ1=画素データO1+画素データO4+画素データO7+(3×ノイズ(1))・・・式1
Σ1=画素データS1+画素データS4+画素データS7+(3×ノイズ(1))・・・式2
ノイズ(1)={Σ1−(画素データS1+画素データS4+画素データS7)}/3・・・式3
Σ2=画素データO2+画素データO5+画素データO8+(3×ノイズ(2))・・・式4
Σ2=画素データS2+画素データS5+画素データS8+(3×ノイズ(2))・・・式5
ノイズ(2)={Σ2−(画素データS2+画素データS5+画素データS8)}/3・・・式6
Σ3=画素データO3+画素データO6+画素データO9+(3×ノイズ(3))・・・式7
Σ3=画素データS3+画素データS6+画素データS9+(3×ノイズ(3))・・・式8
ノイズ(3)={Σ3−(画素データS3+画素データS6+画素データS9)}/3・・・式9
図8は、画像データ修復部60の動作を説明するためのフローチャートである。
まず、撮像素子1bにより撮像が行われると、その撮像中の撮像素子1bのぶれに関するぶれ情報が生成され、このぶれ情報が、その撮像により得られる静止画像データSと対応付けて内部メモリ10に記録される。
2 アナログ信号処理部
3 A/D変換部
4 駆動部
5 ぶれ検出部
6 デジタル信号処理部
7 圧縮/伸張処理部
9 システム制御部
10 内部メモリ
11 メディアインタフェース
12 記録メディア
13 操作部
14 システムバス
60 画像データ修復部
Claims (16)
- 被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復装置であって、
前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データを前記静止画像データから復元するための復元行列であって、前記ぶれ情報に基づくぶれによる前記理想的な画像データの前記一次元方向への広がりを表すぶれ伝達関数の行列表現であるぶれ行列の擬似逆行列である復元行列を、前記ぶれ情報に基づいて生成する復元行列生成手段と、
前記復元行列生成手段で生成された前記復元行列と前記静止画像データとにより、前記理想的な画像データを復元する画像データ復元手段とを備え、
前記復元行列は、前記静止画像データの前記一次元方向の総画素データ数nと同じ数のデータからなるn個の行ベクトルDt(t=1,2,3,・・・,n)で構成され、
前記復元行列生成手段は、前記ぶれ情報に対応するぶれ伝達関数の逆特性である逆ぶれ伝達関数のインパルス応答に基づいて、前記n個の行ベクトルDtを生成する画像データ修復装置。 - 請求項1記載の画像データ修復装置であって、
前記復元行列生成手段が、前記逆ぶれ伝達関数のインパルス応答を求めるインパルス応答算出手段と、メモリ上に“0”を(t−1)個並べ、その後に、前記インパルス応答算出手段から時系列で算出されるデータの先頭から(n−t)番目までのデータを並べた行ベクトルdtを生成する行ベクトルdt生成手段と、前記行ベクトルdtの総和Σdtを“1”から減算する減算手段と、前記行ベクトルdtの最後に前記減算手段で得られたデータ{1−Σdt}を配置して前記行ベクトルDtを生成する行ベクトル生成手段とを含む画像データ修復装置。 - 請求項2記載の画像データ修復装置であって、
前記インパルス応答算出手段が、前記ぶれ情報に応じてフィルタ係数が決定されるIIR(Infinite Impulse Response)フィルタ回路と、前記IIRフィルタ回路に単位インパルスを入力する単位インパルス入力手段とで構成される画像データ修復装置。 - 請求項1〜3のいずれか1項記載の画像データ修復装置であって、
前記画像データ復元手段は、前記復元行列生成手段で生成された前記n個の行ベクトルD1〜Dnの各々に前記静止画像データを順次掛けていくことで、前記理想的な画像データを復元する画像データ修復装置。 - 請求項1〜4のいずれか1項記載の画像データ修復装置であって、
前記復元行列生成手段で生成された復元行列に起因して前記画像データ復元手段によって復元された画像データに前記一次元方向に向かって周期的に重畳される複数種類のノイズを算出するノイズ算出手段と、
前記ノイズ算出手段で算出されたノイズを前記画像データ復元手段によって復元された画像データから除去するノイズ除去手段と、
前記復元行列生成手段で生成された復元行列と前記ぶれ行列との積により、前記複数種類のノイズ毎のノイズ重畳周期に関するノイズ周期情報を生成するノイズ周期情報生成手段とを備え、
前記ノイズ算出手段が、前記ノイズ周期情報と前記画像データ復元手段によって復元された画像データと前記静止画像データとに基づいて、前記複数種類のノイズを算出する画像データ修復装置。 - 請求項5記載の画像データ修復装置であって、
前記ノイズ周期情報生成手段が、前記復元行列生成手段で生成された前記n個の行ベクトルD1〜Dnの各々に前記ぶれ行列を順次掛けていくことで得られるデータにより、前記ノイズ周期情報を生成する画像データ修復装置。 - 請求項1〜6のいずれか1項記載の画像データ修復装置であって、
前記静止画像データ及び前記画像データ復元手段で復元された画像データは、それぞれ、前記一次元方向に並ぶ多数の画素データからなる画素データ列が前記一次元方向と直交する方向に多数配列された構成であり、
前記ノイズ算出手段が、前記画像データ復元手段によって復元された画像データの各画素データ列の復元もととなった前記静止画像データの画素データ列の各画素データを、前記ノイズ周期情報にしたがったノイズ重畳周期毎にサンプリングする第1のサンプリング手段と、前記復元もととなった前記静止画像データの画素データ列から復元された画素データ列の各画素データを、前記ノイズ周期情報にしたがったノイズ重畳周期毎に前記第1のサンプリング手段と同一数サンプリングする第2のサンプリング手段と、前記第2のサンプリング手段によってサンプリングされた画素データの積算値から前記第1のサンプリング手段によってサンプリングされた画素データの積算値を減算した値を前記サンプリングした数で割って前記ノイズを算出する割り算手段とを含む画像データ修復装置。 - 請求項1〜7のいずれか1項記載の画像データ修復装置と、
前記撮像素子と、
前記撮像素子の出力信号から前記静止画像データを生成する静止画像データ生成手段と、
前記撮像時における前記撮像素子の前記一次元方向へのぶれを検出して前記ぶれ情報を生成するぶれ情報生成手段とを備える撮像装置。 - 被写体を撮像素子によって撮像して得られた静止画像データを、前記撮像時における前記撮像素子の一次元方向へのぶれに関するぶれ情報に基づいて修復する画像データ修復方法であって、
前記ぶれ情報に基づくぶれがない状態で前記被写体を撮像したときに得られる理想的な画像データを前記静止画像データから復元するための復元行列であって、前記ぶれ情報に基づくぶれによる前記理想的な画像データの前記一次元方向への広がりを表すぶれ伝達関数の行列表現であるぶれ行列の擬似逆行列である復元行列を、前記ぶれ情報に基づいて生成する復元行列生成ステップと、
前記復元行列生成ステップで生成された前記復元行列と前記静止画像データとにより、前記理想的な画像データを復元する画像データ復元ステップとを備え、
前記復元行列は、前記静止画像データの前記一次元方向の総画素データ数nと同じ数のデータからなるn個の行ベクトルDt(t=1,2,3,・・・,n)で構成され、
前記復元行列生成ステップでは、前記ぶれ情報に対応するぶれ伝達関数の逆特性である逆ぶれ伝達関数のインパルス応答に基づいて、前記n個の行ベクトルDtを生成する画像データ修復方法。 - 請求項9記載の画像データ修復方法であって、
前記復元行列生成ステップが、前記逆ぶれ伝達関数のインパルス応答を求めるインパルス応答算出ステップと、メモリ上に“0”を(t−1)個並べ、その後に、前記インパルス応答算出ステップにより時系列で算出されるデータの先頭から(n−t)番目までのデータを並べた行ベクトルdtを生成する行ベクトルdt生成ステップと、前記行ベクトルdtの総和Σdtを“1”から減算する減算ステップと、前記行ベクトルdtの最後に前記減算ステップで得られたデータ{1−Σdt}を配置して前記行ベクトルDtを生成する行ベクトル生成ステップとを含む画像データ修復方法。 - 請求項10記載の画像データ修復方法であって、
前記インパルス応答算出ステップが、単位インパルスを生成する単位インパルス生成ステップと、前記単位インパルスに対し、前記ぶれ情報に応じてフィルタ係数が決定されるIIRフィルタ処理を実行するIIRフィルタ処理ステップを含む画像データ修復方法。 - 請求項9〜11のいずれか1項記載の画像データ修復方法であって、
前記画像データ復元ステップでは、前記復元行列生成ステップで生成された前記n個の行ベクトルD1〜Dnの各々に前記静止画像データを順次掛けていくことで、前記理想的な画像データを復元する画像データ修復方法。 - 請求項9〜12のいずれか1項記載の画像データ修復方法であって、
前記復元行列生成ステップで生成された復元行列に起因して、前記画像データ復元ステップによって復元された画像データに前記一次元方向に向かって周期的に重畳される複数種類のノイズを算出するノイズ算出ステップと、
前記ノイズ算出ステップで算出されたノイズを前記画像データ復元ステップによって復元された画像データから除去するノイズ除去ステップと、
前記復元行列生成ステップで生成された復元行列と前記ぶれ行列との積により、前記複数種類のノイズ毎のノイズ重畳周期に関するノイズ周期情報を生成するノイズ周期情報生成ステップとを備え、
前記ノイズ算出ステップでは、前記ノイズ周期情報と前記画像データ復元ステップによって復元された画像データと前記静止画像データとに基づいて、前記複数種類のノイズを算出する画像データ修復方法。 - 請求項13記載の画像データ修復方法であって、
前記ノイズ周期情報生成ステップでは、前記復元行列生成ステップで生成された前記n個の行ベクトルD1〜Dnの各々に前記ぶれ行列を順次掛けていくことで得られるデータにより、前記ノイズ周期情報を生成する画像データ修復方法。 - 請求項9〜14のいずれか1項記載の画像データ修復方法であって、
前記静止画像データ及び前記画像データ復元ステップで復元された画像データは、それぞれ、前記一次元方向に並ぶ多数の画素データからなる画素データ列が前記一次元方向と直交する方向に多数配列された構成であり、
前記ノイズ算出ステップが、前記画像データ復元ステップによって復元された画像データの各画素データ列の復元もととなった前記静止画像データの画素データ列の各画素データを、前記ノイズ周期情報にしたがったノイズ重畳周期毎にサンプリングする第1のサンプリングステップと、前記復元もととなった前記静止画像データの画素データ列から復元された画素データ列の各画素データを、前記ノイズ周期情報にしたがったノイズ重畳周期毎に前記第1のサンプリングステップと同一数サンプリングする第2のサンプリングステップと、前記第2のサンプリングステップによってサンプリングされた画素データの積算値から前記第1のサンプリングステップによってサンプリングされた画素データの積算値を減算した値を前記サンプリングした数で割って前記ノイズを算出する割り算ステップとを含む画像データ修復方法。 - 請求項9〜15のいずれか1項記載の画像データ修復方法の各ステップをコンピュータに実行させるための画像データ修復プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006237857A JP4604007B2 (ja) | 2006-09-01 | 2006-09-01 | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006237857A JP4604007B2 (ja) | 2006-09-01 | 2006-09-01 | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008061101A true JP2008061101A (ja) | 2008-03-13 |
JP4604007B2 JP4604007B2 (ja) | 2010-12-22 |
Family
ID=39243320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006237857A Expired - Fee Related JP4604007B2 (ja) | 2006-09-01 | 2006-09-01 | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4604007B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009260724A (ja) * | 2008-04-17 | 2009-11-05 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06118468A (ja) * | 1992-10-05 | 1994-04-28 | Olympus Optical Co Ltd | 画像修復装置 |
JPH09252426A (ja) * | 1996-03-15 | 1997-09-22 | Nippon Avionics Co Ltd | 画像処理方法 |
-
2006
- 2006-09-01 JP JP2006237857A patent/JP4604007B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06118468A (ja) * | 1992-10-05 | 1994-04-28 | Olympus Optical Co Ltd | 画像修復装置 |
JPH09252426A (ja) * | 1996-03-15 | 1997-09-22 | Nippon Avionics Co Ltd | 画像処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009260724A (ja) * | 2008-04-17 | 2009-11-05 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP4544336B2 (ja) * | 2008-04-17 | 2010-09-15 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN101561926B (zh) * | 2008-04-17 | 2013-02-13 | 索尼株式会社 | 图像处理设备、图像拍摄设备、图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4604007B2 (ja) | 2010-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7844134B2 (en) | Image processor and camera system for correcting image distortion | |
JP5222472B2 (ja) | 画像処理装置、画像復元方法およびプログラム | |
JP2006081150A5 (ja) | ||
JP2008252790A (ja) | 固体撮像素子の駆動方法,撮像装置,撮像装置の画像合成方法 | |
JP2008113141A (ja) | 撮像装置及び信号処理方法 | |
JP2008005048A (ja) | 撮像装置及び信号処理装置 | |
JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
US8121429B2 (en) | Image processing apparatus, image-capturing apparatus, image processing method, and program | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP4604007B2 (ja) | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム | |
JP4418342B2 (ja) | 画像処理装置及び電子カメラ | |
JP4677386B2 (ja) | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム | |
US7961976B2 (en) | Image data restoration apparatus, imaging apparatus, image data restoration method and computer readable medium storing image data restoration program | |
JP4633525B2 (ja) | 焦点検出装置 | |
JP2007036799A (ja) | 画像処理装置 | |
JP2008058803A (ja) | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム | |
JP2008061102A (ja) | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム | |
JP5315093B2 (ja) | 撮像装置および撮像方法 | |
JP4269850B2 (ja) | 撮像装置 | |
JP7305689B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP5507865B2 (ja) | 画像処理装置、画像処理方法 | |
JP7358653B2 (ja) | 撮像装置、駆動方法、及び撮像プログラム | |
JP2012253490A (ja) | 固体撮像装置、撮像装置及び画像生成方法 | |
JP2008061103A (ja) | 画像データ修復装置、撮像装置、画像データ修復方法、及び画像データ修復プログラム | |
JP2011135194A (ja) | 撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100907 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101004 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |