JP2002300459A - 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 - Google Patents
反復法による画像復元装置、画像復元方法、プログラム及び記録媒体Info
- Publication number
- JP2002300459A JP2002300459A JP2001098158A JP2001098158A JP2002300459A JP 2002300459 A JP2002300459 A JP 2002300459A JP 2001098158 A JP2001098158 A JP 2001098158A JP 2001098158 A JP2001098158 A JP 2001098158A JP 2002300459 A JP2002300459 A JP 2002300459A
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- calculating
- residual
- deterioration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】 大規模行列の逆行列を求めないでも劣化画像
を復元でき、しかも、画像復元でのメモリ消費量の低減
および計算時間の短縮化を図ることができる、反復法に
よる画像復元装置及び復元方法を提供する。 【解決手段】 画像劣化フィルタの転置フィルタを計算
する手段２０２と、画像劣化フィルタと復元画像の予測
画像と劣化画像とから求められた残差画像と前記転置フ
ィルタの畳み込み演算から残差勾配画像を計算する手段
５０２と、残差勾配画像から予測画像の修正量を計算す
る手段５０３と、修正量から予測画像を修正し更新する
手段５０４とを備える。これにより、複雑な螺旋フィル
タで表せるような劣化関数を持っている場合でも、大規
模行列や逆行列に依存するものに比較して、メモリ消費
量の低減化および計算時間の短縮化を図ることができ
る。
を復元でき、しかも、画像復元でのメモリ消費量の低減
および計算時間の短縮化を図ることができる、反復法に
よる画像復元装置及び復元方法を提供する。 【解決手段】 画像劣化フィルタの転置フィルタを計算
する手段２０２と、画像劣化フィルタと復元画像の予測
画像と劣化画像とから求められた残差画像と前記転置フ
ィルタの畳み込み演算から残差勾配画像を計算する手段
５０２と、残差勾配画像から予測画像の修正量を計算す
る手段５０３と、修正量から予測画像を修正し更新する
手段５０４とを備える。これにより、複雑な螺旋フィル
タで表せるような劣化関数を持っている場合でも、大規
模行列や逆行列に依存するものに比較して、メモリ消費
量の低減化および計算時間の短縮化を図ることができ
る。
Description
【発明の詳細な説明】
【０００１】
【発明の属する分野】この発明は、デジタルカメラ等で
撮像した画像に生じた画像劣化の情報すなわち劣化関数
を取得した上で、劣化を受けた撮像画像から反復法によ
り劣化前画像（復元画像）を推定する画像復元装置、及
び画像復元方法、プログラム並びに記録媒体に関する。
撮像した画像に生じた画像劣化の情報すなわち劣化関数
を取得した上で、劣化を受けた撮像画像から反復法によ
り劣化前画像（復元画像）を推定する画像復元装置、及
び画像復元方法、プログラム並びに記録媒体に関する。
【０００２】
【従来の技術】従来より、ＣＣＤに代表される受光素子
配列体を用いて画像データとして取得される画像に対
し、画像の劣化を復元する様々の技術が提案されてい
る。画像の劣化とは、撮像対象から得られるべき理想的
な画像に対して実際に得られた画像が劣化していること
をいい、たとえば、デジタルカメラを用いて得られる画
像は、絞り値、焦点距離、ピント位置などに依存する収
差などの他に、撮影の際の手ぶれによっても画像が劣化
する。
配列体を用いて画像データとして取得される画像に対
し、画像の劣化を復元する様々の技術が提案されてい
る。画像の劣化とは、撮像対象から得られるべき理想的
な画像に対して実際に得られた画像が劣化していること
をいい、たとえば、デジタルカメラを用いて得られる画
像は、絞り値、焦点距離、ピント位置などに依存する収
差などの他に、撮影の際の手ぶれによっても画像が劣化
する。
【０００３】このような劣化した画像に対して、従来よ
り、画像の劣化をモデル化することで取得された撮像画
像を理想的な画像に近づける復元が行われてきた。
り、画像の劣化をモデル化することで取得された撮像画
像を理想的な画像に近づける復元が行われてきた。
【０００４】画像復元を行う際、画像をラスタ順序で画
素値を縦に並べたベクトル、劣化関数を行列とみなし
て、連立―次方程式の求解の問題に帰着されることが多
い。すなわち、復元したい画像をＸ、劣化行列をＨ、取
得画像をＹとすると、「数１」式の関係を満たすことが
できる。
素値を縦に並べたベクトル、劣化関数を行列とみなし
て、連立―次方程式の求解の問題に帰着されることが多
い。すなわち、復元したい画像をＸ、劣化行列をＨ、取
得画像をＹとすると、「数１」式の関係を満たすことが
できる。
【０００５】
【数１】
【０００６】あるいは、撮像画像Ｙはノイズを含んだ画
像であり、劣化行列Ｈにも観測誤差や離散化誤差を含む
ことが普通であり、「数２」式によって解の存在が保証
された最小二乗解を求める。
像であり、劣化行列Ｈにも観測誤差や離散化誤差を含む
ことが普通であり、「数２」式によって解の存在が保証
された最小二乗解を求める。
【０００７】
【数２】
【０００８】―般に、劣化行列ＨもＨTＨも共に大規模
疎行列になる。
疎行列になる。
【０００９】ところで、―方向ぶれなど簡単な劣化関数
の場合、ぶれ方向の画素列に対して独立に方程式を立
て、ぶれ行列の逆行列を直接計算して解を得ることがで
きる。
の場合、ぶれ方向の画素列に対して独立に方程式を立
て、ぶれ行列の逆行列を直接計算して解を得ることがで
きる。
【００１０】たとえば、特開平６−１１８４６８号で
は、斜めぶれの場合、画像配列の方向をぶれ方向へ合わ
せることにより、水平もしくは垂直ぶれの問題に帰着す
ることが提案されている。その際、復元画像の境界部分
に微分の連続性が保存されるような逆行列を求めること
も示されている。
は、斜めぶれの場合、画像配列の方向をぶれ方向へ合わ
せることにより、水平もしくは垂直ぶれの問題に帰着す
ることが提案されている。その際、復元画像の境界部分
に微分の連続性が保存されるような逆行列を求めること
も示されている。
【００１１】
【発明が解決しようとする課題】ところが、実際の手ぶ
れで発生する劣化関数の中には、たとえば、図１６に示
すように複雑な螺旋フィルタで表されるような劣化関数
も現れる。これは夜景などを撮影する場合、どうしても
露光時間が長くなり、シャッタースピードが遅くなる時
に生じる。図１６の劣化フィルタは、焦点距維３５ｍｍ
（１３５ｍｍ換算)、シャッタースピード１／３の撮影
条件で生じると推定される画像劣化情報を２次元フィル
タに変換したものである。
れで発生する劣化関数の中には、たとえば、図１６に示
すように複雑な螺旋フィルタで表されるような劣化関数
も現れる。これは夜景などを撮影する場合、どうしても
露光時間が長くなり、シャッタースピードが遅くなる時
に生じる。図１６の劣化フィルタは、焦点距維３５ｍｍ
（１３５ｍｍ換算)、シャッタースピード１／３の撮影
条件で生じると推定される画像劣化情報を２次元フィル
タに変換したものである。
【００１２】このような劣化関数の場合、大型行列Ｈや
ＨTＨの逆行列を求めることは容易ではなく、―般に行
列の疎構造を利用して反復法が用いられることになる。
なお、反復法による画像復元処理の原理は、たとえば、
文献「M.Elad and A.Feuer;Super-Resolution of An Im
age Sequence-Adaptive Filtering Approach;Technion-
Israel Institute of Technology, 4 April 1997」に記
載されている。
ＨTＨの逆行列を求めることは容易ではなく、―般に行
列の疎構造を利用して反復法が用いられることになる。
なお、反復法による画像復元処理の原理は、たとえば、
文献「M.Elad and A.Feuer;Super-Resolution of An Im
age Sequence-Adaptive Filtering Approach;Technion-
Israel Institute of Technology, 4 April 1997」に記
載されている。
【００１３】反復法の中には、ヤコビ法、ガウスザイデ
ル法、ＳＯＲ法、最急降下法、共役勾配法などがある。
ル法、ＳＯＲ法、最急降下法、共役勾配法などがある。
【００１４】しかし、いずれの方法でも、反復毎に行列
ＨからＨTを参照するためメモリ消費量が多くなるう
え、計算のために多大な時間が費やされてしまう。
ＨからＨTを参照するためメモリ消費量が多くなるう
え、計算のために多大な時間が費やされてしまう。
【００１５】この発明は、上記問題を解消するためにな
されたものであり、大規模行列の逆行列を求めないでも
劣化画像を復元でき、しかも、復元処理におけるメモリ
消費量の低減化および計算時間の短縮化を図ることがで
きる、反復法による画像復元装置および画像復元方法を
提供し、さらにはこのような画像復元方法をコンピュー
タに実行させるプログラム及び該プログラムを記録した
記録媒体を提供することを課題とする。
されたものであり、大規模行列の逆行列を求めないでも
劣化画像を復元でき、しかも、復元処理におけるメモリ
消費量の低減化および計算時間の短縮化を図ることがで
きる、反復法による画像復元装置および画像復元方法を
提供し、さらにはこのような画像復元方法をコンピュー
タに実行させるプログラム及び該プログラムを記録した
記録媒体を提供することを課題とする。
【００１６】
【課題を解決するための手段】上記課題は、画像劣化フ
ィルタの転置フィルタを計算する転置フィルタ計算手段
と、画像劣化フィルタの転置フィルタを記憶するフィル
タ記憶手段と、画像劣化フィルタと復元画像の予測画像
と劣化画像から残差画像を計算する残差画像計算手段
と、転置フィルタと残差画像との畳み込み演算を用いて
残差の勾配画像を計算する残差勾配画像計算手段と、残
差の勾配画像を用いて予測画像の修正量を計算する修正
量計算手段と、修正量を用いて予測画像を修正し更新す
る画像更新手段とを備えていることを特徴とする反復法
による画像復元装置によって解決される。
ィルタの転置フィルタを計算する転置フィルタ計算手段
と、画像劣化フィルタの転置フィルタを記憶するフィル
タ記憶手段と、画像劣化フィルタと復元画像の予測画像
と劣化画像から残差画像を計算する残差画像計算手段
と、転置フィルタと残差画像との畳み込み演算を用いて
残差の勾配画像を計算する残差勾配画像計算手段と、残
差の勾配画像を用いて予測画像の修正量を計算する修正
量計算手段と、修正量を用いて予測画像を修正し更新す
る画像更新手段とを備えていることを特徴とする反復法
による画像復元装置によって解決される。
【００１７】この発明によれば、画像劣化フィルタの転
置フィルタを計算しておき、画像劣化フィルタと復元画
像の予測画像と劣化画像とから求められた残差画像と前
記転置フィルタの畳み込み演算から残差勾配画像が求め
られ、残差勾配画像を用いて計算された予測画像の修正
量から予測画像の修正更新が行われる。
置フィルタを計算しておき、画像劣化フィルタと復元画
像の予測画像と劣化画像とから求められた残差画像と前
記転置フィルタの畳み込み演算から残差勾配画像が求め
られ、残差勾配画像を用いて計算された予測画像の修正
量から予測画像の修正更新が行われる。
【００１８】反復法を用いた画像復元装置において、上
記のような修正更新された画像を用いるので、たとえば
デジタルカメラの手ぶれなどに起因する劣化画像の復元
が実現されるうえ、前記フィルタ演算で置き換えること
から、複雑な螺旋フィルタで表せるような劣化関数を持
っている撮像画像を復元する場合でも、大規模行列や逆
行列に依存して計算を行うよりも、メモリ消費量が少な
くなるとともに、計算時間が大幅に短縮される。
記のような修正更新された画像を用いるので、たとえば
デジタルカメラの手ぶれなどに起因する劣化画像の復元
が実現されるうえ、前記フィルタ演算で置き換えること
から、複雑な螺旋フィルタで表せるような劣化関数を持
っている撮像画像を復元する場合でも、大規模行列や逆
行列に依存して計算を行うよりも、メモリ消費量が少な
くなるとともに、計算時間が大幅に短縮される。
【００１９】上記復元装置において、残差勾配計算手段
は画像の境界部分に対して異なる転置フィルタを用いて
もよい。これにより、復元画像のエッジ近傍などで発生
するリンギングなどのノイズの発生が抑制される。
は画像の境界部分に対して異なる転置フィルタを用いて
もよい。これにより、復元画像のエッジ近傍などで発生
するリンギングなどのノイズの発生が抑制される。
【００２０】この場合、前記境界部分における転置フイ
ルタは、劣化領域からはみ出した部分が零に設定されて
いても良い。
ルタは、劣化領域からはみ出した部分が零に設定されて
いても良い。
【００２１】また、前記課題は、画像の劣化を復元する
際に、画像劣化フィルタの転置フィルタを計算する転置
フィルタ計算ステップと、画像劣化フィルタの転置フィ
ルタを記憶するフィルタ記憶ステップと、画像劣化フィ
ルタと復元画像の予測画像と劣化画像から残差画像を計
算する残差画像計算ステップと、転置フィルタと残差画
像との畳み込み演算を用いて残差の勾配画像を計算する
残差勾配画像計算ステップと、残差の勾配画像を用いて
予測画像の修正量を計算する修正量計算ステップと、修
正量を用いて予測画像を修正し更新する画像更新ステッ
プと、を備えた反復法による画像復元方法によっても解
決される。
際に、画像劣化フィルタの転置フィルタを計算する転置
フィルタ計算ステップと、画像劣化フィルタの転置フィ
ルタを記憶するフィルタ記憶ステップと、画像劣化フィ
ルタと復元画像の予測画像と劣化画像から残差画像を計
算する残差画像計算ステップと、転置フィルタと残差画
像との畳み込み演算を用いて残差の勾配画像を計算する
残差勾配画像計算ステップと、残差の勾配画像を用いて
予測画像の修正量を計算する修正量計算ステップと、修
正量を用いて予測画像を修正し更新する画像更新ステッ
プと、を備えた反復法による画像復元方法によっても解
決される。
【００２２】この画像復元方法では、少ないメモリ消費
でかつ短時間で劣化画像の復元が行える。
でかつ短時間で劣化画像の復元が行える。
【００２３】また、前記課題は、画像劣化フィルタの転
置フィルタを計算する転置フィルタ計算ステップと、画
像劣化フィルタの転置フィルタを記憶するフィルタ記憶
ステップと、画像劣化フィルタと復元画像の予測画像と
劣化画像から残差画像を計算する残差画像計算ステップ
と、転置フィルタと残差画像との畳み込み演算を用いて
残差の勾配画像を計算する残差勾配画像計算ステップ
と、残差の勾配画像を用いて予測画像の修正量を計算す
る修正量計算ステップと、修正量を用いて予測画像を修
正し更新する画像更新ステップと、をコンピュータに実
行させるためのプログラムによっても解決され、また、
このプログラムを記録したコンピュータ読み取り可能な
記録媒体によっても解決される。
置フィルタを計算する転置フィルタ計算ステップと、画
像劣化フィルタの転置フィルタを記憶するフィルタ記憶
ステップと、画像劣化フィルタと復元画像の予測画像と
劣化画像から残差画像を計算する残差画像計算ステップ
と、転置フィルタと残差画像との畳み込み演算を用いて
残差の勾配画像を計算する残差勾配画像計算ステップ
と、残差の勾配画像を用いて予測画像の修正量を計算す
る修正量計算ステップと、修正量を用いて予測画像を修
正し更新する画像更新ステップと、をコンピュータに実
行させるためのプログラムによっても解決され、また、
このプログラムを記録したコンピュータ読み取り可能な
記録媒体によっても解決される。
【００２４】これらのプログラムや記録媒体では、前記
復元処理をコンピュータに実行させることができる。
復元処理をコンピュータに実行させることができる。
【００２５】
【発明の実施形態】以下、この発明の実施形態を図面に
基づいて説明する。
基づいて説明する。
【００２６】図１は、この発明の実施形態にかかる画像
復元装置が適用されたデジタルカメラを示す外観斜視図
であり、また、図２は、同デジタルカメラの背面図であ
る。
復元装置が適用されたデジタルカメラを示す外観斜視図
であり、また、図２は、同デジタルカメラの背面図であ
る。
【００２７】図１、図２において、デジタルカメラ１０
の前面には、撮影レンズ１２、ファインダ窓１５および
測距窓１０１などが設けられており、デジタルカメラ１
０の内部には、上記撮影レンズ１２による光学像を受光
して光電変換する撮像素子の一例としてのＣＣＤ１３が
配設されている。そして、撮影レンズ１２、ＣＣＤ１３
を含んで撮像手段が構成されている。
の前面には、撮影レンズ１２、ファインダ窓１５および
測距窓１０１などが設けられており、デジタルカメラ１
０の内部には、上記撮影レンズ１２による光学像を受光
して光電変換する撮像素子の一例としてのＣＣＤ１３が
配設されている。そして、撮影レンズ１２、ＣＣＤ１３
を含んで撮像手段が構成されている。
【００２８】さらに、デジタルカメラ１０の上面には、
レリーズ（シャッター）ボタン１４、撮影モード設定キ
ー１８および液晶パネル１９などが設けられている。デ
ジタルカメラ１０の側面には、メモリカード等の記録メ
ディア１６を挿脱可能な挿入口１７が設けられている。
レリーズ（シャッター）ボタン１４、撮影モード設定キ
ー１８および液晶パネル１９などが設けられている。デ
ジタルカメラ１０の側面には、メモリカード等の記録メ
ディア１６を挿脱可能な挿入口１７が設けられている。
【００２９】撮影モード設定キー１８は、液晶パネル１
９の表示内容を見ながら、絞り優先、シャッタースピー
ド優先などの露光条件の設定、マクロ撮影の切替え、さ
らには、ズームの設定などを行う際に用いられる。
９の表示内容を見ながら、絞り優先、シャッタースピー
ド優先などの露光条件の設定、マクロ撮影の切替え、さ
らには、ズームの設定などを行う際に用いられる。
【００３０】また、デジタルカメラ１０の背面には、図
２に示すように、ライブビュー表示用の液晶モニタ１０
３および画像処理設定キー１０２などが設けられてい
る。画像処理設定キー１０２では液晶モニタ１０３と併
せて、画像復元処理の必要性の判断ができるようになっ
ている。本デジタルカメラ１０は、通常のデジタルカメ
ラと同様に、ＣＣＤ１３で撮像した画像を普通に記録メ
ディア１６に記録することができる。これ以外に、画像
復元処理機能を有している。この機能は、取得した劣化
関数からデジタルカメラ１０が自動で機能をさせるよう
になっている。もちろん、画像復元処理前に画像処理設
定キー１０２でデジタルカメラ１０がユーザに画像復元
処理の必要性を判断させるようにしても構わない。
２に示すように、ライブビュー表示用の液晶モニタ１０
３および画像処理設定キー１０２などが設けられてい
る。画像処理設定キー１０２では液晶モニタ１０３と併
せて、画像復元処理の必要性の判断ができるようになっ
ている。本デジタルカメラ１０は、通常のデジタルカメ
ラと同様に、ＣＣＤ１３で撮像した画像を普通に記録メ
ディア１６に記録することができる。これ以外に、画像
復元処理機能を有している。この機能は、取得した劣化
関数からデジタルカメラ１０が自動で機能をさせるよう
になっている。もちろん、画像復元処理前に画像処理設
定キー１０２でデジタルカメラ１０がユーザに画像復元
処理の必要性を判断させるようにしても構わない。
【００３１】図３はデジタルカメラ１０のブロック図
で、細矢印は制御データの、太矢印は画像データのそれ
ぞれ流れを示している。
で、細矢印は制御データの、太矢印は画像データのそれ
ぞれ流れを示している。
【００３２】４０はＣＰＵであり、シヤッターボタン１
４が押された際の撮影条件、画像処理設定キー１０２の
設定状態などを記憶するとともに、露光条件などを液晶
パネル１９に表示させる。さらに、ＣＰＵ４０は、測距
部４４からの測距結果に基づいて撮影レンズ駆動部４６
を介して適当な被写体に合焦するように撮影レンズ１２
を駆動する一方、絞り駆動部４７を介して絞り４８を制
御する。
４が押された際の撮影条件、画像処理設定キー１０２の
設定状態などを記憶するとともに、露光条件などを液晶
パネル１９に表示させる。さらに、ＣＰＵ４０は、測距
部４４からの測距結果に基づいて撮影レンズ駆動部４６
を介して適当な被写体に合焦するように撮影レンズ１２
を駆動する一方、絞り駆動部４７を介して絞り４８を制
御する。
【００３３】また、ＣＣＤ１３からのアナログ画像信号
は、Ａ／Ｄコンバータ４１でデジタル画像データに変換
され、画像メモリ（ＲＡＭ）４２に一時記憶され、記憶
された画像データは、ＣＰＵ４０の制御により液晶モニ
タ１０３に表示される。
は、Ａ／Ｄコンバータ４１でデジタル画像データに変換
され、画像メモリ（ＲＡＭ）４２に一時記憶され、記憶
された画像データは、ＣＰＵ４０の制御により液晶モニ
タ１０３に表示される。
【００３４】５０は、撮像した画像を復元処理する画像
復元部であり、復元の必要がある場合にＲＡＭ４２に記
憶されている画像を復元する。詳細は後述する。
復元部であり、復元の必要がある場合にＲＡＭ４２に記
憶されている画像を復元する。詳細は後述する。
【００３５】５２は、手ぶれセンサ１０４などから得た
画像劣化情報を入手する画像劣化情報部であり、図４に
示すように、画像劣化フィルタの転置フィルタを記憶す
る転置フィルタ記憶部２０１と、画像劣化フィルタの転
置フィルタを計算する転置フィルタ計算部２０２とを備
えている。
画像劣化情報を入手する画像劣化情報部であり、図４に
示すように、画像劣化フィルタの転置フィルタを記憶す
る転置フィルタ記憶部２０１と、画像劣化フィルタの転
置フィルタを計算する転置フィルタ計算部２０２とを備
えている。
【００３６】ＣＰＵ４０は、復元処理を行わないとき
は、ＲＡＭ４２から読み出された画像データを記録メデ
ィア１６に記憶させ、復元処理を行うときは画像復元部
で復元された画像を記録メディア１６に記憶させる。
は、ＲＡＭ４２から読み出された画像データを記録メデ
ィア１６に記憶させ、復元処理を行うときは画像復元部
で復元された画像を記録メディア１６に記憶させる。
【００３７】前記画像復元部５０は、機能的には図５に
示すように、残差画像計算部５０１と、残差勾配画像計
算部５０２と、修正量計算部５０３と、画像更新部５０
４と、画像劣化部５０５と、残差算出部５０６とを備え
ている。
示すように、残差画像計算部５０１と、残差勾配画像計
算部５０２と、修正量計算部５０３と、画像更新部５０
４と、画像劣化部５０５と、残差算出部５０６とを備え
ている。
【００３８】残差画像計算部５０１は、前記画像劣化フ
ィルタと復元画像の予測画像と劣化画像から残差画像を
計算するものであり、残差勾配画像計算部５０２は、前
記転置フィルタと残差画像との畳み込み演算を用いて残
差の勾配画像を計算するものである。修正量計算部５０
３は、残差の勾配画像を用いて画像の修正量を計算する
ものであり、また、画像更新部５０４は、修正量を用い
て復元画像の予測画像を修正し更新するものである。画
像劣化部５０５は、画像更新部５０４で更新された画像
を撮像時の劣化関数を用いて劣化させ、前記残差算出部
５０６は、劣化された画像と撮像画像との残差を算出す
る。
ィルタと復元画像の予測画像と劣化画像から残差画像を
計算するものであり、残差勾配画像計算部５０２は、前
記転置フィルタと残差画像との畳み込み演算を用いて残
差の勾配画像を計算するものである。修正量計算部５０
３は、残差の勾配画像を用いて画像の修正量を計算する
ものであり、また、画像更新部５０４は、修正量を用い
て復元画像の予測画像を修正し更新するものである。画
像劣化部５０５は、画像更新部５０４で更新された画像
を撮像時の劣化関数を用いて劣化させ、前記残差算出部
５０６は、劣化された画像と撮像画像との残差を算出す
る。
【００３９】前記ＣＰＵ４０は、残差算出部５０６で算
出した残差が所定の閾値を下回っているか否かを判定
し、下回っていなければ更新後の画像を新たな処理対象
（予測画像）として残差画像計算部５０１に入力し、残
差勾配画像計算部５０２、修正量計算部５０３、画像更
新部５０４による画像の修正更新処理、画像劣化部５０
５による画像の劣化、残差算出部５０６による残差の算
出の各処理を、残差が所定の閾値を下回るまで繰り返さ
せる。そして、残差が所定の閾値を下回ったときに、対
応する更新画像（予測画像）を復元画像として記憶メデ
ィア１６に記憶させる。
出した残差が所定の閾値を下回っているか否かを判定
し、下回っていなければ更新後の画像を新たな処理対象
（予測画像）として残差画像計算部５０１に入力し、残
差勾配画像計算部５０２、修正量計算部５０３、画像更
新部５０４による画像の修正更新処理、画像劣化部５０
５による画像の劣化、残差算出部５０６による残差の算
出の各処理を、残差が所定の閾値を下回るまで繰り返さ
せる。そして、残差が所定の閾値を下回ったときに、対
応する更新画像（予測画像）を復元画像として記憶メデ
ィア１６に記憶させる。
【００４０】デジタルカメラ１０による撮影及び復元処
理は次のようにして行われる。すなわち、まず、ユーザ
は撮影モード設定キー１８で、絞り優先、シャッタース
ピード優先等の選択を行う。カメラの設定が終わるとユ
ーザーは被写体を確認してシャッターボタン１４を押
す。すると、測距部４４で被写体距離を測定する。続い
て、測距結果に基づいて、撮影レンズ駆動部４６を通し
て適当な被写体に合焦させるように撮影レンズ１２を駆
動し、次いで、絞り駆動部４７を通して絞り４８を適当
な値に設定する。そして、ＣＣＤ１３を積分し、画像デ
ータを読み出す。読み出された画像データは、パイプラ
イン方式で、Ａ／Ｄコンバータ４１でデジタルデータに
変換され、ＲＡＭ４２に―時記憶される。
理は次のようにして行われる。すなわち、まず、ユーザ
は撮影モード設定キー１８で、絞り優先、シャッタース
ピード優先等の選択を行う。カメラの設定が終わるとユ
ーザーは被写体を確認してシャッターボタン１４を押
す。すると、測距部４４で被写体距離を測定する。続い
て、測距結果に基づいて、撮影レンズ駆動部４６を通し
て適当な被写体に合焦させるように撮影レンズ１２を駆
動し、次いで、絞り駆動部４７を通して絞り４８を適当
な値に設定する。そして、ＣＣＤ１３を積分し、画像デ
ータを読み出す。読み出された画像データは、パイプラ
イン方式で、Ａ／Ｄコンバータ４１でデジタルデータに
変換され、ＲＡＭ４２に―時記憶される。
【００４１】手ぶれセンサ１０４等から得た画像劣化情
報は、画像劣化情報部５２のフィルタ記憶部２０１に記
憶しておく。
報は、画像劣化情報部５２のフィルタ記憶部２０１に記
憶しておく。
【００４２】続いて、画像復元部５０でＲＡＭ４２に記
憶された撮像画像を用いて画像復元処理を行う。
憶された撮像画像を用いて画像復元処理を行う。
【００４３】復元処理の内容を図６のフローチャートに
示す。以下の説明及び図面では、ステップを＃で示す。
示す。以下の説明及び図面では、ステップを＃で示す。
【００４４】画像復元部５０はまず、＃１１で、ＲＡＭ
４２に記憶された撮像画像（以下、採取画像ともいう）
から画像復元処理に必要な劣化前画像（以下、初期画像
という）を作成する。初期画像の作成については、たと
えば、ぼけのようにシャープエッジが劣化している場合
は、エッジ強調フィルタリングを行う方法が採用される
が、何の処理も行わずに取得画像をそのまま初期画像と
しても構わない。
４２に記憶された撮像画像（以下、採取画像ともいう）
から画像復元処理に必要な劣化前画像（以下、初期画像
という）を作成する。初期画像の作成については、たと
えば、ぼけのようにシャープエッジが劣化している場合
は、エッジ強調フィルタリングを行う方法が採用される
が、何の処理も行わずに取得画像をそのまま初期画像と
しても構わない。
【００４５】初期画像作成後、＃１２で、初期画像Ｘ0
（ｉ，ｊ）を、撮影時に得られたフィルタ記憶部２０１
にある劣化フィルタｈを用いて劣化させ、次の「数３」
式から採取画像Ｙ（ｉ，ｊ）との差（残差Ｄ0）を算出
する。
（ｉ，ｊ）を、撮影時に得られたフィルタ記憶部２０１
にある劣化フィルタｈを用いて劣化させ、次の「数３」
式から採取画像Ｙ（ｉ，ｊ）との差（残差Ｄ0）を算出
する。
【００４６】
【数３】
【００４７】なお、「数３」式において、「＊」はたた
み込み演算を表している。
み込み演算を表している。
【００４８】次に、＃１３で、初期画像Ｘ0（ｉ，ｊ）
をＲＡＭ４２に―時記憶しておく。
をＲＡＭ４２に―時記憶しておく。
【００４９】残差算出後、＃１４で、ＲＡＭ４２に―時
記憶された初期画像Ｘ0（ｉ，ｊ）、撮影時に得られた
劣化フィルタｈ、採取画像Ｙ（ｉ，ｊ）とから、画像修
正を行い、初期画像Ｘ0（ｉ，ｊ）を更新して新しい画
像（更新画像）Ｘ1（ｉ，ｊ）を作成する。
記憶された初期画像Ｘ0（ｉ，ｊ）、撮影時に得られた
劣化フィルタｈ、採取画像Ｙ（ｉ，ｊ）とから、画像修
正を行い、初期画像Ｘ0（ｉ，ｊ）を更新して新しい画
像（更新画像）Ｘ1（ｉ，ｊ）を作成する。
【００５０】ついで、＃１５で、Ｘ1（ｉ，ｊ）と、劣
化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とから次の「数
４」式により残差Ｄ1を算出する。
化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とから次の「数
４」式により残差Ｄ1を算出する。
【００５１】
【数４】
【００５２】残差Ｄ1の算出後、＃１６で、以下に示す
数５の関係が成り立つか否か、つまり残差Ｄ1の収束が
あるか否かを判断する。
数５の関係が成り立つか否か、つまり残差Ｄ1の収束が
あるか否かを判断する。
【００５３】
【数５】
【００５４】残差Ｄ1の収束がなければ（＃１６の判定
がＮＯ）、２回目の反復計算を行うために、＃１３に戻
り、ＲＡＭ４２に―時記憶されていた初期画像Ｘ
0（ｉ，ｊ）を削除して、更新された更新画像Ｘ1（ｉ，
ｊ）をＲＡＭ４２に―時記憶する。ＲＡＭ４２に―時記
憶された更新画像Ｘ1（ｉ，ｊ）と、撮影時に得られた
劣化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とから画像修
正を行い、更新画像Ｘ1（ｉ，ｊ）を更新して新しい更
新画像Ｘ2（ｉ，ｊ）を作成する（＃１４）。
がＮＯ）、２回目の反復計算を行うために、＃１３に戻
り、ＲＡＭ４２に―時記憶されていた初期画像Ｘ
0（ｉ，ｊ）を削除して、更新された更新画像Ｘ1（ｉ，
ｊ）をＲＡＭ４２に―時記憶する。ＲＡＭ４２に―時記
憶された更新画像Ｘ1（ｉ，ｊ）と、撮影時に得られた
劣化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とから画像修
正を行い、更新画像Ｘ1（ｉ，ｊ）を更新して新しい更
新画像Ｘ2（ｉ，ｊ）を作成する（＃１４）。
【００５５】先と同様に更新画像Ｘ2（ｉ，ｊ）と、劣
化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とから前述の
「数４」式を用いて残差Ｄ2を算出し（＃１５）、算出
された残差Ｄ2について、「数５」の関係から残差Ｄ2の
収束があるか否かを判断する（＃１６）。残差Ｄ2の収
束がなければ再度、＃１３に戻って同様の手順を操り返
す。
化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とから前述の
「数４」式を用いて残差Ｄ2を算出し（＃１５）、算出
された残差Ｄ2について、「数５」の関係から残差Ｄ2の
収束があるか否かを判断する（＃１６）。残差Ｄ2の収
束がなければ再度、＃１３に戻って同様の手順を操り返
す。
【００５６】残差の収束があれば（＃１６の判定がでＹ
ＥＳ）、＃１７では、ＲＡＭ４２に記憶されている更新
画像Ｘn-1（ｉ，ｊ）を復元画像として、リターンす
る。
ＥＳ）、＃１７では、ＲＡＭ４２に記憶されている更新
画像Ｘn-1（ｉ，ｊ）を復元画像として、リターンす
る。
【００５７】前記画像修正処理（＃１４）のサブルーチ
ンを図７に示す。
ンを図７に示す。
【００５８】図７において、＃２１では、現在の更新画
像Ｘn（ｉ，ｊ）と、フィルタ記憶部２０１に記憶され
た劣化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とを用いて
「数６」式により残差画像Ｒ（ｉ，ｊ）を計算する。
像Ｘn（ｉ，ｊ）と、フィルタ記憶部２０１に記憶され
た劣化フィルタｈと、採取画像Ｙ（ｉ，ｊ）とを用いて
「数６」式により残差画像Ｒ（ｉ，ｊ）を計算する。
【００５９】
【数６】
【００６０】この後、＃２２では、残差画像Ｒ（ｉ，
ｊ）とフィルタ記憶部２０１に記憶されている転置フィ
ルタｈtとの畳み込み演算によって勾配画像Ｇ（ｉ，
ｊ）を次の「数７」式により計算する。
ｊ）とフィルタ記憶部２０１に記憶されている転置フィ
ルタｈtとの畳み込み演算によって勾配画像Ｇ（ｉ，
ｊ）を次の「数７」式により計算する。
【００６１】
【数７】
【００６２】この時、畳み込み演算を行う転置フィルタ
は、劣化画像の境界部分で異なる形のものを採用する。
このように画像の境界部分では、異なる転置フィルタを
用いることにより、復元画像のエッジ近傍などで発生す
るリンギングなどのノイズの発生が抑制される。
は、劣化画像の境界部分で異なる形のものを採用する。
このように画像の境界部分では、異なる転置フィルタを
用いることにより、復元画像のエッジ近傍などで発生す
るリンギングなどのノイズの発生が抑制される。
【００６３】ここで、たとえば、図８に示すサイズ７＊
７の元画像が、図１１に示すサイズ３＊３の劣化フィル
タで劣化して、図９に示す６＊６の採取画像になった場
合を例にして説明する。
７の元画像が、図１１に示すサイズ３＊３の劣化フィル
タで劣化して、図９に示す６＊６の採取画像になった場
合を例にして説明する。
【００６４】たとえば、図１０の充填フィルタ領域で
は、図１２（Ａ）に示す転置フィルタＡを用いる。―
方、図９のＹ１の画素に対しては、図１２（Ｂ）に示す
転置フイルタＢを用い、図８のＸ１の画素に対しては、
図１２（Ｃ）に示す転置フィルタＣを採用する。すなわ
ち、図８の元画像領域Ｘ１からＸ４９までの位置で、転
置フィルタＡと畳み込み演算を行う際、図９の劣化領域
（Ｙ１からＹ２５）から外れる部分は零とする。
は、図１２（Ａ）に示す転置フィルタＡを用いる。―
方、図９のＹ１の画素に対しては、図１２（Ｂ）に示す
転置フイルタＢを用い、図８のＸ１の画素に対しては、
図１２（Ｃ）に示す転置フィルタＣを採用する。すなわ
ち、図８の元画像領域Ｘ１からＸ４９までの位置で、転
置フィルタＡと畳み込み演算を行う際、図９の劣化領域
（Ｙ１からＹ２５）から外れる部分は零とする。
【００６５】このように転置フイルタＡにより、劣化領
域からはみ出した部分が零になると、非復元領域の画像
が悪影響を受けることがない。
域からはみ出した部分が零になると、非復元領域の画像
が悪影響を受けることがない。
【００６６】この後、＃２３では、前記＃２２で得られ
た勾配画像Ｇ（ｉ，ｊ）を用いて、修正画像を計算す
る。
た勾配画像Ｇ（ｉ，ｊ）を用いて、修正画像を計算す
る。
【００６７】修正画像とは、現在の更新画像に対する画
素毎の更新値を示すものであり、採用するアルゴリズム
により様々な計算法が考えられる。一例として、元画像
がエッジ近傍以外で滑らかな画像であると仮定すると、
最急降下法を用いて「数８」式、「数９」式により修正
画像Ｄ（ｉ，ｊ）を計算する。
素毎の更新値を示すものであり、採用するアルゴリズム
により様々な計算法が考えられる。一例として、元画像
がエッジ近傍以外で滑らかな画像であると仮定すると、
最急降下法を用いて「数８」式、「数９」式により修正
画像Ｄ（ｉ，ｊ）を計算する。
【００６８】
【数８】
【００６９】
【数９】
【００７０】但し、‖・‖2は、画像の各画素値の二乗
和、
和、
【００７１】
【数１０】
【００７２】は、Ｖによる重みつき二乗和を表してお
り、Ｖは要請する滑らかさの程度を表す重み画像であ
る。さらに、Δはラプラシアンフィルタと呼ばれる２階
の偏微分作用素である。またβは、滑らかさの程度を表
すパラメータであり、たとえば、０．１などにすればよ
い。
り、Ｖは要請する滑らかさの程度を表す重み画像であ
る。さらに、Δはラプラシアンフィルタと呼ばれる２階
の偏微分作用素である。またβは、滑らかさの程度を表
すパラメータであり、たとえば、０．１などにすればよ
い。
【００７３】修正画像が決定すると、＃２４では、現在
の更新画像、換言すれば復元画像の現在の予測画像Ｘn
（ｉ，ｊ）に修正画像Ｄ（ｉ，ｊ）を加えて新たな更新
画像Ｘn+1（ｉ，ｊ）とする。
の更新画像、換言すれば復元画像の現在の予測画像Ｘn
（ｉ，ｊ）に修正画像Ｄ（ｉ，ｊ）を加えて新たな更新
画像Ｘn+1（ｉ，ｊ）とする。
【００７４】すなわち、Ｘn+1（ｉ，ｊ）＝Ｘn（ｉ，
ｊ）＋Ｄ（ｉ，ｊ）となる。
ｊ）＋Ｄ（ｉ，ｊ）となる。
【００７５】こうして、修正した更新画像を用いて、反
復計算を行うことにより、手ぶれなどに起因する劣化画
像の復元が行える。しかも、前記フィルタ演算で置き換
えることから、複雑な螺旋フィルタで表せるような劣化
関数を持っている場合でも、大規模行列や逆行列を考慮
して演算するものに比較して、メモリ消費量が少なくな
るとともに、計算時間が大幅に短縮される。
復計算を行うことにより、手ぶれなどに起因する劣化画
像の復元が行える。しかも、前記フィルタ演算で置き換
えることから、複雑な螺旋フィルタで表せるような劣化
関数を持っている場合でも、大規模行列や逆行列を考慮
して演算するものに比較して、メモリ消費量が少なくな
るとともに、計算時間が大幅に短縮される。
【００７６】ところで、前記転置フィルタ計算部２０２
において、転置フィルタは、以下のようにして計算され
る。
において、転置フィルタは、以下のようにして計算され
る。
【００７７】図８に示す元画像を縦ベクトルに直すと、
図１５に示すようになる。
図１５に示すようになる。
【００７８】図１１に示された劣化フィルタｈを行列に
直すと、図１３に示すようなブロック３重対角行列Ｈに
なる。また、各ブロックＡ，Ｂ，Ｃ自体も３重対角行列
であり、ネスト構造になっている。
直すと、図１３に示すようなブロック３重対角行列Ｈに
なる。また、各ブロックＡ，Ｂ，Ｃ自体も３重対角行列
であり、ネスト構造になっている。
【００７９】したがって、上記ブロック３重対角行列Ｈ
の転置行列ＨTを計算すると、図１４に示すようにな
る。この転置行列ＨTの構造から図１２に示すような転
置フィルタの形を正確に求めることができる。
の転置行列ＨTを計算すると、図１４に示すようにな
る。この転置行列ＨTの構造から図１２に示すような転
置フィルタの形を正確に求めることができる。
【００８０】なお、以上の説明では、画像の復元をデジ
タルカメラ１０で行うものとして説明したが、デジタル
カメラ等で撮像した画像を、コンピュータ等の外部機器
により復元しても良い。この場合、図６、図７のプログ
ラムがネットワークや記録媒体を介してコンピュータに
読み込まれ、コンピュータ上で実行される。
タルカメラ１０で行うものとして説明したが、デジタル
カメラ等で撮像した画像を、コンピュータ等の外部機器
により復元しても良い。この場合、図６、図７のプログ
ラムがネットワークや記録媒体を介してコンピュータに
読み込まれ、コンピュータ上で実行される。
【００８１】
【発明の効果】以上のように、この発明は、画像劣化フ
ィルタの転置フィルタを計算しておき、画像劣化フィル
タと復元画像の予測画像と劣化画像とから求められた残
差画像と前記転置フィルタの畳み込み演算から残差勾配
画像を求め、残差勾配画像を用いて計算された予測画像
の修正量から予測画像の修正更新を行うようにし、これ
を用いて反復法により画像を復元するから、たとえばデ
ジタルカメラの手ぶれなどに起因する劣化画像の復元が
実現されるうえ、前記フィルタ演算で置き換えることか
ら、複雑な螺旋フィルタで表せるような劣化関数を持っ
ている場合でも、メモリ消費量を少なくなるできるとと
もに、復元処理用の計算時間を短縮できる。
ィルタの転置フィルタを計算しておき、画像劣化フィル
タと復元画像の予測画像と劣化画像とから求められた残
差画像と前記転置フィルタの畳み込み演算から残差勾配
画像を求め、残差勾配画像を用いて計算された予測画像
の修正量から予測画像の修正更新を行うようにし、これ
を用いて反復法により画像を復元するから、たとえばデ
ジタルカメラの手ぶれなどに起因する劣化画像の復元が
実現されるうえ、前記フィルタ演算で置き換えることか
ら、複雑な螺旋フィルタで表せるような劣化関数を持っ
ている場合でも、メモリ消費量を少なくなるできるとと
もに、復元処理用の計算時間を短縮できる。
【００８２】また、この発明に係るプログラムあるいは
該プログラムを記録した記録媒体によれば、上記のよう
な復元処理をコンピュータに実行させることができる。
該プログラムを記録した記録媒体によれば、上記のよう
な復元処理をコンピュータに実行させることができる。
【図１】この発明の一実施形態にかかる画像復元装置が
適用されたデジタルカメラを示す外観斜視図である。
適用されたデジタルカメラを示す外観斜視図である。
【図２】同じくデジタルカメラの背面図である。
【図３】同じくデジタルカメラの電気的構成を示すブロ
ック図である。
ック図である。
【図４】同じくデジタルカメラにおける画像劣化情報部
の構成を示すブロック図である。
の構成を示すブロック図である。
【図５】同じくデジタルカメラにおける復元部の機能的
構成を示すブロック図である。
構成を示すブロック図である。
【図６】同じくデジタルカメラの画像の復元処理を示す
フローチャートである。
フローチャートである。
【図７】画像修正のサブルーチンを示すフローチャート
である。
である。
【図８】元画像領域を表す図である。
【図９】劣化画像領域を表す図である。
【図１０】充填転置フィルタ領域を表す図である。
【図１１】劣化フィルタｈを表す図である。
【図１２】転置フィルタＡ〜Ｃを表す図である。
【図１３】劣化フィルタの行列を表す図である。
【図１４】劣化行列の配置行列を表す図である。
【図１５】図８の元画像を縦ベクトルに変換した図であ
る。
る。
【図１６】螺旋フィルタのような劣化関数を表す図であ
る。
る。
１０・・・・・・・・・・デジタルカメラ（画像復元装
置） ２０１・・・・・・・・・フィルタ記憶手段 ２０２・・・・・・・・・転置フィルタ計算手段 ５０１・・・・・・・・・残差画像計算部 ５０２・・・・・・・・・修正量計算部 ５０４・・・・・・・・・画像更新部
置） ２０１・・・・・・・・・フィルタ記憶手段 ２０２・・・・・・・・・転置フィルタ計算手段 ５０１・・・・・・・・・残差画像計算部 ５０２・・・・・・・・・修正量計算部 ５０４・・・・・・・・・画像更新部
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CC01 CE06 CH09 5C021 PA78 XB11 YA00 5C022 AA13 AB55
Claims (6)
- 【請求項１】 画像劣化フィルタの転置フィルタを計算
する転置フィルタ計算手段と、 画像劣化フィルタの転置フィルタを記憶するフィルタ記
憶手段と、 画像劣化フィルタと復元画像の予測画像と劣化画像から
残差画像を計算する残差画像計算手段と、 転置フィルタと残差画像との畳み込み演算を用いて残差
の勾配画像を計算する残差勾配画像計算手段と、 残差の勾配画像を用いて予測画像の修正量を計算する修
正量計算手段と、 修正量を用いて予測画像を修正し更新する画像更新手段
と、 を備えていることを特徴とする反復法による画像復元装
置。 - 【請求項２】 前記残差勾配画像計算手段は、画像の境
界部分に対して異なる転置フィルタを用いてなる請求項
１に記載の反復法による画像復元装置。 - 【請求項３】 前記境界部分における転置フイルタは、
劣化領域からはみ出した部分を零にしてなる請求項２に
記載の反復法による画像復元装置。 - 【請求項４】 画像劣化フィルタの転置フィルタを計算
する転置フィルタ計算ステップと、 画像劣化フィルタの転置フィルタを記憶するフィルタ記
憶ステップと、 画像劣化フィルタと復元画像の予測画像と劣化画像から
残差画像を計算する残差画像計算ステップと、 転置フィルタと残差画像との畳み込み演算を用いて残差
の勾配画像を計算する残差勾配画像計算ステップと、 残差の勾配画像を用いて予測画像の修正量を計算する修
正量計算ステップと、 修正量を用いて予測画像を修正し更新する画像更新ステ
ップと、 を備えたことを特徴とする反復法による画像復元方法。 - 【請求項５】 画像劣化フィルタの転置フィルタを計算
する転置フィルタ計算ステップと、 画像劣化フィルタの転置フィルタを記憶するフィルタ記
憶ステップと、 画像劣化フィルタと復元画像の予測画像と劣化画像から
残差画像を計算する残差画像計算ステップと、 転置フィルタと残差画像との畳み込み演算を用いて残差
の勾配画像を計算する残差勾配画像計算ステップと、 残差の勾配画像を用いて予測画像の修正量を計算する修
正量計算ステップと、 修正量を用いて予測画像を修正し更新する画像更新ステ
ップと、 をコンピュータに実行させるためのプログラム。 - 【請求項６】 請求項５に記載のプログラムを記録した
コンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001098158A JP2002300459A (ja) | 2001-03-30 | 2001-03-30 | 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 |
| US10/104,500 US7054502B2 (en) | 2001-03-30 | 2002-03-22 | Image restoration apparatus by the iteration method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001098158A JP2002300459A (ja) | 2001-03-30 | 2001-03-30 | 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002300459A true JP2002300459A (ja) | 2002-10-11 |
Family
ID=18951836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001098158A Pending JP2002300459A (ja) | 2001-03-30 | 2001-03-30 | 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7054502B2 (ja) |
| JP (1) | JP2002300459A (ja) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004059380A1 (ja) * | 2002-12-25 | 2004-07-15 | Nikon Corporation | ブレ補正カメラシステム |
| JP2007043393A (ja) * | 2005-08-02 | 2007-02-15 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体 |
| JP2007074348A (ja) * | 2005-09-07 | 2007-03-22 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007081905A (ja) * | 2005-09-15 | 2007-03-29 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007116332A (ja) * | 2005-10-19 | 2007-05-10 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007124198A (ja) * | 2005-10-27 | 2007-05-17 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007124199A (ja) * | 2005-10-27 | 2007-05-17 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007129354A (ja) * | 2005-11-01 | 2007-05-24 | Nitto Kogaku Kk | 画像処理装置 |
| WO2007063630A1 (ja) * | 2005-12-01 | 2007-06-07 | Nittoh Kogaku K.K | 画像処理装置 |
| WO2007074687A1 (ja) * | 2005-12-27 | 2007-07-05 | Nittoh Kogaku K.K | 画像処理装置 |
| WO2007077733A1 (ja) * | 2005-12-28 | 2007-07-12 | Nittoh Kogaku K.K | 画像処理装置 |
| WO2007083621A1 (ja) * | 2006-01-18 | 2007-07-26 | Nittoh Kogaku K.K | 画像処理装置 |
| WO2007091422A1 (ja) * | 2006-02-06 | 2007-08-16 | Nittoh Kogaku K.K | 信号処理装置 |
| WO2007122883A1 (ja) * | 2006-04-24 | 2007-11-01 | Nittoh Kogaku K.K | 信号処理装置 |
| JP2008032883A (ja) * | 2006-07-27 | 2008-02-14 | Eastman Kodak Co | 画像処理装置 |
| JP2008506174A (ja) * | 2004-07-09 | 2008-02-28 | ノキア コーポレイション | 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品 |
| JP2008116671A (ja) * | 2006-11-02 | 2008-05-22 | Nitto Kogaku Kk | 信号処理装置および信号処理方法 |
| KR100834374B1 (ko) | 2006-07-11 | 2008-06-02 | 엠텍비젼 주식회사 | 모델/뷰 역행렬 조건적 생성 방법 및 이를 이용한 그래픽처리 장치 |
| WO2008084670A1 (ja) * | 2006-12-26 | 2008-07-17 | Nittoh Kogaku K.K | 信号処理装置 |
| JP2008199305A (ja) * | 2007-02-13 | 2008-08-28 | Nitto Kogaku Kk | 画像処理装置および画像処理方法 |
| JP2009182570A (ja) * | 2008-01-30 | 2009-08-13 | Nittoh Kogaku Kk | 画像処理装置、画像処理方法および画像処理プログラム |
| WO2009110184A1 (ja) * | 2008-03-04 | 2009-09-11 | 日東光学株式会社 | 変化要因情報のデータの生成法および信号処理装置 |
| CN101969533A (zh) * | 2010-09-08 | 2011-02-09 | 中兴通讯股份有限公司 | 一种移动终端摄像头的防抖方法及装置 |
| US8224111B2 (en) | 2008-09-05 | 2012-07-17 | Kabushiki Kaisha Toshiba | Method of restoring degraded image, apparatus for restoring degraded image, and computer program product |
| JP2012150224A (ja) * | 2011-01-18 | 2012-08-09 | Canon Inc | 撮像装置および制御方法 |
| US10621710B2 (en) | 2016-02-12 | 2020-04-14 | Samsung Electronics Co., Ltd. | Display device and display method therefor |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| DE10213564A1 (de) * | 2002-03-26 | 2003-10-16 | Siemens Ag | Verfahren zur Unterdrückung von Geistbildartefakten bei Röntgenbildern und Röntgenvorrichtung zur Durchführung dieses Verfahrens |
| EP1876564B1 (en) * | 2005-04-27 | 2013-10-23 | Mitsubishi Electric Corporation | Image processing device, image processing method, and information terminal |
| IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| US8135233B2 (en) * | 2008-05-22 | 2012-03-13 | Aptina Imaging Corporation | Method and apparatus for the restoration of degraded multi-channel images |
| US9442904B2 (en) * | 2012-12-21 | 2016-09-13 | Vmware, Inc. | Systems and methods for applying a residual error image |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06118468A (ja) | 1992-10-05 | 1994-04-28 | Olympus Optical Co Ltd | 画像修復装置 |
| SE512350C2 (sv) * | 1996-01-09 | 2000-03-06 | Kjell Olsson | Ökat skärpedjup i fotografisk bild |
| KR100247938B1 (ko) * | 1997-11-19 | 2000-03-15 | 윤종용 | 영상처리 시스템의 디지탈 초점 조절방법 및 장치 |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
| US6788826B1 (en) * | 1998-11-10 | 2004-09-07 | Agfa-Gevaert | Method for correcting artefacts in a digital image |
| US6636645B1 (en) * | 2000-06-29 | 2003-10-21 | Eastman Kodak Company | Image processing method for reducing noise and blocking artifact in a digital image |
| US6694063B2 (en) * | 2000-12-21 | 2004-02-17 | Texas Instruments Incorporated | Offset correction of the output of a charge coupled device |
-
2001
- 2001-03-30 JP JP2001098158A patent/JP2002300459A/ja active Pending
-
2002
- 2002-03-22 US US10/104,500 patent/US7054502B2/en not_active Expired - Fee Related
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7711253B2 (en) | 2002-12-25 | 2010-05-04 | Nikon Corporation | Blur correction camera system |
| US7596307B2 (en) | 2002-12-25 | 2009-09-29 | Nikon Corporation | Blur correction camera system |
| WO2004059380A1 (ja) * | 2002-12-25 | 2004-07-15 | Nikon Corporation | ブレ補正カメラシステム |
| JP2008506174A (ja) * | 2004-07-09 | 2008-02-28 | ノキア コーポレイション | 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品 |
| JP2007043393A (ja) * | 2005-08-02 | 2007-02-15 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体 |
| JP2007074348A (ja) * | 2005-09-07 | 2007-03-22 | Nitto Kogaku Kk | 画像処理装置 |
| JP4606976B2 (ja) * | 2005-09-07 | 2011-01-05 | 日東光学株式会社 | 画像処理装置 |
| JP2007081905A (ja) * | 2005-09-15 | 2007-03-29 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007116332A (ja) * | 2005-10-19 | 2007-05-10 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007124198A (ja) * | 2005-10-27 | 2007-05-17 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007124199A (ja) * | 2005-10-27 | 2007-05-17 | Nitto Kogaku Kk | 画像処理装置 |
| JP2007129354A (ja) * | 2005-11-01 | 2007-05-24 | Nitto Kogaku Kk | 画像処理装置 |
| WO2007063630A1 (ja) * | 2005-12-01 | 2007-06-07 | Nittoh Kogaku K.K | 画像処理装置 |
| CN101310520B (zh) * | 2005-12-01 | 2010-12-01 | 日东光学株式会社 | 图像处理装置及图像处理方法 |
| JP5007234B2 (ja) * | 2005-12-01 | 2012-08-22 | 日東光学株式会社 | 画像処理装置 |
| WO2007074687A1 (ja) * | 2005-12-27 | 2007-07-05 | Nittoh Kogaku K.K | 画像処理装置 |
| US8073278B2 (en) | 2005-12-27 | 2011-12-06 | Nittoh Kogaku K.K. | Image processing device |
| JP5007241B2 (ja) * | 2005-12-27 | 2012-08-22 | 日東光学株式会社 | 画像処理装置 |
| US8243148B2 (en) | 2005-12-28 | 2012-08-14 | Nittoh Kogaku K.K. | Image processing device |
| JP4975644B2 (ja) * | 2005-12-28 | 2012-07-11 | 日東光学株式会社 | 画像処理装置 |
| WO2007077733A1 (ja) * | 2005-12-28 | 2007-07-12 | Nittoh Kogaku K.K | 画像処理装置 |
| WO2007083621A1 (ja) * | 2006-01-18 | 2007-07-26 | Nittoh Kogaku K.K | 画像処理装置 |
| JP4885150B2 (ja) * | 2006-01-18 | 2012-02-29 | 日東光学株式会社 | 画像処理装置 |
| JP5133070B2 (ja) * | 2006-02-06 | 2013-01-30 | 日東光学株式会社 | 信号処理装置 |
| WO2007091422A1 (ja) * | 2006-02-06 | 2007-08-16 | Nittoh Kogaku K.K | 信号処理装置 |
| US7864214B2 (en) | 2006-02-06 | 2011-01-04 | Nittoh Kogaku K.K. | Signal processing device |
| JP4982484B2 (ja) * | 2006-04-24 | 2012-07-25 | 日東光学株式会社 | 信号処理装置 |
| WO2007122883A1 (ja) * | 2006-04-24 | 2007-11-01 | Nittoh Kogaku K.K | 信号処理装置 |
| KR100834374B1 (ko) | 2006-07-11 | 2008-06-02 | 엠텍비젼 주식회사 | 모델/뷰 역행렬 조건적 생성 방법 및 이를 이용한 그래픽처리 장치 |
| JP2008032883A (ja) * | 2006-07-27 | 2008-02-14 | Eastman Kodak Co | 画像処理装置 |
| JP2008116671A (ja) * | 2006-11-02 | 2008-05-22 | Nitto Kogaku Kk | 信号処理装置および信号処理方法 |
| JP4718618B2 (ja) * | 2006-12-26 | 2011-07-06 | 日東光学株式会社 | 信号処理装置 |
| JPWO2008084670A1 (ja) * | 2006-12-26 | 2010-04-30 | 日東光学株式会社 | 信号処理装置 |
| WO2008084670A1 (ja) * | 2006-12-26 | 2008-07-17 | Nittoh Kogaku K.K | 信号処理装置 |
| JP2008199305A (ja) * | 2007-02-13 | 2008-08-28 | Nitto Kogaku Kk | 画像処理装置および画像処理方法 |
| JP2009182570A (ja) * | 2008-01-30 | 2009-08-13 | Nittoh Kogaku Kk | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2009211337A (ja) * | 2008-03-04 | 2009-09-17 | Nittoh Kogaku Kk | 変化要因情報のデータの生成法および信号処理装置 |
| WO2009110184A1 (ja) * | 2008-03-04 | 2009-09-11 | 日東光学株式会社 | 変化要因情報のデータの生成法および信号処理装置 |
| US8224111B2 (en) | 2008-09-05 | 2012-07-17 | Kabushiki Kaisha Toshiba | Method of restoring degraded image, apparatus for restoring degraded image, and computer program product |
| CN101969533A (zh) * | 2010-09-08 | 2011-02-09 | 中兴通讯股份有限公司 | 一种移动终端摄像头的防抖方法及装置 |
| JP2012150224A (ja) * | 2011-01-18 | 2012-08-09 | Canon Inc | 撮像装置および制御方法 |
| US10621710B2 (en) | 2016-02-12 | 2020-04-14 | Samsung Electronics Co., Ltd. | Display device and display method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020167597A1 (en) | 2002-11-14 |
| US7054502B2 (en) | 2006-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002300459A (ja) | 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体 | |
| EP2574039B1 (en) | Image pickup device, image processing device, image processing method, and image processing program | |
| KR101241925B1 (ko) | 화상 처리장치 및 화상 처리방법 | |
| US9460495B2 (en) | Joint video stabilization and rolling shutter correction on a generic platform | |
| JP5627256B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP2006295626A (ja) | 魚眼像処理装置及びその方法並びに魚眼像撮像装置 | |
| JP4345940B2 (ja) | 手ぶれ画像補正方法、記録媒体及び撮像装置 | |
| US7079179B2 (en) | Image processing apparatus for performing image restoration | |
| JP2008092297A (ja) | 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体 | |
| JP2000020691A (ja) | 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体 | |
| JP4640032B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
| JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
| JP2002300384A (ja) | 画像復元装置、画像復元方法、プログラム及び記録媒体 | |
| KR20150024733A (ko) | 왜곡제거장치 및 방법 | |
| JP2008021271A (ja) | 画像処理装置、画像復元方法、およびプログラム | |
| JP2008109482A (ja) | 撮像装置、画像記録処理方法及び画像記録処理プログラム | |
| JP2009118434A (ja) | ぶれ補正装置及び撮像装置 | |
| JP2009153046A (ja) | ぶれ補正装置及び方法並びに撮像装置 | |
| JP2002288652A (ja) | 画像処理装置，方法，プログラム及び記録媒体 | |
| KR20110016376A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| JP4606976B2 (ja) | 画像処理装置 | |
| JP2001333326A (ja) | 画像処理機能を有したデジタルカメラ | |
| JP4763419B2 (ja) | 画像処理装置 | |
| JP4460711B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050802 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050802 |