JP2017084040A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2017084040A
JP2017084040A JP2015210665A JP2015210665A JP2017084040A JP 2017084040 A JP2017084040 A JP 2017084040A JP 2015210665 A JP2015210665 A JP 2015210665A JP 2015210665 A JP2015210665 A JP 2015210665A JP 2017084040 A JP2017084040 A JP 2017084040A
Authority
JP
Japan
Prior art keywords
mtf
image
geometric distortion
geometric
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015210665A
Other languages
English (en)
Other versions
JP6485322B2 (ja
Inventor
善隆 豊田
Yoshitaka Toyoda
善隆 豊田
川口 正浩
Masahiro Kawaguchi
正浩 川口
的場 成浩
Norihiro Matoba
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015210665A priority Critical patent/JP6485322B2/ja
Publication of JP2017084040A publication Critical patent/JP2017084040A/ja
Application granted granted Critical
Publication of JP6485322B2 publication Critical patent/JP6485322B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 地表面を上空斜め方向から撮像した撮像画像について鮮鋭度の低下を抑えて幾何補正する。
【解決手段】 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部10と、前記幾何歪み量及び前記幾何歪み方向に応じて2次元の目標MTFを設定し、前記目標MTFに基づいて前記撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正部20と、前記MTF補正画像を幾何学的変換して、基準画像に投影する幾何補正部30とを備えた。
【選択図】 図2

Description

この発明は、地表面を上空から撮像した撮像画像の画像処理装置及び画像処理方法に関する。
地表面を上空から撮像する場合、衛星や航空機など飛行体の軌道や空路等の制約があるため関心領域の直上を通過できないことがある。この場合、カメラを真下に固定せずに斜め方向に傾ける駆動を行なった上で関心領域を撮像することによって、関心領域の画像情報を得る方法がある。しかしながら、斜め方向から撮像した画像では、幾何学的な歪みが発生し、地表面の位置(地図)との対応がとりづらいことから利用性に欠けるという問題がある。
そこで、斜め方向から撮像した画像の幾何学的な歪みを補正し、直上から撮像したような画像(本明細書では、基準画像という)に投影して地図と対応づける処理が行われる。例えば、特許文献1では、センサモデル、カメラ位置・姿勢、地上基準点等を用いて、地表面の位置と、撮像した画像データの投影面上での位置を対応づけ、精密な幾何補正を行うことが記載されている。
特開2005−292882号公報(第5頁)
しかしながら、特許文献1に記載されているような斜め方向から撮像した画像を基準画像に投影する幾何補正を行なう場合、幾何補正に伴う画像の引き伸ばしを行なうため、特にカメラを向けた方向の画素密度は低下するので画像の引き伸ばしによる鮮鋭度の低下を引き起こすという問題があった。
この発明は、上述のような課題を解決するためになされたもので、幾何補正に伴う引き伸ばしによる鮮鋭度の低下を抑えた基準画像を得ることができる画像処理装置及び画像処理方法を提供することを目的とする。
この発明に係る画像処理装置においては、地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部と、前記幾何歪み量及び前記幾何歪み方向に応じて2次元の目標MTFを設定し、前記目標MTFに基づいて前記撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正部と、前記MTF補正画像を幾何学的変換して、基準画像に投影する幾何補正部とを備えることを特徴とするものである。
この発明は、撮像方向の角度情報から算出した撮像画像の幾何歪み量及び幾何歪み方向に応じて前記撮像画像のMTF特性を補正してから幾何学的変換を行なうことで、幾何補正に伴う引き伸ばしによる鮮鋭度の低下を抑えた基準画像を得ることができる。
カメラの撮像方向と幾何補正によるMTF劣化の関係を示す図である。 実施の形態1にかかる画像処理装置の構成ブロック図である。 3次元空間におけるカメラ位置と撮像方向の幾何を表す図である。 斜め方向画像と直下画像の分解能の関係を示す図である。 実施の形態1に係る方向依存MTF補正部20の構成例を示す図である。 目標MTF設定部201における1次元の目標MTF特性の算出例を示す図である。 目標MTF設定部201における2次元の目標MTF特性の例を示す図である。 従来の画像処理装置による点像変化の模式図である。 本発明の画像処理装置による点像変化の模式図である。 実施の形態2に係る方向依存MTF補正部21の構成例を示す図である。 実施の形態3に係る方向依存MTF補正部22の構成例を示す図である。 本発明にかかる画像処理装置の構成ブロックの変形例である。
実施の形態1.
まず、実施の形態1にかかる画像処理装置2の説明に入る前に、カメラの撮像方向と従来の画像処理装置における幾何補正によるMTF(Modulation Transfer Function)の劣化の関係について説明する。
ここでは、MTFとは、カメラの光学系のMTF特性だけをいうのでなく、動きによるブレや後段の画像処理の影響も含めた最終画像のMTFのことを意味するものとする。
また、2次元のMTF特性について説明する。2次元のMTF特性とは、画像の左右方向(水平方向、x方向)の空間周波数fxと、上下方向(垂直方向、y方向)の空間周波数fyの2つの値の組に対して1つのMTFの値が定義された2変数関数として定義されるものである。
図1は、カメラの撮像方向と従来の画像処理装置における幾何補正によるMTF劣化の関係を示す図である。図1において、1段目は、カメラの撮像方向を示す。2段目は撮像画像結果と幾何補正を行なった撮像画像との関係を示す。3段目は撮像画像における点像と幾何補正を行なった後の点像の変化を示す。また、a列は、カメラの移動方向dに沿った方向にのみカメラを傾けて撮像した場合を示し、b列は、カメラの移動方向dに直交する方向にのみ傾けて撮像した場合を示す。ここでは、カメラの移動方向dと、撮像画像の上下方向が対応するように、カメラの移動方向側が撮像画像の上側になるようにカメラが取り付けられているものとする。
図1のa−1(a列1段目)は、撮像方向vが、カメラの移動方向dに沿って前方に傾いている場合を示す。カメラの移動方向に沿った方向をAT(Along Track)方向、または、第1の方向と定義する。AT方向にカメラを傾けた場合、撮像方向vに垂直な面で撮像するので、撮像面と地表面との傾きに依存して直下を撮像したときの画像領域よりも上下に長い距離の範囲が撮像されることになり、直下で撮像したときよりも上下方向に短い形状で撮像されることになる(a−2左側)。そのため、幾何補正を行なうことで上下方向に引き伸ばしが行なわれる(a−2右側)。これにより、上下方向にMTFが劣化する。その結果、a−3に示すように、撮像画像における点像(左側)は、幾何補正後の画像において上下方向に伸びた形状となる(右側)。このように、もとの撮像した画像と比べて幾何補正後の画像が上下方向に伸びるため、引き伸ばした上下方向の画素密度は低下するので鮮鋭度が低下する。また被写体方向ぼやけが上下方向に間延びして正確な形状を再現することが困難になる。
一方、図1のb−1は、撮像方向vが、カメラの移動方向dに直交する方向に左手方向に傾いている場合を示す。本明細書では、カメラの移動方向に直交する方向を、CT(Cross Track)方向、または、第2の方向と定義する。CT方向にカメラを傾けた場合、直下を撮像したときの画像領域よりも左右に長い距離の範囲が撮像されることになり、直下で撮像したときよりも左右方向に短い形状で撮像されることになる(b−2左側)。そのため、幾何補正を行なうことで左右方向に引き伸ばしが行なわれる(b−2右側)。これにより、左右方向にMTFが劣化する。その結果、b−3に示すように、撮像画像における点像(左側)は、幾何補正後の画像において左右方向に伸びた形状(右側)となる。このように、もとの撮像した画像と比べて幾何補正後の画像が左右方向に伸びるため、引き伸ばした左右方向の画素密度は低下するので鮮鋭度が低下する。また被写体方向ぼやけが左右方向に間延びして正確な形状を再現することが困難になる。
図1では、カメラをAT方向に傾けた場合とCT方向に傾けた場合を独立に考えたが、両方が組み合わされた場合にも同様の考え方を拡張できる。一般に、AT方向とCT方向が張る平面内において方位角φの方向にカメラを傾けた場合には、撮像画像は方位角φに対応する方向に歪んだ画像となり、幾何補正ではこの歪みを補正するように方位角φに対応する方向に引き伸ばしが行われ、方位角φに対応する方向にMTFが劣化する。
また、図1の(a)の場合においては、AT方向へのカメラ傾き角(直下方向と撮像方向vがなす角)が大きくなればなるほど、撮像画像では上下方向の歪みが大きくなり、幾何補正後の画像では上下方向のMTF劣化の程度が大きくなる。図1の(b)の場合においては、CT方向へのカメラ傾き角(直下方向と撮像方向vがなす角)が大きくなればなるほど撮像画像では左右方向の歪みが大きくなり、幾何補正後の画像では左右方向のMTF劣化の程度が大きくなる。一般に、方位角φの方向にカメラを傾けた場合においては、方位角φの方向へのカメラ傾き角(直下方向と撮像方向vがなす角)が大きくなればなるほど、撮像画像で方位角φに対応する方向の歪みが大きくなり、幾何補正後の画像では方位角φに対応する方向のMTFの劣化が大きくなる。したがって、カメラの直下方向と撮像方向vがなす角(オフナディア角とよぶ)が大きくなればなるほど、幾何補正後の画像において、方位角φに対応する方向のMTFと、方位角φに対応する方向に直交する方向のMTFとの差が大きくなり、MTFの等方性が失われてしまう。MTFの等方性が失われると、被写体ぼやけが一方向に間延びして正確な形状を再現できない。
次に、実施の形態1にかかる画像処理装置について説明する。
図2は、実施の形態1にかかる画像処理装置2の構成を示すブロック図である。画像処理装置2は、撮像装置(以下、カメラともいう)1と接続され、撮像装置1から画像処理装置2へ撮像画像IOと撮像画像I0が撮像された際の撮像方向に関する角度情報θ及びθが入力される。撮像画像IOは、撮像装置1が撮像して生成した画像データである。
なお、撮像装置1と画像処理装置2とがそれぞれ通信手段を備えて、撮像装置1からの撮像画像IO及び撮像画像I0が撮像された際の撮像方向に関する角度情報について、画像処理装置2はそれぞれの通信手段を介して得るものとしても構わない。この場合、撮像装置1を飛行体に設け、画像処理装置2を地上に設けた構成が可能となる。
ここで、撮像方向に関する角度情報とは、撮像地点の座標やカメラの位置・姿勢等の外部情報から得られるもので、カメラの撮像方向の自由度に相当する数の角度の値、または、角度に対応づけられた値を含むものとする。例えば、カメラの撮像方向の自由度が2である場合として、撮像方向がカメラの直下方向に対してなす角度のうち、AT方向(第1の方向)へのカメラの傾き角θと、CT方向(第2の方向)へのカメラの傾き角θが、与えられるものとする。図2ではカメラの撮像方向の自由度が2である場合として角度情報としてθ及びθが画像処理装置2に入力されるものとして示している。
画像処理装置2は、撮像方向に関する角度情報から撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部10と、幾何歪み量及び幾何歪み方向に応じて方向毎にゲインを設定して撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正部20と、MTF補正画像を幾何学的変換して基準画像に投影する幾何補正部30とを備える。
図3は、3次元空間におけるカメラ位置と撮像方向の幾何を表す。図3において地表面と水平な面で一方の方向をAT方向(第1の方向)、地表面と水平な面でAT方向と垂直な方向をCT方向(第2の方向)とする。なお、AT方向は、撮像装置1を備えた飛行体の移動方向dと同じ方向とする。カメラ位置からの撮像方向vは、カメラの直下方向に対してなす角度(オフナディア角)をθとし、AT方向とCT方向が張る平面(地表面と水平な面)でCT方向からの角度をφとする。オフナディア角θは、カメラの傾きの角度を表わし、θが大きくなるほど斜め方向に大きな角度で撮像することを表す。また、方位角φは、φが0度のときはカメラがCT方向に傾いていることを表し、φが90度のときはカメラがAT方向に傾いていることを表す。
撮像方向に関する角度情報として与えられる角度θ、θは、それぞれ、θはCT方向に沿ったカメラの傾き角、θはAT方向に沿ったカメラの傾き角であり、オフナディア角θのCT方向成分、AT方向成分に等しい。
ここで、図3において、(θ,θ)と(θ,φ)との間には、以下に数1にて示される数式(式1)と数2にて示される数式(式2)との相互変換関係が成り立つ。
Figure 2017084040
Figure 2017084040
幾何歪み量算出部10は、CT方向に沿ったカメラの傾き角θ及びAT方向に沿ったカメラの傾き角θから、式1の関係を用いて、撮像方向のオフナディア角θ及び方位角φを得る。
次に、オフナディア角θ及び方位角φを用いて、斜め方向の撮像に伴って発生する撮像画像I0の幾何歪み量kと幾何歪み方向Ψを算出する。幾何歪み量kとは、斜め方向の撮像により撮像画像I0において地表面が歪んで(縮んで)いる程度を表す。図4は斜め方向画像と直下画像の分解能の関係を示す。図4に示すように、斜め方向に撮像する場合、センサの1画素が表す地表面の範囲が、直下を撮像する場合に比べて大きくなる。このことは、斜め方向画像では、直下画像に比べて分解能が劣化していることを意味する。斜め方向画像の分解能は、斜め方向の角度θが増加すればするほど劣化していく。いま、直下画像の分解能(1画素が表す地表面の範囲)をRES(0)、角度θの斜め方向画像の分解能をRES(θ)とすると、両者の分解能の関係は、もっとも単純なモデルで数3にて示される数式(式3)にて表される。
Figure 2017084040
式3は、直下画像に対する、斜め方向画像の分解能の劣化量を表している。すなわち、歪みのない直下画像に対して、斜め方向画像が歪んで(縮んで)いる程度を表しているから、式3で求めるRES(θ)とRES(0)との割合を幾何歪み量kと定義する。
図4における角度θは、図3におけるオフナディア角θに相当する。したがって、幾何歪み量kは、オフナディア角θを用いて、数4にて示される数式(式4)により算出される。
Figure 2017084040
次に、幾何歪み方向とは、撮像画像I0において上記の幾何歪みが発生する(分解能が劣化する)方向を表す。いま、AT方向が撮像画像I0の上下方向(垂直方向、y方向)と対応し、CT方向が撮像画像I0の左右方向(水平方向、x方向)と対応するようにカメラが取り付けられているものとすると、幾何歪み方向Ψは、カメラの撮像方向の方位角φそのものになり、数5にて示される数式(式5)により算出される。
Figure 2017084040
以上のように、幾何歪み量算出部10は、撮像方向に関する角度情報を使って、撮像画像I0における幾何歪み量kと幾何歪み方向Ψとを算出する。
なお、幾何歪み量算出部10に対して与えられる撮像方向に関する角度情報は、(θ,θ)であるとしたが、直接(θ,φ)が与えられることとしてもよい。また、これに加えて、直下方向の軸のまわりのカメラの回転角度ωを含んでもよい。本実施の形態では、説明を簡略化するために、AT方向が撮像画像I0の上下方向(垂直方向、y方向)と対応し、CT方向が撮像画像I0の左右方向(水平方向、x方向)と対応するようにカメラが取り付けられているものとし、カメラの回転角度ωについては考慮しないが、カメラの回転角度ωが自由度に含まれる場合は、撮像方向に関する角度情報としてカメラの回転角度ωを追加で与え、AT方向と撮像画像I0の上下方向との対応、及び、CT方向と撮像画像I0の左右方向との対応に回転角度ωのずれを考慮すればよい。したがって、幾何歪み量算出部1に対しては、撮像方向に関する角度情報として、カメラの撮像方向の自由度に相当する数の角度の値、または、角度に対応付けられた値が与えられるものとする。
また、式3及び式4は、地表面が平面であると仮定した場合の単純なモデルに基づいており、計算量の簡素化が得られる。地球が球体や楕円体であることを考慮したモデルに基づいて算出すれば、より高精度に算出することができる。
また、本実施の形態では、撮像画像I0の画面内で局所的に幾何歪み量や幾何歪み方向が異なることを考慮しない。これは、地表面の撮像範囲に対して、カメラが十分高い位置にある場合には、撮像画像I0の画面内で幾何歪み量や幾何歪み方向はほぼ一定とみなせるため、処理を簡略化することができる。
方向依存MTF補正部20は、幾何歪み量算出部10により算出された幾何歪み量k及び幾何歪み方向Ψに応じて方向毎に強度(ゲイン)を設定して撮像画像I0のMTFを補正することでMTF補正画像I2を出力する。
<周波数領域>
図5は、方向依存MTF補正部20の第1の構成例を示す図である。
方向依存MTF補正部20の第1の構成例は、目標MTF設定部201と、MTF補正フィルタ生成部202と、フーリエ変換部203と、乗算部204と、逆フーリエ変換部205とを備える。
目標MTF設定部201は、MTF補正後の画像I2における目標MTF(MTFtarget)を設定する。目標MTFとは、MTF補正後の画像I2において目標となる2次元のMTF特性のことをいい、画像の左右方向(水平方向、x方向)の空間周波数fxと、上下方向(垂直方向、y方向)の空間周波数fyの2つの値の組に対して1つのMTFの値が定義された2変数関数として定義される。
図6は、目標MTF設定部201における1次元の目標MTF特性の算出例を示す図である。以下に示す数6から数8にて示される数式と図6を用いて、目標MTF設定部201による目標MTFの設定方法の一例を説明する。まず、理想的なエッジレスポンスを微分してフーリエ変換することにより、ベースとなる一次元のMTF特性(MTFtarget1D)を生成する。
数6にて示される数式(式6)は、エッジレスポンスとよばれる、エッジの1次元の画素値プロファイルを模擬する関数である。図6(a)にグラフを示す。横軸はx(画素位置)、縦軸はy(画素値)である。ここで、aはエッジの鮮鋭性を定めるパラメータであり、aが大きい場合にエッジは鮮鋭(図6(a)の点線)であり、aが小さい場合にエッジは鮮鋭でない(鈍っている)(図6(a)の実線)ことを表す。
Figure 2017084040
数7にて示される数式(式7)は、式6をxに関して微分したものであり、エッジのぼやけの広がり具合の程度を表すエッジ広がり関数とよばれる。図6(b)にグラフを示す。aが大きい場合に広がりの幅が狭く(図6(b)の点線)、aが小さい場合に広がりの幅が広い(図6(b)の実線)。
Figure 2017084040
MTFtarget1D(f)は、数8にて示される数式(式8)によりエッジ広がり関数をフーリエ変換することによって得られ、この結果は、式6のパラメータaにより定義されたエッジの鮮鋭性に対応する1次元のMTF特性を表す。図6(c)にグラフを示す。横軸はf(空間周波数)、縦軸はMTFの値である。aが大きい場合にMTFが各空間周波数で高くなり(図6(c)の点線)、aが小さい場合にMTFが各空間周波数で低くなる(図6(c)の実線)。
Figure 2017084040
次に、式6から式8を用いて生成されたベースとなる1次元のMTF特性MTFtarget1D(f)を用いて、2次元の空間周波数上に展開する。目標MTF(2次元のMTF特性)であるMTFtargetは、幾何歪み量算出部1により算出された幾何歪み量kと幾何歪み方向Ψを使って、数9にて示される数式(式9)により算出する。
Figure 2017084040
式9では、1次元のMTF特性MTFtarget1D(f)をもとに、幾何歪み方向Ψの方向には、幾何歪み量kに相当するk倍に伸長したMTFtarget1D(f)の特性が適用され、幾何歪み方向Ψに直交する方向にはMTFtarget1D(f)の特性が適用された、2次元の目標MTFが生成される。
図7に、目標MTF生成部201により生成された2次元の目標MTF特性の例を示す。図7では、横軸にx方向の空間周波数fx、縦軸にy方向の空間周波数fyをとり、(fx,fy)の各座標における輝度にてMTFtargetの値を示している。
図7(a)は、k=1である場合を示す。k=1の場合、目標MTFは方向依存性のない、等方的な円状の特性が設定される。
図7(b)は、k>1,Ψ=0[deg]である場合を示す。k>1の場合、目標MTFはΨ=0[deg]、すなわち水平方向(fx軸)に伸びた、異方的な楕円状の特性が設定される。
図7(c)は、k>1,Ψ=90[deg]である場合を示す。k>1の場合、目標MTFはΨ=90[deg]、すなわち垂直方向(fy軸)に伸びた、異方的な楕円状の特性が設定される。
すなわち、式9によれば、幾何歪み方向Ψの方向に、幾何歪み量kに対応する分だけ引き伸ばされた、異方的な楕円状の特性を有する目標MTFが設定される。
なお、上記では、ベースとなる1次元のMTF特性MTFtarget1D(f)を1つだけ定め、これをk倍に伸長することによって幾何歪み方向にMTFが高くなった目標MTF特性を生成する方法を説明したが、以下の方法により生成することとしてもよい。
まず、式6から式8におけるパラメータaをa=aPとして、幾何歪み方向Ψに適用する1次元のMTF特性MTFtargetP1D(f)を生成する。
次に、式6から式8におけるパラメータaをa=aQとして、幾何歪み方向Ψと直交する方向に適用する1次元のMTF特性MTFtargetQ1D(f)を生成する。
ここで、パラメータaP及びaQは、MTF補正後の画像における、幾何歪み方向Ψとその直交方向の鮮鋭性を決めるものであり、幾何歪み量kと対応づけて定めることができる。すなわち、aP>aQとすることによって、幾何歪み方向Ψの方向、すなわち幾何補正により発生するであろうMTF劣化が大きい方向の鮮鋭性を高めるようにし、その度合いを幾何歪み量kに応じて設定する。
次に、1次元のMTF特性MTFtargetP1D(f)及びMTFtargetQ1D(f)を用いて、数10にて示される数式(式10)により2次元の目標MTF(MTFtarget)を算出する。
Figure 2017084040
式10では、幾何歪み方向Ψの方向にはMTFtargetP1D(f)の特性が適用され、幾何歪み方向Ψに直交する方向にはMTFtargetQ1D(f)の特性が適用された、2次元の目標MTFが生成される。
式10によっても同様に、幾何歪み方向Ψの方向に、幾何歪み量kに対応する分だけ引き伸ばされた、異方的な楕円状の特性を有する目標MTFが設定される。
以上で説明した方法により、目標MTF設定部201は、幾何歪み方向Ψの方向に、幾何歪み量kに対応する分だけ引き伸ばされた、異方的な楕円状の特性を有する目標MTFを設定する。
MTF補正フィルタ生成部202は、撮像画像I0のMTF特性(MTFsys(fx,fy))を用いて、撮像画像I0のMTFが目標MTF(MTFtarget(fx,fy))になるように補正するMTF補正フィルタ(MTFC(fx,fy))を生成する。
MTF補正フィルタ(MTFC(fx,fy))は、数11にて示される数式(式11)により算出する。
Figure 2017084040
ここで、撮像画像I0のMTF特性(MTFsys(fx,fy))は、既知であるとする。撮像画像I0のMTF特性は、主にカメラの光学系のぼやけや収差、動きによるブレ等に起因するものであり、公知のPSF(Point Spread Function)を推定する手法等により、PSFが与えられるものとする。2次元のMTF特性は、PSFをフーリエ変換することによって得られる。
フーリエ変換部203は、撮像画像I0をフーリエ変換し、FI0(fx,fy)を得る。ここで、フーリエ変換とは、2次元離散フーリエ変換としてよい。
乗算部204は、数12にて示される数式(式12)に示すように、周波数領域(フーリエ空間)において撮像画像I0のフーリエ変換FI0(fx,fy)とMTF補正フィルタ(MTFC(fx,fy))を乗算する。
Figure 2017084040
逆フーリエ変換部205は、FI2(fx,fy)を逆フーリエ変換し、MTF補正画像I2を得る。ここで、逆フーリエ変換とは、フーリエ変換部203の逆変換であって、2次元離散フーリエ変換の逆変換としてよい。
以上により、方向依存MTF補正部20の第1の構成例では、幾何歪み量算出部1により算出された幾何歪み量k及び幾何歪み方向Ψに応じて方向毎に強度を適用した目標MTFを設定し、撮像画像I0のMTFが目標MTFになるような周波数領域のMTF補正フィルタを生成し、周波数領域においてMTF補正フィルタを乗算することによって撮像画像I0のMTFを補正したMTF補正画像I2を出力する。
(効果)
本発明の実施の形態1に係る画像処理装置による効果を説明する。
前述したように、斜め方向に撮像した撮像画像I0を幾何補正する際、カメラの傾きの角度(オフナディア角)θと方位角φに対応して算出される幾何歪み量kと幾何歪み方向Ψに基づいて、幾何歪み方向Ψの方向に、幾何歪み量kに相当するk倍に引き伸ばしが行われる。
幾何補正により、幾何歪み方向Ψの方向に画像がk倍に拡大されることによって、理論上(補間が線形である場合)、幾何補正画像における幾何歪み方向Ψの方向の鮮鋭度は1/k倍に劣化する。本発明の画像処理装置では、鮮鋭度劣化の大きい方向のMTF補正強度を、それと直交する方向のMTF補正強度に比べて大きく設定することにより、幾何補正を適用した際に発生する鮮鋭度劣化の偏りを前段で補正しておくものである。
図8及び図9は、各処理過程における点像の変化の様子を模式的に示す図である。
図8は、方向依存MTF補正をしない場合の各処理過程における点像の変化の様子を示す。図8(a)はΨ=90°の場合(カメラをAT方向に傾けた場合)、図8(b)はΨ=0[deg]の場合(カメラをCT方向に傾けた場合)を示す。Ψ=90[deg]の場合、幾何補正において撮像画像の上下方向に引き伸ばしが行われるので、撮像画像の点像(円形とする)は、幾何補正後の画像では上下方向に伸びた形状となる。Ψ=0[deg]の場合、幾何補正において撮像画像の左右方向に引き伸ばしが行われるので、撮像画像の点像(円形とする)は、幾何補正後の画像では左右方向に伸びた形状となる。このように、斜め方向に撮像した画像では、幾何補正によって被写体ぼやけが一方向に間延びして正確な形状を再現できない。
図9は、本発明の実施の形態1に係る画像処理装置において、方向依存MTF補正部20において方向依存MTF補正をした場合の各処理過程における点像の変化の様子を示す。図9(a)は、Ψ=90[deg]の場合(カメラをAT方向に傾けた場合)を示し、図9(b)はΨ=0[deg]の場合(カメラをCT方向に傾けた場合)を示す。
Ψ=90[deg]の場合、幾何補正において撮像画像の上下方向に引き伸ばしが行われるため、MTF補正の段階では、引き伸ばしが行われる上下方向に対するMTF補正強度を上げてMTF補正を行う。これにより、MTF補正画像における点像は、上下方向に関して従来の方式よりも鮮鋭度が向上し、相対的に左右方向に伸びた形状となる。このMTF補正画像を幾何補正すると、上下方向に引き伸ばしによる鮮鋭度劣化分が相殺して、幾何補正後の画像で等方的な円形の形状となる。すなわち、本来は円形であるべき被写体を、幾何補正後の画像において円形を再現することが可能となり、幾何補正後の画像において幾何補正前にMTF補正を行なわない従来の方式よりも鮮鋭度の劣化を抑えることができる。
同様に、Ψ=0[deg]の場合、幾何補正において撮像画像の左右方向に引き伸ばしが行われるため、MTF補正の段階では、引き伸ばしが行われる左右方向に対するMTF補正強度を上げてMTF補正を行う。これにより、MTF補正画像における点像は、左右方向に関して鮮鋭度が向上し、相対的に上下方向に伸びた形状となる。このMTF補正画像を幾何補正すると、左右方向に引き伸ばしによる鮮鋭度劣化分が相殺して、幾何補正後の画像で等方的な円形の形状となる。すなわち、本来は円形であるべき被写体を、幾何補正後の画像において円形を再現することが可能となり、幾何補正後の画像において幾何補正前にMTF補正を行なわない従来の方式よりも鮮鋭度の劣化を抑えることができる。
Ψが任意の角度である場合について、上記と同様の効果を奏する。
以上のことから、本発明によれば、幾何補正に伴う鮮鋭度の劣化を抑え、被写体の形状を再現した基準画像を得ることができる。
また、本実施の形態に係る画像処理装置では、方向依存MTF補正部20の第1構成例において、幾何歪み量算出部1により算出された幾何歪み量kと幾何歪み方向Ψに応じて方向毎に強度を適用した目標MTFを設定し、撮像画像I0のMTFが目標MTFになるようなMTF補正フィルタを生成し、MTF補正フィルタを用いて撮像画像I0のMTFを補正したMTF補正画像I2を出力することとした。これにより、幾何歪み方向Ψに応じた目標MTFの形状を周波数領域においてきめ細やかに設定することができ、幾何補正による画像引き伸ばしによる鮮鋭度劣化を高精度に補正することが可能である。
実施の形態2.
実施の形態1では、方向依存MTF補正部20の第1構成例について説明した。実施の形態2では、方向依存MTF補正部20の代わりに第2の構成例での方向依存MTF補正部21を備える。方向依存MTF補正部21以外の構成は、図2に示す実施の形態1にかかる画像処理装置2の構成と同様である。本実施の形態2にかかる画像処理装置は、撮像方向に関する角度情報から撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部10と、幾何歪み量と幾何歪み方向に応じて方向毎にゲインを設定して撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正部21と、MTF補正画像を幾何学的変換して基準画像に投影する幾何補正部30とを備える。なお、実施の形態1と同じ符号の構成要素については実施の形態1で説明したものと動作及び作用は同じである。
<空間領域>
図10は、方向依存MTF補正部21の第2の構成例を示す図である。
第2の構成例は、第1の構成例において周波数領域における乗算で行っていたMTF補正を、空間領域における畳み込み演算にて行う点が第1の構成例と異なる。
方向依存MTF補正部21の第2の構成例は、目標MTF設定部211と、MTF補正フィルタ生成部212と、逆フーリエ変換部213と、畳み込み演算部214とを備える。
目標MTF設定部211及びMTF補正フィルタ生成部212は、方向依存MTF補正部2の第1の構成例における目標MTF設定部201及びMTF補正フィルタ生成部202と同様の方法により、幾何歪み量算出部1により算出された幾何歪み量kと幾何歪み方向Ψに応じて方向毎に強度を適用した目標MTFを設定し、撮像画像I0のMTFが目標MTFになるようなMTF補正フィルタ(MTFC(fx,fy))を生成する。
次に、逆フーリエ変換部213は、MTF補正フィルタ(MTFC(fx,fy))を逆フーリエ変換し、空間領域のMTF補正フィルタ(MTFCspatial)を得る。ここで、逆フーリエ変換とは、2次元離散フーリエ変換の逆変換としてよい。
畳み込み演算部214は、撮像画像I0に対して空間領域のMTF補正フィルタ(MTFCspatial)を畳み込み演算(コンボリューション)することによってMTF補正画像I2を得る。
以上により、方向依存MTF補正部21の第2の構成例では、幾何歪み量算出部10により算出された幾何歪み量kと幾何歪み方向Ψに応じて方向毎に強度を適用した目標MTFを設定し、撮像画像I0のMTFが目標MTFになるような空間領域のMTF補正フィルタを生成し、空間領域においてMTF補正フィルタを畳み込み演算することによって撮像画像I0のMTFを補正したMTF補正画像I2を出力する。
このように、本実施の形態においても実施の形態1と同様に所期の目的を達成し得ることはいうまでもない。
さらに、本実施の形態に係る画像処理装置では、方向依存MTF補正部21の第2の構成例において、幾何歪み量算出部1により算出された幾何歪み量kと幾何歪み方向Ψに応じて方向毎に強度を適用した目標MTFを設定し、撮像画像I0のMTFが目標MTFになるような空間領域のMTF補正フィルタを生成し、空間領域においてMTF補正フィルタを畳み込み演算することによって撮像画像I0のMTFを補正したMTF補正画像I2を出力することとした。これにより、空間領域のMTF補正フィルタとしてカーネルサイズの小さいフィルタを用いることにより、演算量を削減し、処理時間を高速化することが可能である。
実施の形態3.
実施の形態3では、実施の形態1における方向依存MTF補正部20の代わりに第3の構成例での方向依存MTF補正部22を備える。方向依存MTF補正部22以外の構成は、図2に示す実施の形態1にかかる画像処理装置2の構成と同様である。本実施の形態2にかかる画像処理装置は、撮像方向に関する角度情報から撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部10と、幾何歪み量と幾何歪み方向に応じて方向毎にゲインを設定して撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正部22と、MTF補正画像を幾何学的変換して基準画像に投影する幾何補正部30とを備える。なお、実施の形態1と同じ符号の構成要素については実施の形態1で説明したものと動作及び作用は同じである。
図11は、方向依存MTF補正部22の第3の構成例を示す図である。
第3の構成例は、第2の構成例と同様に空間領域でのフィルタ処理によりMTF補正を行うが、予め複数の方向に対するフィルタの特性を定めておき、各方向に対するゲインによって方向毎に強度を適用する点が第2の構成例と異なる。
方向依存MTF補正部22の第3の構成例は、方向毎ゲイン決定部221と、水平方向低域除去フィルタ部222hと、水平方向ゲイン乗算部223hと、垂直方向低域除去フィルタ部222vと、垂直方向ゲイン乗算部223vと、加算部224とを備える。
方向毎ゲイン決定部221は、幾何歪み量算出部1により算出された幾何歪み量kと幾何歪み方向Ψに応じて、予め定められた複数の方向のフィルタに対するゲインを決定する。本構成例では、水平方向と垂直方向のフィルタを用いることとしており、水平方向フィルタに対するゲインghと、垂直方向フィルタに対するゲインgvを決定する。
ゲインgh及びgvは、幾何歪み量kと幾何歪み方向Ψを用いて、例えば、数12にて示される数式(式13)により定める。
Figure 2017084040
ここで、gは全方向に対するゲインの大きさを定めるパラメータである。
式13では、幾何歪み量kを幾何歪み方向Ψを考慮して水平方向及び垂直方向に射影した量に応じて、水平方向と垂直方向のゲインを定めることで、方向毎に強度を設定する。
水平方向低域除去フィルタ部222hは、撮像画像I0の水平方向に沿った低域成分を除去し、中域〜高域の成分を抽出するフィルタ処理を行う。フィルタ特性は予め定められたものを用いることができる。
水平方向ゲイン乗算部223hは、水平方向低域除去フィルタ部222hの出力をゲインghにて乗算する。
同様に、垂直方向低域除去フィルタ部222vは、撮像画像I0の垂直方向に沿った低域成分を除去し、高域成分を抽出するフィルタ処理を行う。フィルタ特性は予め定められたものを用いることができる。
垂直方向ゲイン乗算部223vは、垂直方向低域除去フィルタ部222vの出力をゲインgvにて乗算する。
加算部224は、撮像画像I0に、水平方向ゲイン乗算部223hの出力と、垂直方向ゲイン乗算部223vの出力とを加算し、MTF補正画像I2として出力する。
なお、方向依存MTF補正部22の第3の構成例では、フィルタとして水平方向と垂直方向のみを有する場合を説明したが、斜め方向のフィルタを含んでもよい。
以上により、方向依存MTF補正部22の第3の構成例では、幾何歪み量算出部10により算出された幾何歪み量kと幾何歪み方向Ψに応じて方向毎にゲインを決定し、予め定められた複数の方向に対するフィルタの出力に対してゲインを乗算して加算することで撮像画像I0のMTFを補正したMTF補正画像I2を出力する。
ここで、方向毎にゲインを決定することは、撮像画像I0のMTF特性(MTFsys(fx,fy))に対する予め定められた水平方向と垂直方向のフィルタ特性によるMTFの回復量を調整することにより、2次元の目標MTFを設定することに相当する。
このように、本実施の形態においても実施の形態1と同様に所期の目的を達成し得ることはいうまでもない。
さらに、本実施の形態に係る画像処理装置では、方向依存MTF補正部22の第3の構成例において、幾何歪み量算出部10により算出された幾何歪み量kと幾何歪み方向Ψに応じて方向毎にゲインを決定し、予め定められた複数の方向に対するフィルタの出力に対してゲインを乗算して加算することで撮像画像I0のMTFを補正したMTF補正画像I2を出力することとした。これにより、フーリエ変換を行わずに済むようになり、演算量を大きく削減し、処理時間を大幅に高速化することが可能である。第3の構成例では、有限の数の方向のフィルタしか用いないため補正精度は低下するが、カメラを傾ける方向がAT方向、CT方向のみに限定できる場合は、水平方向フィルタと垂直方向フィルタの用いるだけでも、良い近似が可能である。
実施の形態4.
実施の形態4では、カメラの高度が低い場合で、撮像画像I0の画面内で局所的に幾何歪み量や幾何歪み方向が異なる場合について考慮する。
本実施の形態に係る画像処理装置は、幾何歪み量算出部10、方向依存MTF補正部21または方向依存MTF補正部22、及び幾何補正部30を備える。実施の形態1と異なる点は、撮像方向に関する角度情報が撮像画像I0の複数の地点について与えられることと、幾何歪み量算出部1が、複数の地点について与えられた撮像方向に関する角度情報を使って、撮像画像I0の各画素についての幾何歪み量k(x,y)と幾何歪み方向Ψ(x,y)を算出すること、及び、方向依存MTF補正部21または方向依存MTF補正部22が、画素毎に幾何歪み量k(x,y)と幾何歪み方向Ψ(x,y)を使って、画素毎にMTF補正を行うことである。ここで、幾何歪み量算出部1において、撮像方向に関する角度情報が与えられない画素については、線形補間などにより、補間するものとする。また、方向依存MTF補正部21または方向依存MTF補正部22において、空間領域のフィルタを画素毎に変更し、適用する。
このように、本実施の形態においても実施の形態2または実施の形態3と同様に所期の目的を達成し得ることはいうまでもない。
なお、上述の実施の形態1から4のいずれにおいても、図12のようにプロセッサ40を用いて処理を行なう構成であっても所期の目的を達成し得ることはいうまでもない。図12において、撮像装置1は画像処理装置2と接続されたバスライン3を介して撮像画像IOと撮像画像I0が撮像された際の撮像方向に関する角度情報が入力される。もしくは、画像処理装置2が備えるプロセッサ40に直接接続して撮像画像IOと撮像画像I0が撮像された際の撮像方向に関する角度情報を入力しても構わない。ワークメモリ41は、プロセッサ40と直接接続されたメモリで一時的なデータの回避などを行ない、メモリ42は、バスライン3を介してプロセッサ40と接続されたメモリである。
例えば、メモリ42に、地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から、撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出ステップと、幾何歪み量算出ステップで算出された幾何歪み量及び前記幾何歪み方向に応じて2次元の目標MTFを設定し、前記目標MTFに基づいて前記撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正ステップと、方向依存MTF補正ステップで補正されたMTF補正画像を幾何学的変換して、基準画像に投影する幾何補正ステップとを備えるプログラムを記憶し、プロセッサ40がメモリ42にアクセスしてプログラムを実行することで上述の実施の形態1から4に記載した方法によって基準画像を得ることができる。なお、プログラムはメモリ42に記憶することに限らず、ワークメモリ41に記憶してプロセッサ40がアクセスしても、他の記録媒体に記録してバスライン3を介してプロセッサ40がアクセスしても所期の目的を達成し得る。
なお、図12では撮像装置1と画像処理装置2とをバスラインで接続しているが、撮像装置1と画像処理装置2とがそれぞれ通信手段を備えて、撮像装置1からの撮像画像IO及び撮像画像I0が撮像された際の撮像方向に関する角度情報について、画像処理装置2はそれぞれの通信手段を介して得るものとしても構わない。この場合、撮像装置1と画像処理装置2とが離れて設置された状態であっても所期の目的を達成し得るので、撮像装置1を飛行体に設け、画像処理装置2を地上に設けた構成が可能となる。
1 撮像装置
2 画像処理装置
10 幾何歪み量算出部
20、21、22 方向依存MTF補正部
30 幾何補正部

Claims (7)

  1. 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出部と、
    前記幾何歪み量及び前記幾何歪み方向に応じて2次元の目標MTFを設定し、前記目標MTFに基づいて前記撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正部と、
    前記MTF補正画像を幾何学的変換して、基準画像に投影する幾何補正部と
    を備える画像処理装置。
  2. 前記方向依存MTF補正部は、
    前記幾何歪み量及び前記幾何歪み方向に応じて前記撮像画像の縦方向及び横方向のそれぞれにゲインを適用した前記目標MTFを設定する目標MTF設定部と、
    前記目標MTFに基づいて周波数領域のMTF補正フィルタを生成するMTF補正フィルタ生成部と
    を備え、
    前記撮像画像の周波数領域において前記MTF補正フィルタを乗算することによって前記撮像画像のMTF特性を補正した前記MTF補正画像を出力する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記方向依存MTF補正部は、
    前記幾何歪み量及び前記幾何歪み方向に応じて前記撮像画像の縦方向及び横方向のそれぞれにゲインを適用した前記目標MTFを設定する目標MTF設定部と、
    前記目標MTFに基づいて空間領域のMTF補正フィルタを生成する第2のMTF補正フィルタ生成部と
    を備え、
    前記撮像画像と前記空間領域のMTF補正フィルタとを畳み込み演算することによって前記撮像画像のMTF特性を補正した前記MTF補正画像を出力する
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記方向依存MTF補正部は、
    前記幾何歪み量及び前記幾何歪み方向に応じて前記撮像画像の縦方向及び横方向のそれぞれにゲインを決定する方向毎ゲイン決定部を備え、
    予め定められた複数の方向に対するフィルタの出力に対してゲインを乗算して加算することで前記撮像画像のMTFを補正した前記MTF補正画像を出力すること
    を特徴とする請求項1に記載の画像処理装置。
  5. 前記目標MTF設定部は、前記幾何歪み方向の方向及び前記幾何歪み量に依存して引き伸ばされた、異方的な楕円状の特性を有する目標MTFを設定する
    ことを特徴とする請求項2または3に記載の画像処理装置。
  6. 前記撮像画像における前記角度情報が複数入力された場合に、
    前記方向依存MTF補正部は、画素毎の前記角度情報に基づいて適用し、
    前記幾何補正部は、画素毎の前記角度情報に基づいて幾何学的変換を行ない、前記角度情報のない画素については、当該画素の周辺の画素から補間して幾何学的変換を行なう
    ことを特徴とする請求項3または4に記載の画像処理装置。
  7. 地表面を上空から撮像する撮像装置の撮像方向に関する角度情報から前記撮像装置からの撮像画像の幾何歪み量及び幾何歪み方向を算出する幾何歪み量算出ステップと、
    前記幾何歪み量及び前記幾何歪み方向に応じて2次元の目標MTFを設定し、前記目標MTFに基づいて前記撮像画像のMTF特性を補正したMTF補正画像を出力する方向依存MTF補正ステップと、
    前記MTF補正画像を幾何学的変換して、基準画像に投影する幾何補正ステップと
    を備える画像処理方法。
JP2015210665A 2015-10-27 2015-10-27 画像処理装置及び画像処理方法 Active JP6485322B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015210665A JP6485322B2 (ja) 2015-10-27 2015-10-27 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015210665A JP6485322B2 (ja) 2015-10-27 2015-10-27 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2017084040A true JP2017084040A (ja) 2017-05-18
JP6485322B2 JP6485322B2 (ja) 2019-03-20

Family

ID=58713114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015210665A Active JP6485322B2 (ja) 2015-10-27 2015-10-27 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP6485322B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932695A (zh) * 2018-07-02 2018-12-04 安徽理工大学 一种基于几何结构的井壁弧形图校正方法
WO2019021341A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 光学撮像装置および撮像画像補正方法
JP2020173170A (ja) * 2019-04-10 2020-10-22 オムロン株式会社 光学計測装置、光学計測方法、及び光学計測プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6282471A (ja) * 1985-10-07 1987-04-15 Hitachi Ltd 最適内插係数選択による衛星画像補正処理方式
JPS63261480A (ja) * 1987-04-20 1988-10-28 Hitachi Ltd 衛星画像撮影装置および衛星画像補正方法
JP2013110582A (ja) * 2011-11-21 2013-06-06 Mitsubishi Electric Corp 画像読取装置および画像読取方法、並びにmtf補正パラメータ決定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6282471A (ja) * 1985-10-07 1987-04-15 Hitachi Ltd 最適内插係数選択による衛星画像補正処理方式
JPS63261480A (ja) * 1987-04-20 1988-10-28 Hitachi Ltd 衛星画像撮影装置および衛星画像補正方法
JP2013110582A (ja) * 2011-11-21 2013-06-06 Mitsubishi Electric Corp 画像読取装置および画像読取方法、並びにmtf補正パラメータ決定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
瀬戸 洋一、外3名: ""画質補正を考慮した不等間隔画素補間方式の提案"", 電子情報通信学会論文誌, vol. 73, no. 3, JPN6018038852, 25 March 1990 (1990-03-25), JP, pages 305 - 316, ISSN: 0003890335 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021341A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 光学撮像装置および撮像画像補正方法
JP6524373B1 (ja) * 2017-07-24 2019-06-05 三菱電機株式会社 光学撮像装置および撮像画像補正方法
CN108932695A (zh) * 2018-07-02 2018-12-04 安徽理工大学 一种基于几何结构的井壁弧形图校正方法
CN108932695B (zh) * 2018-07-02 2022-10-14 安徽理工大学 一种基于几何结构的井壁弧形图校正方法
JP2020173170A (ja) * 2019-04-10 2020-10-22 オムロン株式会社 光学計測装置、光学計測方法、及び光学計測プログラム

Also Published As

Publication number Publication date
JP6485322B2 (ja) 2019-03-20

Similar Documents

Publication Publication Date Title
KR102563750B1 (ko) 영상 블러링 제거 방법 및 장치
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4152398B2 (ja) 手ぶれ補正装置
CN102073993B (zh) 一种基于摄像机自标定的抖动视频去模糊方法和装置
US10939081B2 (en) Image processing apparatus, image processing method, and storage medium
CN109873997A (zh) 投影画面校正方法及装置
KR101583155B1 (ko) 어안렌즈 영상 보정 방법 및 그 장치
JP2009124597A (ja) 防振画像処理装置及び防振画像処理方法
JP2013003610A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
KR101839617B1 (ko) 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치
JP6485322B2 (ja) 画像処理装置及び画像処理方法
JP2013005258A (ja) ブレ補正装置、ブレ補正方法及び帳票
JP5809865B2 (ja) 画像処理装置及び画像処理方法
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP2017010095A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9202265B2 (en) Point spread function cost function with non-uniform weights
WO2012029238A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2009110183A1 (ja) 変化要因情報のデータの生成法および信号処理装置
JP2012124939A (ja) 撮像装置及び撮像装置の制御方法
WO2015190317A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4286301B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190204

R151 Written notification of patent or utility model registration

Ref document number: 6485322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250