JP2004241961A

JP2004241961A - 撮像補正装置及び、撮像装置

Info

Publication number: JP2004241961A
Application number: JP2003027958A
Authority: JP
Inventors: Hiroshi Mizuno; 寛水野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-02-05
Filing date: 2003-02-05
Publication date: 2004-08-26
Anticipated expiration: 2023-02-05
Also published as: JP4140394B2

Abstract

【課題】景色を用いて検知器の出力補正を行うデフォーカスキャリブレーションにおいて、デフォーカスによって充分に均一性の高い画像が得られず補正後の画像に補正時の画像が焼き付いたように残ってしまったり、あるいはこれを避けるために補正用景色の選択において人為的作業を必要としたりすることなく、自動的に均一性の高い画像が得られるようにする。
【解決手段】撮像方向を変化させるための可動架台と、得られた画像の低空間周波数成分の大きさを測定する画像処理器を持ち、撮像方向を変化させながら低空間周波数成分の大きさを測定し、これが極小となる方向でデフォーカスキャリブレーションを行う。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像補正装置および撮像装置に関する。
【０００２】
【従来の技術】
従来の撮像補正装置としては、補正時にレンズの前に画像補正用シャッタを挿入して補正を行う通常の補正方法と、輝度が均一の思われるもの（例えば「空」など）に視軸を向け、レンズのピントをぼかした状態で補正を行う「デフォーカスキャリブレーション」という方法がある。（例えば特許文献１参照）
【０００３】
【特許文献１】特開平１０−１４２０６５号公報（従来の技術、段落６）
【０００４】
【発明が解決しようとする課題】
従来の技術としては、画像補正用シャッタを挿入して補正を行う通常の補正方式と、前述のデフォーカスキャリブレーションの２方式が代表的であるが、補正はできるだけ撮像対象に近い輝度で行うのが好ましいため、輝度が均一に近い景色を得られるならばデフォーカスキャリブレーションが優れている。ところが、均一に近い輝度の景色が得られる方向は状況によって異なり、そのような景色を人間が探してその方向に撮像装置を向けて補正を行わなければならない場合、▲１▼操作者が必要である、▲２▼撮像装置が正しく均一輝度と思われる方向を向いたかどうかを操作者がリアルタイムに確認するための表示装置が必要となる。そのため、例えば撮像装置が監視装置のような場合であっても装置を完全に自動化できず、また補正操作者用の表示装置の分だけ大型化するという問題があった。
【０００５】
また、デフォーカスキャリブレーションによって補正を行う場合、均一に近い輝度の景色がどうしても得られない場合には、レンズのピントをぼかしても景色の輝度変化が残り、これを基準に補正処理を行うと、補正後の画像に補正時の景色の残像があたかも焼き付きをおこしたかのように残ってしまうという問題があった。
【０００６】
この発明は、上記のような問題を解消するためになされたもので、良好な景色の選択及び補正方法の選択により、自動的に適切な補正を行うことを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る撮像補正装置は、画像信号の均一性を分析する画像処理器と、前記画像処理器の出力から補正タイミング信号を出力する主制御器と、前記補正タイミング信号により前記画像信号のばらつきを補正する補正処理器と、を備えるものである。
【０００８】
また、この発明に係わる撮像装置は、ピント調節機構を有する光学的結像器と、前記光学的結像器によって結像された像を電気信号に変換する検知器と、前記光学的結像器の受光方向を変化させる可動架台と、前記検知器の信号のばらつきを補正する補正処理器と、前記補正処理器の出力信号の均一性を分析する画像処理器と、前記画像処理器の分析結果から前記可動架台、前記光学的結像器、前記補正処理器を制御する主制御器と、を備えるものである。
【０００９】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１を示す構成図である。
１は入射光、２は光学的結像器、３は光学的結像器２によって結像された像を光電変換する検知器、４は検知器３が出力する粗画像信号、５は光学的結像器２および検知器３を搭載する可動架台、６は粗画像信号４を補正するための補正処理器、７は補正処理器６の補正処理で必要となる検知器３の素子の補正用データを納めたデータベース、８は補正処理器６が出力する画像信号、９は画像信号８の画像としての特徴を分析する画像処理器、１０は画像処理器９が出力する画像分析結果、１１は主制御器、１２は可動架台５を動かして所望の撮像方向を得るための視軸方向指令、１３は光学的結像器２の合焦状態を制御するためのピント量指令、１４は補正処理器６に補正用の基準画像を取得させるためのデータベース更新指令である。
【００１０】
通常の撮像時には、入射光１は光学的結像器２によって検知器３上に焦点を結ぶ。検知器３は面状に並べられた複数の光電変換素子を有し、光電変換素子上に結像した像を電気信号に変換する。検知器の構造によっては、光電変換素子を直線状に並べたものもあるが、その場合には結像された像をスキャンさせる機構を用いることにより面状に光電変換素子を並べた場合と同様の効果を得ることができる。
【００１１】
いずれの方法にせよ、複数の光電変換素子の電気信号を一定の順序で出力することで検知器３は粗画像信号４を出力する。通常、複数の光電変換素子はそれぞれの特性がわずかに異なっているため、同じ光子数を光電変換素子面上に受けても、同じ強度の電気信号にならない。また、光学的結像器２の性能により結像面上の明るさが異なったり、特に撮像対象波長帯が赤外線の場合には装置各部分の赤外線放射による影響で結像面上に輝度差を作り出してしまう。そのため、粗画像信号４には必ずノイズが混入する。特に高感度で撮像する場合にはノイズが顕著になる。
【００１２】
そこで、データベース７を用いて粗画像信号４を補正処理器６により適宜修正し、画像信号８を得る。データベース７は、均一な景色を撮像した場合に粗画像信号４がフラットになるように補正処理器６が各光電変換素子の信号を補正するためのパラメータデータベースである。
各光電変換素子の特性は時間経過によって変動したり、電源のＯＮ／ＯＦＦにより変化することがあるため、データベース７は電源投入時、動作中の一定時間経過後、あるいは画像信号８が劣化した場合に更新する必要がある。その際に必要となるのは均一な景色であり、この均一な景色を撮像した状態で主制御器１１から補正処理器６にデータベース更新指令１４を送ることで補正処理器６が基準となるデータを基に補正パラメータを計算し、データベース７を更新して補正が完了する。
【００１３】
一般に、真に均一な景色というものは通常の景色の中にはなかなかない。均一に近い景色としては、雲の無い空、あるいは雲で覆われている空、海、アスファルトの路面、壁などがあるが、雲のない空を除けば細かい模様があり、均一とは言えない。そこで、補正処理器６にデータベース更新指令１４を送る前に主制御器１１から光学的結像器２にピント量指令１３を送り、ピントを目一杯ぼかして細かい模様を消すことで均一な景色を得る。このようにピントをぼかすことを「デフォーカス」といい、これによって補正を行う方法をデフォーカスキャリブレーションと言う。
【００１４】
しかし、デフォーカスしても大きな模様、言い換えれば空間周波数が小さい模様は消すことができない。そこで、この実施の形態が持つ従来の技術にはなかった特徴的な機構として、デフォーカスキャリブレーションを開始する前に以下の動作を行う。すなわち、主制御器１１から可動架台５に視軸方向指令１２を送り、これによって可動架台５を撮像の対象としている領域内、その周囲、あるいは可動架台５が動く領域内をスキャンするように隈なく動かすことで撮像方向を変化させる。次いで、その間に得られる画像信号８を画像処理器９によって分析して画像信号内の低空間周波数成分の大きさを計る。低空間周波数成分の大きさは、まず一定領域の画像信号を平均化することで単純なローパスフィルタをかけ、高空間周波数成分がなくなった画像信号の分散値を計算することで求めることができる。そして、これが一定値を下回り次第、その方向へ撮像方向を向けることにより、最適な補正用の景色を得る。あるいは、全領域を撮像後にこの値が極小となる方向へ撮像方向を向ける場合もある。
【００１５】
このようにすることで、単純にデフォーカスキャリブレーションする場合よりもデフォーカス後の補正用景色の均一性が増し、補正後の画像における補正用景色の残像の影響を少なくすることができる。
【００１６】
ここで、画像信号の低空間周波数成分の大きさについては、例えばあらかじめ設定されたしきい値周波数以下の空間周波数において高速フーリエ変換し、これによって得られる信号強度を周波数に対して積分することで得ることができる。
【００１７】
このように画像均一性の分析に空間周波数を用いることで、高空間周波成分の影響をなくし、低空間周波数成分の量を正確に計ることができる。また、一般的にフーリエ変換を用いる画像処理は多いが、このような場合にフーリエ変換部の処理を共有することで、全体の処理負荷を低減させることができる。
【００１８】
なお、デフォーカスのかわりに可動架台５を高速に動かし手ブレ状態を作り出すことで、デフォーカスと同じ効果を得ることもできる。もちろん、デフォーカスと併用してもよく、この場合はボケを大きくする効果がある。
【００１９】
また、最適な景色を探す方法については、例えば撮像装置が周期的に撮像方向を変えながら一定のエリアを撮影するような用途の場合には、その周期動作の中であらかじめ補正に最適な景色を探しておくことができる。その他、補正のためだけに計画的に撮像方向を変えて補正に最適な景色を探すような撮像装置の場合は、ピントをぼかしたまま撮像方向を変化させることで、画像処理器９における低空間周波数成分の抽出機能を削減することができる。これはピントをぼかすこと自体が低空間周波数成分の抽出と等価だからである。これによりコスト削減及び小型化を実現できる。
【００２０】
また、画像処理器９による画像信号内の空間周波数の分析において、いくつかの周波数帯域において信号強度を得て、この信号強度が一定の大きさを超える周波数を求め、それ以上の周波数帯域がぼけるようにあらかじめピント量指令１３を光学的結像器２に送るようにすることで、晴天の空のように景色の均一性が高い場合には光学的結像器２のピントぼかし量が小さくなるか、あるいはピントをぼかさない状態で補正を行うことができる。ピントを大きくぼかすと像面比照度が変化したり、撮像対象波長帯が赤外線の場合は、シェーディングと呼ばれる鏡筒からの赤外線放射の回り込み量が変化し、これらは補正用の基準データ取得においてはマイナス効果となるが、上記のようにピントぼかし量を最適調整することで、このマイナス効果を低減できる。
【００２１】
また、撮像画像がカラー画像の場合、単色あるいは２色のみからなる景色ではたとえ低空間周波数成分が小さくても補正用画像として使うことができない。そこで、画像処理器９にて各色の強度を計れるようにすることで、低空間周波数成分の大きさのみならず補正に適した色を持つ景色を選択することができる。
【００２２】
実施の形態２．
図２は、この発明の実施の形態２を示す構成図である。
１５はシャッタ、１６はシャッタ１５を光学的結像器２の前に挿抜するためのシャッタ開閉指令である。
図２に示すように、実施の形態１に対してシャッタ１５を加えたものであり、画像処理器９によって得られる画像信号８の低空間周波数成分の大きさが一定の大きさ以下にならない場合、デフォーカスキャリブレーションでは良好な補正が行えないと考えられるため、主制御器１１からシャッタ１５にシャッタ開閉指令１６を送り、シャッタを挿入して補正を行う。
この場合はピントのぼかしは行わなくてもよい。
【００２３】
なお、シャッタ１５は、すりガラスのような半透明の板でもよいし、撮像対象波長帯が赤外線の場合は一定の温度にコントロールされた黒体板でもよい。また、シャッタは光学的結像器２内の光学経路途中や、光学的結像器２と検知器３との間に挿入できるようにしてもよい。
シャッタとして半透明の板を使った場合、撮像対象となる景色の明るさを反映するため、デフォーカスキャリブレーションに近い良好な効果を得ることができる。
【００２４】
このようにすることで、周囲の景色環境に関わらず補正を行うことができ、定期的に補正を行う必要がある場合、不適当な補正用景色でむりやり補正してしまうことがなくなる。
【００２５】
実施の形態３．
図３は、この発明の実施の形態３を示す構成図である。
１７は高度計、１８は高度計１７が出力する高度情報、１９は姿勢角度計、２０は姿勢角度計１９が出力する姿勢角度情報、２１は撮像装置の位置を計測する位置測定器、２２は位置測定器２１が出力する位置情報、２３は地図データベース、２４は地図データベース２３が出力する地図情報、２５は時計、２６は時計２５が出力する時刻日付情報である。
実施の形態３は主として航空機のような、移動するプラットフォームに取り付けられた撮像装置に関する実施の形態１の展開であり、補正に適した景色を得るための所要時間を短くするためのものである。主制御器１１は、高度情報１８、姿勢角度情報２０、位置情報２２、地図情報２４に基づき、補正に適した景色を得るための撮像方向捜索パターンを決定する。
【００２６】
具体的には、高度情報１８によって得られる自身の高度が一定高度以上であった場合、主制御器１１において姿勢角度情報２０から得られる自身の姿勢角度を用いて天頂方向へ撮像方向を向けるための可動架台５の設定角度を計算し、撮像方向を可動範囲内でできるだけ天頂に近い高仰角から低仰角へ向かって移動させ、画像分析結果１０が示す画像信号８内の低空間周波数成分の大きさが一定以下になったところで直ちにデフォーカスキャリブレーションを実施するものである。
【００２７】
このようにすることで、補正に適した景色を高速に見つけることができる。これは、通常高高度では水平線から天頂にかけては雲のない空が得られる可能性が極めて高いためであり、ほとんどの場合、最初のワンショットで補正に適した景色を得ることができる。なお、姿勢角度情報２０は東西南北基準で自身が向いている方向（これを方位角という）を含み、この情報と時刻日付情報２６から自分に対する太陽方向を計算することができるため、撮像方向がこの方向を向かないようにする。
【００２８】
同じく、位置情報２２によって得られる自身の位置が、地図情報２４と比較して海上と判断される場合、あるいは時刻日付情報２６と併せて比較して雪上、氷上と判断される場合には、姿勢角度情報２０から得られる自身の姿勢角度を用いて撮像方向を雪上あるいは氷上方向へ向けるための可動架台５の設定角度を計算し、撮像方向を可動範囲内で直下方向にできるだけ近い低仰角から高仰角へ向かって移動させ、画像分析結果１０が示す画像信号８内の低空間周波数成分の大きさが一定以下になったところで直ちにデフォーカスキャリブレーションを実施するものである。
【００２９】
このようにすることで、補正に適した景色を高速に見つけることができる。これは、通常海面や雪上は画像における低空間周波数成分の大きさが小さくデフォーカスさせることにより補正に適した景色を得られる可能性が高いからである。なお、姿勢角度情報２０と時刻日付情報２６から自分に対する太陽方向を計算することができるため、撮像方向の方位角がこの方向を向かないようにする。これは、海面や雪上では太陽光の反射が激しく、低仰角から水平線へ向かって帯状に高輝度となるためであり、この方向では正しく補正が行えないからである。
【００３０】
もちろん、上記の高度による撮像方向捜索パターンと、位置と時間による撮像方向捜索パターンを組み合わせて使用することもできる。両方の条件に適合する場合は、撮像装置が本来の目的のために撮像する方向が可動架台５の設定角度及び姿勢角度情報２０から計算して、水平線より上の場合は高度による撮像方向捜索パターンを優先選択し、逆に水平線より下の場合は位置と時間による撮像方向捜索パターンを優先選択する。これは、実際に撮像する領域に近い輝度で補正を行った方が良好な補正が行えるためである。
【００３１】
実施の形態４．
図４は、この発明の実施の形態４を示す構成図である。
２７は可動架台５と補正処理器６の動作を同調させる同調器、２８は補正開始信号、２９は可動架台５の指向方向を表す角度情報、３０は段階的に補正処理を行う際のタイミング信号である。
同調器２７は補正開始信号２８を受けて処理を開始し、角度情報２９から求められる可動架台５が一定角度動く毎にタイミング信号３０を出力する。補正処理器６はタイミング信号３０を受ける毎に、画像信号８の一部分を記録していく。
【００３２】
図５は実施の形態４における装置の動作を説明するものである。
３１はある時点における画像であり、周辺の景色の中でもっとも低空間周波数成分が小さい撮像方向の画像である。３２は雲であり、画像３１は低空間周波数成分が極小となる撮像方向の画像ながらこの雲を含んでしまっているために低空間周波数成分が一定値以下に下がらず、補正にとって質の良い画像となっていない。３３は角度ステップ、３４は画像３１の時より撮像方向が左側に角度ステップ３３分だけ移動した時点での次画像、３５は次画像３４の時より撮像方向が左側にさらに角度ステップ３３分だけ移動した時点での次々画像、３６は補正処理器６の内部で作られる補正用画像、３７は画像３１の一部分であり、タイミング信号３０によって補正用画像３６の一部としてキャプチャされ、角度ステップ３３に相当する幅を持つ領域Ａ、３８は次画像３４の一部分であり、タイミング信号３０によって補正用画像３６の一部としてキャプチャされ、角度ステップ３３に相当する幅を持つ領域Ｂ、３９は次々画像３５の一部分であり、タイミング信号３０によって補正用画像３６の一部としてキャプチャされ、角度ステップ３３に相当する幅を持つ領域Ｃ、４０は補正用画像３６の横方向を構成する一列の画素の並びである領域Ｄである。
【００３３】
補正処理器６は上記のように、可動架台５が左側に一定角度動く毎に同調器２７が出力するタイミング信号３０によって領域Ａ３７、領域Ｂ３８、領域Ｃ３９といった具合に次々とキャプチャし、最終的に補正用画像３６を内部に生成する。図５では補正用画像３６は特に下側がギザギザしているが、充分にデフォーカスし、角度ステップ３３設定値を調整することで、実態としてはギザギザのない、横線のみから成る画像となる。例えば領域Ｄ４０は横一列の画素の並びからなる領域であり、この列の信号は図６に示すようになる。４１は上記方法によって画像を生成した場合に本来得られるべき理想的信号、４２は実信号である。すなわち、実信号４２がフラットになるように補正すれば良く、これにより横方向について全ラインの補正用データベースを作成することができる。次のステップとして、今度は角度ステップを縦にとって同様の処理を行えば縦方向についても補正を行うことができる。結果、全画面について補正が行えることになる。
【００３４】
このような方法により、補正に適した均一な景色を得られない場合についても補正を行うことが可能になる。
【００３５】
なお、角度ステップ３３を細かくとり、横方向１画素分相当にすることで、補正用画像３６を得る時間はかかるものの、デフォーカスしなくても補正を行うことができる。
【００３６】
【発明の効果】
この発明は以上説明したように、デフォーカスキャリブレーションを行う前に低空間周波数成分の小さい景色を捜索することにより、均一性のない画像を用いた補正を防止することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による撮像補正装置の構成を示す構成図である。
【図２】この発明の実施の形態２による撮像補正装置の構成を示す構成図である。
【図３】この発明の実施の形態３による撮像補正装置の構成を示す構成図である。
【図４】この発明の実施の形態４による撮像補正装置の構成を示す構成図である。
【図５】この発明の実施の形態４による撮像補正装置における補正用画像の生成方法を説明する図である。
【図６】この発明の実施の形態４による撮像補正装置における補正用画像の横一列の画素信号強度を説明する図である。
【符号の説明】
１入射光
２光学的結像器
３検知器
４粗画像信号
５可動架台
６補正処理器
７データベース
８画像信号
９画像処理器
１０画像分析結果
１１主制御器
１２視軸方向指令
１３ピント量指令
１４データベース更新指令
１５シャッタ
１６シャッタ開閉指令
１７高度計
１８高度情報
１９姿勢角度計
２０姿勢角度情報
２１位置測定器
２２位置情報
２３地図データベース
２４地図情報
２５時計
２６時刻日付情報
２７同調器
２８補正開始信号
２９角度情報
３０タイミング信号
３１画像
３２雲
３３角度ステップ
３４次画像
３５次々画像
３６補正用画像
３７領域Ａ
３８領域Ｂ
３９領域Ｃ
４０領域Ｄ
４１理想的信号
４２実信号

Claims

光を電気信号に変換する検知器と、
前記検知器からの画像信号の均一性を空間周波数にて分析する画像処理器と、前記画像処理器の分析により画像が均一と判断された場合に補正タイミング信号を出力する主制御器と、
前記補正タイミング信号により前記画像信号のばらつきを補正する補正処理器と、を備える撮像補正装置。
前記空間周波数の分析に高速フーリエ変換を用いる請求項１に記載の撮像補正装置。
ピント調節機構を有する光学的結像器と、
前記光学的結像器によって結像された像を電気信号に変換する検知器と、
前記光学的結像器の受光方向を変化させる可動架台と、
前記検知器の信号のばらつきを補正する補正処理器と、
前記補正処理器の出力信号の均一性を分析する画像処理器と、
前記画像処理器の分析結果から均一な補正用データを取り込むため前記可動架台、前記光学的結像器、前記補正処理器を制御する主制御器と、を備える撮像装置。
前記均一性の分析に空間周波数を用いる請求項３に記載の撮像装置。
前記空間周波数に応じて前記光学的結像器のぼかし量を調整する請求項４に記載の撮像装置。
ばらつき補正用シャッタを前記光学的結像器の前面に備える請求項３または請求項５に記載の撮像装置。
均一性の高い景色を高確率で得られる方向を演算する均一性演算器を備える請求項３から請求項６に記載の撮像装置。
前記均一性の高い背景を高確率で得られる方向を、高度、姿勢角、位置及び時間から演算する請求項７に記載の撮像装置。
地図データベースを備える請求項８に記載の撮像装置。
前記可動架台と前記補正処理器との動作を同調させる同調器を備える請求項３に記載の撮像装置。