JP2012134799A - 適応光学を用いた撮像装置及び制御方法 - Google Patents

適応光学を用いた撮像装置及び制御方法 Download PDF

Info

Publication number
JP2012134799A
JP2012134799A JP2010285640A JP2010285640A JP2012134799A JP 2012134799 A JP2012134799 A JP 2012134799A JP 2010285640 A JP2010285640 A JP 2010285640A JP 2010285640 A JP2010285640 A JP 2010285640A JP 2012134799 A JP2012134799 A JP 2012134799A
Authority
JP
Japan
Prior art keywords
image
ideal
observed object
wavefront
transfer characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010285640A
Other languages
English (en)
Other versions
JP5676234B2 (ja
Inventor
Tetsuhiko Muroi
哲彦 室井
Norihiko Ishii
紀彦 石井
Nobuhiro Kinoshita
延博 木下
Satoru Watabe
悟 渡部
Toshimitsu Tsuzuki
俊満 都築
Hirofuji Sato
裕藤 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2010285640A priority Critical patent/JP5676234B2/ja
Publication of JP2012134799A publication Critical patent/JP2012134799A/ja
Application granted granted Critical
Publication of JP5676234B2 publication Critical patent/JP5676234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telescopes (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被観測物体からの光の波面の乱れを補償し、撮像される被観測物体のぼやけを低減して解像度を向上させることが可能な構成簡易の適応光学を用いた撮像装置を得る。
【解決手段】計測制御装置17において、撮像素子16により撮像された被観測物体の実画像に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像を作成し、実画像と理想画像とに基づき、理想環境下における被観測物体から撮像素子16までの理想伝達特性と、実画像の撮像時における被観測物体から撮像素子16までの実伝達特性との差を求め、この差が小さくなるように波面制御器15の駆動を制御することにより、撮像される被観測物体のぼやけを低減して解像度を向上させる。
【選択図】図1

Description

本発明は、波面制御器により光の波面を制御する適応光学や、レンズなどの光学素子を用いた撮像装置の技術に関し、詳しくは、大気の擾乱等により光の波面が乱れる環境下における物体の撮影において、物体からの波面を制御して乱れを補償することにより、撮影した映像の画質を向上させる適応光学を用いた撮像装置及び制御方法に関する。
望遠レンズを搭載した撮像装置を用いて地上から天体(人工衛星等の人工物を含む)などを撮影するとき、大気の擾乱等により天体等からの光の波面が乱れてしまい、撮影したい対象物(被観測物体)がぼやけてしまうことがある。従来、このような大気の擾乱等による光の波面の乱れを補償するために、適応光学を用いて観測物体のぼやけを低減することが行われている(下記特許文献1、非特許文献1等参照)。以下、その従来技術について図面を用いて簡単に説明する。図11は従来の適応光学を用いた撮像装置(天体望遠鏡の撮像装置)の概略構成図であり、図12は他の従来の適応光学を用いた撮像装置の概略構成図である。
図11に示す撮像装置100は、大気の擾乱等により波面が乱れた、人工衛星等の被観測物体からの光を、複数のレンズ101,102等からなる光学系103により取り込んだ後、ハーフミラー104を介して波面制御器105に導き、この波面制御器105により波面の乱れを補償するようになっている。波面制御器105からの光は、ハーフミラー104,106を介して撮像素子107に導かれ、この撮像素子107により被観測物体の画像が撮像されるように構成されている。
波面制御器105は、波面検出器108により検出された波面状態に基づき、計測制御装置109によりその駆動が制御されるように構成されている。波面の検出では被観測物体の近傍(光学系の視野内)に観測される明るい星が利用される。すなわち、大気の擾乱等がなければ、この星からの光は平面波として光学系103に入射するが、実際には大気の擾乱等により波面が乱れて平面波とはならない。そこで、光学系103を通過した星からの光をハーフミラー104、波面制御器105およびハーフミラー106を介して波面検出器108に導き波面の状態を検出し、その波面が平面波に近づくように、計測制御装置109により波面制御器105の駆動を制御する。これにより、大気の擾乱等による波面の乱れを補償し、ゆがみの少ない被観測物体を撮像することができる。
被観測物体の近傍に明るい星が存在しない場合には、図12に示す態様の撮像装置100Aが用いられる。なお、図12において、図11に示すものと同様の構成要素については同じ番号を付し説明は省略する。図12に示す撮像装置100Aは、レーザ光源110と、光学系103とハーフミラー104との間に配されたPBS(偏光ビームスプリッタ)111を備えている点が、図11に示す撮像装置100と異なっている。すなわち、図12に示す撮像装置100Aでは、レーザ光源110から出射されたレーザ光を、PBS111および光学系103を介して天空に照射し、擬似的に目印となる星状のレーザガイド112を作成する。このレーザガイド112からの光が平面波に近づくように波面制御器105の駆動を制御することにより、被観測物体からの光の波面の乱れを補償してゆがみの少ない被観測物体の画像を撮像することができるようになっている。
特許第3455775号公報
http://naoj.org/Introduction/instrument/j_AO.html (「波面補償光学装置AO System」 2010年11月19日検索)
しかしながら、上述したような従来の適応光学を用いた撮像装置は、レーザ光源や波面検出器を必要とするため装置構成が複雑となる。また、レーザ光を照射する態様の場合、消費電力が多大となることや、人工衛星等のように移動する被観測物体を撮像するためには、被観測物体の移動に合わせてレーザガイドを追従させなければならないという技術的な課題も生じる。
本発明は、このような事情に鑑みなされたものであり、構成簡易でありながら、被観測物体からの光の波面の乱れを補償し、撮像される被観測物体のぼやけを低減して解像度を向上させることが可能な適応光学を用いた撮像装置、及びこのような撮像装置における波面制御器の駆動を制御する適応光学を用いた制御方法を提供することを目的とする。
上記目的を達成するため、本発明に係る適応光学を用いた撮像装置は、以下の特徴を備えている。
すなわち、本発明に係る適応光学を用いた撮像装置は、
被観測物体からの光を取り込む光学系と、この光学系を通過した、前記被観測物体からの光の波面を制御する際に駆動される波面制御器と、この波面制御器を通過した光により形成される、前記被観測物体の画像を撮像する撮像素子と、前記波面制御器の駆動を制御する計測制御装置と、を備えた撮像装置であって、
前記計測制御装置は、
前記撮像素子により撮像された前記被観測物体の実画像に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像を作成する理想画像作成手段と、
前記実画像と前記理想画像とに基づき、前記理想環境下における前記被観測物体から前記撮像素子までの伝達特性である理想伝達特性と、前記実画像の撮像時における前記被観測物体から前記撮像素子までの伝達特性である実伝達特性との差を求める伝達特性差算出手段と、
前記理想伝達特性と前記実伝達特性との差が小さくなるように、前記波面制御器の駆動を制御する駆動制御手段と、を有してなることを特徴とする。
本発明において、前記理想画像作成手段は、前記被観測物体に関する既知のデータに基づき前記理想画像を作成するように構成することができる。
一方、前記理想画像作成手段は、前記理想環境下で前記被観測物体を予め撮像すること、または前記被観測物体に関する既知のデータに基づき予め作成することによって得られた前記被観測物体の複数の基準画像と、前記実画像との間において前記被観測物体のマッチングを行い、これら複数の基準画像の中から前記実画像との相関度が最も高い最適基準画像を検索し、この最適基準画像から前記理想画像を作成するように構成することもできる。
また、前記複数の基準画像は、前記被観測物体の位置情報が予め対応付けられたものとされ、前記マッチングの際には、前記被観測物体の位置情報と前記実画像の撮像位置情報とを用いて前記最適基準画像の検索が行われるように構成することも好ましい。
また、前記マッチングは、前記撮像素子により連続的に撮像された複数のフレームに亘り継続して行われ、時系列的に後方に配列されたフレームでのマッチングでは、時系列的に前方に配列されたフレームで既に検索された最適基準画像を、前記複数の基準画像における検索の始点とするように構成することも好ましい。
また、本発明に係る他の適応光学を用いた撮像装置は、
被観測物体からの光を取り込む光学系と、この光学系を通過した、前記被観測物体からの光の波面を制御する際に駆動される波面制御器と、この波面制御器を通過した光により形成される、前記被観測物体の画像を撮像する撮像素子と、前記波面制御器の駆動を制御する計測制御装置と、を備えた撮像装置であって、
前記計測制御装置は、
前記撮像素子により撮像された前記被観測物体の実画像に基づき、前記被観測物体のエッジ検出を行ったエッジ検出画像を作成するとともに、このエッジ検出画像に基づき、前記被観測物体のエッジ部を強調したエッジ強調画像を作成するエッジ画像作成手段と、
前記エッジ検出画像と前記エッジ強調画像とに基づき、光波面の乱れが少ない理想環境下における前記被観測物体から前記撮像素子までの伝達特性である理想伝達特性と、前記実画像の撮像時における前記被観測物体から前記撮像素子までの伝達特性である実伝達特性との差を求める伝達特性差算出手段と、
前記理想伝達特性と前記実伝達特性との差が小さくなるように、前記波面制御器の駆動を制御する駆動制御手段と、を有してなることを特徴とする。
また、本発明に係る適応光学を用いた制御方法は、
被観測物体からの光を取り込む光学系と、この光学系を通過した、前記被観測物体からの光の波面を制御する際に駆動される波面制御器と、この波面制御器を通過した光により形成される、前記被観測物体の画像を撮像する撮像素子と、を備えた撮像装置において、前記波面制御器の駆動を制御する適応光学を用いた制御方法であって、
前記撮像素子により撮像された前記被観測物体の実画像に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像を作成し、
前記実画像と前記理想画像とに基づき、前記理想環境下における前記被観測物体から前記撮像素子までの伝達特性である理想伝達特性と、前記実画像の撮像時における前記被観測物体から前記撮像素子までの伝達特性である実伝達特性との差を求め、
前記理想伝達特性と前記実伝達特性との差が小さくなるように、前記波面制御器の駆動を制御する、ことを特徴とする。
なお、上述の時系列的に後方に配列されたフレームでのマッチングにおいて検索の始点とする、時系列的に前方に配列されたフレームで既に検索された最適基準画像とは、最適基準画像そのものに限定されるものではなく、最適基準画像との相関度が高い他の基準画像を含む概念である。
本発明に係る適応光学を用いた撮像装置及び制御方法は、上述の特徴を備えていることにより、以下のような作用効果を奏する。
すなわち、本発明に係る適応光学を用いた撮像装置及び制御方法は、被観測物体の実画像と理想環境下で撮像されると推定される理想画像とに基づき、理想環境下における理想伝達特性と実画像の撮像時における実伝達特性との差を求め、この差が小さくなるように波面制御器の駆動を制御するように構成されているので、従来技術において用いられた波面検出器やレーザ光源を必要とせず、これにより、撮像装置の装置構成を簡易なものとすることができる。
また、理想伝達特性と実伝達特性との差が小さくなるように波面制御器の駆動を制御することにより、被観測物体からの光の波面の乱れを補償し、撮像される被観測物体のぼやけを低減して解像度を向上させることが可能となる。
第1乃至第3実施形態に係る適応光学を用いた撮像装置の概略構成図である。 第1実施形態の計測制御装置の構成概念を示すブロック図である。 第2実施形態の計測制御装置の構成概念を示すブロック図である。 第3実施形態の計測制御装置の構成概念を示すブロック図である。 実画像の一例を示す図である。 理想画像の一例を示す図である。 補償後の波面により形成された画像の一例を示す図である。 基準画像の一例を示す図である。 エッジ検出画像の一例を示す図である。 エッジ強調画像の一例を示す図である。 従来の適応光学を用いた撮像装置の概略構成図である。 他の従来の適応光学を用いた撮像装置の概略構成図である。
以下、本発明に係る適応光学を用いた撮像装置及び制御方法の実施形態について、上記図面を参照しながら詳細に説明する。なお、以下に説明する第1乃至第3実施形態は、各々の全体構成が互いに類似しているため、全体構成についての説明では共に図1を用いることとする。また、第1乃至第3実施形態に係る撮像装置10,10A,10Bの各計測制御装置17,17A,17Bは、本発明に係る適応光学を用いた制御方法により、波面制御器15の駆動を制御するように構成されている。
〔第1実施形態〕
第1実施形態の撮像装置10は、所定の軌道上を移動する人工衛星を被観測物体として連続的に撮像してそのビデオ映像を作成するものであり、図1に示すように、複数のレンズ11,12等からなる光学系13と、ハーフミラー14と、液晶パネルやデフォーマブルミラー等からなる波面制御器15と、CCDやCMOS等からなる撮像素子16と、計測制御装置17とにより構成されている。
この撮像装置10では、大気の擾乱等により波面が乱れた人工衛星からの光を、光学系13により取り込んだ後、ハーフミラー14を介して波面制御器15に導き、この波面制御器15により波面の乱れを補償するようになっている。波面制御器15からの光は、ハーフミラー14を介して撮像素子16に導かれ、この撮像素子16により人工衛星の画像が撮像されるように構成されている。また、波面制御器15は、計測制御装置17によりその駆動が制御されるように構成されている。
計測制御装置17は、図2に示すように、ROM等の記憶装置により構成されたデータ記憶手段18と、CPU等の演算処理回路やROM等の記憶装置に格納されたプログラム等により各々構成された理想画像作成手段19、伝達特性差算出手段20および駆動制御手段21を備えてなる。
データ記憶手段18は、人工衛星に関する既知のデータ、例えば、人工衛星の設計図や3次元モデルなどの構造データや、人工衛星の位置や場所、向いている方向などの飛行データが保存されている。これらのデータは、例えば、人工衛星の運行を統括している機関等から取得される。
理想画像作成手段19は、撮像素子16により撮像された人工衛星の実画像(図5参照)に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像(図6参照)を作成するように構成されており、伝達特性差算出手段20は、上述の実画像と理想画像とに基づき、理想環境下における人工衛星から撮像素子16までの伝達特性である理想伝達特性と、実画像の撮像時における人工衛星から撮像素子16までの伝達特性である実伝達特性との差を求めるように構成されている。また、駆動制御手段21は、理想伝達特性と実伝達特性との差が小さくなるように、波面制御器15の駆動を制御するように構成されている。
より詳細には、理想画像作成手段19は、データ記憶手段18に保存された人工衛星の飛行データを参照して、撮影し得る人工衛星の角度や大きさを求めるとともに、同じくデータ記憶手段18に記憶された人工衛星の設計図や3次元モデルの構造データから、大気の擾乱が無く波面の乱れが生じない理想環境下で撮像されると推定される人工衛星の理想画像を作成する。
伝達特性差算出手段20は、撮像素子16により撮像された人工衛星の実画像と、理想画像作成手段19により作成された人工衛星の理想画像を離散フーリエ変換し、実画像のフーリエ変換画像を理想画像のフーリエ変換画像で除算(デコンボルーション)して、逆離散フーリエ変換することにより、上述の理想伝達特性と実伝達特性との差を求める。
また、駆動制御手段21は、具体的には、以下の手法1または手法2により波面制御器15の駆動を制御する。
〈手法1〉
前提として、撮像装置10で作成する映像のフレームレートをf、撮像素子16(使用するカメラ)のフレームレートをfとする(ただし、f> f)。すなわち、映像1フレームの期間にf/fフレーム数の画像を撮像することができるものとする。
また、波面制御器15の駆動部設定値D(例えば、波面制御器15がデフォーマブルミラーの場合、ミラーを背面側から支持して駆動させるピン部材の駆動量等を意味する)を、下式(1)で表す。ここで、下式(1)中のd(nは自然数)は、波面制御器15のn番目の駆動部の設定値であり、Tは転置を表す。
また、上述の理想伝達特性と実伝達特性との差をZ(以下「伝達特性差Z」と称する)とし、この伝達特性差Zを下式(2)で表す。なお、下式(2)中のz(mは自然数)は伝達特性差Zのm番目の値である。
以上の前提の下で、まず、映像1フレームの期間内の撮像フレーム数f/fの1番目のフレームにおいて、波面制御器15の全ての駆動部の値を最小値に設定(設定値D)して撮像し、撮像した実画像と、この実画像と対応する理想画像とから伝達特性差Zを求める。
次に、撮像フレーム数f/fの2番目のフレームにて波面制御器15の1番目の駆動部の値を最大値にし、その他の駆動部の値を最小値に設定(設定値D)して撮像し、撮像した実画像と、この実画像と対応する理想画像とから伝達特性差Zを求める。
同様に、撮像フレーム数f/fの2〜n番目の各フレームにてそれぞれ波面制御器15の2〜n番目の駆動部の値を最大値にし、その他の駆動部の値を最小値に設定して(設定値D〜D)撮像し、撮像した実画像と、この実画像と対応する理想画像とから伝達特性差Z〜Zを求める。
次いで、波面制御器15の設定値D〜Dおよび伝達特性差Z〜Zから、波面制御器15と撮像素子16とを含む系の伝達関数行列Aを求める。ここで、伝達関数行列Aは、下式(3)で表される。
また、入力ベクトルを波面制御器15の駆動部の設定値D、出力ベクトルを伝達特性差Zとすると、下式(4)の関係が成立する。
以上のことから、画像がぼやけないように波面を補償するための波面制御器15の駆動部の設定値をDreqで表すと、Dreqは下式(5)により求めることができる。
ここで、上式(5)中の伝達特性差Zreqは、下式(6)により表される。
波面制御器15の駆動部を設定値Dreqに設定して撮像したときの画像を、映像1フレームに対応するビデオ映像とすることにより、波面の歪みによる画像劣化を改善できる。これを映像フレーム毎に行うことにより、ぼやけのない動画のビデオ映像(図7参照)を撮影することができる。
なお、n+1番目の撮像フレームにおいて、設定値Dreqの下で撮像した実画像と、この実画像と対応する理想画像とからn+1番目の伝達特性差Zn+1を求め、このZn+1とZreqとの差が0に近づくようにDreqを更新し、n+2番目以降の各撮像フレームにおいても、同様にして、Dreqを順次更新するようにしてもよい。
〈手法2〉
上述の手法1と同様に、前提として、撮像装置10で作成する映像のフレームレートをf、撮像素子16(使用するカメラ)のフレームレートをfとする(ただし、f>f)。すなわち、映像1フレームの期間にf/fフレーム数の画像を撮像することができるものとする。
また、波面制御器15の駆動部設定値D(例えば、波面制御器15がデフォーマブルミラーの場合、ミラーを背面側から支持して駆動させるピン部材の駆動量等を意味する)を、下式(7)で表す。ここで、下式(7)中のd(nは自然数)は、波面制御器15のn番目の駆動部の設定値であり、Tは転置を表す。
また、撮像素子16により撮像した実画像と、この実画像と対応する理想画像とをそれぞれ複数の画像ブロックに分割して求めたRMS値の差分Zを、上述の理想伝達特性と実伝達特性との差として求め、このRMS値の差分Zを下式(8)で表す。なお、下式(8)中のz(mは自然数)は差分Zのm番目の値である。
以上の前提の下で、まず、映像1フレームの期間内の撮像フレーム数f/fの1番目のフレームにおいて、波面制御器15の全ての駆動部の値を最小値に設定(設定値D)して撮像し、撮像した実画像と、この実画像と対応する理想画像とからRMS値の差分Zを求める。
次に、撮像フレーム数f/fの2番目のフレームにて波面制御器15の1番目の駆
動部の値を最大値にし、その他の駆動部の値を最小値に設定(設定値D)して撮像し、撮像した実画像と、この実画像と対応する理想画像とからRMS値の差分Zを求める。
同様に、撮像フレーム数f/fの2〜n番目の各フレームにてそれぞれ波面制御器15の2〜n番目の駆動部の値を最大値にし、その他の駆動部の値を最小値に設定して(設定値D〜D)撮像し、撮像した実画像と、この実画像と対応する理想画像とからRMS値の差分Z〜Zを求める。
次いで、波面制御器15の設定値D〜DおよびRMS値の差分Z〜Zから、波面制御器15と撮像素子16とを含む系の伝達関数行列Aを求める。ここで、伝達関数行列Aは、下式(9)で表される。
また、入力ベクトルを波面制御器15の駆動部の設定値D、出力ベクトルをRMS値の差分Zとすると、下式(10)の関係が成立する。
以上のことから、画像がぼやけないように波面を補償するための波面制御器15の駆動部の設定値をDreqで表すと、Dreqは下式(11)により求めることができる。

ここで、上式(11)中のRMS値の差分Zreqは、下式(12)により表される。
波面制御器15の駆動部を設定値Dreqに設定して撮像したときの画像を、映像1フレームに対応するビデオ映像とすることにより、波面の歪みによる画像劣化を改善できる。これを映像フレーム毎に行うことにより、ぼやけのない動画のビデオ映像(図7参照)を
撮影することができる。
なお、n+1番目の撮像フレームにおいて、設定値Dreqの下で撮像した実画像と、この実画像と対応する理想画像とからn+1番目のRMS値の差分Zn+1を求め、このZn+1とZreqとの差が0に近づくようにDreqを更新し、n+2番目以降の各撮像フレームにおいても、同様にして、Dreqを順次更新するようにしてもよい。
〔第2実施形態〕
第2実施形態の撮像装置10Aは、上述の第1実施形態と同様、所定の軌道上を移動する人工衛星を被観測物体として連続的に撮像してそのビデオ映像を作成するものであり、図1に示すように、複数のレンズ11,12等からなる光学系13と、ハーフミラー14と、液晶パネルやデフォーマブルミラー等からなる波面制御器15と、CCDやCMOS等からなる撮像素子16と、計測制御装置17Aとにより構成されている。
この撮像装置10Aでは、大気の擾乱等により波面が乱れた人工衛星からの光を、光学系13により取り込んだ後、ハーフミラー14を介して波面制御器15に導き、この波面制御器15により波面の乱れを補償するようになっている。波面制御器15からの光は、ハーフミラー14を介して撮像素子16に導かれ、この撮像素子16により人工衛星の画像が撮像されるように構成されている。また、波面制御器15は、計測制御装置17Aによりその駆動が制御されるように構成されている。
計測制御装置17Aは、図3に示すように、ROM等の記憶装置により構成された基準画像記憶手段22と、CPU等の演算処理回路やROM等の記憶装置に格納されたプログラム等により各々構成された理想画像作成手段19A、伝達特性差算出手段20Aおよび駆動制御手段21Aを備えてなる。
基準画像記憶手段22には、人工衛星を様々な角度から観測した基準画像(図8参照)がデータベースとして多数保存されている。この基準画像は、波面の乱れが少ない理想環境下において、地上などから実際に人工衛星を撮影することにより得ることができるが、人工衛星の設計図や3次元モデルのデータから予め作成しておくことも可能である。
理想画像作成手段19Aは、撮像素子16により撮像された人工衛星の実画像(図5参照)に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像(図6参照)を作成するように構成されており、伝達特性差算出手段20Aは、上述の実画像と理想画像とに基づき、理想環境下における人工衛星から撮像素子16までの伝達特性である理想伝達特性と、実画像の撮像時における人工衛星から撮像素子16までの伝達特性である実伝達特性との差を求めるように構成されている。また、駆動制御手段21Aは、理想伝達特性と実伝達特性との差が小さくなるように、波面制御器15の駆動を制御するように構成されている。
より詳細には、理想画像作成手段19Aは、基準画像記憶手段22に保存された複数の基準画像と、撮像素子16により撮像された人工衛星の実画像との間において人工衛星のマッチングを行い、これら複数の基準画像の中から前記実画像との相関度が最も高い最適基準画像を検索し、この最適基準画像から、大気の擾乱が無く波面の乱れが生じない理想環境下で撮像されると推定される人工衛星の理想画像を作成する。
マッチングに際しては、2分探索法など従来公知の手法を適用することができる。なお、複数の基準画像の各々に対し、人工衛星の位置情報、例えば、人工衛星の位置や向いている方向などの飛行データを予め対応付けておき、この人工衛星の位置情報と実画像の撮像位置情報(撮像した位置や撮像方向等)とを用いて検索を行うようにすれば、人工衛星
の撮像時の位置や向きに近い画像を選んで検索することができるため、検索速度が向上する。
また、マッチングを、撮像素子16により連続的に撮像された複数のフレームに亘り継続して行う場合、時系列的に後方のフレームでのマッチングでは、時系列的に前方のフレームで既に検索された最適基準画像(それと相関度が高い基準画像でもよい)を、基準画像記憶手段22に保存された複数の基準画像における検索の始点として検索することによっても検索速度が向上する。
また、撮像装置10Aが設置された本来の撮像地点(以下「主撮像地点」と称する)とは異なる複数(例えば2箇所)の撮像地点(以下「副撮像地点」と称する)に他の撮像装置(以下「副撮像装置」と称する)を設置して、これらの撮像装置10A及び複数の副撮像装置により人工衛星を同時に撮像し、各々の撮像地点に対応した理想画像(以下、主撮像地点に対応した理想画像を「主理想画像」、副撮像地点に対応した理想画像を「副理想画像」と称する)を作成するようにしてもよい。各副撮像地点の位置情報(経度、緯度等)や作成された副理想画像に基づき、撮像時の人工衛星の位置や姿勢等に関する高精度の情報を得ることができるので、この情報を主理想画像に反映させることにより、主撮像地点における理想伝達特性を、より高精度に求めることが可能となる。
伝達特性差算出手段20Aは、撮像素子16により撮像された人工衛星の実画像と、理想画像作成手段19Aにより作成された人工衛星の理想画像を離散フーリエ変換し、実画像のフーリエ変換画像を理想画像のフーリエ変換画像で除算(デコンボルーション)して、逆離散フーリエ変換することにより、上述の理想伝達特性と実伝達特性との差を求める。
また、駆動制御手段21Aは、第1実施形態において説明した手法1または手法2により波面制御器15の駆動を制御する。これにより、人工衛星からの波面の乱れを補償することが可能となり、ぼやけのないビデオ映像(図7参照)を撮影することができる。
〔第3実施形態〕
第3実施形態の撮像装置10Bは、上述の第1および第2実施形態と同様、所定の軌道上を移動する人工衛星を被観測物体として連続的に撮像してそのビデオ映像を作成するものであり、図1に示すように、複数のレンズ11,12等からなる光学系13と、ハーフミラー14と、液晶パネルやデフォーマブルミラー等からなる波面制御器15と、CCDやCMOS等からなる撮像素子16と、計測制御装置17Bとにより構成されている。
この撮像装置10Bでは、大気の擾乱等により波面が乱れた人工衛星からの光を、光学系13により取り込んだ後、ハーフミラー14を介して波面制御器15に導き、この波面制御器15により波面の乱れを補償するようになっている。波面制御器15からの光は、ハーフミラー14を介して撮像素子16に導かれ、この撮像素子16により人工衛星の画像が撮像されるように構成されている。また、波面制御器15は、計測制御装置17Bによりその駆動が制御されるように構成されている。
計測制御装置17Bは、図4に示すように、CPU等の演算処理回路やROM等の記憶装置に格納されたプログラム等により各々構成されたエッジ画像作成手段23、伝達特性差算出手段20Bおよび駆動制御手段21Bを備えてなる。
エッジ画像作成手段23は、撮像素子16により撮像された人工衛星の実画像(図5参照)に基づき、人工衛星のエッジ検出を行ったエッジ検出画像(図9参照)を作成するとともに、このエッジ検出画像に基づき、被観測物体のエッジ部を強調したエッジ強調画像(図10参照)を作成するように構成されている。
図9に示すように、実画像に基づくエッジ検出画像は、実画像が大気の擾乱等により波面が乱れた状態で撮像されているためエッジ部がぼやけている。一方、図10に示すようにエッジ強調画像は、図9においてぼやけていたエッジ部が強調されてシャープになるため、波面の乱れが少ない理想環境下で撮像された画像に基づいてエッジ検出を行ったときのエッジ検出画像と同様の画像となる。
このことを利用して、伝達特性差算出手段20Bは、エッジ画像作成手段23により作成されたエッジ検出画像およびエッジ強調画像に基づき、光波面の乱れが少ない理想環境下における人工衛星から撮像素子16までの伝達特性である理想伝達特性と、実画像の撮像時における人工衛星から撮像素子16までの伝達特性である実伝達特性との差を求めるように構成されている。
具体的には、エッジ画像作成手段23により作成されたエッジ検出画像およびエッジ強調画像を離散フーリエ変換し、エッジ検出画像のフーリエ変換画像をエッジ強調画像のフーリエ変換画像で除算(デコンボルーション)して、逆離散フーリエ変換することにより、光波面の乱れが少ない理想環境下における人工衛星から撮像素子16までの伝達特性である理想伝達特性と、実画像の撮像時における人工衛星から撮像素子16までの伝達特性である実伝達特性との差を求めることができる。
また、駆動制御手段21Bは、第1実施形態において説明した手法1または手法2により、理想伝達特性と実伝達特性との差が小さくなるように波面制御器15の駆動を制御する。これにより、人工衛星からの波面の乱れを補償することが可能となり、ぼやけのないビデオ映像(図7参照)を撮影することができる。
以上、本発明の実施形態について説明したが、本発明は上述の実施形態に態様が限定されるものではなく、他の態様のものを実施形態とすることも可能である。
例えば、上述の各実施形態では、光学系13により取り込んだ、被観測物体(人工衛星)からの光を、ハーフミラー14を介して波面制御器15に導き、波面制御器15からの反射光を再びハーフミラー14を介して撮像素子16に導くようにしているが、光学系13からの光を波面制御器15に直接導き、波面制御器15からの反射光を撮像素子16に直接導くように構成してもよい。
また、上述の実施形態では、被観測物体として人工衛星を例にとって説明しているが、被観測物体が人工衛星に限定されるものではなく、天体や飛行物体など任意の物体を被観測物体とすることができる。
10,10A,10B,100,100A 撮像装置
11,12,101,102 レンズ
13,103 光学系
14,104,106 ハーフミラー
15,105 波面制御器
16,107 撮像素子
17,17A,17B,109 計測制御装置
18 データ記憶手段
19,19A 理想画像作成手段
20,20A,20B 伝達特性差算出手段
21,21A,21B 駆動制御手段
22 基準画像記憶手段
23 エッジ画像作成手段
108 波面検出器
110 レーザ光源
111 PBS

Claims (7)

  1. 被観測物体からの光を取り込む光学系と、この光学系を通過した、前記被観測物体からの光の波面を制御する際に駆動される波面制御器と、この波面制御器を通過した光により形成される、前記被観測物体の画像を撮像する撮像素子と、前記波面制御器の駆動を制御する計測制御装置と、を備えた撮像装置であって、
    前記計測制御装置は、
    前記撮像素子により撮像された前記被観測物体の実画像に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像を作成する理想画像作成手段と、
    前記実画像と前記理想画像とに基づき、前記理想環境下における前記被観測物体から前記撮像素子までの伝達特性である理想伝達特性と、前記実画像の撮像時における前記被観測物体から前記撮像素子までの伝達特性である実伝達特性との差を求める伝達特性差算出手段と、
    前記理想伝達特性と前記実伝達特性との差が小さくなるように、前記波面制御器の駆動を制御する駆動制御手段と、
    を有してなることを特徴とする適応光学を用いた撮像装置。
  2. 前記理想画像作成手段は、前記被観測物体に関する既知のデータに基づき前記理想画像を作成するように構成されていることを特徴とする請求項1記載の適応光学を用いた撮像装置。
  3. 前記理想画像作成手段は、前記理想環境下で前記被観測物体を予め撮像すること、または前記被観測物体に関する既知のデータに基づき予め作成することによって得られた前記被観測物体の複数の基準画像と、前記実画像との間において前記被観測物体のマッチングを行い、これら複数の基準画像の中から前記実画像との相関度が最も高い最適基準画像を検索し、この最適基準画像から前記理想画像を作成するように構成されていることを特徴とする請求項1記載の適応光学を用いた撮像装置。
  4. 前記複数の基準画像は、前記被観測物体の位置情報が予め対応付けられたものであり、前記マッチングの際には、前記被観測物体の位置情報と前記実画像の撮像位置情報とを用いて前記最適基準画像の検索が行われるように構成されていることを特徴とする請求項3記載の適応光学を用いた撮像装置。
  5. 前記マッチングは、前記撮像素子により連続的に撮像された複数のフレームに亘り継続して行われ、時系列的に後方に配列されたフレームでのマッチングでは、時系列的に前方に配列されたフレームで既に検索された最適基準画像を、前記複数の基準画像における検索の始点とするように構成されていることを特徴とする請求項3または4記載の適応光学を用いた撮像装置。
  6. 被観測物体からの光を取り込む光学系と、この光学系を通過した、前記被観測物体からの光の波面を制御する際に駆動される波面制御器と、この波面制御器を通過した光により形成される、前記被観測物体の画像を撮像する撮像素子と、前記波面制御器の駆動を制御する計測制御装置と、を備えた撮像装置であって、
    前記計測制御装置は、
    前記撮像素子により撮像された前記被観測物体の実画像に基づき、前記被観測物体のエッジ検出を行ったエッジ検出画像を作成するとともに、このエッジ検出画像に基づき、前記被観測物体のエッジ部を強調したエッジ強調画像を作成するエッジ画像作成手段と、
    前記エッジ検出画像と前記エッジ強調画像とに基づき、光波面の乱れが少ない理想環境下における前記被観測物体から前記撮像素子までの伝達特性である理想伝達特性と、前記実画像の撮像時における前記被観測物体から前記撮像素子までの伝達特性である実伝達特
    性との差を求める伝達特性差算出手段と、
    前記理想伝達特性と前記実伝達特性との差が小さくなるように、前記波面制御器の駆動を制御する駆動制御手段と、
    を有してなることを特徴とする適応光学を用いた撮像装置。
  7. 被観測物体からの光を取り込む光学系と、この光学系を通過した、前記被観測物体からの光の波面を制御する際に駆動される波面制御器と、この波面制御器を通過した光により形成される、前記被観測物体の画像を撮像する撮像素子と、を備えた撮像装置において、前記波面制御器の駆動を制御する適応光学を用いた制御方法であって、
    前記撮像素子により撮像された前記被観測物体の実画像に対応する、光波面の乱れが少ない理想環境下で撮像されると推定される理想画像を作成し、
    前記実画像と前記理想画像とに基づき、前記理想環境下における前記被観測物体から前記撮像素子までの伝達特性である理想伝達特性と、前記実画像の撮像時における前記被観測物体から前記撮像素子までの伝達特性である実伝達特性との差を求め、
    前記理想伝達特性と前記実伝達特性との差が小さくなるように、前記波面制御器の駆動を制御する、ことを特徴とする適応光学を用いた制御方法。
JP2010285640A 2010-12-22 2010-12-22 適応光学を用いた撮像装置及び制御方法 Active JP5676234B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010285640A JP5676234B2 (ja) 2010-12-22 2010-12-22 適応光学を用いた撮像装置及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285640A JP5676234B2 (ja) 2010-12-22 2010-12-22 適応光学を用いた撮像装置及び制御方法

Publications (2)

Publication Number Publication Date
JP2012134799A true JP2012134799A (ja) 2012-07-12
JP5676234B2 JP5676234B2 (ja) 2015-02-25

Family

ID=46649852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285640A Active JP5676234B2 (ja) 2010-12-22 2010-12-22 適応光学を用いた撮像装置及び制御方法

Country Status (1)

Country Link
JP (1) JP5676234B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514249B1 (ko) * 2013-11-13 2015-04-22 한국원자력연구원 가시도를 개선한 영상 획득 장치
JP2020173626A (ja) * 2019-04-11 2020-10-22 三菱電機株式会社 衛星特性学習装置、衛星特性判定装置及び観測装置
JP7496348B2 (ja) 2018-09-20 2024-06-06 セントレ ナショナル デ ラ リシェルシェ サイエンティフィック(セ・エン・エル・エス) 適応性光学画像取得方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173513A (ja) * 1997-06-25 1999-03-16 Matsushita Electric Works Ltd パターン検査方法及びその装置
JP2002040368A (ja) * 2000-07-27 2002-02-06 National Institute Of Advanced Industrial & Technology 光駆動型波面補正映像方法及び装置
WO2006068103A1 (ja) * 2004-12-20 2006-06-29 Hitachi Medical Corporation 超音波診断システム及びその方法
JP2007108176A (ja) * 2005-10-07 2007-04-26 Ricoh Co Ltd 電光画像処理システムを調整するための方法、システム及び装置
JP2007205828A (ja) * 2006-02-01 2007-08-16 Advanced Mask Inspection Technology Kk 光学画像取得装置、パターン検査装置、光学画像取得方法、及び、パターン検査方法
JP2008310828A (ja) * 2005-06-17 2008-12-25 Ricoh Co Ltd 電気光学画像システムのエンドツーエンド設計
JP2009182570A (ja) * 2008-01-30 2009-08-13 Nittoh Kogaku Kk 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173513A (ja) * 1997-06-25 1999-03-16 Matsushita Electric Works Ltd パターン検査方法及びその装置
JP2002040368A (ja) * 2000-07-27 2002-02-06 National Institute Of Advanced Industrial & Technology 光駆動型波面補正映像方法及び装置
WO2006068103A1 (ja) * 2004-12-20 2006-06-29 Hitachi Medical Corporation 超音波診断システム及びその方法
JP2008310828A (ja) * 2005-06-17 2008-12-25 Ricoh Co Ltd 電気光学画像システムのエンドツーエンド設計
JP2007108176A (ja) * 2005-10-07 2007-04-26 Ricoh Co Ltd 電光画像処理システムを調整するための方法、システム及び装置
JP2007205828A (ja) * 2006-02-01 2007-08-16 Advanced Mask Inspection Technology Kk 光学画像取得装置、パターン検査装置、光学画像取得方法、及び、パターン検査方法
JP2009182570A (ja) * 2008-01-30 2009-08-13 Nittoh Kogaku Kk 画像処理装置、画像処理方法および画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514249B1 (ko) * 2013-11-13 2015-04-22 한국원자력연구원 가시도를 개선한 영상 획득 장치
JP7496348B2 (ja) 2018-09-20 2024-06-06 セントレ ナショナル デ ラ リシェルシェ サイエンティフィック(セ・エン・エル・エス) 適応性光学画像取得方法
JP2020173626A (ja) * 2019-04-11 2020-10-22 三菱電機株式会社 衛星特性学習装置、衛星特性判定装置及び観測装置

Also Published As

Publication number Publication date
JP5676234B2 (ja) 2015-02-25

Similar Documents

Publication Publication Date Title
ES2810812T3 (es) Dispositivo y método de procesamiento de imágenes
JP5871862B2 (ja) 3d深度情報に基づいたイメージぼかし
JP6570991B2 (ja) 大口径望遠鏡における、非同一平面上の(anisoplanatic)画像形成のためのレンズレット、ビームウォーク(beamwalk)、及びチルトの多様化
US11682107B2 (en) Depth of field adjustment in images based on time of flight depth maps
CN105184784B (zh) 基于运动信息的单目相机获取深度信息的方法
KR102425865B1 (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US20200372614A1 (en) Image/video deblurring using convolutional neural networks with applications to sfm/slam with blurred images/videos
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
van Eekeren et al. Turbulence compensation: an overview
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
IL264714A (en) Gao-Video detection
CN106292128A (zh) 一种基于偏振消光的成像方法
Peng et al. Deep HDR reconstruction of dynamic scenes
JP5676234B2 (ja) 適応光学を用いた撮像装置及び制御方法
JP7263149B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN110086973B (zh) 一种基于光流相机的云台稳像系统
JP7062606B2 (ja) マルチビュー光学系、光学装置、撮像装置、及び、移動体
Zhong et al. Image motion compensation for a certain aviation camera based on Lucy-Richardson algorithm
JP2002329193A (ja) 歪画像補正方法及び装置
Underwood et al. Exploring mitigation of image blur due to atmospheric turbulence by utilizing multiple sensors to achieve optical path diversity
Schutte et al. An overview of turbulence compensation
Fraser et al. Anisoplanatic image restoration at ADFA
DeJarnette et al. Non-blind hardware and software deconvolution for jitter reduction
WO2012049022A1 (en) Method and device for digital image processing
CN108990428A (zh) 移动体摄像装置以及移动体摄像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141225

R150 Certificate of patent or registration of utility model

Ref document number: 5676234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250