JP2010039006A - 広ダイナミックレンジ撮像装置 - Google Patents

Abstract

【課題】撮像光学系を改善することにより、フレアやゴーストを防ぎ、ダイナミックレンジを広範囲化することを可能にした広ダイナミックレンジ撮像装置を実現すること。
【解決手段】少なくとも、撮像光学系１と、撮像光学系１により被写体の光学像が結像される撮像素子４を備える広ダイナミックレンジ撮像装置において、撮像光学系１は、その結像光学系のすべてを反射ミラーで構成したことを特徴とする広ダイナミックレンジ撮像装置である。
【選択図】図２

Description

本発明は、車載、監視、工業用等において、被写体を撮像する広ダイナミックレンジ撮像装置に係わり、特に、撮像する被写体画像内の光量差が大きく、フレア、ゴーストの影響を防止することを可能にした広ダイナミックレンジ撮像装置に関する。

従来の広ダイナミックレンジ撮像装置においては、撮像光学系に結像レンズが用いられるため、実際に撮影する被写体画像が光量比が高い画像の場合、強い光は、結像レンズ面で多重反射し、撮像素子に散乱集光されるため、撮像画像全体にフレアとして極めて影響を与える光ノイズ成分となっている。そのため、実際の撮影画像では、ダイナミックレンジが確保できないという問題があった。

図１４は、撮像光学系に結像レンズを用いた場合のダイナミックレンジの悪化（レンズシミュレーションによるフレア発生）を説明するための図であり、図１４（ａ）は、正常結像光が得られた場合の撮像光学系を示す図（１〜５、７〜１１はレンズ表面、６は絞り、１２は結像面を示す。）、図１４（ｂ）は、レンズ面反射（レンズ面９−レンズ面１１間反射）によりフレアが発生する場合の撮像光学系を示す図、図１４（ｃ）は、鏡円筒内反射によりフレアが発生する場合の撮像光学系を示す図である。
図１５は、結像レンズを用いた場合のダイナミックレンジの悪化の状況を示す図であり、図１５（ａ）は、フレアの影響を受けた場合の露光時間の異なる（（１）は、１／１秒、（２）は１／３２秒、（３）は、１／４８０秒、（４）は、１／８０６０秒）撮像画像出力信号と撮像画像(被写体)の明るさとの関係を示す図、図１５（ｂ）は、露光時間の異なる画像出力信号から撮影画像の明るさの範囲に応じて画像出力を得る場合（広ダイナミックレンジ撮像装置）のフレアの影響を受けた場合の撮像画像出力信号と、撮像画像の明るさとの関係を示す図である。これによれば、いずれの場合にも各露光時間ともフレア光が加算され撮像素子からの画像出力信号が飽和し、コントラストが低下し、画像出力信号のダイナミックレンジが悪化している。

これらの図を参照して、フレア光量を試算すると、入力される光学像の最大光量を１００％として換算すると、低フレア仕様のレンズでも０．３％、一般レンズでは０．６％がフレア光として光学像全体にかぶる。被写体の光量比が３３００万倍（１５０ｄＢ）の場合、結像レンズを通して撮像した場合、画像全体に上記０．３％が各露光条件の撮像画像信号にフレア光としてかぶることになり、撮像画像出力信号の最大値４０９６ＬＳＢとすると、４０９６ＬＳＢ（≒７２ｄＢ）×０．３％＝１２．３ＬＳＢ（２１ｄＢ）相当のコントラスト低下を引き起こす。従って、５１ｄＢ程度のコントラストとなる。また、部分画像信号においては、最短時間露光画像の影響度が大きく、１５０ｄＢから１２９ｄＢ以下に低下する。０．６％の場合は、４０９６ＬＳＢ（≒７２ｄＢ）×０．６％＝２４．６ＬＳＢ（２８ｄＢ）以上低下し、１５０ｄＢから１２３ｄＢ以下に低下し、さらに撮像光学系の内部鏡内の反射も加味すると、１００〜１２０ｄＢあたりに限界値が試算される。すなわち、撮像光学系に結像レンズを用いた広ダイナミックレンジ撮像装置においては、フレアの影響によりコントラストが低下し、低フレアレンズ製品でも１００〜１２０ｄＢのダイナミックレンジが限界であり、カメラシステムが１５０〜１７０ｄＢの仕様のものでも、撮影画像は１００〜１２０ｄＢに止まってしまう。
特開２００６−０１３８８３号公報 特開２００６−３５２７５７号公報 特開２００５−２５９７５０号公報

上記のごとく、従来の広ダイナミックレンジ撮像装置においては、撮像素子に結像させるまでの撮像光学系にはレンズが配置されているため、結像レンズの表面や結像レンズを配置するためのレンズ鏡筒の内面反射により、また、結像レンズ以外にも、撮像素子のカバーガラスや、撮像光学系の前面に配置され防塵カバーガラス等でも光軸に直交して配置されている場合には顕著な多重反射により、フレアやゴーストが生じ、広ダイナミックレンジ撮像装置において実現された広ダイナミックレンジの性能を引き出すことができないという問題があった。

本発明の目的は、上記の問題点にかんがみ、撮像光学系を改善することにより、フレアやゴーストを防ぎ、ダイナミックレンジを広範囲化することを可能にした広ダイナミックレンジ撮像装置を実現することにある。

本発明は、上記の課題を解決するために、次のような手段を採用した。
第１の手段は、撮像光学系と、該撮像光学系により被写体の光学像が結像される撮像素子とを備える広ダイナミックレンジ撮像装置において、前記撮像光学系は、その結像光学系のすべてを反射ミラーで構成したことを特徴とする広ダイナミックレンジ撮像装置である。
第２の手段は、撮像光学系と、該撮像光学系により被写体の光学像が結像される撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルの画像信号を生成して、前記複数の画像信号を出力する複数画像信号生成部と、閾値が設定された閾値設定部と、前記設定された閾値に基づいて、各画像信号から選択されるべき画像信号部分をそれぞれ部分画像信号として抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として合成する合成画像生成部とを備えた広ダイナミックレンジ撮像装置において、前記撮像光学系は、その結像光学系のすべてが反射ミラーで構成されていることを特徴とする広ダイナミックレンジ撮像装置である。
第３の手段は、第１の手段又は第２の手段において、前記反射ミラーは、球面又は回転対称非球面のうち少なくとも１つを含み、各反射ミラーの対称軸が一致していることを特徴とする広ダイナミックレンジ撮像装置である。
第４の手段は、第１の手段又は第２の手段において、前記反射ミラーは、球面又は回転対称非球面のうち少なくとも１つを含み、各反射ミラーの対称軸の少なくとも１か所が一致していないことを特徴とする広ダイナミックレンジ撮像装置である。
第５の手段は、第１の手段ないし第４の手段のいずれか１つの手段において、前記撮像光学系において、前記反射ミラーを保持する筐体内面は、反射光を減殺するための多数の円錐状溝が形成されていることを特徴とする広ダイナミックレンジ撮像装置である。
第６の手段は、第１の手段ないし第４の手段のいずれか１つの手段において、前記撮像光学系において、前記反射ミラーを保持する筐体内面は、反射光を減殺するため黒色の繊維が植毛されていることを特徴とする広ダイナミックレンジ撮像装置である。
第７の手段は、第１の手段ないし第６の手段のいずれか１つの手段において、前記撮像素子にはカバーガラスが設けられておらず、前記撮像光学系の光学像を取込む開口部には、保護又は防塵するためのカバーガラスが、その表面の垂線が前記撮像光学系内の光軸と一致しないように配置されていることを特徴とする広ダイナミックレンジ撮像装置である。

本発明によれば、フレアやゴーストを大幅に低減することができるため、ダイナミックレンジを広範囲化した広ダイナミックレンジ撮像装置を実現することができる。また、１２０ｄＢ以上の非常に高コントラスト画像の撮像が可能となり、従来、実用化が困難視されていた利用分野での広ダイナミックレンジ撮像装置の安全性、信頼性を大幅に向上させることができる。

本発明の一実施形態を図１ないし図１３を用いて説明する。
図１は、本実施形態の発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。
図２（ａ）は、本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図である。
同図において、１は撮像光学系、２は撮像光学系１を構成する筐体、３は撮像光学系１における結像光学系を構成するために配置された複数枚の反射ミラー、４は撮像素子、５は広ダイナミックレンジカメラシステム基板、６は撮像光学系１に入射された光が撮像素子４に入射されるまでの光路である。
なお、撮像素子４の結像面には、保護用のカバーガラスを配置すると光が撮像素子面との反射を繰り返して散乱するので、カバーガラスは配置しないことが好ましい。また、被写体の光学像を取込む撮像光学系１の開口部には、保護又は防塵をするための透明板（カバーガラス）９が、その表面の垂線が前記撮像光学系内の光軸と一致しないように配置されている。これにより、透明板９は透明板９の裏面で反射した光が撮像素子４の同じ画素位置へ導かれない配置となる。
同図に示すように、撮像光学系１に入射した光は、光路６を経て、各反射ミラー３によって反射され撮像素子４に入射される。撮像光学系１を複数の反射ミラー３で構成することにより、従来の結像レンズを用いた際に結像レンズ面において発生した多重反射を無くすことができ、フレア等の発生を防止することができる。

さらに、撮像光学系１において、反射ミラー３を保持し、光学系を覆う筐体２内面で、少なくとも撮像素子４への反射成分に影響を与える内面に、５〜２０μｍ以下のランダムに形成された複数の円錐状溝の反射防止処理を施したり、図２（ｂ）に示すように筐体２内面で、少なくとも撮像素子４への反射成分に影響を与える内面に、φ２０μｍの径で長さが０．４〜０．５ｍｍの黒色のアクリル繊維又はナイロン繊維からなる静電植毛を施すことが、フレアをより低減するのに効果的である。
この図に示すように、撮像光学系１の筐体内の散乱光は、筐体２内面に設けられた、多数の円錐状溝、又は図２（ｂ）に示すような黒色のアクリル繊維やナイロン繊維からなる静電植毛によって、散乱光が低減され、散乱光が撮像素子４に入射されることを防止することができ、フレア等の発生を防止することができる。

図３は、撮像光学系１における結像光学系を構成する複数の反射ミラー３の配置構成例１を示す図である。
同図において、この配置構成例１は反射ミラー３Ａ１、３Ａ２、３Ａ３、３Ａ４から構成され、すべて球面から成る。そのためミラー製作が安価であり、低フレア光学系を低コストで実現することができる。
一方、反射ミラーが球面であるために収差補正が難しくなるが、本構成例では各反射ミラーの対称軸を一致させずシフト又はチルトさせることにより、収差補正を良好に行っている。
構成例１の構成データを表１に、横収差を図４に示す。

図５は、撮像光学系１における結像光学系を構成する複数の反射ミラー３の配置構成例２を示す図である。
同図において、この配置構成例２は反射ミラー３Ｂ１、３Ｂ２、３Ｂ４が回転対称非球面、反射ミラー３Ｂ３が球面であり、各反射ミラーの対称軸が一致している。
本構成では、反射ミラー３に回転対称非球面を導入することで歪曲補正を効果的に行っている。そのため、後述するように、レーザー加工機等のＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）用カメラなどの広ダイナミックレンジ撮像装置の撮像光学系に適している。また各反射ミラーの対称軸が一致しているため、筐体のアライメント調整を容易に行うことができる。
構成例２の構成データを表２に、横収差を図６に示す。
なお回転対称非球面は次の定義式で規定する。
Ｋ、Ａ、Ｂ、Ｃ、Ｄ すべてが０の場合は球面となる。

ただし、
Ｒ：面中心における曲率半径
Ｋ：コーニック係数
Ａ：４次非球面係数
Ｂ：６次非球面係数
Ｃ：８次非球面係数
Ｄ：１０次非球面係数

図７は、撮像光学系１における結像光学系を構成する複数の反射ミラー３の配置構成例３を示す図である。
同図において、この配置構成例３は反射ミラー３Ｃ１、３Ｃ２、３Ｃ４が回転対称非球面、反射ミラー３Ｃ３が球面であり、各反射ミラーの対称軸が一致している。
本構成例では、反射ミラー３に回転対称非球面を導入することで高画質を維持しつつ、広画角を実現している。そのため後述するように、車載カメラによる白線認識用の広ダイナミックレンジ撮像装置の撮像光学系、又は交差点を監視するための監視カメラなどの広ダイナミックレンジ撮像装置の撮像光学系に適している。また各反射ミラーの対称軸が一致しているため、筐体のアライメント調整を容易に行うことができる。
構成例３の構成データを表３に、横収差を図８に示す。

また、反射ミラーが回転対称非球面であって各反射ミラーの対称軸が一致していない構成でも良い。

前述の配置構成例１〜３はいずれも回転対称面（球面、非球面）を反射ミラーとして採用しているが、その理由は製造が比較的容易であり、精度を確保しやすいことにある。
従って非回転対称面、すなわちアナモルフィック非球面あるいは自由曲面などを用いても何ら支障はなく、導入によって解像力を向上させたり、歪曲を改善したり、画角を広げたりすることが期待できる。

さらに、これら非回転対称面を用いた結像光学系においても、各反射ミラーの中心線を一致させず、シフト又はチルトさせることが可能である。これにより一層の性能改善を期待することができる。

図９は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、７は制御回路部、７１は撮像素子４に結像された光学像に基づいて、複数の異なる光量レベルを有する画像信号を生成する複数画像信号生成部、７２は部分画像信号抽出用の閾値が設定されている閾値設定部、７３は、閾値に基づいて、複数の各画像信号から選択されるべき部分画像信号を抽出する部分画像信号抽出部、７４は合成画像生成部、７５は合成画像出力部、８は画像表示部である。なお、その他の構成は図２（ａ）に示した同符号の構成に対応する。

図１０（ａ）は、撮像素子４から取得された露光時間の異なる複数個の画像信号（１）〜（４）と撮像画像(被写体)の明るさとの関係を示す図であり、図１０（ｂ）は、閾値設定部７２における閾値の設定例を示す図であり、図１０（ｃ）は、部分画像信号抽出部７３において、取得された画像信号（１）〜（４）から、閾値設定部７２において設定された閾値に基づいて、抽出された部分画像信号（１’）〜（４’）と撮像画像の明るさとの関係を示す図である。

図９及び図１０を用いて撮像装置の動作を説明すると、まず、撮像光学系１により被写体の光学像を撮像素子４に結像させる。次に、複数画像信号生成部７１において、撮像素子４に結像された光学像に基づいて、複数の異なる光量レベルを有する画像信号（１）〜（４）を生成する。次に、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成し、合成画像出力部７５に出力する。合成画像出力部７５に出力された合成画像は画像表示部８に表示される。

図１１は、本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
同図に示すように、車載用カメラ１１として適用された広ダイナミックレンジ撮像装置は、車両の左右のヘッドライト付近に装着され、道路の白線認識用として用いると極めて有用である。

図１２は、本発明に係る広ダイナミックレンジ撮像装置を交差点などの監視用カメラに適用した場合の説明図である。
同図に示すように、監視用カメラ１２として適用された広ダイナミックレンジ撮像装置は、交差点を監視するために、周囲のビルや信号機などに設置され、２４時間３６５日、常時交差点の監視を行い、朝日や夕日などの強い入射光などが画像に取込まれる環境下にあっても、飽和のない、状況確認の行える撮影画像を取得することができる。

図１３は、本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡ用カメラに適用した場合の説明図である。
同図に示すように、ＦＡ用カメラ１３として適用された広ダイナミックレンジ撮像装置は、レーザー半田付け装置付近に装備され、電子部品とプリント基板の半田付けの様子を撮像し、撮像画像をＴＶモニターなどに表示する。そのため、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、場合によっては、飽和せずに安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。

本発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。 本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図、筐体２内面の一部を拡大して示した図である。 撮像光学系１における結像光学系を構成する複数の反射ミラー３の配置構成例１を示す図である。 複数の反射ミラー３の配置構成例１の横収差を示す図である。 撮像光学系１における結像光学系を構成する複数の反射ミラー３の配置構成例２を示す図である。 複数の反射ミラー３の配置構成例２の横収差を示す図である。 撮像光学系１における結像光学系を構成する複数の反射ミラー３の配置構成例３を示す図である。 複数の反射ミラー３の配置構成例３の横収差を示す図である。 本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。 撮像素子４から取得された露光時間の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係、閾値設定部７２における閾値の設定例、および抽出された部分画像信号（１’）〜（４’）と撮影環境の明るさとの関係を示す図である。 本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。 本発明に係る広ダイナミックレンジ撮像装置を交差点などの監視用カメラに適用した場合の説明図である。 本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡ用カメラに適用した場合の説明図である。 撮像光学系に結像レンズを用いた場合のダイナミックレンジの悪化（レンズシミュレーションによるフレア発生）を説明するための図である。 結像レンズを用いた場合のダイナミックレンジの悪化を説明するための図である。

符号の説明

１ 撮像光学系
２ 筐体
３ 反射ミラー
３Ａ１、３Ａ２、３Ａ３、３Ａ４ 反射ミラー
３Ｂ１、３Ｂ２、３Ｂ３、３Ｂ４ 反射ミラー
３Ｃ１、３Ｃ２、３Ｃ３、３Ｃ４ 反射ミラー
４ 撮像素子
５ 広ダイナミックレンジカメラシステム基板
６ 光路
７ 制御回路部
７１ 複数画像信号生成部
７２ 閾値設定部
７３ 部分画像信号抽出部
７４ 合成画像生成部
７５ 合成画像出力部
８ 画像表示部
９ 透明板（カバーガラス）

Claims (7)

1. 少なくとも、撮像光学系と、該撮像光学系により被写体の光学像が結像される撮像素子とを備える広ダイナミックレンジ撮像装置において、
   前記撮像光学系は、その結像光学系のすべてを反射ミラーで構成したことを特徴とする広ダイナミックレンジ撮像装置。
2. 撮像光学系と、該撮像光学系により被写体の光学像が結像される撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルの画像信号を生成して、前記複数の画像信号を出力する複数画像信号生成部と、閾値を設定する閾値設定部と、前記設定された閾値に基づいて、各画像信号から選択されるべき画像信号部分をそれぞれ部分画像信号として抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として合成する合成画像生成部とを備えた広ダイナミックレンジ撮像装置において、
   前記撮像光学系は、その結像光学系のすべてが反射ミラーで構成されていることを特徴とする広ダイナミックレンジ撮像装置。
3. 前記反射ミラーは、球面又は回転対称非球面のうち少なくとも１つを含み、各反射ミラーの対称軸が一致していることを特徴とする請求項１又は請求項２に記載の広ダイナミックレンジ撮像装置。
4. 前記反射ミラーは、球面又は回転対称非球面のうち少なくとも１つを含み、各反射ミラーの対称軸の少なくとも１か所が一致していないことを特徴とする請求項１又は請求項２に記載の広ダイナミックレンジ撮像装置。
5. 前記撮像光学系において、前記反射ミラーを保持する筐体内面は、反射を低減するための多数の円錐状溝が形成されていることを特徴とする請求項１ないし請求項４に記載のいずれか１つの請求項に記載の広ダイナミックレンジ撮像装置。
6. 前記撮像光学系において、前記反射ミラーを保持する筐体内面は、反射を低減するため黒色の繊維が植毛されていることを特徴とする請求項１ないし請求項４に記載のいずれか１つの請求項に記載の広ダイナミックレンジ撮像装置。
7. 前記撮像素子にはカバーガラスが設けられておらず、前記撮像光学系の光学像を取込む開口部には、保護又は防塵するためのカバーガラスが、その表面の垂線が前記撮像光学系内の光軸と一致しないように配置されていることを特徴とする請求項１ないし請求項６のいずれか１の請求項に記載の広ダイナミックレンジ撮像装置。