JP2021021892A

JP2021021892A - 撮像装置及び撮像システム

Info

Publication number: JP2021021892A
Application number: JP2019139777A
Authority: JP
Inventors: 恒司石沢; Koji Ishizawa
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2021-02-18

Abstract

【課題】簡単な構成により可視光及び近赤外光による撮像を可能とする撮像装置及び撮像システムを提供する。【解決手段】射する光を絞る第１絞り２０を備えた撮像レンズ１０と、撮像レンズ１０により受光して画像を形成する撮像素子４０と、を有し、撮像レンズ１０は、第１絞り２０と別に、近赤外光Ｌ２を透過させて可視光Ｌ１を透過させない第２絞り３０を備えて撮像装置を構成する。これにより、可視光と近赤外光を同時に解像度良く撮像することが出来る。【選択図】図１

Description

本発明は、撮像装置及び撮像システムに関する。

従来の技術として、１つの光学系に対して可視光センサと赤外光センサとを設ける場合においても適切なフォーカス動作が可能な撮像装置が知られている（例えば、特許文献１参照）。

特許文献１の撮像装置は、レンズにより結像された光を電気信号に変換する第１の撮像素子と、レンズにより結像された光のうち第１の撮像素子が変換する光とは異なる波長成分を含む光を電気信号に変換する第２の撮像素子と、第１の撮像素子及び第２の撮像素子に対するレンズのフォーカスを制御するための第１のフォーカス制御手段と、レンズの光軸方向へ少なくとも第２の撮像素子を駆動してフォーカスを制御する第２のフォーカス制御手段と、を備えるように構成されている。

２０１７−１５６４６４号公報

特許文献１の撮像装置は、第１の撮像素子及び第２の撮像素子に対するレンズのフォーカスを制御するための第１のフォーカス制御手段と、レンズの光軸方向へ少なくとも第２の撮像素子を駆動してフォーカスを制御する第２のフォーカス制御手段の２種類のフォーカス制御手段を必要とする構成である。このため、構造が複雑でコストアップとなり、また、信頼性を確保し難く、簡単な構成ではないという問題があった。

従って、本発明の目的は、簡単な構成により可視光及び近赤外光による撮像を可能とする撮像装置及び撮像システムを提供することにある。

［１］本発明は、入射する光を絞る第１絞りを備えた撮像レンズと、前記撮像レンズにより受光して画像を形成する撮像素子と、を有し、前記撮像レンズは、前記第１絞りと別に、近赤外光を透過させて可視光を透過させない第２絞りを備えている、撮像装置を提供する。
［２］前記撮像素子は、前記可視光及び前記近赤外光を撮像可能である、上記［１］に記載の撮像装置であってもよい。
［３］また、前記第２絞りの径は、前記第１絞りの径よりも小さい、上記［１］又は［２］に記載の撮像装置であってもよい。
［４］また、前記撮像素子は、前記可視光の焦点位置と前記近赤外光の焦点位置の間の位置に配置される、上記［１］から［３］のいずれか１に記載の撮像装置。
［５］また、上記［１］から［４］のいずれか１に記載の撮像装置と、前記近赤外光により被写体を照明する照明部を備えている、撮像システムを提供する。
［６］また、前記撮像素子から得られた値と、予め定められた閾値を比較し、予め定められた条件を満足する場合、撮像可能な、上記［５］に記載の撮像システムであってもよい。

本発明によれば、簡単な構成により可視光及び近赤外光による撮像を可能とすることができる。

図１は、本発明の実施の形態に係る撮像装置の撮像レンズの断面を示し、撮像素子に入射する可視光Ｌ１、近赤外光Ｌ２の光路を示す断面図である。図２は、本発明の実施の形態に係る撮像装置を車両に適用した場合の撮像システムの全体図である。図３は、本発明の実施の形態に係る撮像システムの構成を示すブロック図である。図４は、撮像レンズの光透過率と第２絞りの光透過率を、横軸を光の波長として図示した光透過率と波長の関係を示す図である。図５は、許容錯乱円と焦点深度の関係を説明するための光学系の図である。図６（ａ）は、従来の第１絞りのみを備えた場合の撮像レンズにおいて、可視光と近赤外光のそれぞれの焦点位置と撮像素子の位置関係を示す断面図であり、図６（ｂ）は、図６（ａ）が備える第１絞りを撮像素子側から見た図であり、図６（ｃ）は、第１絞り、第２絞りを備え本実施の形態の撮像レンズにおいて、可視光と近赤外光のそれぞれの焦点位置と撮像素子の位置関係を示す断面図であり、図６（ｄ）は、図６（ｃ）が備える第１絞り、第２絞りを撮像素子側から見た図である。図７は、本発明の実施の形態に係る撮像システムを、近赤外光により被写体を照明する照明部を使用する場合を含む使用態様を説明するフローチャートである。

（本発明の実施の形態）
図１は、本発明の実施の形態に係る撮像装置の撮像レンズの断面を示し、撮像素子に入射する可視光Ｌ１、近赤外光Ｌ２の光路を示す断面図である。本発明の実施の形態に係る撮像装置１は、図１に示すように、入射する光を絞る第１絞り２０を備えた撮像レンズ１０と、撮像レンズ１０により受光して画像を形成する撮像素子４０と、を有し、撮像レンズ１０は、第１絞り２０と別に、近赤外光Ｌ２を透過させて可視光Ｌ１を透過させない第２絞り３０を備えて構成されている。

図２は、本発明の実施の形態に係る撮像装置を車両に適用した場合の撮像システムの全体図である。本発明の実施の形態に係る撮像装置１は、図２に示すように、例えば、車両８０に適用して運転者２００の撮像手段とすることができる。運転者２００の撮像結果は、例えば、運転者２００の運転姿勢、顔の表情等を解析することにより、車両の安全運転を実行するための情報として使用することができる。

図３は、本発明の実施の形態に係る撮像システムの構成を示すブロック図である。本発明の実施の形態に係る撮像システム２は、図３に示すように、撮像装置１と、近赤外光により被写体を照明する照明部９０、制御部１００を備えて構成することができる。本実施の形態に係る撮像システム２により、車両８０で使用される撮像システム２（カメラシステム）にて、可視光と近赤外光を同時に解像度良く撮像することが出来る。

（撮像装置１の構成）
（撮像レンズ１０）
撮像レンズ１０は、入射する光を絞る第１絞り２０を備えている。また、撮像レンズ１０は、第１絞り２０と別に、近赤外光Ｌ２を透過させて可視光Ｌ１を透過させない第２絞り３０を備えている。

図４は、撮像レンズの光透過率と第２絞りの光透過率を、横軸を光波長として図示した光透過率と波長の関係を示す図である。撮像レンズ１０は、可視光領域及び近赤外領域の光を透過させるレンズであり、例えば、一般的に使用されるカメラ用レンズである。

第１絞り２０は、可視光領域の光（可視光Ｌ１）及び近赤外領域の光（近赤外光Ｌ２）を透過させない材料で形成されている。例えば、表面が黒色とされた金属、樹脂、ガラス等が使用できる。第１絞り２０は、絞り径Ｄ１とされ、径Ｄ１よりも外側の領域は可視光Ｌ１及び近赤外光Ｌ２は透過できず、径Ｄ１よりも内側の領域は可視光Ｌ１及び近赤外光Ｌ２は透過できる。したがって、第１絞り２０は、可視光領域の光（可視光Ｌ１）及び近赤外領域の光（近赤外光Ｌ２）の透過を制限する。

第２絞り３０は、可視光領域の光（可視光Ｌ１）を透過させず、近赤外領域の光（近赤外光Ｌ２）を透過させる材料で形成されている。例えば、図４は、撮像レンズの光透過率と第２絞りの光透過率を、横軸を光の波長として図示した光透過率と波長の関係を示す図であり、図４に示すような透過率特性を有する光学フィルターが使用できる。この光学フィルターは、図４に示すような、可視光領域を不透過とし、近赤外領域のみを透過させるバンドパス特性となるように、例えば、誘電体多層膜により形成可能である。第２絞り３０は、絞り径Ｄ２とされている。図１に示すように、径Ｄ２よりも外側の領域は、第２絞り３０と第１絞り２０により可視光Ｌ１は透過できない。一方、近赤外光Ｌ２は径Ｄ２よりも外側の領域を透過できるので、第１絞り２０によってのみ遮蔽される。したがって、第２絞り３０は、可視光領域の光（可視光Ｌ１）の透過を制限する。

以上をまとめると、図１に示すように、可視光Ｌ１は、第２絞り３０の絞り径Ｄ２の内側の領域を透過でき、第２絞り３０の開口（径Ｄ２）が絞りとして機能する。一方、近赤外光Ｌ２は、第１絞り２０の絞り径Ｄ１の内側の領域を透過でき、第１絞り２０の開口（径Ｄ１）が絞りとして機能する。

（撮像素子４０）
撮像素子４０は、可視光及び近赤外光に感度を有して撮像可能なものが使用でき、例えば、ＣＭＯＳ撮像素子、ＣＣＤ撮像素子等が使用できる。撮像素子４０は、図１に示すように、基板４５上に実装されて、光の焦点位置、または、焦点位置付近に光軸に垂直に配置される。撮像素子４０は、撮像データＳｓを後述する制御部１００に出力することができる。

図５は、許容錯乱円と焦点深度の関係を説明するための光学系の図である。

ここで、使用する撮像素子（ＣＣＤ或いはＣＭＯＳイメージセンサ）は、一定のピクセルサイズをもったピクセルがアレイ上に配置された素子となっている。そのため、集光する際のスポットサイズはピクセルサイズ以下であれば解像度に影響は無く、そのサイズが許容錯乱円εとして定義される。許容錯乱円εのサイズ内にボケが収まる範囲を焦点深度と呼ぶ。

よって

上記関係式より、焦点深度は有効口径を小さくすることで深くなることがわかる。つまり、絞りを絞れば有効口径は小さくなり、焦点深度を深く出来る。

可視光と近赤外光の焦点は、波長の違いからレンズでの屈折率の違いとなり焦点位置が異なる。そのため、撮像素子を可視光の位置に置いた場合は近赤外の焦点が合わず、逆に近赤外の位置に置くと可視光の焦点が合わない。そこで、撮像素子は両焦点間に配置するが、可視光と近赤外光が共に許容錯乱円以下の状態とするためには、十分な焦点深度が必要となる。焦点深度を深くする方法は、前記の通り絞りを絞り有効口径を小さくすることであるが、絞りを絞るということは入射する光量を制限してしまうという背反があるため、可視光のみの絞りを絞ることで、近赤外光の光量ロスを無くす構成とし、それにより、近赤外光照明の負荷は増やさずに実現する。具体的な方法として、従来の絞りである第１絞り２０の内側に可視光Ｌ１のみをカットする第２絞り３０をもう一段設け、それぞれの異なるサイズの絞りのサイズを形成する。これにより、可動機構やレンズを多数使った複雑な構成とすることなく、絞りを変更するのみで対応可能であり、安価に対応することが可能となる。

図６（ａ）は、従来の第１絞りのみを備えた場合の撮像レンズにおいて、可視光Ｌ１と近赤外光Ｌ２のそれぞれの焦点位置ｆ１及びｆ２と撮像素子の位置関係を示す断面図であり、図６（ｂ）は、図６（ａ）が備える第１絞り２０を撮像素子側から見た図である。従来の撮像レンズでは、前記ｆ１とｆ２の間において、可視光Ｌ１と近赤外光Ｌ２のいずれかが許容錯乱円εのサイズを超えており、ボケが発生する。

一方、図６（ｃ）は、第１絞り２０、第２絞り３０を備えた本実施の形態の撮像レンズにおいて、可視光Ｌ１と近赤外光Ｌ２のそれぞれの焦点位置と撮像素子の位置関係を示す断面図であり、図６（ｄ）は、図６（ｃ）が備える第１絞り２０、第２絞り３０を撮像素子側から見た図である。従来の絞りの内側に可視光Ｌ１のみカットする第２絞り３０を追加することで、可視光Ｌ１の焦点深度が深くなり、可視光Ｌ１と近赤外光Ｌ２の両方を許容錯乱円εのサイズ以下にすることが可能となり、ボケが発生しない。また、近赤外光Ｌ２は従来通りの光量を維持出来る。

図６（ｃ）に示すように、可視光Ｌ１と近赤外光Ｌ２の焦点距離の差異Ｍを算出する。これはそれぞれのベストピント位置となる。更に、可視光Ｌ１と近赤外光Ｌ２のそれぞれの有効口径及び許容錯乱円に基づく焦点深度を計算する。それぞれの焦点深度の１/２を足し合わせた値が焦点距離の差異Ｍと同じ、或いはそれ以上となる時、可視光Ｌ１の焦点位置と近赤外光Ｌ２の焦点位置の間の位置でいずれも許容錯乱円内となる位置が存在する。その位置に撮像素子が来るように配置することで、可視光Ｌ１と近赤外光Ｌ２のピントが合った状態と出来る。

（撮像システム２の構成）
撮像システム２は、図３に示すように、撮像装置１と、近赤外光により被写体を照明する照明部９０、及び、撮像装置１、照明部９０を制御する制御部１００を備えて構成されている。

車両で使用される撮像システム（カメラシステム）は、昼間は可視光を使用するが、夜間など光量が少ない場合にドライバーに影響を与えず撮影するため、不可視である近赤外光の照明を使用する。そのため、可視光と近赤外光の両方を使う必要があるが、一般的にレンズは可視光の波長帯においては焦点が合うが、近赤外光は波長が可視光より長いため焦点がズレる。このため解像度が劣化し、画像が鮮明に映らない、という課題がある。

本実施の形態に係る撮像システム２は、撮像素子４０から得られた値と、予め定められた閾値を比較し、予め定められた条件を満足する場合、撮像可能とする。すなわち、撮像素子４０から得られた値が閾値以下である場合、撮像システム２は、照明部９０を使って撮像し、また、撮像素子４０から得られた値が閾値以上である場合、照明部９０を使わずに撮像することができる。

（照明部９０）
照明部９０は、近赤外光により被写体を照明する。この近赤外光は不可視であるためドライバーに影響を与えず撮影することが可能である。ここでの近赤外光は、可視領域と赤外領域の間に位置する、例えば、８００ｎｍから１０００ｎｍ程度の領域の波長を有する光とする。照明部９０は、図３に示すように、制御部１００による制御により近赤外照明光Ｌ３を照射して運転者２００等の撮像対象物を照明することができる。

（制御部１００）
制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに基づいて検出、判定、判断などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラムが格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。

制御部１００は、撮像素子４０と接続され、撮像素子４０から撮像データＳｓが入力される。また、照明部９０と接続され、照明部９０に対して照明信号Ｓ_Ｌを出力することにより照明部９０から近赤外照明光Ｌ３を照射させることができる。また、例えば、車両８０側から制御信号Ｓｃが入力される。この制御信号Ｓｃは、照明部９０の点灯、非点灯を制御するための外部信号として利用することができる。

以下では、制御部１００に入力される撮像データＳｓに基づいて、制御部１００が照明部９０の点灯、非点灯を制御する場合について説明する。

図７は、本発明の実施の形態に係る撮像システムを、近赤外光により被写体を照明する照明部を使用する場合を含む使用態様を説明するフローチャートである。

（撮像システム２の動作）
（Ｓｔｅｐ１）
制御部１００は、撮像データＳｓに基づいて、検出光量が閾値以上かどうかを判断する。制御部１００は、特定の画素、例えば、中央付近の複数画素の検出光量の平均値が閾値以上かどうかを判断することができる。検出光量が閾値以上でない場合は、Ｓｔｅｐ２に進み（Ｓｔｅｐ１：Ｎｏ）、検出光量が閾値以上の場合は、Ｓｔｅｐ３に進む（Ｓｔｅｐ１：Ｙｅｓ）。

（Ｓｔｅｐ２）
制御部１００は、照明部９０に対して照明信号Ｓ_Ｌを出力することにより照明部９０から近赤外照明光Ｌ３を照射させる。これにより、近赤外光により被写体、例えば、車両の運転者２００を照明する。

（Ｓｔｅｐ３）
制御部１００は、撮像素子４０により撮像を実行する。制御部１００は、例えば、昼間等の明るい状態では、可視光Ｌ１による撮像が実行される。一方、制御部１００は、例えば、夜間等の暗い状態では、照明部９０から近赤外照明光Ｌ３を照射して、主に近赤外光Ｌ２による撮像が実行される。

本実施の形態に係る撮像素子４０は、例えば、可視光Ｌ１の焦点位置と近赤外光Ｌ２の焦点位置の間の位置でいずれも焦点深度内となる位置に撮像素子が来るように配置されるので、可視光Ｌ１と近赤外光Ｌ２のいずれのピントも合った状態とすることができる。したがって、Ｓｔｅｐ３における撮像の実行において、可視光と近赤外光のいずれでも解像度良く撮像可能である。

上記フローで示した一連の動作は、必要に応じて、繰り返して実行することができる。

（本発明の実施の形態の効果）
上記のような構成により、次のような効果を有する。
（１）本発明の実施の形態に係る撮像装置１は、図１に示すように、入射する光を絞る第１絞り２０を備えた撮像レンズ１０と、撮像レンズ１０により受光して画像を形成する撮像素子４０と、を有し、撮像レンズ１０は、第１絞り２０と別に、近赤外光Ｌ２を透過させて可視光Ｌ１を透過させない第２絞り３０を備えて構成されている。これにより、通常の光学レンズを使った撮像レンズ１０であっても、可視光Ｌ１と近赤外光Ｌ２の両方のピントが合った状態とすることが出来る。
（２）撮像システム２は、図３に示すように、撮像装置１と、近赤外光により被写体を照明する照明部９０、及び、撮像装置１、照明部９０を制御する制御部１００を備えて構成されている。これにより、夜間等の暗い撮像条件の下でも、ドライバーにまぶしい等の影響を与えず撮影することができる。
（３）本実施の形態は、撮像レンズにある絞りを、可視光のみ更に絞られるように、内側にもう一段可視光を遮断し近赤外光を透過する材料で絞りを構成することで可視光の焦点深度を深くすることで焦点ズレの影響を抑えるものである。この時、近赤外光の絞りは変化しないため近赤外光量の口スが無いという効果を有する。
（４）また、可視光と近赤外光の２種類の光の解像度劣化が無い画像を、可動機構や複雑で高価なレンズを必要とせず、絞りを変更するだけで、安価に実現できるという効果を有する。焦点深度を深くするための追加の絞りは可視光に対してのみ適用されるため近赤外光量のロスは無く、近赤外光照明の光量は従来通り入射されるため、照明への負荷を増やすことなく実現可能である。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…撮像装置
２…撮像システム
１０…撮像レンズ
２０…第１絞り
３０…第２絞り
４０…撮像素子
４５…基板
８０…車両
９０…照明部
１００…制御部
２００…運転者
Ｄ１…絞り径
Ｄ２…絞り径
ｆ１…焦点位置
ｆ２…焦点位置
Ｌ１…可視光
Ｌ２…近赤外光
Ｌ３…近赤外照明光
Ｓｃ…制御信号
Ｓ_Ｌ…照明信号
Ｓｓ…撮像データ
ε…許容錯乱円

Claims

入射する光を絞る第１絞りを備えた撮像レンズと、
前記撮像レンズにより受光して画像を形成する撮像素子と、を有し、
前記撮像レンズは、前記第１絞りと別に、近赤外光を透過させて可視光を透過させない第２絞りを備えている、撮像装置。
前記撮像素子は、前記可視光及び前記近赤外光を撮像可能である、請求項１に記載の撮像装置。
前記第２絞りの径は、前記第１絞りの径よりも小さい、請求項１又は２に記載の撮像装置。
前記撮像素子は、前記可視光の焦点位置と前記近赤外光の焦点位置の間の位置に配置される、請求項１から３のいずれか１項に記載の撮像装置。
請求項１から４のいずれか１項に記載の撮像装置と、
前記近赤外光により被写体を照明する照明部を備えている、撮像システム。
前記撮像素子から得られた値と、予め定められた閾値を比較し、予め定められた条件を満足する場合、撮像可能な、請求項５に記載の撮像システム。