JP2011237638A

JP2011237638A - 撮影装置

Info

Publication number: JP2011237638A
Application number: JP2010109435A
Authority: JP
Inventors: Takao Ozaki; 隆生尾崎
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-05-11
Filing date: 2010-05-11
Publication date: 2011-11-24

Abstract

【課題】簡単な構成で赤外線画像中の被写体と実際の被写体との対応関係を把握しやすい撮影画像を撮影する。
【解決手段】エリアイメージセンサ１２の前面に透過領域分割フィルタ１４と光量補正フィルタ１５を配してある。透過領域分割フィルタ１４は、赤外線を反射させて可視光を透過させる可視光透過領域１４ａと、可視光を反射させて赤外線を透過させる赤外線透過領域１４ｂとに左右に分割され、エリアイメージセンサ１２の受光面１２ａで撮影範囲の左半分を可視光画像として撮影し、右半分を赤外線画像として撮影する。可視光透過領域１４ａ、赤外線透過領域１４ｂとの厚みに差を設けて可視光と赤外線の光軸方向の焦点位置のずれを補正する。
【選択図】図１

Description

本発明は、赤外線画像を撮影する撮影装置に関するものである。

物体や人物などの被写体からの赤外線をエリアイメージセンサで受光することにより赤外線画像を撮影する撮影装置が知られている。赤外線画像は、コントラストが低いため、その赤外線画像だけからでは撮影対象の被写体を特定しづらい、画像中の被写体像と実際の被写体との対応関係を把握しにくいなどの問題があった。

上記のような問題に対応する技術として、赤外線画像とともに可視光の可視光画像を撮影して表示するようにした撮影装置が知られている、このような撮影装置としては、可視光画像を撮影する撮影装置と赤外線画像を撮影する撮影装置と併置して得られる各画像を合成するもの、プリズムなどの光学素子で撮影光を可視光と赤外線とに分離し、可視光用のエリアイメージセンサと赤外線用のエリアイメージセンサとで撮影する撮影装置、撮影光の光路を可視光用エリアイメージセンサに入射させる光路と赤外線用エリアイメージセンサに入射させる光路とに時分割で切り替える撮影装置などが知られている（特許文献１参照）。

特開２００７−３６８３１号公報

ところで、上記のような構成によって可視光画像と赤外線画像とを撮影する構成では、可視光用と赤外線用の各撮影装置やエリアイメージセンサ、赤外線を分離するためのプリズム等の光学素子、光路を切り替えるためのミラーやそれを駆動するための機構等が必要となって部品点数の増加、コスト上昇を招くといった問題があった。

本発明は、上記課題を鑑みてなされたものであって、簡単な構成で赤外線画像の被写体を特定しやすく、また赤外線画像中の被写体と実際の被写体との対応関係を把握しやすい撮影画像を撮影することができる撮影装置を提供することを目的とする。

上記課題を達成するために請求項１記載の撮影装置では、撮影レンズからの撮影光が入射し、可視光を透過し赤外線をカットする第１の透過領域と赤外線を透過し可視光をカットする第２の透過領域とに区分された透過領域分割フィルタと、可視光と赤外線とに受光感度を有し、第１及び第２の透過領域を透過した撮影光を１画面分の撮影画像として受光面で受光するエリアイメージセンサとを備えたものである。

請求項２記載の撮影装置では、透過領域分割フィルタは、第１の透過領域を透過する可視光と第２の透過領域を透過する赤外線との焦点位置のずれを補正するように、第１の透過領域と第２の透過領域の厚みに差が設けられたものである。

請求項３記載の撮影装置では、可視光と赤外線とに対する受光感度に応じて、エリアイメージセンサの受光面に入射する可視光と赤外線との光量比を補正する光量補正手段を備えたものである。

本発明によれば、撮影レンズとエリアイメージセンサの間に可視光を透過し赤外線をカットする第１の透過領域と赤外線を透過し可視光をカットする第２の透過領域とに区分された透過領域分割フィルタを設けて可視光画像の領域と赤外線画像の領域とに区分された撮影画像を１つのエリアイメージセンサで撮影するようにしたから、赤外線画像中の被写体像と可視光画像の被写体像との対応付けが容易になり、その可視光画像よって、赤外線画像の被写体を特定しやすく、また赤外線画像中の被写体と実際の被写体との対応関係を把握しやすくした撮影画像を簡単な構成で撮影することができる。

本発明を実施した撮影装置の撮影光学系を示す斜視図である。本発明の撮影装置の概略を示すブロック図である。撮影画像の表示例を示す説明図である。透過領域分割フィルタと光量補正フィルタを１部材とした例を示すフィルタの説明図である。可視光透過フィルタと赤外線透過フィルタを保持枠で一体にして透過領域分割フィルタを構成した例を示す斜視図である。可視光透過領域と赤外線透過領域とを上下に分割した透過領域分割フィルタを示す説明図である。中央の円形の赤外線透過領域の周囲を可視光透過領域とした透過領域分割フィルタを示す説明図である。透過領域分割フィルタを切り替える例を示す要部の斜視図である。

本発明を実施した撮影装置の撮影光学系を図１に示す。撮影装置２（図２参照）は、撮影画面を分割して可視光による可視光画像と赤外線による赤外線画像とを撮影するように構成される。この撮影装置２の撮影光学系１０は、撮影レンズ１１，エリアイメージセンサ１２，透過領域分割フィルタ１４，光量補正フィルタ１５からなる。撮影レンズ１１は、被写体像をエリアイメージセンサ１２に結像させる。この撮影レンズ１１としては、可視光の他に、赤外線の透過率が高いものが用いられている。

撮影レンズ１１の背後にエリアイメージセンサ１２が配されている。エリアイメージセンサ１２は、その受光面１２ａに多数の受光素子が配されている。各受光素子は、可視光の波長域とともに、赤外線の波長域にも感度を有するものが用いられている。エリアイメージセンサ１２は、撮影レンズ１１によって受光面１２ａに結像される被写体像を光電変換して映像信号として出力する。エリアイメージセンサ１２は、電荷蓄積時間を調節するいわゆる電子シャッタ機能を有しており、撮影時には、この電子シャッタ機能を用いて露光時間を調節する。このようなエリアイメージセンサ１２として、ＣＣＤ型のものを用いている。

なお、受光面１２ａに、例えば赤色，緑色，青色のうちの赤色光を受光するように赤色フィルタを設けた赤色受光素子、緑色光を受光するように緑色フィルタを設けた緑色受光素子、青色光を受光するように青色フィルタを設けた青色受光素子配して、可視光画像としてカラー画像を撮影するようにしてもよい。この場合には、各色の受光素子に設けた色フィルタとして、可視光のうちの対応する色の光とともに赤外線を透過するものを用いる。

後述するように、透過領域分割フィルタ１４によって撮影レンズ１１側から見て受光面１２ａの右半分に可視光画像が結像され、左半分に赤外線画像が結像される。これにより、１フレーム（撮影画面）に可視光画像と赤外線画像とを含む撮影画像がエリアイメージセンサ１２ａによって撮影される。

受光面１２ａの前面に透過領域分割フィルタ１４が配されており、撮影レンズ１１から射出される撮影光が透過領域分割フィルタ１４を介して受光面１２ａに入射する。透過領域分割フィルタ１４は、受光面１２ａとほぼ同じか、僅かに大きな矩形の板状に形成されている。透過領域分割フィルタ１４は、左右同じサイズの領域に２分割されており、その右半分が赤外線をカットし可視光を透過する可視光透過領域１４ａになっており、左半分が可視光をカットし赤外線を透過する赤外線透過領域１４ｂになっている。

上記透過領域分割フィルタ１４は、ガラス板などの透明部材に屈折率のそれぞれ異なる誘電体の多層膜を形成したダイクロイックフィルタとして構成してあり、可視光透過領域１４ａでは、赤外線を反射させて可視光を透過させるフィルタ層が形成され、赤外線透過領域１４ｂでは可視光を反射させて赤外線を透過させるフィルタ層が形成されている。なお、透過領域分割フィルタ１４としては、カットすべき波長域をカットし、透過すべき波長域を透過するものえあれば、どのような構成であってもよく、例えば色素を用いてカットすべき波長域を吸収するように構成してもよい。

透過領域分割フィルタ１４は、そのガラス板の可視光透過領域１４ａ側の厚みＤ１と、赤外線透過領域１４ｂ側の厚みＤ２とに差を設けることにより、撮影レンズ１１の光軸方向の可視光の焦点位置と赤外線の焦点位置とのズレ補正している。この例では、撮影レンズ１１の赤外線の焦点位置が可視光のものよりも後方にずれることを考慮して、赤外線透過領域１４ｂ側の厚みＤ２を可視光透過領域１４ａ側の厚みＤ１よりも薄くして、可視光と赤外線の光軸方向の焦点位置が一致するようにしてある。

可視光透過領域１４ａ側の厚みＤ１と、赤外線透過領域１４ｂ側の厚みＤ２と差は、可視光と赤外線の光軸方向の焦点位置のずれ量、すれの方向に応じて決めればよい。また、可視光と赤外線の光軸方向の焦点位置のずれが十分に補正された撮影レンズ１１では、このような補正を行う必要がないことはいうまでもない。さらに、この例では、透過領域分割フィルタ１４の厚みを利用しているが、例えば光量補正フィルタ１５に厚み差を設けてもよく、別途、厚みの差を設けたガラス板やプラスチック板などを焦点位置補正手段として設けてもよい。

光量補正フィルタ１５は、透過領域分割フィルタ１４と受光面１２ａとの間に配されており、透過領域分割フィルタ１４を透過した撮影光が入射する。この光量補正フィルタ１５は、透過領域分割フィルタ１４と同様に２分割された可視光補正領域１５ａと赤外線補正領域１５ｂとからなる。可視光透過領域１４ａからの可視光が可視光補正領域１５ａに入射し、この可視光補正領域１５ａを透過して受光面１２ａの右半分の領域に入射する。また、赤外線透過領域１４ｂからの赤外線が赤外線補正領域１５ｂに入射し、この赤外線補正領域１５ｂを透過して受光面１２ａの左半分の領域に入射する。

光量補正フィルタ１５は、赤外線画像、可視光画像がいずれも適正露光とすることができるように、可視光と赤外線との光量比を補正する。例えば、可視光画像が適正露光となるときに赤外線画像が露光オーバになる場合には、赤外線補正領域１５ｂの赤外線の透過率が小さくされる。逆に、赤外線画像が適正露光となるときに可視光画像が露光オーバになる場合には、可視光補正領域１５ａの可視光の透過率が小さくされる。なお、光量比と同時に、補正各画像がいずれも適正露光となるように可視光と赤外線の絶対的な光量を補正してもよい。

補正領域の透過率は、エリアイメージセンサ１２の受光素子の分光感度、撮影レンズの分光透過率、透過領域分割フィルタの分光透過率などを考慮した撮影光学系全体の分光感度に基づいて決められる。光量補正フィルタ１５としては、ＮＤフィルタなどで構成することができる。

上記のような光量補正フィルタ１５を設けることにより、同一の撮影レンズ１１の絞り値、エリアイメージセンサ１２の電子シャッタ速度を用いて可視光画像と赤外線画像とを同一の受光面１２ａで同時に露光し、後述するように同じゲインで映像信号を増幅できるようにしている。なお、この例では透過領域分割フィルタ１４を通した赤外線、可視光を光量補正フィルタ１５に通しているが、光量補正フィルタ１５で可視光と赤外線との光量を補正してから、それらを透過領域分割フィルタ１４に通す構成としてもよい。

図２に示すように、コントローラ２０は、撮影装置２の各部を制御する。エリアイメージセンサ１２は、ドライバ２２によって駆動され、受光面１２ａに結像される被写体像を撮影画像として撮影し、映像信号に変換して出力する。エリアイメージセンサ１２は、これまでのＣＣＤ型のエリアイメージセンサと同様に各受光素子に蓄積された電荷を順次に転送して電気信号に変換することより映像信号を出力する。このエリアイメージセンサ１２からの１フレーム分の映像信号には、可視光画像と赤外線画像の信号が含まれる。

エリアイメージセンサ１２からの映像信号は、アナログフロントエンド回路（ＡＦＥ）２３に入力される。このＡＦＥ２３は、相関二重サンプリング回路（ＣＤＳ）２３ａ，増幅回路（ＡＭＰ）２３ｂ，Ａ／Ｄ変換器（Ａ／Ｄ）２３ｃから構成されている。相関二重サンプリング回路２３ａは、相関二重サンプリングを行うことによって、電荷を映像信号に変換する際に発生するリセットノイズ成分の除去を行なう。

増幅回路２３ｂは、設定される撮影感度に対応するゲインで映像信号を増幅する。光量補正フィルタ１５によって、可視光画像と赤外線画像との露光量を調整しているため、映像信号を可視光画像の部分と赤外線画像の部分とに分離することなく増幅を行うことができる。Ａ／Ｄ変換器２３ｃは、増幅回路２３ｂで増幅された映像信号をデジタル変換して画像データとして出力する。Ａ／Ｄ変換器２３ｃからの画像データは、データ処理回路２４に送られる。

データ処理回路２４は、入力された画像データに対し、γ補正処理などの各種画像処理を行う。可視光画像としてカラー画像を撮影する場合には、ホワイトバランス補正も行う。ホワイトバランス補正や、γ補正では、撮影画像に可視光画像とモノクロ画像となる赤外線画像とが混在していることに対応するため、予め設定されたパラメータを用いて、その処理を行うのがよい。なお、撮影画像を可視光画像と赤外線画像とに分離して、それぞれに対して適切な画像処理を施してもよい。

データ処理回路２４で画像処理が施された画像データは、ＬＣＤドライバ２６に送られる。ＬＣＤドライバ２６は、入力される画像データに基づいて、表示手段としてのＬＣＤ（液晶ディスプレイ）２７を駆動する。これにより、ＬＣＤ２７に撮影画像を表示する。画像データをＬＣＤドライバ２６に順次に入力することにより、ＬＣＤ２７に撮影画像が動画で表示される。

図３に表示例を示すように、ＬＣＤ２７には、撮影画像３１が表示される。１フレームの撮影画像３１は、左半分の可視光画像３１ａと、右半分の赤外線画像３１ｂとからなり、１フレーム中の各画像３１ａ，３１ｂは、エリアイメージセンサ１２によって同時に撮影されたものが表示される。

次に上記構成の作用について説明する。撮影レンズ１１から射出された撮影範囲内の被写体からの撮影光は、透過領域分割フィルタ１４，光量補正フィルタ１５を介してエリアイメージセンサ１２の受光面１２ａに入射する。透過領域分割フィルタ１４に入射する撮影光のうち可視光透過領域１４ａに入射した撮影光は、可視光が透過して赤外線がカットされて、光量補正フィルタ１５の可視光補正領域１５ａに入射する。一方、赤外線透過領域１４ｂに入射した撮影光は、赤外線が透過して可視光がカットされ、光量補正フィルタ１５の赤外線補正領域１５ｂに入射する。そして、可視光及び赤外線は、可視光補正領域１５ａ，赤外線補正領域１５ｂを通ることにより光量が補正されてから受光面１２ａに達する。

上記のようにして、受光面１２ａに達する可視光、赤外線は、透過領域分割フィルタ１４の厚みによって、撮影レンズ１１の可視光と赤外線の光軸方向の焦点位置が一致するようにされているので、可視光画像も赤外線画像も受光面１２ａ上に良好に結像する。

なお、可視光透過領域１４ａと赤外線透過領域１４ｂとの境界に対応する受光面１２ａ上の位置付近では、可視光画像と赤外線画像が重なり合い、撮影画像中に画像中かなり明るい筋となってしまうことがある。そこで、この可視光透過領域１４ａと赤外線透過領域１４ｂとの境界に対応する受光面１２ａ上の位置付近を遮光マスクを形成する等によって不感領域としておくことも好ましい。

受光面１２ａに結像した可視光画像と赤外線画像からなる１フレーム分の撮影画像は、電荷に変換されて蓄積された後、映像信号に変換されて出力される。出力された映像信号は、相関二重サンプリング回路２３ａによってリセットノイズ成分の除去が行われてから、増幅回路２３ｂによって増幅される。光量補正フィルタ１５によって、可視光と赤外線とのエリアイメージセンサ１２への入射光量を補正してあるので、可視光画像の部分と赤外線画像の部分とで同じゲインを用いて増幅が行われる。そして、増幅された映像信号がＡ／Ｄ変換器２３ｃによって画像データに変換される。画像データは、データ処理回路２４によって各種の画像処理が施されてから、ＬＣＤドライバ２６に送られる。

エリアイメージセンサ１２による１フレームの露光は周期的に繰り返し行われ、露光ごとに映像信号が出力され、上記と同じ手順により生成される画像データがＬＣＤドライバ２６に送られる。これによって、ＬＣＤ２７には、撮影中の被写体が動画として表示される。この表示では、ＬＣＤ２７の左半分には撮影範囲の左半分を可視光で撮影した可視光画像が、また右半分には撮影範囲の右半分を赤外線で撮影した赤外線画像を観察することができる。

例えば、撮影範囲の左右方向に人物が通る向きに撮影装置２を設置して、赤外線画像による人物の監視を行うようにした場合、図３に示されるように、左から右への人物の移動にともない、ＬＣＤ２７上で、その左半分に可視光画像が表示された状態から右半分で赤外線画像として表示される状態を観察することができる。また、逆の方向に人物が移動する場合には、その移動にともない、ＬＣＤ２７の右半分に赤外線画像が表示された状態から左半分に可視光画像として表示される状態を観察することができる。このため、赤外線画像として表示されている撮影対象を把握することが容易である。

上記実施形態では、透過領域分割フィルタと光量補正フィルタとを別々に設けたが、光量補正フィルタの機能を含むように透過領域分割フィルタを構成してもよい。例えば、可視光透過領域における可視光の透過率、赤外線透過領域の赤外線の透過率を調整することにより、エリアイメージセンサの受光面に入射する可視光と赤外線の光量の比率が適正になるようにすることができる。

図４に示す例は、透過領域分割フィルタと光量補正フィルタとを１個のフィルタとして構成したものである。透過領域分割フィルタ４０では、上記実施形態と同様に、ガラス板などの透明部材４１の一方の面の半分に赤外線をカットして可視光を透過するフィルタ層４２を形成して可視光透過領域４０ａとし、残りの半分に可視光をカットして赤外線を透過するフィルタ層４３を形成して赤外線透過領域４０ｂとしている。さらに、透明部材４１の他方の面の赤外線透過領域４０ｂ側に、赤外線の光量を減じるための光量補正用のフィルタ層４４を形成してある。

なお、この例では、赤外線の光量を減じるためにフィルタ層４４を赤外線透過領域４０ｂ側に形成しているが、可視光の光量を減じる必要がある場合には、可視光の光量を減じるフィルタ層を可視光透過領域４０ａ側に形成する。もちろん、を赤外線透過領域４０ｂ側と可視光透過領域４０ａ側とに、それぞれ光量を減じるためのフィルタ層を形成して絶対的な光量をも補正するようにしてもよい。また、この例では、光軸方向の焦点位置のずれを補正するために、可視光透過領域４０ａ側と赤外線透過領域４０ｂ側の透明部材４１の厚みに差を設けている。

図５は、透過領域分割フィルタ４５を、別々の部材である可視光透過フィルタ４５ａと赤外線透過フィルタ４５ｂとから構成した例を示している。この例では、各透過フィルタ４５ａ，４５ｂが板状に形成されており、これらを左右方向に並べた状態で保持枠を構成する前枠４６ａと後枠４６ｂとの間に挟み込んで一体化させている。

撮影範囲内における可視光透過領域と赤外線透過領域の分割パターンは、任意に設定することができる。図６の透過領域分割フィルタ５１は、上下に分割したものであり、例えば上側が可視光透過領域５１ａ、下側が赤外線透過領域５１ｂとなっている。また、図７の透過領域分割フィルタ５２では、中央に円形の赤外線透過領域５２ｂを設け、その周囲を可視光透過領域５２ａとしたものである。

可視光透過領域と赤外線透過領域との分割パターンが異なる複数の透過領域分割フィルタを選択的に切り替えてもよい。図８に示す例では、フィルタ切替機構５６は、最初の実施形態のように左右に分割した透過領域分割フィルタ１４と、図６に示される上下に分割した透過領域分割フィルタ５１とをスライドして切り替える。なお、この例では、２種類の透過領域分割フィルタを切り替えているが、３種類以上の透過領域分割フィルタを切り替えるようにしてもよい。また、スライドに限らず、例えばターレットによって回転式で切り替えてもよい。

上記各実施形態では、エリアイメージセンサとしてＣＣＤ型のものを用いているが、エリアイメージセンサとしてはこれに限るものではなく、ＣＭＯＳ型であってもよい。エリアイメージセンサとしてＣＭＯＳ型を用いる場合、ＣＭＯＳ型のエリアイメージセンサは、受光素子ごとにセルアンプ（増幅器）を備え、セルアンプで増幅されたものが出力されるので、各受光素子からの出力信号を赤外線と可視光の違いに応じた異なるゲインで増幅するように増幅回路を設けてもノイズ等の影響が少ない。このため、ＣＭＯＳ型のエリアイメージセンサを用いる場合には、光量補正フィルタを省略することもできる。

２撮影装置
１１撮影レンズ
１２エリアイメージセンサ
１２ａ受光面
１４透過領域分割フィルタ
１５光量補正フィルタ

Claims

撮影レンズからの撮影光が入射し、可視光を透過し赤外線をカットする第１の透過領域と赤外線を透過し可視光をカットする第２の透過領域とに区分された透過領域分割フィルタと、
可視光と赤外線とに受光感度を有し、前記第１及び第２の透過領域を透過した撮影光を１画面分の撮影画像として受光面で受光するエリアイメージセンサとを備えたことを特徴とする撮影装置
前記透過領域分割フィルタは、第１の透過領域を透過する可視光と第２の透過領域を透過する赤外線との焦点位置のずれを補正するように、前記第１の透過領域と前記第２の透過領域の厚みに差が設けられていることを特徴する請求項１記載の撮影装置。
可視光と赤外線とに対する受光感度に応じて、前記エリアイメージセンサの受光面に入射する可視光と赤外線との光量比を補正する光量補正手段を備えることを特徴とする請求項１または２記載の撮影装置。