JP2022113614A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2022113614A JP2022113614A JP2021044146A JP2021044146A JP2022113614A JP 2022113614 A JP2022113614 A JP 2022113614A JP 2021044146 A JP2021044146 A JP 2021044146A JP 2021044146 A JP2021044146 A JP 2021044146A JP 2022113614 A JP2022113614 A JP 2022113614A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- visible light
- infrared light
- light camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 30
- 238000012937 correction Methods 0.000 claims abstract description 94
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 abstract description 6
- 238000003786 synthesis reaction Methods 0.000 abstract description 6
- 238000001308 synthesis method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 14
- 239000002131 composite material Substances 0.000 description 10
- 230000005855 radiation Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000226585 Antennaria plantaginifolia Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000005469 synchrotron radiation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
【課題】 赤外線カメラで取得した画像と可視光カメラで取得した画像とを精密に一致させて合成画像を取得する撮像装置および画像合成方法を提供する。【解決手段】 本発明の撮像装置は、赤外光カメラが可視光カメラの近傍で、それぞれの光軸が被写体に対し並行に配置され、前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるフォーカス位置連動手段と、前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行う赤外光像視差歪補正手段と、前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行う画角補正手段とを含む画像合成手段を具備する。【選択図】図2
Description
この発明は、サーマルカメラなどの赤外線カメラおよび可視光カメラを具備する撮像装置において、赤外線カメラで取得した画像と可視光カメラで取得した画像とを精密に一致させて合成画像を取得する撮像装置および画像合成方法に関する。
赤外線(または赤外光)カメラは、赤外線による反射光像または放射光像を取得し、撮像素子(センサー)により映像化する。赤外線は、その波長によりNIR(Near Infrared;近赤外線、0.75~1.4μm)、SWIR(Short-wave length Infrared;短波長赤外線、1.4~3μm)、MWIR(Mid-wave length Infrared;中波長赤外線、3.0~8μm)、LWIR(Long-wave length Infrared;長波長赤外線または熱赤外線、8~15μm)、FIR(Far Infrared;遠赤外線15~1,000μm)に分類されており、それぞれの波長の特性を生かして種々の応用が提案されている。NIRやSWIRでは可視光ではないが反射特性を有し、比較的にコントラストの高い反射画像を取得することができる。また、それ以上の長い波長帯域であるMWIR、LWIR、FIRでは放射特性を有し、コントラストの低い熱画像となる。
反射画像を取得するNIRカメラやSWIRカメラにおいては、可視光カメラで認識できない暗視カメラ、煙や霧の中を透過して撮像する監視カメラなどへ用いられる。このようなカメラでは、放射画像(熱画像)を取得するカメラに比べ高コントラストの可視光に近い画像が得られるが、画像はモノクロであり可視光像のようなカラー色彩を含んだものとはならない。
また、放射画像を取得するMWIRカメラやLWIRカメラにおいては、画像のコントラストは低いが熱放射を検知するためサーモグラフィーや熱線を放射する人物、動物、飛行機、車、船舶を監視したり、人や動物などの移動体と他の静物とを区別して撮影したりするカメラなどとして利用されている。例えば、赤外線追尾カメラや線路内や鉄塔などへの侵入者や侵入動物など捉える赤外カメラなどが挙げられる。このような放射画像では、熱線放射を捉えているため画像としては可視光画像とは程遠いものとなり、熱線放射部分だけの画像認識は極めて困難なものとなる。
赤外線カメラでの赤外光像がモノクロ映像や対象物を認識し難い画像であるため、別途取得した可視光(カラー)像と赤外光像とを画像合成し、赤外線カメラで取得した画像を可視光像と合成することで対象物や全体画像を認識する技術が種々開示されている。特許文献1においてはサーマルカメラにより取得した熱画像と可視光カメラにより取得した可視光像とをミキシングした画像を取り出し、モニター画像で目視確認行うことが提案されている。また、特許文献2では、赤外光像と可視光像とを取得し、人物などが可視光領域から非可視光内へ移動した場合でも赤外光像により検知した人物像を可視光像との合成画像により検知する発明が提案されている。また、特許文献3においては、赤外光像を白黒反転し、カラー像と合成し、晴天、雨天、昼夜問わず車両状況や道路状況を把握する技術が開示されている。
赤外光カメラでは、赤外光線による反射画像や放射画像を取得し、悪天候状況、夜間、目視が困難な環境下でも対象物を撮像しうるものの、画像はモノクロであり、コントラストも明確でなく、対象物を明確に認識できない。このため、赤外光像と可視光(カラー)像とを合成することで対象物の形状、輪郭、色彩などを合成画像表示モニター上で視認することができる。しかし、上述したような従来の画像合成技術では赤外光カメラと可視光カメラとが近接して設置されるものの、赤外光と可視光との光軸は違っており、フォーカスが近づくほど取得される赤外光像と可視光像とは、ずれが生じる。このような赤外光と可視光との画像のずれは、赤外光像そのものがコントラストやフォーカスが甘いため、許容できる場合が多い。しかし、利用目的によっては赤外光像と可視光像とが一致させる必要がある。
赤外光像と可視光像とをずれなく一致させて合成画像を作成する必要性は多くの状況において生じる。例えば、対象物上の温度分布を把握して、欠陥や異常箇所を検知する必要性がある場合、熱放射対象物をピンポイントで追尾する場合、熱放射対象物の形状、動き方向、色彩を視認する必要性がある場合、人物とその他の構造物とを区別し、判定する必要性がある場合などである。しかし、上述の従来技術では赤外光像と可視光(カラー)像との画像合成では、赤外光像を熱物体の検知や夜間の画像検知に使用し、画像のズレは厳密性を要しないか、または赤外光カメラと可視光カメラとが同一画像上での単純な画像合成を行っているだけである。
この発明は、上述の状況に鑑みて提供されるものであって、以下のような撮像装置およびそのための画像合成方法の提供を目的とする。
(1)赤外光カメラにより取得した赤外光像と可視光カメラにより取得した可視光(カラー)像とをより精密に一致させた合成画像を出力する撮像装置。
(2)ズーム可視光カメラにより取得した可視光像と赤外光カメラにより取得した赤外光像とを一致させる画像合成方法。
(1)赤外光カメラにより取得した赤外光像と可視光カメラにより取得した可視光(カラー)像とをより精密に一致させた合成画像を出力する撮像装置。
(2)ズーム可視光カメラにより取得した可視光像と赤外光カメラにより取得した赤外光像とを一致させる画像合成方法。
本発明による撮像装置は、可視光カメラと赤外光カメラとを具備する撮像装置において、前記赤外光カメラは、前記可視光カメラの近傍で、それぞれの光軸が被写体に対し並行に配置され、前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるフォーカス位置連動手段と、前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行う赤外光像視差歪補正手段と、前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行う画角補正手段と、前記画角補正手段により補正された赤外光画像と可視光画像とを合成する画像合成手段とを具備することを特徴とする。
また、本発明による撮像装置は、前記赤外光カメラは、熱画像を取得するサーモカメラでも良い。
また、本発明による撮像装置は、前記赤外光画像または前記可視光画像のレンズ歪を補正するレンズ歪補正手段を含んでいても良い。
また、本発明による撮像装置は、前記可視光カメラまたは赤外光カメラのレンズがズームレンズを備えている場合、前記画角補正手段は、フォーカス変動に伴うズーム位置調整手段を含んでいても良い。
また、本発明による撮像装置は、前記可視光カメラと赤外光カメラとの視差に応じて生じるゆがみ補正量データテーブルを含んでいても良い。
また、本発明による撮像装置は、前記可視光カメラまたは赤外光カメラのレンズ歪補正量データテーブルを含んでいても良い。
また、本発明による撮像装置は、前記ズーム位置調整手段はフォーカス位置の変動に伴うズーム位置調整データテーブルを含んでいても良い。
また、本発明による可視光カメラ画像と赤外光カメラ画像との合成方法において、前記可視光カメラ(または赤外光カメラ)のフォーカス位置情報に基づいて前記赤外光カメラ(または可視光カメラ)のフォーカス位置を合わせるステップと、前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行うステップと、前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行うステップと、前記画角補正手段により補正された赤外光画像と可視光画像とを合成するステップと、を含むことを特徴とする。
本発明によれば赤外光カメラと可視光カメラとを備えた撮像装置および画像合成方法において、それぞれのカメラから取得した赤外光画像と可視光画像とのパララックス歪およびレンズ歪とを補正し、それぞれの画角調整を行い画像合成を行うことで、より精密に一致した赤外光像と可視光像との画像合成を得ることができる。
以下、本実施形態の撮像装置について、図面を参照して詳細に説明する。なお、以下の実施例に記載されているいずれの図面も本発明の説明用に概略的または模式図として描かれており、実際の寸法や形状は特に限定するものではない。また、構成要素のブロック回路構成、光学系構成、寸法、材質、形状、その相対配置および用途としては工業用、業務用カメラを想定しているが特に記載がない限り発明の技術的範囲をそれらのみに限定する趣旨のものではない。
図1は、赤外光カメラと可視光カメラとの撮像態様を示す概略説明図である。可視光カメラ1は、可視光帯域にある可視光像を取得するカメラでカラーまたは白黒カメラである。以下、可視光カメラ1は、カラーカメラまたは主カメラとも称する。赤外光カメラ2は、赤外光帯域にある赤外光像を取得するカメラであり、用途に応じて近赤外(NIR)、短波長赤外(SWIR)、中波長赤外(NWIR)、長波長赤外(LWIR)などの波長帯域の像を取得する。以下、赤外光カメラ2は、赤外光カメラまたは副カメラと称する。可視光カメラ1および赤外光カメラ2は、動画カメラであっても静止画カメラのいずれにも適用することができる。
可視光カメラ1、赤外光カメラ2それぞれの出力画像またはそれらの合成画像は、ビューファインダー3において表示される。ここで、本発明による装置において、具体的には、熱画像を取得するサーマルカメラはコントラストが明確でなく可視光との合成画像の効果が期待されるため、赤外光カメラをサーマルカメラ、可視光カメラをカラーカメラとして想定しているが、これに限るものではない。赤外光(サーマル)カメラ2は、可視光(カラー)カメラ1の上側、下側、右側または左側のいずれかにそれぞれ近接して配置されている。また、撮像対象に向かってそれぞれの光軸は並行で距離dだけ離間し、撮影対象物(被写体)4の可視光光軸に対する赤外光光軸とはθの角度を有している。このようなサーマルカメラとカラーカメラの合成画像は、構造物の欠陥部分の検出、飛行機などの移動発熱物体の追跡などへの利用が行われるため、カラー画像上にずれなく温度分布を表示する必要がある。
それぞれのカメラは、(1)両方が固定焦点レンズの場合、(2)主カメラ(カラー光側)がズームレンズであり、副カメラ(赤外光側)が固定焦点レンズの場合、(3)両方がズームレンズの場合が考えられる。いずれの場合も両方が同じ種類のズームレンズを備えている必要がある。同じ種類とは、両方がズームレンズの場合、広角ズーム(16~40mm)、標準ズーム(24~200mm)、望遠ズーム(55~300mm)のうち同じズーム範囲であり、主カメラがズームレンズで、副カメラ(赤外光側)が固定焦点レンズの場合、副カメラの固定焦点は主カメラ(カラー側)ズームの焦点距離内にあるものを使用する。
図2は、本発明の実施態様の一例におけるブロック説明図であり、可視光カメラ(カラーカメラ)21および赤外光カメラ(サーマルカメラ)22で取得した可視光画像および赤外光画像を種々の補正を施して画像合成に至る構成を示している。可視光カメラ21および赤外光カメラ22のフォーカス連動手段23、視差歪(パララックス)補正手段24、レンズ歪補正手段25、画角補正手段26および画像合成手段27は、共通バス(図示せず)を介してMPU(Micro Processor Unit)またはCPU(Central Processor Unit)28により各種補正、調整を行うように制御される。各種制御に必要な補正データはROM(Read Only Memory)29に格納されており、補正、調整条件に応じてROM29より引き出されMPUまたはCPU28により演算、制御され必要な補正、調整を行う。ROM29には、赤外光カメラ22の可視光カメラ21に対する光軸傾きθ補正データテーブル、レンズ歪補正データテーブル、ズームレンズの場合はズーム・フォーカス調整用データテーブルなどが格納されている。
ここで、カラーカメラ21およびサーマルカメラ22の両方は、ズームレンズであっても固定焦点レンズで会っても良いが、説明上両方のカメラがズームレンズを使用しているものとして説明する。まず、カラーカメラ21とサーマルカメラ22それぞれのカメラから取得したカラー画像およびサーマル画像はフォーカス連動手段23によりズーム・フォーカスフォーカスの連動を行う。手順としては、主カメラ(カラー側)21のズームおよびフォーカス合わせを行い、フォーカス連動手段23を介して副カメラ(赤外光側)22のズーム・フォーカス合わせを行う方が望ましい。
図3は、カラーカメラ21およびサーマルカメラ22のレンズ系の構成を示しており、フォーカス連動手段23の構成を説明する。カラー光撮像側のレンズ系31は、ズームレンズ32、フォーカスレンズ33、補正レンズ34などから構成されており、それぞれのレンズは、レンズ系制御手段40によりレンズドライバー(図示せず)により位置制御される。カラー側のレンズ系31により集光されたカラー画像は絞り35を経てカラー撮像素子36において光電変換され電子信号として取り出される。一方、赤外光撮像側のレンズ系41もカラー側と同様に、ズームレンズ42、フォーカスレンズ43、補正レンズ44などから構成されており、それぞれのレンズは、レンズ系制御手段40により制御されている。赤外光側のレンズ系41により集光されたカラー画像は絞り45を経て赤外光撮像素子46において光電変換され電子信号として取り出される。
それぞれのズームレンズ位置、フォーカスレンズ位置は、カラー側、赤外光(サーマル)側ともレンズ位置検出手段30により取り出される。それぞれのレンズ位置検出出力信号は、レンズ系制御手段40へフィードバックされ、それぞれのズーム、フォーカスを制御することができる。それぞれのレンズ系におけるズーム制御、フォーカス制御および絞り制御などは共通バス(図示せず)を介してMPUまたはCPU47により制御されている。ここでは、カラー側のズーム・フォーカスの位置検出出力信号により赤外光側のズーム・フォーカス位置を制御して、両方のズームおよびフォーカスを合わせるように構成する。
この構成によりカラーカメラ21のズームおよびフォーカス位置情報を検出し、サーマルカメラ22のズームおよびフォーカスと連動し、一致させる。両方のカメラがズームレンズを使用している場合を説明したが、サーマルカメラまたは両方のカメラがズームレンズでない場合は、ズーム合わせは必要でなく、フォーカス合わせだけを行えば良い。
フォーカス連動手段23によりズーム・フォーカスが連動されたサーマルカメラ画像はパララックス補正手段24へ提供され、パララックス補正を行う。サーマルカメラ22はカラーカメラ21に対して近接して配置されているものの、視差dだけずれて設置されている。そのため、上下、左右いずれの配置であっても対象物(被写体)4に対しθだけ傾いていることとなる。カラーカメラ画像を主画像として、サーモカメラ画像を主画像へ合わせる。画像の差としては、いわゆる傾き(あおり角)θの台形歪に相当する視差歪となる。この傾きは、フォーカスが無限大近くでは必要ないが、対象物が近接するにつれ大きく影響し画像がゆがんだものとなる。
このような台形歪(視差歪)を補正するために台形歪補正手段を組み込んだチルトレンズをサーモカメラ側に使用したり、またはサーモカメラのアングルをカラーカメラの焦点に合致させ傾きθをなくしたりすることも考えられるが、台形歪補正用に傾きθに相当する補正データを予め求め、パララックス傾きθ補正データテーブルを図1のROM29に保持させ、ズーム・フォーカス手段23より取得した焦点距離からパララックス補正をかける。この台形補正データの求め方は公知の方法(例えば、特開平9-281597など)が利用できる。サーモカメラ22が可視光(カラー)カメラ21に対し、上下、左右のどちら側に配置されるかにより、補正方向は異なるが、焦点距離に応じてROM29より傾きθに相当する補正データを求め視差補正をかけ可視光画像に合わせる。
パララックス補正手段24で視差歪補正されたサーマル出力画像およびカラー画像は、レンズ歪補正手段25へ提供される。レンズ歪補正手段25において、主としてレンズ湾曲歪といわれる樽型収差、糸巻型収差の補正を行う。レンズ補正は特に広角レンズの場合歪量が多くなるためそれぞれのレンズに広角レンズを使用する場合はレンズ歪補正を行うのが望ましい。しかし、サーマルカメラ・レンズと可視光カメラ・レンズとのレンズ歪量がほぼ同一の場合または歪量が小さい場合、レンズ歪は必ずしも補正しなくても良い。
レンズ歪は、図4に示す通り、本来の画角50に対し、糸巻型歪51または樽型歪52として現れる。その歪量(ゆがみの程度)は周辺(四隅)程大きく、中心部53においてはゼロとなる。一般的に単レンズでは樽型歪か糸巻型歪のどちらかであるが、複数枚レンズではその両方が生じるケースがあり、レンズの特性により異なっている。そのためそれぞれのレンズ毎に歪量が計測データとして示されている。この歪量データを基にレンズ歪の補正を行う。このレンズ歪補正においては、サーマル画像および可視光画像のそれぞれにつきフォーカス合わせが行われ、中心部53がそれぞれ一致しているものとする。レンズ歪補正手段25の構成としては図5にそのブロック図の一例を示す。
図5において、サーマルカメラ画像および可視光(カラー)画像の入力は、A/D変換回路61でデジタル信号に変換され、バッファーメモリー62を経て、フレームメモリー63へ書き込まれる。演算部64においては、カウンター65と共にアドレス信号を発生し画像データの書き込みおよび読み出しとを制御する。レンズ毎に対応するレンズ歪補正量は補正データとしてROM66(ROM29に相当)内にレンズ歪変位テーブルを格納している。演算部64においては、格納されたレンズ歪補正データに基づき画面上の各アドレス位置の補完または間引き補正量を演算する。演算部64で演算された補正量に応じてフレームメモリー63に書き込まれた出力信号を読み出す。読み出された画像は本来の画角50となるように出力処理手段67により処理されて画像を出力する。
ズームレンズを使用している場合、ズームレンズのフォーカス位置を変動させるとズーム位置が変動することは知られている所である。このことにより画角が変動してしまうためまずズーム位置の調整を行う必要がある。そのためレンズ歪補正手段25の出力は、画角補正手段26へ供給される。画角補正手段26では、カラー画像および赤外光(サーマル)画像の画角を一致させるよう調整する。図6は、フォーカス位置を至近端から無限端まで移動させた場合のズーム位置の変化を示す図である。L1はズーム位置を最大望遠側(テレ側)でフォーカス位置を無限端側した状態からフォーカス位置を至近端に移動させた場合のズーム位置(画角)変動を示しており、L2はズーム位置を最大ワイド側でフォーカス位置を至近端から無限端側に移動させた場合のズーム位置(画角)変動を示している。ズームとフォーカス位置の関係は、種々のレンズ構成により正確に直線で示されるものではないが、略直線的に変動する様子を示している。このズーム・フォーカス変動補正データは、それぞれのズームレンズ構成に対応したものがズーム位置調整データテーブルとして用意されており、ズームレンズ特性として取得することができる。
ズームレンズを有している場合のズーム・フォーカス変動に伴う画角(ズーム)補正を行うには、ズーム基準位置を定めズーム基準位置へ補正するように構成する。例えば、ラインL3上でフォーカスcに対応するズーム位置Cを基準点として設定する。今フォーカス移動によりフォーカス位置がaの場合、ズーム位置はAとなるため、ROM29に格納されたズーム・フォーカス補正変動データを参照してズーム位置を基準位置Cへ移動するようにワイド側へ調整する。また、フォーカス位置がbの場合、ズーム位置はBとなり、基準位置Cへ移動するようにテレ側へ補正をかける。ズーム基準位置c-Cはズーム・フォーカスの中間位置部分に設定するのが望ましい。
図7は、画角補正手段26におけるズーム・フォーカス補正回路の一例を示すブロック図である。ズームレンズにより取得したズーム画像はズーム位置制御部72へ入力される。演算部73にはレンズ位置検出手段30の出力となるズーム位置およびフォーカス位置信号が入力され、ズーム・フォーカス変動にともなうズーム(画角)のずれ量を演算する。演算にあたっては、予めズームレンズ構成に応じて定められているズーム・フォーカス補正データをROM74(ROM29に相当)より呼び出して決定する。演算部73で決定された補正量をズーム倍率指示信号として供給し、ズーム位置(画角)を補正し、基準位置に調整する。
可視光(カラー)カメラおよび赤外光(サーマル)カメラの両方が同じ種類のズームレンズを使用している場合、両方の画像は、基本的に画角補正手段26のズーム・フォーカス位置制御機能によりズーム位置が基準位置にある画像に設定され同一の画角を有することとなるが、レンズ精度などの違いによりズレが生じる可能性がある場合は、可視光(カラー)カメラのズーム基準位置を参照して、赤外光(サーマル)カメラのズーム位置に合致させる。このような画角調整は、可視光カメラ21および赤外光カメラ22のフォーカス照合により可能であるが、より詳細に画角照合する場合は、可視光像と赤外光像との比較により輪郭(エッジ)差分が最小となることで調整することが出来る。また、その手法として赤外光像(サーマルカメラなどの場合はほぼモノクロ像)をモノクロ反転し、モノクロ反転像を取得し、輪郭(エッジ)強調し、可視光像との比較を行うことも考えられる。
可視光(カラー)カメラ21がズームレンズを使用し、赤外光(サーマル)カメラ22が固定焦点レンズを使用している場合、ズームレンズによる可視光(カラー)画像は、上述の画角補正手段26のズーム・フォーカス位置制御機能によりズーム位置が基準位置にある画像に設定され、一方、固定焦点レンズによる赤外光(サーマル)画像は、ズームレンズ位置が基準位置に補正された時点でのフォーカス信号情報を取得して、固定焦点レンズの電子ズームを制御する。この場合の固定焦点レンズの電子ズーム制御手段は、図7と同様のブロック回路図を使用することができる。
赤外光(サーマル)側の固定焦点レンズの電子ズームによる倍率は、実質3~4倍まで変化することが可能であるが、拡大するほど画素数も低下し、画像も荒くなる。そのため固定焦点レンズ側の最大倍率の範囲内において可視光(カラー)側のズームレンズのズーム範囲を確定する必要がある。
また、可視光(カラー)カメラと赤外光(サーマル)カメラの両方に固定焦点レンズを使用する場合、当然ズーム・フォーカス補正は必要でなく、可視光(カラー)カメラのフォーカス信号を基準として、赤外光(サーマル)カメラのフォーカス合わせを行うことで同一の画角を得ることができる。
画角補正手段26で画角補正された画像は、画像合成手段27へ供給される。画像合成手段27では、可視光(カラー)画像と赤外光(サーマル)画像とが合成されると共に、必要に応じてガンマ処理、マスク処理、フォーマット変換などの処理を行い、D/A変換処理した画像出力を得る。画像出力は、可視光(カラー)画像と赤外光(サーマル)画像の合成画像であり、ビューファインダー3などのモニター表示装置へ送出され、表示される。出力画像は、赤外光(サーマル)画像、可視光(カラー)画像およびそれらの合成画像である。
図2のような回路構成において、フォーカス連動手段23、パララックス補正手段24、レンズ補正手段25,画角補正手段26,画像合成手段27、および図3のレンズ系を含むレンズ系制御手段40などはそれぞれ共通バスを介してMPUまたはCPU28で制御され、演算などの処理を行っている。パララックス補正、レンズ歪補正、画角補正などは説明の都合上それぞれに回路構成を説明したが、いずれの回路構成においても共通化したり機能を流用したりすることができる。また、本発明において使用するパララックス補正データテーブル、レンズ歪補正データ、ズーム・フォーカス調整データなどの補正データはROM29にまとめて格納されているが、個別に設けても良い。
次に、本発明による撮像装置の画像合成方法につき図8に示すフローチャートに基づき説明する。まず可視光カメラ21のフォーカス位置を検出する(ステップ10:以下S10の様に記す)。検出された可視光カメラ21フォーカス位置を赤外光カメラ22のフォーカス位置を連動させて合致させる(S11)。可視光カメラと赤外光カメラとのフォーカスが合致しているかどうか確認する(S12)。フォーカスが合致していない場合、スタートに戻りフォーカス連動を繰り返す。フォーカスが連動している場合、合致したフォーカス位置をベースにしてあおり角の傾きθを算出する(S13)。傾きθに応じて定められたあおり角補正データをROM29よりより取得する(S14)。傾きθに応じた補正データにより赤外光側画像のパララックス補正を行う(S15)。
次に、パララックス補正を施した赤外光像および可視光像に対しレンズ歪が必要かどうかを判断する(S16)。このレンズ歪補正の必要性の有無は、レンズ毎に定められたレンズ歪補正データをROM29から取り出し(S17)判定される。レンズ歪補正が必要な場合、ROM29から取得したレンズ歪補正データを利用してレンズ歪を補正する(S18)。レンズ歪補正が不要な場合、このレンズ歪補正ステップS18はスキップしうる。
次に、ズームレンズを使用している場合のズーム変動に伴う画角補正を行う。可視光カメラ21および赤外光カメラ22がズームレンズかどうかの判断を行う(S19)。いずれかのカメラがズームレンズを使用している場合、そのズーム変動によるフォーカス位置を検出する(S20)。フォーカス位置が検出されれば当該ズームレンズ毎に定められ、ROM29に格納されたズーム・フォーカス補正データテーブルから補正量に応じてズーム倍率・画角の調整を行う(S22)。ズームレンズを使用していない画像に対してはこのようなズーム倍率・画角調整は行わず次のステップへ移行する。
次に、可視光カメラ21および赤外光カメラ22のフォーカス画角調整の調整を行う(S23)。このステップでは、可視光カメラ21がズームレンズ使用の場合はフォーカス調整を行った後のフォーカス画像画角に対し、赤外光カメラのフォーカス画像画角照合および調整を行う(S23)。赤外光カメラ22が固定焦点カメラの場合は電子ズーム機能によりフォーカス画像画角調整を行う。
以上のようなフォーカス連動、赤外光像のパララックス補正、レンズ歪補正、画角補正を行ったそれぞれの可視光像および赤外光像を使用して画像合成を行う(S24)。画像合成ステップ(S24)では、画像合成にともないガンマ補正、マスク処理、フォーマット変換など必要な処理を行い画像合成が完了する。
実施例では赤外光カメラを放射光像(熱画像)を取得するサーマルカメラ、可視光カメラをカラーカメラと想定して説明したが、放射光像を取得する赤外光カメラやカラー像を取得する可視光カメラに限定されることなく、反射光像などの赤外光帯域のカメラおよび可視光帯域のカメラの組合せであれば、本発明の要旨の範囲内で同様に適用することが可能である。
本発明により取得される赤外光画像と可視光画像との合成画像は、画角が一致しているため赤外光画像での熱分布などがカラー画像上に合成されて表示されることにより、取得した合成画像は、赤外光画像のモノクロ画像に対しカラー化され、コントラストも良好となり、より的確に対象物を捉えたり、追尾したりすることが可能となり、民生用撮像装置としてだけでなく広く業務用、医療用、工業分野などでの産業用利用可能性が広がる。
1 可視光カメラ
2 赤外光カメラ
3 ビューファインダー
4 被写体
21 可視光(カラー)カメラ
22 赤外光(サーマル)カメラ
23 フォーカス連動手段
24 パララックス補正手段
25 レンズ歪補正手段
26 画角補正手段
27 画像合成手段
28 CPUまたはMPU
29 ROM
30 レンズ位置検出手段
40 レンズ系制御手段
2 赤外光カメラ
3 ビューファインダー
4 被写体
21 可視光(カラー)カメラ
22 赤外光(サーマル)カメラ
23 フォーカス連動手段
24 パララックス補正手段
25 レンズ歪補正手段
26 画角補正手段
27 画像合成手段
28 CPUまたはMPU
29 ROM
30 レンズ位置検出手段
40 レンズ系制御手段
Claims (8)
- 可視光カメラと赤外光カメラとを具備する撮像装置において、
前記赤外光カメラは、前記可視光カメラの近傍で、それぞれの光軸が被写体に対し並行に配置され、
前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるフォーカス位置連動手段と、
前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行う赤外光像視差歪補正手段と、
前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行う画角補正手段と、
前記画角補正手段により補正された赤外光画像と可視光画像とを合成する画像合成手段とを具備することを特徴とする撮像装置。 - 前記赤外光カメラは、熱画像を取得するサーモカメラであることを特徴とする請求項1記載の撮像装置。
- 前記赤外光画像または前記可視光画像のレンズ歪を補正するレンズ歪補正手段を含むことを特徴とする請求項1記載の撮像装置。
- 前記可視光カメラまたは赤外光カメラのレンズがズームレンズを備えている場合、前記画角補正手段は、フォーカス変動に伴うズーム位置調整手段を含むことを特徴とする請求項1記載の撮像装置。
- 前記可視光カメラと赤外光カメラとの視差に応じて生じるゆがみ補正量データテーブルを含むことを特徴とする請求項1記載の撮像装置。
- 前記可視光カメラまたは赤外光カメラのレンズ歪補正量データテーブルを含むことを特徴とする請求項3記載の撮像装置。
- 前記ズーム位置調整手段はフォーカス位置の変動に伴うズーム位置調整データテーブルを含むことを特徴とする請求項4記載の撮像装置。
- 可視光カメラ画像と赤外光カメラ画像との合成方法において、
前記可視光カメラのフォーカス位置情報に基づいて前記赤外光カメラのフォーカス位置を合わせるステップと、
前記赤外光カメラで取得した赤外光像に対し、前記可視光カメラの光軸と前記赤外光カメラの光軸との視差に応じてゆがみ補正を行うステップと、
前記可視光カメラのフォーカス位置パラメータに基づいて前記赤外光視差歪補正手段の出力画像の画角を可視光画像の画角に一致させるよう赤外光カメラの電子的または光学的ズームを変動させ画角補正を行うステップと、
前記画角補正手段により補正された赤外光画像と可視光画像とを合成するステップと、を含むことを特徴とする画像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044146A JP2022113614A (ja) | 2021-01-25 | 2021-01-25 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044146A JP2022113614A (ja) | 2021-01-25 | 2021-01-25 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022113614A true JP2022113614A (ja) | 2022-08-04 |
Family
ID=82658310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021044146A Pending JP2022113614A (ja) | 2021-01-25 | 2021-01-25 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022113614A (ja) |
-
2021
- 2021-01-25 JP JP2021044146A patent/JP2022113614A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11099459B2 (en) | Focus adjustment device and method capable of executing automatic focus detection, and imaging optical system storing information on aberrations thereof | |
US7768571B2 (en) | Optical tracking system using variable focal length lens | |
US6211911B1 (en) | Image processing apparatus | |
US20150145950A1 (en) | Multi field-of-view multi sensor electro-optical fusion-zoom camera | |
CN101796817B (zh) | 照相机和校准照相机的方法 | |
US8134608B2 (en) | Imaging apparatus | |
US20080075441A1 (en) | Single lens splitter camera | |
US10205878B2 (en) | Image processing apparatus, image-capturing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2006211139A (ja) | 撮像装置 | |
KR100481399B1 (ko) | 촬상 시스템, 상기 시스템에서 화상 데이터를 제어하도록사용되는 프로그램, 상기 시스템에서 촬상 화상의 왜곡을보정하기 위한 방법 및 상기 방법의 순서를 기억시키는기록 매체 | |
JP2011182176A (ja) | 広視野角画像処理方法と広視野角画像撮影装置 | |
GB2516743A (en) | Optical device, control method therefor, and storage medium storing control program therefor | |
JP2010160312A (ja) | 可視光・赤外光撮影用レンズアダプタ | |
EP3115824B1 (en) | Parallax correction device and method in blended optical system for use over a range of temperatures | |
WO2020184286A1 (en) | Imaging device, image capturing optical system, and movable apparatus | |
US20220221694A1 (en) | Lens system, imaging device, and imaging system | |
US20220214528A1 (en) | Lens system, imaging device, and imaging system | |
WO2021044746A1 (ja) | 画像処理装置 | |
JPH07303207A (ja) | 撮像装置 | |
JP2010134617A (ja) | パノラマ撮像装置 | |
JP2022113614A (ja) | 撮像装置 | |
KR101053464B1 (ko) | 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법 | |
KR100958352B1 (ko) | 감시카메라 시스템을 통한 감시 방법 | |
WO2016052417A1 (ja) | 赤外線画像取得装置及び赤外線画像取得方法 | |
KR20200117507A (ko) | 카메라 장치 및 이의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231218 |