JP2011066809A - 撮像装置 - Google Patents

Abstract

【課題】非可視領域における遠赤外線画像での人物の特定を容易にする。
【解決手段】可視光撮像部及び遠赤外線撮像部で可視領域と非可視領域を含む監視領域を撮像する撮像装置において、可視光撮像部で撮像した可視光画像で得た人物の人物領域及びその特定部位の画像を、遠赤外線撮像部で撮像した遠赤外線画像の対応する人物の人物領域及びその特定部位に合成し、自動追尾中に人物が可視領域から非可視領域に移動した場合には、合成画像に切り替えて表示する。
【選択図】図１

Description

本発明は、遠赤外線画像と可視光画像を撮像し合成して出力する撮像装置に関するものである。

一般に、可視光撮像装置や近赤外線撮像装置は被写体となる物体の、環境光や可視光や近赤外線投光器（夜間のみ）からの反射光を検出して映像信号として出力している。

遠赤外線撮像装置に用いる赤外線を検出する素子の１つとして、例えば赤外線ボロメータ素子がある。赤外線ボロメータ素子は、半導体素子では検出困難な遠赤外線領域の光を検出することができるため、特に、室温で動作する遠赤外撮像素子として利用される。

赤外線ボロメータ素子は、例えば、２次元配列された画素で構成される。赤外線ボロメータ素子を用いた遠赤外線撮像装置は、被写体から放射される遠赤外線の入射量（遠赤外線エネルギー）に応じて、構成されたそれぞれの画素の温度が変化する。この遠赤外線撮像装置は、それぞれの画素の温度を抵抗変化として検出して、被写体像の映像信号として出力するものである。

一般的に、遠赤外線は水分による散乱が少ないため、悪天候時（雨、霧等）において、被写体となる対象物を視認することが可能であり、可視光撮像装置や近赤外線撮像装置と異なり、外乱光の影響を受けにくいといった利点があるが、昼間は太陽の影響で人物以外の背景物体（建物、道路等）の温度が上昇するため、人物と背景物体との温度差を検出しにくくなるといった欠点がある。

なお、遠赤外線画像における人物と背景との温度差を検出するために、可視光撮像装置と赤外線撮像装置とにより撮影された映像に基づいて、物体を検出する技術が知られている。（特許文献１参照）

しかし、従来の遠赤外線による監視システムには、以下の様な問題があった。遠赤外線は近赤外線よりも波長が長いため、遠赤外線撮像装置は可視光撮像装置や近赤外線撮像装置よりも霧中の撮影可能距離は長いが、分解能や変調度は低下する。また、遠赤外線は、体温検出により人を鮮明に検知できるが、出力される画像が白黒を反転した映像に近いため、人物（不審者）自体の検知は可能であっても、その人物の人相の識別に必要な情報（例えば、皺や目の特徴等の高周波成分）を取得できず、その人物が誰であるかといった特定が困難であった。さらに、距離測定を行う際にも、遠赤外線撮像装置の画像では輝度エッジやテクスチャ等の高周波領域の情報を取得しにくいため、可視光撮像装置による可視光画像に比べて誤った視差を算出する可能性が高かった。

特開２００９−１００２５６号公報

以上の様な問題を鑑み、本発明では、入射光量の少ない暗い領域、つまり可視光撮像装置で直接捉えることが困難である非可視領域であっても被写体となる対象物を容易に特定することができる撮像装置の提供を目的とする。

本発明の撮像装置は、前記問題を解決するために、物体の可視光画像を撮像する可視光撮像部と、前記物体の遠赤外線画像を撮像する遠赤外線撮像部と、前記抽出した可視光画像の物体の領域と前記遠赤外線画像の物体の領域とを照合する部位照合部と、前記可視光画像と前記遠赤外線画像とを合成する画像合成部と、を備えたことを特徴とする。

また、本発明の撮像装置は、前記問題を解決するために、物体の可視光画像を撮像する可視光撮像部と、前記物体の遠赤外線画像を撮像する遠赤外線撮像部と、前記可視光画像の前記物体の領域を抽出する部位抽出部と、少なくとも１以上の物体の領域を予め記憶する記憶部と、前記と前記撮像した可視光画像又は遠赤外線画像の物体の領域とを照合する画像照合部と、前記予め記憶した物体の領域と前記遠赤外線画像とを合成する画像合成部と、を備えたことを特徴とする。

また、上記の撮像装置は、前記問題を解決するために、前記記憶部は、さらに少なくとも１以上の物体の特徴を予め記憶し、前記画像照合部は、前記予め記憶した物体の特徴と前記撮像した可視光画像又は遠赤外線画像の物体の特徴とを照合し、前記画像合成部は、前記予め記憶した少なくとも１以上の物体の内、最も近い物体の領域を選択して前記遠赤外線画像と合成することを特徴とする。

また、上記の撮像装置は、前記問題を解決するために、さらに、前記物体が可視領域にいる場合、前記可視光画像を出力し、前記物体が非可視領域にいる場合、前記合成した合成画像を出力することを特徴とする。

また、上記の撮像装置は、前記問題を解決するために、さらに、さらに、画像を高精細変換する超解像画像生成部を備え、前記超解像画像生成部は、前記遠赤外線画像を高精細変換することを特徴とする。

本発明によると、予め、人物が明るい場所等の可視領域に存在したときに、可視光画像で得た画像の人物領域を、遠赤外線画像の人物領域に合成しておくことで、人物が可視領域から暗い場所等の非可視領域に移動した場合でも、遠赤外線画像に可視光画像の人物領域が合成されているため、非可視領域に存在する人物の人相が通常の遠赤外線画像に比べて人物の特定を容易に行うことができる。

本発明の一実施例である撮像装置の構成を示すブロック図である。 本発明の一実施例である可視光画像と遠赤外線画像の合成画像作成の様子を表す模式図である。 本発明の一実施例である可視光画像と遠赤外線画像の特定部位の抽出と照合の様子を表す模式図である。 本発明の実施例１を示す可視光画像と遠赤外線画像の合成画像作成のフローチャート図である。 本発明の実施例２を示す可視光画像と遠赤外線画像の合成画像作成のフローチャート図である。

以下に、本発明の一実施例の撮像装置について、図を用いて説明する。
本発明の一実施例の撮像装置は、図１に示す様に構成され、対象物検出の際、遠赤外線を撮像した遠赤外線画像（温度画像）を超解像画像化することでより高精細な画像として記憶し、画像処理部において可視光画像の特定部位の抽出、遠赤外線画像の特定部位の抽出、可視光画像の特定部位と遠赤外線画像の特定部位との照合、及び、可視光画像部位と遠赤外線画像との合成を行う。この抽出・照合・合成の様子を、図２，３を用いて説明する。画像認識装置に出力された画像を用いて侵入者検知・不審行動検知等を行う。図４または図５に示す動作の流れに従って、撮像領域の明るさに応じた画像処理を行う。

図１は、本発明の一実施例である撮像装置の構成を示すブロック図である。図1において、１は被写体（人物）、２１は遠赤外線の透過率の良いシリコン（Ｓｉ）、ゲルマニウム（Ｇｅ）、フッ化カルシウム（ＣａＦ２）、セレン化亜鉛（ＺｎＳｅ）等の遠赤外線用レンズ、２２は遠赤外線用レンズ２１を通して入射した遠赤外線を画像信号に変換して出力する遠赤外線撮像部、２３は遠赤外線画像を撮像したい方向に光軸を向けるために旋回・仰俯する電動雲台、３１は硝子レンズ等の可視光の透過率の良いガラス等の可視光用レンズ、３２は可視光用レンズ３１を通して入射した可視光を画像信号に変換して出力する可視光撮像部、３３は可視光画像を撮像したい方向に光軸を向けるために旋回・仰俯する電動雲台、４は遠赤外線画像と可視光画像の合成等を行う画像処理部、４１は撮像された遠赤外線画像を超解像画像化して高精細な画像として出力する超解像画像生成部、４２は遠赤外線画像の被写体１の人物領域及びその特定部位を抽出する部位抽出部、４３は超解像画像化された遠赤外線画像（以下、遠赤外線画像と呼ぶ）と遠赤外線画像の人物領域及び特定部位を記憶する記憶部、４４は可視光画像の被写体１の人物領域及びその特定部位を抽出する部位抽出部、４５は撮像された可視光画像と可視光画像の人物領域及び特定部位を記憶する記憶部、４６は部位抽出部４２で抽出した特定部位と部位抽出部４４で抽出した特定部位とを照合する画像照合部、４７は遠赤外線画像と可視光画像を合成する画像合成部、５は合成された画像を用いて侵入者検知や不審行動検知等を行う画像認識装置、６は監視画像の表示を行うモニタ、７は同じく監視画像の表示を行うＰＣである。このとき、遠赤外線撮像部２２及び可視光撮像部３２は、予め、得られる画像がほぼ同一の画像となる様に画角の違いを拡大・縮小機能等で、視差を平行移動で補正している。また、遠赤外線画像は輪郭等の高周波領域の情報が得られ難いという欠点があるため、遠赤外線画像を超解像画像化することで輪郭等の情報を得易くし合成精度を向上させ、また、可視光画像との照合精度を向上させている。

まず、図１、図２、及び図４を用いて第１の実施例について説明する。

可視領域である監視領域内に不審者等の被写体１（人物）が侵入してきたのを検知すると、電動雲台２３，３３は被写体１のいる方向へ光軸を向ける。遠赤外線撮像部２２は、遠赤外線用レンズ２１を通して赤外線撮像部２２へ入射した被写体１から放射された遠赤外線を、赤外線ボロメータ素子等により画像データに変換し、超解像画像生成部４１へ入力する。超解像画像生成部４１は、入力された遠赤外線画像を超解像技術により解像度が上がった超解像画像として遠赤外線画像を生成し、記憶部４へ出力する。記憶部４２は、遠赤外線画像を記憶する。

同時に、可視光撮像部３２は、可視光用レンズ３１を通して可視光撮像部３２へ入射した被写体１からのからの可視光を、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等により画像データに変換し、記憶部４４及び部位抽出部４５へ出力する。記憶部４４は、可視光画像を記憶する。部位抽出部４５は、入力された可視光画像から、後述する処理によって被写体１の人物領域を抽出し、記憶部４４に記憶する。

画像照合部４６は、記憶部４２より遠赤外線画像を読み出し、エッジ検出等の処理によって遠赤外線画像の人物領域の位置を検出する。画像合成部４７は、記憶部４４に記憶された可視光画像の人物領域を読み出し、遠赤外線画像の人物領域に可視光画像の人物領域を合成し、合成画像を画像認識装置５へ出力する。

画像認識装置５は、合成画像を用いて不審者検知・不審行動検知等の画像処理を行い、モニタ６又はＰＣ７へ出力する。モニタ６及びＰＣ７は、被写体１が可視領域にいる場合は可視光画像を、非可視領域にいる場合は合成画像を監視画像として表示する。ここで、被写体１が可視領域にいるか非可視領域にいるかの判断は、画像認識装置５又は図示しない照度センサ等によって行う。

図２は本発明の一実施例である可視光画像と遠赤外線画像の合成画像作成の様子を表す模式図である。先に説明した部分と同じ部分については、重複を避けるため省略する。図２において、８１は可視領域で可視光撮像部が捉らえた画像全領域、８２は可視領域で可視光撮像部が捉らえた人物領域、８４は可視領域で可視光撮像部が捉らえた背景領域、８５は可視領域で遠赤外線撮像部が捉らえた画像全領域、８６は可視領域で遠赤外線撮像部が捉らえた人物領域、８８は可視領域で遠赤外線撮像部が捉らえた背景領域、８９は撮像領域が可視領域の場合における合成画像、９１は非可視領域で可視光撮像部が捉らえた画像全領域、９２は非可視領域で可視光撮像部が捉らえた人物領域、９４は非可視領域で可視光撮像部が捉らえた背景領域、９５は非可視領域で遠赤外線撮像部が捉らえた画像全領域、９６は非可視領域で遠赤外線撮像部が捉らえた人物領域、９８は非可視領域で遠赤外線撮像部が捉らえた背景領域、９９は撮像領域が非可視領域の場合における合成画像である。

不審者等の人物が可視領域内にいる場合、可視光画像（全領域）８１及び遠赤外線画像（全領域）８５を撮像する。可視光画像（全領域）８１から人物領域８２を抽出して記憶し、遠赤外線画像（全領域）８５から可視光画像の人物領域８６に対応する人物領域８６の位置を検出し、遠赤外線画像の人物領域８６に可視光画像の人物領域８２を合成することで、合成画像（可視領域）８９を作成する。

その後、不審者等の人物が非可視領域へ移動した場合、可視光画像からは人物等の検出が困難となり、遠赤外線画像でのみ人物等の検出が可能となる。そこで、遠赤外線画像（全領域）９５から人物領域９６を検出し、可視領域にて取得した可視光画像の人物領域８２を遠赤外線画像の人物領域９６に合成して合成画像９９を作成し、モニタ等に映す映像を可視光画像（全領域）８１から合成画像（全領域）９９へと切り替える。

図４は、本発明の実施例１を示す可視光画像と遠赤外線画像の合成画像作成のフローチャート図である。

遠赤外線撮像部及び可視光撮像部で人物を撮像し、可視光画像の人物領域を抽出し、記憶する（Ｓ１）。遠赤外線画像の人物領域を検出し、記憶した可視光画像の人物領域を遠赤外線画像の人物領域に合成する（Ｓ２）。人物が移動中は雲台を制御して人物を追尾し、人物が非可視領域に移動したか否かを検出し（Ｓ３）、非可視領域へ移動した場合（Ｙｅｓ）は合成画像をモニタ等に出力し（Ｓ４）、非可視領域へ移動しない場合（Ｎｏ）は引き続き可視光画像をモニタ等に出力し（Ｓ５）、Ｓ３の動作を繰り返す。

以上の処理において、人物等が非可視領域に移動した場合に、可視領域にいるときに最初に記憶した可視光画像の人物領域を合成する様にしても良いし、可視領域にいるときに常にその時撮像した可視光画像の人物領域を合成し、非可視領域に移動した場合には可視領域で最後に記憶した可視光画像の人物領域を合成する様にしても良いし、可視領域にいるときに記憶した可視光画像の人物領域の中から最適なものを手動または自動で選択して合成する様にしても良い。

以上の処理を行うことで、監視対象となる被写体が可視領域から入射光量の少ない暗い領域、つまり可視光撮像装置で直接捉えることが困難である非可視領域へ移動した場合でも、被写体の特定を容易に行うことができる。

次に、図１、図２、図３及び図５を用いて第２の実施例について説明する。既に説明した部分と重複する部分は説明を省略する。第２の実施例では、予め取得した可視領域における複数の人物の人物領域及びその特定部位の中から、現在撮像している人物と同一人物の人物領域又はその特定部位を読み出し、遠赤外線画像に合成する。

図１において、予め、可視領域において、第１の実施例と同様に人物α〜ωの可視光画像を撮像し、部位抽出部４５へ出力する。部位抽出部４５は、入力された可視光画像から、後述する処理によって人物α〜ωの人物領域及びその特定部位を抽出し、記憶部４４に記憶する。このとき、人物α〜ωはそれぞれ別の人物とする。

その後、監視領域内に不審者等の被写体１（人物）が侵入してきたのを検知すると、第１の実施例と同様に被写体１の遠赤外線画像を撮像し、超解像画像として遠赤外線画像を生成し、記憶部４２へ出力する。記憶部４２は、遠赤外線画像を記憶する。

同時に、第１の実施例と同様に被写体１の可視光画像を撮像し、記憶部４２及び部位抽出部４３へ出力する。記憶部４２は、遠赤外線画像を記憶する。部位抽出部４３は、入力された遠赤外線画像から、後述する処理によって被写体１の人物領域及びその特定部位を抽出し、画像照合部４６へ出力する。

画像照合部４６は、記憶部４４から読み出した可視光画像の人物α〜ωの人物領域及びその特定部位と、可視光画像の被写体１の人物領域及びその特定部位とを照合し、一致度の高い人物（例えば人物αと一致したとする）を割り出す。または、記憶部４４から読み出した可視光画像の人物α〜ωの人物領域及びその特定部位と、遠赤外線画像の被写体１の人物領域及びその特定部位とを照合し、一致度の高い人物を割り出す。

画像合成部４７は、照合して割り出した人物αの可視光画像の人物領域又はその特定領域を記憶部４４から読み出し、記憶部４２から読み出した遠赤外線画像の人物領域又はその特定部位に合成し、画像認識装置５へ出力する。

その後は、被写体１を自動追尾し、遠赤外線画像の被写体１の人物領域の位置を検出して、記憶部４４から読み出した可視光画像の人物αの人物領域を合成する。

被写体１が可視領域から非可視領域に移動した場合、可視光画像は暗くなり監視画像として使い物にならなくなるため、画像照合部４６は、記憶部４４から読み出した可視光画像の人物α〜ωの人物領域及びその特定部位と、遠赤外線画像の被写体１の人物領域及びその特定部位とを照合し、一致度の高い人物を割り出す様にする。または、記憶部４２に記憶した遠赤外線画像の人物α〜ωの人物領域及びその特定部位と、現在撮像している遠赤外線画像の被写体１の人物領域及びその特定部位とを照合する様にしても良い。

被写体１が可視領域から非可視領域に移動した後、物影に隠れる等、被写体１の検出が途切れることがある。その際には、人物αの可視光画像の人物領域の合成も途切れてしまう。そこで、人物αの可視光画像の人物領域の合成も途切れた場合には、遠赤外線画像で再度被写体１を検出すると、途切れる直前まで合成していた人物αの可視光画像の人物領域又はその特定部位を合成する様にする。または、再度、人物α〜ωの人物領域及びその特定部位と被写体１の人物領域及びその特定部位とを照合し、一致度の高い人物の人物領域又はその特定部位を合成する様にしても良いし、一致度が所定値に満たない場合に照合不可等の表示を合成する様にしても良い。

画像認識装置５は、合成画像を用いて不審者検知・不審行動検知等の画像処理を行い、モニタ６又はＰＣ７へ出力する。モニタ６及びＰＣ７は、被写体１が可視領域にいる場合は可視光画像を、非可視領域にいる場合は合成画像を監視画像として表示する。

図２における可視光画像と遠赤外線画像の合成画像作成の様子は、第１の実施例とほぼ同様であるため、異なる部分を中心に説明する。

図２において、８３は可視領域で可視光撮像部が捉らえた人物領域の顔領域、８７は可視領域で遠赤外線撮像部が捉らえた人物領域の顔領域、９３は非可視領域で可視光撮像部が捉らえた人物領域の顔領域、９７は可視領域で遠赤外線撮像部が捉らえた人物領域の顔領域である。

第２の実施例においては、人物領域のみならず、その特定領域（例えば顔領域のパーツ）を用いて人物の照合を行う。

予め、可視領域における複数の人物α〜ωの可視光画像又は可視光画像と遠赤外線画像の人物領域及びその特定部位（顔領域のパーツ）を記憶しておく。その後、不審者などの人物が可視領域内に侵入してきた場合、可視光画像（全領域）８１及び遠赤外線画像（全領域）８５を撮像する。可視光画像（全領域）８１から人物領域８２及びその特定部位（顔領域８３のパーツ）を抽出し、予め記憶してある人物α〜ωの可視光画像の人物領域及びその特定部位（顔領域のパーツ）と照合して人物を特定する（例えば人物αと一致したとする）。そして、人物αの可視光画像の人物領域又はその特定部位（顔領域のパーツ）を遠赤外線画像（全領域）８５の人物領域８６又はその特定部位（顔領域８７のパーツ）に合成する。又は、遠赤外線画像（全領域）８５から人物領域８６及びその特定部位（顔領域８７のパーツ）を抽出し、予め記憶してある人物α〜ωの可視光画像の人物領域及びその特定部位（顔領域のパーツ）と照合して人物を特定する様にしても良い。

その後、人物が可視領域から非可視領域へ移動した場合、可視光画像から人物の人物領域９２及びその特定部位（顔領域９３のパーツ）の抽出が困難であるため、遠赤外線画像（全領域）９５から人物領域９６及びその特定部位（顔領域９７のパーツ）を抽出し、予め記憶してある人物αの可視光画像の人物領域及びその特定部位（顔領域のパーツ）を合成する。

人物が可視領域から非可視領域に移動した後、物影に隠れる等、人物の検出が途切れることがある。その際には、遠赤外線画像（全領域）９５の人物領域９６又はその特定部位（顔領域９７のパーツ）に直前まで合成していた人物αの可視光画像の人物領域及びその特定部位（顔領域のパーツ）を合成する。又は、遠赤外線画像（全領域）９５から人物領域９６及びその特定部位（顔領域９７のパーツ）を抽出し、予め記憶してある人物α〜ωの可視光画像の人物領域及びその特定部位（顔領域のパーツ）と再度照合を行い、より一致度の高い人物の可視光画像の人物領域及びその特定部位（顔領域のパーツ）を合成する様にしても良い。

図３は本発明の一実施例である可視光画像と遠赤外線画像の特定部位の抽出と照合の様子を表す模式図である。図３において、１０１は可視領域で可視光撮像部が捉らえた人物の顔領域における目領域、１０２は目領域１０１内の瞳領域、１０３は目領域１０１内の強膜領域、１０４は可視領域で可視光撮像部が捉らえた人物の顔領域における口領域、１０５は口領域１０４内の唇領域、１０６は遠赤外線撮像部が捉らえた人物の顔領域における目領域、１０７は目領域１０６内の瞳領域、１０８は目領域１０６内の強膜領域、１０９は遠赤外線撮像部が捉らえた人物の顔領域における口領域、１１０は口領域１０９内の唇領域である。

例えば、目領域を特定部位とする場合、撮像した可視光画像の目領域１０１と記憶した人物α〜ωの可視光画像の目領域とを照合し、検知対象人物の特定に必要な詳細情報を得るために、撮像した可視光画像の瞳領域１０２及び強膜領域１０３と記憶した人物α〜ωの可視光画像の瞳領域及び強膜領域とを照合し、最も差異の少ない情報を、記憶された人物α〜ωの情報から読み出す。

又は、撮像した遠赤外線画像の目領域１０６と記憶した人物α〜ωの可視光画像の目領域とを照合し、検知対象人物の特定に必要な詳細情報を得るために、撮像した遠赤外線画像の瞳領域１０７及び強膜領域１０８記憶した人物α〜ωの可視光画像の瞳領域及び強膜領域とを照合し、最も差異の少ない情報を、記憶された人物α〜ωの情報から読み出す様にしても良い。

又は、撮像した遠赤外線画像の目領域１０６と記憶した人物α〜ωの遠赤外線画像の目領域とを照合し、検知対象人物の特定に必要な詳細情報を得るために、撮像した遠赤外線画像の瞳領域１０７及び強膜領域１０８記憶した人物α〜ωの遠赤外線画像の瞳領域及び強膜領域とを照合し、最も差異の少ない情報を、記憶された人物α〜ωの情報から読み出す様にしても良い

また、例えば、口領域を特定部位とする場合、目領域を特定部位とした場合と同様に、撮像した可視光画像の目領域１０１と記憶した人物α〜ωの可視光画像の目領域とを照合し、検知対象人物の特定に必要な詳細情報を得るために、撮像した可視光画像の唇領域１０５と記憶した人物α〜ωの可視光画像の唇領域とを照合し、最も差異の少ない情報を、記憶された人物α〜ωの情報から読み出す。

又は、撮像した遠赤外線画像の口領域１０９と記憶した人物α〜ωの可視光画像の目領域とを照合し、検知対象人物の特定に必要な詳細情報を得るために、撮像した遠赤外線画像の唇領域１１０と記憶した人物α〜ωの可視光画像の唇領域とを照合し、最も差異の少ない情報を、記憶された人物α〜ωの情報から読み出す様にしても良い。

又は、撮像した遠赤外線画像の口領域１０９と記憶した人物α〜ωの遠赤外線画像の目領域とを照合し、検知対象人物の特定に必要な詳細情報を得るために、撮像した遠赤外線画像の唇領域１１０と記憶した人物α〜ωの遠赤外線画像の唇領域とを照合し、最も差異の少ない情報を、記憶された人物α〜ωの情報から読み出す様にしても良い。

図５は、本発明の実施例２を示す可視光画像と遠赤外線画像の合成画像作成のフローチャート図である。

遠赤外線撮像部及び可視光撮像部で人物αを撮像し、人物領域と特定部位を抽出し、記憶する（Ｓ６）。遠赤外線撮像部及び可視光撮像部で人物β（別の人物）を撮像し、Ｓ１と同様の操作を行う（Ｓ７）。遠赤外線撮像部及び可視光撮像部で人物γ（別の人物）を撮像し、Ｓ１と同様の操作を行う（Ｓ８）。・・・遠赤外線撮像部及び可視光撮像部で人物ω（別の人物）を撮像し、Ｓ１と同様の操作を行う（Ｓ９）。Ｓ６〜Ｓ９で記憶した可視光領域での人物の人物領域及びその特定部位を、遠赤外線撮像部で撮像している遠赤外線画像の人物領域及びその特定部位と照合し、最適な人物の可視光画像を読み出す（Ｓ１０）。遠赤外線画像に、読み出した可視光画像の人物領域又はその特定部位を合成する（Ｓ１１）。撮像領域が非可視領域か否かを判断する（Ｓ１２）。撮像領域が非可視領域の場合（Ｙｅｓ）合成画像をモニタ等に出力し（Ｓ1３）、撮像領域が可視領域の場合（Ｎｏ）人物が非可視領域に移動したか否かを判断する（Ｓ１４）。人物が非可視領域に移動した場合（Ｙｅｓ）Ｓ１３の処理をし、人物が非可視領域に移動していない場合（Ｎｏ）可視光画像をモニタ等にそのまま出力し（Ｓ１５）、Ｓ１４の処理を行う。

以上に詳述した様に、本発明によると、予め人物の情報を記憶しておくことで、不審者等の判別・発見を容易に行うことができる。

また、人物領域における目や口等の特定部位の抽出、照合、及び、合成処理を行うことで、検知対象となる人物の人相をより明確にし、対象人物の特定を容易に行うことができる。

また、本発明の撮像装置は、さらに画像処理部内部又は外部に記憶部を設け、合成画像を記憶する様にすることで、捜査やセキュリティ対策に有効な情報を残すことができる。

１：被写体、２：遠赤外線撮像部、３：可視光撮像部、４：画像処理部、５：画像認識装置、６：モニタ、７：ＰＣ、２１：遠赤外線用レンズ、２３，３３：電動雲台、３１：可視光用レンズ、４１：超解像画像生成部、４２，４４：記憶部、４３，４５：部位抽出部、４６：画像照合部、４７：画像合成部、８１：明るい撮像領域で可視光撮像部が捉らえた人の画像全領域、８２：明るい撮像領域で可視光撮像部が捉らえた人物領域、８３：明るい撮像領域で可視光撮像部が捉らえた人物領域の顔領域、８４：明るい撮像領域で可視光撮像部が捉らえた背景領域、８５：明るい撮像領域で遠赤外線撮像部が捉らえた人の画像全領域、８６：明るい撮像領域で遠赤外線撮像部が捉らえた人物領域、８７：明るい撮像領域で遠赤外線撮像部が捉らえた人物領域の顔領域、８８：明るい撮像領域で遠赤外線撮像部が捉らえた背景領域、８９：撮像領域が明るい場合における合成画像、９１：暗い撮像領域で可視光撮像部が捉らえた人の画像全領域、９２：暗い撮像領域で可視光撮像部が捉らえた人物領域、９４：暗い撮像領域で可視光撮像部が捉らえた背景領域、９３：暗い撮像領域で可視光撮像部が捉らえた人物領域の顔領域、９５：暗い撮像領域で遠赤外線撮像部が捉らえた人の画像全領域、９６：暗い撮像領域で遠赤外線撮像部が捉らえた人物領域、９８：暗い撮像領域で遠赤外線撮像部が捉らえた背景領域、９７：明るい撮像領域で遠赤外線撮像部が捉らえた人物領域の顔領域、９９：撮像領域が暗い場合における合成画像、１０１：可視領域で可視光撮像部が捉らえた人物の顔領域８３における目領域、１０２：目領域１０１内の瞳領域、１０３：目領域１０１内の強膜領域、１０４：可視領域で可視光撮像部が捉らえた人物の顔領域８３における口領域、１０５：口領域１０４内の唇領域、１０６：遠赤外線撮像部が捉らえた人物の顔領域８７又は９７における目領域、１０７：目領域１０６内の瞳領域、１０８：目領域１０６内の強膜領域、１０９：遠赤外線撮像部が捉らえた人物の顔領域８７又は９７における口領域、１１０：口領域１０９内の唇領域。

Claims (1)

1. 物体の可視光画像を撮像する可視光撮像部と、
   前記物体の遠赤外線画像を撮像する遠赤外線撮像部と、
   前記抽出した可視光画像の物体の領域と前記遠赤外線画像の物体の領域とを照合する部位照合部と、
   前記可視光画像と前記遠赤外線画像とを合成する画像合成部と、
   を備えたことを特徴とする撮像装置。