JP2003006642A

JP2003006642A - 熱画像を利用した画像処理装置

Info

Publication number: JP2003006642A
Application number: JP2001189368A
Authority: JP
Inventors: Mamoru Minami; 護見浪; Toshihiko Shimizu; 俊彦清水
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-06-22
Filing date: 2001-06-22
Publication date: 2003-01-10

Abstract

(57)【要約】【課題】熱画像を利用して高速で検査対象領域を絞り
込むと共に、使用状況や人の容姿などに惑わされること
なく正確に人間の検出をおこなう。【解決手段】熱画像１２をサンプリングする赤外線カ
メラ２と略同一領域内の可視画像１０をサンプリングす
るＣＣＤカメラ３とを有し、赤外線カメラ２で捕らえた
熱画像１２から熱体位置の検査対象領域２０を求める対
象領域検出手段２１と、多重構造領域２２で構成されて
画像対象物を簡易モデル化したモデル体２３と、ＣＣＤ
カメラ３による入力生画像１０の上記検査対象領域２０
内に複数のモデル体２３が重ねられて、生画像１０を用
いて検査対象領域２０内で画素演算を施す演算手段２４
と、上記演算結果を評価する評価手段２５とを具備す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、熱画像を利用して
人間の検出をおこなう画像処理装置に関するものであ
る。

【０００２】

【従来の技術】従来から一般的に画像処理装置は、ＣＣ
Ｄカメラでサンプリングした入力生画像（輝度階調を有
する入力画像）を２値化して、細線化処理等を施し端点
や分岐点或いは形状などの幾何学的な特徴点を抽出して
物体の画像認識をおこなわせるものが知られているが、
この場合２値化処理はスレッシュホールドレベルとの比
較で、データは０か１かの２値へ丸められるなど本来画
像自身が持っている情報を欠落させてしまうことから幾
何学的に規定される形状物でなく、容姿を自在に変えて
動く人間などの認識には、特徴点の検出が困難であり不
向きであった。

【０００３】そこで、進入口などに配されたＣＣＤカメ
ラによる監視画像の変化分を画像処理にて捕らえて、特
徴点を抽出して人間らしきものの検出をおこない、更に
赤外線検出器を併用して特徴点が人間であると判断させ
る方法（特開２０００−７６５２１号公報、特開２００
０−１５５１７７号公報、特開２０００−２０９５７３
号公報など）が提案されている。

【０００４】一方近年、２値化処理を施さずＧＡ（遺伝
アルゴリズム）的な探索法により、画像認識をおこなう
特開２００１−９２９７２号公報などの方法が知られて
いる。

【０００５】この特開２００１−９２９７２号公報の画
像認識方法は、予め判明している対象物の輝度分布や簡
易形状をモデルとする探索モデルを入力画像に分布させ
て、ＧＡを用いて探索モデルの位置を示す遺伝子情報を
進化させることで、対象物の位置情報を出力するもので
ある。

【０００６】このＧＡによる遺伝子の進化の過程は、探
索モデルの輝度値の分布と入力画像の輝度値の分布とが
一致すると相関値が高くなる（一致位置でピークを示
す）原理を利用した相関関数を用いて、相関値が高くな
る位置へと探索モデルの遺伝子（位置）情報を進化させ
て解を得ようというものであった。

【０００７】なお上記従来の技術においては、２値化画
像から動画像の特徴点を抽出するか、ＧＡによって探索
モデルを進化させてゆくかの処理をおこなうものであっ
た。

【０００８】

【発明が解決しようとする課題】上記従来の２値化画像
から動画像の特徴点を抽出する構成のものにおいては、
照明などの状態でスレッシュホールドレベルが影響を受
けることから外乱に弱く、２値化による情報の丸めで本
来もつべき情報を失ってしまう危険がある。また太陽光
などが間接的でも差し込む（昼間と夜間で光量が変化す
る）、人の出入りの多いロビーなどで、しかも化粧や髪
型服装など容姿の異なる動いている人間の特徴点を抽出
するのは至難の業である。

【０００９】したがって、特開２０００−７６５２１号
公報、特開２０００−１５５１７７号公報、特開２００
０−２０９５７３号公報などのものにあっては、実質上
何か物が動いたという動画情報と赤外線検出器の出力を
もって人間とみなすものであり、必ずしも正確に人間を
検出しているとは言い難い。

【００１０】しかもこのような動画を抽出する方法にあ
っては、人が持つカバンなどを振った際、カバンだけの
動画部のみが優先する特徴点として抽出されてしまい判
断されることから、画像内に人間が存在するにもかかわ
らずその検出ができないという可能性があり、人間検出
をおこなったにも関わらず、検出できなかった（すなわ
ち人はいない）、という重大なミスを犯す問題が指摘さ
れている。そこで、それを回避するために、動く物に加
えて赤外線検出器の出力で人間の有無を判断させるもの
であった。

【００１１】したがって利用範囲としては、ある定まっ
た固定背景のエリア（進入口）であって、人の進入以外
考えられない所で、画像の変化（動画）が捉えやすい状
況でのみ利用可能な画像処理方法であり、他方例えばＣ
ＣＤカメラ自身が首を振り可動範囲内の画像をサンプリ
ングするような用途のものや、ノイズとなる照明の変動
や人の出入りの多い店内やスーパーなどに設置されるよ
うな用途、或いは正確に人間であることを検出せねば人
命に関わる用途などには対応できないという問題点があ
る。

【００１２】一方、ＧＡによる探索をおこなう上記従来
の構成のものにおいては、固有の対象物にあっては、２
値化による情報の丸めがなく外乱に強く、しかもパター
ン一致による比較のものとは異なり、所在の不明な対象
物を探索できるメリットがあり、従来のものと比較して
有効な方法であった。

【００１３】しかしながら、この探索モデルで探索をお
こなう方法のものは、輝度値の分布が判明している探索
モデルを予め用意する必要があり、人間を検出するには
問題点を有するものであった。

【００１４】すなわち、特定の個人の容姿が予め判明し
ているならば、それは探索可能であるが、一般的な不特
定の人間の検出をおこなう場合は、人は肌の色や髪の色
が人種により異なり、しかも化粧をして尚かつ、様々な
服装をまとうことから、その輝度値の分布をモデル化す
ることは到底困難である。

【００１５】しかも、２値化による細線化や特徴点抽出
によるもの同様に、探索には多くの時間がかかってしま
うという欠点があり、多くの人間を素早く捕らえるには
問題がある。

【００１６】なお、特開２００１−９２９７２号公報に
おいては、リアルタイム性を持たせるために、進化の収
束を待つことなく所望の制御タイミングで最も高い相関
値を持つものを最適解とする例が示されているが、この
方法にあっては正確に人間の位置を特定することは言う
までもなく困難である。

【００１７】これは、探索モデルのバラまき方や進化の
過程に偶然性に依存する要因があり、解の候補とはなっ
ても、必ずしも所望の制御タイミングで最も高い相関値
を持つものが真の解とはならないためである。

【００１８】更に、画像内には対象物外のものであって
も、相関値が中位ピークを示す輝度値分布の場所も数多
く存在するため、一時的には誤った領域へＧＡが注視動
作をおこなってしまう可能性もあり、確実にしかも高速
処理をおこなわせるには問題となっていた。

【００１９】そこで人間検出をおこなう画像処理装置と
しては、使用状況や人の容姿などの要因に依存すること
なく、しかも高速で確実に検出するものが望まれてい
た。

【００２０】本発明は、熱画像を利用して高速で検査対
象領域を絞り込むと共に、使用状況や人の容姿などに惑
わされることなく正確に人間の検出をおこなう画像処理
装置を提供することを目的とする。

【００２１】

【課題を解決するための手段】本発明の熱画像を利用し
た画像処理装置は、上記従来例の問題点を解決するた
め、熱画像を利用して人間検出をおこなう画像処理装置
であって、熱画像をサンプリングする赤外線画像入力手
段と略同一領域内の可視画像を撮像する撮像手段とを有
し、赤外線画像入力手段で捕らえた熱画像から熱体位置
の検査対象領域を求める対象領域検出手段と、多重構造
領域で構成されて画像対象物を簡易モデル化したモデル
体と、撮像手段で捕らえた入力生画像内の上記検査対象
領域へ該モデル体が重ねられて、その領域内の画素輝度
値を用いて画素演算を施す演算手段と、上記演算結果を
評価する評価手段とを具備して、人間の検出をおこなう
ことを特徴とする。

【００２２】またモデル体が、大きさが異なり略上下方
向へ連なりかつ２重構造領域で構成されて成ることが好
適である。

【００２３】しかも上下に連なるモデル体の下方領域が
寸法大に設けられ、その２重構造領域が更に上下方向に
２分割されて成るか、又は大きさが異なり略上下方向へ
連なるモデル体の領域が３段状に連なるかの何れかにあ
っては、人の容姿に依存することなく的確な検出をおこ
なうものとなる。

【００２４】そして演算手段が、モデル体の外側領域に
該当する画素の輝度値合計と、モデル体の内側領域に該
当する画素の輝度値合計との差の絶対値を求めること
が、簡単な演算で背景との差を生じるものとなる。

【００２５】また、対象領域検出手段が、赤外線画像入
力手段で得られた熱体の位置の変化を捕らえて検査対象
領域の検出をおこなうものが好適である。

【００２６】さらに赤外線画像入力手段で得られた熱体
の検査対象領域の大きさに応じて、モデル体の寸法を拡
大或いは縮小して成ることで、子供や大人、或いは遠方
や近傍の検出をおこなうことができる。

【００２７】なお、評価結果が人間であることを検出し
た際、モデル体の最上方領域部方向へズームして得られ
る画像領域を新たな検査対象領域とし、更に多重構造領
域の新たなモデル体を適応すれば、人間の顔部検出をお
こなうことができる。そして、その撮像画像を記録する
ものであれば、その人物を特定する画像を得るものとな
る。

【００２８】（作用）本発明は上記構成によって、次の
ような作用を営むことができる。すなわち、赤外線画像
入力手段で捕らえた熱画像から熱体位置の検査対象領域
を求めることで、熱画像は人間（正確には顔や手など肌
が露出している部分）、動物、発熱体、蓄熱体などに反
応し、人間の存在らしき位置の検出を画像探索をおこな
うことなく、確実にしかも超高速で把握して捕らえるこ
とができ、人間の大きさを考慮して発熱体の分布状況か
ら幾つかの検査対象領域を素早く設定することができ
る。

【００２９】一方、多重構造領域で構成されて画像対象
物を簡易モデル化したモデル体は、対象物の形状を簡易
的にモデル化し、更に多重構造（例えば２重構造）とな
る領域を備えている。そして、この多重構造モデルと重
なる画素の輝度値から人間であることを判断させる為
に、２重構造の内側の領域を人間そのものに対応させる
ものであって、外側の領域が背景に相当するものを示す
ものとなっている。なお、上記発熱体の検出により従来
例で示すようなＧＡなどの探索モデルを用いる探索の必
要がないことから、このモデル体には対象物の輝度値の
分布データは不要であり、任意輝度値の均一データであ
ってもいいし、形状のみを定義する空枠であっても良
い。

【００３０】そこで、撮像手段による入力生画像に対し
て、上記求められた検査対象領域内に順次モデル体の空
枠が重ねられて、輝度値を有する画素から検査対象領域
内で画素演算が施される。このモデル体の重ね作業は、
限られた狭い検査領域内にモデル体が挿入可能な配置で
順次重ねられて、上述内側（人間）の領域と外側（背
景）の領域とで、それぞれの領域内の画素の輝度値が求
められ、外側領域（背景）の輝度値と内側領域（人間）
の輝度値に差が生じれば、それは人が物を識別するのと
同様に、この差をもってモデル体形状に合致する物体の
存在を知ることができる。

【００３１】この演算結果は、内側の領域が人間の形状
を成し、しかもそれが熱体であることから、演算結果の
差が際だつものであれば、それは人間であると評価する
ことができる。

【００３２】またモデル体が、大きさが異なり略上下方
向へ連なりかつ２重構造領域で構成されて成るものであ
れば、モデル体の上方の領域が示すものを頭部とし、下
方の領域が示すものを体部とすることができる。この２
つの領域で各々内側領域（頭部）と外側領域（背景）か
つ内側領域（体部）と外側領域（背景）の関係で、各領
域で輝度値に差を生じるものならば、そこには熱を発す
るものがあり、しかも頭と体に相当する形状物がある、
すなわち人間であると判断することができる。

【００３３】しかも上下に連なるモデル体の下方領域が
寸法大に設けられ、その２重構造領域が更に上下方向に
２分割されるものであれば、分割された上部領域が示す
ものを胴部とし、下部領域が示すものを脚部とすること
ができる。この上下２つの領域で上記同様に、内側領域
（胴部）と外側領域（背景）かつ内側領域（脚部）と外
側領域（背景）の関係で、輝度値に差を生じるものなら
ば、そこには胴と脚があると判断することができ、この
ようなモデル体であれば人の容姿に依存することなく的
確な検出をおこなうモデル体となる。

【００３４】一方、大きさが異なり略上下方向へ連なる
モデル体の領域が３段状に連なるものにあっては、３段
に分割された上部領域が示すものを頭部とし、中部領域
が示すものを胴部とし、下部領域が示すものを脚部とす
ることができる。この中下２つの領域で上記２分割領域
のもの同様に、内側領域（胴部）と外側領域（背景）か
つ内側領域（脚部）と外側領域（背景）の関係で、輝度
値に差を生じるものならば、そこには胴と脚があると判
断することができて、上記同様に、このようなモデル体
であれば人の容姿に依存することなく的確な検出をおこ
なうモデル体となる。

【００３５】なお、上述のように演算手段が、モデル体
の外側領域に該当する各画素の輝度値の合計と、モデル
体の内側領域に該当する各画素の輝度値の合計との差の
絶対値を求めるものであれば、この２重構造が故に簡単
な加減算の演算のみで、モデル体が対象物形状と重なる
位置で、際だつ（背景との）差を生じさせることができ
る。

【００３６】また、対象領域検出手段が、赤外線画像入
力手段で得られた熱体の位置の変化を捕らえて検査対象
領域の検出をおこなうものであれば、例えばマネキンな
どが熱せられて置かれていたとしても、動かないため検
出対象とはならず、同様に動かない発熱体を無視するこ
とで、無駄なく、より確実に人間のみを検出することが
できる。

【００３７】さらに赤外線画像入力手段で得られた熱体
の検査対象領域の大きさに応じて、モデル体の寸法を拡
大或いは縮小して成るものであれば、子供や大人、或い
は遠方や近傍のモデルを用いて、より詳しく人間検出を
おこなわせることができる。

【００３８】なお、評価結果が人間であることを検出し
た際、モデル体の最上方領域部方向（頭部）へズームし
て得られる画像領域を新たな検査対象領域とし、更に多
重構造領域の新たなモデル体を適応すれば、限られた最
上方領域部周辺のみへ人の頭部や顔部などに相当する新
たな多重モデルが適応されて、既に人間であることが検
出されているものへ、なおかつズームされた限られた画
像領域で、（例えば顔と髪の差などの多重領域をもつモ
デルで）顔部だけのモデル体を使って、上記同様に輝度
値による画素演算を施し評価をおこなうことができる。
故に入力画像全てを探索サーチさせることなく、限られ
たズーム領域のみで対象となる顔が撮像手段の方向に向
いた際、その顔部のズーム画像を捕らえることが可能と
なる。

【００３９】更に上記顔部を捕らえるタイミングで、顔
部モデル体位置近傍の撮像画像を逐次記録するものであ
れば、その人物を特定する画像を得るものとなり、人間
検出のみならず人物特定に寄与する画像の記録をおこな
うことができる。

【００４０】このような本発明の熱画像を利用した画像
処理装置は、使用状況や人の容姿などの要因に依存する
ことなく、しかも高速で確実に人間を検出することがで
きる。

【００４１】また、検出された人間を特定するための顔
面ズーム画像を捕らえる画像処理装置を実現することが
できる。

【００４２】

【発明の実施の形態】本発明の実施の形態について図１
〜図１７を参照して簡単に説明する。

【００４３】本発明の熱画像を利用した画像処理装置１
は、赤外線カメラ２で捕らえた画像（熱画像）を利用し
て人間３０の検出をおこなう画像処理装置１ａであっ
て、熱画像１２をサンプリングする赤外線カメラ（赤外
線画像入力手段）２と略同一領域内の一部又は同一の可
視画像（可視光の画像）１０を撮像することのできる光
学式白黒のＣＣＤカメラ（撮像手段）３とを有し、赤外
線カメラ（赤外線画像入力手段）２で捕らえた熱画像１
２を２値化して一定温以上の熱体物１３の座標位置から
検査対象領域２０の大きさを決める対象領域検出手段２
１と、２重構造状の楕円領域２２で構成されて画像対象
物の形状を予め簡易的にモデル化したモデル体２３と、
ＣＣＤカメラ（撮像手段）３による入力生画像（輝度階
調を有する入力画像）１０の該検査対象領域２０内に上
記モデル体２３が規則的に（或いは不規則に）重ねられ
て、モデル体２３の示す領域内の画素の輝度値から画素
演算を施す演算手段２４と、上記演算結果が予め設定さ
れた値に達するか否かで評価する評価手段２５とを具備
して、人間３０の検出をおこなっている。

【００４４】またモデル体２３が、人３０の首部に当た
る点（Ｋ点）で交わり、頭部３１に相当する寸法小なる
第１の領域と体部３２に相当する寸法大なる第２の領域
で構成されることで、大きさが異なり略上下方向へほぼ
連なり、かつ上記一点（Ｋ点）に寄り合うように２重の
楕円構造領域２２の構造で構成されている。

【００４５】しかも上下に連なるモデル体の下方領域が
寸法大に設けられ、その２重構造領域（第２の領域３
２）が更に上下方向に略均等に２分割され、体部３２
（第２の領域）を胴部３２Ａ（第２Ａの領域）と脚部３
２Ｂ（第２Ｂの領域）とに分割している。なお、大きさ
が異なり略上下方向へ連なるモデル体領域を３段状に連
なるもとしても同様に、体部３２（第２の領域）と足部
３３（第３の領域）とに分割できるものとなる。

【００４６】ここで演算手段２４は、モデル体２３を構
成する２重構造領域２２の外側領域Ｓｊに該当する画素
の輝度値合計（Ｊ＊ΣＳｊ）と、モデル体２３の内側領
域Ｓｉに該当する画素の輝度値合計（Ｉ＊ΣＳｉ）との
差（｜Ｊ＊ΣＳｊ−Ｉ＊ΣＳｉ｜）の絶対値に重み
値を乗じて求めている。なお実施例にあってはＩ、Ｊは
比例定数＝１としている。

【００４７】また、対象領域検出手段２１は、赤外線カ
メラ（赤外線画像入力手段）２で得られた熱体１３の位
置の変化を捕らえて検査対象領域２０の検出をおこなっ
てもいいし、さらに赤外線カメラ（赤外線画像入力手
段）２で得られた熱体１３の検査対象領域２０の大きさ
や高さ情報に応じて、モデル体２３の寸法を拡大或いは
縮小させてもかまわない。

【００４８】なお、評価結果が人間３０であることを検
出した際、モデル体２３の第１領域３１方向へズームし
て得られる画像領域を新たな検査対象領域２０Ｎとし、
第１領域部３１へ多重構造（第１領域部を更に細かな領
域（顔や髪に当たるもの）などに分けたもの）の新たな
モデル体２３Ｎを適応させて、上記人間検出同様の演算
を施し評価をおこなうことで容易に人間３０の顔部３４
検出をおこない、更に顔部３４に当たるモデル体２３Ｎ
位置近傍の画像をビデオテープ（記録装置）に日付けや
サンプリングした時刻のデータと共に記録している。

【００４９】

【実施例】以下本発明の実施例について、図面を参照し
ながら詳細に説明する。図１〜図１１は本発明の第１実
施例を示すものである。図１に示す熱画像を利用した画
像処理装置１は、赤外線カメラ２、ＣＣＤカメラ３、画
像処理装置１ａを備えている。

【００５０】この画像処理装置１ａには図の３で示すＣ
ＣＤカメラ（撮像手段）から入力生画像１０が入力され
ると共に、図の２で示す赤外線カメラ（赤外線画像入力
手段）から熱画像が入力されている。そして、この熱画
像から対象領域検出手段２１は検査する領域を決定して
いる。一方予め設けられているモデル体２３と入力生画
像１０と対象領域検出手段２１の示す領域の３者から導
き出される領域毎に、各画素の輝度値を用いた演算が演
算手段２４でおこなわれ、その結果に応じて評価手段２
５は人間であるか否かの評価処理をおこなっている。

【００５１】今ＣＣＤカメラ３が図２の１０で示す入力
生画像（輝度階調を有する入力画像）をサンプリングし
た場合について考える。ここで、３０は人間であり、４
０は点灯中の照明である。人間３０の露出部と照明４０
は熱を発することから、赤外線カメラ２の画像を２値化
すると図３の１２で示す熱画像を得ることになる。

【００５２】なお本来、赤外線カメラ２は周辺温度や環
境に左右され易く、画像解析のための２値化のスレッシ
ュホールドレベルの設定は難しいが、ここではこの熱画
像から直接画像処理をおこなうものではなく、下記示す
対象領域の検出に利用するものであって、スレッシュホ
ールドレベル極めて低いレベルに設定しておけばよい。
すなわち、熱体全てを検査の対象としている。

【００５３】そこで、図３の３０、４０で示す熱画像１
２の情報から対象領域検出手段２１は、図４の１２で示
す熱画像へ２０、２０で示す２つの検査対象領域を設定
している。図の点線で示す２０ｂの領域は３０ａのデー
タを頭部と見なし設定した領域であり、２０ｃの点線領
域は３０ｂのデータを手と見なして設定した領域、更に
２０ａの点線領域は３０ａを手、３０ｂを足と見なして
設定した領域であり、これら２０ａ、２０ｂ、２０ｃの
領域群をもって１つ目の検査対象領域２０を決定してい
る。一方図の２０ｄの点線領域は面積大なる４０ａを頭
部以外には考えられないと見なし、同じく２０ｄで示す
領域をもって２つ目の検査対象領域２０として決定して
いる。

【００５４】なお、この検査対象領域の検出は、上記熱
画像にあっては説明の都合上、モデル体の拡大や縮小な
どの要因（遠方、近方、大人、子供）を省き説明した
が、本来熱画像の面積を求めて、モデル体を拡大或いは
縮小をも考慮しておこなうものである。

【００５５】次ぎに、図６〜図８を参照しながらモデル
体について説明する。図６に示す２３はモデル体を示す
もので、２３は図の３１と３２で示す上下方向に連なる
２つの領域に分けられている。そして各領域は２重構造
３１ａ、３１ｂの領域と、３２ａ、３２ｂの領域とに分
割されている。

【００５６】このモデル体２３は人間の形状をモデル化
したもので、図７に示す人間３０の頭部３１と体部３２
とをモデル化している。

【００５７】図８に示すモデル体２３は人間３０を検出
した際の様子を示すもので、最上方に位置する寸法小な
る領域３１のうち、図の３１ａで示す領域が人３０の頭
部を示し、３１ｂで示す領域が頭部の周辺背景を示して
いる。また下方の寸法大なる領域３２のうち、図の３２
ａで示す領域が人３０の体部を示し、３２ｂで示す領域
が体部の周辺背景を示している。

【００５８】ここでモデル体２３の各領域は例えば３１
の領域にあっては、各々３１ａの内側領域面積と３１ａ
の外側であって３１ｂの内側領域面積とが略一致するよ
う設けられている。他方３２の領域にあっては、各々３
２ａの内側領域面積と３２ａの外側であって３２ｂの内
側領域面積とが略一致するよう設けられている。

【００５９】以上のように予め設けられたモデル体２３
は、図４の２０、２０で示す検査対象領域に重ねられ
て、演算手段２４により画素演算がおこなわれる。

【００６０】ここで図８、図９を参照しながらその演算
方法を説明する。なお、本来入力画像は背景にノイズが
あり対象物のみが背景から浮き上がることはないが、図
９に示す画像は説明の都合上、輝度の高い部分（黒色）
と輝度の薄い部分（白色）とに分けた簡単な撮像画像を
用いて説明する。したがって本来輝度値は、１０Ｂｉｔ
の階調をもつＣＣＤカメラであれば各画素の階調は１０
２４階調となるが、ここでは１つの画素の輝度値を１Ｋ
＝１０２４（黒）と０（白）とに簡略化して以下説明す
る。

【００６１】図８に示す領域３１ａ内の各画素の輝度値
の合計をＳｉとする。また３１ａの外側であって３１ｂ
内の各画素の輝度値の合計をＳｊとする。ここでＳｉの
面積とＳｊの面積ははぼ等しい（各々１００画素）と考
える。

【００６２】仮に輝度値の加算結果が図９に示すよう
に、図の３１で示す頭部領域でＳｉ＝９０Ｋ、Ｓｊ＝
０、また図の３２で示す体部領域（各々１０００画素）
でＳｉ＝９００Ｋ、Ｓｊ＝２００Ｋとする。

【００６３】ここで演算手段２４は、モデル体２３を構
成する２重構造領域の外側領域Ｓｊに該当する画素の輝
度値合計（Ｊ＊ΣＳｊ）と、モデル体２３の内側領域Ｓ
ｉに該当する画素の輝度値合計（Ｉ＊ΣＳｉ）との差
（Ｆ＝｜Ｊ＊ΣＳｊ−Ｉ＊ΣＳｉ｜＊Ｚ）の絶対値
を求めている。

【００６４】なお実施例にあってはＩ、Ｊは比例定数＝
１（同一面積）としている。またＺは各領域のプライオ
リティを示す重み値である。ここでは、頭部領域（画素
数１００）でＺ＝１０、体部領域（画素数１０００）で
Ｚ＝１として、両者の面積比（画素数比）を補正して演
算をおこなっている。

【００６５】この演算結果は、頭部領域３１でＦ（３
１）＊１０＝９００Ｋ、体部領域３２でＦ（３２）＊１
＝７００Ｋとなり、両者のトータルＦは、Ｆ＝９００Ｋ
＋７００Ｋ＝１６００Ｋとなる。

【００６６】このような演算を施しながら、モデル体２
３を規則的に限られた狭い領域（検査対象領域）へ重ね
てゆき、演算結果Ｆが最も大きな値を取るモデル体の位
置を求めている。

【００６７】以上のような演算を施すことで、図４に示
す検査領域２０、２０は、図５に示すモデル体位置で最
も大きなＦ値（演算結果）を得る。

【００６８】ここで評価手段２５は、予め設定されてい
る基準値Ｒ＝１０００Ｋと演算結果とを比較して、Ｆ＝
１６００Ｋ（＞Ｒ）を示すモデル体位置のものを人間で
あると判断し、同様の演算を施した照明の方の画像をＦ
＝７５Ｋ（＜Ｒ）から人間でないと判断している。

【００６９】このように、背景Ｓｊと対象Ｓｉの差が大
きいということは、人間が目で物を確認するのと同様で
あり、Ｆ（３１）＊１０とＦ（３２）＊１の２つが９０
０Ｋと７００Ｋという共に大きな値を示すことから３１
の領域には頭に相当するものがあり、３２の領域には体
に相当するものがあると判断できる。

【００７０】なお、上記実施例にあっては、モデル体２
３の多重構造領域は図６のＫで示す点で各楕円状の領域
が寄り合うように設けられ、上下領域が略連結してい
る。また上方に寸法小なる領域３１をもち、大きさの異
なる２つの領域（３１、３２）が連なる２連領域であ
る。更に、この各領域が各々２重（内側領域Ｓｉと外側
領域Ｓｊ）の構造となっている。（楕円２連２重構造２
２）

【００７１】一方、図１０に示すモデル体２３は、上方
に第１の領域３１を備えて、上記同様に上下に連なるモ
デル体２３である。したがって、図１０及び図１１の構
成は図６及び図９のそれと共通するところがあり、図１
０において共通部分に同一符号を付し詳細な説明を省略
する。

【００７２】ここで図１０に示すモデル体２３は、下方
領域３２が寸法大に設けられ、その２重構造領域（第２
の領域３２）が更に上下方向に略均等に２分割され、体
部３２（第２の領域）を胴部３２Ａ（第２Ａの領域）と
脚部３２Ｂ（第２Ｂの領域）とに分割されている。すな
わち３つの領域をもつ３連２重構造２２となっている。

【００７３】なお、図１１に示すＳｉ、Ｓｊなる輝度値
の合計が求められた場合、第２Ａ（２３Ａ）の各領域
（５００画素）及び第２Ｂ（３２Ｂ）の各領域（５００
画素）のそれぞれの重み値＝１とすると、各領域の演算
結果は、図１１に示すように、第１の領域３１でＦ（３
１）＝Ｓｉ（９０Ｋ）−Ｓｊ（０）＝９０Ｋ＊１０、第
２の領域３２ＡでＦ（３２Ａ）＝（Ｓｉ（４９０Ｋ）−
Ｓｊ（１８０Ｋ））＊１＝３１０Ｋ、第３の領域３２Ｂ
でＦ（３２Ｂ）＝（Ｓｉ（３９０Ｋ）−Ｓｊ（３０
Ｋ））＊１＝３６０Ｋとなり、トータルでＦ＝１５７０
Ｋ（＜Ｒ＝１０００Ｋ）となり人間であると評価される
ものである。

【００７４】次に、本発明の第２の実施例を図１２〜図
１５を参照して説明する。

【００７５】第２実施例は第１実施例のＣＣＤカメラ３
を首振り可能なステージに配設して、所望の画像位置の
ズーム画像をサンプリングできるように設けてある。そ
して、上記第１実施例の評価結果を受けて、モデル体を
図１３に示す２重構造のものにに変えて、上述同様の評
価をおこなう点に特徴がある。すなわち図１３は、図
６、図１０のモデル体２３を、図６、図１０に示す首部
Ｋ点より上方の（最上方のモデル体）領域３１を新たな
モデル体２３Ｎに変更したものである。

【００７６】したがって、第２実施例のその他の構成は
第１実施例のそれと共通しているので、図１２〜図１５
において共通部分に同一符号を付し詳細な説明を省略す
る。

【００７７】図１２に示す検査対象領域２０Ｎは、第１
実施例で示す評価結果が人間３０であることを検出した
際、モデル体２３の第１領域３１座標位置へズームして
得られる画像領域である。

【００７８】そして、図１３の２３Ｎで示す２重構造領
域を新たなモデル体としている。図の３１ａは頭部に相
当し、３１ｂは頭部周辺の背景に相当する領域である。

【００７９】このモデル体２３Ｎは、図１４に示す検査
対象領域２０Ｎを図の矢印で示すＸＹ面を移動しながら
画素演算がおこなわれるものである。

【００８０】図１２に示すモデル体２３Ｎ位置は、画素
演算Ｓｉ、Ｓｊによる演算結果から最も大きなＦが得ら
れたモデル体２３Ｎの座標位置を示すものである。既に
人間の検出がおこなわれ、最も大きなＦが得られたこの
位置は、頭部３１を捕らえる最適な位置となる。

【００８１】一方、モデル体２３Ｎを更に細かな領域
（顔や髪に当たるもの）などに分けて、上記頭部検出同
様の演算を施し評価をおこなうことで容易に人間３０の
顔部検出をおこなうことができる。

【００８２】図１５に示すモデル体２３Ｎは、図の３４
ａは顔面、３４ｂは髪、３４ｃは頭部の背景を各々示す
領域である。

【００８３】そこで、図１２の３４で示す顔部を検出す
る図１５によるモデル体２３Ｎで演算して評価をおこな
うものであれば、その検出タイミングは人の顔面３４を
捕らえたものとなり、入力ズーム画像をビデオテープ
（記憶装置）に日付けやサンプリングした時刻のデータ
と共に記録させることができる。

【００８４】なお、本実施例においてはモデル体２３を
楕円形状としたが、図１７に示す上下に連なる長方形の
多重構造体であってもかまわない。また、モデル体２３
は、図１６、図１７に示すように、２カ所で連結する３
段領域で成るものであってもよい。なお、図１６、図１
７に示すモデル体２３は、大きさが異なり略上下方向へ
連なるモデル体領域を３段状に連なる様に設けたもの
で、頭部３１（第１の領域）と体部３２（第２の領域）
と足部３３（第３の領域）とに分割したものである。

【００８５】さらに本実施例においては紙面の都合上モ
デル体２３寸法を固定したもので説明したが、赤外線カ
メラ２で得られた熱体１３の検査対象領域２０の大きさ
や高さ情報或いは赤外線量に応じて、モデル体２３の寸
法を拡大或いは縮小させてもかまわない。また、対象領
域検出手段２１は、図３に示す赤外線カメラ２で得られ
た熱体３０、４０の位置の変化を捕らえて、図４に示す
検査対象領域２０の検出をおこなうことで、予め照明４
０を検査対象から除くことも可能である。

【００８６】一方、第２実施例に示す顔部検出のモデル
体は、上記実施例に示す形状のみに限定するものではな
く、口や目或いは耳など個別の離れた領域で構成される
多重構造であってもかまわない。すなわち本発明は上記
実施例に限定されるものではなく、本発明の趣旨に基づ
き種々の変形が可能であり、これらを本発明の範囲から
排除するものではない。

【００８７】

【発明の効果】本発明によれば、熱画像を利用して高速
で検査対象領域を絞り込むと共に、使用状況や人の容姿
などに惑わされることなく正確に人間の検出をおこなう
画像処理装置を提供することができる。

【００８８】また、検出された人間を特定するための顔
面ズーム画像を捕らえる画像処理装置を実現することが
できる。

【図面の簡単な説明】

【図１】本発明の実施例を示すブロック図。

【図２】入力生画像を示す説明図。

【図３】その熱画像を示す説明図。

【図４】その検査対象領域を示す概念図。

【図５】その検査方法を示す概念図。

【図６】モデル体を示す原理図。

【図７】検査対象を示す斜視図。

【図８】その検査方法を示す概念図。

【図９】その演算方法を示す概念図。

【図１０】その他のモデル体を示す原理図。

【図１１】その演算方法を示す概念図。

【図１２】本発明の第２実施例を示す概念図。

【図１３】頭部領域を示すモデル体の原理図。

【図１４】その演算方法を示す概念図。

【図１５】顔部領域を示すモデル体の原理図。

【図１６】その他のモデル体の構成例を示す概念図。

【図１７】その他のモデル体の形状例を示す概念図。

【符号の説明】

１熱画像を利用した画像処理装置１ａ画像処理装置２赤外線カメラ（赤外線画像入力手段）３ＣＣＤカメラ（撮像手段）１０入力生画像（輝度階調を有する入力画像）１２熱画像２０検査対象領域２１対象領域検出手段２２多重構造領域（２重構造領域）２３モデル体２４演算手段２５評価手段３０人間、人３１頭部（第１の領域）３２体部（第２の領域）３２Ａ胴部（第２Ａの領域）３２Ｂ脚部（第２Ｂの領域）３３足部（第３の領域）３４顔部Ｋ首部（Ｋ点）Ｓｉ内側領域Ｓｊ外側領域

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 ＫＮ (72)発明者清水俊彦大阪府三島郡島本町江川１丁目15番16− 305 Ｆターム(参考） 5B057 AA19 BA02 BA08 BA13 CA08 CA12 CA16 CD05 CE08 CE09 DA06 DB02 DB09 DC22 5C054 AA01 CA04 CA05 FC03 FC11 FF03 HA18 5L096 AA06 BA03 CA05 EA03 EA35 FA69 FA79 HA02

Claims

【特許請求の範囲】

【請求項１】熱画像を利用して人間検出をおこなう画
像処理装置であって、熱画像をサンプリングする赤外線画像入力手段と略同一
領域内の可視画像を撮像する撮像手段とを有し、赤外線画像入力手段で捕らえた熱画像から熱体位置の検
査対象領域を求める対象領域検出手段と、多重構造領域で構成されて画像対象物を簡易モデル化し
たモデル体と、撮像手段で捕らえた入力生画像内の上記検査対象領域へ
該モデル体が重ねられて、その領域内の画素輝度値を用
いて画素演算を施す演算手段と、上記演算結果を評価する評価手段とを具備して、人間の検出をおこなうことを特徴とする熱画像を利用し
た画像処理装置。
【請求項２】モデル体が、大きさが異なり略上下方向
へ連なりかつ２重構造領域で構成されて成る請求項１記
載の熱画像を利用した画像処理装置。
【請求項３】上下に連なるモデル体の下方領域が寸法
大に設けられ、その２重構造領域が更に上下方向に２分
割されて成る請求項２記載の熱画像を利用した画像処理
装置。
【請求項４】大きさが異なり略上下方向へ連なるモデ
ル体が３段状に連なる請求項２記載の熱画像を利用した
画像処理装置。
【請求項５】演算手段が、モデル体の外側領域に該当
する画素の輝度値合計と、モデル体の内側領域に該当す
る画素の輝度値合計との差の絶対値を求める請求項１、
又は２、又は３、又は４記載の熱画像を利用した画像処
理装置。
【請求項６】対象領域検出手段が、赤外線画像入力手
段で得られた熱体の位置の変化を捕らえて検査対象領域
の検出をおこなう請求項１、又は２、又は３、又は４、
又は５記載の熱画像を利用した画像処理装置。
【請求項７】赤外線画像入力手段で得られた熱体の検
査対象領域の大きさに応じて、モデル体の寸法を拡大或
いは縮小して成る請求項１、又は２、又は３、又は４、
又は５、又は６記載の熱画像を利用した画像処理装置。
【請求項８】評価結果が人間であることを検出した
際、モデル体の最上方領域部方向へズームして得られる画像
領域を新たな検査対象領域とし、更に多重構造領域の新
たなモデル体で、人間の顔部検出をおこなう請求項１、
又は２、又は３、又は４、又は５、又は６、又は７記載
の熱画像を利用した画像処理装置。
【請求項９】評価結果が人間或いはその顔部であるこ
とを検出した際、撮像画像を記録する請求項１、又は
２、又は３、又は４、又は５、又は６、又は７、又は８
記載の熱画像を利用した画像処理装置。