JP2020095663A - 認識処理装置、認識処理方法及びプログラム - Google Patents

Abstract

【課題】雨天時であっても精度よく人物を認識することが可能な認識処理装置を提供する。【解決手段】認識処理装置１００は、条件検出部１１２、映像取得部１１４及び認識処理部１２０を有する。条件検出部１１２は、雨天である可能性が高いという雨天の条件を検出する。映像取得部１１４は、赤外線カメラ２から赤外線映像を取得する。認識処理部１２０は、雨天の条件が検出された場合に、赤外線映像において、雨具を使用している人物の雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う。【選択図】図２

Description

本発明は、認識処理装置、認識処理方法及びプログラムに関する。

特許文献１は、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知する車両用外界認識装置を開示する。特許文献１にかかる車両用外界認識装置は、傘をさしていない歩行者、および、傘をさしている歩行者の共通なパターンである、歩行者の下半身のテンプレートとの類似度を算出する。また、特許文献１にかかる車両用外界認識装置は、傘をさしている歩行者の特有のパターンである、傘を含む歩行者の上半身のテンプレートとの類似度を算出する。特許文献１にかかる車両用外界認識装置は、これらの類似度を用いて、傘をさしている歩行者の有無を判定する。

特開２０１２−１４１７４０号公報

特許文献１にかかる技術においては、カメラで撮影した画像内から、傘をさしていない歩行者及び傘をさしている歩行者の両方を検知している。しかしながら、雨天時は視界が不良となるので、通常のカメラを用いた検知方法では、検知精度が悪化するおそれがある。また、特許文献１にかかる技術においては、歩行者の下半身の識別と、傘を含む歩行者の上半身の識別とによって、歩行者を検知している。ここで、歩行者が持つ傘を撮影するとき、歩行者に対する傘の大きさ、位置及び向きなどは、歩行者を撮影する向き及び歩行者によって大きく異なり得る。したがって、特許文献１にかかる技術では、精度よく人物を検出できないおそれがある。

上記課題に鑑み、本発明は、雨天時であっても精度よく人物を認識することが可能な認識処理装置、認識処理方法及びプログラムを提供することを目的とする。

本発明にかかる認識処理装置は、赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得する映像取得部と、雨天の条件を検出する条件検出部と、雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う認識処理部とを有する。

また、本発明にかかる認識処理方法は、赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得し、雨天の条件を検出し、雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う。

また、本発明にかかるプログラムは、赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得するステップと、雨天の条件を検出するステップと、雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行うステップとをコンピュータに実行させる。

本発明によれば、雨天時であっても精度よく人物を認識することが可能な認識処理装置、認識処理方法及びプログラムを提供することができる。

実施の形態１にかかる車両を示す図である。 実施の形態１にかかる認識処理装置及び認識処理装置を有する認識システムの構成を示す図である。 実施の形態１にかかる認識処理方法を示すフローチャートである。 図３に示したフローチャートのＳ１２０〜Ｓ１３２の処理の詳細を示すフローチャートである。 傘をさした歩行者が写った赤外線映像を例示する図である。 傘をさした歩行者が写った赤外線映像を例示する図である。 実施の形態２にかかる認識処理装置及び認識処理装置を有する認識システムの構成を示す図である。 実施の形態２にかかる認識処理方法を示すフローチャートである。 図８に示したフローチャートのＳ２２０〜Ｓ２３２の処理の詳細を示すフローチャートである。 実施の形態３にかかる認識処理方法を示すフローチャートである。 図１０に示したフローチャートのＳ３２０〜Ｓ３３２の処理の詳細を示すフローチャートである。 雨合羽を着用した歩行者が写った重畳画像を例示する図である。 雨合羽を着用した歩行者が写った重畳画像を例示する図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。

図１は、実施の形態１にかかる車両１を示す図である。図１においては、車両１が、１つの赤外線カメラ２と、１つの可視光カメラ４と、認識処理装置１００とを有する例が示されている。なお、赤外線カメラ２及び可視光カメラ４は、それぞれ、２つ以上設けられていてもよい。複数の赤外線カメラ２及び可視光カメラ４が、車両１の前後及び左右を撮影してもよい。また、以下の説明では、認識処理装置１００が車両１に搭載されている例を示しているが、本実施の形態にかかる認識処理装置１００は、車両１に搭載されている必要はない。

赤外線カメラ２は、赤外線、特に遠赤外線により、車両１の周囲の映像を撮影する。そして、赤外線カメラ２は、物体の熱エネルギーを検知することで、熱画像の映像データである赤外線映像を生成する。可視光カメラ４は、可視光を受光して結像する通常のカメラである。可視光カメラ４は、物体が発する光及び物体における反射光を受光することで、車両１の周囲の映像を撮影する。そして、可視光カメラ４は、映像データである可視光映像を生成する。

認識処理装置１００は、車両１の任意の位置に設置され得る。認識処理装置１００は、車両１が備えるＣＡＮ（Control Area Network）に接続され得る。認識処理装置１００は、赤外線カメラ２によって撮影された映像において、認識辞書を用いて、歩行者等の人物を認識する人物認識を行う。詳しくは後述する。なお、以下、用語「映像」は、情報処理における処理対象としての、「映像を示す映像データ」も意味する。同様に、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。また、用語「音声」は、情報処理における処理対象としての、「音声を示す音声データ」も意味する。

図２は、実施の形態１にかかる認識処理装置１００及び認識処理装置１００を有する認識システム５０の構成を示す図である。実施の形態１にかかる認識システム５０は、ＣＡＮ１０と、赤外線カメラ２と、認識辞書記憶部２０と、表示部３０と、認識処理装置１００とを有する。なお、認識処理装置１００は、赤外線カメラ２、認識辞書記憶部２０及び表示部３０の少なくとも１つを有してもよい。ＣＡＮ１０は、車両１のネットワークを構成しており、車両１の多数の構成要素を接続している。

認識辞書記憶部２０は、認識処理装置１００が人物を認識するために使用される認識辞書を示す辞書データを記憶する。認識辞書は、例えば、機械学習によって生成される学習済みモデルである。認識辞書は、認識処理装置１００が、映像において歩行者等の人物を検出する際に用いられる。認識辞書記憶部２０は、晴天又は曇天等の雨天時ではないときに使用される通常認識辞書と、雨天時に使用される雨天用認識辞書とを記憶する。なお、用語「認識辞書」は、情報処理における処理対象としての、「認識辞書を示す辞書データ」も意味する。また、以降、晴天又は曇天等の雨天時ではないときを、単に「晴天時」と称する。また、「雨天時」は、降雨時だけでなく降雪時も含み得る。

通常認識辞書は、例えば、人物の頭部から足部までの全身を撮影した多数の映像（赤外線映像）を用いて機械学習により生成され得る。これにより、晴天時では、全身が遮蔽されていない人物の映像が撮影されたときに、通常認識辞書を用いて、その映像に人物が写っていることが認識される。

一方、雨天用認識辞書は、雨具を使用した人物の、雨具により隠れない部分を撮影した多数の映像（赤外線映像）を用いて機械学習により生成され得る。雨天用認識辞書は、例えば、傘をさした人物の、傘により隠れない部分を撮影した多数の映像（赤外線映像）を用いて機械学習により生成され得る。例えば、雨天用認識辞書は、傘をさした人物の脚部の映像を用いて、生成され得る。また、雨天用認識辞書は、傘をさした人物の傘を把持している腕部の映像を用いて、生成され得る。腕部の映像は、傘を把持したときの少し曲がった肘、及び、傘を把持した手の甲などを含み得る。これにより、雨天時では、傘をさした人物の映像が撮影されたときに、雨天用認識辞書を用いて、その映像に人物の脚部又は腕部が写っていることが認識される。さらに、雨天用認識辞書は、例えば、雨合羽を着用した人物の、雨合羽により隠れない部分を撮影した多数の映像（赤外線映像）を用いて機械学習により生成され得る。例えば、雨天用認識辞書は、雨合羽を着用した人物の脚部の映像を用いて、生成され得る。また、雨天用認識辞書は、雨合羽を着用した人物の、雨合羽に覆われていない手部及び脚部の映像を用いて、生成され得る。手部の映像は、手の甲などを含み得る。これにより、雨天時では、雨合羽を着用した人物の映像が撮影されたときに、雨天用認識辞書を用いて、その映像に人物の脚部又は手部が写っていることが認識される。ここで、雨天用認識辞書を生成する際、脚部の映像と腕部（又は手部）の映像とが、別個に学習される。したがって、雨天用認識辞書は、脚部の認識辞書と腕部（又は手部）の認識辞書とを別個に含む。つまり、認識処理装置１００は、雨天用認識辞書を用いて、赤外線映像から、脚部のパーツ検出を行う。同様に、認識処理装置１００は、雨天用認識辞書を用いて、赤外線映像から、腕部（又は手部）のパーツ検出を行う。

表示部３０は、例えばディスプレイ等である。表示部３０は、認識処理装置１００の制御により映像を表示する。なお、表示部３０は、スピーカを含んでもよい。この場合、表示部３０は、スピーカから音声を出力してもよい。また、認識処理装置１００が車両１に搭載される場合、表示部３０は、車両１の内部に、車両の運転者が運転中に視認できる位置に設けられる。この場合、表示部３０は、後述するインタフェース部１０８によって実現されてもよい。

認識処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８（ＩＦ；Interface）とを有する。制御部１０２、記憶部１０４、通信部１０６及びインタフェース部１０８は、データバスなどを介して相互に接続されている。つまり、認識処理装置１００は、コンピュータとしての機能を有する。

制御部１０２は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１０２は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部１０４は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部１０４は、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等である。記憶部１０４は、制御部１０２によってまたは制御部１０２の機能として実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部１０４は、処理データ等を一時的に記憶するための機能を有する。

通信部１０６は、ＣＡＮ１０と通信を行うために必要な処理を行う。通信部１０６は、通信ポートを含み得る。インタフェース部１０８（ＩＦ；Interface）は、例えばユーザインタフェース（ＵＩ）である。インタフェース部１０８は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。

また、認識処理装置１００は、条件検出部１１２と、映像取得部１１４と、認識処理部１２０と、表示制御部１２２とを有する。なお、条件検出部１１２、映像取得部１１４、認識処理部１２０及び表示制御部１２２は、例えば、制御部１０２の制御によって、プログラムを実行させることによって実現できる。より具体的には、条件検出部１１２、映像取得部１１４、認識処理部１２０及び表示制御部１２２は、記憶部１０４に格納されたプログラムを、制御部１０２が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、条件検出部１１２、映像取得部１１４、認識処理部１２０及び表示制御部１２２を実現するようにしてもよい。以上のことは、後述する他の実施の形態においても同様である。

また、条件検出部１１２、映像取得部１１４、認識処理部１２０及び表示制御部１２２は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、条件検出部１１２、映像取得部１１４、認識処理部１２０及び表示制御部１２２は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。以上のことは、後述する他の実施の形態においても同様である。

条件検出部１１２は、雨天である可能性が高いという雨天の条件を検出する。例えば、条件検出部１１２は、ＣＡＮ１０から車両１のワイパーが動作している旨の情報を取得することで、雨天の条件を検出してもよい。また、例えば、条件検出部１１２は、車両１に搭載された雨滴センサが雨滴を検出した旨の情報をＣＡＮ１０から取得することで、雨天の条件を検出してもよい。また、例えば、条件検出部１１２は、雨天である旨の気象情報をＣＡＮ１０から取得することで、雨天の条件を検出してもよい。

映像取得部１１４は、赤外線カメラ２から赤外線映像を取得する。認識処理部１２０は、赤外線映像において人物認識を行う。ここで、認識処理部１２０は、雨天の条件が検出された場合に、赤外線映像において、雨具を使用している人物の雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う。例えば、認識処理部１２０は、雨天の条件が検出された場合に、赤外線映像において、傘をさしている人物の傘により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う。具体的には、認識処理部１２０は、赤外線映像において人物の脚部と腕部とを別個に検出することによって、人物認識を行う。同様に、認識処理部１２０は、雨天の条件が検出された場合に、赤外線映像において、雨合羽を着用している人物の雨合羽により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う。具体的には、認識処理部１２０は、赤外線映像において人物の脚部と手部とを別個に検出することによって、人物認識を行う。詳しくは後述する。

なお、認識処理部１２０は、映像取得部１１４によって取得された映像データに対し、映像データを構成するフレーム毎、又は所定間隔のフレーム毎に、人物認識処理を行う。この場合、認識処理部１２０は、認識対象のフレームを構成する画像に対し、通常認識辞書を用いて、例えば、検出窓が画像の左上部から右下部に走査するようにして、人物認識処理を行う。また、認識処理部１２０は、認識対象のフレームを構成する画像に対し、雨天用認識辞書を用いて、例えば、検出窓が画像の左上部から右下部に走査するようにして、人物の脚部及び腕部（又は手部）の検出処理を行う。

表示制御部１２２は、認識処理部１２０の処理結果に応じて、表示部３０に画像を表示させるための制御を行う。例えば、表示制御部１２２は、認識処理部１２０によって人物が認識されたときに、歩行者が車両１の前方等に存在する旨の警告を、表示部３０に表示させてもよい。

図３は、実施の形態１にかかる認識処理方法を示すフローチャートである。なお、以下の例では、歩行者が使用している雨具が傘である場合の例を示したが、歩行者が使用している雨具が雨合羽である場合も同様である。条件検出部１１２が雨天条件を検出しなかった場合（ステップＳ１００のＮＯ）、認識処理部１２０は、認識辞書記憶部２０に記憶された認識辞書から、通常認識辞書を選択する（ステップＳ１０２）。映像取得部１１４は、赤外線カメラ２から赤外線映像を取得する（ステップＳ１０４）。認識処理部１２０は、通常認識辞書を用いて、赤外線映像において人物の全身を検出すると（ステップＳ１０６）、赤外線映像に写った画像を歩行者として認識する（ステップＳ１０８）。

一方、条件検出部１１２が雨天条件を検出した場合（Ｓ１００のＹＥＳ）、認識処理部１２０は、認識辞書記憶部２０に記憶された認識辞書から、雨天用認識辞書を選択する（ステップＳ１１２）。映像取得部１１４は、赤外線カメラ２から赤外線映像を取得する（ステップＳ１１４）。認識処理部１２０は、脚部に対応する雨天用認識辞書を用いて、赤外線映像において人物の脚部を検出する（ステップＳ１１６）。また、認識処理部１２０は、腕部に対応する雨天用認識辞書を用いて、赤外線映像において人物の腕部を検出する（ステップＳ１１８）。

次に、認識処理部１２０は、赤外線映像において、検出された脚部と腕部とが特定の位置関係であるか否かを判定する（ステップＳ１２０）。この判定は、赤外線映像を用いた画像処理によって行われ得る。検出された脚部と腕部とが特定の位置関係であると判定された場合（Ｓ１２０のＹＥＳ）、認識処理部１２０は、赤外線映像に写った物体を歩行者として認識する（ステップＳ１３０）。一方、検出された脚部と腕部とが特定の位置関係であると判定されなかった場合（Ｓ１２０のＮＯ）、認識処理部１２０は、赤外線映像に写った物体を歩行者として認識しない（ステップＳ１３２）。

図４は、図３に示したフローチャートのＳ１２０〜Ｓ１３２の処理の詳細を示すフローチャートである。認識処理部１２０は、赤外線映像において、脚部よりも腕部が上にあるか否かを判定する（ステップＳ１２２）。脚部よりも腕部が上にあると判定されなかった場合（Ｓ１２２のＮＯ）、認識処理部１２０は、赤外線映像に写った物体を歩行者として認識しない（Ｓ１３２）。つまり、認識処理部１２０は、脚部よりも腕部が上にない場合は、その脚部及び腕部が１人の人物に対応しないと判定する。

一方、脚部よりも腕部が上にあると判定された場合（Ｓ１２２のＹＥＳ）、認識処理部１２０は、赤外線映像において、脚部及び腕部が特定のエリア内にあるか否かを判定する（ステップＳ１２４）。ここで、「特定のエリア」とは、例えば、検出された脚部を含む矩形画像から特定され得る。例えば、特定のエリアは、脚部を含む矩形画像を横に１．５倍、縦に２倍拡大して形成されたエリアである。詳しくは、図５及び図６を用いて後述する。

脚部及び腕部が特定のエリア内にないと判定された場合（Ｓ１２４のＮＯ）、認識処理部１２０は、赤外線映像に写った物体を歩行者として認識しない（Ｓ１３２）。つまり、認識処理部１２０は、脚部及び腕部が特定のエリア内にない場合は、その脚部及び腕部が１人の人物に対応しないと判定する。一方、脚部及び腕部が特定のエリア内にあると判定された場合（Ｓ１２４のＹＥＳ）、認識処理部１２０は、赤外線映像に写った物体を歩行者として認識する（Ｓ１３０）。つまり、認識処理部１２０は、赤外線映像において、腕部が脚部よりも上にあり、且つ、脚部及び腕部が特定のエリア内にある場合は、その脚部及び腕部が１人の人物に対応すると判定する。

図５及び図６は、傘をさした歩行者９０が写った赤外線映像を例示する図である。図５は、傘をさした歩行者９０を横から撮影した赤外線映像である。図６は、傘をさした歩行者９０を後ろから撮影した赤外線映像である。なお、認識辞書記憶部２０は、前後左右から撮影された雨天時の人物の脚部及び腕部それぞれの赤外線映像を学習させて生成された雨天用認識辞書を記憶し得る。したがって、認識処理装置１００は、図５の赤外線映像及び図６の赤外線映像のいずれが取得された場合でも、実質的に同様の人物認識処理を行い得る。なお、通常、傘は熱を持たないので、図５及び図６に示すように、赤外線映像では、傘８０の画像は、検出可能な程度には現れない。

認識処理部１２０は、雨天用認識辞書を用いて、歩行者９０の脚部を含む矩形画像である脚部画像９２を検出する。また、認識処理部１２０は、雨天用認識辞書を用いて、歩行者９０の腕部を含む矩形画像である腕部画像９４を検出する。認識処理部１２０は、図５及び図６の赤外線映像において、腕部画像９４が脚部画像９２よりも上にあると判定する。また、認識処理部１２０は、脚部画像９２を用いて特定エリア９６を特定する。ここで、特定エリア９６は、１人の歩行者９０を包含する可能性の高いエリアを示す。脚部画像９２の幅をＷとし、高さをＨとすると、認識処理部１２０は、特定エリア９６の横方向の範囲Ｗ’を、脚部画像９２の中心を中心とした幅１．５＊Ｗの範囲とする。また、認識処理部１２０は、特定エリア９６の縦方向の範囲Ｈ’を、脚部画像９２の下端から高さ２＊Ｈの範囲とする。このように特定エリア９６の範囲を特定することで、特定エリア９６に歩行者９０が含まれ得る。

そして、認識処理部１２０は、図５及び図６の赤外線映像において、腕部画像９４及び脚部画像９２が、特定エリア９６内にあると判定する。したがって、認識処理部１２０は、図５及び図６の赤外線映像において、人物が写っていると判定する。つまり、認識処理部１２０は、赤外線映像において、特定エリア９６内にある物体を人物つまり歩行者として認識する。

上述したように、本実施の形態にかかる認識処理装置１００は、赤外線により周囲の映像を撮影した赤外線映像を用いて、人物認識を行うように構成されている。赤外線映像を用いることにより、可視光による映像を用いる場合と比較して、認識の精度を高くすることが可能となる。すなわち、可視光による人物認識では、人物と背景とのエッジ検出が難しい可能性があるが、赤外線映像を用いると、通常、人間の体温は周囲の物体の温度よりも高いので、人物と周囲との区別がつきやすい。さらに、このことは、雨天時及び夜間時等の視界が不良である場合に、特に顕著である。視界が不良である場合は、可視光を用いても人物認識を行うことは困難である。しかしながら、赤外線映像を用いることで、視界が不良であっても、人物認識を精度よく行うことができる。

また、本実施の形態にかかる認識処理装置１００は、雨天の条件が検出された場合に、雨天用認識辞書を用いて人物認識を行うように構成されている。これにより、晴天時は通常認識辞書を用いて人物認識を行い、雨天時は雨天用認識辞書を用いて人物認識を行うことができる。つまり、晴天時と雨天時とで用いる認識辞書を切り替えることができるので、人物認識の精度を向上させることができる。すなわち、晴天時では、歩行者は傘をさしていないので、歩行者の全身を検出することができる可能性が高いのに対し、雨天時では、歩行者は傘をさしているので、頭部が傘で隠れてしまう。このように、晴天時と雨天時とで、歩行者の特徴が異なるので、晴天時と雨天時とで区別せずに機械学習を行うと、汎化性能が低くなり、人物認識の精度が低くなり得る。したがって、晴天時と雨天時とで別個に機械学習を行って別の認識辞書を生成することで、人物認識の精度を向上させることが可能となる。このことは、歩行者が使用している雨具が雨合羽である場合も同様である。

さらに、本実施の形態にかかる認識処理装置１００は、雨天の条件が検出された場合に、赤外線映像において、傘をさしている人物の傘により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行うように構成されている。これにより、脚部及び腕部等の、雨天時でも赤外線映像に現れる人物の部分を検出して人物認識を行うことができるので、認識の精度を向上させることが可能となる。なお、傘は人間ほど熱エネルギーを発しないので、赤外線映像には、傘の画像は顕著に現れない。しかしながら、実施の形態１にかかる認識処理装置１００は、傘を検出しなくても人物認識を行うことが可能である。このことは、歩行者が使用している雨具が雨合羽である場合も同様である。

また、実施の形態１にかかる認識処理装置１００は、赤外線映像において人物の脚部と腕部とを別個に検出することによって、人物認識を行うように構成されている。脚部及び腕部の両方が写っている映像で機械学習を行うと、特徴が増加するので、汎化性能が低くなり、したがって人物認識の精度が低くなり得る。これに対し、本実施の形態のように、脚部と腕部とで別個に機械学習を行うことで、汎化性能の低下を抑制できる。したがって、脚部と腕部とを別個に検出するような、雨天用認識辞書を用いることにより、脚部及び腕部を、それぞれ、より確実に検出することができる。したがって、人物認識の精度をより向上させることが可能となる。このことは、歩行者が使用している雨具が雨合羽であって脚部と手部とを別個に検出する場合も同様である。

さらに、実施の形態１にかかる認識処理装置１００は、赤外線映像において脚部と腕部とが予め定められた特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と腕部とが特定の位置関係である場合、検出された脚部及び腕部が１人の人物のものであり得る。したがって、さらに精度よく、人物認識を行うことが可能となる。このことは、歩行者が使用している雨具が雨合羽であって脚部と手部とを別個に検出する場合も同様である。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、赤外線映像に加えて、可視光カメラ４によって撮影された可視光映像を用いて人物認識を行う点で、実施の形態１と異なる。なお、実施の形態２にかかる車両１のハードウェア構成については、実施の形態１にかかるものと実質的に同様であるので、説明を省略する。

図７は、実施の形態２にかかる認識処理装置１００及び認識処理装置１００を有する認識システム５０の構成を示す図である。実施の形態２にかかる認識システム５０は、ＣＡＮ１０と、赤外線カメラ２と、可視光カメラ４と、認識辞書記憶部２０と、表示部３０と、認識処理装置１００とを有する。

実施の形態２にかかる認識辞書記憶部２０は、上述した通常認識辞書と雨天用認識辞書とを記録する。ここで、実施の形態２においては、雨天用認識辞書は、上述した脚部の認識辞書及び腕部の認識辞書に加えて、歩行者がさしている傘の認識辞書を含む。傘の認識辞書は、例えば、歩行者がさしている傘を撮影した多数の映像（可視光映像）を用いて機械学習により生成され得る。なお、上述したように、傘はあまり熱エネルギーを発しないので、赤外線映像には、傘の画像は顕著に現れない。したがって、傘を検出する際には、傘を撮影した可視光映像を用いて機械学習により生成された認識辞書を用いて、可視光映像から傘を検出する方がよい。

実施の形態２にかかる認識処理装置１００は、主要なハードウェア構成として、制御部１０２と、記憶部１０４と、通信部１０６と、インタフェース部１０８とを有する。また、認識処理装置１００は、条件検出部１１２と、映像取得部２１４と、認識処理部２２０と、表示制御部１２２とを有する。なお、実施の形態１にかかる構成要素と実質的に同じ構成要素については、説明を省略する。

映像取得部２１４は、赤外線カメラ２から赤外線映像を取得する。映像取得部２１４は、さらに、可視光カメラ４から可視光映像を取得する。認識処理部２２０は、赤外線映像及び可視光映像を用いて人物認識を行う。ここで、認識処理部２２０は、赤外線映像において脚部及び腕部といった人物の部分を検出し、可視光映像において傘を検出することによって、人物認識を行う。詳しくは後述する。

なお、認識処理部２２０は、映像取得部２１４によって取得された映像データに対し、映像データを構成するフレーム毎、又は所定間隔のフレーム毎に、人物認識処理を行う。ここで、赤外線カメラ２の画角は、可視光カメラ４の画角と一致しているとする。映像取得部２１４は、互いに同じタイミングで撮影された赤外線映像のフレームと可視光映像のフレームとを対応付ける。そして、映像取得部２１４は、赤外線カメラ２の位置と可視光カメラ４の位置とのずれに応じて赤外線映像のフレームと可視光映像のフレームとの位置関係を校正する。これにより、同じタイミングで撮影された赤外線映像と可視光映像との位置座標が概ね一致する。したがって、これらの赤外線映像と可視光映像とを重ね合せたときに、両者に写った物体の位置が一致し得る。なお、映像取得部２１４によって行われる上述したような校正処理は、認識処理部２２０が行ってもよい。

図８は、実施の形態２にかかる認識処理方法を示すフローチャートである。条件検出部１１２が雨天条件を検出しなかった場合（ステップＳ２００のＮＯ）、認識処理部２２０は、認識辞書記憶部２０に記憶された認識辞書から、通常認識辞書を選択する（ステップＳ２０２）。映像取得部２１４は、赤外線カメラ２から赤外線映像を取得する（ステップＳ２０４）。認識処理部２２０は、通常認識辞書を用いて、赤外線映像において人物の全身を検出すると（ステップＳ２０６）、赤外線映像に写った画像を歩行者として認識する（ステップＳ２０８）。

一方、条件検出部１１２が雨天条件を検出した場合（Ｓ２００のＹＥＳ）、認識処理部２２０は、認識辞書記憶部２０に記憶された認識辞書から、雨天用認識辞書を選択する（ステップＳ２１２）。映像取得部２１４は、赤外線カメラ２から赤外線映像を取得し、可視光カメラ４から可視光映像を取得する（ステップＳ２１４）。認識処理部２２０は、脚部に対応する雨天用認識辞書を用いて、赤外線映像において人物の脚部を検出する（ステップＳ２１６）。また、認識処理部２２０は、腕部に対応する雨天用認識辞書を用いて、赤外線映像において人物の腕部を検出する（ステップＳ２１８）。また、認識処理部２２０は、傘に対応する雨天用認識辞書を用いて、可視光映像において傘を検出する（ステップＳ２１９）。

次に、認識処理部２２０は、赤外線映像において、検出された脚部と腕部と傘とが特定の位置関係であるか否かを判定する（ステップＳ２２０）。この判定は、赤外線映像のフレームと可視光映像のフレームとを重畳させて得られた重畳画像における画像処理によって行われ得る。検出された脚部と腕部と傘とが特定の位置関係であると判定された場合（Ｓ２２０のＹＥＳ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識する（ステップＳ２３０）。一方、検出された脚部と腕部と傘とが特定の位置関係であると判定されなかった場合（Ｓ２２０のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（ステップＳ２３２）。

図９は、図８に示したフローチャートのＳ２２０〜Ｓ２３２の処理の詳細を示すフローチャートである。認識処理部２２０は、Ｓ２１６の処理で腕部が検出できたか否かを判定する（ステップＳ２２１）。腕部が検出できた場合（Ｓ２２１のＹＥＳ）、認識処理部２２０は、重畳画像において、下から、脚部、腕部、傘の順にこれらが存在しているか否かを判定する（ステップＳ２２２）。つまり、認識処理部２２０は、重畳画像において、腕部が脚部よりも上にあり、傘が腕部よりも上にあるか否かを判定する。下から脚部、腕部、傘の順にこれらが存在していると判定されなかった場合（Ｓ２２２のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ２３２）。つまり、認識処理部２２０は、下から脚部、腕部、傘の順にこれらが存在しない場合は、その脚部、腕部及び傘が１人の人物に対応しないと判定する。

一方、下から脚部、腕部、傘の順にこれらが存在していると判定された場合（Ｓ２２２のＹＥＳ）、認識処理部２２０は、重畳画像において、脚部、腕部及び傘が特定のエリア内にあるか否かを判定する（ステップＳ２２４）。ここで、「特定のエリア」は、実施の形態１と同様に、脚部画像から特定されるものであってもよい。なお、実施の形態１では、特定のエリアは、脚部を含む矩形画像を横に１．５倍、縦に２倍拡大したエリアであるとした。しかしながら、開いた傘の横幅を考慮して、実施の形態２では、歩行者によって把持された傘が特定のエリアに含まれるようにするため、例えば、脚部を含む矩形画像を横に３倍、縦に２倍拡大したエリアとしてもよい。

脚部、腕部及び傘が特定のエリア内にないと判定された場合（Ｓ２２４のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ２３２）。つまり、認識処理部２２０は、脚部、腕部及び傘が特定のエリア内にない場合は、その脚部、腕部及び傘が１人の人物に対応しないと判定する。一方、脚部、腕部及び傘が特定のエリア内にあると判定された場合（Ｓ２２４のＹＥＳ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識する（Ｓ２３０）。つまり、認識処理部２２０は、重畳画像において、腕部が脚部よりも上にあり、傘が腕部よりも上にあり、且つ、脚部、腕部及び傘が特定のエリア内にある場合は、その脚部、腕部及び傘が１人の人物に対応すると判定する。

一方、傘で隠された等のため腕部が検出できなかった場合（Ｓ２２１のＮＯ）、認識処理部２２０は、重畳画像において、脚部よりも傘が上にあるか否かを判定する（ステップＳ２２６）。脚部よりも傘が上にあると判定されなかった場合（Ｓ２２６のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ２３２）。つまり、認識処理部２２０は、脚部よりも傘が上にない場合は、その脚部及び傘が１人の人物に対応しないと判定する。

一方、脚部よりも傘が上にあると判定された場合（Ｓ２２６のＹＥＳ）、認識処理部２２０は、重畳画像において、脚部及び傘が特定のエリア内にあるか否かを判定する（ステップＳ２２８）。なお、「特定のエリア」は、Ｓ２２４の処理で例示したものであってもよい。

脚部及び傘が特定のエリア内にないと判定された場合（Ｓ２２８のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ２３２）。つまり、認識処理部２２０は、脚部及び傘が特定のエリア内にない場合は、その脚部及び傘が１人の人物に対応しないと判定する。一方、脚部及び傘が特定のエリア内にあると判定された場合（Ｓ２２８のＹＥＳ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識する（Ｓ２３０）。つまり、認識処理部２２０は、重畳画像において、傘が脚部よりも上にあり、且つ、脚部及び傘が特定のエリア内にある場合は、その脚部及び傘が１人の人物に対応すると判定する。

上述したように、実施の形態２にかかる認識処理装置１００は、赤外線映像において傘をさしている人物の傘により隠れない１つ以上の部分を検出し、可視光映像において傘を検出することで、人物認識を行うように構成されている。これにより、赤外線映像及び可視光映像を両方用いて人物認識を行うので、人物認識の精度を向上させることが可能となる。さらに、人物の部分と傘とを別個に検出することで、人物の部分と傘とが写っている映像で機械学習を行う場合と比較して、特徴の増加が抑制されるので、汎化性能の低下を抑制できる。したがって、人物認識の精度を向上させることが可能となる。

また、実施の形態２にかかる認識処理装置１００は、赤外線映像において人物の脚部を検出し、検出された傘と脚部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と傘とが特定の位置関係である場合、検出された脚部及び傘が１人の人物のものであり得る。したがって、さらに精度よく、人物認識を行うことが可能となる。また、腕部が検出されなくても、精度よく人物認識を行うことが可能となる。

また、実施の形態２にかかる認識処理装置１００は、赤外線映像において人物の腕部をさらに検出し、検出された傘と脚部と腕部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と腕部と傘とが特定の位置関係である場合、検出された脚部、腕部及び傘が１人の人物のものであり得る。したがって、さらに精度よく、人物認識を行うことが可能となる。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、可視光カメラ４によって撮影された可視光映像を用いて雨合羽を検出する点で、実施の形態２と異なる。なお、実施の形態３にかかる車両１のハードウェア構成及び認識システム５０の構成については、実施の形態２にかかるものと実質的に同様であるので、以下に特記する記載を除き、説明を省略する。なお、上述した実施の形態２及び後述する実施の形態３では、可視光カメラ４によって撮影された可視光映像を用いて、歩行者が使用している雨具（傘又は雨合羽）が検出される。

実施の形態３にかかる認識辞書記憶部２０は、上述した通常認識辞書と雨天用認識辞書とを記録する。ここで、実施の形態３においては、雨天用認識辞書は、上述した脚部の認識辞書及び腕部又は手部の認識辞書に加えて、歩行者が着用している雨合羽の認識辞書を含む。言い換えると、実施の形態３にかかる雨天用認識辞書は、上述した脚部の認識辞書及び腕部又は手部の認識辞書に加えて、雨合羽で覆われた歩行者の胴体部及び頭部の認識辞書を含む。雨合羽の認識辞書は、例えば、歩行者が着用している雨合羽を撮影した多数の映像（可視光映像）を用いて機械学習により生成され得る。なお、傘と同様に、雨合羽はあまり熱エネルギーを発しないので、赤外線映像には、雨合羽の画像は顕著に現れない。したがって、雨合羽を検出する際には、雨合羽を撮影した可視光映像を用いて機械学習により生成された認識辞書を用いて、可視光映像から雨合羽を検出する方がよい。また、実施の形態３にかかる認識処理部２２０は、赤外線映像において脚部及び手部といった人物の部分を検出し、可視光映像において雨合羽を検出することによって、人物認識を行う。詳しくは後述する。

図１０は、実施の形態３にかかる認識処理方法を示すフローチャートである。条件検出部１１２が雨天条件を検出しなかった場合（ステップＳ３００のＮＯ）、認識処理部２２０は、認識辞書記憶部２０に記憶された認識辞書から、通常認識辞書を選択する（ステップＳ３０２）。映像取得部２１４は、赤外線カメラ２から赤外線映像を取得する（ステップＳ３０４）。認識処理部２２０は、通常認識辞書を用いて、赤外線映像において人物の全身を検出すると（ステップＳ３０６）、赤外線映像に写った画像を歩行者として認識する（ステップＳ３０８）。

一方、条件検出部１１２が雨天条件を検出した場合（Ｓ３００のＹＥＳ）、認識処理部２２０は、認識辞書記憶部２０に記憶された認識辞書から、雨天用認識辞書を選択する（ステップＳ３１２）。映像取得部２１４は、赤外線カメラ２から赤外線映像を取得し、可視光カメラ４から可視光映像を取得する（ステップＳ３１４）。認識処理部２２０は、脚部に対応する雨天用認識辞書を用いて、赤外線映像において人物の脚部を検出する（ステップＳ３１６）。また、認識処理部２２０は、手部に対応する雨天用認識辞書を用いて、赤外線映像において人物の手部を検出する（ステップＳ３１８）。また、認識処理部２２０は、雨合羽に対応する雨天用認識辞書を用いて、可視光映像において雨合羽を検出する（ステップＳ３１９）。つまり、認識処理部２２０は、雨合羽に対応する雨天用認識辞書を用いて、可視光映像において、雨合羽で覆われた歩行者の胴体部及び頭部を検出する。

次に、認識処理部２２０は、赤外線映像において、検出された脚部と手部と雨合羽とが特定の位置関係であるか否かを判定する（ステップＳ３２０）。この判定は、赤外線映像のフレームと可視光映像のフレームとを重畳させて得られた重畳画像における画像処理によって行われ得る。検出された脚部と手部と雨合羽とが特定の位置関係であると判定された場合（Ｓ３２０のＹＥＳ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識する（ステップＳ３３０）。一方、検出された脚部と手部と雨合羽とが特定の位置関係であると判定されなかった場合（Ｓ３２０のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（ステップＳ３３２）。

図１１は、図１０に示したフローチャートのＳ３２０〜Ｓ３３２の処理の詳細を示すフローチャートである。認識処理部２２０は、Ｓ３１６の処理で手部が検出できたか否かを判定する（ステップＳ３２１）。手部が検出できた場合（Ｓ３２１のＹＥＳ）、認識処理部２２０は、重畳画像において、脚部の上に手部及び雨合羽があるか否かを判定する（ステップＳ３２２）。脚部の上に手部及び雨合羽があると判定されなかった場合（Ｓ３２２のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ３３２）。つまり、認識処理部２２０は、脚部の上に手部及び雨合羽がない場合は、その脚部、手部及び雨合羽が１人の人物に対応しないと判定する。

一方、脚部の上に手部及び雨合羽があると判定された場合（Ｓ３２２のＹＥＳ）、認識処理部２２０は、重畳画像において、脚部、手部及び雨合羽が特定のエリア内にあるか否かを判定する（ステップＳ３２４）。ここで、「特定のエリア」は、実施の形態１及び実施の形態２と同様に、脚部画像から特定されるものであってもよい。

脚部、手部及び雨合羽が特定のエリア内にないと判定された場合（Ｓ３２４のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ３３２）。つまり、認識処理部２２０は、脚部、手部及び雨合羽が特定のエリア内にない場合は、その脚部、手部及び雨合羽が１人の人物に対応しないと判定する。一方、脚部、手部及び雨合羽が特定のエリア内にあると判定された場合（Ｓ３２４のＹＥＳ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識する（Ｓ３３０）。つまり、認識処理部２２０は、重畳画像において、手部及び雨合羽が脚部よりも上にあり、且つ、脚部、手部及び雨合羽が特定のエリア内にある場合は、その脚部、手部及び雨合羽が１人の人物に対応すると判定する。

一方、雨合羽で隠された等のため手部が検出できなかった場合（Ｓ３２１のＮＯ）、認識処理部２２０は、重畳画像において、脚部よりも雨合羽が上にあるか否かを判定する（ステップＳ３２６）。脚部よりも雨合羽が上にあると判定されなかった場合（Ｓ３２６のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ３３２）。つまり、認識処理部２２０は、脚部よりも雨合羽が上にない場合は、その脚部及び雨合羽が１人の人物に対応しないと判定する。

一方、脚部よりも雨合羽が上にあると判定された場合（Ｓ３２６のＹＥＳ）、認識処理部２２０は、重畳画像において、脚部及び雨合羽が特定のエリア内にあるか否かを判定する（ステップＳ３２８）。なお、「特定のエリア」は、Ｓ３２４の処理で例示したものであってもよい。

脚部及び雨合羽が特定のエリア内にないと判定された場合（Ｓ３２８のＮＯ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない（Ｓ３３２）。つまり、認識処理部２２０は、脚部及び雨合羽が特定のエリア内にない場合は、その脚部及び傘が１人の人物に対応しないと判定する。一方、脚部及び雨合羽が特定のエリア内にあると判定された場合（Ｓ３２８のＹＥＳ）、認識処理部２２０は、赤外線映像及び可視光映像に写った物体を歩行者として認識する（Ｓ３３０）。つまり、認識処理部２２０は、重畳画像において、雨合羽が脚部よりも上にあり、且つ、脚部及び雨合羽が特定のエリア内にある場合は、その脚部及び雨合羽が１人の人物に対応すると判定する。

図１２及び図１３は、雨合羽を着用した歩行者９０が写った重畳画像を例示する図である。図１２に示す重畳画像には、雨合羽を着用した歩行者９０の手部が写っている。一方、図１３に示す重畳画像には、雨合羽を着用した歩行者９０の手部は写っていない。

図１２に示す重畳画像が得られた場合、認識処理部２２０は、雨天用認識辞書を用いて、歩行者９０の手部を含む矩形画像である手部画像９３を検出する。また、認識処理部２２０は、雨天用認識辞書を用いて、歩行者９０の脚部を含む矩形画像である脚部画像９２を検出する。また、認識処理部２２０は、雨天用認識辞書を用いて、雨合羽を含む矩形画像である雨合羽画像８２を検出する。認識処理部２２０は、図１２に示す重畳画像において、脚部画像９２の上に手部画像９３及び雨合羽画像８２があると判定する。また、認識処理部２２０は、実施の形態１と同様に、脚部画像９２を用いて特定エリア９６を特定する。そして、認識処理部２２０は、図１２に示す重畳画像において、脚部画像９２、手部画像９３及び雨合羽画像８２が特定エリア９６内にあると判定する。したがって、認識処理部２２０は、図１２の重畳画像において、人物が写っていると判定する。

一方、図１３に示す重畳画像が得られた場合、認識処理部２２０は、手部画像９３を検出しない。この場合、認識処理部２２０は、雨天用認識辞書を用いて、歩行者９０の脚部を含む矩形画像である脚部画像９２を検出する。また、認識処理部２２０は、雨天用認識辞書を用いて、雨合羽を含む矩形画像である雨合羽画像８２を検出する。認識処理部２２０は、図１３に示す重畳画像において、脚部画像９２の上に雨合羽画像８２があると判定する。また、認識処理部２２０は、実施の形態１と同様に、脚部画像９２を用いて特定エリア９６を特定する。そして、認識処理部２２０は、図１３に示す重畳画像において、脚部画像９２及び雨合羽画像８２が特定エリア９６内にあると判定する。したがって、認識処理部２２０は、図１３の重畳画像において、人物が写っていると判定する。

上述したように、実施の形態３にかかる認識処理装置１００は、赤外線映像において雨合羽を着用している人物の雨合羽により隠れない１つ以上の部分を検出し、可視光映像において雨合羽を検出することで、人物認識を行うように構成されている。これにより、赤外線映像及び可視光映像を両方用いて人物認識を行うので、人物認識の精度を向上させることが可能となる。さらに、人物の部分と雨合羽とを別個に検出することで、人物の部分と雨合羽とが写っている映像で機械学習を行う場合と比較して、特徴の増加が抑制されるので、汎化性能の低下を抑制できる。したがって、実施の形態２と同様に、人物認識の精度を向上させることが可能となる。

また、実施の形態３にかかる認識処理装置１００は、赤外線映像において人物の脚部を検出し、検出された雨合羽と脚部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と雨合羽とが特定の位置関係である場合、検出された脚部及び雨合羽が１人の人物のものであり得る。したがって、実施の形態２と同様に、さらに精度よく、人物認識を行うことが可能となる。また、手部が検出されなくても、精度よく人物認識を行うことが可能となる。

また、実施の形態３にかかる認識処理装置１００は、赤外線映像において人物の手部をさらに検出し、検出された雨合羽と脚部と手部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と手部と雨合羽とが特定の位置関係である場合、検出された脚部、手部及び雨合羽が１人の人物のものであり得る。したがって、実施の形態２と同様に、さらに精度よく、人物認識を行うことが可能となる。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２の構成と実施の形態３の構成とは、相互に適用され得る。つまり、可視光映像において、傘及び雨合羽を検出してもよい。また、例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける各処理のうちの１つ以上は、省略され得る。

例えば、図３のフローチャートにおいて、赤外線映像を取得するステップ（Ｓ１０４及びＳ１１４）は、Ｓ１００の処理の前で実行されてもよいし、認識辞書の選択処理（Ｓ１０２及びＳ１１２）の前で実行されてもよい。同様に、図８のフローチャートにおいて、赤外線映像及び可視光映像を取得するステップ（Ｓ２０４及びＳ２１４）は、Ｓ２００の処理の前で実行されてもよいし、認識辞書の選択処理（Ｓ２０２及びＳ２１２）の前で実行されてもよい。また、図３のフローチャートにおいて、Ｓ１１６の処理とＳ１１８の処理の順序は逆でもよい。また、図８のフローチャートにおいて、Ｓ２１６〜Ｓ２１９の処理の順序を入れ替えてもよい。これらのことは、他のフローチャートでも同様である。

また、上述した実施の形態において、雨天用認識辞書を用いて検出される部分は脚部及び腕部（又は手部）であるとしたが、雨天用認識辞書を用いて検出される部分は、脚部及び腕部（又は手部）に限られない。しかしながら、脚部及び腕部又は手部は、傘又は雨合羽等の雨具によって隠されない可能性の高い人物の部分のなかで特徴的な形状を有しているので、雨天用認識辞書を用いて検出され易い。

また、上述した実施の形態では、雨天条件が検出された場合に雨天用認識辞書が選択され、通常認識辞書が使用されないとしたが、このような構成に限られない。雨天条件が検出された場合、通常認識辞書及び雨天用認識辞書の両方を用いるものの、雨天用認識辞書を優先して使用するようにしてもよい。この場合、例えば、雨天用認識辞書を用いて人物認識処理を行うフレーム数が１０フレームに対し、通常認識辞書を用いて人物認識処理を行うフレーム数が２フレームなどのような処理としてもよい。

また、実施の形態２においては、雨天時に可視光映像から傘を検出する構成としているが、雨天時に、常に、傘を検出する必要はない。例えば、雨天条件が検出された場合、始めは赤外線映像のみを用いて人物認識を行い、赤外線映像のみを用いた人物認識では精度がよくないような条件のときに、図８で示したような赤外線映像と可視光映像とを組み合わせる処理に切り替えてもよい。例えば、真夏のように、雨天時でも外気温と体温との温度差が小さい場合、実施の形態１のように赤外線映像のみを用いたときは、人物の脚部及び腕部を精度よく検出できない可能性がある。このような場合に、実施の形態２のように、可視光映像による傘の検出を組み合わせることで、より精度よく、人物認識を行うことが可能となる。このことは、実施の形態３にかかる雨合羽の検出についても同様である。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 車両
２ 赤外線カメラ
４ 可視光カメラ
１０ ＣＡＮ
２０ 認識辞書記憶部
３０ 表示部
５０ 認識システム
９０ 歩行者
９２ 脚部画像
９３ 手部画像
９４ 腕部画像
９６ 特定エリア
１００ 認識処理装置
１１２ 条件検出部
１１４ 映像取得部
１２０ 認識処理部
１２２ 表示制御部
２１４ 映像取得部
２２０ 認識処理部

Claims (10)

1. 赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得する映像取得部と、
   雨天の条件を検出する条件検出部と、
   雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う認識処理部と
   を有する認識処理装置。
2. 前記認識処理部は、前記赤外線映像において前記人物の脚部と腕部又は手部とを別個に検出することによって、人物認識を行う
   請求項１に記載の認識処理装置。
3. 前記認識処理部は、前記赤外線映像において前記脚部と前記腕部又は手部とが予め定められた特定の位置関係である場合に、前記映像取得部によって取得された映像において人物が存在することを認識する
   請求項２に記載の認識処理装置。
4. 前記映像取得部は、可視光により周囲の映像を撮影した可視光映像をさらに取得し、
   前記認識処理部は、前記赤外線映像において１つ以上の前記部分を検出し、前記可視光映像において前記雨具を検出することによって、人物認識を行う
   請求項１に記載の認識処理装置。
5. 前記認識処理部は、前記赤外線映像において前記人物の脚部を検出し、検出された前記雨具と前記脚部とが予め定められた特定の位置関係である場合に、前記映像取得部によって取得された映像において人物が存在することを認識する
   請求項４に記載の認識処理装置。
6. 前記認識処理部は、前記赤外線映像において前記人物の腕部又は手部をさらに検出し、検出された前記雨具と前記脚部と前記腕部又は手部とが予め定められた特定の位置関係である場合に、前記映像取得部によって取得された映像において人物が存在することを認識する
   請求項５に記載の認識処理装置。
7. 前記認識処理部は、前記可視光映像において傘を検出することによって、人物認識を行う
   請求項４〜６のいずれか１項に記載の認識処理装置。
8. 前記認識処理部は、前記可視光映像において雨合羽を検出することによって、人物認識を行う
   請求項４〜６のいずれか１項に記載の認識処理装置。
9. 赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得し、
   雨天の条件を検出し、
   雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行う
   認識処理方法。
10. 赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得するステップと、
    雨天の条件を検出するステップと、
    雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない１つ以上の部分を検出するための認識辞書を用いて人物認識を行うステップと
    をコンピュータに実行させるプログラム。