JP2020095663A - 認識処理装置、認識処理方法及びプログラム - Google Patents
認識処理装置、認識処理方法及びプログラム Download PDFInfo
- Publication number
- JP2020095663A JP2020095663A JP2019040266A JP2019040266A JP2020095663A JP 2020095663 A JP2020095663 A JP 2020095663A JP 2019040266 A JP2019040266 A JP 2019040266A JP 2019040266 A JP2019040266 A JP 2019040266A JP 2020095663 A JP2020095663 A JP 2020095663A
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- person
- recognition processing
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】雨天時であっても精度よく人物を認識することが可能な認識処理装置を提供する。【解決手段】認識処理装置100は、条件検出部112、映像取得部114及び認識処理部120を有する。条件検出部112は、雨天である可能性が高いという雨天の条件を検出する。映像取得部114は、赤外線カメラ2から赤外線映像を取得する。認識処理部120は、雨天の条件が検出された場合に、赤外線映像において、雨具を使用している人物の雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う。【選択図】図2
Description
本発明は、認識処理装置、認識処理方法及びプログラムに関する。
特許文献1は、自車の前方を撮像した画像内から傘をさしていない歩行者、および、傘をさしている歩行者を検知する車両用外界認識装置を開示する。特許文献1にかかる車両用外界認識装置は、傘をさしていない歩行者、および、傘をさしている歩行者の共通なパターンである、歩行者の下半身のテンプレートとの類似度を算出する。また、特許文献1にかかる車両用外界認識装置は、傘をさしている歩行者の特有のパターンである、傘を含む歩行者の上半身のテンプレートとの類似度を算出する。特許文献1にかかる車両用外界認識装置は、これらの類似度を用いて、傘をさしている歩行者の有無を判定する。
特許文献1にかかる技術においては、カメラで撮影した画像内から、傘をさしていない歩行者及び傘をさしている歩行者の両方を検知している。しかしながら、雨天時は視界が不良となるので、通常のカメラを用いた検知方法では、検知精度が悪化するおそれがある。また、特許文献1にかかる技術においては、歩行者の下半身の識別と、傘を含む歩行者の上半身の識別とによって、歩行者を検知している。ここで、歩行者が持つ傘を撮影するとき、歩行者に対する傘の大きさ、位置及び向きなどは、歩行者を撮影する向き及び歩行者によって大きく異なり得る。したがって、特許文献1にかかる技術では、精度よく人物を検出できないおそれがある。
上記課題に鑑み、本発明は、雨天時であっても精度よく人物を認識することが可能な認識処理装置、認識処理方法及びプログラムを提供することを目的とする。
本発明にかかる認識処理装置は、赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得する映像取得部と、雨天の条件を検出する条件検出部と、雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う認識処理部とを有する。
また、本発明にかかる認識処理方法は、赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得し、雨天の条件を検出し、雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う。
また、本発明にかかるプログラムは、赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得するステップと、雨天の条件を検出するステップと、雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行うステップとをコンピュータに実行させる。
本発明によれば、雨天時であっても精度よく人物を認識することが可能な認識処理装置、認識処理方法及びプログラムを提供することができる。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
図1は、実施の形態1にかかる車両1を示す図である。図1においては、車両1が、1つの赤外線カメラ2と、1つの可視光カメラ4と、認識処理装置100とを有する例が示されている。なお、赤外線カメラ2及び可視光カメラ4は、それぞれ、2つ以上設けられていてもよい。複数の赤外線カメラ2及び可視光カメラ4が、車両1の前後及び左右を撮影してもよい。また、以下の説明では、認識処理装置100が車両1に搭載されている例を示しているが、本実施の形態にかかる認識処理装置100は、車両1に搭載されている必要はない。
赤外線カメラ2は、赤外線、特に遠赤外線により、車両1の周囲の映像を撮影する。そして、赤外線カメラ2は、物体の熱エネルギーを検知することで、熱画像の映像データである赤外線映像を生成する。可視光カメラ4は、可視光を受光して結像する通常のカメラである。可視光カメラ4は、物体が発する光及び物体における反射光を受光することで、車両1の周囲の映像を撮影する。そして、可視光カメラ4は、映像データである可視光映像を生成する。
認識処理装置100は、車両1の任意の位置に設置され得る。認識処理装置100は、車両1が備えるCAN(Control Area Network)に接続され得る。認識処理装置100は、赤外線カメラ2によって撮影された映像において、認識辞書を用いて、歩行者等の人物を認識する人物認識を行う。詳しくは後述する。なお、以下、用語「映像」は、情報処理における処理対象としての、「映像を示す映像データ」も意味する。同様に、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。また、用語「音声」は、情報処理における処理対象としての、「音声を示す音声データ」も意味する。
図2は、実施の形態1にかかる認識処理装置100及び認識処理装置100を有する認識システム50の構成を示す図である。実施の形態1にかかる認識システム50は、CAN10と、赤外線カメラ2と、認識辞書記憶部20と、表示部30と、認識処理装置100とを有する。なお、認識処理装置100は、赤外線カメラ2、認識辞書記憶部20及び表示部30の少なくとも1つを有してもよい。CAN10は、車両1のネットワークを構成しており、車両1の多数の構成要素を接続している。
認識辞書記憶部20は、認識処理装置100が人物を認識するために使用される認識辞書を示す辞書データを記憶する。認識辞書は、例えば、機械学習によって生成される学習済みモデルである。認識辞書は、認識処理装置100が、映像において歩行者等の人物を検出する際に用いられる。認識辞書記憶部20は、晴天又は曇天等の雨天時ではないときに使用される通常認識辞書と、雨天時に使用される雨天用認識辞書とを記憶する。なお、用語「認識辞書」は、情報処理における処理対象としての、「認識辞書を示す辞書データ」も意味する。また、以降、晴天又は曇天等の雨天時ではないときを、単に「晴天時」と称する。また、「雨天時」は、降雨時だけでなく降雪時も含み得る。
通常認識辞書は、例えば、人物の頭部から足部までの全身を撮影した多数の映像(赤外線映像)を用いて機械学習により生成され得る。これにより、晴天時では、全身が遮蔽されていない人物の映像が撮影されたときに、通常認識辞書を用いて、その映像に人物が写っていることが認識される。
一方、雨天用認識辞書は、雨具を使用した人物の、雨具により隠れない部分を撮影した多数の映像(赤外線映像)を用いて機械学習により生成され得る。雨天用認識辞書は、例えば、傘をさした人物の、傘により隠れない部分を撮影した多数の映像(赤外線映像)を用いて機械学習により生成され得る。例えば、雨天用認識辞書は、傘をさした人物の脚部の映像を用いて、生成され得る。また、雨天用認識辞書は、傘をさした人物の傘を把持している腕部の映像を用いて、生成され得る。腕部の映像は、傘を把持したときの少し曲がった肘、及び、傘を把持した手の甲などを含み得る。これにより、雨天時では、傘をさした人物の映像が撮影されたときに、雨天用認識辞書を用いて、その映像に人物の脚部又は腕部が写っていることが認識される。さらに、雨天用認識辞書は、例えば、雨合羽を着用した人物の、雨合羽により隠れない部分を撮影した多数の映像(赤外線映像)を用いて機械学習により生成され得る。例えば、雨天用認識辞書は、雨合羽を着用した人物の脚部の映像を用いて、生成され得る。また、雨天用認識辞書は、雨合羽を着用した人物の、雨合羽に覆われていない手部及び脚部の映像を用いて、生成され得る。手部の映像は、手の甲などを含み得る。これにより、雨天時では、雨合羽を着用した人物の映像が撮影されたときに、雨天用認識辞書を用いて、その映像に人物の脚部又は手部が写っていることが認識される。ここで、雨天用認識辞書を生成する際、脚部の映像と腕部(又は手部)の映像とが、別個に学習される。したがって、雨天用認識辞書は、脚部の認識辞書と腕部(又は手部)の認識辞書とを別個に含む。つまり、認識処理装置100は、雨天用認識辞書を用いて、赤外線映像から、脚部のパーツ検出を行う。同様に、認識処理装置100は、雨天用認識辞書を用いて、赤外線映像から、腕部(又は手部)のパーツ検出を行う。
表示部30は、例えばディスプレイ等である。表示部30は、認識処理装置100の制御により映像を表示する。なお、表示部30は、スピーカを含んでもよい。この場合、表示部30は、スピーカから音声を出力してもよい。また、認識処理装置100が車両1に搭載される場合、表示部30は、車両1の内部に、車両の運転者が運転中に視認できる位置に設けられる。この場合、表示部30は、後述するインタフェース部108によって実現されてもよい。
認識処理装置100は、主要なハードウェア構成として、制御部102と、記憶部104と、通信部106と、インタフェース部108(IF;Interface)とを有する。制御部102、記憶部104、通信部106及びインタフェース部108は、データバスなどを介して相互に接続されている。つまり、認識処理装置100は、コンピュータとしての機能を有する。
制御部102は、例えばCPU(Central Processing Unit)等のプロセッサである。制御部102は、制御処理及び演算処理等を行う演算装置としての機能を有する。記憶部104は、例えばメモリ又はハードディスク等の記憶デバイスである。記憶部104は、例えばROM(Read Only Memory)又はRAM(Random Access Memory)等である。記憶部104は、制御部102によってまたは制御部102の機能として実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。また、記憶部104は、処理データ等を一時的に記憶するための機能を有する。
通信部106は、CAN10と通信を行うために必要な処理を行う。通信部106は、通信ポートを含み得る。インタフェース部108(IF;Interface)は、例えばユーザインタフェース(UI)である。インタフェース部108は、キーボード、タッチパネル又はマウス等の入力装置と、ディスプレイ又はスピーカ等の出力装置とを有する。
また、認識処理装置100は、条件検出部112と、映像取得部114と、認識処理部120と、表示制御部122とを有する。なお、条件検出部112、映像取得部114、認識処理部120及び表示制御部122は、例えば、制御部102の制御によって、プログラムを実行させることによって実現できる。より具体的には、条件検出部112、映像取得部114、認識処理部120及び表示制御部122は、記憶部104に格納されたプログラムを、制御部102が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、条件検出部112、映像取得部114、認識処理部120及び表示制御部122を実現するようにしてもよい。以上のことは、後述する他の実施の形態においても同様である。
また、条件検出部112、映像取得部114、認識処理部120及び表示制御部122は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、条件検出部112、映像取得部114、認識処理部120及び表示制御部122は、例えばFPGA(field-programmable gate array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。以上のことは、後述する他の実施の形態においても同様である。
条件検出部112は、雨天である可能性が高いという雨天の条件を検出する。例えば、条件検出部112は、CAN10から車両1のワイパーが動作している旨の情報を取得することで、雨天の条件を検出してもよい。また、例えば、条件検出部112は、車両1に搭載された雨滴センサが雨滴を検出した旨の情報をCAN10から取得することで、雨天の条件を検出してもよい。また、例えば、条件検出部112は、雨天である旨の気象情報をCAN10から取得することで、雨天の条件を検出してもよい。
映像取得部114は、赤外線カメラ2から赤外線映像を取得する。認識処理部120は、赤外線映像において人物認識を行う。ここで、認識処理部120は、雨天の条件が検出された場合に、赤外線映像において、雨具を使用している人物の雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う。例えば、認識処理部120は、雨天の条件が検出された場合に、赤外線映像において、傘をさしている人物の傘により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う。具体的には、認識処理部120は、赤外線映像において人物の脚部と腕部とを別個に検出することによって、人物認識を行う。同様に、認識処理部120は、雨天の条件が検出された場合に、赤外線映像において、雨合羽を着用している人物の雨合羽により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う。具体的には、認識処理部120は、赤外線映像において人物の脚部と手部とを別個に検出することによって、人物認識を行う。詳しくは後述する。
なお、認識処理部120は、映像取得部114によって取得された映像データに対し、映像データを構成するフレーム毎、又は所定間隔のフレーム毎に、人物認識処理を行う。この場合、認識処理部120は、認識対象のフレームを構成する画像に対し、通常認識辞書を用いて、例えば、検出窓が画像の左上部から右下部に走査するようにして、人物認識処理を行う。また、認識処理部120は、認識対象のフレームを構成する画像に対し、雨天用認識辞書を用いて、例えば、検出窓が画像の左上部から右下部に走査するようにして、人物の脚部及び腕部(又は手部)の検出処理を行う。
表示制御部122は、認識処理部120の処理結果に応じて、表示部30に画像を表示させるための制御を行う。例えば、表示制御部122は、認識処理部120によって人物が認識されたときに、歩行者が車両1の前方等に存在する旨の警告を、表示部30に表示させてもよい。
図3は、実施の形態1にかかる認識処理方法を示すフローチャートである。なお、以下の例では、歩行者が使用している雨具が傘である場合の例を示したが、歩行者が使用している雨具が雨合羽である場合も同様である。条件検出部112が雨天条件を検出しなかった場合(ステップS100のNO)、認識処理部120は、認識辞書記憶部20に記憶された認識辞書から、通常認識辞書を選択する(ステップS102)。映像取得部114は、赤外線カメラ2から赤外線映像を取得する(ステップS104)。認識処理部120は、通常認識辞書を用いて、赤外線映像において人物の全身を検出すると(ステップS106)、赤外線映像に写った画像を歩行者として認識する(ステップS108)。
一方、条件検出部112が雨天条件を検出した場合(S100のYES)、認識処理部120は、認識辞書記憶部20に記憶された認識辞書から、雨天用認識辞書を選択する(ステップS112)。映像取得部114は、赤外線カメラ2から赤外線映像を取得する(ステップS114)。認識処理部120は、脚部に対応する雨天用認識辞書を用いて、赤外線映像において人物の脚部を検出する(ステップS116)。また、認識処理部120は、腕部に対応する雨天用認識辞書を用いて、赤外線映像において人物の腕部を検出する(ステップS118)。
次に、認識処理部120は、赤外線映像において、検出された脚部と腕部とが特定の位置関係であるか否かを判定する(ステップS120)。この判定は、赤外線映像を用いた画像処理によって行われ得る。検出された脚部と腕部とが特定の位置関係であると判定された場合(S120のYES)、認識処理部120は、赤外線映像に写った物体を歩行者として認識する(ステップS130)。一方、検出された脚部と腕部とが特定の位置関係であると判定されなかった場合(S120のNO)、認識処理部120は、赤外線映像に写った物体を歩行者として認識しない(ステップS132)。
図4は、図3に示したフローチャートのS120〜S132の処理の詳細を示すフローチャートである。認識処理部120は、赤外線映像において、脚部よりも腕部が上にあるか否かを判定する(ステップS122)。脚部よりも腕部が上にあると判定されなかった場合(S122のNO)、認識処理部120は、赤外線映像に写った物体を歩行者として認識しない(S132)。つまり、認識処理部120は、脚部よりも腕部が上にない場合は、その脚部及び腕部が1人の人物に対応しないと判定する。
一方、脚部よりも腕部が上にあると判定された場合(S122のYES)、認識処理部120は、赤外線映像において、脚部及び腕部が特定のエリア内にあるか否かを判定する(ステップS124)。ここで、「特定のエリア」とは、例えば、検出された脚部を含む矩形画像から特定され得る。例えば、特定のエリアは、脚部を含む矩形画像を横に1.5倍、縦に2倍拡大して形成されたエリアである。詳しくは、図5及び図6を用いて後述する。
脚部及び腕部が特定のエリア内にないと判定された場合(S124のNO)、認識処理部120は、赤外線映像に写った物体を歩行者として認識しない(S132)。つまり、認識処理部120は、脚部及び腕部が特定のエリア内にない場合は、その脚部及び腕部が1人の人物に対応しないと判定する。一方、脚部及び腕部が特定のエリア内にあると判定された場合(S124のYES)、認識処理部120は、赤外線映像に写った物体を歩行者として認識する(S130)。つまり、認識処理部120は、赤外線映像において、腕部が脚部よりも上にあり、且つ、脚部及び腕部が特定のエリア内にある場合は、その脚部及び腕部が1人の人物に対応すると判定する。
図5及び図6は、傘をさした歩行者90が写った赤外線映像を例示する図である。図5は、傘をさした歩行者90を横から撮影した赤外線映像である。図6は、傘をさした歩行者90を後ろから撮影した赤外線映像である。なお、認識辞書記憶部20は、前後左右から撮影された雨天時の人物の脚部及び腕部それぞれの赤外線映像を学習させて生成された雨天用認識辞書を記憶し得る。したがって、認識処理装置100は、図5の赤外線映像及び図6の赤外線映像のいずれが取得された場合でも、実質的に同様の人物認識処理を行い得る。なお、通常、傘は熱を持たないので、図5及び図6に示すように、赤外線映像では、傘80の画像は、検出可能な程度には現れない。
認識処理部120は、雨天用認識辞書を用いて、歩行者90の脚部を含む矩形画像である脚部画像92を検出する。また、認識処理部120は、雨天用認識辞書を用いて、歩行者90の腕部を含む矩形画像である腕部画像94を検出する。認識処理部120は、図5及び図6の赤外線映像において、腕部画像94が脚部画像92よりも上にあると判定する。また、認識処理部120は、脚部画像92を用いて特定エリア96を特定する。ここで、特定エリア96は、1人の歩行者90を包含する可能性の高いエリアを示す。脚部画像92の幅をWとし、高さをHとすると、認識処理部120は、特定エリア96の横方向の範囲W’を、脚部画像92の中心を中心とした幅1.5*Wの範囲とする。また、認識処理部120は、特定エリア96の縦方向の範囲H’を、脚部画像92の下端から高さ2*Hの範囲とする。このように特定エリア96の範囲を特定することで、特定エリア96に歩行者90が含まれ得る。
そして、認識処理部120は、図5及び図6の赤外線映像において、腕部画像94及び脚部画像92が、特定エリア96内にあると判定する。したがって、認識処理部120は、図5及び図6の赤外線映像において、人物が写っていると判定する。つまり、認識処理部120は、赤外線映像において、特定エリア96内にある物体を人物つまり歩行者として認識する。
上述したように、本実施の形態にかかる認識処理装置100は、赤外線により周囲の映像を撮影した赤外線映像を用いて、人物認識を行うように構成されている。赤外線映像を用いることにより、可視光による映像を用いる場合と比較して、認識の精度を高くすることが可能となる。すなわち、可視光による人物認識では、人物と背景とのエッジ検出が難しい可能性があるが、赤外線映像を用いると、通常、人間の体温は周囲の物体の温度よりも高いので、人物と周囲との区別がつきやすい。さらに、このことは、雨天時及び夜間時等の視界が不良である場合に、特に顕著である。視界が不良である場合は、可視光を用いても人物認識を行うことは困難である。しかしながら、赤外線映像を用いることで、視界が不良であっても、人物認識を精度よく行うことができる。
また、本実施の形態にかかる認識処理装置100は、雨天の条件が検出された場合に、雨天用認識辞書を用いて人物認識を行うように構成されている。これにより、晴天時は通常認識辞書を用いて人物認識を行い、雨天時は雨天用認識辞書を用いて人物認識を行うことができる。つまり、晴天時と雨天時とで用いる認識辞書を切り替えることができるので、人物認識の精度を向上させることができる。すなわち、晴天時では、歩行者は傘をさしていないので、歩行者の全身を検出することができる可能性が高いのに対し、雨天時では、歩行者は傘をさしているので、頭部が傘で隠れてしまう。このように、晴天時と雨天時とで、歩行者の特徴が異なるので、晴天時と雨天時とで区別せずに機械学習を行うと、汎化性能が低くなり、人物認識の精度が低くなり得る。したがって、晴天時と雨天時とで別個に機械学習を行って別の認識辞書を生成することで、人物認識の精度を向上させることが可能となる。このことは、歩行者が使用している雨具が雨合羽である場合も同様である。
さらに、本実施の形態にかかる認識処理装置100は、雨天の条件が検出された場合に、赤外線映像において、傘をさしている人物の傘により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行うように構成されている。これにより、脚部及び腕部等の、雨天時でも赤外線映像に現れる人物の部分を検出して人物認識を行うことができるので、認識の精度を向上させることが可能となる。なお、傘は人間ほど熱エネルギーを発しないので、赤外線映像には、傘の画像は顕著に現れない。しかしながら、実施の形態1にかかる認識処理装置100は、傘を検出しなくても人物認識を行うことが可能である。このことは、歩行者が使用している雨具が雨合羽である場合も同様である。
また、実施の形態1にかかる認識処理装置100は、赤外線映像において人物の脚部と腕部とを別個に検出することによって、人物認識を行うように構成されている。脚部及び腕部の両方が写っている映像で機械学習を行うと、特徴が増加するので、汎化性能が低くなり、したがって人物認識の精度が低くなり得る。これに対し、本実施の形態のように、脚部と腕部とで別個に機械学習を行うことで、汎化性能の低下を抑制できる。したがって、脚部と腕部とを別個に検出するような、雨天用認識辞書を用いることにより、脚部及び腕部を、それぞれ、より確実に検出することができる。したがって、人物認識の精度をより向上させることが可能となる。このことは、歩行者が使用している雨具が雨合羽であって脚部と手部とを別個に検出する場合も同様である。
さらに、実施の形態1にかかる認識処理装置100は、赤外線映像において脚部と腕部とが予め定められた特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と腕部とが特定の位置関係である場合、検出された脚部及び腕部が1人の人物のものであり得る。したがって、さらに精度よく、人物認識を行うことが可能となる。このことは、歩行者が使用している雨具が雨合羽であって脚部と手部とを別個に検出する場合も同様である。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2では、赤外線映像に加えて、可視光カメラ4によって撮影された可視光映像を用いて人物認識を行う点で、実施の形態1と異なる。なお、実施の形態2にかかる車両1のハードウェア構成については、実施の形態1にかかるものと実質的に同様であるので、説明を省略する。
次に、実施の形態2について説明する。実施の形態2では、赤外線映像に加えて、可視光カメラ4によって撮影された可視光映像を用いて人物認識を行う点で、実施の形態1と異なる。なお、実施の形態2にかかる車両1のハードウェア構成については、実施の形態1にかかるものと実質的に同様であるので、説明を省略する。
図7は、実施の形態2にかかる認識処理装置100及び認識処理装置100を有する認識システム50の構成を示す図である。実施の形態2にかかる認識システム50は、CAN10と、赤外線カメラ2と、可視光カメラ4と、認識辞書記憶部20と、表示部30と、認識処理装置100とを有する。
実施の形態2にかかる認識辞書記憶部20は、上述した通常認識辞書と雨天用認識辞書とを記録する。ここで、実施の形態2においては、雨天用認識辞書は、上述した脚部の認識辞書及び腕部の認識辞書に加えて、歩行者がさしている傘の認識辞書を含む。傘の認識辞書は、例えば、歩行者がさしている傘を撮影した多数の映像(可視光映像)を用いて機械学習により生成され得る。なお、上述したように、傘はあまり熱エネルギーを発しないので、赤外線映像には、傘の画像は顕著に現れない。したがって、傘を検出する際には、傘を撮影した可視光映像を用いて機械学習により生成された認識辞書を用いて、可視光映像から傘を検出する方がよい。
実施の形態2にかかる認識処理装置100は、主要なハードウェア構成として、制御部102と、記憶部104と、通信部106と、インタフェース部108とを有する。また、認識処理装置100は、条件検出部112と、映像取得部214と、認識処理部220と、表示制御部122とを有する。なお、実施の形態1にかかる構成要素と実質的に同じ構成要素については、説明を省略する。
映像取得部214は、赤外線カメラ2から赤外線映像を取得する。映像取得部214は、さらに、可視光カメラ4から可視光映像を取得する。認識処理部220は、赤外線映像及び可視光映像を用いて人物認識を行う。ここで、認識処理部220は、赤外線映像において脚部及び腕部といった人物の部分を検出し、可視光映像において傘を検出することによって、人物認識を行う。詳しくは後述する。
なお、認識処理部220は、映像取得部214によって取得された映像データに対し、映像データを構成するフレーム毎、又は所定間隔のフレーム毎に、人物認識処理を行う。ここで、赤外線カメラ2の画角は、可視光カメラ4の画角と一致しているとする。映像取得部214は、互いに同じタイミングで撮影された赤外線映像のフレームと可視光映像のフレームとを対応付ける。そして、映像取得部214は、赤外線カメラ2の位置と可視光カメラ4の位置とのずれに応じて赤外線映像のフレームと可視光映像のフレームとの位置関係を校正する。これにより、同じタイミングで撮影された赤外線映像と可視光映像との位置座標が概ね一致する。したがって、これらの赤外線映像と可視光映像とを重ね合せたときに、両者に写った物体の位置が一致し得る。なお、映像取得部214によって行われる上述したような校正処理は、認識処理部220が行ってもよい。
図8は、実施の形態2にかかる認識処理方法を示すフローチャートである。条件検出部112が雨天条件を検出しなかった場合(ステップS200のNO)、認識処理部220は、認識辞書記憶部20に記憶された認識辞書から、通常認識辞書を選択する(ステップS202)。映像取得部214は、赤外線カメラ2から赤外線映像を取得する(ステップS204)。認識処理部220は、通常認識辞書を用いて、赤外線映像において人物の全身を検出すると(ステップS206)、赤外線映像に写った画像を歩行者として認識する(ステップS208)。
一方、条件検出部112が雨天条件を検出した場合(S200のYES)、認識処理部220は、認識辞書記憶部20に記憶された認識辞書から、雨天用認識辞書を選択する(ステップS212)。映像取得部214は、赤外線カメラ2から赤外線映像を取得し、可視光カメラ4から可視光映像を取得する(ステップS214)。認識処理部220は、脚部に対応する雨天用認識辞書を用いて、赤外線映像において人物の脚部を検出する(ステップS216)。また、認識処理部220は、腕部に対応する雨天用認識辞書を用いて、赤外線映像において人物の腕部を検出する(ステップS218)。また、認識処理部220は、傘に対応する雨天用認識辞書を用いて、可視光映像において傘を検出する(ステップS219)。
次に、認識処理部220は、赤外線映像において、検出された脚部と腕部と傘とが特定の位置関係であるか否かを判定する(ステップS220)。この判定は、赤外線映像のフレームと可視光映像のフレームとを重畳させて得られた重畳画像における画像処理によって行われ得る。検出された脚部と腕部と傘とが特定の位置関係であると判定された場合(S220のYES)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識する(ステップS230)。一方、検出された脚部と腕部と傘とが特定の位置関係であると判定されなかった場合(S220のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(ステップS232)。
図9は、図8に示したフローチャートのS220〜S232の処理の詳細を示すフローチャートである。認識処理部220は、S216の処理で腕部が検出できたか否かを判定する(ステップS221)。腕部が検出できた場合(S221のYES)、認識処理部220は、重畳画像において、下から、脚部、腕部、傘の順にこれらが存在しているか否かを判定する(ステップS222)。つまり、認識処理部220は、重畳画像において、腕部が脚部よりも上にあり、傘が腕部よりも上にあるか否かを判定する。下から脚部、腕部、傘の順にこれらが存在していると判定されなかった場合(S222のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S232)。つまり、認識処理部220は、下から脚部、腕部、傘の順にこれらが存在しない場合は、その脚部、腕部及び傘が1人の人物に対応しないと判定する。
一方、下から脚部、腕部、傘の順にこれらが存在していると判定された場合(S222のYES)、認識処理部220は、重畳画像において、脚部、腕部及び傘が特定のエリア内にあるか否かを判定する(ステップS224)。ここで、「特定のエリア」は、実施の形態1と同様に、脚部画像から特定されるものであってもよい。なお、実施の形態1では、特定のエリアは、脚部を含む矩形画像を横に1.5倍、縦に2倍拡大したエリアであるとした。しかしながら、開いた傘の横幅を考慮して、実施の形態2では、歩行者によって把持された傘が特定のエリアに含まれるようにするため、例えば、脚部を含む矩形画像を横に3倍、縦に2倍拡大したエリアとしてもよい。
脚部、腕部及び傘が特定のエリア内にないと判定された場合(S224のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S232)。つまり、認識処理部220は、脚部、腕部及び傘が特定のエリア内にない場合は、その脚部、腕部及び傘が1人の人物に対応しないと判定する。一方、脚部、腕部及び傘が特定のエリア内にあると判定された場合(S224のYES)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識する(S230)。つまり、認識処理部220は、重畳画像において、腕部が脚部よりも上にあり、傘が腕部よりも上にあり、且つ、脚部、腕部及び傘が特定のエリア内にある場合は、その脚部、腕部及び傘が1人の人物に対応すると判定する。
一方、傘で隠された等のため腕部が検出できなかった場合(S221のNO)、認識処理部220は、重畳画像において、脚部よりも傘が上にあるか否かを判定する(ステップS226)。脚部よりも傘が上にあると判定されなかった場合(S226のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S232)。つまり、認識処理部220は、脚部よりも傘が上にない場合は、その脚部及び傘が1人の人物に対応しないと判定する。
一方、脚部よりも傘が上にあると判定された場合(S226のYES)、認識処理部220は、重畳画像において、脚部及び傘が特定のエリア内にあるか否かを判定する(ステップS228)。なお、「特定のエリア」は、S224の処理で例示したものであってもよい。
脚部及び傘が特定のエリア内にないと判定された場合(S228のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S232)。つまり、認識処理部220は、脚部及び傘が特定のエリア内にない場合は、その脚部及び傘が1人の人物に対応しないと判定する。一方、脚部及び傘が特定のエリア内にあると判定された場合(S228のYES)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識する(S230)。つまり、認識処理部220は、重畳画像において、傘が脚部よりも上にあり、且つ、脚部及び傘が特定のエリア内にある場合は、その脚部及び傘が1人の人物に対応すると判定する。
上述したように、実施の形態2にかかる認識処理装置100は、赤外線映像において傘をさしている人物の傘により隠れない1つ以上の部分を検出し、可視光映像において傘を検出することで、人物認識を行うように構成されている。これにより、赤外線映像及び可視光映像を両方用いて人物認識を行うので、人物認識の精度を向上させることが可能となる。さらに、人物の部分と傘とを別個に検出することで、人物の部分と傘とが写っている映像で機械学習を行う場合と比較して、特徴の増加が抑制されるので、汎化性能の低下を抑制できる。したがって、人物認識の精度を向上させることが可能となる。
また、実施の形態2にかかる認識処理装置100は、赤外線映像において人物の脚部を検出し、検出された傘と脚部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と傘とが特定の位置関係である場合、検出された脚部及び傘が1人の人物のものであり得る。したがって、さらに精度よく、人物認識を行うことが可能となる。また、腕部が検出されなくても、精度よく人物認識を行うことが可能となる。
また、実施の形態2にかかる認識処理装置100は、赤外線映像において人物の腕部をさらに検出し、検出された傘と脚部と腕部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と腕部と傘とが特定の位置関係である場合、検出された脚部、腕部及び傘が1人の人物のものであり得る。したがって、さらに精度よく、人物認識を行うことが可能となる。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3では、可視光カメラ4によって撮影された可視光映像を用いて雨合羽を検出する点で、実施の形態2と異なる。なお、実施の形態3にかかる車両1のハードウェア構成及び認識システム50の構成については、実施の形態2にかかるものと実質的に同様であるので、以下に特記する記載を除き、説明を省略する。なお、上述した実施の形態2及び後述する実施の形態3では、可視光カメラ4によって撮影された可視光映像を用いて、歩行者が使用している雨具(傘又は雨合羽)が検出される。
次に、実施の形態3について説明する。実施の形態3では、可視光カメラ4によって撮影された可視光映像を用いて雨合羽を検出する点で、実施の形態2と異なる。なお、実施の形態3にかかる車両1のハードウェア構成及び認識システム50の構成については、実施の形態2にかかるものと実質的に同様であるので、以下に特記する記載を除き、説明を省略する。なお、上述した実施の形態2及び後述する実施の形態3では、可視光カメラ4によって撮影された可視光映像を用いて、歩行者が使用している雨具(傘又は雨合羽)が検出される。
実施の形態3にかかる認識辞書記憶部20は、上述した通常認識辞書と雨天用認識辞書とを記録する。ここで、実施の形態3においては、雨天用認識辞書は、上述した脚部の認識辞書及び腕部又は手部の認識辞書に加えて、歩行者が着用している雨合羽の認識辞書を含む。言い換えると、実施の形態3にかかる雨天用認識辞書は、上述した脚部の認識辞書及び腕部又は手部の認識辞書に加えて、雨合羽で覆われた歩行者の胴体部及び頭部の認識辞書を含む。雨合羽の認識辞書は、例えば、歩行者が着用している雨合羽を撮影した多数の映像(可視光映像)を用いて機械学習により生成され得る。なお、傘と同様に、雨合羽はあまり熱エネルギーを発しないので、赤外線映像には、雨合羽の画像は顕著に現れない。したがって、雨合羽を検出する際には、雨合羽を撮影した可視光映像を用いて機械学習により生成された認識辞書を用いて、可視光映像から雨合羽を検出する方がよい。また、実施の形態3にかかる認識処理部220は、赤外線映像において脚部及び手部といった人物の部分を検出し、可視光映像において雨合羽を検出することによって、人物認識を行う。詳しくは後述する。
図10は、実施の形態3にかかる認識処理方法を示すフローチャートである。条件検出部112が雨天条件を検出しなかった場合(ステップS300のNO)、認識処理部220は、認識辞書記憶部20に記憶された認識辞書から、通常認識辞書を選択する(ステップS302)。映像取得部214は、赤外線カメラ2から赤外線映像を取得する(ステップS304)。認識処理部220は、通常認識辞書を用いて、赤外線映像において人物の全身を検出すると(ステップS306)、赤外線映像に写った画像を歩行者として認識する(ステップS308)。
一方、条件検出部112が雨天条件を検出した場合(S300のYES)、認識処理部220は、認識辞書記憶部20に記憶された認識辞書から、雨天用認識辞書を選択する(ステップS312)。映像取得部214は、赤外線カメラ2から赤外線映像を取得し、可視光カメラ4から可視光映像を取得する(ステップS314)。認識処理部220は、脚部に対応する雨天用認識辞書を用いて、赤外線映像において人物の脚部を検出する(ステップS316)。また、認識処理部220は、手部に対応する雨天用認識辞書を用いて、赤外線映像において人物の手部を検出する(ステップS318)。また、認識処理部220は、雨合羽に対応する雨天用認識辞書を用いて、可視光映像において雨合羽を検出する(ステップS319)。つまり、認識処理部220は、雨合羽に対応する雨天用認識辞書を用いて、可視光映像において、雨合羽で覆われた歩行者の胴体部及び頭部を検出する。
次に、認識処理部220は、赤外線映像において、検出された脚部と手部と雨合羽とが特定の位置関係であるか否かを判定する(ステップS320)。この判定は、赤外線映像のフレームと可視光映像のフレームとを重畳させて得られた重畳画像における画像処理によって行われ得る。検出された脚部と手部と雨合羽とが特定の位置関係であると判定された場合(S320のYES)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識する(ステップS330)。一方、検出された脚部と手部と雨合羽とが特定の位置関係であると判定されなかった場合(S320のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(ステップS332)。
図11は、図10に示したフローチャートのS320〜S332の処理の詳細を示すフローチャートである。認識処理部220は、S316の処理で手部が検出できたか否かを判定する(ステップS321)。手部が検出できた場合(S321のYES)、認識処理部220は、重畳画像において、脚部の上に手部及び雨合羽があるか否かを判定する(ステップS322)。脚部の上に手部及び雨合羽があると判定されなかった場合(S322のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S332)。つまり、認識処理部220は、脚部の上に手部及び雨合羽がない場合は、その脚部、手部及び雨合羽が1人の人物に対応しないと判定する。
一方、脚部の上に手部及び雨合羽があると判定された場合(S322のYES)、認識処理部220は、重畳画像において、脚部、手部及び雨合羽が特定のエリア内にあるか否かを判定する(ステップS324)。ここで、「特定のエリア」は、実施の形態1及び実施の形態2と同様に、脚部画像から特定されるものであってもよい。
脚部、手部及び雨合羽が特定のエリア内にないと判定された場合(S324のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S332)。つまり、認識処理部220は、脚部、手部及び雨合羽が特定のエリア内にない場合は、その脚部、手部及び雨合羽が1人の人物に対応しないと判定する。一方、脚部、手部及び雨合羽が特定のエリア内にあると判定された場合(S324のYES)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識する(S330)。つまり、認識処理部220は、重畳画像において、手部及び雨合羽が脚部よりも上にあり、且つ、脚部、手部及び雨合羽が特定のエリア内にある場合は、その脚部、手部及び雨合羽が1人の人物に対応すると判定する。
一方、雨合羽で隠された等のため手部が検出できなかった場合(S321のNO)、認識処理部220は、重畳画像において、脚部よりも雨合羽が上にあるか否かを判定する(ステップS326)。脚部よりも雨合羽が上にあると判定されなかった場合(S326のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S332)。つまり、認識処理部220は、脚部よりも雨合羽が上にない場合は、その脚部及び雨合羽が1人の人物に対応しないと判定する。
一方、脚部よりも雨合羽が上にあると判定された場合(S326のYES)、認識処理部220は、重畳画像において、脚部及び雨合羽が特定のエリア内にあるか否かを判定する(ステップS328)。なお、「特定のエリア」は、S324の処理で例示したものであってもよい。
脚部及び雨合羽が特定のエリア内にないと判定された場合(S328のNO)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識しない(S332)。つまり、認識処理部220は、脚部及び雨合羽が特定のエリア内にない場合は、その脚部及び傘が1人の人物に対応しないと判定する。一方、脚部及び雨合羽が特定のエリア内にあると判定された場合(S328のYES)、認識処理部220は、赤外線映像及び可視光映像に写った物体を歩行者として認識する(S330)。つまり、認識処理部220は、重畳画像において、雨合羽が脚部よりも上にあり、且つ、脚部及び雨合羽が特定のエリア内にある場合は、その脚部及び雨合羽が1人の人物に対応すると判定する。
図12及び図13は、雨合羽を着用した歩行者90が写った重畳画像を例示する図である。図12に示す重畳画像には、雨合羽を着用した歩行者90の手部が写っている。一方、図13に示す重畳画像には、雨合羽を着用した歩行者90の手部は写っていない。
図12に示す重畳画像が得られた場合、認識処理部220は、雨天用認識辞書を用いて、歩行者90の手部を含む矩形画像である手部画像93を検出する。また、認識処理部220は、雨天用認識辞書を用いて、歩行者90の脚部を含む矩形画像である脚部画像92を検出する。また、認識処理部220は、雨天用認識辞書を用いて、雨合羽を含む矩形画像である雨合羽画像82を検出する。認識処理部220は、図12に示す重畳画像において、脚部画像92の上に手部画像93及び雨合羽画像82があると判定する。また、認識処理部220は、実施の形態1と同様に、脚部画像92を用いて特定エリア96を特定する。そして、認識処理部220は、図12に示す重畳画像において、脚部画像92、手部画像93及び雨合羽画像82が特定エリア96内にあると判定する。したがって、認識処理部220は、図12の重畳画像において、人物が写っていると判定する。
一方、図13に示す重畳画像が得られた場合、認識処理部220は、手部画像93を検出しない。この場合、認識処理部220は、雨天用認識辞書を用いて、歩行者90の脚部を含む矩形画像である脚部画像92を検出する。また、認識処理部220は、雨天用認識辞書を用いて、雨合羽を含む矩形画像である雨合羽画像82を検出する。認識処理部220は、図13に示す重畳画像において、脚部画像92の上に雨合羽画像82があると判定する。また、認識処理部220は、実施の形態1と同様に、脚部画像92を用いて特定エリア96を特定する。そして、認識処理部220は、図13に示す重畳画像において、脚部画像92及び雨合羽画像82が特定エリア96内にあると判定する。したがって、認識処理部220は、図13の重畳画像において、人物が写っていると判定する。
上述したように、実施の形態3にかかる認識処理装置100は、赤外線映像において雨合羽を着用している人物の雨合羽により隠れない1つ以上の部分を検出し、可視光映像において雨合羽を検出することで、人物認識を行うように構成されている。これにより、赤外線映像及び可視光映像を両方用いて人物認識を行うので、人物認識の精度を向上させることが可能となる。さらに、人物の部分と雨合羽とを別個に検出することで、人物の部分と雨合羽とが写っている映像で機械学習を行う場合と比較して、特徴の増加が抑制されるので、汎化性能の低下を抑制できる。したがって、実施の形態2と同様に、人物認識の精度を向上させることが可能となる。
また、実施の形態3にかかる認識処理装置100は、赤外線映像において人物の脚部を検出し、検出された雨合羽と脚部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と雨合羽とが特定の位置関係である場合、検出された脚部及び雨合羽が1人の人物のものであり得る。したがって、実施の形態2と同様に、さらに精度よく、人物認識を行うことが可能となる。また、手部が検出されなくても、精度よく人物認識を行うことが可能となる。
また、実施の形態3にかかる認識処理装置100は、赤外線映像において人物の手部をさらに検出し、検出された雨合羽と脚部と手部とが特定の位置関係である場合に、映像取得部によって取得された映像において人物が存在することを認識するように構成されている。脚部と手部と雨合羽とが特定の位置関係である場合、検出された脚部、手部及び雨合羽が1人の人物のものであり得る。したがって、実施の形態2と同様に、さらに精度よく、人物認識を行うことが可能となる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態2の構成と実施の形態3の構成とは、相互に適用され得る。つまり、可視光映像において、傘及び雨合羽を検出してもよい。また、例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける各処理のうちの1つ以上は、省略され得る。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態2の構成と実施の形態3の構成とは、相互に適用され得る。つまり、可視光映像において、傘及び雨合羽を検出してもよい。また、例えば、上述したフローチャートにおける各処理の順序は、適宜、変更可能である。また、上述したフローチャートにおける各処理のうちの1つ以上は、省略され得る。
例えば、図3のフローチャートにおいて、赤外線映像を取得するステップ(S104及びS114)は、S100の処理の前で実行されてもよいし、認識辞書の選択処理(S102及びS112)の前で実行されてもよい。同様に、図8のフローチャートにおいて、赤外線映像及び可視光映像を取得するステップ(S204及びS214)は、S200の処理の前で実行されてもよいし、認識辞書の選択処理(S202及びS212)の前で実行されてもよい。また、図3のフローチャートにおいて、S116の処理とS118の処理の順序は逆でもよい。また、図8のフローチャートにおいて、S216〜S219の処理の順序を入れ替えてもよい。これらのことは、他のフローチャートでも同様である。
また、上述した実施の形態において、雨天用認識辞書を用いて検出される部分は脚部及び腕部(又は手部)であるとしたが、雨天用認識辞書を用いて検出される部分は、脚部及び腕部(又は手部)に限られない。しかしながら、脚部及び腕部又は手部は、傘又は雨合羽等の雨具によって隠されない可能性の高い人物の部分のなかで特徴的な形状を有しているので、雨天用認識辞書を用いて検出され易い。
また、上述した実施の形態では、雨天条件が検出された場合に雨天用認識辞書が選択され、通常認識辞書が使用されないとしたが、このような構成に限られない。雨天条件が検出された場合、通常認識辞書及び雨天用認識辞書の両方を用いるものの、雨天用認識辞書を優先して使用するようにしてもよい。この場合、例えば、雨天用認識辞書を用いて人物認識処理を行うフレーム数が10フレームに対し、通常認識辞書を用いて人物認識処理を行うフレーム数が2フレームなどのような処理としてもよい。
また、実施の形態2においては、雨天時に可視光映像から傘を検出する構成としているが、雨天時に、常に、傘を検出する必要はない。例えば、雨天条件が検出された場合、始めは赤外線映像のみを用いて人物認識を行い、赤外線映像のみを用いた人物認識では精度がよくないような条件のときに、図8で示したような赤外線映像と可視光映像とを組み合わせる処理に切り替えてもよい。例えば、真夏のように、雨天時でも外気温と体温との温度差が小さい場合、実施の形態1のように赤外線映像のみを用いたときは、人物の脚部及び腕部を精度よく検出できない可能性がある。このような場合に、実施の形態2のように、可視光映像による傘の検出を組み合わせることで、より精度よく、人物認識を行うことが可能となる。このことは、実施の形態3にかかる雨合羽の検出についても同様である。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 車両
2 赤外線カメラ
4 可視光カメラ
10 CAN
20 認識辞書記憶部
30 表示部
50 認識システム
90 歩行者
92 脚部画像
93 手部画像
94 腕部画像
96 特定エリア
100 認識処理装置
112 条件検出部
114 映像取得部
120 認識処理部
122 表示制御部
214 映像取得部
220 認識処理部
2 赤外線カメラ
4 可視光カメラ
10 CAN
20 認識辞書記憶部
30 表示部
50 認識システム
90 歩行者
92 脚部画像
93 手部画像
94 腕部画像
96 特定エリア
100 認識処理装置
112 条件検出部
114 映像取得部
120 認識処理部
122 表示制御部
214 映像取得部
220 認識処理部
Claims (10)
- 赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得する映像取得部と、
雨天の条件を検出する条件検出部と、
雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う認識処理部と
を有する認識処理装置。 - 前記認識処理部は、前記赤外線映像において前記人物の脚部と腕部又は手部とを別個に検出することによって、人物認識を行う
請求項1に記載の認識処理装置。 - 前記認識処理部は、前記赤外線映像において前記脚部と前記腕部又は手部とが予め定められた特定の位置関係である場合に、前記映像取得部によって取得された映像において人物が存在することを認識する
請求項2に記載の認識処理装置。 - 前記映像取得部は、可視光により周囲の映像を撮影した可視光映像をさらに取得し、
前記認識処理部は、前記赤外線映像において1つ以上の前記部分を検出し、前記可視光映像において前記雨具を検出することによって、人物認識を行う
請求項1に記載の認識処理装置。 - 前記認識処理部は、前記赤外線映像において前記人物の脚部を検出し、検出された前記雨具と前記脚部とが予め定められた特定の位置関係である場合に、前記映像取得部によって取得された映像において人物が存在することを認識する
請求項4に記載の認識処理装置。 - 前記認識処理部は、前記赤外線映像において前記人物の腕部又は手部をさらに検出し、検出された前記雨具と前記脚部と前記腕部又は手部とが予め定められた特定の位置関係である場合に、前記映像取得部によって取得された映像において人物が存在することを認識する
請求項5に記載の認識処理装置。 - 前記認識処理部は、前記可視光映像において傘を検出することによって、人物認識を行う
請求項4〜6のいずれか1項に記載の認識処理装置。 - 前記認識処理部は、前記可視光映像において雨合羽を検出することによって、人物認識を行う
請求項4〜6のいずれか1項に記載の認識処理装置。 - 赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得し、
雨天の条件を検出し、
雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行う
認識処理方法。 - 赤外線により周囲の映像を撮影した赤外線映像を少なくとも取得するステップと、
雨天の条件を検出するステップと、
雨天の条件が検出された場合に、前記赤外線映像において、雨具を使用している人物の前記雨具により隠れない1つ以上の部分を検出するための認識辞書を用いて人物認識を行うステップと
をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/035624 WO2020115981A1 (ja) | 2018-12-03 | 2019-09-11 | 認識処理装置、認識処理方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018226411 | 2018-12-03 | ||
JP2018226411 | 2018-12-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020095663A true JP2020095663A (ja) | 2020-06-18 |
Family
ID=71086272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019040266A Pending JP2020095663A (ja) | 2018-12-03 | 2019-03-06 | 認識処理装置、認識処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020095663A (ja) |
-
2019
- 2019-03-06 JP JP2019040266A patent/JP2020095663A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5423631B2 (ja) | 画像認識装置 | |
US10540777B2 (en) | Object recognition device and object recognition system | |
JP4612635B2 (ja) | 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出 | |
US9939909B2 (en) | Gesture manipulation device and method, program, and recording medium | |
JP5529660B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP4135123B2 (ja) | 表示処理装置 | |
US20180173300A1 (en) | Interactive virtual objects in mixed reality environments | |
JP4263737B2 (ja) | 歩行者検知装置 | |
JP2014054486A (ja) | 注視位置検出装置及び注視位置検出方法 | |
JP2009104297A (ja) | 操作入力装置 | |
JP2003015816A (ja) | ステレオカメラを使用した顔・視線認識装置 | |
US10235607B2 (en) | Control device, control method, and computer program product | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
US9160986B2 (en) | Device for monitoring surroundings of a vehicle | |
US11615549B2 (en) | Image processing system and image processing method | |
JP2008257574A (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP5502149B2 (ja) | 車両周辺監視装置 | |
JP2012168578A (ja) | 移動者警報装置 | |
JP2020095663A (ja) | 認識処理装置、認識処理方法及びプログラム | |
JP6939065B2 (ja) | 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法 | |
JP2011134119A (ja) | 車両周辺監視装置 | |
WO2020115981A1 (ja) | 認識処理装置、認識処理方法及びプログラム | |
JP3994954B2 (ja) | 物体検出装置及び物体検出方法 | |
JP2004364112A (ja) | 車両周辺表示装置 |