JP2007264732A - 車両用方向者検出装置 - Google Patents

車両用方向者検出装置 Download PDF

Info

Publication number
JP2007264732A
JP2007264732A JP2006085435A JP2006085435A JP2007264732A JP 2007264732 A JP2007264732 A JP 2007264732A JP 2006085435 A JP2006085435 A JP 2006085435A JP 2006085435 A JP2006085435 A JP 2006085435A JP 2007264732 A JP2007264732 A JP 2007264732A
Authority
JP
Japan
Prior art keywords
pedestrian
model
vehicle
far
candidate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006085435A
Other languages
English (en)
Other versions
JP4793638B2 (ja
Inventor
Shota Kawamata
正太 川又
Haruhisa Kore
治久 是
Takanori Kume
孝則 久米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2006085435A priority Critical patent/JP4793638B2/ja
Priority to EP07003065A priority patent/EP1839964B1/en
Priority to DE602007000829T priority patent/DE602007000829D1/de
Priority to US11/708,463 priority patent/US20070222565A1/en
Publication of JP2007264732A publication Critical patent/JP2007264732A/ja
Application granted granted Critical
Publication of JP4793638B2 publication Critical patent/JP4793638B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる車両用歩行者検出装置の提供。
【解決手段】車両に搭載された車両用歩行者検出装置であって、車外の遠赤外線画像を撮像する遠赤外線カメラ１と、撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出部６１と、遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段３と、遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶したＲＯＭ４と、車外環境検出手段３によって検出された車外環境に対応する歩行者モデルを、ＲＯＭ４から抽出する歩行者モデル抽出部６２と、候補領域抽出部６１によって抽出された候補領域と、歩行者モデル抽出部６２によって抽出された歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定部６３とを備える。
【選択図】図１

Description

本発明は、車両用歩行者検出装置に係り、より詳細には、遠赤外線画像を撮像して歩行者を検出する車両用歩行者検出装置に関する。
近年、車両の運転支援制御等のために、車両の周囲、特に、車両前方の歩行者を検出する技術が提案されている。例えば、特許文献１には、遠赤外線カメラにより歩行者を検出技術が開示されている。また、特許文献２には、ステレオカメラと遠赤外線カメラにより歩行者を検出する技術が開示されている。
特開２００４−２６６７６７公報 特開２００５−２３４６９４号公報
遠赤外線カメラによる歩行者を検出は、歩行者と周囲構造物との温度差を検出することにより行う。このため、周囲構造物の表面温度が低い夜間においては、歩行者の検出を精度良く行うことができる。
しかしながら、日中、特に、日照下では、周囲構造物や路面等の温度が高くなり、歩行者との温度差が小さくなる。このため、昼間に、歩行者の検出を精度良く行うことが困難となる場合がある。
また、歩行者の服装は、一般に、季節等よって異なる。そして、歩行者の服装によって、遠赤外線画像における歩行者像が異なる場合がある。例えば、歩行者が着用している衣服が長袖の場合と半袖の場合とでは、通常、遠赤外線による歩行者像が異なる。
そこで、本発明は、昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる車両用歩行者検出装置の提供を目的としている。
上記の目的を達成するため、本発明の車両用歩行者検出装置は、車両に搭載された車両用歩行者検出装置であって、車外の遠赤外線画像を撮像する撮像手段と、撮像手段によって撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出手段と、遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段と、遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶した歩行者モデル記憶手段と、車外環境検出手段によって検出された車外環境に対応する歩行者モデルを歩行者モデル記憶手段から抽出する歩行者モデル抽出手段と、候補領域抽出手段によって抽出された候補領域と、歩行者モデル抽出手段によって抽出された歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定手段とを備えることを特徴としている。
このように構成された本発明の車両用歩行者検出装置によれば、車外環境に応じた歩行者モデルとのマッチングにより、歩行者か否かの判定を行って、歩行者を検出するので、昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる。
また、本発明において好ましくは、車外環境検出手段は、車外環境として、季節、外気温、日照度、及び時間帯の少なくとも一つを検出する。
これらの車外環境の条件により、通常、歩行者の服装や、皮膚温度が異なるので、これらの条件を検出することにより、歩行者の検出精度の向上に寄与することができる。
また、本発明において好ましくは、歩行者モデル記憶手段に記憶された歩行者モデルは、歩行者の部位毎の部位モデルにより構成され、各部位モデルは、相対的な位置関係が設定され、歩行者判定手段は、部位モデルに設定された相対的な位置関係に応じて、候補領域から各部位に対応する部位別候補領域を抽出し、部位別候補領域ごとに、対応する部位モデルとの一致度を判定する。
このように、歩行者モデルの部位毎に相対的な位置関係を設定してマッチングをとれば、歩行者の検出精度のより一層の向上に寄与することができる。
また、本発明において好ましくは、歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線平均強度を記憶し、歩行者判定手段は、部位別候補領域ごとに、遠赤外線平均強度を求め、部位モデルとの一致度を判定する。
このように、部位ごとの平均強度を比較することにより、容易にマッチングを行うことができる。
また、本発明において好ましくは、歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線強度分布を記憶し、歩行者判定手段は、部位別候補領域ごとに、遠赤外線強度分布を求め、部位モデルとの一致度を判定する。
このように、部位毎の強度分布を比較することにより、容易にマッチングを行うことができる。
また、本発明において好ましくは、車外環境検出手段は、車外環境として、歩行者の衣服に付けられたＩＣタグの発する信号を検出し、歩行者モデル記憶手段は、遠赤外線画像の歩行者モデルをＩＣタグの信号と対応付けて記憶し、歩行者モデル抽出手段は、車外環境検出手段によって検出されたＩＣタグの信号に対応する歩行者モデルを、上記歩行者モデル記憶手段から抽出する。
これにより、ＩＣタグの信号の示す衣服を着用した歩行者モデルを用いてマッチングを行うことができ、歩行者検出精度の向上に寄与することができる。
また、本発明において好ましくは、車両に搭載され、車外の可視画像を撮像する可視画像撮像手段を更に備え、歩行者判定手段は、候補領域について、可視画像による歩行者検出を更に行う。
これにより、歩行者検出精度の向上に寄与することができる。
このように、本発明の車両用歩行者検出装置もよれば、昼間であっても、遠赤外線による歩行者の検出精度の向上を図ることができる。
以下、添付の図面を参照して、本発明の車両用歩行者検出装置（以下、「本装置」とも称する。）の実施形態を説明する。
（第１実施形態）
図１のブロック図に、実施形態の車両用歩行者検出装置の構成を示す。図１に示すように、本装置は、車外の遠赤外線画像を撮像する撮像手段としての遠赤外線カメラ１と、車両に搭載され、車外の可視画像を撮像する可視画像撮像手段としての可視カメラ２と、遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段３と、遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶した歩行者モデル記憶手段としてのＲＯＭ４と、出力手段５と、ＣＰＵ（central processing unit：中央処理装置）６とから構成されている。
遠赤外線カメラ１、可視カメラ２及び車外環境検出手段３は、図２に示すように、車両７上の任意好適な位置に配置されている。本実施形態では、遠赤外線カメラ１及び可視カメラ２は、車両前方の物体を撮像するように配置されている。遠赤外線カメラ１は、例えば、波長８〜１２μｍの遠赤外線波長帯域における物体の熱放射の強度分布を画像として撮像する。
車外環境検出手段３として、季節を検出するカレンダー３４、外気温を検出する外気温センサ３１、日照度を検出する日照度センサ３２、及び時間帯を検出する時計３３を備え、さらに、歩行者の衣服に付けたＩＣタグ（図示せず）の発する信号を検出するＩＣタグ受信装置を備える。カレンダー３４及び時計３３は、例えば、カーナビゲーションシステムに組み込まれた電子時計及び電子カレンダーを利用するとよい。また、外気温センサ３１及び日照度センサ３２には、任意好適なものを使用することができる。
なお、図２では、ＩＣタグ受信装置３５を構成するＩＣタグ受信用アンテナの配置を示している。
歩行者モデル記憶手段としてのＲＯＭ４には、図３に示すように、車外環境の条件としての季節（Ａ１〜Ａｎ）、外気温（Ｂ１〜Ｂｎ）、日照度（Ｃ１〜Ｃｎ）、及び時間帯（Ｄ１〜Ｄｎ）の種々の組合せと、歩行者モデルの頭部、腕部、胴部、脚部等の各部位モデルごとの、遠赤外線平均強度、及び遠赤外線強度分布とを対応づけて記憶している。図３では、便宜的に、遠赤外線強度を、強度が高いほど白く、低いほど黒く表した濃度として示す。
各部位モデルの濃度平均は、各部位モデルの範囲内の濃度を平均したものであり、濃度分布は、各部位モデルの範囲内における濃度の位置による変化を示したものである。歩行者モデルの濃度、即ち、表面温度に対応する熱放射の遠赤外線強度は、一般に、皮膚が露出しているか、衣服で覆われているかによっても大きく異なる。図３に示す例では、肌が露出している顔面を含む頭部の濃度平均は高く（白く）、一方、衣服に覆われている胴部等の濃度平均は低く（黒く）なっている。
また、図３に示す例では、各部位モデルにおける濃度分布は、各部位の中央部、即ち、遠赤外線カメラから見て正面を向いている領域で濃度が高く、一方、各部位の周辺部、即ち、側方を向いている領域で濃度が低くなっている。
各部位モデルは、相対的な位置関係が設定されている。例えば、頭部は、胴部の上方に位置するものとして設定されており、また、脚部は、胴部の下方に位置するものとして設定されている。さらに、例えば、腕部は、胴部の側方等に位置するものとして設定されている。
なお、車外環境条件のある組合せに対して、歩行者モデルは、一通りである必要はなく、複数の歩行者モデルを対応づけて記憶してもよい。また、部位モデル相互の位置関係は、ある歩行者モデルを構成する一組の部位モデルについて、一通りである必要はなく、様々な場合の位置関係を設定してもよい。
また、各部位モデルは、あらかじめ、様々な車外環境の想定した条件全てに対して、確定したものを記憶しておいてもよいし、幾つかの基本モデルを記憶しておき、検出された車外環境に合わせて、所定の演算方式等により、その基本モデルを修正した部位モデルを生成して用いてもよい。
出力手段５には、警報装置５１、自動ブレーキ装置５２、ステアリング装置５３、及び、歩行者保護装置５４が含まれる。これらの装置により、本実施形態では、歩行者を検出した場合において、その歩行者との衝突が予測されるときに運転支援を行う。例えば、警報装置５１は警報音等を発し、自動ブレーキ装置５２は急ブレーキをかけて歩行者との衝突の回避を図る。また、例えば、ステアリング装置５３は、歩行者との衝突回避運動を自動的に行う。また、歩行者保護装置５４は、例えば、歩行者との衝突が予測された場合に、車両のフロントフードやフロントガラス上にエアバッグを展開し、歩行者の受けるダメージの軽減を図る。
ＣＰＵ６では、遠赤外線カメラ１によって撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出処理と、車外環境検出手段３によって検出された車外環境に対応する歩行者モデルを、ＲＯＭ４から抽出する歩行者モデル抽出処理と、抽出された候補領域と歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定処理とを行う。図１では、便宜的に、これらの処理を、それぞれ、ＣＰＵ６内の候補領域抽出部６１、歩行者モデル抽出処理部６２及び歩行者判定処理部６３の三つの機能ブロックとして示す。
次に、図４のフローチャートを参照して、本実施形態の車両用歩行者検出装置の動作を説明する。
なお、図４に示したフローチャートは、処理の一例に過ぎず、遠赤外線画像撮像処理（Ｓ１）及び候補領域抽出処理（Ｓ２）と、車外環境検出処理（Ｓ３）及び歩行者モデル抽出処理（Ｓ４）とは、順序を入れ替えて実行してもよいし、並列に実行してもよい。また、遠赤外線画像撮像処理（Ｓ１）を連続的に実行する一方、車外環境検出処理（Ｓ３）は、定期的に、或いは、任意の条件下で実行するようにしてもよい。
本実施形態では、まず、遠赤外線カメラ１によって、車外の遠赤外線画像を撮像する（Ｓ１）。図５（ａ）に撮像された遠赤外線画像１０を示す。なお、図５（ａ）では、便宜的に、遠赤外線画像１０中の、歩行者以外の背景画像を省略している。
続いて、ＣＰＵ６の候補領域抽出部６１によって、撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する（Ｓ２）。ここでは、図５（ｂ）に示すように、まず、遠赤外線画像１０を二値化し、白い高温領域１１を抽出する。通常は、高温領域として、例えば、日向の郵便ポストなど、歩行者以外の様々な物体像も検出される。
そこで、本実施形態では、図５（ｃ）に示すように、抽出された様々高温領域１１のうち、縦横比や抽出領域のサイズ等により、歩行者像が含まれている可能性の高い領域を更に絞り込み、候補領域１００として抽出する。
また、種々の車外環境検出手段５によって、遠赤外線画像に影響を与える車外環境を検出する（Ｓ３）。ここでは、カーナビゲーションシステム（図示せず）に内蔵の電子カレンダー３４により季節を検出し、外気温センサ３１により外気温を検出し、日照度センサ３２により日照度を検出し、かつ、時計３３により時間帯を検出する。
そして、ＣＰＵ６の歩行者モデル抽出部６２により、車外環境検出手段３（３１〜３４）によって検出された車外環境に対応する歩行者モデルを、歩行者モデルを記憶したＲＯＭ４から抽出する（Ｓ４）。ここでは、検出車外環境、例えば、季節Ａ１、外気温Ｂ１、日照度Ｃ１及び時間帯Ｄ１に対応する各部位の濃度分布及び濃度平均として各部位モデルを抽出し、これらの選択された部位モデルからなる歩行者モデルを構築する。図６（ａ）に、頭部モデルＡ、胴体モデルＣ、腕モデルＨ、手モデルＬ、脚部モデルＪ及び足モデルＲを組み合わせた歩行者モデル２００を模式的に示す。
次いで、ＣＰＵ６の歩行者判定処理部６３により、候補領域抽出部６１によって抽出された候補領域１００と、歩行者モデル抽出部６２によって抽出された歩行者モデル２００とを対比して、候補領域１００が歩行者像を含むか否かを判定することにより、歩行者を検出する（Ｓ５）。
ここでは、図６（ｂ）に示すように、部位モデルに設定された相対的な位置関係に応じて、候補領域１００から各部位に対応する部位別候補領域を更に抽出する。図６（ｂ）に示す例では、候補領域１００から、頭部候補領域１００Ａ、胴体候補領域１００Ｃ、腕候補領域１００Ｈ、手候補領域１００Ｌ、脚部候補領域１００Ｊ及び足候補領域１００Ｒを更に抽出している。
そして、歩行者判定処理部６３により、部位別候補領域ごとに、対応する部位モデルとの一致度を判定する。具体的には、頭部モデルＡと頭部領域１００Ａとのマッチング、胴体モデルＣと胴体候補領域１００Ｃとのマッチング、腕モデルＨと腕候補領域１００Ｈとのマッチング、手モデルＬと手候補領域１００Ｌとのマッチング、脚部モデルＪと脚部候補領域１００Ｊとのマッチング、及び足モデルＲと足候補領域１００Ｒとのマッチングをそれぞれとる。
マッチングを行うにあたり、歩行者判定部６３は、部位別候補領域ごとに、遠赤外線平均強度及び強度部分を求め、それぞれの部位モデルとの一致度をそれぞれ判定する。そして、個々の部位毎のマッチング結果に基づいて、歩行者像か否かを総合的に判断する。
そして、歩行者像と判定した場合、特に、歩行者との衝突が予想される場合、出力手段５を作動させて運転支援を行う（Ｓ６）。
（第２実施形態）
次に、本発明の第２実施形態について説明する。
近年、製品管理の観点から、衣服にＩＣタグを縫いつけておくことが提案されている。そこで、第２実施形態では、衣服に付けられたＩＣタグの発信する信号を歩行者検出に利用する。衣服に付けられたＩＣタグの発する信号は、例えば、その衣服の素材や形状を特定するコードを含んでいる。このため、その信号を受信することにより、歩行者の着用している衣服の素材等を特定することができる。そして、物体の熱放射のエネルギー及びスペクトル分布は、物体の温度だけでなく、物体の種類によっても定まるので、ＩＣタグの信号により衣服の素材を特定すれば、遠赤外線画像による歩行者検出の精度向上を図ることができる。
第２実施形態の車両用歩行者検出装置の構成は、図１に示したものと同じであり、歩行者検出処理は、図４のフローチャートに示したものと基本的に同じである。
ただし、第２実施形態では、歩行者モデル記憶手段としてのＲＯＭ４に、図７に示すように、遠赤外線画像の歩行者モデルが、ＩＣタグの信号と対応付けて記憶されている。
図７に示す例では、受信したＩＣタグの信号のコードが示す衣服が、帽子の衣服ｂ、上着の衣服ａ、及びズボンの衣服ｃである場合において、これらの衣服を着用したときの歩行者モデルの頭部、腕部、胴部、脚部等の各部位モデルごとの、遠赤外線平均強度、及び遠赤外線強度分布が対応づけられて記憶されている。
そして、ＩＣタグ受信装置３５が、例えば、車両前方に向けてＩＣタグの励起信号を発信し、車外環境として、歩行者の衣服に付けたＩＣタグの発する信号を検出する（図４のＳ３）。
歩行者モデル抽出部６２は、検出された各ＩＣタグの信号に対応する衣服を着用した部位モデルをＲＯＭ４から抽出し、第１実施形態と同様に遠赤外画像の歩行者モデルを生成する（Ｓ４）。そして、上述の第１実施形態と同様にして歩行者を検出する。
なお、ＩＣタグの信号を受信するだけでも、歩行者の存在は検出できるが、赤外線画像からも歩行者を検出すれば、歩行者のより正確な位置を検出することができる。また、ＩＣタグの信号と、季節や日照度等の他の車外環境条件とを組み合わせることによって、歩行者検出の精度の向上を図ることができる。
さらに、本実施形態では、赤外線画像に加えて、可視カメラ２によって車外の可視画像を撮像し、歩行者判定部６３により、候補領域について、赤外線画像に加えて可視画像を利用して歩行者検出を行えば、検出精度の一層の向上を図ることができる。
上述した各実施形態においては、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組み合わせを行うことができ、これに限定されるものではない。
実施形態の歩行者検出装置の構成を示すブロック図である。 実施形態の歩行者検出装置の車両上の配置を示す模式図である。 車外環境と歩行者モデルとの対応例である。 実施形態の歩行者検出装置の動作例を示すブロック図である。 （ａ）は、遠赤外線画像の一例であり、（ｂ）は、高温領域抽出の一例であり、（ｃ）は、候補領域抽出の一例である。 （ａ）は、歩行者モデルの一例であり、（ｂ）は、候補領域の部位別候補領域の一例である 第二実施形態のＩＣタグの信号と歩行者モデルとの対応例である。
符号の説明
１ 遠赤外線カメラ
２ 可視カメラ
３ 車外環境検出手段
４ 歩行者モデル記憶手段（ＲＯＭ）
５ 出力手段
６ ＣＰＵ
７ 車両
１０ 遠赤外線画像
１１ 高温領域
３１ 外気温センサ
３２ 日照度センサ
３３ 時計
３４ カレンダー
３５ ＩＣタグ受信装置
５１ 警報装置
５２ 自動ブレーキ装置
５３ ステアリング装置
５４ 歩行者保護装置（エアバッグ）
６１ 候補領域抽出部
６２ 歩行者モデル抽出部
６３ 歩行者判定部
１００Ａ 頭部候補領域
１００Ｃ 胴体候補領域
１００Ｈ 腕候補領域
１００Ｌ 手候補領域
１００Ｊ 脚部候補領域
１００Ｒ 足候補領域
Ａ 頭部モデル
Ｃ 胴体モデル
Ｈ 腕モデル
Ｌ 手モデル
Ｊ 脚部モデル
Ｒ 足モデル

Claims (7)

  1. 車両に搭載された車両用歩行者検出装置であって、
    車外の遠赤外線画像を撮像する撮像手段と、
    上記撮像手段によって撮像された遠赤外線画像から歩行者像を含むの可能性がある候補領域を抽出する候補領域抽出手段と、
    上記遠赤外線画像に影響を与える車外環境を検出する車外環境検出手段と、
    遠赤外線画像の歩行者モデルを車外環境状況と対応付けて記憶した歩行者モデル記憶手段と、
    上記車外環境検出手段によって検出された車外環境に対応する歩行者モデルを、上記歩行者モデル記憶手段から抽出する歩行者モデル抽出手段と、
    上記候補領域抽出手段によって抽出された候補領域と、歩行者モデル抽出手段によって抽出された歩行者モデルとを対比して、候補領域が歩行者像を含むか否かを判定することにより、歩行者を検出する歩行者判定手段と、
    を備えることを特徴とする車両用歩行者検出装置。
  2. 上記車外環境検出手段は、車外環境として、季節、外気温、日照度、及び時間帯の少なくとも一つを検出する
    ことを特徴とする請求項１記載の車両用歩行者検出装置。
  3. 上記歩行者モデル記憶手段に記憶された歩行者モデルは、歩行者の部位毎の部位モデルにより構成され、各部位モデルは、相対的な位置関係が設定され、
    上記歩行者判定手段は、部位モデルに設定された相対的な位置関係に応じて、候補領域から各部位に対応する部位別候補領域を抽出し、部位別候補領域ごとに、対応する部位モデルとの一致度を判定する
    ことを特徴とする請求項１又は２記載の車両用歩行者検出装置。
  4. 上記歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線平均強度を記憶し、
    上記歩行者判定手段は、部位別候補領域ごとに、遠赤外線平均強度を求め、部位モデルとの一致度を判定する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の車両用歩行者検出装置。
  5. 上記歩行者モデル記憶手段は、歩行者モデルの部位モデルごとに、遠赤外線強度分布を記憶し、
    上記歩行者判定手段は、上記部位別候補領域ごとに、遠赤外線強度分布を求め、部位モデルとの一致度を判定する
    ことを特徴とする請求項１乃至４のいずれか一項に記載の車両用歩行者検出装置。
  6. 上記車外環境検出手段は、車外環境として、歩行者の衣服に付けたＩＣタグの発する信号を検出し、
    上記歩行者モデル記憶手段は、遠赤外線画像の歩行者モデルをＩＣタグの信号と対応付けて記憶し、
    上記歩行者モデル抽出手段は、上記車外環境検出手段によって検出されたＩＣタグの信号に対応する歩行者モデルを、上記歩行者モデル記憶手段から抽出する
    ことを特徴とする請求項１乃至５のいずれか一項に記載の車両用歩行者検出装置。
  7. 車両に搭載され、車外の可視画像を撮像する可視画像撮像手段を更に備え、
    上記歩行者判定手段は、上記候補領域について、可視画像による歩行者検出を行う
    ことを特徴とする請求項１乃至６のいずれか一項に記載の車両用歩行者検出装置。
JP2006085435A 2006-03-27 2006-03-27 車両用歩行者検出装置 Expired - Fee Related JP4793638B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006085435A JP4793638B2 (ja) 2006-03-27 2006-03-27 車両用歩行者検出装置
EP07003065A EP1839964B1 (en) 2006-03-27 2007-02-13 Pedestrian detecting device, method and computer program product
DE602007000829T DE602007000829D1 (de) 2006-03-27 2007-02-13 Vorrichtung und Verfahren zur Fußgängererfassung sowie Computerprogrammprodukt
US11/708,463 US20070222565A1 (en) 2006-03-27 2007-02-21 Pedestrian detecting device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006085435A JP4793638B2 (ja) 2006-03-27 2006-03-27 車両用歩行者検出装置

Publications (2)

Publication Number Publication Date
JP2007264732A true JP2007264732A (ja) 2007-10-11
JP4793638B2 JP4793638B2 (ja) 2011-10-12

Family

ID=38000813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006085435A Expired - Fee Related JP4793638B2 (ja) 2006-03-27 2006-03-27 車両用歩行者検出装置

Country Status (4)

Country Link
US (1) US20070222565A1 (ja)
EP (1) EP1839964B1 (ja)
JP (1) JP4793638B2 (ja)
DE (1) DE602007000829D1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047055A1 (ja) * 2008-10-24 2010-04-29 本田技研工業株式会社 車両の周辺監視装置
JP2010119132A (ja) * 2010-01-27 2010-05-27 Honda Motor Co Ltd 車両の周辺監視装置
JP2011048650A (ja) * 2009-08-27 2011-03-10 Honda Motor Co Ltd 車両周辺監視装置
JP2015121905A (ja) * 2013-12-20 2015-07-02 セコム株式会社 物体検出装置
JP2022531029A (ja) * 2020-04-01 2022-07-06 センスタイム インターナショナル ピーティーイー．リミテッド 画像認識方法、装置及び記憶媒体

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
JP4364266B2 (ja) * 2007-08-01 2009-11-11 株式会社東芝 画像処理装置およびプログラム
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
EP2385482B1 (en) * 2010-05-05 2016-04-20 Autoliv Development AB A driver assisting system and method for a motor vehicle
WO2013047088A1 (ja) * 2011-09-28 2013-04-04 本田技研工業株式会社 生体認識装置
WO2013133463A1 (en) * 2012-03-09 2013-09-12 Lg Electronics Inc. Image display device and method thereof
US9738253B2 (en) * 2012-05-15 2017-08-22 Aps Systems, Llc. Sensor system for motor vehicle
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
CN103559482A (zh) * 2013-11-05 2014-02-05 无锡慧眼电子科技有限公司 基于边缘对称性的行人检测方法
TW201520994A (zh) * 2013-11-18 2015-06-01 Chunghwa Telecom Co Ltd 檢測載具偵測裝置之系統及其方法
WO2015161208A1 (en) 2014-04-18 2015-10-22 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
JP6230498B2 (ja) * 2014-06-30 2017-11-15 本田技研工業株式会社 対象物認識装置
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
KR102117598B1 (ko) * 2015-06-15 2020-06-01 엘지전자 주식회사 차량 운전 보조 장치 및 차량
CN105975925B (zh) * 2016-05-03 2019-05-03 电子科技大学 基于联合检测模型的部分遮挡行人检测方法
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术（北京）有限公司 无人车驾驶状态的识别装置、识别方法及无人车
CN110505814A (zh) 2017-02-20 2019-11-26 3M创新有限公司 光学制品和与其进行交互的系统
CN111164605A (zh) 2017-09-27 2020-05-15 3M创新有限公司 使用光学图案以用于设备和安全监控的个人防护设备管理系统
JP7188397B2 (ja) * 2017-12-04 2022-12-13 ソニーグループ株式会社 画像処理装置及び画像処理方法
JP7056458B2 (ja) * 2018-08-10 2022-04-19 株式会社Ｊｖｃケンウッド 認識処理装置、認識処理方法及び認識処理プログラム
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
DE102019200345A1 (de) * 2019-01-14 2020-07-16 Continental Automotive Gmbh Cloudbasierte Erkennung und Warnung von Gefahrenstellen
US20230273039A1 (en) * 2022-02-28 2023-08-31 Zf Friedrichshafen Ag Cloud based navigation for vision impaired pedestrians

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2003009140A (ja) * 2001-06-26 2003-01-10 Mitsubishi Motors Corp 歩行者検出装置
JP2005115618A (ja) * 2003-10-07 2005-04-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2005128776A (ja) * 2003-10-23 2005-05-19 Nissan Motor Co Ltd 閾値設定装置及び閾値設定方法
JP2005241124A (ja) * 2004-02-26 2005-09-08 Matsushita Electric Ind Co Ltd 非接触情報記憶媒体および冷暖房機器
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3898652A (en) * 1973-12-26 1975-08-05 Rashid Mary D Vehicle safety and protection system
US4779095A (en) * 1986-10-28 1988-10-18 H & G Systems, Inc. Image change detection system
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
DE19817334C1 (de) * 1998-04-18 1999-08-05 Daimler Chrysler Ag Verfahren zur Anpassung einer Auslöseschwelle von Insassenschutzeinrichtungen
JP3864406B2 (ja) * 1999-01-26 2006-12-27 マツダ株式会社 車両の表示装置
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
US6281806B1 (en) * 2000-10-12 2001-08-28 Ford Global Technologies, Inc. Driver road hazard warning and illumination system
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
US7834905B2 (en) * 2002-06-18 2010-11-16 Bayerische Motoren Werke Aktiengesellschaft Method and system for visualizing the environment of a vehicle with a distance-dependent merging of an infrared and a visual image
DE10304703B4 (de) * 2003-02-06 2023-03-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
JP4160848B2 (ja) * 2003-03-20 2008-10-08 本田技研工業株式会社 車両用衝突物保護装置
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4612635B2 (ja) * 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
EP1766581A4 (en) * 2004-06-14 2010-11-03 Agency Science Tech & Res METHOD FOR DETECTING DESIRED OBJECTS IN A VERY DYNAMIC ENVIRONMENT BY MEANS OF A MONITORING SYSTEM
JP2006023963A (ja) * 2004-07-07 2006-01-26 Fujitsu Ltd 無線ｉｃタグリーダライタ、無線ｉｃタグシステムおよび無線ｉｃタグデータ書込方法
JP3970876B2 (ja) * 2004-11-30 2007-09-05 本田技研工業株式会社 車両周辺監視装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
US7764191B2 (en) * 2005-07-26 2010-07-27 Rockwell Automation Technologies, Inc. RFID tag data affecting automation controller with internal database
US7787011B2 (en) * 2005-09-07 2010-08-31 Fuji Xerox Co., Ltd. System and method for analyzing and monitoring 3-D video streams from multiple cameras

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002074595A (ja) * 2000-08-29 2002-03-15 Hitachi Ltd 車両の安全運転支援システム
JP2003009140A (ja) * 2001-06-26 2003-01-10 Mitsubishi Motors Corp 歩行者検出装置
JP2005115618A (ja) * 2003-10-07 2005-04-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2005128776A (ja) * 2003-10-23 2005-05-19 Nissan Motor Co Ltd 閾値設定装置及び閾値設定方法
JP2005241124A (ja) * 2004-02-26 2005-09-08 Matsushita Electric Ind Co Ltd 非接触情報記憶媒体および冷暖房機器
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010047055A1 (ja) * 2008-10-24 2010-04-29 本田技研工業株式会社 車両の周辺監視装置
JP2010102572A (ja) * 2008-10-24 2010-05-06 Honda Motor Co Ltd 車両の周辺監視装置
JP4482599B2 (ja) * 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
CN102197418A (zh) * 2008-10-24 2011-09-21 本田技研工业株式会社 车辆周围监测装置
CN102197418B (zh) * 2008-10-24 2014-08-06 本田技研工业株式会社 车辆周围监测装置
JP2011048650A (ja) * 2009-08-27 2011-03-10 Honda Motor Co Ltd 車両周辺監視装置
JP2010119132A (ja) * 2010-01-27 2010-05-27 Honda Motor Co Ltd 車両の周辺監視装置
JP2015121905A (ja) * 2013-12-20 2015-07-02 セコム株式会社 物体検出装置
JP2022531029A (ja) * 2020-04-01 2022-07-06 センスタイム インターナショナル ピーティーイー．リミテッド 画像認識方法、装置及び記憶媒体

Also Published As

Publication number Publication date
JP4793638B2 (ja) 2011-10-12
EP1839964A1 (en) 2007-10-03
US20070222565A1 (en) 2007-09-27
EP1839964B1 (en) 2009-04-08
DE602007000829D1 (de) 2009-05-20

Similar Documents

Publication Publication Date Title
JP4793638B2 (ja) 車両用歩行者検出装置
US8648912B2 (en) Vehicle periphery monitoring apparatus
JP5258977B2 (ja) 対象物距離測定装置及び当該装置が搭載された車両
JP4173901B2 (ja) 車両周辺監視装置
KR101955506B1 (ko) 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
EP2759999B1 (en) Apparatus for monitoring surroundings of vehicle
US7233233B2 (en) Vehicle surroundings monitoring apparatus
CN102783144B (zh) 车辆的周围监测装置
US8810653B2 (en) Vehicle surroundings monitoring apparatus
JP4263737B2 (ja) 歩行者検知装置
JP4173902B2 (ja) 車両周辺監視装置
EP2838050A2 (en) Image processing unit, object detection method, object detection program, and vehicle control system
JP2018195301A (ja) 制御装置及び制御方法
JP2005079999A (ja) 車両周辺監視装置
JP2007334751A (ja) 車両周辺監視装置
JP2007193445A (ja) 車両の周辺監視装置
JP2007304033A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
US20130229525A1 (en) A device for monitoring surroundings of a vehicle
CN112818816B (zh) 一种温度检测方法、装置及设备
KR20120063657A (ko) 어린이 보행자 보호 장치 및 그의 어린이 보행자 보호 방법
US20050151053A1 (en) Infrared proximity sensor for air bag safety
JP2005157765A (ja) 歩行者検出装置
JP2004257924A (ja) 対象物検出装置
JP2007058805A (ja) 前方環境認識装置
JP2023014088A (ja) センサアレイ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110713

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4793638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees