JP2007257304A - 障害物認識装置 - Google Patents

障害物認識装置 Download PDF

Info

Publication number
JP2007257304A
JP2007257304A JP2006080889A JP2006080889A JP2007257304A JP 2007257304 A JP2007257304 A JP 2007257304A JP 2006080889 A JP2006080889 A JP 2006080889A JP 2006080889 A JP2006080889 A JP 2006080889A JP 2007257304 A JP2007257304 A JP 2007257304A
Authority
JP
Japan
Prior art keywords
image
visible
infrared
image data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006080889A
Other languages
English (en)
Other versions
JP4932293B2 (ja
Inventor
Izumi Kondo
いずみ 近藤
Hiroyuki Koike
弘之 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2006080889A priority Critical patent/JP4932293B2/ja
Publication of JP2007257304A publication Critical patent/JP2007257304A/ja
Application granted granted Critical
Publication of JP4932293B2 publication Critical patent/JP4932293B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成する。
【解決手段】画像加工部23は、外界センサ11の1対の赤外線カメラ11La,11Raの撮影により得られた赤外線画像による画像データと、外界センサ11の可視カメラ11Vaの撮影により得られた可視画像による画像データとを重畳して、重畳画像を生成する。画像加工部23は、歩行者検出部21により検出された歩行者を含む周辺領域に対する赤外線画像データと可視画像データとの重畳画像上での位置のずれが所定値以上となる状態において、重畳画像から可視画像データを削除し、赤外線画像データを可視画像データが存在していた位置へと移動させる。
【選択図】図1

Description

この発明は、障害物認識装置に関する。
従来、例えば互いに同一位置を撮影する赤外線カメラと可視カメラとを備え、赤外線カメラの撮影により得られた赤外線画像から、可視カメラの撮影により得られた可視画像を差し引いて得た画像を表示する装置が知られている(例えば、特許文献1参照)。
また、従来、例えば可視カメラと、可視光以外のカメラ(例えば、赤外線カメラ)とを備え、赤外線カメラの撮影により得られた赤外線画像から所定領域を抽出し、可視カメラの撮影により得られた可視画像上の対応する領域に合成して得た合成画像を表示する表示処理装置が知られている(例えば、特許文献2参照)。
特開2000−19259号公報 特開平11−308609号公報
ところで、上記従来技術に係る装置においては、例えば撮影対象物が各カメラに近接することに伴って、2つのカメラの配置位置のずれに起因する視差が増大し、各画像上における撮影対象物の位置のずれが増大する。このため、単に、2つの異なるカメラの撮影により得られた画像同士を合成、あるいは一方から他方を差し引くだけでは、適切な画像を得ることができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成することが可能な障害物認識装置を提供することを目的としている。
上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の障害物認識装置は、自車両の外界に存在する物体を撮像する赤外線カメラ(例えば、実施の形態での赤外線カメラ11La,11Ra)および可視カメラ(例えば、実施の形態での可視カメラ11Va)と、前記各カメラの撮像により得られた画像を処理する画像処理手段(例えば、実施の形態での画像加工部23)とを備え、前記画像処理手段は、前記各カメラの撮像により得られた画像同士を重畳して重畳画像を生成する重畳手段(例えば、実施の形態でのステップS05、ステップS07)と、所定状態において、前記重畳画像上の自車両に対する障害物に相当する領域において、前記可視カメラの撮像により得られた可視画像を削除して得られる画像を表示手段(例えば、実施の形態での表示装置14)に表示させる画像出力手段(例えば、実施の形態でのステップS08)とを備えることを特徴としている。
上記の障害物認識装置によれば、赤外線カメラおよび可視カメラの撮像により得られた画像同士を重畳して得た重畳画像上において、自車両に対する障害物が存在する領域では、可視カメラの撮影により得られた可視画像を削除して、赤外線カメラの撮影により得られた赤外線画像のみを表示させることにより、重畳画像上で撮影対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な画像を生成することができる。
さらに、請求項2に記載の本発明の障害物認識装置は、前記赤外線カメラの撮像により得られた赤外線画像のうち、前記画像出力手段により削除された前記可視画像に対応する前記障害物の前記赤外線画像を前記重畳画像から抽出し、抽出した前記赤外線画像を、前記画像出力手段により削除された前記可視画像の位置に配置する処理手段(例えば、実施の形態でのステップS09)を備えることを特徴としている。
上記の障害物認識装置によれば、重畳画像上の自車両に対する障害物に相当する領域において削除された可視画像と同等の撮像領域の赤外線画像を、重畳画像上で削除された可視画像が存在していた位置へと移動させることにより、自車両の乗員が外界を実際に視認して得る視覚情報と比較して相対的に違和感の無い情報により構成される可視画像上での各撮像対象物の位置を保持しつつ、相対的に精細な情報により構成される赤外線画像によって各撮像対象物の形状を表示させることができ、乗員による視認性を向上させることが可能な適切な画像を生成することができる。
以上説明したように、請求項1に記載の本発明の障害物認識装置によれば、重畳画像上で撮影対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な画像を生成することができる。
さらに、請求項2に記載の本発明の障害物認識装置によれば、自車両の乗員が外界を実際に視認して得る視覚情報と比較して相対的に違和感の無い情報により構成される可視画像上での各撮像対象物の位置を保持しつつ、相対的に精細な情報により構成される赤外線画像によって各撮像対象物の形状を表示させることができ、乗員による視認性を向上させることが可能な適切な画像を生成することができる。
以下、本発明の一実施形態に係る障害物認識装置について添付図面を参照しながら説明する。
本実施の形態による障害物認識装置10は、例えば図1に示すように、外界センサ11と、自車両状態センサ12と、処理装置13と、表示装置14とを備えて構成されている。
さらに、処理装置13は、例えば歩行者検出部21と、歩行者距離算出部22と、画像加工部23とを備えて構成されている。
外界センサ11は、例えば赤外線領域にて撮像可能なカメラからなる各1対の赤外線カメラ11La,11Raおよび画像処理部11Lb,11Rbと、例えば可視光領域にて撮像可能なCCDカメラやCMOSカメラ等からなる可視カメラ11Vaおよび画像処理部11Vbとを備えて構成されている。
そして、各画像処理部11Lb,11Rb,11Vbは、各カメラ11La,11Ra,11Vaにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像データを生成して処理装置13へ出力する。
自車両状態センサ12は、自車両の車両情報として、例えば自車両の速度(車速)を検出する車速センサや、ヨー角(車両重心の上下方向軸回りの回転角度)やヨーレート(車両重心の上下方向軸回りの回転角速度)を検出するヨーレートセンサや、操舵角(運転者が入力した操舵角度の方向と大きさ)や操舵角に応じた実舵角(転舵角)を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのGPS(Global Positioning System)信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置および進行方向を検出する位置センサや、方向指示器やブレーキのオン/オフ状態を検知する各センサ等を備えて構成されている。
処理装置13の歩行者検出部21は、外界センサ11から入力される画像データに基づき、例えば人体を対象とする所定の認識処理により、自車両の進行方向での1対の赤外線カメラ11La,11Raの各検知エリア内に存在する物体のうち歩行者を検出する。
歩行者距離算出部22は、例えば外界センサ11の各画像処理部11Lb,11Rbから入力される1対の画像データに対して、車室内に所定間隔を隔てて設置された1対の赤外線カメラ11La,11Ra同士間の距離と、1対の画像データ上において歩行者検出部21により検出された歩行者の視差とに基づく三角測量法等により、歩行者までの距離を算出する。
画像加工部23は、外界センサ11の1対の赤外線カメラ11La,11Raの撮影により得られた赤外線画像による画像データと、外界センサ11の可視カメラ11Vaの撮影により得られた可視画像による画像データとを重畳して、例えば図2(a)に示すように、重畳画像を生成する。
また、画像加工部23は、例えば図2(b)に示すように、歩行者検出部21により検出された歩行者を含む周辺領域に対する赤外線画像データ(例えば、図2(b)に示す赤外線画像データPI)と可視画像データ(例えば、図2(b)に示す可視画像データPV)との重畳画像上での位置のずれが所定値以上となる状態、例えば歩行者距離算出部22により算出された外界センサ11と歩行者との間の距離が所定距離(例えば、自車両のヘッドライトの照射距離や、車両の乗員が歩行者を視認可能な最大距離や、予め試験等に基づいて設定された所定の距離等)以下となる状態において、重畳画像から可視画像データ(例えば、図2(b)に示す可視画像データPV)を削除する。
そして、例えば図2(c)に示すように、重畳画像上で削除された可視画像データ(例えば、図2(b)に示す可視画像データPV)と同等の撮像領域である赤外線画像データ(例えば、図2(b)に示す赤外線画像データPI)を、重畳画像上で削除された可視画像データ(例えば、図2(b)に示す可視画像データPV)が存在していた位置へと移動させる。
そして、画像加工部23は、生成した画像を表示装置14に出力する。
本実施の形態による障害物認識装置10は上記構成を備えており、次に、この障害物認識装置10の動作について説明する。
先ず、図3に示すステップS01においては、外界センサ11から赤外線画像の画像データを取得する。
次に、ステップS02においては、取得した赤外線画像の画像データに基づき、車両外部に存在する歩行者の位置を検出する。
次に、ステップS03においては、外界センサ11から可視画像の画像データを取得する。
次に、ステップS04においては、外界センサ11から歩行者までの距離が所定距離(例えば、自車両のヘッドライトの照射距離等)よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS07に進む。
一方、この判定結果が「YES」の場合には、ステップS05に進む。
そして、ステップS05においては、赤外線画像による画像データと、可視画像による画像データとを重畳して、重畳画像を生成する。
そして、重畳画像上で歩行者を強調表示して、一連の処理を終了する。
また、ステップS07においては、赤外線画像による画像データと、可視画像による画像データとを重畳して、重畳画像を生成する。
そして、ステップS08においては、歩行者を含む周辺領域に対する可視画像データを重畳画像から削除する。
そして、ステップS09においては、重畳画像上で削除された可視画像データと同等の撮像領域である赤外線画像データを、重畳画像上で削除された可視画像データが存在していた位置へと移動させ、一連の処理を終了する。
上述したように、本実施の形態による障害物認識装置10によれば、赤外線カメラ11La,11Raおよび可視カメラ11Vaの撮像により得られた画像同士を重畳して得た重畳画像上において、自車両に対する障害物である歩行者が存在する領域では、可視画像データを削除して、赤外線画像データのみを表示させることにより、重畳画像上で撮影対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な画像を生成することができる。
さらに、重畳画像上で削除された可視画像データと同等の撮像領域である赤外線画像データを、重畳画像上で削除された可視画像データが存在していた位置へと移動させることにより、自車両の乗員が外界を実際に視認して得る視覚情報と比較して相対的に違和感の無い情報により構成される可視画像の画像データ上での歩行者の位置を保持しつつ、相対的に精細な情報により構成される赤外線画像データによって歩行者の形状を表示させることができ、乗員による視認性を向上させることが可能な適切な画像を生成することができる。
なお、上述した実施の形態においては、自車両の走行に対して支障となる障害物を歩行者としたが、これに限定されず、例えば他車両等の各種の移動体や静止物等であってもよい。
本発明の実施の形態に係る障害物認識装置の構成図である。 図2(a)は赤外線画像による画像データと可視画像による画像データとを重畳して得た重畳画像であり、図2(b)は歩行者を含む周辺領域に対する赤外線画像データと可視画像データとの位置のずれが所定値以上となる状態の重畳画像であり、図2(c)は重畳画像上で削除された可視画像データと同等の撮像領域である赤外線画像データを、重畳画像上で削除された可視画像データが存在していた位置へと移動させて得た画像である。 本発明の実施の形態に係る障害物認識装置の動作を示すフローチャートである。
符号の説明
10 障害物認識装置
11La,11Ra 赤外線カメラ
11Va 可視カメラ
14 表示装置(表示手段)
23 画像加工部(画像処理手段)
ステップS05、ステップS07 重畳手段
ステップS08 画像出力手段
ステップS09 処理手段

Claims (2)

  1. 自車両の外界に存在する物体を撮像する赤外線カメラおよび可視カメラと、
    前記各カメラの撮像により得られた画像を処理する画像処理手段とを備え、
    前記画像処理手段は、前記各カメラの撮像により得られた画像同士を重畳して重畳画像を生成する重畳手段と、
    所定状態において、前記重畳画像上の自車両に対する障害物に相当する領域において、前記可視カメラの撮像により得られた可視画像を削除して得られる画像を表示手段に表示させる画像出力手段と
    を備えることを特徴とする障害物認識装置。
  2. 前記赤外線カメラの撮像により得られた赤外線画像のうち、前記画像出力手段により削除された前記可視画像に対応する前記障害物の前記赤外線画像を前記重畳画像から抽出し、抽出した前記赤外線画像を、前記画像出力手段により削除された前記可視画像の位置に配置する処理手段を備えることを特徴とする請求項1に記載の障害物認識装置。

JP2006080889A 2006-03-23 2006-03-23 障害物認識装置 Expired - Fee Related JP4932293B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006080889A JP4932293B2 (ja) 2006-03-23 2006-03-23 障害物認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006080889A JP4932293B2 (ja) 2006-03-23 2006-03-23 障害物認識装置

Publications (2)

Publication Number Publication Date
JP2007257304A true JP2007257304A (ja) 2007-10-04
JP4932293B2 JP4932293B2 (ja) 2012-05-16

Family

ID=38631485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006080889A Expired - Fee Related JP4932293B2 (ja) 2006-03-23 2006-03-23 障害物認識装置

Country Status (1)

Country Link
JP (1) JP4932293B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044544A1 (ja) * 2007-10-01 2009-04-09 Panasonic Corporation 撮像装置
JP2011227657A (ja) * 2010-04-19 2011-11-10 Honda Motor Co Ltd 車両の周辺を監視する装置
KR20120038755A (ko) * 2010-10-14 2012-04-24 현대모비스 주식회사 얼굴 인증을 위한 영상 생성 장치 및 그 방법
WO2012067028A1 (ja) * 2010-11-16 2012-05-24 コニカミノルタオプト株式会社 画像入力装置および画像処理装置
KR20160050649A (ko) * 2014-10-30 2016-05-11 주식회사 유라코퍼레이션 차량 충돌 방지 시스템 및 방법
JP2017143339A (ja) * 2016-02-08 2017-08-17 日本電信電話株式会社 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01124073A (ja) * 1987-11-09 1989-05-16 Fujitsu Ltd 異常物体位置検出方法
JPH11308609A (ja) * 1998-04-24 1999-11-05 Nissan Motor Co Ltd 表示処理装置
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2002237969A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 車載カメラおよび画像処理システム
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01124073A (ja) * 1987-11-09 1989-05-16 Fujitsu Ltd 異常物体位置検出方法
JPH11308609A (ja) * 1998-04-24 1999-11-05 Nissan Motor Co Ltd 表示処理装置
JP2000019259A (ja) * 1998-06-30 2000-01-21 Mazda Motor Corp 環境認識装置
JP2002237969A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 車載カメラおよび画像処理システム
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044544A1 (ja) * 2007-10-01 2009-04-09 Panasonic Corporation 撮像装置
JP2011227657A (ja) * 2010-04-19 2011-11-10 Honda Motor Co Ltd 車両の周辺を監視する装置
KR20120038755A (ko) * 2010-10-14 2012-04-24 현대모비스 주식회사 얼굴 인증을 위한 영상 생성 장치 및 그 방법
KR101674099B1 (ko) * 2010-10-14 2016-11-08 현대모비스 주식회사 얼굴 인증을 위한 영상 생성 장치 및 그 방법
WO2012067028A1 (ja) * 2010-11-16 2012-05-24 コニカミノルタオプト株式会社 画像入力装置および画像処理装置
US9200895B2 (en) 2010-11-16 2015-12-01 Konica Minolta, Inc. Image input device and image processing device
KR20160050649A (ko) * 2014-10-30 2016-05-11 주식회사 유라코퍼레이션 차량 충돌 방지 시스템 및 방법
KR101636301B1 (ko) * 2014-10-30 2016-07-05 주식회사 유라코퍼레이션 차량 충돌 방지 시스템 및 방법
JP2017143339A (ja) * 2016-02-08 2017-08-17 日本電信電話株式会社 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP4932293B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
CN103140377B (zh) 用于在显示装置上显示图像的方法和驾驶员辅助系统
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP5421072B2 (ja) 接近物体検知システム
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
WO2011043006A1 (ja) 制御装置および車両周囲監視装置
JP2002366937A (ja) 車外監視装置
JP2006268076A (ja) 運転支援システム
JP6586849B2 (ja) 情報表示装置及び情報表示方法
JP2007129560A (ja) 物体検出装置
JP4932293B2 (ja) 障害物認識装置
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2006054662A (ja) 運転支援装置
JP2010154304A (ja) 移動体カメラシステム及び駆動方法
WO2016047037A1 (ja) 車両用画像処理装置
JP4857159B2 (ja) 車両運転支援装置
JP3988551B2 (ja) 車両周囲監視装置
JP2005182305A (ja) 車両走行支援装置
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
JP2020086956A (ja) 撮影異常診断装置
JP4685050B2 (ja) 表示装置
JP2008182312A (ja) 撮像画像表示装置
JP2005205983A (ja) 自車周辺視認装置
JP4584277B2 (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees