JP2012120047A - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP2012120047A
JP2012120047A JP2010269642A JP2010269642A JP2012120047A JP 2012120047 A JP2012120047 A JP 2012120047A JP 2010269642 A JP2010269642 A JP 2010269642A JP 2010269642 A JP2010269642 A JP 2010269642A JP 2012120047 A JP2012120047 A JP 2012120047A
Authority
JP
Japan
Prior art keywords
image
outline
detection
peripheral
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010269642A
Other languages
English (en)
Other versions
JP5621558B2 (ja
Inventor
Kazuhide Ota
和秀 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2010269642A priority Critical patent/JP5621558B2/ja
Publication of JP2012120047A publication Critical patent/JP2012120047A/ja
Application granted granted Critical
Publication of JP5621558B2 publication Critical patent/JP5621558B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)

Abstract

【課題】車両の周辺領域に存在する実際の検出対象物を、視認者が知覚し易いように報知することができる車両用表示装置の提供。
【解決手段】近赤外線カメラ10によって生成された車両の前方画像50から、歩行者の画像51を検出し、外形線画像53を前方画像50に重畳して表示するナイトビュー装置100である。ナイトビュー装置100の画像処理回路20は、前方画像50を近赤外線カメラ10から取得する画像取得部31と、前方画像50の各画素について輝度勾配の強度を算出し、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、歩行者画像51の輪郭51aを検出する輪郭検出部35と、輪郭51aに沿うように外形線画像53を生成する外形線画像生成部37と、外形線画像53と輪郭51aとが重なるように、外形線画像53を前方画像50に重畳して出力する合成処理部39と、を備える。
【選択図】図1

Description

車両の周辺領域を撮影した周辺画像から当該周辺領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を周辺画像に重畳して表示する車両用表示装置に関する。
従来、車両の周辺領域に存在する検出対象物を視認者に分り易く報知するために、当該周辺領域を撮影した周辺画像に画像処理等の加工を施して、表示手段に表示する装置が知られている。このような装置の一種として、例えば特許文献1には、赤外線カメラから取得した車両外部の画像について、予め設定された閾値よりも高い輝度の画素と当該閾値よりも低い画素とに分離する輝度分離手段と、輝度の高い画素群からなる画像の輪郭を強調するエッジ強調手段と、を備える車両用視認装置が開示されている。赤外線カメラによる車両外部の画像では、歩行者等の検出対象物の画像は、背景の画像よりも輝度が高くなる。故に、予め設定された閾値よりも輝度の高い画素を、輝度の低い画素から分離することにより、歩行者等の検出対象物の画像が、車両外部の画像から抽出される。そして、歩行者の画像の輪郭をエッジ強調手段によって強調することにより、車両用視認装置は、周辺領域に存在する歩行者の形状が分り易く示された画像(特許文献1 図15等参照)を、表示手段に表示することができる。
また、特許文献2には、赤外線カメラから取得した周辺画像から、周辺領域に存在する歩行者等の警告対象物を抽出し、警告対象物の画像を強調するための矩形の強調画像を周辺画像に重畳したうえで、表示手段に表示させる車両周辺表示装置が開示されている。周辺画像に映る歩行者等の画像が矩形の強調画像によって強調されることにより、車両周辺表示装置は、周辺領域に存在する歩行者の位置を分り易く示すことができる(特許文献2 図6(a)参照)。
特開平11−243538号公報 特開2004−364112号公報
さて、特許文献1に開示の車両用視認装置では、赤外線カメラによって撮影された車両外部の画像には、輝度に基づく分離と輪郭を強調する処理によって、歩行者等の検出対象物等の輪郭のみが残される。そのため、表示手段に表示される画像は、検出対象物の形状を視認者に分り易く示すことができるものの、輪郭のみの画像と周辺領域に存在する実際の検出対象物との対応が視認者にとって分り難いものとなっていた。故に、車両用視認装置は、表示手段に表示させる画像から、検出対象物の位置を視認者に分り易く示すことができなかった。
また、特許文献2に開示の車両周辺表示装置では、検出対象物の画像に矩形の強調画像が重畳されている。故に、検出対象物の画像が周辺画像中に小さく表示されている場合、検出対象物の画像に強調画像が重ねられてしまうと、この強調画像は、検出対象物の画像を覆う。このとき、検出対象物に重ねられた強調画像は、検出対象物の形状を分かり難くしてしまうことがあった。
本発明は、上記問題点に鑑みてなされたものであって、その目的は、車両の周辺領域に存在する実際の検出対象物を、視認者が知覚し易いように報知することができる車両用表示装置を提供することである。
上記目的を達成するために、請求項1に記載の発明では、車両の周辺領域を撮影する撮像手段によって生成された周辺画像から、当該周辺領域に存在する検出対象物の画像を検出し、検出対象物の画像を強調する強調画像を周辺画像に重畳して表示する車両用表示装置であって、赤外線を検知することにより周辺領域を撮影する撮像手段から、周辺画像を取得する画像取得手段と、画像取得手段によって取得された周辺画像の各画素について、各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出し、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、検出対象物の画像の輪郭を検出する輪郭検出手段と、輪郭検出手段によって検出された輪郭に沿うように、強調画像としての外形線画像を生成する外形線画像生成手段と、外形線画像生成手段によって生成された外形線画像と輪郭とが重なるように、外形線画像を周辺画像に重畳して表示する表示手段と、を備えることを特徴とする。
この発明のように、周辺領域を撮影した周辺画像では、検出対象物の画像と背景となる周辺領域の画像との間において、輝度の差分が拡大し易い。これは、周辺領域により放射及び反射される赤外線の量と検出対象物により放射及び反射される赤外線の量とが異なることに起因する。故に、周辺画像の各画素について、各画素とそれら各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出した場合、この輝度勾配の強度は、検出対象物の画像の輪郭となる画素において、大きな値を示す。故に、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、輪郭検出手段は、検出対象物の画像の輪郭を検出することができる。以上のようにして輪郭が検出されることにより、外形線画像生成手段は、輪郭に沿うような形状の外形線画像を生成できる。そして、外形線画像は、検出対象物の画像の輪郭と重なるように周辺画像に重畳され、周辺画像と共に表示手段に表示される。
以上のようにして表示される外形線画像は、検出対象物の形状に対応している。故に、周辺画像中に小さく表示された検出対象物の画像に外形線画像が重ねられた場合であっても、外形線画像は、検出対象物の形状を視認者に分り易く示すことに貢献し得る。加えて、表示手段には、外形線画像と共に周辺画像も表示される。故に、表示手段に表示される周辺画像と実際の周辺領域とを視認者が対応させ易くなることにより、外形線画像は、存在を強調したい検出対象物の周辺領域における位置を、当該視認者に分り易く示すことに貢献し得る。これらにより、車両用表示装置は、検出対象物の画像に外形線画像が重畳された周辺画像によって、実際の検出対象物を視認者が知覚し易いように、報知を行うことができる。
請求項2に記載の発明では、車両用表示装置は、周辺画像から予め設定されたサイズの検出用画像を順に切り出し、各検出用画像に検出対象物の画像が含まれているか否かを判定することにより、周辺画像から検出対象物の画像を検出する対象物検出手段、をさらに備え、輪郭検出手段は、周辺画像から切り出された複数の検出用画像のうち、対象物検出手段によって検出対象物の画像が含まれていると判定された検出用画像について、検出対象物の画像の輪郭を検出することを特徴とする。
この発明によれば、周辺画像から順に切り出された複数の検出用画像のうち、検出対象物の画像が含まれていると判定された検出用画像について、輪郭検出手段は、検出対象物の画像の輪郭を検出する。検出対象物の画像近傍の画素に絞って輪郭の検出が行われることにより、輪郭検出手段は、検出対象物以外の画像の輪郭を誤って検出し難くなる。以上により、周辺画像に映る検出対象物の画像に外形線画像が正確に重畳されるようになるので、視認者は、表示手段に表示された検出対象物の画像から、周辺領域に存在する実際の検出対象物を知覚し易くなる。したがって、車両用表示装置は、実際の検出対象物の存在を視認者にさらに分り易く報知できる。
請求項3に記載の発明では、対象物検出手段は、周辺画像の各画素について輝度勾配を算出し、各画素の輝度勾配に基づいて各検出用画像に検出対象物の画像が含まれているか否かを判定し、輪郭検出手段は、対象物検出手段によって算出された輝度勾配の強度を取得し、この輝度勾配の強度を用いることにより、検出対象物の画像の輪郭を検出することを特徴とする。
切り出された各検出用画像に検出対象物の画像が含まれているか否かを判定するための様々な手法が、一般には知られている。その中には、この発明のように、周辺画像の各画素について輝度勾配を算出し、各画素の輝度勾配に基づいて、各検出用画像に検出対象物の画像が含まれているか否かを判定する、例えば、HOG(Histograms of Oriented Gradients)特徴量を用いた手法がある(参考文献:三井相和、外2名、「Joint HOG特徴を用いた2段階AdaBoostによる人検出」、第14回画像センシングシンポジウム、2008)。
この発明では、対象物検出手段が既に各画素の輝度勾配の算出処理をしているので、輪郭検出手段は、輝度勾配の強度を対象物検出手段から取得することにより、重複した算出処理をしなくてもよくなる。以上のような輪郭検出手段における処理の省略により、外形線画像は、周辺画像に映る検出対象物の画像にすみやかに重畳されるようになる。検出対象物の画像に外形線画像が即座に重畳されるので、視認者は、外形線画像及び検出対象物の画像から、周辺領域に存在する実際の検出対象物を知覚し易くなる。したがって、車両用表示装置は、周辺領域の検出対象物の存在を視認者にさらに分り易く報知できる。
請求項4に記載の発明では、外形線画像生成手段は、周辺画像に映る検出対象物の画像が小さくなるほど、検出対象物の画像に沿う外形線画像を細く生成することを特徴とする。
この発明において、検出対象物は、車両からの距離が離れるほど、周辺画像に小さく映るようになる。故に、周辺画像に小さく映る検出対象物の画像に外形線画像を重畳する場合、外形線画像は、線が潰れてしまうことにより、検出対象物の仔細な形状を示せなくなるおそれがある。そこで、検出対象物の画像が小さくなるほど外形線画像の線を細くすることにより、外形線画像は、線の潰れを回避でき、検出対象物の形状を視認者に確実に示すことができる。したがって、車両用表示装置は、外形線画像が重畳された周辺画像によって、実際の検出対象物を視認者がさらに知覚し易いように、報知を行うことができる。
請求項5に記載の発明では、外形線画像生成手段は、外形線画像によって囲まれた領域を塗り潰す、強調画像としての塗潰し画像をさらに生成し、表示手段は、外形線画像及び塗潰し画像が検出対象物の画像に重なるように、これら外形線画像及び塗潰し画像を周辺画像に重畳して表示することを特徴とする。
上述したように、検出対象物は、車両からの距離が離れるほど、周辺画像に小さく映るようになる。故に、周辺画像に小さく映る検出対象物の画像は、外形線画像が重ねられたとしても、視認者に見逃され易くなる場合がある。そこで、外形線画像によって囲まれた領域を塗り潰す塗潰し画像が、外形線画像と共に検出対象物の画像に重ねられる。塗潰し画像によって周辺画像に重畳される画像の面積が拡大するので、外形線画像及び塗潰し画像によって覆われた検出対象物の画像は、さらに強調され、視認者に見逃され難くなる。したがって、車両用表示装置は、車両からの距離が離れているうちに、検出対象物の存在を視認者に分り易く且つ確実に報知することができるようになる。
請求項6に記載の発明では、画像取得手段は、近赤外線を検知することにより周辺領域を撮影する撮像手段としての近赤外線カメラから、周辺画像を取得することを特徴とする。
赤外線のうちで波長が短い(0.7〜2.5マイクロメートル程度)近赤外線を検知する近赤外線カメラによる周辺画像では、赤外線のうちで波長が長い遠赤外線を検知する遠赤外線カメラによる周辺画像よりも、検出対象物の画像の輪郭が曖昧になり易い。故に、近赤外線カメラを用いて周辺画像を撮像する形態では、検出対象物の輪郭に沿う外形線画像によって検出対象物の形状が視認者に分り易く示される作用は、顕著に発揮される。したがって、検出対象物の形状に対応した外形線画像を周辺画像に重畳する構成は、近赤外線カメラを備えた車両用表示装置による報知を分り易くするために、特に有効なのである。
請求項7に記載の発明では、輪郭検出手段は、検出対象物である人間の画像の輪郭を検出することを特徴とする。
この発明によれば、赤外線を検知する撮像手段によって生成された周辺画像において、熱を放射している人間の画像は、背景の画像と比較して、輝度が高くなる傾向にある。故に、検出対象物である人間の画像の輪郭は、輪郭検出手段によって正確に検出され易い。以上により、外形線画像は、人間の画像に正確に重ねられて、検出対象物としての人間の存在を確実に視認者に示すことができる。したがって、検出対象物の形状に対応した外形線画像を周辺画像に重畳する構成は、検出対象物として人間を検出する形態の車両用表示装置に、特に好適なのである。
本発明の第一実施形態によるナイトビュー装置の構成が概略的に示される構成図である。 歩行者画像に外形線画像が重畳された前方画像を説明するための図であって、(a)は車両近傍に歩行者が存在する場合の図であり、(b)は(a)よりも車両から離間した位置に歩行者が存在する場合の図である。 外形線画像が重畳された人物画像を説明するための図であって、図2(a)の領域IIIを模式的に拡大した図である。 前方画像に外形線画像を重畳して表示するための処理が示されるフローチャートである。 本発明の第二実施形態によるナイトビュー装置の構成が概略的に示される構成図である。 歩行者画像に外形線画像及び塗潰し画像が重畳された前方画像を説明するための図である。 前方画像に外形線画像及び塗潰し画像を重畳して表示するための処理が示されるフローチャートである。
以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
(第一実施形態)
図1には、本発明の第一実施形態によるナイトビュー装置100の構成が示されている。ナイトビュー装置100は、図2(a)及び(b)に示されるような車両の前方領域を撮影した前方画像50から、当該前方領域に存在する歩行者等の検出対象物の画像51(以下、歩行者画像 図3参照)を検出する。そして、ナイトビュー装置100は、歩行者画像51を強調するための強調画像52を、当該歩行者画像51に重畳して表示する。以下、図1〜図3に基づいて、ナイトビュー装置100の構成及びナイトビュー装置100によって表示される画像について説明する。
ナイトビュー装置100は、近赤外線カメラ10と接続されている。ナイトビュー装置100は、近赤外線カメラ10から前方画像50を取得する画像処理回路20、及び画像処理回路20によって生成された画像を表示する液晶ディスプレイ40を備えている。
近赤外線カメラ10は、車両の進行方向を向けて設置されており、車両の周辺領域のうち、特に車両の前方領域を撮影する。近赤外線カメラ10は、波長が0.7〜2.5マイクロメートル程度の近赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。近赤外線カメラ10が搭載された車両には、例えばヘッドライトモジュールと一体的に構成され、前方領域に向けて近赤外線を投光する近赤外線投光器11が設置されている。近赤外線カメラ10は、近赤外線投光器11と接続されており、前方領域の撮影を開始すると共に、近赤外線投光器11に投光を開始させる。近赤外線カメラ10は、前方領域の物体により反射された近赤外線を検知することにより、周辺画像としての前方画像50を生成する。近赤外線カメラ10は、生成した前方画像50を、画像処理回路20に向けて逐次出力する。
画像処理回路20は、近赤外線カメラ10及び液晶ディスプレイ40と接続されている。画像処理回路20は、制御及び描画のための各種の演算処理を行う複数のプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算処理の作業領域として機能するRAM等によって構成されている。加えて画像処理回路20は、接続された種々の車載装置との間で情報をやりとりするためのインターフェースを備えている。
以上の構成による画像処理回路20は、所定のプログラムをプロセッサに実行させることにより、機能ブロックとして画像取得部31、対象物検出部33、輪郭検出部35、外形線画像生成部37、及び合成処理部39を有する。画像取得部31は、近赤外線カメラ10から前方画像50を取得し、対象物検出部33に出力する。
対象物検出部33は、歩行者画像51の形状の特徴と統計的手法とを組み合わせて用いることにより、取得した前方画像50から歩行者画像51を検出する。対象物検出部33は、画像取得部31によって取得された前方画像50の各画素について、輝度勾配を算出する。輝度勾配は、各画素と、その画素に鉛直方向及び水平方向に隣接する四つの画素との間における輝度Iの差分に基づいており、具体的には、以下の数式(1)によって勾配の強度が算出され、数式(2)によって勾配の方向が算出される。
尚、上式において、I(x,y)は、前方画像50における座標(x,y)の輝度値である。これらx及びyは、それぞれ、1≦x≦(水平方向における前方画像の画素数−2),1≦y≦(鉛直方向における前方画像の画素数−2)である。また、x≦0又はx≧(水平方向における前方画像の画素数−1)、或いはy≦0又はy≧(鉛直方向における前方画像の画素数−1)のとき、輝度強度m(x,y)=0となる。
次に対象物検出部33は、算出した輝度勾配に基づいて、歩行者画像51を検出する検出処理を行う。対象物検出部33は、探索ウィンドウ55を用いて、予め設定されたサイズの検出用画像56を前方画像50から順に切り出す。対象物検出部33は、探索ウィンドウ55を前方画像50の水平方向及び鉛直方向に徐々に移動させつつ(図2(a)破線の矢印を参照)、当該探索ウィンドウ55によって囲まれた範囲の画像を検出用画像56として切り出していく。探索ウィンドウ55が右下まで到達した場合、対象物検出部33は、探索ウィンドウ55のサイズを縮小させ、再び前方画像50からの検出用画像56の切り出しを行う。尚、前方画像50において主に空が撮影される領域は、探索ウィンドウ55の移動範囲から除かれている。
次に対象物検出部33は、切り出した各検出用画像56のHOG特徴量を抽出する。HOG特徴量は、各検出用画像56において水平方向及び垂直方向にそれぞれ例えば5画素分の領域を一つのセル59と規定し(図3参照)、一つのセル59に含まれる画素の輝度勾配の方向(数式(2)参照)をヒストグラム化したものである。加えて対象物検出部33は、互いに隣接する複数のセル59をまとめたものを1ブロックとし、ブロック毎に各セル59のHOG特徴量を正規化する。そして対象物検出部33は、抽出及び正規化した各セル59のHOG特徴量を、AdaBoostによって予め構築された識別器に入力し、各検出用画像56に歩行者画像51が含まれているか否かを判定する。
ここで、上述した検出処理において対象物検出部33が判定に用いる識別器は、学習用に予め用意された多数のサンプル画像から、歩行者画像51の形状の特徴を学習することによって構築されている。以下、二段階のAdaBoostによって、識別器に歩行者画像51の形状の特徴を学習させる方法を詳しく説明する。
一段階目のAdaBoostでは、各サンプル画像において、位置の異なる二つのセル59のHOG特徴量を組み合わせたJoint HOG特徴量をまず生成する。そして、各組み合わせにおけるJoint HOG特徴量の中から、一段階目のAdaBoostによって、歩行者画像51の識別に有効な特徴量に重み付けがなされる。具体的には、歩行者画像51特有の頭部から肩部にかけてのΩ状の輪郭形状及び左右の対称性等を反映したようなJoint HOG特徴量について、重み付けが大きくされる。この一段階目のAdaBoostによって、サンプル画像のセル59の組み合わせ数に対応した複数の識別器が構築される。
二段階目のAdaBoostでは、一段階目のAdaBoostによって構築された複数の識別器の重み付けがなされる。具体的には、複数の識別器のうち、歩行者画像51の識別に適したセル59の組み合わせから構築された識別器について、重み付けが大きくされる。以上により、対象物検出部33によって歩行者画像51の検出に用いられる最終的な識別器は構築される。
対象物検出部33は、歩行者画像51が含まれていると判定した検出用画像56について、各画素の輝度勾配の強度を輪郭検出部35に出力する。さらに対象物検出部33は、歩行者画像51が含まれていると判定した検出用画像56のサイズを外形線画像生成部37に出力すると共に、前方画像50における当該検出用画像56の位置を合成処理部39に出力する。
輪郭検出部35は、対象物検出部33から取得した検出用画像56であって、複数の検出用画像56のうちで対象物検出部33によって歩行者画像51が含まれていると判定された検出用画像56について、歩行者画像51の輪郭51aを検出する。輪郭検出部35は、まず各画素の輝度勾配の強度(数式(1)参照)を算出する。本実施形態における輪郭検出部35は、実際の輝度勾配の強度を算出する算出処理に替えて、対象物検出部33によって既に計算された輝度勾配を取得する取得処理を行う。輪郭検出部35は、対象物検出部33から取得した輝度勾配の強度を用いることにより、検出用画像56の各画素から、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出する。
ここで、前方領域により反射される近赤外線の量と、人物により反射される近赤外線の量とが異なることに起因して、前方画像50では、歩行者画像51と背景となる画像との間において、輝度の差分が拡大し易い。故に、検出用画像56の各画素について輝度勾配を算出した場合、輝度勾配の強度は、歩行者画像51の輪郭となる画素において、大きな値を示す。故に、輪郭検出部35は、輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、歩行者画像51の輪郭51aを検出することができる。
外形線画像生成部37は、前方画像50が描画されるレイヤとは別のレイヤに、外形線画像53を描画する。外形線画像53は、前方画像50に映る歩行者画像51を強調するための強調画像52である。外形線画像53は、輪郭検出部35によって検出された歩行者画像51の輪郭51aに沿うように生成される。外形線画像53は、視認者によって近くされ易いよう、彩度及び明度の高い例えば赤色又は黄色によって描画される。外形線画像生成部37は、対象物検出部33から取得した検出用画像56のサイズに基づき、外形線画像53の線の太さを調整する調整処理を実施する。外形線画像生成部37は、輪郭51aが検出された検出用画像56のサイズが小さくなるほど、外形線画像53を細く生成する。これにより、車両からの距離が離れており、前方画像50に小さく映る歩行者画像51ほど、重ねられる外形線画像53は、細い線によって描画されるようになる。尚、外形線画像53を太くする場合、外形線画像53の線は、当該外形線画像53によって囲まれた領域の内周側に拡大される。
合成処理部39は、対象物検出部33によって歩行者画像51が検出された場合に、前方画像50に外形線画像53を重畳する合成処理を行う。具体的に、合成処理部39は、対象物検出部33から取得した検出用画像56の位置情報に基づき、外形線画像53と歩行者画像51の輪郭51aとが重なるように、外形線画像53が描画されたレイヤを、前方画像50が描画されたレイヤに、重畳する。合成処理部39は、外形線画像53が重畳された前方画像50を、液晶ディスプレイ40に向けて逐次出力する。尚、対象物検出部33によって歩行者画像51が検出されていない場合には、合成処理部39は、前方画像50を液晶ディスプレイ40に向けて逐次出力する。
液晶ディスプレイ40は、表示面に配列された複数の画素を制御することにより、カラー表示が可能なドットマトリクス方式の表示装置である。液晶ディスプレイ40は、図2に示される正面側を運転席側に向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。液晶ディスプレイ40は、表示面に種々の画像を表示することにより、運転者に種々の情報を提供する。液晶ディスプレイ40は、画像処理回路20の合成処理部39から逐次取得した前方画像50を連続的に表示することにより、前方領域の様子を動画により視認者に提供することができる。
ここまで説明したナイトビュー装置100が、外形線画像53の重畳された前方画像50を液晶ディスプレイ40に表示する処理を、図4に基づいて詳しく説明する。以下説明する処理は、ナイトビュー装置100の作動を開始及び停止させるためのスイッチがユーザによって操作されることにより、ナイトビュー装置100の作動の開始と共に、画像処理回路20によって実施される。画像処理回路20による処理は、ユーザの操作に基づいてナイトビュー装置100の作動が停止されるまで、繰り返される。
S101では、近赤外線カメラ10から前方画像50を取得し、S102に進む。S102では、S101にて取得した前方画像50の各画素について、輝度勾配を算出し、S103に進む。S103では、前方画像50から歩行者画像51を検出する検出処理を実施し、S104に進む。
S104では、S103にて実施した検出処理により、前方画像50から歩行者画像51を検出したか否かを判定する。S104おいて、歩行者画像51を検出した場合、S105に進む。一方、S104において、歩行者画像51を検出しなかった場合、S111に進む。
S105では、歩行者画像51が含まれていると判定した検出用画像56について、S102において算出された各画素の輝度勾配の強度と、予め設定された閾値との比較を開始し、S106に進む。S106では、歩行者画像51を含む検出用画像56うちの一つの画素について、算出された輝度勾配の強度が、閾値以上であるか否かを判定する。S106において、一つの画素の輝度勾配の強度が、閾値以上であると判定した場合、S107に進む。一方、S106において、一つの画素の輝度勾配の強度が、閾値未満であると判定した場合、S108に進む。
S107では、閾値以上であると判定された画素が着色されて液晶ディスプレイ40に表示されるよう、外形線画像53が描画されるレイヤにおいて、当該画素に対応する位置の画素の階調情報を更新し、S108に進む。これにより、外形線画像53が描画されるレイヤにおいて、歩行者画像51の輪郭51aに重畳される画素は、外形線画像53の色によって着色される。
S108では、S105において比較を開始した一つ又は複数の検出用画像56について、全ての画素の輝度勾配の強度と、閾値との比較が終了したか否かを判定する。S108において、全ての画素について比較を終了したと判定した場合、S109に進む。一方、比較が終了していない画素があると判定した場合、S106に戻り、他の画素について、輝度勾配の強度と閾値との比較を繰り返す。以上のS106〜S108の処理が繰り返されることにより、外形線画像53は描画される。
S109では、S106〜S108の処理によって描画された外形線画像53の太さを調整する調整処理を行い、S110に進む。S110では、S109までの処理によって外形線画像53が描画されたレイヤを、前方画像50が描画されたレイヤに重畳し、S111に進む。S111では、外形線画像53が重畳された前方画像50又は前方画像50のみを液晶ディスプレイ40に出力し、S101に戻る。S101〜S111の処理が繰り返されることにより、液晶ディスプレイ40には前方画像50が連続的に出力される。これにより液晶ディスプレイ40には、前方領域の様子が動画として映し出される。
ここまで説明した第一実施形態によれば、前方画像50の各画素間における輝度差に基づいて、画像処理回路20は、歩行者画像51の輪郭51aに沿うような形状の外形線画像53を生成できる。この外形線画像53は、歩行者の形状に対応しているので、前方画像50中に小さく表示された歩行者画像51に外形線画像53が重ねられた場合であっても、歩行者の形状を視認者に分り易く示すことができる。
加えて、液晶ディスプレイ40には、外形線画像53と共に、近赤外線カメラ10によって撮影されたままの前方画像50が表示される。故に、液晶ディスプレイ40に表示される前方画像50と、視認者の視界に映る実際の前方領域とを、視認者は対応させ易くなる。これにより、外形線画像53は、重畳される歩行者画像51に対応する歩行者であって、存在を強調したい検出対象物としての歩行者の前方領域における位置を、視認者に分り易く示すことができるようになる。したがって、ナイトビュー装置100は、歩行者画像51に外形線画像53が重畳された前方画像50によって、実際の歩行者等を視認者が知覚し易いように、報知を行うことができる。
加えて第一実施形態では、画像処理回路20は、前方画像50から順に切り出された複数の検出用画像56のうち、歩行者画像51が含まれていると判定された検出用画像56について、輪郭51aの検出を行う。歩行者画像51近傍の画素に絞って輪郭51aの検出が行われることにより、画像処理回路20は、歩行者画像51以外の輪郭を誤って検出し難くなる。加えて、輪郭51aを検出する対象となる画素を低減できるので、歩行者画像51の輪郭51aを検出する処理は、高速化される。
以上により、歩行者画像51に外形線画像53が正確且つ高速に重畳されるようになるので、視認者は、液晶ディスプレイ40に表示された歩行者画像51から、前方領域に存在する実際の歩行者等を知覚し易くなる。したがって、ナイトビュー装置100は、実際の歩行者等の存在を、視認者にさらに分り易く報知できる。
また第一実施形態では、画像処理回路20は、対象物検出部33によって各画素の輝度勾配の算出処理をしているので、輪郭検出部35に輝度勾配の強度を対象物検出部33から取得させることにより、重複した算出処理をしなくてもよくなる。以上のような輪郭検出部35における処理の省略により、外形線画像53は、前方画像50に映る歩行者画像51にすみやかに重畳されるようになる。歩行者画像51に外形線画像53が即座に重ねられるので、視認者は、これら歩行者画像51及び外形線画像53から、前方領域に存在する実際の歩行者等を知覚し易くなる。したがって、ナイトビュー装置100は、前方領域の歩行者等の存在を視認者にさらに分り易く報知できる。
さらに第一実施形態のように、近赤外線カメラ10によって撮影された前方画像50では、車両からの距離が離れるほど、歩行者画像51は小さく映るようになる。故に、前方画像50に小さく映る歩行者画像51に外形線画像53を重畳する場合、当該外形線画像53は、線が潰れてしまうことにより、人物の仔細な形状を示せなくなるおそれがある。そこで、歩行者画像51が小さくなるほど外形線画像53を細く描画することにより、当該外形線画像53は、線の潰れを回避でき、人物の形状を視認者に確実に示すことができる。したがって、ナイトビュー装置100は、外形線画像53が重畳された前方画像50によって、実際の歩行者等を視認者がさらに知覚し易いように、報知を行うことができる。
また加えて第一実施形態のように、赤外線のうちで波長が短い近赤外線を検知する近赤外線カメラ10による前方画像50では、赤外線のうちで波長が長い遠赤外線を検知する遠赤外線カメラによる前方画像よりも、歩行者画像51の輪郭51aが曖昧になり易い。故に、近赤外線カメラ10を用いて前方画像50を撮像する第一実施形態では、歩行者画像51の輪郭51aに沿う外形線画像53によって人物の形状が視認者に分り易く示される作用は、顕著に発揮される。このように、歩行者等の形状に対応した外形線画像53を前方画像50に重畳する構成は、近赤外線カメラ10を備えたナイトビュー装置100による報知を分り易くするために、特に有効なのである。
さらに加えて、前方画像50では、複数の歩行者画像51が重なることがある(図2(a)の中央部分の歩行者画像51を参照)。多くの場合において、各歩行者の着ている衣服の色の明るさが互いに異なっていたり、又は各歩行者が互いに離れていたりしているので、前方画像50において重なる二つの歩行者画像51の間には、輝度の差が生じ得る。ここで、第一実施形態による画像処理回路20は、各画素間における輝度差に基づいて、歩行者画像51の輪郭51aに沿うような形状の外形線画像53を生成できる。故に、画像処理回路20は、多くの場合において、互いに重なる歩行者画像51のそれぞれに対して、輪郭51aに沿う外形線画像53を生成することができる。以上により、前方画像50に重なって表示されるために、複数の歩行者の存在が分り辛い場合あっても、ナイトビュー装置100は、前方領域に複数の歩行者が存在していることを、視認者に分り易く報知できる。
またさらに第一実施形態では、近赤外線を検知する近赤外線カメラ10によって生成された前方画像50において、熱を放射している歩行者を映した歩行者画像51は、背景の画像と比較して、輝度が高くなる。故に、歩行者画像51の輪郭51aは、画像処理回路20によって正確に検出され易い。以上により、外形線画像53は、歩行者画像51に正確に重ねられて、当該歩行者画像51に対応する実際の歩行者の存在を確実に視認者に示すことができる。したがって、検出対象物の形状に対応した外形線画像53を前方画像50に重畳する構成は、検出対象物として歩行者等の人間を検出する形態のナイトビュー装置100に、特に好適なのである。
尚、第一実施形態において、近赤外線カメラ10が特許請求の範囲に記載の「撮像手段」に相当し、画像取得部31が特許請求の範囲に記載の「画像取得手段」に相当し、対象物検出部33が特許請求の範囲に記載の「対象物検出手段」に相当し、輪郭検出部35が特許請求の範囲に記載の「輪郭検出手段」に相当し、外形線画像生成部37が特許請求の範囲に記載の「外形線画像生成手段」に相当し、合成処理部39及び液晶ディスプレイ40が特許請求の範囲に記載の「表示手段」に相当し、前方画像50が特許請求の範囲に記載の「周辺画像」に相当し、歩行者画像51が特許請求の範囲に記載の「検出対象物の画像」及び「人間の画像」に相当し、ナイトビュー装置100が特許請求の範囲に記載の「車両用表示装置」に相当する。
(第二実施形態)
図5〜図7に示される本発明の第二実施形態は、第一実施形態の変形例である。第二実施形態によるナイトビュー装置200は、第一実施形態の近赤外線カメラ10(図1参照)に相当する撮像手段として、遠赤外線カメラ210と接続されている。加えてナイトビュー装置200は、第一実施形態の液晶ディスプレイ40(図1参照)に相当する表示手段として、ヘッドアップディスプレイ240を備えている。以下、図5〜図7に基づいて、第二実施形態によるナイトビュー装置200について詳細に説明する。
遠赤外線カメラ210は、波長が20〜100マイクロメートル程度の遠赤外線を検知することにより、可視光の少ない環境下においても前方領域の様子を撮影することができる。一般に遠赤外線カメラ210は、検出対象物である歩行者等から放射される赤外線のエネルギーを検知して前方画像250を生成する。故に、撮影のための赤外線を投光する近赤外線投光器11(図1参照)に相当する構成は、省略され得る。遠赤外線カメラ210は、生成した前方画像250を、画像処理回路220に向けて逐次出力する。
ヘッドアップディスプレイ240は、車両のウィンドスクリーンに予め規定された投影範囲に、前方画像250を投影する。この投影範囲は、ウィンドスクリーンにおいて、例えば運転席に着座した視認者と前後方向に相対する位置に規定される。ヘッドアップディスプレイ240は、前方画像250の投影方向をウィンドスクリーンに向けた状態で、車両室内のインスツルメントパネルの内部に配置されている。ヘッドアップディスプレイ240は、画像処理回路220から逐次取得した前方画像250を連続的に投影することにより、前方領域の様子を動画により表示することができる。
第二実施形態による前方画像250には、強調画像252として、外形線画像53に加えて、塗潰し画像254が重畳される。塗潰し画像254は、外形線画像53によって囲まれた領域を、当該外形線画像53と同じ色(例えば赤色又は黄色)によって塗り潰す画像である。これら外形線画像53及び塗潰し画像254は、歩行者画像51に重なるように前方画像250に重畳されて、ウィンドスクリーンに投影される。
以上のような表示を実現するため、第二実施形態による画像処理回路220は、図7に示されるような処理を行う。図7に示される処理において、S201〜S208は、第一実施形態におけるS101〜S108と実質的に同一である。
S209では、外形線画像生成部237によって、外形線画像53が描画されるレイヤに、外形線画像53によって囲まれた領域を塗り潰す塗潰し画像254を描画し、S210に進む。S210では、合成処理部239によって、外形線画像53及び塗潰し画像254が描画されたレイヤを、前方画像250が描画されたレイヤに重畳し、S211に進む。S211では、外形線画像53及び塗潰し画像254が重畳された前方画像250又は前方画像250のみをヘッドアップディスプレイ240に出力し、S201に戻る。以上のより、ヘッドアップディスプレイ240によって、ウィンドウシールドには前方領域の様子が動画として投影される。
ここまで説明した第二実施形態でも、外形線画像53は、歩行者の形状に対応している。故に、塗潰し画像254と共に前方画像250に重畳される外形線画像53であっても、歩行者の形状は、視認者に分り易く示され得る。加えて、塗潰し画像254によって覆われた領域を除けば、遠赤外線カメラ210によって撮影されたままの前方画像250が、投影によりウィンドウシールドに表示される。故に、視認者は、ウィンドウシールドに投影される前方画像250と、視界に映る実際の前方領域とを対応させ易くなる。これにより、外形線画像53は、存在を強調したい検出対象物としての歩行者の前方領域における位置を、視認者に分り易く示すことができる。したがって、ナイトビュー装置200は、歩行者画像51に外形線画像53が重畳された前方画像250によって、実際の歩行者等を視認者が知覚し易いように、報知を行うことができる。
加えて、歩行者は、車両からの距離が離れるほど、前方画像250に小さく映るようになる。故に、前方画像250に小さく映る歩行者画像51は、外形線画像53が重ねられたとしても、視認者に見逃され易くなる場合がある。そこで第二実施形態では、外形線画像53と共に塗潰し画像254が前方画像250に重ねられることにより、前方画像250に重畳される強調画像252の面積が、拡大される。これにより、外形線画像53及び塗潰し画像254によって覆われた歩行者画像51は、さらに強調され、視認者に見逃され難くなる。したがって、ナイトビュー装置200は、車両からの距離が離れているうちに、歩行者の存在を視認者に分り易く且つ確実に報知することができるようになる。
また第二実施形態のように、遠赤外線カメラ210によって撮影された前方画像250においては、歩行者画像51の輪郭51aは、明確になり易い。故に、画像処理回路220は、歩行者画像51の輪郭51aを正確に検出し、歩行者画像51に外形線画像53及び塗潰し画像254を正確に重畳し得る。以上により、ナイトビュー装置200は、実際の歩行者の存在を、正確且つ確実に視認者に報知することができる。
さらに第二実施形態では、前方画像250は、ヘッドアップディスプレイ240によってウィンドウシールドに投影される。これにより、前方画像250と実際の前方領域との間における視認者の視点移動は低減される。故に、視認者は、前方画像250と視界に映る実際の前方領域とを、さらに対応させ易くなる。このように、ナイトビュー装置200は、表示手段としてヘッドアップディスプレイ240を備えることにより、視認者による歩行者等の知覚を、さらに効果的に補助することができる。
尚、第二実施形態において、遠赤外線カメラ210が特許請求の範囲に記載の「撮像手段」に相当し、外形線画像生成部237が特許請求の範囲に記載の「外形線画像生成手段」に相当し、合成処理部239及びヘッドアップディスプレイ240が特許請求の範囲に記載の「表示手段」に相当し、前方画像250が特許請求の範囲に記載の「周辺画像」に相当し、ナイトビュー装置200が特許請求の範囲に記載の「車両用表示装置」に相当する。
(他の実施形態)
以上、本発明による複数の実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
上記実施形態において、画像処理回路20は、歩行者画像51が含まれた検出用画像56について、歩行者画像51の輪郭51aを検出する処理をしていた。しかし、画像処理回路は、歩行者が含まれていると判定された検出用画像56に限らず、前方画像50の全域について、歩行者画像の輪郭を検出する処理を行ってもよい。
上記実施形態において、対象物検出部33は、Joint HOG特徴量を用いた二段階AdaBoostによって構築された識別器に基づいて、前方画像50から歩行者画像51を検出していた。しかし、ナイトビュー装置が歩行者画像51を検出するための識別器は、上記実施形態によるものに限定されない。例えば、対象物検出部は、単一のHOG特徴量を用いたAdaBoostによって構築された識別器に基づいて、前方画像から歩行者画像を検出してもよい。又は、HOG特徴量のような輝度勾配ではなく、平均輝度に基づくHaar‐Like特徴量を用いて歩行者画像の特徴的な形状を学習させる、Viola&Jones法によって、歩行者画像を検出するための識別器が構築されていてもよい。
上記実施形態において、輪郭検出部35の機能の一部は、対象物検出部33によって兼ねられていた。具体的には、輪郭検出部35は、対象物検出部33によって算出された輝度勾配の強度を取得することにより、輝度勾配の強度を算出するための算出処理を省略していた。しかし、上述したようにViola&Jones法によって構築された識別器に基づいて対象物検出部が検出処理を行う形態では、輪郭検出部が、輝度勾配の強度を算出してもよい。又は、対象物検出部によって輝度勾配の強度が算出される形態であっても、輪郭検出部は、輝度勾配の強度を自ら算出してもよい。
上記第一実施形態において、外形線画像53の太さは、前方画像50における歩行者画像51の大きさに応じて調整されていた。しかし、歩行者画像の大きさにかかわらず、同じ太さの外形線画像、歩行者画像に重畳される形態であってもよい。また、上記第二実施形態では、外形線画像53によって囲まれた領域は、塗潰し画像254によって塗り潰されていた。しかし、例えば、塗潰し画像は、歩行者画像が小さく、視認者によって視認され難い場合に限り、歩行者画像に重畳される形態であってもよい。さらに、外形線画像及び塗潰し画像の色は、視認者に知覚され易ければ、上記実施形態のものに限定されない。
上記実施形態において、画像処理回路20は、前方画像50と外形線画像53とを、一旦異なるレイヤに描画したうえで、これらのレイヤを重ねる処理を行うことにより、外形線画像を前方画像に重畳していた。しかし、画像処理回路は、前方画像において歩行者画像の輪郭として抽出された画素の階調データを直接的に更新することにより、外形線画像を前方画像に重畳する形態であってもよい。
上記実施形態において、ナイトビュー装置は、表示手段の一部として、液晶ディスプレイ又はヘッドアップディスプレイを備えていた。しかし、ナイトビュー装置の表示手段は、例えばナビゲーションシステムに設けられた液晶ディスプレイ等の外部の表示装置に向けて、前方画像を出力する出力部であってもよい。
上記実施形態では、画像処理回路20によってプログラムが実行されることにより、機能ブロックとしての対象物検出部33及び輪郭検出部35等が構成される形態であった。しかし、これら対象物検出部33及び輪郭検出部35等の機能が、それぞれ別の回路によって果たされる形態であってもよい。これら対象物検出部33及び輪郭検出部35等として機能する回路は、画像処理回路20のようにプログラムをプロセッサによって実行することにより所定の機能を果たす回路であってもよく、又はプログラムの実行によらないアナログ回路であってもよい。
上記実施形態において、ナイトビュー装置は、前方領域を撮影する撮像手段から前方画像を取得していた。しかし、ナイトビュー装置は、車両の周辺領域であれば、車両の後方領域又は側方領域の画像から、歩行者等の検出対象物の画像を検出してもよい。また、上記実施形態では、ナイトビュー装置は、検知対象物として歩行者を検知していた。しかし、ナイトビュー装置によって検知される検知対象物は、歩行者に限定されない。例えば、車両、自転車又は二輪車に搭乗する人間、及び鹿や猪等の動物等が検知対象物として設定されていてもよい。
10 近赤外線カメラ(撮像手段)、210 遠赤外線カメラ(撮像手段)、11 近赤外線投光器、20,220 画像処理回路、31 画像取得部(画像取得手段)、33 対象物検出部(対象物検出手段)、35 輪郭検出部(輪郭検出手段)、37,237 外形線画像生成部(外形線画像生成手段)、39,239 合成処理部(表示手段)、40 液晶ディスプレイ(表示手段)、240 ヘッドアップディスプレイ(表示手段)、50 前方画像(周辺画像)、51 歩行者画像(検出対象物の画像,人間の画像)、51a 輪郭、52 強調画像、53 外形線画像、55 探索ウィンドウ、254 塗潰し画像、56 検出用画像、59 セル、100,200 ナイトビュー装置(車両用表示装置)

Claims (7)

  1. 車両の周辺領域を撮影する撮像手段によって生成された周辺画像から、当該周辺領域に存在する検出対象物の画像を検出し、当該検出対象物の画像を強調する強調画像を前記周辺画像に重畳して表示する車両用表示装置であって、
    赤外線を検知することにより前記周辺領域を撮影する前記撮像手段から、前記周辺画像を取得する画像取得手段と、
    前記画像取得手段によって取得された前記周辺画像の各画素について、前記各画素に隣接する画素との間における輝度の差分に基づいた輝度勾配の強度を算出し、前記輝度勾配の強度が予め設定された閾値よりも高い画素を抽出することにより、前記検出対象物の画像の輪郭を検出する輪郭検出手段と、
    前記輪郭検出手段によって検出された前記輪郭に沿うように、前記強調画像としての外形線画像を生成する外形線画像生成手段と、
    前記外形線画像生成手段によって生成された前記外形線画像と前記輪郭とが重なるように、前記外形線画像を前記周辺画像に重畳して表示する表示手段と、
    を備えることを特徴とする車両用表示装置。
  2. 予め設定されたサイズの検出用画像を前記周辺画像から順に切り出し、前記各検出用画像に前記検出対象物の画像が含まれているか否かを判定することにより、前記周辺画像から前記検出対象物の画像を検出する対象物検出手段、をさらに備え、
    前記輪郭検出手段は、前記周辺画像から切り出された複数の前記検出用画像のうち、前記対象物検出手段によって前記検出対象物の画像が含まれていると判定された前記検出用画像について、前記検出対象物の画像の輪郭を検出することを特徴とする請求項1に記載の車両用表示装置。
  3. 前記対象物検出手段は、前記周辺画像の各画素について前記輝度勾配を算出し、前記各画素の前記輝度勾配に基づいて前記各検出用画像に前記検出対象物の画像が含まれているか否かを判定し、
    前記輪郭検出手段は、前記対象物検出手段によって算出された前記輝度勾配の強度を取得し、当該輝度勾配の強度を用いることにより、前記検出対象物の画像の前記輪郭を検出することを特徴とする請求項2に記載の車両用表示装置。
  4. 前記外形線画像生成手段は、前記周辺画像に映る前記検出対象物の画像が小さくなるほど、前記検出対象物の画像に沿う前記外形線画像を細く生成することを特徴とする請求項1〜3のいずれか一項に記載の車両用表示装置。
  5. 前記外形線画像生成手段は、前記外形線画像によって囲まれた領域を塗り潰す、前記強調画像としての塗潰し画像をさらに生成し、
    前記表示手段は、前記外形線画像及び前記塗潰し画像が前記検出対象物の画像に重なるように、これら外形線画像及び塗潰し画像を前記周辺画像に重畳して表示することを特徴とする請求項1〜3のいずれか一項に記載の車両用表示装置。
  6. 前記画像取得手段は、近赤外線を検知することにより前記周辺領域を撮影する前記撮像手段としての近赤外線カメラから、前記周辺画像を取得することを特徴とする請求項1〜5のいずれか一項に記載の車両用表示装置。
  7. 前記輪郭検出手段は、前記検出対象物である人間の画像の前記輪郭を検出することを特徴とする請求項1〜6のいずれか一項に記載の車両用表示装置。
JP2010269642A 2010-12-02 2010-12-02 車両用表示装置 Expired - Fee Related JP5621558B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010269642A JP5621558B2 (ja) 2010-12-02 2010-12-02 車両用表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010269642A JP5621558B2 (ja) 2010-12-02 2010-12-02 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2012120047A true JP2012120047A (ja) 2012-06-21
JP5621558B2 JP5621558B2 (ja) 2014-11-12

Family

ID=46502375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010269642A Expired - Fee Related JP5621558B2 (ja) 2010-12-02 2010-12-02 車両用表示装置

Country Status (1)

Country Link
JP (1) JP5621558B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101543105B1 (ko) 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
EP2921995A1 (en) * 2014-03-21 2015-09-23 Fluke Corporation Visible light image with edge marking for enhancing ir imagery
CN107314819A (zh) * 2017-07-03 2017-11-03 南京绿谷信息科技有限公司 一种基于红外图像的光伏电站热斑检测与定位方法
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
WO2023095397A1 (ja) * 2021-11-25 2023-06-01 株式会社Jvcケンウッド 運転支援装置、運転支援方法
WO2023194826A1 (en) * 2022-04-04 2023-10-12 3M Innovative Properties Company Thermal imaging with ai image identification

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119766A (ja) * 1991-10-24 1993-05-18 Canon Inc 画像処理装置
JPH07115588A (ja) * 1993-08-25 1995-05-02 Hitachi Ltd 映像信号処理装置
JP2008109310A (ja) * 2006-10-24 2008-05-08 Denso Corp 車両用表示装置
JP2008176566A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2008183933A (ja) * 2007-01-26 2008-08-14 Toyota Motor Corp 赤外線暗視装置
JP2009031949A (ja) * 2007-07-25 2009-02-12 Square Enix Holdings Co Ltd 画像生成装置及び方法、並びにプログラム及び記録媒体
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
JP2010161736A (ja) * 2009-01-09 2010-07-22 Toyota Motor Corp ナイトビジョンシステム
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05119766A (ja) * 1991-10-24 1993-05-18 Canon Inc 画像処理装置
JPH07115588A (ja) * 1993-08-25 1995-05-02 Hitachi Ltd 映像信号処理装置
JP2008109310A (ja) * 2006-10-24 2008-05-08 Denso Corp 車両用表示装置
JP2008176566A (ja) * 2007-01-18 2008-07-31 Matsushita Electric Ind Co Ltd 運転支援装置、運転支援方法、及び運転支援プログラム
JP2008183933A (ja) * 2007-01-26 2008-08-14 Toyota Motor Corp 赤外線暗視装置
JP2009031949A (ja) * 2007-07-25 2009-02-12 Square Enix Holdings Co Ltd 画像生成装置及び方法、並びにプログラム及び記録媒体
JP2009117978A (ja) * 2007-11-02 2009-05-28 Denso Corp 車両周辺表示装置
JP2010088045A (ja) * 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
JP2010161736A (ja) * 2009-01-09 2010-07-22 Toyota Motor Corp ナイトビジョンシステム
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101543105B1 (ko) 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
EP2921995A1 (en) * 2014-03-21 2015-09-23 Fluke Corporation Visible light image with edge marking for enhancing ir imagery
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US10366496B2 (en) 2014-03-21 2019-07-30 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US10726559B2 (en) 2014-03-21 2020-07-28 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
US10872448B2 (en) 2015-08-27 2020-12-22 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN107314819A (zh) * 2017-07-03 2017-11-03 南京绿谷信息科技有限公司 一种基于红外图像的光伏电站热斑检测与定位方法
WO2023095397A1 (ja) * 2021-11-25 2023-06-01 株式会社Jvcケンウッド 運転支援装置、運転支援方法
WO2023194826A1 (en) * 2022-04-04 2023-10-12 3M Innovative Properties Company Thermal imaging with ai image identification

Also Published As

Publication number Publication date
JP5621558B2 (ja) 2014-11-12

Similar Documents

Publication Publication Date Title
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
JP5621558B2 (ja) 車両用表示装置
JP5744352B2 (ja) 車両周辺表示装置
JP6729394B2 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
JPWO2020121973A1 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
JP4263737B2 (ja) 歩行者検知装置
JP5533766B2 (ja) 車両用表示装置
JP4872245B2 (ja) 歩行者認識装置
WO2009110348A1 (ja) 撮像装置
US20110157184A1 (en) Image data visualization
US10496891B2 (en) Driver assistance system and method for object detection and notification
CN109076197B (zh) 显示控制装置
JP2008230296A (ja) 車両用運転支援システム
JP2012148710A (ja) 画像表示装置
JP2010191793A (ja) 警告表示装置及び警告表示方法
JP2010044561A (ja) 乗物搭載用監視装置
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
JP2012247847A (ja) 車両用情報伝達制御装置、及び、情報伝達制御方法
JP2014015127A (ja) 情報表示装置、情報表示方法およびプログラム
JP2012164026A (ja) 画像認識装置及び車両用表示装置
WO2006075536A1 (ja) 車両前方画像表示装置及び方法
JP2011087006A (ja) 車両用表示装置
JP2008004989A (ja) 車両周囲表示装置
EP2605101A1 (en) Method for displaying images on a display device of a driver assistance device of a motor vehicle, computer program and driver assistance device carrying out the method
JP4701961B2 (ja) 歩行者検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

R151 Written notification of patent or utility model registration

Ref document number: 5621558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees