JP2017138761A - 車両用撮像システム - Google Patents

車両用撮像システム Download PDF

Info

Publication number
JP2017138761A
JP2017138761A JP2016018685A JP2016018685A JP2017138761A JP 2017138761 A JP2017138761 A JP 2017138761A JP 2016018685 A JP2016018685 A JP 2016018685A JP 2016018685 A JP2016018685 A JP 2016018685A JP 2017138761 A JP2017138761 A JP 2017138761A
Authority
JP
Japan
Prior art keywords
vehicle
glass
camera
laser
laser sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016018685A
Other languages
English (en)
Other versions
JP6597350B2 (ja
Inventor
隆宏 安達
Takahiro Adachi
隆宏 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016018685A priority Critical patent/JP6597350B2/ja
Publication of JP2017138761A publication Critical patent/JP2017138761A/ja
Application granted granted Critical
Publication of JP6597350B2 publication Critical patent/JP6597350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】車両用撮像システムのカメラおよびレーザセンサを用いて、カメラの画角と重なる撮像範囲のガラスの曇りを検知する。
【解決手段】撮像システム10は、車両1のガラス越しに車外を撮像するカメラ22と、車両1のガラス越しに車外に向けてレーザを出力し、レーザの反射光を受光するレーザセンサ24と、カメラ22の撮像画像およびレーザセンサの受光結果の少なくとも一方を用いて、カメラ22の画角と重なる撮像範囲52のガラスの曇りを検知する曇り検知部と、を備える。レーザセンサ24は、撮像範囲52のガラスに向けてレーザを出力し、撮像範囲52のガラスからのレーザの反射光を受光する。曇り検知部は、a)車両1が走行中の場合、カメラ22の撮像画像およびレーザセンサ24の受光結果を用いてガラスの曇りを検知し、b)車両1が停車中の場合、レーザセンサ24の受光結果を用いてガラスの曇りを検知する。
【選択図】図1

Description

本発明は、車両のガラス越しに車外を撮像する車両用撮像システムに関する。
従来より、車室内にカメラを設置し、ガラス越しに車両外部(車外)を撮像するシステムが知られている。車両に搭載される運転支援システムは、車載カメラがガラス越しに撮像した画像から車両周囲の歩行者や車両を検知し、運転者に対して警報を出力するなどの運転支援処理を実施する。しかしながら、車載カメラの画角と重なる撮像範囲のガラスが曇っていると、車載カメラが車外を適切に撮像できないおそれがあるため、撮像画像にもとづいた運転支援処理を中止する必要がある。
特許文献1には、撮像画像を解析し、撮像画像がガラスの曇りに起因する異常画像であるか否かを判定する技術が開示されている。撮像された自車のボンネット前縁部を含む範囲の微分画像を解析し、ボンネットの形状に対応する水平エッジ成分が検出されるか否かによりフロントガラスの曇りの有無が検出される。フロントガラスの曇りによる異常画像が検出された場合、画像処理結果を使用した運転支援処理が中止される。なお自車の停止時は、路面白線等によってボンネットの鮮明な微分画像が得られないおそれがあるため、異常画像の判定を中止したり、判定のくり返し周期を長くしたりして判定ミスの発生が防止される。
特開2006−107000号公報
上述の特許文献1に開示される技術では、自車の停車時においてガラスの曇りを適切に検出できないという課題がある。停車時においてもガラスの曇りを判定できるように、たとえば専用の曇り検出用センサを設けることも可能であるが、専用センサを追加するとコストが増大してしまう。そこで、本発明者は、車両周囲の情報を取得するために車載カメラと組み合わせて搭載されるレーザセンサを利用してガラスの曇りが検知できれば、専用センサを追加することなく曇りの検知精度を向上できるかもしれないと考えた。
本発明はこうした状況に鑑みてなされたものであり、その目的は、車両用撮像システムのカメラおよびレーザセンサを用いて、カメラの画角と重なる撮像範囲のガラスの曇りを検知する技術を提供することにある。
上記課題を解決するために、本発明のある態様の車両用撮像システムは、車両に搭載される車両用撮像システムであって、前記車両のガラス越しに車外を撮像するカメラと、前記車両のガラス越しに車外に向けてレーザを出力し、前記レーザの反射光を受光するレーザセンサと、前記カメラの撮像画像および前記レーザセンサの受光結果の少なくとも一方を用いて、前記カメラの画角と重なる撮像範囲のガラスの曇りを検知する曇り検知部と、を備える。前記レーザセンサは、前記撮像範囲のガラスに向けてレーザを出力し、前記撮像範囲のガラスからの前記レーザの反射光を受光するよう構成され、前記曇り検知部は、a)前記車両が走行中の場合、前記カメラの撮像画像および前記レーザセンサの受光結果を用いて前記撮像範囲のガラスの曇りを検知し、b)前記車両が停車中の場合、前記レーザセンサの受光結果を用いて前記撮像範囲のガラスの曇りを検知する。
この態様によると、撮像システムに設けられるレーザセンサを利用し、カメラの画角と重なる撮像範囲のガラスからのレーザの反射光を受光することで撮像範囲のガラスの曇りを検知できる。このため、カメラの撮像画像を用いた曇り検知方法のみを用いる場合と比べて曇りの検知精度を高めることができる。特に、レーザセンサを利用する検知方法は、車両が走行中であるか停車中であるかを問わずに利用できるため、撮像画像を用いる手法では検知が困難となる車両の停車中であってもガラスの曇りを適切に検知できる。
本発明によれば、車両用撮像システムのカメラおよびレーザセンサを用いて、カメラの画角と重なる撮像範囲のガラスの曇りを検知する技術を提供できる。
実施例に係る撮像システムが搭載された車両を概略的に示す図である。 センサユニットの外観斜視図である。 カメラの画角と重なる撮像範囲を概略的に示す図である。 制御装置の機能構成を示すブロック図である。 ガラスに曇りがない場合の撮像画像を模式的に示す図である。 ガラスに曇りがある場合の撮像画像を模式的に示す図である。 撮像システムの動作の流れを示すフローチャートである。
図1は、実施例に係る撮像システム10が搭載された車両1を示す。撮像システム10は、車室内に取り付けられ、フロントガラス2越しに車両1の周囲環境情報を取得する。撮像システム10は、センサユニット20と、制御装置30と、昇温装置40と、を備える。センサユニット20は、カメラ22と、レーザセンサ24と、処理回路28とを有する。本実施例に係るセンサユニット20は、カメラ22およびレーザセンサ24が車両前方の情報を取得できるように、フロントガラス2、バックミラーまたは車室天井などに取り付けられる。
カメラ22は、車両周囲の状況を画像データとして取得する撮像装置である。カメラ22は、単眼カメラ、ステレオカメラ、赤外線カメラなどであり、フロントガラス2越しに車両の前方を撮像する。カメラ22は、カメラ22の光軸54が車両前方を向くように配置されており、車両前方に設定される所定の画角50の範囲内を撮像する。カメラ22は、フロントガラス2越しに車外を周期的に撮像して撮像データを取得する。カメラ22が撮像した撮像データは、処理回路28に送られる。
レーザセンサ24は、車両周囲の状況をレーザにより検出するレーダ装置であり、いわゆるLIDAR(Light Detection and Ranging,Laser Imaging Detection and Ranging)といわれる装置である。レーザセンサ24は、フロントガラス2越しに車両前方に向けてレーザを出力し、車両前方の物体からのレーザの反射光を受光して車両前方の物体までの距離を計測する。レーザセンサ24が受光した反射光の強度信号は処理回路28に送られ、公知のタイム・オブ・フライト方式により車両前方の物体までの距離が算出される。
レーザセンサ24は、いわゆる電子スキャン方式のLIDARであり、車両前方に設定される検知対象範囲の全体に向けてレーザを照射し、縦横に分割された多分割受光素子により異なる方向からの反射光を個別に受光するよう構成される。処理回路28は、多分割受光素子の受光結果から異なる方向に位置する物体の検出点までの距離を算出し、各検出点までの距離をマッピングすることにより車両前方の距離画像を生成する。なお、レーザセンサ24として、異なる方式のセンサを採用してもよく、いわゆるメカニカルスキャン方式のLIDARなどを用いてもよい。
処理回路28は、カメラ22の撮像画像やレーザセンサ24の受光結果を処理するためのプロセッサやメモリなどを含む電子回路であり、センサユニット20に内蔵されている。処理回路28は、例えば、カメラ22およびレーザセンサ24からのデータを用いて、車両前方に存在する物体の種類、物体までの距離、物体の移動方向などを解析してもよい。処理回路28の解析結果は、車両1の運転支援システム(不図示)による運転支援処理などに利用される。
昇温装置40は、少なくともカメラ22の画角50に含まれるフロントガラス2の一部領域(撮像範囲52ともいう)のガラスを昇温するために撮像範囲52の周囲に設けられる。昇温装置40は、たとえば電力の供給を受けて発熱する熱線ヒータである。昇温装置40を構成する熱線ヒータは、フロントガラス2の内面に形成されてもよいし、フロントガラス2の内部に形成されてもよい。昇温装置40を構成する熱線ヒータは、カメラ22の画角50を遮らないように撮像範囲52の外側に設けられることが好ましいが、細い熱線や透明な熱線を用いる場合には撮像範囲52の内側に設けられてもよい。昇温装置40は、センサユニット20側に設けられてもよい。昇温装置40は、撮像範囲52のガラスに向けて温風を供給する装置であってもよく、車両1のエアコンを昇温装置として用いてもよい。
図2は、センサユニット20の外観斜視図である。センサユニット20は、筐体21を有し、筐体21の上面21aが全体として前方(矢印Aで示す方向)に向けて下がるように傾斜している。筐体21の上面21aは、周囲より低く窪んだ凹部21bを有するように成形されている。凹部21bの後端側には、カメラ22と、レーザセンサ24の出力部25および受光部26とが設けられている。凹部21bは、カメラ22の画角、出力部25のレーザ照射範囲および受光部26の受光範囲のそれぞれを遮らないように、後端部から前方に向けて左右方向の幅が広がるような形状を有してもよい。
出力部25は、カメラ22の画角50と重なる撮像範囲52のガラスにレーザを照射可能な位置に配置されている。また、受光部26は、撮像範囲52のガラスからのレーザの反射光を受光可能な位置に配置されている。このような配置を実現するため、図示する例では、カメラ22、出力部25および受光部26がほぼ同じ高さで左右方向に並んで配置される。なお、センサユニット20の構造は図示する例に限られず、撮像範囲52のガラスに向けてレーザを照射し、撮像範囲52のガラスからの反射光を受光できる配置であれば、カメラ22、出力部25および受光部26の位置関係が図示する例と異なっていてもよい。たとえば、出力部25および受光部26の少なくとも一方がカメラ22に対して高さ方向にずれて配置されてもよいし、前後方向にずれて配置されてもよい。
図3は、カメラ22の画角50と重なる撮像範囲52を概略的に示す図であり、車室内に取り付けられたセンサユニット20を側方(図2の矢印Bで示す方向)から見た図である。図3では、カメラ22の上下方向の画角50と重なるフロントガラス2の一部領域を撮像範囲52として示している。撮像範囲52は、カメラ22の撮像対象となる範囲であり、曇りが発生した場合にカメラ22の撮像画像に影響を及ぼすこととなる範囲である。この撮像範囲52に曇りが生じる場合、曇りに遮られて車両前方を適切に撮像することができなくなることから、撮像画像にもとづいた運転支援処理を中止する必要がある。本実施例では、撮像範囲52のガラスに曇りが発生したことを、カメラ22の撮像画像およびレーザセンサ24の受光結果を用いて検知する。
図4は、制御装置30の機能構成を示すブロック図である。制御装置30は、画像取得部31と、受光結果取得部32と、車速取得部33と、曇り検知部34と、昇温制御部36とを備える。図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIなどで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者に理解されるところであり、いずれかに限定されるものではない。
画像取得部31は、カメラ22で周期的に撮像された撮像画像をセンサユニット20から取得して曇り検知部34に供給する。受光結果取得部32は、レーザセンサ24の受光結果をセンサユニット20から取得して曇り検知部34に供給する。車速取得部33は、車両1の車速情報を車速センサ4(図1参照)から取得して曇り検知部34に供給する。曇り検知部34は、画像取得部31、受光結果取得部32、車速取得部33から供給されるデータを用いて撮像範囲52のガラスに曇りが生じているか否かを検知する。
曇り検知部34は、カメラ22の撮像画像にもとづく曇り検知機能と、レーザセンサ24の受光結果にもとづく曇り検知機能とを併せ持つ。曇り検知部34は、車速取得部33から供給される車速情報に基づき、車両1が走行中である場合には、撮像画像を用いる第1曇り検知機能と、受光結果を用いる第2曇り検知機能とを組み合わせてガラスの曇りを検知する。一方、車両1が停車中である場合には、受光結果を用いる第2曇り検知機能のみを用いてガラスの曇りを検知する。
図5は、ガラスに曇りがない場合の撮像画像60を模式的に示す図であり、車両1の走行中に撮像される撮像画像60の例を示す。曇り検知部34は、周期的に撮像されて時間的に変化する撮像画像60からオプティカルフローが検出可能な領域を特定する。ここで「オプティカルフロー」とは、画像中の物体の動きをベクトルで表したものである。またオプティカルフローが検出可能な領域とは、画像中の物体の移動が検出可能な領域のことをいう。例えば、撮像画像に含まれるエッジや角などを特徴点として検出し、時間的に連続する複数の撮像画像において特徴点をトラッキングすることにより、その特徴点のオプティカルフローを検出できる。なお特徴点のトラッキングには、公知のオプティカルフロー推定方法を用いることができる。
車両1の走行中に車両前方を撮像する場合、車両前方の風景は消失点62を中心として放射状に延びる線分に沿った方向に変化するため、撮像画像のほぼ全域においてオプティカルフローを検出できる。図示する例では、撮像画像60を5×5=25個の領域に分割しているが、全ての分割領域において特徴点のオプティカルフローを検出できる。この場合、曇り検知部34は、撮像画像を用いた第1曇り検知処理において、撮像範囲52のガラスに曇りがないと判定する。いいかえれば、撮像範囲52において曇りが生じている領域が0%であると判定する。なお、オプティカルフローを検出するために分割される領域数は例示であり、25個よりも多くの領域に分割されてもよいし、25個よりも少ない領域に分割されてもよい。
図6は、ガラスに曇り64がある場合の撮像画像61を模式的に示す図であり、車両1の走行中に撮像される撮像画像61に曇り64が含まれる例を示す。フロントガラス2に生じる曇り64は、カメラ22から見て位置が変化しないため、曇り64が含まれる分割領域ではオプティカルフローを検出することができない。図示する例の場合、撮像画像61の左側に設定される10個の分割領域においてオプティカルフローを検出できるものの、撮像画像61の中央および右側に設定される15個の分割領域においてはオプティカルフローを検出することができない。この場合、曇り検知部34は、撮像画像を用いた第1曇り検知処理において、撮像範囲52において曇りが生じている領域が60%(15/25)であると判定する。
なお本実施例にて、第1曇り検知処理にて判定される曇り領域の割合を「第1曇りレベルC」ともいう。第1曇りレベルCの値は、図5の例においてC=0(0%)であり、図6の例においてC=0.6(60%)である。
本実施例に係る撮像画像を用いた曇り検知処理では、オプティカルフローの検出可否を利用しているため、走行中に撮像された撮像画像を用いる必要がある。仮に、停車中に撮像された撮像画像に対してオプティカルフローを検出しようとする場合、車両前方で動く物体がなければ全分割領域においてオプティカルフローが検出されないため、ガラスに曇りがない場合であっても曇りが生じている領域が100%と判定されてしまう。また車両の周囲で動く物体があれば、その物体が含まれる一部の分割領域においてオプティカルフローが検出されるため、ある割合で撮像範囲52に曇りが生じていると判定されてしまう。このように、停車中に撮像された撮像画像を用いると撮像範囲52のガラスの曇りと無関係な判定結果が生じてしまうため、停車中は第1曇り検知機能を利用できない。
そこで、車両1の停車中はレーザセンサ24の受光結果を用いた第2曇り検知機能を用いる。曇り検知部34は、レーザセンサ24の受光結果のうち、撮像範囲52のガラスから反射されたレーザ光の受光強度を用いてガラスの曇りを判定する。フロントガラス2に曇りが生じていない場合、フロントガラス2で反射されてレーザセンサ24で検知される光強度は小さい。一方、フロントガラス2に曇りが生じている場合、フロントガラス2の内面に付着した微小な水滴によってレーザが散乱されるため、フロントガラス2で反射されてレーザセンサ24で検知される光強度は大きくなる。また、フロントガラス2に生じる曇りの面積が大きい場合、曇りが生じている領域から反射されてレーザセンサ24で検知される光強度(トータルパワー)が曇りの面積に応じて大きくなる。したがって、レーザセンサ24で受光するレーザの光強度の大きさからガラスの曇りを検知できる。
なお、レーザセンサ24で取得される反射光の強度信号には、撮像範囲52のガラスからの反射光に対応する信号成分だけではなく、撮像範囲52と重ならない範囲のガラスからの反射光や車両前方の物体からの反射光に対応する信号成分も含まれる。曇り検知部34は、レーザセンサ24の多分割受光素子で取得される強度信号のうち、撮像範囲52の方向からの反射光に対応する強度信号を用いるとともに、対象物体までの距離がほぼ0であることを示す信号成分の強度値を用いる。これにより、撮像範囲52のガラスからの反射光に対応する信号成分のみを曇りの判定に用いることができる。
曇り検知部34は、撮像範囲52のガラスからの反射光に対応する信号強度Lに所定の演算処理を加えることにより撮像範囲52の曇りレベル(第2曇りレベルC)を算出する。第2曇りレベルCは、たとえば信号強度Lに所定の定数aを乗算することによって算出できる。このときの定数aは、撮像範囲52の全体が曇っている場合の信号強度Lをあらかじめ測定しておき、a・L=1(100%)となるように定めることができる。なお変形例においては、第2曇りレベルCを算出するための関数F(L)を用いてもよい。この関数F(L)は、たとえば、撮像範囲52の曇りがない場合の信号強度Lと、撮像範囲52の全体が曇っている場合の信号強度Lをあらかじめ測定し、F(L)=0(0%)、F(L)=1(100%)となるように定めることができる。
曇り検知部34は、カメラ22の撮像画像を用いて算出した第1曇りレベルCと、レーザセンサ24の受光結果を用いて算出した第2曇りレベルCとを用いて、最終的な曇りレベルCを算出する。曇り検知部34は、車両1が走行中である場合、第1曇りレベルCおよび第2曇りレベルCの双方を用いて曇りレベルCを算出する。曇り検知部34は、たとえば、第1曇りレベルCと第2曇りレベルCの平均値を最終的な曇りレベルCとする。一方、車両1が停車中である場合には第1曇りレベルCを適切に得ることができないため、曇り検知部34は、第2曇りレベルCを最終的な曇りレベルCとする。
なお、曇り検知部34は、車両1の車速Vに応じて最終的な曇りレベルCに反映させる第1曇りレベルCと第2曇りレベルCの重み付けを変えてもよい。撮像画像を用いて算出される第1曇りレベルCは、車速Vが高いほど精度が高く、車速Vが低いと精度が低い傾向にある。そこで、車速Vが高いほど第1曇りレベルCの重み付けが高くなるように、C=(C+b・V・C)/(1+b・V)の式を用いて最終的な曇りレベルCを算出してもよい。この式によれば、車速V=0の場合にはC=Cとなり、車速Vが大きくなるほどCの重み付けが高められる。なお、上記式に含まれる定数bは、重み付けの度合いに応じて適宜設定することができる。たとえば、車速Vが時速30キロメートルのときに両者の重み付けが等しくなるようにb=1/30の値を設定してもよい。変形例においては、定数bの代わりに所定の関数F(V)を用いて重み付けを設定してもよく、たとえば、C=(C+F(V)・C)/(1+F(V))の式を用いてもよい。
曇り検知部34は、最終的な曇りレベルCの値に基づいて、撮像範囲52のガラスの曇りの有無を判定する。曇り検知部34は、曇りレベルCが所定の閾値以上である場合に撮像範囲52のガラスに曇りがあると判定する。曇り検知部34は、たとえば曇りレベルCが0.3(30%)以上である場合に撮像範囲52のガラスに曇りがあると判定する。一方で、曇り検知部34は、曇りレベルCが所定の閾値未満である場合、たとえば30%未満である場合に撮像範囲52のガラスに曇りがないと判定する。曇り検知部34の判定結果は、昇温制御部36や運転支援システムなどに供給される。なお、曇り検知部34は、曇りの有無を示す二値の判定結果ではなく、曇りレベルCの値を昇温制御部36や運転支援システムに供給してもよく、曇りの有無の判定結果と曇りレベルCの双方を供給してもよい。曇り検知部34は、カメラ22の撮像画像およびレーザセンサ24の受光結果にもとづいて、周期的に曇りレベルCを算出し、曇りの有無の判定結果や曇りレベルCの値を連続的に昇温制御部36や運転支援システムに供給してもよい。
昇温制御部36は、昇温装置40の動作を制御する。昇温制御部36は、曇り検知部34により曇りが生じていると判定された場合に昇温装置40を駆動し、撮像範囲52のガラスが加熱されるようにする。昇温制御部36は、曇り検知部34により曇りがないと判定された場合に昇温装置40の駆動を停止する。昇温制御部36は、曇り検知部34の判定結果に応じて昇温装置40を動作させることにより、撮像範囲52のガラスの曇りが確実に除去されるようにするとともに、ガラスに曇りがないにも拘わらず昇温装置40が継続して駆動され、無駄な電力が消費されてしまうことを防ぐ。
昇温制御部36は、曇り検知部34から供給される曇りレベルCの値を用いて昇温装置40の動作を制御してもよい。たとえば、曇りレベルCの値を参照しながら、曇りレベルCが所定の目標値に近づくように昇温装置40をフィードバック制御してもよい。この場合、撮像範囲52のガラスが十分に加熱されて曇りが徐々に減少し、曇りレベルCの値が低下していくことを検知した段階で昇温装置40による加熱を弱めたり、昇温装置40の動作を停止させたりすることで、ガラスの余熱を利用して曇りを除去してもよい。曇り検知部34から周期的に供給される曇りレベルCの値を用いて昇温装置40の動作をフィードバック制御することにより、必要最低限の電力消費で撮像範囲52のガラスの曇りを確実に除去することができる。
図7は、撮像システム10の動作の流れを示すフローチャートである。撮像システム10は、フロントガラス越しにカメラ22で車両前方を撮像し(S10)、フロントガラス越しにレーザセンサ24で車両前方を計測する(S12)。車両が走行中であれば(S14のY)、カメラ22の撮像画像およびレーザセンサ24の計測結果を用いてカメラ22の画角と重なる撮像範囲のガラスの曇りを検知する(S16)。車両が停車中であれば(S14のN)、レーザセンサ24の計測結果を用いてカメラ22の画角と重なる撮像範囲のガラスの曇りを検知する(S18)。撮像システム10は、曇りの検知結果に基づいて、撮像範囲のガラスの曇りを除去するための昇温装置40の動作を制御する(S20)。
本実施例によれば、曇り検知用の専用センサを別途設けることなく、センサユニット20に搭載されるカメラ22とレーザセンサ24を用いてフロントガラス2の曇りを検知できる。特に、停車中に検知不可となるカメラ22を用いた第1曇り検知機能をレーザセンサ24を用いた第2曇り検知機能で補完できるため、走行中および停車中にわたってフロントガラス2の曇りを検知できる。走行中は、第1および第2の曇り検知機能を組み合わせて用いるため、曇り検知の精度を高めることができる。また、曇り除去用の昇温装置40を動作させる場合に、曇り検知結果に基づくフィードバック制御を車両の走行中および停車中にわたって実現できるため、電力消費が必要最小限となるように効率的に昇温装置40を動作させてガラスの曇りを除去できる。
以上、実施例をもとに本発明を説明した。実施例はあくまでも例示であり、各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では、撮像システム10が車両前方を撮像するように車両1に取り付けられる例を示したが、他の方向、たとえば車両後方、車両側方を撮像するように撮像システム10が車両1に取り付けられてもよい。実施例では、センサユニット20に内蔵される処理回路28と、センサユニット20とは別体の制御装置30により曇り検知のための処理がなされる場合について示した。変形例では、処理回路28の機能の一部または全部がセンサユニット20とは別体の制御装置により実現されてもよいし、制御装置30の機能の一部または全部がセンサユニット20に内蔵される処理回路により実現されてもよい。
1…車両、10…撮像システム、22…カメラ、24…レーザセンサ、30…制御装置、34…曇り検知部、50…画角、52…撮像範囲。

Claims (1)

  1. 車両に搭載される車両用撮像システムであって、
    前記車両のガラス越しに車外を撮像するカメラと、
    前記車両のガラス越しに車外に向けてレーザを出力し、前記レーザの反射光を受光するレーザセンサと、
    前記カメラの撮像画像および前記レーザセンサの受光結果の少なくとも一方を用いて、前記カメラの画角と重なる撮像範囲のガラスの曇りを検知する曇り検知部と、を備え、
    前記レーザセンサは、前記撮像範囲のガラスに向けてレーザを出力し、前記撮像範囲のガラスからの前記レーザの反射光を受光するよう構成され、
    前記曇り検知部は、
    a)前記車両が走行中の場合、前記カメラの撮像画像および前記レーザセンサの受光結果を用いて前記撮像範囲のガラスの曇りを検知し、
    b)前記車両が停車中の場合、前記レーザセンサの受光結果を用いて前記撮像範囲のガラスの曇りを検知することを特徴とする車両用撮像システム。
JP2016018685A 2016-02-03 2016-02-03 車両用撮像システム Active JP6597350B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016018685A JP6597350B2 (ja) 2016-02-03 2016-02-03 車両用撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016018685A JP6597350B2 (ja) 2016-02-03 2016-02-03 車両用撮像システム

Publications (2)

Publication Number Publication Date
JP2017138761A true JP2017138761A (ja) 2017-08-10
JP6597350B2 JP6597350B2 (ja) 2019-10-30

Family

ID=59566842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016018685A Active JP6597350B2 (ja) 2016-02-03 2016-02-03 車両用撮像システム

Country Status (1)

Country Link
JP (1) JP6597350B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785631A (zh) * 2019-03-12 2019-05-21 大连海事大学 一种面向交通疏导的道路交通数据智能感知与分发网络架构
JP2019142325A (ja) * 2018-02-20 2019-08-29 トヨタ自動車株式会社 車両用撮影装置
JP2020038154A (ja) * 2018-09-05 2020-03-12 株式会社デンソー 測距装置
WO2020084950A1 (ja) * 2018-10-22 2020-04-30 株式会社デンソー 車両用光学装置の制御装置
JP2020082837A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 ウィンドウガラス加熱装置
JP2020199882A (ja) * 2019-06-10 2020-12-17 本田技研工業株式会社 輸送機器及び車両
JP2021519716A (ja) * 2018-03-29 2021-08-12 エージーシー グラス ユーロップAgc Glass Europe 基材材料上に形成された氷又は曇りに対する除氷又は除曇作用を開始するためのシステム
US11847833B2 (en) 2020-02-12 2023-12-19 Strattec Security Corporation Broad coverage non-contact obstacle detection
JP7414486B2 (ja) 2019-11-21 2024-01-16 日立Astemo株式会社 車載ステレオカメラ
JP7478570B2 (ja) 2020-03-30 2024-05-07 本田技研工業株式会社 車両制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02270627A (ja) * 1989-04-11 1990-11-05 Mazda Motor Corp 車両用空調装置
JP2006107000A (ja) * 2004-10-04 2006-04-20 Daihatsu Motor Co Ltd 画像異常判定方法及び画像異常判定装置
JP2007140852A (ja) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2008080939A (ja) * 2006-09-27 2008-04-10 Clarion Co Ltd 接近物体警報装置
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US20150088374A1 (en) * 2013-09-25 2015-03-26 Ford Global Technologies, Llc Autonomous vehicle window clearing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02270627A (ja) * 1989-04-11 1990-11-05 Mazda Motor Corp 車両用空調装置
JP2006107000A (ja) * 2004-10-04 2006-04-20 Daihatsu Motor Co Ltd 画像異常判定方法及び画像異常判定装置
JP2007140852A (ja) * 2005-11-17 2007-06-07 Aisin Seiki Co Ltd 障害物位置検出装置及び障害物位置検出方法
JP2008080939A (ja) * 2006-09-27 2008-04-10 Clarion Co Ltd 接近物体警報装置
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US20150088374A1 (en) * 2013-09-25 2015-03-26 Ford Global Technologies, Llc Autonomous vehicle window clearing

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019142325A (ja) * 2018-02-20 2019-08-29 トヨタ自動車株式会社 車両用撮影装置
JP2021519716A (ja) * 2018-03-29 2021-08-12 エージーシー グラス ユーロップAgc Glass Europe 基材材料上に形成された氷又は曇りに対する除氷又は除曇作用を開始するためのシステム
JP7077882B2 (ja) 2018-09-05 2022-05-31 株式会社デンソー 測距装置
JP2020038154A (ja) * 2018-09-05 2020-03-12 株式会社デンソー 測距装置
WO2020050218A1 (ja) * 2018-09-05 2020-03-12 株式会社デンソー 測距装置
WO2020084950A1 (ja) * 2018-10-22 2020-04-30 株式会社デンソー 車両用光学装置の制御装置
JP2020082837A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 ウィンドウガラス加熱装置
JP7180305B2 (ja) 2018-11-19 2022-11-30 トヨタ自動車株式会社 ウィンドウガラス加熱装置
CN109785631A (zh) * 2019-03-12 2019-05-21 大连海事大学 一种面向交通疏导的道路交通数据智能感知与分发网络架构
CN109785631B (zh) * 2019-03-12 2021-08-24 大连海事大学 一种面向交通疏导的道路交通数据智能感知与分发网络架构
JP2020199882A (ja) * 2019-06-10 2020-12-17 本田技研工業株式会社 輸送機器及び車両
JP7078578B2 (ja) 2019-06-10 2022-05-31 本田技研工業株式会社 輸送機器及び車両
JP7414486B2 (ja) 2019-11-21 2024-01-16 日立Astemo株式会社 車載ステレオカメラ
US11847833B2 (en) 2020-02-12 2023-12-19 Strattec Security Corporation Broad coverage non-contact obstacle detection
JP7478570B2 (ja) 2020-03-30 2024-05-07 本田技研工業株式会社 車両制御装置

Also Published As

Publication number Publication date
JP6597350B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
JP6597350B2 (ja) 車両用撮像システム
US10860869B2 (en) Time to collision using a camera
US10220778B2 (en) Vehicle-mounted alert system and alert control device
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム
JP2017144937A (ja) 撮像システム
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
EP3432291A1 (en) Image processing apparatus, object recognition apparatus, device control system, image processing method, and program
JP2008067362A (ja) 画像処理装置および画像処理方法
JP6944525B2 (ja) オートバイバンキングのための画像補正
GB2517788A (en) Water depth estimation apparatus and method
JP2013183298A (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20180165529A1 (en) Object detection device
KR102177879B1 (ko) 차량의 객체 검출 장치 및 방법
US20200207340A1 (en) Collision prediction device, collision prediction method, and program
JP2017004176A (ja) 路面標示検出装置及び路面標示検出方法
JP2014154898A (ja) 物体検知装置
US10706586B2 (en) Vision system for a motor vehicle and method of controlling a vision system
JP5942598B2 (ja) ライト制御装置
JP4798576B2 (ja) 付着物検出装置
KR20120076999A (ko) 차량의 거리 측정 장치 및 방법
JPWO2019186864A1 (ja) 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
JP2013101432A (ja) 障害物検出装置及びプログラム
WO2022185085A1 (ja) 物体検出方法及び物体検出装置
JP2013060108A (ja) 前照灯制御装置
JP2005278898A (ja) 視線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190916

R151 Written notification of patent or utility model registration

Ref document number: 6597350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151