JP2017046051A - 車載カメラ装置 - Google Patents

車載カメラ装置 Download PDF

Info

Publication number
JP2017046051A
JP2017046051A JP2015164907A JP2015164907A JP2017046051A JP 2017046051 A JP2017046051 A JP 2017046051A JP 2015164907 A JP2015164907 A JP 2015164907A JP 2015164907 A JP2015164907 A JP 2015164907A JP 2017046051 A JP2017046051 A JP 2017046051A
Authority
JP
Japan
Prior art keywords
vehicle
camera device
camera module
lens
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015164907A
Other languages
English (en)
Other versions
JP6493087B2 (ja
Inventor
泰樹 古武
Yasuki Furutake
泰樹 古武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015164907A priority Critical patent/JP6493087B2/ja
Priority to US15/240,840 priority patent/US10144364B2/en
Priority to DE102016215618.7A priority patent/DE102016215618B4/de
Priority to CN201610701178.8A priority patent/CN106488091B/zh
Publication of JP2017046051A publication Critical patent/JP2017046051A/ja
Application granted granted Critical
Publication of JP6493087B2 publication Critical patent/JP6493087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Lenses (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)

Abstract

【課題】さらなる軽量化やコストダウン、長寿命化、信頼性向上等の少なくとも1つに資する車載カメラ装置を提供する。【解決手段】車載カメラ装置は、カメラモジュールと、制御回路基板と、を備える。カメラモジュールは、入射光を屈折させて発散又は集束させるレンズ111a、及び、レンズ111aを通過した入射光が結像されるイメージセンサ26、を含み、イメージセンサ26で光電変換された信号に基づく出力を行う。制御回路基板は、車両前方の状況を認識する認識処理をカメラモジュールの出力である画像データに基づき実行し、ヘッドライト制御処理、前方衝突回避処理及び車線逸脱警報処理のうち少なくとも2つの車両制御処理を認識処理の認識結果に基づき実行する。そして、車載カメラ装置では、光学素子として樹脂レンズを用いるようにした。【選択図】図8

Description

本発明は、車両に搭載され、車両前方を撮像する車載カメラ装置に関する。
従来、車両前方を撮像した画像から走行路の車線境界線等を認識する車載カメラ装置が知られている。
この種の車載カメラ装置において、コンクリート路の黄色線や青色線を認識しやすくするように予め定められた波長帯域の波長をカットして、イメージャへの入射光を減衰させる光学フィルタを備えるものが提案されている。
特許第4143521号公報
しかしながら、従来の車載カメラ装置では、一般にガラス製のレンズが用いられているため、さらなる軽量化やコストダウン等が困難であるという問題があった。
また、従来の車載カメラ装置では、レンズの黄変によってレンズの透過率が下がることへの対策がなされていないため、レンズの黄変前後でイメージャにおける各画素の受光強度が変化してしまい、画像認識の精度が低下する可能性があるという問題があった。
本発明は、これら問題の少なくとも1つにかんがみてなされたものであり、さらなる軽量化やコストダウン、長寿命化、信頼性向上等の少なくとも1つに資する車載カメラ装置を提供することを目的としている。
本発明の一局面である車載カメラ装置は、カメラモジュールと、制御回路基板と、を備える。カメラモジュールは、入射光を屈折させて発散又は集束させる光学素子、及び、光学素子を通過した入射光が結像される撮像素子、を含み、撮像素子で光電変換された信号に基づく出力を行う。
制御回路基板は、車両前方の状況を認識する認識処理をカメラモジュールの出力である画像データに基づき実行し、ヘッドライト制御処理、前方衝突回避処理及び車線逸脱警報処理のうち少なくとも2つの車両制御処理を認識処理の認識結果に基づき実行する。
そして、本発明の一局面である車載カメラ装置では、光学素子として樹脂レンズを用いるようにした。このため、従来一般に用いられているガラスレンズだけを備えるものと比べ、製品の軽量化やコストダウン、長寿命化に繋げ易くすることができる。
また、本発明の一局面である車載カメラ装置において、カメラモジュールは、撮像素子への入射光を減衰させる光学フィルタを更に備える。光学フィルタは、樹脂レンズの黄変前後で樹脂レンズの透過率が変化する割合に基づいて予め定められた下限遮断波長以上の波長を透過する分光特性を有している。
このような構成によれば、樹脂レンズの黄変前後で撮像素子における受光強度の変化を抑制することが可能となる。これにより、認識処理において例えば画像データの二値化処理を当初設定しておいた閾値を用いて樹脂レンズの黄変後も精度をほとんど落とすことなく実施することができるようになり、ひいては製品の信頼性向上や長寿命化に繋げ易くすることができる。
カメラ装置の断面図である。 カメラ装置の分解斜視図である。 画像センサの分解斜視図である。 制御回路基板の外観図である。 熱線の配置方法を例示する図である。 車両の電気的な構成を表すブロック図である。 切替処理のフローチャートである。 画像センサの概略構成図である。 非球面レンズ採用による効果を示す説明図であり、(A)は球面レンズの焦点位置、(B)は非球面レンズの焦点位置を示す。 光学ハイパスフィルタの効果を示すグラフであり、(A)は光学ハイパスフィルタの配置前におけるレンズ透過率及びセンサ分光感度、(B)は光学ハイパスフィルタの配置後におけるレンズ透過率及びセンサ分光感度を示す。 RCCCベイヤを構成する各カラーフィルタの配置を示す説明図であり、(A)は単位パターン、(B)は全体のパターンである。 ルームミラー一体型の筐体の外観図である。 カメラ装置がステレオカメラである場合の車両の電気的な構成を表すブロック図である。
以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本発明の理解を容易にする目的で使用しており、本発明の技術的範囲を限定する意図ではない。
[1.第1実施形態]
[1−1.構成]
図1及び図2に示すカメラ装置1は、車両のフロントガラス2に内側(車室側)から取り付けられ、フロントガラス2の上部における中央(ルームミラーの近く)に設置される。カメラ装置1は、画像センサ11、ブラケット12、フード13、第1の熱伝導部材14、第2の熱伝導部材15、カバー16、換気ファン17及び熱線18を備える。図1及び図2においては、フロントガラス2の一部が図示されており、図2では、説明の便宜上、換気ファン17及び熱線18が省略されている。なお、以下では、カメラ装置1が搭載された車両を「自車両」という。またカメラ装置1は、車載カメラ装置の一例に相当する。
図3に示すように、画像センサ11は、カメラモジュール111、電気接続配線112、制御回路基板113、筐体114及び下部カバー115を備える。
カメラモジュール111は、レンズ111a、レンズ鏡筒部111b(以下レンズバレルとも呼ぶ)、レンズバレル内のレンズの光軸上に配置されるイメージセンサ(図示せず;以下「イメージャ」ともいう)を備える、自車両の前方の風景を撮像するための装置である。レンズ鏡筒部111bは、円筒状の部位であり、その内部にてレンズ111aを保持する。イメージセンサは、光画像を取得するためのCMOSセンサやCCDセンサなどの受光素子をアレイ状に配置した周知のアレイ型イメージセンサと、それぞれが異なった通過帯域を有する(本実施形態では、赤色、緑色、青色、透明色の何れかに相当する波長帯域を通過帯域とする)複数種類のカラーフィルタの集合であるRGBCベイヤとで構成され、各受光素子は、RGBCベイヤを構成するいずれか一つのカラーフィルタを介して入射光を受光するように構成されている。
なお、受光素子は、少なくとも可視光に相当する波長に対して感度を持つような受光帯域を有するものであり、レンズ111aを透過した入射光が結像される撮像素子の一例に相当する。また、レンズ111aは、例えばポリオレフィン系樹脂等を含む透明材料からなる樹脂製のレンズであり、入射光を屈折させて発散又は集束させる光学素子の一例に相当する。
電気接続配線112は、カメラモジュール111と制御回路基板113とを電気的に接続するための部品(例えばフレキシブルプリント基板)である。
制御回路基板113は、CPU、ROM及びRAMを中心とする周知のマイクロコンピュータを備える板状の部品であり、自車両の前方の状況を認識する認識処理を、カメラモジュール111内のイメージセンサで光電変換された信号に基づく出力である画像データに基づき実行する。また、制御回路基板113は、認識処理の認識結果に基づき、自車両に搭載された機器を制御するための車両制御処理を実行する。なお、認識処理によって認識される認識対象、及び、車両制御処理の処理内容については後述する。制御回路基板113上には、画像処理回路79が実装される。この画像処理回路79は、図4に示すように、電圧3.3V以下の信号線を内部に含む3.3V駆動の電子回路素子であるので、消費電力および発熱量が低い。そして、画像処理回路79が備える複数個の外部接続端子(例えば端子79a)の端子間ピッチは1.27mm以下となっているので、画像処理回路79および制御回路基板113の小型化が容易に実現できる。なお、画像処理回路79が1個のデバイス(ICチップ)で構成されている場合は、当該デバイスが端子間ピッチ1.27mm以下の複数の外部接続端子を有する。しかし、画像処理回路79が複数個のデバイス(ICチップ)で構成されている場合は、それら複数個のデバイスのうち少なくとも1つが端子間ピッチ1.27mm以下の複数の外部接続端子を有するようになっていればよい。
筐体114は、下方が開放された、側壁及び上壁を有する容器状の部材であり、カメラモジュール111、電気接続配線112及び制御回路基板113を上方から覆うようにして収容する。また、筐体114におけるガラス側壁部1141には、カメラモジュール111のレンズ鏡筒部111bをフロントガラス2側に露出させるための切欠部1142が形成されている。ここで、ガラス側壁部1141とは、後述する方法でブラケット12を介して筐体114がフロントガラス2に固定された状態において、筐体114内部のカメラモジュール111よりもフロントガラス2側に位置する筐体114の上壁の一部である。
下部カバー115は、筐体114の下方を閉じるための部材である。
一方、図1及び図2に示すブラケット12は樹脂からできた概略板状の部材であり、その中央部には開口部12aが形成され、開口部12aを囲む領域には当該ブラケット12がU字形状となるように欠損した欠損部12bが形成されている。ブラケット12は、画像センサ11の筐体114をフロントガラス2に固定するための部材である。すなわち、ブラケット12の表面であって厚み方向に垂直な面の一方がフロントガラス2に固定(この例では接着)され、固定されたブラケット12に筐体114が組み付けられることで筐体114がフロントガラス2に固定される。このようにブラケット12を介して筐体114がフロントガラス2に固定された状態において、ブラケット12には開口部12aが形成されているため、筐体114とフロントガラス2とは対向する。ここでいう「対向」とは、筐体114とフロントガラス2との間に何ら部材がない状態において筐体114とフロントガラス2とが互いに向き合うことを意味する。また、ブラケット12の欠損部12bは、筐体114から露出したカメラモジュール111の前方に位置する。この欠損部12bは、カメラモジュール111の画角範囲に対応するように、カメラモジュール111の撮像方向の前方に向かって幅が広くなる台形状に形成されており、カメラモジュール111の視界が確保されるようになっている。
フード13は、台形状の底面と、台形状の底面の底辺以外の2辺に立設された2つの側面と、を有する樹脂製の部材である。フード13は、ブラケット12の欠損部12bにはめ込まれて使用され、本実施形態では、フード13がはめ込まれたブラケット12に筐体114が組み付けられることにより、フード13がカメラモジュール111のレンズ鏡筒部111bを覆う構成となる。ここで、フード13の底面がカメラモジュール111のレンズ鏡筒部111bより下方に位置するように、フード13は配置される。このようにフード13が配置されることにより、カメラモジュール111の画角範囲外の景色のレンズ111aへの映り込みが抑制される。
第1の熱伝導部材14は、その熱伝導率が1[W/m・K]以上50[W/m・K]以下であるようなシリコン系のシート部材であり、粘着性を有し、接触した物に貼り付く性質を備える。第1の熱伝導部材14は、ブラケット12に形成された開口部12aにおいて筐体114とフロントガラス2とに接するように設けられる。本実施形態では、まず、第1の熱伝導部材14が筐体114のガラス側壁部1141に貼り付けられて接着され、その後、筐体114がブラケット12を介してフロントガラス2に固定されることで、第1の熱伝導部材14がフロントガラス2に密着し、接着される。ここで、第1の熱伝導部材14は、筐体114のガラス側壁部1141の上面と同様な大きさ及び形状を有している。そのため、第1の熱伝導部材14は、ガラス側壁部1141における切欠部1142よりもカメラモジュール111の撮像方向の後方に位置する領域1141aに接している。また、第1の熱伝導部材14は、ガラス側壁部1141における切欠部1142を挟む両側の領域1141bにも接している。
第2の熱伝導部材15は、第1の熱伝導部材14の素材と同一素材からできたシート部材であり、ブラケット12とフロントガラス2との間に位置し、ブラケット12とフロントガラス2とに接するように設けられる。本実施形態では、第2の熱伝導部材15は、ブラケット12の上面と同様な大きさ及び形状を有し、ブラケット12の上面全体に貼り付けられる。第2の熱伝導部材15は、接着剤を用いることでブラケット12及びフロントガラス2に固定される。本実施形態では、第2の熱伝導部材15をフロントガラス2に固定するための接着剤等が自車両の外から視認されることを抑制するために、黒セラミック3を介して第2の熱伝導部材15がフロントガラス2に取り付けられる。ここで、黒セラミック3には、カメラモジュール111の視界を遮らないようにするため、カメラモジュール111の画角範囲に相当する台形状の欠損部3aが形成されている。
カバー16は、上方が開放された、側面及び下面を有する容器状の部材であり、画像センサ11、ブラケット12及びフード13を下方から覆い、これらの構成が自車両の車室内から視認されにくくする。本実施形態では、カバー16の下面には、貫通孔16aが形成されている。
換気ファン17は、カバー16の内部に存在する空気を入れ換えるための装置であり、カバー16に形成された貫通孔16aにはめ込まれた状態でカバー16に固定される。
熱線18は、フロントガラス2におけるカメラモジュール111のレンズ111aの前方に位置する部分を加熱する。本実施形態では、熱線18は銅線であり、熱線18の両端は自車両に配置された図示しない電源に接続され、通電されることにより、熱線18が発熱する。熱線18は、図5に示すように、フロントガラス2及び黒セラミック3の車室側の表面に沿うように配置される。すなわち、熱線18は、S字状に折り曲げられたS字状部位18aを備え、S字状部位18aが黒セラミック3の欠損部3aに重ねられることで、台形状である欠損部3aの高さ方向と垂直に欠損部3aを複数回横切るように配置される。
なお、画像センサの詳細な構造については、例えば、特願2013−199973号、特願2014−215644、特願2014−260494、等の先行文献に開示されている。
次に、カメラ装置1の電気的な機能について図6を用いて説明する。図6においては、カメラ装置1の構成のうち電気的な機能を有さないブラケット12やフード13等は省略されている。自車両は、共通のバス4に接続された検出部5、センサ部6、運動部7、ヒューマンマシンインタフェース部(以下「HMI部」という。)8、認識部9及び制御部10を備える。
検出部5は、自車両の周辺の状況を検出するための装置として、車載カメラ51及びレーダ装置52を備える。車載カメラ51は、右側方カメラ511、左側方カメラ512、後方カメラ513及び先述したカメラモジュール111を備える。右側方カメラ511は、自車両右側のサイドミラーに設置され、自車両右側方を撮像する。左側方カメラ512は、自車両左側のサイドミラーに設置され、自車両左側方を撮像する。後方カメラ513は、自車両後方のリアバンパーに設置され、自車両の後方を撮像する。各カメラは、車両の周辺の風景を撮影することで画像データ(以下撮像画像とも呼ぶ)を繰り返し取得する。
レーダ装置52は、ミリ波帯又はレーザ光によるレーダ波を送受信することによって所定の探査範囲内に存在するレーダ波を反射した物体を検出する周知のものであり、車両からの距離、車両との相対速度、及び車両に対する横位置を少なくとも含んだ対象物情報を生成して後述する認識部9に出力する。また、レーダ装置として、超音波を発信し、所定の方向にある物体からの反射波により物体を検出するソナー(図示せず)を備えてもよい。
センサ部6は、自車両に搭載された機器の状態を検出するための装置として、温度センサ61を備える。温度センサ61は、カメラモジュール111の近傍に設置され、カメラモジュール111の温度を検出する。また、センサ部6は、図示しない車速センサ、加速度センサ、舵角センサ、ヨーレートセンサ等の車両の挙動を検出するセンサのほか、自車両の位置データを出力する装置(例えば、GPS)、地図データの供給源となる装置(例えば、ナビゲーション装置)、通信装置(例えば、スマートホン等の携帯端末や路車間通信装置)、車両の周辺環境を検出するセンサ(例えば、雨滴センサ、ワイパ動作信号、外気温センサなど)も含まれるものとする。これらのセンサを単独で或いは各センサの検出結果を融合して使用する。
運動部7は、自車両におけるボディ系、パワートレイン系及びシャーシ系の制御の制御対象となる装置として、車両の進行方向を変更する操舵装置71、減速やエネルギー回生を行うブレーキ72、エンジンやモータ等の発動機からなり車両を推進する動力発生装置73、回転速度とトルクの変換を行って動力を伝達する変速機74、ヘッドライト75、進路変更や右左折時の合図を行う方向指示器76及びガラスに付着した雨滴、雪、汚れ等により視界が不良となる場合に付着物を除去するワイパ77を備える。
HMI部8は、人間と装置とのコミュニケーションのためのインタフェースを提供するための装置として、ブザー81、スピーカ82、インジケータ83及びセンタコンソール内に設けられたナビゲーションディスプレイやセンタコンソール上に設けられたヘッドアップディスプレイ、或いは、車内外に設けられた電子ミラー(リアビューミラーやサイドミラー)などのディスプレイ84を備える。また、電動モータなどからなりステアリングやシートを振動させる加振器(図示なし)やステアリングやブレーキペダルに反力を発生させる反力生成器(図示なし)を備え、これらの機器を作動させることにより装置から人間に対して情報伝達を行ってもよい。また、後述する認識部や制御部における認識処理の感度(認識のし易さの段階)や判断処理の処理タイミングを調整するための感度調整器を備え、人間から装置へ情報伝達を行ってもよい。
認識部9は、制御回路基板113に実装された回路の一部位であり、自車両の周辺の状況を認識する認識処理を、車載カメラ51による撮像画像及びレーダ装置52の検出結果に基づき実行する。なお、以下では、車載カメラ51のカメラモジュール111による撮像画像に基づく認識処理を「第1の認識処理」、レーダ装置52による検出結果に基づく認識処理を「第2の認識処理」という。本実施形態では、認識部9は、認識処理により、車線、道路形状、路面状態、光源、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、標識、交通信号、道路標示、看板、トンネル、退避領域、カメラモジュール111の視界を遮るもの、気象環境及び建造物を認識する。
ここで、道路形状とは、道路の曲率や勾配等を意味し、路面状態とは、例えば、雨や雪等により光が反射しやすくなった路面の状態等を意味する。また、光源としては、例えば、先行車両のテールライトや対向車両のヘッドライト等が挙げられる。また、先行歩行者とは、自車両の前方を自車両の進行方向と同方向に歩いている歩行者であり、対向歩行者とは、自車両の前方を自車両の進行方向と逆方向に歩いている歩行者であり、静止者とは、静止している者である。障害物としては、例えば、岩等が挙げられ、路側物としては、例えば、縁石、ガードレール、ポール、樹木、塀、建物、駐車車両、駐輪車両等の路側障害物や電柱等が挙げられる。また、退避領域とは、後方から接近して来る車両等を回避するための道路の脇に設けられた領域である。カメラモジュール111の視界を遮るものとしては、例えば、フロントガラス2におけるカメラモジュール111のレンズ111aの前方に位置する部分又はレンズ111aに付着した汚れや、フロントガラス2の上記部分に貼り付いた紙等の貼付物等が挙げられる。また、気象環境としては、例えば、雨、雪、霧や逆光等が挙げられる。
また、車線は、道路の白線の位置を認識することにより認識される。白線の位置は、カメラモジュール111による撮像画像に対して、周知の白線認識処理(例えば、画像二値化及びハフ変換を用いた白線認識処理)を行うことで、認識される。また、光源は、カメラモジュール111による撮像画像に対して、周知の認識処理を逐次行うことで認識される。すなわち、認識部9は、撮像画像に写された物体のうち所定値以上の輝度、所定の形状に近い形状及び所定の色に近い色等を有する物体を光源として認識し、撮像画像におけるその位置座標を特定する。また、認識部9は、例えば、その光源が先行車両のテールライト、或いは、ストップランプであること、又は、その光源が対向車両のヘッドライトであることを認識する。ここで、認識部9は、例えば、光源の色が赤色に近い所定の範囲内の色であればその光源を先行車両のテールライト、或いは、ストップランプであると認識し、光源の色が白色に近い所定の範囲内の色であればその光源が対向車両のヘッドライトであると認識する。
制御部10は、制御回路基板113に実装された回路の一部位であり、認識部9の認識結果に基づき車両制御処理を実行する。本実施形態では、制御部10は、車両制御処理として、車線逸脱警報処理、車線維持処理、ヘッドライト制御処理、出会頭衝突回避処理、交差点衝突回避処理、前方衝突回避処理、標識表示処理、制限速度表示処理、制限速度超過警報処理、オートワイパ処理、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理、全車速アダプティブクルーズコントロール処理、ブラインドスポット警報処理、後方クロストラフィック警報処理、前方クロストラフィック警報処理、車間警報処理、追突警報処理及び誤発進防止処理を実行する。
ここでいう車線逸脱警報処理とは、制御部10が、車線逸脱判定を行い、車線逸脱判定の判定結果に応じて、ブザー81及びスピーカ82に自車両の乗員に対する警告を音声出力させる処理である。ここで、車線逸脱判定とは、自車両が車線を逸脱するおそれがあるか否かの判定及び自車両が車線を逸脱しているか否かの判定である。車線逸脱警報処理は、車線及び道路形状等に関する認識結果に基づき実行される。
車線維持処理とは、自車両が車線から逸脱しないように操舵装置71を制御する処理であり、車線及び道路形状等に関する認識結果に基づき実行される。
ヘッドライト制御処理とは、自車両のヘッドライト75のハイビームとロービームとを切り替える制御、又は、ヘッドライト75の光軸方向をスイブル(Swivel:旋回)させる制御、を実行する処理である。ヘッドライト制御処理は、車線、道路形状、路面状態及び光源等に関する認識結果に基づき実行される。
出会頭衝突回避処理とは、交差点の手前で自車両の前方を横断している車両等と自車両とが衝突する可能性がある場合に、衝突を回避するように操舵装置71やブレーキ72等の自車両の運動にかかわる制御対象を制御する処理である。交差点衝突回避処理とは、自車両が交差点を曲がっているときに歩行者や車両等と自車両とが衝突する可能性がある場合に、衝突を回避するように操舵装置71やブレーキ72等の自車両の運動にかかわる制御対象を制御する処理である。前方衝突回避処理とは、先行車両等と自車両とが衝突する可能性がある場合に、衝突を回避するように操舵装置71やブレーキ72等の自車両の運動にかかわる制御対象を制御する処理である。また、出会頭衝突回避処理、交差点衝突回避処理及び前方衝突回避処理には、看板又はトンネルが認識された場合であって自車両が当該看板の下又は当該トンネルを通過できない場合にブザー81及びスピーカ82に警告を音声出力させる処理も含まれる。なお、出会頭衝突回避処理及び交差点衝突回避処理は、路面状態、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、光源、看板及びトンネル等に関する認識結果に基づき実行される。また、前方衝突回避処理は、出会頭衝突回避処理及び交差点衝突回避処理を実行する際に使用される認識結果に加えて退避領域に関する認識結果に基づき実行される。
標識表示処理とは、標識、交通信号、道路標示及び看板の指示内容等をディスプレイ84に表示させる処理であり、標識、交通信号、道路標示及び看板等に関する認識結果に基づき実行される。また、制限速度表示処理とは、標識に示された制限速度をディスプレイ84に表示させる処理であり、標識等の認識結果に基づき実行される。
制限速度超過警報処理とは、自車両の速度が制限速度を超過している場合に、ブザー81及びスピーカ82に自車両の乗員に対する警告を音声出力させる処理であり、標識等に関する認識結果に基づき実行される。
オートワイパ処理とは、降雨等に応じてワイパ77の動作を制御する処理であり、路面状態及び気象環境等に関する認識結果に基づき視認性低下の状況を判断して実行される。
車線変更支援処理とは、ドライバの車線変更を支援するように操舵装置71、ブレーキ72、変速機74及び方向指示器76を制御する処理であり、例えば、隣接車線を走行する車両を検出し、車線変更時ドライバに報知する。また、アラウンドビュー表示処理とは、自車両の全周囲の撮像画像をディスプレイ84に表示させる処理である。また、自動駐車処理とは、自動で駐車を行うように操舵装置71及びブレーキ72を制御する処理であり、全車速アダプティブクルーズコントロール処理とは、先行車両に追従して走行するようにブレーキ72、動力発生装置73及び変速機74を制御する処理である。なお、車線変更支援処理、アラウンドビュー表示処理、自動駐車処理及び全車速アダプティブクルーズコントロール処理は、次の認識結果に基づき実行される。すなわち、これらの処理は、車線、道路形状、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、光源、標識、交通信号及び道路標示等に関する認識結果に基づき実行される。
ブラインドスポット警報処理とは、走行中の自車両の死角に当たる斜め後方等に車両等が進入した場合に、ドライバに注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。後方クロストラフィック警報処理とは、駐車場等における自車両の後退時において自車両の死角に当たる後方等に車両等が進入した場合に、ドライバに注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。また、前方クロストラフィック警報処理とは、見通しの悪い交差点等において、自車両の前方の死角に車両等が存在する場合に、注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。なお、ブラインドスポット警報処理、後方クロストラフィック警報処理及び前方クロストラフィック警報処理は、次の認識結果に基づき実行される。すなわち、これらの処理は、先行車両、対向車両、静止車両、先行歩行者、対向歩行者、静止者、自動二輪車、自転車、障害物、路側物、光源、標識、交通信号及び道路標示等に関する認識結果に基づき実行される。
車間警報処理とは、先行車両との車間距離が所定の警報距離よりも短くなった場合に注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。また、追突警報処理とは、先行車両と衝突しそうな場合に注意喚起するためにブザー81及びスピーカ82に音声出力させる処理である。なお、車間警報処理及び追突警報処理は、先行車両や光源等に関する認識結果に基づき実行される。また、誤発進防止処理とは、自車両の停車時において自車両の前方に建造物があるにもかかわらずアクセルが踏まれた場合にブレーキ72を制御する処理であり、建造物や光源等に関する認識結果に基づき実行される。
なお、制御部10は、上記各車両制御処理においてカメラモジュール111の視界を遮るものが認識された場合は、当該車両制御処理において実行する少なくとも一部の制御、特に、操舵装置71やブレーキ72等の自車両の運動を伴う制御対象の制御を停止する。また、制御部10は、上記各車両制御処理においてカメラモジュール111による画像認識が実行困難な豪雨等の気象環境が認識された場合にも、当該車両制御処理において実行する少なくとも一部の制御を停止する。
制御部10は、後述する切替処理(図7)を実行することにより、カメラモジュール111による撮像画像に基づく第1の認識処理と、レーダ装置52による検出結果に基づく第2の認識処理と、を切り替える。
[1−2.処理]
次に、制御部10が実行する切替処理について、図7のフローチャートを用いて説明する。なお、切替処理は、自車両のイグニッションスイッチがオンにされることにより開始される。また、切替処理の開始時は、レーダ装置52は作動しておらず、認識部9はカメラモジュール111による撮像画像に基づく認識処理(第1の認識処理)を実行している。
まず、制御部10は、S11(Sはステップを表す)にて温度センサ61からカメラモジュール111の温度を取得する。そして、制御部10は、カメラモジュール111の温度が所定のしきい値Th以下であるか否かを判定する(S12)。例えば、しきい値Thは、カメラモジュール111の耐熱温度よりもやや低い所定の温度として105℃に設定される。つまり、本実施形態では、カメラモジュール111は、本処理を実施するにあたり105℃以下の使用環境にて作動可能であることを意味する。制御部10は、カメラモジュール111の温度がしきい値Th以下であると判定した場合は(S12:YES)、カメラモジュール111の視界が遮られているか否かを判定する(S13)。制御部10は、カメラモジュール111の視界が遮られていないと判定した場合は(S13:NO)、先述したS11に戻り、S11以降の処理を繰り返す。
一方、制御部10は、カメラモジュール111の視界が遮られていると判定した場合は(S13:YES)、カメラモジュール111の動作を停止させるとともにレーダ装置52を起動させる(S14)。そして、制御部10は、第1の認識処理を第2の認識処理へ切り替え(S15)、切替処理を終了する。同様に、制御部10は、S12にてカメラモジュール111の温度がしきい値Th以下でない(しきい値Thを超過している)と判定した場合にも(S12:NO)、S14以降の処理を実行する。つまり、制御部10は、カメラモジュール111の温度がしきい値Thを超過した場合又はカメラモジュール111の視界が遮られている場合に、第1の認識処理を第2の認識処理へ切り替える。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)車両に搭載され、車両前方を撮像するカメラ装置1において、レンズ111a及びイメージセンサ26(図8参照)を含むカメラモジュール111と、制御回路基板113とを備え、レンズ111aとして樹脂レンズを用いるようにした。このため、レンズ111aとしてガラスレンズを用いる構成と比べ、レンズ111aが軽量であり、且つレンズ111aの成形加工が容易であり、さらにレンズ111aの耐衝撃性が高い。従って、製品の軽量化やコストダウン、長寿命化に繋げ易くすることができる。
(2a)カメラモジュール111が105℃以下の使用環境にて作動可能であるため、カメラモジュール111による撮像画像に基づく認識結果を得るためのロバスト性を高め、ヘッドライト制御処理、前方衝突回避処理及び車線逸脱警報処理のうち少なくとも2つの車両制御処理を好適に実行することができるようになる。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。
前述した第1実施形態では、レンズ111aを含むレンズ鏡筒部111bの内部構成、及びレンズ111aの形状等について詳細に言及していなかった。これに対し、第2実施形態では、これらの点を明らかにする。また第2実施形態では、光学フィルタを更に備える点で、第1実施形態と相違する。また第1実施形態では、カメラモジュール111と制御回路基板113とが同一の筐体114に収容されていた。これに対し、第2実施形態では、カメラモジュール111と制御回路基板113とがそれぞれ異なる筐体に収容されている点で、第1実施形態と相違する。また第1実施形態では、カラーフィルタの集合としてRGBCベイヤを備えていた。これに対し、第2実施形態では、カラーフィルタの集合としてRCCCベイヤを備える点で、第1実施形態と相違する。
[2−2.画像センサ11の構成]
図8に示す画像センサ11は、複数のレンズ111a、レンズ鏡筒部111b、赤外線カットフィルタ24、光学ハイパスフィルタ25及びイメージセンサ26を備えている。
複数のレンズ111aは、入射光を屈折させて発散又は集束させ、透過した入射光をイメージセンサ26の表面に結像させる光学素子である。例えば、光が入る側(図中左側)から、平凸レンズ、両凹レンズ、平凸レンズ、凸メニスカスレンズの4枚を用いて、色収差やコマ収差などの収差を抑制する構造となるように構成することができる。また例えば、複数のレンズ111aの少なくとも1つとして非球面レンズを用いることができる。
球面レンズは、図9(A)に示すように、単一の曲率によって形状が規定される球面の屈折面を含むレンズであり、その屈折面の中心部と周辺部とで焦点位置が異なる現象、換言すれば、レンズ111aに入射するときの入射光の角度によって集光位置が異なる現象(即ち、像面湾曲)が起こり易くなる。これに対し、非球面レンズは、図9(B)に示すように、平面でも球面でもない曲面を屈折面に含むレンズであり、その屈折面の周辺部の形状を最適化することにより、中心部と周辺部とで焦点位置を揃えることが可能となり、像面曲面が起こり難くすることができる。その結果、イメージセンサ26の表面を湾曲させることなく、イメージセンサ26の表面の周辺部における解像度低下を抑制することが可能となる。
レンズ鏡筒部111bは、その内部に複数のレンズ111aを収容するとともに、その内部が密閉されており、その密閉空間に窒素が充填されている。
赤外線カットフィルタ24は、イメージセンサ26への入射光を減衰させる光学フィルタであり、赤外光をカットするために予め定められた遮断波長の上限値(以下「上限遮断波長」という)以下の波長を透過する分光特性を有している。具体的には、赤外線カットフィルタ24は、650nmから750nmまでの波長帯域内における何れかの波長を上限遮断波長とし、この上限遮断波長を超過する波長を遮断する。なお本実施形態では、上限遮断波長を700nmに設定し、主に入射光に含まれる近赤外線を遮断するようにしている。また本実施形態では、赤外線カットフィルタ24は、複数のレンズ111aの後段に配置されているが、複数のレンズ111aの前段に配置されてもよい。
光学ハイパスフィルタ25は、イメージセンサ26への入射光を減衰させる光学フィルタであり、レンズ111aの黄変前後でレンズ111aの透過率が変化する割合に基づいて予め定められた遮断波長の下限値(以下「下限遮断波長」という)以上の波長を透過する分光特性を有している。具体的には、光学ハイパスフィルタ25は、400nmから500nmまでの波長帯域内における何れかの波長を下限遮断波長とし、この下限遮断波長を下回る波長を遮断する。なお本実施形態では、下限遮断波長を450nmに設定している。
ここで、図10(A)及び図10(B)はレンズ111aの黄変前後におけるレンズ111aの透過率と、RGBCベイヤの単位パターンを構成する4種類のカラーフィルタのうち、赤色(R)、緑色(G)、青色(B)に対応する各フィルタをそれぞれ通過する分光感度と、を示している。また図10(A)は光学ハイパスフィルタ25を配置しない場合を示し、図10(B)は光学ハイパスフィルタ25を配置した場合を示している。なお図10(A)及び図10(B)共に赤外線カットフィルタ24を配置した場合を示している。
図10(A)に示すように、レンズ111aの黄変後の透過率は、黄変前のものと比べて、波長が低くなるに従って変化する割合が大きくなることがシミュレーション結果から明らかになった。また図10(B)に示すように、光学ハイパスフィルタ25の下限遮断波長を450nmに設定することにより、レンズ111aの黄変前後で透過率が変化する割合を抑制できることがシミュレーション結果から明らかになった。これにより、黄変前後における青色(B)の分光感度の変化率については、光学ハイパスフィルタ25を配置しない場合は9%となっていたのに対し、光学ハイパスフィルタ25を配置する場合は5%となる結果が得られた。つまり、光学ハイパスフィルタ25を配置することにより、レンズ111aの黄変前後で顕著に変化する青色(B)画素の受光感度の変化率を小さくし、これにより全体として黄変前後におけるイメージセンサ26の受光強度の変化割合を抑制するようにした。
なお光学ハイパスフィルタ25は、複数のレンズ111a及び赤外線カットフィルタ24の後段に配置されているが、赤外線カットフィルタ24の前段に配置されてもよいし、複数のレンズ111aの前段に配置されてもよい。また光学ハイパスフィルタ25は、複数のレンズ111a及び赤外線カットフィルタ24を通過した入射光を、偏光特性を利用して4分割し、その4分割された入射光のそれぞれが、イメージセンサ26の基本単位を構成する4画素の何れかに入力するように構成されているが、この偏光特性を有する偏光フィルタを別途備えるようにしてもよい。なお図8において、イメージセンサ26は、図面を見やすくすると共に、偏光フィルタとしての光学ハイパスフィルタ25の動作を理解しやすくするため、基本単位を構成する4画素分のみを拡大して示している。
イメージセンサ26は、先述のアレイ型イメージセンサと、赤色及び透明色の何れかに相当する波長帯域を通過帯域とするカラーフィルタの集合であるRCCCベイヤ26aとで構成され、各撮像素子(つまり各画素)はRCCCベイヤ26aを構成する何れか一つのカラーフィルタを介して入射光を受光するように構成されている。
RCCCベイヤ26aは、各画素に対応づけられるカラーフィルタを一定のパターンで配置したものである。ここでは、R(赤色)、C(透明色)の2種類のカラーフィルタからなり、図11(A)に示す4画素分のパターンを単位パターンとして、図11(B)に示すように、アレイ型イメージセンサの全体を覆うように配置されている。なおRCCCベイヤ26aを構成する上記2種類のカラーフィルタを、R用フィルタ、C用フィルタとすると、R用フィルタの通過帯域は赤色に対応する波長の光を通過させるように設定され、C用フィルタの通過帯域は例えば特定色(赤色、緑色、青色)に対応する通過帯域の全体を含むように設定されている。
また本実施形態において、カメラモジュール111と制御回路基板113とがそれぞれ異なる筐体に収容されている。例えば先述した筐体114とは別の筐体として、図12に示すルームミラー一体型の筐体20を備え、このルームミラー一体型の筐体20内に制御回路基板113を収容し、先述した筐体114にカメラモジュール111を収容してもよい。また例えば、ルームミラー一体型の筐体20に固定アーム21を介して接続支持された筐体22を備え、この筐体にカメラモジュール111を収容し、ルームミラー一体型の筐体20内に制御回路基板113を収容してもよい。また固定アーム21内に電気接続配線112を設けてもよい。
[2−3.効果]
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1a)−(2a)に加え、以下の効果が得られる。
(1b)レンズ111aの黄変前後でレンズ111aの透過率が変化する割合に基づいて予め定められた下限遮断波長以上の波長を通過する分光特性を有する光学ハイパスフィルタ25を備えるため、レンズ111aの黄変前後でイメージャにおける受光強度の変化を抑制することが可能となる。これにより、認識処理において例えば画像データの二値化処理を当初設定しておいた閾値を用いてレンズ111aの黄変後も精度をほとんど落とすことなく認識結果を得ることができるため、ヘッドライト制御処理、前方衝突回避処理及び車線逸脱警報処理のうち少なくとも2つの車両制御処理を好適に実行することができるようになる。従って、製品の信頼性向上や長寿命化等に繋げ易くすることができる。
(2b)下限遮断波長が400nm〜500nmの波長帯域内の波長であるため、黄変前後におけるイメージャの受光強度の変化割合を好適に抑制することができる。
(3b)赤外光をカットするために予め定められた上限遮断波長以下の波長を透過する分光特性を有する赤外線カットフィルタ24を備えるため、可視光に相当する波長の入射光だけをイメージャに受光させることが可能となる。これにより認識処理のロバスト性を高めることができる。
(4b)上限遮断波長が650nm〜750nmの波長帯域内の波長であるため、赤外光を好適に遮断することができる。
(5b)レンズ111aとして非球面レンズを用いることにより、イメージャの表面を湾曲させることなく、イメージャ表面の周辺部における解像度低下を抑制することができる。
(6b)レンズ鏡筒部111bの内部の密閉空間に窒素が充填されているため、レンズ111aの酸化を抑制することが可能となり、ひいてはレンズ111aの黄変を抑制することができる。
(7b)イメージャの各画素がRCCCベイヤ26aを構成する各カラーフィルタを介して入射光を受光するように構成されているため、赤色や白色の対象物の認識精度を向上させることが可能となることから、白線やガードレール等、車線認識に必要な対象物や、ヘッドライトやテールランプ等の光源(ひいては他車両)に関する認識精度を向上させることができる。
(8b)カメラモジュール111と制御回路基板113とがそれぞれ異なる筐体に収容されているため、カメラモジュール111と制御回路基板113とを分散配置することで、各筐体の小型化を図り、例えば車室内の意匠性を高めることができる。
[3.他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(3A)上記実施形態では、カメラ装置1は単眼カメラであったが、カメラ装置はこれらに限られない。例えば、図13に示すように、カメラ装置はステレオカメラであってもよい。図13に示す車両は、検出部23を備え、検出部23は、車載カメラ231及びレーダ装置52を備える。図13におけるレーダ装置52は、図6におけるレーダ装置52と同一の装置である。車載カメラ231は、右側方カメラ511、左側方カメラ512、後方カメラ513、カメラモジュール111及びカメラモジュール116を備える。つまり、図13に示す車両は、カメラモジュール116を更に備える点で、図6に示す車両と相違する。カメラモジュール116はカメラモジュール111と同一構成の装置であり、カメラモジュール111及びカメラモジュール116は1つの筐体内に収容される。当該筐体はブラケットを介してフロントガラスの上部における中央(ルームミラーの近く)に設置され、カメラモジュール111及びカメラモジュール116はフロントガラスの中心を挟む両側に配置される。なお、図13に示す例では、カメラモジュール111及びカメラモジュール116は1つの筐体内に収容されたが、カメラモジュール111及びカメラモジュール116は2つの筐体に別個に収容されてもよい。また、カメラモジュール111及びカメラモジュール116は、フロントガラスの上部であってフロントガラスの中心を挟む両側に配置されたが、カメラモジュール111及びカメラモジュール116の配置位置はこれに限られない。
(3B)上記実施形態では、レーダ装置52はカメラモジュール111の動作が停止している期間に作動したが、レーダ装置52の作動する期間はこれに限られない。例えば、レーダ装置52及びカメラモジュール111が同時に作動してもよい。この場合、認識部9は、カメラモジュール111による撮像画像及びレーダ装置52による検出結果の両方に基づき認識処理を実行してもよい。
(3C)上記実施形態では、第1の認識処理と第2の認識処理とは、カメラモジュール111の温度がしきい値Thを超過する、及び、カメラモジュール111の視界が遮られている、のいずれかの条件が成立した場合に切り替わった。しかし、第1の認識処理と第2の認識処理とが切り替わるための条件はこれらに限られない。例えば、カメラモジュール111が故障した場合において第1の認識処理と第2の認識処理とが切り替わってもよい。
(3D)上記実施形態では、切替処理は、第1の認識処理と第2の認識処理とが一度切り替わると終了したが、第1の認識処理及び第2の認識処理は複数回切り替わってもよい。例えば、カメラモジュール111の温度がしきい値Thを超過して第1の認識処理が第2の認識処理へ切り替わった場合、カメラモジュール111の温度がしきい値Thよりも低い所定のしきい値以下になると第2の認識処理が第1の認識処理へ切り替わってもよい。この場合、第1の熱伝導部材14及び第2の熱伝導部材15による冷却効果のため、カメラ装置1が早く冷却され、第2の認識処理が第1の認識処理へ切り替わるまでの時間(第1の認識処理が再開されるまでの時間)を短縮することができる。
(3E)上記実施形態では、カメラ装置1及びレーダ装置52により自車両の前方の状況を検出したが、自車両の前方の状況を検出する装置の組合せはこれに限られない。例えば、カメラ装置1及びソナーにより自車両の前方の状況を検出してもよい。
(3F)上記実施形態では、認識部9は、第1の認識処理及び第2の認識処理の両方を実行可能であったが、認識部9は第1の認識処理のみ実行可能であってもよい。この場合、自車両は、当該自車両の前方の状況を検出する装置としてカメラ装置1のみを備えていてもよい。
(3G)制御部10は、各種車両制御処理の一部を処理してもよい。例えば、ヘッドライト制御処理では、ハービーム指示信号やロービーム指示信号などのヘッドライト制御指示信号を生成し、当該制御指示信号をヘッドライト装置などの外部の制御装置へ送信してもよい。
(3H)レンズ111aにアンチリフレクションコート(ARコート)を施してもよい。太陽光やヘッドライト等の反射光のイメージャへの入射を抑制することができる。
(3I)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
1…カメラ装置、5,23…検出部、6…センサ部、9…認識部、10…制御部、11…画像センサ、20,22,114…筐体、24…赤外線カットフィルタ、25…光学ハイパスフィルタ、26…イメージセンサ、26a…RCCCベイヤ、79…画像処理回路、111,116…カメラモジュール、111a…レンズ、111b…レンズ鏡筒部、112…電気接続配線、113…制御回路基板。

Claims (10)

  1. 車室内に搭載され、車両前方を撮像する車載カメラ装置(1)において、
    入射光を屈折させて発散又は集束させる光学素子(111a)、及び、前記光学素子を透過した入射光が結像される撮像素子(26)、を含み、前記撮像素子で光電変換された信号に基づく出力を行うカメラモジュール(111,116)と、
    前記車両前方の状況を認識する認識処理を前記カメラモジュールの出力である画像データに基づき実行し、ヘッドライト制御処理、前方衝突回避処理及び車線逸脱警報処理のうち少なくとも2つの車両制御処理を前記認識処理の認識結果に基づき実行する、制御回路基板(113)と、を備え、
    前記光学素子として樹脂レンズを用いる、ことを特徴とする車載カメラ装置。
  2. 請求項1に記載の車載カメラ装置であって、
    前記カメラモジュールは、前記撮像素子への入射光を減衰させる光学フィルタ(24,25)を更に備え、
    前記光学フィルタ(25)は、前記樹脂レンズの黄変前後で前記樹脂レンズの透過率が変化する割合に基づいて予め定められた下限遮断波長以上の波長を透過する分光特性を有する、ことを特徴とする車載カメラ装置。
  3. 請求項2に記載の車載カメラ装置であって、
    前記下限遮断波長は、400nmから500nmまでの波長帯域内における何れかの波長である、ことを特徴とする車載カメラ装置。
  4. 請求項1から請求項3までの何れか1項に記載の車載カメラ装置であって、
    前記カメラモジュールは、前記撮像素子への入射光を減衰させる光学フィルタ(24,25)を更に備え、
    前記光学フィルタ(24)は、赤外光をカットするために予め定められた上限遮断波長以下の波長を透過する分光特性を有する、ことを特徴とする車載カメラ装置。
  5. 請求項4に記載の車載カメラ装置であって、
    前記上限遮断波長は、650nmから750nmまでの波長帯域内における何れかの波長である、ことを特徴とする車載カメラ装置。
  6. 請求項1から請求項5までの何れか1項に記載の車載カメラ装置であって、
    前記光学素子として非球面レンズを用いる、ことを特徴とする車載カメラ装置。
  7. 請求項1から請求項6までの何れか1項に記載の車載カメラ装置であって、
    前記カメラモジュールは、複数の前記樹脂レンズを収容するレンズ鏡筒部(111b)を更に備え、
    前記レンズ鏡筒部の内部には、窒素が充填されている、ことを特徴とする車載カメラ装置。
  8. 請求項1から請求項7までの何れか1項に記載の車載カメラ装置であって、
    前記カメラモジュールは、赤色及び透明色の何れかに相当する波長帯域を通過帯域とするカラーフィルタの集合であるRCCCベイヤ(26a)を更に備え、
    前記各撮像素子は、前記RCCCベイヤを構成する何れか一つのカラーフィルタを介して入射光を受光する、ことを特徴とする車載カメラ装置。
  9. 請求項1から請求項8までの何れか1項に記載の車載カメラ装置であって、
    前記カメラモジュールと前記制御回路基板とがそれぞれ異なる筐体(20,22,114)に収容されている、ことを特徴とする車載カメラ装置。
  10. 請求項1から請求項9までの何れか1項に記載の車載カメラ装置であって、
    前記カメラモジュールは、105℃以下の使用環境にて作動可能である、ことを特徴とする車載カメラ装置。
JP2015164907A 2015-08-24 2015-08-24 車載カメラ装置 Active JP6493087B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015164907A JP6493087B2 (ja) 2015-08-24 2015-08-24 車載カメラ装置
US15/240,840 US10144364B2 (en) 2015-08-24 2016-08-18 On-vehicle camera apparatus capturing image in front of vehicle and performing vehicle control
DE102016215618.7A DE102016215618B4 (de) 2015-08-24 2016-08-19 Fahrzeugkameravorrichtung zur bildaufnahme vor dem fahrzeug und zur fahrzeugsteuerung
CN201610701178.8A CN106488091B (zh) 2015-08-24 2016-08-22 捕获车辆前方的图像并且执行车辆控制的车载相机装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015164907A JP6493087B2 (ja) 2015-08-24 2015-08-24 車載カメラ装置

Publications (2)

Publication Number Publication Date
JP2017046051A true JP2017046051A (ja) 2017-03-02
JP6493087B2 JP6493087B2 (ja) 2019-04-03

Family

ID=58011468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015164907A Active JP6493087B2 (ja) 2015-08-24 2015-08-24 車載カメラ装置

Country Status (4)

Country Link
US (1) US10144364B2 (ja)
JP (1) JP6493087B2 (ja)
CN (1) CN106488091B (ja)
DE (1) DE102016215618B4 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6343089B1 (ja) * 2017-12-25 2018-06-13 荘太郎 林 フロントワイパーと、リヤーワイパーが無い自動車。
EP3404911A1 (en) 2017-05-16 2018-11-21 Panasonic Intellectual Property Management Co., Ltd. Imaging system and moving body control system
CN109878427A (zh) * 2017-12-06 2019-06-14 丰田自动车株式会社 传感器搭载结构
WO2020195515A1 (ja) * 2019-03-27 2020-10-01 日立オートモティブシステムズ株式会社 撮像装置及び画像処理方法
JP2022512290A (ja) * 2018-12-14 2022-02-03 ウーブン プラネット ノース アメリカ,インコーポレイティド 色覚困難の知覚を改善する多重スペクトル多重偏光(msmp)フィルタ処理
KR20220038812A (ko) * 2019-09-18 2022-03-29 비오니어 스웨덴 에이비 차량에 장착하기 위한 카메라 배열체

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017505946A (ja) * 2014-01-17 2017-02-23 ケーピーアイティ テクノロジーズ リミテッド 車両検出システムおよびその方法
WO2015191512A1 (en) * 2014-06-11 2015-12-17 Trw Automotive Us Llc Moderation of a driver assist camera environment by headliner air duct
FR3057499B1 (fr) * 2016-10-17 2018-11-16 Saint-Gobain Glass France Pare-brise d'aide a la conduite
JP6593354B2 (ja) * 2017-01-16 2019-10-23 株式会社デンソー 衝突回避装置
US10288986B2 (en) * 2017-02-22 2019-05-14 Trw Automotive U.S. Llc Moderation of a driver assist camera enhancement via a vehicle windshield
JP6977535B2 (ja) * 2017-05-01 2021-12-08 株式会社デンソー カメラ装置
US20190263330A1 (en) * 2018-02-26 2019-08-29 Trw Automotive U.S. Llc Driver assist system
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
EP3802221B1 (en) * 2018-05-24 2022-06-29 Gentex Corporation Multi-functional exterior mirror with integrated camera
JP7081338B2 (ja) * 2018-06-29 2022-06-07 スズキ株式会社 車載カメラ
JP2020051778A (ja) * 2018-09-25 2020-04-02 豊田合成株式会社 封止材及び車両用センサユニット
JP7142538B2 (ja) * 2018-10-30 2022-09-27 株式会社Subaru 車両認識装置および車両制御装置
US10962770B2 (en) * 2018-11-02 2021-03-30 Pony Ai Inc. Method for controlling camera exposure to augment a wiper system of a sensor enclosure
JP7044692B2 (ja) * 2018-12-20 2022-03-30 本田技研工業株式会社 移動体用撮影システム
DE102019203808A1 (de) * 2019-03-20 2020-09-24 Robert Bosch Gmbh Verfahren und Datenverarbeitungsvorrichtung zum Analysieren einer Sensorverbundkonfiguration und zumindest teilautonomer Roboter
JP7078578B2 (ja) * 2019-06-10 2022-05-31 本田技研工業株式会社 輸送機器及び車両
WO2020251996A1 (en) * 2019-06-13 2020-12-17 Gentex Corporation Switchable multi-view imaging system
US11332079B2 (en) 2020-02-18 2022-05-17 GM Global Technology Operations LLC Overmolded trim component with integrated sensor lens assembly
CN111845786B (zh) * 2020-07-13 2022-05-13 中国联合网络通信集团有限公司 自动行驶策略的确定方法及装置
KR20220152823A (ko) * 2021-05-10 2022-11-17 현대자동차주식회사 차량의 주행영상 기록 장치 및 그 방법
CN114056235A (zh) * 2021-12-24 2022-02-18 大连工业大学 一种基于刹车灯识别的鬼探头预警系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01227110A (ja) * 1988-03-07 1989-09-11 Canon Inc レンズ鏡筒
JP2001088609A (ja) * 1999-09-22 2001-04-03 Fuji Heavy Ind Ltd 車載カメラの電源制御方法ならびに装置
JP2010537602A (ja) * 2007-08-24 2010-12-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車載カメラのイメージセンサ用のカラーマスク
JP2013003547A (ja) * 2011-06-22 2013-01-07 Fujifilm Corp 撮像レンズおよび撮像装置
JP2013197670A (ja) * 2012-03-16 2013-09-30 Ricoh Co Ltd 撮像装置、物体検出装置、車両走行支援画像処理システム、及び車両

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3762801A (en) * 1972-02-24 1973-10-02 Polaroid Corp Compact three component objective lenses
JPS53807A (en) 1976-06-24 1978-01-07 Citizen Watch Co Ltd Converter for electric watch
JPH04143521A (ja) 1990-10-04 1992-05-18 Matsushita Electric Ind Co Ltd 焼成調理器
US5212593A (en) * 1992-02-06 1993-05-18 Svg Lithography Systems, Inc. Broad band optical reduction system using matched multiple refractive element materials
MY113147A (en) 1995-12-21 2001-11-30 Samsung Display Devices Co Ltd A correction lens system of an exposure apparatus for a cathode-ray tube and a method for manufacturing the same
JP2001264526A (ja) * 2000-03-15 2001-09-26 Canon Inc 回折光学素子、該素子を有する光学系及び光学装置
JP4945845B2 (ja) 2000-03-31 2012-06-06 株式会社ニコン 光学素子保持装置、鏡筒及び露光装置並びにマイクロデバイスの製造方法。
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7672043B2 (en) * 2003-02-21 2010-03-02 Kla-Tencor Technologies Corporation Catadioptric imaging system exhibiting enhanced deep ultraviolet spectral bandwidth
JP2005079931A (ja) 2003-09-01 2005-03-24 Auto Network Gijutsu Kenkyusho:Kk 車載カメラ
JP4143521B2 (ja) 2003-11-12 2008-09-03 三菱電機株式会社 車載用カメラ
JP4654915B2 (ja) 2003-12-25 2011-03-23 株式会社ニコン 光学素子の保持装置、鏡筒、露光装置、及びデバイスの製造方法
US7224539B2 (en) * 2005-05-13 2007-05-29 Schaack David F Providing optical systems having improved properties to users of catalog (stock) lenses
US20070190314A1 (en) * 2006-01-13 2007-08-16 Fujifilm Corporation Transparent article and method for producing it, and lens substrate
CN101932956B (zh) * 2007-07-03 2013-11-13 奥多麦卡有限公司 由不同材料构成的透镜单元和相机模块及其制造方法
WO2009041382A1 (ja) * 2007-09-28 2009-04-02 Konica Minolta Opto, Inc. 広角光学系、撮像レンズ装置、モニタカメラおよびデジタル機器
JP5304446B2 (ja) 2008-08-28 2013-10-02 株式会社アドヴィックス 調圧リザーバ
US8570374B2 (en) 2008-11-13 2013-10-29 Magna Electronics Inc. Camera for vehicle
TW201102765A (en) 2009-07-01 2011-01-16 Nikon Corp Grinding device, grinding method, exposure device and production method of a device
JP2011137975A (ja) * 2009-12-28 2011-07-14 Fujifilm Corp カバー部材、レンズユニット、および製造方法
JP5521649B2 (ja) * 2010-03-05 2014-06-18 株式会社リコー 撮像装置及び車載カメラ
JP6176028B2 (ja) 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
JP5370413B2 (ja) 2011-06-06 2013-12-18 株式会社デンソー 認識対象検出装置
US9690997B2 (en) 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP2013020026A (ja) 2011-07-08 2013-01-31 Hitachi Maxell Ltd レンズユニット
JP2013199973A (ja) 2012-03-23 2013-10-03 Seiko Instruments Inc 転がり軸受装置の製造装置および転がり軸受装置の製造方法
JP5920926B2 (ja) * 2012-12-26 2016-05-18 株式会社タムロン ズームレンズ
JP6253077B2 (ja) 2013-04-22 2017-12-27 株式会社ユピテル 装置及びプログラム
JP6175964B2 (ja) * 2013-07-31 2017-08-09 ソニー株式会社 撮像素子、撮像装置、並びに、製造装置および方法
IL229983A (en) 2013-12-17 2017-01-31 Brightway Vision Ltd A pixel array sensor with independent controlled sub-pixel
JP6413754B2 (ja) * 2014-03-10 2018-10-31 株式会社デンソー 撮像装置および撮像装置を備えた車載装置
US10511754B2 (en) * 2014-08-01 2019-12-17 Nidec Copal Corporation Imaging apparatus, optical device, electronic device, vehicle, and imaging-device manufacturing method
JP6303974B2 (ja) 2014-10-22 2018-04-04 株式会社デンソー 車載カメラ装置及び車載システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01227110A (ja) * 1988-03-07 1989-09-11 Canon Inc レンズ鏡筒
JP2001088609A (ja) * 1999-09-22 2001-04-03 Fuji Heavy Ind Ltd 車載カメラの電源制御方法ならびに装置
JP2010537602A (ja) * 2007-08-24 2010-12-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車載カメラのイメージセンサ用のカラーマスク
JP2013003547A (ja) * 2011-06-22 2013-01-07 Fujifilm Corp 撮像レンズおよび撮像装置
JP2013197670A (ja) * 2012-03-16 2013-09-30 Ricoh Co Ltd 撮像装置、物体検出装置、車両走行支援画像処理システム、及び車両

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3404911A1 (en) 2017-05-16 2018-11-21 Panasonic Intellectual Property Management Co., Ltd. Imaging system and moving body control system
CN109878427A (zh) * 2017-12-06 2019-06-14 丰田自动车株式会社 传感器搭载结构
JP6343089B1 (ja) * 2017-12-25 2018-06-13 荘太郎 林 フロントワイパーと、リヤーワイパーが無い自動車。
JP2019111961A (ja) * 2017-12-25 2019-07-11 荘太郎 林 フロントワイパーと、リヤーワイパーが無い自動車。
JP2022512290A (ja) * 2018-12-14 2022-02-03 ウーブン プラネット ノース アメリカ,インコーポレイティド 色覚困難の知覚を改善する多重スペクトル多重偏光(msmp)フィルタ処理
JP7372322B2 (ja) 2018-12-14 2023-10-31 ウーブン バイ トヨタ,ユーエス,インコーポレイティド 色覚困難の知覚を改善する多重スペクトル多重偏光(msmp)フィルタ処理
WO2020195515A1 (ja) * 2019-03-27 2020-10-01 日立オートモティブシステムズ株式会社 撮像装置及び画像処理方法
JP2020162034A (ja) * 2019-03-27 2020-10-01 日立オートモティブシステムズ株式会社 撮像装置及び画像処理方法
JP7116001B2 (ja) 2019-03-27 2022-08-09 日立Astemo株式会社 撮像装置及び画像処理方法
KR20220038812A (ko) * 2019-09-18 2022-03-29 비오니어 스웨덴 에이비 차량에 장착하기 위한 카메라 배열체
JP2022546749A (ja) * 2019-09-18 2022-11-07 ヴィオニア スウェーデン エービー 車両内に装着するためのカメラ装置
KR102696361B1 (ko) * 2019-09-18 2024-08-19 마그나 일렉트로닉스 스웨덴 에이비 차량에 장착하기 위한 카메라 배열체

Also Published As

Publication number Publication date
CN106488091A (zh) 2017-03-08
US10144364B2 (en) 2018-12-04
DE102016215618A1 (de) 2017-03-02
JP6493087B2 (ja) 2019-04-03
US20170064175A1 (en) 2017-03-02
DE102016215618B4 (de) 2022-09-01
CN106488091B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
JP6493087B2 (ja) 車載カメラ装置
CN106331446B (zh) 摄像机设备和车载系统
US10768505B2 (en) Driver assistance apparatus and vehicle
US10317771B2 (en) Driver assistance apparatus and vehicle
JP6303974B2 (ja) 車載カメラ装置及び車載システム
JP6413754B2 (ja) 撮像装置および撮像装置を備えた車載装置
JP6565806B2 (ja) カメラシステム
US10137842B2 (en) Camera system for a vehicle
KR101816572B1 (ko) 차량용 카메라 장치 및 차량
JP5936098B2 (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ
EP3770020B1 (en) Imaging system and vehicle window for use in same
JP2013031054A (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
US20200324713A1 (en) Vehicular camera apparatus and method
WO2018025481A1 (ja) 車載カメラ、車載用カメラ装置、並びに車載カメラの支持方法
WO2021229458A1 (en) Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog
US20220014650A1 (en) Infrared camera system, infrared camera module, and vehicle
US20230375800A1 (en) Semiconductor device and optical structure body

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190218

R151 Written notification of patent or utility model registration

Ref document number: 6493087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250