JP2011520406A - 自動車におけるカメラシステムのための露光制御方法 - Google Patents

自動車におけるカメラシステムのための露光制御方法 Download PDF

Info

Publication number
JP2011520406A
JP2011520406A JP2011509849A JP2011509849A JP2011520406A JP 2011520406 A JP2011520406 A JP 2011520406A JP 2011509849 A JP2011509849 A JP 2011509849A JP 2011509849 A JP2011509849 A JP 2011509849A JP 2011520406 A JP2011520406 A JP 2011520406A
Authority
JP
Japan
Prior art keywords
exposure time
driver assistance
camera system
short
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011509849A
Other languages
English (en)
Other versions
JP5187651B2 (ja
Inventor
デイーテル クレーケル,
Original Assignee
アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング filed Critical アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング
Publication of JP2011520406A publication Critical patent/JP2011520406A/ja
Application granted granted Critical
Publication of JP5187651B2 publication Critical patent/JP5187651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

自動車におけるカメラシステムのための露光制御方法が提示される。カメラシステムにより、車両周辺の画像列が最適な露光時間で撮影される。最適な露光時間が周囲の明るさ又は個々の物体の明るさに関係して規定される。最適な露光時間が所定の閾値より長い時、短い所定の露光時間すなわち最適な露光時間より短い露光時間で少なくとも1つの中間画像が撮影される。カメラシステムの画像データに基づいて少なくとも2つの運転者援助機能が実行される。第1の運転者援助システムのために最適な露光時間で撮影される画像データガ使用され、第2の運転者援助システムのために短い露光時間で撮影される画像データが使用される。
【選択図】図2

Description

本発明は、自動車におけるカメラシステムのための露光制御方法に関し、例えば運転者援助機能を備えた車両に用いられる。最適に照明される画像は、物体及び運転者援助システムの信頼性の確実で誤りのない検出のための前提である。
米国特許出願公開第2004/0227814号明細書は、異なる露光時間を持つ第1の画像と第2の画像を合成する車両のカメラシステムのための二重露光方法を示している。
ドイツ連邦共和国特許出願公開第102006028624号明細書は、効果的に短縮される積分時間を可能にする制御装置を持つ露光適応画像センサを示している。
異なる時間に撮影される2つの画像の合成により、急速にその位置を変化する物体をぼやけさせる。
不十分な照明の場合、短縮される積分時間は、物体又は標識のコントラストを少なくし、従ってもはや確実に検出されなくする。
従ってここに紹介される発明の課題は、物体を確実に認識できるカメラの露光方法を提示することである。
本発明によればこの課題は、独立請求項に記載の装置及び方法によって解決される。有利な展開は従属請求項からわかる。
カメラシステムにより、車両周辺の画像列が最適な露光時間で撮影される。最適な露光時間が周囲の明るさ又は個々の物体の明るさに関係して規定される。更に露光時間が、考慮される応用例えば運転者援助機能に関係してもよい。更に最適な露光時間が所定の閾値より長い時、短い所定の露光時間すなわち最適な露光時間より短い露光時間で少なくとも1つの中間画像が撮影される。
カメラシステムの画像データに基づいて少なくとも2つの運転者援助機能が実行され、その際第1の運転者援助システムのために最適な露光時間で撮影される画像データが使用され、第2の運転者援助システムのために短い露光時間で撮影される画像データが使用される。
本発明の有利な構成では、所定の閾値が自動車の速度に関係している。特に高い速度では小さい閾値が選ばれる。考慮される閾値と速度との関係は、例えば逆比例であるか、又は段階関数に従う。
本発明の有利な構成では、画像が交互に短い及び長い露光時間で撮影される。
本発明の有利な構成では、方法が交通標識認識用カメラシステムにおいて場合によっては別の運転者援助機能のために使用される。
運転者援助機能A,B及びCを持つ実施例及び図について以下に説明される。運転者援助機能Aは例えば車線認識であり、Bは例えば電灯制御であり、Cは例えば交通標識認識である。
一定の画像割合及び所定の閾値より例えば5msより小さい露光時間における時間線図を示す。 長く露光される画像及び短く露光される画像の交替する列を持つ時間線図を示す。 所定の閾値より小さい露光時間及び簡単化された同期化を持つ時間線図を示す。 長く露光される画像及び短く露光される画像の交替する列及び簡単化された同期化を持つ時間線図を示す。
昼間に車線認識(SpE)、交通標識認識(VZE)のような応用は、露光制御に類似の要求を課す。即ち陽の当たる所及び影の所では画像撮影装置のダイナミックレンジに適度の要求、また例えばトンネル乗入れ及びトンネル乗出しの際車線を見出すためできるだけ大きいコントラストを維持したままでダイナミックレンジに高度の要求を課す。
夜は露光制御に対して別の極端を示す。車線の見出しはできるだけ長い露光時間を必要とする。向かって来る前照灯が望ましくないまぶしさを生じないようにするために、ダイナミックレンジは非常に高くなければならない。遠距離灯援助(FLA)のように夜間に働く応用のために、向かって来る車両のほかに物体が画像撮影装置を飽和させないように、露光を設定せねばならない。他方交通標識認識のために、高い速度において露光時間が大きくなりすぎてはならない。なぜならば、そうしないと、”運動かすみ“(motion−blurs)のため、交通標識の表示例えば速度限界がもはや明白に認められないからである。運動かすみを回避するため露光時間の基準値は,200km/hで5msである。薄明及び夜における車線認識及び交通標識認識のための対立する要求は、以下に説明される解決策を必要とする。
第1実施例として説明される方法では、自動車の所定の速度及び交通標識認識のため所定の露光時間以上で、短時間に露光される第2の画像が撮影される。
夜間交通標識のため露光は、短くすることができる。なぜならば交通標識は前照灯の光を少なくとも一部反射し、従って例えば道路のアスファルトより著しく大きい前照灯の光量を反射するからである。交通標識は、一層短い露光時間でもまだ十分なコントラストでカメラのために見える。リフレッシュ速度は、一般にすべての応用について一定で、例えば25Hzである。
図1には、一定の画像割合及び所定の閾値より小さく例えば5msより小さい露光時間における時間線図が示されている。ハッチングを施した面積は、露光に並行して行われる読出し時間を示す。読出し時間に、サイクルにおいて先に撮影された画像が読出される。
さて、所定の閾値より大きく例えば5msより大きい露光時間が必要になると、利用可能な時間幅(25フレーム/秒のリフレッシュ速度で40ms/画像)内に、所定の閾値例えば5msより小さい露光時間で露光される画像が撮影可能であり、それにより運動かすみによって歪められない画像が付加的に形成されるようにしている。この付け足しの考慮は、画像の読出し時間が利用可能な時間幅(例えば25フレーム/秒で15ms)より著しく短いことを前提としている。その場合例えば第1のフレームを25msに短縮し、長さ15msの第2のフレームを挿入することができる。こうして画像割合は、露光時間に対して所定の閾値(例えば5ms)より大きく倍加され、車線認識又は遠距離灯援助及び交通標識認識のための画像が交互に撮影される。図2は、例えば第1フレームに対して20ms、また第2フレームに対して5msの露光時間における方法の時間的経過を示す。
第2実施例では、刻時及び画像評価に対する簡単化された同期化要求を持つ方法が紹介される。両方のフレームは同じ長さに選ばれる。場合によっては延長されるクロック周波数はそのつどの応用に関係して必要である。図3には、露光時間が所定の閾値より短い場合に対する方法の時間的経過が示されている。露光時間が5msより短いと、両方のフレームに対する露光制御を同じに行うことができる。周辺が一層暗く、必要な露光時間が一層大きくなると、今やVZEフレームに対する露光時間は短く(例えば5ms)保たれる。これが図4に示されている。短い露光時間は、車両の速度に関係して決定することができる。それにより小さい速度に対して露光時間を長くして(図4に示すように最大25msに)、運動かすみなしにコントラストが十分な画像を得ることができる。短く露光される画像に対する露光時間と速度との関係は、例えば逆比例であるか、又は段階関数に従う。その代りに固定的に規定される例えば5msの短い露光時間を設けることができる。

Claims (11)

  1. 自動車におけるカメラシステムのための露光制御方法であって、カメラシステムにより、車両周辺の画像列が最適な露光時間で撮影され、最適な露光時間が周囲の明るさ又は個々の物体の明るさに関係して規定され、最適な露光時間が所定の閾値より長い時、短い所定の露光時間すなわち最適な露光時間より短い露光時間で少なくとも1つの中間画像が撮影されるものにおいて、カメラシステムの画像データに基づいて少なくとも2つの運転者援助機能が実行され、その際第1の運転者援助システムのために最適な露光時間で撮影される画像データが使用され、第2の運転者援助システムのために短い露光時間で撮影される画像データが使用されることを特徴とする、方法。
  2. 所定の閾値が自動車の速度に関係していることを特徴とする、請求項1に記載の方法。
  3. 画像が交互に短い及び長い露光時間で撮影されることを特徴とする、請求項1に記載の方法。
  4. 第1の運転者援助システムが車線認識(SpE)又は遠距離灯援助(FLA)であることを特徴とする、先行する請求項の1つに記載の方法。
  5. 第2の運転者援助システムが交通標識認識(VZE)であることを特徴とする、先行する請求項の1つに記載の方法。
  6. 夜の場合交通標識認識(VZE)のために短い露光時間で撮影される画像データが使用されることを特徴とする、請求項5に記載の方法。
  7. 車線認識(SpE)又は遠距離灯援助(FLA)及び交通標識認識(VZE)のために、画像が交互に撮影されることを特徴とする、先行する請求項の1つに記載の方法。
  8. すべての運転者援助システムのためのリフレッシュ速度が一定であることを特徴とする、先行する請求項の1つに記載の方法。
  9. 短く露光される画像の露光時間と自動車の速度との関係が逆比例であることを特徴とする、先行する請求項の1つに記載の方法。
  10. 先行する請求項の1つに記載の方法に基づくカメラシステム。
  11. 請求項10に記載のカメラシステムを持つ自動車。
JP2011509849A 2008-05-03 2009-04-27 自動車におけるカメラシステムのための露光制御方法 Active JP5187651B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102008022064A DE102008022064A1 (de) 2008-05-03 2008-05-03 Verfahren zur Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug
DE1020080220647 2008-05-03
PCT/DE2009/000579 WO2009135460A1 (de) 2008-05-03 2009-04-27 Verfahren zur belichtungssteuerung für eine kamera in einem kraftfahrzeug

Publications (2)

Publication Number Publication Date
JP2011520406A true JP2011520406A (ja) 2011-07-14
JP5187651B2 JP5187651B2 (ja) 2013-04-24

Family

ID=40863282

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011509849A Active JP5187651B2 (ja) 2008-05-03 2009-04-27 自動車におけるカメラシステムのための露光制御方法

Country Status (5)

Country Link
US (1) US8872918B2 (ja)
EP (1) EP2272249B1 (ja)
JP (1) JP5187651B2 (ja)
DE (2) DE102008022064A1 (ja)
WO (1) WO2009135460A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
JP2011119785A (ja) * 2009-11-30 2011-06-16 Fujitsu Ltd カメラ制御装置及びカメラ制御方法
DE102010024415B4 (de) 2010-06-19 2021-09-16 Volkswagen Ag Verfahren und Vorrichtung zur Aufnahme einer Bilderfolge einer Umgebung eines Fahrzeugs
DE102011109387A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
KR101933454B1 (ko) * 2012-09-25 2018-12-31 삼성전자주식회사 촬영 이미지 생성 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
DE102013012522A1 (de) 2013-07-27 2015-01-29 Daimler Ag Bilderfassungseinrichtung für einen Kraftwagen, Kraftwagen mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer Bilderfassungseinrichtung
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
DE102013020952A1 (de) 2013-12-12 2015-06-18 Connaught Electronics Ltd. Verfahren zum Einstellen eines für die Helligkeit und/oder für den Weißabgleich einer Bilddarstellung relevanten Parameters in einem Kamerasystem eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102015012809A1 (de) 2015-10-02 2017-04-06 Audi Ag Bildaufnahmeeinrichtung für ein Kraftfahrzeug und Verfahren zum Betreiben einer derartigen Bildaufnahmeeinrichtung
DE102017210845A1 (de) 2017-06-27 2018-12-27 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur umgebungsangepassten Erfassung eines Umgebungsbereichs eines Fahrzeugs
US10928828B2 (en) 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
CN114339062A (zh) * 2021-12-29 2022-04-12 盯盯拍(深圳)技术股份有限公司 一种提升特定区域图像清晰度的方法、装置及电子设备
EP4228247A1 (en) * 2022-02-14 2023-08-16 Arriver Software AB Camera system for motor vehicle and method to operate

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005143083A (ja) * 2003-10-15 2005-06-02 Fujitsu Ten Ltd 画像処理装置、運転支援装置および運転支援システム
EP1646240A1 (en) * 2003-07-11 2006-04-12 Hitachi, Ltd. Image processing camera system and image processing camera control method
WO2006123754A1 (ja) * 2005-05-20 2006-11-23 Toyota Jidosha Kabushiki Kaisha 車両用画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
KR100488728B1 (ko) * 2003-05-15 2005-05-11 현대자동차주식회사 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
DE102006028624A1 (de) * 2006-03-31 2007-10-04 Daimlerchrysler Ag Belichtungsadaptiver Bildsensor
WO2007134473A1 (de) * 2006-05-22 2007-11-29 Waeny Martin Bildaufnehmer mit lokaler adaptiver belichtungsregelung
EP1887492A1 (en) * 2006-08-10 2008-02-13 MobilEye Technologies, Ltd. Symmetric filter patterns for enhanced performance of single and concurrent driver assistance applications
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
EP2383713B1 (en) * 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
JP4538468B2 (ja) * 2007-02-27 2010-09-08 日立オートモティブシステムズ株式会社 画像処理装置,画像処理方法、及び画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1646240A1 (en) * 2003-07-11 2006-04-12 Hitachi, Ltd. Image processing camera system and image processing camera control method
JP2005143083A (ja) * 2003-10-15 2005-06-02 Fujitsu Ten Ltd 画像処理装置、運転支援装置および運転支援システム
WO2006123754A1 (ja) * 2005-05-20 2006-11-23 Toyota Jidosha Kabushiki Kaisha 車両用画像処理装置

Also Published As

Publication number Publication date
DE102008022064A1 (de) 2009-11-05
EP2272249A1 (de) 2011-01-12
DE112009000271A5 (de) 2010-10-28
JP5187651B2 (ja) 2013-04-24
DE112009000271B3 (de) 2019-12-05
EP2272249B1 (de) 2018-08-08
WO2009135460A1 (de) 2009-11-12
US8872918B2 (en) 2014-10-28
US20110157362A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
JP5187651B2 (ja) 自動車におけるカメラシステムのための露光制御方法
JP5680573B2 (ja) 車両の走行環境認識装置
US20180015879A1 (en) Side-view mirror camera system for vehicle
CN101088027B (zh) 用于机动车的立体摄像机
JP4262072B2 (ja) 自動車用補助機器制御装置
JP6325000B2 (ja) 車載画像認識装置
TWI573097B (zh) 用於行動載具之影像擷取裝置及其影像疊合方法
JP6321178B2 (ja) ヘッドライトフラッシャーの検知後に自動車の後方視野用カメラシステムを操作する方法、後方視野用カメラシステムおよび自動車
JP6969488B2 (ja) 画像表示装置
JP6209825B2 (ja) 視差検出装置、視差検出方法
JP2012138828A (ja) 画像提供装置
JP4950967B2 (ja) 自動車用補助機器制御装置
JP2008225822A (ja) 道路区画線検出装置
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
US20110007162A1 (en) Method and device for image detection for motor vehicles
JP4782491B2 (ja) 撮像装置
CN105745670B (zh) 用于为机动车辆形成夜间影像的系统和方法
JP2001008195A (ja) 車両後方監視装置
JP6866212B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP2004123061A (ja) 撮影システム
KR20200128464A (ko) 자율 주행 차량의 카메라 시스템의 작동 방법
KR20200128461A (ko) 자율 주행 차량의 카메라 시스템 및 그의 작동 방법
JP6844575B2 (ja) 車載システム及び表示装置
CN103200369B (zh) 用于行动载具的影像撷取装置及其影像叠合方法
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5187651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250