JP2008123137A - 車載用画像処理装置とその制御方法 - Google Patents

車載用画像処理装置とその制御方法 Download PDF

Info

Publication number
JP2008123137A
JP2008123137A JP2006304604A JP2006304604A JP2008123137A JP 2008123137 A JP2008123137 A JP 2008123137A JP 2006304604 A JP2006304604 A JP 2006304604A JP 2006304604 A JP2006304604 A JP 2006304604A JP 2008123137 A JP2008123137 A JP 2008123137A
Authority
JP
Japan
Prior art keywords
image
lighting
luminance
photographing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006304604A
Other languages
English (en)
Other versions
JP4356733B2 (ja
Inventor
Akira Fujimoto
顕 藤本
Yukihiro Matsuura
行洋 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2006304604A priority Critical patent/JP4356733B2/ja
Priority to EP07831568A priority patent/EP2053845B1/en
Priority to PCT/JP2007/071837 priority patent/WO2008056789A1/ja
Priority to US12/442,076 priority patent/US8350903B2/en
Publication of JP2008123137A publication Critical patent/JP2008123137A/ja
Application granted granted Critical
Publication of JP4356733B2 publication Critical patent/JP4356733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0514—Separate unit
    • G03B2215/0517—Housing
    • G03B2215/0553—Housing with second integrated flash
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Stroboscope Apparatuses (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転者の掛けている眼鏡等の反射光が写り込んだ画像から写り込みを軽減する処理を行う車載用画像処理装置及びその制御方法を実現する
【解決手段】車載用カメラ２５０に第１ＬＥＤ照明装置２２０と、第２ＬＥＤ照明装置２３０と、を設ける。車載用カメラ２５０は車載用カメラ２５０の撮影のタイミングに同期して、２つの照明装置を交互に点灯させ、第１ＬＥＤ照明装置２２０の照らし出した被写体と、第２ＬＥＤ照明装置２３０の照らし出した被写体とを撮影する。撮影した２枚の画像の輝度を、相対位置が等しい画素ごとに比較し、輝度の低い画素を抽出して新しい画像を合成する。合成した画像をＥＣＵに送信し、ＥＣＵが運転者が脇見等を行っているかを正確に検出できるようにする。
【選択図】図４

Description

本発明は、自動車の運転者の顔画像などを撮影する車載用画像処理装置及びその制御方法に関する。
車載用カメラにより運転者の顔画像を取得し、この顔画像から目の画像を検出し、目の画像に基づいて様々な処理、例えば、運転者の注視方向を判別するといった処理を行う画像処理装置が利用されている。
運転者が眼鏡やサングラスを掛けている場合には、眼鏡等のレンズやフレームに太陽や照明が反射して、その反射光が画像に写り込むことがある。このため、顔画像から眼の画像を検出しにくくなることがあった。そこで、特許文献１に開示された検出装置は、目の部分の周囲の反射光と目の部分とを識別して、目の部分の画像のみを選択的に抽出することで、この画像に基づき、運転者が脇見等を行っていないか否かを判断することを可能としていた。
特開２００２−３５２２２９号公報
しかし、特許文献１に開示された検出装置は、目の部分自体に反射光が生じた場合は目の部分を抽出できない。そのため、特許文献１に開示された検出装置によっても、脇見等を判断できないことがあった。
本発明は、上記問題点に鑑みてなされたもので、運転者の掛けている眼鏡等に対する反射光を軽減する処理を行う車載用画像処理装置及びその制御方法を実現することを目的とする。
上記目的を達成するため、本発明の第１の観点に係る車載用画像処理装置は、
被写体を照明する複数の照明手段と、
前記複数の照明手段を異なったタイミングで点灯させる点灯手段と、
前記点灯手段により点灯された前記複数の照明手段により照らされた被写体の複数の画像を撮影する撮影手段と、
前記撮影手段により取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成する合成手段と、
を備えることを特徴とする。
前記照明手段を、複数であるｎ個備え、
前記点灯手段は、前記ｎ個の照明手段を順番に点灯させ、
前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
前記合成手段は、ｎ個の照明手段でそれぞれ点灯された被写体のｎ個の画像から、相対位置が等しい部分について、輝度値の最も低いものを抽出して、被写体の１枚の画像を合成する、
こととしてもよい。
例えば、前記照明手段を２つ備え、
前記点灯手段は、前記２つの照明手段を交互に点灯させ、
前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
前記合成手段は、前記撮影手段により順番に撮影された画像のうち、奇数回目に撮影された画像と偶数回目に撮影された画像について、相対位置が等しい部分について、輝度値の低い方の画像を抽出して被写体の画像を合成する構成であってよい。
また、前記合成手段は、前記複数の画像の相対位置の等しい画素の輝度を比較して、輝度の最も低い画素を抽出して合成してもよい。
前記合成手段は、前記撮影手段で撮像された画像を複数のブロックに分割し、相対位置の等しいブロックごとに輝度を比較して、輝度の最も低いブロックを抽出して合成してもよい。
前記撮影手段により撮像された複数の画像のそれぞれの平均輝度を求め、求めた平均輝度の差の絶対値が所定値以下になるように、前記撮影手段の露光時間を制御する露光制御手段をさらに備えることもできる。
前記合成手段により合成された画像に含まれる目の画像に基づいて、所定の制御を行う制御手段を備えてもよい。
上記目的を達成するため、本発明の第２の観点に係る車載用画像処理装置の制御方法は、
複数の照明装置を異なったタイミングで点灯させる点灯ステップと、
点灯された照明装置により照明された被写体の画像を撮影する撮影ステップと、
前記撮影ステップにより取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成する合成ステップと、
を備えることを特徴とする。
本発明によれば、運転者の掛けている眼鏡等に対する反射光を軽減する処理を行う車載用画像処理装置及びその制御方法を実現することができる。
［第１実施形態］
以下、本発明の第１実施形態に係る車載用画像処理装置について説明する。図１に、本実施形態に係る車載用画像処理装置システムの構成図を示す。本実施形態に係る車載用画像処理装置システムは、車載用カメラ２５０と、ＥＣＵ（Engine Control Unit）３００と、から構成される。
ＥＣＵ３００は、車両全体の制御の他、車載用カメラ２５０から運転者の顔画像を受信し、この顔画像に基づいて運転者が脇見運転を行っているか否かを判断する電子制御装置である。
車載用カメラ２５０は、カメラ本体２００と、光学フィルタ２１０と、第１ＬＥＤ（Light-Emitting Diode：発光ダイオード）照明装置２２０と、第２ＬＥＤ照明装置２３０と、から構成される。
光学フィルタ２１０は、光学的なバンドパスフィルタであり、図３に示すように一部の波長の光だけを選択的に通過させる。例えば、近赤外光のみを透過させるものを使用して、車載用カメラ２００へ入射される運転者の眼鏡等の反射光を軽減する。
図２に示すように、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０は、それぞれ複数のＬＥＤから構成された照明装置である。この第１ＬＥＤ照明装置２２０は、車載用カメラ２５０の正面から見て左側に取り付けられ、第２ＬＥＤ照明装置２３０は、車載用カメラ２５０の正面から見て右側に取り付けられる。
ここで、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を構成するＬＥＤとしては、図３に示すように、その光強度（μＷ）の最大となる波長域と、光学フィルタ２１０の透過率（％）の最大となる波長域と、がほぼ一致するようなＬＥＤを選択するのが望ましい。
図１に示すように、カメラ本体２００は、ＤＳＰ（Digital Signal Processor）１００と、ＬＥＤ制御回路１１０と、第１ＬＥＤ駆動回路１２０と、第２ＬＥＤ駆動回路１３０と、撮影部１４０と、Ｖドライバ１５０と、ＥＥＰＲＯＭ１６０と、ドライバ１７０と、から構成される。
ＬＥＤ制御回路１１０には、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０の点灯のタイミングがＤＳＰ１００から通知される。ＬＥＤ制御回路１１０は、この通知されたタイミングに従って、照明装置を点灯させるように指示する点灯信号を、第１ＬＥＤ駆動回路１２０又は第２ＬＥＤ駆動回路１３０に送信する。
第１ＬＥＤ駆動回路１２０及び第２ＬＥＤ駆動回路１３０は、ＬＥＤ制御回路１１０から送信される点灯信号に応答し、それぞれ第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を点灯させる。
撮影部１４０は、ＣＣＤ（Charge Coupled Device：電荷結合素子）等から構成され、運転者の顔を撮影する。そして、撮影部１４０は撮影した顔画像をＤＳＰ１００に送信する。例えば、送信方式はノンインターレス方式、撮影回数は１秒間に３０回（秒間３０フレーム）、デジタル信号に変換した場合の画像の解像度は縦２４０ピクセル、横３２０ピクセルである。
Ｖ（Video）ドライバ１５０は、ＤＳＰ１００から撮影部１４０の露光時間や撮影のタイミングに関する通知をうけ、この通知に従って撮影部１４０の制御を行う制御用インターフェースである。
ＥＥＰＲＯＭ１６０は、車載用カメラ２５０の制御プログラムを格納し、ＣＰＵ１０のワークエリアとして機能する。
ドライバ１７０はＤＳＰ１００が処理した運転者の顔画像をＤＡＣ５０から受信してＥＣＵ３００に送信し、ＥＣＵ３００との接続を制御する制御用インターフェースである。
ＤＳＰ１００は、主として撮影部１４０が取得した画像の画像処理を行う処理装置であり、ＣＰＵ１０と、ＴＧ（Timing Generator）／ＳＳＧ（Sync Signal Generator：同期信号発生器）２０と、ＡＤＣ（Analog-Digital Converter）３０と、信号処理部４０と、ＤＡＣ（Digital-Analog Converter）５０と、から構成される。
ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から車載用カメラ２５０の制御プログラムを読み出して実行する。
ＴＧ／ＳＳＧ２０は、撮影部１４０の撮影のタイミングをＶドライバ１５０に通知する。また、ＴＧ／ＳＳＧ２０は、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を交互に点灯させるタイミングをＬＥＤ制御回路１１０に通知する。ＴＧ／ＳＳＧ２０は、これらの照明装置の点灯と撮影部１４０の撮影とのタイミングが同期するようにそれぞれにタイミングを通知する。
ＡＤＣ３０は、撮影部１４０から受信したアナログ信号をデジタル信号に変換して、信号処理部４０に送信する。
信号処理部４０は、ＡＤＣ３０から運転者の顔画像を受信し、この顔画像から眼鏡のレンズ部に対する反射光の影響を軽減する処理を行い、処理後の顔画像をＤＡＣ５０に送信する。反射光の影響の軽減処理の詳細については、後述する。
ＤＡＣ５０は、信号処理部４０から受信したデジタル信号を、アナログ信号に変換してドライバ１７０に送信する。
続いて、車載用カメラ２５０の動作について説明する。
ユーザ操作などにより車載用カメラ２５０の動作が開始されると、ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から、車載用カメラ２５０の制御プログラムを読み出し、車載用カメラ２５０の制御を開始する。
最初に、ＣＰＵ１０は、ＴＧ／ＳＳＧ２０を駆動させるための駆動信号をＴＧ／ＳＳＧ２０に送信する。
ＴＧ／ＳＳＧ２０は、ＣＰＵ１０から駆動信号に応答して、動作を開始する。ＴＧ／ＳＳＧ２０は、ＬＥＤ制御回路１１０に、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０とを、交互に点灯させるタイミングを繰り返し通知する。例えば、ＴＧ／ＳＳＧ２０は、１／３０秒間隔で両照明装置を交互に点灯させるタイミングを繰り返し通知する。
ＬＥＤ制御回路１１０は、通知されたタイミングに従って、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を点灯させるように指示する点灯信号を、第１ＬＥＤ駆動回路１２０又は第２ＬＥＤ駆動回路１３０に送信する。そして、第１ＬＥＤ駆動回路１２０及び第２ＬＥＤ駆動回路１３０は、ＬＥＤ制御回路１１０から送信される点灯信号に応答し、それぞれ第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を点灯させる。
一方で、ＴＧ／ＳＳＧ２０は、Ｖドライバ１５０に撮影部１４０を撮影させるタイミングを繰り返し通知する。この撮影させるタイミングは、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０との点灯タイミングに同期させる。例えば、１／３０秒間隔で照明を交互に点灯させる場合、これに同期して１／３０秒間隔で撮影させるタイミングを繰り返し通知する。Ｖドライバ１５０は、通知されたタイミングに従って撮影部１４０に被写体を撮影させる。
撮影部１４０は、撮影した画像のアナログの画像データを、ＡＤＣ３０に送信する。ＡＤＣ３０は、供給されたアナログの画像データをデジタルの画像データに変換して信号処理部１４０に送信する。
信号処理部４０は、画像データを連続して受信し、奇数回目に受信した画像データを奇数フレーム、偶数回目に受信した画像データを偶数フレームとして、内部メモリに格納する。信号処理部４０は、内部メモリから直近の奇数フレームと偶数フレームと読み出し、それぞれのフレームを構成する各画素の輝度を求める。そして信号処理部４０は、両フレームの相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素データを抽出する。信号処理部４０は抽出した画素データを合成して１の画像データを作成し、作成した画像データを、ＤＡＣ５０に送信する。信号処理部４０は、この処理を所定時間ごとに実行する。例えば、１／３０秒ごとに画像データを受信する場合、１／１５秒ごとに画像を作成し、ＤＡＣ５０に送信する。
ＤＡＣ５０は受信したデジタルの画像データをアナログの画像データに変換し、ドライバ１７０に送信する。ドライバ１７０は、受信した画像データをＥＣＵ３００に送信する。
ＥＣＵ３００は、信号処理部４０から受信した画像データに基づいて、種々の制御処理、例えば、運転者の視線の方向を判別して、運転者が脇見運転を行っているか否かを判別して警告したり、運転者が注視している方向を判別して、対応する処理を行ったりする。
脇見運転を行っているか否かを判別する方法等は任意であり、既存の任意の手法を仕様可能である。例えば、運転者の目を含む部分の画像から、視線の方向を検出し、視線の方向と車両の正面方向とのずれが所定の値以上であれば、ＥＣＵ３００は運転者が脇見運転を行っていると判別する。
上記の動作により、車載用カメラ２５０は、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０とを交互に点灯させ、これらの照明装置と同期させて撮影部１４０に被写体を撮影させる。撮影部１４０が撮影した画像について信号処理部４０は、奇数フレームと偶数フレームとの相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素データを抽出する。そして、信号処理部４０は、抽出した画素データから１の画像を作成する。信号処理部４０は輝度の低い方を抽出するため、輝度の高い反射光の影響が軽減される。このため、信号処理部４０の処理後の画像からＥＣＵ３００が運転者の脇見運転を行っているか否かの判断をすることが容易となる。
次に、図４〜図６を参照して車載用カメラシステムの動作の具体例について説明する。
図４（ａ）に示すように、第１ＬＥＤ駆動回路１２０が第１ＬＥＤ照明装置２２０を点灯させたタイミングで、撮影部１４０は被写体を撮影する。図４（ｂ）は、撮影部１４０が撮影した奇数フレームＦｏの画像の１例である。図４（ｂ）のＲ１は、運転者の眼鏡等の反射光の写り込みの１例である。そして、信号処理部４０は、図４（ｃ）に示すように、奇数フレームＦｏの画素ごとの輝度を例えば、０〜９の１０段階で求める。
ここで、例えば解像度が縦２４０×横３２０の場合、実際には信号処理部４０は、１フレーム当たり７６８００画素について処理するが、図４から図６では、１フレームの画素を縦１０×横１２の１２０画素に簡略化して表現している。
一方、図５（ａ）に示すように、第２ＬＥＤ駆動回路１３０が第２ＬＥＤ照明装置２３０を点灯させたタイミングで、撮影部１４０は被写体を撮影する。図５（ｂ）は、撮影部１４０が撮影した偶数フレームＦｅの画像の１例である。図５（ｂ）のＲ２は、運転者の眼鏡等の反射光の写り込みの１例である。そして、信号処理部４０は、図５（ｃ）に示すように、偶数フレームＦｅの画素ごとの輝度を、例えば、０〜９の１０段階で求める。
上記の奇数フレームＦｏと偶数フレームＦｅとから、信号処理部４０は、相対位置が等しい画素ごとに輝度を比較し、輝度の低い方の画素データを抽出する。例えば、図４（ｃ）に示す奇数フレームＦｏの座標（０，０）の輝度は４であり、図５（ｃ）に示す偶数フレームＦｅの座標（０，０）の輝度は３である。信号処理部４０は、輝度の低い偶数フレームＦｅの座標（０，０）の画素データを抽出する。また、図４（ｃ）に示す奇数フレームの座標（０，１）の輝度は１であるのに対し、図５（ｃ）に示す偶数フレームＦｅの座標（０，１）の輝度は２である。このときは信号処理部４０は、輝度の低い奇数フレームＦｏの座標（０，１）の画素データを抽出する。このようにして、全ての座標について、信号処理部４０は輝度の比較と画素データの抽出を行い、これらの抽出した画素データを適切に配列して１の画像を作成する。この作成された画像からは、輝度の高い反射光の写り込みが低減される。
図６（ａ）は信号処理部４０が奇数フレームＦｏと偶数フレームＦｅとから作成した画像ｆ０である。そして、図６（ｂ）は、図６（ａ）を構成する画素の輝度を０〜９の１０段階で表したものである。画像ｆ０の座標（０，０）の輝度は、奇数フレームＦｏの座標（０，１）の輝度である３となり、画像ｆ０の座標（０，１）の輝度は、奇数フレームＦｏの座標（０，１）の輝度である１となる。
図６（ａ）に示すように、信号処理部４０の処理により、画像ｆ０では、輝度の低い画素が抽出されているので、輝度の高い反射光の影響が軽減される。
［第２実施形態］
量産されるＬＥＤには、その品質にある程度のばらつきがあるため、第１ＬＥＤ照明装置２２０と第２ＬＥＤ照明装置２３０との発光量は同一とはならない。このため、奇数フレームと偶数フレームで照明の発光量が異なってしまう。
しかし、奇数フレームと偶数フレームの照明の発光量が大きく異なると、例えば、奇数フレームの画像には眼鏡の反射が写り込んでいるにもかかわらず、輝度が小さく、偶数フレームでは眼鏡からの反射が写り込んでいないにもかかわらず、輝度が高いという画像領域が発生する場合がある。この場合、反射が写り込んだ画素を選択して新たな画像を合成することになり、合成された画像を利用するその後の処理に支障をきたす。
そこで、本実施の形態では、第１と第２のＬＥＤ照明装置２２０，２３０の発光光量のばらつきの影響を除去しうる車載用カメラシステムについて説明する。
本実施形態に係る車載用カメラシステムの物理的構成は、ＥＥＰＲＯＭ１６０に第１露光制御プログラム及び各種設定値をさらに格納する他は、第１実施形態に係る車載用カメラシステムの構成と同一である。
ＥＥＰＲＯＭ１６０は、設定値として、輝度差上限値ＢＤmax、輝度差下限値ＢＤmin、露光上限値ＥＴmax、露光下限値ＥＴminを格納する。輝度差上限値ＢＤmaxと輝度差下限値ＢＤminとは、偶数フレームと奇数フレームとの輝度の平均値の差の許容限度値を示す。また、露光上限値ＥＴmax、露光下限値ＥＴminは、運転者の顔画像が鮮明に写る露光時間の上限値、下限値を示す。
ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から車載用カメラ２５０の制御プログラムの他、露光制御プログラムを読み出し、例えば撮影部４０の撮影間である１／３０秒ごとに繰り返し隔実行する。
上記の構成により、車載用カメラ２５０は、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０を、例えば１／３０秒の間隔で交互に点灯させ、これらの照明装置の点灯タイミングに同期して撮影部１４０に被写体の画像を撮影させる。
図７を参照して第１露光制御処理について詳細に説明する。ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から、第１露光制御プログラムを読み出し、例えば撮影部１４０の撮影間隔である、１／３０秒毎に実行する。
まず、ＣＰＵ１０は、フレームそれぞれの輝度値の平均値を求める（ステップＳ１０）。そして、ＣＰＵ１０は奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差上限値ＢＤmxより高いか否かを判別する（ステップＳ１５）。
奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差上限値ＢＤmaxより高ければ（ステップＳ１５：ＹＥＳ）、ＣＰＵ１０は、奇数フレームでの露光時間が露光下限値ＥＴmin以上であるか否かを判別する（ステップＳ２０）。奇数フレームでの露光時間が露光下限値ＥＴmin以上である場合（ステップＳ２０：ＹＥＳ）、ＣＰＵ１０は奇数フレームでの露光時間を所定時間だけ減少させる（ステップＳ２５）。
奇数フレームでの露光時間が露光下限値ＥＴminより短い場合（ステップＳ２５：ＮＯ）、又はステップＳ２５の後、ＣＰＵ１０は偶数フレームでの露光時間が露光上限値ＥＴmax以下であるか否かを判別する（ステップＳ３０）。
偶数フレームでの露光時間が露光上限値ＥＴmax以下である場合（ステップＳ３０：ＹＥＳ）、ＣＰＵ１０は偶数フレームでの露光時間を所定時間だけ増加させる（ステップＳ３５）。偶数フレームでの露光時間が露光上限値ＥＴmaxより長い場合（ステップＳ３０：ＮＯ）、又はステップＳ３５の後、ＣＰＵ１０は他の処理へ移行する。
ステップＳ１５で奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差上限値ＢＤmax以下であれば（ステップＳ１５：ＮＯ）、ＣＰＵ１０は、奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差下限値ＢＤminより小さいか否かを判別する（ステップＳ４０）。
奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差下限値ＢＤmin以上であれば（ステップＳ４０：ＮＯ）、ＣＰＵ１０は他の処理へ移行する。奇数フレームの輝度値の平均値から偶数フレームの輝度値の平均値を引いた値が輝度差下限値ＢＤminより小さければ（ステップＳ４０：ＹＥＳ）、ＣＰＵ１０は、偶数フレームでの露光時間が露光下限値ＥＴmin以上であるか否かを判別する（ステップＳ４５）。偶数フレームでの露光時間が露光下限値ＥＴmin以上である場合（ステップＳ４５：ＹＥＳ）、ＣＰＵ１０は偶数フレームでの露光時間を所定時間だけ減少させる（ステップＳ５０）。
偶数フレームでの露光時間が露光下限値ＥＴminより短い場合（ステップＳ４５：ＮＯ）、又はステップＳ５０の後、ＣＰＵ１０は奇数フレームでの露光時間が露光上限値ＥＴmax以下であるか否かを判別する（ステップＳ５５）。奇数フレームでの露光時間が露光上限値ＥＴmax以下である場合（ステップＳ５５：ＹＥＳ）、ＣＰＵ１０は奇数フレームでの露光時間を所定時間だけ増加させる（ステップＳ６０）。奇数フレームでの露光時間が露光上限値ＥＴmaxより長い場合（ステップＳ５５：ＮＯ）、又はステップＳ６０の後、ＣＰＵ１０は他の処理へ移行する。
上記の処理を繰り返すことにより、ＣＰＵ１０は、奇数フレームと偶数フレームとの輝度の平均値の差が所定の値以下となるように、奇数フレーム及び偶数フレームでの露光時間をそれぞれ制御できる。この処理により、信号処理部４０で、反射光の影響が充分に軽減されるようになる。
第１露光制御処理の動作の一例を図８及び図９に示す。図８（ａ）に示すように、ステップＳ１０〜Ｓ６０の５回の実行で、ＣＰＵ１０は奇数フレームＦ１、Ｆ３、Ｆ５、Ｆ７、Ｆ９と、偶数フレームＦ２、Ｆ４、Ｆ６、Ｆ８、Ｆ１０と、における露光時間を制御する。また、各フレームの輝度の平均値は、フレームごとに検出枠Ｔ１を設け、検出枠Ｔ１内の各画素の輝度の平均を算出することで求める。
図８（ｂ）に示すように、ステップＳ１０〜Ｓ６０の１回目の実行では、奇数フレームＦ１の輝度の平均値（Ｂ１）が偶数フレームＦ２の輝度の平均値（Ｂ２）より、かなり低い値である。そのため、Ｆ１の輝度の平均値（Ｂ１）からＦ２の輝度の平均値（Ｂ２）を引いた値が輝度差下限値ＢＤminより小さくなる（ステップＳ４０：ＹＥＳ）。そこで、ＣＰＵ１０は、偶数フレームでの露光時間を減少させ（ステップＳ５０）、奇数フレームでの露光時間を増加させる（ステップＳ６０）。それでもなお、２回目のステップＳ４０の実行時に両フレームＦ３及びＦ４の輝度の平均値の差は輝度差下限値ＢＤmin以下とならない。そこで、ＣＰＵ１０はステップＳ５０からステップＳ６０までの処理を何度か実行することとなる。そして、５回目のステップＳ４０の処理では、フレームＦ９の輝度（Ｂ９）とフレームＦ１０の輝度の平均値（Ｂ１０）の差はほとんどなくなる（ステップＳ４０：ＮＯ）。
１回目の第１露光制御処理で処理対象とした、奇数フレームＦ１の画像を図９（ａ）に、偶数フレームＦ２の画像を図９（ｂ）に示す。Ｆ１及びＦ２は、運転者が、眼鏡等を掛けていてそのレンズ部の反射光が写り込んだ画像の１例である。Ｒ３及びＲ４はレンズ部の反射光の写り込みの１例である。これらのＦ１とＦ２との輝度の平均値の差は大きいため、図９（ｃ）に示すように、信号処理部４０の処理によっても反射光の写り込みが充分に軽減されない。
そして、５回目の第１露光制御処理で処理対象とした奇数フレームＦ９の画像を図９（ｄ）に、偶数フレームＦ１０の画像を図９（ｅ）に示す。Ｆ９及びＦ１０は、運転者が、眼鏡等を掛けていて、そのレンズ部の反射光が写り込んだ画像の１例である。Ｒ６及びＲ７はレンズ部の反射光の写り込みの１例である。しかし、Ｆ９とＦ１０との輝度の平均値の差がほとんど無いため、図９（ｆ）に示すように、信号処理部４０によって反射光の写り込みが充分に軽減される。
［第３実施形態］
本発明の第３実施形態に係る車載用カメラについて説明する。
本実施形態に係る車載用カメラは、ＥＥＰＲＯＭ１６０に第２露光制御プログラムをさらに格納する他は第２実施形態に係る車載用カメラシステムと同様の構成である。
車内が明るく、車両用カメラに入射される光が強い場合、上記の信号処理部４０の画像処理やＣＰＵ１０の実行する露光制御処理によっても、反射光の写り込みが充分に軽減できないことがある。そこで、第２露光制御処理を実行して露光時間を短くし、具体的には、フレーム周期のおよそ１／３以下にすることで、反射光の写り込みを軽減することができる。
第２露光制御処理について図１０を参照して説明する。ＣＰＵ１０は、ＥＥＰＲＯＭ１６０から第２露光制御プログラムを読み出し、例えば撮影部４０の撮影間隔である１／３０秒ごとに繰り返し隔実行する。
最初にＣＰＵ１０は、奇数フレーム又は偶数フレームの露光時間がフレーム周期の１／３以上であるか否かを判別する（ステップＳ１００）。露光時間がフレーム周期の１／３以上であれば（ステップＳ１００：ＹＥＳ）、ＣＰＵ１０は、露光時間を所定時間短くする（ステップＳ１０５）。ステップＳ１０５の後、又は露光時間がフレーム周期の１／３より短いのであれば（ステップＳ１００：ＮＯ），ＣＰＵ１０は他の処理へ移行する。
第２露光制御プログラムの動作の一例を図１１に示す。露光時間を１フレーム周期の１／３より長くした場合、露光時間が長すぎるので、運転者が眼鏡等を着用時は図１１（ａ）に示すように眼鏡のレンズ部分に反射光が写り込みやすくなる。信号処理部４０によってもこの反射光は充分に軽減できない。一方、露光時間を１フレーム周期の１／３以下にすると、図１１（ｂ）に示すように、反射光の写り込みはかなり軽減される。
［第４実施形態］
上記第１〜第３実施形態においては、カメラ本願２５０が、反射光の影響を除去した画像を合成する処理までを行い、ＥＣＵ３００は提供された合成画像を用いて種々の制御を行っている。
この発明はこれに限定されない。例えば、画像の合成処理などは、カメラ装置２５０以外の装置で実行してしてもよい。
以下、一例として、カメラ装置２５０は、２つの照明装置で交互に照明した画像を取得し、ＥＣＵ３００が、画像を合成し、合成した画像を利用する第４実施形態について説明する。
図１２に、本実施形態に係る車載用カメラシステムの構成図を示す。本実施形態に係る車載用カメラシステムの基本構成は、図１の車載用カメラシステムの構成と同一であり、車載用カメラ２５０ａと、ＥＣＵ（Engine Control Unit）３００ａと、から構成される。
ＥＣＵ３００ａは、信号処理部３０１と、制御部３０２とを備える。
信号処理部３０１は、第１実施形態における信号処理部４０と同様の機能（奇数フレーム画像と偶数フレーム画像の相対位置が等しい画像のうつ輝度の低い画素を選択して、新たな画像を合成する処理）を実行する。制御部３０２は、信号処理部３０１で生成された画像を用いて、第１実施形態のＥＣＵ３００が実行する制御と同様の制御動作を実行する。
一方、図１２に示すように、車載用カメラ２５０ａの構成は、第１実施形態に係る車載用カメラ２５０と同様の構成である。ただし、信号処理部４０ａは、第１実施形態に係る信号処理部４０と異なり、奇数フレームと偶数フレームの顔画像から新たな画像を合成する等の処理は行わない。ただし、各画像の平均輝度求めて、露光時間を調整する等の処理は行っても良い。
このような構成においては、ドライバ１７０ａから、１／３０の周期で、第１ＬＥＤ照明装置２２０で照明された顔の画像と、第２ＬＥＤ照明装置２３０で照明された顔の画像とが交互にＥＣＵ３００ａに供給される。
ＥＣＵ３００ａの信号処理部３０１は、上述の信号処理部４０と同様の処理を行って、奇数フレームの画像及び偶数フレームの画像を記憶し、両画像の対応する画像の輝度を比較し、輝度が小さい方の画素を選択して、反射の写り込みの除去された顔画像を合成し、制御部３０２に供給する。
制御部３０２は、提供された顔画像から、例えば、目の画像を抽出し、その視線の方向を判別する等の処理を行って、脇見の検出、居眠りの検出、中心方向の検出などを行い、検出結果に応じた制御を行う。
このような構成によっても、反射光の影響が充分に軽減される。
なお、反射光の写り込みの軽減処理のみならず、第２実施形態に係る露光制御処理や、第１ＬＥＤ照明装置２２０及び第２ＬＥＤ照明装置２３０の点灯を撮影のタイミングと同期させる制御についても、ＥＣＵ等の車載用カメラ以外の外部の装置が行う構成としてもよい。
そして、上記の実施形態では撮影部１４０は１秒間に３０フレームを取得する構成としているが、１秒間に２４フレームや１５フレームなど、取得するフレームの数を変更してもよい。撮影部１４０は、ノンインターレス方式のみならず、インターレス方式で画像を送信しても良い。
また、信号処理部４０での反射光の写り込みの軽減処理では１画素単位でなく、複数の画素から構成されるブロック単位で２枚の画像を比較してもよい。この場合には、例えば、ブロック単位で平均輝度を求め、相対位置が等しいブロックのうち平均輝度の小さい方のブロックを新画像の要素とすればよい。このような処理により、処理速度を向上することができる。
さらに、カメラ用ＬＥＤ照明装置は、２個のみならず３以上の複数個を設けてもよい。係る場合に信号処理部４０が行う合成も、レンズ等の反射光の写り込みが充分に軽減されるものであれば、奇数フレームと偶数フレームとの合成に限られない。
本発明の第１実施形態に係る車載用カメラシステムの構成図である。 本発明の第１実施形態に係る車載用カメラの正面図である。 光学フィルタの透過率特性、及びカメラ用照明装置を構成するＬＥＤの光強度である。 （ａ）第１ＬＥＤ照明装置が点灯した状態を説明するための図である。（ｂ）奇数フレームＦｏの画像の１例である。（ｃ）奇数フレームＦｏの画像の各画素の輝度を求めた図である。 （ａ）第２ＬＥＤ照明装置が点灯した状態を説明するための図である。（ｂ）偶数フレームＦｅの画像の１例である。（ｃ）偶数フレームＦｅの画像の各画素の輝度を求めた図である。 （ａ）信号処理部により作成されたフレームの画像の１例である。（ｂ）信号処理部により作成されたフレームの各画素の輝度を求めた図である。 本発明の第２実施形態に係る第１露光制御処理のフローチャートである。 （ａ）第１露光制御プログラムを実行したときについて説明するための図である。（ｂ）各フレームの輝度の平均値である。 （ａ）奇数フレームＦ１の画像の１例である。（ｂ）偶数フレームＦ２の画像の１例である。（ｃ）Ｆ１及びＦ２から反射光の写り込みを軽減する処理を行ったフレームである。（ｄ）奇数フレームＦ９の画像の１例である。（ｅ）偶数フレームＦ１０の画像の１例である。（ｆ）Ｆ９及びＦ１０から反射光の写り込みを軽減する処理を行ったフレームの１例である。 本発明の第３実施形態に係る第２露光制御処理のフローチャートである。 （ａ）露光時間をフレーム周期の１／３以上としたときのフレームの１例である。（ｂ）露光時間をフレーム周期の１／３より短くしたときのフレームの１例である。 本発明の第４実施形態に係る車載用カメラシステムの構成図である。
符号の説明
１０ ＣＰＵ（露光制御手段）
２０ ＴＧ／ＳＳＧ
３０ ＡＤＣ
４０ 信号処理部（合成手段）
５０ ＤＡＣ
１００ ＤＳＰ
１１０ ＬＥＤ制御回路（点灯手段）
１２０ 第１ＬＥＤ駆動回路
１３０ 第２ＬＥＤ駆動回路
１４０ 撮影部（撮影手段）
１５０ Ｖドライバ
１７０ ドライバ
２００ カメラ本体
２１０ 光学フィルタ
２２０ 第１ＬＥＤ照明装置（照明手段）
２３０ 第２ＬＥＤ照明装置（照明手段）
２５０ 車載用カメラ
３００ ＥＣＵ

Claims (8)

  1. 被写体を照明する複数の照明手段と、
    前記複数の照明手段を異なったタイミングで点灯させる点灯手段と、
    前記点灯手段により点灯された前記複数の照明手段により照らされた被写体の複数の画像を撮影する撮影手段と、
    前記撮影手段により取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成して出力する合成手段と、
    を備えることを特徴とする車載用画像処理装置。
  2. 前記照明手段を、複数であるｎ個備え、
    前記点灯手段は、前記ｎ個の照明手段を順番に点灯させ、
    前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
    前記合成手段は、ｎ個の照明手段でそれぞれ点灯された被写体のｎ個の画像から、相対位置が等しい部分について、輝度値の最も低いものを抽出して、被写体の１枚の画像を合成する、
    ことを特徴とする請求項１記載の車載用画像処理装置。
  3. 前記照明手段を２つ備え、
    前記点灯手段は、前記２つの照明手段を交互に点灯させ、
    前記撮影手段は、各照明手段が点灯したタイミングで前記被写体を撮像し、
    前記合成手段は、前記撮影手段により順番に撮影された画像のうち、奇数回目に撮影された画像と偶数回目に撮影された画像について、相対位置が等しい部分について、輝度値の低い方の画像を抽出して被写体の画像を合成する、
    ことを特徴とする請求項１記載の車載用画像処理装置。
  4. 前記合成手段は、前記複数の画像の相対位置の等しい画素の輝度を比較して、輝度の最も低い画素を抽出して合成する、
    ことを特徴とする請求項１に記載の車載用画像処理装置。
  5. 前記合成手段は、前記撮影手段で撮像された画像を複数のブロックに分割し、相対位置の等しいブロックごとに輝度を比較して、輝度の最も低いブロックを抽出して合成する、
    ことを特徴とする請求項１に記載の車載用画像処理装置。
  6. 前記撮影手段により撮像された複数の画像のそれぞれの平均輝度を求め、求めた平均輝度の差の絶対値が所定値以下になるように前記撮影手段の露光時間を制御する露光制御手段をさらに備える、
    ことを特徴とする請求項１に記載の車載用画像処理装置。
  7. 前記合成手段により合成された画像に含まれる目の画像に基づいて、所定の制御を行う制御手段を備える、ことを特徴とする請求項１に記載の車載用画像処理装置。
  8. 複数の照明装置を異なったタイミングで点灯させる点灯ステップと、
    点灯された照明装置により照明された被写体の画像を撮影する撮影ステップと、
    前記撮影ステップにより取得された被写体の複数の画像の相対位置が等しい部分について、輝度値に基づいて、一の画像を抽出して合成する合成ステップと、
    を備えることを特徴とする車載用画像処理装置の制御方法。
JP2006304604A 2006-11-09 2006-11-09 車載用画像処理装置とその制御方法 Active JP4356733B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006304604A JP4356733B2 (ja) 2006-11-09 2006-11-09 車載用画像処理装置とその制御方法
EP07831568A EP2053845B1 (en) 2006-11-09 2007-11-09 On-vehicle image-processing device and control method for on-vehicle image-processing device
PCT/JP2007/071837 WO2008056789A1 (fr) 2006-11-09 2007-11-09 Dispositif de traitement d'image embarqué et procédé de commande pour un dispositif de traitement d'image embarqué
US12/442,076 US8350903B2 (en) 2006-11-09 2007-11-09 Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006304604A JP4356733B2 (ja) 2006-11-09 2006-11-09 車載用画像処理装置とその制御方法

Publications (2)

Publication Number Publication Date
JP2008123137A true JP2008123137A (ja) 2008-05-29
JP4356733B2 JP4356733B2 (ja) 2009-11-04

Family

ID=39364599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006304604A Active JP4356733B2 (ja) 2006-11-09 2006-11-09 車載用画像処理装置とその制御方法

Country Status (4)

Country Link
US (1) US8350903B2 (ja)
EP (1) EP2053845B1 (ja)
JP (1) JP4356733B2 (ja)
WO (1) WO2008056789A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193349A (ja) * 2008-02-14 2009-08-27 Panasonic Electric Works Co Ltd 顔認証装置
JP2009303192A (ja) * 2008-06-11 2009-12-24 Hyundai Motor Co Ltd 顔検出システム
US20100123781A1 (en) * 2008-11-17 2010-05-20 Denso Corporation Image shooting device and method for shooting image
WO2011108207A1 (ja) * 2010-03-01 2011-09-09 コニカミノルタオプト株式会社 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法
JPWO2014167676A1 (ja) * 2013-04-10 2017-02-16 株式会社東芝 電子機器および画像処理方法
DE102016225311A1 (de) 2015-12-16 2017-06-22 Omron Automotive Electronics Co., Ltd. Bildverarbeitungseinrichtung
JP2017211720A (ja) * 2016-05-23 2017-11-30 日本電信電話株式会社 画像検索装置、方法、及びプログラム
KR20180038316A (ko) * 2016-10-06 2018-04-16 현대자동차주식회사 운전자 상태 판단 장치 및 방법
JP2019514302A (ja) * 2016-05-25 2019-05-30 エムテクビジョン カンパニー リミテッド 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
JP2019101974A (ja) * 2017-12-07 2019-06-24 矢崎総業株式会社 画像処理装置
JP2020075596A (ja) * 2018-11-07 2020-05-21 矢崎総業株式会社 監視システム
EP4156117A1 (en) 2021-09-13 2023-03-29 Yazaki Corporation Detection system

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4780088B2 (ja) * 2007-11-09 2011-09-28 アイシン精機株式会社 顔画像撮像装置、顔画像撮像方法、及びそのプログラム
JP5818409B2 (ja) * 2010-06-17 2015-11-18 キヤノン株式会社 眼底撮像装置及びその制御方法
KR101820497B1 (ko) * 2011-07-27 2018-01-22 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
JP5345660B2 (ja) * 2011-09-08 2013-11-20 本田技研工業株式会社 車載機器特定装置
JP5761074B2 (ja) * 2012-02-24 2015-08-12 株式会社デンソー 撮像制御装置及びプログラム
US20130342694A1 (en) * 2012-06-25 2013-12-26 Tandent Vision Science, Inc. Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device
JP5820359B2 (ja) * 2012-11-28 2015-11-24 フリュー株式会社 撮影画像編集装置、画像処理端末、撮影画像編集装置の制御方法、撮影画像編集装置および画像処理端末制御プログラム、およびそれらのコンピュータ読み取り可能な記録媒体
DE102014113256A1 (de) * 2014-09-15 2016-03-17 Carl Zeiss Microscopy Gmbh Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme mit Reflexunterdrückung
US9846921B2 (en) * 2014-09-29 2017-12-19 The Boeing Company Dynamic image masking system and method
FR3044504A1 (fr) * 2015-12-01 2017-06-02 Valeo Comfort & Driving Assistance Dispositif de capture d'image et dispositif de surveillance d'un conducteur utilisant un tel dispositif de capture d'image
DE102020007064B4 (de) * 2020-11-19 2022-08-11 Daimler Truck AG Verfahren zum Kalibrieren einer ersten Beleuchtungseinrichtung, einer zweiten Beleuchtungseinrichtung und eines optischen Sensors, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3803916A1 (de) 1988-02-09 1989-08-17 Messerschmitt Boelkow Blohm Verfahren und vorrichtung zur ermittlung der fahrtauglichkeit eines fahrzeugfuehrers
JPH06323832A (ja) 1993-05-13 1994-11-25 Nissan Motor Co Ltd 車両用インターフェイス
JP3364816B2 (ja) 1994-12-27 2003-01-08 三菱電機株式会社 画像処理装置
US6088470A (en) * 1998-01-27 2000-07-11 Sensar, Inc. Method and apparatus for removal of bright or dark spots by the fusion of multiple images
GB9823977D0 (en) * 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
JP2002352229A (ja) 2001-05-30 2002-12-06 Mitsubishi Electric Corp 顔部位検出装置
US7206435B2 (en) * 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
JP2004070512A (ja) 2002-08-02 2004-03-04 Nissan Motor Co Ltd 運転者の顔状態検出装置
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
US7777778B2 (en) * 2004-10-27 2010-08-17 Delphi Technologies, Inc. Illumination and imaging system and method
JP4122380B2 (ja) 2005-04-13 2008-07-23 国立大学法人 北海道大学 海藻の分析方法
US7646422B2 (en) * 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009193349A (ja) * 2008-02-14 2009-08-27 Panasonic Electric Works Co Ltd 顔認証装置
JP2009303192A (ja) * 2008-06-11 2009-12-24 Hyundai Motor Co Ltd 顔検出システム
US20100123781A1 (en) * 2008-11-17 2010-05-20 Denso Corporation Image shooting device and method for shooting image
JP2010124043A (ja) * 2008-11-17 2010-06-03 Denso Corp 画像撮影装置および方法
JP4666062B2 (ja) * 2008-11-17 2011-04-06 株式会社デンソー 画像撮影装置および方法
US8208027B2 (en) 2008-11-17 2012-06-26 Denso Corporation Image shooting device and method for shooting image
WO2011108207A1 (ja) * 2010-03-01 2011-09-09 コニカミノルタオプト株式会社 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法
JP5429358B2 (ja) * 2010-03-01 2014-02-26 コニカミノルタ株式会社 ゴースト検出装置およびそれを用いる撮像装置、ゴースト検出方法、および、ゴースト除去方法
US9020281B2 (en) 2010-03-01 2015-04-28 Konika Minolta Advanced Layers, Inc. Ghost detection device and imaging device using the same, ghost detection method and ghost removal method
JPWO2014167676A1 (ja) * 2013-04-10 2017-02-16 株式会社東芝 電子機器および画像処理方法
DE102016225311A1 (de) 2015-12-16 2017-06-22 Omron Automotive Electronics Co., Ltd. Bildverarbeitungseinrichtung
JP2017112486A (ja) * 2015-12-16 2017-06-22 オムロンオートモーティブエレクトロニクス株式会社 画像処理装置
US10089731B2 (en) 2015-12-16 2018-10-02 Omron Automotive Electronics Co., Ltd. Image processing device to reduce an influence of reflected light for capturing and processing images
JP2017211720A (ja) * 2016-05-23 2017-11-30 日本電信電話株式会社 画像検索装置、方法、及びプログラム
JP2019514302A (ja) * 2016-05-25 2019-05-30 エムテクビジョン カンパニー リミテッド 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
KR20180038316A (ko) * 2016-10-06 2018-04-16 현대자동차주식회사 운전자 상태 판단 장치 및 방법
KR102371591B1 (ko) 2016-10-06 2022-03-07 현대자동차주식회사 운전자 상태 판단 장치 및 방법
JP2019101974A (ja) * 2017-12-07 2019-06-24 矢崎総業株式会社 画像処理装置
JP7078386B2 (ja) 2017-12-07 2022-05-31 矢崎総業株式会社 画像処理装置
JP2020075596A (ja) * 2018-11-07 2020-05-21 矢崎総業株式会社 監視システム
EP4156117A1 (en) 2021-09-13 2023-03-29 Yazaki Corporation Detection system

Also Published As

Publication number Publication date
US20090251534A1 (en) 2009-10-08
EP2053845A4 (en) 2011-03-02
WO2008056789A1 (fr) 2008-05-15
EP2053845A1 (en) 2009-04-29
US8350903B2 (en) 2013-01-08
JP4356733B2 (ja) 2009-11-04
EP2053845B1 (en) 2012-08-01

Similar Documents

Publication Publication Date Title
JP4356733B2 (ja) 車載用画像処理装置とその制御方法
JP4853389B2 (ja) 顔画像撮像装置
JP5045212B2 (ja) 顔画像撮像装置
JP5257695B2 (ja) 監視装置
JP4659906B2 (ja) 暗視装置
JP2011125463A (ja) 眼底カメラ
CN111726506A (zh) 内窥镜的图像处理方法、装置、存储介质
JP2007286943A (ja) 信号灯検出装置
JP6289439B2 (ja) 画像処理装置
JP6430880B2 (ja) 内視鏡システム、及び、内視鏡システムの作動方法
JP6168024B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP6272015B2 (ja) 焦点調節装置及び方法及び撮像装置
JP2019121815A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2008193504A (ja) 暗視装置
EP3226554A1 (en) Imaging device and vehicle
JP6712886B2 (ja) 撮像装置、撮像方法、および車両
JP6327388B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
TWI594630B (zh) Night photography system and its method
JP4566703B2 (ja) 電子内視鏡装置
JP2017175199A (ja) 車室内用カメラの目標範囲の設定方法および車室内用カメラ
JP2006352735A (ja) 撮影装置及び撮影方法
JP2010279457A (ja) 電子内視鏡、電子内視鏡システムおよび色調整方法
JP6311826B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
WO2019167332A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6053385B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4356733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4